Pembuatan algoritme untuk bekerja dengan gambar selalu menjadi tugas yang agak sulit, tetapi menjanjikan. Ketika saya masih menulis proyek kelulusan saya pada tahun 1999, topik "pengenalan pola" sangat relevan dalam sistem kontrol dan manajemen otomatis.
Itulah yang bisa mereka lakukan hari ini. Pengembang India telah menghadirkan sistem yang dapat membuat video pendek dari gambar buram. Algoritme ini bekerja berdasarkan jaringan saraf konvolusional dan berulang dan memungkinkan Anda mengubah artefak gerak dalam gambar menjadi video pendek (hingga sepuluh bingkai).
Keterangan lebih lanjut …
Saat melihat gambar buram, seseorang secara mental dapat menyelesaikan gambaran tentang apa yang terjadi. Misalnya, melihat foto burung dengan sayap berbulu halus menunjukkan bahwa keburaman gambar tersebut disebabkan oleh artefak dalam pergerakan sayap selama proses akuisisi. Namun, untuk sistem visi komputer, tugas ini lebih sulit, dan sebagian besar metode yang diketahui hanya ditujukan untuk menghilangkan artefak gerak dan bingkai smoothing.
Ilmuwan di Institut Teknologi India, yang dipimpin oleh AN Rajagopalan, menyarankan bahwa satu gambar buram dapat digunakan untuk membuat video pendek secara keseluruhan: yaitu, mengembalikan gerakan asli dari artefaknya pada gambar. Untuk melakukan ini, mereka mengembangkan algoritme berdasarkan jaringan saraf konvolusional, yang secara aktif digunakan untuk tugas-tugas yang berkaitan dengan pengenalan gambar otomatis, serta jaringan saraf berulang.
Model dilatih pada sejumlah besar video, yang dibagi menjadi beberapa bingkai. Setelah itu, jaringan neural mencari bingkai seperti itu, artefak yang paling cocok dengan artefak dari kerangka sampel pelatihan. Setelah itu, decoder "mengembalikan" artefak bingkai sampel pelatihan menjadi gerakan yang direkam dalam video. Dengan demikian, model menyimpan data tentang kemungkinan gerakan yang dipulihkan dari setiap bingkai buram yang tersedia dalam sampel pelatihan.
Video promosi:
Sebagai hasil dari pekerjaan tersebut, jaringan saraf menghasilkan video, direkonstruksi dari gambar kabur, terdiri dari sepuluh bingkai. Algoritme yang dikembangkan, menurut pembuatnya, akan dapat membantu di masa depan untuk meningkatkan tidak hanya pemulihan gambar yang kabur, tetapi juga video itu sendiri.
Menghapus artefak gerak dalam bingkai individu juga dapat meningkatkan streaming video. Sejauh ini, untuk tujuan ini, sebagian besar algoritme untuk mengadaptasi bitrate bergantung pada kecepatan video dan bufferingnya digunakan.
Elizaveta Ivtushok
