Baru-baru ini, jaringan saraf mengejutkan dengan keterampilan mereka - dapatkah Anda percaya sepuluh tahun yang lalu bahwa komputer dapat "menghidupkan" potret Dostoevsky dan Marilyn Monroe? Bersiaplah untuk kagum lebih jauh, karena para peneliti di MIT telah menciptakan jaringan saraf Speech2Face yang mampu menggambar potret orang hanya dengan mendengarkan suara mereka. Teknologi ini jauh dari ideal, tetapi kemampuannya untuk menentukan jenis kelamin, kebangsaan, dan usia seseorang sangat mengesankan.
Untuk melatih jaringan saraf, kit AVSpeech digunakan dengan jutaan video pendek dengan ribuan pembicara. Trek dengan video dan suara dipisahkan, sehingga sistem dapat mempelajari setiap jenis materi sedetail mungkin. Pada tahap pertama pekerjaan, algoritma VGG-Face mempelajari fragmen video dan membuat potret orang-orang di dalamnya dalam ekspresi wajah penuh dan wajah netral. Bagian lain dari algoritme mempelajari spektogram suara dan menerapkan perubahan tambahan pada potret yang dihasilkan - sebagai hasilnya, potret perkiraan setiap orang yang berbicara diperoleh.
Jaringan saraf untuk membuat potret berbasis suara sudah menjadi kenyataan
Jika Anda membandingkan wajah seseorang dengan video dan opsi yang diusulkan oleh algoritme, Anda dapat menemukan banyak perbedaan. Namun, para peneliti memastikan bahwa mereka pada awalnya tidak ingin membuat potret yang paling mirip dari seseorang - banyak faktor yang memengaruhi nada dan intonasi suara manusia, sehingga mereka tidak akan mendapatkan hasil yang ideal. Tetapi jaringan saraf melakukan pekerjaan yang sangat baik dari apa yang penting bagi peneliti, yaitu, penentuan jenis kelamin, kebangsaan dan usia yang tepat.
Penulis karya mencatat bahwa saat ini algoritme lemah dalam menentukan usia, tetapi dapat meningkatkan keakuratannya. Ditemukan juga bahwa algoritme dapat membuat ulang wajah Eropa dan Asia dengan lebih baik, tetapi ini hanya karena fakta bahwa video pelatihan memiliki jumlah wajah yang berbeda dari kebangsaan yang tidak sama.
Video promosi:
Mengapa Anda membutuhkan jaringan saraf?
Bagaimana teknologi ini bisa berguna di masa depan? Alternatifnya, dengan bantuannya, suatu hari suatu layanan dapat dibuat di mana avatar virtual pengguna dibuat secara otomatis, berdasarkan suaranya. Studi baru juga memiliki manfaat ilmiah yang besar - dengan mempelajari datanya, para ilmuwan dapat menemukan hubungan antara penampilan seseorang dan suaranya. Anda dapat mendengarkan suara dan melihat potret yang dibuat ulang atas dasar mereka di situs web proyek.
Ramis Ganiev
