Menggunakan teknologi untuk memindai aktivitas otak, kecerdasan buatan, dan penyintesis suara, para ilmuwan dari Universitas Columbia (AS) telah menciptakan perangkat yang dapat menerjemahkan pikiran manusia menjadi ucapan yang mengartikulasikan. Temuan penelitian, yang diterbitkan dalam Laporan Ilmiah, merupakan langkah penting dalam meningkatkan antarmuka otak-komputer. Di masa mendatang, perangkat semacam itu dapat digunakan oleh orang yang kehilangan kemampuan berbicara akibat cedera atau penyakit.
Untuk mengembangkan perangkat yang menggabungkan kemampuan penyintesis ucapan dan kecerdasan buatan, penulis studi, ahli saraf Nima Mesgarani dan rekan-rekannya beralih ke kemajuan terbaru dalam pembelajaran mesin yang mendalam dan teknologi sintesis suara. Hasil kerja mereka adalah vocoder berbasis kecerdasan buatan yang mampu menafsirkan aktivitas otak secara akurat langsung dari korteks auditori otak, dan kemudian menerjemahkannya ke dalam ucapan yang dapat dimengerti. Penulis catatan kerja mencatat bahwa ucapan dalam kasus ini ternyata sangat terkomputerisasi, tetapi orang dapat mengenali kata-kata dalam banyak kasus.
Menurut penciptanya, perangkat baru yang digunakan untuk mereproduksi suara yang dihasilkan menggunakan teknologi yang sama dengan yang digunakan pada asisten digital seperti Alexa, Siri, dan Google Assistant.
Pertama, para ahli melatih vocoder untuk menafsirkan aktivitas otak manusia dengan benar. Untuk ini, para ilmuwan mengundang lima sukarelawan yang sedang menjalani pengobatan epilepsi untuk berpartisipasi dalam percobaan tersebut. Kelima dari mereka memiliki elektroda yang ditanamkan di korteks pendengaran untuk membaca elektroensefalogram.
“Kami meminta pasien epilepsi yang sudah menjalani operasi otak untuk mendengarkan kalimat yang diucapkan oleh orang yang berbeda. Pada saat yang sama, kami menganalisis pola aktivitas otak pasien. Vokoder dilatih tentang model saraf yang diperoleh,”jelas Mesgarani.
Para pasien diminta untuk mendengarkan rekaman di mana aktor membacakan urutan angka dari 0 hingga 9. Pada saat yang sama, para ilmuwan merekam sinyal otak, dan kemudian meneruskannya melalui vocoder, sinyal yang dikoreksi untuk meningkatkan kejelasan oleh jaringan saraf yang menganalisis suara dari vocoder itu sendiri, yang menghasilkan suara sebagai respons terhadap sinyal ini. Akibatnya, suara robot bisa terdengar mengulangi urutan nomor yang diucapkan. Untuk mengevaluasi hasil tersebut, para ilmuwan mengundang 11 orang dengan pendengaran yang sangat baik.
“Ternyata orang dapat mengenali kata-kata sekitar 75% dari waktu, yang jauh lebih unggul dari upaya sebelumnya. Vokoder sensitif dan jaringan saraf yang kuat menghasilkan suara yang didengarkan pasien dengan akurasi yang luar biasa,”komentar Mesgarani.
Video promosi:
Di masa mendatang, tim Mesgarani akan mengajarkan jaringan saraf untuk mengucapkan kata, frasa, dan bahkan kalimat yang lebih kompleks. Setelah itu, mereka ingin mengembangkan implan yang dapat menerjemahkan pikiran seseorang menjadi ucapan yang utuh.
“Misalnya, jika pemilik implan berpikir:“Saya butuh segelas air,”sistem kami membaca sinyal otak dan menerjemahkannya ke dalam ucapan. Ini akan memberi siapa pun yang kehilangan kemampuan berbicara karena cedera atau penyakit, kesempatan baru untuk berkomunikasi dengan dunia di sekitar mereka,”tambah Mesgarani.
Nikolay Khizhnyak
