Insinyur dari Institute for the Study of Higher Nervous Activity telah mampu menciptakan sistem yang menerjemahkan pikiran menjadi ucapan yang dapat dipahami dan dikenali. Dengan mengendalikan aktivitas otak seseorang, teknologi merekonstruksi pikiran menjadi kata-kata.
Terobosan ilmiah ini, ditambah dengan kekuatan AI dan penyintesis suara, membuka era baru dalam interaksi antara komputer dan otak. Tentu saja, ini juga membuka peluang baru bagi orang-orang yang, karena satu dan lain hal, kehilangan kemampuan berbicara.
“Suara kita membantu tetap berhubungan dengan teman, keluarga, dan dunia di sekitar kita, jadi kehilangan kekuatan suara karena cedera atau penyakit sangat merugikan orang. Namun, dengan bekal pengetahuan saat ini, kami memiliki cara potensial untuk memulihkan kekuatan ini. Kami telah menunjukkan bahwa dengan teknologi yang tepat, pikiran orang dapat diuraikan dan dipahami oleh setiap pendengar,”kata Nima Mesgarani, Ph. D. dan rekan penulis dari studi yang dilakukan di Mortimer B. Zuckerman Institute of Mental Behavior di Columbia University.
Penelitian selama puluhan tahun telah menunjukkan bahwa ketika orang berbicara atau bahkan membayangkan mereka mengucapkan kata-kata, pola karakteristik aktivitas muncul di otak mereka. Pola sinyal yang jelas dan dapat dikenali juga muncul ketika kita mendengarkan seseorang berbicara, atau membayangkan bahwa kita sedang mendengarkan. Para ahli telah mencoba menguraikan pola-pola ini selama beberapa dekade, tetapi baru sekarang sebuah masa depan telah terbuka di hadapan mereka, di mana pikiran tidak lagi dapat disembunyikan di dalam otak, tetapi sebaliknya dapat diterjemahkan ke dalam bahasa lisan sesuka hati.
Tetapi prestasi ini tidak mudah untuk dicapai. Upaya awal untuk menguraikan sinyal otak dari Dr. Mesgarani dan lainnya difokuskan pada model komputer sederhana yang menganalisis spektogram, yang merupakan representasi visual dari frekuensi suara.
Namun karena fakta bahwa pendekatan ini tidak menghasilkan sesuatu yang mendekati ucapan yang dapat dimengerti, tim Dr. Mesgarani malah beralih ke vocoder, algoritme komputer yang dapat mensintesis ucapan setelah dilatih untuk merekam percakapan orang.
“Ini adalah teknologi yang sama yang digunakan Amazon Echo dan Apple Siri untuk menjawab pertanyaan kami secara verbal,” kata Dr. Mesgarani, yang juga seorang profesor teknik elektro di Sekolah Teknik dan Sains Terapan Yayasan Fu.
Untuk mengajari vocoder menafsirkan aktivitas otak, Dr. Mesgarani bekerja sama dengan Ashesh Dinesh Mehta, M. D., Ph. D., ahli bedah saraf di Institut Neuroscience Mitra Dokter Kesehatan Northwell dan rekan penulis artikel hari ini. Dr. Mehta merawat pasien epilepsi, beberapa di antaranya harus menjalani operasi rutin.
Video promosi:
“Bekerja dengan Dr. Mehta, kami meminta pasien epilepsi yang telah menjalani operasi otak untuk mendengarkan saran dari orang yang berbeda, sementara kami mengukur pola aktivitas otak mereka,” kata Dr. Mesgarani. "Pola saraf ini melatih vocoder."
Para peneliti kemudian meminta pasien yang sama untuk mendengarkan pembicara yang mengucapkan angka 0 hingga 9 sambil merekam sinyal otak yang kemudian dapat diteruskan melalui vocoder. Suara yang dihasilkan oleh vocoder sebagai tanggapan terhadap sinyal ini dianalisis dan disempurnakan menggunakan jaringan saraf seperti kecerdasan buatan yang meniru struktur neuron di otak biologis.
Hasil akhirnya adalah suara robot yang mengulangi urutan angka. Untuk memverifikasi keakuratan rekaman, Dr. Mesgarani dan timnya menginstruksikan orang-orang untuk mendengarkan rekaman dan melaporkan apa yang mereka dengar.
“Kami menemukan bahwa manusia dapat memahami dan mengulangi suara sekitar 75%, yang jauh lebih unggul dari upaya sebelumnya,” kata Dr. Mesgarani. Peningkatan kejelasan terutama terlihat ketika membandingkan rekaman baru dengan upaya sebelumnya berdasarkan spektrogram. "Vocoder sensitif dan jaringan saraf yang kuat mewakili suara yang awalnya didengar pasien dengan akurasi yang luar biasa."
Dr. Mesgarani dan timnya sekarang berencana untuk menguji kata dan kalimat yang lebih kompleks. Mereka juga berniat untuk melakukan tes yang sama pada sinyal otak yang dipancarkan saat seseorang berbicara atau membayangkan pidato. Pada akhirnya, mereka berharap sistem mereka dapat menjadi bagian dari implan, serupa dengan yang dipakai oleh beberapa pasien epilepsi, yang menerjemahkan pikiran pemakainya langsung ke dalam kata-kata.
“Dalam skenario ini, jika pemilik chip berpikir, 'Saya butuh segelas air,' sistem kami dapat mengambil sinyal otak yang dihasilkan oleh pikiran itu dan mengubahnya menjadi ucapan verbal yang disintesis,” kata Dr. Mesgarani. "Ini adalah pengubah permainan dan bagi siapa saja yang kehilangan kemampuan berbicara karena cedera atau penyakit, teknologi memberikan kesempatan baru untuk berkomunikasi dengan dunia di sekitar mereka."
Komentar editorial
Karena beberapa karyawan kami memiliki hubungan tertentu dengan neurofisiologi, kami benar-benar dapat menyatakan dengan tegas bahwa memecahkan masalah membaca pikiran dan menerjemahkan pikiran ini ke dalam kata-kata bukanlah masalah yang dapat diselesaikan oleh beberapa doktor filsafat bersama dengan seorang ahli bedah saraf yang cerdas. Ini adalah tugas lembaga penelitian, yang akan menyelesaikannya selama seratus, dua ratus tahun atau lebih. Selain itu, sama sekali bukan fakta bahwa lembaga penelitian akan memecahkan masalah ini - bahkan jika semua superkomputer NASA dibawa ke sana, di mana sekumpulan insinyur akan mulai mensimulasikan jaringan saraf. Namun, artikel dalam jurnal ilmiah tidak akan berbohong dan fakta pengenalan pikiran pasti ada. Jadi, bagaimana kedua fakta ini dapat disatukan?
Sangat sederhana. Dalam 20-30 tahun terakhir, sejumlah besar teknologi yang sangat luar biasa dan sangat kompleks seperti mikroprosesor dan hard drive telah muncul di dunia. Dan setiap hari ada lebih banyak penemuan baru, yang dituliskan kepada beberapa "siswa berbakat" yang, duduk di garasi, telah mengumpulkan sepotong besi tua, yang telah diperjuangkan oleh lembaga penelitian selama 50 tahun. Dan dalam kasus ini, kami memiliki penemuan dengan asal-usul yang serupa. Artinya, pembangunan yang sudah dilakukan (atau diserahkan kepada orang) selama bertahun-tahun, tidak jelas siapa, tapi yang dicatat pada bibi dan paman asal Kolombia itu.
Nyatanya, sama sekali tidak ada perbedaan sama sekali siapa yang akan ditulis Wikipedia sebagai “penemu” teknologi. Yang terpenting adalah teknologi itu dihadirkan kepada dunia menggunakan jurnal ilmiah. Lebih lanjut, beberapa perusahaan China akan mulai memproduksi "gadget" yang akan membuat orang terbiasa dengan gagasan bahwa kepala mereka sekarang telah menjadi sepenuhnya transparan. Akhirnya, tahap ketiga akan menjadi Orwellian yang sama "1984" ketika bahkan pikiran siapa pun dapat dengan bebas dibaca dari kejauhan. Misalnya dengan menempatkan sensor khusus di apartemen atau mengintegrasikan chip khusus yang merespons impuls otak ke dalam tubuh. Selanjutnya.
Setiap teknologi memiliki, sebagai aturan, aplikasi yang berlawanan. Misalnya, jika ada teknologi untuk mengubah impuls saraf menjadi kata-kata, maka dengan prinsip yang sama, Anda dapat mengubah kata apa pun menjadi pikiran seseorang. Dalam situasi ini, presiden dari berbagai negara memiliki prospek yang luar biasa untuk didukung sepenuhnya oleh seluruh pemilih, karena sekarang ada kemungkinan teknis untuk membuat setiap pemilih berpikir seperti dia - cukup dengan memasukkan sinyal yang termodulasi dengan benar ke dalam soket.
Secara umum, tidak perlu dikatakan lagi bahwa prospek paling indah di dunia sedang terbuka dan kami mengikuti perkembangan acara dengan penuh minat.