Beberapa hari yang lalu, portal pracetak bioRxiv.org menerbitkan karya para peneliti Rusia dari Institut Fisika dan Teknologi Moskow dan perusahaan Neurobotics and Neuroassistive Technologies, yang terlibat dalam pembuatan antarmuka komputer saraf. Makalah ini berpendapat bahwa para ilmuwan dan pengembang telah berhasil mengajarkan algoritme secara real time untuk merekonstruksi video yang dilihat oleh seseorang menggunakan sinyal EEG. Kedengarannya sangat keren dan menarik - hampir seperti membaca pikiran. Faktanya, semuanya, tentu saja, tidak sesederhana itu: komputer belum belajar membaca pikiran. Singkatnya, komputer belajar dari perekaman EEG untuk menentukan gambar mana dari lima kelas berbeda yang diketahui sebelumnya yang dilihat subjek. Tentang bagaimana eksperimen itu dibuat, tugas apa yang ditetapkan para ilmuwan, dan mengapa membaca pikiran tidak mungkin terwujud dalam waktu dekat, kami ceritakan di blog kami.
Secara umum, gagasan membaca sinyal listrik otak dan menguraikannya sehingga Anda dapat melihat apa yang dipikirkan atau dilakukan seseorang pada saat tertentu, mengingat kecepatan kemajuan teknologi saat ini, tampaknya tidak terlalu sulit. Ini adalah sinyal, dan inilah arti sinyal ini: tambahkan dua dan dua, latih pengklasifikasi dan dapatkan hasil yang kita butuhkan.
Hasilnya adalah apa yang oleh para futuris dan orang bodoh disebut "membaca pikiran". Dan tampaknya teknologi seperti itu dapat ditemukan dalam berbagai aplikasi: dari antarmuka otak-komputer yang sempurna yang memungkinkan Anda mengontrol prostesis pintar, hingga membuat sistem yang akhirnya memberi tahu apa yang dipikirkan kucing Anda di sana.
Pada kenyataannya, tentu saja, semuanya sama sekali tidak sesederhana itu, dan gagasan untuk membuat algoritme semacam itu hampir segera rusak pada rintangan utama: kita harus berurusan dengan otak. Otak adalah hal yang sangat kompleks: ia memiliki lebih dari 80 miliar neuron, dan hubungan di antara mereka beberapa ribu kali lebih banyak.
Bahkan bagi orang awam pun sudah jelas: ini terlalu berlebihan bagi kita untuk memahami apa tanggung jawab setiap sel dan agregatnya. Para ilmuwan belum menguraikan hubungan manusia - bahkan jika mereka mencoba melakukannya dengan relatif berhasil.
Sebuah pertanyaan logis muncul: apakah penting untuk memahami fungsi masing-masing neuron untuk secara akurat mewakili apa yang terjadi di otak? Apakah benar-benar tidak ada peta fungsional yang cukup, misalnya?
Jawaban atas pertanyaan ini, sebenarnya, seharusnya "ya", tetapi bahkan di sini pun tidak sesederhana itu. Jika umat manusia mengandalkan decoding connectome sebagai satu-satunya kunci untuk membuka misteri otak, maka kita akan sangat dekat hari ini. Namun, kita tahu sesuatu tentang cara kerja otak kita dan, tentu saja, kita bisa menggunakannya dengan sukses.
Video promosi:
Salah satu contoh paling cemerlang dan paling jelas dari penggunaan pengetahuan yang dikumpulkan oleh para ilmuwan tentang kerja otak adalah, tentu saja, antarmuka saraf. Secara umum, saat ini memang ada teknologi yang memungkinkan membaca aktivitas otak dan menggunakannya untuk mengontrol, misalnya, kursor mouse komputer atau bahkan gerakan prostesis.
Ada dua cara untuk mencapai pengoperasian antarmuka saraf yang efisien. Metode pertama adalah membangkitkan potensi: kita melihat kurva aktivitas listrik bagian tertentu dari otak dan memilih di atasnya perubahan sinyal yang, seperti yang kita ketahui pasti, muncul pada saat tertentu setelah presentasi stimulus.
Cara kedua adalah tidak mengandalkan rangsangan sama sekali, tetapi menggunakan imajinasi orang tersebut untuk menghasilkan sinyal listrik yang dapat dibaca. Misalnya, seseorang mungkin diminta untuk memvisualisasikan bagaimana mereka menggerakkan kaki atau lengannya.
Kedua metode tersebut memiliki kekurangan yang signifikan. Yang pertama terhalang oleh fakta bahwa jumlah potensi yang dapat dibangkitkan yang kita ketahui tidak begitu besar: jumlahnya tidak dapat secara tepat mencakup semua kemungkinan tindakan yang dilakukan oleh seseorang. Kerugian dari yang kedua adalah bahwa pelatihan yang lama diperlukan untuk mencapai setidaknya beberapa efek.
Para penulis pracetak memutuskan untuk menggabungkan kedua pendekatan untuk membuat antarmuka neurokomputer, dengan keyakinan yang tepat bahwa ini akan menyelamatkan kedua metode dari keterbatasan yang signifikan dan akan memungkinkan pengembangan metode baru dan yang saat ini paling efektif untuk bekerja dengan neurointerfaces.
Diasumsikan juga bahwa metode ini akan ditutup (loop tertutup), yaitu, hasil yang diperoleh dengan bantuannya akan, pada gilirannya, mempengaruhi pengoperasian algoritma. Tapi lebih dari itu nanti.
Pada awalnya, algoritme memecah semua gambar menjadi tanda-tanda komponen yang terpisah, didistribusikan dalam ruang vektor, dengan bantuan yang kemudian dapat dikorelasikan dengan sinyal otak tertentu yang direkam menggunakan EEG.
Pada tahap awal ini, pengklasifikasi biner digunakan - secara kasar, sangat "dua dan dua": memiliki sinyal yang cukup bersih (rekaman EEG dibersihkan dari artefak motorik), Anda dapat memilih salah satu atau yang lain dengan akurasi lebih tinggi daripada pukulan acak.
Dalam eksperimen mereka, para ilmuwan menggunakan video objek dari lima kelas: gambar orang, air terjun, bentuk geometris abstrak, olahraga ekstrim, dan mobil Goldberg. Di satu sisi, set seperti itu tampak aneh, tetapi di sisi lain, tampaknya semua objek ini sangat berbeda satu sama lain. Sungguh, adakah kesamaan antara wajah manusia dan bentuk geometris abstrak?
Sementara itu, menurut pengklasifikasi biner, figur abstrak dan wajah manusia tidak dapat dibedakan satu sama lain: hasil dari sembilan dari 17 peserta studi menunjukkan bahwa antarmuka saraf tampaknya gagal untuk membedakan keduanya. Tetapi mesin Goldberg dan wajah yang sama, dari sudut pandang otak, sebaliknya, sangat berbeda satu sama lain.
Hasil klasifikasi. A - bentuk abstrak, W - air terjun, HF - wajah manusia, GM - Mobil Goldberg, E - olahraga ekstrim.
Pada pandangan pertama, tidak terlalu jelas mengapa hal ini terjadi: lebih tepatnya, mesin dan bentuk geometris yang sama tidak dapat dibedakan satu sama lain. Semuanya menjadi sedikit lebih jelas jika Anda melihat contoh bingkai dari video yang digunakan.
Contoh gambar dari lima kelas.
Kemungkinan besar (kami, tentu saja, hanya dapat berasumsi di sini), keberhasilan pengklasifikasi bergantung pada seberapa banyak gambar yang digunakan dalam dua kelas berbeda satu sama lain dalam beberapa fitur dangkal dan dasar - pertama-tama, dalam warna. Ini juga berkorelasi baik dengan fakta bahwa dimensi ruang laten di autoencoder adalah 10.
Secara umum, untuk mengklasifikasikan citra dari lima kelas, dimensi lima sudah cukup, tetapi dalam hal ini akan dilakukan secara maksimal oleh histogram warna - yang berarti bahwa dimensi 10 tidak akan berkembang terlalu banyak dan akan memperjelas hasil.
Tidak terlalu jelas mengapa penulis tidak menggunakan pengklasifikasi linier untuk lima kelas sekaligus daripada sepuluh pengklasifikasi biner: kemungkinan besar, itu akan lebih baik.
Kemudian muncul tahap rekonstruksi citra yang dihasilkan. Fakta bahwa itu keluar tercoreng dapat dimengerti - intinya berada dalam dimensi ruang laten yang sama. Tetapi di sini ada dua hal yang membingungkan.
Yang pertama adalah bahwa gambar asli dan hasil rekonstruksi sangat mirip satu sama lain. Di sini, tentu saja, saya tidak ingin mengecewakan siapa pun (termasuk diri kami sendiri - kami masih untuk kemajuan), tetapi ini bukan karena fakta bahwa sinyalnya direkam dan diterjemahkan dengan baik (dan bahkan dalam waktu nyata!), Tapi karena fakta bahwa algoritme memulihkan dengan tepat gambar yang sudah dimilikinya.
Selain itu, ini tidak selalu bekerja sebaik yang kami inginkan: jika, misalnya, Anda melihat video operasi sistem, Anda akan melihat bahwa dalam video dengan pria yang menangis antarmuka saraf untuk beberapa alasan melihat seorang wanita. Hal ini karena algoritme tidak merekonstruksi gambar, tetapi objek dari kelas tertentu: meskipun melakukannya dengan cukup efisien, tidak ada yang mencegah algoritme untuk melihat perahu dalam gambar sepeda motor - hanya karena mereka termasuk dalam kelas yang sama.
Oleh karena itu, apa yang muncul di layar selama rekonstruksi seringkali hanya gambar rata-rata dari semua objek kelas yang digunakan.
Adapun makna menggunakan sistem tertutup, maka semuanya tidak terlalu jelas dengannya: ketika melakukan tugas, seseorang melihat rekaman sinyal EEG dan gambar yang secara bertahap muncul dari kepalanya. Sulit untuk mengatakan apakah ini benar-benar membantu - penulis tidak membandingkan kinerja antarmuka dengan dan tanpa penguatan. Tapi pada pandangan pertama sepertinya tidak begitu. Jika itu membantu, saya benar-benar ingin tahu caranya.
Secara umum, kita dapat dengan aman menyimpulkan bahwa komputer belum belajar membaca pikiran. Dan mereka bahkan tidak belajar cara membuat ulang video tersebut. Semua yang telah mereka pelajari, berdasarkan pekerjaan para ilmuwan, adalah untuk mengklasifikasikan objek yang telah mereka lihat menjadi lima kelas berdasarkan beberapa kriteria dasar. Apakah komputer pernah bisa melakukan ini sebelumnya? Tentu saja bisa. Apa ada otak di sini? Tentu saja ada: tetapi otaklah yang melihat, bukan otak yang memahami apa yang sebenarnya dilihatnya.
Elizaveta Ivtushok
