Segera ketika Dr. Blake Richards mendengar tentang pembelajaran mendalam, dia menyadari bahwa dia menghadapi lebih dari sekedar metode yang akan merevolusi kecerdasan buatan. Dia menyadari bahwa dia sedang melihat sesuatu yang fundamental dari otak manusia. Saat itu awal 2000-an dan Richards mengajar kursus di Universitas Toronto bersama Jeff Hinton. Hinton, yang berada di belakang penciptaan algoritme yang menaklukkan dunia, ditawari kursus pengantar tentang metode pengajarannya, yang terinspirasi oleh otak manusia.
Kata kuncinya di sini adalah "terinspirasi dari otak". Terlepas dari keyakinan Richards, taruhan itu dimainkan melawannya. Otak manusia ternyata tidak memiliki fungsi penting yang diprogram dalam algoritma deep learning. Di permukaan, algoritme ini melanggar fakta biologis dasar yang telah dibuktikan oleh ahli saraf.
Tetapi bagaimana jika pembelajaran mendalam dan otak benar-benar kompatibel?
Jadi, dalam studi baru yang diterbitkan di eLife, Richards, bekerja dengan DeepMind, mengusulkan algoritme baru berdasarkan struktur biologis neuron di neokorteks. Korteks, korteks serebral, adalah rumah bagi fungsi kognitif yang lebih tinggi seperti penalaran, ramalan, dan pemikiran fleksibel.
Tim tersebut menggabungkan neuron buatan mereka ke dalam jaringan berlapis dan menantangnya untuk tugas visi komputer klasik - untuk mengidentifikasi nomor tulisan tangan.
Algoritme baru melakukan pekerjaan luar biasa. Tetapi hal lain yang penting: dia menganalisis contoh untuk pembelajaran dengan cara yang sama seperti yang dilakukan algoritme pembelajaran mendalam, tetapi dibangun sepenuhnya di atas dasar biologi otak.
"Pembelajaran mendalam dimungkinkan dalam struktur biologis," para ilmuwan menyimpulkan.
Karena model ini saat ini adalah versi komputer, Richards berharap dapat memberikan tongkat estafet kepada ahli saraf eksperimental yang dapat menguji apakah algoritme semacam itu bekerja di otak yang sebenarnya.
Video promosi:
Jika demikian, data dapat diberikan ke ilmuwan komputer untuk mengembangkan algoritme paralel dan efisien secara masif yang akan dijalankan oleh mesin kami. Ini adalah langkah pertama menuju penggabungan dua area dalam "tarian kebajikan" penemuan dan inovasi.
Menemukan kambing hitam
Meskipun Anda mungkin pernah mendengar bahwa AI baru-baru ini mengalahkan yang terbaik dari yang terbaik di Go, Anda hampir tidak tahu persis bagaimana algoritma di balik AI ini bekerja.
Singkatnya, pembelajaran mendalam didasarkan pada jaringan saraf tiruan dengan "neuron" virtual. Seperti gedung pencakar langit yang tinggi, jaringan terstruktur dalam hierarki: input proses neuron tingkat rendah - misalnya, batang horizontal atau vertikal yang membentuk angka 4 - dan neuron tingkat tinggi memproses aspek abstrak nomor 4.
Untuk melatih jaringan, berikan contoh apa yang Anda cari. Sinyal menyebar melalui jaringan (menaiki tangga gedung), dan setiap neuron mencoba untuk melihat sesuatu yang fundamental dalam pekerjaan "empat".
Ketika anak-anak mempelajari hal-hal baru, jaringan tersebut pada awalnya tidak berfungsi dengan baik. Dia memberikan semua yang, menurut pendapatnya, tampak seperti angka empat - dan Anda mendapatkan gambar dalam semangat Picasso.
Tapi ini persis bagaimana hasil pembelajaran: algoritme mencocokkan output dengan input ideal dan menghitung perbedaan antara keduanya (baca: kesalahan). Kesalahan "menyebar kembali" melalui jaringan, melatih setiap neuron, kata mereka, ini bukan yang Anda cari, terlihat lebih baik.
Setelah jutaan contoh dan pengulangan, web mulai bekerja dengan sempurna.
Sinyal kesalahan sangat penting untuk pembelajaran. Tanpa "propagasi mundur kesalahan" yang efektif, jaringan tidak akan tahu neuron mana yang salah. Untuk mencari kambing hitam, kecerdasan buatan meningkatkan dirinya sendiri.
Otak juga melakukannya. Tapi bagaimana caranya? Kami tidak tahu.
Jalan buntu biologis
Hal yang jelas adalah bahwa solusi pembelajaran mendalam tidak berfungsi.
Kesalahan propagasi mundur adalah fitur yang sangat penting. Ini membutuhkan infrastruktur tertentu untuk bekerja dengan benar.
Pertama, setiap neuron di jaringan harus menerima pemberitahuan kesalahan. Tetapi di otak, neuron terhubung hanya ke beberapa (jika ada) mitra hilir. Agar propagasi mundur bekerja di otak, neuron di tingkat pertama harus memahami informasi dari miliaran koneksi di saluran hilir - dan ini secara biologis tidak mungkin.
Dan sementara beberapa algoritme pembelajaran mendalam mengadaptasi bentuk lokal dari kesalahan propagasi balik - pada dasarnya antara neuron - hal itu mengharuskan koneksi bolak-balik mereka simetris. Dalam sinapsis otak, hal ini hampir tidak pernah terjadi.
Algoritme yang lebih modern mengadaptasi strategi yang sedikit berbeda dengan menerapkan jalur umpan balik terpisah yang membantu neuron menemukan kesalahan secara lokal. Meskipun ini lebih memungkinkan secara biologis, otak tidak memiliki jaringan komputasi terpisah yang didedikasikan untuk menemukan kambing hitam.
Tetapi ia memiliki neuron dengan struktur kompleks, berbeda dengan "bola" homogen yang saat ini digunakan dalam pembelajaran mendalam.
Jaringan bercabang
Ilmuwan mengambil inspirasi dari sel piramidal yang mengisi korteks manusia.
“Sebagian besar neuron ini berbentuk seperti pohon, dengan 'akar' jauh di dalam otak dan 'cabang' muncul ke permukaan,” kata Richards. "Hebatnya, root mendapatkan satu set input dan cabangnya berbeda."
Aneh, tetapi struktur neuron sering kali berubah menjadi "persis seperti yang diperlukan" untuk memecahkan masalah komputasi secara efektif. Ambil pemrosesan sensorik, sebagai contoh: bagian bawah neuron piramidal adalah tempat mereka seharusnya menerima masukan sensorik, dan bagian atas ditempatkan dengan nyaman untuk mengirimkan kesalahan melalui umpan balik.
Mungkinkah struktur kompleks ini menjadi solusi evolusioner untuk menangani sinyal yang salah?
Ilmuwan telah membuat jaringan saraf multi-layer berdasarkan algoritma sebelumnya. Tetapi alih-alih neuron homogen, mereka memberinya neuron di lapisan tengah - diapit di antara input dan output - mirip dengan yang sebenarnya. Belajar dari angka tulisan tangan, algoritme bekerja jauh lebih baik daripada jaringan lapisan tunggal, meskipun tidak ada propagasi mundur klasik dari kesalahan tersebut. Struktur seluler sendiri dapat mengidentifikasi kesalahan tersebut. Kemudian, pada saat yang tepat, neuron menggabungkan kedua sumber informasi tersebut untuk menemukan solusi terbaik.
Ada dasar biologis untuk ini: ahli saraf telah lama mengetahui bahwa cabang input neuron melakukan perhitungan lokal yang dapat diintegrasikan dengan sinyal propagasi mundur dari cabang keluaran. Tapi kita tidak tahu apakah otak benar-benar bekerja seperti ini - jadi Richards menugaskan ahli saraf untuk mencari tahu.
Selain itu, jaringan ini menangani masalah dengan cara yang mirip dengan metode pembelajaran mendalam tradisional: ia menggunakan struktur berlapis untuk mengekstrak ide-ide yang semakin abstrak tentang setiap angka.
“Ini adalah fitur deep learning,” jelas penulisnya.
Otak pembelajaran mendalam
Tidak diragukan lagi akan ada lebih banyak liku-liku dalam cerita ini karena para ilmuwan komputer membawa lebih banyak detail biologis ke dalam algoritme AI. Richards dan timnya melihat fungsi prediktif top-down, di mana sinyal dari level yang lebih tinggi secara langsung memengaruhi cara level yang lebih rendah merespons input.
Umpan balik dari lapisan yang lebih tinggi tidak hanya meningkatkan pemberian sinyal kesalahan; itu juga dapat mendorong neuron dengan proses lebih rendah untuk bekerja "lebih baik" dalam waktu nyata, kata Richards. Sejauh ini, jaringan tersebut belum mengungguli jaringan pembelajaran dalam non-biologis lainnya. Tapi itu tidak masalah.
"Pembelajaran mendalam memiliki dampak besar pada AI, tetapi hingga sekarang dampaknya pada ilmu saraf masih terbatas," kata penulis studi tersebut. Sekarang ahli saraf akan memiliki alasan untuk melakukan tes eksperimental dan mencari tahu apakah struktur neuron mendasari algoritma alami pembelajaran mendalam. Mungkin dalam sepuluh tahun ke depan, pertukaran data yang saling menguntungkan antara ahli saraf dan peneliti kecerdasan buatan akan dimulai.
Ilya Khel
