Selama 10 tahun terakhir, berkat apa yang disebut metode pembelajaran mendalam, kami telah menerima sistem kecerdasan buatan terbaik - misalnya, pengenal ucapan di ponsel cerdas atau penerjemah otomatis terbaru dari Google. Pembelajaran mendalam, pada kenyataannya, telah menjadi tren baru di jaringan saraf terkenal yang telah populer dan muncul selama lebih dari 70 tahun. Jaringan saraf pertama kali diusulkan oleh Warren McCullough dan Walter Pitts pada tahun 1994, dua peneliti di Universitas Chicago. Pada tahun 1952, mereka bekerja di Massachusetts Institute of Technology untuk meletakkan dasar bagi Departemen Kognisi pertama.
Jaringan saraf adalah salah satu jalur utama penelitian dalam ilmu saraf dan ilmu komputer hingga tahun 1969, ketika, menurut legenda, mereka dibunuh oleh matematikawan MIT Marvin Minsky dan Seymour Papert, yang setahun kemudian menjadi wakil kepala laboratorium kecerdasan buatan baru MIT.
Metode ini mengalami kebangkitan kembali pada 1980-an, sedikit memudar ke dalam bayang-bayang pada dekade pertama abad baru, dan kembali dengan meriah di dekade kedua, di puncak perkembangan chip grafis yang luar biasa dan kekuatan pemrosesannya.
"Ada persepsi bahwa ide-ide dalam sains seperti epidemi virus," kata Tomaso Poggio, profesor kognisi dan ilmu otak di MIT. “Mungkin ada lima atau enam galur utama virus influenza, dan salah satunya muncul kembali dengan kecepatan 25 tahun yang membuat iri. Orang-orang menjadi terinfeksi, memperoleh kekebalan dan tidak sakit selama 25 tahun ke depan. Kemudian generasi baru muncul, siap terinfeksi dengan jenis virus yang sama. Dalam sains, orang jatuh cinta pada sebuah ide, itu membuat semua orang gila, lalu mereka menghajarnya sampai mati dan mendapatkan kekebalan terhadapnya - mereka bosan. Ide harus memiliki frekuensi yang sama."
Pertanyaan berbobot
Jaringan neural adalah metode pembelajaran mesin tempat komputer belajar untuk melakukan tugas tertentu dengan menganalisis contoh pelatihan. Biasanya, contoh ini diberi tag secara manual sebelumnya. Sistem pengenalan objek, misalnya, dapat menyerap ribuan gambar mobil, rumah, cangkir kopi, dan seterusnya, dan kemudian dapat menemukan pola visual pada gambar yang secara konsisten berkorelasi dengan tag tertentu.
Jaringan saraf sering dibandingkan dengan otak manusia, yang juga memiliki jaringan seperti itu, yang terdiri dari ribuan atau jutaan node pemrosesan sederhana, yang saling berhubungan erat. Sebagian besar jaringan saraf modern diatur ke dalam lapisan node, dan data mengalir melaluinya hanya dalam satu arah. Sebuah simpul individu dapat diasosiasikan dengan beberapa simpul pada lapisan di bawahnya, dari mana ia menerima data, dan beberapa simpul pada lapisan di atasnya, tempat ia mengirimkan data.
Video promosi:
Node memberikan nomor untuk masing-masing link masuk ini - "bobot". Ketika jaringan aktif, node menerima kumpulan data yang berbeda - angka yang berbeda - untuk setiap koneksi ini dan mengalikannya dengan bobot yang sesuai. Dia kemudian menjumlahkan hasilnya untuk membentuk satu angka. Jika angka ini di bawah ambang batas, node tidak mengirimkan data ke lapisan berikutnya. Jika angkanya melebihi ambang, node "bangun" dengan mengirimkan nomor - jumlah dari data input berbobot - ke semua koneksi keluar.
Saat jaringan neural dilatih, semua bobot dan ambangnya awalnya disetel dalam urutan acak. Data pelatihan dimasukkan ke dalam lapisan bawah - lapisan masukan - dan melewati lapisan berikutnya, mengalikan dan menambahkan dengan cara yang kompleks, sampai akhirnya tiba, yang telah diubah, ke dalam lapisan keluaran. Selama pelatihan, bobot dan ambang batas terus disesuaikan hingga data pelatihan dengan label yang sama menghasilkan kesimpulan yang serupa.
Pikiran dan mesin
Jaringan saraf yang dijelaskan oleh McCullough dan Pitts pada tahun 1944 memiliki ambang batas dan bobot, tetapi tidak diatur dalam lapisan, dan ilmuwan tidak menentukan mekanisme pembelajaran khusus. Tetapi McCullough dan Pitts menunjukkan bahwa jaringan saraf pada prinsipnya dapat menghitung fungsi apa pun, seperti komputer digital mana pun. Hasilnya lebih dari bidang ilmu saraf daripada ilmu komputer: harus diasumsikan bahwa otak manusia dapat dipandang sebagai perangkat komputasi.
Jaringan saraf terus menjadi alat yang berharga untuk penelitian neurobiologis. Misalnya, lapisan individu dari jaringan atau aturan untuk menyesuaikan bobot dan ambang batas mereproduksi fitur yang diamati dari neuroanatomi manusia dan fungsi kognitif, dan karena itu memengaruhi cara otak memproses informasi.
Jaringan saraf pertama yang dapat dilatih, Perceptron (atau Perceptron), didemonstrasikan oleh psikolog Cornell University, Frank Rosenblatt pada tahun 1957. Desain Perceptron mirip dengan jaringan saraf modern, kecuali bahwa ia memiliki satu lapisan dengan bobot dan ambang batas yang dapat disesuaikan yang diapit di antara lapisan masukan dan keluaran.
"Perceptrons" secara aktif diteliti dalam ilmu psikologi dan komputer hingga tahun 1959, ketika Minsky dan Papert menerbitkan sebuah buku berjudul "Perceptrons", yang menunjukkan bahwa melakukan perhitungan yang cukup biasa pada perceptrons tidak praktis dalam hal waktu.
"Tentu saja, semua batasan akan hilang jika Anda membuat mesin sedikit lebih rumit," misalnya, dalam dua lapisan, "kata Poggio. Tetapi pada saat itu, buku tersebut memiliki efek mengerikan pada penelitian jaringan saraf.
“Hal-hal ini layak dipertimbangkan dalam konteks sejarah,” kata Poggio. “Bukti dibangun untuk pemrograman dalam bahasa seperti Lisp. Tak lama kemudian, orang-orang diam-diam menggunakan komputer analog. Tidak sepenuhnya jelas pada saat itu pemrograman apa yang akan mengarah. Saya pikir mereka sedikit berlebihan, tetapi, seperti biasa, Anda tidak dapat membagi semuanya menjadi hitam dan putih. Jika Anda menganggapnya sebagai persaingan antara komputasi analog dan komputasi digital, maka mereka memperjuangkan apa yang dibutuhkan."
Periodisitas
Namun, pada 1980-an, para ilmuwan telah mengembangkan algoritme untuk memodifikasi bobot dan ambang batas jaringan saraf yang cukup efisien untuk jaringan dengan lebih dari satu lapisan, menghilangkan banyak batasan yang diidentifikasi oleh Minsky dan Papert. Daerah ini pernah mengalami Renaissance.
Tetapi dari sudut pandang yang masuk akal, ada sesuatu yang hilang di jaringan saraf. Sesi pelatihan yang cukup lama dapat menyebabkan revisi pada pengaturan jaringan sampai mulai mengklasifikasikan data dengan cara yang berguna, tetapi apa arti dari pengaturan ini? Fitur gambar apa yang dilihat oleh pengenal objek dan bagaimana cara menggabungkannya untuk membentuk tanda tangan visual dari mobil, rumah, dan cangkir kopi? Sebuah studi tentang bobot senyawa individu tidak akan menjawab pertanyaan ini.
Dalam beberapa tahun terakhir, ilmuwan komputer mulai menemukan metode cerdik untuk menentukan strategi analitik yang diadopsi oleh jaringan saraf. Tetapi pada 1980-an, strategi jaringan ini tidak dapat dipahami. Oleh karena itu, pada pergantian abad, jaringan saraf digantikan oleh mesin vektor, pendekatan alternatif untuk pembelajaran mesin berdasarkan matematika murni dan elegan.
Lonjakan minat baru-baru ini pada jaringan saraf - revolusi pembelajaran mendalam - disebabkan oleh industri game. Grafik yang kompleks dan kecepatan permainan video modern yang cepat membutuhkan perangkat keras yang dapat mengikuti tren, menghasilkan GPU (unit pemrosesan grafis) dengan ribuan inti pemrosesan yang relatif sederhana dalam satu chip. Para ilmuwan segera menyadari bahwa arsitektur GPU sempurna untuk jaringan saraf.
GPU modern memungkinkan untuk membangun jaringan tahun 1960-an dan jaringan dua dan tiga lapisan tahun 1980-an menjadi kumpulan jaringan 10, 15, dan bahkan 50 lapisan saat ini. Inilah yang menjadi tanggung jawab kata "dalam" dalam "pembelajaran mendalam". Untuk kedalaman jaringan. Pembelajaran mendalam saat ini bertanggung jawab atas sistem yang paling efisien di hampir semua bidang penelitian kecerdasan buatan.
Dibawah tenda
Keburaman jaringan masih mengkhawatirkan para ahli teori, tetapi ada kemajuan di bagian depan ini. Poggio memimpin program penelitian tentang dasar-dasar teoretis kecerdasan. Baru-baru ini, Poggio dan rekan-rekannya merilis studi teoretis tentang jaringan saraf dalam tiga bagian.
Bagian pertama, yang diterbitkan bulan lalu di International Journal of Automation and Computing, membahas berbagai komputasi yang dapat dilakukan jaringan pembelajaran dalam, dan ketika jaringan dalam memanfaatkan yang dangkal. Bagian dua dan tiga, yang dirilis sebagai kuliah, membahas tantangan pengoptimalan global, yaitu memastikan bahwa jaringan menemukan pengaturan yang paling sesuai dengan data pelatihannya, serta kasus di mana jaringan memahami dengan baik spesifikasi data pelatihannya. yang tidak dapat menggeneralisasi manifestasi lain dari kategori yang sama.
Masih banyak pertanyaan teoritis ke depan, yang jawabannya harus diberikan. Tetapi ada harapan bahwa jaringan saraf akhirnya dapat memutus siklus generasi yang menjerumuskan mereka ke dalam panas dan terkadang dingin.
ILYA KHEL
