Kecerdasan buatan. Berapa banyak yang telah dikatakan tentang dia, tetapi kami bahkan belum benar-benar mulai berbicara. Hampir semua yang Anda dengar tentang kemajuan kecerdasan buatan didasarkan pada terobosan yang berusia tiga puluh tahun. Mempertahankan momentum kemajuan akan membutuhkan penghindaran kendala yang parah dan kendala utama. Selanjutnya, pada orang pertama - James Somers.
Saya berdiri di tempat yang akan segera menjadi pusat dunia, atau hanya di sebuah ruangan besar di lantai tujuh sebuah menara yang mengilap di pusat kota Toronto - sisi mana yang Anda lihat. Saya ditemani oleh Jordan Jacobs, salah satu pendiri tempat ini: The Vector Institute, yang membuka pintunya pada musim gugur ini dan berjanji untuk menjadi pusat global kecerdasan buatan.
Kami berada di Toronto karena Jeffrey Hinton berada di Toronto. Dan Jeffrey Hinton adalah bapak dari "pembelajaran mendalam", teknik di balik sensasi AI. "Dalam 30 tahun, kami akan melihat ke belakang dan mengatakan bahwa Jeff adalah Einstein untuk AI, pembelajaran mendalam, apa pun yang kami sebut kecerdasan buatan," kata Jacobs. Dari semua peneliti AI, Hinton lebih sering dikutip daripada gabungan tiga orang yang mengikutinya. Mahasiswa sarjana dan pascasarjana bekerja di lab AI di Apple, Facebook, dan OpenAI; Hinton sendiri adalah ilmuwan utama di tim AI Otak Google. Hampir setiap kemajuan dalam AI selama dekade terakhir - dalam terjemahan, pengenalan ucapan, pengenalan gambar, dan game - ada hubungannya dengan pekerjaan Hinton.
Vector Institute, sebuah monumen kebangkitan ide-ide Hinton, adalah pusat penelitian tempat perusahaan dari seluruh AS dan Kanada - seperti Google, Uber, dan NVIDIA - mensponsori upaya untuk mengkomersialkan teknologi AI. Uang mengalir lebih cepat daripada yang bisa diminta Jacobs; dua pendirinya menyurvei perusahaan di wilayah Toronto, dan permintaan ahli AI 10 kali lebih tinggi daripada pasokan Kanada setiap tahun. Vector Institute, dalam arti tertentu, adalah tanah perawan yang belum dimanfaatkan untuk mencoba memobilisasi dunia seputar pembelajaran mendalam: untuk berinvestasi, mengajar, mengasah, dan menerapkan teknik ini. Pusat data sedang dibangun, gedung pencakar langit dipenuhi dengan para pemula, dan generasi siswa berdatangan ke wilayah tersebut.
Saat Anda berdiri di lantai Vektor, Anda merasa bahwa Anda sedang memulai sesuatu. Tapi pembelajaran mendalam, pada intinya, sangat tua. Artikel terobosan Hinton, yang ditulis bersama David Rumelhart dan Ronald Williams, diterbitkan pada 1986. Pekerjaan menjelaskan secara rinci metode backpropagation kesalahan (backpropagation), singkatnya. Backprop, menurut John Cohen, adalah "segala sesuatu yang dalam pembelajaran didasarkan pada - semuanya."
Pada dasarnya, AI saat ini adalah pembelajaran yang mendalam, dan pembelajaran yang mendalam adalah backprop. Yang mencengangkan mengingat backprop berusia lebih dari 30 tahun. Sangatlah penting untuk memahami bagaimana ini terjadi: bagaimana teknologi bisa menunggu begitu lama dan kemudian menyebabkan ledakan? Karena begitu Anda mengetahui sejarah backprop, Anda akan memahami apa yang terjadi dengan AI sekarang, dan juga bahwa kita mungkin tidak berada di awal revolusi. Mungkin kita berada di ujung satu.
Perjalanan dari Vector Institute ke kantor Google Hinton di mana dia menghabiskan sebagian besar waktunya (dia sekarang menjadi profesor emeritus di University of Toronto) adalah semacam iklan langsung untuk kota, setidaknya di musim panas. Jelas mengapa Hinton, yang berasal dari Inggris, pindah ke sini pada 1980-an setelah bekerja di Universitas Carnegie Mellon di Pittsburgh.
Video promosi:
Mungkin kita tidak berada di awal revolusi
Toronto adalah kota terbesar keempat di Amerika Utara (setelah Mexico City, New York dan Los Angeles) dan tentunya lebih beragam: lebih dari separuh populasinya lahir di luar Kanada. Dan Anda bisa melihatnya saat Anda berjalan-jalan di sekitar kota. Kerumunan itu multinasional. Ada perawatan kesehatan gratis dan sekolah yang bagus, orang-orangnya ramah, politisi relatif kiri dan stabil; semua ini menarik orang-orang seperti Hinton, yang mengatakan dia meninggalkan Amerika Serikat karena Irangate (Iran-Contra adalah skandal politik utama di Amerika Serikat pada paruh kedua 1980-an; kemudian diketahui bahwa anggota tertentu dari administrasi AS mengatur rahasia pasokan senjata ke Iran, dengan demikian melanggar embargo senjata terhadap negara itu). Di sinilah percakapan kita dimulai sebelum makan siang.
“Banyak yang mengira AS mungkin akan menginvasi Nikaragua,” katanya. "Untuk beberapa alasan mereka percaya bahwa Nikaragua adalah milik Amerika Serikat." Dia mengatakan bahwa dia baru-baru ini membuat terobosan besar dalam proyek tersebut: "Seorang insinyur junior yang sangat baik mulai bekerja dengan saya," seorang wanita bernama Sarah Sabour. Sabur adalah orang Iran dan visanya telah ditolak untuk bekerja di Amerika Serikat. Kantor Google Toronto menariknya keluar.
Hinton berusia 69 tahun. Dia memiliki wajah Inggris yang tajam dan kurus dengan mulut tipis, telinga besar dan hidung yang angkuh. Ia lahir di Wimbledon dan dalam perbincangannya mengingatkan narator pada buku anak-anak tentang sains: penasaran, memikat, berusaha menjelaskan semuanya. Dia lucu dan sedikit bermain untuk penonton. Dia sakit saat duduk karena masalah punggung, jadi dia tidak bisa terbang, dan di kantor dokter gigi dia berbaring di atas alat yang menyerupai papan selancar.
Pada 1980-an, Hinton, seperti sekarang ini, adalah pakar jaringan saraf, model jaringan neuron dan sinapsis yang sangat disederhanakan di otak kita. Namun, pada saat itu, disepakati dengan tegas bahwa jaringan saraf adalah jalan buntu dalam penelitian AI. Meskipun jaringan saraf pertama, Perceptron, dikembangkan pada 1960-an dan dianggap sebagai langkah pertama menuju kecerdasan mesin tingkat manusia, pada 1969 Marvin Minsky dan Seymour Papert secara matematis membuktikan bahwa jaringan semacam itu hanya dapat menjalankan fungsi sederhana. Jaringan ini hanya memiliki dua lapisan neuron: lapisan masukan dan lapisan keluaran. Jaringan dengan banyak lapisan antara neuron masukan dan keluaran bisa, secara teori, memecahkan berbagai macam masalah, tetapi tidak ada yang tahu bagaimana melatihnya, jadi dalam praktiknya mereka tidak berguna. Karena Perceptrons, hampir semua orang telah meninggalkan ide jaringan saraf dengan beberapa pengecualian.termasuk Hinton.
Terobosan Hinton pada tahun 1986 adalah menunjukkan bahwa propagasi mundur dapat melatih jaringan saraf dalam dengan lebih dari dua atau tiga lapisan. Tapi butuh 26 tahun lagi sebelum daya komputasi meningkat. Dalam makalah tahun 2012, Hinton dan dua siswa Toronto menunjukkan bahwa jaringan saraf dalam, dilatih dengan backprop, mengungguli sistem pengenalan gambar terbaik. Pembelajaran Mendalam mulai mendapatkan daya tarik. Dunia dalam semalam memutuskan bahwa AI akan mengambil alih di pagi hari. Bagi Hinton, ini adalah kemenangan yang disambut baik.
Bidang distorsi realitas
Jaringan saraf biasanya digambarkan sebagai sandwich, yang lapisannya saling tumpang tindih. Lapisan ini mengandung neuron buatan, yang pada dasarnya adalah unit komputasi kecil yang menembak - seperti neuron nyata - dan mengirimkan kegembiraan ini ke neuron lain yang terhubung dengannya. Eksitasi neuron diwakili oleh angka, katakanlah 0,13 atau 32,39, yang menentukan derajat eksitasi neuron. Dan ada angka penting lainnya, pada setiap koneksi antara dua neuron, yang menentukan seberapa banyak eksitasi harus ditransfer dari satu ke yang lain. Angka ini memodelkan kekuatan sinapsis antar neuron di otak. Semakin tinggi angkanya, semakin kuat koneksinya, yang berarti lebih banyak kegembiraan mengalir dari satu ke yang lain.
Salah satu aplikasi jaringan neural dalam yang paling sukses adalah pengenalan gambar. Saat ini ada program yang dapat mengenali jika ada hot dog dalam gambar. Sekitar sepuluh tahun yang lalu mereka tidak mungkin. Untuk membuatnya bekerja, Anda harus memotret terlebih dahulu. Untuk kesederhanaan, katakanlah ini adalah gambar hitam putih berukuran 100 x 100 piksel. Anda memasukkannya ke jaringan saraf dengan mengatur penembakan setiap neuron yang disimulasikan di lapisan masukan sehingga akan sama dengan kecerahan setiap piksel. Ini adalah lapisan bawah sandwich: 10.000 neuron (100 x 100) mewakili kecerahan setiap piksel pada gambar.
Kemudian Anda menghubungkan lapisan besar neuron ini ke lapisan besar neuron lainnya, yang sudah lebih tinggi, katakanlah, beberapa ribu, dan mereka, pada gilirannya, ke lapisan lain yang terdiri dari beberapa ribu neuron, tetapi lebih sedikit, dan seterusnya. Terakhir, lapisan atas sandwich - lapisan keluaran - akan terdiri dari dua neuron - satu mewakili hot dog dan yang lainnya bukan hot dog. Idenya adalah untuk melatih jaringan saraf agar hanya mengaktifkan neuron pertama jika terdapat hot dog dalam gambar, dan yang kedua jika tidak. Backprop, teknik propagasi mundur yang dibangun Hinton dalam karirnya, melakukan hal itu.
Backprop sangat sederhana, meskipun berfungsi paling baik dengan data dalam jumlah besar. Inilah sebabnya mengapa data besar sangat penting bagi AI - mengapa Facebook dan Google sangat bersemangat tentangnya, dan mengapa Institut Vektor memutuskan untuk terhubung dengan empat rumah sakit terbesar di Kanada dan berbagi data.
Dalam hal ini, datanya berupa jutaan gambar, beberapa dengan hot dog, beberapa tanpa; triknya adalah dengan menandai gambar-gambar ini sebagai memiliki hot dog. Saat Anda pertama kali membuat jaringan saraf, koneksi antar neuron memiliki bobot acak - angka acak yang menunjukkan berapa banyak eksitasi yang ditransmisikan melalui setiap koneksi. Seolah-olah sinapsis otak belum disetel. Tujuan dari backprop adalah untuk mengubah bobot ini sehingga jaringan berfungsi: sehingga saat Anda memberi makan gambar hot dog ke lapisan paling bawah, neuron hot-dog di lapisan paling atas akan menyala.
Katakanlah Anda mengambil gambar tutorial piano pertama. Anda mengubah intensitas piksel gambar 100 x 100 menjadi 10.000 angka, satu untuk setiap neuron di lapisan bawah jaringan. Saat eksitasi menyebar melalui jaringan sesuai dengan kekuatan koneksi neuron di lapisan yang berdekatan, semuanya secara bertahap mencapai lapisan terakhir, salah satu dari dua neuron yang menentukan apakah ada hot dog dalam gambar. Karena ini adalah gambar piano, neuron hot dog harus menunjukkan nol, dan neuron non-hot dog harus menunjukkan angka yang lebih tinggi. Katakanlah hal-hal tidak berfungsi seperti itu. Katakanlah jaringan salah tentang gambar. Backprop adalah prosedur untuk memperkuat kekuatan setiap koneksi di jaringan, memungkinkan Anda untuk memperbaiki kesalahan dalam contoh pelatihan yang diberikan.
Bagaimana itu bekerja? Anda mulai dengan dua neuron terakhir dan mencari tahu seberapa salahnya mereka: apa perbedaan antara nomor pengaktifan mereka dan apa yang seharusnya. Kemudian Anda melihat setiap koneksi yang mengarah ke neuron-neuron ini - menuruni lapisan - dan menentukan kontribusinya terhadap kesalahan. Anda terus melakukan ini sampai Anda mendapatkan set koneksi pertama di bagian paling bawah jaringan. Pada titik ini, Anda tahu bagaimana koneksi individu berkontribusi pada kesalahan keseluruhan. Terakhir, Anda mengubah semua bobot untuk mengurangi kemungkinan kesalahan secara keseluruhan. Ini yang disebut "teknik penyebaran kesalahan" adalah bahwa Anda menjalankan jenis kesalahan kembali melalui jaringan, mulai dari belakang, keluar.
Hal yang luar biasa mulai terjadi ketika Anda melakukannya dengan jutaan atau milyaran gambar: jaringan mulai mencari tahu dengan baik apakah gambar itu hot dog atau bukan. Dan yang lebih luar biasa adalah bahwa setiap lapisan jaringan pengenalan gambar ini mulai "melihat" gambar dengan cara yang sama seperti yang dilakukan oleh sistem visual kita. Yaitu, lapisan pertama mendeteksi kontur - neuron ditembakkan saat ada kontur dan tidak ditembakkan saat tidak ada; lapisan berikutnya mendefinisikan set jalur, seperti sudut; lapisan berikutnya mulai membedakan bentuk; lapisan berikutnya menemukan semua jenis elemen seperti "roti terbuka" atau "roti tertutup" karena neuron yang sesuai diaktifkan. Jaringan mengatur dirinya sendiri ke dalam lapisan hierarki bahkan tanpa diprogram dengan cara ini.
Kecerdasan sejati tidak bingung ketika masalahnya sedikit berubah.
Inilah yang membuat semua orang kagum. Jaringan saraf tidak terlalu bagus dalam mengklasifikasikan gambar hot dog: mereka membangun representasi ide. Dengan teks, ini menjadi lebih jelas. Anda dapat memasukkan teks Wikipedia, miliaran kata, ke jaringan saraf sederhana, mengajarinya untuk memberi setiap kata angka yang sesuai dengan kegembiraan setiap neuron di lapisan. Jika Anda menganggap semua angka ini sebagai koordinat dalam ruang kompleks, Anda akan menemukan titik, yang dalam konteks ini disebut vektor, untuk setiap kata di ruang tersebut. Kemudian Anda melatih jaringan sehingga kata-kata yang muncul berdampingan di halaman Wikipedia akan diberkahi dengan koordinat yang sama - dan voila, sesuatu yang aneh terjadi: kata-kata dengan arti yang mirip akan muncul berdampingan di ruang ini. "Gila" dan "kesal" akan ada di sana; "Tiga" dan "tujuh" juga. Selanjutnya,aritmatika vektor memungkinkan Anda mengurangi vektor "Prancis" dari "Paris", menambahkannya ke "Italia" dan mencari "Roma" di dekatnya. Tidak ada yang memberi tahu jaringan saraf bahwa Roma untuk Italia sama seperti Paris untuk Prancis.
“Sungguh menakjubkan,” kata Hinton. "Ini mengejutkan." Jaringan saraf dapat dilihat sebagai upaya untuk mengambil sesuatu - gambar, kata, rekaman percakapan, data medis - dan menempatkannya di, seperti yang dikatakan ahli matematika, ruang vektor multidimensi di mana kedekatan atau keterpencilan benda akan mencerminkan aspek terpenting dari dunia nyata. Hinton percaya bahwa inilah yang dilakukan otak. “Jika Anda ingin tahu apa itu pikiran,” katanya, “Saya bisa menyampaikannya kepada Anda dalam serangkaian kata. Saya bisa bilang, "John berpikir 'ups.' Tetapi jika Anda bertanya: apa yang dipikirkan? Apa artinya bagi John memikirkan hal ini? Toh di kepalanya tidak ada kutipan pembuka, "ups", kutipan penutup, secara umum tidak ada yang seperti itu. Beberapa aktivitas saraf sedang terjadi di kepalanya. " Gambar besar aktivitas saraf, jika Anda seorang ahli matematika, dapat ditangkap dalam ruang vektor,dimana aktivitas setiap neuron akan sesuai dengan angka, dan setiap angka akan sesuai dengan koordinat vektor yang sangat besar. Bagi Hinton, pemikiran adalah tarian vektor.
Sekarang sudah jelas mengapa Vector Institute disebut seperti itu?
Hinton menciptakan semacam bidang distorsi realitas, perasaan percaya diri dan antusiasme ditransmisikan kepada Anda, menanamkan keyakinan bahwa tidak ada yang mustahil untuk vektor. Lagipula, mereka telah menciptakan mobil yang dapat mengemudi sendiri, komputer pendeteksi kanker, penerjemah bahasa lisan instan.
Hanya ketika Anda meninggalkan ruangan barulah Anda ingat bahwa sistem pembelajaran mendalam ini masih cukup bodoh terlepas dari kekuatan pemikirannya yang demonstratif. Sebuah komputer yang melihat tumpukan donat di atas meja dan secara otomatis melabelinya sebagai "tumpukan donat di atas meja" sepertinya memahami dunia; tetapi ketika program yang sama melihat seorang gadis menggosok gigi dan mengatakan bahwa dia adalah "laki-laki dengan tongkat baseball", Anda menyadari betapa sulitnya pemahaman ini, jika ada.
Jaringan saraf hanyalah pengenal pola yang tidak berotak dan tidak jelas, dan betapa bermanfaatnya pengenal pola semacam itu - karena mereka berusaha untuk mengintegrasikannya ke dalam perangkat lunak apa pun - mereka adalah jenis kecerdasan terbatas yang dapat dengan mudah ditipu. Jaringan saraf dalam yang mengenali gambar bisa sangat membingungkan jika Anda mengubah satu piksel atau menambahkan gangguan visual yang tidak terlihat oleh manusia. Hampir sesering kita menemukan cara baru untuk menggunakan deep learning, kita sering dihadapkan pada keterbatasannya. Mobil self-driving tidak dapat mengemudi dalam kondisi yang belum pernah terlihat sebelumnya. Mesin tidak dapat mengurai kalimat yang membutuhkan akal sehat dan pemahaman tentang cara kerja dunia.
Pembelajaran Mendalam meniru apa yang terjadi di otak manusia dengan cara tertentu, tetapi secara dangkal - yang mungkin menjelaskan mengapa kecerdasannya terkadang begitu dangkal. Backprop tidak ditemukan selama pencelupan otak, mencoba menguraikan pikiran itu sendiri; itu tumbuh dari model pembelajaran hewan dengan trial and error dalam eksperimen kuno. Dan sebagian besar langkah penting yang telah diambil sejak dimulainya tidak memasukkan sesuatu yang baru tentang ilmu saraf; ini adalah peningkatan teknis yang pantas didapatkan oleh kerja bertahun-tahun oleh ahli matematika dan insinyur. Apa yang kita ketahui tentang kecerdasan tidak ada apa-apanya dibandingkan dengan apa yang belum kita ketahui tentang kecerdasan.
David Duvenaud, asisten profesor di departemen yang sama dengan Hinton di Universitas Toronto, mengatakan pembelajaran mendalam mirip dengan teknik sebelum pengenalan fisika. “Seseorang menulis sebuah karya dan berkata: 'Saya membuat jembatan ini, dan itu sangat berharga!' Yang lain menulis, "Saya membuat jembatan ini dan itu runtuh, tetapi saya menambahkan penyangga dan jembatan itu berdiri." Dan semua orang menjadi gila atas dukungannya. Seseorang menambahkan lengkungan - dan semua orang seperti itu: lengkungan itu keren! Dengan fisika, Anda benar-benar dapat mengetahui apa yang akan berhasil dan mengapa. Kami baru saja mulai bergerak menuju setidaknya beberapa pemahaman tentang kecerdasan buatan."
Dan Hinton sendiri berkata: “Sebagian besar konferensi berbicara tentang membuat perubahan kecil daripada berpikir keras dan mengajukan pertanyaan:“Mengapa apa yang kami lakukan sekarang tidak berhasil? Apa alasannya ini? Mari fokus pada ini."
Sulit untuk mendapatkan perspektif luar ketika yang Anda lihat hanyalah kemajuan demi kemajuan. Namun kemajuan terbaru dalam AI kurang ilmiah dan lebih banyak rekayasa. Meskipun kami memiliki pemahaman yang lebih baik tentang perubahan apa yang akan meningkatkan sistem pembelajaran mendalam, kami masih memiliki gagasan yang samar tentang bagaimana sistem ini bekerja dan apakah mereka dapat bersatu menjadi sesuatu yang sekuat pikiran manusia.
Penting untuk dipahami jika kami dapat mengekstrak semua yang kami bisa dari backprop. Jika demikian, maka kita akan mengalami kemandekan dalam pengembangan kecerdasan buatan.
Kesabaran
Jika Anda ingin melihat terobosan berikutnya, seperti kerangka kerja untuk mesin dengan kecerdasan yang jauh lebih fleksibel, Anda harus, secara teori, beralih ke penelitian yang mirip dengan penelitian backprop di tahun 80-an: ketika orang pintar menyerah karena ide mereka tidak berhasil …
Beberapa bulan yang lalu, saya mengunjungi Center for Minds, Brains and Machines, sebuah institusi multiguna yang ditempatkan di MIT, untuk menyaksikan teman saya Eyal Dechter mempertahankan disertasinya dalam ilmu kognitif. Sebelum pertunjukan dimulai, istrinya Amy, anjingnya Ruby, dan putrinya Suzanne mendukungnya dan mendoakannya.
Eyal memulai pidatonya dengan pertanyaan yang menarik: bagaimana mungkin Suzanne, yang baru berusia dua tahun, belajar berbicara, bermain, mengikuti cerita? Apa yang ada di otak manusia yang membuatnya bisa belajar dengan baik? Akankah komputer belajar belajar dengan begitu cepat dan lancar?
Kami memahami fenomena baru dalam hal hal-hal yang sudah kami pahami. Kami membagi domain menjadi beberapa bagian dan memeriksanya satu per satu. Eyal adalah seorang matematikawan dan programmer, ia menganggap tugas - seperti membuat souffle - sebagai program komputer yang kompleks. Tetapi Anda tidak akan belajar cara membuat souffle dengan menghafal ratusan instruksi program menit seperti "putar siku Anda 30 derajat, lalu lihat bagian atas meja, lalu rentangkan jari Anda, lalu …". Jika Anda harus melakukan ini dalam setiap kasus baru, pembelajaran akan menjadi tak tertahankan dan Anda akan berhenti berkembang. Sebaliknya, kami melihat langkah-langkah tingkat tinggi seperti "kocok putih" dalam program, yang terdiri dari subrutin seperti "pecahkan telur" dan "pisahkan putih dari kuning telur".
Komputer tidak melakukan ini dan karenanya tampak bodoh. Untuk pembelajaran mendalam untuk mengenali hot dog, Anda harus memberinya 40 juta gambar hot dog. Apa Suzanne mengenali hot dog itu, tunjukkan saja hot dognya. Dan jauh sebelum itu, dia akan memiliki pemahaman tentang bahasa, yang jauh lebih dalam daripada pengenalan kemunculan kata-kata yang terpisah secara bersamaan. Tidak seperti komputer, kepalanya memiliki gambaran tentang bagaimana dunia bekerja. “Saya terkejut bahwa orang-orang takut komputer akan mengambil alih pekerjaan mereka,” kata Eyal. “Komputer tidak akan bisa menggantikan pengacara karena pengacara melakukan sesuatu yang sulit. Tetapi karena pengacara mendengarkan dan berbicara dengan orang. Dalam hal ini, kami sangat jauh dari semua ini."
Kecerdasan sejati tidak akan bingung jika Anda sedikit mengubah persyaratan untuk menyelesaikan masalah. Dan tesis utama Eyal adalah untuk mendemonstrasikan secara tepat ini, pada prinsipnya, bagaimana membuat komputer bekerja dengan cara ini: dengan jelas menerapkan semua yang sudah diketahuinya untuk memecahkan masalah baru, dengan cepat memahami dengan cepat, menjadi ahli dalam bidang yang benar-benar baru.
Pada dasarnya, inilah yang dia sebut algoritma kompresi-eksplorasi. Ini memberi komputer fungsi sebagai programmer, membangun perpustakaan komponen modular yang dapat digunakan kembali sehingga program yang lebih kompleks dapat dibuat. Tanpa mengetahui apa pun tentang domain baru, komputer mencoba menyusun pengetahuan tentangnya, hanya mempelajarinya, mengkonsolidasikan apa yang telah ditemukannya dan mempelajarinya lebih lanjut, seperti seorang anak.
Penasihatnya, Joshua Tenenbaum, adalah salah satu peneliti AI yang paling banyak dikutip. Nama Tenenbaum muncul di setengah percakapan saya dengan ilmuwan lain. Beberapa orang penting di DeepMind - tim pengembangan AlphaGo yang secara legendaris mengalahkan Juara World Go pada tahun 2016 - telah bekerja di bawahnya. Dia terlibat dalam sebuah startup yang mencoba memberi mobil self-driving pemahaman intuitif tentang dasar-dasar fisika dan niat pengemudi lain, sehingga mereka dapat mengantisipasi dengan lebih baik apa yang terjadi dalam situasi yang belum pernah mereka temui sebelumnya.
Skripsi Eyal belum diaplikasikan dalam praktek, bahkan belum dikenalkan ke dalam program. “Masalah yang dihadapi Eyal sangat, sangat sulit,” kata Tenenbaum. "Perlu banyak generasi untuk berlalu."
Ketika kami duduk untuk minum kopi, Tenenbaum berkata bahwa dia sedang meneliti sejarah backprop untuk mendapatkan inspirasi. Selama beberapa dekade, backprop telah menjadi bentuk matematika yang keren, sebagian besar tidak mampu melakukan apa pun. Saat komputer semakin cepat dan teknologi semakin sulit, banyak hal berubah. Dia berharap hal serupa akan terjadi pada pekerjaannya sendiri dan siswa-siswanya, tetapi "mungkin perlu beberapa dekade lagi."
Bagi Hinton, dia yakin bahwa mengatasi keterbatasan AI adalah tentang menciptakan "jembatan antara ilmu komputer dan biologi". Backprop, dari sudut pandang ini, adalah kemenangan komputasi yang terinspirasi secara biologis; Ide awalnya bukan berasal dari teknik, tapi dari psikologi. Jadi sekarang Hinton mencoba mengulangi trik ini.
Saat ini, jaringan saraf terdiri dari lapisan datar yang besar, tetapi dalam neokorteks manusia, neuron nyata berbaris tidak hanya secara horizontal, tetapi juga secara vertikal, dalam kolom. Hinton menebak untuk apa kolom ini - dalam penglihatan, misalnya, mereka memungkinkan Anda untuk mengenali objek bahkan ketika Anda mengubah sudut pandang Anda. Jadi dia menciptakan versi buatan - dan menyebutnya "kapsul" - untuk menguji teori ini. Sejauh ini, tidak ada yang keluar: kapsul belum banyak meningkatkan kinerja jaringannya. Tapi 30 tahun yang lalu itu sama dengan backprop.
“Seharusnya berhasil,” katanya tentang teori kapsul, menertawakan keberaniannya sendiri. "Dan apa yang belum berhasil hanyalah gangguan sementara."
Berdasarkan materi dari Medium.com
Ilya Khel
