Selama beberapa tahun pada 1980-an, pelamar ke Sekolah Kedokteran Rumah Sakit St George di London dipilih dengan menggunakan metode teknologi tinggi. Sebuah program komputer, salah satu yang pertama dari jenisnya, memindai resume, memilih dari semua aplikasi sekitar 2.000 kandidat per tahun. Program meninjau catatan penerimaan, memeriksa karakteristik pelamar yang berhasil, dan menyesuaikan sampai keputusannya cocok dengan pendapat komite penerimaan.
Namun, program ini telah belajar untuk menemukan lebih dari sekadar nilai bagus dan tanda-tanda pencapaian akademis. Empat tahun setelah program dilaksanakan, dua dokter di rumah sakit menemukan bahwa program tersebut cenderung menolak pelamar wanita dan individu dengan nama non-Eropa, terlepas dari prestasi akademis mereka. Dokter menemukan bahwa sekitar 60 pelamar ditolak wawancara setiap tahun karena jenis kelamin atau ras mereka. Program ini memasukkan bias gender dan ras ke dalam data yang digunakan untuk pelatihannya - pada kenyataannya, program tersebut mengetahui bahwa dokter dan orang asing bukanlah kandidat terbaik untuk dokter.
Tiga puluh tahun kemudian, kita dihadapkan pada masalah yang sama, tetapi program dengan bias intrinsik sekarang lebih tersebar luas dan membuat keputusan dengan taruhan yang lebih tinggi. Algoritme kecerdasan buatan berdasarkan pembelajaran mesin digunakan dalam segala hal mulai dari lembaga pemerintah hingga perawatan kesehatan, membuat keputusan, dan membuat prediksi berdasarkan data historis. Dengan memeriksa pola dalam data, mereka juga menyerap bias dalam data. Google, misalnya, menampilkan lebih banyak iklan untuk pekerjaan bergaji rendah kepada wanita daripada pria; Pengiriman satu hari Amazon melewati lingkungan kulit hitam, dan kamera digital kesulitan mengenali wajah non-kulit putih.
Sulit untuk mengetahui apakah algoritme tersebut bias atau adil, dan bahkan pakar komputer pun berpikir demikian. Salah satu alasannya adalah detail pembuatan algoritme sering dianggap sebagai informasi kepemilikan, sehingga dijaga ketat oleh pemiliknya. Dalam kasus yang lebih kompleks, algoritme sangat kompleks sehingga pembuatnya pun tidak tahu persis cara kerjanya. Ini adalah masalah yang disebut "kotak hitam" AI - ketidakmampuan kami untuk melihat bagian dalam algoritme dan memahami bagaimana solusi tersebut dapat diperoleh. Jika dibiarkan terkunci, masyarakat kita bisa rusak parah: lingkungan digital mewujudkan diskriminasi historis yang telah kita perjuangkan selama bertahun-tahun, dari perbudakan dan perbudakan hingga diskriminasi terhadap perempuan.
Kekhawatiran ini, yang sebelumnya disuarakan dalam komunitas kecil ilmu komputer, kini mendapatkan momentum. Selama dua tahun terakhir, cukup banyak publikasi yang muncul di bidang ini tentang transparansi kecerdasan buatan. Seiring dengan kesadaran ini, rasa tanggung jawab tumbuh. “Adakah sesuatu yang seharusnya tidak kami bangun?” Tanya Keith Crawford, seorang peneliti di Microsoft dan salah satu pendiri AI Now Insitute di New York.
“Pembelajaran mesin akhirnya mengemuka. Kami sekarang mencoba menggunakannya untuk ratusan tugas berbeda di dunia nyata,”kata Rich Caruana, ilmuwan senior di Microsoft. “Ada kemungkinan bahwa orang akan dapat menggunakan algoritma jahat yang secara signifikan akan mempengaruhi masyarakat dalam jangka panjang. Sekarang, sepertinya, tiba-tiba, semua orang menyadari bahwa ini adalah babak penting dalam bidang kami."
Video promosi:
Algoritme tidak sah
Kami telah menggunakan algoritme untuk waktu yang lama, tetapi masalah kotak hitam belum pernah terjadi sebelumnya. Algoritme pertama sederhana dan transparan. Kami masih menggunakan banyak dari mereka - misalnya, untuk menilai kelayakan kredit. Dengan setiap penggunaan baru, regulasi ikut bermain.
“Orang-orang telah menggunakan algoritme untuk menilai kelayakan kredit selama beberapa dekade, tetapi area ini memiliki beberapa penyelesaian yang cukup kuat yang telah tumbuh seiring dengan penggunaan algoritme prediktif,” kata Caruana. Aturan regulasi memastikan bahwa algoritme prediktif memberikan penjelasan untuk setiap skor: Anda ditolak karena Anda memiliki banyak kredit atau pendapatan terlalu sedikit.
Di area lain, seperti sistem hukum dan periklanan, tidak ada aturan yang melarang penggunaan algoritme yang sengaja tidak terbaca. Anda mungkin tidak tahu mengapa Anda ditolak pinjaman atau tidak dipekerjakan, karena tidak ada yang memaksa pemilik algoritme untuk menjelaskan cara kerjanya. “Tapi kami tahu bahwa karena algoritme dilatih pada data dunia nyata, algoritme harus bias - karena dunia nyata itu bias,” kata Caruana.
Pertimbangkan, misalnya, bahasa, salah satu sumber bias yang paling jelas. Ketika algoritme dilatih dari teks tertulis, algoritme membentuk beberapa asosiasi antara kata yang lebih sering muncul bersama. Misalnya, mereka belajar bahwa "bagi pria menjadi pemrogram komputer sama dengan wanita menjadi ibu rumah tangga." Ketika algoritma ini ditugaskan untuk menemukan resume yang cocok untuk pekerjaan programmer, kemungkinan besar akan dipilih dari antara kandidat laki-laki.
Masalah seperti ini cukup mudah diperbaiki, tetapi banyak perusahaan tidak mau melakukannya. Sebaliknya, mereka akan menyembunyikan ketidakkonsistenan tersebut di balik perisai informasi yang dilindungi. Tanpa akses ke detail algoritme, para ahli dalam banyak kasus tidak akan dapat menentukan apakah ada bias atau tidak.
Karena algoritme ini dirahasiakan dan tetap berada di luar yurisdiksi regulator, hampir tidak mungkin bagi warga untuk menuntut pencipta algoritme. Pada tahun 2016, Pengadilan Tinggi Wisconsin menolak permintaan seseorang untuk meninjau cara kerja COMPAS. Pria itu, Eric Loomis, dijatuhi hukuman enam tahun penjara sebagian karena COMPAS menganggapnya "berisiko tinggi". Loomis mengatakan haknya untuk proses hukum telah dilanggar oleh ketergantungan hakim pada algoritma yang tidak jelas. Permohonan terakhir ke Mahkamah Agung AS gagal pada Juni 2017.
Tetapi perusahaan rahasia tidak akan menikmati kebebasan mereka tanpa batas. Pada bulan Maret, UE akan mengesahkan undang-undang yang mewajibkan perusahaan untuk dapat menjelaskan kepada klien yang tertarik bagaimana algoritme mereka bekerja dan bagaimana keputusan dibuat. AS tidak memiliki undang-undang seperti itu dalam pengerjaannya.
Forensik kotak hitam
Terlepas dari apakah regulator terlibat dalam semua ini, perubahan budaya dalam bagaimana algoritme dirancang dan diterapkan dapat mengurangi prevalensi algoritme yang bias. Karena semakin banyak perusahaan dan pemrogram berkomitmen untuk membuat algoritme mereka transparan dan dapat dijelaskan, beberapa berharap bahwa perusahaan yang tidak melakukannya akan kehilangan reputasi baik mereka di mata publik.
Pertumbuhan dalam daya komputasi telah memungkinkan untuk membuat algoritme yang tepat dan dapat dijelaskan - tantangan teknis yang secara historis gagal diatasi oleh pengembang. Penelitian terbaru menunjukkan bahwa model yang dapat dijelaskan dapat dibuat yang memprediksi terulangnya penjahat seakurat kotak hitam ilmuwan forensik seperti COMPAS.
“Kami sudah selesai - kami tahu cara membuat model tanpa kotak hitam,” kata Cynthia Rudin, asisten profesor ilmu komputer dan teknik listrik di Duke University. “Tapi tidak mudah menarik perhatian orang ke karya ini. Jika lembaga pemerintah berhenti membayar model kotak hitam, itu akan membantu. Jika hakim menolak menggunakan model kotak hitam untuk hukuman, itu juga akan membantu."
Yang lain bekerja untuk menemukan cara untuk menguji validitas algoritme dengan membuat sistem check and balances sebelum algoritme dirilis ke dunia, sama seperti setiap obat baru diuji.
“Model dibuat dan diterapkan terlalu cepat sekarang. Tidak ada validasi yang tepat sebelum algoritme dirilis,”kata Sarah Tan dari Cornell University.
Idealnya, pengembang harus menyingkirkan bias yang diketahui - seperti jenis kelamin, usia, dan ras - dan menjalankan simulasi internal untuk menguji algoritme mereka untuk masalah lain.
Sementara itu, sebelum mencapai titik di mana semua algoritme akan diuji secara menyeluruh sebelum dirilis, sudah mungkin untuk menentukan algoritme mana yang akan mengalami bias.
Dalam karya terbaru mereka, Tan, Caruana, dan rekannya menjelaskan cara baru untuk memahami apa yang mungkin terjadi di balik terpal algoritme kotak hitam. Ilmuwan telah menciptakan model yang meniru algoritma kotak hitam, belajar memperkirakan risiko residivisme menggunakan data COMPAS. Mereka juga membuat model lain yang dilatih pada data dunia nyata untuk menunjukkan apakah residivisme yang diprediksi benar-benar terjadi. Membandingkan dua model memungkinkan ilmuwan menilai keakuratan skor yang diprediksi tanpa menganalisis algoritme. Perbedaan hasil kedua model dapat menunjukkan variabel mana, seperti ras atau usia, yang mungkin lebih penting dalam model tertentu. Hasilnya menunjukkan bahwa COMPAS mendiskriminasi orang kulit hitam.
Algoritme yang dirancang dengan baik dapat menghilangkan bias berkepanjangan dalam peradilan pidana, kepolisian, dan banyak bidang masyarakat lainnya.
Ilya Khel
