Artificial Intelligence membaca komentar agresif dari pengguna Reddit dan memahami bagaimana orang yang membenci orang lain berbicara. Lebih sulit untuk menipunya daripada moderator bot biasa.
Internet dihuni oleh para troll yang gemuk dan kurus dan hanya orang-orang kasar yang tidak merogoh saku untuk kata-kata. Memoderasi Internet secara manual adalah pekerjaan yang sulit dan tanpa pamrih. Bot yang diprogram untuk mencari kata-kata dari "daftar terlarang" bekerja lebih baik, tetapi mereka tidak dapat mengetahui kapan komentar pedas dengan kata-kata kode adalah lelucon yang tidak berbahaya, dan kapan itu adalah serangan verbal yang jahat.
Para peneliti di Kanada telah mengajarkan kecerdasan buatan untuk membedakan lelucon kasar dari lelucon yang menyakitkan dan apa yang oleh sosiolog disebut "ujaran kebencian".
Dana Wormsley, salah satu pencipta AI, mencatat bahwa "perkataan yang mendorong kebencian" sulit untuk diformalkan. Memang, kata-kata yang secara resmi menyinggung dapat digunakan baik dengan ironi maupun dalam arti yang lebih ringan; hanya beberapa teks yang mengandung kata-kata seperti itu yang secara serius menghasut dan menghina. Kami tidak akan memberi contoh, karena organisasi pemerintah yang mengatur Internet di Rusia belum memiliki kecerdasan buatan).
Jaringan saraf dilatih tentang contoh pernyataan anggota komunitas yang dikenal karena sikap bermusuhan mereka terhadap kelompok populasi yang berbeda. Jaringan saraf belajar dari postingan Reddit, sebuah platform tempat Anda dapat menemukan berbagai kelompok kepentingan, mulai dari aktivis hak sipil hingga misoginis radikal. Teks yang diunggah ke sistem paling sering menghina orang Afrika-Amerika, orang yang kelebihan berat badan, dan wanita.
Jaringan neural yang dilatih dengan cara ini memberikan hasil positif palsu yang lebih sedikit daripada program yang menentukan "perkataan yang mendorong kebencian" berdasarkan kata kunci. Sistem menangkap rasisme di mana tidak ada kata-kata indikator sama sekali. Namun meski performanya bagus, pembuat AI moderator ini tidak yakin pengembangannya akan banyak digunakan. Sejauh ini, dia telah berhasil menemukan perkataan yang mendorong kebencian di Reddit, tetapi apakah dia akan dapat melakukan hal yang sama di Facebook dan platform lain tidak diketahui. Selain itu, sistemnya tidak sempurna, terkadang kehilangan banyak pernyataan rasis yang tampaknya tidak sopan yang tidak akan terlewatkan oleh mesin pencari kata kunci. Satu-satunya yang mampu membedakan penghinaan dari lelucon yang tidak bersalah selama orang tersebut tetap ada.
