Kecerdasan buatan secara aktif berkembang di Rusia dan dunia - termasuk emosional. Dia tertarik pada perusahaan besar dan startup ambisius yang memperkenalkan perkembangan baru di bidang ritel, pemasaran, pendidikan, perbankan, dan perekrutan. Menurut Mordor Intelligence, pasar pengenalan emosi bernilai $ 12 miliar pada tahun 2018 dan akan tumbuh menjadi $ 92 miliar pada tahun 2024.
Apa itu AI emosional
Emotion AI (Emotion AI) adalah AI yang memungkinkan komputer mengenali, menafsirkan, dan merespons emosi manusia. Kamera, mikrofon, atau sensor yang dapat dikenakan membaca keadaan seseorang, dan jaringan saraf memproses data untuk menentukan emosi.
Ada dua cara utama untuk menganalisis emosi:
- Kontak. Seseorang memakai perangkat yang membaca denyut nadinya, impuls listrik tubuh dan indikator fisiologis lainnya. Teknologi semacam itu tidak hanya dapat menentukan emosi, tetapi juga tingkat stres atau kemungkinan serangan epilepsi.
- Tanpa kontak fisik. Emosi dianalisis berdasarkan rekaman video dan audio. Komputer mempelajari ekspresi wajah, gerak tubuh, gerakan mata, suara dan ucapan.
Untuk melatih jaringan saraf, data scientist mengumpulkan sampel data dan secara manual menandai perubahan kondisi emosi seseorang. Program ini mempelajari pola dan memahami tanda mana yang termasuk dalam emosi.
Jaringan saraf dapat dilatih pada data yang berbeda. Beberapa perusahaan dan laboratorium menggunakan kaset video, yang lain mempelajari suara, dan beberapa mendapatkan keuntungan dari berbagai sumber. Namun semakin beragam datanya, semakin akurat hasilnya.
Pertimbangkan dua sumber utama:
Video promosi:
Foto dan foto dari video
Gambar diproses terlebih dahulu untuk memudahkan AI bekerja. Fitur wajah - alis, mata, bibir, dan sebagainya - ditandai dengan titik-titik. Jaringan saraf menentukan posisi titik, membandingkannya dengan tanda-tanda emosi dari templat dan menyimpulkan emosi mana yang tercermin - kemarahan, ketakutan, kejutan, kesedihan, kegembiraan atau ketenangan.
Ada juga pendekatan lain. Penanda emosi segera terlihat di wajah - misalnya, senyum atau alis yang cemberut. Kemudian jaringan saraf mencari penanda pada gambar, menganalisis kombinasinya, dan menentukan keadaan orang tersebut.
Studi tentang penanda emosi dimulai pada abad ke-20. Benar, kemudian mereka dianggap terpisah dari jaringan saraf. Ilmuwan Paul Ekman dan Wallace Friesen mengembangkan Sistem Pengkodean Tindakan Wajah (FACS) pada tahun 1978. Ini memecah ekspresi wajah menjadi gerakan otot individu, atau Unit Aksi. Peneliti mempelajari unit motorik dan membandingkannya dengan emosi.
Suara dan ucapan
Jaringan saraf mengekstrak banyak parameter suara dari sinyal akustik - misalnya, nada dan irama. Dia mempelajari perubahan waktu mereka dan menentukan keadaan pembicara.
Terkadang spektogram digunakan untuk pelatihan - gambar yang menunjukkan kekuatan dan frekuensi sinyal dari waktu ke waktu. Selain itu, AI menganalisis kosakata untuk mendapatkan hasil yang lebih akurat.
Dimana teknologinya digunakan
Penjualan dan periklanan
Penggunaan paling jelas dari teknologi pengenalan emosi adalah dalam pemasaran. Dengan bantuan mereka, Anda dapat menentukan bagaimana video iklan memengaruhi seseorang. Untuk melakukan ini, Anda dapat, misalnya, memasang struktur dengan kamera yang akan mengubah iklan tergantung pada suasana hati, jenis kelamin, dan usia orang yang lewat.
Desain serupa dikembangkan oleh startup Cloverleaf dan Affectiva. Mereka memperkenalkan iklan titik rak elektronik yang disebut shelfPoint yang mengumpulkan data tentang emosi pembeli. Teknologi baru telah diuji oleh Procter & Gamble, Walmart, dan perusahaan besar lainnya. Menurut Cloverleaf, penjualan naik 10-40%, sementara keterlibatan pelanggan meningkat 3-5 kali lipat.
Pilihan yang lebih tidak biasa adalah konsultan robot dengan kecerdasan buatan. Dia akan berinteraksi dengan klien, membaca emosi mereka dan mempengaruhi mereka. Dan juga buat penawaran yang dipersonalisasi.
Robot layanan disajikan oleh startup Rusia Promobot. Ini menggunakan jaringan saraf yang dikembangkan oleh Neurodata Lab, yang menentukan emosi dari beberapa sumber sekaligus: rekaman wajah, suara, gerakan, serta pernapasan dan denyut nadi.
Promobot secara aktif menjual robotnya ke luar negeri. Pada tahun 2018, startup tersebut menandatangani kontrak dengan perusahaan Amerika Intellitronix sebesar $ 56,7 juta, dan selanjutnya setuju untuk memasok perangkat ke Arab Saudi, Israel, Kuwait dan Swedia - bagi mereka perusahaan akan menerima $ 1,1 juta. Menurut Promobot, saat ini 492 robot sedang bekerja. di 34 negara di seluruh dunia sebagai pemandu, petugas, konsultan dan promotor.
Bank
Teknologi pengenalan emosi membantu bank mendapatkan umpan balik pelanggan tanpa survei dan meningkatkan layanan. Kamera video dipasang di departemen, dan algoritma untuk merekam menentukan kepuasan pengunjung. Jaringan saraf juga dapat menganalisis suara dan ucapan klien dan operator selama panggilan ke pusat kontak.
Di Rusia, mereka telah mencoba menerapkan AI emosional untuk waktu yang lama: telah diuji di Sberbank pada tahun 2015, dan tiga tahun kemudian, Alfa-Bank meluncurkan uji coba untuk menganalisis emosi dari video. Selain rekaman dari kamera pengintai, rekaman panggilan juga digunakan. VTB meluncurkan proyek percontohan untuk mengimplementasikan AI emosional pada tahun 2019. Dan Rosbank bersama dengan Neurodata Lab telah menguji determinasi emosi nasabah melalui suara dan ucapan. Klien menelepon bank, dan jaringan saraf menganalisis keadaannya dan arti percakapan. Selain itu, AI memperhatikan jeda dalam pidato operator, volume suara dan waktu komunikasi. Ini memungkinkan tidak hanya untuk memeriksa kepuasan terhadap layanan, tetapi juga untuk memantau pekerjaan operator pusat kontak.
Sekarang Rosbank telah menerapkan solusinya sendiri untuk pengenalan emosi. Alih-alih memberikan sinyal akustik, sistem menganalisis teks, sementara akurasinya tetap tinggi.
Pusat Teknologi Pidato juga terlibat dalam mengenali emosi dalam ucapan (Sberbank memiliki saham mayoritas). Layanan Smart Logger menganalisis suara dan kosakata pelanggan dan operator, waktu bicara dan jeda untuk mengetahui kepuasan layanan.
Bidang hiburan
Sistem pengenalan emosi dapat digunakan untuk mengukur reaksi penonton terhadap sebuah film. Disney pada tahun 2017, bekerja sama dengan para ilmuwan, melakukan eksperimen: memasang kamera di bioskop dan menghubungkan algoritme pembelajaran mendalam untuk menilai emosi penonton. Sistem dapat memprediksi reaksi orang dengan mengamatinya hanya dalam beberapa menit. Selama percobaan, kami mengumpulkan kumpulan data yang mengesankan: 68 penanda dari masing-masing 3.179 pemirsa. Secara total, 16 juta gambar wajah diperoleh.
Untuk tujuan yang sama, hosting video YouTube telah membuat AI-nya sendiri yang disebut YouFirst. Ini memungkinkan blogger video dan bisnis untuk menguji konten sebelum dirilis ke platform. Pengguna mengklik tautan khusus, setuju untuk merekam video dan menonton video. Pada saat ini, jaringan saraf menentukan reaksinya dan mengirimkan datanya ke pemilik saluran.
Di antara perusahaan Rusia, reaksi terhadap video dapat dianalisis, misalnya oleh Neurobotics. Perusahaan telah mengembangkan program EmoDetect yang mengenali kegembiraan, kesedihan, kejutan, ketakutan, kemarahan, rasa jijik, dan netralitas. Program ini mempelajari hingga 20 fitur wajah lokal dalam bingkai beku dan serangkaian gambar. Sistem menganalisis unit motor dan menggunakan teknologi pengkodean wajah FACS. Anda dapat merekam video dari webcam. API EmoDetect memungkinkan Anda mengintegrasikan produk dengan aplikasi eksternal.
AI emosional juga mulai diterapkan di industri game. Ini membantu mempersonalisasi permainan dan menambahkan lebih banyak interaksi dengan pemain.
Misalnya, perusahaan AI emosional Amerika, Affectiva, membantu menciptakan film thriller psikologis Nevermind. Ketegangan tergantung pada keadaan pemain: plot menjadi lebih gelap saat dia berada di bawah tekanan, dan sebaliknya.
pendidikan
Pengakuan emosi juga berlaku untuk pendidikan. Ini dapat digunakan untuk mempelajari suasana hati dan perhatian siswa selama kelas.
Pengembang Rusia telah menerapkan AI emosional di Perm. Pendorong perkembangan teknologi adalah serangan siswa terhadap siswa sekolah dasar dan guru. Rostelecom dan startup New Vision telah mengembangkan program Smart and Safe School untuk memantau keadaan emosi anak-anak. Ini akan membantu mengidentifikasi remaja asosial sebelum tragedi terjadi.
Itu didasarkan pada sistem Paul Ekman. Jaringan saraf menganalisis gerakan otot sekecil apa pun dengan menggunakan 150 titik di wajah. Banyak data dikumpulkan selama pelajaran: 5-6 ribu frame untuk setiap siswa. Program mempelajari kumpulan data dan menghitung keadaan emosi setiap anak. Menurut pencipta, keakuratannya 72%.
HR
AI emosional dapat berguna dalam bekerja dengan staf. Ini membantu untuk menentukan keadaan karyawan, untuk menyadari kelelahan atau ketidakpuasannya pada waktunya, dan untuk mendistribusikan kembali tugas dengan lebih efisien.
Selain itu, teknologi membantu perekrutan. Dengan bantuan AI emosional, Anda dapat memeriksa kandidat untuk suatu pekerjaan atau menemukan kebohongan selama wawancara.
Perusahaan Amerika HireVue menggunakan kecerdasan buatan untuk mengevaluasi kandidat. Pelamar menjalani wawancara video, dan jaringan saraf menentukan kondisinya dengan kata kunci, intonasi suara, gerakan, dan ekspresi wajah. AI menyoroti karakteristik yang penting untuk pekerjaan itu dan memberi nilai, dan manajer SDM memilih kandidat yang tepat.
Startup yang berbasis di London, Human, menggunakan video untuk mengidentifikasi emosi dan mencocokkannya dengan karakter. Setelah wawancara video, perekrut menerima laporan yang mengatakan seberapa jujur, ingin tahu, bersemangat, antusias, atau percaya diri kandidat dan bagaimana dia menanggapi pertanyaan.
Obat
Di area ini, tidak hanya non-kontak, tetapi juga metode kontak untuk menentukan emosi akan berguna. Mereka sedang aktif diimplementasikan oleh startup asing - misalnya, Affectiva dan Brain Power. Perkembangan perusahaan termasuk kacamata AI yang membantu anak-anak dan orang dewasa penyandang autisme mengenali emosi orang lain dan mengembangkan keterampilan sosial.
Tetapi jaringan saraf dapat membantu pasien tanpa sensor yang dapat dikenakan. Ilmuwan di Massachusetts Institute of Technology telah menciptakan jaringan saraf yang mendeteksi depresi dengan menganalisis ucapan seseorang. Akurasi hasilnya 77%. Dan startup Beyond Verbal menggunakan AI untuk menganalisis kesehatan mental pasien. Dalam kasus ini, jaringan saraf hanya memilih biomarker suara dari rekaman audio.
Mobil
Massachusetts Institute of Technology sedang mengembangkan AI yang disebut AutoEmotive yang akan menentukan kondisi pengemudi dan penumpang. Ia tidak hanya akan memantau tingkat stres, tetapi juga mencoba menguranginya - dengan memainkan musik lembut, menyesuaikan suhu di kabin, atau mengambil rute yang tidak terlalu sibuk.
Keterbatasan AI emosional
Jaringan saraf tidak dapat memperhitungkan konteksnya
AI telah belajar untuk mengidentifikasi emosi dan keadaan dasar manusia, tetapi sejauh ini AI tidak dapat mengatasi situasi yang lebih kompleks dengan baik. Para ilmuwan mencatat bahwa ekspresi wajah tidak selalu secara akurat menunjukkan bagaimana perasaan seseorang sebenarnya. Senyumannya bisa pura-pura atau sarkastik, dan ini hanya bisa ditentukan oleh konteks.
Pakar NtechLab percaya bahwa masih sulit untuk secara akurat menentukan alasan emosi ini atau itu.
NtechLab menekankan bahwa penting untuk mengenali tidak hanya ekspresi wajah, tetapi juga gerakan manusia. Data yang beragam akan membuat AI emosional jauh lebih efisien. Daniil Kireev, peneliti terkemuka di perusahaan pengembangan produk pengenalan wajah VisionLabs, setuju dengan hal ini. Menurutnya, dengan jumlah data yang besar, akurasi algoritma akan meningkat.
“Ada kesalahan, jumlahnya bergantung pada banyak faktor: kualitas sampel pelatihan, jaringan saraf terlatih, data tempat sistem akhir bekerja. Dengan menambahkan informasi dari berbagai sumber - misalnya, suara - Anda dapat meningkatkan kualitas sistem. Pada saat yang sama, penting untuk dipahami bahwa dengan wajah kita lebih menentukan ekspresinya daripada emosi terakhir. Algoritme mungkin mencoba menentukan emosi yang disimulasikan, tetapi untuk ini, pengembangan teknologi harus mengambil langkah kecil ke depan,”kata Daniil Kireev.
Peralatan buruk
Faktor eksternal mempengaruhi kualitas algoritma. Agar akurasi pengenalan emosi tinggi, kamera video dan mikrofon harus berkualitas tinggi. Selain itu, hasil dipengaruhi oleh pencahayaan, lokasi kamera. Menurut Daniil Kireev, kondisi yang tidak terkendali mempersulit proses penentuan keadaan seseorang.
Agar AI emosional berkembang, Anda memerlukan perangkat keras berkualitas. Jika Anda menemukan peralatan yang bagus dan memasangnya dengan benar, keakuratan hasil akan sangat tinggi. Dan jika sudah lebih mudah diakses dan tersebar luas, teknologi pengenalan emosi akan ditingkatkan dan diterapkan dengan lebih aktif.
“Akurasi sistem bergantung pada banyak faktor. Yang utama adalah kualitas bingkai foto dari kamera, yang diberikan ke sistem untuk dikenali. Sebaliknya, kualitas bingkai foto dipengaruhi oleh pengaturan dan karakteristik kamera, matriks, pencahayaan, lokasi perangkat, jumlah wajah dalam bingkai. Dengan konfigurasi yang benar dari perangkat keras dan perangkat lunak, adalah mungkin untuk mencapai keakuratan emosi yang terdeteksi hingga 90-95%,”kata Vitaly Vinogradov, manajer produk layanan pengawasan video cloud dan analisis video Ivideon.
Perspektif Teknologi
Sekarang di Rusia, kecerdasan buatan yang emosional hanya mendapatkan momentum. Startup mengembangkan teknologi dan memasarkan produk mereka, dan pelanggan mengujinya dengan hati-hati.
Tetapi Gartner memperkirakan bahwa pada tahun 2024, lebih dari setengah iklan online akan dibuat menggunakan AI yang emosional. Visi komputer, yang digunakan untuk mendeteksi emosi, akan menjadi salah satu teknologi terpenting dalam 3-5 tahun ke depan. Dan MarketsandMarkets memperkirakan bahwa pasar analisis emosi akan berlipat ganda pada tahun 2024 - dari $ 2,2 miliar menjadi $ 4,6 miliar.
Selain itu, perusahaan besar menunjukkan minat pada pengenalan emosi - misalnya, Procter & Gamble, Walmart, VTB, Rosbank, Sberbank, dan Alfa-Bank. Dan startup domestik sedang mengembangkan proyek percontohan yang akan menjadi solusi siap pakai untuk bisnis di masa depan.
Evgeniya Khrisanfova
