Bidang kecerdasan buatan sering dibandingkan dengan industri minyak: setelah diekstraksi dan dimurnikan, data, seperti minyak, dapat menjadi komoditas yang sangat menguntungkan. Namun, sekarang menjadi jelas bahwa metafora ini berkembang. Seperti bahan bakar fosil, pembelajaran mendalam memiliki dampak yang sangat besar terhadap lingkungan. Dalam sebuah studi baru, para ilmuwan di University of Massachusetts Amherst menilai siklus hidup pembelajaran dari beberapa model AI besar yang umum.
Ditemukan bahwa proses ini dapat menghasilkan lebih dari 626.000 pound (sekitar 300.000 kg) setara karbon dioksida, hampir lima kali emisi mobil biasa dalam lima tahun (termasuk produksi mobil itu sendiri).
Bagaimana model AI dilatih
Ini adalah penghitungan yang menakjubkan dari apa yang telah lama dicurigai oleh para peneliti AI.
Jejak Karbon Pemrosesan Bahasa Alami
Video promosi:
Makalah ini secara khusus membahas proses pelatihan model untuk pemrosesan bahasa alami (NLP), subbidang AI yang berhubungan dengan mesin pelatihan untuk bekerja dengan bahasa manusia. Selama dua tahun terakhir, komunitas NLP telah membuat beberapa pencapaian penting di bidang terjemahan mesin, penyelesaian kalimat, dan tugas penilaian standar lainnya. Model OpenAI GPT-2 yang terkenal, misalnya, telah berhasil menulis berita palsu yang meyakinkan.
Tetapi kemajuan seperti itu membutuhkan pelatihan model yang semakin besar pada kumpulan data yang direntangkan dari kalimat yang ditarik dari Internet. Pendekatan ini mahal secara komputasi dan sangat intensif energi.
Para peneliti melihat empat model di area yang bertanggung jawab atas lompatan kinerja terbesar: Transformer, ELMo, BERT, dan GPT-2. Mereka melatih masing-masing pada satu GPU selama sehari untuk mengukur konsumsi daya.
Mereka kemudian mengambil jumlah jam pelatihan yang ditentukan dalam dokumen model asli untuk menghitung total energi yang dikonsumsi selama seluruh proses pelatihan. Jumlah itu diubah menjadi setara dengan pon karbon dioksida, yang konsisten dengan bauran energi AWS dari Amazon, penyedia cloud terbesar di dunia.
Ditemukan bahwa biaya komputasi dan lingkungan dari pelatihan meningkat secara proporsional dengan ukuran model, dan kemudian meningkat secara eksponensial ketika keakuratan akhir model disesuaikan. Pencarian arsitektur saraf yang mencoba untuk mengoptimalkan model dengan secara bertahap mengubah struktur jaringan saraf melalui trial and error menimbulkan biaya yang sangat tinggi dengan sedikit peningkatan kinerja. Tanpanya, model BERT termahal meninggalkan jejak karbon 1.400 pound (635 kg), mendekati perjalanan pulang pergi trans-Amerika.
Selain itu, angka-angka ini sebaiknya hanya dianggap sebagai baseline.
Secara keseluruhan, para ilmuwan memperkirakan bahwa proses pembuatan dan pengujian model akhir yang layak dipublikasikan membutuhkan pelatihan 4.789 model dalam enam bulan. Dalam hal ekuivalen CO2, ini adalah sekitar 35.000 kg.
Signifikansi angka-angka ini sangat besar, terutama mengingat tren saat ini dalam penelitian AI. Secara umum, penelitian AI mengabaikan efisiensi karena jaringan neural yang besar dianggap berguna untuk berbagai tugas, dan perusahaan dengan sumber daya komputasi tak terbatas akan menggunakannya untuk mendapatkan keunggulan kompetitif.
Ilya Khel
