Dengan perkembangan jaringan saraf dan teknologi pembelajaran mesin, cakupan aplikasinya juga berkembang. Jika jaringan saraf sebelumnya digunakan secara eksklusif untuk melakukan kalkulasi dan peramalan matematika, medis, fisik, biologi yang kompleks, sekarang teknologi ini mendapatkan popularitas yang luas di lingkungan yang lebih "biasa" - di bidang hiburan. Hanya mengambil langkah pertama ke arah ini, mereka sudah mampu menunjukkan hasil yang luar biasa dan terkadang bahkan luar biasa. Hari ini kita akan menganalisis beberapa contoh ilustrasi.
Proses pembuatan ulang video sangat rumit dan memakan waktu sehingga kita mungkin tidak akan pernah melihat banyak mahakarya klasik dunia dengan gambar baru, modern, jelas, dan menarik. Namun, dunia ini penuh dengan penggemar dan peminat cerdas yang berpengalaman dalam teknologi baru, dan khususnya jaringan saraf dan teknologi pembelajaran mesin, yang dengannya Anda dapat mencapai hasil yang luar biasa bahkan di rumah. Misalnya, pengguna YouTube Stefan Rumen dengan nama samaran CaptRobau memutuskan untuk mendemonstrasikan beberapa kemampuan jaringan saraf dalam memproses video dari serial fiksi ilmiah lama.
Karya sebelumnya adalah Remako Mod, sebuah "remake HD" dari RPG Final Fantasy VII Jepang klasik dan sangat populer yang disebut. Untuk melakukan ini, dia menggunakan algoritma AI AI Gigapixel, yang dengannya dia dapat menskalakan gambar dari gambar asli sebanyak 4 kali, mengubahnya menjadi resolusi HD tanpa perubahan signifikan pada desain seni aslinya. Jadi, sementara Anda menunggu satu dekade lagi hingga saat pengembang dan penerbit game komputer Jepang Square Enix secara resmi merilis remaster dari mungkin salah satu bagian terbaik dari seri game ini, Anda dapat mencoba mod Stefan Rumen sendiri dengan mengunduhnya dari situs ini.
Ngomong-ngomong, baru-baru ini, teknologi jaringan saraf untuk membuat ulang game lama dan menghadirkannya ke tampilan yang lebih relevan dan modern tanpa mengubah konsep asli umum telah menjadi tren nyata di antara berbagai modder. Misalnya, belum lama ini kita berbicara tentang teknologi ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), yang menerapkan teknologi penskalaan gambar dengan peningkatan kualitas 2-8x. Algoritme ini "memasukkan" gambar asli dengan resolusi rendah, setelah itu tidak hanya meningkatkan resolusi asli yang terakhir, tetapi juga meningkatkan kualitas gambar, melukis pada detail yang realistis dan membuat tekstur "lebih alami".
Perbandingan kualitas tekstur: di sebelah kiri adalah tekstur asli dari game Morrowind, di sebelah kanan - diproses oleh jaringan saraf.
Karakter dari Doom (kiri - dulu, kanan - menjadi).
Pemrosesan latar belakang di Resident Evil 3.
Video promosi:
Namun, di sela-sela pembuatan ulang "The Seventh Final" Stefan Rumen memutuskan untuk mengambil proyek lain - menggunakan teknologi pembelajaran mesin yang sama, tapi kali ini memproses bingkai dari seri fiksi ilmiah klasik tahun 90-an. Rumen memilih Star Trek: Deep Space Nine sebagai objek eksperimennya.
Penskalaan gambar langsung dari sebuah serial TV sangat berbeda dalam kompleksitasnya dari penskalaan gambar pra-render dari Final Fantasy VII, catat penulis, sehingga hasil akhirnya, meskipun terlihat lebih baik daripada materi asli dalam resolusi rendah, masih jauh dari ideal. Anda bisa bermimpi sejak pemutar Blu-ray pertama memasuki pasar. Terkadang, "artefak" kecil muncul di layar. Tapi, sekali lagi, secara umum, semuanya terlihat lebih dari layak. Tapi, secara umum, buktikan sendiri.
Untuk proyek ini, Rumen juga menggunakan algoritma AI Gigapixel, yang dilatih untuk mengedit gambar berdasarkan foto nyata. Penulis mencatat bahwa gambar baru diperoleh dalam 1080p dan 4k, tetapi karena Rumen tidak memiliki TV atau monitor dengan resolusi 4K asli, ia tidak dapat menilai versi 4K secara memadai.
Sayangnya, Anda tidak bisa menonton keseluruhan serial dalam kualitas Full HD. Proses pengolahan semua bahan sumber akan memakan waktu yang sangat lama, sehingga Rumen hanya menggunakan frame terpisah dari seri yang berbeda untuk demonstrasi. Menurutnya, dia mengambil proyek ini hanya untuk satu alasan - untuk menunjukkan bahwa itu benar-benar mungkin. Menurut pendapatnya, seluruh tim profesional yang bekerja di perusahaan televisi besar dan memiliki peralatan komputer yang lebih sesuai dan kuat untuk pekerjaan semacam itu akan dapat menangani tugas ini dengan lebih baik.
Menggunakan jaringan saraf untuk menyederhanakan pekerjaan pemrosesan gambar lama dari video game dan film bukan satu-satunya area di mana teknologi tersebut dapat menunjukkan bakat mereka. Di dunia modern, di mana kamera panorama yang mampu menghasilkan 360 derajat, serta headset realitas virtual, semakin populer, pengembang mulai aktif mengeksplorasi potensi fotografi panorama.
Salah satu perkembangan terbaru dalam arah ini adalah jaringan saraf yang mampu menampilkan gambar statis panorama. Ini ditulis oleh pakar pembelajaran mesin dari Universitas Massachusetts, Universitas Columbia, dan Universitas George Mason.
Algoritma yang dibuat menentukan jenis lingkungan dan objek dalam foto, kemudian memilih dan mengatur suara dari database yang digunakan sesuai dengan perhitungan spasial jarak ke sumbernya pada gambar ini. Berkat ini, gambar panorama memperoleh suara yang realistis dan luas yang memungkinkan Anda mengevaluasi gambar yang disajikan dengan cara yang benar-benar baru.
Menurut pengembang jaringan saraf ini, teknologi tersebut mungkin menarik minat para pengembang konten VR (film dan game). Yang terakhir, dalam hal ini, tidak perlu menghamparkan semua suara secara manual pada gambar panorama, jaringan saraf akan dapat melakukan semuanya sendiri.
Nikolay Khizhnyak
