ARC-AGI-3: Saat video game jadi ujian terberat bagi AI

Kecerdasan buatan (AI) makin sering mengundang decak kagum. Dari menulis esai, bikin musik, sampai lulus ujian hukum dan kedokteran, performanya bikin sebagian orang percaya era artificial general intelligence (AGI) sebentar lagi tiba. 

Tapi, tunggu dulu. Ada satu hal sederhana yang ternyata masih membuat AI kelimpungan: belajar hal baru dengan cepat.

Manusia bisa melihat pola hanya dari dua atau tiga contoh, lalu langsung mengaplikasikannya ke situasi lain. AI? Tidak sesederhana itu. 

Mesin masih butuh ribuan data pelatihan sebelum benar-benar paham. Itulah sebabnya muncul Abstraction and Reasoning Corpus (ARC), tolok ukur yang sejak 2019 dipakai untuk menguji seberapa baik AI bisa generalisasi.

ARC awalnya berupa teka-teki grid kotak berwarna. Pemain—baik manusia maupun mesin—diminta mencari aturan tersembunyi lalu menerapkannya pada pola baru. 

Bagi manusia, rata-rata butuh satu-dua menit untuk menyelesaikan satu soal. Nilai rata-rata pun bisa tembus 66%. AI? Jangankan menyaingi, sering kali gagal menyelesaikan bahkan satu soal pun.

ARC berkembang lewat dua seri: ARC-AGI-1 dan ARC-AGI-2. Keduanya memperluas variasi soal, menambah ukuran grid, dan membuat aturan makin rumit. Meski model AI terbaru dari OpenAI sudah mulai ada kemajuan, tetap saja manusia jauh lebih unggul.

Kini, ARC Prize Foundation—lembaga nirlaba yang mengelola tes ini—memperkenalkan babak baru: ARC-AGI-3. Bedanya, kali ini bentuknya bukan lagi puzzle statis, melainkan video game. Ada seratus gim baru, masing-masing didesain untuk mengajarkan satu keterampilan kecil.

“Dalam hidup nyata, kita tidak menghadapi satu soal lalu memberi satu jawaban. Kita bergerak dalam dunia yang interaktif. Dengan game, kita bisa menguji apakah AI bisa merencanakan, mengeksplorasi, bahkan menebak tujuan dari sebuah konteks,” kata Presiden ARC Prize Foundation Greg Kamradt seperti dikutip dari Live Science, Senin (1/9). 

Definisi AGI sendiri sebenarnya masih jadi perdebatan. Dari sisi teknologi, AGI berarti mesin bisa belajar seefisien manusia—mulai dari bayi tanpa data, tumbuh memahami bahasa, hingga mampu menyetir mobil. Dari sisi observasi, AGI disebut tercapai ketika tidak ada lagi masalah yang bisa dipecahkan manusia, tapi gagal dipecahkan mesin.

Sejauh ini, tolok ukur itu masih jauh untuk bisa dicapai AI. “AI sudah bisa main catur, bisa kalahkan manusia di Go, tapi tidak serta-merta bisa belajar bahasa Inggris. Mereka belum bisa mentransfer keterampilan,” ujar Kamradt.

Manusia masih juara

Menariknya, dalam uji awal ARC-AGI-3, belum ada satu pun model AI yang berhasil menuntaskan level pertama. Manusia, meski baru pertama kali main, bisa beradaptasi lebih cepat. Artinya, jalan menuju AGI masih panjang—meski perkembangan AI belakangan ini terasa begitu cepat.

Bagi sebagian orang, kabar ini bisa jadi melegakan. Setidaknya, masih ada ruang aman sebelum mesin benar-benar menyalip kita di semua lini. Tapi bagi para peneliti, tantangan ini justru jadi peluang: bagaimana membuat AI bukan hanya pintar di ruang kelas, tapi juga luwes di dunia nyata.

Demis Hassabis, CEO Google DeepMind, mengatakan masih banyak tantangan yang harus dilewati AI supaya bisa bertransformasi menjadi AGI. AI, kata dia, mampu mengeksekusi tugas-tugas yang kompleks, tapi keteteran saat menghadapi persoalan yang sepele.

"AI kesulitan saat menghadapi masalah-masalah matematika dasar yang justru mudah diselesaikan manusia. Kecerdasan yang ‘bergerigi’ ini adalah hambatan signifikan dalam perlombaan global menuju pengembangan AGI," jelas Hassabis.