InnovationEval: AI Kesulitan Menyamai Inovasi Riset Manusia

InnovationEval menguji apakah AI mampu menghasilkan inovasi riset pembelajaran mesin yang setara dengan peneliti manusia. Dalam evaluasi awal, model AI mutakhir hanya membuat sedikit kemajuan meski menghabiskan biaya komputasi GPU hingga ribuan dolar. Pengujian menuntut agen AI menjalankan siklus riset lengkap, mulai dari merancang gagasan, menerapkan, menguji, hingga memperbaiki pendekatan. Targetnya adalah menciptakan metode pascapelatihan baru yang mengalahkan baseline GRPO pada model Qwen3-8B. Perbedaan utama InnovationEval dari evaluasi lain adalah tuntutan untuk menghasilkan inovasi nyata, bukan sekadar menyelesaikan tugas dengan jawaban terdefinisi. Penguji memilih inovasi SDPO sebagai pijakan dan meminta agen melampaui capaian peneliti manusia. Hasil awal menunjukkan model frontier hanya mencatat kemajuan kecil dan belum membuktikan kemampuan otomatisasi riset secara mandiri. Tim pengembang akan memperluas dan mengulang pengujian untuk memantau perkembangan ke depan.