Coding Agents Can Solve the Task — But How Much Work Did They Waste?

Sebuah analisis terhadap 50.400 eksekusi agen coding mengungkap bahwa meskipun agen mampu menyelesaikan tugas, masih terjadi pemborosan langkah, perubahan patch yang berlebihan, dan keputusan agen yang tidak efisien. Studi ini menggunakan repositori nyata dan menyisipkan keputusan agen untuk mengukur seberapa banyak usaha terbuang selama proses penyelesaian tugas. Hasilnya menunjukkan bahwa agen sering kali mengulang langkah yang tidak perlu atau menghasilkan patch yang tidak stabil, sehingga meningkatkan biaya komputasi dan waktu penyelesaian. Penelitian ini juga mengevaluasi aturan harness yang dapat membantu mengurangi pemborosan tersebut. Temuan ini penting bagi pengembang dan peneliti yang ingin meningkatkan efisiensi agen coding berbasis AI, terutama dalam konteks otomatisasi pemrograman dan integrasi ke dalam alur kerja pengembangan perangkat lunak. Studi ini dipublikasikan oleh Towards Data Science dan menyoroti perlunya optimasi lebih lanjut pada desain agen serta strategi pengawasan manusia.