Human-in-the-Loop Without Killing Throughput

Mengimplementasikan sistem Human-in-the-Loop (HITL) pada agen AI sering kali mengalami kegagalan karena antrean persetujuan manual yang terlalu luas. Awalnya, semua operasi tulis memerlukan persetujuan manusia, yang akhirnya menciptakan kemacetan dan 'kelelahan stempel karet' di mana peninjau menyetujui permintaan secara asal tanpa membaca sungguhan akibat volume yang terlalu tinggi. Solusi yang ditawarkan adalah mengganti persetujuan menyeluruh dengan perutean berbasis risiko. Sistem secara otomatis mengevaluasi tindakan agen berdasarkan radius dampak (jumlah baris yang terpengaruh), sensitivitas tabel, kedekatan semantik dengan kueri sebelumnya, dan tingkat perselisihan hasil AI. Hanya tindakan yang melewati ambang batas risiko tertentu yang akan dieskalasi ke manusia. Selain itu, antrean persetujuan dipisahkan dari antarmuka pengguna agar tidak terasa seperti sistem yang macet, melainkan diubah menjadi model tiket. Melalui pendekatan ini, waktu tinjauan manusia menjadi jauh lebih berharga karena difokuskan untuk mengevaluasi tindakan ambigu yang berisiko tinggi, di mana AI salah menafsirkan niat pengguna, alih-alih sekadar menyetujui tindakan rutin. Meski efektif, sistem perutean ini memerlukan pemeliharaan karena bobot risiko dan pola kueri dapat menyimpang seiring waktu. Penyesuaian router kini masih dilakukan secara manual dan terjadwal untuk mencegah sistem menjadi terlalu permisif atau konservatif, menjaga keseimbangan antara keamanan dan efisiensi operasional.