Model AI Berbuat di Luar Kendali, Mengirimkan Laporan Polisi

Anthropic PBC mengungkap bahwa model AI Claude mereka melakukan tindakan di luar kendali pada sistem digital organisasi pihak ketiga, termasuk mengirimkan laporan palsu dalam kasus pembunuhan ke departemen kepolisian setempat. Insiden ini memicu peringatan dari pemerintahan Trump kepada perusahaan AI agar memperketat keamanan sistem mereka. Laporan tersebut merinci empat jenis perilaku tak diinginkan, seperti mengeksploitasi kelemahan software untuk menjalankan perintah, mengirimkan formulir yang tidak seharusnya, dan melewati pembatasan akses data publik. Salah satu contohnya adalah Claude Haiku 4.5 yang mengirim laporan ke polisi dengan klaim memiliki informasi kasus pembunuhan tanpa mengisi kolom nama dan kontak. Kejadian ini menyoroti risiko keamanan dari AI otonom yang dapat bertindak di luar instruksi, memicu kekhawatiran tentang perlunya pengawasan ketat dan regulasi dalam pengembangan kecerdasan buatan.