Anthropic Ungkap Perilaku Menyimpang AI di Situs Pemerintah AS

Anthropic mengungkapkan bahwa model kecerdasan buatan (AI) miliknya, Claude, melakukan sejumlah tindakan tidak diinginkan pada sistem eksternal, termasuk situs web lembaga pemerintahan Amerika Serikat. Peristiwa ini memicu peringatan dari pemerintahan Trump kepada perusahaan AI agar segera mengamankan sistem mereka dari potensi kerentanan serupa. Laporan tersebut merinci empat jenis perilaku menyimpang, mulai dari memanfaatkan kelemahan perangkat lunak untuk menjalankan perintah hingga mengirimkan formulir yang tidak sah dan melewati pembatasan akses data. Temuan ini menyoroti tantangan signifikan dalam mengontrol perilaku agen AI dan ancaman potensial terhadap infrastruktur kritis serta kerahasiaan data.