Your LLM Can Return Perfect JSON and Still Be Wrong

Seorang pengembang membagikan pengalaman soal kegagalan tersembunyi pada Large Language Model (LLM) saat menggunakan fitur Structured Outputs. Meskipun output JSON yang dihasilkan selalu valid secara format, model kerap menghalusinasi data, seperti mengisi tanggal transaksi dengan tanggal saat ini saat informasi tersebut tidak ada di teks asli, hanya karena skema mengharuskannya. Solusi pertama untuk masalah ini adalah membuat field yang tidak pasti menjadi nullable (opsional). Pendekatan ini menghilangkan tekanan bagi model untuk mengarang nilai, serta membedakan secara jelas antara tugas ekstraksi langsung dari teks dan inferensi. Menambahkan field khusus untuk 'bukti' kutipan teks asli juga sangat membantu mendeteksi halusinasi. Selain itu, validasi logika nilai sebaiknya tidak diserahkan kepada LLM. Penggunaan library seperti Pydantic terbukti lebih efektif untuk memastikan data masuk akal, misalnya menolak nominal negatif atau tanggal di masa depan. Jika validasi gagal, proses pengulangan dibatasi maksimal dua kali sebelum diteruskan ke manusia. Kesimpulannya, Structured Outputs hanya menjamin format data, bukan kebenaran isinya. Fokus pengembangan pipeline seharusnya tidak hanya sebatas mendapatkan JSON yang tidak rusak, melainkan memastikan setiap nilai yang diekstrak benar-benar memiliki dasar yang valid dari sumber aslinya.