A RAG That Says “Not in This Document” Has to Show Four Kinds of Evidence

Artikel ini membahas pentingnya sistem RAG (Retrieval-Augmented Generation) tingkat perusahaan untuk secara jujur menyatakan "tidak ada dalam dokumen ini" saat sebuah pertanyaan tidak memiliki jawaban di dalam sumber data. Alih-alih sekadar menjawab tidak tahu, sistem harus membuktikan keabsahan klaim ketidaktahuan tersebut agar tidak terlihat seperti kegagalan. Pembuktian tersebut diwujudkan melalui empat tahapan (bricks) yang masing-masing menghasilkan bukti: parsing dokumen melaporkan cakupan pemindaian, parsing pertanyaan memvalidasi kumpulan kata kunci, retrieval menyapu seluruh halaman tanpa terbatas pada hasil top-k, dan generasi terstruktur menyusun alasan ketiadaan jawaban. Dengan adanya rangkaian bukti ini, pengguna dapat melihat secara transparan bahwa sistem telah mencari seluruh variasi istilah di semua bagian tanpa menemukan kecocokan. Pendekatan ini mengubah jawaban "tidak ditemukan" menjadi respons yang informatif, terukur, dan dapat diaudit oleh pengguna. Selain itu, kerangka kerja ini juga mengantisipasi kasus khusus seperti jawaban parsial atau pertanyaan ambigu yang berada di luar lingkup dokumen. Pada akhirnya, format jawaban terstruktur memastikan bahwa baik jawaban "ya" maupun "tidak" dari model AI kecerdasan buatan sama-sama dapat diverifikasi. Disiplin dalam menyertakan bukti pada setiap jawaban mencegah halusinasi dan meningkatkan kepercayaan terhadap sistem secara keseluruhan.