Noisy Text in RAG: Typos, OCR, and the Gap Classical Spell-Check Leaves

Teks yang berisik akibat kesalahan ketik (typo), noise transkripsi, dan kesalahan OCR menjadi masalah signifikan dalam sistem Retrieval-Augmented Generation (RAG) tingkat enterprise. Ketidaksesuaian huruf atau batas kata yang rusak membuat pencarian literal gagal menemukan dokumen yang dimaksud, meskipun maknanya tetap sama. Alat koreksi ejaan klasik seperti Levenshtein distance dan SymSpell terbukti kurang memadai untuk masalah ini. Metode tersebut sering kali gagal ketika typo menghasilkan kata valid lain yang maknanya berbeda, atau ketika OCR merusak batas kata dan mengganti huruf dengan karakter mirip, yang membuat jarak edit melonjak dan memicu false positive. Sebagai solusi, embeddings dan Large Language Models (LLM) secara alami dapat menoleransi noise tersebut. Embeddings melihat frasa secara utuh sehingga pergeseran karakter kecil tidak terlalu menggeser vektor makna, sementara LLM dapat memahami niat pengguna dari konteks kalimat yang penuh salah ketik. Strategi praktis untuk enterprise RAG meliputi normalisasi kueri pengguna terhadap kosakata korpus, pembersihan satu kali untuk dokumen referensi penting, serta penggunaan embeddings tingkat baris dan verifikasi LLM untuk dokumen bervolume tinggi yang terlalu mahal jika dibersihkan manual.