RAG Is Not the Whole Toolkit: The NLP Techniques Real Problems Still Need

Artikel ini menyoroti bahwa mengandalkan prompt atau LLM (Large Language Model) untuk setiap permintaan dalam sistem RAG (Retrieval-Augmented Generation) seringkali tidak efisien dan mahal. Insinyur disarankan untuk menggunakan pendekatan berjenjang, dimulai dari metode termurah dan tercepat seperti pencocokan eksak, koreksi ejaan, dan pencarian kata kunci, sebelum akhirnya beralih ke LLM jika memang diperlukan. Penulis memperkenalkan serial artikel pelengkap yang membahas tantangan teknik nyata pada pipeline RAG perusahaan yang melintasi berbagai komponen sistem. Topiknya mencakup penanganan teks berisik (typo, kesalahan OCR), justifikasi respons "Saya tidak tahu", penguraian tabel dalam PDF, serta pengujian sistem menggunakan tiruan (mock) yang tipe-datanya akurat. Serial ini juga menyajikan benchmark yang dapat direproduksi untuk memilih model LLM dan parser PDF. Alih-alih sekadar memberikan skor agregat, evaluasi dilakukan berdasarkan setiap jenis pertanyaan dan mode kegagalan, menekankan pentingnya metodologi pengukuran yang dapat bertahan meskipun model spesifik mulai usang. Terakhir, artikel membahas kelayakan menjalankan pipeline RAG sepenuhnya secara lokal menggunakan model seperti Ollama. Pengujian menunjukkan bahwa model lokal berskala lebih kecil (seperti qwen2.5:7b) dapat menjadi alternatif yang memadai untuk tahapan LLM dan embedding ketika cloud API dibatasi, memiliki rate-limit, atau dilarang karena alasan keamanan data.