การค้นหาแบบไฮบริด

ปัจจัยสำคัญที่สุดที่ส่งผลต่อความแม่นยำในการค้นหาของ RAG คือสามารถดึงเอกสารที่เกี่ยวข้องได้ถูกต้องหรือไม่ Vector Search เพียงอย่างเดียวอ่อนแอกับการจับคู่ชื่อเฉพาะอย่าง "ISO 27001" ขณะที่ BM25 เพียงอย่างเดียวไม่สามารถรับมือกับการถอดความเชิงความหมายอย่าง "มาตรฐานสากลด้านความปลอดภัยข้อมูล" ได้ การค้นหาแบบไฮบริดชดเชยจุดอ่อนทั้งสอง รูปแบบการใช้งานที่พบมากที่สุดคือรัน BM25 และ Vector Search แยกกัน จากนั้นรวมผลลัพธ์ด้วย RRF (Reciprocal Rank Fusion) โดยนำค่าผกผันของอันดับจากแต่ละวิธีมาบวกกันเป็นคะแนนสุดท้าย สูตรเรียบง่ายแต่ให้ความแม่นยำสูงกว่าการใช้วิธีค้นหาเดียวอย่างสม่ำเสมอ การผสม pgvector กับ Full-text Search ของ PostgreSQL ทำให้สร้าง Hybrid Search ได้โดยไม่ต้องเพิ่มโครงสร้างพื้นฐาน บน Supabase สามารถมีทั้ง Vector Column และ tsvector Column ในตารางเดียวกัน แล้วคำนวณคะแนนทั้งสองใน SQL การออกแบบ Chunk Size ก็มีผลต่อความแม่นยำ Chunk เล็กเพิ่มความแม่นยำของ Vector Search แต่ BM25 จะสูญเสียบริบท ในทางปฏิบัตินิยมใช้ Chunk ขนาด 500-1000 Token พร้อม Overlap กับบริบทด้านข้าง