RRF

ຫົວໃຈຂອງ Hybrid Search

ໃນ RAG pipeline, ການໃຊ້ຮູບແບບ hybrid ທີ່ລວມການຄົ້ນຫາດ້ວຍຄີເວີດໂດຍ BM25 ແລະ vector search (semantic search) ເຂົ້າດ້ວຍກັນແມ່ນເປັນເລື່ອງທົ່ວໄປ. ຢ່າງໃດກໍຕາມ, ເນື່ອງຈາກ score ຂອງ BM25 ແລະ cosine similarity ມີ scale ແລະ distribution ທີ່ແຕກຕ່າງກັນຢ່າງສິ້ນເຊີງ, ການນຳເອົາມາບວກກັນແບບງ່າຍໆຈຶ່ງບໍ່ໃຫ້ຜົນການລວມທີ່ມີຄວາມໝາຍ.

RRF ແກ້ໄຂບັນຫານີ້ໄດ້ຢ່າງງ່າຍດາຍ. ໂດຍໃຊ້ພຽງແຕ່ "ລຳດັບ" ຂອງເອກະສານທີ່ຖືກສົ່ງຄືນຈາກແຕ່ລະວິທີການຄົ້ນຫາ, ແລ້ວລວມ score 1 / (k + rank) ຈາກທຸກວິທີການເຂົ້າດ້ວຍກັນ. ຄ່າຄົງທີ່ k (ໂດຍປົກກະຕິ 60) ແມ່ນ parameter ທີ່ໃຊ້ປັບນ້ຳໜັກຂອງລຳດັບ, ເມື່ອຄ່າຍິ່ງໃຫຍ່, ຄວາມແຕກຕ່າງລະຫວ່າງລຳດັບຕົ້ນແລະລຳດັບທ້າຍຈະຍິ່ງຫຼຸດລົງ.

ຕົວຢ່າງການຄຳນວນ

ໃນກໍລະນີທີ່ເອກະສານໜຶ່ງປາກົດໃນລຳດັບທີ 3 ຂອງ BM25 ແລະລຳດັບທີ 7 ຂອງ vector search:

RRF score = 1/(60+3) + 1/(60+7) = 0.0159 + 0.0149 = 0.0308

ເອກະສານທີ່ຕິດລຳດັບດີພໍສົມຄວນໃນທັງສອງການຄົ້ນຫາ ມີແນວໂນ້ມທີ່ຈະຖືກຈັດລຳດັບສູງກວ່າເອກະສານທີ່ຖືກພົບໃນການຄົ້ນຫາດຽວເທົ່ານັ້ນ. ນີ້ຄືສິ່ງທີ່ນຳໄປສູ່ຄວາມໝັ້ນຄົງຂອງ hybrid search.

ຂໍ້ສັງເກດດ້ານການ implement

ເນື່ອງຈາກ RRF ບໍ່ໃຊ້ຄ່າສົມບູນຂອງ score ຕົ້ນສະບັບ, ຂໍ້ດີຄືບໍ່ຈຳເປັນຕ້ອງ calibrate score ລະຫວ່າງ search engine ຕ່າງໆ, ໃນຂະນະດຽວກັນຕ້ອງລະວັງໃນການຈັດການເອກະສານທີ່ມີລຳດັບຊ້ຳກັນຫຼາຍ ຫຼືເອກະສານ long-tail. Elasticsearch 8.x ຂຶ້ນໄປ, Weaviate, Qdrant ແລະ vector DB ຫຼັກໆອື່ນໆ ຮອງຮັບ RRF ແບບ native.