ເອັມເບັດດິງ (Embedding)
ເອັມເບັດດິງ (Embedding) ແມ່ນເທັກນິກທີ່ແປງຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ ເຊັ່ນ ຂໍ້ຄວາມ, ຮູບພາບ ແລະ ສຽງ ໃຫ້ເປັນເວັກເຕີຕົວເລກຄວາມຍາວຄົງທີ່ ໂດຍຍັງຮັກສາຄວາມສຳພັນທາງຄວາມໝາຍ.
ຄອມພິວເຕີບໍ່ສາມາດຕັດສິນຈາກຕົວໜັງສືວ່າ "ໝາກແອ໊ບເປິ້ນ" ກັບ "ໝາກກ້ຽງ" ຄ້າຍກັນ. ເອັມເບັດດິງແກ້ໄຂບັນຫານີ້ ໂດຍແປງເປັນເວັກເຕີຫຼາຍຮ້ອຍມິຕິ ຄວາມໃກ້ຄຽງເຊີງຄວາມໝາຍກາຍເປັນຄວາມໃກ້ຄຽງເຊີງຕົວເລກ. ເອັມເບັດດິງມີບົດບາດສຳຄັນພາຍໃນ LLM ເຊັ່ນກັນ. ໃນການປະຕິບັດ ເອັມເບັດດິງລະດັບປະໂຫຍກຖືກໃຊ້ຫຼາຍທີ່ສຸດ. ໂມເດນ text-embedding-3-small ຫຼື embed-v4 ແປງປະໂຫຍກເປັນເວັກເຕີດຽວ ເກັບໃນຖານຂໍ້ມູນເວັກເຕີສ້າງ Semantic Search ແລະ RAG ໄດ້.
ຄຳສັບທີ່ກ່ຽວຂ້ອງ
ຖານຂໍ້ມູນເວັກເຕີ
ຖານຂໍ້ມູນເວັກເຕີ (Vector Database) ແມ່ນຖານຂໍ້ມູນທີ່ເກັບຮັກສາຂໍ້ຄວາມ ແລະ ຮູບພາບເປັນເວັກເຕີຕົວເລກ (Embedding) ແລະ ໃຫ້ບໍລິການຄົ້ນຫາໄວຕາມຄວາມຄ້າຍຄືກັນທາງຄວາມໝາຍ.
ຕົວແບ່ງໂທເຄັນ BPE (Byte-Pair Encoding Tokenizer)
ສູດການຄິດໄລ່ທີ່ລວມຂໍ້ຄວາມດ້ວຍຮູບແບບທີ່ປາກົດເລື້ອຍໆ ແລະ ແບ່ງອອກເປັນໜ່ວຍ subword. ມັນສົ່ງຜົນໂດຍກົງຕໍ່ຕົ້ນທຶນການນຳເຂົ້າ-ສົ່ງອອກ ແລະ ຄວາມໄວໃນການປະມວນຜົນຂອງ LLM, ແລະ ສຳລັບພາສາທີ່ມີຊັບພະຍາກອນໜ້ອຍ, ການຂາດແຄນຄຳສັບສະເພາະໃນ vocabulary ຈະເຮັດໃຫ້ເກີດການແຍກລະດັບ byte.
ຊິຟທ໌ເລັຟທ໌ (Shift Left)
ການ Shift Left ແມ່ນວິທີການພັດທະນາທີ່ເລັ່ງຂັ້ນຕອນຕ່າງໆ ເຊັ່ນ: ການທົດສອບ, ການກວດສອບຄວາມປອດໄພ, ແລະ ການກວດສອບຄຸນນະພາບ ໃຫ້ເກີດຂຶ້ນໃນຊ່ວງຕົ້ນຂອງວົງຈອນການພັດທະນາ ເພື່ອຫຼຸດຜ່ອນຄ່າໃຊ້ຈ່າຍໃນການຄົ້ນພົບ ແລະ ແກ້ໄຂຂໍ້ບົກພ່ອງ.
