TurboQuant
ເຕັກໂນໂລຊີການບີບອັດໜ່ວຍຄວາມຈຳສຳລັບ LLM ທີ່ພັດທະນາໂດຍ Google. ຫຼຸດຜ່ອນການໃຊ້ໜ່ວຍຄວາມຈຳໄດ້ສູງສຸດເຖິງ 1/6 ດ້ວຍການ Quantization ແລະ ເພີ່ມຄວາມໄວໃນການ Inference ໄດ້ສູງສຸດເຖິງ 8 ເທົ່າ.
TurboQuant ແມ່ນເທັກໂນໂລຊີການບີບອັດໜ່ວຍຄວາມຈຳສຳລັບLLM (Large Language Model)ທີ່ວ່າກັນວ່າ Google ເປັນຜູ້ພັດທະນາ. ຢ່າງໃດກໍຕາມ, ໃນຂະນະທີ່ຂຽນບົດຄວາມນີ້, ຍັງບໍ່ທັນໄດ້ຮັບການຢືນຢັນຢ່າງເປັນທາງການຈາກ Google ວ່າມີເທັກໂນໂລຊີທີ່ໃຊ້ຊື່ນີ້, ດັ່ງນັ້ນຈຶ່ງຕ້ອງລະວັງໃນດ້ານຄວາມຖືກຕ້ອງຂອງຂໍ້ມູນ. ໂດຍທົ່ວໄປ, ການນຳໃຊ້Quantization (ການຄວອນໄຕເຊຊັນ)ສາມາດຫຼຸດຜ່ອນການໃຊ້ໜ່ວຍຄວາມຈຳຂອງໂມເດລໄດ້ຢ່າງຫຼວງຫຼາຍ ແລະ ປັບປຸງຄວາມໄວໃນການ inference ໄດ້, ແລະ ທ່າມກາງການຂະຫຍາຍຕົວຢ່າງໄວວາຂອງ AI model ຂະໜາດໃຫຍ່, ເທັກໂນໂລຊີນີ້ກຳລັງໄດ້ຮັບຄວາມສົນໃຈໃນຖານະເປັນວິທີການປັບປຸງທັງຕົ້ນທຶນການ deploy ແລະ latency ໃນເວລາດຽວກັນ.
ເປັນຫຍັງການບີບອັດໜ່ວຍຄວາມຈຳຈຶ່ງສຳຄັນໃນຕອນນີ້
ການປັບປຸງປະສິດທິພາບຂອງ LLM ມີຄວາມສຳພັນທີ່ແຍກອອກຈາກກັນບໍ່ໄດ້ກັບການເພີ່ມຂຶ້ນຂອງຈຳນວນ parameter ຂອງໂມເດລ. ຢ່າງໃດກໍຕາມ, ຍິ່ງ parameter ເພີ່ມຂຶ້ນ, ໜ່ວຍຄວາມຈຳGPU (Graphics Processing Unit)ທີ່ຕ້ອງການໃນຊ່ວງ inference ກໍຍິ່ງພອງໂຕຂຶ້ນ, ສົ່ງຜົນໃຫ້ຕົ້ນທຶນການດຳເນີນງານຕົວຈິງເພີ່ມຂຶ້ນຢ່າງຮວດໄວ. ໂດຍສະເພາະໃນວຽກງານທີ່ຕ້ອງການReasoning Model (ໂມເດລການໃຫ້ເຫດຜົນ)ຫຼືMulti-step Reasoning (ການໃຫ້ເຫດຜົນຫຼາຍຂັ້ນຕອນ), ປະລິມານໜ່ວຍຄວາມຈຳທີ່ໃຊ້ໃນການ inference ຄັ້ງດຽວມີແນວໂນ້ມທີ່ຈະໃຫຍ່ຂຶ້ນຢ່າງຫຼວງຫຼາຍ.
ວິທີການ quantization ແບບດັ້ງເດີມກໍສາມາດຫຼຸດຜ່ອນໜ່ວຍຄວາມຈຳໄດ້, ແຕ່ຕ້ອງປະເຊີນກັບ trade-off ກັບການເສື່ອມຄຸນນະພາບຢູ່ຕະຫຼອດ. ການອອກແບບທີ່ຮັບມືກັບສິ່ງທ້າທາຍເຫຼົ່ານີ້ຢ່າງຕົງໄປຕົງມາ, ໂດຍມຸ່ງໝາຍທີ່ຈະຮັກສາຄວາມຖືກຕ້ອງໄວ້ພ້ອມກັບບັນລຸທັງອັດຕາການບີບອັດ ແລະ ຄວາມໄວ, ຈຶ່ງເປັນສິ່ງທີ່ຕ້ອງການ.
ກົນໄກທາງເທັກນິກ
ຫົວໃຈຂອງເທັກໂນໂລຊີ quantization ປະເພດນີ້ຢູ່ທີ່ຂະບວນການ quantization ທີ່ແປງ weight ຂອງໂມເດລໃຫ້ເປັນການສະແດງຜົນແບບ low-bit. ໂດຍທົ່ວໄປ, weight ຂອງ LLM ຈະຖືກເກັບໄວ້ໃນຮູບແບບ FP32 (32-bit floating point) ຫຼື BF16 (16-bit), ແຕ່ຈະຖືກບີບອັດໃຫ້ເປັນ bit ທີ່ຕ່ຳກວ່ານັ້ນ. ສິ່ງທີ່ສຳຄັນໃນຂະບວນການນີ້ບໍ່ແມ່ນການ rounding ແບບງ່າຍໆ, ແຕ່ເປັນ adaptive quantization scheme ທີ່ຄຳນຶງເຖິງຄວາມອ່ອນໄຫວຂອງແຕ່ລະ layer.
ເມື່ອສະຫຼຸບຄຸນລັກສະນະສະເພາະ, ມີດັ່ງຕໍ່ໄປນີ້.
- ການວິເຄາະຄວາມອ່ອນໄຫວຕາມ layer: ແທນທີ່ຈະບີບອັດໂມເດລທັງໝົດຢ່າງເທົ່າທຽມກັນ, layer ທີ່ມີຜົນກະທົບຫຼາຍຕໍ່ຄວາມຖືກຕ້ອງຈະໃຊ້ high-bit, ໃນຂະນະທີ່ layer ທີ່ມີຜົນກະທົບໜ້ອຍຈະໃຊ້ low-bit ໃນການ quantize
- ການ optimize kernel: ຕິດຕັ້ງ kernel ສະເພາະສຳລັບການດຳເນີນການຄຳນວນຫຼັງ quantization ຢ່າງມີປະສິດທິພາບເທິງ GPU, ເພື່ອແກ້ໄຂ bottleneck ຂອງ memory bandwidth
- ການລວມເຂົ້າກັບການບີບອັດ cache: ໂດຍລວມ KV cache (ພື້ນທີ່ທີ່ເກັບ intermediate representation ໃນຊ່ວງ inference) ໄວ້ໃນເປົ້າໝາຍການບີບອັດດ້ວຍ, ຈຶ່ງຊ່ວຍເພີ່ມປະສິດທິພາບໜ່ວຍຄວາມຈຳໃນການປະມວນຜົນ context ຍາວ
ດ້ວຍການອອກແບບນີ້, ການດຳເນີນງານໃນສະພາບແວດລ້ອມທີ່ຊັບພະຍາກອນຈຳກັດ ເຊັ່ນ: Local LLM ຫຼື Edge AI ຈຶ່ງກາຍເປັນທາງເລືອກທີ່ເປັນໄປໄດ້ຕົວຈິງ.
ສະຖານະການທີ່ຄາດວ່າຈະໄດ້ຮັບປະໂຫຍດ
ຜູ້ທີ່ໄດ້ຮັບປະໂຫຍດຫຼາຍທີ່ສຸດຈາກເທັກໂນໂລຊີການບີບອັດໜ່ວຍຄວາມຈຳດັ່ງກ່າວ ຄືສະພາບແວດລ້ອມການຜະລິດຕົວຈິງທີ່ທັງ latency ແລະ ຕົ້ນທຶນຖືກກວດສອບຢ່າງເຂັ້ມງວດ. ຕົວຢ່າງ, ໃນMulti-agent System (ລະບົບຫຼາຍ agent)ທີ່AI agentເຮັດວຽກຮ່ວມກັນກັບໂມເດລຫຼາຍໂຕ, ຕົ້ນທຶນ inference ຂອງແຕ່ລະໂຕສະສົມກັນ, ດັ່ງນັ້ນຜົນຂອງການຫຼຸດຜ່ອນການໃຊ້ໜ່ວຍຄວາມຈຳຕໍ່ຄັ້ງຈຶ່ງມີຄວາມສຳຄັນຫຼາຍ. ໃນທຳນອງດຽວກັນ, ໃນ architecture ທີ່ເຮັດ retrieval ແລະ generation ຊ້ຳໆ ເຊັ່ນ Agentic RAG, ຜົນຂອງການເພີ່ມ throughput ກໍປາກົດຊັດເຈນ.
ນອກຈາກນີ້, ຍັງມີປະສິດທິຜົນໃນການ serve Foundation Model (ໂມເດລພື້ນຖານ)ທີ່ຜ່ານFine-tuningແລ້ວ, ຊ່ວຍໃຫ້ສາມາດປະມວນຜົນ request ຈຳນວນຫຼາຍຂຶ້ນໃນຮູບແບບ parallel ດ້ວຍ GPU resource ດຽວກັນ. ມີຫຼາຍກໍລະນີທີ່ຕົ້ນທຶນ infrastructure ທີ່ບໍ່ໄດ້ສົນໃຈໃນຂັ້ນຕອນPoC (Proof of Concept)ກາຍເປັນບັນຫາທີ່ຊັດເຈນຢ່າງກະທັນຫັນໃນ scale ການຜະລິດ. ເທັກໂນໂລຊີ quantization ສາມາດຖືໄດ້ວ່າເປັນໜຶ່ງໃນທາງເລືອກທາງເທັກນິກທີ່ຊ່ວຍຕື່ມຊ່ອງຫວ່າງນັ້ນ.
ຈຸດທີ່ຄວນຮູ້ໃນຕອນນຳໃຊ້
ສິ່ງທີ່ສາມາດເວົ້າໄດ້ກ່ຽວກັບເທັກໂນໂລຊີການບີບອັດໜ່ວຍຄວາມຈຳໂດຍທົ່ວ
