LoRA
LoRA (Low-Rank Adaptation) ແມ່ນວິທີການທີ່ແຊກເມທຣິກຊ໌ຄວາມແຕກຕ່າງ rank ຕ່ຳເຂົ້າໄປໃນເມທຣິກຊ໌ນ້ຳໜັກຂອງ large language model ແລ້ວຝຶກສອນສະເພາະຄວາມແຕກຕ່າງດັ່ງກ່າວ ເຊິ່ງຊ່ວຍໃຫ້ສາມາດດຳເນີນການ fine-tuning ໄດ້ໂດຍການເພີ່ມ parameter ພຽງປະມານ 0.1〜1% ຂອງ model ທັງໝົດ.
LoRA ແມ່ນໂຄງສ້າງທີ່ເພີ່ມຜົນຄູນຂອງ matrix ລະດັບຕ່ຳ A×B ເຂົ້າໃນ matrix ນ້ຳໜັກ W ຂອງແຕ່ລະຊັ້ນໃນ Transformer. ເນື່ອງຈາກ W ເດີມຖືກຄົງຄ່າໄວ້ ແລະ ຮຽນສະເພາະ A ກັບ B ທີ່ເພີ່ມເຂົ້າມາເທົ່ານັ້ນ, ຈຳນວນ parameter ທີ່ເປັນເປົ້າໝາຍການຮຽນຈຶ່ງຖືກຈຳກັດໄວ້ທີ່ປະມານ 0.1〜1% ຂອງໂມເດລທັງໝົດ. ໂດຍທົ່ວໄປ rank r ຈະຖືກຕັ້ງຄ່າໄວ້ທີ່ປະມານ 4〜64, ເມື່ອ r ນ້ອຍລົງ ຈຳນວນ parameter ກໍຫຼຸດລົງ ແຕ່ຈະເກີດການແລກປ່ຽນ (Trade-off) ກັບຄວາມສາມາດໃນການສະແດງອອກ.
ໃນດ້ານການຈັດຕັ້ງປະຕິບັດ, PEFT library ຂອງ Hugging Face ແລະ Unsloth ຖືກໃຊ້ຢ່າງກວ້າງຂວາງ, ແລະ ສາມາດລວມເຂົ້າໃນຂະບວນການ (Pipeline) ການຮຽນທີ່ມີຢູ່ແລ້ວໄດ້ດ້ວຍການເພີ່ມໂຄດພຽງສອງສາມແຖວ. LoRA ອາແດັບເຕີ (Adapter) ທີ່ຮຽນແລ້ວສາມາດບັນທຶກໄວ້ເປັນໄຟລ໌ແຍກຕ່າງຫາກຈາກໂມເດລຫຼັກ (ປະມານສິບກວ່າ MB), ແລະ ສາມາດໃຊ້ base model ດຽວກັນໃຫ້ເໝາະສົມກັບຫຼາຍຈຸດປະສົງໄດ້ໂດຍການສັບປ່ຽນອາແດັບເຕີຕາມແຕ່ລະ task. ໃນກໍລະນີທີ່ GPU memory ມີພຽງພໍ, ກໍສາມາດລວມ (Merge) ອາແດັບເຕີ ເຂົ້າກັບ base model ເພື່ອຮັກສາຄວາມໄວໃນການ inference ໄດ້ເຊັ່ນກັນ.
ໃນສະພາບແວດລ້ອມຂອງຜູ້ຂຽນ, r=16 ໃຫ້ຄວາມສົມດູນທີ່ດີລະຫວ່າງຄວາມຖືກຕ້ອງ ແລະ ປະສິດທິພາບສຳລັບຫຼາຍ task, ຈຶ່ງມັກຖືກນຳໃຊ້ເປັນການຕັ້ງຄ່າເລີ່ມຕົ້ນ.
ຢ່າງໃດກໍຕາມ, ການໄດ້ຮັບຄວາມສາມາດທີ່ໂມເດລບໍ່ມີຢູ່ເດີມ——ຕົວຢ່າງເຊັ່ນ: ການເພີ່ມພາສາທີ່ຍັງບໍ່ຮອງຮັບ——ດ້ວຍ LoRA ພຽງຢ່າງດຽວນັ້ນເປັນເລື່ອງຍາກ, ໃນກໍລະນີດັ່ງກ່າວຈຳເປັນຕ້ອງໃຊ້ຮ່ວມກັບ continual pre-training.
ຄຳສັບທີ່ກ່ຽວຂ້ອງ
AI ROI (ຜົນຕອບແທນຈາກການລົງທຶນ AI)
AI ROI ແມ່ນຕົວຊີ້ວັດທີ່ໃຊ້ວັດແທກຜົນໄດ້ຮັບຢ່າງເປັນປະລິມານ ເຊັ່ນ: ການປັບປຸງປະສິດທິພາບການເຮັດວຽກ ແລະ ກາ
AI ຄາດຄະເນຄວາມຕ້ອງການ (Demand Forecasting AI)
AI ຄາດການຄວາມຕ້ອງການ (Demand Forecasting AI) ແມ່ນລະບົບທີ່ໃຊ້ການຮຽນຮູ້ຂອງເຄື່ອງຈັກ (Machine Learning)
AI ສ້າງສັນ (Generative AI)
Generative AI ແມ່ນຄຳສັບລວມຂອງຕົວແບບ AI ທີ່ສາມາດສ້າງເນື້ອຫາຕ່າງໆ ເຊັ່ນ: ຂໍ້ຄວາມ, ຮູບພາບ, ສຽງ ແລະ ວິດີ
AI ອ້ອມຂ້າງ
ອຳບຽງ AI (Ambient AI) ໝາຍເຖິງລະບົບ AI ທີ່ຝັງຕົວຢູ່ໃນສະພາບແວດລ້ອມຂອງຜູ້ໃຊ້ງານ, ຄອຍຕິດຕາມຂໍ້ມູນຈາກເຊັນ