ການປັບແต່ງລະອຽດ
ການປັບແຕ່ງລະອຽດ (Fine-Tuning) ແມ່ນຂະບວນການທີ່ນຳເອົາຂໍ້ມູນການຮຽນຮູ້ເພີ່ມເຕີມມາໃຫ້ກັບໂມເດລ Machine Learning ທີ່ຜ່ານການຮຽນຮູ້ລ່ວງໜ້າແລ້ວ ເພື່ອປັບໃຫ້ເໝາະສົມກັບວຽກງານ ຫຼື ໂດເມນສະເພາະໃດໜຶ່ງ.
«ສະຫລາດໃນລັກສະນະທົ່ວໄປ ແຕ່ບໍ່ຮູ້ຈັກການດຳເນີນງານຂອງບໍລິສັດຕົນເອງ» — ເມື່ອພະຍາຍາມນຳ LLM ໄປໃຊ້ງານຕົວຈິງ, ເກືອບທຸກຄັ້ງຈະຊົນກຳແພງນີ້ຢ່າງແນ່ນອນ. Fine-tuning ແມ່ນຂະບວນການດັດແປງ model ທົ່ວໄປນີ້ໃຫ້ເໝາະສົມກັບຄວາມຕ້ອງການສະເພາະຂອງບໍລິສັດ.
ໃນທາງປະຫວັດສາດ, ຂະບວນການນີ້ໄດ້ກາຍເປັນ workflow ມາດຕະຖານຂອງ NLP ນັບຕັ້ງແຕ່ຍຸກ BERT (ປະມານປີ 2018). ກອບການຮຽນຮູ້ສອງຂັ້ນຕອນ ທີ່ປະກອບດ້ວຍການຮຽນຮູ້ໂຄງສ້າງທົ່ວໄປຂອງພາສາໃນຂັ້ນຕອນ pre-training ແລ້ວຈຶ່ງຂຽນທັບ pattern ສະເພາະຂອງ task ໃນຂັ້ນຕອນ fine-tuning ນັ້ນ ຍັງບໍ່ໄດ້ປ່ຽນແປງ. ສິ່ງທີ່ປ່ຽນໄປຄືຂະໜາດຂອງ model ແລະ ບັນຫາດ້ານຄ່າໃຊ້ຈ່າຍທີ່ຕາມມາ.
Fine-tuning ໃນປັດຈຸບັນແບ່ງອອກເປັນ 3 ປະເພດຫຼັກ.
Full FT ແມ່ນການອັບເດດ parameter ທັງໝົດຂອງ model. ສາມາດໃຫ້ຄວາມຖືກຕ້ອງສູງທີ່ສຸດ, ແຕ່ສຳລັບ model ຂະໜາດ 70B ຕ້ອງໃຊ້ A100 80GB ຢ່າງໜ້ອຍ 8 ໃບ, ແລະ ບໍ່ແມ່ນເລື່ອງແປກທີ່ການຝຶກຈະໃຊ້ເວລາຫຼາຍວັນ. ເໝາະສຳລັບສະຖາບັນວິໄຈ ຫຼື big tech ທີ່ມີງົບປະມານ ແລະ ເວລາພຽງພໍ.
PEFT (LoRA / QLoRA ແລະອື່ນໆ) ແມ່ນການອັບເດດສະເພາະບາງສ່ວນຂອງ parameter. ມີຄ່າໃຊ້ຈ່າຍ 1/10 ຫາ 1/100 ຂອງ Full FT, ແຕ່ສາມາດໃຫ້ຄວາມຖືກຕ້ອງໃກ້ຄຽງກັບ Full FT ໃນຫຼາຍ task. ນັບຕັ້ງແຕ່ປີ 2024 ເປັນຕົ້ນມາ, ວິທີນີ້ກຳລັງກາຍເປັນກະແສຫຼັກໃນການໃຊ້ງານຕົວຈິງ.
Instruction Tuning ມີລັກສະນະທີ່ແຕກຕ່າງອອກໄປໜ້ອຍໜຶ່ງ, ໂດຍສອນ model ໃຫ້ «ມີຄວາມສາມາດປະຕິບັດຕາມຄຳສັ່ງ». ທີ່ ChatGPT ສາມາດສົນທະນາໄດ້ຢ່າງເປັນທຳມະຊາດ ກໍ່ເປັນຜົນມາຈາກການ fine-tuning base model ດ້ວຍຄູ່ຄຳສັ່ງ-ການຕອບສະໜອງຈຳນວນຫຼວງຫຼາຍ.
ບໍ່ວ່າຈະເລືອກໃຊ້ວິທີໃດ, ຄຸນນະພາບຂອງຂໍ້ມູນການຝຶກຈະເປັນຕົວກຳນົດທຸກຢ່າງ. ຂໍ້ມູນ 1,000 ລາຍການທີ່ຖືກ annotate ຢ່າງລະມັດລະວັງ ໃຫ້ຜົນທີ່ດີກວ່າຂໍ້ມູນ 10,000 ລາຍການທີ່ຫຍາບຄາຍ — ນີ້ແມ່ນບົດຮຽນທີ່ຜູ້ຂຽນໄດ້ຮຽນຮູ້ດ້ວຍຄວາມເຈັບປວດຫຼາຍຄັ້ງ.
ຄຳສັບທີ່ກ່ຽວຂ້ອງ
ການບຳລຸງຮັກສາເຊີງພະຍາກອນ
ການບຳລຸງຮັກສາເຊີງພະຍາກອນ (Predictive Maintenance) ແມ່ນວິທີການທີ່ໃຊ້ AI ວິເຄາະຂໍ້ມູນເຊັນເຊີ ແລະ ບັນທຶກການເຮັດວຽກ ເພື່ອຄາດການຄວາມເສຍຫາຍຂອງອຸປະກອນລ່ວງໜ້າ ແລະ ວາງແຜນການຊ່ອມບຳລຸງ.
ການປັບຂະໜາດໃນເວລາອະນຸມານ (Test-time Compute)
ການປັບຂະໜາດໃນເວລາອະນຸມານ (Inference-time Scaling) ແມ່ນເຕັກນິກທີ່ເພີ່ມຫຼືຫຼຸດປະລິມານການຄຳນວນໃນຂັ້ນຕອນການອະນຸມານຂອງໂມເດລຢ່າງເໝາະສົມ ໂດຍໃຊ້ "ຂັ້ນຕອນການຄິດ" ຫຼາຍຂຶ້ນສຳລັບບັນຫາທີ່ຍາກ ແລະ ຕອບທັນທີສຳລັບບັນຫາທີ່ງ່າຍ.
ການສຳຫຼວດຈາກໄລຍະໄກ
Remote Sensing ແມ່ນຄຳສັບລວມທີ່ໃຊ້ເອີ້ນເຕັກໂນໂລຊີທີ່ວັດແທກການສະທ້ອນ ແລະ ການແຜ່ລັງສີຂອງຄື້ນແມ່ເຫຼັກໄຟຟ້າຈາກດາວທຽມ, ອາກາດຍານ, ໂດຣນ ແລະ ອື່ນໆ ທີ່ຕິດຕັ້ງເຊັນເຊີ, ໂດຍບໍ່ຕ້ອງສຳຜັດກັບວັດຖຸໂດຍກົງ, ເພື່ອເກັບກຳ ແລະ ວິເຄາະສະພາບຂອງພື້ນຜິວໂລກ ແລະ ບັນຍາກາດ.
