ການປັບແต່ງລະອຽດ

«ສະຫລາດໃນລັກສະນະທົ່ວໄປ ແຕ່ບໍ່ຮູ້ຈັກການດຳເນີນງານຂອງບໍລິສັດຕົນເອງ» — ເມື່ອພະຍາຍາມນຳ LLM ໄປໃຊ້ງານຕົວຈິງ, ເກືອບທຸກຄັ້ງຈະຊົນກຳແພງນີ້ຢ່າງແນ່ນອນ. Fine-tuning ແມ່ນຂະບວນການດັດແປງ model ທົ່ວໄປນີ້ໃຫ້ເໝາະສົມກັບຄວາມຕ້ອງການສະເພາະຂອງບໍລິສັດ.

ໃນທາງປະຫວັດສາດ, ຂະບວນການນີ້ໄດ້ກາຍເປັນ workflow ມາດຕະຖານຂອງ NLP ນັບຕັ້ງແຕ່ຍຸກ BERT (ປະມານປີ 2018). ກອບການຮຽນຮູ້ສອງຂັ້ນຕອນ ທີ່ປະກອບດ້ວຍການຮຽນຮູ້ໂຄງສ້າງທົ່ວໄປຂອງພາສາໃນຂັ້ນຕອນ pre-training ແລ້ວຈຶ່ງຂຽນທັບ pattern ສະເພາະຂອງ task ໃນຂັ້ນຕອນ fine-tuning ນັ້ນ ຍັງບໍ່ໄດ້ປ່ຽນແປງ. ສິ່ງທີ່ປ່ຽນໄປຄືຂະໜາດຂອງ model ແລະ ບັນຫາດ້ານຄ່າໃຊ້ຈ່າຍທີ່ຕາມມາ.

Fine-tuning ໃນປັດຈຸບັນແບ່ງອອກເປັນ 3 ປະເພດຫຼັກ.

Full FT ແມ່ນການອັບເດດ parameter ທັງໝົດຂອງ model. ສາມາດໃຫ້ຄວາມຖືກຕ້ອງສູງທີ່ສຸດ, ແຕ່ສຳລັບ model ຂະໜາດ 70B ຕ້ອງໃຊ້ A100 80GB ຢ່າງໜ້ອຍ 8 ໃບ, ແລະ ບໍ່ແມ່ນເລື່ອງແປກທີ່ການຝຶກຈະໃຊ້ເວລາຫຼາຍວັນ. ເໝາະສຳລັບສະຖາບັນວິໄຈ ຫຼື big tech ທີ່ມີງົບປະມານ ແລະ ເວລາພຽງພໍ.

PEFT (LoRA / QLoRA ແລະອື່ນໆ) ແມ່ນການອັບເດດສະເພາະບາງສ່ວນຂອງ parameter. ມີຄ່າໃຊ້ຈ່າຍ 1/10 ຫາ 1/100 ຂອງ Full FT, ແຕ່ສາມາດໃຫ້ຄວາມຖືກຕ້ອງໃກ້ຄຽງກັບ Full FT ໃນຫຼາຍ task. ນັບຕັ້ງແຕ່ປີ 2024 ເປັນຕົ້ນມາ, ວິທີນີ້ກຳລັງກາຍເປັນກະແສຫຼັກໃນການໃຊ້ງານຕົວຈິງ.

Instruction Tuning ມີລັກສະນະທີ່ແຕກຕ່າງອອກໄປໜ້ອຍໜຶ່ງ, ໂດຍສອນ model ໃຫ້ «ມີຄວາມສາມາດປະຕິບັດຕາມຄຳສັ່ງ». ທີ່ ChatGPT ສາມາດສົນທະນາໄດ້ຢ່າງເປັນທຳມະຊາດ ກໍ່ເປັນຜົນມາຈາກການ fine-tuning base model ດ້ວຍຄູ່ຄຳສັ່ງ-ການຕອບສະໜອງຈຳນວນຫຼວງຫຼາຍ.

ບໍ່ວ່າຈະເລືອກໃຊ້ວິທີໃດ, ຄຸນນະພາບຂອງຂໍ້ມູນການຝຶກຈະເປັນຕົວກຳນົດທຸກຢ່າງ. ຂໍ້ມູນ 1,000 ລາຍການທີ່ຖືກ annotate ຢ່າງລະມັດລະວັງ ໃຫ້ຜົນທີ່ດີກວ່າຂໍ້ມູນ 10,000 ລາຍການທີ່ຫຍາບຄາຍ — ນີ້ແມ່ນບົດຮຽນທີ່ຜູ້ຂຽນໄດ້ຮຽນຮູ້ດ້ວຍຄວາມເຈັບປວດຫຼາຍຄັ້ງ.