ຮູບແບບພື້ນຖານ (Foundation Model)

ໂມເດລໃນຖານະ "ພື້ນຖານ"

ຊື່ເອີ້ນ "Foundation Model" ທີ່ມະຫາວິທະຍາໄລ Stanford ສະເໜີຂຶ້ນໃນປີ 2021 ນັ້ນ ໄດ້ຮັບການປຽບທຽບກັບຮາກຖານ (foundation) ຂອງສະຖາປັດຕະຍະກຳ. ແນວຄິດນີ້ຄືການທີ່ສາມາດສ້າງແອັບພລິເຄຊັນທີ່ຫຼາກຫຼາຍ ເຊັ່ນ: chatbot, ການສ້າງໂຄດ, ການແປພາສາ, ແລະ ການສະຫຼຸບຂໍ້ຄວາມ ໂດຍອາໄສພື້ນຖານດຽວກັນ.

LLM ຫຼັກໆ ເຊັ່ນ GPT, Claude, Llama ແລະ Gemini ລ້ວນແລ້ວແຕ່ເປັນ base model ທັງໝົດ ແລະ ໄດ້ຮັບການ pre-training ດ້ວຍຂໍ້ມູນຂໍ້ຄວາມຫຼາຍລ້ານລ້ານ token. ການ pre-training ນີ້ຊ່ວຍໃຫ້ໂມເດລໄດ້ຮັບ "ພື້ນຖານ" ດ້ານໂຄງສ້າງພາສາ, ຄວາມຮູ້ກ່ຽວກັບໂລກ ແລະ ຄວາມສາມາດໃນການໃຊ້ເຫດຜົນ.

ວິທີການ Customize

ມີຫຼາຍວິທີໃນການປັບ base model ໃຫ້ເໝາະສົມກັບວຽກງານສະເພາະ.

ວິທີທີ່ງ່າຍທີ່ສຸດຄື prompt engineering ເຊິ່ງເປັນການປັບແຕ່ງຄຳສັ່ງໂດຍບໍ່ມີການປ່ຽນແປງໂມເດລເອງ. ຕໍ່ມາຄື fine-tuning ເຊິ່ງເປັນການປັບ weight ຂອງໂມເດລດ້ວຍຂໍ້ມູນສະເພາະຂອງວຽກງານ. LoRA ແລະ QLoRA ແມ່ນເຕັກນິກທີ່ຊ່ວຍຫຼຸດຕົ້ນທຶນຂອງ fine-tuning ໄດ້ຢ່າງຫຼວງຫຼາຍ.

ສຳລັບກໍລະນີທີ່ຕ້ອງການຄວາມເລິກຊຶ້ງຍິ່ງຂຶ້ນ ສາມາດດຳເນີນການ Continued Pre-training ເພື່ອເພີ່ມຄວາມຮູ້ສະເພາະໂດເມນໃຫ້ກັບໂມເດລ. ວິທີນີ້ຖືກນຳໃຊ້ໃນຂົງເຂດທີ່ມີຄຳສັບວິຊາການຫຼາຍ ເຊັ່ນ ການແພດ ຫຼື ກົດໝາຍ.

Open Weight vs Proprietary

Base model ແບ່ງອອກເປັນສອງປະເພດໃຫຍ່ໆ. ໄດ້ແກ່ "open weight model" ທີ່ weight ຂອງໂມເດລຖືກເຜີຍແຜ່ສາທາລະນະ ເຊັ່ນ Llama ຂອງ Meta ແລະ Mistral, ແລະ proprietary model ທີ່ສາມາດໃຊ້ງານໄດ້ຜ່ານ API ເທົ່ານັ້ນ ເຊັ່ນ GPT ຂອງ OpenAI ແລະ Claude ຂອງ Anthropic.

ໃນກໍລະນີທີ່ດຳເນີນການ fine-tuning ຫຼື ການໃຊ້ງານ local LLM ພາຍໃນອົງກອນ, open weight model ຈະເປັນຂໍ້ກຳນົດເບື້ອງຕົ້ນ. ໃນກໍລະນີທີ່ການໃຊ້ງານ API ພຽງພໍ, proprietary model ອາດຈະມີຕົ້ນທຶນການດຳເນີນງານທີ່ຕ່ຳກວ່າໃນບາງກໍລະນີ.