SLM (Small Language Model)

## "ນ້ອຍ" ບໍ່ໄດ້ໝາຍຄວາມວ່າ "ອ່ອນແອ" ໃນໂລກຂອງ LLM ມາເປັນເວລາດົນນານ ຄວາມເຊື່ອທີ່ວ່າ "ໃຫຍ່ກວ່າ ສະຫຼາດກວ່າ" ຖືເປັນເລື່ອງປົກກະຕິ. GPT-4 ມີ parameter ທີ່ຄາດຄະເນໄວ້ປະມານ 1.8 ລ້ານລ້ານ ໃນຂະນະທີ່ SLM ມີພຽງ 1B〜10B ເທົ່ານັ້ນ ຊຶ່ງຕ່າງກັນຖຶງ 2 ຂັ້ນ. ແຕ່ຫຼັງຈາກປີ 2025 ເປັນຕົ້ນໄປ ຄວາມເຊື່ອນີ້ກໍ່ກຳລັງພັງທະລາຍລົງຢ່າງໄວວາ. Microsoft ຂອງ Phi-4 (14B) ໄດ້ສ້າງຄະແນນທີ່ທຽບເທົ່າກັບ GPT-4o ໃນ benchmark ການໃຊ້ເຫດຜົນຫຼາຍລາຍການ. Gemma 3 ຂອງ Google ໃນຊ່ວງ 1B〜27B ມີປະສິດທິພາບສູງຫຼາຍເມື່ອທຽບກັບຂະໜາດ. ດ້ວຍການປັບປຸງ model architecture ແລະ ການ curation ຂໍ້ມູນການຮຽນຮູ້ທີ່ມີຄຸນນະພາບສູງ ທຳໃຫ້ "ນ້ອຍແຕ່ມີປະສິດທິພາບພຽງພໍສຳລັບວຽກງານສະເພາະ" ກາຍເປັນຄວາມເປັນຈິງ. ## ໃຊ້ງານຢູ່ໃສ ສະໜາມຮົບຫຼັກຂອງ SLM ມີ 3 ດ້ານ. **Edge device**: ສະພາບແວດລ້ອມທີ່ຊັບພະຍາກອນ GPU ມີຈຳກັດ ເຊັ່ນ: smartphone, IoT gateway, ແລະ ອຸປະກອນ embedded ຕ່າງໆ. ການທີ່ Apple ດຳເນີນການ on-device inference ເທິງ iPhone ແມ່ນຕົວຢ່າງທີ່ຊັດເຈນຂອງ SLM. **ການເພີ່ມປະສິດທິພາບດ້ານຕົ້ນທຶນ**: ການໃຊ້ GPT-4 class ສຳລັບວຽກງານປົກກະຕິ ເຊັ່ນ: ການຈັດປະເພດ, ການສະຫຼຸບ, ແລະ ການດຶງຂໍ້ມູນ ຖືວ່າ overspec ເກີນໄປ. ດ້ວຍ SLM ຄ່າໃຊ້ຈ່າຍໃນການ inference ອາດຫຼຸດລົງໄດ້ຫຼາຍກວ່າ 10 ເທົ່າ. **ຄວາມຕ້ອງການດ້ານ latency**: ໃນສະຖານະການທີ່ຕ້ອງການການຕອບສະໜອງພາຍໃນຫຼາຍສິບ millisecond ເຊັ່ນ: real-time chat, ການຕອບສະໜອງດ້ວຍສຽງ, ແລະ game AI. ດ້ວຍ parameter ທີ່ໜ້ອຍກວ່າ ຄວາມໄວໃນການ inference ຈຶ່ງໄວກວ່າຢ່າງເຫັນໄດ້ຊັດ. ## ການແບ່ງໃຊ້ງານລະຫວ່າງ LLM ແລະ SLM ໃນສະຖານະການທີ່ຕ້ອງການຄຳຕອບທີ່ຄອບຄຸມທຸກດ້ານ (ການໃຊ້ເຫດຜົນທີ່ສັບສົນ, ການຮອງຮັບຫຼາຍພາສາ, ການສ້າງຂໍ້ຄວາມຍາວ) LLM ຍັງຄົງມີຄວາມໄດ້ປຽບ. ໃນທາງກົງກັນຂ້າມ ຖ້າສາມາດກຳນົດຂອບເຂດວຽກງານໄດ້ ການ fine-tuning SLM ອາດດີກວ່າທັງໃນດ້ານຄວາມຖືກຕ້ອງ, ຄວາມໄວ, ແລະ ຕົ້ນທຶນ. ໃນການປະຕິບັດຕົວຈິງ ຮູບແບບທີ່ກຳລັງກາຍເປັນມາດຕະຖານຄື "ສ້າງ prototype ດ້ວຍ LLM API ກ່ອນ ແລ້ວເມື່ອວຽກງານຊັດເຈນແລ້ວ ຈຶ່ງ distill ລົງໃນ SLM ເພື່ອຫຼຸດຕົ້ນທຶນ". Distillation ໝາຍເຖິງວິທີການຝຶກ model ຂະໜາດນ້ອຍ ໂດຍໃຊ້ output ຂອງ model ຂະໜາດໃຫຍ່ເປັນຂໍ້ມູນ teacher.