PEFT (Parameter-Efficient Fine-Tuning) ช่วยให้สามารถลดพารามิเตอร์การเรียนรู้ได้มากกว่า 99% เมื่อเทียบกับ Full Fine-Tuning ที่ต้องฝึกโมเดล AI ทั้งหมดใหม่ตั้งแต่ต้น ในขณะที่ยังคงประสิทธิภาพในระดับเดียวกัน

บทความนี้มุ่งเน้นไปที่ CTO, VPoE และผู้รับผิดชอบด้านระบบสารสนเทศที่กำลังพิจารณานำ AI/LLM มาใช้ในองค์กร โดยจะอธิบายถึงกลไกการทำงานของ PEFT, วิธีการหลักที่สำคัญ และประเด็นสำคัญในการตัดสินใจลงทุน เมื่ออ่านจบแล้ว คุณจะสามารถเลือก PEFT วิธีที่เหมาะสมที่สุดสำหรับองค์กรของคุณ และพร้อมตัดสินใจนำการปรับแต่ง AI Model มาใช้งานได้

PEFT（Parameter-Efficient Fine-Tuning）คือชื่อเรียกรวมของเทคนิคที่ "แช่แข็ง" พารามิเตอร์ส่วนใหญ่ของโมเดล AI ที่ผ่านการ Pre-training มาแล้ว และให้เรียนรู้เฉพาะพารามิเตอร์เพิ่มเติมจำนวนน้อยเท่านั้น

ตัวอย่างเช่น เมื่อนำ LoRA ไปใช้กับโมเดลที่มี 3 พันล้านพารามิเตอร์ พารามิเตอร์ที่สามารถเรียนรู้ได้จะถูกจำกัดไว้เพียง 0.19% ของทั้งหมด (ประมาณ 2.36 ล้านพารามิเตอร์) นอกจากนี้ checkpoint ที่บันทึกไว้มีขนาดเพียงประมาณ 19 MB เมื่อเทียบกับโมเดลเต็มรูปแบบที่ 40 GB ถือว่าเล็กกว่าประมาณ 2,000 เท่า (อ้างอิง: Hugging Face PEFT Blog)

PEFT นั้นคล้ายกับ "การสอนงานใหม่ให้กับผู้เชี่ยวชาญที่มีความสามารถสูงอยู่แล้ว" โดยคงความสามารถพื้นฐานของผู้เชี่ยวชาญ (ความรู้ที่ได้จากการเรียนรู้ล่วงหน้า) ไว้ตามเดิม แล้วเพิ่มการเรียนรู้เฉพาะส่วนต่างที่จำเป็นสำหรับงานใหม่เท่านั้น วิธีนี้ช่วยป้องกัน "Catastrophic Forgetting" ซึ่งเป็นการสูญเสียความสามารถพื้นฐาน ในขณะเดียวกันก็สามารถปรับแต่งได้อย่างมีประสิทธิภาพ

ตั้งแต่ราวปี 2023 เป็นต้นมา การขยายขนาดของ LLM ได้เร่งตัวขึ้นอย่างมีนัยสำคัญ ทำให้ full fine-tuning กลายเป็นตัวเลือกที่ "อยากทำแต่ทำไม่ได้" มากขึ้นเรื่อยๆ ต่อไปนี้คือ 4 ปัจจัยหลักที่อธิบายว่าเหตุใด PEFT จึงแพร่หลายอย่างรวดเร็ว

ในช่วงไม่กี่ปีที่ผ่านมา Large Language Model (LLM) ขนาดใหญ่ได้พัฒนาจนมีพารามิเตอร์ถึงระดับ 70B〜405B การทำ full fine-tuning กับโมเดลเหล่านี้จำเป็นต้องใช้สภาพแวดล้อมที่ติดตั้ง A100 80GB หลายการ์ด ซึ่งมีค่าใช้จ่าย cloud GPU หลักล้านเยนต่อเดือน หากใช้ PEFT จะสามารถปรับแต่งได้อย่างมีประสิทธิภาพแม้บน GPU สำหรับผู้บริโภคทั่วไป (เช่น RTX 4090 ที่มี VRAM 24GB)

ด้วยความต้องการ GPU ที่พุ่งสูงขึ้นอย่างรวดเร็วจากกระแส AI ทำให้ราคา Cloud GPU มีแนวโน้มสูงขึ้นเรื่อยๆ PEFT ช่วยลดทรัพยากรการคำนวณที่จำเป็นลงได้อย่างมาก จึงเชื่อมโยงโดยตรงกับการเพิ่มประสิทธิภาพต้นทุน GPU

การ fine-tuning แบบเต็มรูปแบบ (Full Fine-tuning) มีความเสี่ยงที่โมเดลจะ "ลืม" ความรู้จากการ pre-training ในระหว่างกระบวนการปรับตัวให้เข้ากับงานใหม่ เนื่องจาก PEFT ทำการ freeze พารามิเตอร์ดั้งเดิมไว้ จึงสามารถเพิ่มความสามารถใหม่ได้ในขณะที่ยังคงรักษาความสามารถเดิมไว้

อะแดปเตอร์ (พารามิเตอร์เพิ่มเติม) ที่ได้รับการเทรนด้วย PEFT จะถูกบันทึกเป็นไฟล์ขนาดเพียงไม่กี่ MB เพียงแค่สลับเปลี่ยนอะแดปเตอร์ตามแต่ละงานสำหรับ base model เดียว ก็สามารถรองรับงานได้หลากหลาย ไม่ว่าจะเป็นการแปลภาษา การสรุปความ หรือการจำแนกประเภท โดยไม่จำเป็นต้องเก็บรักษา full model หลายชุด ซึ่งช่วยลดต้นทุนด้าน storage และการ deploy ได้อย่างมีนัยสำคัญ

"จะเลือก PEFT แบบไหนดี?" คือกำแพงแรกที่มักเจอกัน ในที่นี้เราจะสรุปวิธีการหลัก 4 แบบไว้ในตารางเปรียบเทียบเพียงหน้าเดียว พร้อมแสดง flowchart สำหรับการเลือกใช้งาน

• ถ้าไม่แน่ใจให้เลือก LoRA: เป็นวิธีที่มักถูกเลือกเป็นอันดับแรกในหลายกรณี สามารถเริ่มต้นได้ด้วยโค้ดเพียงไม่กี่บรรทัดผ่านไลบรารี PEFT ของ Hugging Face
• ถ้า Memory ไม่พอให้ใช้ QLoRA: ด้วยการ Quantization แบบ 4-bit ทำให้สามารถเทรนโมเดล 7B ได้แม้บน GPU สำหรับผู้บริโภคที่มี VRAM เพียง 12GB
• ถ้าเข้าถึงได้เฉพาะผ่าน API ให้ใช้ Prompt Tuning: เป็นวิธีเดียวที่ใช้ได้ในสภาพแวดล้อมที่ไม่สามารถเข้าถึง Weight ของโมเดลได้โดยตรง

LoRA（Low-Rank Adaptation）คือวิธีการที่เผยแพร่โดย Microsoft Research ในปี 2021 (อ้างอิง: Hu et al., 2021) และเป็นวิธี PEFT ที่ได้รับความนิยมและถูกนำไปใช้งานอย่างแพร่หลายที่สุดในปัจจุบัน

เมทริกซ์น้ำหนัก W ของโมเดล Transformer มีขนาดใหญ่มาก แต่การเปลี่ยนแปลงที่เฉพาะเจาะจงกับงานนั้นกระจุกตัวอยู่ในส่วน "low-rank" ของมัน LoRA ใช้ประโยชน์จากคุณสมบัตินี้ แทนที่จะอัปเดตเมทริกซ์น้ำหนักเดิม W โดยตรง จะเพิ่มเมทริกซ์ขนาดเล็ก 2 ตัว คือ A และ B เข้าไปแทน

การคำนวณเดิม: y = W × x
หลังใช้ LoRA: y = W × x + (A × B) × x

เมทริกซ์ A และ B แต่ละตัวมีขนาดเล็กกว่าเมทริกซ์เดิมมาก (ขึ้นอยู่กับ rank r) จึงช่วยลดจำนวน parameter ที่ต้องเรียนรู้ได้อย่างมีนัยสำคัญ

การเพิ่มค่า Rank จะช่วยเพิ่มความสามารถในการแสดงผล แต่ก็เพิ่มความเสี่ยงของการ Overfitting ด้วยเช่นกัน ในกรณีส่วนใหญ่ ช่วง r = 8〜32 ก็เพียงพอสำหรับประสิทธิภาพที่ดี

QLoRA คือเทคนิคที่นำ การ Quantize แบบ 4bit มาผสมผสานกับ LoRA โดยการนำ LoRA ไปใช้กับโมเดลฐานที่มีการบีบอัดน้ำหนักจาก 32bit เหลือ 4bit ทำให้สามารถลดการใช้ VRAM ได้อีก 50〜75%

PEFT นั้นเริ่มต้นใช้งานได้ง่าย แต่ในขณะเดียวกันก็มี "กับดักที่เกิดจากความง่ายนั้น" เช่นกัน ในที่นี้จะขอแนะนำ 4 รูปแบบที่พบได้บ่อย รวมถึงความล้มเหลวที่เราเองได้เจอมาจริง ๆ

ปัญหา: หากเพิ่มค่า rank มากเกินไปเพื่อต้องการความสามารถในการแสดงออก จะเกิดการ overfit กับข้อมูล training และส่งผลให้ประสิทธิภาพการ generalization ลดลง

วิธีหลีกเลี่ยง: เริ่มต้นด้วย r = 8〜16 ก่อน จากนั้นค่อยๆ ปรับโดยดูจากประสิทธิภาพบน validation data ไม่ควรเพิ่มจำนวน epoch มากเกินไป และให้เปรียบเทียบประสิทธิภาพที่ checkpoint ระหว่างทาง

ปัญหา: เมื่อทำการ PEFT ด้วยข้อมูลการเรียนรู้จำนวนน้อย คุณภาพของข้อมูลจะส่งผลโดยตรงต่อผลลัพธ์ ข้อมูลที่มีสัญญาณรบกวนมากหรือข้อมูลที่มีความลำเอียงจะทำให้ประสิทธิภาพลดลง

วิธีหลีกเลี่ยง: ให้ความสำคัญกับคุณภาพของข้อมูลมากกว่าปริมาณ ข้อมูลคุณภาพสูง 100 รายการมักให้ผลดีกว่าข้อมูลคุณภาพต่ำ 1,000 รายการ

ปัญหา: การนำ PEFT ไปใช้กับ base model ที่ไม่เหมาะสมกับงานจะไม่สามารถให้ประสิทธิภาพที่เพียงพอได้ เนื่องจาก PEFT เป็นเทคนิคที่ใช้ "ปรับแต่ง" ความสามารถที่มีอยู่แล้วของโมเดล ไม่ใช่การเพิ่มความสามารถที่ไม่มีอยู่

วิธีหลีกเลี่ยง: ตรวจสอบล่วงหน้าว่า base model มีความสามารถพื้นฐานที่จำเป็นสำหรับงานนั้นหรือไม่ หากเป็นงานภาษาญี่ปุ่นให้เลือกโมเดลที่รองรับภาษาญี่ปุ่น หากเป็นงานด้าน coding ให้เลือกโมเดลที่เชี่ยวชาญด้านโค้ดโดยเฉพาะ

ปัญหา: ขึ้นอยู่กับสถาปัตยกรรมของ GPU บางครั้งการเทรนโมเดลอาจไม่เสถียรเมื่อใช้ความแม่นยำเชิงตัวเลขบางประเภท (เช่น fp16)

วิธีแก้ไข: เลือกการตั้งค่าความแม่นยำที่เหมาะสมกับสถาปัตยกรรมของ GPU ที่ใช้งาน ตัวอย่างเช่น GPU ซีรีส์ RTX 40 (Ada Lovelace) รองรับ bf16 แบบ native ซึ่งในบางกรณีอาจให้การเทรนโมเดลที่เสถียรกว่าการใช้ fp16

PEFT มีประสิทธิผลสูงเป็นพิเศษในอุตสาหกรรมที่มีข้อมูลและระบบคำศัพท์เฉพาะของตนเอง ในที่นี้จะเจาะลึกสถานการณ์เฉพาะของ 3 อุตสาหกรรมตัวแทน ส่วนประเด็นที่มีร่วมกันกับอุตสาหกรรมอื่น ๆ ได้รวบรวมไว้ในหัวข้อ "ประเด็นข้ามอุตสาหกรรม" ในตอนท้าย

ในสายการผลิต มักพบกรณีที่รูปแบบเฉพาะของบริษัทในข้อมูลภาพผลิตภัณฑ์และข้อมูลอุปกรณ์มีความซับซ้อนเกินกว่าที่โมเดลทั่วไปจะรองรับได้

ในอุตสาหกรรมการผลิต เนื่องจากผลิตภัณฑ์และอุปกรณ์แตกต่างกันในแต่ละโรงงาน การดำเนินงานที่แชร์ base model ร่วมกันพร้อมสร้าง LoRA adapter แยกตามโรงงานจึงเป็นแนวทางที่มีประสิทธิภาพ

สาขาการแพทย์มีศัพท์เฉพาะทางจำนวนมาก และเป็นด้านที่ LLM อเนกประสงค์มักให้ความแม่นยำไม่เพียงพอ PEFT ช่วยให้สามารถปรับแต่งเฉพาะทางการแพทย์ได้ในต้นทุนต่ำ

หมายเหตุ: AI ทางการแพทย์อาจอยู่ภายใต้กฎระเบียบของแต่ละประเทศ (เช่น กฎหมายเครื่องมือแพทย์, FDA เป็นต้น) ในการนำโมเดลที่สร้างด้วย PEFT ไปใช้ในทางคลินิก จำเป็นต้องตรวจสอบข้อกำหนดด้านกฎระเบียบของหน่วยงานที่กำกับดูแลที่เกี่ยวข้องเสมอ

ในอุตสาหกรรมการเงิน มีข้อจำกัดที่ไม่สามารถนำข้อมูลลับออกสู่ภายนอกได้ ทำให้ PEFT ซึ่งดำเนินการได้ครบวงจรภายในสภาพแวดล้อมองค์กร เป็นวิธีการที่มีความเข้ากันได้สูง

ในอุตสาหกรรมการเงิน ข้อดีของ PEFT ที่สามารถฝึกโมเดลแบบ On-Premises โดยไม่ต้องนำข้อมูลขึ้น Cloud มีประโยชน์อย่างยิ่ง หากใช้ QLoRA จะสามารถปรับแต่งโมเดลแบบครบวงจรภายในองค์กรได้ แม้จะใช้ GPU ที่มี VRAM เพียง 12GB

นอกจาก 3 อุตสาหกรรมที่กล่าวมาข้างต้น PEFT ยังถูกนำไปใช้ในหลากหลายสาขา เช่น การจัดจำหน่าย การก่อสร้าง และการท่องเที่ยว เป็นต้น ขอสรุปรูปแบบความสำเร็จที่มีร่วมกันโดยไม่จำกัดประเภทอุตสาหกรรม

การจัดจำหน่าย/ค้าปลีก — การสลับ Adapter ตามหมวดหมู่สินค้าช่วยให้สามารถปรับความแม่นยำของการพยากรณ์ความต้องการและ CS Chatbot ให้เหมาะสมกับแต่ละประเภทสินค้าได้ การเตรียม Adapter แยกสำหรับอาหาร เครื่องใช้ไฟฟ้า และเครื่องแต่งกาย บน Base Model เดียว ถือเป็นแนวทางที่มีประสิทธิภาพด้านต้นทุนสูง

การก่อสร้าง — เนื่องจากเงื่อนไขในแต่ละไซต์งานแตกต่างกัน การสลับใช้ Adapter ตามประเภทงานก่อสร้างจึงเป็นแนวทางที่มีประสิทธิผล เนื่องจาก Adapter มีขนาดเบาเพียงไม่กี่ MB จึงสามารถทำงานบน Edge Device ที่สำนักงานไซต์งานได้

การท่องเที่ยว/การบริการ (Hospitality) — การสลับ Adapter ตามภาษา (ภาษาญี่ปุ่น ภาษาไทย ภาษาอังกฤษ ฯลฯ) แบบ Dynamic ช่วยให้สามารถพัฒนา Chatbot หลายภาษาและการวิเคราะห์รีวิวได้ในต้นทุนต่ำ

ประเด็นที่มีร่วมกันในทุกกรณีมี 4 ข้อดังนี้

1. สำหรับอุตสาหกรรมที่ต้องการความเป็นส่วนตัวของข้อมูล PEFT แบบ On-Premise ครบวงจรมีประสิทธิผลสูง
2. สำหรับอุตสาหกรรมที่เงื่อนไขแตกต่างกันในแต่ละสาขา/ไซต์งาน การแชร์ Base Model ร่วมกัน + Adapter แยกตามสาขามีประสิทธิภาพสูง
3. สำหรับอุตสาหกรรมที่ขยายตัวในระดับโลก การสลับ Adapter ตามภาษาแบบ Dynamic ถือเป็นแนวทางที่เหมาะสมด้านต้นทุน
4. ในทุกอุตสาหกรรม แนะนำให้เริ่มจาก PoC ใน 1 Use Case → พิสูจน์ผลลัพธ์ → ขยายผลในวงกว้าง ตามลำดับ

ที่ Unimon เราใช้ LoRA ในการปรับแต่ง AI สร้างภาพ ต่อไปนี้คือกรณีศึกษาเชิงปฏิบัติของการนำ LoRA ไปใช้กับโมเดลที่พัฒนาบน Stable Diffusion

1. การจับคู่ GPU Architecture และการตั้งค่า Precision เป็นสิ่งสำคัญ: สำหรับ RTX 40 series ให้ใช้ bf16 เนื่องจาก fp16 ทำให้เกิด NaN (ค่าตัวเลขที่ diverge) ระหว่างการ train การตั้งค่า precision ที่เหมาะสมกับรุ่นของ GPU คือกุญแจสำคัญสู่การ train ที่มีเสถียรภาพ
2. Base model สำหรับการ train และการ inference จะต้องตรงกันเสมอ: หาก inference ด้วย model ที่แตกต่างกัน ผลลัพธ์ของการ customize จะไม่ถูกสะท้อนออกมาอย่างถูกต้อง
3. อย่าละเลยการจัดการ Cache: หากมี cache เก่าหลงเหลืออยู่เมื่อเปลี่ยน base model จะส่งผลเสียต่อผลลัพธ์ของการ train ดังนั้นเมื่อเปลี่ยน model ควร clear cache ให้เรียบร้อยทุกครั้ง
4. LoRA weight (ความเข้มของการใช้งาน) มีค่าที่เหมาะสมที่สุด: ค่าประมาณ 0.7 จะให้ความสมดุลที่ดีระหว่างคุณภาพและความยืดหยุ่น หากใช้ค่า 0.9 ขึ้นไป การ customize จะมากเกินไปและมีแนวโน้มทำให้คุณภาพของภาพลดลง

การนำ PEFT มาใช้ทำให้สามารถปรับแต่ง model ด้วย GPU สำหรับผู้บริโภคภายในองค์กร โดยไม่จำเป็นต้องทำสัญญากับสภาพแวดล้อม GPU cloud ราคาสูง ซึ่งเป็นการพิสูจน์ให้เห็นว่าบริษัทขนาดกลางและขนาดเล็ก รวมถึง startup ที่มีทรัพยากร GPU จำกัด ก็สามารถพัฒนาการปรับแต่ง AI model ได้ภายในองค์กรเอง

รวบรวมคำถามที่มักได้ยินบ่อยเกี่ยวกับการพิจารณานำ PEFT มาใช้งาน

PEFT และ RAG มีวัตถุประสงค์ที่แตกต่างกัน PEFT คือเทคนิคที่เปลี่ยน "พฤติกรรม" ของโมเดล เพื่อปรับปรุงสไตล์ของ output และความแม่นยำในงานเฉพาะด้าน ในทางกลับกัน RAG คือเทคนิคที่เสริม "ความรู้" ของโมเดล โดยค้นหาข้อมูลล่าสุดจากฐานข้อมูลภายนอกแล้วส่งให้โมเดล

ในหลายกรณี การใช้ PEFT และ RAG ร่วมกันจะให้ผลลัพธ์ที่ดีที่สุด

ด้วย QLoRA สามารถเทรนโมเดลขนาด 7B พารามิเตอร์ได้บน GPU สำหรับผู้บริโภคที่มี VRAM เพียง 12GB (เช่น RTX 4070) สำหรับ LoRA เพียงอย่างเดียวนั้น แนะนำให้ใช้ VRAM ขนาด 16〜24GB (เช่น RTX 4090) ส่วนโมเดลที่มีขนาด 70B ขึ้นไป อาจจำเป็นต้องใช้ GPU ระดับเซิร์ฟเวอร์ เช่น A100 80GB

ใช่ เป็นไปได้ โดยการนำ PEFT ไปใช้กับ base model ที่รองรับภาษาญี่ปุ่น (เช่น Llama 3 เวอร์ชันภาษาญี่ปุ่น, ELYZA เป็นต้น) ทำให้สามารถปรับแต่งให้เหมาะสมกับงานภาษาญี่ปุ่นโดยเฉพาะได้ ทั้งนี้ PEFT library ของ Hugging Face รองรับโมเดลภาษาญี่ปุ่นด้วยเช่นกัน

ตรวจสอบสิทธิ์การใช้งาน (license) ของ base model ให้แน่ใจเสมอ แม้ว่า LoRA adapter จะเป็นไฟล์อิสระแยกต่างหาก แต่เนื่องจากต้องใช้งานร่วมกับ base model ในขั้นตอนการ inference เงื่อนไขสิทธิ์การใช้งานของ base model จึงมีผลบังคับใช้ หากมีแผนนำไปใช้ในเชิงพาณิชย์ การเลือกใช้โมเดลที่มีสิทธิ์การใช้งานแบบ Apache 2.0 หรือ MIT license ถือเป็นทางเลือกที่ปลอดภัยกว่า

PEFT คือเทคโนโลยีที่ช่วยลดอุปสรรคด้านต้นทุนในการปรับแต่ง AI model ได้อย่างมีนัยสำคัญ

เนื่องจากสามารถลด learning parameter ได้มากกว่า 99% ทำให้ค่าใช้จ่าย GPU และเวลาในการเทรนลดลงอย่างเห็นได้ชัด หากยังไม่แน่ใจว่าจะเลือกใช้วิธีใด แนะนำให้ลองเริ่มต้นด้วย LoRA ก่อน และหากอยู่ในสภาพแวดล้อมที่มีข้อจำกัดด้าน memory อย่างเข้มงวด QLoRA จะเป็นตัวเลือกที่เหมาะสม ดังตัวอย่างกรณีของ Unimon ที่แนะนำในบทความนี้ การปรับแต่งที่ใช้งานได้จริงนั้นเป็นไปได้อย่างเพียงพอแม้จะใช้ GPU สำหรับผู้บริโภค (VRAM 12GB)

PEFT และ RAG ไม่ใช่เทคโนโลยีที่ขัดแย้งกัน แต่การใช้ร่วมกันจะช่วยเพิ่มประสิทธิภาพของ custom AI ได้สูงสุด

สำหรับขั้นตอนถัดไป ขอแนะนำให้เริ่มต้นด้วยการจัดระเบียบ use case ของบริษัทและระบุว่า task ใดที่ต้องการการปรับแต่ง model กระบวนการมาตรฐานที่ช่วยลดความเสี่ยงคือ การเลือก base model → PoC ด้วย LoRA + ข้อมูลปริมาณน้อย → นำไปใช้งานจริงใน production

หากมีข้อสงสัยเกี่ยวกับการปรับแต่ง AI model กรุณาติดต่อ Unimon นอกจากนี้ สามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับ AI/DX solution ได้ที่ enison.ai