การถอดรหัสเชิงคาดเดา (Speculative Decoding)

Speculative Decoding คืออะไร

Speculative Decoding คือเทคนิคที่ "Draft Model" ขนาดเล็กทำการเสนอ Token หลายตัวล่วงหน้า จากนั้น "Verification Model" ขนาดใหญ่จะตรวจสอบและตัดสินรับหรือปฏิเสธ Token เหล่านั้นแบบขนาน ส่งผลให้ความเร็วในการ Inference เพิ่มขึ้น 2〜3 เท่า

ภาพรวมของกลไก

การ Inference ของ LLM ทั่วไปจะสร้าง Token ทีละตัวตามลำดับ ยิ่งโมเดลมีขนาดใหญ่ ต้นทุนการคำนวณในแต่ละขั้นตอนยิ่งสูง ทำให้การตอบสนองช้าลง Speculative Decoding ช่วยบรรเทาข้อจำกัดของการประมวลผลแบบลำดับนี้

1. Draft Model (ขนาดเล็ก ความเร็วสูง) สร้าง Token ล่วงหน้าหลายตัวในคราวเดียว
2. Verification Model (ขนาดใหญ่ ความแม่นยำสูง) ตรวจสอบลำดับ Token ที่เสนอมาทั้งหมดพร้อมกัน
3. Token ที่ผ่านการตรวจสอบจะถูกนำไปใช้โดยตรง ส่วน Token ที่ไม่ผ่านจะถูกสร้างใหม่โดย Verification Model

ยิ่ง Draft Model เสนอ Token ที่ "ถูกต้อง" ได้มากเท่าใด จำนวนครั้งที่ต้องเรียกใช้ Verification Model ก็ยิ่งลดลง และประสิทธิภาพการเร่งความเร็วก็ยิ่งสูงขึ้น

ผลกระทบต่อคุณภาพของ Output

ประเด็นสำคัญคือ Speculative Decoding ไม่เปลี่ยนแปลง Output Distribution ของ Verification Model ในเชิงคณิตศาสตร์ ผลลัพธ์ที่ได้จะเหมือนกับกรณีที่ไม่มี Draft Model ดังนั้นจึงสามารถปรับปรุงความเร็วได้โดยไม่สูญเสียคุณภาพ

กรณีที่เหมาะสมกับการนำไปใช้

เทคนิคนี้มีประสิทธิภาพเป็นพิเศษในสถานการณ์ที่ต้องการลด Latency ขณะยังคงรักษาความแม่นยำสูงของโมเดลขนาดใหญ่ไว้ เช่น การตอบสนองแบบ Real-time ของ Chatbot และการทำ Code Completion นอกจากนี้ยังช่วยลดต้นทุน GPU ได้ด้วย จึงเป็นเทคนิคที่ควรพิจารณาสำหรับระบบ Production ที่มีต้นทุนการ Inference เป็นปัญหา