LLM-as-a-Judge คือวิธีการให้ Large Language Model (LLM) อีกตัวหนึ่งทำหน้าที่ประเมินผลลัพธ์ของ LLM อีกตัว โดยสามารถประเมินทั้งการให้คะแนนคุณภาพ การตรวจจับอาการประสาทหลอน (Hallucination) รวมถึงการตัดสินโทนเสียงและความสอดคล้อง ซึ่งทำได้รวดเร็วและมีความสามารถในการทำซ้ำได้สูงกว่าการตรวจสอบโดยมนุษย์ จึงกลายเป็นรูปแบบการประกันคุณภาพที่ขาดไม่ได้ในช่วงการเปลี่ยนผ่านจากขั้นตอน PoC ไปสู่การใช้งานจริง

ในการใช้งานจริง จำเป็นต้องมีการตรวจสอบอย่างต่อเนื่องสำหรับคำตอบจำนวนมหาศาลที่เกิดขึ้นในแต่ละวัน เพื่อดูว่า "ความแม่นยำต่ำกว่าเกณฑ์ที่ยอมรับได้หรือไม่" หรือ "มีข้อมูลเท็จหรือถ้อยคำที่เป็นอันตรายปะปนอยู่หรือไม่" การประเมินโดยมนุษย์ไม่สามารถรองรับทั้งในด้านต้นทุนและความสามารถในการขยายตัว (Scalability) ได้ทัน ปัจจุบันจึงเข้าสู่ยุคที่ทักษะการออกแบบ Judge Pipeline เพื่อนำ LLM มาทำหน้าที่เป็นผู้ประเมินแทนมนุษย์นั้น เป็นตัวกำหนดคุณภาพของการดำเนินงาน

บทความนี้จัดทำขึ้นสำหรับวิศวกร ผู้รับผิดชอบด้าน LLMOps และผู้รับผิดชอบด้านการประกันคุณภาพที่กำลังนำ LLM ไปใช้งานจริง โดยจะสรุปภาพรวมของ LLM-as-a-Judge (หรือเขียนอีกอย่างว่า LLM as a Judge) อย่างเป็นระบบ รวมถึงโปรโตคอลการประเมินที่เป็นตัวแทน (Pointwise / Pairwise / Reference-based) อคติหลักและแนวทางแก้ไข ขั้นตอนการนำไปใช้ 4 ขั้นตอน และรูปแบบการดำเนินงาน นอกจากนี้ยังอธิบายถึงการแบ่งขอบเขตหน้าที่กับ AI Observability และ Guardrails รวมถึงการออกแบบการประเมิน Regression เพื่อนำไปรวมเข้ากับ CI/CD อีกด้วย

LLM-as-a-Judge หมายถึงรูปแบบการประเมินผลที่ให้ LLM อีกตัวหนึ่งทำหน้าที่เป็น "ผู้ประเมิน (Judge)" เพื่อตัดสินหรือให้คะแนนผลลัพธ์ที่ต้องการประเมินตามเกณฑ์ (Rubric) ที่กำหนดไว้ล่วงหน้า จุดเด่นที่สุดคือสามารถเปลี่ยนตัวชี้วัดเชิงคุณภาพ เช่น "ความเหมาะสมของบริบท" "ความสอดคล้องทางตรรกะ" และ "ความเป็นอันตราย" ซึ่งไม่สามารถวัดได้ด้วยตัวชี้วัดแบบจับคู่คำ (Surface-level matching) อย่าง BLEU หรือ ROUGE ให้กลายเป็นเชิงปริมาณได้ตามการออกแบบ Prompt

เมื่อเทียบกับการประเมินโดยมนุษย์ วิธีนี้มีราคาถูกและรวดเร็วกว่ามาก และเมื่อเทียบกับตัวชี้วัดอัตโนมัติทั่วไป วิธีนี้ยังให้ตัวชี้วัดที่มีความยืดหยุ่นและมีความหมายมากกว่า คุณสมบัติกึ่งกลางนี้เองที่เป็นเบื้องหลังของการแพร่หลายอย่างรวดเร็วในฐานะแนวทางปฏิบัติจริงสำหรับการประกันคุณภาพในการใช้งาน LLM จริง

โครงสร้างพื้นฐานของ LLM-as-a-Judge นั้นเรียบง่าย โดยประกอบด้วย 3 องค์ประกอบดังนี้:

• เป้าหมายการประเมิน (Evaluation Target): ผลลัพธ์จาก LLM สำหรับผู้ใช้งาน (Production LLM) หรือการตอบกลับที่สร้างขึ้นโดยหลายโมเดล
• Judge (ผู้ประเมิน) LLM: LLM อีกตัวหนึ่งที่ได้รับคำสั่ง (Prompt) เฉพาะสำหรับงานประเมิน
• รูบริค (เกณฑ์การประเมิน): คำสั่งที่ระบุแกนการให้คะแนนไว้อย่างชัดเจน เช่น ความถูกต้อง, ความเกี่ยวข้อง, ความปลอดภัย, และความกระชับ

Judge จะอ่านรูบริคแล้วทำการให้คะแนนผลลัพธ์ (Pointwise), เลือกการตอบกลับที่ดีกว่าระหว่าง 2 ตัวเลือก (Pairwise), หรือตัดสินความสอดคล้องกับคำตอบอ้างอิง (Reference-based) ผลลัพธ์การให้คะแนนจะถูกจัดเก็บไว้ในระบบบันทึกข้อมูล (Log infrastructure) และเชื่อมต่อกับแดชบอร์ดความสามารถในการสังเกตการณ์ (Observability dashboard), การตรวจจับการถดถอย (Regression detection) ใน CI/CD, และการตัดสินผล A/B Testing

สิ่งสำคัญคือต้องวางตำแหน่งว่า "Judge ไม่ใช่สิ่งที่มาแทนที่การประเมินโดยมนุษย์ แต่เป็นเครื่องมือขยายขีดความสามารถเพื่อให้การประเมินโดยมนุษย์ทำได้ในสเกลที่ใหญ่ขึ้น" หากออกแบบผิดพลาด อาจมีความเสี่ยงที่จะผลิตผลการประเมินที่ผิดพลาดโดยอัตโนมัติออกมาเป็นจำนวนมาก ดังนั้นการลงทุนในการออกแบบรูบริคและกระบวนการตรวจสอบจึงเป็นกุญแจสู่ความสำเร็จ

LLM-as-a-Judge จะอยู่ร่วมกับวิธีการประเมินแบบดั้งเดิมโดยแบ่งบทบาทหน้าที่กัน การทำความเข้าใจคุณสมบัติของแต่ละวิธีเพื่อเลือกใช้ให้เหมาะสมถือเป็นแนวทางปฏิบัติจริง

• การประเมินโดยมนุษย์ (Human Review): มีความน่าเชื่อถือสูงสุด แต่มีข้อจำกัดด้านต้นทุน ความเร็ว และความสามารถในการขยายผล (Scalability) ใช้สำหรับกรณีที่เป็นขอบเขต (Boundary cases) และการตัดสินใจขั้นสุดท้าย
• ตัวชี้วัดอัตโนมัติ (Automatic Metrics: BLEU / ROUGE / Embedding Similarity): ทำงานได้รวดเร็ว ต้นทุนต่ำ และมีความสามารถในการทำซ้ำสูง แต่ไม่สามารถวัดความเหมาะสมของบริบทหรือความถูกต้องของการอนุมานได้ ใช้เป็นพื้นฐาน (Baseline) สำหรับการตรวจจับการถดถอย (Regression detection)
• LLM-as-a-Judge: สามารถกำหนดเกณฑ์การประเมินได้อย่างยืดหยุ่นด้วยรูบริคภาษาธรรมชาติ และประมวลผลคำตอบจำนวนมากได้อย่างรวดเร็ว ในขณะเดียวกันก็มีปัญหาเรื่องอคติ (Bias) และความไม่แน่นอน (Determinism)

ในการปฏิบัติงานจริง โครงสร้างสองระดับที่นิยมใช้คือ "ให้ Judge รับหน้าที่คัดกรองเบื้องต้น และให้มนุษย์ตรวจสอบกรณีที่เป็นขอบเขตหรือการตรวจสอบขั้นสุดท้ายก่อนปล่อยงาน" โดยยังคงรักษาตัวชี้วัดอัตโนมัติไว้เป็นเกณฑ์มาตรฐานเชิงปริมาณ และนำมาเปรียบเทียบกับคะแนนจาก Judge เพื่อติดตามความสัมพันธ์ (Correlation) การใช้ทั้ง 3 วิธีร่วมกันอย่างเสริมจุดแข็งแทนที่จะให้ขัดแย้งกัน คือจุดที่แสดงถึงความสามารถของทีมประกันคุณภาพ (QA)

เมื่อ Generative AI ถูกนำไปใช้งานจริงมากขึ้น การอาศัยเพียงการประเมินโดยมนุษย์เพียงอย่างเดียวจึงไม่ใช่แนวทางที่สมเหตุสมผลอีกต่อไป ในสภาพแวดล้อมที่มีการสนทนาเกิดขึ้นหลายร้อยถึงหลายพันครั้งต่อวันต่อหนึ่งบริการ หากไม่เพิ่มอัตราการสุ่มตัวอย่างเพื่อประเมินผล ก็อาจทำให้มองข้ามปัญหาคุณภาพที่ลดลงไปได้ ในขณะเดียวกัน ต้นทุนและระยะเวลาในการรีวิวโดยมนุษย์ก็ไม่ได้ลดลง LLM-as-a-Judge จึงกลายเป็นตัวเลือกแรกที่ได้รับความนิยมอย่างรวดเร็วในการเข้ามาปิดช่องว่างนี้

เมื่อเริ่มใช้งาน LLM ในระบบจริง ปัญหาด้านคุณภาพมักจะปรากฏออกมาในรูปแบบดังต่อไปนี้:

• ไม่ได้วัดอัตราการเกิดฮัลซิเนชัน (Hallucination rate): ความเข้าใจผิดของโมเดลจะถูกตรวจพบก็ต่อเมื่อมีผู้ใช้งานร้องเรียนเข้ามาเท่านั้น
• การถดถอย (Regression) จากการอัปเดต Prompt หรือโมเดล: การแก้ไข Prompt เพียงบรรทัดเดียวอาจทำให้ความแม่นยำในงานอื่นลดลงโดยที่ไม่รู้ตัว
• ไม่สามารถเปรียบเทียบผลการทดสอบ A/B ได้: ไม่สามารถตัดสินเชิงปริมาณได้มากกว่าแค่ความรู้สึกว่า "เวอร์ชันใหม่ดูเหมือนจะดีกว่า"
• การหลุดรอดของเคสขอบเขตที่พบได้ยาก (Rare edge cases): การตอบกลับ 99% อาจไม่มีปัญหา แต่กลับเกิดข้อผิดพลาดร้ายแรงในอีก 1% ที่เหลือ
• การเบี่ยงเบน (Drift) จากปัจจัยภายนอก: ไม่สามารถตรวจพบได้หากพฤติกรรมของโมเดลเปลี่ยนไปจากการอัปเดตของผู้ให้บริการ (Vendor)

LLM-as-a-Judge มอบแนวทางแก้ไขปัญหาเหล่านี้ด้วย "คะแนนเชิงปริมาณ × ตัวอย่างจำนวนมาก × การเฝ้าระวังอย่างต่อเนื่อง" หากนำ Judge เข้าไปรวมใน CI/CD ระบบจะทำการทดสอบการถดถอยโดยอัตโนมัติทุกครั้งที่มีการแก้ไข Prompt ทำให้สามารถตรวจพบปัญหาก่อนที่จะนำไปใช้งานจริง และหากเพิ่มการประเมินจากการสุ่มตัวอย่างบันทึกการใช้งาน (Operation logs) ก็จะสามารถตรวจพบการเบี่ยงเบนหลังจากเปิดใช้งานจริงได้อย่างรวดเร็วอีกด้วย

เครื่องมือประเมินผลมักมีบทบาทที่คล้ายคลึงกัน หากไม่มีการออกแบบการแบ่งหน้าที่ให้ชัดเจนจะนำไปสู่การลงทุนที่ซ้ำซ้อน โดยสามารถแยกบทบาทของทั้ง 3 ส่วนได้ดังนี้:

• AI Observability: รวบรวมข้อมูลอินพุต/เอาต์พุต, Latency, ต้นทุน และอัตราข้อผิดพลาดของ LLM เพื่อให้เกิดความสามารถในการสังเกตการณ์ (ดูรายละเอียดเพิ่มเติมได้ที่ AI Observability คืออะไร?)
• AI Guardrails: แผงกั้นความปลอดภัยที่ทำหน้าที่ตรวจสอบอินพุตและเอาต์พุตในขณะประมวลผล (ระหว่างการจัดการคำขอ) เพื่อบล็อกหรือแก้ไขการตอบกลับที่เป็นอันตราย (ดูรายละเอียดเพิ่มเติมได้ที่ คู่มือการใช้งาน AI Guardrails)
• LLM-as-a-Judge: ให้คะแนน "คุณภาพ" ของการตอบกลับแบบย้อนหลังหรือแบบกึ่งเรียลไทม์ เพื่อนำไปใช้ในการวิเคราะห์แนวโน้มและตรวจจับการถดถอย (Regression)

Observability คือการวัดผล, Guardrails คือการป้องกัน, และ Judge คือการให้คะแนน ทั้ง 3 ส่วนนี้ไม่ได้แข่งขันกัน แต่เป็น Stack ในอุดมคติที่ทำงานร่วมกันโดยใช้ Observability เก็บ Log, ใช้ Guardrails หยุดความเสี่ยง และใช้ Judge ประเมินผลอย่างต่อเนื่อง สำหรับการตรวจสอบความทนทานต่อการโจมตี AI Red Teaming จะเข้ามาทำหน้าที่เสริม หากมีครบทั้ง 4 ชั้นนี้ จะถือเป็นโครงสร้างที่ตอบโจทย์ความต้องการพื้นฐานด้านคุณภาพ ความปลอดภัย และความสามารถในการสังเกตการณ์ที่จำเป็นสำหรับการใช้งานจริง

ในการออกแบบ Judge สิ่งสำคัญในขั้นตอนเริ่มต้นมี 2 ประการ คือ "การเลือกโปรโตคอลการประเมิน (Evaluation Protocol)" และ "การกำหนดเกณฑ์การให้คะแนน (Rubric)" การเลือกโปรโตคอลจะเป็นตัวกำหนดเสถียรภาพและต้นทุน ส่วนการออกแบบรูบริกจะเป็นตัวกำหนดความหมายและความสอดคล้องของคะแนน ในส่วนนี้จะสรุปทางเลือกและจุดสำคัญในการออกแบบของแต่ละหัวข้อ

โปรโตคอลหลักทั้ง 3 รูปแบบมีลักษณะเฉพาะที่แตกต่างกันดังนี้:

งานวิจัยล่าสุดระบุว่า การประเมินแบบ Pairwise มีอัตราการตัดสินที่พลิกกลับไปมาประมาณ 35% ในขณะที่คะแนนสัมบูรณ์ของ Pointwise อยู่ที่ประมาณ 9% ซึ่งเป็นการตอกย้ำให้เห็นถึงการแลกเปลี่ยน (Trade-off) ที่ว่า "Pairwise สามารถจับความแตกต่างที่ละเอียดอ่อนได้แต่ไม่เสถียร ส่วน Pointwise มีความเสถียรแต่ความละเอียดต่ำ"

ในทางปฏิบัติ ควรเลือกใช้ตามลักษณะของงาน และสำหรับงานตัดสินใจปล่อยฟีเจอร์ (Release) หรือภารกิจสำคัญ การใช้หลายโปรโตคอลร่วมกันถือเป็นวิธีมาตรฐาน โดยแนะนำให้เริ่มจากการใช้ Pointwise ในช่วงเริ่มต้น แล้วค่อยๆ ขยายไปสู่การใช้ Pairwise ในงานที่ต้องใช้การประเมินเชิงอัตวิสัยสูงขึ้นตามลำดับ เพื่อลดโอกาสความล้มเหลวในการนำไปใช้งานจริง

ประสิทธิภาพของ Judge ขึ้นอยู่กับ Prompt และ Rubric เป็นหลัก โดยองค์ประกอบที่ควรมีอย่างน้อยที่สุดมีดังนี้:

• การกำหนดเกณฑ์การประเมิน: เช่น 4 แกน ได้แก่ ความถูกต้อง (Accuracy), ความเกี่ยวข้อง (Relevance), ความกระชับ (Conciseness) และความเป็นอันตราย (Harmlessness) โดยควรใช้ 3-5 แกนเพื่อให้ใช้งานได้จริง เพราะหากมีเกณฑ์มากเกินไปจะทำให้การตัดสินของ Judge ลดประสิทธิภาพลง
• สเกลคะแนนและเกณฑ์การตัดสิน: ระบุความหมายของแต่ละคะแนนให้ชัดเจนพร้อมตัวอย่างประกอบ (เช่น 5 คะแนน = สมบูรณ์แบบ, 3 คะแนน = ถูกต้องบางส่วน, 1 คะแนน = ตอบผิด)
• Few-shot examples: นำเสนอตัวอย่างที่เป็นตัวแทนของแต่ละคะแนนประมาณ 2-3 ตัวอย่าง เพื่อป้องกันไม่ให้การกระจายตัวของคะแนนเอนเอียง
• การระบุความกระชับ: หากไม่ระบุว่า "จะหักคะแนนคำตอบที่ยาวเกินความจำเป็น" Judge มักจะชอบคำตอบที่เยิ่นเย้อ
• รูปแบบเอาต์พุต: กำหนดให้ส่งคืนค่าเป็น JSON ในรูปแบบ {score, reasoning, evidence} เพื่อให้สามารถนำไป Parse ต่อได้

Rubric เปรียบเสมือน "ข้อกำหนดทางเทคนิคในรูปแบบภาษาธรรมชาติ" (Natural Language Specification) ซึ่งควรมีการทำ Version Control และเก็บประวัติการแก้ไขไว้ เนื่องจากหากเปลี่ยน Prompt พฤติกรรมของ Judge ก็จะเปลี่ยนตาม ดังนั้นเมื่อมีการอัปเดต Rubric จะต้องทำการวัดค่าความสัมพันธ์ (Correlation) กับการประเมินโดยมนุษย์ใหม่อยู่เสมอ หากละเลยขั้นตอนนี้ คะแนนของ Judge ก็จะเป็นเพียงตัวเลขที่ปราศจากความหมาย

Judge เป็นเครื่องมือที่ทรงพลัง แต่หากพลาดตกหลุมพรางต่อไปนี้ในระหว่างการนำไปใช้งาน ความน่าเชื่อถือของคะแนนจะลดลงอย่างมาก ในส่วนนี้จะสรุปปัญหาเรื่องอคติและความน่าเชื่อถือที่พบบ่อย 4 ประการ พร้อมทั้งกลไกการเกิดและแนวทางแก้ไขของแต่ละปัญหา

ในการประเมินแบบ Pairwise มักพบ "อคติจากตำแหน่ง" (Position Bias) ซึ่งผลการตัดสินจะเปลี่ยนไปตามลำดับการนำเสนอ โดยมีแนวโน้มที่จะให้คะแนนคำตอบที่นำเสนอก่อนสูงกว่า ซึ่งจะเห็นได้ชัดเจนยิ่งขึ้นเมื่อจำนวนตัวเลือกในการประเมินเพิ่มขึ้นเป็น 3-4 รายการ แนวทางแก้ไขมีดังนี้:

• การสุ่มลำดับ (Order Randomization): ประเมินคู่เดิมทั้งในลำดับ A-B และ B-A แล้วนำผลมาหาค่าเฉลี่ย
• การตรวจสอบความสอดคล้อง (Consistency Check): กำหนดให้คะแนนอย่างเป็นทางการเฉพาะกรณีที่ผลการตัดสินจากทั้งสองลำดับตรงกันเท่านั้น หากไม่ตรงกันให้ส่งไปตรวจสอบโดยมนุษย์ (Human Review)

อคติจากความยาว (Verbosity Bias) คือปรากฏการณ์ที่ Judge เข้าใจผิดว่าคำตอบที่ยาวกว่าคือคำตอบที่ "ช่วยเหลือได้ดีกว่า" จึงให้คะแนนสูง ทั้งที่ในประสบการณ์ผู้ใช้งาน (User Experience) บางกรณีต้องการคำตอบที่กระชับ แนวทางแก้ไขคือการระบุไว้ในเกณฑ์การประเมิน (Rubric) ให้ชัดเจนว่า "ความยาวที่เกินความจำเป็นจะถูกหักคะแนน" และระบุให้ชัดเจนว่า "ให้ประเมินทั้งความกระชับและความถูกต้องควบคู่กัน" นอกจากนี้ การนำเสนอตัวอย่าง Few-shot ที่แสดงคำตอบสั้นที่มีคุณภาพดีเปรียบเทียบกับคำตอบยาวที่คุณภาพปานกลาง จะช่วยปรับพฤติกรรมของ Judge ให้เป็นไปตามที่ต้องการได้ง่ายขึ้น

การใช้โมเดลเดียวกันในการสร้างคำตอบและให้คะแนน จะทำให้เกิดอคติที่เรียกว่า "Self-Preference Bias" (การชอบผลงานของตัวเอง) ซึ่งจะประเมินสไตล์การเขียนของตนเองสูงเกินจริง นอกจากนี้ ยังเกิดปรากฏการณ์ "Self-Enhancement" (การเสริมสร้างตนเอง) ที่ว่า "หากโมเดลไม่ทราบข้อเท็จจริงนั้น Judge ก็จะไม่สามารถตรวจสอบได้เช่นกัน" ซึ่งส่งผลให้ความเป็นอิสระในการประเมินสูญเสียไป

แนวทางแก้ไขคือการประเมินแบบข้ามโมเดล (Cross-model evaluation) โดยใช้ตระกูลโมเดลที่แตกต่างกันระหว่างการสร้างคำตอบและการเป็น Judge

• โมเดลที่ใช้สร้าง: ตระกูล Claude
• โมเดลที่ใช้เป็น Judge: ตระกูล GPT หรือตระกูล Gemini
• งานที่สำคัญ: ใช้วิธีการลงคะแนนเสียงข้างมากจาก Judge หลายตัว หรือใช้คะแนนแบบ Ensemble

แม้ว่าการตั้งค่าข้ามผู้ให้บริการ (Vendor) จะเพิ่มความยุ่งยากในด้านการดำเนินงาน การเรียกเก็บเงิน และค่า Latency แต่ถือเป็นการลงทุนที่คุ้มค่าเพื่อรับประกันความเป็นอิสระในการประเมิน หากนโยบายของบริษัทจำกัดให้ใช้ผู้ให้บริการเพียงรายเดียว อย่างน้อยควรเลือกใช้โมเดลที่มีรุ่นหรือขนาดต่างกันภายในผู้ให้บริการรายเดียวกัน และคอยตรวจสอบความสัมพันธ์ (Correlation) ของผลลัพธ์ที่ได้

ปรากฏการณ์ที่คะแนนมีความผันผวนเมื่อส่ง Input เดียวกันไปยัง Judge หลายครั้งเป็นสิ่งที่พบเห็นได้ทั่วไป เนื่องจากไม่สามารถสร้างความสามารถในการทำซ้ำได้อย่างสมบูรณ์แม้จะตั้งค่า temperature=0 แล้วก็ตาม จึงต้องออกแบบโดยมีสมมติฐานดังต่อไปนี้:

• การสุ่มตัวอย่างหลายครั้งแล้วหาค่าเฉลี่ย: สำหรับงานที่สำคัญ ให้ประเมิน 3-5 ครั้งแล้วนำมาหาค่าเฉลี่ยเพื่อทำเป็นคะแนน
• การตรวจสอบการกระจายตัวของคะแนน: ใช้การขยายตัวของความแปรปรวนเป็นสัญญาณเตือน (Alert)
• การล็อกเวอร์ชัน: ระบุตัวระบุโมเดล (Model Identifier) ที่ใช้สำหรับ Judge ให้ชัดเจน และเมื่อมีการอัปเดตให้ตรวจสอบความสัมพันธ์กับข้อมูลในอดีตใหม่อีกครั้ง
• การออกแบบสเกล: สเกล 1-10 ให้ความละเอียดสูงกว่าสเกล 1-5 แต่ Judge จะมีแนวโน้มที่จะให้คะแนนรวมกลุ่มอยู่ที่ค่ากลางมากขึ้น ควรเลือกใช้ระหว่างแบบ 2 ค่า (ผ่าน/ไม่ผ่าน) กับสเกลที่ละเอียดกว่าตามความเหมาะสมของงาน

คะแนนของ Judge มีความหมายในแง่ของ "การเปลี่ยนแปลงตามกาลเวลา" มากกว่าค่าสัมบูรณ์ หัวใจสำคัญของการดำเนินงานคือการกำหนด Baseline ให้คงที่และติดตามการเปลี่ยนแปลงเชิงเปรียบเทียบ โดยควรออกแบบ Dashboard ที่สามารถสังเกตการณ์ได้ทั้งความแปรปรวน (Variance) และการเบี่ยงเบน (Drift) ควบคู่กันไป

ตัว Judge LLM เองก็อาจเกิดอาการหลอน (Hallucination) ได้ เช่น การหักคะแนนด้วยเหตุผลที่ไม่มีอยู่จริง หรือการให้คะแนนสูงโดยอ้างอิงข้อมูลที่ไม่ได้อยู่ในแหล่งข้อมูลอ้างอิง เพื่อเพิ่มความแม่นยำในการตรวจจับ ควรให้โมเดลส่งออก reasoning (เหตุผลในการตัดสิน) และ evidence (ส่วนที่อ้างอิง) เป็นรูปแบบ JSON ควบคู่ไปกับการให้คะแนน แล้วทำการตรวจสอบย้อนหลัง (Post-check) ดังนี้:

• ใน reasoning มีการระบุส่วนที่อ้างอิงอย่างชัดเจนหรือไม่
• ความสอดคล้องระหว่าง reasoning และ score (เช่น ไม่มีการให้เหตุผลเชิงลบในขณะที่ให้คะแนนสูง)
• ไม่มีการอ้างถึงข้อโต้แย้งที่ขัดแย้งกับคำตอบอ้างอิง (Reference answer)
• ไม่มีการใช้ข้อมูลที่ไม่มีอยู่จริงในสิ่งที่ถูกประเมินมาเป็นเหตุผลประกอบ

เนื่องจาก Judge ก็เป็น LLM เช่นกัน จึงไม่สามารถเชื่อถือได้ 100% การสร้างระบบที่สุ่มตัวอย่าง reasoning มาตรวจสอบโดยมนุษย์เป็นระยะ จะช่วยให้สามารถตรวจพบอาการ Drift หรือข้อผิดพลาดของตัว Judge เองได้ตั้งแต่เนิ่นๆ

การนำ Judge ไปใช้งานจริง (Production) ให้ประสบความสำเร็จนั้น ขึ้นอยู่กับการปฏิบัติตามลำดับขั้นตอนตั้งแต่การสร้างชุดข้อมูลประเมินผล (Evaluation Dataset) ไปจนถึงการรวมเข้ากับไปป์ไลน์ (Pipeline) โดยควรดำเนินการตาม 4 ขั้นตอนดังต่อไปนี้ หากข้ามขั้นตอนใดขั้นตอนหนึ่งไป อาจส่งผลให้เกิดการแก้ไขงานย้อนหลังในภายหลังได้ง่าย

สิ่งแรกที่ต้องเตรียมคือชุดข้อมูลคู่ Input-Output ที่เป็นตัวแทนจากการใช้งานจริง โดยเน้นคุณภาพมากกว่าปริมาณ ซึ่งสามารถเริ่มต้นได้ที่ประมาณ 50–200 รายการ

• การแบ่งเลเยอร์ (Layering): สุ่มตัวอย่างโดยแบ่งเป็น 3 ระดับ ได้แก่ "กรณีทั่วไป (Typical cases)", "กรณีขอบเขต (Boundary cases)" และ "กรณีที่เคยล้มเหลว (Known failure cases)"
• การติดป้ายกำกับระดับทอง (Gold Labeling): ต้องมีการติดป้ายกำกับคำตอบที่ถูกต้องหรือคำตอบในอุดมคติด้วยมืออย่างน้อย 20–30 รายการ
• การจัดการเวอร์ชัน (Version Control): จัดการเวอร์ชันของชุดข้อมูลด้วย Git หรือเครื่องมืออื่น ๆ เพื่อให้สามารถตรวจสอบความแตกต่าง (Diff) ได้
• การทำให้เป็นข้อมูลนิรนาม (Anonymization): หากมีข้อมูลส่วนบุคคล ต้องดำเนินการทำให้เป็นข้อมูลนิรนามก่อนนำเข้าสู่ระบบประเมินผลเสมอ

ชุดข้อมูลสำหรับการประเมินจะทำหน้าที่เป็น "เกณฑ์มาตรฐาน (Benchmark) ที่ใช้วัดผลซ้ำทุกครั้งที่มีการอัปเดต Prompt หรือเปลี่ยนโมเดล" คุณภาพที่ได้รับการดูแลอย่างต่อเนื่องนั้นสำคัญกว่าขนาดของข้อมูล การเพิ่มกรณีที่ล้มเหลวใหม่ๆ เข้าไปทุกครั้งที่พบ จะช่วยพัฒนาให้ชุดข้อมูลนี้กลายเป็นเกณฑ์มาตรฐานเชิงป้องกัน (Defensive Benchmark) ที่แข็งแกร่งขึ้น

เมื่อเขียนรูบริค (Rubric) เสร็จแล้ว ต้องตรวจสอบเสมอว่า "คะแนนจาก Judge และคะแนนจากมนุษย์ตรงกันหรือไม่" หากค่าความสัมพันธ์ (Correlation) ต่ำ แสดงว่าคำอธิบายในรูบริคนั้นยังคลุมเครือ

• นำตัวอย่าง 30–50 รายการมาให้ทั้ง Judge และมนุษย์ประเมินคะแนน
• วัดระดับความสอดคล้องด้วยค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน (Pearson correlation coefficient) หรือค่า Cohen's κ โดยให้ยึดเกณฑ์ที่ 0.6 ขึ้นไปเป็นแนวทาง
• รวบรวมกรณีที่คะแนนไม่ตรงกัน แล้วเพิ่มตัวอย่างแบบ Few-shot ลงในรูบริค
• หากจำเป็น ให้แบ่งย่อยเกณฑ์การประเมิน (เช่น แยก "ความถูกต้อง" ออกเป็น "ความถูกต้องของข้อเท็จจริง" และ "ความสอดคล้องเชิงตรรกะ")

หากข้ามขั้นตอนเหล่านี้ไป คะแนนจาก Judge จะกลายเป็นเพียง "ตัวเลขที่ไม่มีความหมาย" การตรวจสอบความสัมพันธ์กับมนุษย์เป็นสิ่งจำเป็นต่อการรับประกันคุณภาพของไปป์ไลน์ Judge โดยเฉพาะงานที่สำคัญซึ่งต้องใช้ในการตัดสินใจปล่อยงาน (Release) ควรดำเนินการอย่างละเอียดถี่ถ้วน และควรกำหนดให้กระบวนการตรวจสอบนี้เป็นขั้นตอนมาตรฐานที่ต้องทำซ้ำทุกครั้งที่มีการแก้ไขรูบริค

検証済みの Judge は、開発と運用の両パイプラインに接続する。

• CI/CD 上のリグレッション評価: プロンプト変更やモデル更新時に、評価データセット全体で Judge を走らせスコアの下落を検知。評価ハーネスの設計思想については ハーネスエンジニアリング が参考になる
• バッチ推論での逐次評価: 本番ログからサンプリングした応答を夜間バッチで Judge に評価させる
• アラート閾値: 平均スコアが基準を X% 下回ったら Slack 等に通知
• リリース判定ゲート: 重要指標のスコアが基準を下回る変更は自動的にマージ不可

Judge 評価は計算コストが高いので、全量ではなくサンプリングで回し、重要エンドポイントだけ評価率を上げる構成が費用対効果に優れる。評価対象と本体の LLM コストは別管理にしておき、予算枠を明確に分けて運用する。

Judge ไม่ใช่สิ่งที่ติดตั้งแล้วจบไป แต่จำเป็นต้องมีการดำเนินงานอย่างต่อเนื่องดังต่อไปนี้:

• การตรวจสอบซ้ำเมื่อมีการอัปเดตโมเดล Judge: เมื่อผู้ให้บริการอัปเดตโมเดล ต้องตรวจสอบว่ายังคงรักษาความสัมพันธ์กับคะแนนในอดีตไว้ได้หรือไม่
• การจัดการประวัติการแก้ไขเกณฑ์การประเมิน (Rubric): บันทึกเหตุผลในการเปลี่ยนแปลงและผลลัพธ์การตรวจสอบประสิทธิภาพ
• การตรวจสอบโดยสุ่มตัวอย่างด้วยมนุษย์: ทำการประเมินซ้ำด้วยมนุษย์จำนวนหนึ่งในทุกเดือน เพื่อเฝ้าระวังการคลาดเคลื่อน (Drift) ของ Judge
• การขยายชุดข้อมูลการประเมิน: เพิ่มกรณีความล้มเหลวใหม่ๆ เข้าไปในชุดข้อมูลทุกครั้งที่พบ
• การทำแดชบอร์ดตัวชี้วัด: แสดงภาพรวมของการกระจายคะแนน, ความแปรปรวน, อัตราความสอดคล้องกับมนุษย์ และอัตราการพลิกกลับของผลลัพธ์ไว้ในหน้าจอเดียว

ไปป์ไลน์ของ Judge สามารถนำไปใช้ในการประเมินซ้ำหลังจากการทำ Fine-tune ได้ หากนำรายละเอียดของวิธีการไปรวมกับ บทนำการทำ Fine-tuning ด้วย PEFT จะทำให้กระบวนการตั้งแต่การ Fine-tune ไปจนถึงการตรวจจับการถดถอย (Regression) ด้วย Judge เชื่อมโยงกันเป็นวงจรการประกันคุณภาพที่สอดคล้องกัน

ในการติดตั้งใช้งาน Judge ภาระการดำเนินงานและต้นทุนจะเปลี่ยนไปอย่างมาก ขึ้นอยู่กับว่าเราจะรันการประเมินผล "เมื่อไหร่" และ "ที่ไหน" ในส่วนนี้จะสรุปรูปแบบหลัก 2 รูปแบบ รวมถึงวิธีการผสมผสานเพื่อใช้งานจริง

ออฟไลน์คือวิธีการประเมินด้วยชุดข้อมูลล่วงหน้า ส่วนออนไลน์คือวิธีการประเมินการตอบสนองของผู้ใช้งานจริงในแบบเกือบเรียลไทม์

• การประเมินแบบออฟไลน์ (Offline Evaluation)
  • ช่วงเวลาที่ดำเนินการ: CI/CD, การตรวจสอบก่อนปล่อยเวอร์ชัน (Release), การทดสอบ Regression รายสัปดาห์
  • คุณสมบัติ: มีความสามารถในการทำซ้ำ (Reproducibility) ด้วยชุดข้อมูลที่คงที่, คาดการณ์ต้นทุนได้, และใช้ตรวจสอบความสัมพันธ์กับผลลัพธ์จากมนุษย์ในขั้นตอนนี้ด้วย
  • งานที่เหมาะสม: การปรับแต่ง Prompt, การตัดสินใจเปลี่ยนโมเดล, การเปรียบเทียบระหว่างเวอร์ชัน
• การประเมินแบบออนไลน์ (Online Evaluation)
  • ช่วงเวลาที่ดำเนินการ: ประเมินจากตัวอย่าง Log การใช้งานจริง (1–5%) แบบกึ่งเรียลไทม์
  • คุณสมบัติ: สามารถตรวจจับข้อมูลที่ไม่รู้จักซึ่งขึ้นอยู่กับ Traffic จริงได้ แต่ต้องให้ความสำคัญกับการจัดการต้นทุน
  • งานที่เหมาะสม: การแจ้งเตือนคุณภาพที่ลดลง, การตรวจจับ Drift, การค้นหาปัญหาก่อนที่ผู้ใช้จะรายงานเข้ามา

โครงสร้างทั่วไปคือระบบสองชั้นที่ใช้ "ออฟไลน์เพื่อป้องกัน Regression และออนไลน์เพื่อตรวจจับ Drift" เนื่องจากต้นทุนฝั่ง Judge ก็เป็นสิ่งที่ละเลยไม่ได้ จึงควรนำแนวคิดจาก LLM Cost Optimization Guide (อัตราการสุ่มตัวอย่าง, การเลือกโมเดล, Prompt Caching) มาประยุกต์ใช้กับฝั่งการประเมินด้วยเช่นกัน

ข้อมูลที่จัดการใน Pipeline การประเมินมักมีข้อมูลส่วนบุคคลรวมอยู่ด้วย ดังนั้นอย่าลืมทำเรื่องการปกปิดข้อมูล (Anonymization) และการควบคุมการเข้าถึง สำหรับข้อควรระวังในการดำเนินงานในประเทศไทย สามารถดูได้ที่ Thailand PDPA Compliance Checklist และสำหรับการตรวจสอบ Input/Output ของ Prompt ในมุมมองด้านความปลอดภัย โปรดอ่านควบคู่ไปกับ LLM Security Implementation Guide (OWASP × TypeScript)

เรารวบรวมคำถามที่พบบ่อยจากผู้อ่าน พร้อมคำตอบที่อ้างอิงจากประสบการณ์การทำโครงการของบริษัทเราไว้ดังนี้

ไม่สามารถแทนที่กันได้ แม้ว่า Judge จะมีประสิทธิภาพในการคัดกรองเบื้องต้นและการตรวจสอบการตอบกลับจำนวนมากอย่างต่อเนื่อง แต่การประเมินโดยมนุษย์ยังคงจำเป็นสำหรับความน่าเชื่อถือของเหตุผลในการตัดสินและการจัดการกรณีขอบเขต (edge cases) ในทางปฏิบัติ โครงสร้างแบบสองระดับที่ว่า "Judge ครอบคลุมการดำเนินงานประจำวัน 80-90% และมนุษย์ตรวจสอบก่อนการปล่อยใช้งานหรือกรณีที่เป็นขอบเขต" จึงเป็นทางออกที่สมเหตุสมผลที่สุด การออกแบบที่เหมาะสมคือการวางตำแหน่งให้ Judge เป็นเครื่องมือทุ่นแรงเพื่อขยายขีดความสามารถในการประเมินของมนุษย์ ไม่ใช่เพื่อทดแทนมนุษย์

ไม่แนะนำให้ทำเช่นนั้น เนื่องจากโมเดลเดียวกันจะมี "อคติจากการเลือกตนเอง" (Self-preference bias) ที่มักจะให้คะแนนสูงแก่ผลลัพธ์ของตนเอง ทำให้ความเป็นอิสระในการประเมินลดลง ควรใช้โมเดลคนละตระกูลระหว่างการสร้างผลลัพธ์ (Generation) และการประเมิน (Judge) และสำหรับงานที่สำคัญควรพิจารณาใช้การประเมินแบบกลุ่ม (Ensemble) จากหลาย Judge การใช้โครงสร้างแบบข้ามโมเดล (Cross-model) ยังมีข้อดีคือช่วยลดผลกระทบจากการเปลี่ยนแปลงสเปกหรือการลดลงของคุณภาพจากผู้ให้บริการรายเดียวในฝั่งการประเมินอีกด้วย

ขึ้นอยู่กับลักษณะของงาน งานที่สามารถประเมินเชิงวัตถุวิสัยได้ เช่น การตรวจหาข้อเท็จจริงหรือการละเมิดนโยบาย จะเหมาะกับ Pointwise ส่วนงานที่เน้นการประเมินเชิงอัตวิสัย เช่น โทนเสียง ความน่าเชื่อถือ และความสอดคล้องทางตรรกะ จะเหมาะกับ Pairwise ในสถานการณ์สำคัญอย่างการตัดสินใจปล่อยฟีเจอร์ (Release) การรันทั้งสองวิธีควบคู่กันเพื่อตรวจสอบความสอดคล้องถือเป็นวิธีที่ปลอดภัยที่สุด ในช่วงเริ่มต้นของการนำมาใช้งาน แนะนำให้เริ่มจาก Pointwise ก่อน แล้วค่อยๆ เปลี่ยนงานที่มีสัดส่วนการประเมินเชิงอัตวิสัยสูงให้เป็น Pairwise เพื่อควบคุมภาระในการดำเนินงาน

แม้จะมีความผันผวนสูงขึ้นอยู่กับความถี่ในการประเมินและปริมาณข้อมูล แต่หากกำหนดค่าการสุ่มตัวอย่าง (Sampling) ไว้ที่ 1–5% ของทราฟฟิกจริง ในหลายกรณีจะมีค่าใช้จ่ายอยู่ที่ประมาณ 5–15% ของต้นทุน LLM หลักของแอปพลิเคชัน ทั้งนี้ สามารถลดค่าใช้จ่ายลงได้อีกด้วยการใช้โมเดลขนาดเล็กสำหรับ Judge, การใช้ Prompt Caching, การเลือกใช้ Pointwise แทน Pairwise หรือการเพิ่มอัตราการประเมินเฉพาะใน Endpoint ที่สำคัญ สำหรับรายละเอียดเกี่ยวกับการบริหารจัดการงบประมาณ โปรดดูที่คู่มือการเพิ่มประสิทธิภาพต้นทุน LLM (LLM Cost Optimization Guide)

การแบ่งหน้าที่ที่ชัดเจนช่วยหลีกเลี่ยงการลงทุนที่ซ้ำซ้อน โดยให้ Observability รับผิดชอบด้าน "การรวบรวมและแสดงผล Log", Guardrails รับผิดชอบด้าน "การสกัดกั้นขณะประมวลผล" และ LLM-as-a-Judge รับผิดชอบด้าน "การให้คะแนนคุณภาพอย่างต่อเนื่อง" แนวทางการดำเนินงานที่เหมาะสมที่สุดคือการเชื่อมต่อทั้ง 3 ส่วนเข้ากับโครงสร้างพื้นฐานการตรวจสอบเดียวกัน เพื่อให้สามารถดูจำนวนการบล็อกของ Guardrails, แนวโน้มคะแนนของ Judge และค่า Latency ของ Observability ได้ในหน้าจอเดียว เนื่องจากความผิดปกติในแต่ละชั้นมักเกิดขึ้นสัมพันธ์กัน การทำ Dashboard แบบข้ามระบบจึงช่วยเพิ่มความรวดเร็วในการตรวจสอบเมื่อเกิดปัญหาได้

LLM-as-a-Judge คือรูปแบบมาตรฐานที่เข้ามาเติมเต็มส่วนที่ขาดหายไปในการประกันคุณภาพสำหรับการใช้งานจริง หากเลือกโปรโตคอลที่เหมาะสม มีมาตรการป้องกันอคติ (bias) และตรวจสอบความสัมพันธ์กับการประเมินโดยมนุษย์ได้ ก็จะสามารถตรวจสอบคุณภาพการตอบกลับในระดับที่มนุษย์ไม่สามารถทำได้ทันอย่างต่อเนื่อง การนำไปใช้งานควรดำเนินการเป็นขั้นตอน และอย่าลืมออกแบบการตรวจสอบคุณภาพของตัว Judge เอง รวมถึงการจัดการต้นทุนการดำเนินงานด้วย

Judge ไม่สามารถทำงานได้โดยลำพัง การนำไปใช้ร่วมกับบทความที่เกี่ยวข้องต่อไปนี้จะช่วยเสริมความแข็งแกร่งให้กับ AI Operation Stack ทั้งระบบได้

• AI Observability คืออะไร? กลไกการตรวจสอบ LLM ในการใช้งานจริง — การออกแบบโครงสร้างพื้นฐานของบันทึกข้อมูล (log) และความสามารถในการสังเกตการณ์ (observability)
• คู่มือการติดตั้ง AI Guardrails — การออกแบบแนวป้องกันความปลอดภัยขณะรันไทม์ (อยู่ระหว่างเตรียมเผยแพร่)
• AI Red Teaming คืออะไร? — การตรวจสอบความทนทานต่อการโจมตี
• คู่มือการเพิ่มประสิทธิภาพต้นทุน LLM — สามารถประยุกต์ใช้เพื่อลดต้นทุนฝั่ง Judge ได้
• Harness Engineering — แนวคิดการรวมการประเมินเข้ากับ CI/CD
• แนะนำการทำ Fine-tuning ด้วย PEFT — ลูปการทำงานของ Judge หลังการทำ Fine-tune
• คู่มือการติดตั้งความปลอดภัย LLM (OWASP × TypeScript) — การใช้งานร่วมกับการตรวจสอบอินพุตและเอาต์พุต
• รายการตรวจสอบการปฏิบัติตาม PDPA ของไทย — ข้อกำหนดในการปกปิดตัวตนของข้อมูลที่ใช้ประเมิน

บริษัทของเราได้สร้างไปป์ไลน์ LLM-as-a-Judge ให้กับลูกค้าหลายราย และได้สั่งสมองค์ความรู้ทั้งในด้านการออกแบบชุดข้อมูลประเมิน การกำหนดเกณฑ์การให้คะแนน (rubric) และการตรวจสอบความสัมพันธ์กับการประเมินโดยมนุษย์ สำหรับทีมที่ต้องการยกระดับระบบประกันคุณภาพไปอีกขั้น โปรดอ้างอิงบทความที่เกี่ยวข้องข้างต้นควบคู่ไปด้วย