เปิดตัว 6 โมเดล Open-weights ที่ใช้งานเครื่องมือได้ดีที่สุดบน DGX Spark: ผลการทดสอบจริง

เปิดตัว 6 โมเดล Open-weights ที่ใช้งานเครื่องมือได้ดีที่สุดบน DGX Spark: ผลการทดสอบจริง

บน DGX Spark (128GB) เราให้โมเดลโอเพนเวท (Open-weight model) 6 ตัว ทำ 3 งาน ได้แก่ การอ่านไฟล์ การทำเป็นรายการ และการดึงข้อมูลออกมา ผลคือมีเพียง Qwen 27B (Q8_0) เท่านั้นที่ผ่านทั้ง 3 งาน และมีเพียง Nemotron Bolt (74B-A9B) เท่านั้นที่ไม่เกิดการประมวลหลอน (Hallucination) ซึ่งหมายถึงการตอบเนื้อหาที่ต่างจากความเป็นจริงอย่างน่าเชื่อถือ แม้แต่ครั้งเดียว ทางเราใช้ agent harness แบบเบาที่สร้างขึ้นเอง รันงานเดียวกันกับแต่ละโมเดล 3-6 ครั้ง และตรวจให้คะแนนคำตอบโดยเทียบกับตารางคำตอบที่ถูกต้อง

สิ่งที่แบ่งผลลัพธ์ออกจากกันคือ 2 ประเด็น ได้แก่ โมเดลไปอ่านไฟล์ด้วยเครื่องมือหรือไม่ และสามารถเขียนเนื้อหาที่อ่านมาออกมาได้โดยไม่ตกหล่นหรือไม่ เนื้อหานี้สรุปขึ้นมาเพื่อให้นักพัฒนาและผู้ดูแลระบบสารสนเทศที่ต้องการให้Local LLM จัดการงานที่ผสมผสานคำสั่งภาษาธรรมชาติกับการใช้งานเครื่องมือเข้าด้วยกัน สามารถตัดสินใจได้ว่าควรตรวจสอบอะไรก่อนที่จะเลือกโมเดล

เงื่อนไขการตรวจสอบ: วัดอะไรและวัดอย่างไร?

เงื่อนไขการตรวจสอบ: วัดอะไรและวัดอย่างไร?

การวัดผลดำเนินการโดยใช้ DGX Spark (128GB) จำนวน 1 เครื่อง โดยรันโมเดลทีละหนึ่งโมเดล และทดสอบด้วยโจทย์ 3 ข้อที่มีคำตอบที่ถูกต้องชัดเจนจากชุดทดสอบ (harness) เดียวกัน จากนั้นจึงนำคำตอบที่ได้ไปเปรียบเทียบกับคำตอบที่ถูกต้อง

สภาพแวดล้อมการทำงานและ Harness

เครื่องที่ใช้รันคือ DGX Spark (128GB) ในการเปรียบเทียบความเร็วครั้งก่อน เราได้วัดว่าระยะเวลาที่ใช้จะเปลี่ยนไปอย่างไรตามการตั้งค่าของ Inference Engine และการอ่านล่วงหน้า (Look-ahead) แต่ในครั้งนี้เราไม่ได้เน้นที่ความเร็ว แต่ได้เปรียบเทียบโมเดล 6 รุ่นโดยมุ่งเน้นไปที่ความถูกต้องของคำตอบ

รายการเนื้อหา
เครื่องที่ใช้รันNVIDIA DGX Spark (GB10, หน่วยความจำแบบรวม 128GB)
HarnessAgent Harness ขนาดเล็กที่สร้างขึ้นเอง (ส่วนขยายของ VS Code) เป็นสคริปต์สำหรับเริ่มต้นการทำงาน โดยรันโจทย์ทดสอบโดยไม่ต้องใช้คนควบคุม
เครื่องมือที่โมเดลใช้ได้เครื่องมือต่างๆ เช่น การค้นหาและอ่านไฟล์
การตั้งค่า"มาตรฐาน" (ค่าเริ่มต้น) และ "ฉบับปรับแต่ง" (ปรับให้เหมาะสมกับแต่ละโมเดล)
จำนวนครั้งQwen ทดสอบโจทย์ละ 6 ครั้ง, Nemotron Bolt ทดสอบโจทย์ที่ 1 จำนวน 6 ครั้ง และโจทย์ที่ 2 กับ 3 จำนวน 3 ครั้ง, LLM-jp รุ่น 33B ทดสอบโจทย์ละ 4 ครั้ง, รุ่นอื่นๆ ทดสอบโจทย์ละ 3 ครั้ง

Harness จะส่งคำสั่งไปยังโมเดล และหากโมเดลเรียกใช้เครื่องมือ ก็จะดำเนินการตามนั้นและส่งผลลัพธ์กลับไป โดยจะทำซ้ำกระบวนการนี้ไปเรื่อยๆ จนกว่าจะได้คำตอบสุดท้าย หากโมเดลไม่เปิดไฟล์ด้วยตัวเอง ก็จะไม่ได้รับข้อมูลที่จำเป็นสำหรับคำตอบ สิ่งที่วัดในที่นี้ไม่ใช่ความสามารถของโมเดลเพียงอย่างเดียว แต่เป็นผลลัพธ์เมื่อใช้งานผ่าน Harness นี้

สำหรับ LLM-jp รุ่น 33B, GPT-OSS-Swallow และ Swallow ที่ใช้พื้นฐานจาก Qwen นั้น เราได้รันทั้งการตั้งค่าแบบมาตรฐานและฉบับปรับแต่ง โดยในบทความนี้จะแสดงผลลัพธ์ของฉบับปรับแต่ง ส่วน Qwen, Nemotron Bolt และ LLM-jp รุ่น 32B-A3B จะใช้เฉพาะการตั้งค่าแบบมาตรฐานเท่านั้น

3 โจทย์ท้าทายและเกณฑ์การผ่าน

ทั้ง 3 โจทย์นี้จำเป็นต้องอ่านไฟล์จึงจะตอบได้ และมีคำตอบที่ถูกต้องเพียงคำตอบเดียวเท่านั้น

โจทย์เนื้อหาคำตอบที่ถูกต้องเกณฑ์การผ่าน
โจทย์ที่ 1: การทำรายการ APIทำรายการ API ทั้งหมดที่มีอยู่ในไฟล์ฝั่งเซิร์ฟเวอร์ของเว็บแอปพลิเคชันให้อยู่ในรูปแบบตาราง47 รายการตกหล่นไม่เกิน 2 รายการ, ข้อมูลเท็จ 0
โจทย์ที่ 2: การตรวจหา API ที่ไม่ได้ใช้งานทำรายการ API ที่ไม่ได้ถูกเรียกใช้งานจากโค้ดฝั่งหน้าจอ (UI) ให้อยู่ในรูปแบบตาราง2 รายการตกหล่น 0, เกิน 0, ข้อมูลเท็จ 0
โจทย์ที่ 3: การดึงข้อมูลจากเอกสารภาษาญี่ปุ่นดึงข้อมูล Path และหัวข้อจากคู่มือการใช้งานภาษาญี่ปุ่น15 บรรทัดตกหล่นไม่เกิน 2 บรรทัด, ข้อมูลเท็จ 0

โจทย์ที่ 1 เป็นโจทย์ที่ให้ทำรายการ API จำนวน 47 รายการ ซึ่งเป็นโจทย์เดียวกับที่ใช้ในบทความครั้งก่อน แม้จะสามารถแก้โจทย์ได้ด้วยการอ่านไฟล์เพียงไฟล์เดียวจนจบ แต่เนื่องจากมีจำนวนมาก หากหยุดอ่านกลางคันหรือตกหล่นระหว่างทำตาราง ก็จะทำให้เกิดข้อผิดพลาดได้

โจทย์ที่ 2 ไม่สามารถแก้ได้หากไม่อ่านเปรียบเทียบทั้งไฟล์ที่กำหนด API และโค้ดฝั่งหน้าจอ คำตอบที่ถูกต้องมีเพียง 2 รายการเท่านั้น และหากระบุ API ที่มีการเรียกใช้งานจริงเกินมาแม้แต่รายการเดียวก็จะถือว่าไม่ผ่าน จึงถือเป็นโจทย์ที่มีเกณฑ์เข้มงวดที่สุดในบรรดา 3 โจทย์นี้

โจทย์ที่ 3 เป็นโจทย์ที่ให้ดึงข้อมูลชุดของ Path และหัวข้อจากคู่มือการใช้งานที่เขียนด้วยภาษาญี่ปุ่น โดยเป็นการวัดทักษะการอ่านเอกสารภาษาญี่ปุ่นแทนที่จะเป็นโค้ดภาษาอังกฤษ รวมถึงความสามารถในการปฏิบัติตามขอบเขตที่กำหนดให้ในการดึงข้อมูล

วิธีการนับอัตราความถูกต้อง, Hallucination และเวลาที่ใช้ในการประมวลผล

ตัวเลขในตารางมีการนับดังนี้:

  • อัตราความถูกต้อง (Accuracy): สัดส่วนของคำตอบที่ถูกต้อง โดยคำนวณจากค่ามัธยฐานของทุกรอบในแต่ละโมเดลและแต่ละโจทย์
  • การหลอน (Hallucination): สัดส่วนของรอบ (จากทุกรอบ) ที่มีรายการอย่างน้อย 1 รายการถูกตัดสินว่าเป็นการ "สร้างเรื่องขึ้นมา" ในการให้คะแนนตลอดทั้ง 3 โจทย์
  • เวลาที่ใช้ในการประมวลผล (Execution Time): จำนวนวินาทีที่ผ่านไปตั้งแต่เริ่มรอบจนถึงการตอบกลับครั้งสุดท้าย ซึ่งรวมถึงเวลาที่ใช้ในการรันเครื่องมือด้วย

สำหรับเวลาที่ใช้ในการประมวลผล จะคำนวณค่ามัธยฐานของแต่ละโจทย์เฉพาะรอบที่จบลงด้วยสถานะ "เสร็จสิ้น (Completed)" เท่านั้น และแสดงค่าตั้งแต่ต่ำสุดไปจนถึงสูงสุดของค่ามัธยฐานจากทั้ง 3 โจทย์ โดยจะตัดรอบที่หมดเวลา, ถึงขีดจำกัดการส่งออก, เกิดข้อผิดพลาด หรือจบลงโดยไม่มีการเรียกใช้เครื่องมือออก และปัดเศษวินาทีให้เป็นจำนวนเต็ม

ด้วยเหตุนี้ จำนวนกลุ่มตัวอย่าง (Population) ในแต่ละคอลัมน์จึงไม่เท่ากัน โดยอัตราความถูกต้องและการหลอนจะนับจากทุกรอบ ในขณะที่เวลาที่ใช้ในการประมวลผลจะนับเฉพาะรอบที่เสร็จสิ้นเท่านั้น นอกจากนี้ เนื่องจากอัตราความถูกต้องเป็นค่ามัธยฐาน ความผันผวนในแต่ละรอบจึงไม่ปรากฏในตาราง ส่วนการผ่าน/ไม่ผ่านเป็นการตัดสินที่สรุปรวบยอดจากผลลัพธ์ของทุกรอบในแต่ละโจทย์ แม้แต่ Qwen ที่ผ่านทั้ง 3 โจทย์ ก็ยังมีรอบที่ไม่ผ่านในโจทย์ที่ 2 และโจทย์ที่ 3 อย่างละ 2 รอบ

ผลลัพธ์ของ 6 โมเดลเป็นอย่างไร?

ผลลัพธ์ของ 6 โมเดลเป็นอย่างไร?

มีเพียง Qwen รุ่น 27B เท่านั้นที่ผ่านทั้ง 3 โจทย์ ส่วน Nemotron Bolt ผ่านโจทย์ที่ 1 และไม่มีการกุเรื่องขึ้นมาเลยแม้แต่ครั้งเดียว ในขณะที่อีก 4 โมเดลที่เหลือไม่ผ่านโจทย์ใดเลย

ตารางสรุปผลลัพธ์

ภายใต้เงื่อนไขครั้งนี้ ตัวเลือกที่มีแนวโน้มดีที่สุดคือ Qwen ขนาด 27B และ Nemotron Bolt

โมเดลโจทย์ที่ 1: การทำรายการ API 47 รายการโจทย์ที่ 2: การตรวจหา API ที่ไม่ได้ใช้งาน (2 รายการ)โจทย์ที่ 3: การคัดแยกเอกสารภาษาญี่ปุ่น (15 บรรทัด)อาการประสาทหลอน (Hallucination)เวลาที่ใช้ประมวลผล (วินาที)
Qwen (27B・Q8_0)ผ่าน 100%ผ่าน 100%ผ่าน 100%11%68-194
Nemotron Bolt (74B-A9B)ผ่าน 100%ไม่ผ่าน 50%ไม่ผ่าน 73%0%59-292
LLM-jp (33B)ไม่ผ่าน 39%ไม่ผ่าน 50%ไม่ผ่าน 50%83%510-706
LLM-jp (32B-A3B)ตัดสินไม่ได้ 0%ตัดสินไม่ได้ 0%ตัดสินไม่ได้ 7%33%54-146
GPT-OSS-Swallow (20B)ไม่ผ่าน 2%ไม่ผ่าน 0%ไม่ผ่าน 0%89%-
Swallow (30B-A3B・Qwen base)ไม่ผ่าน 0%ไม่ผ่าน 0%ไม่ผ่าน 0%67%-
  • ค่า % ของโจทย์คือค่ามัธยฐานของสัดส่วนคำตอบที่ถูกต้องจากคำตอบทั้งหมด (ทุกรอบ)
  • เครื่องหมาย "-" ในช่องเวลาที่ใช้ประมวลผล หมายถึงการทดสอบที่ทำสำเร็จเพียง 1 ครั้งจากทั้งหมด 9 ครั้ง จึงไม่ได้นำมาแสดงผล
  • "ตัดสินไม่ได้" หมายถึงกรณีที่การทดสอบหยุดชะงักเนื่องจากความไม่พร้อมของสภาพแวดล้อม ทำให้ไม่สามารถวัดประสิทธิภาพของโมเดลได้ (รายละเอียดจะกล่าวถึงในภายหลัง)

ความสัมพันธ์ระหว่างชื่อในตารางกับขนาดและค่าตั้งต้นของโมเดลมีดังนี้

ชื่อในตารางขนาดและรูปแบบค่าตั้งต้น
Qwen (27B・Q8_0)โมเดล Dense ขนาด 27B ทำการ Quantize แบบ Q8_0มาตรฐาน
Nemotron Bolt (74B-A9B)MoE ที่ทำงาน 9B จากทั้งหมด 74Bมาตรฐาน
LLM-jp (33B)33Bรุ่นปรับแต่ง
LLM-jp (32B-A3B)MoE ที่ทำงาน 3B จากทั้งหมด 32Bมาตรฐาน
GPT-OSS-Swallow (20B)20Bรุ่นปรับแต่ง
Swallow (30B-A3B・Qwen base)MoE ที่ทำงาน 3B จากทั้งหมด 30Bรุ่นปรับแต่ง

เฉพาะในส่วนของอาการประสาทหลอนเท่านั้นที่ Nemotron Bolt ทำได้ดีกว่า Qwen โดยค่า 11% ของ Qwen มาจากการตัดสินว่ามีการสร้างข้อมูลเท็จ 2 ครั้งจากทั้งหมด 18 ครั้ง เมื่อพิจารณารอบที่ Qwen ไม่ผ่าน พบว่าเป็นกรณีที่ระบุ API ที่มีการเรียกใช้งานจริงในโจทย์ที่ 2 (2 ครั้ง) และกรณีที่หยิบยกบรรทัดนอกเหนือจากขอบเขตที่กำหนดในโจทย์ที่ 3 (2 ครั้ง) โดยไม่มีครั้งใดที่โมเดลสร้างข้อมูลที่ไม่มีอยู่จริงในเอกสารขึ้นมาเอง

ความแตกต่างของเวลาที่ใช้ในการประมวลผล

เวลาในการประมวลผลของรอบที่เสร็จสมบูรณ์อยู่ที่ 68-194 วินาทีสำหรับ Qwen และ 59-292 วินาทีสำหรับ Nemotron Bolt ซึ่งทั้งคู่ใช้เวลาประมาณ 1-5 นาทีต่อรอบ แม้ว่า Nemotron Bolt จะมีพารามิเตอร์ที่ทำงานต่อ 1 โทเค็นเพียง 9B ซึ่งถือว่าน้อย แต่ในบางโจทย์กลับใช้เวลานานกว่า Qwen

สำหรับ LLM-jp รุ่น 33B ใช้เวลา 510-706 วินาที หรือคิดเป็น 6-26 นาทีต่อรอบ บางรอบถึงแม้จะอ่านบรรทัดที่เป็นคำตอบไปได้มากแล้วแต่ก็ยังหมดเวลาก่อน ซึ่งถือเป็นระยะเวลาที่นานเกินไปสำหรับการใช้งานที่ต้องรอผลลัพธ์โดยมนุษย์

LLM-jp รุ่น 32B-A3B ใช้เวลาสั้นกว่าที่ 54-146 วินาที แต่ดังที่จะกล่าวถึงในภายหลัง มีหลายรอบที่หยุดทำงานเนื่องจากปัญหาด้านสภาพแวดล้อม ทำให้ไม่สามารถเปรียบเทียบตัวเลขนี้กับโมเดลอื่นได้เพียงอย่างเดียว ส่วนโมเดลตระกูล Swallow นั้น มีเพียง 1 จาก 9 รอบเท่านั้นที่เสร็จสมบูรณ์ โดยหลายรอบมักจะถึงขีดจำกัดของเอาต์พุตหรือจบลงโดยไม่มีการเรียกใช้เครื่องมือ

เวลาในการประมวลผลจะเปลี่ยนแปลงอย่างมากตามเอนจินการอนุมาน (Inference Engine) และการตั้งค่าการอ่านล่วงหน้า (Speculative Decoding) ใน บทความก่อนหน้านี้ เพียงแค่เปลี่ยนความยาวของการอ่านล่วงหน้าก็ทำให้เวลาที่ใช้ลดลงไปประมาณ 20% ดังนั้น โปรดดูตัวเลขวินาทีในที่นี้เป็นเพียงแนวทางสำหรับการเปรียบเทียบภายใต้เครื่องและชุดทดสอบ (Harness) เดียวกันเท่านั้น

ความแตกต่างเกิดขึ้นจากที่ใด?

ความแตกต่างเกิดขึ้นจากที่ใด?

ความแตกต่างของโมเดลเกิดจาก 2 ประเด็น คือ การที่เครื่องมือสามารถเข้าไปอ่านไฟล์ได้หรือไม่ และสามารถเขียนข้อมูลที่อ่านออกมาได้อย่างถูกต้องหรือไม่

เรียกใช้เครื่องมือและอ่านข้อมูลได้หรือไม่

จุดตัดสินแรกคือการเลือกว่าจะเข้าไปอ่านไฟล์หรือไม่ ซึ่งทุกโจทย์ไม่สามารถหาคำตอบที่ถูกต้องได้หากไม่เข้าไปอ่านไฟล์

โมเดลจำนวนครั้งที่ใช้เครื่องมือ
Qwen (27B・Q8_0)18 จาก 18 ครั้ง
Nemotron Bolt (74B-A9B)12 จาก 12 ครั้ง
LLM-jp (33B)12 จาก 12 ครั้ง
LLM-jp (32B-A3B)4 จาก 9 ครั้ง
GPT-OSS-Swallow (20B)4 จาก 9 ครั้ง
Swallow (30B-A3B・Qwen base)2 จาก 9 ครั้ง

โมเดล Qwen, Nemotron Bolt และ LLM-jp (33B) เรียกใช้เครื่องมือเพื่ออ่านไฟล์ทุกครั้ง ในขณะที่โมเดลตระกูล Swallow อีก 2 รุ่น กลับสร้างตารางขึ้นมาโดยไม่เปิดไฟล์ในหลายๆ ครั้ง ส่งผลให้อัตราการตอบถูกของ GPT-OSS-Swallow อยู่ที่ 0-2% และ Swallow ที่ใช้ Qwen เป็นฐานอยู่ที่ 0% เนื่องจากเป็นการสร้างตารางโดยไม่ได้อ่านข้อมูล จึงมีหลายครั้งที่ตัดสินได้ว่าเป็นเรื่องที่แต่งขึ้นเอง โดยมีอัตราการเกิด Hallucination อยู่ที่ 89% และ 67% ตามลำดับ

สิ่งที่ควรระวัง ณ ที่นี้คือเหตุผลที่ไม่ได้เรียกใช้เครื่องมือ ในการทดสอบครั้งนี้เรายังไม่ได้แยกแยะว่าเกิดจากประสิทธิภาพของโมเดลไม่เพียงพอ หรือวิธีการเรียกใช้เครื่องมือไม่สอดคล้องกับ Harness นี้ สิ่งที่สามารถกล่าวได้สำหรับตระกูล Swallow คือ "ใน Harness นี้แทบไม่ได้เรียกใช้เครื่องมือเลย" เท่านั้น ไม่สามารถสรุปได้ว่า "โมเดลอ่อนแอ"

เขียนข้อมูลที่อ่านมาออกมาได้อย่างถูกต้องหรือไม่

จุดตัดสินที่สองคือ สามารถเขียนเนื้อหาที่อ่านลงในตารางคำตอบได้โดยไม่ตกหล่นหรือไม่ ในบรรดา 3 โมเดลที่เรียกใช้เครื่องมือทุกครั้ง ก็เกิดความแตกต่างในจุดนี้เช่นกัน

Qwen รุ่น 27B อ่านแถวที่เป็นคำตอบถูกต้องครบถ้วนทั้ง 3 โจทย์ และมีอัตราความถูกต้องเป็นค่ามัธยฐาน 100% ทั้ง 3 โจทย์ ครั้งที่ไม่ผ่านเกณฑ์คือโจทย์ที่ 2 ซึ่งระบุว่า API ที่ถูกเรียกใช้งานจริงนั้นไม่ได้ถูกใช้งาน 2 ครั้ง และโจทย์ที่ 3 ซึ่งหยิบแถวที่อยู่นอกเหนือขอบเขตที่กำหนดมาด้วยอีก 2 ครั้ง ซึ่งทั้งสองกรณีเป็นความผิดพลาดในฝั่งของ "การเขียนมากเกินไป"

ในทางกลับกัน Nemotron Bolt ล้มเหลวในฝั่งของ "การเขียนตกหล่น" ในโจทย์ที่ 3 แม้ว่าจะใช้เครื่องมืออ่าน Path เป้าหมายทั้ง 14 รูปแบบครบถ้วนแล้ว แต่กลับมี 4-11 แถวที่หายไปจากตารางคำตอบ ส่วนโจทย์ที่ 2 ก็ไม่ผ่านเกณฑ์เนื่องจากมองข้ามข้อมูล มีข้อมูลส่วนเกิน และถึงขีดจำกัดในการแสดงผล

LLM-jp รุ่น 33B แม้จะอ่านแถวที่เป็นคำตอบถูกต้องไปค่อนข้างมาก แต่กลับตอบผิดหรือไม่ก็หมดเวลาก่อน ในโจทย์ที่ 2 โมเดลไม่ได้อ่านการเรียกใช้งานทั้ง 71 จุดในโค้ดฝั่งหน้าจอเลยแม้แต่จุดเดียว ซึ่งทำให้ไม่สามารถตัดสินได้ว่า API ใดที่ไม่ได้ถูกใช้งาน

ประเด็นที่ว่า "แม้จะอ่านได้ แต่อาจตกม้าตายตอนเขียนออกมา" เป็นจุดที่มักถูกมองข้ามเวลาเลือกโมเดล หากดูเพียงแค่จำนวนครั้งที่เรียกใช้เครื่องมือหรือจำนวนไฟล์ที่อ่าน จะไม่เห็นความแตกต่างระหว่าง Qwen กับ Nemotron Bolt เลย

โมเดลที่ไม่สามารถวัดผลได้: LLM-jp รุ่น 32B-A3B

สำหรับ LLM-jp รุ่น 32B-A3B นั้น ในการทดสอบ 9 ครั้ง พบว่ามี 5 ครั้งที่ระบบหยุดทำงานตรงตำแหน่งพาธของเครื่องพัฒนาเครื่องอื่น ซึ่งระบุไว้ในไฟล์คำสั่ง (AGENTS.md) ของโฟลเดอร์งาน โดยพาธดังกล่าวไม่มีอยู่จริงในเครื่องที่ใช้ตรวจสอบและไม่เกี่ยวข้องกับงานที่ได้รับมอบหมาย ด้วยเหตุนี้ ในตารางจึงระบุผลลัพธ์ว่าเป็น "ไม่สามารถตัดสินได้" แทนที่จะระบุว่าไม่ผ่าน

นี่เป็นตัวอย่างของการสะดุดจากความไม่พร้อมของสภาพแวดล้อมก่อนที่จะได้วัดศักยภาพของโมเดลอย่างแท้จริง ไฟล์คำสั่งอย่าง AGENTS.md อาจถูกระบบทดสอบ (Harness) อ่านและส่งต่อไปยังโมเดลโดยอัตโนมัติ หากนำการตั้งค่าที่เขียนไว้ในเครื่องพัฒนามาใช้กับเครื่องตรวจสอบโดยตรง โมเดลบางตัวอาจหยุดทำงานที่พาธที่ระบุไว้ในไฟล์นั้น

เมื่อต้องการเปรียบเทียบโมเดลภายในองค์กร โปรดตรวจสอบให้แน่ใจก่อนว่าในโฟลเดอร์งานที่ใช้ตรวจสอบไม่มีไฟล์คำสั่งหรือพาธที่ระบุถึงเครื่องอื่นหลงเหลืออยู่ เพราะความไม่พร้อมของสภาพแวดล้อมอาจถูกเข้าใจผิดว่าเป็นความแตกต่างในด้านประสิทธิภาพของโมเดลได้ สำหรับโมเดลนี้ เราจะระงับการประเมินไว้จนกว่าจะมีการแก้ไขสภาพแวดล้อมและทำการวัดผลใหม่อีกครั้ง

เหตุผลที่มองว่า Nemotron Bolt ยังมีโอกาสพัฒนาได้อีก?

เหตุผลที่มองว่า Nemotron Bolt ยังมีโอกาสพัฒนาได้อีก?

Nemotron Bolt ใช้เครื่องมือทุกครั้งและไม่มีการสร้างเรื่องเท็จ แต่กลับทำคะแนนได้ไม่ดีในช่วงการเขียนสรุปหลังจากอ่าน ความล้มเหลวในขั้นตอนการเขียนสรุปนี้เป็นสิ่งที่สามารถแก้ไขได้ด้วยการปรับปรุงฝั่ง Harness ดังนั้นจึงมองว่ายังมีโอกาสพัฒนาได้อีกมาก อย่างไรก็ตาม นี่เป็นเพียงสมมติฐานที่ยังไม่ได้ผ่านการตรวจสอบในครั้งนี้

โครงสร้างจากข้อมูลที่เปิดเผยต่อสาธารณะ

Nemotron Bolt คือโมเดลแบบ Open-weight ที่ NVIDIA เผยแพร่ โดยเป็น MoE (Mixture of Experts) ที่มีพารามิเตอร์รวม 74B แต่ทำงานเพียง 9B ต่อการประมวลผล 1 โทเค็น

หัวข้อรายละเอียดแหล่งที่มา
ขนาดพารามิเตอร์รวม 74B, ทำงานจริงขณะอนุมาน 9BArtificial Analysis
โครงสร้างไฮบริดที่รวม Mamba-2 (State Space Model, SSM) เข้ากับ Sparse MoE และมีระบบ Multi-Token Prediction (MTP) ในตัวApX (คำอธิบายซีรีส์เดียวกัน)
ชื่อสถาปัตยกรรมNemotronH_Omni_Reasoning_V3เอกสาร NVIDIA NeMo AutoModel
อินพุต/เอาต์พุตโมเดลการใช้เหตุผล ที่รับอินพุตเป็นข้อความและรูปภาพ และส่งออกเป็นข้อความArtificial Analysis
ความยาวบริบทประมาณ 2.6 แสนโทเค็น (256K)Artificial Analysis, DataLearner
ใบอนุญาตOpen-weight (OpenMDW-1.1, อนุญาตให้ใช้เชิงพาณิชย์ได้)Artificial Analysis, DataLearner

ตัว MoE เองไม่ใช่โครงสร้างที่พิเศษแต่อย่างใด โดยโมเดลอย่าง Swallow (30B-A3B) ที่ใช้พื้นฐานจาก Qwen ซึ่งไม่ผ่านการทดสอบในครั้งนี้ หรือ LLM-jp ขนาด 32B-A3B ที่ไม่สามารถวัดผลได้ ก็เป็น MoE เช่นกัน สิ่งที่แตกต่างใน Nemotron Bolt คือการนำ Mamba-2 ซึ่งมีกลไกการทำงานที่ต่างจาก Attention Mechanism มาใช้ร่วมกัน อย่างไรก็ตาม จากการตรวจสอบครั้งนี้ยังไม่สามารถสรุปได้ว่าโครงสร้างดังกล่าวเป็นปัจจัยที่ทำให้ผลลัพธ์แตกต่างกันหรือไม่

จุดที่น่าสนใจอีกประการคือปริมาณการคำนวณ โดยพารามิเตอร์ที่ทำงานต่อ 1 โทเค็นมีเพียง 9B ซึ่งคิดเป็น 1 ใน 3 ของ Qwen ขนาด 27B ที่เป็น Dense model จึงอาจมองได้ว่าโมเดลนี้ใช้ปริมาณการคำนวณที่น้อยกว่า แต่สามารถทำผลงานได้ทัดเทียมกับ Qwen ในด้านการเรียกใช้เครื่องมือ และทำได้ดีกว่าในด้านการลดการสร้างเนื้อหาที่เป็นเท็จ อย่างไรก็ตาม จำเป็นต้องโหลดน้ำหนัก (Weights) ทั้งหมด 74B ลงในหน่วยความจำ

ขั้นตอนที่ล้มเหลวคือขั้นตอนการเขียนข้อมูลออก

ความล้มเหลวของ Nemotron Bolt มีรูปแบบที่ตรงกันข้ามกับตระกูล Swallow โดยตระกูล Swallow มักจะหยุดอยู่ที่ขั้นตอนการอ่าน แต่ Nemotron Bolt สามารถผ่านขั้นตอนการอ่านไปได้ แต่ไปตกม้าตายในขั้นตอนการเขียนแทน

  • เครื่องมือทำงานครบทั้ง 12 ครั้ง และมองเห็นบรรทัดที่เป็นคำตอบที่ถูกต้องในผลลัพธ์ของเครื่องมือ
  • การตัดสินว่าเป็นเรื่องแต่ง (Hallucination) ได้คะแนน 0 ทั้ง 12 ครั้ง ซึ่งเป็นโมเดลเดียวในบรรดา 6 โมเดลที่ทำได้
  • สาเหตุที่ไม่ผ่านคือ การเขียนตกหล่นในโจทย์ข้อ 3 (บรรทัดที่ 4-11), การมองข้ามและข้อมูลเกินในโจทย์ข้อ 2, และการติดขีดจำกัดของเอาต์พุต (1 ครั้งในโจทย์ข้อ 2)

โมเดลที่ตกในขั้นตอนการอ่านนั้นไม่มีวัตถุดิบสำหรับคำตอบอยู่เลย จึงยากที่จะแก้ไขด้วยการปรับเปลี่ยนวิธีการเขียน ในทางกลับกัน โมเดลที่อ่านวัตถุดิบได้แต่ไปพลาดในขั้นตอนการเขียนนั้น มีความเป็นไปได้ที่ผลลัพธ์จะเปลี่ยนไปหากปรับเปลี่ยนวิธีการเรียบเรียงเอาต์พุต

อีกประเด็นที่สำคัญคือประเภทของความผิดพลาด การเขียนตกหล่นนั้นสามารถสังเกตเห็นได้หากตรวจสอบจำนวนรายการ ในขณะที่เรื่องแต่งที่ดูสมเหตุสมผลนั้นจะไม่สามารถพบได้หากไม่ตรวจสอบคำตอบเทียบกับเอกสารต้นฉบับทีละจุด ในการทำงานจริงแบบหลังนั้นยุ่งยากกว่า ดังนั้น Nemotron Bolt ซึ่งไม่สร้างเรื่องแต่งแต่พลาดที่การเขียนตกหล่น จึงถือว่าคุ้มค่าที่จะลองปรับปรุงที่ฝั่ง Harness ครับ

การปรับปรุง Harness ที่จะทดสอบในการตรวจสอบครั้งถัดไป (สมมติฐาน)

เพื่อรับมือกับความล้มเหลวในการเริ่มต้นเขียน ในการตรวจสอบครั้งต่อไป เราจะลองใช้วิธีแก้ไขทีละข้อดังต่อไปนี้ ซึ่งยังไม่แน่ชัดว่าวิธีใดจะได้ผล

ความล้มเหลวที่พบวิธีแก้ไขที่จะลองจุดประสงค์
เขียนตกหล่นจากบรรทัดที่อ่าน (โจทย์ 3)แบ่งตารางออกเป็นส่วนๆ แล้วให้เขียนทีละครั้งไม่ให้เขียนตารางยาวๆ จบในการส่งออกครั้งเดียว
ถึงขีดจำกัดของเอาต์พุต (โจทย์ 2)เพิ่มขีดจำกัดของเอาต์พุตเพื่อให้มีความยาวเพียงพอที่จะเขียนคำตอบจนจบ
มองข้ามและข้อมูลเกิน (โจทย์ 2)เพิ่มขั้นตอนการทบทวนโดยการตรวจสอบเนื้อหาที่อ่านกับตารางหลังจากเขียนเสร็จตรวจสอบข้อมูลที่ตกหล่นและข้อมูลส่วนเกินก่อนส่งคำตอบ

นอกจากนี้ เรายังมองว่ายังมีช่องว่างให้ปรับแต่งการตั้งค่า Harness ให้สอดคล้องกับคุณสมบัติของโมเดลที่รวม Mamba-2 และ MoE เข้าด้วยกัน เนื่องจากวิธีแก้ไขทุกข้อมีโอกาสที่จะได้ผลกับ Qwen 27B ดังนั้นเมื่อเปรียบเทียบกัน จำเป็นต้องใช้วิธีแก้ไขเดียวกันกับทั้งสองโมเดลเพื่อดูว่าความแตกต่างเปลี่ยนแปลงไปอย่างไร

เราไม่สามารถสรุปได้เพียงจากผลลัพธ์ในครั้งนี้ว่า "หากปรับโครงสร้างให้เหมาะสม Nemotron Bolt จะมีประสิทธิภาพดีขึ้น" สิ่งที่พูดได้ในตอนนี้คือ จุดที่เกิดความล้มเหลวนั้นกระจุกตัวอยู่ที่ขั้นตอนการเริ่มต้นเขียน ทำให้ชัดเจนว่าควรจะมุ่งเน้นไปที่จุดใดในการทดลองแก้ไข

สิ่งที่สรุปได้และสรุปไม่ได้จากผลลัพธ์นี้

สิ่งที่สรุปได้และสรุปไม่ได้จากผลลัพธ์นี้

ผลลัพธ์ในครั้งนี้มาจากการทดสอบขนาดเล็ก โดยรันงาน 3 ประเภท ได้แก่ การอ่านไฟล์ การทำรายการ และการดึงข้อมูล อย่างละ 3-6 ครั้ง โปรดใช้ความระมัดระวังในประเด็นต่อไปนี้เมื่ออ่านตัวเลขดังกล่าว

ขอบเขตของกลุ่มเป้าหมายและจำนวนครั้งที่ทดลอง

เนื่องจากจำนวนครั้งในการทดลองมีน้อย ความแตกต่างเพียง 1 ครั้งจึงส่งผลต่อสัดส่วนอย่างมาก ตัวอย่างเช่น ในโมเดลที่ทดสอบไป 9 ครั้ง อัตราการเกิดอาการประสาทหลอน (Hallucination) จะเปลี่ยนไปประมาณ 11 จุดต่อความแตกต่าง 1 ครั้ง ความแตกต่างในตารางไม่ใช่ความแตกต่างที่ได้รับการยืนยันทางสถิติ แต่เป็นแนวโน้มที่พบในการทดลองครั้งนี้

ประเด็นสิ่งที่สรุปได้จากผลลัพธ์ครั้งนี้การตีความที่เกินจริง
ขอบเขตของเป้าหมายผลลัพธ์จาก 3 โจทย์งานที่เกี่ยวกับการอ่านไฟล์เพื่อทำรายการและสกัดข้อมูลความเหนือกว่าในงานประมวลผลทางธุรกิจโดยรวม
จำนวนครั้งการทดลองขนาดเล็กที่ทำ 3-6 ครั้งต่อโจทย์ความแตกต่างที่เชื่อถือได้ทางสถิติ
2 โมเดลที่มีแนวโน้มดีภายใต้เงื่อนไขนี้ Qwen 27B และ Nemotron Bolt มีแนวโน้มที่ดีโมเดลอื่นไม่สามารถใช้งานได้
LLM-jp 32B-A3Bไม่สามารถวัดผลได้เนื่องจากความไม่พร้อมของสภาพแวดล้อมไม่ผ่านเกณฑ์/ประสิทธิภาพไม่เพียงพอ
ตระกูล Swallowแทบไม่ได้เรียกใช้เครื่องมือใน Harness นี้โมเดลไม่มีประสิทธิภาพเพียงพอ
ศักยภาพของ Nemotron Boltประสิทธิภาพลดลงในช่วงการเขียนผลลัพธ์ จึงอาจปรับปรุงได้ด้วยการเสริม Harnessจะดีขึ้นหากปรับให้เข้ากับโครงสร้าง

โจทย์ทั้ง 3 ข้อในครั้งนี้จำกัดอยู่เพียงการประมวลผล "การอ่านไฟล์เพื่อทำรายการและสกัดข้อมูล" เท่านั้น ผลการตรวจสอบนี้ไม่สามารถระบุถึงความเหนือกว่าในงานด้านการสรุปความ หรือการประมวลผลที่ต้องดำเนินการข้ามขั้นตอนหลายอย่างบนหน้าจอหรือข้อมูลได้ ก่อนที่จะนำไปใช้งานจริงในธุรกิจ การวัดผลด้วยเอกสารของบริษัทตนเองและโจทย์ที่เตรียมคำตอบที่ถูกต้องไว้เองถือเป็นวิธีที่แน่นอนที่สุด

ไม่ใช่ว่า "Qwen รุ่นไหนก็ได้"

3 โจทย์ที่ผ่านการทดสอบคือ Qwen ขนาด 27B จึงทำให้อยากสรุปว่า "โมเดลตระกูล Qwen นั้นแข็งแกร่ง" แต่ทว่า Swallow (30B-A3B) ซึ่งใช้ Qwen เป็นฐานเหมือนกัน กลับแทบไม่เรียกใช้เครื่องมือเลย และมีอัตราความถูกต้อง 0% ในทั้ง 3 โจทย์

แม้จะเป็นโมเดลฐานตัวเดียวกัน แต่การเรียนรู้เพิ่มเติม ขนาดของโมเดล หรือการเป็นแบบ Dense หรือ MoE อาจทำให้วิธีการใช้เครื่องมือเปลี่ยนไปอย่างมาก สิ่งที่สามารถพูดได้ว่ามีประสิทธิภาพคือ "Qwen ขนาด 27B ที่ทำ Quantization แบบ Q8_0" ที่วัดผลในครั้งนี้ ไม่ใช่โมเดลทั้งหมดที่มีชื่อ Qwen นำหน้า และในการตรวจสอบนี้ยังไม่ได้วัดความแม่นยำเมื่อเปลี่ยนระดับการทำ Quantization อีกด้วย

การคาดการณ์จากตระกูลของชื่อโมเดลเป็นสิ่งที่สะดวก แต่หลังจากคัดเลือกตัวเลือกแล้ว จำเป็นต้องทดสอบทีละตัวด้วยโจทย์เดียวกัน ผลลัพธ์ในครั้งนี้แสดงให้เห็นว่า แม้จะมีชื่อตระกูลเดียวกัน แต่ก็อาจมีความแตกต่างกันได้ถึงขนาดที่ว่าตัวหนึ่งผ่านทุกโจทย์ ในขณะที่อีกตัวหนึ่งได้ 0% ในทุกโจทย์

คำถามที่พบบ่อย

คำถามที่พบบ่อย

เราจะมาตอบข้อสงสัยที่มักเกิดขึ้นเมื่อมอบหมายการใช้งานเครื่องมือให้กับ Open-weight models บนเครื่องคอมพิวเตอร์ส่วนตัว เช่น DGX Spark โดยอ้างอิงจากขอบเขตที่ทราบผลลัพธ์ในครั้งนี้

Q1: โมเดล Open-weight รุ่นใดที่สามารถใช้กับเครื่องมือบน DGX Spark ได้บ้าง?

สำหรับ 3 โจทย์ในครั้งนี้ (กระบวนการอ่านไฟล์เพื่อทำรายการและสกัดข้อมูล) Qwen รุ่น 27B (Q8_0) สามารถผ่านได้ครบทุกโจทย์ ส่วน Nemotron Bolt มีผลการตัดสินเรื่องการแต่งเรื่องขึ้นเอง (hallucination) เป็น 0 ครั้ง อย่างไรก็ตาม เนื่องจากการทดสอบนี้เป็นการตรวจสอบขนาดเล็กเพียง 3-6 ครั้งต่อโจทย์ โปรดทำการวัดผลด้วยเอกสารและโจทย์ของบริษัทท่านเองก่อนทำการตัดสินใจเลือกใช้งาน

Q2: โมเดลแบบ MoE ไม่เหมาะกับการใช้งานเครื่องมือใช่หรือไม่?

ไม่สามารถสรุปได้ในทันทีครับ แม้แต่ Swallow (30B-A3B) ที่ใช้ Qwen เป็นฐานซึ่งไม่ผ่านการทดสอบในครั้งนี้จะเป็น MoE ก็ตาม แต่ Nemotron Bolt ซึ่งเป็น MoE เหมือนกันกลับใช้งานเครื่องมือได้ทุกครั้งและไม่มีการกุเรื่องขึ้นมา สิ่งที่ Nemotron Bolt แตกต่างออกไปคือโครงสร้างที่ผสมผสานกับ Mamba-2 แต่ก็ยังไม่แน่ชัดว่านั่นคือสาเหตุของความแตกต่างหรือไม่ ส่วน LLM-jp รุ่น 32B-A3B ก็เป็น MoE เช่นกัน แต่เนื่องจากความไม่พร้อมของสภาพแวดล้อมจึงยังไม่ได้ทำการวัดผล ดังนั้นจึงไม่สามารถสรุปได้ว่าที่สอบตกเป็นเพราะว่าเป็น MoE ครับ

Q3: หากเป็นโมเดลที่มี Hallucination 0% จะสามารถวางใจให้จัดการงานสกัดข้อมูลได้หรือไม่?

การไม่สร้างเรื่องเท็จขึ้นมาเองกับการเขียนข้อมูลออกมาได้ครบถ้วนนั้นเป็นคนละเรื่องกัน Nemotron Bolt ไม่มีการตัดสินว่าเป็นเรื่องเท็จเลยทั้ง 12 ครั้ง แต่ในการดึงข้อมูลจากคู่มือขั้นตอนการทำงานภาษาญี่ปุ่นนั้น กลับทำบรรทัดที่ควรอ่านตกหล่นไปถึง 4-11 บรรทัด หากจะมอบหมายงานการดึงข้อมูลให้ ควรใช้ร่วมกับกลไกที่ช่วยให้สังเกตเห็นการเขียนตกหล่น เช่น การตรวจสอบจำนวนรายการหรือขั้นตอนการทบทวนงาน

บทสรุป

บทสรุป

ในการทดสอบโมเดลโอเพนเวตจำนวน 6 โมเดลบน DGX Spark (128GB) โดยให้ทำ 3 งาน ได้แก่ การอ่านไฟล์ การจัดทำรายการ และการสกัดข้อมูล ผลลัพธ์คือ Qwen รุ่น 27B (Q8_0) เป็นโมเดลเดียวที่ผ่านทุกงาน และ Nemotron Bolt เป็นโมเดลที่มีจำนวนครั้งของการสร้างเรื่องเท็จ (hallucination) เท่ากับ 0 ครั้ง สำหรับงานที่ผสมผสานระหว่างคำสั่งภาษาธรรมชาติกับการใช้งานเครื่องมือ ภายใต้เงื่อนไขในครั้งนี้ ทั้งสองโมเดลนี้ถือเป็นตัวเลือกที่โดดเด่น

สิ่งที่ทำให้เกิดความแตกต่างคือ การที่โมเดลอ่านไฟล์ผ่านเครื่องมือหรือไม่ และสามารถเขียนออกมาได้โดยไม่ตกหล่นข้อมูลที่อ่านมาหรือไม่ โมเดลตระกูล Swallow ทั้ง 2 โมเดลเกือบไม่ได้อ่านไฟล์เลยแต่กลับเขียนตารางออกมา ในขณะที่ Nemotron Bolt สามารถอ่านได้ แต่กลับทำข้อมูลตกหล่นในขั้นตอนการเขียนออก ปัญหาหลังนี้ยังมีช่องทางที่สามารถแก้ไขได้ด้วยฝั่ง harness ซึ่งเราจะตรวจสอบยืนยันในการทดสอบครั้งต่อไป

เมื่อเลือกโมเดล โปรดอย่าตัดสินเพียงจากสายตระกูลของชื่อโมเดลเท่านั้น แต่ควรใช้เอกสารของบริษัทท่านเองและงานที่มีคำตอบที่ถูกต้องกำกับไว้ เพื่อวัดแยกเป็นประเด็นว่า "อ่านหรือไม่" "สร้างเรื่องขึ้นมาเองหรือไม่" และ "ตกหล่นข้อมูลหรือไม่" สำหรับการเปรียบเทียบความเร็ว โปรดดูที่ จะทำให้ Local LLM เร็วขึ้นด้วย DGX Spark ได้อย่างไร? และสำหรับภาพรวมของวิธีการเลือก โปรดดูที่ การเปรียบเทียบการนำ Local LLM / SLM มาใช้งาน ด้วย

ทางบริษัทของเรายังให้การสนับสนุนการตรวจสอบและ PoC สำหรับ Local LLM และ Agent อีกด้วย หากต้องการปรึกษา กรุณาติดต่อผ่าน บริการสนับสนุน AI・DX

เอกสารอ้างอิง (อ้างอิง ณ เวลาที่เขียน): โครงสร้างของ Nemotron Bolt อ้างอิงจาก หน้าโมเดลของ Artificial Analysis, หน้าโมเดลของ ApX, หน้าเปรียบเทียบของ DataLearner, หน้าโมเดลของ NVIDIA NeMo AutoModel

ผู้เขียน・ผู้ตรวจสอบ

Yusuke Ishihara

Yusuke Ishihara

เริ่มเขียนโปรแกรมตั้งแต่อายุ 13 ปี ด้วย MSX หลังจบการศึกษาจากมหาวิทยาลัย Musashi ได้ทำงานพัฒนาระบบขนาดใหญ่ รวมถึงระบบหลักของสายการบิน และโครงสร้าง Windows Server Hosting/VPS แห่งแรกของญี่ปุ่น ร่วมก่อตั้ง Site Engine Inc. ในปี 2008 ก่อตั้ง Unimon Inc. ในปี 2010 และ Enison Inc. ในปี 2025 นำทีมพัฒนาระบบธุรกิจ การประมวลผลภาษาธรรมชาติ และแพลตฟอร์ม ปัจจุบันมุ่งเน้นการพัฒนาผลิตภัณฑ์และการส่งเสริม AI/DX โดยใช้ generative AI และ Large Language Models (LLM)

คำศัพท์ที่เกี่ยวข้องกับบทความนี้