"On the Loop" คือรูปแบบการทำงานร่วมกันที่มุ่งเน้นการปรับปรุง harness (สภาพแวดล้อมการทำงาน ข้อจำกัด และเครื่องมือ) มากกว่าการตรวจสอบผลลัพธ์รายชิ้นของ AI agent และถือเป็นบทบาทที่แนะนำสำหรับมนุษย์ในการปฏิบัติด้าน harness engineering
Bockeler แนะนำโหมดที่สาม แทนที่จะมอบหมายงานทั้งหมดแบบ Outside the Loop หรือตรวจสอบทีละขั้นตอนแบบ In the Loop โหมดนี้มุ่งเน้นการทุ่มพลังงานของมนุษย์ไปที่การสร้าง "สภาพแวดล้อม" ที่ช่วยให้ agent ทำงานได้อย่างถูกต้อง ### แก่นสำคัญคือ "การตัดสินใจว่าจะแก้ไขอะไร" วินัยของ On the Loop จะถูกทดสอบเมื่อเกิดความไม่พอใจ เมื่อ output ของ agent มีข้อผิดพลาด ปฏิกิริยาที่เป็นธรรมชาติที่สุดคือการแก้ไข deliverable โดยตรง แต่ใน On the Loop นั้น เราต้องระงับแรงกระตุ้นนั้นและแก้ไขที่ฝั่ง harness แทน ไม่ว่าจะเป็นการเพิ่มกฎใน CLAUDE.md ปรับการตั้งค่า linter หรือเพิ่ม test case การลงทุนกับสภาพแวดล้อมเหล่านี้ส่งผลต่อ output ทุกชิ้นในอนาคต ไม่ใช่แค่งานชิ้นที่อยู่ตรงหน้า Bockeler เรียกวงจรเชิงบวกนี้ว่า "Agentic Flywheel" เมื่อ harness ดีขึ้น คุณภาพ output ของ agent ก็สูงขึ้น เมื่อคุณภาพสูงขึ้น ขอบเขตที่มอบหมายให้ agent ได้ก็กว้างขึ้น และเมื่อขอบเขตกว้างขึ้น ก็จะพบจุดที่ควรปรับปรุง harness เพิ่มเติม ในที่สุด agent เองจะเริ่มเสนอแนะการปรับปรุง harness และระบบที่เสริมกำลังตัวเองก็จะเริ่มหมุนไปเรื่อย ๆ ### ความยากของการรักษา On the Loop แนวคิดนั้นเรียบง่าย แต่การปฏิบัติต้องอาศัยวินัย การตัดสินใจแก้ไข harness แทนที่จะแก้ bug ตรงหน้าซึ่งเร็วกว่าอย่างเห็นได้ชัดนั้น มีอุปสรรคทางจิตวิทยาสูง ปัจจัยชี้ขาดว่าแนวทางนี้จะฝังรากหรือไม่ คือทีมทั้งหมดสามารถแบ่งปันความเข้าใจร่วมกันเกี่ยวกับ trade-off ระหว่างประสิทธิภาพระยะสั้นและคุณภาพระยะยาวได้มากน้อยเพียงใด


Outside the Loop คือรูปแบบการทำงานร่วมกันที่มนุษย์ระบุเพียงข้อกำหนดของผลลัพธ์ที่ต้องการ และมอบหมายรายละเอียดการดำเนินการทั้งหมดให้แก่ AI agent โดยสิ้นเชิง ซึ่งเรียกอีกชื่อหนึ่งว่า vibe coding

"In the Loop" คือรูปแบบการทำงานร่วมกันที่มนุษย์ตรวจสอบและแก้ไขผลลัพธ์ของ AI Agent ทีละรายการ ซึ่งแม้จะรับประกันคุณภาพได้อย่างแน่นอน แต่ก็มักเกิดปัญหาคอขวดเนื่องจากการตรวจสอบของมนุษย์ไม่สามารถตามทันความเร็วในการสร้างผลลัพธ์ของ Agent ได้

Harness Engineering คือวิธีการออกแบบข้อจำกัดเชิงโครงสร้าง เช่น prompt, tool definition และ CI/CD เพื่อป้องกันการทำงานผิดพลาดของ AI agent


Harness Engineering คืออะไร? วิธีการออกแบบเชิงโครงสร้างเพื่อป้องกันข้อผิดพลาดของ AI Agent

HITL (Human-in-the-Loop) คือวิธีการที่นำกระบวนการให้มนุษย์ตรวจสอบ แก้ไข และอนุมัติผลลัพธ์ของระบบ AI มาผนวกไว้ในการออกแบบ แทนที่จะใช้ระบบอัตโนมัติเต็มรูปแบบ วิธีนี้กำหนดจุดที่มนุษย์เข้ามามีส่วนร่วมตามระดับความสำคัญของการตัดสินใจ เพื่อรับประกันความแม่นยำและความน่าเชื่อถือ