วิธีการประเมินที่ทดสอบช่องโหว่ของระบบ AI อย่างเป็นระบบจากมุมมองของผู้โจมตี เพื่อระบุความเสี่ยงด้านความปลอดภัยล่วงหน้า
AI Red Teaming คือวิธีการประเมินที่ใช้ทดสอบช่องโหว่ของระบบ AI อย่างเป็นระบบจากมุมมองของผู้โจมตี เพื่อระบุความเสี่ยงด้านความปลอดภัยก่อนนำไปใช้งานจริงในระบบ Production แนวคิดนี้ประยุกต์มาจาก "การฝึกซ้อม Red Team" ในสาขาการทหารและความมั่นคง มาใช้กับ AI
ความเสี่ยงที่ AI Red Teaming ตรวจสอบนั้นครอบคลุมกว้างกว่าความปลอดภัยของซอฟต์แวร์ทั่วไป
การประเมินขนาดใหญ่ที่ดำเนินการโดย AI Safety Institute ของสหราชอาณาจักรรายงานช่องโหว่มากกว่า 62,000 รายการ ซึ่งแสดงให้เห็นถึงพื้นที่การโจมตีที่กว้างขวางของระบบ AI
ทีมผู้เชี่ยวชาญจะทำการตรวจสอบอย่างครอบคลุมโดยผสมผสานการดัดแปลง Prompt การโจมตีในหลายภาษา และการชักนำแบบ Multi-turn รูปแบบ Hybrid ที่ใช้เครื่องมืออัตโนมัติ (เช่น Garak, PyRIT) เพื่อสร้าง Test Case จำนวนมาก ร่วมกับผู้เชี่ยวชาญที่เป็นมนุษย์คอยเสริม Attack Scenario ที่ต้องอาศัยความคิดสร้างสรรค์ ถือเป็นแนวทางที่มีประสิทธิภาพสูง
EU AI Act กำหนดให้ระบบ AI ที่มีความเสี่ยงสูงต้องได้รับการทดสอบที่เหมาะสม ส่งผลให้ AI Red Teaming ได้รับความสนใจมากขึ้นในฐานะวิธีการปฏิบัติตามข้อกำหนดดังกล่าว


แอมเบียนต์ AI (Ambient AI) หมายถึงระบบ AI ที่ฝังตัวอยู่ในสภาพแวดล้อมของผู้ใช้อย่างถาวร โดยสามารถตรวจสอบข้อมูลจากเซนเซอร์และเหตุการณ์ต่าง ๆ รวมถึงดำเนินการเชิงรุกได้โดยไม่ต้องรอคำสั่งที่ชัดเจนจากผู้ใช้

การทดสอบแบบ Unit Test คือวิธีการทดสอบที่ตรวจสอบหน่วยย่อยที่สุดของโปรแกรม เช่น ฟังก์ชันหรือเมธอด เป็นรายการ โดยแทนที่การพึ่งพาภายนอกด้วย Mock เพื่อให้สามารถตรวจสอบเฉพาะ Logic ที่ต้องการได้อย่างรวดเร็ว

Shadow AI หมายถึง เครื่องมือและบริการ AI ที่พนักงานนำมาใช้ในการทำงานโดยไม่ได้รับการอนุมัติจากฝ่าย IT หรือผู้บริหารขององค์กร ซึ่งมีความเสี่ยงต่อการรั่วไหลของข้อมูลและการละเมิดข้อกำหนดด้านการปฏิบัติตามกฎระเบียบ (Compliance)

AI Governance คืออะไร? คู่มือปฏิบัติจาก EU AI Act สู่การจัดระเบียบกฎภายในองค์กร

AI Agent คือระบบ AI ที่วางแผนและดำเนินงานอย่างอิสระเพื่อบรรลุเป้าหมายที่กำหนด โดยสามารถเรียกใช้ external tools ต่างๆ ในระหว่างการทำงานได้