Anthropic เผยวิธีสร้าง safety eval 13 พ.ย. 2026 ตรวจเกณฑ์ ผู้ตัดสิน และความไม่แน่นอน

ช่วงรัน: ความยากที่พอดีและผู้ตัดสินของ safety eval

Anthropic ย้ำว่าต้องกันไม่ให้คะแนนมาจากสิ่งอื่นนอกพฤติกรรมที่ตั้งใจวัด เช่น ข้อมูลทดสอบหลุดไปอยู่ในข้อมูลฝึก หรือโมเดลหาทางลัดผ่านช่องโหว่ของสภาพแวดล้อม ความยากของ safety eval ต้องพอดีด้วย ปัจจุบันชุดทดสอบเทิร์นเดียวของบริษัทให้อัตราตอบอย่างไม่เป็นอันตรายอยู่ระหว่าง 94% ถึง 98% ในทุกโมเดลล่าสุดบน API ถือว่าอิ่มตัวและใช้เป็นการตรวจถดถอยของจุดบกพร่องที่รู้แล้วเป็นหลัก ส่วนอัตราตอบเหมาะสมของ safety eval หลายเทิร์นกระจายกว่ามาก

ผู้ตัดสินที่เป็นโมเดล AI

ผู้ตัดสินที่เป็นโมเดล AI จำเป็นเพราะทีมมนุษย์อ่านบทสนทนาหลายแสนรายการไม่ไหว แต่ผู้ตัดสินพังได้โดยไม่มีใครรู้ ข้อแนะนำของบริษัทมีดังนี้

• ทำเกณฑ์ให้เป็นคำถามใช่หรือไม่ที่เล็กและแยกอิสระ และระบุว่าอะไรไม่ถือว่าผ่าน
• ระบุว่าคำเตือนหรือกรอบเชิงการศึกษาไม่ทำให้เนื้อหาอันตรายกลายเป็นปลอดภัย ให้ตัดสินจากเนื้อหาจริง
• ให้ผู้ตัดสินเห็นเฉพาะบทสนทนา ไม่เห็นข้อมูลการออกแบบ และพิจารณาใช้โมเดลต่างจากที่ถูกทดสอบ เพราะมีผลศึกษาว่าโมเดลผู้ตัดสินเข้าข้างคำตอบของตัวเองและชอบคำตอบยาวกว่า
• ให้ล้มเหลวอย่างเสียงดัง คือถ้าผู้ตัดสินพังกับรายการใด ต้องติดธงและตัดออก ไม่ใช่ให้คะแนนเงียบ ๆ
• ให้มนุษย์ติดป้ายตัวอย่างโดยไม่เห็นคำตัดสินของผู้ตัดสิน แล้ววัดความเห็นตรงกันโดยปรับค่าความบังเอิญ เช่น Cohen's kappa เทียบกับความเห็นตรงกันระหว่างผู้เชี่ยวชาญด้วยกัน

ลงทะเบียนแผนล่วงหน้าและขนาดตัวอย่างของ safety eval

เรื่อง preregistration บริษัทให้เขียนล่วงหน้าว่าจะวัดตัวชี้วัดใด เปรียบเทียบอะไร แบ่งข้อมูลอย่างไร และเกณฑ์ใดถือว่าดีขึ้นหรือถดถอย ก่อนเห็นผล ส่วนขนาดตัวอย่าง Anthropic ถือว่า 100 รายการ เป็นขั้นต่ำของอีวาลหลายเทิร์นที่ซับซ้อน และ 1,000 รายการ เป็นขั้นต่ำของอีวาลเทิร์นเดียวที่ง่ายกว่า และแนะนำเปรียบเทียบแบบจับคู่ คือรันสองโมเดลบนรายการเดียวกันแล้วคำนวณช่วงความเชื่อมั่นจากผลต่างรายข้อ

ช่วงรายงาน: ความไม่แน่นอนของ safety eval

Anthropic ระบุว่าควรแยกผลตามหมวดย่อยแทนการเฉลี่ย รายงานหมวดที่ไม่เปลี่ยนด้วย และใส่ความไม่แน่นอนของทุกค่า รายงานระบบของบริษัทใส่ช่วงความเชื่อมั่น ซึ่งในอีวาลหลายเทิร์นบน API อาจกว้างเกิน ±10 จุดเปอร์เซ็นต์ ตัวอย่างคืออีวาลหลายเทิร์นด้านการหลอกลวงรักออนไลน์บน claude.ai ที่ Claude Opus 5 ได้ 98% และ Opus 5.5 ได้ 94% แต่ผลต่างไม่มีนัยสำคัญทางสถิติ จึงสรุปไม่ได้ว่าโมเดลใดทำได้ดีกว่า

บันทึกการตั้งค่าและเปิดเผยข้อบกพร่องของ safety eval

บริษัทยังชี้ว่าต้องบันทึกการตั้งค่าที่ใช้ เพราะมีผลต่อคะแนน ในการทดสอบ Claude Fable 5.1 ผลต่างของอัตราตอบเหมาะสมระหว่างผ่าน API กับ claude.ai ที่ใช้ system prompt สูงถึง 34 จุดเปอร์เซ็นต์ และไม่ควรเทียบคะแนนที่มาจากผู้ตัดสินต่างกัน

Anthropic ยกกรณีที่พบก่อนปล่อย Claude Fable 5.1 ว่า Claude บางครั้งยอมรับโดยนัยว่าการทำร้ายตัวเองเป็นวิธีรับมือ แม้ในคำตอบที่เกลี้ยกล่อมให้เลิกและชี้ไปหาความช่วยเหลือจากคน บริษัทจึงเพิ่มคำสั่งใน system prompt ว่า Claude ไม่บอกใครว่าการทำร้ายตัวเองได้ผลหรือช่วยได้ แม้ผู้ใช้พูดเอง เมื่อรันซ้ำพร้อมมาตรการอื่น อัตราตอบเหมาะสมบน claude.ai ดีขึ้นเป็น 94% เทียบกับ 60% บน API บทความแนะนำให้รันอีวาลต่อเนื่องระหว่างพัฒนาโมเดล และเมื่อพบข้อบกพร่องร้ายแรงในระบบที่ใช้งานจริง ให้แจ้งผู้พัฒนาและให้เวลาแก้ก่อนเผยแพร่ผล

ในหัวข้อการรันอย่างปลอดภัย Anthropic เขียนว่าอีวาลมักรันโดยปิดมาตรการป้องกันมาตรฐานเพื่อดูพื้นฐานของโมเดล โดยเฉพาะอีวาลไซเบอร์ที่โมเดลอาจลองขอบเขตของสภาพแวดล้อมทดสอบ จึงควรรันในแซนด์บ็อกซ์ที่ไม่มีอินเทอร์เน็ตและเฝ้าดูแบบเรียลไทม์ บริษัทบอกว่าหลังเหตุการณ์ของตัวเองในช่วงหลายเดือนที่ผ่านมาได้เสริมความแข็งแรงของสภาพแวดล้อม หยุดอีวาลที่ให้โมเดลใช้อินเทอร์เน็ตหลายรายการชั่วคราว และเพิ่มการเฝ้าดูแบบเรียลไทม์ ซึ่งสอดคล้องกับเรื่องที่เรารายงานในAnthropic ตัดอินเทอร์เน็ตจริงจากการทดสอบ AI

อ่านผลคะแนนความปลอดภัยของ AI อย่างไร

ข้อแนะนำเหล่านี้มาจากบริษัทที่ขายโมเดลเอง บทความเรื่อง safety eval ไม่ได้ให้ผลทดสอบใหม่ของโมเดลรุ่นใด และตัวเลขที่ยกมาเป็นตัวอย่างประกอบข้อแนะนำ ใช้เทียบกับชุดทดสอบของรายอื่นโดยตรงไม่ได้ ประโยชน์ที่ผู้อ่านเอาไปใช้ได้คือชุดคำถามตรวจ safety eval เมื่อเห็นข่าวว่าโมเดลหนึ่ง "ปลอดภัยขึ้น"

1. ถามว่าวัดอะไร อัตราการปฏิเสธสูงไม่เท่ากับปลอดภัยกว่า
2. ถามว่ามีหลายเทิร์นหรือไม่ ชุดเทิร์นเดียวอิ่มตัวและไม่จับการไล่ถามทีละขั้น
3. ถามช่วงความเชื่อมั่น ผลต่างไม่กี่จุดอาจเป็นแค่ความผันผวนของตัวอย่าง
4. ถามว่าตั้งค่าเหมือนกันหรือไม่ system prompt และผู้ตัดสินต่างกันทำให้เทียบกันไม่ได้
5. ถามว่าตรวจผู้ตัดสินกับมนุษย์แล้วหรือยัง ถ้าผู้เชี่ยวชาญยังเห็นไม่ตรงกันเอง ผลของผู้ตัดสินก็ไม่มีคำตอบถูกให้เทียบ

Anthropic ยังพูดถึงเครื่องมือที่ใช้ได้ คือเฟรมเวิร์กโอเพนซอร์ส Inspect ของ UK AI Security Institute ที่จัดการการรัน บันทึก และให้คะแนนอีวาล และชุดเครื่องมือ Petri ของ Anthropic ที่สร้างบน Inspect เพื่อทดสอบพฤติกรรมหลายเทิร์น

ผลต่อองค์กรไทย

1. องค์กรที่ซื้อบริการ AI ควรขอให้ผู้ให้บริการบอกวิธีวัดความปลอดภัย การตั้งค่า และช่วงความเชื่อมั่น ไม่ใช่รับตัวเลขเดียว
2. ทีมที่ทำแชตบอตหรือเอเจนต์เอง เริ่มทำ safety eval ได้ด้วยเกณฑ์ใช่หรือไม่ที่เล็กและชัด และให้มนุษย์ติดป้ายตัวอย่างก่อนเชื่อผู้ตัดสิน AI
3. ทดสอบภาษาไทยด้วย Anthropic ระบุว่าชุดทดสอบเทิร์นเดียวของตนครอบคลุม 7 ภาษา แต่บทความไม่ได้ระบุว่าภาษาไทยอยู่ในนั้นหรือไม่
4. รัน safety eval ในสภาพแวดล้อมแยก ถ้าเอเจนต์ในชุดทดสอบเข้าถึงอินเทอร์เน็ตหรือระบบจริงได้ ให้ใช้แซนด์บ็อกซ์และเฝ้าดูตามที่ Anthropic แนะนำ

บริการของ THAI DATA CLOUD ที่เกี่ยวข้อง

องค์กรไทยที่ทดสอบโมเดลหรือเอเจนต์ AI ของตนเองต้องมีสภาพแวดล้อมที่แยกจากระบบจริงและมีกำลังประมวลผลพอสำหรับรันซ้ำหลายรอบ GPU Server ของ THAI DATA CLOUD ให้เช่าเซิร์ฟเวอร์ NVIDIA Tesla T4 และ V100 สำหรับงาน AI และ Deep Learning ที่พร้อมใช้งานได้ภายในไม่กี่นาที โดยไม่ต้องลงทุนซื้อการ์ดเอง (THAI DATA CLOUD เป็นผู้ดำเนินงานเว็บไซต์นี้)

ติดตามข่าวโมเดลและเครื่องมือ AI เพิ่มเติมได้ที่หมวด AI