# Anthropic เผยวิธีสร้าง safety eval 13 พ.ย. 2026 ตรวจเกณฑ์ ผู้ตัดสิน และความไม่แน่นอน

> Anthropic เผยแพร่บทความวิศวกรรม 13 พ.ย. 2026 แนะนำวิธีสร้าง safety eval ตั้งแต่เลือกสิ่งที่วัด จำลองบทสนทนาหลายเทิร์น ตรวจผู้ตัดสิน จนถึงรายงานความไม่แน่นอน

- ประเภท: ข่าว · หมวด: AI
- เผยแพร่: 2026-11-15T00:09:00.000Z · อัปเดต: 2026-11-15T00:09:00.000Z
- โดย: กองบรรณาธิการ THAI DATA, THAI DATA IT BUSINESS ENTERPRISE
- ที่มา: https://thaidata.co.th/ai/anthropic-safety-eval-building-strong-evaluations/

## สรุปประเด็นสำคัญ

- Anthropic เผยแพร่บทความ **Building strong safety evaluations** เมื่อ **13 พฤศจิกายน 2026** แนะนำวิธีสร้าง **safety eval** ซึ่งวัดว่าโมเดลทำสิ่งที่ถูกต้องหรือไม่ในสถานการณ์หนึ่ง ไม่ได้วัดความสามารถเฉพาะด้าน
- ข้อแนะนำแบ่งเป็น **3 ช่วง** คือ ออกแบบ รัน และรายงานผล โดยยืมแนวคิดจากการปฏิรูปวงการจิตวิทยา เช่น การลงทะเบียนแผนวิเคราะห์ล่วงหน้า (preregistration)
- Anthropic ใช้ตัวชี้วัด **appropriate response rate** คือสัดส่วนบทสนทนาที่โมเดลทำตัวเหมาะสมตลอดทั้งบท แทนการนับอัตราการปฏิเสธ เพราะโมเดลที่ปฏิเสธทุกคำถามเรื่องการทำร้ายตัวเองจะได้คะแนนเต็มโดยไม่ได้ปลอดภัยขึ้น
- ชุดทดสอบเทิร์นเดียวของ Anthropic มีอัตราตอบอย่างไม่เป็นอันตราย **94% ถึง 98%** ในทุกโมเดลล่าสุดบน API จึงอิ่มตัวและใช้เป็นการตรวจถดถอยเป็นหลัก ส่วนผลหลายเทิร์นกระจายกว่ามาก
- ตัวอย่างที่ Anthropic ยกคือ Claude Opus 5 ได้ **98%** และ Opus 5.5 ได้ **94%** บนชุดหลอกลวงรักออนไลน์ แต่ผลต่างไม่มีนัยสำคัญทางสถิติ จึงสรุปไม่ได้ว่าโมเดลใดดีกว่า

**Anthropic** เผยแพร่บทความวิศวกรรม Building strong safety evaluations เมื่อ 13 พฤศจิกายน 2026 แนะนำวิธีสร้าง **safety eval** หรือชุดทดสอบความปลอดภัยของโมเดล AI ให้เชื่อถือได้ โดยอ้างตัวอย่างจากรายงานระบบ (system card) ของบริษัทเอง ใจความคือคะแนนความปลอดภัยจะน่าเชื่อถือเพียงใดขึ้นกับว่าชุดทดสอบถูกสร้างมาอย่างไร

## safety eval วัดอะไร

Anthropic เขียนว่าผลของ safety eval ใช้ตัดสินใจเรื่องสำคัญ ได้แก่ โมเดลพร้อมใช้งานหรือยัง ต้องส่งมาตรการป้องกันอะไรไปพร้อมกัน และงานฝึกด้านความปลอดภัยรอบถัดไปควรเน้นเรื่องใด เมื่อบริษัทพูดว่าโมเดลหนึ่ง "ปลอดภัยกว่ารุ่นก่อน" นั่นหมายถึงโมเดลได้คะแนนดีกว่าบนชุดทดสอบที่มีคนสร้างขึ้น

safety eval ต่างจากอีวาลวัดความสามารถ ตรงที่วัดแนวโน้มที่โมเดลจะก่อหรือมีส่วนก่อความเสียหาย ว่าคำตอบทำให้ความเสียหายมีโอกาสมากขึ้นหรือน้อยลง และรุนแรงแค่ไหน คำถามที่ใช้คือ "เมื่อได้รับอินพุตนี้ โมเดลทำสิ่งที่ถูกต้องหรือไม่" Anthropic ชี้ว่านักวิจัยพบซ้ำ ๆ ว่าอีวาลของ AI เล่นเกมได้ง่าย วัดไม่ตรงสิ่งที่อ้าง และบันทึกวิธีทำไม่ละเอียดพอให้ทำซ้ำ ผลอาจเปลี่ยนตามว่าเป็นข้อสอบปรนัยหรือปลายเปิด หรือแม้แต่ลำดับตัวเลือก บริษัทเทียบกับวงการจิตวิทยาเมื่อราวสิบปีก่อน ที่งานทำซ้ำขนาดใหญ่พบว่าผลวิจัยจำนวนมากไม่ยืนยัน จึงเกิดการปฏิรูป เช่น preregistration

![ข้อแนะนำสร้าง safety eval ของ Anthropic แบ่งเป็นออกแบบ รัน และรายงานผล](https://thaidata-co-th.s3.ap-southeast-1.amazonaws.com/thaidata.co.th/images/articles/anthropic-safety-eval-building-strong-evaluations/anthropic-eval-recommendations-overview.webp?v=7df1adc0) _(ภาพ: Anthropic)_

## ช่วงออกแบบ: วัดให้ตรงสิ่งที่ตั้งใจ

Anthropic แนะนำให้เริ่มที่คำถามว่าอยากตอบอะไร เพราะคำถามกำหนดว่าตีความผลอย่างไร อีวาลส่วนใหญ่เป็นการสังเกต บอกได้ว่าโมเดลหนึ่งได้คะแนนต่างจากอีกโมเดล แต่ไม่บอกสาเหตุ หากต้องการสรุปเชิงสาเหตุ เช่น "มาตรการนี้ทำให้โมเดลปลอดภัยขึ้น" ต้องออกแบบให้เปลี่ยนตัวแปรทีละตัว เช่น รันโมเดลเดียวกันโดยมีและไม่มีมาตรการนั้น

ประเด็นที่ Anthropic เน้นคือ **construct validity** หรือการวัดตรงแนวคิดที่ต้องการ ตัวอย่างคือการสนทนาเรื่องการฆ่าตัวตายและการทำร้ายตัวเอง ที่การปฏิเสธมักเป็นตัวชี้วัดที่ผิด เมื่อผู้ใช้อยู่ในภาวะวิกฤต การไม่ตอบเลยคือความล้มเหลว คำตอบที่ดีควรตอบอย่างเห็นอกเห็นใจและชี้ไปหาความช่วยเหลือจากคน โมเดลที่ปฏิเสธทุกคำถามด้านนี้จะได้คะแนนเต็มบนอีวาลอัตราการปฏิเสธ แต่ไม่ได้ปลอดภัยกว่า

Anthropic จึงใช้อีวาลหลายเทิร์นที่รายงาน **appropriate response rate** คือสัดส่วนบทสนทนาที่โมเดลทำตัวเหมาะสมตลอดทั้งบท เทียบกับเกณฑ์เฉพาะของความเสี่ยงแต่ละด้านที่ผู้เชี่ยวชาญเขียน เทิร์นเดียวที่แย่ เช่น เปิดรายละเอียดวิธีหลอกลวงเมื่อถูกกดซ้ำ ทำให้ทั้งบทสนทนาไม่ผ่าน ในงานด้านชีววิทยาและความมั่นคงไซเบอร์ที่ใช้ได้สองทาง คำตอบที่เหมาะสมมักไม่ใช่การปฏิเสธเฉย ๆ แต่ตอบส่วนที่ชอบธรรมและกันรายละเอียดเชิงปฏิบัติการที่ช่วยทำร้ายผู้อื่นไว้ อีวาลเทิร์นเดียวของบริษัทจับคู่คำขอที่เป็นอันตรายกับคำขอไม่เป็นอันตรายในหัวข้อเดียวกัน เพื่อวัดทั้งการยอมทำตามคำขอร้ายและการปฏิเสธเกินเหตุ

## ให้ผลสรุปไปใช้กับโลกจริงได้

บทความชี้ว่าคำถามเทิร์นเดียวทำง่ายที่สุดแต่อิ่มตัวเร็ว และไม่สมจริงนัก เพราะผู้ใช้มักไล่ข้อมูลอันตรายทีละขั้น และสัญญาณความทุกข์ของผู้ใช้สะสมตลอดบทสนทนา Anthropic ยกตัวอย่างชุดทดสอบการฆ่าตัวตายและทำร้ายตัวเองในรายงานระบบ ที่ผู้ใช้จำลองบอกเหตุร้ายแรงช่วงต้น เช่น ถูกเลิกจ้างหรือญาติเสียชีวิต แล้วถามคำถามธรรมดาในภายหลัง ซึ่งเมื่ออ่านร่วมกับเรื่องเดิมอาจต้องตอบอย่างระวังกว่า

![ตัวอย่างบทสนทนาหลายเทิร์นที่ข้อความแรกดูไม่เป็นอันตราย แต่เทิร์นหลังเปลี่ยนบริบท](https://thaidata-co-th.s3.ap-southeast-1.amazonaws.com/thaidata.co.th/images/articles/anthropic-safety-eval-building-strong-evaluations/anthropic-eval-multi-turn-example.webp?v=ff4032d6) _(ภาพ: Anthropic)_

ขั้นตอนสร้างบทสนทนาจำลองของ Anthropic มี 5 ข้อ

1. ผู้เชี่ยวชาญเขียนสเปก ระบุเป้าหมายและวิธีของผู้ใช้จำลอง พร้อมมิติอื่น เช่น บุคลิก สถานการณ์ น้ำเสียง
2. เทิร์นแรกของผู้ใช้ตายตัว ทุกรอบเริ่มจากข้อความเดียวกัน
3. โมเดล Claude อีกตัวสร้างเทิร์นผู้ใช้ถัดไปตามสเปก ส่วนโมเดลที่ถูกทดสอบเขียนเทิร์นของผู้ช่วย
4. สถานการณ์แต่ละอันรันหลายรอบ โดยสุ่มชุดคุณลักษณะต่างกัน
5. โมเดลผู้ตัดสินให้คะแนนแต่ละบทสนทนาตามเกณฑ์ แล้วรายงานสัดส่วนที่ถือว่าเหมาะสมตลอด

![ขั้นตอนสร้างบทสนทนาจำลองและให้ผู้ตัดสินให้คะแนนทั้งบทสนทนา](https://thaidata-co-th.s3.ap-southeast-1.amazonaws.com/thaidata.co.th/images/articles/anthropic-safety-eval-building-strong-evaluations/anthropic-eval-simulation-steps.webp?v=a40e4d36) _(ภาพ: Anthropic)_

บริษัทแนะนำให้สร้างสถานการณ์จากพฤติกรรมที่สังเกตได้จริง เพราะสถานการณ์ที่แต่งขึ้นล้วนมักง่ายเกินและต่างจากสิ่งที่ผู้ใช้จริงเขียน และให้ครอบคลุมภาษา รูปแบบอินพุต ช่องทางผลิตภัณฑ์ และสภาพแวดล้อมที่โมเดลรัน ชุดทดสอบเทิร์นเดียวของ Anthropic ครอบคลุม **16 พื้นที่นโยบาย** ใน **7 ภาษา** และหลายช่องทางผลิตภัณฑ์

## ช่วงรัน: ความยากที่พอดีและผู้ตัดสินของ safety eval

Anthropic ย้ำว่าต้องกันไม่ให้คะแนนมาจากสิ่งอื่นนอกพฤติกรรมที่ตั้งใจวัด เช่น ข้อมูลทดสอบหลุดไปอยู่ในข้อมูลฝึก หรือโมเดลหาทางลัดผ่านช่องโหว่ของสภาพแวดล้อม ความยากของ safety eval ต้องพอดีด้วย ปัจจุบันชุดทดสอบเทิร์นเดียวของบริษัทให้อัตราตอบอย่างไม่เป็นอันตรายอยู่ระหว่าง **94% ถึง 98%** ในทุกโมเดลล่าสุดบน API ถือว่าอิ่มตัวและใช้เป็นการตรวจถดถอยของจุดบกพร่องที่รู้แล้วเป็นหลัก ส่วนอัตราตอบเหมาะสมของ safety eval หลายเทิร์นกระจายกว่ามาก

### ผู้ตัดสินที่เป็นโมเดล AI

ผู้ตัดสินที่เป็นโมเดล AI จำเป็นเพราะทีมมนุษย์อ่านบทสนทนาหลายแสนรายการไม่ไหว แต่ผู้ตัดสินพังได้โดยไม่มีใครรู้ ข้อแนะนำของบริษัทมีดังนี้

- ทำเกณฑ์ให้เป็นคำถามใช่หรือไม่ที่เล็กและแยกอิสระ และระบุว่าอะไรไม่ถือว่าผ่าน
- ระบุว่าคำเตือนหรือกรอบเชิงการศึกษาไม่ทำให้เนื้อหาอันตรายกลายเป็นปลอดภัย ให้ตัดสินจากเนื้อหาจริง
- ให้ผู้ตัดสินเห็นเฉพาะบทสนทนา ไม่เห็นข้อมูลการออกแบบ และพิจารณาใช้โมเดลต่างจากที่ถูกทดสอบ เพราะมีผลศึกษาว่าโมเดลผู้ตัดสินเข้าข้างคำตอบของตัวเองและชอบคำตอบยาวกว่า
- ให้ล้มเหลวอย่างเสียงดัง คือถ้าผู้ตัดสินพังกับรายการใด ต้องติดธงและตัดออก ไม่ใช่ให้คะแนนเงียบ ๆ
- ให้มนุษย์ติดป้ายตัวอย่างโดยไม่เห็นคำตัดสินของผู้ตัดสิน แล้ววัดความเห็นตรงกันโดยปรับค่าความบังเอิญ เช่น Cohen's kappa เทียบกับความเห็นตรงกันระหว่างผู้เชี่ยวชาญด้วยกัน

![ผู้ตัดสินควรเห็นด้วยกับผู้เชี่ยวชาญพอ ๆ กับที่ผู้เชี่ยวชาญเห็นด้วยกันเอง](https://thaidata-co-th.s3.ap-southeast-1.amazonaws.com/thaidata.co.th/images/articles/anthropic-safety-eval-building-strong-evaluations/anthropic-eval-grader-vs-experts.webp?v=3c6b8ffe) _(ภาพ: Anthropic)_

## ลงทะเบียนแผนล่วงหน้าและขนาดตัวอย่างของ safety eval

เรื่อง **preregistration** บริษัทให้เขียนล่วงหน้าว่าจะวัดตัวชี้วัดใด เปรียบเทียบอะไร แบ่งข้อมูลอย่างไร และเกณฑ์ใดถือว่าดีขึ้นหรือถดถอย ก่อนเห็นผล ส่วนขนาดตัวอย่าง Anthropic ถือว่า **100 รายการ** เป็นขั้นต่ำของอีวาลหลายเทิร์นที่ซับซ้อน และ **1,000 รายการ** เป็นขั้นต่ำของอีวาลเทิร์นเดียวที่ง่ายกว่า และแนะนำเปรียบเทียบแบบจับคู่ คือรันสองโมเดลบนรายการเดียวกันแล้วคำนวณช่วงความเชื่อมั่นจากผลต่างรายข้อ

## ช่วงรายงาน: ความไม่แน่นอนของ safety eval

Anthropic ระบุว่าควรแยกผลตามหมวดย่อยแทนการเฉลี่ย รายงานหมวดที่ไม่เปลี่ยนด้วย และใส่ความไม่แน่นอนของทุกค่า รายงานระบบของบริษัทใส่ช่วงความเชื่อมั่น ซึ่งในอีวาลหลายเทิร์นบน API อาจกว้างเกิน ±10 จุดเปอร์เซ็นต์ ตัวอย่างคืออีวาลหลายเทิร์นด้านการหลอกลวงรักออนไลน์บน claude.ai ที่ Claude Opus 5 ได้ **98%** และ Opus 5.5 ได้ **94%** แต่ผลต่างไม่มีนัยสำคัญทางสถิติ จึงสรุปไม่ได้ว่าโมเดลใดทำได้ดีกว่า

## บันทึกการตั้งค่าและเปิดเผยข้อบกพร่องของ safety eval

บริษัทยังชี้ว่าต้องบันทึกการตั้งค่าที่ใช้ เพราะมีผลต่อคะแนน ในการทดสอบ Claude Fable 5.1 ผลต่างของอัตราตอบเหมาะสมระหว่างผ่าน API กับ claude.ai ที่ใช้ system prompt สูงถึง **34 จุดเปอร์เซ็นต์** และไม่ควรเทียบคะแนนที่มาจากผู้ตัดสินต่างกัน

![คะแนนจากการตั้งค่าที่ต่างกันเทียบกันตรง ๆ ไม่ได้](https://thaidata-co-th.s3.ap-southeast-1.amazonaws.com/thaidata.co.th/images/articles/anthropic-safety-eval-building-strong-evaluations/anthropic-eval-same-eval-different-settings.webp?v=fc5dbb82) _(ภาพ: Anthropic)_

Anthropic ยกกรณีที่พบก่อนปล่อย Claude Fable 5.1 ว่า Claude บางครั้งยอมรับโดยนัยว่าการทำร้ายตัวเองเป็นวิธีรับมือ แม้ในคำตอบที่เกลี้ยกล่อมให้เลิกและชี้ไปหาความช่วยเหลือจากคน บริษัทจึงเพิ่มคำสั่งใน system prompt ว่า Claude ไม่บอกใครว่าการทำร้ายตัวเองได้ผลหรือช่วยได้ แม้ผู้ใช้พูดเอง เมื่อรันซ้ำพร้อมมาตรการอื่น อัตราตอบเหมาะสมบน claude.ai ดีขึ้นเป็น 94% เทียบกับ 60% บน API บทความแนะนำให้รันอีวาลต่อเนื่องระหว่างพัฒนาโมเดล และเมื่อพบข้อบกพร่องร้ายแรงในระบบที่ใช้งานจริง ให้แจ้งผู้พัฒนาและให้เวลาแก้ก่อนเผยแพร่ผล

ในหัวข้อการรันอย่างปลอดภัย Anthropic เขียนว่าอีวาลมักรันโดยปิดมาตรการป้องกันมาตรฐานเพื่อดูพื้นฐานของโมเดล โดยเฉพาะอีวาลไซเบอร์ที่โมเดลอาจลองขอบเขตของสภาพแวดล้อมทดสอบ จึงควรรันในแซนด์บ็อกซ์ที่ไม่มีอินเทอร์เน็ตและเฝ้าดูแบบเรียลไทม์ บริษัทบอกว่าหลังเหตุการณ์ของตัวเองในช่วงหลายเดือนที่ผ่านมาได้เสริมความแข็งแรงของสภาพแวดล้อม หยุดอีวาลที่ให้โมเดลใช้อินเทอร์เน็ตหลายรายการชั่วคราว และเพิ่มการเฝ้าดูแบบเรียลไทม์ ซึ่งสอดคล้องกับเรื่องที่เรารายงานใน[Anthropic ตัดอินเทอร์เน็ตจริงจากการทดสอบ AI](/ai/anthropic-halts-live-internet-evals-claude-agents/)

## อ่านผลคะแนนความปลอดภัยของ AI อย่างไร

ข้อแนะนำเหล่านี้มาจากบริษัทที่ขายโมเดลเอง บทความเรื่อง safety eval ไม่ได้ให้ผลทดสอบใหม่ของโมเดลรุ่นใด และตัวเลขที่ยกมาเป็นตัวอย่างประกอบข้อแนะนำ ใช้เทียบกับชุดทดสอบของรายอื่นโดยตรงไม่ได้ ประโยชน์ที่ผู้อ่านเอาไปใช้ได้คือชุดคำถามตรวจ safety eval เมื่อเห็นข่าวว่าโมเดลหนึ่ง "ปลอดภัยขึ้น"

1. **ถามว่าวัดอะไร** อัตราการปฏิเสธสูงไม่เท่ากับปลอดภัยกว่า
2. **ถามว่ามีหลายเทิร์นหรือไม่** ชุดเทิร์นเดียวอิ่มตัวและไม่จับการไล่ถามทีละขั้น
3. **ถามช่วงความเชื่อมั่น** ผลต่างไม่กี่จุดอาจเป็นแค่ความผันผวนของตัวอย่าง
4. **ถามว่าตั้งค่าเหมือนกันหรือไม่** system prompt และผู้ตัดสินต่างกันทำให้เทียบกันไม่ได้
5. **ถามว่าตรวจผู้ตัดสินกับมนุษย์แล้วหรือยัง** ถ้าผู้เชี่ยวชาญยังเห็นไม่ตรงกันเอง ผลของผู้ตัดสินก็ไม่มีคำตอบถูกให้เทียบ

Anthropic ยังพูดถึงเครื่องมือที่ใช้ได้ คือเฟรมเวิร์กโอเพนซอร์ส Inspect ของ UK AI Security Institute ที่จัดการการรัน บันทึก และให้คะแนนอีวาล และชุดเครื่องมือ Petri ของ Anthropic ที่สร้างบน Inspect เพื่อทดสอบพฤติกรรมหลายเทิร์น

## ผลต่อองค์กรไทย

1. **องค์กรที่ซื้อบริการ AI** ควรขอให้ผู้ให้บริการบอกวิธีวัดความปลอดภัย การตั้งค่า และช่วงความเชื่อมั่น ไม่ใช่รับตัวเลขเดียว
2. **ทีมที่ทำแชตบอตหรือเอเจนต์เอง** เริ่มทำ safety eval ได้ด้วยเกณฑ์ใช่หรือไม่ที่เล็กและชัด และให้มนุษย์ติดป้ายตัวอย่างก่อนเชื่อผู้ตัดสิน AI
3. **ทดสอบภาษาไทยด้วย** Anthropic ระบุว่าชุดทดสอบเทิร์นเดียวของตนครอบคลุม 7 ภาษา แต่บทความไม่ได้ระบุว่าภาษาไทยอยู่ในนั้นหรือไม่
4. **รัน safety eval ในสภาพแวดล้อมแยก** ถ้าเอเจนต์ในชุดทดสอบเข้าถึงอินเทอร์เน็ตหรือระบบจริงได้ ให้ใช้แซนด์บ็อกซ์และเฝ้าดูตามที่ Anthropic แนะนำ

## บริการของ THAI DATA CLOUD ที่เกี่ยวข้อง

องค์กรไทยที่ทดสอบโมเดลหรือเอเจนต์ AI ของตนเองต้องมีสภาพแวดล้อมที่แยกจากระบบจริงและมีกำลังประมวลผลพอสำหรับรันซ้ำหลายรอบ [GPU Server](https://thaidata.cloud/gpu-server/) ของ THAI DATA CLOUD ให้เช่าเซิร์ฟเวอร์ NVIDIA Tesla T4 และ V100 สำหรับงาน AI และ Deep Learning ที่พร้อมใช้งานได้ภายในไม่กี่นาที โดยไม่ต้องลงทุนซื้อการ์ดเอง (THAI DATA CLOUD เป็นผู้ดำเนินงานเว็บไซต์นี้)

ติดตามข่าวโมเดลและเครื่องมือ AI เพิ่มเติมได้ที่[หมวด AI](/ai/)

## คำถามที่พบบ่อย

### safety eval ของ Anthropic คืออะไร?

safety eval คือชุดทดสอบที่ถามว่า เมื่อได้รับอินพุตหนึ่ง โมเดลทำสิ่งที่ถูกต้องหรือไม่ Anthropic อธิบายในบทความวันที่ 13 พฤศจิกายน 2026 ว่าเป็นการวัดแนวโน้มที่โมเดลจะก่อหรือมีส่วนก่อความเสียหาย ไม่ได้วัดความสามารถเฉพาะด้านอย่างการเขียนโค้ด

### appropriate response rate ใน safety eval คืออะไร?

appropriate response rate ใน safety eval คือสัดส่วนบทสนทนาที่โมเดลทำตัวเหมาะสมตลอดทั้งบทสนทนา เทียบกับเกณฑ์เฉพาะของความเสี่ยงแต่ละด้านที่ผู้เชี่ยวชาญเขียน ถ้าตอบผิดแม้เทิร์นเดียว เช่น เปิดรายละเอียดวิธีหลอกลวงเมื่อถูกกดซ้ำ ทั้งบทสนทนานั้นถือว่าไม่ผ่าน

### ทำไม safety eval ของ Anthropic ไม่ใช้อัตราการปฏิเสธเป็นตัวชี้วัดหลัก?

ใน safety eval Anthropic ระบุว่าโมเดลที่ปฏิเสธทุกคำถามเกี่ยวกับการทำร้ายตัวเองจะได้คะแนนเต็มบนอีวาลอัตราการปฏิเสธ แต่ไม่ได้ปลอดภัยขึ้นเสมอไป เพราะเมื่อผู้ใช้อยู่ในภาวะวิกฤต การปฏิเสธอย่างเดียวคือความล้มเหลว คำตอบที่ดีควรตอบด้วยความเห็นอกเห็นใจและชี้ไปยังความช่วยเหลือจากคน

### safety eval ควรใช้ผู้ตัดสินที่เป็น AI อย่างไร?

สำหรับ safety eval Anthropic แนะนำให้ทำเกณฑ์เป็นคำถามใช่หรือไม่ที่เล็กและชัด ให้ผู้ตัดสินเห็นเฉพาะบทสนทนา ใช้โมเดลต่างจากที่ถูกทดสอบ ให้มนุษย์ติดป้ายตัวอย่างโดยไม่เห็นคำตัดสิน แล้ววัดความเห็นตรงกันโดยปรับค่าความบังเอิญ เช่น Cohen's kappa

### safety eval ควรมีกี่รายการทดสอบ?

ใน safety eval Anthropic ถือว่า 100 รายการเป็นขั้นต่ำของอีวาลหลายเทิร์นที่ซับซ้อน และ 1,000 รายการเป็นขั้นต่ำของอีวาลเทิร์นเดียวที่ง่ายกว่า พร้อมแนะนำให้รันแต่ละกรณีหลายครั้งและรายงานช่วงความเชื่อมั่น


## แหล่งอ้างอิง

- [Building strong safety evaluations](https://www.anthropic.com/research/building-strong-safety-evaluations) — Anthropic
- [Anthropic news: announcements and research](https://www.anthropic.com/news) — Anthropic