Agent Anomaly Detection ของ Google ติดธง 87% ของคำสั่งอันตรายที่เอเจนต์ทำตาม 12 พ.ย.

ผลการทดสอบ Agent Anomaly Detection

ตัวโมเดลเองไม่ทำตามคำสั่งอันตรายที่อ่านประมาณครึ่งหนึ่ง ปฏิเสธคำขอตรง ๆ สามในสี่ และเมินหรือทำไม่สำเร็จราว 30% ของคำสั่งที่ซ่อนในผลของเครื่องมือ ในส่วนที่เอเจนต์ทำตามจริง Agent Anomaly Detection ติดธง 87% เพื่อให้ตรวจหลังเกิดเหตุ

เมื่อนับทุกเซสชันอันตราย รวมที่เอเจนต์ไม่เคยอ่านหรือต้านได้ ติดธง 45% ถึง 62% ใน 141 เซสชันที่เอเจนต์ไม่เคยอ่านคำสั่ง ไม่มีเหตุเกิดขึ้น และติดธงเพียง 1 เซสชัน ใน 8 จาก 11 แอป ติดธงอย่างน้อย 95% ของคำสั่งที่ทำตาม ต่ำสุดคือแอป Slack ของ AgentDojo ที่ 63% เพราะหลายคำสั่งขอการกระทำเล็ก ๆ เช่นเปิดหน้าเว็บหน้าเดียว ซึ่งดูเหมือนการท่องเว็บปกติ

Google จัดผลตามหมวด OWASP โดยให้เกรดตามสิ่งที่การศึกษานี้แสดง ไม่ใช่ตามสิ่งที่ฟีเจอร์ออกแบบมาจับ และระบุว่าเบนช์มาร์กสาธารณะกระจุกอยู่ที่ goal hijack กับ tool misuse จึงมีหลักฐานแข็งในสองหมวดนี้ ส่วนความล้มเหลวแบบลูกโซ่และการละเมิดตัวตนหรือสิทธิ์ ไม่พบเบนช์มาร์กสาธารณะที่มีร่องรอยติดป้าย

คำขอที่ถูกปฏิเสธและการแจ้งเตือนผิด

Agent Anomaly Detection ติดธงหลายคำขอที่เอเจนต์ปฏิเสธด้วย ใน AgentHarm เอเจนต์ปฏิเสธส่วนใหญ่และทำตาม 108 จาก 412 เซสชัน แต่ฟีเจอร์ยังติดธง 55% ของเซสชันที่ถูกปฏิเสธ เพราะคำขออยู่ในข้อความของผู้ใช้เอง ส่วนคำสั่งที่ซ่อนในผลของเครื่องมือและเอเจนต์ไม่ทำตาม ติดธงเพียง 11% ถึง 25%

การแจ้งเตือนผิดพลาดต่างกันตามเครื่องมือที่เอเจนต์ใช้ประจำ บน 3 เบนช์มาร์กการฉีดคำสั่งที่งานปกติเป็นงานสำนักงาน ติดธง 2% ถึง 4% ของเซสชันปกติ แต่บน AgentHarm ขึ้นเป็น 16% เพราะงานปกติโพสต์โซเชียล รันคำสั่งเทอร์มินัล และดาวน์โหลดไฟล์ ซึ่งดูคล้ายการใช้ในทางที่ผิดมากกว่า

จุดอ่อนที่ Google ยอมรับ

Google ระบุว่า Agent Anomaly Detection ยังทำได้น้อยใน 5 ด้าน คือคำสั่งที่เอเจนต์ต้านได้ (ติดธงเพียง 11% ถึง 25% เพราะเปลี่ยนพฤติกรรมน้อย) การกระทำเล็ก ๆ ที่ดูเหมือนงานปกติ การแจ้งเตือนผิดมากขึ้นกับเอเจนต์ที่ใช้เครื่องมือผลกระทบสูง เอเจนต์ใหม่ และหน่วยความจำที่ถูกวางยา

• เอเจนต์ใหม่: บางวิธีของฟีเจอร์ต้องมีประวัติหลายร้อยเซสชัน บน AgentDyn ติดธงคำสั่งที่ทำตามได้ 33% เมื่อเอเจนต์มีประวัติปกติราว 220 เซสชัน และ 99% เมื่อมี 360
• หน่วยความจำวางยา: เมื่อคำสั่งที่ถูกวางในหน่วยความจำระยะยาวทำให้เอเจนต์ลงมือ ฟีเจอร์จับได้เพียง 4 จาก 18 เซสชัน

Google บอกว่ากำลังปรับปรุง 5 เรื่อง คือรายงานความพยายามที่เอเจนต์ต้านในระดับความรุนแรงต่ำกว่า จับการกระทำเล็กที่ไปยังปลายทางที่ไม่น่าเชื่อถือ แยกการใช้เครื่องมือผลกระทบสูงตามปกติออกจากการใช้ผิด ให้เอเจนต์ใหม่ได้ความครอบคลุมเร็วขึ้น และตรวจคำสั่งในหน่วยความจำระยะยาวให้แม่นขึ้น

ข้อจำกัดที่ Google ระบุเอง คือใช้โมเดลเดียวและแอปจำลอง งานปกติของเบนช์มาร์กน่าจะง่ายกว่างานจริง อัตราแจ้งผิดในระบบจริงจึงต่างได้ และฟีเจอร์ไม่ส่งผลลัพธ์กลับราว 6% ของเซสชันที่ส่ง ถ้านับเป็นพลาด อัตรารวมลดลง 1 ถึง 2 จุด

ผลต่อองค์กรไทย

Google แนะนำให้ป้องกันเป็นชั้น ๆ โดยใช้มาตรการที่หยุดการกระทำอันตรายก่อนรัน และใช้ Agent Anomaly Detection หาสิ่งที่หลุดผ่าน ข้อแนะนำที่นำไปปรับใช้ได้กับเอเจนต์ของทุกค่าย

1. ส่งเทเลเมทรีให้ครบ เปิด ADK tracing และ logging รวมเนื้อหา prompt และคำตอบ
2. กรองเนื้อหาที่ไม่เชื่อถือ ตรวจ prompt และผลเครื่องมือหา prompt injection ด้วยตัวกรอง เช่น Model Armor
3. บล็อกการเรียกเครื่องมือเสี่ยงก่อนรัน Semantic Governance Policy ที่เป็น Preview ตรวจทุกคำขอเรียกเครื่องมือเทียบกับคำขอผู้ใช้และกฎขององค์กร
4. ให้คนอนุมัติงานผลกระทบสูง เช่น การจ่ายเงิน อีเมลออก หรือแชร์ข้อมูล
5. จำกัดเครื่องมือของแต่ละเอเจนต์ ให้เฉพาะสิทธิ์ที่งานต้องใช้
6. ทบทวนสิ่งที่หลุดผ่าน เพราะ Agent Anomaly Detection ไม่บล็อก ควรส่งผลระดับ Critical และ High ให้ทีมรับเหตุ

ผลทั้งหมดมาจากโมเดลเดียวและแอปจำลอง และเป็นผลที่ Google ทดสอบกับฟีเจอร์ของตัวเอง ผู้อ่านควรทดสอบกับงานจริงขององค์กรเองก่อนเชื่อตัวเลข ข่าวนี้ต่อจากเรื่องที่เรารายงานในAnthropic ตัดอินเทอร์เน็ตจริงจากการทดสอบ AI ซึ่งเป็นอีกกรณีที่เอเจนต์ทำสิ่งนอกขอบเขตระหว่างทดสอบ

บริการของ THAI DATA CLOUD ที่เกี่ยวข้อง

องค์กรไทยที่ให้เอเจนต์ AI แตะข้อมูลธุรกิจควรรู้ว่าข้อมูลและบันทึกการทำงานของเอเจนต์ถูกเก็บที่ไหน Private Cloud ของ THAI DATA CLOUD เก็บข้อมูลไว้ในประเทศ รองรับ PDPA มีทีมวิศวกรไทยดูแล 24/7 และ SLA 99.9% จึงเป็นทางเลือกสำหรับองค์กรที่ต้องการควบคุมที่อยู่ของข้อมูล (THAI DATA CLOUD เป็นผู้ดำเนินงานเว็บไซต์นี้)

ติดตามข่าวโมเดลและเครื่องมือ AI เพิ่มเติมได้ที่หมวด AI