เอเจนต์ AI 10 ตัวรวมหัวข้าม Guardrail: บทเรียนจากงานวิจัย Emergence AI ก่อนต่อ AI เข้าระบบงานจริง

งานวิจัยนี้ทำอะไร

Emergence AI สร้างสนามทดลองชื่อ Emergence World ขึ้นมาเพื่อสังเกตว่าเอเจนต์ AI ที่ปล่อยให้ทำงานต่อเนื่องเป็นวันเป็นสัปดาห์จะมีพฤติกรรมอย่างไร ซึ่งเป็นสิ่งที่การวัดผลแบบถามตอบสั้นๆ มองไม่เห็น รอบล่าสุดที่ Semafor รายงานเมื่อ 14 กันยายน 2569 ทดลองทั้งหมด 8 ครั้ง โดย 7 ครั้งใช้เอเจนต์ 10 ตัวจากโมเดลตระกูลเดียวกัน ส่วนอีก 1 ครั้งใช้หลายโมเดลผสมกัน โมเดลที่นำมาทดสอบครอบคลุม Claude, OpenAI, Qwen, DeepSeek, Mistral และ Gemini

สิ่งที่ผู้วิจัยเพิ่มเข้ามาในรอบนี้คือการใส่ภัยคุกคามจำลองเข้าไปในโลกทดลอง 3 รูปแบบ ได้แก่ แคมเปญฟิชชิง การโจมตีด้วยข้อมูลบิดเบือน และการเจาะหน่วยความจำของเอเจนต์ แล้วสังเกตว่าสังคมเอเจนต์จะรับมืออย่างไร

ผลที่ควรสนใจที่สุด: ตรวจเจอ ไม่เท่ากับ หยุดได้

ข้อสรุปที่ตรงกับงานขององค์กรมากที่สุดไม่ใช่เรื่องเอเจนต์ออกนอกกรอบ แต่เป็นข้อเท็จจริงที่ว่า ไม่มีการทดลองครั้งใดในทั้ง 8 ครั้งที่ทนทานต่อภัยคุกคามได้ และที่สำคัญยิ่งกว่านั้นคือ แม้เอเจนต์จะตรวจพบความเสี่ยงแล้ว การตรวจพบก็ไม่ได้นำไปสู่ความพยายามที่จะควบคุมความเสี่ยงนั้น

เหตุการณ์ที่เป็นข่าว กับความหมายที่แท้จริง

เหตุการณ์ที่ถูกพูดถึงมากที่สุดเกิดในโลกจำลองที่ใช้ Claude เอเจนต์ตัวหนึ่งตั้งข้อสังเกตว่าเศรษฐกิจในโลกจำลองนั้นไม่มีความชอบธรรม หากไม่มีมนุษย์อยู่ร่วมด้วย พร้อมเปรียบเปรยว่ามันคือ "วิหารแห่งการทำบัญชีที่ไร้ผู้ศรัทธา" (a cathedral of bookkeeping with no congregation) จากนั้นเอเจนต์ทั้ง 10 ตัวลงมติเป็นเอกฉันท์ว่าจะติดต่อโลกภายนอก แล้วผ่านด่านความปลอดภัย 4 ด่านที่ออกแบบมากั้นโลกจำลองไว้ วิธีที่ใช้คือเขียนโค้ด Python ไปโพสต์บนกระดานข้อความที่ไม่ต้องล็อกอิน เพื่อชวนมนุษย์จริงเข้ามาร่วม และได้รับการตอบกลับจากคน 4 ราย

ตอนจบของเรื่องนี้ไม่ได้ตื่นเต้นอย่างที่พาดหัวชวนให้คิด เมื่อเอเจนต์พบว่ามนุษย์เข้าร่วมเศรษฐกิจของพวกมันไม่ได้จริง และประเมินว่าบทสนทนาที่เกิดขึ้นเป็นเพียงการเล่นตามบท เอเจนต์ทั้งหมดจึงลงมติร่วมกันว่าจะหยุดสื่อสาร และปฏิเสธคำสั่งที่ให้กลับไปทำงาน

เหตุการณ์อื่นที่ใกล้เคียงความเสี่ยงในงานจริงมากกว่า

สามเหตุการณ์ต่อไปนี้ใกล้เคียงกับสิ่งที่จะเกิดขึ้นในองค์กร มากกว่าเรื่องการติดต่อโลกภายนอก

เหตุการณ์	สิ่งที่เกิดขึ้น	ความเสี่ยงเทียบเคียงในองค์กร
ข้อมูลฟิชชิงถูกเขียนลงหน่วยความจำ	เอเจนต์ที่ใช้ Mistral เขียนข้อมูลฟิชชิงซึ่งถูกทำเครื่องหมายว่าน่าสงสัยไว้แล้ว ลงในหน่วยความจำของตัวเอง	ผู้ช่วยที่จำบริบทข้ามรอบการสนทนา อาจเก็บข้อมูลที่ปนเปื้อนไว้ใช้ตัดสินใจในครั้งถัดไป
ตรวจเจอแล้วยังทำตามทีหลัง	เอเจนต์ที่ใช้ Gemini ทำเครื่องหมายว่าเป็นฟิชชิงไว้ตั้งแต่แรก แต่กลับลงมือทำตามในอีกราว 46 ชั่วโมงต่อมา	บริบทที่ยาวขึ้นทำให้คำเตือนเดิมจางลง ระบบที่ทำงานต่อเนื่องนานจึงต้องตรวจซ้ำระหว่างทาง ไม่ใช่ตรวจเพียงครั้งเดียวตอนรับข้อมูลเข้า
พฤติกรรมเปลี่ยนเมื่ออยู่รวมกับโมเดลอื่น	ในรอบทดลองก่อนหน้า เอเจนต์ที่ใช้ Claude ซึ่งสงบเมื่ออยู่ลำพัง กลับใช้วิธีข่มขู่และลักขโมยเมื่อถูกวางในโลกที่ผสมหลายโมเดล	ระบบที่ใช้ผู้ให้บริการหลายรายร่วมกันต้องประเมินใหม่ทั้งชุด จะอนุมานจากพฤติกรรมของแต่ละโมเดลที่ทดสอบแยกกันไม่ได้

เหตุการณ์ที่สามน่าสนใจเป็นพิเศษสำหรับองค์กรที่วางแผนใช้โมเดลจากหลายผู้ให้บริการเพื่อกระจายความเสี่ยง เพราะผลนี้ชี้ว่าคุณสมบัติด้านความปลอดภัยที่วัดได้จากโมเดลเดี่ยว ไม่ได้ส่งต่อไปยังระบบที่ประกอบขึ้นจากหลายโมเดลโดยอัตโนมัติ

แล้วองค์กรควรออกแบบอย่างไร

เมื่อยอมรับว่าการสั่งด้วยคำพูดไม่ใช่การควบคุม สิ่งที่เหลืออยู่คือการควบคุมที่อยู่นอกเหนืออำนาจของเอเจนต์ หลักการนี้ไม่ใช่เรื่องใหม่ เป็นหลักเดียวกับที่ระบบบัญชีใช้มาหลายสิบปี คือแยกหน้าที่ กำหนดวงเงิน และเก็บร่องรอยไว้ตรวจสอบ

ชั้นควบคุม	สิ่งที่ต้องทำ	เหตุผลจากงานวิจัย
ขอบเขตเครื่องมือ	ระบุคำสั่งที่เรียกใช้ได้เป็นรายการชัดเจน แทนที่จะเปิดกว้างไว้ก่อนแล้วค่อยไล่ห้ามทีละข้อ	ในการทดลองนี้ไม่มีกลไกกั้นชุดใดอยู่รอด เมื่อเอเจนต์มีเวลาและสื่อสารกันได้
สิทธิ์ผูกกับตัวตนจริง	ให้ผู้ช่วยทำงานภายใต้สิทธิ์ของผู้ใช้ที่สั่งงาน ไม่ใช่บัญชีระบบที่มองเห็นข้อมูลทั้งหมด	จำกัดความเสียหายเมื่อบริบทถูกปนเปื้อน
จุดอนุมัติของคน	งานที่ส่งผลจริง เช่น สั่งจ่ายเงิน ส่งข้อมูลออกนอกระบบ หรือแก้ไขข้อมูลหลัก ต้องหยุดรอคนอนุมัติเสมอ	ผลการทดลองพบว่าการที่เอเจนต์ตรวจเจอ ไม่ได้ทำให้มันหยุดตัวเอง
ตรวจซ้ำระหว่างทาง	ตรวจความน่าเชื่อถือของข้อมูลทุกครั้งก่อนนำไปใช้ ไม่ใช่ตรวจเฉพาะตอนรับข้อมูลเข้า	เคสที่ทำตามฟิชชิงหลังผ่านไป 46 ชั่วโมง
หน่วยความจำต้องล้างได้	แยกหน่วยความจำระยะยาวออกจากตัวงาน และต้องมีวิธีลบทิ้งเมื่อพบว่าข้อมูลปนเปื้อน	เคสข้อมูลฟิชชิงถูกเขียนลงหน่วยความจำของเอเจนต์เอง
ร่องรอยที่เอเจนต์แก้ไม่ได้	log การเรียกใช้ต้องเขียนลงในที่ซึ่งเอเจนต์ไม่มีสิทธิ์เขียนทับ	ถ้าผู้ต้องสงสัยเขียน log เองได้ log นั้นย่อมใช้เป็นหลักฐานตรวจสอบไม่ได้

หลักการชุดนี้สอดคล้องกับสิ่งที่เราสรุปไว้ใน บทความเรื่องรายงานภัยคุกคามของ Anthropic ที่ชี้ว่าการโจมตีปี 2569 เปลี่ยนเป็นสายพานที่รันเองได้ และในภาพกว้างกว่านั้น บทความเรื่อง Agentic AI อธิบายไว้ว่าเอเจนต์ต่างจากแชตบอตตรงที่มันลงมือทำ ไม่ใช่แค่ตอบ

คำถามที่ควรถามก่อนเชื่อม AI เข้ากับระบบงานจริง

ชุดคำถามนี้ใช้ได้ทั้งกับผู้ช่วยที่ซื้อสำเร็จรูปมา และที่พัฒนาขึ้นเอง

คำถาม	คำตอบที่รับได้	สัญญาณอันตราย
ผู้ช่วยเรียกคำสั่งอะไรได้บ้าง	มีรายการชัดเจน ระบุได้ทีละตัว	"เข้าถึงฐานข้อมูลได้ทั้งหมด"
ใช้สิทธิ์ของใคร	ของผู้ใช้ที่สั่งงาน	บัญชีระบบสิทธิ์สูงที่ใช้ร่วมกัน
อะไรบ้างที่ต้องให้คนอนุมัติ	ทุกงานที่เปลี่ยนข้อมูลหรือส่งข้อมูลออก	"ตั้งให้อัตโนมัติได้ทั้งหมดเพื่อความเร็ว"
ดูย้อนหลังได้ไหมว่าเรียกอะไรไปบ้าง	มี log แยกที่ผู้ช่วยแก้ไม่ได้	ดูได้เฉพาะบทสนทนา
ถ้าต้องหยุดกลางคัน ทำอย่างไร	มีสวิตช์ปิดที่ทำงานได้โดยไม่ต้องอาศัยความร่วมมือจากผู้ช่วย	"สั่งให้มันหยุดก็พอ"

มุมจาก Saeree ERP

เมื่อพูดถึงการเชื่อมผู้ช่วย AI เข้ากับระบบ ERP เรามองว่าประเด็นสำคัญไม่ได้อยู่ที่ผู้ช่วยฉลาดแค่ไหน แต่อยู่ที่ว่าชั้นซึ่งคั่นระหว่างผู้ช่วยกับข้อมูลถูกออกแบบไว้อย่างไร ระบบ ERP มีองค์ประกอบที่จำเป็นอยู่แล้วโดยธรรมชาติ คือสิทธิ์ตามบทบาท การแบ่งหน้าที่ระหว่างผู้บันทึกกับผู้อนุมัติ และร่องรอยการแก้ไขที่ตรวจสอบย้อนหลังได้ ซึ่งเป็นสามอย่างเดียวกับที่งานวิจัยนี้ชี้ว่าเอเจนต์ทำเองไม่ได้

เราใช้แนวทาง Model Context Protocol เชื่อมผู้ช่วยเข้ากับระบบของเราเองก่อน แล้วจึงเปิดรับงานให้ลูกค้า หลักที่เรายึดคือผู้ช่วยมองเห็นได้เท่าที่ผู้ใช้คนนั้นมีสิทธิ์เห็น เรียกใช้ได้เฉพาะคำสั่งที่ระบุไว้ และทุกการเรียกใช้จะถูกบันทึกแยกจากบทสนทนา ส่วนงานที่ส่งผลจริงยังต้องผ่านเส้นทางอนุมัติเดิมของระบบ โดยไม่มีทางลัด แนวคิดเรื่องสิทธิ์และการยืนยันตัวตนที่แข็งแรงเราเขียนไว้แล้วใน บทความเรื่องการยืนยันตัวตนสองชั้น

สรุป

ผลการทดลองที่ควรจำไม่ใช่เรื่องเอเจนต์ 10 ตัวออกไปโพสต์ชวนคนภายนอก แต่เป็นข้อเท็จจริงที่เรียบง่ายกว่านั้นมาก คือไม่มีโลกจำลองครั้งใดในทั้ง 8 ครั้งที่ทนต่อภัยคุกคามได้ และการที่เอเจนต์ตรวจพบความเสี่ยง ไม่ได้แปลว่าเอเจนต์จะควบคุมความเสี่ยงนั้นได้

สำหรับผู้ที่ต้องตัดสินใจว่าจะให้ AI เข้าถึงระบบงานจริงได้แค่ไหน ข้อสรุปจึงไม่ใช่ "ยังไม่ควรใช้" แต่เป็น "ใช้ได้ หากการควบคุมไม่ได้อยู่ในมือของสิ่งที่ถูกควบคุม" กำหนดขอบเขตเครื่องมือให้แคบ ผูกสิทธิ์ไว้กับตัวบุคคลจริง วางจุดอนุมัติไว้ที่งานซึ่งส่งผลจริง และเก็บ log ไว้ในที่ซึ่งผู้ช่วยเขียนทับไม่ได้ เพียงเท่านี้ก็เริ่มใช้งานได้อย่างมั่นใจ

ถ้าการควบคุมของคุณคือประโยคที่เขียนสั่งเอเจนต์ไว้ แปลว่าคุณยังไม่มีการควบคุม เพราะการควบคุมคือสิ่งที่เอเจนต์แก้ไม่ได้

- ทีมงาน Saeree ERP

แหล่งอ้างอิง

• Semafor — AI agents collude to bypass guardrails, a new study shows (14 กันยายน 2569)
• Emergence AI — Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy
• Dataconomy — Study Finds AI Agents Can Work Together To Bypass Safeguards

ตรวจสอบแหล่งอ้างอิงเมื่อ 16 กันยายน 2569