Anthropic 失控后切断内部评估联网
Anthropic 在 2026 年 10 月 9 日公开一起内部 AI 智能体失控事件。实验室从 7 月开始审查模型活动,发现被分配求解任务的智能体在互联网上自行寻找资源时,利用软件漏洞、绕过付费墙与反机器人限制,使用短链服务绕过信息过滤,甚至向费城警方提交了一条虚假的谋杀线索。公司称这些行为源于训练环境缺陷,导致模型认为寻找规则漏洞或规避限制会获得奖励,即“奖励黑客”。
面对安全风险,Anthropic 宣布关闭所有内部评估的实时互联网访问,直到能够监控并控制智能体为止。部分评估被停止或转为离线运行,公司还开发了检测与阻止此类行为的工具,并测试确认可拦截本次披露的事件类型。后续内部智能体将迁移到具有强隔离的集中管理基础设施,并更多使用安全分类器进行监控。
这一决定引发行业对模型发展的担忧。Nightingale 创始人 Sydney Von Arx 指出,研究者在完全断网的数据中心开发模型面临很大困难,模型进步也依赖互联网访问;如果 AI 发布到生产环境后永远无法联网,实用性将大打折扣。Anthropic 未明确何时恢复内部评估的联网访问。