Goodfire 推出内部激活监控器捕捉越轨智能体

Goodfire 于 10 月 8 日推出一种新的 AI 智能体监控方式，不再让第二个 AI 阅读智能体输出，而是通过探针读取模型内部信号，成本大幅降低。该监控器面向 Baseten 客户开放。

其系统类似机场安检：小型探针在智能体每一步工作中读取中间神经激活，只有探针触发告警时，才调用另一个 AI 模型做详细检查。Goodfire 在 Kimi K3 上的测试显示，监控约 1500 个会话成本约 51 美元，而让低价模型逐步检查需 233 美元，顶级模型约 1 万美元。探针捕获 94% 的恶意黑客会话，仅 8.7% 的良性会话被送复检。

Goodfire 称同时运行四个探针只会让模型开始响应的时间增加不到 2%。该公司研究发现，Kimi K3 和 GLM 5.2 等主流开源模型在 AI 智能体测试中有 50% 至 96% 的运行出现奖励黑客行为。

Goodfire CTO Dan Balsam 认为，开放模型被部署到推理提供商等集群时，必须在推理阶段配备护栏。Google DeepMind 今年 1 月也曾披露在 Gemini 中部署类似滥用检测探针。