Hugging Face 政策主管：嵌入式 AI 评估者并非易解方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，模型评估方法复杂且仍在成熟过程中，业界若要依赖评估结果，需要把测试发展成更一致的科学。当前评估领域缺乏统一标准，嵌入式评估者生态尤其如此。

嵌入式评估者，即在 AI 组织内部安置所谓的中立第三方观察员，在近期多起安全事件后被广泛讨论。Anthropic 聘请埃森哲作为首位评估者一事引发反弹，部分批评者质疑咨询公司是否具备资质。Solaiman 指出，什么任务上谁是有效评估者还需要大量标准化。

她还强调，评估正从仅测试模型本身转向测试包括工具框架和智能体在内的整个系统，较弱的模型配上更好的框架可能胜过前沿模型。可复现性是关键，开放权重有助于提高透明度；智能体评估成本高昂，行业需要对智能体整体建立更好的测试方法。若不能统一比较口径，基准测试作为行业工具的参考价值将难以持续。