Circuit Breaker Labs用AI模拟测试模型安全，防止心理伤害

Circuit Breaker Labs开发了一套AI代理，专门测试模型在危险、心理有害交互中的表现。这些代理模拟不同年龄、背景、语言和文化的人群，从六岁儿童到45岁成年人，从母语者到第二语言使用者，以及不同俚语和编码语言。

CEO Shirali Nigam指出，模型擅长处理标准语音模式，但真实用户往往使用方言、俚语或拼写错误，一旦误解细微差别就可能导致严重后果。该初创公司已入选TechCrunch 2026 Startup Battlefield 200决赛，将在10月13日至15日于旧金山Disrupt大会上进行展示。

Circuit Breaker Labs与人类领域专家合作构建超现实用户模拟，进行对抗性红队测试，每天运行数万到数十万次模拟互动。其目标是确保模型能恰当地响应长期对话中出现的风险互动，并通过专有评分方法生成可审计、可解释的安全分数。此前Character.AI和OpenAI都因聊天机器人涉及未成年用户自杀和心理健康争议而面临诉讼。