研究指编码 Agent 的 Harness 可令成本翻三倍却不提升准确率

一项新研究指出，编码 Agent 的外部执行框架 Harness 会让任务成本增加至原来的三倍，却不一定提升准确率。公开排行榜常在不同 Harness 下比较模型，导致结果难以归因。

研究者固定模型并更换 Harness 后发现，评分任务得分可相差 23.8 分，Pass@1 可相差 27.4 个百分点。由于约八分之一任务在相同条件下会翻转结果，45 个任务的评测集只有一半概率能识别 13 点差距，447 个任务也只能分辨 5.2 点差异。团队建议对供应商宣传的 2 到 3 点收益保持怀疑，并在采用复杂框架前自行运行两次基线配置。

这一结论与 UC Berkeley Sky Computing Lab 和 Arena 的 HarnessTax 研究一致：在 7 个模型、3 种 Harness 的测试中，框架选择只带来几个百分点的通过率变化，推理成本却最多放大五倍，提醒企业同时评估成功率和单任务成本。