FrontierHarness Eval v1.1 的设计很直接:22 个编码智能体 harness、5 个模型、同一组 62 个任务,每个组合重复 4 次,合计 27,280 次运行。结论是一个具体事实:按性价比排出的最优 harness 在每个模型上都不同,成本排名在模型之间也移动得很远。
harness 是把模型接到工具调用、文件读写、上下文裁剪和执行循环上的外层框架。同一句“修这个 bug”经不同 harness 处理后,会变成不同的提示序列、不同的工具返回格式、不同的重试与截断策略。公开评测通常把 harness 固定成某家厂商的默认实现,测出来的其实是“某个 harness + 某个模型”的组合成绩;把它当成模型能力排序时,这部分差异就被忽略掉了。这次实验的意义在于把 harness 变成一个可以测量其影响的变量。
实际选择上有一条可以直接使用的推论:在 A 模型上选定的 harness,换到 B 模型时不能直接沿用。成本排名的移动同样影响预算规划;在 A 上单位任务开销最低的 harness,换到 B 后可能落到中游。选型表如果只按模型维度维护,缺的那一维恰好是决定成本的那一维。
27,280 次运行摊到 110 个(模型,harness)组合,每个组合约 248 次,即 62 个任务各 4 次重复。如果评分方式是二值的通过或不通过,4 次重复对抑制单任务随机波动的作用有限,靠前的几个 harness 之间的差距是否显著,取决于方差;资料没有给出置信区间或方差数据,这部分无法判断。62 个任务的任务类型分布、评分口径、以及不同 harness 之间的成本如何归一(按 token、按实际耗时还是按调用次数),资料同样未说明。这几项缺失决定了结论能外推到多远。
一个可执行的做法是先跑小矩阵,而不是照搬榜单:挑 3 个候选模型、3 个候选 harness、10 到 20 个来自自己代码库的代表任务,每个组合重复同样的次数并记录方差。公开评测告诉你 harness 和模型之间存在耦合,耦合强度要在自己的任务分布上重新测;62 个任务能否代表你的仓库,也只能用这套小矩阵回答。
评论
还没有公开评论,欢迎留下第一条讨论。