要点
- Agent 等于模型加 Harness。Harness 提供工具、上下文和让模型持续工作的循环。
- Work Arena 在 406 道真实工作任务上,对由 19 个模型和 5 个 Harness 组成的 49 套搭配排名。
- 同一个模型在不同 Harness 上最多相差 61 分,所以每套搭配单独排名。
- 质量、时间和成本分别排名。质量相差 100 分,意味着高分一方在同题对比中约有 64% 的期望胜率。
Harness 做什么
Harness 把一个只会回复消息的模型,变成能完成任务的 Agent。不同 Harness 细节不同,但大多负责这几件事:
- 循环。 把任务发给模型,执行模型要求的操作,把结果返回给它,如此反复,直到模型报告工作完成。
- 工具。 给模型一个工作目录、命令行、代码执行,通常还有联网能力,让它能产出真实文件,比如幻灯片、表格或网页。
- 上下文。 决定每次请求带上什么:指令、之前的步骤、文件内容、长历史的摘要。这同时影响质量和 Token 花费。
- 限制与恢复。 设置时间和步数上限,处理工具调用失败和重试。
Harness 决定模型读多少内容、调用工具的频率以及何时结束,因此两个 Harness 能从同一个模型身上得到质量和成本都不同的结果。
Work Arena 上的 Harness
| Harness | 来自 | 在 Work Arena 上运行的模型 |
|---|---|---|
| Claude Code | Anthropic | Claude 模型和若干国产模型 |
| Codex | OpenAI | GPT 模型和若干国产模型 |
| OpenCode | 开源项目 | 榜单上所有厂商的模型 |
| Kimi CLI | 月之暗面 | Kimi 模型 |
| DeepSeek Harness | 深度求索 | DeepSeek 模型 |
让同一个模型在多个 Harness 上运行,就能看出 Harness 本身带来的变化。在 2026 年 11 月的数据中,差距从 GPT-5.6 Sol 的 1 分到 GLM-5.3 的 61 分不等,成本最多相差 3.6 倍。完整数据见 Harness 影响分析。
Work Arena 如何评测一套搭配
- 任务。 数据集以现有基准中的任务为基础,并持续加入在工作中使用 Agent 的企业提供的真实案例。行业专家逐一审核,剔除不达标的任务。目前共 406 道题,覆盖 12 个领域、35 个子领域,从演示文稿、数据分析到金融、法律和医疗。
- 运行。 每套搭配完成同一批任务,像人一样提交交付物。
- 评分。 每份交付物按任务的评分标准逐项打分。只评判交付的成果,不评判 Agent 的过程。
- 排名。 结果整理成总榜、各领域榜和各子领域榜。
每一步的细节见计算规则。
三项指标从不合并
- 质量。 在每道题上,把每套搭配的得分与其他每套比较:分高者胜,同分为平。所有结果一次性用 Bradley–Terry 模型拟合到类 Elo 刻度上,总榜的参考分为 1000。
- 时间。 单次运行从开始到交付的平均时长,单位为秒。
- 成本。 每道题的平均模型花费,单位为美元,按各厂商官方 Token 价格(含缓存输入价格)计算。
Work Arena 不把三者合成一个分数,因为取舍取决于具体工作。法律审查可能值得不计成本追求最高质量,一批初稿摘要则未必。
怎么读质量分
质量分衡量的是相对强弱。两个分数之差,可以换算成高分一方在同一道题上的期望胜率:
| 分差 | 高分一方的期望胜率 |
|---|---|
| 25 | 54% |
| 50 | 57% |
| 100 | 64% |
| 200 | 76% |
| 400 | 91% |
- 分数只在同一个榜单内可比。法律 1300 分和金融 1300 分不代表同样的水平。
- 任务较少的搭配会被拉向参考分(领域榜的参考分是该搭配的总榜分数,总榜是 1000),所以在少数几道题上运气好,也不会直接排到最前面。
- 分数在小数点后三位仍相同的搭配并列同一名次。
想看这些规则的实际应用,可以从 2026 年 11 月榜单解读或实时排行榜开始。
常见问题
AI 模型和 AI Agent 有什么区别
模型根据请求生成文本、代码或工具调用。Agent 是在 Harness 中运行的模型,Harness 给它任务、工具和工作循环,让它能走很多步,并交付文件等完整成果。
什么是 Agent Harness
把模型作为 Agent 运行的软件。它发送任务、执行模型的工具调用、管理进入模型上下文的内容,并决定何时结束。Claude Code、Codex 和 OpenCode 都是例子。
Work Arena 为什么不给一个综合分
不同工作在质量、时间和成本之间的取舍不同。合成一个分数会替读者做掉本该由他们做的选择,所以三项分别排名,再用质量–成本、质量–时间图展示取舍。