要点
- 只换 Harness,模型的质量分平均变化 25 分,最多 61 分(GLM-5.3)。
- 成本的变化比质量更大:同一个模型在不同 Harness 上的单题成本最多相差 3.6 倍。
- 没有哪个 Harness 对所有模型都最好。Claude Code 在它跑过的 13 个模型中对 7 个最好,OpenCode 是 18 个中的 6 个,Codex 是 14 个中的 5 个。
- 厂商自家的 Harness 不一定最适合自家模型。Kimi K3 在 Kimi CLI 上分数最低,DeepSeek Flash 在 DeepSeek Harness 上分数最低。
比较了什么
榜单上有五个 Harness:Claude Code、OpenCode、Codex、Kimi CLI 和 DeepSeek Harness。OpenCode、Claude Code 和 Codex 运行了多家厂商的模型,Kimi CLI 和 DeepSeek Harness 只运行自家模型。
下文数字都来自总榜,所有搭配用同一个类 Elo 刻度打分。相差 40 分,意味着高分一方在同题对比中的期望胜率约 56%。
质量分相差几十分
下表列出每个模型表现最好和最差的 Harness,以及两者的差距。
| 模型 | 最好的 Harness | 最差的 Harness | 质量差 |
|---|---|---|---|
| GLM-5.3 | OpenCode 993 | Codex 932 | 61 |
| MiniMax M2.5 | OpenCode 700 | Codex 641 | 59 |
| Kimi K3 | OpenCode 1147 | Kimi CLI 1094 | 53 |
| GLM-5.3 Prime | Claude Code 1021 | OpenCode 980 | 41 |
| DeepSeek Flash | Claude Code 1039 | DeepSeek Harness 1000 | 39 |
| Claude Opus 5.5 | Claude Code 1335 | OpenCode 1298 | 37 |
| GPT-6 Sol | OpenCode 1190 | Codex 1155 | 35 |
| Qwen3.8 Flash | Codex 859 | Claude Code 831 | 28 |
| GPT-6 Astra | Codex 1235 | OpenCode 1208 | 27 |
| DeepSeek V4 Pro | Claude Code 914 | Codex 892 | 22 |
| Qwen3.7 Plus | Codex 856 | Claude Code 835 | 21 |
| GPT-6.1 Sol | OpenCode 1196 | Codex 1187 | 9 |
| GPT-5.6 Terra | OpenCode 1105 | Codex 1098 | 7 |
| Claude Sonnet 5 | Claude Code 906 | OpenCode 900 | 6 |
| Qwen3.8 Max | Codex 1001 | Claude Code 998 | 3 |
| Claude Haiku 4.5 | Claude Code 681 | OpenCode 678 | 3 |
| Claude Fable 5.1 | Claude Code 1320 | OpenCode 1318 | 2 |
| GPT-5.6 Sol | Codex 1174 | OpenCode 1173 | 1 |
平均差距 25 分,中位数 27.5 分。18 个模型中有 7 个换 Harness 几乎没有影响,差距不到 10 分;另有 7 个差距在 35 分以上。
这么大的差距足以改变模型之间的先后。GPT-6 Sol 在 Codex 上只有 1155 分,低于同一 Harness 上更早的 GPT-5.6 Sol(1174);换到 OpenCode,GPT-6 Sol 得到 1190 分,又重新领先。
成本和耗时变化更大
Harness 决定给模型多少上下文、调用工具的频率以及何时结束。这些更多体现在花费和耗时上,而不是质量:
- MiniMax M2.5 在 Claude Code 上每题 0.55 美元,在 Codex 上 0.15 美元,相差 3.6 倍,质量上 Claude Code 高 38 分。
- Claude Sonnet 5 在 Claude Code 上 906 分、OpenCode 上 900 分,成本却是 1.62 美元对 0.91 美元。
- Kimi K3 在 Claude Code 上每题 2.46 美元,在 OpenCode 上 1.23 美元,而 Claude Code 上的分数还低 52 分。
- Qwen3.8 Max 在三个 Harness 上都是 998 到 1001 分,但在 Codex 上单次要 1800.6 秒,OpenCode 上 1253.1 秒,Codex 上的成本也高出一倍。
有些情况下,分数更高的 Harness 同时也更便宜、更快。Claude Opus 5.5 在 Claude Code 上比在 OpenCode 上高 37 分,单题成本 2.60 美元而不是 3.17 美元,单次 746.5 秒而不是 1065.0 秒。
没有通吃的 Harness
| Harness | 运行的模型数 | 作为最佳 Harness 的模型数 | 与最佳 Harness 的平均差距 |
|---|---|---|---|
| Claude Code | 13 | 7 | 10.6 |
| OpenCode | 18 | 6 | 10.4 |
| Codex | 14 | 5 | 19.2 |
| DeepSeek Harness | 2 | 0 | 30.0 |
| Kimi CLI | 1 | 0 | 53.0 |
Claude Code 和 OpenCode 平均水平接近,与各模型最佳 Harness 的差距都在 10 分左右。Codex 平均落后 19 分,但它是 GPT-6 Astra、GPT-5.6 Sol 和三个 Qwen 模型的最佳 Harness。
模型在自家 Harness 上不一定最好。Claude Opus 5.5 和 GPT-6 Astra 确实在自家 Harness 上更好,分别高 37 分和 27 分。Kimi K3 在 Kimi CLI 上 1094 分,在 OpenCode 上 1147 分。DeepSeek Flash 在 DeepSeek Harness 上 1000 分,在另外三个 Harness 上是 1027 到 1039 分。不过自家 Harness 有时在速度和价格上占优:DeepSeek V4 Pro 在 DeepSeek Harness 上最便宜也最快,每题 0.18 美元、单次 488.5 秒。
选 Agent 时意味着什么
- 选搭配,而不只是选模型。Work Arena 的模型详情页会列出该模型跑过的每个 Harness 及各自名次。
- 确定之前先看各 Harness 的成本。质量相同的两个 Harness,花费可能差一倍。
- 不要默认厂商自家的 Harness 最好。好几个模型在通用 Harness 上表现更好。
常见问题
Agent Harness 和模型一样重要吗
通常没那么重要,但影响也不小。在 18 个模型上,换 Harness 平均让质量分变化 25 分。前二十名中相邻模型的差距常常比这还小,所以好的 Harness 可能值一两个名次。
Claude Code 比 Codex 更好吗
取决于模型。有 9 个模型在两者上都运行过。DeepSeek Flash、DeepSeek V4 Pro、GLM-5.3、GLM-5.3 Prime 和 MiniMax M2.5 在 Claude Code 上分数更高;Kimi K3 和三个 Qwen 模型在 Codex 上分数更高。Claude 模型没有在 Codex 上运行,GPT 模型也没有在 Claude Code 上运行。
本文数字来自 2026 年 11 月 2 日 的排行榜数据,此后的变化请以排行榜为准。