任务最后做成了,为什么还不够?
从 35 个真实工作单元出发,区分最终完成、首次完成和用户干预,记录 Agent 把任务做成的过程成本。
当我用 AI 完成产品和研究任务时,“最后做成了”是一个重要结果。但如果每一步都需要人发现问题、解释错误、重新组织上下文,这个结果还不能说明协作有多顺畅。
ForHarness 因此把真实工作中的任务整理成评测记录。2026 年 8 月 31 日的第一批基线有 35 个工作单元,尝试把完成质量和过程成本放在一起观察。
先确定什么算一条任务
一个聊天窗口不是一条任务。它可能包含多个独立目标,也可能围绕同一个目标反复纠正。我的划分依据是:这个目标能否独立验收。
例如,同一交付物的纠错、继续和返工仍然合并在原任务里。否则,失败后的修正会被拆成新的成功记录,原任务的干预成本就被藏起来了。
同时看结果和第一次交付
| 观察项 | 记录结果 | 它回答什么 |
|---|---|---|
| 最终完成 | 34 / 35,97.1% | 经历纠正与恢复后,任务是否做成? |
| 首次完成 | 22 / 35,62.9% | 第一次交付是否达到要求? |
| 发生用户干预 | 11 / 35,31.4% | 是否需要方向性纠正或解释? |
这三个观察项不互为补数。一次首次交付未通过,可能由 Agent 自行修复,也可能需要用户介入。“继续”或“好的”这样的普通确认,不自动算作干预。
不要把缺失证据填成零
有些历史记录只能看到标题或摘要,无法判断是否发生了纠正。这时应该记为 unknown,而不是填写“零次干预”。否则,证据不足反而会让表现看起来更好。
恢复成本也需要单独记录:一句提醒、解释一个口径、多轮返工,是不同的成本。把它们都压成“恢复成功”,会丢失对使用体验最重要的信息。
这份样本能说明多少?
35 个单元中,27 个来自西部水泥研究项目;按工具分为 Codex 32 个、ChatGPT 3 个,没有纳入 Claude Code。样本偏向个人研究任务,规模也小,不能用来推导通用模型排名或不同工具之间的能力结论。
它更适合成为我的工作基线:继续积累同一口径的任务,观察哪些任务需要更多干预,哪些约定能减少返工。评测的目的,是找到协作中需要改善的环节。
来源:ForHarness 项目说明与 2026-08-31 基线记录;比例对应该批已标注任务,未作为跨工具比较。本文不公开原始对话和任务标识。