← 全部文章

任务最后做成了,为什么还不够?

从 35 个真实工作单元出发,区分最终完成、首次完成和用户干预,记录 Agent 把任务做成的过程成本。

当我用 AI 完成产品和研究任务时,“最后做成了”是一个重要结果。但如果每一步都需要人发现问题、解释错误、重新组织上下文,这个结果还不能说明协作有多顺畅。

ForHarness 因此把真实工作中的任务整理成评测记录。2026 年 8 月 31 日的第一批基线有 35 个工作单元,尝试把完成质量和过程成本放在一起观察。

先确定什么算一条任务

一个聊天窗口不是一条任务。它可能包含多个独立目标,也可能围绕同一个目标反复纠正。我的划分依据是:这个目标能否独立验收。

例如,同一交付物的纠错、继续和返工仍然合并在原任务里。否则,失败后的修正会被拆成新的成功记录,原任务的干预成本就被藏起来了。

同时看结果和第一次交付

个人任务基线 · 2026-08-31 · 35 个工作单元
观察项记录结果它回答什么
最终完成34 / 35,97.1%经历纠正与恢复后,任务是否做成?
首次完成22 / 35,62.9%第一次交付是否达到要求?
发生用户干预11 / 35,31.4%是否需要方向性纠正或解释?

这三个观察项不互为补数。一次首次交付未通过,可能由 Agent 自行修复,也可能需要用户介入。“继续”或“好的”这样的普通确认,不自动算作干预。

不要把缺失证据填成零

有些历史记录只能看到标题或摘要,无法判断是否发生了纠正。这时应该记为 unknown,而不是填写“零次干预”。否则,证据不足反而会让表现看起来更好。

恢复成本也需要单独记录:一句提醒、解释一个口径、多轮返工,是不同的成本。把它们都压成“恢复成功”,会丢失对使用体验最重要的信息。

这份样本能说明多少?

35 个单元中,27 个来自西部水泥研究项目;按工具分为 Codex 32 个、ChatGPT 3 个,没有纳入 Claude Code。样本偏向个人研究任务,规模也小,不能用来推导通用模型排名或不同工具之间的能力结论。

它更适合成为我的工作基线:继续积累同一口径的任务,观察哪些任务需要更多干预,哪些约定能减少返工。评测的目的,是找到协作中需要改善的环节。

来源:ForHarness 项目说明与 2026-08-31 基线记录;比例对应该批已标注任务,未作为跨工具比较。本文不公开原始对话和任务标识。

查看 Harness 评估项目与完整指标 → · 下载任务评测口径 ↓

← 全部文章回到首页 →