← 全部项目

Agent Harness 评估指标

Agent 最后把任务做成了,不代表过程中没有反复纠正。这个项目记录首次交付、用户干预和失败恢复,尝试更具体地判断 AI 在真实任务里帮到了哪里。

评测项目 · 已有 35 个工作单元的初始基线 · 项目记录截至 2026-08-31

查看历史界面与产物
Agent Harness 评估指标:实际工作簿汇总,2026-08-31 基线
实际工作簿汇总,2026-08-31 基线

任务做完了,中间发生了什么

最后完成和第一次就合用,是两件不同的事。有人提醒后修好与 Agent 自己发现并修好,也意味着不同的使用成本。我把这些情况分别记下来,而不是只看一个完成率。

先说清什么算一条任务

以一个可独立判断是否完成的目标为单位。同一目标下的纠正、继续和返工合在一起,新目标才拆分。缺少证据的字段保留为 unknown,不当作零次干预;普通确认也不自动算纠正。

第一批记录

第一批整理了 35 个工作单元。其中 27 个来自西部水泥研究项目,工具构成为 Codex 32 个、ChatGPT 3 个,没有纳入 Claude Code。这更适合做个人使用的观察基线,还不足以比较工具的通用能力。

2026-08-31 · 35 个工作单元
指标结果
最终完成34 / 35,97.1%
首次完成22 / 35,62.9%
发生用户干预11 / 35,31.4%
完整指标口径

上表的分母为对应字段可判定的 35 个任务。平均干预次数为 25 / 35=0.71 次;失败恢复为 16 / 17=94.1%;自主恢复为 3 / 17=17.6%。后两项只计算发生失败、且恢复结果或恢复类型可判定的任务。

记录中另有 0—5 级恢复成本、约束违反和上下文丢失。缺少证据时保留 unknown,不用零替代。

接下来怎样积累

保持任务边界和判定方式一致,继续加入新任务,观察哪些场景需要更多纠正、哪些问题能够自行恢复。证据发生变化时再修订旧标签,并留下原因。

评测口径说明 ↓ · 相关文章 →

项目资料与记录日期

依据 ForHarness 2026-08-31 的指标定义、标签数据与汇总工作簿整理。工作簿保留任务明细、指标汇总、结论摘要和标签口径。这里只公开聚合结果,原始对话与任务明细保留在本地。

← 全部项目首页 →