# Agent 任务评测口径

整理：窦中将 · 2026-09-05
依据 ForHarness 2026-08-31 的个人任务评测实践。
这是记录模板，不是跨工具排名或自动评测程序。

## 一条任务是什么
以可独立验收的用户目标为单位；同一目标下的纠错、返工、继续合并。
一个聊天窗口可能包含多条任务；不能直接按窗口数量统计。

## 建议字段
- 任务编号、日期、项目、工具、任务类型与完成标准。
- 最终完成、首次完成：是 / 否 / unknown。
- 用户干预次数、失败次数、恢复方式与成本。
- 来源记录、证据质量、判定说明。

## 判定
- 最终完成：包括恢复与纠正后是否达到要求。
- 首次完成：第一次交付是否满足完成标准。
- 干预：方向性纠正或关键错误解释；“继续”“好的”不自动算干预。
- 缺少证据时填 unknown，不用 0 代替；统计时标明有效分母。
- 不同工具独立分组，小样本只作为探索信号。

## 恢复成本（有恢复事件时记录）
0：自动发现并修复，用户无额外成本。
1：用户一句提醒或继续即可。
2：用户需要解释错误或补充关键口径。
3：多轮纠正或明显返工。
4：大量返工、上下文重建或高认知成本。
5：不可逆结果或高风险影响。

## 对外分享
公布日期、样本构成、口径、有效分母和限制。
不公开私有对话、客户数据、账号或任务标识。
