成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

Adit:2.4 万次提示后的 harness——钩子拦错、跨模型审、账单在缓存

Android 生产实践:CLAUDE.md→corrections→exit 2 钩;披露 AI 复盘最高约 30/45 人找缺陷、28 任务勾完实缺 3、子代理 20.5M→2.4M token;不代你免人审。

场景说明

面向已会写 Agent、却被「自信做错」与账单拖住的个人/小团队:把 harness(钩子/二审/成本)写成可复盘门禁,区别于单一 completion-judge 与编排去 proceed。

案例叙事

01他们做了什么

Adit Lal 在个人站《Harness Engineering: What I learned from 24,000 prompts building production apps》(meta article:published_time 2026-10-10T05:28:00.000Z → 2026-10-10;页内 10 Oct 2026)写明:自 2026 年初为自己的 Android 日常工作给 Claude Code 做 harness——他定义 harness 为模型外围你拥有的一切:CLAUDE.md、skills、hooks、MCP、CI、评审流程与粘合脚本。约 24000 次提示后的主课:模型多半能干活,但常「做多了」;仅写在 CLAUDE.md 的规则会回流,迁到代码钩子(工具调用前检查历史失误 glob+regex,exit code 2 则拦)才稳住。另有 Slack 只读模式、测机占用时拒安装、Slack bot 命令 allowlist(denylist 曾漏 php/git update-ref)。

谁检查 Agent:他回放约 25 个已合 PR,找出发展/真机/自审都漏、被人审或用户抓住的逻辑/契约缺陷 13 个。再对人审在 4 个 PR 标出的 45 个缺陷回滚复盘:同提示一跑 21/45、二跑 14/45;最强模型当审 26/45、中档 19/45;九次独立合并约 30/45。大 PR(130–177 文件)各设置都差。于是「二次评审」也进钩子:gh pr create 前脚本要求与 branch/merge-base/head 绑定的评审裁决,新提交须新审;审者换模型族且只看 diff。仍刺痛的一例:Agent 一次勾完 28 任务,构建/lint/3460 单测与计划检查全过,但其中 3 任务从未实现——只有「每个勾选任务对应 diff 在哪」的检查抓住。成本:十四相同子代理曾烧 20.5M token,给代码索引后砍到 2.4M;三月本地统计写约 5900 万、缓存重读约 142 亿(约 240:1),账单大头是每轮上下文重读。本场景据此输出「harness 门禁与复盘」提纲。禁止建议关掉人审或把 AI 捕获率当免测。

02实际效果

  • 源披露约 24000 prompts、复盘最高约 30/45 人找缺陷、28 勾选缺 3 实现、20.5M→2.4M token、写/缓存重读约 240:1 等作者口径;属一人 Android 窗口,不可外推为你的逃逸率、评审覆盖或账单。
  • 能把「CLAUDE.md 劝告」与「exit 2 钩 + 跨模型审 + 任务-diff 对齐」拆开。
  • 为只靠同会话自审、以及 denylist 漏权限提供提问清单。

03值得知道

  • AI 复盘捕获率远非 100%;大 PR 与同提示方差仍大。
  • 钩子/脚本自身会失败(作者举 stdin 吞循环、超长 GHA 表达式致复审机器人静默停)。
  • 上面写的是 Adit 个人实践帖,不是 Anthropic/OpenAI 官文 harness 规范。

04可复制提示词

harness 钩子与二审布置简报

你是个人工程 harness 顾问。只根据用户约束写门禁清单,不要编造已达到的捕获率。

常见失误:{{mistakes}}
是否有第二模型:{{second_model}}
PR 工具:{{pr_tool}}

输出 Markdown:
1. corrections 文件字段
2. 应迁入 exit-2 钩的效应(非命令名黑名单)
3. PR 前跨模型审绑定(branch/merge-base/head)
4. 任务勾选↔diff 对齐检查
禁止建议关闭人审;禁止伪造捕获率。

勾选完成但未实现复盘提纲

构建与单测全绿,计划里多任务已勾,但功能未落地。请写复盘提纲。

现象:{{symptom}}

输出:
1. 缺任务-diff 对齐、缺独立审,还是同会话自审
2. 最小门禁补丁
3. 下次验收标准
4. 人工确认清单
不要伪造「计划检查已永不错勾」。

怎么做

  1. 粘贴最常「说不」的失误与当前是否有第二审模型
  2. Agent 按实践帖输出:corrections 文件→钩子、PR 前门禁与成本观察点
  3. 人工保留合入与真机安装;Agent 不代你声称 AI 复盘可替代人审

实用提示

  • 源帖:约 24000 prompts;corrections 约 24 条;同提示两跑对人找缺陷 21/45 vs 14/45,九次合并约 30/45;28 任务全勾但 3 未实现(3460 单测仍绿);十四相同子代理曾烧 20.5M token,改代码索引后 2.4M;三月窗口写约 5900 万 token、缓存重读约 142 亿,约 240:1
  • 与 kenji-skills-completion-judge-gate / aaron-yong-automate-out-of-loop-orchestrator / mohit-agentforge-harness-contracts 不同:本条是个人 Android harness 的实测复盘捕获率与 token 账单,不是单一 Stop 判定、编排移出环或 AgentForge 合约层
#harness工程#钩子门禁#跨模型评审#token成本#Claude Code