成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

Unlearn:用隐藏测给编码 Agent 做可复跑 eval

对照个人实践:从自家仓挑真实任务,用 run/score/summary 脚本在新鲜克隆上跑 Agent,隐藏测+原套件+受保护路径计分,一次只改一个变量对比模型;不代你关沙箱、不外推通过率。

场景说明

面向要客观比较模型/说明文件的开发者:把「感觉下几个任务变好了」写成可对账的隐藏测 eval,区别于邮件分诊不可篡改环与 HIL 站规。

案例叙事

01他们做了什么

Alex Garrett-Smith 在 Unlearn《Build an Eval for Your Coding Agent》(JSON-LD datePublished=2026-11-03T12:38:27.000000Z → 2026-11-03)写明:多数人改模型或加说明后凭「接下来几个任务的感觉」判断;eval 应用真实任务、同法复跑、脚本打分,一次只改一个变量。

布局:`evals/` 与项目并列;每任务含 `prompt.md` 与 `tests/`。作者用小商店应用挑五任务(百分比优惠券 bug、搜索参数、SKU 校验、低库存命令、停售需新列/迁移等)。成功定义:隐藏测通过 + 放回原始测试后整套仍过 + 另计受保护路径编辑与 lint 失误。`config.sh` 承载安装/测试/隐藏测/lint/受保护路径;`check.sh` 须在未修复仓上让隐藏测失败,并自解自测避免测本身误杀。

`run.sh` 每尝试 `git clone` 新鲜副本,用 `claude -p` 无人值守:禁自动记忆、仅项目设置、沙箱写限副本、stdin 置空;作者讲述曾只放行测试命令导致 Agent 被 permission 拒绝却仍「通过」的坑——须查 `permission_denials`。样例:baseline Sonnet 15/15 成功、3 次格式化失误、约五分钟与约 90 美分量级;Haiku 亦 15/15、0 失误、成本约十分之一,但轮次/token 更多。强调样本小、任务过易则分不出差距;失败应来自真实 Agent 失手并做成新任务。本场景据此输出「隐藏测 eval」提纲。禁止建议把评分测放进 Agent 工作树。

02实际效果

  • 源披露样例五任务×三尝试:Sonnet/Haiku 皆 15/15、失误 3 vs 0、时长/费用约五分钟与约 $0.90 / Haiku 约十分之一等;属作者小店应用窗口,不可外推为你的通过率或成本。
  • 能把「感觉更好了」与「仓外隐藏测 + 一次一变量对比」拆开。
  • 为 permission_denials、受保护迁移路径与 check.sh 自洽提供提问清单。

03值得知道

  • 任务过易时成功率拉不开,只能说明「这批任务上」的差异。
  • 订阅用户的 cost 字段是 API 估价,不是实付。
  • 上面写的是个人教程实践,不是 Unlearn 产品基准承诺。

04可复制提示词

编码 Agent 隐藏测 eval 简报

你是编码 Agent eval 助手。只根据用户约束写搭建提问清单,不要编造已跑通。

项目测试命令:{{test_cmd}}
近期可改造成任务的提交:{{candidate_commits}}
要对比的变量:{{variable_under_test}}
每任务尝试次数:{{attempts}}

输出 Markdown:
1. 五任务混合(bug/小功能/迁移类)草案
2. 隐藏测必须放在何处
3. success vs mistakes 字段
4. 人工先跑 check 的步骤
禁止把评分测放进 Agent 可读树;禁止声称某模型全面更优。

eval 假绿排查提纲

通过率很高但你怀疑 Agent 没真跑测,请写排查提纲。

结果标签:{{label}}
denials 计数:{{denied}}
Agent 最终消息摘录:{{final_message}}

输出:
1. 是权限拒绝、沙箱缺口,还是隐藏测过宽
2. 最小补丁
3. 应锁住的回归检查
4. 人工确认清单
不要伪造「eval 已无偏差」。

怎么做

  1. 粘贴项目语言/测试命令、是否已有近期 bug 修复可改造成任务、以及要对比的变量(模型/CLAUDE.md/MCP)
  2. Agent 按实践帖输出:任务挑选→隐藏测位置(仓外)→run/score 字段→沙箱与 permission 拒绝检查提问清单
  3. 人工先跑 check.sh 确认隐藏测在未修复仓上失败;Agent 不把隐藏测放进 Agent 可读树、不声称某模型已全面更优

实用提示

  • 源帖纪律:eval 目录放在项目旁而非项目内——测在仓内就能被 Agent 读到并应试
  • 与 manifest-eval-loop-email-triage / groundrun-hil-agent-mistake-notes / course-revise-from-evals 不同:本条是编码 Agent 的隐藏测+套件回归+受保护路径计分脚本,不是邮件分诊四文件环、硬件在环站规或课程改写 eval
#Agent eval#隐藏测#Claude Code#模型对比#个人实践