Alex Garrett-Smith 在 Unlearn《Build an Eval for Your Coding Agent》(JSON-LD datePublished=2026-11-03T12:38:27.000000Z → 2026-11-03)写明:多数人改模型或加说明后凭「接下来几个任务的感觉」判断;eval 应用真实任务、同法复跑、脚本打分,一次只改一个变量。
布局:`evals/` 与项目并列;每任务含 `prompt.md` 与 `tests/`。作者用小商店应用挑五任务(百分比优惠券 bug、搜索参数、SKU 校验、低库存命令、停售需新列/迁移等)。成功定义:隐藏测通过 + 放回原始测试后整套仍过 + 另计受保护路径编辑与 lint 失误。`config.sh` 承载安装/测试/隐藏测/lint/受保护路径;`check.sh` 须在未修复仓上让隐藏测失败,并自解自测避免测本身误杀。
`run.sh` 每尝试 `git clone` 新鲜副本,用 `claude -p` 无人值守:禁自动记忆、仅项目设置、沙箱写限副本、stdin 置空;作者讲述曾只放行测试命令导致 Agent 被 permission 拒绝却仍「通过」的坑——须查 `permission_denials`。样例:baseline Sonnet 15/15 成功、3 次格式化失误、约五分钟与约 90 美分量级;Haiku 亦 15/15、0 失误、成本约十分之一,但轮次/token 更多。强调样本小、任务过易则分不出差距;失败应来自真实 Agent 失手并做成新任务。本场景据此输出「隐藏测 eval」提纲。禁止建议把评分测放进 Agent 工作树。