成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

Flexcompute:用 loop/mutate/gate 托住 Agent 写库

对照工程实践:个人向 autodiff 库几乎全由 Agent 写成后,用 scoped loop、diff 突变测试与全量 gate 把质量地板从「人盯每一行」挪到 harness;不代你关测试、不外推 commit 统计。

飞书DeepSeekClaudeChatGPT⚡ 效率办公🛠️ 开发者工具

场景说明

面向重度使用编码 Agent 的个人/小团队:把「Agent 越写越大、质量靠人肉」写成可对账的验证节律,区别于本机共享测队列与舰队修 CI。

案例叙事

01他们做了什么

作者 Yannick Augenstein 与 Frederik Schubert 在 Flexcompute Engineering《"What Should We Work On Next?"》(页内 datePublished=2026-02-26)写明:约一年用编码 Agent 后,自 2025-11 起约三个月把内部 autodiff 库(图优先、急切追踪、NumPy 集成)几乎全交给 Agent 写到约 8 万行 Python;角色从「逐行审」变成许多会话以「下一步做什么」开场——前提是验证基础设施把质量地板托住。代码未开源,文章交付的是模式而非制品。

痛点驱动工具链:Agent 跳过 mypy/覆盖/文档 → `pre_pr.sh` → `quality.py` → 按 OpenAI harness 思路硬切到 `harness.py` 三档:`loop`(按 diff+依赖图 scoped,约 180s 预算,超时推迟而非假失败)、`mutate`(只突变已执行的变更行,存活突变阻断)、`gate`(全量合并门)。另有禁止新增 `# type: ignore`/`# noqa`、AST 层导入边界、JSON 信封限长以免灌爆 Agent 上下文。突变策略:对变更且被覆盖的行做 AST 级翻转,最多约 12 个突变、跨文件铺开,要求变更行 100% kill,并配合 `require_changed_tests`。

并行用 worktree;早期「七专家子 Agent」因上下文交接差而放弃,改用会话末「写下一阶段提示」的 relay。失败后追问「为何漏过、harness 缺哪条」把 bug 变成检查。源内对 287 commits(约 2025-11-27 至 2026-02-24,harness 切换约 02-16)给出触及测试文件比例约 41%→76% 等统计。本场景据此输出「loop/mutate/gate」提纲。禁止建议为省事关闭突变或测试。

02实际效果

  • 源披露约 8 万行库、287 commits 窗口内触及测试文件比例约 41%→76%、修复类提交比例约 11% 持平、平均插入行约 668→1187 等;属作者私有库统计,不可外推。
  • 能把「再写一份 AGENTS.md 口号」与「Agent 跑得起的 scoped 验证节律」拆开。
  • 为边界检查、压制守卫与「失败→新检查」闭环提供提问清单。

03值得知道

  • 实现绑定 Python/AST/pytest 生态;迁移到其他语言要重做检查,不要照搬命令名。
  • 纯重构与等价突变会摩擦;作者认为对「优化让测通过」的 Agent 仍划算。
  • 上面写的是工程博客模式复盘,不是开源 harness 产品承诺。

04可复制提示词

loop/mutate/gate 简报

你是 Agent 验证 harness 助手。只根据用户约束写三档验证提问清单,不要编造已上线。

语言/构建:{{stack}}
Agent 常跳过的检查:{{skipped_checks}}
并行 worktree:{{parallel_worktrees}}
合并前门闩:{{merge_gate}}

输出 Markdown:
1. loop 应 scoped 的检查与时间预算
2. mutate 应对哪些变更行、何谓存活突变
3. gate 相对 loop 多出的不可省略项
4. JSON/限长回传如何避免灌爆上下文
禁止建议删除测试;禁止声称已达到某 kill rate。

Agent 压制类型错误的分诊提纲

PR 里新增大量 type ignore / noqa,请写分诊提纲。

样例注解:{{suppressions}}
是否已有压制守卫:{{guard_exists}}

输出:
1. 哪些必须改成真修复
2. 守卫应拦截的模式
3. 与 loop/gate 的接入点
4. 人工抽检清单
不要伪造「仓库已无压制」。

怎么做

  1. 粘贴仓库语言栈、Agent 常漏的检查、以及是否允许多 worktree 并行
  2. Agent 按实践帖输出:loop(scoped 快检)→mutate(diff 突变)→gate(合并全检)→边界/压制守卫提问清单
  3. 人工把 harness 接到 CI 与 AGENTS.md;Agent 不删除你的测试、不宣称已替你涨到某测试触及率

实用提示

  • 源帖关键转变:不是模型突然变好,而是验证地板够硬之后,才敢真问「下一步做什么」
  • 与 sluice-shared-agent-verify-queue / fleet-ci-fix-ship-prs / stripe-minions-oneshot-pr-agents 不同:本条是库内 loop/mutate/gate + 变更行突变杀伤率,不是本机去重队列、远端舰队修 CI 或 Slack 一键出 PR
#harness#突变测试#Agent 验证#AGENTS.md#工程博客