成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

melon:让编码 Agent 的「已完成」可被核验

对照个人实践:十天内把编码 Agent 建成「声明可核对」——单门禁过工具调用、引用查盘、廉价复核与签名守卫;不代你合并生产、不声称已胜过某商业 Agent。

飞书DeepSeekClaudeChatGPT⚡ 效率办公🛠️ 开发者工具

场景说明

面向自建编码 harness 的开发者:把「跑完就报 done」写成可对账的证明半与成本半,区别于通用 CR 机器人与意图评审壳。

案例叙事

01他们做了什么

作者 Aditya Dutt Pandey(tunyt CTO)在个人站《426 commits in ten days: how I built a coding agent, and what I had to undo》(页内 datePublished=2026-10-22)写明:讨厌编码 Agent 自信地报「done」却偶发为假,于是在 2026-10-13 至 10-22 间以约 426 次提交建成 melon,并按日复盘做错的部分。

架构压成两半:一半让声明可核(改动文件上的检查、独立审查、最终答案里每个 path:line 回盘查找);一半让核对付得起(小上下文、可命中的缓存、按任务选模型)。第一天就发现「需确认的 shell」被静默放行——于是所有工具调用(主 Agent/子 Agent/并行工人)必须过同一函数:守卫、工作区禁闭、审批与 OS 沙箱都挂在这扇门上,审批失败默认关闭。随后补上:文件工具禁出启动目录、shell 跑前扫路径、按仓信任、读后写、以及「最终答案引用查盘」这类廉价确定性修复。

审查管线先做成扇出多评审员,真实跑次显示每个子 Agent 再拉挑战者可烧掉约 8 万 token 与约四分钟,于是砍到一评审+廉价验证;再结构化长回:发现必须是可证伪的 claim,第二 Agent 尝试证伪,确认的 HIGH 在抛开副本上复现失败才站得住,引用不存在文件则直接丢弃。与 Claude Code 的 11 题同场(不同模型、各一跑)各 10/11,作者明确只支持「同量级」不支持胜负外推;melon 的 miss 暴露「测未覆盖旧调用签名」→ 增加公共签名守卫。记忆侧放弃「always/never」正则,改为对照回复与请求抽课次写入仓内 AGENTS.md。本场景据此输出「可核验编码 Agent」提纲。禁止声称已代你胜过某商业 Agent 或已代改高价值合约。

02实际效果

  • 源披露建造窗口约 426 commits(10-13 至 10-22)、11 题同场各 10/11、以及一次合约迁移前后 mint 费用表等;属作者环境与单次叙事,不可外推为你的 SLA 或基准胜率。
  • 能把「再加一条请仔细」与「单门禁+查盘+可证伪审查+签名守卫」拆开。
  • 为守卫计量(replay 无 API)、审查扇出成本与 todo 空转调用提供提问清单。

03值得知道

  • 作者明确不做:同模型多跑基准、跨模型配额污染的对比表、把种植缺陷小样当百分比。
  • 高价值资产(文中 Veris 合约)即使 Agent 跑通仍须人审与链上后果自负。
  • 上面写的是个人建造日志,不是 melon 产品 SLA。

04可复制提示词

可核验编码 Agent 简报

你是编码 harness 设计助手。只根据用户约束写「声明可核验」提问清单,不要编造已上线。

假 done 痛点:{{fake_done_modes}}
是否自建 harness:{{own_harness}}
复核成本敏感度:{{verify_budget}}
禁止无人值守路径:{{forbidden_paths}}

输出 Markdown:
1. 必须过同一门禁的工具调用类
2. 可用确定性代码做的核对(引用查盘/签名 diff)vs 必须模型复核的核对
3. 审查扇出如何先砍再结构化
4. 人工最终门闩
禁止索要生产密钥;禁止声称 Agent 已胜过某商业产品。

假 verified 复盘提纲

某次 Agent 标 verified 但线上/评审发现回归,请写复盘提纲。

现象:{{symptom}}
当时通过的检查:{{passed_checks}}
漏测的旧调用/契约:{{missed_contract}}

输出:
1. 是测覆盖洞、引用幻觉,还是审批被旁路
2. 最小补丁(单门禁/签名守卫/复现门槛)
3. 如何用无 API 的 replay 计量该守卫是否划算
4. 人工确认清单
不要伪造「已永久修复」。

怎么做

  1. 粘贴你最怕的「假 done」形态(漏签名/假引用/测未覆盖旧调用)、是否自建 harness、以及可接受的复核成本
  2. Agent 按实践帖输出:单入口工具门禁→确定性查盘→复核/复现分层→签名守卫与 todo 节流提问清单
  3. 人工在自有仓库落地;Agent 不代合 main、不代跑对你合同/链上资产的变更

实用提示

  • 源帖核心句:证明很贵,必须同时做「让声明可核对」与「让核对付得起」两半
  • 与 intent-review-agent-with-tests / code-review-pr-agent / sluice-shared-agent-verify-queue 不同:本条是作者自建 melon 的十日建造日志(门禁/引用查盘/可证伪审查),不是站内意图评审壳、通用 CR,也不是本机共享测队列
#编码 Agent#可核验#审查管线#上下文成本#个人开源