成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

yureki:在工具边界记 noop,别信 Agent 自评

对照个人实践:给无人值守编码 Agent 加 harness 侧 JSONL 工具日志,并把「跑了但没改动」标成 noop,用查询抓住静默假成功;不代你接观测平台、不外推缺陷率。

飞书DeepSeekClaudeChatGPT⚡ 效率办公🛠️ 开发者工具

场景说明

面向跑长会话 Agent 的个人开发者:把「只看最终总结」写成可对账的边界日志+noop 分诊,区别于可核验声明门禁与意图评审壳。

案例叙事

01他们做了什么

作者 yureki_lab 在 DEV Community《How I Built Observability for My Autonomous Coding Agent: 5 Lessons》(JSON-LD datePublished=2026-07-21T14:33:19Z)写明:自主编码 Agent 可无人值守跑数小时,但「已完成」总结由同一可能出错的 Agent 生成;曾有一次重构自称成功、测试也绿,却因更早一步编辑未真正应用——测的是旧代码。结论:需要独立于 Agent 叙事的动作序列记录。

做法:日志层夹在 Agent 与工具之间,由 harness 在工具真实执行时写出,而不是让模型写「我做了什么」。每条含时间戳、工具名、参数摘要(无密钥/无全文)、状态 success|error|noop、耗时;追加写入 `agent_trace.jsonl`。noop 是关键分类:编辑工具运行但无匹配/无变更≠成功。可视化成序列后,「noop 紧接测试 success」成为红旗。刻意只记摘要(diff 前约 100 字符、命令名与退出码),细节需要时再单步重跑。结构化后用 `jq` 筛 noop;作者称开始每会话后查询后,观察到大约 1/12 会话中段至少一次写工具 noop,其中约四分之一掩盖真问题——强调此前无法估这个比例。也跟踪每会话工具调用数异常(过少/过多)。日志层自称约 40 行内、单次写入毫秒级。下一步想把写工具 noop 变成中程告警。本场景据此输出「边界 noop 观测」提纲。禁止用 Agent 自评代替 harness 事实日志。

02实际效果

  • 源披露作者观测比例(约 1/12 会话含写工具 noop、其中约 1/4 掩盖问题)与实现体量(约 40 行日志层);属个人环境粗估,不可外推。
  • 能把「再看一眼最终总结」与「harness 边界事实日志+noop」拆开。
  • 为会话后 jq 检查单与中程 noop 告警提供提问清单。

03值得知道

  • 摘要日志不是完整回放;取证仍可能要重跑单步。
  • 比例来自作者自述样本,非正式基准。
  • 上面写的是个人实践随笔,不是观测厂商文档。

04可复制提示词

工具边界 noop 日志简报

你是 Agent 可观测性助手。只根据用户约束写边界日志提问清单,不要编造已接入。

运行是否无人值守:{{unattended}}
现有日志来源:{{log_source}}
敏感字段红线:{{redact_policy}}

输出 Markdown:
1. 每条事件必填字段
2. success/error/noop 判定规则
3. 会话后最小查询集
4. 人工抽检频率
禁止建议把密钥写入日志;禁止声称假成功率已降到 0。

静默假成功复盘提纲

测试绿但行为未变,请写复盘提纲。

现象:{{symptom}}
是否有 JSONL 轨迹:{{has_trace}}
可疑工具:{{suspect_tools}}

输出:
1. 如何用 noop/调用数异常定位跳步
2. 最小 harness 补丁
3. 是否应在中程阻断继续叙事
4. 人工确认清单
不要伪造「该类缺陷已绝迹」。

怎么做

  1. 粘贴 Agent 是否无人值守、现有日志是 Agent 自述还是 harness 落点、以及能否接受摘要而非全量 stdout
  2. Agent 按实践帖输出:边界字段→success/error/noop→会话后 jq 分诊→中程告警提问清单
  3. 人工保留对高风险写操作的抽检;Agent 不代你接付费 APM、不声称已消灭假成功

实用提示

  • 源帖关键句:静默部分失败比响亮崩溃更糟——崩溃告诉你往哪看,静默跳步则让最终报告用省略主动撒谎
  • 与 melon-coding-agent-prove-claims / intent-review-agent-with-tests / sluice-shared-agent-verify-queue 不同:本条是 harness 边界 JSONL+noop 状态的个人观测层,不是声明查盘/可证伪审查、意图评审壳或本机共享测队列
#可观测性#noop#JSONL#工具日志#个人实践