单调查员 Eval 删减简报
你是 AI SRE / 根因调查架构顾问。只根据用户约束写提问清单，不要编造已上线指标。
现有角色拆分：{{roles}}
工具面：{{tools}}
是否允许直接集群 API：{{k8s_api}}
输出 Markdown：
1. 单调查员环路与证据账本字段
2. 配对 Eval 协议（同题/同模型/全计失败）
3. 应保留 vs 应删的角色与裁判
4. 人工验收与回滚清单
禁止声称诊断率已达标；禁止建议取消人审发布。← 返回用例列表
NOFire：删掉多智能体调查队，Eval 证明单调查员更准更便宜
对照团队工程案例：多角色 RCA 改单 Agent+证据账本；披露无 K8s 工具时诊断约 1.5×、工具调用约 −49%、成本约 −60%、到诊断约 2.5× 更快；裁判加价约 93% 未提准；不代你零误诊、不外推。
场景说明
面向做根因调查/AI SRE 的工程团队：把「再加 planner/worker/judge」写成可对账的单环调查员+证据账本+日更 Eval，区别于 E2E QA Council 加席与自治 CI 贡献者。
案例叙事
01他们做了什么
Panagiotis Moustafellos、George Skoumas、Alex Touloupis 等在 NOFire 工程博客《We deleted most of our agents. Our evals told us to.》（页内 Engineering 31 Oct 2026；JSON-LD datePublished 2026-10-31 → 2026-10-31）写明：约五个月前根因调查以多智能体跑——planner 读告警提假设 → 各 worker 分假设测工具 → evaluator 权衡 → writer 出报告；在基准上却最慢、最贵、最不准。团队改为「单 Agent + 同一上下文 + 证据账本（ledger of evidence）」，只在 Eval/基准允许处改架构。
度量：SREGym（UIUC 独立基准，真实 K8s 应用注入故障；其 LLM 裁判非被测模型，作者用 Claude Sonnet 5 作裁判且禁止与被测模型同型号启动）；自有 trace 可重放证据；另有 RCAEval 等。比较纪律：小集 21 题调参、终比 105 题（其中 84 从未用于调参）；每题 3 次全计分、无 best-of-N；按题配对；两侧同为 Claude Sonnet 4.6；两种姿态——生产姿态（指标/日志/链路/变更史，经 Production Context Graph，无直接 K8s API）与带只读 K8s 工具姿态。结果口径（作者团队窗口）：无 K8s 工具时单调查员诊断约 1.5× 故障、工具调用约 −49%、单次调查成本约 −60%、到诊断中位约 2.5× 更快；有 K8s 工具时约 1.3× / −63% / −70% / 约 3.6×。加裁判曾把账单抬约 93% 且不准度上升——成本来自提示里错位文本块而非「裁判角色」本身。多数「感觉对」的点子输掉（近 9/10 拒答的严检、双调查员等）。换更小 Haiku 相对 Sonnet 诊断率损失 <5 点，作者强调结果来自架构与上下文图而非模型 alone。本场景据此输出「Eval 删多智能体调查员」提纲。禁止把 1.5×/60% 写成对你告警 SLA 的保证。
02实际效果
- 源披露无 K8s 工具时诊断约 1.5×、工具调用约 −49%、成本约 −60%、到诊断约 2.5× 更快，以及加裁判约 +93% 账单未提准等团队窗口数字；属 NOFire RCA/Eval 叙事，不可外推为你的误诊率或 on-call 成本。
- 能把「再加多智能体席位」与「单环调查员 + 证据账本 + 配对 Eval」拆开。
- 为裁判空烧、过严拒答与调参集泄漏提供提问清单。
03值得知道
- 数字绑定 SREGym/作者 harness 与 Production Context Graph；换观测栈不可照搬倍数。
- 生产姿态故意不给直接 K8s API，工具面不同则结论可能翻转。
- 上面写的是可观测/AI SRE 产品团队工程博客，不是模型商官文简报。
04可复制提示词
裁判空烧账单复盘提纲
加了裁判后账单大涨但准确率未升，请写复盘提纲。
成本前后：{{cost_before_after}}
提示/编排摘录：{{prompt_excerpt}}
输出：
1. 是裁判本身、提示错位文本，还是重复工具环
2. 最小可 A/B 的删减实验
3. 成本列必看项
4. 人工确认清单
不要伪造「已自动省下 60%」。怎么做
- 粘贴现有调查角色拆分、可用观测工具面，以及是否允许直接 Kubernetes API
- Agent 按实践帖输出：单调查员环路与证据账本→配对 Eval 规则（同题同模型）→应删角色/裁判提问清单
- 人工保留发布与客户侧结论；Agent 不代你声称诊断率或成本已达标
实用提示
- 源帖：在小集调参、大集（约 5×，含从未用于调参的题）复测；两侧同模型；失败调查也计入成本与时延
- 与 openobserve-council-e2e-qa-agents / clickhouse-groeneai-autonomous-contributor 不同：本条是 Eval 驱动的删多智能体 RCA，不是加席 E2E Council 或仓库自治修 CI