计划外置生产助手简报
你是生产 Agent 架构顾问。只根据用户约束写提问清单，不要编造已上线。
助手任务类型：{{tasks}}
工具列表：{{tools}}
大数据是否回灌全文：{{dump_full}}
输出 Markdown：
1. todo 四态与盘外 PlanMessage 注入点
2. LargeJson/句柄/查询工具约定
3. finish/blocked 规则
4. 发布前评测代替 vibe-check 的清单
禁止声称完成率已达标；禁止建议取消人审高危工具。← 返回用例列表
Arize Alyx：计划工具落盘 + LargeJson/jq，生产 Agent 调试四课
对照团队工程案例：todo 四态计划外置；披露单次约 27 次 LLM 空转待办，及 LargeJson 后约 10 次定向工具调用可比十实验；不代你零幻觉、不外推。
场景说明
面向要把产品内助手送到生产的团队：把「再写长系统提示」写成可对账的计划工具+出带句柄的大数据工具面，区别于 Eval 删多智能体与 E2E Council。
案例叙事
01他们做了什么
Laurie Voss 在 Arize 博客《AI Agent Debugging: Four Lessons from Shipping Alyx to Production》（页内 February 2026；JSON-LD datePublished 2026-02-25 → 2026-02-25）写明：Alyx 是面向 Arize AX 的自然语言助手（查 trace 瓶颈、比实验、看 eval 跌点等），编排环调用产品工具。早期问题不是经典幻觉，而是注意力：多任务只做第一件就 spiral；finish 工具常过早调用；一次「总结多条 trace」会话里约 27 次 LLM 调用几乎都在重排自己的待办、原地打转。
课 1：规则进代码——规划升格为可检查工具 `todo_write` / `todo_update` / `todo_read`，任务四态 pending/in_progress/completed/blocked；仅有 pending/completed 时缺「当前指针」，加 in_progress 后完成率立刻改善；blocked 允许等人输入。计划存在盘上而非会话史，每次调用在系统提示后注入当前 PlanMessage。课 2：上下文工程——大数据用 LargeJson：服务端存全量，上下文只给句柄与 `jq()` 提示；作者称可约 10 次定向工具调用替代一次撑爆上下文的倾倒，并取消「一次只比两实验」上限至可比十个。另强调小而可组合的工具面（Unix 风格）。课 3/4：生产不能靠 vibe-check；调试 Agent 本身也是 Agent 形问题（文内继续展开评测与工具设计）。本场景据此输出「计划外置 + 句柄化大数据」提纲。禁止把 27 或 10 写成对你产品的 SLA。
02实际效果
- 源披露约 27 次 LLM 空转重排待办、LargeJson/jq 后约 10 次定向调用可支持多实验比较，以及四态计划外置等团队窗口口径；属 Arize Alyx 叙事，不可外推为你的助手完成率或 token 账单。
- 能把「再加长系统提示」与「计划工具落盘 + 出带句柄工具」拆开。
- 为过早 finish、上下文被 JSON 淹没与 vibe-check 漏测提供提问清单。
03值得知道
- 强依赖可观测平台工具语义；换产品面需重做句柄协议。
- blocked/人在环设计不当会变成永久卡住。
- 上面写的是 Arize 工程博客一手案例，不是通用 Agent 框架官文。
04可复制提示词
待办空转复盘提纲
助手反复改写待办却不调用业务工具，请写复盘提纲。
轨迹摘要：{{trace}}
调用次数：{{n_calls}}
输出：
1. 是缺 in_progress、计划埋在会话史，还是 finish 可过早触发
2. 工具/注入最小补丁
3. 回归评测用例
4. 人工确认清单
不要伪造「空转已自动消失」。怎么做
- 粘贴现有工具列表、是否已有待办/计划持久化，以及大数据结果如何回灌上下文
- Agent 按实践帖输出：todo 四态与盘外计划注入→LargeJson/jq 句柄约定→评测代替 vibe-check 提问清单
- 人工保留发布与高危工具；Agent 不代你声称生产助手已稳定
实用提示
- 源帖：计划不存在会话史里，而在盘上；每次 LLM 调用在系统提示后动态注入当前 PlanMessage
- 与 nofire-single-investigator-eval-cut / openobserve-council-e2e-qa-agents 不同：本条是产品内助手的计划外置+工具面减负，不是 RCA 删多智能体或 E2E 测 Council