成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

生产 Agent Trace 抽检与错误归类

从 LangSmith 等 trace 里抽失败 run,按工具超时、模型拒绝、解析失败归类,输出可回放的抽检报告。

场景说明

面向已上线的工具调用型 Agent:按 Tracing 接入后的 run/trace 做定期抽检,找出重复错误模式与高成本路径;只生成报告与待修清单,不自动改线上提示词。

案例叙事

01他们做了什么

Agent 上线后最难的不是「能不能跑」,而是工具超时、JSON 解析失败、模型拒答在生产里零散出现。做法是先按 LangSmith《Tracing quickstart》把助手请求打成可回放的 trace(输入、模型步、工具调用、最终输出落在同一条链路里),再在固定窗口抽失败或高耗时 run。

分诊 Agent 只读这些 trace 摘要(可脱敏),输出:错误类型直方图、重复工具名、典型失败输入特征、以及「先修工具 schema / 先降超时 / 先改提示词」的优先级。它不直接改线上配置;修复通过仓库 PR 或配置回滚完成。这与笼统的「日志事故摘要」不同,对象是 Agent/工具调用级 trace,而不是普通 HTTP access log。

02实际效果

  • 源未披露量化「抽检后故障率下降」;公开文只描述如何为 Agent 接入 tracing 并在 LangSmith 查看结果。
  • 失败从「用户口头反馈」变成「带 run/trace 引用的错误归类表」。
  • 高成本或重复失败的工具调用能被优先点名,便于排期。

03值得知道

  • trace 可能含用户输入与工具参数,抽检前要脱敏并限制访问范围。
  • 未接入 tracing 的旧路径看不到;先补齐埋点再谈抽检覆盖率。
  • 上面写的是 LangSmith 公开的 Tracing 快速上手,不是厂商公布的 SLA 或自动修复能力。

04可复制提示词

Trace 失败归类

你是 Agent 可观测抽检助手。只根据给定 trace/run 摘要归类,不要编造未提供的 span。

时间窗:{{window}}
失败 run 摘要列表(含 id、错误信息、工具名、耗时):
{{failed_runs}}

输出:
1. 错误类型表:工具超时 / 模型拒绝 / 输出解析失败 / 上游 4xx/5xx / 其他;每类计数。
2. Top 重复工具或节点(名称|次数|代表 run id)。
3. 每类给 1 条代表性原错误文案(引用输入)。
4. 建议排查顺序(最多 5 步),标注「待人确认」。
禁止声称已热更新提示词或已重启服务。

抽检周报草稿

把归类结果写成一页周报,给值班开发看。

归类结果:{{triage_result}}
采样说明:{{sampling_notes}}

结构:
- 本周抽检范围与样本量
- 关键发现(≤5 条,附 run id)
- 建议修的 PR 标题草稿(≤3)
- 仍未知、需补埋点的路径
文末写「未改生产配置」。

05一手来源

LangSmith Docs · Tracing quickstart ↗

文档更新

怎么做

  1. 按 Tracing quickstart 为 Agent 接入 trace,确保工具调用与模型步都落入同一条 trace
  2. 定期导出或筛选失败/高延迟 run,交给 Agent 做错误归类与样例引用
  3. 输出抽检报告与「待改工具/提示词/超时」清单,变更走 PR,不直改生产

实用提示

  • 抽检先定时间窗与采样率,避免只看最新 3 条造成偏差
  • 报告里必须带 trace/run 链接或 ID,方便人点开回放
#LangSmith#trace#抽检#Agent#可观测