成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

Flux:按 Agent run 共享预算的自托管 LLM 路由

对照个人实践:把计费单位从单请求改成 run ID;70/90/100 降级启发式与断路器;披露 n=7 粗测与路由表错排;不代你保证省 80%、不外推生产账单。

场景说明

面向 Agent 账单失控的独立开发者:把「再换一个按请求路由」写成可对账的 run 级预算+降级策略,区别于最便宜模型 CRM 路由器与平台账单仪表盘。

案例叙事

01他们做了什么

Vandith BC 在《Show HN: Flux, a self-hosted LLM router with per-agent-run budgets》(页内 Published Sep 1, 2026;JSON-LD datePublished 2026-09-01 → 2026-09-01)写明:常见路由与成本控制按「单次请求」切;仪表盘只有可见性,硬表一到额度就掐。包装型调用难预判难度;Agent 会重试、生子 Agent,单请求看不到整段花费。Flux 把控制单位改成 run:同 run ID 的调用与子 Agent 共享预算,下一跳能花多少取决于本 run 已花多少。

自托管、OpenAI 兼容代理。包装调用选「够用且更便宜」的模型;Agent run 则按剩余预算收紧。启发式:0–70% 常规路由,70% 起偏便宜,90% 激进省,100% 硬停——作者自认非最优,求反馈。路由表来自公开基准:先过任务质量地板,再按成本排序,预算越紧越成本敏感。作者披露:7 条 live agentic-eval 相对纯 Sonnet 4.6 基线成本约降 80–90% 且评估分接近,但明确 n=7 不配小数精度、不是统计显著基准;更大 fixture 结果因与路由表同源视为循环不作证据。更有用的实测:父 Agent+两子 Agent 天气/空气质量任务,21 步真实 HTTP/Mistral,run ID 贯穿,总花费 $0.04416;过程中修过 tool-message 与跨厂商 tool-call 格式;强制 OpenAI 失败时一跳切 Claude,连续五次失败后断路器绕开。独立审计指出两处错排(如推理与代码评审排序与公开分不符)。开源 tryflux 可试路由侧。本场景据此输出「run 级预算路由」提纲。禁止把 80–90% 写成对你账单的承诺。

02实际效果

  • 源披露 n=7 约 80–90% 成本区间、$0.04416/21 步多 Agent 实测,以及路由表两处已知错排;属作者小样本窗口,不可外推为你的生产账单或质量 SLA。
  • 能把「按请求选最便宜模型」与「run ID 共享预算 + 随已花费收紧 + 断路器」拆开。
  • 为触顶策略(降级/硬停/人审)与跨厂商 tool-call 翻译故障提供提问清单。

03值得知道

  • 完整 Flux 付费未公开;tryflux 只覆盖路由演示侧。
  • 路由表会错排;基准分不等于你的任务质量。
  • 上面写的是作者 Show HN/工程博客,不是某云厂商官方计费文档。

04可复制提示词

run 级预算路由简报

你是 Agent 成本治理助手。只根据用户约束写提问清单,不要编造已上线。

现有网关:{{gateway}}
单 run 预算:{{budget_usd}}
触顶策略偏好:{{on_budget_exhaust}}
质量地板:{{quality_floor}}

输出 Markdown:
1. run ID 如何传入父/子 Agent
2. 降级档位表(可改启发式)
3. 断路器与人工审批点
4. 人工对账清单(路由表 vs 公开基准)
禁止声称已为用户省下固定百分比;禁止建议把生产金钥绑到未审计代理。

子 Agent 未继承预算复盘提纲

父任务预算未超,子 Agent 却打满高价模型,请写复盘提纲。

调用日志摘录:{{logs}}
期望 run ID:{{run_id}}

输出:
1. 是未传 run ID、子进程另开账户,还是路由忽略预算状态
2. 最小修复
3. 回归检查项
4. 人工确认清单
不要伪造「账单已自动冲正」。

怎么做

  1. 粘贴现有代理/网关、单次任务预算上限,以及触顶后要降级、硬停还是人审
  2. Agent 按实践帖输出:run ID 传播点→质量地板→70/90/100 启发式→断路器提问清单
  3. 人工保留路由表对账与生产金钥边界;Agent 不代你声称已省下固定百分比账单

实用提示

  • 源帖诚实:n=7 只是健全性检查;独立审计已发现路由表两处错排
  • 与 cheapest-model-router-crm-email / 纯 OpenRouter 账单盘不同:本条是 run 共享预算+随已花费变严的选模,不是单请求最便宜路由
#LLM 路由#run 预算#Agent 成本#自托管代理#独立开发