成为赞助商——支持中文 Agent 生态

了解赞助
库Agent场景库
← 返回用例列表

Manifest:用不可篡改 eval 环优化邮件分诊

对照个人实践:在 Hermes 个人 Agent 上用 contract/target/eval/state 四文件环做提出-执行-评分-取舍,并把生成与评判上下文隔离;不代你删邮件、不外推准确率。

飞书DeepSeekClaudeChatGPT⚡ 效率办公🏠 生活办事

场景说明

面向想从「每早手搓提示」升级的个人用户:把邮件分诊写成可对账的评分环+人工纠错集,区别于沉默晨报与飞书邮件降噪壳。

案例叙事

01他们做了什么

作者 Sébastien Conejo 在 Manifest Blog《I Stopped Prompting My Agent. Now I Design the Loop That Prompts It.》(JSON-LD/meta datePublished=2026-06-30)写明:在 VM 上跑基于 Hermes 的个人 Agent 做邮件分诊、Reddit 监控、部分日历;模型够用,自己却是每天提示-审阅的瓶颈。于是借用 Karpathy autoresearch 思路,做提出-执行-评估-保留/丢弃环,优化环本身约四文件、无框架 SDK。

四文件:`contract.md` 定边界(人写一次);`target/` 是 Agent 可改的唯一可变面;`eval` 返回分数且不可变——Agent 不能改自己的裁判;`state/` 追加记录每次实验与取舍。脚本是带预算的 while:规划→改 target→评分→更好则留、更差则回滚。第一版让同一模型既分类又自报信心,「HIGH」刷屏但结果平庸——生成与评判相关错误;改为两次调用且互不见推理链,只共享产物与分数;再经 Manifest 路由到不同模型作加强而非核心。邮件例:早间分诊标噪声,人纠错「这封重要/这封噪声」→每条纠错成测试用例;eval 用当前规则重分类历史邮件,分数=匹配率。无 state 时每天重学同一模式。作者强调仍未把自己移出环:纠错是 ground truth;角色从操作员变成主管——周日环跑约二十版规则,周一稍好。并提醒防刷分:对历史可到 100% 却砸在新邮件上,需留出近期数据。本场景据此输出「评分环分诊」提纲。禁止建议无人值守删除邮件。

02实际效果

  • 源以机制与角色转变叙事为主(四文件、周日约二十版尝试等),未披露可外推的准确率曲线;源未披露量化基准。
  • 能把「每天再写一条更好的提示」与「不可变 eval+纠错集驱动的优化环」拆开。
  • 为任务是否适合建环的五问清单与留出集防刷分提供提问提纲。

03值得知道

  • 贪心爬山可能停在局部最优;作者承认适用其用例未必适用你的。
  • 环每轮烧 token;不重复的任务用好提示更便宜。
  • 上面写的是个人实践+自家路由产品旁注,不是 Hermes 官方教程。

04可复制提示词

个人任务评分环简报

你是个人 Agent 环设计助手。只根据用户约束写四文件环提问清单,不要编造已优化。

重复任务:{{task}}
可否数字评分:{{scorable}}
人工纠错来源:{{corrections}}
每周预算轮次:{{weekly_budget}}

输出 Markdown:
1. contract/target/eval/state 各自内容
2. 生成与评判如何隔离上下文
3. 纠错如何变成用例
4. 何时不该建环
禁止建议自动删除未审邮件;禁止声称准确率已达某%。

eval 被刷分的复盘提纲

历史集分数很高但新邮件仍分错,请写复盘提纲。

历史分数:{{hist_score}}
新失误样例:{{new_misses}}
eval 是否可被 Agent 编辑:{{eval_mutable}}

输出:
1. 是刷分、分布漂移,还是生成/评判未隔离
2. 留出集与合同边界补丁
3. 人工纠错节奏建议
4. 确认清单
不要伪造「环已泛化」。

怎么做

  1. 粘贴重复任务类型、能否用数字评分、以及人工纠错是否可持续积累成测试集
  2. Agent 按实践帖输出:四文件职责→生成/评判隔离→纠错变用例→防刷分留出集提问清单
  3. 人工保留纠错与合同边界;Agent 不代你自动回复/删除重要邮件

实用提示

  • 源帖关键句:写 eval 才是真技能——环只是 while+if/else;eval 迫使你用脚本可检查的方式定义「好」
  • 与 claus-silence-morning-brief / feishu-mail-noise-filter-morning-brief / gtd-bujo-claude-md-daily-plan 不同:本条是不可变评分器驱动的提出-取舍优化环(邮件分诊为例),不是沉默晨报、飞书降噪壳或 GTD/MD 日计划
#eval 环#邮件分诊#上下文隔离#个人 Agent#评分