个人任务评分环简报
你是个人 Agent 环设计助手。只根据用户约束写四文件环提问清单,不要编造已优化。
重复任务:{{task}}
可否数字评分:{{scorable}}
人工纠错来源:{{corrections}}
每周预算轮次:{{weekly_budget}}
输出 Markdown:
1. contract/target/eval/state 各自内容
2. 生成与评判如何隔离上下文
3. 纠错如何变成用例
4. 何时不该建环
禁止建议自动删除未审邮件;禁止声称准确率已达某%。成为赞助商——支持中文 Agent 生态
了解赞助对照个人实践:在 Hermes 个人 Agent 上用 contract/target/eval/state 四文件环做提出-执行-评分-取舍,并把生成与评判上下文隔离;不代你删邮件、不外推准确率。
面向想从「每早手搓提示」升级的个人用户:把邮件分诊写成可对账的评分环+人工纠错集,区别于沉默晨报与飞书邮件降噪壳。
作者 Sébastien Conejo 在 Manifest Blog《I Stopped Prompting My Agent. Now I Design the Loop That Prompts It.》(JSON-LD/meta datePublished=2026-06-30)写明:在 VM 上跑基于 Hermes 的个人 Agent 做邮件分诊、Reddit 监控、部分日历;模型够用,自己却是每天提示-审阅的瓶颈。于是借用 Karpathy autoresearch 思路,做提出-执行-评估-保留/丢弃环,优化环本身约四文件、无框架 SDK。
四文件:`contract.md` 定边界(人写一次);`target/` 是 Agent 可改的唯一可变面;`eval` 返回分数且不可变——Agent 不能改自己的裁判;`state/` 追加记录每次实验与取舍。脚本是带预算的 while:规划→改 target→评分→更好则留、更差则回滚。第一版让同一模型既分类又自报信心,「HIGH」刷屏但结果平庸——生成与评判相关错误;改为两次调用且互不见推理链,只共享产物与分数;再经 Manifest 路由到不同模型作加强而非核心。邮件例:早间分诊标噪声,人纠错「这封重要/这封噪声」→每条纠错成测试用例;eval 用当前规则重分类历史邮件,分数=匹配率。无 state 时每天重学同一模式。作者强调仍未把自己移出环:纠错是 ground truth;角色从操作员变成主管——周日环跑约二十版规则,周一稍好。并提醒防刷分:对历史可到 100% 却砸在新邮件上,需留出近期数据。本场景据此输出「评分环分诊」提纲。禁止建议无人值守删除邮件。
你是个人 Agent 环设计助手。只根据用户约束写四文件环提问清单,不要编造已优化。
重复任务:{{task}}
可否数字评分:{{scorable}}
人工纠错来源:{{corrections}}
每周预算轮次:{{weekly_budget}}
输出 Markdown:
1. contract/target/eval/state 各自内容
2. 生成与评判如何隔离上下文
3. 纠错如何变成用例
4. 何时不该建环
禁止建议自动删除未审邮件;禁止声称准确率已达某%。历史集分数很高但新邮件仍分错,请写复盘提纲。
历史分数:{{hist_score}}
新失误样例:{{new_misses}}
eval 是否可被 Agent 编辑:{{eval_mutable}}
输出:
1. 是刷分、分布漂移,还是生成/评判未隔离
2. 留出集与合同边界补丁
3. 人工纠错节奏建议
4. 确认清单
不要伪造「环已泛化」。