https://www.douyin.com/video/7662718813724883306阅读路径:一个反常识现象:你一直在「完善」skill,效果却越来越差。第一组是反向进化的机制(10 轮 → 15 轮);第二组是版本管理与评估怎么做。这条对你维护 report_html.py 这类「一直在改」的东西最直接。一句话结论:skill 不会自己变好,没有评估与版本管理的「迭代」大概率是反向进化;每改一次都要能回答「好了还是坏了」,否则改动的净效果是变差。
他们团队每个 agent 大约 120 个 skill,常用的四五十个。
一开始给一个很好的端到端 skill,平均 10 轮对话能搞定任务;用着用着,轮次涨到 15 轮甚至更多——因为每次用不好就补一句规则,补到后面规则互相打架。
单个 skill 的修补是局部的,但规则之间会冲突;没有评估集,你只能感觉到「好像变差了」,说不清哪一次改动导致的。
这条否掉了「持续优化」这个直觉:优化的前提是可度量。没有度量的优化,本质是在用改动掩盖问题。
report_html.py 现在就是「持续优化」状态:加浮卡、加规则、加源链,但从没做过回归——改完只看当天一份报告。应该建 5 份固定样本(某天的行情/K 线/净值快照),每次改完跑一遍,看输出是否仍然正确。
每个 skill 有版本号与变更记录;改动用评估集跑一遍,通过才合入;不通过就回滚。
出问题时能定位到「哪一版、哪次改动」;也能看出哪类改动长期有效、哪类总是被回滚。
版本管理是 loop 的记账层:没有它,loop 迭代的是感觉,不是能力。
他把「skill 管理」当成软件工程做:版本、评估、回滚。这套东西在 prompt 时代被忽略了,因为 prompt 看起来不像代码。
你的知识库已经有 lint 和 stamps,但报告脚本没有版本概念。最小改动:给 report_html.py 加 --version,改动记录写进 CHANGELOG.md,配合 5 份样本回归。
| 这条里的什么 | 对应你手上的什么 | 具体怎么用 |
|---|---|---|
| 反向进化 | 报告规则越加越多 | 先建回归样本,再加规则 |
| 评估集 | 无 | 5 份历史快照做金标准 |
| 版本与回滚 | 脚本直接改 | CHANGELOG.md + 版本号 |
| 变更归因 | 出问题不知道哪次改的 | 每次改动记一句动机 |
原文:VA7《防止 skill 越做越差 · skill 版本管理》,2026-07-15,5.5 分钟。
本篇依据:全程转写约 2.1 千字。120 个 skill / 常用四五十个、10 轮变 15 轮、版本管理与变更追踪均为原文表述。
更正与边界:轮次数据来自他们对客户的跟踪,未给样本量与任务类型;「反向进化」是现象描述,不等于每次迭代都变差。
定位:中文深蒸馏,不是逐字摘要。标「对你的实际应用」的部分是我的分析。