深蒸馏 · 企业 AI 原生转型

防止 skill 越做越差 · skill 版本管理 · 深蒸馏(19)

抖音短视频 | 2026-07-15 | 5.5 分钟 | 已深蒸馏 19 / 30 | 2 组 · 2 表
来源:原视频 | VA7(抖音)| 2026-07-15 | 5.5 分钟 / 约 2.1 千字转写
直链(在飞书/企微预览里点击可能被拦截,复制到浏览器打开):https://www.douyin.com/video/7662718813724883306
阅读路径:一个反常识现象:你一直在「完善」skill,效果却越来越差。第一组是反向进化的机制(10 轮 → 15 轮);第二组是版本管理与评估怎么做。这条对你维护 report_html.py 这类「一直在改」的东西最直接。
一句话结论:skill 不会自己变好,没有评估与版本管理的「迭代」大概率是反向进化;每改一次都要能回答「好了还是坏了」,否则改动的净效果是变差。

第一组 · 为什么会反向进化

1.1 规模

他们团队每个 agent 大约 120 个 skill,常用的四五十个。

1.2 观察

一开始给一个很好的端到端 skill,平均 10 轮对话能搞定任务;用着用着,轮次涨到 15 轮甚至更多——因为每次用不好就补一句规则,补到后面规则互相打架。

1.3 机制

单个 skill 的修补是局部的,但规则之间会冲突;没有评估集,你只能感觉到「好像变差了」,说不清哪一次改动导致的。

原文在说什么

这条否掉了「持续优化」这个直觉:优化的前提是可度量。没有度量的优化,本质是在用改动掩盖问题。

关键概念
对你的实际应用

report_html.py 现在就是「持续优化」状态:加浮卡、加规则、加源链,但从没做过回归——改完只看当天一份报告。应该建 5 份固定样本(某天的行情/K 线/净值快照),每次改完跑一遍,看输出是否仍然正确。

第二组 · 版本管理与变更追踪

2.1 做法

每个 skill 有版本号与变更记录;改动用评估集跑一遍,通过才合入;不通过就回滚。

2.2 变更追踪的价值

出问题时能定位到「哪一版、哪次改动」;也能看出哪类改动长期有效、哪类总是被回滚。

2.3 与 loop 的关系

版本管理是 loop 的记账层:没有它,loop 迭代的是感觉,不是能力。

原文在说什么

他把「skill 管理」当成软件工程做:版本、评估、回滚。这套东西在 prompt 时代被忽略了,因为 prompt 看起来不像代码。

关键概念
对你的实际应用

你的知识库已经有 lint 和 stamps,但报告脚本没有版本概念。最小改动:给 report_html.py 加 --version,改动记录写进 CHANGELOG.md,配合 5 份样本回归。


与在用工作的关联

这条里的什么对应你手上的什么具体怎么用
反向进化报告规则越加越多先建回归样本,再加规则
评估集无5 份历史快照做金标准
版本与回滚脚本直接改CHANGELOG.md + 版本号
变更归因出问题不知道哪次改的每次改动记一句动机

原文:VA7《防止 skill 越做越差 · skill 版本管理》,2026-07-15,5.5 分钟。

本篇依据:全程转写约 2.1 千字。120 个 skill / 常用四五十个、10 轮变 15 轮、版本管理与变更追踪均为原文表述。

更正与边界:轮次数据来自他们对客户的跟踪,未给样本量与任务类型;「反向进化」是现象描述,不等于每次迭代都变差。

定位:中文深蒸馏,不是逐字摘要。标「对你的实际应用」的部分是我的分析。