https://www.woyaofei.cn/322.html阅读路径:这是整站方法论最完整的一篇——前面 257 讲「怎么把流程跑稳」,这篇讲「怎么让结论可统计」。第一组把三种流行做法逐条否掉(含飞书多维表格 AI 字段为什么只能算玩具);第二组是全篇核心:taxonomy 当资产;第三组是打标契约,严格 JSON 加两张表;第四组是质量校验与残差闭环,也是「AI 打标可不可信」的答案;第五组才落到工程与成本。只读两组的话:第二组 + 第四组。
一句话结论:VOC 的难点不是让模型读懂一条评论,是让一万条评论在同一套口径下被理解、统计、追踪;所以最核心的资产不是 prompt 也不是模型,是那份可以版本化、可以被人审核、可以持续补边的产品级 taxonomy。
| 做法 | 优点 | 主要弊端 | 只适合 |
|---|---|---|---|
| 人工翻评论打标 | 能看原文细节 | 前台限制多、拿不全、耗时长、标准漂移 | 小样本、重点差评复盘 |
| 飞书多维表格 AI 字段 | 协作方便、dashboard 好看 | 提示词散在每一列、新增维度就新增调用、标签要二次清洗、成本速度失控 | 轻量分析、临时展示 |
| 商业 VOC 软件 | 出报告快 | 标签黑盒、边界不可控、明细不开放、难二次分析 | 快速看 ASIN 盘面 |
他承认多维表格的 AI 字段当年确实改变了做表格的方式,自己第一时间就拿它做 VOC。但那套玩法(导入评论 → 新增 AI 字段列 → 写标签提示词 → N 个字段 → 全局执行 → 出 dashboard)有三个致命处:
| 问题 | 具体表现 |
|---|---|
| 容量 | 免费版 2000 行 |
| 一致性 | 每列一个提示词、彼此无上下文,同一问题被打成三个标签 |
| 成本与速度 | 全局跑一次,慢且贵 |
他的结论很重:这套东西「只能算玩具,无法胜任生产环境」。
| 维度 | 需要什么 | 常规做法的短板 |
|---|---|---|
| 获取与留存 | 原始评论、清洗后评论、证据片段都留 | 人工拿不全,软件不给明细 |
| 标签一致性 | 同一类问题每次进同一个标签 | 人工标准漂移,表格标签要二次清洗 |
| 标签可控性 | 标签体系按产品维护、可版本化 | 软件黑盒,表格列容易失控 |
| 成本与速度 | 批量、并发、重试、调用次数可控 | 按列调用放大成本 |
| 二次分析 | 能按变体、时间、星级、场景下钻 | 没有底层表结构与原始证据 |
他否定的不是工具,是工具的位置:采集工具负责拿数据,表格适合协作展示,商业软件适合快速看大盘;而「口径、校验、复跑」这三件事只能自己掌握。这句话是整篇的立场——不争论谁更强,只划清谁该干什么。
你现在的报告规则就处在「飞书 AI 字段」那个阶段:每条规则一个 if,彼此不知道对方存在,加上一条新规则时旧条目会被重新归类,历史报告不可比。差别只是你用 Python 写,他用表格配——问题同构:口径没有版本。这条后面 2.2 会给出改法。
taxonomy 不是行业标签大全,是产品级标签合同:这个 ASIN 当前允许使用哪些标签、每个标签什么意思、哪些表达该命中、哪些不能混进来。
| 层 | 字段 | 定义 | 下游用途 |
|---|---|---|---|
| L1 | value_dimension | 业务价值层:这条反馈影响哪类价值(功能、体验、保障、履约) | 跨产品看大方向 |
| L2 | parent_category | 问题域:电池充电、尺寸结构、包装物流…… | 组织标签、辅助打标、报表中间层 |
| L3 | label_code | 具体问题标签 | 主统计口径只认 L3 |
他强调三个容易错的地方:
不可能一开始就手写完整 taxonomy——慢,而且靠经验拍脑袋。所以第一步是 bootstrap-taxonomy:抽样出候选标签,再用 holdout 验证,通过了才进全量。
这一组把「分类」从描述性工作变成了契约性工作。合同的特征是:有边界(闭集)、有解释(definition + include/exclude)、有版本(升级要重跑)、有审批人(人工审核才合入)。少了任何一条,标签就会退化成「模型今天觉得像什么」。
把这条搬到你的报告上,等价物是「指标口径表」:现在 report_html.py 里 MA5/MA20、分位、量能倍数各算各的,没有一份文件说明「跌破 MA20」到底用收盘价还是盘中价、复权不复权。先写 kb/口径.yaml:每个指标一条,含定义、算法、数据源、边界情况(停牌、除权、缺数据)。这一步不写代码,但只要它存在,两个 agent 跑出来的数字就不会对不上。
LLM 必须返回严格 JSON。批量模式额外加几条硬规则:
| 规则 | 内容 |
|---|---|
| 顶层 key | 必须是 review_results |
| 数量一致 | 与输入 reviews 数量相同 |
| 顺序一致 | 返回顺序与输入顺序相同 |
| 元素结构 | 每个元素都用单条评论的 JSON 结构 |
| 非空约束 | primary_label 不是 insufficient_content 时,aspects 不许为空 |
| 字段 | 作用 | 约束 |
|---|---|---|
primary_label | 最主要的问题或卖点 | 必须是 taxonomy 里的 L3 |
secondary_labels | 次要问题 | 也来自 L3 闭集 |
aspects | 一条评论里的多观点拆解 | 混合评价必须拆开 |
aspect_display_cn | 报告里展示的中文短语 | 必须有方向,不许写「电池」「好用」这种泛词 |
evidence | 支撑标签的原文 | 必须能在原评论中逐字匹配到,不许翻译改写拼接 |
confidence | 置信度 | 低置信进质量关注 |
severity | 严重度 | 安全风险 / 核心功能不可用 / 轻微不便要分开 |
证据不足时不许硬猜,必须输出 primary_label: "insufficient_content"、aspects: []。
| 表 | 粒度 | 存什么 | 解决什么 |
|---|---|---|---|
review_labels | 一条评论一行 | 主标签、次标签、价值维度、问题域、严重度、可行动性、证据、置信度、needs_review、模型版本 | 主问题排行、差评聚合、变体对比、趋势 |
review_aspects | 一条评论可多行 | 观点名、中文展示名、标签、情感、情感分、影响部件、证据、严重度、置信度 | 「一条评论不止一个观点」 |
他给了一个例子:一条评论同时说「安装很简单,但尺寸比想象中小,包装到货时已经破了」。主标签只会选 size_too_small_negative(对购买决策影响最大),但 aspects 保留三条:安装简单(正)、尺寸偏小(负)、包装破损(负)。
一句话总结分工:review_labels 保证主统计口径稳定,review_aspects 保证一条评论里的多个业务信号不被压扁。
这一组是「可统计」的技术前提。多数人做 AI 打标失败,不是模型判错,而是输出是自由文本:没法入库、没法校验、没法聚合。他把输出压成 schema,等于把「模型的观点」变成了「系统的字段」——这是后面所有校验与闭环的基础。
你的浮卡「推断」那一栏现在是自由文本(「空头一句,规则生成」),既不能聚合也无法验证。照这个思路改:每条推断落成结构化字段——rule_id、severity、evidence(哪根 K 线、哪天的公告)、confidence。这样一周后你可以统计「哪条规则最常触发、命中后三天涨跌如何」,这就从「写给人看的一句话」变成「可回测的信号」。
| 校验 | 处理 |
|---|---|
| label_code 不在闭集内 | 归入兜底标签,压低置信度 |
| evidence 在原文里找不到 | 判为不可信 |
| review_id 与输入不一致 | 判为不可信 |
| 星级情绪与模型情绪强冲突 | 进复核 |
| 长文本只打到 insufficient_content | 进复核 |
他特别说明:needs_review = true 不是失败标记,更像一个信号——这条评论可能暴露了 taxonomy 的边界问题,或者模型判断不够稳。
全量打标后,把 needs_review = true 与 insufficient_content 的评论抽出来做主题聚类,生成 taxonomy_candidates。举的例子很具体:bootstrap 样本里没出现「自带线发热」,正式打标时一堆评论在说 cable gets hot / overheated / cord melted,这些会被打成 insufficient 或 needs_review,聚类后就可能冒出候选标签 built_in_cable_overheating_negative。
但候选只是候选,不会自动写回。人工审核确认有业务意义,补齐 definition、include/exclude、severity、actionability,才合入 taxonomy.yaml。
完整闭环:
抽样生成 taxonomy → holdout 验证 → 全量闭集打标 → needs_review / insufficient_content 暴露盲区 → residual 聚类生成候选 → 人工审核合入 → 升 taxonomy_version → 重跑
VOC 标签回答「在抱怨什么」,业务还要问「谁在什么场景下用」。这类信息属于 context,不适合和标签混在一起。所以另走 review_context_inference → context_value_taxonomy → context_value_mapping:先开放抽取,再归一化成稳定展示值。
一句话:VOC 标签是闭集,保证统计口径稳定;场景画像是开放抽取,再合并成稳定值。
这一组的价值在于承认「模型一定会漏」。他没有靠更强的模型解决遗漏,而是设计了一个能自动发现遗漏的机制:凡是打不进去的,都不许硬塞,要聚出来给人看。这也是这套方法能长期跑的原因——它把「未知」变成了输入,而不是噪音。
你的 K 线源链失败时,现在是「跳过这只」或「写无数据」,等于把未知塞进了正常路径。照这套改成三段:ok / degraded(部分源失败,结果可用但标黄)/ unknown(关键源全挂)。然后把每天的 unknown 与 degraded 攒起来,每周看一次——如果某个源每周都挂,那不是运气问题,是该换源或该加缓存。这一步本质就是你的 residual 闭环。
| 层 | 负责什么 | 典型产物 |
|---|---|---|
| Skill 入口层 | 约束执行方式、运行目录、人工审核边界 | CLI 说明、执行脚本、报告入口 |
| Pipeline 处理层 | 清洗、bootstrap、打标、校验、聚合、渲染 | DuckDB、taxonomy.yaml、事实包、HTML |
| Prompt 与 Schema 层 | 固定 LLM 任务、JSON 格式、质量规则 | taxonomy prompt、label prompt、context prompt、schema |
运行时数据不写在 Skill 目录,而写用户目录:~/Documents/AI-Ecommerce-Runs/amazon-voc/runs/<run_slug>/。
| 产物 | 用途 |
|---|---|
| 原始评论 + 清洗后评论表 | 证据与复跑 |
| DuckDB(taxonomy_labels / review_labels / review_aspects / review_context_inference) | 二次分析 |
taxonomy.yaml | 当前标签合同 |
| LLM 调用审计(provider、model、stage、status、latency、token) | 成本与稳定性 |
insight_facts.json / report_data.json | 报告的数据包 |
| 单文件 HTML | 交付 |
| 事项 | 具体要求 |
|---|---|
| Provider 抽象 | base URL、模型名、超时、并发、返回结构隔离在配置 |
| 结构化输出 | taxonomy、标签、context、候选全用 JSON |
| 失败兜底 | 数量不一致、解析失败、id 对不上、证据找不到都要能识别;可降级重试,必要时回退规则打标 |
| 成本控制 | batch size、并发、重试、抽样策略、上下文长度都会影响成本 |
| 审计可追溯 | 结论要能追到原文、label_code、证据、置信度、模型版本、taxonomy 版本 |
成本他给了个乘法:5000 条评论按每批 5 条约 1000 次请求。他还提了一个实际教训——评论量超过 500 条就不要拿通用 API 全量打标,他自己的 DeepSeek 账单跑欠费过。
技术栈:Codex 做编排、Python 3.10+、DuckDB、pandas/pyarrow/orjson、PyYAML、OpenAI-compatible SDK、Pydantic、scikit-learn + BERTopic + sentence-transformers、ECharts 离线、Sorftime CLI 取数。
这一组把「AI 项目」变成「数据工程」:运行的产物可枚举、每次调用可审计、失败可回退。他最有价值的一句是「报告里的结论不能只写模型认为」——这句话把可解释性从口号变成了字段要求。
你的 .agent-autoloop 缺的正是「run 目录」这个概念:现在脚本直接覆盖 reports/html/ 下的产物,昨天那份就没了。改成 runs/<日期>/(raw、facts、report_data.json、html、manifest),成本几乎为零,收益是任何一次结论都能回到当时的原始数据。另外他那个成本乘法可以直接借:一次晨报大概是 N 次行情请求 + M 次 K 线 + 若干 token,把这三个数写进 manifest,一个月后你就知道「每天这份报告值多少钱」。
| 这篇里的什么 | 对应你手上的什么 | 具体怎么用 |
|---|---|---|
| taxonomy 闭集 + 版本 | 规则硬编码、无版本 | rules.yaml + version,改规则等于升版,报告记版本号 |
| needs_review 出口 | 判不了就硬塞进某条规则 | 加 needs_review 列表,单列不归类 |
| residual 闭环 | 源失败就跳过,不做统计 | 每周统计 unknown/degraded,反复失败的源换掉 |
| evidence 逐字可查 | 推断是自由文本 | 每条推断带 rule_id + 证据(哪天哪根 K 线)+ 置信度 |
| 两张表分工 | 只有一份报告文本 | 主结论表 + 明细表(一条标的可多条理由) |
| run 目录 | 产物直接覆盖 | runs/<日期>/ 存 raw / facts / json / html / manifest |
| LLM 五件事 | 只填了 key | 先做 Provider 抽象与结构化输出,再谈批量 |
| 成本乘法 | 从未算过单份报告成本 | manifest 里记请求数 + token,月度汇总 |
原文:Jax丰哥《如何用 Codex 构建一个 Amazon VOC 打标签系统》,2026-06-20,约 1.23 万字。
本篇依据:原文全文逐段核对。L1/L2/L3 定义、五类校验、residual 闭环链路、三层结构、五件事、5000 条 ≈ 1000 次请求、DeepSeek 欠费均为原文表述;JSON 示意结构照原文摘录字段名。
更正与边界:文中的用户旅程地图方法论他注明来自另一位作者的文章,不是原创;「飞书只能算玩具」是他在 2026-06 的判断,容量与成本此后可能有变化,读的时候按「当时的约束」理解。另外他提到接入 Codex 的「黑科技」本篇没有展开,说会另写一篇——所以工程细节只有骨架,没有完整代码。
定位:中文深蒸馏,不是译稿也不是逐字摘要。标「对你的实际应用」的部分是我的分析,与原文分开;引用原文处标「原文在说什么」。