# 蒸馏风暴：一场无人公开谈论的技术竞赛 > 晚点聊 LateTalk No. 179 精读 - 发布日期：2026-08-16 - 主持：程曼祺 等 - 原节目：https://www.xiaoyuzhoufm.com/episode/6a8239f72e27ea5b21e918a4 - 网页版：https://latetalk.qiaomu.ai/ep/6a8239f72e27ea5b21e918a4.html - 精读字数：约 7833 字（阅读约 17 分钟） > 本文为 latetalk.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。 2026年8月16日，《晚点聊》第179期上线。高洪浩代班主持，程曼祺坐在对面。两人聊的是《晚点》上周发布的报道《蒸馏风暴：AI 公司不愿公开谈论的技术竞赛》。更早几天，高洪浩编辑的独家报道里，张一鸣在字节 Seed 的一场内部会上表态：不蒸馏，别被 Coding 这种短期热点影响。 同一段时间，Anthropic 给美国国会的一封信被反复引用。信里说，阿里千问与 Anthropic 模型的交互达到 2880 万次，是它发现的规模最大的蒸馏攻击。一边是“不蒸馏”的内部讲话，一边是“最大规模蒸馏攻击”的公开指控，蒸馏这个诞生多年的技术，在 2026 年被推到台前。 这期节目没有外部嘉宾。程曼祺开头先说明，话题敏感，很难请到一线从业者公开聊，信息来自近期与多家中国 AI lab 从业者的交流，以及公开资料。高洪浩和她把蒸馏拆成几个问题：它到底在蒸什么，为什么今年出圈，字节为什么不做，大规模做难在哪，学生能不能超过老师，代价又是什么。 ## 蒸馏在蒸什么：从答案到推理过程，再到智能体轨迹 2:04 程曼祺先给了一个简化描述。准备一堆问题，去问一个很强的教师模型，拿到很多回答。问题和回答构成数据。再用这些数据训练自己的学生模型，让学生模型的输出行为接近教师模型，让两者的差异越来越小。 高洪浩用“抄答案”来理解。程曼祺没有接受这个说法。**典型蒸馏的目标，是让学生模型的输出行为逼近教师模型。**它仍然是一个训练过程，主要用在后训练和中训练，要消耗算力，要有数据，要放进模型里训练。它不能理解成直接抄答案。 o1 这类推理模型出现后，可蒸的原料变丰富了。教师模型给出的不再只是题目和最终答案，中间还有推理过程。智能体发展起来后，原料又扩展成一条完整轨迹：一个智能体在环境里做完一个任务的整个过程。 高洪浩追问“环境”是什么。程曼祺解释，环境是让 agent 把任务跑起来的一整套条件和系统。做一个编程任务，要给代码库、终端、代码编辑器、编译器、测试工具，还要设置任务和单元测试。强模型可以造题、造环境、造轨迹。也可以不造轨迹，只让强模型来评估学生模型在环境里做得怎么样。 这里有一个容易混淆的地方。**并不是所有使用强模型输出的训练都算典型蒸馏，但都可能踩到闭源公司的用户协议。**Anthropic、OpenAI、Google DeepMind 的用户协议写得很宽：不能利用我的服务去提升和优化你自己和我竞争的模型。哪怕有些行为在技术上不算蒸馏，在领先的闭源方看来，也可能违反协议。 高洪浩问，用户协议有法律效应吗。程曼祺没有给确定答案。她说这要咨询专业律师，从朴素理解看，目前是灰色地带，因为协议范围很宽。 ## 两个关键节点：o1 与 R1，把蒸馏从压缩推向变强 8:05 蒸馏不是新方法。程曼祺认为规模变大发生在 2025 年之后。Google 在 2 月的一份报告里提到，从去年开始，蒸馏这类行为越来越多。她补充了两个更具体的技术节点。 第一个节点是 2024 年 9 月 OpenAI 发布 o1。o1 带来两个变化。**o1 让后训练中的大规模强化学习可以学到推理策略，蒸馏主要用在后训练，投入回报因此上升。**另一个变化在测试时计算：模型使用阶段给更多算力，围绕一个问题生成更长的思维链，性能还能继续提升。思维链是模型使用阶段的产出，用户理论上能看见，也可以被隐藏，但能通过一些手段还原。这部分内容成了更好的蒸馏原料。 第二个节点是 2025 年 1 月 DeepSeek R1 发布。R1 的技术报告同时放出 6 个蒸馏小模型，4 个用 Qwen2.5 做底座，2 个用 Llama 3 做底座，都把 R1 当教师来学。程曼祺说，这演示了一件事：能不能用这种方式让小模型变强。 这其实是蒸馏更早的主流目的：压缩。把大模型的能力压进更小的模型，降低成本，提高速度。手机、汽车、机器人这些端侧场景算力更小，对延时更敏感，需要相对小的模型。 程曼祺提到一次线下采访。她采访毫末智行 CEO 顾维灏，讨论自动驾驶里的蒸馏。云端训练的模型比较大，放到车上，车端芯片算力有限，就要用蒸馏、减脂、量化把模型变小，让延时更低，消耗算力更少。车和机器人对低延时很敏感。 千问每次发布开源模型，尺寸很多，也一直在做这类压缩。程曼祺说，压缩和变强是一体两面。把大模型能力压进小模型，小模型也在变强。这个潜力一开始就存在。 2026 年讨论变热，有几个推力。Anthropic、OpenAI、Google DeepMind 在年初发了更多公开文章，也在给美国政府的公开信里提到中国公司在蒸馏。另一个背景是中国开源模型明显逼近闭源模型，K3 是一个里程碑，在美国引起很多讨论。规模变大，开源逼近闭源，中美都更关注，蒸馏被推到风口浪尖。 ## 字节为什么说不：张一鸣的逼近论与组织代价 13:51 高洪浩编辑了那篇字节报道。张一鸣在 Seed 内部会上说不允许字节做蒸馏。高洪浩说，字节算力很多，大模型竞争极其激烈，Seed 的表现没有达到外界预期的 SOTA，在 Coding、智能体这些领域离一线还挺远。它却主动拒绝蒸馏，这是他想讨论的问题。 程曼祺把报道里的原因拆开。张一鸣认为，蒸馏能短期改善模型表现，本质上在复制 Claude 已有的能力。沿着这条路走，最多只能逼近对方，很难真正超越。字节追求的是最强模型，这个判断和它的抱负有关。第二个原因是长期壁垒。张一鸣希望从更底层构建 AGI 上的壁垒，蒸馏不像长期壁垒。大部分从业者也这么看。 > 最多只能逼近对方，很难实现真正超越。 还有一层考虑是合规。字节在全球都有业务，国外公司怎么看它，它会有更多顾虑。程曼祺补充，字节 Seed 2.1 在 6 月发布，据她了解用了一些蒸馏手段。之后内部经过一段时间思考，有过比较激烈的讨论，最后决定不蒸馏。在那之前两年多，字节确实不怎么蒸馏。 高洪浩问，Seed 今天没法做到国内 SOTA，核心原因有没有可能是不蒸馏。程曼祺说，不蒸馏是挺重要的原因之一，不能完全归咎到这件事上。这个回答接近事实。 张一鸣的“只能逼近”成立吗。程曼祺问过很多从业者，大部分人认为学生模型超过教师模型在技术上并非绝无可能。可以学多个教师模型，博采众长，也可能训不好，博采众短。技术上有很多探索空间。 真正的隐患在组织和人的激励。**蒸馏成本相对低，确定性高，短期更容易出结果；资源一旦大量投向这里，做长期探索、走不确定路线的人和项目，可能得不到足够资源和认可。**顶尖研究员需要一个创新研究被鼓励、被看见的环境。 > 张一鸣可能不是最懂技术的，但他大概率是最懂人性的。 这是高洪浩在即刻上看到的一条留言。程曼祺觉得说得挺好。她也提到蒸馏的技术问题：学生可能学到教师模型的错误，行为接近了，坏东西也一起学过来。 其他公司看不到这些代价吗。程曼祺说，取决于他们认为代价是否可控、可接受。报道里有一个比喻，一个运动员可以既嗑兴奋剂，也勤加训练吗？也许真有人这么干。一般而言，嗑了之后会有侥幸和惰性。其他公司可能觉得自己能克制。 > 一个运动员可以既嗑兴奋剂，也勤加训练吗？ 蒸馏只是优化模型的方法之一。一个公司做蒸馏，不代表后训练数据全部来自蒸馏，也不代表它不做别的事。它还要做推理优化、算法和架构优化，构造自己的预训练数据集。 张一鸣明确表态后，有一些人想从 Seed 离开。程曼祺说这很个体，走两三个人不稀奇。个体原因也现实：职业阶段有限，最宝贵的几年里，希望所在团队做出代表作，至少是中国最强模型。也有人会被张一鸣的表态感召。 字节不蒸馏，更该做什么。程曼祺说，自己构造高质量数据。本周“智能涌现”报道，字节从 6 月开始重组数据团队，要成立一个和 Seed、Flow 平行的一级 AI 部门，叫“AI 数据和安全”。负责人是王银磊，Adam 王，原来在 TikTok 负责直播，跟文佳和 Alex 都汇报过。**字节需要获得一种不依赖外部领先闭源模型的数据能力。** ## 谁在蒸馏：公开点名、身份混淆与灰色操作 24:41 高洪浩问，DeepSeek、Kimi、智谱、千问四家里，程曼祺觉得谁最可疑。程曼祺先反问，为什么是这四家。高洪浩说，这是大家传得比较多的四家。 程曼祺不肯评论谁在蒸馏、谁不在蒸馏。她能分享的是公开信息。Anthropic 在 2 月点名过三家公司：DeepSeek、Kimi、MiniMax。6 月又点名阿里千问。OpenAI 说过 DeepSeek 有疑似蒸馏行为。智谱没有美国公司公开点名。**公开点名和实际证据之间还有距离，程曼祺没有顺着“谁最可疑”往下猜。** 阿里被 Anthropic 点名后，整个集团开始禁用 Claude Code。程曼祺认为这两件事不一定有直接必然联系。首先可能是合规表态，中国用户理论上不能用 Claude 的模型。其次阿里也会考虑数据安全，希望内部很多 AI 使用走自己的模型。它处在中美模型竞争的大语境里。 如果中国头部模型都不允许蒸馏，格局会怎么变。程曼祺说，所有人都不蒸馏，大家在这件事上就一样了，还是看别的能力。她没法判断格局会怎么变。高洪浩追问，那 Kimi 还是 SOTA，智谱还是领先，Seed 还是落后吗。程曼祺提醒，这个问法预设了别人都在蒸馏、字节没蒸馏。 有什么迹象能看出一个模型是否蒸馏。高洪浩举了一个常见说法：非 GPT 的模型回答时说自己 GPT，或者说是 OpenAI 训练的。程曼祺说这不靠谱。**“模型说自己是 GPT”不能当蒸馏证据，身份混淆在多个模型上都出现过。** 2024 年 11 月有人做过研究，测了 27 个模型，中国和国外的都有，设计了 77 个问题。结果里有 GPT-4 说自己是 GPT-3，Gemini Pro 说自己是百度文心，字节 Seed 说自己是 GPT。论文结论是，仅凭身份混淆很难判断谁用了谁的训练数据，更不能说明蒸馏。更合适的方式是看输出分布是否接近，看整个行为是否接近。 高洪浩补充，说话方式、输出格式、拒绝回答的方式、代码风格都算。程曼祺说，这需要很大的量，问一两次觉得像，证明不了什么。 判断一个模型是否蒸馏，动机是什么。程曼祺说，对用户，这不影响使用。对投资人、买二级市场股票的人、想在这些公司里选一个去求职的人，这个问题有价值。关键在技术判断：蒸馏对一个模型研发团队长期是不是好事。 如果通过第三方数据公司买数据来做蒸馏，算不算。程曼祺说，技术层面，如果让自己要训的模型去逼近获得的一堆更强模型的输出和行为，技术上算蒸馏。法律层面、是否违反用户协议，有很多操作空间。美国之后如果有更严厉的限制，政府也会有约束，这就涉及很多层次。 ## 大规模蒸馏难在哪：账号、数据管线与反制 28:52 高洪浩问，蒸馏真正困难的地方在哪。拿到几百万条 Claude 的回答难，还是知道怎么向 Claude 提问难。程曼祺说，很难说哪个部分更难，每家公司薄弱环节不一样。她讲了几个有难度的环节。 第一是账号。稳定、高频访问这些领先模型，需要账号，也需要用户运营。用户可能提供真实、高质量的数据。真实提问是种子，可以围绕它扩增和改写。 行业里有从业者提过一种做法：建很多中转站，让一些人通过中转站用 GPT 或 Claude，最好这些用户真能提出有质量的问题，也有真实需求，比如高校理工科学生、研究者、高级程序员和开发者。这既是运营，也有技术。中转站可以自己建，也可以找稳定的第三方。合作过程中还要防止被坑，第三方可能在领先模型中间掺入你不想用的模型。 高洪浩提到一个例子：某一家模型用中转站，结果发现蒸出来的是自己的，自己在蒸自己。 第二是一套数据管线。构造题目是构造数据。有很多高质量用户在真实任务、真实场景下的提问，要筛选、过滤、去重，再用模型扩增和改写，中间还有纠错，以及数据形式和配比。**大规模蒸馏的门槛在一套稳定的数据管线：账号、真实问题、筛选、扩增、纠错、配比，缺一环都影响效果。**系统成本低不低、稳不稳定，会影响大规模操作的效果和效率。 这套东西是复杂的系统工程。高洪浩说“抄作业”，程曼祺回应，如果非要说抄作业，那也是一个过程非常复杂的抄作业，本质上已经不能叫抄。它要方法、技巧、智慧和劳动。 一家公司真想隐藏蒸馏行为，最常用的方法是什么。高洪浩问，如果不用 API，直接下载一个 open weight 的前沿模型，在自己的机房生成几亿条数据，外部是不是几乎发现不了。 程曼祺说，先看模型有多大。K3 接近 2.8T，接近 3T，DeepSeek V4 是 1.6T。部署这么大的开源模型需要很多算力，部署后持续跑数据，电费也很高，容易被监测到。政府如果认为这是隐患，比较好监测。 如果同时从 Claude、GPT、Gemini、DeepSeek、千问各拿一点数据，再让自己模型筛选、去重写，是不是很难看出某一个老师的痕迹。程曼祺说有可能，但这不能向闭源厂商隐藏蒸馏行为。只要大规模高频使用 API，出现异常行为，对方就可能看见。 Anthropic 最近说，他们建立了识别蒸馏流量的分类器和行为指纹系统，可以发现跨账号协同、重复提问、套取思维链的行为。他们还加强对教育、研究、创业公司账号的身份认证。这和高洪浩前面说的找高校学生来用，正好相呼应。**反制更多发生在过程中，不只看模型最终表现。** 学生模型能不能超过教师模型。程曼祺说，技术上有可能，至少她接触的从业者这么认为。多教师蒸馏是后训练里合并不同方向专家能力时会用的方法，这个思路能不能用来让模型变强，可以试。特定任务上，学生模型有可能超过教师模型，但不代表整体泛化、通用性都更强。这是一个开放的研究问题。 靠蒸馏能不能变成世界第一。程曼祺说，先看世界第一的标准，按现在的智能评测表现最好来算，你学了最好的教师模型，还超过它，有可能。能不能持续第一，跟创新能力有关。现在各领风骚几个月，Anthropic 今年上半年有几个月持续领先，最近新模型密集发布，开源看起来非常接近闭源，但还没有接近。拉到半年维度，中间有几个月 Anthropic 和 OpenAI 还是领先的。 ## 红线与双标：蒸馏的原罪争议 37:29 高洪浩提到普通人的印象：蒸馏带有原罪，因为它用了别人的数据，像抄作业。程曼祺说，原罪这个词有点重。它是灰色地带，违反了 OpenAI、Anthropic 的用户协议，但违反用户协议不一定构成法律侵权，要看其他法律规定。用户协议本身限制得很宽泛。 蒸馏一直逼近、不超越，问题是什么。高洪浩说，后发者可以用更新数据、更强模型来蒸馏，差距逐渐缩小，可能只有几个月。程曼祺说，这取决于大家怎么想 AGI 会怎么到来。 有一种假设：OpenAI 和 Anthropic 都在讲自进化能力。自进化到一定程度，人的作用变小，用更多 AI 优化 AI，速度非常快，自动化程度很高，加速度会越来越大，可能把后面的人甩得更远。在这种假设里，率先达到某种状态很重要。今天看领先几个月或几周，再过一段时间，他们到了另一个状态，这个时间差就不那么容易缩短。**不能因为现在跟得紧，就认为可以满足于一直逼近。** 依赖蒸馏可能只是阶段性状态。它只是一种方法，可以和其他方法组合。 程曼祺有一条红线：明显违反全球通行法律法规的做法，不能接受。用黑客攻击侵入其他公司或实体的系统，通过黑客方式破解思维链，不能接受。**程曼祺把蒸馏放在灰色地带：它违反闭源公司的用户协议，是否构成法律侵权要看其他法律。** 大部分做模型的人不会单独考虑蒸馏。他们考虑的是怎么用各种方法让模型更好，怎么构建长期持续做出更好模型的能力。蒸馏是其中一个可以用的方法，用到什么程度、怎么用、用不用，都是选择。像一个大控制板，上面有很多旋钮，蒸馏只是其中一个。 高洪浩提到双标争议。OpenAI 和 Anthropic 做预训练时，也从实体书、盗版书网站、视频网站弄大量数据，用各种爬虫。这些行为跟今天说的蒸馏有本质区别吗。 程曼祺说，这是现在讨论里常见的对话方式。美国公司说中国公司蒸馏，中国公司说双标，说你之前也用了很多没有授权可以训练的数据，有的数据根本没买。中国公司用账号，还付了钱。 Anthropic 最近有一个 15 亿美元的集体诉讼和解。案情是当年从盗版图书网站下载了很多书，没有给这些书付费，美国作家集体诉讼，目前达成和解。程曼祺说，整体上肯定双标，两种行为也不完全一样。Anthropic 直接搞盗版书，肯定侵权，没付钱买书就侵权，先不说买了之后训练模型是否侵权。 转写里提到，加州法院曾判定，付费购买书籍后用于训练不构成侵权。美国是案例法，后面的类似案件会看前面怎么判。高洪浩说这是一个有点价值的回旋镖：如果付费买书训练不侵权，其他公司用 Anthropic 的产出再提升自己的模型，是否构成侵权。程曼祺觉得这个话题很有意思。 ## 更便宜的智能，如何改写前沿模型的生意 44:05 高洪浩问，如果蒸馏越来越容易，今天投入几百亿美元训练前沿模型的商业模式会不会根本变化。斩杀线的讨论已经很热。 程曼祺说，短期内市场预期会受影响，Anthropic 和 OpenAI 的估值会受一些影响，甚至有人认为会冲击 IPO 进程。前提是只看到此时此刻的领先。Grok 4.6 发布后，马斯克说 Grok 4.7 会超过现在所有模型，也补了一句 Anthropic 的下一个模型可能非常强。过一个月，Anthropic 又发一个很强的东西，预期又会变。闭源公司可能还有后手没有展示。 更明确的变化在商业逻辑。DeepSeek V4 和 Grok 4.6 性价比很高，那张著名的斩杀线图里，V4 和 Grok 4.6 下方和右边的模型被斩杀。图里没有反映推理速度这个重要维度。现在有一个问题：对很多任务，这一批最强的模型已经很够用。 > 可能用户的十个任务里面八个都能被 DeepSeek V4 Flash 解决。 这是程曼祺最近见一个应用公司创始人的说法。那家公司做偏生产力的应用。当时 Pro 还没有正式发，Flash 已经很便宜，速度也比较快。程曼祺认为这会改变很多商业逻辑，至少改变很多定价策略。 更大的问题是智能的供给和需求现在是什么关系。对很多人的日常使用，智能过一个线之后就够用了。Coding 之后往白领市场扩散，智能需求的规模和节奏没有那么快，这一点要打问号。 她最近见一个平时交流较多的投资人朋友。对方在想：我们之前都说 Coding 比视频生成大，万一错了呢。错的可能性在于，很多白领工作，现在的模型真的够用。更强的模型可能没有用武之地，杀鸡焉用牛刀，或者拿着屠龙刀找不到龙。**更便宜的智能已经在改写定价：对不少任务，最强模型之外的那一档已经够用。** 程曼祺说，这可能是比蒸馏更大的问题。她拿自己的使用感受举例。上次录姚顺雨那期，她相对悲观，因为除了用模型做偏 deep research 的工作，别的工作做得少。后来用 ChatGPT 的 Codex 和 Work 功能很多，感觉确实能让她干很多以前干不了的事，那段时间比较上头。冷却一段时间再想，是不是每天都要那么高频地手搓各种工具，频率会下来，对更复杂任务的需求也会下来。 回到蒸馏。它不会消失，也不会无限扩张。账号、成本、合规、反制都在约束它。它是阶段性方法，也是方法组合里的一个旋钮。**长期壁垒仍然落在数据、组织、创新和商业闭环上。** 如果把这期节目当成一份行业笔记，能带走的判断有三条。看到“某模型说自己是 GPT”，别把它当蒸馏证据，身份混淆在多个模型上都出现过，更值得看的是输出分布和行为。看一家公司，别只看它蒸不蒸，看它把蒸馏放在方法组合的什么位置，看组织是否还给长期探索留资源和认可。看前沿模型的生意，别只盯模型榜单，看智能供给和需求在什么位置过线，看更便宜的智能正在怎么改写定价。 程曼祺在节目最后说，他们不是直接做这件事的从业者，文章和播客更多是抛砖引玉。评论区里如果能有更多做过蒸馏的人补充方法、观察和态度，这件事可以有一个更完整的 2.0 版本。蒸馏的讨论，可能才刚刚开始。