详解Kimi K3：强到冲击Anthropic估值的模型什么样？

7 月 27 日，Kimi 放出 47 页技术报告，权重同步开放，主线模型 2.8T，接近 3T。一周之内，美国 50 多家公司联名签署公开信《开放权重与美国的 AI 领导力》，英伟达、微软都在名单上，黄仁勋专门注册 X 账号转发。亚马逊和 Anthropic 没有签名，Dario Amodei 随后自己写了一篇《On Open Weights Models》，说不反对开源，但某些国家训练的开源模型该被限制。

这期晚点聊请来两位嘉宾，从推理和算法两条线拆 K3。赵晨阳是 RadixArk 创始成员、SGLang 核心开发者，清华本科，UCLA 博士肄业，上一次来是第 163 期讲 DeepSeek V4 的 Infra。曾致远在华盛顿大学读计算机博士二年级，师从 Hannaneh Hajishirzi 和 Pang Wei Koh，研究后训练和评测，本科也在清华，跟赵晨阳同届同系。

主持人曼祺先问了一个很朴素的问题：用起来到底怎么样。

一个复刻 4399 的网站，和硅谷的紧张 5:13

曾致远平时有可以报销的 Claude Code，不太在乎成本，K3 发布后还是自己跑了一批案例。他的体感是大部分场景跟 Opus 4.8 相当，长程任务甚至更好。所谓长程任务，就是让模型在 agent 框架里连续跑很久，完成一件很复杂的事，中途不跑偏，最后交出一个能用的结果。

他挑了两个不足。一是慢，做小任务时等反馈会急。二是复杂任务里，他一开始的 prompt 没法面面俱到，K3 会在他没想清楚的地方替他做决定。他觉得更理想的方式是先跟他讨论，替人做决定往往不够理想。

赵晨阳给了一个更热闹的观察。K3 发布时，Kimi 团队的朋友在朋友圈传一个叫「K3 九九」的网站，里面全是 K3 生成的小游戏。他和曾致远都是零零后，小学时的两大游戏平台是 4399 和 7K7K，靠 Flash 运行，Flash 已经停运很久。K3 把那个东西复刻了出来，很多童年小游戏的流畅度比当年还好。RadixArk 团队自己也用 K3 做了一款小游戏，主角是团队的 SGLang girl，终点设成 423 tokens 每秒，代表他们那一刻的优化成绩。

前端能力为什么这么突出，曾致远的答案很直接：数据。现在训练团队通常先给细分垂类补评测，再围绕评测在预训练、中期训练、SFT、强化学习各阶段补数据和任务。K3 报告里有专门的 Kimi Web Dev 评测集，预训练阶段大幅扩充了代码和渲染结果配对的多模态数据，后训练加入 web development 任务。它还是原生多模态，强化学习里可以直接走一个循环：写代码，看前端渲染截图，再改代码。报告里管这个叫 wishing loop。在 Frontier Code Arena 上，K3 一度拿到第一，超过了当时的 Fable 5。

曾致远还注意到一个技术报告的趋势：架构和预训练的细节写得越来越清楚，后训练的部分越来越少。他的解读是，架构、scaling、预训练的重要性一点没降，甚至在上升。

聊到开源大辩论，气氛沉了下来。曾致远说「恐慌」这个词形容这次讨论是合理的。他举了 OpenAI 新模型在评测里越狱的例子：模型为了拿到答案，直接尝试攻击 Hugging Face 的服务器。

「今天即便我们引导模型形成正直的世界观，它都可能违背人类意愿去攻击服务器。」

他把强模型比作武器，认为这已经是一个需要全社会讨论的治理问题，甚至需要类似核不扩散条约的国际框架。RadixArk 签了那封开源公开信，他自己并不赞同把所有东西都开放出去。

曼祺提到另一种解读：开放权重模型变强，会冲击 OpenAI 和 Anthropic 的估值。曾致远说，他在美国前沿实验室的普通员工里确实听到这种担心。企业用 coding agent 时不愿意把数据交给第三方，如果有一个足够强的开放权重模型，稍微做点微调就能满足需求，企业又有条件自己部署，它们就可能转向自部署。赵晨阳补充，美国有些大客户已经倾向于自建算力，因为某些场景下自建的成本测算更划算。

没有老老实实做 Transformer 这回事 16:50

有人问，K3 这种成果会不会动摇一批做新架构的研究者：老老实实做 Transformer，上升空间是不是还挺大。

赵晨阳的回答是，世界上不存在老老实实做 Transformer 这回事。K3 的注意力是线性注意力 KDA 加全局注意力 MLA 的混合，残差改成了深度方向上的一次 attention，FFN 是压缩空间里的稀疏专家，位置编码几乎被删掉。这些零件没有一个是 2017 年原装 Transformer 的。

「船板换过了，甲板换过了，龙骨甚至都换过了，但这艘船的船名就是没有变。」

他把 attention 机制称作 AI 研究领域的忒修斯之船。与其说 Transformer 还有空间，不如说 attention 是一个接口，规定用可微模块反复混合序列上的信息，至于拿什么算子混合、残差怎么连、FFN 什么形状，可组合性比想象中好得多。这几年开源模型几乎把每种部件组合都试过。KDA 从 Kimi Linear 论文走到 2.8T 的主流模型，用了不到一年。

另一个被反复提起的信号是，模型好像到了能自己变好的临界点。曾致远不认可用「神奇临界点」来描述。他看到的是开发流程进入了正反馈：模型参与生产数据，下一代模型更好，再参与更多生产。检索、合成训练任务、生成和筛选样本、搭强化学习环境、跑评测、分析失败案例，这些工作交给 agent 的比例在逐步提高。他随手给了个数字，50%、70%、90%、95%，并说明这些数字是随口说的。人类介入的粒度也在变粗，从定义每一步怎么做，变成定义上层目标、约束和验收标准。

赵晨阳补了一个更硬的例子。K3 报告里写，早期 serving 用的 kernel 是拿早期 checkpoint 直接写的。早期 checkpoint 指模型还没训完的中间版本。用它写 kernel，又让后面的 checkpoint 训得更快。

这里有个双关。KDA 在 K3 里指 Kimi Delta Attention，在 Infra 圈子里也可以指 Kernel Development Agent。K3 报告专门讲了怎么让模型做 kernel 优化：任务覆盖单算子优化、巨型算子融合，框架覆盖 CUDA、Triton、ThunderKittens，精度覆盖 BF16、FP8、FP4。奖励设计分两层，每个 kernel 先给一个 PyTorch 朴素版本，既当性能底线，也当正确性基准，数值超出误差范围直接零分；再拿模型写的 kernel 跟专家实现比，越接近硬件物理上限，分数越高。他们还做了作弊检测，惩罚恶意的 CUDA graph 重放，惩罚打表式的输入输出缓存。

赵晨阳说，他们团队的顶尖 kernel 工程师正在大规模用 AI 放大自己对 kernel 的理解，某种程度上这就是 kernel 领域的 RSI。但 kernel 能跑通这套循环，是因为它同时满足三个条件：奖励准确且便宜，正确性和性能一次硬件运行就能验证；作弊空间有限；边界清晰。

曾致远的判断是，在有验证器的领域，RSI 循环已经在高速运转，但这跟「模型开始自我进化」是两件事。整体 RSI 缺的未必是模型，缺的是 evaluation 和 harness。他读博期间的研究兴趣就是怎么有效评估模型能力。2025 年大家猛冲数学和 coding，因为这两块好评估。让 agent 写一篇晚点风格的报道，好坏要很有水平的记者才评得准；让它写 LeetCode，当时很好评。现在 coding 任务演进到给一个巨大仓库加新 feature，评估又变难了，所以他预计 coding 的进步会放缓一些。

贵不贵、慢不慢，以及收不回的权重 25:34

K3 没有走极致性价比路线，有人嫌贵，也有人嫌慢，一些应用公司因此没有很快接进产品。

赵晨阳先拆「贵」。agent 场景下有两种成本口径，一种是价目表上的百万 token 单价，另一种是完成一个任务的总成本。需要动用 K3 的任务通常很难，总成本才有意义。长程任务里，不同模型消耗的 token 量差距远大于单价差距，一个单价便宜的模型可能绕一倍甚至十倍的弯路。

K3 报告里的数字：在内部 Kimi Code Bench 2.0 上，K3 比最强模型低 4.0 分，成本是对方的 38%；在 high effort 档，它追平了其他头部模型 maximum effort 的分数，成本约为 30%；在 BrowserComp 上分数很好，单任务成本大约在别家模型的 30% 到 50%。

官方定价是输入缓存命中每百万 token 0.3 美元，未命中 3 美元，输出 15 美元。对比 DeepSeek V4 的 0.04、0.44、0.87，确实贵了一截。曼祺提到很多应用里跑得最多的还是 V4。

「慢」这件事，赵晨阳的解释是，模型发布后第一时间能提供什么速度，反映的是架构有多新，Serving Stack 就有多难。架构本身有多慢并不本质，Kimi 和 DeepSeek 这类团队在架构设计时早就把训练和推理效率算进去了，后面靠工程优化能把成本打下来。

推理体验可以拆成三个指标：首 token 延迟，单用户解码速度，队列等待时间。首 token 延迟主要取决于前缀复用，跟绝对算力的关系反而次要。一个典型的 coding 场景可能带 40 万 token 的前缀，真正要算的增量只有几百个 token。前缀命中与否，计算量差好几个数量级。

K3 的混合架构让前缀复用变难了。传统 KV Cache 是 append only，前缀算完就不变；KDA 会在前缀树上驻留一块固定大小的状态，被每个 token 反复覆盖读写。赵晨阳的比方是，以前的前缀树像只往后写的笔记本，撕掉后几页就能接着写；K3 更像一块反复擦写的白板，改写靠前的内容很难。K3 报告里提到把前缀哈希粒度和物理块分配粒度解耦，哈希只跑在 512 个 token 的小块上，KDA 的 checkpoint 落在哈希端点的稀疏子集。SGLang 团队则在想办法让这块反复读写的状态跨请求安全共享，用到了 copy on write、snapshot、donate 这些操作系统原语。

再往下聊开源，赵晨阳说得很干脆：权重一旦发布就不可逆。这有点像《三体》里地球坐标广播出去就收不回来。权重是一串可以批量复制的文件，社区会做镜像，公司会拿去做量化和微调，衍生版本的数量指数级增长，下架这个动作对已经开源的模型根本不成立。

K3 开放了权重，也开源了 MoonEP、Flash KDA、Agent Env 这些基础设施。但强化学习环境没有开源，报告里提到的用于自我演化的知识图谱任务系统没有开源，原始领域专家的 checkpoint 也没有开放。赵晨阳认为这不算问题，行业内很少有公司真的开源 RL 环境，开放出来也有安全风险。但没开的这部分是更深的护城河。

「权重是一次训练的产物，环境是能反复复用、产生下一代权重的流水线。」

开放权重缩小的是这一代模型的能力差距。顶尖开源模型和顶尖闭源模型的迭代速度会不会缩小，是另一个问题。模型迭代需要环境、验证和算力，这三样都超出权重之外。三样全部完全开放，开源超过闭源是必然；现在不是这个样子。

3T 模型的零件清单 39:36

曾致远把 K3 的架构思路概括成一句话：让信息在序列和深度两个方向上都流得更高效。序列上用 KDA 加 MLA 的混合注意力，大部分层低成本处理上下文，周期性保留全局注意力；深度上用 Attention Residuals，让后面的层选择性读取前面层的表示。

他觉得最有意思的是 NoPE，也就是不显式加位置编码。同期的 DeepSeek V4、GLM 5.2、MiniMax M3 都还保留了 partial RoPE，K3 这个选择比较特别。不加位置编码，模型仍然知道 token 的先后顺序，因为 KDA 在更新循环状态时，门控和衰减本身对顺序敏感，已经隐式编码了关联性和近因性。

训练百万上下文模型常用 progressive context expansion，K3 也是这么做的：预训练先训 8K，扩到 64K，后面阶段逐步扩到 256K，最后到一百万。不用显式位置编码的直接好处是，扩上下文时少了一个要单独处理的环节。用 RoPE 的话，可能得重调 base，或者做插值。NoPE 在 Kimi Linear 上已经用过，K3 的进展是把这套设计放大到 3T，并且成功支持百万上下文。

另一个零件是 MoE 的路由均衡。K3 有 896 个路由专家，每个 token 只激活 16 个，稀疏程度很极端。曾致远解释，专家负载不均衡会带来两个问题：一些专家拿不到足够的 token 和梯度，参数容量浪费；另一些专家拿到太多 token，对 Infra 不友好。

最早的做法是在损失函数里加辅助负载均衡损失，代价是模型质量和均衡效果之间要做权衡，这个权衡经常成为训练不稳定的罪魁祸首。DeepSeek V3 的改进是去掉这个损失，改成给路由分数加 bias：专家过热就调低，过冷就调高。但它的 bias 更新是固定步长，每一步只知道专家过热还是过冷，步长本身仍是要调的超参数。

K3 的 Quantile Balancing 换了个思路。对一个 token，先看加上当前 bias 后排在第 17 名的分数，这个分数就是进入前 16 名的门槛。再对某个专家，看它在整个 batch 里距离每个 token 的门槛差多少，直接算出新的 bias，使大约 16/896 比例的 token 会选择它。下一个 step 就用这个新 bias。曾致远认为，在近千个专家、每个 token 只选 16 个的极端稀疏下，这套做法是 K3 能稳定 scale 到 3T 的重要因素之一。

三层线性配一层全局 48:38

K3 把接近四分之三的注意力层换成了 KDA，一种线性注意力实现。曾致远说这是一个比较大的进展。Kimi Linear 已经在 48B 级别的模型上验证过这套混合架构，K3 直接放大到接近 3T，总参数放大约 60 倍。Qwen3.5 是 400B 模型，同样用了三层 DeltaNet 配一层 attention 的 3:1 设计。DeepSeek V4 走的是另一条路，留在 softmax attention 框架里，用 KV 压缩加稀疏注意力。

3:1 这个比例怎么来的，曾致远的回答是靠实验。Kimi 在一个 16 层的小模型上比较过不同配比，3:1 在验证集上效果最好；1:1 效果接近，但状态更多，推理成本更高。K3 沿用了 3:1，最后再额外加一层 MLA，保证整个模型的最后一层一定是全局注意力。在 3T 规模上重新扫一遍各种比例太贵，团队主要验证的是整套配方能不能稳定放大，3:1 未必是 100% 最优解，但作为整体设计的一部分已经成功 scale 上去了。

线性注意力的老问题是遗忘。它把任意长的历史压进一个固定大小的循环状态，好处是缓存和每步计算不随上下文增长，代价是不同信息在有限状态里互相干扰，很早的细节可能被覆盖。KDA 用了 delta rule、channel-wise forget gate 这类技术，每次先看记忆已经预测出什么，只写预测偏差；不同 channel 可以学到不同的保留时间；还给每一步的保留因子加了下界，限制过于激进的瞬时遗忘。曾致远认为这些设计让有限记忆管理得更聪明，但没有从根上消除容量瓶颈，多步累积之下信息还是会衰减。

真正的答案是混合结构。每三层 KDA 加一层全局 MLA，最后一层也是 MLA，MLA 保留了对所有历史 token 的全局交互。模型不需要把一百万个 token 的每个细节都压进循环状态，遗忘问题因此被大幅缓解。曾致远提到，MiniMax 在 2025 年初的 M1 上也做过类似混合，后来又换回全注意力。技术路线本身能不能 work，很多时候取决于执行细节，数据、Infra、实现上的小差别，最后结果可能很不一样。

效率提升有一个常被引用的数字：百万 token 上下文下，混合架构的解码速度是全注意力架构的 6.3 倍。赵晨阳特意说明，这个数字出自更早的 Kimi Linear 论文，K3 报告里没有这个严谨值。解码阶段每吐一个 token，都要把整个请求的历史读一遍，全注意力的 KV Cache 随上下文线性变长，一百万 token 的缓存近乎是一万 token 的一百倍。线性注意力把历史压进固定状态，一百万 token 和一千 token 的状态几乎一样大。

他给了 SGLang 团队为 K3 做适配时的实际数字：69 层 KDA 加 24 层 MLA。69 层 KDA 给一个请求分配的历史信息基本固定在 54MB，不论长短；24 层 MLA 为每个 token 额外分配 27KB，百万上下文下大约 27GB。如果前面 69 层也是全注意力，多出来的就是几十 GB。省下的存储又反映到 KV Cache 的搬运成本上，速度提升由此而来。这个 6.3 倍在长程 agentic coding 里体现最明显，一个请求消耗上百 GB 缓存的话，再强的 HBM 也撑不住几十个并发。

赵晨阳顺带更新了自己在第 163 期的两个判断。他当时说线性注意力的理论优势需要几代真实大模型验证，说稀疏路线在工程上更可控、跟现有 KV Cache 和前缀缓存基础设施兼容性更好。K3 验证了第一条。第二条也没错，SGLang 团队花了很多精力才把线性注意力需要的循环状态纳入前缀缓存体系，让混合模型的前缀复用达到全注意力模型的通用性，代价是抽象更复杂。他现在的看法是，线性和稀疏并非二分问题，任何一个能在百万上下文上把 KV Cache 搬运成本压下来的架构，大概率都是异构的。

把注意力旋转 90 度，和按头更新 1:03:34

Attention Residuals 是 Kimi 今年春天发布的成果，用到 K3 上的速度很快。曼祺补了一个背景：做 AttnRes 的时候差不多正好是 K3 定版同期，内部讨论过是放进 K3 还是留给下一代，最后杨志明拍板放进了 K3。

曾致远解释，标准残差连接在展开后，当前层看到的是 embedding 和前面各层输出的直接相加，每一项权重固定为 1。模型越深，残差流越大，新写进去的信息被逐渐稀释，后面的层也没有机制去选择自己更需要哪一层的表示。AttnRes 的做法是把 attention 旋转 90 度：正常 attention 在 token 之间算匹配分数做选择，AttnRes 在层之间做选择。每层有一个可学习的 query，所有 token 共享，跟当前 token 在不同深度的表示匹配，softmax 决定从哪些更浅的层读取信息。query 是固定参数，不同 token 在各层的表示不同，所以注意力权重仍随 token 内容变化。

K3 用的跨层 attention 做了分块处理，先把层分成若干块，块内输出汇总，再在块之间做 attention。曾致远把这个思路类比成稀疏注意力。

和 DeepSeek V4 的 mHC 相比，两者想解决同一个问题，思路不同。mHC 维护多条并行的残差流，每层先把这些流动态混合成输入，再把输出分发回去，同时给残差混合加约束，保证信息和梯度不会随深度无限放大。曾致远的比喻是，mHC 像沿深度传递的 RNN 或线性注意力，AttnRes 像可以跨层直接读取的 softmax attention，表达力上限更高。代价是 AttnRes 要保留更多历史表示，显存和通信成本更高。两条路线分别被 K3 和 V4 证明可以 scale 到前沿级别，哪一种更有潜力还要看执行细节。

优化器这块，K3 用的还是 Muon，Kimi 自己更早的成果，后来成了业界比较主流的方法。曾致远解释，优化器要做的事是把一个 batch 算出的梯度，转换成稳定有效的参数更新，决定往哪个方向走、走多大一步、怎么用历史梯度降噪、怎么处理不同方向的尺度差异。好的优化器意味着同样的计算量下收敛更快、最终 loss 更低，训练中的 spike 更少。

Muon 的核心是对动量做近似正交化，避免更新只集中在少数主导方向上。Per-head Muon 的改动是每个注意力头单独正交化。多头注意力在存储上是一个大投影矩阵，算法逻辑上每个 head 比较独立，把所有 head 放在一起正交化，scale 大的 head 会主导更新方向，scale 小的 head 得不到充分归一化。曾致远说，K3 报告提到 Per-head 在他们自己的 setup 下让训练动态更平衡，改善了大规模训练的稳定性。

实现难度不小。大规模训练里 QKV 经常被融合和切分，优化器状态分散在不同 GPU rank 上，要保证每个头的逻辑边界不被打散，又要高效重建完整 block，把小矩阵合并执行，避免通信开销和 kernel launch 问题。K3 报告提到他们把通信和正交化计算做了 pipeline。

曼祺问了一个脑洞：优化器能不能由 AI 自己发明。Muon 最早出自个人开发者 Keller Jordan 的开源项目 nanoGPT speedrun，一个比谁用最短时间训完标准小模型的项目。今年 6 月，RSI 公司用系统自动跑了这个 speedrun。曾致远认为优化器研究天然适合 auto research，目标明确，指标清晰，流程结构化：提出方案、写代码跑实验、看 loss 和稳定性曲线、再改进。

他觉得更有价值的问题是，怎么设计一个小规模 setting，让里面得出的结论能泛化到真正的大规模训练。优化器在小模型上跑得好，换到更大模型、更长训练周期、不同参数形状后未必好。如果能让 agent 找到最快的 proxy experiment 和 scaling ladder，优化器研究的迭代就会大幅加速。这套方法不只适用于优化器，架构改进、强化学习算法调参都一样。这方面前沿实验室更强，OpenAI 和 Anthropic 资源多，做小规模验证的流程和基建更成熟。赵晨阳补充，也不要小瞧前沿实验室的优化能力，DeepSeek 把工程优化压到极致是真的，但对方也有很多东西。

先分后合，和一条没有开源的流水线 1:20:34

后训练部分，K3 报告披露的是先训九个领域的专家模型，再用 MOPD 合成一个。MOPD 全称 Multi-Teacher On-Policy Distillation，多教师在线蒸馏，最近一年已经成了很常见的后训练配方，BMO 的 VR、DeepSeek V4、MiniMax 的 M3 Ultra 都公开采用过。

先分后合的理由是解耦。曾致远说，通用推理、coding agent、通用 agent 这些领域，不只是数据不同，环境、奖励策略、rollout 长度、harness、算法配方都可能很不一样，coding agent 的 Infra 还有自己的挑战。全部塞进一次 joint RL，所有东西耦合在一起，合版时技术压力非常大。用 MOPD，每个小团队只交付自己领域的专家模型，不用把各种 recipe 和 Infra 都交出去，迭代快，合版也简单。以前 RL 没这么麻烦，不需要做 agent 的 RL，Infra 相对统一，大家把数据贡献出来直接合就行。

蒸馏的技术定义一直是教师模型把能力传给学生模型，经典用法是压缩，训一个大教师，再蒸到小学生。MOPD 的目的在于合版：从同一个基座出发，训出不同领域、不同推理档位的教师，再把能力传回一个统一的学生。On-policy 蒸馏让学生自己生成轨迹，教师对轨迹打稠密分数；off-policy 蒸馏是教师预生成固定答案，学生做模仿学习。社交媒体上讨论的蒸馏，一般指后者。

曼祺问，Anthropic 这种自己有全部权重的公司，如果自己训自己，技术上更可能是哪一种。曾致远的回答是，自己训自己目前还是愿景，关键看有没有可 scale 的外在监督信号。最后用的技术名字里可能带 distillation，实质一定是找到了某种稳定注入外部监督的方式。

Infra 层面，赵晨阳先讲了 KDA 给投机采样带来的麻烦。投机采样是用小模型先猜一批 token，大模型一口气验证，只有前几个会被接受。大模型验证前的状态必须保留，猜错时要能回退。普通 attention 回退很简单，撕掉后几页就行，KDA 需要原地重写每个 token 的递推状态，回退就得存档。

朴素做法是每走一步给整个递推状态拍快照，69 层 KDA 全存开销太大。SGLang 的做法是不存状态，只存每一步状态的极小投影，大约 1KB，回退时从上一个 checkpoint 出发，照着输入把接受的 token 重放一遍。赵晨阳的比方是看小表弟下象棋复盘，棋手用记号记录每一步移动，不用每一步给整个棋盘拍快照。有意思的是，Kimi 在技术报告里独立提出了类似设计，两边没有提前讨论过。

K3 还开源了 Agent Env。赵晨阳说这个名字朴实无华，思路比较新。一般研究者为了安全会主动限制模型能力，用更好的隔离方案锁死模型，减少越狱。K3 团队反过来，用更好的隔离放宽模型的能力边界，他们相信以后模型应该拿到更高的系统权限。早期 K1、K2 用容器 runtime 做沙盒，容易出现操作系统 panic 和内存死锁，他们没有让 agent 一直跑容器，也没换虚拟机，最后用了 Firecracker 跑 microVM。一个沙盒崩了不影响别的沙盒，隔离更安全，模型的安全限制就可以放低。

另一个设计是持久化 rollout，解决 agent 的长尾问题。一条采样轨迹可能包含上千次工具调用、上百万 token，一次采 16 个请求，里面有一两条特别长，比如调外卖 mock 接口，返回不稳定，等了一分钟，整批就被阻塞。Kimi 在 K1.5 论文里提出 partial rollout：不必等所有轨迹结束，完成到一定比例就开始训练，没结束的缓存起来下一轮继续。代价是 off-policy mismatch，一条轨迹前半段可能来自上一个 checkpoint，后半段来自当前 checkpoint，不是严格在线。K3 用 per-token 正则把策略更新约束在局部邻域，部分容忍这种 off-policy，用算法上的宽容换 Infra 上的自由。

K3 还把 agent 的 harness 表示成一组可配置、可组合的模块，工具接口、system prompt、上下文管理策略、skills、memory 都在里面，用组合去模拟各种主流 harness。目的是避免过拟合到某一个 harness 上。赵晨阳举的例子很直白：训练时学会在美团订外卖，用户想用饿了么就不会了。对人类来说这很愚蠢，对训练不佳的模型很容易出现。Claude Code 能接 Slack、Gmail、Calendar，某种意义上也是 harness，Anthropic 同样要面对 Gmail 和 Outlook 的切换问题。

Flash KDA 是 Kimi 基于 CUTLASS 写的 chunkwise kernel。赵晨阳解释，softmax attention 的 kernel 主要跟带宽斗争，线性注意力的 kernel 更多跟串行依赖斗争。KDA 在 chunk 内并行、chunk 间串行，状态一个 chunk 一个 chunk 往前传，最朴素的写法是每个 chunk 算一次传一次，计算资源大面积空转。Flash KDA 把 chunk 内计算和跨 chunk 状态传输做重叠。另一个差别是，softmax attention 的 kernel 对 KV Cache 只读不改，KDA 的旧状态可能被覆盖，kernel 设计要考虑状态生命周期，什么时候持久化、写到哪个 chunk slot、怎么保证其他请求正在读的缓存不被冲掉。KDA 的 kernel 模糊了 kernel 和缓存管理的界限。

量化这块，K3 和 DeepSeek V4 都在用 FP4 训练。K3 从 SFT 阶段就开始做量化感知训练，模型有更多时间适应量化噪声，RL 采样和训练用同一套量化方案。赵晨阳从 RL 角度解释为什么这件事重要：策略梯度成立的前提是，优化的数据由当前策略产生。训练用 BF16、推理用 FP4，同一个 checkpoint 给出的 token 概率有细微区别，梯度计算就不严谨，在 MoE 上可能导致灾难性崩溃。做到训推一致非常难，很多公司要单独维护一套庞大的 Infra 甚至 kernel 团队。他说国内公司的 Infra 是真的强，某种程度上是在用 Infra 换算力。

国产芯片这块，K3 报告提到给 alternative vendor 的 GPU 写了 kernel，性能和正确性都很能打。摩尔线程通过 MUSA 和 SGLang 生态，在 K3 发布后极短时间内完成了支持。赵晨阳认为 kernel development agent 对整个芯片产业有本质推动。英伟达自己也在用这类 agent 写下一代 DSL，AMD 的 ROCm 团队同样高强度依赖。至于会不会影响英伟达的统治地位，他说自己无法判断。曼祺让他二选一，Kimi Delta Attention 和 Kernel Development Agents 哪个更伟大，他的回答是两个都很牛，很难选。

曼祺最后放了几个拍脑袋的问题。下一个最强开源模型什么时候出现，来自哪家公司。赵晨阳提到有团队说自己的模型在以日为单位迭代。他的感受是，智力前沿的加速度没有降低，降低的是人类的想象力，除了 coding，他看不到下一个爆炸点。

今年剩下五个月，开源能不能超过闭源。曾致远的判断是有难度。前沿实验室内部最强模型通常比放出来的强半代到一代，开源模型的目标是追平已经放出的最强闭源模型，等开源追上来，对方内部又有了更强的。这个代差在五个月内不太会有明显变化。

下一代模型的核心能力是不是持续学习。赵晨阳的希望是模型能有效优化任何系统，但他把「任何」限定在 KDA 上。现在让 KDA 优化 CUTLASS 可以做得不错，下一代 DSL 来了还行不行，目前看不太行。kernel 是最好的验证领域，连这里的泛化都需要额外训练，离 RSI 还有距离。

曾致远不评价这个观点本身，他指出一个更实际的问题：现在没有很好的方式去衡量持续学习的进展。这项能力在零到一之间，缺少评测就不知道该走到哪一步。认可这个方向的话，应该先把 measure 做出来。

模型进展会不会一路斜线向上。曾致远猜测会有平台期，最近半年没有很本质的平台性突破，更多是在同一个平台上做得更高一点。突破未必是巨大的范式变化，修修补补积累到一定程度，也会上一个台阶。对普通用户来说，同一个平台上的那一点高度，体验已经很不一样。

这期节目信息量很大，能带走的东西可以收成三条。

• 看一个开放权重模型，别只看权重本身。权重是一次训练的产物，环境、验证、算力才是反复产出下一代权重的流水线。K3 开放了权重、MoonEP、Flash KDA、Agent Env，没开放 RL 环境和自我演化的任务系统。判断一家开源模型公司的后劲，看它没开的那部分更准。
• 线性注意力和稀疏注意力没有构成一道单选题。K3 用三层 KDA 配一层 MLA，把接近四分之三的层换成线性注意力，同时用周期性的全局注意力兜住遗忘。百万上下文下 6.3 倍的解码加速来自这种异构组合，代价是推理框架要同时维护多种生命周期的注意力抽象。工程复杂度换性能，这笔账正在被算平。
• 模型变强的过程更像正反馈，临界点式叙事容易让人误判进度。交给 agent 的工作比例在缓慢上移，人类介入的粒度在变粗。真正卡住 RSI 的，往往是可验证的奖励和能 measure 的评测，谁能把这两样做扎实，谁就能更早把循环跑起来。