详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

2026年4月30日，晚点聊上线一期94分钟节目，距离DeepSeek V4发布刚过一周。坐在程曼祺对面的是赵晨阳和刘益枫。赵晨阳在硅谷RadixArk做工程师，也是SGLang开源推理框架的开发者，他所在团队把SGLang部署在全球超过40万张GPU上做生产级推理；刘益枫在UCLA读博，研究大模型预训练、优化器和模型架构，刚在ICLR会场听完一圈关于V4的讨论。

这期节目从使用体感一路聊到技术报告。V4 Pro总参数1.6T，激活约49B，激活比例约3%；单token推理FLOPs只有V3.2的27%，KV cache占用只有10%。报告里四个新东西一起上：混合稀疏注意力、Muon优化器、mHC残差连接、FP4训练。赵晨阳说，任何一个单独上线都要大规模debug，四个耦合在一起就是组合爆炸，这也是V4比春节预期晚了两个多月的可能原因。

一句话概括这期节目的判断：V4延续R1的测试时扩展范式，用组合创新和工程优化，把百万上下文从理论推到可用。节目里两位嘉宾反复提醒，范式这个词被用得过重；V4的重点在工程组合，超长上下文上的稳定表现才是Agent和多步复杂任务需要的能力。

先聊体感：编程还差御三家，MLA被放下 03:01

程曼祺先问上手体验。刘益枫在Arena AI上对比，数学推理、代码编写、follow agent指令都比V3好，幻觉少很多；能力接近御三家，代码仍差一截；体感和Kimi K2.6这些开源模型接近。赵晨阳从工程角度说，DeepSeek每年发布像给开源社区续命一年；V3的Large EP等架构细节，社区扎实做了一年才在开源实现；V4注意力大改，SWA加双压缩，适配时还要优化前缀缓存、投机采样。

ICLR会场上的讨论更有意思。刘益枫听到大家反复问一个问题：V4放弃了V3提出的MLA，Kimi K2、GLM5仍用MLA，继续在MLA上雕花还有没有意义？MLA把KV压缩存储，推理时再升维；MQA共享KV。V4引入token-wise压缩，刘益枫猜测，把压缩合并进MLA的底层实现太复杂，DeepSeek索性舍弃了这套复杂结构。

训练成本这次消失了。V3报告写过最后一次训练成本557万美元，V4没有披露。赵晨阳的判断是，成熟公司内部一定算得清，不公开本身是信号，团队不再靠成本叙事定义自己，转用模型能力说话；最后一次训练只是冰山一角，前沿探索、对比实验、人力和数据成本才是大头，研发成本是最后一次训练成本的几十倍。

V4没有上多模态。刘益枫认为它更专注文本，多模态会加大结构复杂度和infra难度。报告只在并行方案里提到在华为昇腾上做技术验证，训练芯片没有明说，外界多数推测仍是英伟达。延期也有工程解释：四个互相耦合的新feature一起上，任何一个都要极大规模debug，四个就是组合爆炸。

“范式变化这个词在AI圈子被用的有点叙事过载了。”

刘益枫把范式看得很重，Transformer、Scaling law、RLHF、test-time scaling才算，V4自己也在报告里承认follow了R1的范式。赵晨阳更愿意把“提出新的能力方向”当成关键，单个benchmark半年到一年就会被刷爆，真正难的是找到下一个要解决的问题。

27%的FLOPs和10%的KV cache，长上下文越长越明显 14:32

性能部分，V4在Arena上排名23左右，Artificial Analysis的intelligence index在52左右，比MIMO V2.5、Kimi K2.6、GLM5.1略逊。报告里有一段内部双盲实验：工程师面对不同任务自选模型并给反馈，V4的分数大概在Claude 4.5左右，和4.6、5.5有区别；9%的DeepSeek工程师不会把V4 Pro作为编程首选。赵晨阳觉得这种坦诚很重要，编程数据飞轮靠被使用，内部采用意愿是模型公司真正的底牌。

开源模型拿不拿得到使用trace，刘益枫问得很直接。赵晨阳说，大模型部署成本个人负担不起，多数开源模型host在第三方云上走API，trace在第三方；国内也有大量调用美国闭源模型的情况。模型差距在微小空间里很难排出先后。赵晨阳分享了一个细节：公司Claude账单下线那天他转用Codex，结论是“离开Claude，世界完全没有下雨”。

效率是V4被讨论最多的部分。单token推理FLOPs只有V3.2的27%，KV cache只有10%。赵晨阳提醒，这个优势有前提，上下文越长越显著；如果测试只有8k输入、4k输出，根本测不出架构优势。几k token连system prompt都打不住，日常编程和文字处理基本都会超过这个长度，Agent多步任务更是长上下文的重度用户。

但解决同一个问题，V4消耗的token变多了。刘益枫解释，训练目标奖励完成任务，不奖励省token；token-wise压缩比较狠，模型需要更多token补足缺失信息。赵晨阳在小红书写过一句吐槽，现在的token浪费像拿着高压水枪浇花。Kimi K1.5报告里提过长度惩罚，这类技术一直在用，token长度仍在不可逆增长，训练目标里还有值得想的地方。

“现在的token浪费，有种拿着高压水枪浇花的美感。”

1.6T参数只激活3%，MoE解耦被推到极限 28:32

V4保留DeepSeek MoE和MTP两条主线，四个层面的改动值得关注：注意力更混合稀疏，残差换成mHC，优化器切到Muon，infra上用TileLang和FP4。四件事共同作用，让百万上下文从理论可行变成成本可接受。

V4 Pro总参数1.6T，激活约49B，激活比例约3%。对比同期模型：V3在5.5%左右，MiniMax M2.7是4.3%，GLM5.1是5.3%，Kimi K2.6是3.2%，V4最低。总参数越大知识容量越高，激活参数越小推理成本越低，MoE的核心价值就是把这两个量解耦，V4把解耦推到了更极端的位置。

激活比例太低会带来负载不均、训练不充分、路由抖动。DeepSeek V3的博客讨论过路由负载均衡要不要进训练损失。赵晨阳用倒数比较：之前是5比1、10比1、20比1，V4到30多比1，将近40比1；大量冗余expert要保证训练程度平衡，token路由要顺畅抵达再合并，算法和底层算子都要跟上。

前几层MoE用了哈希路由，避免起始层专家路由高度集中在少数专家。Engram这次没有用。刘益枫解释，Engram把连续多个token联合编码，理论上能提高大海捞针能力，实际能力提升有限，参数增加很大，推理挑战也不小，短期frontier lab大概不会采用。

滑动窗口加双压缩，注意力变成混合稀疏 33:45

V4的注意力每层都跑滑动窗口注意力SWA，再加一个长距注意力，长距注意力可能是CSA或HCA。CSA走稀疏路线，在序列维度做4比1压缩，再top-k选取；HCA更激进，做128比1压缩，保持稠密注意力。哪一层用CSA、哪一层用HCA是预定义的，同一个长上下文在不同层看到的分工不同。

稀疏层负责锁定关键token，稠密层提供语义概览。赵晨阳说，SGLang实现这套混合方案时，最麻烦的是前缀缓存一致性，团队做了三套异构KV cache池，给SWA和CSA、HCA加压缩状态，还要在prefill、decode、speculative decoding三个阶段保持同步。这些问题在MLA时代不需要处理。

线性注意力和稀疏注意力一直有争论。赵晨阳认为稀疏在工程上更容易控制，和现有KV cache、prefix cache基础设施亲和；线性注意力每一步都在压缩隐藏状态，长程推理、数学推导这类任务上限偏低。一个直观例子：第1个token到第1024个token，线性注意力要压缩1023次；128窗口的滑动注意力跳8次就能几乎无损交流。

冲上限的模型更倾向稀疏加滑动窗口。滑动窗口短程能力强，实验相对简单，未来一段时间用它的模型可能越来越多。MiniMax从2.0的lightning attention回到2.1的全注意力，赵晨阳说他们在博客里写过“no free lunch”。SGLang最近做HiSparse，把稀疏注意力的KV cache卸载到host memory，长上下文吞吐做到5倍以上，这类底层活和V4的成本压缩配合起来才有商业价值。

Muon是工程试金石，mHC把残差车道加宽 39:37

优化器在训练里控制参数更新的步长和方向。AdamW逐元素更新，动量和归一化让训练更稳，但它忽略矩阵元素之间的联系，同一个矩阵里有些元素收敛了，有些还没收敛。Muon把二维参数当矩阵看，做矩阵级更新，牛顿-舒尔茨迭代做正交化，砍掉二阶动量，优化器状态从两倍降到一倍，省显存，代价是要拿到完整二维权重，TP、FSDP切碎后还得聚合，分布式原语复杂很多。

Kimi的Moonlight确定了Muon和AdamW的学习率比例0.2，V4用了更精确的0.18。embedding、bias这些一层参数仍走AdamW。预训练和后训练优化器还要保持一致，后训练结构更复杂，infra改起来更难。赵晨阳说，Muon是检验一个团队工程优化上线能力的很好试金石，每个名词背后都可能是一篇文章。

mHC来自DeepSeek此前的HC工作。HC把层与层之间的信息流宽度从d扩到channel乘d，相当于把残差车道加宽，信息不必从第一层慢慢传到最后一层。朴素HC的数学性质导致梯度回传不稳定，社区反响不大。mHC加入双随机矩阵约束，每行和、每列和都等于1，把前向和反向的scale控制住，不让它爆炸或消失。

刘益枫认为mHC对推理能力有明显提升。Kimi的Attention Residuals走的是另一条路，层与层跨层直接连接，第一层可以直接影响最后一层，上限更高，但对infra要求更高。mHC推理适配也要写新kernel，SGLang用TileLang写了split-K kernel，小batch解码时提升GPU利用率。新算法定制新kernel，在V3以前没有这么频繁。

TileLang与FP4：把kernel和数值精度一起往下压 54:24

TileLang是这轮infra讨论里的关键词。CUDA性能最高，开发维护成本也最高；Triton大幅降低写kernel门槛，牺牲表达力和极端性能；TileLang走中间路线，比Triton更底层，表达力更强，比手写CUDA开发效率高。V4报告说它把kernel启动开销压到微秒级，可重现性也有提升，同样prompt两次forward的结果更容易复现，推理工程师debug更方便。

赵晨阳看重TileLang的长期价值：新算法快速开发高性能kernel的边际成本被大大降低。前沿lab已经把TileLang当成默认选择之一，硬件厂商也主动支持这些DSL。CUDA和TileLang的关系很复杂，既有生态互补，也有和国产芯片结合、与英伟达竞争的可能。

FP4是另一个关键词。V3是第一个把FP8做到很大量级的工作，V4把FP4做出来。FP4范围很窄，训练中容易梯度溢出或归零。DeepSeek在后训练做了QAT，训练阶段维持FP32主权重，计算前先压到FP4范围，再无损反量化回FP8，做一次伪量化，让量化误差在训练里体现，再用blockwise scale兜住离群点；采样阶段做真实FP4量化，采样用的权重就是发布的checkpoint。

强化学习里采样可能占70%以上时间，采样位宽和显存读取压力降下来，提速很直接。赵晨阳说SGLang团队去年啃过FP8全流程RL和INT4 QAT，采样仍是W4A16；DeepSeek做到更极限的W4A4，在极致性能上走得更远。V4发布当天，RadixArk团队把推理和RL两条链路都跑通，FP4从硬件厂商PPT走进开源超模型的工业标准。GPT OSS也用FP4，各家技术选择不完全一致。

先分裂专家再蒸馏，评测才是长期难题 1:10:11

后训练部分，V4先分裂专家，再做on-policy distillation。刘益枫解释，专家越多容量越大，显存和参数量要求也越大；先让各个小专家在各自目标上学好，再把精华蒸馏到一个学生模型里。赵晨阳把这看成多目标优化：coding、数学、指令遵循会互相冲突，联合训练是在loss surface里找帕累托最优，工程上很难同时找到，先分裂再蒸馏相当于在已收敛的离散点之间做插值，更稳定可控。

Kimi K2的post training也提过multi-stage专家聚合，模型聚合、模型汤这类技术在GPT-2时代就有人做。硅谷前沿闭源模型大概率有相同思路，披露很少。开源生态是这一波中国实验室给AI领域的实质贡献。

评测部分，刘益枫的批评很直接。benchmark会过时、会饱和，evaluation是永恒追求。不能评测的东西就不能优化，benchmark指具体任务，evaluation指持续量化的能力。现在进入vibe benchmarking，模型benchmark乍看全是90加，实际差异大家又说很大，agent evaluation还没有共识，需要更好的评测基建。

“我们不能评测的东西，就不能优化。”

V4测了多轮工具调用稳定性、长程对话、人格一致、工具鲁棒性。刘益枫自己做过一个benchmark，评估语言模型在GitHub上面对刁钻reviewer教一个PR并merge的能力；他最近关注CloudBench，评估Open Claude应用场景里的用户满意度。这些能力比单个数学竞赛更接近真实工作。

行业层面，近期模型有两条共性：架构趋同到MoE加Muon，开源基座仍是MLA再堆feature；优化方向被agent和coding驱动。商业上订阅制和按token计费还在拉扯，视频生成、语音模型的开源与闭源差距大，可能说明这些方向很赚钱。国内DeepSeek和Kimi取向接近，大MoE、低激活、长上下文、激进成本；千问、MiniMax在RL训练和长上下文积累扎实；小米MIMO2.5 Pro在Arena分数比V4高；阶跃多模态发力早，混元在300B规模做得扎实。

中美路径差异也清楚。美国模型追新能力、高定价，算力多，不必把稀疏压得那么狠，稀疏会牺牲上限；中国模型追性价比和工程极限，在同样能力下收费低一个数量级。赵晨阳说，只有中美玩得起这一波AI比赛，这话有遗憾，也是现实。

V4最可能被记住的，是token-wise极致压缩、低激活比、低单token成本这套组合。具体技术像mHC或混合注意力，可能像MLA一样是阶段最优解，过一两轮会被更优雅的方案替代；这套工程配方会成为后续许多开源大模型的默认起点。

“V4率先验证了这种工程配方，会成为后续许多开源大模型的默认起点。”

这期节目给出的判断可以带走：看V4别只看Arena排名，长上下文和Agent场景才是它的效率优势区；做推理框架先把前缀缓存一致性、KV cache分层和投机解码同步做扎实；做训练团队把Muon、FP4当成工程能力试金石，但稀疏比例别为了数字好看一路往下压，先算总token成本。

对普通使用者，V4在编程上仍和御三家有差距，和Kimi K2.6这些开源模型体感接近；如果你已经在用Claude Code或Codex，换到V4不一定有“天塌了”的差别。真正值得盯的是下一轮开源模型会不会把“极致压缩、低激活比、低单token成本”这套配方变成默认起点。