GEAR 高深远：世界模型、自进化循环、DreamDojo

高深远刚从香港科技大学博士毕业。去年他还在英伟达实习，接下来要正式加入英伟达的具身智能实验室 GEAR。2024 年以来，他一直盯着一件事：世界模型。

这个词如今被用在太多地方。做游戏的、做自动驾驶的、做具身智能的，都说自己在做世界模型。有人用它指一个能预测未来的视频生成器，有人用它指一个装满了世界知识的多模态大模型，还有人用它指强化学习里那个可以反复试错的环境。模糊是早期技术的常态，但模糊到一定程度，讨论就没法继续了。

这期《晚点聊》，程曼祺和他把世界模型从头到尾拆了一遍。前半段聊大图景：怎么分类、为什么这两年突然热起来、各家大厂在走什么路线、当前最大的瓶颈在哪。后半段聊 GEAR 的具体工作，DreamDojo 和 DreamZero，以及高深远描绘的那个由世界模型、策略和 Agent 组成的自进化循环。

世界模型是什么，怎么分类 02:19

高深远先做了一个自上而下的拆分。

最宽泛的用法有两类。一类来自决策背景：手里有个模型，用来模拟世界或环境，所以叫世界模型。另一类来自基座模型背景：模型装了大量世界知识，能回答各种问题，所以也叫世界模型。

他自己更认的是第三种定义：一个预测未来状态的模型，而且这个预测受条件控制，条件通常是动作。

关于「动作」的边界，两人讨论了一阵。文本可以算动作，比如你告诉视频模型「天上飞过一只鸟」，这是对世界的一种干预。车输出的轨迹、机器人输出的关节角度，也是动作。区别在于主体：机器人的动作是世界里一个主体自己的动作，文本指令更像一个上帝视角的外部干预。

高深远说，做具身智能的人通常只关心自身的动作，因为一个策略就是一个具身本体，它很难凭自己的意志去改变别人。但世界模型可以接受对其他 agent 的编辑，这对构造奇怪的测试用例有用。长远看，多 agent 互联的世界模型也有必要，只是从通用性角度，先做好自身的世界模型更基础。他补了一句车联网的例子：国内有基建优势，V2X 当年很火，现在也还在推，但最主流的路线还是发展车本身。

然后是按表征方式分类，这是他觉得最清晰的一条线。

第一种，几何或粒子表示。用点、图、粒子来描述物体状态。好处是极其高效，模拟基本就是矩阵乘法，也不需要太多数据。坏处是泛化性差，不同物体可能需要专门定义不同的粒子表征。

第二种，显式 3D 表征。李飞飞的 World Labs 走这条路，把世界重建成点云、高斯溅射或 occupancy。好处是一致性极好，绝对坐标永远不变，不会遗忘，不会误差累积。坏处是需要 3D 标注，而且是多阶段流程，先重建再渲染成画面，很难完全数据驱动。

第三种，隐空间表征。Yann LeCun 推的 JEPA 属于这类。它不要求显式 3D，也不直接用视频，学一个比视频更紧凑、更容易预测的隐空间。高深远借了 LeCun 爱举的例子：你在街上走，不需要预测每个行人的脸，只需要知道那边大概有个人。决策相关的信息被压缩到隐空间里，计算量小，语义层次高。

第四种，视频表征。视频进，视频出，端到端，直接用互联网视频训练。这是高深远最相信的方向，也是 DreamDojo 和 DeepMind 的 Genie 系列走的路。

他给了一个很实在的理由：语言和视频是目前数据最丰富的两个模态。机器人数据相对稀缺。你要通往具身智能，合理的路径是从数据多的领域出发，往数据少的领域对齐。从视频开始接入动作，做机器人世界模型，比另造一个全新的表征空间更顺。

关于隐空间那条路，他补了一句：你构造出一个新空间，语言模型接不上，视频模型也接不上，想利用现有基座模型的能力，得把它们重新往你的空间上对齐。这个代价不小。不过他也承认这条路线有希望，隐空间更高效，也更适合决策，只是现阶段跟现有基座的兼容性是个问题。

为什么这两年热起来 19:36

程曼祺问，高深远两三年前就开始做世界模型，为什么去年到今年突然变热。

他给了三个原因。

第一，生成模型起来了。 Sora 发布时那句「视频生成即世界模拟器」让很多人开始认真对待这件事。从什么都模拟不了，到能生成高质量、符合物理规律的画面，这个变化很直观。做视频生成的、做游戏的，说自己做世界模型，都能自圆其说。

第二，数据多了。 具身智能火热之后，数据供应商和开源数据集都多了起来。这里有个关键区别：策略模型吃专家轨迹就够了，模仿学习就能得到一个还行的策略。世界模型是模拟器，它不能只见过成功的动作，还得见过失败的、抖动的、抓偏的动作，否则它给出的反馈没有区分度。数据不够的时候，训策略合理，训世界模型很难得到有效反馈。

第三，策略模型变强了。 早期大家训的是实验室里的简单策略，做几个简单任务，那个阶段其实用不着世界模型。世界模型的价值是帮策略做泛化和提升，策略本身水平不够时，世界模型很难用起来。现在策略到了一定的水平，输出的动作分布没那么乱，世界模型需要模拟的范围变窄，更容易给出可靠的反馈，也就具备了优化策略的条件。

他还有一个观察：策略部署在云端还是端侧，其实看网络条件。VLA 也不是非得做得很小，网络好就全放云端。世界模型也一样，可以端侧，也可以云端。真正决定它能不能用的，是模拟得准不准，大小并非关键。

自进化循环：策略、世界模型、Agent 23:39

这一节是整期节目最核心的部分。

先厘清 DreamZero 和 DreamDojo 的关系。两者都叫世界模型，但功能不同。

DreamZero 属于 WAM，世界动作模型。输入是一段文本，告诉它当前任务是什么，输出是未来的视频和未来的动作。它本质上是一个策略，和 VLA 的功能定位一样，但它比 VLA 多了一个未来世界状态的预测。

高深远解释，WAM 也可以算世界模型，因为动作的表征是多模态的。文本也是一种动作，是一种高层规划。人做决策时，先想的是大步骤，先拿这个、再举起、再放下，手怎么动是后面的事。这些步骤在文本空间完成。所以 WAM 接收文本动作，预测对应的未来状态，它确实在做一个世界模型的事。

DreamDojo 则是更纯粹的世界模拟器。输入过去的观测和动作，输出下一刻的世界状态。它不直接输出策略，它提供的是一个环境。

两者的配合方式很清楚。DreamZero 作为策略，先做步骤级搜索，把每个子任务的未来状态想出来，选一条最合适的。确定子任务后，它给出动作轨迹。这条轨迹还可以再优化，交给 DreamDojo 这样的动作条件世界模型，去模拟不同动作的后果，做更精细的搜索。速度、角度、力度，这些低层动作参数，都可以在世界模型里先试一遍。

世界模型最关键的两点就是它对这个物理的模拟和它这个 action 控制能力。

然后是高深远描绘的那个循环。

三个组件：一个通用 Agent，比如 Gemini 这样的基座模型；一个策略，比如 DreamZero、VLA 或 SIMA；一个世界模型，比如 DreamDojo 或 Genie。

连接方式：Agent 用文本给策略下达任务，也给世界模型预测出的未来状态打分。策略用动作跟世界模型交互。世界模型用视频把未来状态传回给 Agent 和策略。

用人的身体打个比方。Agent 是大脑里那个做规划和评判的部分，策略是大脑控制身体执行的部分，世界模型是你生活的这个环境。你做一个动作之前，脑子里大概会先过一遍后果，这个过一遍的过程就是世界模型在起作用。只不过人脑跑得太快，你几乎感觉不到。

现在这个循环还转不起来，原因是级联误差。 Agent 的泛化性不够，给不出足够好的奖励信号。策略的泛化性不够，在新场景下给不出可靠的动作。世界模型的泛化性不够，没法在各种环境下都预测出逼真的未来。

但高深远觉得拐点可能就在今年。他看到的是，三个组件都在往泛化性上推。一旦误差累积到一个可接受的程度，循环开始转，后面的正反馈会很强。

一旦它的误差累计到一个可接受的程度，整个循环就会变得越来越简单。

他描述了那个正反馈链条：

• 策略变强之后，它能在新环境里自己采集数据了。以前策略很弱，放到新房间就乱动，把东西打坏，甚至把机械臂打坏。策略到一定水平，它能在可接受的范围里动，采出来的数据虽然差，但能用。
• 这些数据喂给世界模型，世界模型对物理规律和动作控制的理解变好。它给出的反馈更准，通过强化学习去优化策略，策略又变强。
• 策略越强，输出的动作分布越窄。它越来越知道拿杯子就是拿杯子，不会输出抖动、不合理的动作。世界模型需要模拟的分布也跟着变窄，压力变小，模拟更准，反馈更准，策略更强。

这个循环一旦转起来，会越来越自动，越来越简单。高深远说，现在在简单任务上，他比较有信心把循环连起来。至于更复杂的任务，还得等泛化性再往上走一步。

程曼祺问了一个鸡生蛋蛋生鸡的问题：世界模型如果真的能模拟一个很像世界的世界，那 AGI 是不是早就实现了。高深远的回答是，不需要等到那个阶段才开始构造循环，它是一个循环上升的过程。现在三个组件的泛化能力都还不够完美，但已经能看到一些迹象，大家各自在往那个方向推。一旦连起来，误差在一个可接受的范围里，循环就能开始转。

瓶颈与各家进展 43:07

高深远把当前最值得做的方向归成三个：泛化能力、长程稳定性、效率。

泛化最重要，决定世界模型能应用的上限。它又分两种。

物理理解的泛化：见到新场景、新任务、新物体，还能模拟。现在机器人数据基本都在实验室里采，见过的物体有限。给一个没见过的抹布，或者让它倒个水瓶，世界模型不知道水是什么、纸是什么，物理模拟很差，预测出来的未来没有意义。DreamDojo 主要解决的就是这个，从人类第一视角视频里把新场景、新物体的知识迁移过来。

动作控制的泛化：世界模型要公平地模拟所有动作。问题出在数据。前两年大家积累的都是专家数据，给策略用的，全是成功的轨迹。策略该吃专家数据，世界模型不该有这种偏好。你给它一个抓偏的动作，它没见过，怎么控制都给你生成抓对的。这样反馈就没有区分度，抓偏和抓对得到一样的结果。

这个相对好解决。策略到一定水平后可以自动采集数据，采出来的动作就是策略可能输出的范围。世界模型不需要模拟整个动作空间，只需要模拟策略可能输出的那部分。策略越强，这个空间越窄。现阶段可以用人类数据，人类动作五花八门，天然包含更大的动作分布，DreamDojo 就用了这个办法。

长程稳定性是另一个维度。交互多轮之后误差累积，还有记忆问题。他举了个很具体的例子：把东西放进柜子，关上门，再打开，东西还在不在，现在的视觉模型包括 DreamDojo 完全是随机猜。策略这边，这是灾难，它得不到可靠的预测，也得不到可靠的反馈。

家庭服务场景里，机器人要知道小孩用的碗放在柜子哪一层，这种跨越长时间的记忆，高深远觉得可能不需要世界模型来解决，文本空间更合适。大模型的上下文很长，记这些抽象位置信息不是大问题。具身研究更关注的是任务确定之后，怎么把它变成成功率很高的动作。

评测是另一个大痛点。程曼祺问有没有公认的 benchmark。高深远说，你读论文会发现每篇论文自己搞一个 benchmark，比较的模型也就几个。

原因在于动作空间跟机器人本体绑定。宇树的机器人多少个自由度，星海图的机器人多少个自由度，都不一样。一个世界模型对应一个本体。语言模型和视频生成模型能做到 zero-shot，因为输入输出空间天然统一。机器人世界模型不行，换个本体就得重新训练。相机位置不同也影响 zero-shot，有人把相机装在头上，有人拔掉头装在脖子上。

要有一个公平的 benchmark，要么世界模型强到所有本体的动作空间都能直接接，要么所有人收敛到同一个机器人。现在大家只能把自己的模型训成别人本体的动作空间再比，代价很高，所以只能比有限几个模型。高深远说，这个阶段只能试有限的模型，大概有个感觉，哪些组做出来的比较好。

各家进展，他点了几个。

英伟达： Cosmos 团队做视频基座模型，GEAR 做策略和世界模型。Cosmos 本身对机器人和自动驾驶有倾向。

DeepMind： 他觉得布局最完整。Genie 3 是世界模型，SIMA 是 Agent，都往 Gemini 和 Veo 这些基座模型上对齐。从游戏出发验证，因为游戏数据可以无限造，不受物理时间限制，验证也方便。他的评价是，所有东西都往基模上 align，从数据丰富的模态继承泛化能力，然后在游戏里先跑通。

Yann LeCun 的 AMI： 做隐空间世界模型，现阶段主要在构建新表征。

李飞飞的 World Labs： 显式 3D 表征，做游戏和自驾有优势，放到机器人上可能还是视频更好。

OpenAI： Sora 团队重组到 robotics lab 下面，今年竞争会比较激烈。

General Intuition： Anthony 胡加入的创业公司，做游戏世界模型。逻辑是疫情期间大家攒了大量游戏数据，游戏数据突破物理时间限制，造得快，人创作游戏时也注入了很多 3D 知识。高深远说他们还没有公开模型，但公司的脉络和布局他比较喜欢。

他还提到团队之前做过一个工作叫 Natural Journey，把机器人的 VLA 去训练一个游戏的 VLA，反过来也说明游戏里学到的决策知识跟现实决策有相通之处。

从自驾到 GEAR：DreamDojo 与 DreamZero 01:02:44

高深远讲了自己的研究路径。

2023 年下半年开始做世界模型。最早做多智能体感知，当时车联网、V2X 很热。多智能体最大的问题是数据稀缺，大部分数据是单智能体的。他用图片生成技术做多智能体数据生成。后来特斯拉出了世界模型，他想，既然都是用生成技术做自动驾驶数据，为什么不直接做世界模型。从通用性角度，单智能体的世界模型更基础。

当时学界的问题是用一个公开数据集，大概 5 个小时，只在新加坡采集。基于这个数据集没法模拟其他城市、其他场景。世界模型的精髓是能吃下所有视频，靠数据驱动提升泛化。他们比较大胆，从 YouTube 上搞了一批数据，做了 GAIA，开源社区里第一个用互联网自动驾驶视频训练世界模型的工作。

第二个工作 Vista，在 GAIA 基础上提升物理质量和动作控制的丰富度。高深远说，他最关注的一直是两点：生成质量和控制精准度。

后来他觉得在学界继续做自动驾驶世界模型没意思了。工业界有大量高质量视频，学界只能从 YouTube 搞数据，处理视频、打动作标签都是额外成本，车企那边这些不是问题。他原话说：

在学界继续做自动驾驶世界模型没意思了。

2024 年他跟 GEAR 聊过，2025 年决定加入。契机是学术会议。第一次在西雅图碰到团队里的同事，当时他博二，想自己多发一作论文，没去。第二次在新加坡开会，本来是去玩的，逛论文海报时看到另一位同事，回去发邮件约了第二天聊。对方对他的背景感兴趣，他说去年已经过了面试，就直接合作了。

共同兴趣之一是 latent action。高深远之前有个工作叫 AD World，用隐动作训练世界模型。GEAR 的同事也在用隐动作训练策略。他想探讨的是，隐动作的策略能不能跟隐动作的世界模型接起来。他提到自己搞了 1000 个游戏，让它们乱跑，源源不断生成数据，用隐动作抽标签。

GEAR 有两条主线。一条做策略，GR00T N1、N2。另一条是 Dream 组，乔发起的，之前做过 Dream 系列，用视频模型做 backbone 做策略。高深远的判断是，用视频模型做世界动作模型，泛化性更好，两到三年内能达到比较成熟的架构和训练方式。这一步好了，策略就有了一个泛化性不错的起点。再往后是动作条件的世界模型，提供虚拟环境，让策略在里面自我进化。这个成熟可能需要五年，真正成为一个大爆点。

DreamDojo 的目标是做一个通用的世界模型预训练权重，开源出去，别人有新机器人，接上微调就能用。他是这个工作的联合一作。

核心想突破的是泛化。之前的世界模型只在单个数据集、有限物体、有限场景下训练。DreamDojo 想从人类第一视角视频里把泛化能力迁移过来，而且迁移到具体机器人之后还能保持。

难点在哪。高深远说，方法上没卡住，卡在数据。人类第一视角数据之前量没那么多，泛化能力要到一定量才能显现。10 小时机器人数据配 10 小时人类数据，迁移效果很微弱，本体构型有差距，物体多样性也有限。数据多了之后，物理规律覆盖得广，模型要预测好人类视频，就得理解更通用的知识，迁移到机器人上才有效。

他们用了 4.4 万小时人类数据。为什么停在这个量级，因为训练最后一个模型时所有数据都用上了，就这么多。方法通了之后，他们想尽可能覆盖更多场景，但没有精细调分布，这是局限。

处理数据难吗。高深远说世界模型有个好处，它什么数据都能吃。策略要专家数据，世界模型不需要做分布处理，任何在现实世界里发生的数据喂给它都合理。同一批数据也用来训练了 EgoScale，那个工作做策略，做了筛选，因为策略要学最优决策过程。世界模型学的是各种动作下世界的模拟，对质量和标注要求不高，有动作就行。

关于第三人称视频。高深远说可以做，第三人称视频也在学物理规律，只是跟最终要用的视角差得比较大。DreamDojo 从 Cosmos 出发，Cosmos 预训练阶段已经包含大量第三人称视频。他们试过不用 Cosmos 的预训练权重，效果会差，可以看出第三人称数据放在第一阶段有用。把三个阶段并成一个阶段，他直觉上觉得会有办法做得更好，但计算量是限制，论文也需要一个合理的研究问题和实验设计。

Latent action 的部分。高深远是推这个方向的参与者之一。隐动作的好处是简单粗暴，不用考虑本体、视角，有多少视频就能给多少视频打标签，不损失视频数据的可扩展性。他举了个类比：人失去双手之后，有些人能用脚做很精细的操作，说明人本身有适应新构型的能力。隐动作就像一个居中的出发点，从它映射到新本体，距离通常最近。

但他也打了个问号。现在很多数据供应商能提供高精度标签，跨本体是不是一个真痛点也不一定。大家最终做的机器人越来越像人，外观和动力学都像，那你只需要一个人的策略就够了。隐动作是用最不动脑子的方式把所有未标注视频用上，如果所有数据都有标签，跨本体又不是大问题，绕这一圈就没必要。

评测、基模依赖与个人选择 01:21:05

DreamDojo 的评测没有公开 benchmark 可用，他们自己建了 6 个。

逻辑是从两个维度出发：预测未来的真实度和物理合理性，以及被各种动作控制的能力。先用内部数据验证，看到迁移能力，再用开源的 EgoDex 第一视角数据集验证更多物体下的迁移，然后加人类数据，在更多环境、更多物体上测。主测试本体是 Fourier 的 GR-1，但他们也提供了其他本体的实验结果，目标是做一个通用的预训练权重给社区。

为什么选 GR-1。高深远说跟它好不好关系不大，主要是内部本来就有一些 GR-1 的数据，在它上面构造测试集更方便。研究机构选本体，通常看故障率、易用性、用的人多不多，以及跟自己跨本体数据的接近程度。人类数据最好对应一个灵巧手本体。

分布外的范围怎么定。机器人数据里没见过的新物体和新环境，就叫分布外。人类数据覆盖的物体很多，测试集里的物体在人类数据里基本都出现过或类似出现过。高深远补了一个更大的判断：大语言模型和视频生成模型发展到最后，其实不存在严格的分布内分布外，整个互联网视频都训进来之后，所有问题都变成分布内做差值。放到机器人上算分布外，放到人类互联网视频里可能都是分布内。scaling law 会把没见过的问题变成见过的问题。

世界模型的反馈好不好用，最终还是得跟一个策略结合看。单独一个世界模型做不了什么，它只是对世界的模拟，真正决策还得有东西出动作。常见做法是策略先出一批动作，世界模型选一个最好的。世界模型足够好，每次都能选到最好的；世界模型很差，等于随机选，加不加世界模型成功率差不多。所以评测时看策略加世界模型之后成功率有没有提升，也可以看中间指标：动作跟随准不准，预测的未来真不真。

程曼祺问了一个创业公司很关心的问题：不掌握视频基模，只做后面的人类数据预训练和机器人微调，能做出有竞争力的世界模型吗。

高深远说会有影响。自己掌握基模，你对它的预训练分布有控制。英伟达的 Cosmos 对机器人和自驾有天然倾向，模拟这两类视频更好。内部支持也多，继续训练的基础设施更顺。创业公司只做后面两步，成本会大幅降低，但会有一个延迟，不能直接 access 最强预训练模型的话，竞争力会受影响。

速度是不是问题。他说不是大问题。视频模型的速度优化跟视频模型的主线是一致的，推动这件事的不只是机器人团队，做视频生成的人也在推。这跟当年大模型提升上下文长度和速度一样，是整个领域共同的痛点，前进方向一致。

最后聊到个人选择。为什么博士毕业去工业界。高深远的判断是，工业界喜欢做已经看到成功迹象的路线，然后用更大规模做出来。学校做原创性探索，但现在很多技术路线已经比较成熟，进入规模化阶段。通往 AGI 最关键的是数据、算力、正确的训练目标和目标一致的团队，具体怎么做，甚至需不需要世界模型，本身可能就通向 physical AGI。这个阶段去工业界，时机比较好。

未来一年想做什么。他一直在做动作条件的世界模型，更希望看到这个东西最终能 enable 什么应用。最终目标是实现一个自我进化的循环。主要 bottleneck 是各组件的泛化性，只有泛化性达到某个临界点，才能在新任务下提升。现在大家都还做单个任务，因为单个任务不用考虑泛化。但用基模的初衷就是借语言模型和视频模型的泛化能力，单个任务从头训也能跑通 pipeline，既然从这些模态出发，最终就应该推向更多任务。

程曼祺收尾时说，这期解决了她自己的一个疑惑。DeepMind 的 Genie 和 SIMA、哈萨比斯讲的加速科学发现，之前听起来比较模糊。高深远把三个要素讲清楚了：策略、世界模型、中间做连接和评判的 Agent。这个循环形成之后会带来什么变化，描述得很具体。虽然很难想象真的实现之后 AI 要发展到什么程度，但今年可以好好期待一下，也许是个苗头。

如果要从这期带走一个判断，大概是这个：世界模型的热度会继续，但真正值得盯的指标，是那个循环有没有在简单任务上先转起来。三个组件的泛化性各自进步，误差累积到可接受的范围，循环就会开始自我强化。对做具身智能的人来说，现在可以做的事，是把策略先做到能在一个新环境里不乱动，能自己采数据；把世界模型的物理泛化和动作泛化往前提；把评测跟策略成功率绑在一起看。循环转起来之前，单点突破仍然有价值；循环转起来之后，差距会拉得很快。