Today’s picks

李飞飞 vs. Yann LeCun:不断升级的世界模型之争

通往 AGI 的道路,终于在同一片战场上汇集——世界模型。 李飞飞推出了其团队的首款商用世界模型 Marble。 几乎在同一时间,Yann LeCun 宣布离开 Meta,准备创立一家专注于世界模型的...

Source: https://www.myzaker.com/

通往 AGI 的道路,终于在同一片战场上汇集——世界模型。

李飞飞推出了其团队的首款商用世界模型 Marble。

几乎在同一时间,Yann LeCun 宣布离开 Meta,准备创立一家专注于世界模型的新公司。

在此之前,谷歌的 Genie 3 已经在业界掀起巨大震动。

尽管三位大佬都投入世界模型赛道,但他们代表着完全不同的未来押注——以及截然不同的技术路径。

世界模型之战已经打响。

李飞飞刚发表了一篇关于空间智能的重要长文,她的创业公司 World Labs 就迅速跟进,推出了首款商用世界模型 Marble。

团队表示,这种技术路线能够显著减少场景变形与细节不一致的问题,并支持导出高斯散点、Mesh 网格模型,甚至直接输出视频。

更进一步的是,Marble 还内置了一个原生 AI 世界编辑器 Chisel。只需一句提示,用户就可以按自己的想法改造整个世界。

对于 VR 创作者或游戏开发者来说,从“一句话 → 生成 3D 世界 → 一键导出 Unity”的完整链路,几乎可以称得上魔法。

然而,有机器学习工程师在 Hacker News 上指出,尽管 Marble 打着“世界模型”的旗号,它看起来更像一个 3D 渲染系统。

这不就是高斯 Splat 模型吗?我在 AI 圈混了这么多年,到现在还是搞不清“世界模型”到底指什么。

一位 Reddit 网友表达得更直接:

用高斯散点、深度和修复技术把图片变成 3D 场景,确实很酷,但这就是一套 3D 高斯生成流水线,不是机器人的大脑。

所谓高斯泼溅,是近几年在 3D 建模领域掀起风潮的一项突破性技术。

它将场景表示为成千上万个漂浮在空间中的彩色模糊小斑点(高斯)。这些斑点被“泼溅”到屏幕上,自然融合成图像。

可以把每一个高斯想象成一个漂浮在三维空间里的、小小的、半透明、边缘柔软的气泡。

一个气泡当然成不了形,但上千个气泡组合在一起,再从不同角度渲染,就能呈现高度逼真的 3D 画面。

这种方法避开了传统摄影测量的复杂流程,虽然牺牲了一些精度,但速度极快,编辑门槛也更低。

Marble 正是沿着这条路径构建的。

但这也意味着,Marble 并不是许多人想象的那种、能直接用于机器人训练的“世界模型”。

Marble 的确构建了一个完整的世界,但我们看到的只是可渲染视图——也就是给人类或摄像头看的画面。

换句话说,Marble 捕捉到的是“世界看起来是什么样”,但没有包含“世界为什么这样运作”的物理规律。

这对于人类来说已足够,但对于机器人而言,它需要的是因果结构,而不仅是像素。

比如,人类一眼就能理解球放在斜坡上会滚下去;但机器人要做出同样判断,需要质量、摩擦、速度等变量,而 Marble 中并不存在这些信息。

也许正因如此,虽然 Marble 的博客多次提到“世界模型”“高斯散点”“网格”和“视频导出”,但几乎从未提及机器人。

不过,在商业化方面,Marble 显然更具优势。

不同于那些仍处于研究阶段、用于具身智能训练的高度抽象世界模型,Marble 是能立即融入游戏与 VR 开发流程的实用工具。

但这也不禁让人思考:通往 AGI 的“世界模型之路”,难道只是噱头?

当然不是。

确实存在用于真实机器人智能的世界模型——最典型的就是 LeCun 的 JEPA。

LeCun 对“世界模型”的理解,几乎与 3D 图形学无关,而是来自控制理论与认知科学。

这种世界模型不会生成漂亮画面,因为它不是给人看的。

它的任务,是让机器人提前思考几步——在行动之前预测世界的变化。

JEPA 正是沿着这一理念设计的。

LeCun 认为,对于 AI 来说,真正重要的是中间抽象表征。模型没必要浪费算力生成像素,而应专注于能支持智能体决策的世界状态。

因此,尽管 JEPA 无法生成 Marble 那样惊艳的 3D 图像,但它更接近机器人真正的大脑。

它学习的是世界的底层结构,是具身智能训练的理想环境。

这也让两种“世界模型”路线出现了截然不同的分野:

李飞飞的路线更像前端资产生成器。
LeCun 的路线则像后端预测系统。

而在两位大佬之间,还有另一家巨头:谷歌。

今年 8 月,谷歌 DeepMind 推出了迄今最先进的世界模型——Genie 3。

只需一句 Prompt,Genie 3 就能生成一个可交互的视频式环境,用户可以在其中探索数分钟。

它最令人惊艳的突破之一,是解决了长期存在的长时一致性问题——不会再出现“转个身整栋楼消失”的怪现象。

它也支持世界事件,例如“开始下雨”“夜幕降临”,仿佛整个世界由模型而非传统引擎驱动。

不过,Genie 更准确的定位应该是“世界模型式视频生成器”。

虽然 Genie 3 让世界“动了起来”,但其核心仍然是视频生成,而非 JEPA 那种基于物理和因果的机制。

它可用于训练智能体,但无法像 JEPA 那样把握世界的物理本质。

同时,它的分辨率与画质也难以和 Marble 那种可导出的高精度 3D 资产相比。

总的来说,这三大“世界模型”都在试图构建“世界”,但理解路线却完全不同,各有千秋:

Marble 展示的是“世界长什么样”。
Genie 3 展示的是“世界如何变化”。
JEPA 探索的是“世界为何如此运作”。

几乎所有世界模型,都可以大致归入这三类:

1. 世界模型即界面
以 Marble 为代表,生成可视化、可编辑的 3D 环境,用于人类交互。

2. 世界模型即模拟器
以 Genie 3 为代表,生成连续、可操控的动态环境,用于智能体的试错学习。

3. 世界模型即认知框架
以 JEPA 为代表,以潜在变量和状态转移为核心,是机器人训练的理想形式。

根据研究者赵昊的观点,这三者可以构成“世界模型金字塔”——底层是李飞飞,中层是 Genie 3,顶层是 LeCun。

仰望这座金字塔:

越往上,模型越抽象、越贴近 AI 的思维方式,更适合机器人训练与推理;
越往下,模型越真实、越具可视化和交互性,但对机器人意义更低。

世界模型的竞赛才刚刚开始。

哪条路线更接近 AGI 仍未可知——但李飞飞、LeCun 与谷歌之间的竞争,已经开始重塑智能系统的未来。

Keep a little curiosity for the next story.

Back to reading

Read next

All