LeCun 创立的 AI 初创公司 AMI（Advanced Machine Intelligence）最近悄然发布了新成果。
在最新论文 H-JEPA 中，AMI 携手纽约大学、巴黎 INRIA 以及布朗大学的研究人员，推出了一款用于视觉规划的 分层世界模型。
H-JEPA 通过将多个 JEPA 逐层堆叠，使每一层能在自身的表征空间中，预测不同时间跨度后的状态。
在规划过程中，高层先制定粗略方案，然后将预测的中间状态作为子目标传递给低层，低层再逐步细化，最终形成可执行的动作。
这种分工模式，让世界模型既能规划长期目标，又能处理即时动作。
在 Visual AntMaze 仿真迷宫任务中，三层 H-JEPA 的成功率达到了 73%，而单层模型仅为 18%。
此外，在多项仿真任务里，分层模型以更少的规划计算量，取得了更优的表现。
除了亮眼的测试成绩，H-JEPA 也延续了 LeCun 创业之初强调的开源理念。
团队同步公开了代码和预训练模型权重，研究者可直接加载模型，复现规划实验。
为什么世界模型需要分层规划？
LeCun 对此早有论述。
早在 2022 年，他还在 Meta 担任首席 AI 科学家时，就提出了分层 JEPA 的构想：
让模型在不同抽象层级和时间尺度上预测，再通过分层规划，将复杂目标转化为动作。
这听起来可能有些抽象，但用 LeCun 常举的例子来解释，就很容易理解。
假设你正坐在纽约大学的办公室里，准备前往巴黎。规划整趟行程时，你关注的是目的地、航班和时间安排。
确定行程后，你开始进一步安排如何离开办公室、下楼、打车去机场。
等到真正走出办公室时，你关注的信息又变成了眼前的地面、楼梯，以及下一步该落在哪里，先迈哪只脚。
这些规划层级覆盖了不同的时间跨度，也需要不同的信息。规划航程时，脚下某一级台阶的高度并不重要；走下楼梯时，这个细节却直接决定你该怎样迈步。
这并非人类规划独有的特性。对于机器人来说，高层需要理解任务目标、环境关系和未来方向，低层则需要掌握具体动作和身体控制细节。
例如，四足机器人已经到达目标位置，但腿部姿态与目标画面不同，模型仍可能因这些差异，认为自己离目标很远。
于是，问题就变成了：
如何让不同层级分别学习适合自己的信息表征，再把高层计划逐步落实为低层动作？
H-JEPA 具体怎么做？
为解决上述问题，H-JEPA 在每一层配置了三个组件，分别处理状态、动作和预测。
其中，状态编码器负责提取当前环境的表征。 最低层直接读取图像，更高层则基于下层表征进一步抽象，保留该时间尺度下更重要的信息。
动作编码器负责描述动作带来的变化。 低层表示具体动作，高层则将一段连续动作压缩成更粗粒度的变化。
预测器则结合当前状态和动作，预测未来状态。 不同层级覆盖不同时间跨度，论文实验中，相邻高层的一步对应低层的两步预测。
在模型训练方面，各层通过端到端训练共同学习，不同层级通过子目标衔接。
高层预测出的中间状态成为低层的子目标，低层会将自己预测的状态转换到高层表征空间，与高层指定的子目标比较，再据此调整动作。
不过，训练世界模型时，还需解决一个经典问题：表征坍塌。
如果编码器将所有输入都压缩成同一个向量，预测器只输出这个向量，也能获得很低的预测误差，但模型实际上没有学到任何有用信息。
为此，H-JEPA 沿用了 LeCun 团队此前在 LeJEPA 中提出的 SIGReg，对表征分布进行约束，避免不同状态被压缩到同一个向量。
今年的 LeWorldModel 将这套方法用于世界模型训练。H-JEPA 则以它为最底层，向上增加更多 JEPA，形成共同训练、由上至下规划的结构。
实验中，研究者进一步观察到了不同层级的信息取舍。在迷宫任务里，高层逐渐弱化腿部姿态，但仍保留了机器人的位置信息。
不过，分层也有适用条件。Push-T 任务中的两层模型表现较好，增加到三层、四层后，成绩反而下降。
论文认为，这可能是较短的任务轨迹限制了高层可用的训练数据。
LeCun，还是那个 LeCun
总体而言，H-JEPA 的这些设计，延续了 JEPA 的一项基本主张：在表征空间中完成预测。
JEPA 的全称是“联合嵌入预测架构”。LLM 通常通过预测下一个 token 来学习生成内容；视觉 JEPA 则先将图像、视频编码成内部表征，再预测目标部分的表征，无需逐个生成图像像素。
在 H-JEPA 这类世界模型中，模型还会结合动作，预测未来状态的表征。规划器据此比较不同动作的后果，寻找通向目标的方案。
LeCun 一直认为，理解世界、预测行动后果和规划，是走向人类级智能必须具备的能力。他对 LLM 的判断，也始终围绕这一点。
今年 9 月，在瑞典马尔默举行的 ECCV 上，他的演讲幻灯片再次出现了那句熟悉的建议：
如果你对人类级 AI 感兴趣，就不要研究 LLM。
这张幻灯片传到社交平台后，有人怀疑其真实性。LeCun 回复：
包是真的。
他随后补充，基于 LLM 的 AI 工具非常有用，大家都在使用。但他认为，单靠 LLM 本身无法达到人类级智能。
如今，这套研究主张也成为 AMI 的创业方向。
今年 3 月，AMI 宣布完成 10.3 亿美元融资，投前估值 35 亿美元。
公司由 LeCun 担任董事长，Alexandre LeBrun 担任 CEO，谢赛宁担任首席科学家，Pascale Fung 负责研究与创新，Michael Rabbat 负责世界模型，而 Rabbat 也是这次 H-JEPA 论文的作者之一。
不过，研究成果归研究成果，外界对 AMI 的另一个期待，仍然是产品。
至少从目前官网来看，公司展示的主要还是技术方向、团队和招聘信息，尚未看到面向公众的产品入口。
另一边，同样押注世界模型的 World Labs，已经迎来了新的转折。
9 月 28 日，AMD 宣布与李飞飞创办的 World Labs 签订约 82 亿美元的全股票收购协议。
可以说，一边正在走向与芯片公司的结合，另一边则继续沿着自己的研究路线往前推进。
但随着李飞飞的世界模型创业有了里程碑进展，Yann LeCun 的大结果是不是也只是时间问题而已了呢？
参考链接
[2]https://arxiv.org/pdf/2610.06805
本文来自微信公众号“量子位”，作者：henry ，36氪经授权发布。