机器人如何预测下一秒

文本模型猜下一个词,世界模型猜下一帧——连质量、速度和重力一起猜。一个滑块走完整个回路,从摄像头到接住。

阶段 它看到什么
  1. 0
  2. 1
  3. 2
  4. 3
  5. 4

点按图中的某一段,即可打开该阶段。

完整的一圈

看见一帧,压成一个状态,把状态推得比真实时间更快,选出能扛过推演的动作,再把发生的事和想象的事放在一起比较。差值就是下一课。

内容一览

  1. 1 一个滚向桌沿的球 — 语言模型会给它配一句说明。世界模型要回答的是另一个问题:接下来会发生什么。
  2. 2 画面变成一小把数字 — 这不是对场景的描述,而是一个可以往前推的状态。
  3. 3 一动不动地往前走五十步 — 这些点不是真实的球,而是模型的想象,画在球的前面。
  4. 4 机械臂挑那条赶得上的轨迹 — 这里的规划,是把自己的选项也一起模拟一遍,而不只是模拟世界。
  5. 5 两条几乎重合的曲线 — 预测误差教会世界模型,正如下一个词的误差教会文本模型。

可交互的讲解

阶段 它看到什么
  1. 0
  2. 1
  3. 2
  4. 3
  5. 4
1 / 5