语言模型是怎么写出文字的
权重被冻结，什么也不会被记住。拖动滑块，看模型一次又一次地挑出下一个文本碎片。
温度
1.00
Top-P
0.90
点击图中任意一段，可打开该步骤。
完整的循环
文字串 → 碎片 → 与之前碎片的连线 → 冻结的层 → 概率 → 切掉尾巴并随机抽一个 → 碎片接到末尾。然后再从头来一遍。使用模型的时候，除此之外什么也没发生。
内容一览
- 1 上下文与碎片 — 窗口是有限的。装满以后生成就停下——窗口之外的东西模型什么也没有。
- 2 对上下文的注意力 — 每一步这些线都要重算一遍：多一个碎片，整张图就变了。
- 3 冻结的权重 — 训练会改权重，使用不会。这是同一个网络的两种不同模式。
- 4 概率、温度与 Top-P — 把两个滑块都推一推，然后看「香蕉」：那就是高温度加上接近 1 的 Top-P 的代价。
- 5 生成的循环 — 模型并不是在写句子。它走一步，再走一步，除此之外什么也没做。
可交互的讲解
- 药物是怎样被送过血脑屏障的 大脑几乎拒绝所有药物分子，而且这么做是对的。一个滑块，跟着实验室正在试的那一手走：把分子包进一个血管壁本来就知道怎么运的小囊泡里。
- 机器人怎样画出一间从没见过的房间的地图 激光雷达转一圈只给出几百个点，并不知道自己在哪儿。一个滑块，从这团点云一路走到一张平面图，机器人正好站在对的位置上。
- 两个人同时敲同一行，为什么一个字母都不会丢 两个光标、一行文字，中间没有人握着笔。一个滑块拆开按下标合并的做法，再用字母之间的地址把它重新装起来。
- 量子计算机为什么会卡在格上 Shor 算法一步就吃掉 RSA。同一台机器面对一张加了点噪声的点阵，却几乎无从下手。一个滑块就能看出差别。
- 把建筑对准太空来降温 一层涂料，在烈日下仍比周围空气更凉，而且一瓦电都不用。一个滑块，把热量从太阳一路送到大气层的另一侧。
- 机器人如何预测下一秒 文本模型猜下一个词，世界模型猜下一帧——连质量、速度和重力一起猜。一个滑块走完整个回路，从摄像头到接住。
- 不泄露秘密地证明自己知道它 一个滑块走过各个阶段，另一个增加轮数。看着把握逼近十足，而秘密始终还是秘密。
- 从卤水里取锂：晒盐池与直接提取 拖动滑块走过五个阶段，比较从同一份盐水里取出同一种金属的两条路。
- 个体化 mRNA 癌症疫苗是怎么起作用的 拖动滑块走过五个阶段，看肿瘤自身的突变如何变成一份说明书，教会免疫系统去找到它。
- 应用的边界 凡是从外面来的都不可信。一次断掉一环，看链条停在哪里、屏幕上又出现什么。
- 在自己的文档里检索是怎么回事 拖动滑块，看一条检索流水线如何决定模型能看到什么——以及塞给它错误段落时会发生什么。
- 重复请求与很慢的响应 网络在操作中途断掉。把按钮按两下，看看数据库里最后剩下什么——有幂等键和没有幂等键。
- 语言模型是怎么学会的 拖动一个滑块，看一堆随机数字如何在一千步里变成一个预测。
- 电从哪里来 拖动一个滑块，跟着能量从河流一路走到把水重新抽上去的水泵。