言語モデルはどう文章を書くのか
重みは凍結され、何も覚えられません。スライダーを動かして、モデルが次の断片を何度も選び続ける様子を見てください。
温度
1.00
Top-P
0.90
図の一部をタップすると、その段階が開きます。
繰り返しの全体
文字列 → 断片 → 前の断片への線 → 凍結された層 → 確率 → 裾を切って無作為に1つ引く → 断片を末尾に足す。そしてまた最初から。モデルを使っているあいだ、これ以外は何も起きていません。
収録内容
- 1 文脈と断片 — 窓は有限です。いっぱいになれば生成は止まります。窓の外のものをモデルは何も持っていません。
- 2 文脈への注意 — 線は毎ステップ計算し直されます。断片が1つ増えれば、線の絵はまるごと変わります。
- 3 凍結された重み — 学習は重みを変え、利用は変えません。同じ網の、二つの異なるモードです。
- 4 確率、温度、Top-P — 両方のスライダーを動かして「バナナ」を見てください。高い温度と1に近いTop-Pの代償がそこにあります。
- 5 生成の繰り返し — モデルは文を書いているのではありません。一歩進み、また一歩進む。それだけです。
インタラクティブな解説
- 薬はどうやって血液脳関門をすり抜けるのか 脳はほとんどすべての薬の分子を通しません。そしてそれは正しい判断です。スライダー一本で、いま研究室が試している手を追います。壁がもともと運び方を知っている小胞に、分子を包んでしまうのです。
- ロボットは初めて入った部屋の地図をどう描くのか ライダーが一回転で返すのは数百個の点だけで、自分がどこにいるかは分かりません。スライダー一本で、その点群から、ロボットが正しい位置に立つ間取り図までを歩きます。
- 二人が同じ一行に打ち込んでも、一文字も消えない仕組み カーソルは二つ、行は一つ、真ん中でペンを握る人はいない。スライダー一本で、添字による併合を分解し、文字と文字のあいだにある住所で組み直します。
- 量子計算機はなぜ格子の前で止まるのか ショアのアルゴリズムは RSA を一手で食べてしまいます。同じ機械が、少しノイズを足された点の格子にはほとんど歯が立ちません。スライダー一本でその差を見ます。
- 宇宙へ向けて建物を冷やす 直射日光の下でも周囲の空気より冷たいままで、電力を一切使わない塗膜。スライダー一本で、太陽から大気の向こう側まで熱を追いかけます。
- ロボットはどうやって次の一秒を予測するのか 言語モデルは次の単語を当てる。世界モデルは次のフレームを当てる——質量も速度も重力も込みで。スライダー一本で、カメラから捕球までの一周をたどれます。
- 秘密を明かさずに証明する 一方のスライダーで段階を進み、もう一方でラウンドを増やします。確信がほぼ確実まで上がっていく一方で、秘密は秘密のまま残ります。
- かん水からのリチウム：蒸発池と直接回収 スライダーで五つの段階をたどり、同じ塩水から同じ金属を取り出す二つのやり方を比べてください。
- 個別化mRNAがんワクチンの仕組み スライダーで五つの段階をたどり、腫瘍そのものの変異が、免疫にその腫瘍の見つけ方を教える設計図へ変わっていく様子を見てください。
- アプリケーションの境界 外から来るものはすべて信用できません。鎖を一つずつ壊して、どこで止まり、画面に何が出るかを見てください。
- 自分の文書を検索する仕組み スライダーを動かして、検索の流れがモデルに何を見せるかを決める様子を見てください。まちがった一節を渡したとき何が起きるかも。
- 再送とおそい応答 操作の途中でネットワークが切れます。ボタンを二度押して、データベースに何が残るかを見てください。冪等キーがある場合と、ない場合とで。
- 言語モデルはどう学ぶのか スライダーを1つ動かして、でたらめな数の山が千ステップで予測に変わっていく様子を見てください。
- 電気はどこから来るのか スライダーを1つ動かして、川から水をくみ上げるポンプまで、エネルギーの道のりをたどってみてください。