言語モデルはどう学ぶのか
スライダーを1つ動かして、でたらめな数の山が千ステップで予測に変わっていく様子を見てください。
学習ステップ 0
図の一部をタップすると、その段階が開きます。
循環の全体
文の断片 → 数 → 重みの層 → 点数 → 割合 → 誤差 → すべての重みへの微修正。丸暗記は起きていません。学習とは、正しい続きが最も確からしくなるまで、数へ何百万回も小さな調整を繰り返すことです。
収録内容
- 1 文を切り刻む — 前後の空白や助詞も断片の一部なので、切れ目が違えば別の行になります。
- 2 言葉のかわりに数 — スライダーを動かすと震えが止まり、数は意味のある値に落ち着きます。
- 3 層と注意 — 線の色は重みの符号、太さは大きさ。いまはどの重みもでたらめです。
- 4 予測 — 正しい続き「牛乳」は、まだ3番目です。
- 5 誤差と学習 — スライダーがこの循環を回します。1000ステップで「牛乳」92%、「トラクター」0.01%、誤差は0.08まで下がります。
インタラクティブな解説
- 薬はどうやって血液脳関門をすり抜けるのか 脳はほとんどすべての薬の分子を通しません。そしてそれは正しい判断です。スライダー一本で、いま研究室が試している手を追います。壁がもともと運び方を知っている小胞に、分子を包んでしまうのです。
- ロボットは初めて入った部屋の地図をどう描くのか ライダーが一回転で返すのは数百個の点だけで、自分がどこにいるかは分かりません。スライダー一本で、その点群から、ロボットが正しい位置に立つ間取り図までを歩きます。
- 二人が同じ一行に打ち込んでも、一文字も消えない仕組み カーソルは二つ、行は一つ、真ん中でペンを握る人はいない。スライダー一本で、添字による併合を分解し、文字と文字のあいだにある住所で組み直します。
- 量子計算機はなぜ格子の前で止まるのか ショアのアルゴリズムは RSA を一手で食べてしまいます。同じ機械が、少しノイズを足された点の格子にはほとんど歯が立ちません。スライダー一本でその差を見ます。
- 宇宙へ向けて建物を冷やす 直射日光の下でも周囲の空気より冷たいままで、電力を一切使わない塗膜。スライダー一本で、太陽から大気の向こう側まで熱を追いかけます。
- ロボットはどうやって次の一秒を予測するのか 言語モデルは次の単語を当てる。世界モデルは次のフレームを当てる——質量も速度も重力も込みで。スライダー一本で、カメラから捕球までの一周をたどれます。
- 秘密を明かさずに証明する 一方のスライダーで段階を進み、もう一方でラウンドを増やします。確信がほぼ確実まで上がっていく一方で、秘密は秘密のまま残ります。
- かん水からのリチウム：蒸発池と直接回収 スライダーで五つの段階をたどり、同じ塩水から同じ金属を取り出す二つのやり方を比べてください。
- 個別化mRNAがんワクチンの仕組み スライダーで五つの段階をたどり、腫瘍そのものの変異が、免疫にその腫瘍の見つけ方を教える設計図へ変わっていく様子を見てください。
- アプリケーションの境界 外から来るものはすべて信用できません。鎖を一つずつ壊して、どこで止まり、画面に何が出るかを見てください。
- 自分の文書を検索する仕組み スライダーを動かして、検索の流れがモデルに何を見せるかを決める様子を見てください。まちがった一節を渡したとき何が起きるかも。
- 再送とおそい応答 操作の途中でネットワークが切れます。ボタンを二度押して、データベースに何が残るかを見てください。冪等キーがある場合と、ない場合とで。
- 言語モデルはどう文章を書くのか 重みは凍結され、何も覚えられません。スライダーを動かして、モデルが次の断片を何度も選び続ける様子を見てください。
- 電気はどこから来るのか スライダーを1つ動かして、川から水をくみ上げるポンプまで、エネルギーの道のりをたどってみてください。