Wie ein Sprachmodell lernt
Zieh an einem einzigen Regler und sieh zu, wie ein Haufen zufälliger Zahlen über tausend Schritte zu einer Vorhersage wird.
Trainingsschritte 0
Tippe auf einen Teil des Schemas, um den Schritt zu öffnen.
Der ganze Kreislauf
Textstücke → Zahlen → Schichten aus Gewichten → Punktzahlen → Prozente → Fehler → eine Korrektur an jedem Gewicht. Nichts wird auswendig gelernt: Training sind Millionen winziger Anpassungen an Zahlen, wiederholt, bis die richtige Fortsetzung die wahrscheinlichste ist.
Was drinsteckt
- 1 Der Text wird zerschnitten — Das führende Leerzeichen gehört zum Stück, deshalb sind « trinkt» und «trinkt» zwei verschiedene Zeilen.
- 2 Zahlen statt Wörter — Beweg den Regler, und das Zittern hört auf — die Zahlen setzen sich auf sinnvolle Werte.
- 3 Schichten und Attention — Die Linienfarbe ist das Vorzeichen des Gewichts, die Dicke seine Größe. Im Moment ist jedes Gewicht zufällig.
- 4 Die Vorhersage — Die richtige Fortsetzung, «Milch», steht noch auf Platz drei.
- 5 Fehler und Lernen — Der Regler treibt diesen Kreislauf: Bei Schritt 1000 steht «Milch» bei 92%, «Traktor» bei 0.01%, und der Fehler ist auf 0.08 gefallen.
Interaktive Erklärungen
- Wie ein Wirkstoff an der Blut-Hirn-Schranke vorbeigeschmuggelt wird Das Gehirn weist fast jedes Wirkstoffmolekül ab, und das zu Recht. Ein Regler folgt dem Trick, den die Labore stattdessen versuchen: das Molekül in ein Bläschen packen, das die Wand ohnehin zu transportieren weiß.
- Wie ein Roboter die Karte eines Raums zeichnet, den er nie gesehen hat Ein Lidar liefert ein paar hundert Punkte pro Umdrehung und keine Ahnung, wo es steht. Ein Regler geht den Weg von dieser Wolke zu einem Grundriss, in dem der Roboter an der richtigen Stelle steht.
- Wie zwei Leute in dieselbe Zeile tippen, ohne einen Buchstaben zu verlieren Zwei Cursor, eine Zeile, niemand in der Mitte, der den Stift hält. Ein Regler zerlegt das Zusammenführen über Indizes und baut es aus Adressen wieder auf, die zwischen den Buchstaben liegen.
- Warum ein Quantenrechner an einem Gitter stehen bleibt Shors Algorithmus frisst RSA in einem Zug. Dieselbe Maschine richtet gegen ein Punktgitter mit etwas Rauschen fast nichts aus. Ein Regler zeigt den Unterschied.
- Ein Gebäude kühlen, indem man es ins All richtet Eine Beschichtung, die in praller Sonne kälter bleibt als die Luft um sie herum — ohne ein Watt zu verbrauchen. Ein Regler verfolgt die Wärme von der Sonne bis auf die andere Seite der Atmosphäre.
- Wie ein Roboter die nächste Sekunde vorhersagt Ein Textmodell rät das nächste Wort. Ein Weltmodell rät das nächste Bild — samt Masse, Geschwindigkeit und Schwerkraft. Ein Regler führt durch den ganzen Kreis, von der Kamera bis zum Fang.
- Ein Geheimnis beweisen, ohne es zu verraten Ein Regler führt durch die Stufen, der andere fügt Runden hinzu. Sieh zu, wie die Gewissheit fast auf Anschlag steigt, während das Geheimnis geheim bleibt.
- Lithium aus Sole: Verdunstungsbecken gegen Direktgewinnung Zieh den Regler durch fünf Stufen und vergleiche zwei Wege, dasselbe Metall aus demselben Salzwasser zu holen.
- Wie eine personalisierte mRNA-Krebsimpfung funktioniert Zieh den Regler durch fünf Stufen und sieh, wie die eigenen Mutationen eines Tumors zu der Anleitung werden, mit der das Immunsystem ihn finden lernt.
- Der Rand der Anwendung Alles, was von außen kommt, ist nicht vertrauenswürdig. Brich ein Glied nach dem anderen und sieh, wo die Kette stehen bleibt und was der Bildschirm zeigt.
- Wie die Suche in eigenen Dokumenten funktioniert Beweg die Regler und sieh zu, wie eine Suchstrecke entscheidet, was das Modell überhaupt zu sehen bekommt — und was passiert, wenn ihm die falsche Passage untergeschoben wird.
- Wiederholte Anfragen und langsame Antworten Das Netz bricht mitten in einer Operation weg. Drück den Knopf zweimal und sieh, was in der Datenbank landet — mit Idempotency-Key und ohne.
- Wie ein Sprachmodell schreibt Die Gewichte sind eingefroren, nichts wird gemerkt. Zieh an den Reglern und sieh zu, wie das Modell immer wieder das nächste Textstück wählt.
- Woher der Strom kommt Zieh an einem einzigen Regler und verfolge die Energie vom Fluss bis zu einer Pumpe, die das Wasser wieder nach oben hebt.