Wie ein Sprachmodell schreibt
Die Gewichte sind eingefroren, nichts wird gemerkt. Zieh an den Reglern und sieh zu, wie das Modell immer wieder das nächste Textstück wählt.
Temperatur
1.00
Top-P
0.90
Tippe auf einen Teil des Schemas, um den Schritt zu öffnen.
Die ganze Schleife
Zeichenkette → Stücke → Verbindungen zu den vorherigen Stücken → eingefrorene Schichten → Wahrscheinlichkeiten → Schwanz abschneiden und zufällig ziehen → Stück angehängt. Und wieder von vorn. Mehr geschieht beim Benutzen eines Modells nicht.
Was drinsteckt
- 1 Kontext und Stücke — Das Fenster ist endlich. Ist es voll, hört die Erzeugung auf — außerhalb hält das Modell nichts.
- 2 Attention auf den Kontext — Die Verbindungen werden bei jedem Schritt neu berechnet: ein Stück mehr und das ganze Bild ändert sich.
- 3 Eingefrorene Gewichte — Training ändert die Gewichte, Benutzen nicht. Zwei verschiedene Modi desselben Netzes.
- 4 Wahrscheinlichkeiten, Temperatur und Top-P — Beweg beide Regler und schau auf « Bananen»: das ist der Preis hoher Temperatur und eines Top-P nahe eins.
- 5 Die Erzeugungsschleife — Das Modell schreibt keinen Satz. Es macht einen Schritt, dann noch einen, und mehr passiert nicht.
Interaktive Erklärungen
- Wie ein Wirkstoff an der Blut-Hirn-Schranke vorbeigeschmuggelt wird Das Gehirn weist fast jedes Wirkstoffmolekül ab, und das zu Recht. Ein Regler folgt dem Trick, den die Labore stattdessen versuchen: das Molekül in ein Bläschen packen, das die Wand ohnehin zu transportieren weiß.
- Wie ein Roboter die Karte eines Raums zeichnet, den er nie gesehen hat Ein Lidar liefert ein paar hundert Punkte pro Umdrehung und keine Ahnung, wo es steht. Ein Regler geht den Weg von dieser Wolke zu einem Grundriss, in dem der Roboter an der richtigen Stelle steht.
- Wie zwei Leute in dieselbe Zeile tippen, ohne einen Buchstaben zu verlieren Zwei Cursor, eine Zeile, niemand in der Mitte, der den Stift hält. Ein Regler zerlegt das Zusammenführen über Indizes und baut es aus Adressen wieder auf, die zwischen den Buchstaben liegen.
- Warum ein Quantenrechner an einem Gitter stehen bleibt Shors Algorithmus frisst RSA in einem Zug. Dieselbe Maschine richtet gegen ein Punktgitter mit etwas Rauschen fast nichts aus. Ein Regler zeigt den Unterschied.
- Ein Gebäude kühlen, indem man es ins All richtet Eine Beschichtung, die in praller Sonne kälter bleibt als die Luft um sie herum — ohne ein Watt zu verbrauchen. Ein Regler verfolgt die Wärme von der Sonne bis auf die andere Seite der Atmosphäre.
- Wie ein Roboter die nächste Sekunde vorhersagt Ein Textmodell rät das nächste Wort. Ein Weltmodell rät das nächste Bild — samt Masse, Geschwindigkeit und Schwerkraft. Ein Regler führt durch den ganzen Kreis, von der Kamera bis zum Fang.
- Ein Geheimnis beweisen, ohne es zu verraten Ein Regler führt durch die Stufen, der andere fügt Runden hinzu. Sieh zu, wie die Gewissheit fast auf Anschlag steigt, während das Geheimnis geheim bleibt.
- Lithium aus Sole: Verdunstungsbecken gegen Direktgewinnung Zieh den Regler durch fünf Stufen und vergleiche zwei Wege, dasselbe Metall aus demselben Salzwasser zu holen.
- Wie eine personalisierte mRNA-Krebsimpfung funktioniert Zieh den Regler durch fünf Stufen und sieh, wie die eigenen Mutationen eines Tumors zu der Anleitung werden, mit der das Immunsystem ihn finden lernt.
- Der Rand der Anwendung Alles, was von außen kommt, ist nicht vertrauenswürdig. Brich ein Glied nach dem anderen und sieh, wo die Kette stehen bleibt und was der Bildschirm zeigt.
- Wie die Suche in eigenen Dokumenten funktioniert Beweg die Regler und sieh zu, wie eine Suchstrecke entscheidet, was das Modell überhaupt zu sehen bekommt — und was passiert, wenn ihm die falsche Passage untergeschoben wird.
- Wiederholte Anfragen und langsame Antworten Das Netz bricht mitten in einer Operation weg. Drück den Knopf zweimal und sieh, was in der Datenbank landet — mit Idempotency-Key und ohne.
- Wie ein Sprachmodell lernt Zieh an einem einzigen Regler und sieh zu, wie ein Haufen zufälliger Zahlen über tausend Schritte zu einer Vorhersage wird.
- Woher der Strom kommt Zieh an einem einzigen Regler und verfolge die Energie vom Fluss bis zu einer Pumpe, die das Wasser wieder nach oben hebt.