Comment un modèle de langue écrit
Les poids sont gelés et rien n'est retenu. Tirez les curseurs et regardez le modèle choisir le morceau de texte suivant, encore et encore.
Température
1.00
Top-P
0.90
Touchez une partie du schéma pour ouvrir l'étape.
Toute la boucle
Chaîne → morceaux → liens vers les morceaux précédents → couches gelées → probabilités → couper la queue et tirer au hasard → le morceau est ajouté. Et on recommence. Rien d'autre ne se passe quand un modèle est utilisé.
Ce qu’il y a dedans
- 1 Contexte et morceaux — La fenêtre est finie. Une fois pleine, la génération s'arrête : au-delà, le modèle ne retient rien.
- 2 Attention au contexte — Les liens sont recalculés à chaque étape : un morceau de plus et tout le dessin change.
- 3 Poids gelés — L'entraînement change les poids, l'usage non. Deux modes différents du même réseau.
- 4 Probabilités, température et Top-P — Bougez les deux curseurs et regardez « bananes » : voilà le prix d'une température élevée et d'un Top-P proche de un.
- 5 La boucle de génération — Le modèle n'écrit pas une phrase. Il fait un pas, puis un autre, et c'est tout ce qu'il fait.
Explications interactives
- Comment on fait passer un médicament au travers de la barrière hémato-encéphalique Le cerveau refuse presque toutes les molécules de médicament, et il a raison. Un curseur suit l’astuce que testent les laboratoires : emballer la molécule dans une bulle que la paroi sait déjà transporter.
- Comment un robot dessine le plan d’une pièce qu’il n’a jamais vue Un lidar rend quelques centaines de points par tour et aucune idée de l’endroit où il se trouve. Un curseur va de ce nuage jusqu’à un plan où le robot est au bon endroit.
- Comment deux personnes tapent dans la même ligne sans perdre une lettre Deux curseurs, une ligne, personne au milieu pour tenir le stylo. Un curseur démonte la fusion par indices et la reconstruit avec des adresses qui vivent entre les lettres.
- Pourquoi un ordinateur quantique bute sur un réseau L’algorithme de Shor avale RSA d’un coup. La même machine n’obtient presque rien face à une grille de points à laquelle on a ajouté un peu de bruit. Un curseur montre la différence.
- Refroidir un bâtiment en le braquant sur l’espace Un revêtement qui reste plus froid que l’air ambiant, en plein soleil, sans consommer un watt. Un seul curseur suit la chaleur du soleil jusqu’à l’autre côté de l’atmosphère.
- Comment un robot prédit la seconde suivante Un modèle de texte devine le mot suivant. Un modèle du monde devine l’image suivante — masse, vitesse et gravité comprises. Un seul curseur parcourt la boucle entière, de la caméra à la prise.
- Prouver un secret sans le révéler Un curseur parcourt les étapes, l'autre ajoute des tours. Regardez la certitude monter presque au maximum pendant que le secret reste un secret.
- Le lithium de la saumure : bassins contre extraction directe Faites glisser le curseur sur cinq étapes et comparez deux façons de tirer le même métal de la même eau salée.
- Comment fonctionne un vaccin à ARNm personnalisé contre le cancer Faites glisser le curseur sur cinq étapes et voyez comment les mutations propres à une tumeur deviennent la notice qui apprend au système immunitaire à la repérer.
- Le bord de l'application Tout ce qui vient du dehors n'est pas fiable. Cassez un maillon à la fois et regardez où la chaîne s'arrête et ce que l'écran affiche.
- Comment marche la recherche dans vos documents Bougez les curseurs et regardez une chaîne de recherche décider ce que le modèle a le droit de voir — et ce qui arrive quand on lui glisse le mauvais passage.
- Requêtes rejouées et réponses lentes Le réseau lâche au milieu d'une opération. Appuyez deux fois sur le bouton et regardez ce qui reste en base — avec une clé d'idempotence et sans.
- Comment un modèle de langue apprend Tirez un seul curseur et regardez un tas de nombres aléatoires devenir une prédiction en mille étapes.
- D'où vient l'électricité Tirez un seul curseur et suivez l'énergie de la rivière jusqu'à une pompe qui remonte l'eau.