Comment un modèle de langue apprend
Tirez un seul curseur et regardez un tas de nombres aléatoires devenir une prédiction en mille étapes.
Étapes d'entraînement 0
Touchez une partie du schéma pour ouvrir l'étape.
Tout le cycle
Morceaux de texte → nombres → couches de poids → scores → pourcentages → erreur → une correction sur chaque poids. Rien n'est appris par cœur : l'entraînement, ce sont des millions d'ajustements minuscules répétés jusqu'à ce que la bonne suite devienne la plus probable.
Ce qu’il y a dedans
- 1 Le texte est découpé — L'espace de tête fait partie du morceau : « boit » et «boit» sont deux lignes différentes.
- 2 Des nombres à la place des mots — Bougez le curseur et le tremblement cesse : les nombres se posent sur des valeurs qui veulent dire quelque chose.
- 3 Couches et attention — La couleur de la ligne donne le signe du poids, son épaisseur la taille. Pour l'instant tous sont aléatoires.
- 4 La prédiction — La bonne suite, « Lait », n'est encore qu'en troisième position.
- 5 Erreur et apprentissage — Le curseur entraîne ce cycle : à l'étape 1000, « Lait » est à 92%, « Tracteur » à 0.01%, et l'erreur est tombée à 0.08.
Explications interactives
- Comment on fait passer un médicament au travers de la barrière hémato-encéphalique Le cerveau refuse presque toutes les molécules de médicament, et il a raison. Un curseur suit l’astuce que testent les laboratoires : emballer la molécule dans une bulle que la paroi sait déjà transporter.
- Comment un robot dessine le plan d’une pièce qu’il n’a jamais vue Un lidar rend quelques centaines de points par tour et aucune idée de l’endroit où il se trouve. Un curseur va de ce nuage jusqu’à un plan où le robot est au bon endroit.
- Comment deux personnes tapent dans la même ligne sans perdre une lettre Deux curseurs, une ligne, personne au milieu pour tenir le stylo. Un curseur démonte la fusion par indices et la reconstruit avec des adresses qui vivent entre les lettres.
- Pourquoi un ordinateur quantique bute sur un réseau L’algorithme de Shor avale RSA d’un coup. La même machine n’obtient presque rien face à une grille de points à laquelle on a ajouté un peu de bruit. Un curseur montre la différence.
- Refroidir un bâtiment en le braquant sur l’espace Un revêtement qui reste plus froid que l’air ambiant, en plein soleil, sans consommer un watt. Un seul curseur suit la chaleur du soleil jusqu’à l’autre côté de l’atmosphère.
- Comment un robot prédit la seconde suivante Un modèle de texte devine le mot suivant. Un modèle du monde devine l’image suivante — masse, vitesse et gravité comprises. Un seul curseur parcourt la boucle entière, de la caméra à la prise.
- Prouver un secret sans le révéler Un curseur parcourt les étapes, l'autre ajoute des tours. Regardez la certitude monter presque au maximum pendant que le secret reste un secret.
- Le lithium de la saumure : bassins contre extraction directe Faites glisser le curseur sur cinq étapes et comparez deux façons de tirer le même métal de la même eau salée.
- Comment fonctionne un vaccin à ARNm personnalisé contre le cancer Faites glisser le curseur sur cinq étapes et voyez comment les mutations propres à une tumeur deviennent la notice qui apprend au système immunitaire à la repérer.
- Le bord de l'application Tout ce qui vient du dehors n'est pas fiable. Cassez un maillon à la fois et regardez où la chaîne s'arrête et ce que l'écran affiche.
- Comment marche la recherche dans vos documents Bougez les curseurs et regardez une chaîne de recherche décider ce que le modèle a le droit de voir — et ce qui arrive quand on lui glisse le mauvais passage.
- Requêtes rejouées et réponses lentes Le réseau lâche au milieu d'une opération. Appuyez deux fois sur le bouton et regardez ce qui reste en base — avec une clé d'idempotence et sans.
- Comment un modèle de langue écrit Les poids sont gelés et rien n'est retenu. Tirez les curseurs et regardez le modèle choisir le morceau de texte suivant, encore et encore.
- D'où vient l'électricité Tirez un seul curseur et suivez l'énergie de la rivière jusqu'à une pompe qui remonte l'eau.