Soif de réel : décryptage de GPT-6 Astra

L'architecture Transformer sur laquelle reposent tous les modèles de langage modernes a été inventée chez Google en 2017. OpenAI a parié sur la mise à l'échelle de cette architecture quand peu de gens y croyaient, et sort depuis un modèle phare par an. La question est de savoir où se situe exactement le progrès dans chaque nouvelle version.

Le 3 septembre 2026, OpenAI a publié GPT-6 Astra et annoncé l'arrivée de l'ère AGI. Le président de l'entreprise, Greg Brockman, a résumé la sortie en une phrase : le test ARC-AGI-3 est entièrement résolu.

Quelques heures plus tard, l'organisation qui conçoit ce même test a publié sa propre mesure. Elle s'écartait du chiffre d'OpenAI de près de quarante points de pourcentage.

Suivent quatre nombres qui en disent plus sur cette sortie que tout le marketing qui l'entoure.

ARC-AGI-3 évalue la capacité à se repérer dans un environnement interactif inconnu. Le modèle atterrit dans quelque chose qui n'était pas dans ses données d'entraînement et doit comprendre les règles en chemin. C'est précisément cette compétence que l'on présente comme la frontière entre un humain et un modèle statistique. OpenAI a annoncé 99,9%. ARC Prize, l'organisation à l'origine du test, a mesuré 62,71%. Les deux chiffres sont réels, et la différence tient à la façon dont le modèle a été exécuté.

Il faut ici parler du harness : ce n'est pas le réseau de neurones lui-même, c'est l'échafaudage, le code autour du modèle, un programme externe qui lance le modèle, conserve ses notes, lui transmet la tâche par morceaux et récupère la réponse. OpenAI disposait de son propre harness : il conservait le raisonnement interne du modèle d'une étape à l'autre et compressait intelligemment les longs dialogues. Celui d'ARC Prize est standard, identique pour tous les modèles.

Le verdict d'ARC Prize : l'écart vient du traitement de la mémoire, mais le réseau de neurones est le même dans les deux cas. Trente-sept points de pourcentage de gain proviennent du code autour du modèle, c'est-à-dire du harness.

ExploitBench vérifie si un modèle sait trouver des vulnérabilités dans des programmes. Astra a obtenu 100%.

Le même test, reconstruit sans les vulnérabilités historiques, c'est-à-dire sans les failles déjà décrites sur internet et absorbées par les données d'entraînement, a donné 39%.

C'est exactement le débat qui dure depuis des années, exprimé par un chiffre. Là où la tâche a déjà été résolue, le résultat frôle la perfection. Là où la tâche est réellement nouvelle, il chute d'un facteur deux et demi.

Oui, 39% sur la recherche de vulnérabilités inconnues, cela reste beaucoup. Ce n'est pas pour rien qu'OpenAI a attribué au modèle un niveau critique de capacités cyber et fermé une partie des fonctions à l'accès public. Mais l'écart entre 100% et 39% parle avant tout d'une bonne mémoire du système pour ce qui est déjà connu. Sur la capacité à trouver du réellement nouveau, il dit beaucoup moins.

Artificial Analysis, plateforme indépendante de comparaison de modèles, a attribué à Astra 61,2 points sur son indice général d'intelligence. Au modèle précédent, GPT-5.6 Sol, elle avait donné 60,9. Trois dixièmes de point par génération. Sur le codage agentique, c'est-à-dire les tâches où le modèle travaille seul longtemps : il écrit du code, l'exécute, voit l'erreur et la corrige, l'écart existe aussi : 67,0 contre 65,1. Le progrès est là, et il se situe de nouveau là où le modèle travaille en boucle avec des outils externes.

Selon les tarifs officiels, Astra coûte 10 dollars par million de tokens en entrée et 50 par million en sortie. C'est deux fois et demie plus cher que le précédent modèle phare.

Au total : un gain quasi nul sur l'indice général d'intelligence, pour un prix multiplié par deux et demi.

Le gain apparaît là où l'échafaudage a été amélioré : mémoire entre les étapes, usage de l'ordinateur, longues chaînes d'actions. Là où l'on mesure le modèle à l'état pur, le gain tient dans la marge d'erreur, tandis que le prix a été multiplié.

Le progrès a déménagé du réseau de neurones vers l'ingénierie qui l'entoure.

Vers la gestion de la mémoire, vers les bacs à sable d'exécution de code, vers les cycles j'ai essayé, j'ai vu l'erreur, j'ai corrigé, vers les protocoles de travail avec des outils externes.

C'est une phase normale pour toute technologie. Le réacteur a été inventé une fois, et les quarante années suivantes ont été consacrées à la cellule, au carburant, aux instruments et à la maintenance.

François Chollet, auteur d'ARC-AGI et l'un des critiques les plus sévères de la surévaluation des modèles de langage, a rapproché sa prévision d'apparition de l'AGI après Astra. Sa formulation : le progrès va environ deux fois plus vite qu'il ne s'y attendait. Il a noté à part que, sur l'efficacité de l'action, Astra a pour la première fois égalé l'humain. Un humain moyen obtient environ 48% à ce test, Astra 62,71%. Epoch AI a placé Astra en tête de son indice de capacités avec un record de 169 points. Autrement dit, les gens dont le métier est de prendre les modèles en flagrant délit de mémorisation disent qu'il s'est passé quelque chose de fondamental.

Le bond de 7,8% pour GPT-5.6 Sol et 30,2% pour Claude Opus 5 à 62,71% est un fait, le progrès existe. Mais le contexte compte : Chollet lui-même a souligné que les résultats du test ne prouvent pas l'apparition de l'AGI, et a désigné la différence de harness comme la cause de cet écart de chiffres, qualifiant d'incorrecte la comparaison directe entre 99,9% et 62,7%. Voir l'auteur d'un test préciser comment un géant de l'IA utilise ses résultats est rare et révélateur.

L'écart entre ce que les modèles savent déjà faire et ce qui est réellement intégré aux processus métier est aujourd'hui bien plus grand que l'écart entre générations de modèles. Pendant que le marché débat de l'arrivée de l'ère AGI, le travail restant se situe deux niveaux plus bas : intégrations, mémoire, accès, gestion des erreurs, vérification humaine du résultat.

Le gain qu'OpenAI facture deux fois et demie plus cher, vous pouvez pour l'essentiel l'obtenir vous-même. Il se concentre dans l'échafaudage autour du modèle, et cet échafaudage est déjà écrit par des ingénieurs IA ordinaires.

Bonne nouvelle pour ceux qui construisent des systèmes. Mauvaise pour ceux qui attendent que le prochain modèle résolve tout à leur place.