Sete di realtà: analisi di GPT-6 Astra

Quattro numeri del rilascio di GPT-6 Astra: 99,9 contro 62,7, 100 contro 39, 61,2 contro 60,9 e un prezzo 2,5 volte più alto. Il progresso si è trasferito nell'harness.

·
Sete di realtà: analisi di GPT-6 Astra
Il guadagno sta nell'impalcatura, non nel modello

L'architettura Transformer su cui sono costruiti tutti i modelli linguistici moderni è stata inventata in Google nel 2017. OpenAI ha scommesso sullo scaling di quell'architettura quando in pochi ci credevano, e da allora pubblica un modello di punta all'anno. La domanda è dove avvenga esattamente il progresso in ogni nuovo rilascio.

Il 3 settembre 2026 OpenAI ha rilasciato GPT-6 Astra e ha annunciato l'arrivo dell'era AGI. Il presidente dell'azienda, Greg Brockman, ha riassunto il rilascio in una frase: il test ARC-AGI-3 è completamente superato.

Poche ore dopo, l'organizzazione che costruisce proprio quel test ha pubblicato la propria misurazione. Si discostava dal numero di OpenAI di quasi quaranta punti percentuali.

Seguono quattro numeri che dicono su questo rilascio più di tutto il marketing che lo circonda.

Numero uno: 99,9 contro 62,7

ARC-AGI-3 verifica la capacità di orientarsi in un ambiente interattivo sconosciuto. Il modello finisce in qualcosa che non era nei dati di addestramento e deve capire le regole strada facendo. È proprio questa l'abilità che di solito viene definita il confine tra una persona e un modello statistico. OpenAI ha dichiarato 99,9%. ARC Prize, l'organizzazione autrice del test, ha misurato 62,71%. Entrambe le cifre sono vere, e la differenza sta in come il modello è stato eseguito.

Qui va detto qualcosa sull'harness: non è la rete neurale in sé, è l'impalcatura, il codice attorno al modello, un programma esterno che lo avvia, ne conserva gli appunti, gli passa il compito a pezzi e ne raccoglie la risposta. OpenAI aveva il proprio harness: conservava il ragionamento interno del modello tra un passo e l'altro e comprimeva in modo intelligente i dialoghi lunghi. Quello di ARC Prize è standard, identico per tutti i modelli.

Il verdetto di ARC Prize: la differenza è dovuta alla gestione della memoria, ma la rete neurale è la stessa in entrambi i casi. Trentasette punti percentuali di guadagno li ha dati il codice attorno al modello, cioè proprio l'harness.

Numero due: 100 contro 39

ExploitBench verifica se il modello sa trovare vulnerabilità nei programmi. Astra ha ottenuto il 100%.

Lo stesso test, ricomposto senza vulnerabilità storiche, cioè senza le falle già descritte in rete e finite nei dati di addestramento, ha dato il 39%.

È esattamente la discussione che va avanti da anni, espressa in un numero. Dove il problema era già stato risolto prima, il risultato è vicino alla perfezione. Dove il problema è davvero nuovo, crolla di due volte e mezzo.

Sì, il 39% nella ricerca di vulnerabilità sconosciute è comunque molto. Non a caso OpenAI ha assegnato al modello un livello critico di capacità cyber e ha chiuso parte delle funzioni all'accesso pubblico. Ma la differenza tra 100% e 39% parla soprattutto di una buona memoria del sistema per ciò che è già noto. Sulla capacità di trovare qualcosa di realmente nuovo dice molto meno.

Numero tre: 61,2 contro 60,9

Artificial Analysis, piattaforma indipendente di confronto tra modelli, ha assegnato ad Astra 61,2 punti nell'indice generale di intelligenza. Al modello precedente, GPT-5.6 Sol, ne aveva assegnati 60,9. Tre decimi di punto per generazione. Sul coding agentico, cioè sui compiti in cui il modello lavora a lungo da solo: scrive codice, lo esegue, vede l'errore e lo corregge, il divario c'è comunque: 67,0 contro 65,1. Il progresso c'è, ed è di nuovo dove il modello lavora in ciclo con strumenti esterni.

Numero quattro: 2,5x

Secondo i prezzi ufficiali, Astra costa 10 dollari per milione di token in ingresso e 50 per milione in uscita. È due volte e mezzo più caro del precedente modello di punta.

In sintesi: guadagno quasi nullo nell'indice generale di intelligenza a fronte di un prezzo cresciuto di due volte e mezzo.

Ricomponiamo il quadro

Il guadagno compare dove è stata migliorata l'impalcatura: memoria tra i passi, uso del computer, lunghe catene di azioni. Dove si misura il modello puro, il guadagno rientra nel margine di errore, mentre il prezzo è cresciuto di molte volte.

Il progresso si è trasferito dalla rete neurale all'ingegneria che le sta intorno.

Nella gestione della memoria, nelle sandbox per eseguire codice, nei cicli di ho provato, ho visto l'errore, ho corretto, nei protocolli di lavoro con strumenti esterni.

È una fase normale per qualsiasi tecnologia. Il motore a reazione è stato inventato una volta sola, e i quarant'anni successivi sono serviti alla cellula, al carburante, alla strumentazione e alla manutenzione.

Il controargomento onesto

François Chollet, autore di ARC-AGI e uno dei critici più duri della sopravvalutazione dei modelli linguistici, dopo Astra ha avvicinato la sua previsione sull'arrivo dell'AGI. La sua formulazione: il progresso corre circa il doppio più veloce di quanto si aspettasse. Ha notato a parte che sull'efficienza delle azioni Astra ha eguagliato per la prima volta una persona. Una persona media ottiene circa il 48% in questo test, Astra il 62,71%. Epoch AI ha messo Astra al primo posto nel suo indice di capacità con un record di 169 punti. Cioè le persone che di mestiere colgono i modelli a memorizzare dicono che è successo qualcosa di fondamentale.

Il salto dal 7,8% di GPT-5.6 Sol e dal 30,2% di Claude Opus 5 fino al 62,71% è un fatto, il progresso c'è. Ma il contesto conta: lo stesso Chollet ha sottolineato che i risultati del test non dimostrano l'arrivo dell'AGI, e ha indicato la differenza di harness come causa di quella divergenza nei numeri, definendo scorretto il confronto diretto tra 99,9% e 62,7%. Una situazione in cui l'autore di un test precisa come un gigante dell'IA usa i suoi risultati è rara e significativa.

Conclusione pratica

Il divario tra ciò che i modelli sanno già fare e ciò che è davvero integrato nei processi aziendali è oggi molto più grande del divario tra generazioni di modelli. Mentre il mercato discute se sia arrivata l'era AGI, il lavoro non fatto sta due livelli più in basso: integrazioni, memoria, accessi, gestione degli errori, verifica umana del risultato.

Il guadagno per cui OpenAI chiede due volte e mezzo di più potete in buona parte ottenerlo da soli. Si concentra nell'impalcatura attorno al modello, e quell'impalcatura la scrivono già normali ingegneri di IA.

Buona notizia per chi costruisce sistemi. Cattiva per chi aspetta che il prossimo modello risolva tutto al posto suo.

Leggi tutto