Di cosa parla la fonte

Il 3 settembre ARC Prize ha pubblicato i risultati di GPT-6 Astra su ARC-AGI-3, il benchmark in cui un agente deve capire da solo le regole di un gioco che nessuno gli spiega. Due numeri, sullo stesso modello e sullo stesso set Semi-Private: 62,7% per $26.098 con lo Standard harness, 99,9% per $18.817 con il Provider Adapter. Il punteggio più alto costa anche meno.

A cambiare non è il modello, è l’impalcatura che lo mette alla prova. Lo Standard harness è neutro rispetto al fornitore e lascia al modello la responsabilità di decidere cosa scrivere nei propri appunti visibili. Il Provider Adapter conserva fra una richiesta e l’altra lo stato di ragionamento opaco del modello e compatta le conversazioni lunghe: sulle coppie gioco-reasoning risolte da entrambi, ARC misura esecuzioni 3,66 volte più veloci con il 49% di token in meno.

Da dove venga quel divario l’aveva spiegato OpenAI un mese prima, su un altro modello. L’harness ufficiale buttava via il ragionamento privato dopo ogni azione e troncava la storia più vecchia: il modello ricominciava da capo a ogni mossa. Cambiate quelle due impostazioni, GPT-5.6 Sol passa da 13,3% a 38,3% sul set pubblico, con 6 volte meno token in uscita.

Una precisazione che serve per il resto: quelle percentuali non sono «giochi risolti». Sono RHAE, Relative Human Action Efficiency — il numero di azioni per livello confrontato con quello di un umano alla prima esposizione, aggregato sugli ambienti. Il 100% vuol dire completare ogni livello di ogni ambiente a un’efficienza pari o migliore della mediana umana.

Che ne penso

Nessuno di questi numeri è una proprietà del modello. È la proprietà di una terna: modello × harness × set. Lo si vede bene mettendo in fila le tre rivendicazioni vicine al 100% uscite in tre mesi — Astra al 99,9% su Semi-Private verificato da ARC, l’harness Schema a ~99% ma su Public e autodichiarato, NVIDIA AVO al 100% sullo stesso Public, harness suo e nessuna verifica esterna. Sembrano confermarsi a vicenda. Non si toccano nemmeno.

Che l’impalcatura conti non è una scoperta: chiunque abbia scritto un test di integrazione sa che il fixture decide metà dell’esito. La parte che merita attenzione è un’altra, ed è passata sotto silenzio: i due harness rispondono a due domande diverse e tutte e due legittime. Lo Standard chiede «come si comportano i modelli sotto la stessa interfaccia minima», il Provider Adapter chiede «quanto rende un modello con la gestione del contesto che il suo fornitore ha progettato per lui». ARC risponde dichiarando che riporterà entrambi i risultati, etichettati. Non è un compromesso diplomatico: è quello che fa un rapporto di prova decente, cioè scrivere le condizioni accanto al numero.

Dove invece scendo è sulla raccomandazione finale di OpenAI: «se confrontate modelli, affidatevi a valutazioni che usano queste impostazioni». Come consiglio a chi vuole spremere quel modello è ineccepibile. Come criterio di confronto si morde la coda — se ogni fornitore viene misurato con l’harness che si è disegnato addosso, non stai confrontando tre modelli, stai confrontando tre banchi di prova. Lo Standard harness esiste esattamente per questo: è punitivo, è irrealistico, ed è lo stesso per tutti. Nel collaudo il banco scomodo e condiviso non è un difetto da correggere, è la ragione per cui il numero significa qualcosa.

Poi c’è un dettaglio che nessuna delle tre fonti commenta, e che ho trovato guardando la tabella per intero invece dei due estremi. La colonna dello Standard harness non è monotòna: a reasoning none Astra fa 35,2%, a low fa 17,5%, a medium 38,6%. Togliere del tutto il ragionamento va meglio che metterne poco. Può darsi ci sia una spiegazione buona, ma nessuno la dà — e non è pubblicata alcuna misura di varianza fra esecuzioni, quindi non c’è modo di sapere se quel minimo in mezzo alla scala sia un effetto o rumore. Se una mia suite mi restituisse una curva così non pubblicherei il numero: andrei a cercare la flakiness.

La conferma che il numero porta dentro di sé le regole del banco arriva dal costo, che si piega all’indietro: il punteggio migliore costa $26.098, il peggiore $38.166 — e il conto più salato di tutti, $49.791, tocca a un punteggio di mezzo. La spiegazione l’ha data nel thread di Hacker News uno degli autori del post di OpenAI: ARC-AGI-3 lascia ritentare fino al timeout, quindi chi risolve prima smette prima di spendere. «If it was a benchmark where everyone got one attempt with no retries, you wouldn’t see it bend backward.» Quel grafico costo/punteggio non descrive l’efficienza del modello: descrive la politica di retry del benchmark.

Il caso più istruttivo è però il terzo, quello dell’harness Schema, perché è dichiarato alla luce del sole e nessuno sembra averlo letto per quello che dice. La regola è questa: si gira con un modello, i giochi che stanno sotto 80 si rilanciano con un secondo modello, e per ogni gioco si tiene il punteggio più alto. Tradotto nel nostro mestiere: rieseguire i test falliti con un’altra configurazione e pubblicare la corsa verde. Non c’è niente di nascosto — c’è scritto nel post — ma quel «~99%» è il massimo di due esecuzioni, e non è la stessa grandezza di un numero ottenuto in una passata sola.

Cosa cambia per chi, come me, deve decidere se un modello serve al proprio lavoro. Il numero dell’annuncio è stato misurato su un banco che non è il mio, e la distanza fra 62,7 e 99,9 è la misura di quanto pesa l’ingegneria intorno al modello — cioè la parte che tocca a me. Vista così è una buona notizia, non un imbroglio: dice che su quel divario si può lavorare. Dice anche che confrontare due modelli leggendo due comunicati è un esercizio senza contenuto, se i due comunicati non dichiarano il banco.

Cosa mi porto a casa

Un numero senza il suo banco di prova è un’opinione travestita da misura. Davanti al prossimo annuncio che dichiara di aver saturato un benchmark, tre domande prima di crederci: su quale set — pubblico, quindi noto in anticipo, o tenuto da parte; con quale harness — quello neutro o quello del fornitore; in quante esecuzioni — una, o il massimo di parecchie. Se le risposte non ci sono, non è che il risultato sia falso: è che non è confrontabile con nient’altro, e un risultato non confrontabile non aiuta a decidere niente.