Deterministico non vuol dire ripetibile

Con la cache dei prefissi spenta, 800 esecuzioni identiche non hanno prodotto una sola differenza. Accendendola — ed è accesa di default — cambia la traiettoria di tre quarti degli episodi. La variabile che decide non sta nella richiesta, e il server non te la riporta.

10 settembre 2026 · 9 minuti · arxiv.org

Il punteggio non misura il modello, misura come lo hai messo alla prova

Sullo stesso benchmark e sullo stesso set, GPT-6 Astra prende 62,7% o 99,9% a seconda dell’harness. Il punteggio di un modello non è una proprietà del modello: è una proprietà di una terna.

7 settembre 2026 · 6 minuti · arcprize.org +3