Uno studio su 90 esecuzioni dello stesso compito mostra che un tool di test sull’interfaccia alza il costo di un agente del 42-68% senza cambiare l’esito, mentre i difetti stanno nella consegna. Un controllo in più serve solo se guarda dove il sistema si rompe.
Osmani sostiene che il controllo umano sul codice si affida sempre più a vincoli automatici, perché non c’è più tempo di leggere tutto. Non dice quale vincolo scegliere per quale rischio — ed è lì che la differenza fra un principio e una pratica di collaudo si vede.
Sullo stesso benchmark e sullo stesso set, GPT-6 Astra prende 62,7% o 99,9% a seconda dell’harness. Il punteggio di un modello non è una proprietà del modello: è una proprietà di una terna.