Zero errori osservati in un test non equivale a zero probabilità di errore. È una distinzione che sembra ovvia messa così, ma che sparisce quasi sempre dietro una dashboard verde: un agente AI viene testato su un certo numero di casi, nessuno fallisce, e la conclusione informale diventa “funziona”. La statistica ha uno strumento preciso per dire quanto sia fondata questa fiducia, si chiama regola del tre.
La formula e cosa dice davvero. Se si osservano zero fallimenti su N prove indipendenti, il limite superiore del tasso di errore reale, con un livello di confidenza del 95%, è dato da p = 1 − 0,05^(1/N), approssimabile in modo semplice a 3/N. Applicata a numeri concreti, la tabella cambia completamente la lettura di un test “riuscito”: con 30 prove pulite, il tasso di errore reale potrebbe arrivare al 9,5%, circa un errore ogni 11 esecuzioni; con 100 prove pulite, al 2,95%, circa un errore ogni 34; solo con 1.000 prove pulite il limite scende allo 0,30%, un errore ogni 334 esecuzioni. Zero fallimenti in N prove, per dirlo con precisione, è un conteggio, non un tasso: dice quante volte non è successo nulla, non quanto sia improbabile che succeda.
La domanda da porre prima di ampliare l’autonomia di un agente. La formula si può invertire, e diventa lo strumento decisionale utile prima di autorizzare un agente AI a compiere un’azione senza supervisione umana diretta: N ≥ ln(0,05) ÷ ln(1 − obiettivo). Se l’obiettivo è garantire, con confidenza del 95%, un tasso di errore reale sotto l’1%, servono circa 299 prove pulite consecutive su scenari distinti. Se l’azione in questione è più delicata (una cancellazione di dati, un pagamento, l’invio automatico di una comunicazione ad un cliente) e l’obiettivo si sposta allo 0,1%, il numero richiesto sale a circa 2.995 prove pulite. Sono ordini di grandezza ben diversi da quelli che, nella pratica, vengono davvero eseguiti prima di attivare un nuovo agente in produzione.
Una trappola che vale quanto l’errore stesso. Il punto più rilevante, spesso ignorato proprio da chi conosce la regola del tre, riguarda cosa si sta davvero contando. Duecento esecuzioni di test non equivalgono a N = 200 se, in realtà, quelle esecuzioni ripetono solo venti scenari distinti, dieci volte ciascuno con un seed diverso. In quel caso, N reale è 20, non 200: il limite superiore del tasso di errore, con confidenza del 95%, sale dall’1,49% che ci si aspetterebbe con 200 prove indipendenti al 13,91% effettivo: quasi un errore ogni sette casi. Contare esecuzioni invece di scenari indipendenti produce una falsa sicurezza numerica, tanto più pericolosa quanto più il numero grezzo di test sembra rassicurante.
Cosa succede quando un agente è già in produzione. Il problema non riguarda solo la fase di valutazione iniziale. Una volta che un agente AI gestisce conversazioni con i clienti o esegue transazioni su larga scala, il controllo di qualità dovrebbe idealmente osservare ogni singola interazione per accorgersi rapidamente di un comportamento anomalo. Nella pratica del settore, secondo i benchmark riportati da diversi fornitori di strumenti di QA per il customer service, le aziende sottopongono a revisione manuale solo il 2-5% delle interazioni: per un’azienda che gestisce 50.000 contatti al mese, significa lasciarne 47.500 completamente fuori da qualunque controllo, con problemi che, quando emergono, lo fanno a distanza di giorni o settimane dal momento in cui hanno iniziato a verificarsi, non nell’istante in cui accadono.
La lettura corretta per chi gestisce un agente AI in azienda. Le due parti di questo ragionamento si tengono insieme: la regola del tre stabilisce quante prove pulite servono prima di dichiarare un agente sufficientemente affidabile per un compito specifico, calibrando il numero sulla gravità di un eventuale errore; il tasso di campionamento reale del controllo qualità in produzione stabilisce quanto in fretta ci si accorgerebbe se, nonostante tutto, un errore cominciasse a verificarsi con una frequenza superiore a quella prevista. Un’azienda che estende l’autonomia di un agente su una base di test insufficiente, e che poi lo controlla in produzione su una frazione minima delle sue azioni, sta accettando un livello di rischio che nessuno ha calcolato esplicitamente, semplicemente perché nessuno ha fatto, nell’ordine corretto, i due calcoli descritti sopra.
Fonti: “Zero failures isn’t zero risk: the rule of three for evals”; Wikipedia, “Rule of three (statistics)”; IrisAgent, “Automated QA for Customer Support: Why Sampling 5% of Conversations is Costing You”.