Testare cinque varianti di un banner invece di due sembra, a naso, semplicemente un modo per raccogliere più informazione dallo stesso esperimento. Non lo è. Statisticamente, aumentare il numero di varianti confrontate nello stesso test aumenta anche, in modo prevedibile, la probabilità di incoronare vincitrice una variante che non è affatto migliore delle altre — il problema del confronto multiplo, probabilmente una delle cause più sottovalutate di decisioni di marketing basate su risultati che, guardati con più attenzione, non avrebbero convinto nessuno.
Un singolo test A/B, con la soglia standard del 5%, accetta un rischio del 5% di dichiarare vincitrice una variante priva di effetto reale — è il prezzo che si paga per poter concludere qualcosa da un campione limitato. Il problema è che quel 5% si applica a ogni singolo confronto, non all’esperimento nel suo complesso. Cinque varianti contro un controllo significano, in pratica, cinque test separati eseguiti insieme, e la probabilità che almeno uno di questi produca un falso positivo cresce in fretta: con cinque confronti indipendenti, sale a circa il 23% — quasi una volta su quattro, anche se nessuna variante ha davvero alcun effetto.
Immaginate dieci varianti di un’email, tutte scritte con la stessa cura, e sapete già — per costruzione dell’esempio — che nessuna è realmente migliore delle altre. Eseguendo dieci confronti indipendenti con soglia al 5% ciascuno, la probabilità che almeno uno superi comunque la soglia per puro rumore statistico sale a circa il 40%. In due esperimenti su cinque di questo tipo, qualcuno finirebbe per incoronare una variante completamente casuale, con piena fiducia statistica apparente, solo perché ha testato abbastanza varianti insieme da rendere quasi inevitabile che una di esse superasse la soglia per caso.
Esistono correzioni, e sono più semplici di quanto il nome suggerisca. La correzione di Bonferroni divide la soglia di significatività per il numero di confronti effettuati: con cinque varianti, la soglia scende dal 5% all’1% per ciascun singolo confronto, rendendo molto più difficile che il rumore casuale la superi. È conservativa — riduce i falsi positivi al costo di richiedere un effetto reale più grande per essere rilevato. Esistono alternative meno rigide, come il metodo di Benjamini-Hochberg, più indicate quando si testano molte varianti insieme e non si vuole scartare troppo insieme al rumore.
Il caso più insidioso non è nemmeno il test dichiaratamente multiplo, dove il problema è almeno visibile a chi lo progetta. È il test che nasce come confronto singolo e, in corso d’opera, accumula metriche secondarie da controllare — non solo il tasso di conversione principale, ma anche il tempo sul sito, il valore medio dell’ordine, il tasso di apertura — senza correggere per il fatto che si stanno, di fatto, eseguendo molti confronti impliciti sugli stessi dati. Con un numero sufficiente di metriche osservate, è quasi garantito che almeno una mostri per caso una differenza significativa. Ed è precisamente quella che finisce sulla slide finale come prova del successo — un fenomeno che gli statistici chiamano, informalmente, p-hacking involontario: la ricerca inconsapevole del risultato significativo tra tante metriche, senza che nessuno abbia deliberatamente ingannato nessuno.
Un case study che dichiara “abbiamo trovato un miglioramento significativo” senza specificare quante varianti o metriche sono state confrontate lascia aperta esattamente questa possibilità: che il risultato riportato sia stato scelto, tra molti osservati, proprio perché per caso ha superato la soglia — non perché riflette un effetto reale. La domanda da fare non è solo se la significatività è stata raggiunta. È quanti confronti sono stati fatti prima di trovarla.