“Aggiungere il prezzo totale al pulsante di checkout ha generato 389.565 dollari al mese in più.” È il tipo di riga che circola nei case study di conversion rate optimization pubblicati da agenzie ed è, isolata così, quasi priva di valore informativo — non perché il numero sia falso, ma perché tutto quello che servirebbe per giudicarlo è stato tagliato via nella sintesi. Vale la pena smontare con cura il genere letterario del case study di A/B test, perché è probabilmente la forma di “evidenza” più diffusa nel marketing digitale e, allo stesso tempo, una delle meno verificabili nella pratica.
Il problema che precede qualunque numero: cosa non viene pubblicato
Le agenzie e i fornitori di strumenti di testing pubblicano i propri successi, non i propri fallimenti. Non è un’accusa di disonestà, è un incentivo strutturale del formato stesso: un case study esiste per dimostrare che un metodo o uno strumento funziona, e un test che non ha prodotto risultati non genera un post da pubblicare. Il risultato è che l’insieme dei case study disponibili online rappresenta sistematicamente i test più riusciti, non un campione rappresentativo di cosa succede in un programma di sperimentazione reale — dove, per esperienza condivisa da chi lavora seriamente in questo campo, la maggioranza dei test non produce un miglioramento statisticamente significativo, e una parte peggiora persino la metrica che doveva migliorare.
Un indice pubblicato da un’agenzia specializzata in test su Shopify elenca, ad esempio, i propri risultati migliori — un test sul pulsante di checkout, una progress bar per soglie di omaggio, un upsell con elemento di fiducia — tutti con un incremento di ricavo mensile associato. Quello che l’indice non mostra è quanti test lo stesso programma ha condotto in totale, e quanti di quei test non hanno prodotto un risultato degno di essere pubblicato. Senza quel denominatore, un elenco di vittorie dice poco sulla probabilità reale che un test futuro, condotto con lo stesso metodo, produca un risultato altrettanto positivo.
La statistica mancante più importante: la significatività
Una parte consistente dei case study pubblicati riporta la variazione percentuale osservata tra variante di test e controllo, senza indicare se quella differenza è statisticamente significativa, quale fosse la dimensione del campione, o per quanto tempo il test è stato condotto. Un miglioramento del 5,8% nelle conversioni ottenuto rimuovendo un campo da un modulo di checkout, spesso citato come esempio di successo in questo genere di articoli, è un risultato plausibile e ragionevole sul piano intuitivo — semplificare un modulo riduce l’attrito — ma resta impossibile da valutare con rigore senza sapere se quel 5,8% rientra nell’intervallo di variazione che ci si aspetterebbe anche per puro rumore statistico, dato il volume di traffico e conversioni osservato nel test.
Questo problema si aggrava quando il case study riporta un unico numero assoluto — un incremento in dollari al mese — senza il denominatore che lo renderebbe interpretabile: 389.565 dollari al mese sono un risultato straordinario per un negozio con pochi milioni di fatturato annuo e un risultato statisticamente irrilevante per un brand da centinaia di milioni. Il case study, così come viene tipicamente presentato, non fornisce gli strumenti per fare questa distinzione.
Dal singolo test alla lezione generale
Il genere del case study tende a chiudersi con una lezione generalizzata — “la semplicità batte la creatività”, “il cambiamento più piccolo ha vinto” — costruita a partire da un singolo test su un singolo store, con un singolo pubblico, in un singolo periodo dell’anno. Questo tipo di generalizzazione ignora sistematicamente la possibilità che il risultato dipenda da caratteristiche specifiche di quel contesto — il tipo di prodotto, la fascia di prezzo, la composizione del traffico in quel momento — che non si ripresentano automaticamente altrove. Una lezione che sembra universale (“clarity beats cleverness”) è in realtà un’osservazione singola travestita da principio generale, e chi la applica meccanicamente al proprio contesto sta trasferendo una conclusione oltre i limiti di quanto un singolo esperimento possa legittimamente sostenere.
La correlazione scambiata per causa
Alcune statistiche di settore, spesso citate per giustificare l’adozione di programmi di test strutturati, affermano che le aziende che praticano A/B testing crescono a un ritmo significativamente più rapido di quelle che non lo fanno. È una correlazione plausibile, ma l’interpretazione causale che di solito l’accompagna — testare causa la crescita — non è l’unica compatibile con il dato. È altrettanto plausibile, se non più probabile, che le aziende con le risorse, la maturità organizzativa e il volume di traffico necessari per condurre un programma di test rigoroso siano già, per altre ragioni, aziende meglio gestite e in traiettoria di crescita più solida — nel qual caso il testing è un sintomo di un’organizzazione sofisticata, non la causa della sua crescita. Distinguere tra le due letture richiederebbe un disegno sperimentale che randomizzi l’adozione del testing tra aziende comparabili, cosa che nessuna delle statistiche aggregate citate in questo genere di articoli dichiara di aver fatto.
Cosa dovrebbe contenere un case study verificabile
Un resoconto di test rigoroso, quantomeno, dichiara la dimensione del campione e la durata del test, riporta se la differenza osservata ha raggiunto un livello di significatività statistica prestabilito prima dell’inizio del test — non scelto a posteriori per far apparire il risultato più solido — e indica quanti altri test sono stati condotti nello stesso periodo dallo stesso programma, per permettere di collocare il singolo successo nel contesto del tasso di successo complessivo. Idealmente specifica anche i limiti di validità esterna del risultato: se il test è stato condotto su un singolo mercato, un singolo segmento di pubblico o un singolo periodo stagionale, e se ci sono ragioni per pensare che il risultato si generalizzi, o no, ad altri contesti.
Come leggere un case study
Il modo più utile di procedere è chiedersi, davanti a qualunque case study di questo tipo, cosa manca prima di cosa viene mostrato: manca la significatività statistica? Manca il tasso di successo complessivo del programma che ha prodotto quel singolo risultato? Manca qualunque indicazione su quanto quel contesto specifico assomigli al proprio? Se le risposte a queste domande non sono nel testo, il case study va trattato come un’ipotesi plausibile da testare nel proprio contesto specifico — non come una prova già acquisita che quella stessa modifica produrrà lo stesso effetto altrove. È lo stesso principio, applicato a un genere diverso di contenuto, che questa testata ha già richiamato a proposito dei benchmark di settore: il numero da solo non basta, conta sempre capire da dove viene e cosa lascia fuori.