Una campagna chiude il trimestre come la migliore dell’anno. Il team decide, giustamente secondo l’intuizione comune, di aumentarne il budget e di usarla come modello per le altre. Il mese successivo, con lo stesso identico setup, i risultati calano — a volte in modo netto. La spiegazione che circola più spesso in queste situazioni è che “qualcosa è cambiato”: l’algoritmo, la stagionalità, la concorrenza. Spesso, invece, non è cambiato nulla. È successo qualcosa di molto più semplice e molto più prevedibile, che ha un nome preciso in statistica: regressione alla media.
Cosa succede davvero
Ogni risultato di marketing che osserviamo è la somma di due componenti: una parte reale, dovuta alla qualità effettiva della campagna, del creativo o della strategia, e una parte di puro rumore casuale — la variazione naturale che esiste anche quando nulla di sostanziale cambia, dovuta a chi capita di vedere l’annuncio quel giorno specifico, a piccole oscillazioni dell’asta pubblicitaria, a fattori che nessuno controlla e nessuno può prevedere.
Quando guardiamo i risultati di molte campagne insieme e scegliamo quella con la performance più alta in un dato periodo, stiamo scegliendo, quasi inevitabilmente, sia la campagna con la qualità reale più alta sia quella che, per puro caso, ha avuto la fortuna maggiore in quel periodo specifico. Le due cose si sommano, ed è proprio quella somma a farla emergere come “la migliore”. Nel periodo successivo, la fortuna — per definizione — non si ripete allo stesso livello. Il risultato osservato scende, avvicinandosi di nuovo al valore medio reale della campagna. Non perché la campagna sia peggiorata. Perché il picco che avevamo osservato non era mai stato, per intero, un livello stabile.
Un esempio con numeri semplici
Immaginiamo dieci campagne che hanno tutte, in realtà, lo stesso tasso di conversione medio reale: il 2%. Ogni mese, per pura variazione casuale, il tasso osservato di ciascuna oscilla leggermente intorno a quel valore — una può registrare l’1,6%, un’altra il 2,4%, per ragioni che non hanno nulla a che fare con differenze reali di qualità. Se scegliamo, a fine mese, la campagna con il risultato più alto — diciamo quella che ha toccato il 2,8% — e la osserviamo di nuovo il mese successivo, il valore più probabile che troveremo non sarà di nuovo 2,8%, ma qualcosa di più vicino al 2%, il vero valore medio condiviso da tutte e dieci. Non perché quella specifica campagna sia peggiorata: perché il 2,8% osservato non rifletteva un livello reale e stabile di performance, ma un valore medio più un colpo di fortuna che statisticamente non si ripete con la stessa intensità.
Il caso più comune è la scalata del budget su una singola campagna “vincente” del mese, senza verificare se quel risultato si mantiene per più di un periodo prima di trattarlo come un pattern stabile. Un secondo caso, altrettanto diffuso, è il post-mortem del tipo “perché il nostro mese record non si è ripetuto”: la domanda parte già dal presupposto sbagliato che quel livello fosse la nuova normalità, quando statisticamente era più probabile un’eccezione temporanea rispetto a un nuovo standard.
Un terzo caso, meno discusso ma altrettanto rilevante, riguarda le valutazioni di performance di persone o agenzie basate su un singolo periodo particolarmente brillante: premiare chi ha avuto il trimestre migliore, senza guardare a uno storico più lungo, rischia di premiare sistematicamente chi ha avuto più fortuna in quel periodo specifico, non necessariamente chi lavora meglio in modo stabile — un rischio che cresce quanto più piccolo è il campione osservato, perché con pochi dati il rumore casuale pesa proporzionalmente di più sul risultato finale.
Come distinguere un miglioramento da un rimbalzo statistico
Il primo criterio è la durata: un miglioramento reale tende a mantenersi, con oscillazioni normali, su più periodi consecutivi. Un risultato dovuto in gran parte al caso tende a tornare verso la media già nel periodo immediatamente successivo. Prima di trattare un singolo mese eccezionale come prova di una svolta stabile, meglio aspettare almeno un secondo periodo di conferma.
Il secondo è la dimensione del campione su cui quel risultato è stato osservato: un tasso di conversione calcolato su poche decine di eventi è molto più soggetto a oscillazioni casuali ampie di uno calcolato su migliaia di eventi, e merita quindi un livello di scetticismo proporzionalmente più alto prima di essere interpretato come segnale reale — lo stesso principio già visto a proposito della soglia minima di campione nei programmi di brand tracking.
Il terzo, il più semplice da applicare in pratica, è chiedersi se il risultato osservato è un valore estremo rispetto allo storico di quella stessa campagna o di campagne comparabili. Più un risultato si allontana dalla norma storica, più è statisticamente probabile che una parte di quella distanza sia dovuta al caso, e non a un cambiamento reale e permanente nella qualità sottostante — un’euristica semplice ma sorprendentemente affidabile.
Un errore da evitare
Reagire a un mese eccezionale, positivo o negativo che sia, con un cambiamento drastico e immediato di strategia. La risposta più prudente a un risultato fuori dall’ordinario non è “replichiamo esattamente questo” o “abbandoniamo immediatamente quello”, ma “osserviamo se si conferma nel prossimo periodo prima di trarne una conclusione operativa”. È una disciplina meno soddisfacente sul piano narrativo — non permette di raccontare in una riunione una storia di successo immediato e definitivo — ma è quella che, nel tempo, protegge dal rincorrere sistematicamente il rumore statistico scambiandolo per segnale.