Ogni dashboard di marketing mostra numeri esatti: conversion rate 3,2%, CTR 1,8%, CAC 24€. Sono presentati come fatti precisi e definitivi, con la stessa sicurezza con cui si mostrerebbe la data di oggi. Non lo sono. Ogni numero calcolato su un campione di dati — e in marketing lo sono quasi tutti — porta con sé un margine di incertezza che quasi nessuna piattaforma mostra, e la cui assenza è probabilmente la causa più comune di decisioni prese confrontando due numeri che, in realtà, non sono distinguibili tra loro.
Cosa significa, in pratica, un margine di incertezza
Quando una campagna converte al 3,2% su 500 visitatori, quel 3,2% non è “il vero tasso di conversione” della campagna: è una stima, calcolata su un campione limitato di persone. Se la stessa campagna, con lo stesso identico setup, ricevesse altri 500 visitatori diversi la settimana successiva, quasi certamente il tasso osservato non sarebbe di nuovo esattamente 3,2% — potrebbe essere 2,8%, potrebbe essere 3,7%, per pura variazione campionaria, anche se la qualità reale della campagna non è cambiata di una virgola.
L’intervallo di confidenza è lo strumento statistico che rende esplicita questa incertezza: invece di un unico numero, restituisce un intervallo — ad esempio “tra il 2,1% e il 4,3%” — costruito in modo che, ripetendo la stessa misurazione molte volte, la maggior parte di questi intervalli conterrebbe il vero valore che si sta cercando di stimare. Più il campione è piccolo, più l’intervallo è ampio, perché con pochi dati c’è più spazio per l’oscillazione casuale. Più il campione cresce, più l’intervallo si restringe, avvicinandosi progressivamente al valore reale.
Un esempio con numeri veri
Due campagne, stesso periodo, stesso prodotto. La campagna A converte al 3,2% su 500 visitatori. La campagna B converte al 3,8%, sempre su 500 visitatori. La lettura immediata, quella che quasi ogni dashboard invita a fare guardando solo i due numeri affiancati, è che B batte A.
Calcolando l’intervallo di confidenza al 95% per ciascuna — con la formula standard per una proporzione su un campione di quella dimensione — il risultato è che la campagna A si colloca in un intervallo tra circa l’1,7% e il 4,7%, mentre la campagna B si colloca tra circa il 2,1% e il 5,5%. I due intervalli si sovrappongono per gran parte della loro estensione: significa che, con i dati disponibili, non si può escludere che le due campagne abbiano in realtà lo stesso tasso di conversione reale, e che la differenza dello 0,6% osservata sia semplicemente rumore statistico, non un segnale di reale superiorità di B su A.
Ora ripetiamo lo stesso confronto con un campione molto più grande: le stesse due percentuali, 3,2% e 3,8%, ma osservate su 50.000 visitatori ciascuna invece di 500. Con questo volume, l’intervallo della campagna A si restringe a circa 3,0%–3,4%, quello della campagna B a circa 3,6%–4,0%. Questa volta i due intervalli non si sovrappongono affatto: la stessa identica differenza di 0,6 punti percentuali, che a 500 visitatori era statisticamente irrilevante, a 50.000 visitatori diventa un segnale solido e difendibile. Il numero non è cambiato. È cambiato quanto ci si può fidare di quel numero.
Perché quasi nessuno strumento lo mostra
La ragione non è tecnica — calcolare un intervallo di confidenza richiede una formula elementare, alla portata di qualunque piattaforma di analytics — ma di design dell’esperienza utente. Una dashboard che mostra “conversion rate: 3,2%” comunica sicurezza e chiarezza. Un dashboard che mostra “conversion rate: tra il 2,1% e il 4,7%, con un campione ancora insufficiente per una stima precisa” comunica dubbio, richiede più spazio, e restituisce una sensazione di minore controllo — anche se è, semplicemente, più onesto. È lo stesso meccanismo già osservato su questa testata a proposito degli strumenti di ricerca AI, che raramente segnalano incertezza anche quando sarebbe onesto farlo: la sicurezza apparente si vende meglio del dubbio, indipendentemente da quale delle due rifletta meglio la realtà dei dati.
Come regolarsi senza dover fare i calcoli a mano
Non serve calcolare un intervallo di confidenza esatto per prendere decisioni più prudenti. Un’euristica semplice: più il campione è piccolo — poche decine o basse centinaia di conversioni — più una differenza percentuale, anche se sembra grande, va trattata con sospetto fino a conferma su un campione più ampio. Esistono inoltre calcolatori gratuiti di significatività statistica, pensati apposta per confrontare due tassi di conversione inserendo solo visitatori e conversioni di ciascuna variante, che restituiscono in pochi secondi se una differenza osservata è statisticamente solida o rientra nel margine di rumore — uno strumento da usare prima di dichiarare vincitore un test, non dopo aver già preso la decisione sulla sola base del numero più alto.
Un errore da evitare
Confrontare due percentuali guardando solo la loro differenza in valore assoluto, senza mai chiedersi su quanti dati sono state calcolate. Una differenza di 5 punti percentuali tra due campagne può essere del tutto irrilevante se calcolata su trenta conversioni ciascuna, ed essere invece un segnale fortissimo se calcolata su trentamila. Il numero da solo, come abbiamo già scritto a proposito dei benchmark di settore su questa testata, non basta mai: conta sempre sapere anche su cosa è stato costruito.