Negli ultimi mesi, per costruire questo progetto, abbiamo dovuto verificare decine di numeri che circolano come fatti acquisiti nel settore: benchmark di CTR per categoria merceologica, statistiche sull’efficacia dell’A/B testing, cifre sul ritorno dell’automazione CRM, proiezioni sul retail media. Quasi ogni volta, la stessa scoperta: il numero esiste, viene citato ovunque, e la fonte originale — quando si riesce a risalirci — dice qualcosa di più modesto, più condizionato, più incerto di come viene ripetuto.
Non è un problema di quantità di dati disponibili. Il settore ne produce più che mai. È un problema di come quei dati vengono trasformati, nel passaggio da fonte originale a contenuto condiviso, in affermazioni più certe di quanto meritino.
Lo abbiamo visto scrivendo del cookieless targeting: per sei anni l’industria ha costruito piani attorno a una scadenza — l’eliminazione dei cookie di terze parti da Chrome — trattata come un fatto quasi certo, salvo poi scoprire che Google avrebbe fatto marcia indietro proprio mentre smantellava, per altre ragioni, l’infrastruttura che aveva promesso come sostituto. Lo abbiamo visto scrivendo di benchmark settoriali: due report sullo stesso canale pubblicitario, nello stesso anno, con un CTR medio che differisce di oltre il doppio, perché nessuno dei due dichiara con chiarezza da dove viene il proprio campione. Lo abbiamo visto, più di recente, scrivendo dei case study di A/B testing: un genere di contenuto che si presenta come prova empirica e che, quasi sempre, omette esattamente l’informazione — significatività statistica, tasso di successo complessivo del programma di test, limiti di validità del contesto — che permetterebbe di giudicare se quella prova vale qualcosa.
Il pattern non è casuale, ed è più interessante di una semplice pigrizia editoriale diffusa. Ogni volta che un dato passa da chi lo produce a chi lo racconta a chi lo consuma, qualcuno ha un incentivo a limare via la parte che complica la storia: l’agenzia che vuole vendere il proprio metodo pubblica la vittoria, non il tasso di insuccesso dei suoi test. La piattaforma che vende un algoritmo di ottimizzazione automatica pubblica il moltiplicatore di ritorno più favorevole tra quelli che il proprio modello può produrre. Il divulgatore che riassume una ricerca complessa in un post da condividere taglia via le condizioni al contorno perché rendono il post meno condivisibile. Nessuno di questi passaggi richiede malafede: basta l’incentivo, ripetuto migliaia di volte in tutto il settore, a produrre un ecosistema informativo dove la certezza cresce sistematicamente più in fretta dell’evidenza che la sosterrebbe.
Non lo scriviamo per accusare il settore di essere disonesto. Lo scriviamo perché chi deve prendere decisioni reali — quale modello di attribuzione adottare, se tagliare un canale, se un case study letto altrove si applica anche al proprio caso — sta prendendo quelle decisioni sulla base di un’informazione già filtrata da incentivi che non ha scelto e spesso non vede. Il costo di questo filtro non è distribuito in modo uniforme: chi ha il tempo e le competenze per risalire alla fonte originale, o per condurre il proprio test invece di fidarsi di un case study altrui, paga un costo iniziale più alto ma prende decisioni migliori. Chi non ha quel tempo eredita, senza saperlo, tutte le semplificazioni ottimistiche accumulate lungo la catena.
Il lavoro editoriale che proviamo a fare in ogni sezione di questa testata — dichiarare i limiti di un dato in Osservatorio, mostrare dove un modello di misurazione funziona e dove no in Numeri, smontare un genere di contenuto invece di riprodurlo in Evidenze — non nasce da un gusto per lo scetticismo fine a se stesso. Nasce dalla convinzione, verificata pezzo dopo pezzo in questi mesi, che la parte più utile di qualunque dato di marketing non è il numero in sé, ma le condizioni alle quali quel numero resta vero. Un CTR medio senza la composizione del campione non è un dato compresso, è un dato diverso. Un case study senza il tasso di successo del programma che l’ha prodotto non è una sintesi, è un’altra affermazione.
Diffidare di ogni numero sarebbe paralizzante quanto l’eccesso di fiducia opposto — non è questa la strada. L’abitudine più utile, quella che abbiamo provato ad applicare a ogni pezzo pubblicato finora su questa testata, è più semplice: prima di usare un dato per decidere qualcosa, chiedersi cosa non viene detto insieme al numero. Non è un esercizio di sfiducia, è un esercizio di lettura. La differenza tra un settore che decide bene e uno che decide sulla base di slogan non sta nella quantità di dati disponibili — quella è ormai la stessa per tutti — ma nell’abitudine, individuale prima che collettiva, di chiedere sempre cosa manca prima di credere a quello che si vede.