Qualche anno fa la psicologia ha scoperto una cosa imbarazzante: molti dei suoi esperimenti più famosi, quelli insegnati nei libri di testo, non funzionavano più se qualcun altro provava a ripeterli. Un gruppo di ricercatori ha preso cento studi pubblicati sulle riviste migliori e ha provato a rifarli da capo, con lo stesso metodo. Meno della metà ha dato lo stesso risultato la seconda volta. Il resto era, con ogni probabilità, un colpo di fortuna statistico spacciato per una scoperta.
Leggendo insieme i pezzi che abbiamo pubblicato su questa testata — quello sui case study di A/B test, quello sul difetto nascosto nei test pubblicitari su Meta, quello sullo studio della viralità — ci siamo accorti che il marketing ha lo stesso identico problema. Solo che nessuno, nel settore, lo sta ancora chiamando con il suo nome.
Perché succede la stessa cosa
Il motivo è semplice, ed è lo stesso in entrambi i campi: chi pubblica un risultato ha tutto l’interesse a mostrare solo quello che ha funzionato.
In psicologia, per anni, le riviste scientifiche pubblicavano quasi solo esperimenti “riusciti”. Un esperimento che non dimostrava nulla finiva in un cassetto, perché a nessuno interessava leggerlo. Il risultato è che tutta la letteratura scientifica sembrava piena di scoperte, quando in realtà nascondeva anche moltissimi tentativi falliti che nessuno vedeva mai.
Nel marketing succede la stessa cosa, ma con un motivo ancora più diretto: un’agenzia che ha condotto cento test A/B pubblica il caso in cui le vendite sono salite del 30%. Non pubblica i novantanove test in cui non è successo nulla. Chi legge quel case study non ha modo di sapere che si tratta, probabilmente, dell’eccezione e non della regola — lo abbiamo già raccontato nel pezzo su questo tema, con un esempio concreto.
Il secondo problema: risultati costruiti sul nulla
C’è un secondo motivo per cui molti studi psicologici sono crollati: erano condotti su pochissime persone, e i ricercatori avevano troppa libertà nello scegliere, dopo aver visto i dati, quale numero mostrare e quale nascondere.
Anche qui il marketing fa la stessa cosa. La maggior parte dei case study che circolano online non dice quante persone hanno partecipato al test, per quanto tempo è durato, o se il risultato è statisticamente solido oppure no. È lo stesso identico buco che ha fatto crollare mezza psicologia dieci anni fa.
Il terzo problema: un difetto nascosto che nessuno sapeva di avere
Il terzo parallelo è forse il più interessante. In psicologia, alcuni esperimenti sembravano perfetti ma nascondevano un errore che nessuno aveva notato: il modo in cui l’esperimento era organizzato influenzava già il risultato, prima ancora di iniziare.
Abbiamo raccontato qualcosa di molto simile parlando dei test pubblicitari su Meta: anche quando un test A/B sembra impostato bene, l’algoritmo della piattaforma mostra le due versioni dell’annuncio a persone diverse tra loro — non a caso, come dovrebbe essere in un test corretto. Il risultato del test, quindi, non dice davvero quale annuncio funziona meglio. Dice solo che l’algoritmo ha fatto scelte diverse per motivi suoi. Un problema identico a quello scoperto in psicologia: un difetto nascosto nel metodo, non nell’idea.
La differenza vera tra i due campi
La psicologia, dopo lo scandalo, ha reagito. Oggi molti ricercatori dichiarano in anticipo cosa si aspettano di trovare, prima ancora di guardare i dati, così non possono più “aggiustare” la storia dopo. Esistono progetti finanziati apposta per ripetere gli esperimenti più famosi e controllare se reggono davvero.
Il marketing non ha nulla di tutto questo. Nessuno ripete sistematicamente i test più citati per vedere se funzionano davvero altrove. E soprattutto: chi guadagna pubblicando questi contenuti — agenzie, piattaforme, venditori di strumenti — ha un interesse economico diretto a non mettere in dubbio i propri risultati. Il dubbio non si vende. La certezza sì.
Perché non è solo un dettaglio tecnico
In psicologia, uno studio sbagliato costava soprattutto reputazione accademica. Nel marketing, un case study sbagliato viene ripetuto in centinaia di presentazioni e proposte commerciali per anni, e ogni volta che qualcuno ci crede sposta budget pubblicitari veri verso una strategia che, in realtà, non ha mai davvero funzionato.
Cosa possiamo fare noi, concretamente
Non possiamo risolvere da soli un problema di un intero settore. Possiamo però fare, nel nostro piccolo, quello che la scienza ha imparato a fare: trattare ogni singolo test o case study come un’ipotesi da verificare, non come una verità già dimostrata. Cercare apposta le prove che complicano una bella storia, non solo quelle che la confermano. E dirlo chiaramente, quando un risultato non è mai stato controllato da nessun altro — invece di lasciare che il silenzio faccia sembrare quel risultato più solido di quanto sia.