Immaginate di aver fatto tutto correttamente: due varianti creative dello stesso annuncio, stesso pubblico target, stesso budget, stessa durata, campione sufficiente a raggiungere la significatività statistica. Il test dichiara un vincitore. Un paper di ricerca pubblicato nel 2025 da un gruppo che include due ricercatori Meta e due accademici — Gordon Burtch della Boston University, Robert Moakler e Poppy Zhang di Meta, Brett R. Gordon della Kellogg School of Management e Shawndra Hill di Meta — dimostra che, anche in queste condizioni, il vincitore dichiarato dal test potrebbe non riflettere quale creatività funziona davvero meglio. Il problema si chiama divergent delivery, e nasce da un meccanismo che nessun operatore di marketing controlla direttamente: l’algoritmo di delivery della piattaforma stessa.
Cosa ci si aspetta che un test A/B faccia, e cosa fa davvero
Quando si configurano due varianti creative nello stesso test A/B su una piattaforma come Meta, l’aspettativa implicita è che il sistema divida il pubblico target in due gruppi statisticamente equivalenti, mostrando una variante all’uno e l’altra all’altro, in modo che qualunque differenza di performance osservata sia attribuibile solo al contenuto creativo. Il paper documenta che questo non è ciò che accade. Per ogni singola opportunità di mostrare un annuncio a un utente, il sistema di delivery di Meta gestisce un’asta interna tra gli annunci idonei — comprese le due varianti del test — e assegna l’impression a quella con la stima di rendimento più alta per quello specifico utente in quel momento specifico. La scelta di quale variante un utente vede non è quindi un’estrazione casuale, ma il risultato di una previsione algoritmica su quale annuncio, per quella persona, produrrà il risultato migliore.
Perché questo confonde il risultato del test
La conseguenza pratica è che le due varianti del test finiscono per essere mostrate a composizioni di pubblico sistematicamente diverse tra loro, anche se il targeting di partenza era identico per entrambe. Se una variante comunica un messaggio orientato al prezzo e l’altra un messaggio orientato all’emozione, l’algoritmo può instradare gli utenti più sensibili al prezzo verso la prima e quelli più reattivi a stimoli emotivi verso la seconda, semplicemente perché ottimizza la delivery in tempo reale, non perché qualcuno abbia progettato il test in quel modo. La differenza di conversione osservata tra le due varianti, a quel punto, non isola più l’effetto del contenuto creativo: mescola l’effetto della creatività con l’effetto di aver raggiunto due pubblici diversi, e i due effetti non sono separabili guardando solo il numero finale restituito dal test.
Gli autori descrivono un effetto ancora più insidioso di una semplice distorsione della magnitudine: in alcune condizioni, la composizione divergente del pubblico può addirittura invertire il segno del risultato — una dinamica riconducibile al paradosso di Simpson, dove un annuncio che performa peggio in ogni singolo segmento di pubblico preso separatamente può apparire vincente nel confronto aggregato, semplicemente perché i due bracci del test pesano diversamente quei segmenti al proprio interno.
Una distinzione da tenere ferma
Il problema descritto in questo paper riguarda specificamente i test A/B che confrontano due o più varianti creative attive tra loro, senza un gruppo di controllo che non veda alcun annuncio. Non riguarda i lift test — quelli che confrontano un gruppo esposto alla pubblicità con un gruppo di controllo realmente randomizzato che non vede alcun annuncio, discussi anche altrove su questa testata a proposito dei test di incrementalità. In un lift test l’assegnazione al gruppo di controllo è una vera randomizzazione indipendente dall’algoritmo di delivery, e la misura di incrementalità che ne deriva resta valida. È il confronto diretto tra due creatività attive, il test più comune ed economico che un’azienda di marketing conduce ogni giorno, a essere strutturalmente esposto a questo tipo di distorsione.
Non è un difetto, è il sistema che funziona come previsto
Il dettaglio più scomodo di questo paper è che gli stessi autori — inclusi i ricercatori Meta coinvolti nello studio — descrivono la divergent delivery come un comportamento intenzionale della piattaforma, non un bug da correggere. L’algoritmo di delivery è progettato esattamente per instradare ogni annuncio verso gli utenti che con maggiore probabilità risponderanno bene a quello specifico contenuto, ed è proprio questo comportamento a massimizzare la performance della campagna quando è attiva in produzione. Lo stesso meccanismo che rende una campagna pubblicitaria efficiente in condizioni operative reali è quello che rende inaffidabile usare quella stessa campagna come strumento scientifico per isolare l’effetto causale della creatività.
Cosa propone il paper come mitigazione, e il compromesso che comporta
Gli stessi autori propongono configurazioni di campagna che limitano la capacità dell’algoritmo di differenziare la delivery tra le varianti in test — vincoli di targeting più rigidi che riducono il margine di manovra dell’ottimizzazione automatica. Il compromesso che questo comporta è diretto: restringere la libertà dell’algoritmo per ottenere un confronto più valido tra le creatività riduce, quasi per definizione, l’efficienza della campagna live rispetto a quanto l’algoritmo saprebbe ottenere senza quei vincoli. Non esiste, in altre parole, una configurazione che massimizzi contemporaneamente la validità scientifica del test e la performance della campagna in corso: sono due obiettivi che tirano in direzioni opposte, e chi lancia un test A/B deve scegliere consapevolmente quale dei due privilegiare, invece di dare per scontato di poter ottenere entrambi allo stesso tempo.
Cosa cambia per chi legge un risultato di test A/B
Questo non è un invito a smettere di usare i test A/B nativi delle piattaforme pubblicitarie, che restano uno strumento rapido ed economico per decisioni operative quotidiane. È un motivo in più, aggiunto a quelli già discussi a proposito dei case study di conversion rate optimization, per trattare con cautela un singolo risultato di test usato per trarre una lezione creativa generale — “il messaggio A funziona meglio del messaggio B” — quando quel risultato proviene da un confronto diretto tra varianti attive su una piattaforma con un algoritmo di delivery che, per sua stessa natura commerciale, non è progettato per fornire un confronto scientificamente pulito. Per le decisioni con una posta in gioco più alta — non quale singolo annuncio abbia performato meglio questa settimana, ma quale messaggio strategico adottare su scala più ampia — gli strumenti con un impianto sperimentale più solido, come il lift test con vero gruppo di controllo o il test di incrementalità geografico descritti altrove su questa testata, restano la base più affidabile su cui costruire una decisione.