Un grande esperimento randomizzato su ByteDance mette in discussione uno dei presupposti più diffusi della misurazione digitale: che l’efficacia di una campagna coincida con ciò che accade dentro il canale che ha erogato l’annuncio. Una parte consistente dell’effetto, invece, può manifestarsi altrove.
C’è un momento, nella vita di quasi ogni campagna digitale, in cui qualcuno apre una dashboard e guarda il costo per conversione. Il numero è lì, apparentemente preciso. Accanto ci sono impression, clic, conversion rate, revenue attribuita. Si confrontano le campagne, si spostano budget, si decide quale audience meriti di essere ampliata e quale canale, invece, debba essere ridimensionato. È uno dei rituali più consolidati del marketing contemporaneo.
Ma quel numero può avere un problema strutturale: potrebbe misurare molto bene ciò che accade dentro una piattaforma e molto male ciò che la pubblicità ha realmente provocato.
È questa, in sostanza, la conclusione di un esperimento pubblicato nel 2025 su Marketing Science. Yitian Liang, Xinlei Chen, Shengnan Han, Jinglong Zhang e Yubo Chen hanno condotto un grande esperimento randomizzato sul sistema pubblicitario di ByteDance, coinvolgendo oltre 84 milioni di utenti e una casa automobilistica. Il risultato più interessante non riguarda tanto il rendimento della piattaforma in sé, quanto ciò che accade dopo che l’utente ne è uscito. La maggior parte dell’effetto pubblicitario osservato si manifesta infatti attraverso conversioni che avvengono fuori dall’ecosistema ByteDance: gli utenti esposti alla pubblicità risultano otto volte più propensi a convertire al di fuori della piattaforma rispetto a farlo al suo interno. Quando questo effetto di spillover viene incluso nella valutazione, il costo medio per conversione si riduce di cinque o, a seconda del metodo di calcolo, di venticinque volte.
Non significa che la pubblicità sia improvvisamente venticinque volte più efficace. Significa qualcosa di più interessante: la metrica con cui stavamo giudicando la sua efficacia non osservava una parte sostanziale del fenomeno.
Il confine dell’osservazione
Il problema, dunque, non è soltanto l’attribuzione. È il confine dell’osservazione. Nel marketing digitale abbiamo imparato a ragionare per canali: un utente vede un annuncio, clicca, visita un sito e acquista. La piattaforma può quindi associare quell’acquisto all’esposizione pubblicitaria e il marketer può calcolare un costo per acquisizione. Ma la decisione d’acquisto reale raramente segue una catena così lineare.
Un utente può vedere un video mentre scorre il feed, non cliccare nulla, parlarne con qualcuno, cercare il prodotto su Google il giorno successivo, visitare il sito del produttore, confrontare alternative, tornare una settimana dopo e infine acquistare. Nel frattempo, la piattaforma che ha mostrato l’annuncio ha perso la visibilità sul percorso. Dal punto di vista della sua dashboard, è accaduto poco o nulla. Dal punto di vista della marca, potrebbe essere accaduto moltissimo.
È questo il fenomeno che gli autori definiscono advertising spillover: una parte dell’effetto prodotto da un’esposizione pubblicitaria si manifesta al di fuori del sistema nel quale l’esposizione è avvenuta. La distinzione è fondamentale perché mette in discussione un’equivalenza spesso data per scontata nel marketing digitale: ciò che la piattaforma riesce a misurare non coincide necessariamente con ciò che la campagna ha prodotto.
Un esperimento su 84 milioni di utenti
Il valore dello studio sta anche nel modo in cui gli autori arrivano a questa conclusione. Non siamo davanti alla consueta analisi osservazionale secondo cui “chi ha visto l’annuncio ha comprato di più”. Quella relazione, da sola, non dimostrerebbe che l’annuncio abbia causato l’acquisto: gli utenti che vedono una determinata pubblicità potrebbero essere diversi, per caratteristiche o intenzioni, da quelli che non la vedono.
L’esperimento randomizzato permette invece di avvicinarsi alla domanda che interessa davvero a chi deve allocare un budget: quante conversioni in più abbiamo ottenuto grazie alla pubblicità?
È proprio qui che emerge il paradosso. Se si osservano soltanto le conversioni avvenute dentro ByteDance, si vede una parte relativamente piccola dell’effetto. Se si includono anche le conversioni che avvengono fuori dalla piattaforma, il quadro cambia radicalmente. Il dato più sorprendente è che gli utenti esposti alla pubblicità risultano otto volte più propensi a convertire fuori dalla piattaforma rispetto a farlo al suo interno.
La conversione che sfugge alla piattaforma
Sarebbe però un errore trasformare questo risultato nello slogan secondo cui “la pubblicità sui social converte otto volte di più fuori dai social”. Lo studio non dice questo. Non dimostra che ogni campagna pubblicitaria produrrà otto volte più vendite offline o su altri canali e non autorizza a considerare ByteDance rappresentativa di tutte le piattaforme, categorie merceologiche o situazioni di mercato.
Dice qualcosa di più circoscritto e, proprio per questo, più utile: quando si valuta una campagna limitandosi alle conversioni osservabili dentro la piattaforma, si rischia di ignorare una parte sostanziale del suo effetto causale.
Questa distinzione cambia anche il significato di una delle metriche più familiari del marketing: il CPA, il costo per acquisizione. Immaginiamo una campagna che generi 100 conversioni direttamente osservabili. Se il budget è di 100.000 euro, il CPA apparente è di 1.000 euro. Ma se l’esposizione pubblicitaria ha prodotto anche altre conversioni fuori dalla piattaforma, non riconducibili direttamente al percorso osservato dal sistema, quel CPA potrebbe non rappresentare il costo effettivo dell’acquisizione incrementale.
Il CPA calcolato dalla piattaforma non è necessariamente un errore matematico. È un numero corretto rispetto alla definizione utilizzata. Il problema è che la definizione potrebbe non coincidere con la domanda aziendale. Se la domanda è “quanto ci è costata ogni conversione registrata dalla piattaforma?”, il CPA risponde. Se la domanda è “quanto ci è costata ogni conversione incrementale prodotta dalla campagna?”, lo stesso numero potrebbe essere largamente insufficiente.
Quando il CPA racconta solo metà della storia
È una differenza tutt’altro che semantica. Incorporando lo spillover esterno, gli autori osservano infatti una riduzione del costo medio per conversione di cinque volte o, a seconda della procedura adottata, fino a venticinque volte. Il punto non è scegliere il moltiplicatore più spettacolare. È capire che il costo di acquisizione non è una proprietà naturale della campagna: dipende da ciò che decidiamo di chiamare conversione attribuibile.
Lo studio produce inoltre una conseguenza meno evidente ma importante per il targeting. Se si osservano soltanto i dati interni alla piattaforma, alcune variabili demografiche utilizzate comunemente per identificare gli utenti più sensibili alla pubblicità sembrano avere una certa capacità predittiva. Quando vengono incluse anche le conversioni che avvengono fuori dalla piattaforma, però, quelle stesse variabili perdono parte della loro capacità di spiegare chi convertirà. Al contrario, emerge un elemento comportamentale: la precedente visita alla pagina del brand sulla piattaforma diventa un indicatore particolarmente interessante dell’effetto pubblicitario complessivo.
Non cambia, quindi, soltanto quanto pensiamo che una campagna abbia funzionato. Può cambiare anche il modo in cui decidiamo a chi mostrarla. Una metrica incompleta può innescare una catena di decisioni incoerenti: misuro male l’effetto, valuto male l’audience, ottimizzo il targeting sulla variabile sbagliata e infine sposto il budget sulla base di un risultato che non descrive l’intero fenomeno. L’errore iniziale non resta confinato nella dashboard: si propaga nella strategia.
La precisione del dashboard e l’imprecisione della realtà
C’è qualcosa di quasi ironico in tutto questo. Abbiamo costruito il marketing digitale anche sulla promessa della misurabilità. Ogni clic può essere registrato, ogni impression contata, ogni evento associato a un utente, ogni passaggio ricostruito. Le piattaforme offrono strumenti di attribuzione sempre più sofisticati. Eppure, proprio quando la misurazione diventa più granulare, rischiamo di confondere la precisione dell’osservazione con la completezza dell’osservazione.
Una dashboard può dirci con grande precisione che cosa è accaduto dentro il proprio perimetro. Non può, per definizione, vedere ciò che avviene oltre quel perimetro se non dispone delle informazioni necessarie per ricostruirlo. È un problema particolarmente rilevante nell’ecosistema contemporaneo, nel quale il percorso d’acquisto attraversa motori di ricerca, social network, marketplace, siti proprietari, negozi fisici, app e conversazioni private. Il consumatore vede un sistema; le aziende, spesso, misurano tanti frammenti.
Misurare l’effetto, non soltanto il risultato
Per questo la conclusione più interessante dello studio non è che bisogna fidarsi meno della pubblicità sulle piattaforme. È che bisogna smettere di chiedere alle metriche di piattaforma una risposta che non sono progettate per dare.
La domanda “quante conversioni mi attribuisce la piattaforma?” è una domanda di reporting. La domanda “qual è l’incremento di conversioni che posso ragionevolmente attribuire all’esposizione pubblicitaria, indipendentemente dal luogo in cui la conversione viene registrata?” è invece una domanda causale. Sono domande simili soltanto in apparenza.
Per rispondere alla seconda servono esperimenti, gruppi di controllo, dati condivisi tra piattaforma e azienda, finestre temporali coerenti e una definizione della conversione che non dipenda esclusivamente dal sistema che vende lo spazio pubblicitario. Gli autori sottolineano proprio la necessità di una maggiore condivisione delle informazioni tra piattaforme e brand, oggi spesso limitata.
Questo non significa buttare via CPA, ROAS o le metriche di piattaforma. Significa collocarle nel posto giusto. Il CPA può continuare a essere utile per monitorare ciò che il canale osserva direttamente; il ROAS può aiutare a gestire l’operatività quotidiana; le metriche di engagement possono descrivere il comportamento all’interno dell’ecosistema. Ma nessuna di queste misure, presa isolatamente, dovrebbe essere confusa con una misura completa dell’effetto incrementale della pubblicità.
Una domanda diversa per decidere meglio
Il risultato dell’esperimento su ByteDance non è dunque che le piattaforme sottostimino sempre le proprie campagne. È che ogni sistema di misurazione tende naturalmente a descrivere il mondo dal proprio punto di osservazione.
Una piattaforma vede ciò che accade nella piattaforma; un CRM vede ciò che arriva nel CRM; un analytics vede ciò che riesce a tracciare; un marketplace vede ciò che avviene nel marketplace. Il cliente, invece, non vive dentro nessuno di questi sistemi. Vive il proprio percorso.
La difficoltà della misurazione moderna non consiste quindi soltanto nell’avere più dati. Consiste nel ricomporre correttamente dati prodotti da sistemi che osservano porzioni diverse dello stesso fenomeno. Ed è qui che l’esperimento su ByteDance diventa interessante anche al di là di ByteDance: ci ricorda che l’assenza di una conversione osservabile non equivale all’assenza di un effetto.
Per chi lavora con i numeri, è una distinzione fondamentale. Il rischio più sofisticato del marketing data-driven non è più quello di prendere decisioni senza dati. È prendere decisioni molto precise sulla base di dati che descrivono soltanto una parte della realtà.
Fonte principale: Liang, Y., Chen, X., Han, S., Zhang, J. & Chen, Y. (2025), Is the Money Spent on Short-Form Video Social Platforms Worth It? The Role of Advertising Spillover in a Large-Scale Randomized Field Experiment on ByteDance, Marketing Science, 44(5), 1125–1144. DOI: 10.1287/mksc.2023.0575.