Abbiamo raccontato, qualche mese fa, il caso di una catena di supermercati che ha condotto un test di incrementalità e ha scoperto che un’intera categoria di spesa pubblicitaria — la ricerca a pagamento non a marchio — produceva un lift pari a zero. La conclusione tecnica era netta e il budget è stato spostato altrove. Quello che il resoconto tecnico lascia fuori, e che merita di essere detto con franchezza, è cosa succede nell’organizzazione nei giorni successivi a un risultato come quello: qualcuno ha gestito quel budget per anni, qualcuno ha costruito una relazione con l’agenzia che lo eseguiva, qualcuno ha presentato quei numeri come un successo in innumerevoli riunioni precedenti. Un test di incrementalità non produce solo un dato. Produce, quasi sempre, un costo politico per qualcuno all’interno dell’organizzazione che lo ha commissionato.
Un incentivo che nessuno dichiara ad alta voce
Nel pezzo su clean room e brand tracking abbiamo osservato che una parte consistente degli strumenti di misurazione avanzata produce insight che nessuno in azienda ha il mandato di tradurre in azione. C’è un livello da aggiungere a quell’osservazione, perché la spiegazione non è solo di capacità organizzativa mancante: a volte è di incentivo strutturale contrario. Chi ha costruito la propria posizione, il proprio budget o la propria relazione professionale attorno a un canale, una strategia o un fornitore ha un interesse concreto — non necessariamente cinico, spesso semplicemente umano — a non essere quello che scopre, con un test rigoroso, che quella scelta non ha funzionato come si credeva. Non è pigrizia intellettuale. È una razionalità comprensibile che nessun framework di misurazione, per quanto sofisticato, elimina da solo.
Questo spiega un pattern che chiunque abbia lavorato a lungo in un’organizzazione di marketing riconosce: i test di incrementalità, i marketing mix model, le clean room vengono commissionati con più entusiasmo quando si ha già il sospetto che confermeranno una strategia esistente, e con molta più cautela — a volte con un rinvio silenzioso di trimestre in trimestre — quando il sospetto è opposto. La misurazione rigorosa non è mai neutra rispetto a chi la commissiona: chi ha di più da perdere da un risultato scomodo ha anche, spesso, più voce in capitolo su se e quando quella misurazione debba avvenire.
Perché questo non è un argomento contro la misurazione
Sarebbe facile, a questo punto, concludere che la misurazione rigorosa sia inutile perché ostacolata da questi incentivi. È l’esatto opposto della lezione che vogliamo trarne. Se la misurazione rigorosa avesse un costo politico pari a zero, non avrebbe nemmeno il valore che ha: il fatto che un test di incrementalità possa effettivamente cambiare una decisione consolidata, spostare un budget, chiudere una relazione con un fornitore, è la prova che quella misurazione stava producendo un’informazione reale, non uno sfondo scenico per decisioni già prese altrove. Un’organizzazione dove ogni test confermasse sempre quello che si pensava già prima non starebbe misurando niente — starebbe solo cercando conferme, con un passaggio tecnico in mezzo che serve solo a far sembrare la conferma più autorevole.
Cosa cambia se lo si dice chiaramente
Riconoscere apertamente che una misurazione rigorosa ha un costo politico per qualcuno, prima di condurla, è già un passo che riduce — non elimina, ma riduce — la resistenza a farla e a rispettarne il risultato. Un’organizzazione che tratta un risultato scomodo di test come un attacco personale a chi gestiva quel budget produce esattamente l’incentivo sbagliato: rende razionale, per chiunque altro stia valutando se proporre un test simile in futuro, non farlo. Un’organizzazione che invece separa esplicitamente la valutazione della decisione passata — presa con l’informazione disponibile al momento, spesso ragionevole con quello che si sapeva allora — dalla valutazione delle persone che l’hanno presa, rende la scomodità del risultato un costo sostenibile, non un rischio da evitare a monte.
Cosa proponiamo
La domanda da porsi, prima di commissionare un test di incrementalità o un marketing mix model su una strategia consolidata, non è solo quali insight potrebbe produrre, ma chi in azienda avrebbe più da perdere da un risultato negativo — e se quella persona ha, di fatto, un potere di veto informale sul fatto che il test avvenga o sui tempi in cui i suoi risultati vengono discussi. Non è una domanda che risolve il problema da sola, ma renderla esplicita, invece di lasciarla agire in silenzio dietro una serie di rinvii apparentemente tecnici, è già una forma di rigore che nessun modello statistico, per quanto avanzato, può fornire da solo.