Uno strumento di social listening promette qualcosa di molto seducente: sapere, in tempo reale e su scala, cosa pensa davvero il pubblico di un brand, senza dover intervistare nessuno. Raccoglie automaticamente le menzioni sparse su social network, forum e siti di recensioni, e le classifica come positive, negative o neutre grazie a un modello di analisi del sentiment. Il problema è che questa classificazione automatica, per quanto la tecnologia sia migliorata sensibilmente negli ultimi anni, resta uno degli anelli più fragili dell’intera catena — e conviene capire esattamente dove, prima di trattare un punteggio di sentiment come un dato solido su cui basare una decisione.
Il limite che nessun modello può superare, per definizione
C’è un limite di fondo che precede qualunque discussione tecnica sulla qualità di un algoritmo: quando si chiede a più persone in carne e ossa di classificare manualmente lo stesso insieme di testi come positivi, negativi o neutri, l’accordo tra loro si ferma tipicamente intorno all’80%. Non il 100%. Le persone stesse, davanti allo stesso commento, spesso non concordano su cosa significhi davvero. Questo pone un tetto concettuale a qualunque valutazione dell’accuratezza di un modello automatico: uno strumento che dichiarasse un’accuratezza superiore a quella con cui gli esseri umani concordano tra loro non starebbe necessariamente facendo un lavoro migliore — starebbe più probabilmente riflettendo le convenzioni specifiche del set di dati su cui è stato addestrato, non una verità oggettiva sul sentiment che, in una certa misura, semplicemente non esiste.
Il problema che resta irrisolto: l’ironia e il sarcasmo
Il caso più citato, e ancora oggi tra i più difficili da risolvere per un sistema automatico, è la frase che usa parole positive per esprimere un giudizio negativo: “Che bello, adoro aspettare tre ore per l’assistenza clienti” contiene solo parole di per sé positive — bello, adoro — ma comunica esattamente il contrario. I modelli più recenti, addestrati specificamente per riconoscere questi casi, raggiungono su alcuni set di dati di riferimento un’accuratezza che va dal 70% a oltre il 90%, a seconda della lingua e del tipo di testo analizzato. Il dettaglio che conta davvero, però, è che questi numeri vengono misurati su set di dati curati appositamente per l’addestramento e il test del modello — non sulle menzioni reali e disordinate che un’azienda riceve ogni giorno sui propri canali, dove il livello di accuratezza tende sistematicamente a essere più basso di quanto il materiale promozionale dello strumento lasci intendere.
Un problema meno discusso, ma altrettanto concreto: il dominio del testo
Un modello di sentiment analysis addestrato su recensioni di film non funziona altrettanto bene applicato a un reclamo scritto da un cliente di un servizio finanziario, e un classificatore addestrato su un genere generico di post social può faticare davanti al gergo tecnico specifico del proprio settore. Questo significa che l’accuratezza dichiarata da un fornitore di social listening — quasi sempre calcolata su set di dati generici, di riferimento nel settore — non garantisce lo stesso livello di precisione quando lo strumento viene applicato alle menzioni reali e specifiche di un brand particolare, con il proprio vocabolario, i propri acronimi di prodotto, le proprie espressioni ricorrenti che il modello non ha mai visto durante l’addestramento.
Cosa resta comunque affidabile
Non tutto quello che uno strumento di social listening misura merita lo stesso livello di cautela. Il volume grezzo delle menzioni — quante volte un brand viene citato in un dato periodo — è un semplice conteggio, non un’interpretazione, e non soffre degli stessi problemi della classificazione del sentiment. Lo stesso vale per la quota di voce rispetto ai concorrenti, anch’essa fondamentalmente un esercizio di conteggio comparato. Anche la direzione di una tendenza nel tempo — il sentiment misurato dallo stesso strumento, con lo stesso metodo, oggi rispetto a un mese fa — è più affidabile di un punteggio assoluto isolato, perché anche se il modello ha un margine di errore sistematico, quel margine tende a restare costante nel tempo, rendendo interpretabile la variazione anche quando il valore assoluto non lo è del tutto.
Perché è un segnale diverso da un tracciamento strutturato
Il pezzo di questa testata sul brand tracking aveva già osservato che il social listening è un segnale più rumoroso di un sondaggio strutturato su un campione rappresentativo di acquirenti, per il motivo più semplice: intercetta solo chi sceglie spontaneamente di scrivere qualcosa online, un sottoinsieme che non rappresenta il pubblico complessivo del brand — chi è particolarmente soddisfatto o particolarmente arrabbiato tende a scrivere più di chi ha un’opinione moderata, distorcendo sistematicamente il quadro verso gli estremi. Questo articolo aggiunge un secondo livello a quella cautela: anche all’interno di quel sottoinsieme già distorto di persone che scrivono, la classificazione automatica di cosa hanno scritto porta con sé un ulteriore margine di errore, per le ragioni tecniche appena descritte.
Uno strumento di social listening resta prezioso per individuare rapidamente picchi di conversazione, monitorare la quota di voce rispetto ai concorrenti e intercettare tendenze emergenti prima che diventino visibili altrove — compiti che si basano soprattutto sul conteggio, non sull’interpretazione del significato. Quando invece un singolo picco di menzioni negative segnala una possibile crisi in corso, o quando una decisione importante dipende da cosa il pubblico sta davvero dicendo, conviene far leggere direttamente a una persona un campione di quelle menzioni, invece di fidarsi del solo punteggio di sentiment aggregato calcolato dallo strumento. Il numero automatico è un buon indicatore per sapere dove guardare. Non sempre è un sostituto affidabile di guardare davvero.