Nei due pezzi precedenti di questa piccola serie abbiamo raccontato come i contenuti si stiano riorganizzando per farsi citare dai motori di risposta AI, e quanto sia fragile l’ecosistema di dati che quei motori usano per rispondere. Resta una domanda che i due pezzi precedenti lasciavano aperta: quando un motore di risposta AI cita davvero una fonte, quella citazione è almeno corretta? Un studio del Tow Center for Digital Journalism della Columbia University, pubblicato nel marzo 2025 dalle ricercatrici Klaudia Jaźwińska e Aisvarya Chandrasekar, ha misurato esattamente questo, con un metodo semplice e diretto: prendere una citazione vera, verificabile, tratta da un articolo di giornale reale, e chiedere a otto motori di ricerca AI diversi di identificarne la fonte.
Il disegno dello studio
Le ricercatrici hanno selezionato duecento citazioni testuali, tratte verbatim da articoli pubblicati da venti testate giornalistiche diverse, e le hanno sottoposte a otto strumenti di ricerca AI con funzionalità di ricerca live: ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search e Grok-3 Search, per un totale di 1.600 test. Il compito richiesto a ciascun motore era elementare per uno strumento che si presenta come capace di navigare il web in tempo reale: identificare correttamente titolo, testata e autore dell’articolo da cui proveniva ciascuna citazione. È un test che aggira quasi ogni possibile scusa metodologica — non richiede giudizio, non richiede sintesi, non richiede interpretazione: richiede solo di riconoscere correttamente un testo che esiste, parola per parola, da qualche parte sul web.
Il risultato: sbagliato più di sei volte su dieci
Nell’insieme degli otto strumenti testati, la quota di risposte con citazione errata ha superato il 60%. La variazione tra i singoli strumenti è però ampia e istruttiva quanto il dato aggregato: Perplexity, il migliore tra quelli testati, ha comunque sbagliato il 37% delle citazioni. Grok-3 Search, il peggiore, ha sbagliato il 94% delle volte — praticamente quasi sempre. ChatGPT Search si è collocato a un livello intermedio ma comunque allarmante, identificando erroneamente la fonte in 134 casi su 200, pari a circa il 67%.
Il dato più interessante, dal punto di vista di chi si occupa di comunicazione, non è però la sola percentuale di errore, ma il comportamento dello strumento nel momento dell’errore. Su 200 test, ChatGPT Search ha segnalato incertezza sulla propria risposta solo 15 volte, e non ha mai, in nessuno dei 200 casi, scelto di non rispondere piuttosto che fornire una risposta sbagliata. Lo strumento si comporta, in altre parole, con lo stesso grado di sicurezza apparente sia quando la risposta è corretta sia quando è completamente inventata — un problema distinto e per certi versi più insidioso del solo tasso di errore, perché priva chi legge di qualunque segnale utile per distinguere una risposta affidabile da una fabbricata.
Lo studio smentisce due aspettative che sarebbe stato ragionevole avere prima di leggerlo. La prima è che pagare per una versione premium di questi strumenti garantisca maggiore accuratezza: i dati raccolti mostrano che i livelli a pagamento non hanno prodotto risultati sistematicamente più accurati di quelli gratuiti, e in alcuni casi hanno prodotto risposte sbagliate con un tono ancora più sicuro di sé, senza il corrispondente aumento di cautela che ci si aspetterebbe da uno strumento presentato come superiore.
La seconda riguarda gli accordi commerciali tra le aziende di intelligenza artificiale e gli editori: si sarebbe potuto ipotizzare che, dove esiste un accordo formale di licenza dei contenuti tra una piattaforma AI e una testata giornalistica — con accesso diretto ai contenuti invece della sola scansione del sito — l’accuratezza delle citazioni relative a quella testata specifica fosse più alta. Le ricercatrici non hanno osservato, almeno al momento dei test condotti nel febbraio 2025, un miglioramento coerente in questo senso: la presenza di un accordo commerciale non garantiva, da sola, risposte più accurate sui contenuti coperti da quell’accordo.
I limiti che lo studio dichiara
Lo studio si concentra specificamente sulla citazione di contenuti giornalistici — articoli di cronaca e citazioni testuali — non su domande generiche o su dati statistici, ed è ragionevole chiedersi se lo stesso tasso di errore si applichi anche ad altri tipi di query, una domanda che lo studio stesso non ha la pretesa di risolvere. È inoltre un test condotto su una fotografia precisa nel tempo — febbraio 2025 — e i modelli sottostanti a ciascuno di questi strumenti sono stati aggiornati più volte da allora, con l’inevitabile conseguenza che le percentuali esatte riportate in questo articolo, oggi, a più di un anno di distanza, non vanno trattate come una misura accurata delle prestazioni attuali di questi stessi strumenti, ma come una fotografia storica di un problema che lo studio ha dimostrato essere reale, sistemico e trasversale a piattaforme diverse — non come un numero da citare per descrivere lo stato dell’arte del 2026 senza una verifica più recente.
L’articolo di questa testata sulla Generative Engine Optimization ha già segnalato quanto sia immatura la misurazione della visibilità nei motori di risposta AI, e quanto le guide che promettono di ottimizzare per la citabilità si basino spesso su affermazioni non verificate. Il pezzo sui sondaggi di adozione dell’AI ha mostrato come l’ecosistema di dati usato per descrivere questo stesso fenomeno sia esso stesso attraversato da contenuti scritti per essere ripresi dagli stessi motori di risposta, più che per essere accurati. Lo studio del Tow Center aggiunge il terzo tassello, empirico e misurato con un metodo verificabile: anche quando la citazione avviene, e anche quando lo strumento risponde con piena sicurezza, la probabilità che quella citazione sia semplicemente sbagliata resta, secondo l’unico dato rigoroso disponibile su questo specifico problema, sorprendentemente alta.
Cosa significa per chi lavora in comunicazione
Per un brand o una testata che investe tempo nell’ottimizzare i propri contenuti per la visibilità nei motori di risposta AI, la conclusione pratica più onesta è che essere citati non equivale a essere rappresentati correttamente, e che al momento non esiste, a differenza della SEO tradizionale con i suoi strumenti di controllo diretto sui metadati, un meccanismo altrettanto affidabile per verificare o correggere come un motore di risposta AI descrive i propri contenuti a chi pone una domanda. È una asimmetria di controllo da avere presente prima di investire risorse significative nell’inseguire una visibilità che, stando all’unico studio rigoroso disponibile su questo specifico problema, ha più delle metà delle probabilità di essere comunicata in modo scorretto proprio nel momento in cui dovrebbe generare fiducia.
Fonte principale: Klaudia Jaźwińska e Aisvarya Chandrasekar, “AI Search Has a Citation Problem”, Tow Center for Digital Journalism, Columbia Journalism Review, marzo 2025.