Un’agenzia che sviluppa chatbot aziendali descrive la propria architettura RAG come una soluzione che riduce “a zero le allucinazioni”. La documentazione tecnica di IBM sullo stesso argomento dice l’esatto contrario: la RAG può ridurre il rischio di risposte inventate, ma non può renderle impossibili. Due fonti, stessa tecnologia, certezza opposta — un buon punto di partenza per capire cosa questa architettura fa davvero.
Un modello linguistico generico risponde attingendo solo a ciò che ha imparato durante l’addestramento: statico, non aggiornabile senza un nuovo addestramento costoso, privo di qualunque informazione specifica su un’azienda particolare. L’architettura RAG — Retrieval-Augmented Generation — aggiunge un passaggio: prima di rispondere, il sistema recupera i documenti più pertinenti da una base di conoscenza esterna, schede prodotto, manuali, policy interne, e li fornisce al modello come contesto. Per un chatbot di assistenza su un e-commerce, questo significa poter rispondere con precisione su una politica di reso specifica di quell’azienda — un’informazione che nessun modello generico potrebbe conoscere da solo.
Trovare il documento giusto, però, non garantisce che la risposta generata lo rifletta fedelmente. Gli addetti ai lavori lo chiamano il problema della groundedness — l’aderenza della risposta al materiale recuperato — ed è distinto dal problema del recupero: un sistema può trovare esattamente il documento corretto e comunque generare una risposta che se ne allontana, mescolando informazioni vere con dettagli inventati per completare una frase in modo plausibile. La RAG risolve una fonte di errore — la mancanza di informazioni specifiche — ma non tocca l’altra, quella intrinseca al modo in cui un modello linguistico genera testo parola per parola, cercando la continuazione più plausibile invece di verificare ogni affermazione.
Le demo commerciali mostrano quasi sempre lo scenario migliore: una domanda chiara, una risposta pulita, un documento pertinente. Un benchmark accademico del 2025, chiamato MTRAG e costruito apposta per testare conversazioni a più turni, ha misurato cosa succede quando lo scambio si allunga e le domande dipendono dal contesto già stabilito prima. Anche i sistemi RAG più solidi peggiorano visibilmente man mano che la conversazione procede — esattamente lo scenario in cui un chatbot di assistenza clienti si trova più spesso nella vita reale: un cliente che chiede, poi precisa, poi fa una domanda correlata. Non lo scenario a domanda singola su cui la maggior parte delle demo viene costruita.
C’è un secondo problema, di manutenzione più che di architettura, raramente discusso nei materiali promozionali. L’indice documentale da cui il sistema attinge diventa obsoleto in fretta senza processi di aggiornamento pianificati — una nuova policy di reso, un prodotto ritirato, condizioni di garanzia cambiate. Senza aggiornamento regolare, il sistema continua a rispondere con sicurezza usando informazioni superate, con lo stesso tono affidabile che userebbe per un’informazione corretta.
Anche valutare questi sistemi è più complicato di quanto sembri: le metriche automatiche non bastano da sole, servono giudizio umano combinato a controlli specifici di aderenza al documento. Un fornitore che dichiara “il nostro chatbot ha un’accuratezza del 95%” senza specificare la metodologia — quale mix di giudizio umano e controllo automatico, su quale campione, comprese le conversazioni a più turni — merita lo stesso scetticismo riservato a qualunque altra cifra di accuratezza pubblicata da chi vende lo strumento che dovrebbe dimostrarla.
Dove questa architettura funziona bene: domini verticali ristretti e ben documentati, contenuti stabili nel tempo, interazioni prevalentemente brevi — specifiche tecniche di prodotto, condizioni di garanzia, domande frequenti già ben strutturate. Prima di affidarcisi per l’assistenza clienti, la verifica utile non è chiedere se il sistema elimina le allucinazioni. È testarlo su conversazioni realistiche a più turni, chiedere con quale frequenza la base di conoscenza viene aggiornata, e diffidare di chiunque prometta un azzeramento totale del rischio senza spiegare con quale metodo l’ha misurato.