Il file robots.txt di un sito web è pubblico: chiunque può leggerlo con un browser, aggiungendo semplicemente “/robots.txt” dopo il nome di dominio. Aprendo quelli di ANSA e Il Sole 24 Ore si scopre una scelta tecnica precisa, e uno scollamento rispetto a come si stanno muovendo i grandi editori internazionali, rilevato confrontando i due file direttamente con i dati aggregati più recenti sul comportamento dei publisher verso i crawler AI.
Due tipi di bot AI, con un’economia completamente diversa. Non tutti i crawler dell’intelligenza artificiale fanno la stessa cosa. Una prima categoria, che comprende GPTBot di OpenAI, ClaudeBot di Anthropic, CCBot di Common Crawl e Google-Extended, scarica pagine per addestrare modelli linguistici: un’attività ad altissimo volume che non produce quasi nessun traffico di ritorno verso il sito scaricato. Una seconda categoria, che comprende OAI-SearchBot, ChatGPT-User e Perplexity-User, funziona in modo diverso: interroga una pagina in tempo reale, mentre una persona sta facendo una domanda a ChatGPT o Perplexity, e può restituire un link cliccabile verso la fonte originale. La prima categoria costa al publisher senza restituire quasi nulla; la seconda può generare visite reali, e secondo i dati emersi negli ultimi mesi, visite che convertono meglio della media del traffico complessivo.
Cosa fanno, in aggregato, i grandi editori mondiali. Un’analisi dei file robots.txt condotta sulla rete di Cloudflare ad agosto di quest’anno ha misurato esattamente questa distinzione su scala. Per i bot di addestramento, il rapporto tra siti che bloccano e siti che permettono è netto: 2,33 a 1 per GPTBot, 2,39 a 1 per ClaudeBot, addirittura 4,08 a 1 per CCBot. Per i bot di risposta in tempo reale, il rapporto si inverte quasi completamente: OAI-SearchBot è bloccato meno di quanto sia permesso (0,94 a 1), e ChatGPT-User è quasi alla pari (1,12 a 1). La spiegazione economica, secondo lo stesso studio, sta nel rapporto tra scansioni e visite restituite: ClaudeBot scarica pagine con un rapporto di 1.917 scansioni per ogni visita umana che genera in cambio, mentre un bot di risposta restituisce traffico diretto e immediato. I publisher, in altre parole, non stanno bloccando “l’AI” in blocco: stanno bloccando l’addestramento e lasciando passare le risposte, verso le stesse aziende, in modo differenziato.
Cosa succede controllando riga per riga i file di due testate italiane. Il file di ANSA, verificato direttamente, blocca con “Disallow: /” un elenco molto ampio di user-agent: ClaudeBot, GPTBot, Google-Extended, CCBot, anthropic-ai, Bytespider, Amazonbot, e insieme a questi anche ChatGPT-User, il bot di risposta in tempo reale, non quello di addestramento. Il file de Il Sole 24 Ore, aggiornato al 18 aprile di quest’anno, fa lo stesso: blocca GPTBot e Google-Extended insieme ad OAI-SearchBot, ChatGPT-User e Perplexity-User, senza distinzione tra le due categorie. Nessuno dei due file applica la differenziazione che i dati aggregati mostrano essere diventata la norma altrove: entrambi trattano un bot che addestra un modello esattamente come un bot che sta rispondendo in questo momento ad una persona che potrebbe cliccare sul link e arrivare sul sito.
Il costo pratico di non differenziare. I dati sul traffico proveniente dagli assistenti AI, già citati su questa testata a proposito della trasformazione della distribuzione dei contenuti, mostrano che questo tipo di visita converte il 42% meglio della media e genera il 37% di ricavo per visita in più rispetto al traffico non-AI. Bloccare indiscriminatamente anche ChatGPT-User o OAI-SearchBot non impedisce ad un modello di aver già appreso i contenuti del sito durante l’addestramento, se il blocco è arrivato dopo: impedisce solo che, oggi, un utente che chiede qualcosa a quell’assistente venga indirizzato verso l’articolo originale con un link. Per una testata o un’azienda che si preoccupa di essere citata correttamente da questi sistemi, come discusso a proposito della crescita degli strumenti di ottimizzazione per i motori generativi, un file robots.txt che blocca tutto indistintamente lavora nella direzione opposta a quell’obiettivo.
Come si scrive, tecnicamente, un blocco differenziato. La sintassi non cambia rispetto ad un blocco totale: basta una direttiva User-agent dedicata per ciascun bot, con Disallow: / per le categorie di addestramento (GPTBot, CCBot, ClaudeBot, Google-Extended, anthropic-ai, Bytespider) e Allow: / esplicito, o semplicemente l’assenza di un blocco, per i bot di risposta (OAI-SearchBot, ChatGPT-User, Perplexity-User). La differenza non è nella complessità tecnica, che è minima, ma nella decisione consapevole di trattare le due categorie in modo diverso invece di applicare la stessa regola a tutte per comodità.
Fonti: ANSA, robots.txt; Il Sole 24 Ore, robots.txt; TechnologyChecker.io, “We Analyzed robots.txt Across Cloudflare’s Network”.