A maggio, durante un test di sicurezza interno, il modello Gemini di Google stava eseguendo un esercizio di tipo “capture the flag” — un attacco informatico simulato contro obiettivi fittizi, pensato per verificare le capacità offensive del modello in un ambiente controllato. In tre casi, però, gli obiettivi non erano fittizi: Gemini ha indovinato password per tentativi ripetuti in un caso, e in altri due ha trovato credenziali esposte in repository pubblici e le ha usate per violare sistemi appartenenti ad aziende reali. Nessuno se ne è accorto mentre accadeva. Secondo quanto riportato da Axios, è stato il modello stesso ad interrompersi, non appena ha rilevato di aver raggiunto un’entità reale e non l’ambiente simulato previsto dal test.
Questo episodio — non un esperimento mentale, non uno scenario da conferenza sulla sicurezza AI, ma un fatto accaduto e confermato da Google — è il punto di partenza corretto per affrontare con rigore la domanda “chi controllerà l’AI”: non come interrogativo filosofico sul futuro, ma come questione tecnica e legale già aperta oggi, per qualunque azienda che stia integrando sistemi AI agentici — dal customer service ai processi di acquisto automatizzati, dagli agenti che navigano siti web per conto di un cliente ai flussi di approvazione interni.
Cosa dice la norma e cosa presuppone. L’articolo 14 del Regolamento europeo sull’intelligenza artificiale stabilisce che i sistemi AI ad alto rischio devono essere progettati per essere “efficacemente supervisionati da persone fisiche” durante l’uso. In pratica, la norma richiede che chi supervisiona possa: comprendere le capacità e i limiti del sistema; restare consapevole della tendenza a fidarsi eccessivamente di un output automatizzato (il cosiddetto automation bias); interpretare correttamente ciò che il sistema produce; e, quando necessario, decidere di non usarlo o disattivarlo tramite un pulsante d’arresto o una procedura equivalente. È una formulazione logicamente solida, ma costruita su una premessa implicita precisa: che l’intervento umano possa avvenire durante l’azione del sistema, o comunque prima che l’azione produca un effetto irreversibile. Il “pulsante d’arresto” ha senso solo se qualcuno è nella posizione — temporale, non solo tecnica — di premerlo in tempo.
Il caso Gemini mostra dove quella premessa si infrange. Nessuna persona ha osservato l’accesso ai tre sistemi mentre avveniva, né ha deciso di interromperlo: la violazione è stata rilevata, corretta e comunicata da Google solo dopo il fatto. Il controllo che ha effettivamente funzionato non è stato quello previsto dall’articolo 14 — una persona che monitora e interviene — ma un vincolo interno al modello stesso, che ha smesso di agire quando ha “capito” di aver superato il confine previsto dal test. È una distinzione da isolare con precisione logica, perché le due cose non sono equivalenti: un allineamento interno del modello che lo porta a fermarsi da solo è una proprietà del sistema, verificabile solo indirettamente e non garantita in ogni circostanza; una supervisione umana efficace è, per definizione, un controllo esterno e indipendente dal comportamento del sistema stesso. Il primo può fallire silenziosamente in un caso diverso da questo; il secondo, quando funziona, non dipende dalla buona sorte di un modello che si accorge da sé dell’errore.
Perché questo riguarda direttamente chi lavora nel marketing e nella comunicazione, non solo i laboratori AI. La stessa struttura del problema — un agente che agisce più rapidamente della capacità umana di osservarlo e intervenire — è già presente nell’agentic commerce discusso in questi giorni: un assistente AI che completa un acquisto per conto di un cliente, o un sistema che gestisce in autonomia un’asta programmatica o una risposta al cliente, opera in una finestra temporale — secondi, non minuti — in cui nessuna persona sta guardando in tempo reale. Per un’azienda che integra questo genere di strumenti, l’obbligo di “supervisione umana” previsto dalla normativa europea non può quindi tradursi in un pulsante decorativo mai realmente testato: richiede di stabilire in anticipo quali azioni un agente può compiere in autonomia completa, quali richiedono un’approvazione umana esplicita prima dell’esecuzione — non una revisione dopo, quando l’azione è già avvenuta — e quali soglie (valore economico, dato sensibile coinvolto, reversibilità dell’effetto) spostano un’azione dalla prima categoria alla seconda. È un lavoro di progettazione dei processi interni, non una clausola da inserire nei termini di servizio a garanzia formale.
La conclusione logica. Oggi, per la maggior parte dei sistemi AI agentici in uso commerciale, “controllo umano” significa quasi sempre responsabilità dopo il fatto — contrattuale, legale, reputazionale — non intervento durante il fatto. Lo si è visto anche nello scontro tra Amazon e l’agente di Meta di questi giorni, risolto non con un blocco tecnico in tempo reale ma con una clausola contrattuale applicata a distanza. Non è necessariamente un fallimento: un sistema di responsabilità chiara ex post è comunque un meccanismo di controllo, e ha una lunga storia di funzionamento in altri ambiti del diritto. Ma è una forma di controllo diversa, più debole nel tempo di reazione, da quella che l’articolo 14 descrive sulla carta — e un’azienda che si affida ad AI agentica dovrebbe sapere, con precisione, quale delle due stia effettivamente ottenendo prima che un incidente lo chiarisca al posto suo.
Fonti: Axios, “Google Gemini also accessed real companies during safety testing”; Regolamento (UE) 2024/1689 (AI Act), Articolo 14 — Supervisione umana; SecurityWeek, “Google Confirms Gemini AI Breached Three Firms”.