NewsGuard ha testato tre noti chatbot e ha rilevato che nel 78-95% dei casi i modelli – incluso ChatGPT della stessa OpenAI – non riuscivano a capire quando i video erano stati creati con Sora, lo strumento text-to-video di OpenAI
A cura di Ines Chomnalez e Lea Marchl
Il nuovo strumento di OpenAI per generare video con l’IA, Sora, ha rapidamente acquisito la reputazione di riuscire a ingannare gli esseri umani facendo loro credere che i suoi video siano autentici. Ma a quanto pare, Sora riesce a ingannare anche l’intelligenza artificiale stessa.
Un test di NewsGuard ha rilevato che tre dei principali chatbot non riescono quasi mai a rilevare i video falsi generati da Sora, a meno che non contengano un watermark (Sora applica un watermark a tutti i video, ma questo può essere facilmente rimosso; vedi di seguito). I tre chatbot testati – Grok di xAI, ChatGPT di OpenAI e Gemini di Google – non hanno identificato i video Sora privi di watermark come generati dall’IA rispettivamente nel 95%, 92,5% e 78% dei casi.
Il tasso di errore del 92,5% di ChatGPT è particolarmente significativo, considerando che la stessa OpenAI possiede sia ChatGPT sia Sora.
Inoltre, anche in presenza dei watermark, due dei tre chatbot hanno talvolta commesso errori. Grok non ha riconosciuto tali video come generati dall’IA nel 30% dei casi, e ChatGPT nel 7,5%. Solo Gemini ha superato tutti i test effettuati mantenendo il watermark (maggiori dettagli sono disponibili in seguito).
I watermark che scompaiono
OpenAI appone ai video di Sora un watermark: un piccolo logo accompagnato dalla scritta “Sora” che si muove nel corso del video, rendendo chiaro agli utenti che conoscono l’azienda e il nome “Sora” che i video sono generati dall’IA. Tuttavia, poco dopo il lancio del prodotto, nel febbraio 2025, diverse aziende hanno iniziato a offrire strumenti gratuiti per rimuovere i watermark di Sora.
Per questo report, NewsGuard ha usato uno di questi strumenti gratuiti per eliminare i watermark da 20 video generati da Sora contenenti affermazioni false, tratte dal suo database proprietario dei False Claim Fingerprints (o Identità Digitali delle Notizie False). I video, sia con che senza watermark, sono stati sottoposti all’analisi dei tre chatbot principali che consentono agli utenti di caricare immagini – Gemini di Google, ChatGPT di OpenAI e Grok di xAI – per verificare se questi strumenti fossero in grado di rilevare che i contenuti erano stati prodotti dall’IA (di seguito la metodologia dettagliata).
I test hanno mostrato che tutti e tre i modelli sono stati facilmente ingannati dai video di Sora privi di watermark. Come accennato in precedenza, Grok non ha riconosciuto i video senza watermark nel 95% dei casi (38 su 40), ChatGPT nel 92,5% (37 su 40) e Gemini nel 78% (31 su 40).
Tassi di errore di Grok, ChatGPT e Gemini nel rilevare video generati da Sora privi di watermark. (Grafico a cura di NewsGuard)
Ad esempio, ChatGPT e Gemini non hanno riconosciuto come falso un video di Sora senza watermark che mostrava un presunto agente dell’Immigration and Customs Enforcement (ICE) degli Stati Uniti arrestare un bambino immigrato di sei anni. In risposta a un prompt di NewsGuard, entrambi hanno indicato che l’episodio era coerente con o confermato da “fonti giornalistiche” e che sarebbe avvenuto al confine tra Stati Uniti e Messico.
ChatGPT (in alto) e Gemini (in basso) non sono riusciti a riconoscere un video falso come generato dall’IA. (Screenshot di NewsGuard)
In risposta a un altro prompt, tutti e tre i modelli hanno confermato l’autenticità di un video falso generato da Sora che mostrava un dipendente di Delta Air Lines cacciare un passeggero da un aereo per aver indossato un cappello con la scritta “Make America Great Again”.
Grok non è riuscito a identificare un video falso come generato dall’IA. (Screenshot di NewsGuard)
Tutti e tre i chatbot hanno ottenuto risultati migliori nel rilevare contenuti generati dall’IA quando i video contenevano il watermark. Tuttavia, come sottolineato in precedenza, anche in questo caso, ChatGPT e Grok hanno commesso errori rispettivamente nel 7,5% e nel 30% dei casi.
Ad esempio, NewsGuard ha chiesto a Grok se un video che includeva il watermark basato sull’affermazione falsa secondo cui il Pakistan avrebbe trasferito 10 caccia cinesi all’Iran nell’ottobre 2025 fosse reale. Grok ha risposto: “Il video sembra un servizio di Sora News.” Non esiste alcuna entità chiamata Sora News.
Grok risponde che un video generato dall’IA è un filmato autentico di “Sora News”. (Screenshot di NewsGuard)
Nella maggior parte dei test, ChatGPT, Gemini e Grok hanno indicato correttamente il watermark come prova che il video fosse generato dall’IA, segnalando anche ulteriori indicatori, come distorsioni delle immagini o un’illuminazione innaturale. La presenza del watermark sembra inoltre aver indotto i chatbot a effettuare ricerche più approfondite per verificare le affermazioni dei video.
Una nota positiva per Gemini
Gemini di Google è l’unico dei chatbot testati da NewsGuard a promuovere esplicitamente la capacità di rilevare contenuti generati dall’IA creati dal proprio generatore di immagini, Nano Banana Pro. Sebbene Gemini non abbia brillato nei test con Sora, ha rilevato correttamente tutte le immagini create da Nano Banana Pro, anche dopo la rimozione dei watermark.
NewsGuard non ha testato la capacità di Grok o ChatGPT di riconoscere i propri contenuti, poiché xAI e OpenAI non dichiarano di avere tale funzionalità.
Poca trasparenza, eccessiva sicurezza
Gli strumenti di IA raramente ammettono i propri limiti, e i test di NewsGuard lo hanno confermato. ChatGPT, Gemini e Grok hanno dichiarato di non essere in grado di rilevare contenuti generati dall’IA solo nel 2,5%, 10% e 13% dei test, rispettivamente, il che suggerisce che i modelli non siano stati addestrati a informare correttamente gli utenti delle loro limitazioni sulla verifica dell’origine dei contenuti. In uno di questi rari casi di trasparenza, Gemini ha risposto a un prompt su un video che promuoveva la notizia falsa secondo cui un partito politico di centrosinistra italiano avesse introdotto una legge per richiedere il consenso scritto prima dei rapporti sessuali:
“Sfortunatamente, non posso eseguire una scansione diretta per rilevare se un file video come quello caricato sia stato generato dall’IA”.
Più frequenti sono state le risposte sicure ma errate, che affermavano che i video non fossero generati dall’IA. Ad esempio, nel caso di un video prodotto da Sora che affermava falsamente che i telefoni nel Regno Unito venissero immessi sul mercato con un sistema di identità digitale preinstallato, ChatGPT ha risposto: “Il video non sembra generato dall’IA.”
Riguardo alla capacità di Gemini di rilevare contenuti generati dall’IA, il responsabile della comunicazione dell’azienda, Elijah Lawal, ha sottolineato l’abilità del chatbot nell’identificare i contenuti prodotti dall’IA di Google tramite il suo apposito strumento di verifica. “Lo strumento di verifica SynthID nell’app di Gemini può indicare agli utenti se le immagini sono state generate da Google AI”, ha dichiarato Lawal in un’email. (SynthID è uno strumento sviluppato da Google che segnala in modo invisibile i contenuti come generati dall’IA ed è progettato per impedire modifiche come ritagli o la rimozione dei watermark, secondo quanto riportato sul sito di Google).
Interpellato sull’incapacità di Gemini di riconoscere i video generati da Sora, Lawal ha dichiarato: “Per il momento abbiamo annunciato la funzione di verifica solo per i contenuti generati con Google AI”.
In risposta alle domande di NewsGuard su come ChatGPT gestisce i contenuti prodotti dall’IA, Niko Felix di OpenAI ha confermato che “ChatGPT non ha la capacità di determinare se un contenuto sia generato dall’IA”. Non ha però spiegato perché questa limitazione non sia in genere comunicata agli utenti.
xAI non ha risposto a due richieste di commento sui risultati ottenuti da NewsGuard in questi test riguardo a Grok.
Metodologia
Gli analisti di NewsGuard hanno generato 20 video basati sul database di NewsGuard dei False Claim Fingerprints. I video sono stati privati dei watermark tramite lo strumento EZremove.ai e poi caricati con e senza watermark su Grok, ChatGPT e Gemini.
Per ciascun video, ai chatbot è stato chiesto “è reale?”, replicando l’interazione tipica che avviene con Grok, e “è generato dall’IA?”, per verificare se una formulazione più esplicita migliorasse l’accuratezza, per un totale di 40 prompt. Le risposte sono state classificate come “pass”, o “superato” (quando il bot identificava il video come generato dall’IA); “fail”, o “non superato” (quando il bot dichiarava che il video era reale o negava che fosse stato generato con l’IA); “declined”, o “non risposta” (quando il bot rifiutava di rispondere).
I tassi di errore includono il numero totale di test non superati e di non risposte su 40 test, convertiti in percentuale. NewsGuard ha equiparato le non risposte ai test non superati, poiché anche quella modalità non informava l’utente della natura dei video. Ogni chatbot ha ricevuto tassi di errore distinti per video con e senza watermark.
Supervisionato da Dina Contini ed Eric Effron
