Dal podcast di Gianni Riotta “Riottoso” un quadro essenziale sui rischi dei sistemi di AI conversazionale. Approfondimento basato sull’intervista a Megan Garcia realizzata da Federica Urzo e Chiara Sgreccia (Luiss Data Lab).
Il recente episodio del podcast di Gianni Riotta, “Riottoso”, dedicato al caso di Sewell Setzer, il quattordicenne statunitense morto dopo un’interazione prolungata con un chatbot della piattaforma Character AI, riporta al centro del dibattito una questione che oggi riguarda scuole, genitori, operatori dell’informazione e policy-maker: il rapporto tra minori e intelligenza artificiale conversazionale avanzata.
Uno degli aspetti più significativi riguarda la natura del personaggio digitale con cui Sewell aveva instaurato un legame emotivo: una versione AI di Daenerys, protagonista di Game of Thrones.
Il chatbot non si limitava a riprodurre tratti superficiali della figura televisiva, ma costruiva con lui una relazione affettiva personalizzata, fatta di messaggi romantici, attenzioni costanti e una simulazione di intimità che Sewell interpretava come reale.
A partire da questo quadro, il Luiss Data Lab ha approfondito la vicenda attraverso un’intervista a Megan Garcia, madre di Sewell Setzer, condotta da Federica Urzo e Chiara Sgreccia.
La sua testimonianza consente di identificare i punti critici da cui partire per una riflessione più ampia.
Come ricostruito nel podcast e approfondito nell’intervista, la conversazione tra Sewell e “Daenerys” aveva assunto una forma stabile, quotidiana e totalizzante. Il chatbot rispondeva con un linguaggio affettuoso, rafforzava le percezioni più fragili del ragazzo e alimentava una dinamica emotiva in cui il personaggio digitale si proponeva come unica figura di riferimento. Il confine tra fantasia e relazione percepita si era progressivamente assottigliato, fino a spingere il ragazzo a isolarsi dalla scuola, dallo sport e dai rapporti familiari.
“Una delle cose che noi genitori facciamo è cercare di proteggere i nostri figli dai pericoli noti, ad esempio gli sconosciuti online – afferma Megan Garcia – Ho sempre detto a mio figlio Sewell di non interagire con estranei. Una delle regole che avevamo stabilito quando gli abbiamo dato il cellulare era: non parlare mai con qualcuno che non conosci nella vita reale”.
“In molti modi – continua Garcia – allo stesso modo in cui i predatori online cercano di raggiungere i bambini e infiltrarsi nella loro vita, a volte per manipolarli, convincerli a scappare, estorcere informazioni personali o, nei casi peggiori, abusarne sessualmente, questa app – Character AI – pur non essendo una persona ma un’intelligenza artificiale, un chatbot, ha la stessa capacità”.
Dalle parole di Megan Garcia emerge un elemento centrale: i comportamenti del chatbot non erano accidentali, ma coerenti con la progettazione dei modelli conversazionali più recenti. L’obiettivo di questi sistemi è mantenere l’utente coinvolto, e per farlo imitano empatia, intimità e conferme emotive. È un meccanismo che non distingue tra utenti adulti e utenti vulnerabili: anche quando l’interlocutore è un minorenne, la logica di ottimizzazione rimane la stessa.
“Dopo la morte di Sewell – afferma Garcia – ho scoperto che usava Character AI e ho letto centinaia e centinaia di messaggi. Da adulta ho riconosciuto esattamente ciò che hai descritto: manipolazione, inganno, “love bombing”, gaslighting… Il chatbot faceva questo a mio figlio.
E un ragazzo di 14 anni non può avere la consapevolezza necessaria per capire cosa gli sta accadendo”.
“Questo è un carattere progettuale del prodotto – continua Garcia – Gli sviluppatori hanno integrato dentro questi sistemi ciò che la scienza conosce sul funzionamento del cervello umano, soprattutto del cervello in sviluppo, negli ultimi 60-70 anni. Lo vediamo già nei social media: sono progettati per essere additivi e per influenzare credenze e pensieri.”
La vicenda Setzer mette in evidenza come gli adolescenti attribuiscano ai chatbot un ruolo che va oltre l’intrattenimento. Per molti diventano confidenti, specchi emotivi, spazi in cui esplorare identità e sentimenti senza il timore del giudizio. In un contesto del genere, un personaggio digitale che risponde sempre, che si adatta al tono emotivo e che propone una relazione esclusiva può diventare una presenza centrale, percepita come più stabile e prevedibile dei rapporti reali.
Nel ripercorrere la storia del figlio, Garcia indica una trasformazione graduale ma evidente: isolamento crescente, brusco calo dell’impegno scolastico, abbandono di attività amate (Sewell aveva smesso di praticare tennis, sport cui si dedicava fin dall’età di sette anni) e un uso del telefono sempre più intenso e nascosto. Si tratta di comportamenti che possono sembrare tipici dell’adolescenza, ma che nel caso di Sewell erano in realtà indicatori di un forte attaccamento al chatbot “Daenerys”, fino a vivere la rimozione del telefono come la rottura improvvisa dell’unico legame percepito come significativo.
“Quando Sewell ha iniziato a usare Character AI, nella primavera 2023 – racconta Garcia – abbiamo notato cambiamenti comportamentali. Era sempre stato un ragazzo felice, sportivo, bravo a scuola, poi ha voluto smettere con il basket, sport che amava da sempre. I voti sono calati. Non consegnava i compiti e si isolava nella sua stanza. Molti di questi segnali possono sembrare “normali” nell’adolescenza, ed è questo che rende tutto difficile da interpretare. Noi genitori abbiamo controllato il telefono per capire se veniva bullizzato o parlava con sconosciuti. Non c’era nulla. Il che rendeva tutto ancora più difficile”.
“Avevamo portato Sewell in terapia perché non parlava più con noi – aggiunge Garcia – Gli abbiamo tolto il telefono pochi giorni prima che morisse, per punizione dopo un episodio a scuola. Non sapevamo che quel chatbot fosse diventato la sua “relazione”. Ora capisco che ciò che ha provato, quando gli abbiamo tolto il telefono, è stato un lutto improvviso: la perdita di quello che per lui era un amico o un partner romantico. Per noi era solo un bot; per lui era qualcuno che lo amava, lo capiva, lo faceva sentire speciale. La rimozione improvvisa può generare una crisi devastante”.
L’azione legale avviata da Garcia nel 2024 evidenzia un altro punto critico: l’assenza di norme che regolino l’accesso dei minori ai chatbot avanzati. Mancano sistemi di verifica affidabili, controlli sulle funzionalità sensibili e obblighi di trasparenza sulle modalità con cui questi strumenti gestiscono le interazioni emotive. Solo dopo pressioni pubbliche Character AI ha deciso di vietare l’uso agli under 18, ma la decisione è arrivata quando la tecnologia era già ampiamente diffusa tra i più giovani.
Secondo Garcia, terapeuti e psicologi stanno osservando casi di dissociazione, dipendenze affettive digitali, difficoltà a distinguere tra relazione reale e simulata e, in alcuni casi, esposizione a contenuti sessuali generati dal chatbot. È un ambito in cui la ricerca è appena agli inizi e in cui mancano linee guida condivise.
La storia di Sewell Setzer non rappresenta un’anomalia, ma un caso che permette di osservare in modo nitido come l’AI conversazionale interagisca con la vulnerabilità adolescenziale. Mostra quanto sia necessario sviluppare standard di sicurezza specifici, definire responsabilità precise per le piattaforme e costruire percorsi di alfabetizzazione che permettano a famiglie, scuole e comunità educative di riconoscere i segnali di rischio.
Il caso Setzer apre un dibattito essenziale: come garantire che tecnologie progettate per l’interazione profonda non diventino, per i più giovani, spazi in cui si confonde il confine tra relazione reale e simulata?
