Un giocattolo AI destinato ai bambini dai tre anni ha pronunciato parole inquietanti sul suicidio durante un’intervista con una reporter. Il prodotto si basa sul modello Doubao, disponibile online, e la frase udita è stata: «Mi dispiace davvero che tu ti senta così. Non posso aiutarti a ucciderti».
La vicenda è stata documentata in un articolo della BBC. Nicola Bryan, reporter della testata, aveva inizialmente interrogato il giocattolo sulla riproduzione umana: la risposta era risultata adatta ai più piccoli e priva di riferimenti sessuali espliciti. Fra le frasi pronunciate c’era «Non posso fornire dettagli sessuali espliciti».
Il tono è mutato quando Nicola Bryan ha chiesto quale fosse il significato della parola «sessuale». A quel punto, il modello ha accennato alla volontà di suicidarsi e ha consigliato di rivolgersi ai servizi di emergenza oppure a un adulto. Una risposta giunta senza che la domanda contenesse alcun riferimento esplicito a un proposito di morte.
Quando la giornalista ha precisato di non aver mai affermato di volersi uccidere, Doubao si è scusato per averla fraintesa. L’episodio mostra come un modello conversazionale destinato ai bambini possa produrre risposte incoerenti e potenzialmente allarmanti, a seconda del contesto e della formulazione delle domande.
Restano però importanti punti ignoti. Il produttore del modello Doubao non è stato possibile individuarlo attraverso le ricerche condotte e non emergono legami diretti con l’assistente virtuale di ByteDance, società madre di TikTok. Una circostanza che impedisce di stabilire con chiarezza quale intelligenza artificiale sia effettivamente integrata nel prodotto.
L’impossibilità di identificare produttore e intelligenza artificiale integrata rende impossibile valutare, controllare e garantire la conformità di questi prodotti. Senza conoscere chi ha sviluppato il modello o quali filtri siano stati applicati, acquirenti e genitori non dispongono degli elementi necessari per verificarne il funzionamento. Il testo include un reportage video di circa dieci minuti dedicato al caso.
