OpenAI ha presentato un nuovo classificatore di immagini per individuare il materiale di abuso sessuale su minori, indicato come CSAM, anche quando è prodotto dall’intelligenza artificiale. L’azienda ha affiancato allo strumento avvisi e blocchi temporanei in ChatGPT, una linea guida per gli sviluppatori e un insieme di funzioni destinate alle forze dell’ordine.
Il classificatore è accessibile tramite API a un gruppo selezionato di aziende, senza alcun costo. Il sistema esamina i segnali visivi di abuso presenti in immagini mai osservate in precedenza e assegna un punteggio indicativo, utile ai revisori per orientare il proprio lavoro. Lo strumento è stato realizzato con il National Center for Missing and Exploited Children (NCMEC), mentre la condivisione dell’accesso prosegue insieme a Tech Coalition e ROOST.
Riduzione del lavoro di revisione
Le verifiche iniziali svolte con i partner hanno evidenziato un risultato concreto: il classificatore ha segnalato il 48% in meno di immagini, mantenendo invariato il numero di immagini abusive individuate. In questo modo, l’attività dei revisori si riduce senza che venga compromessa la capacità di individuare i materiali offensivi.
La qualità delle segnalazioni è migliorata parallelamente. Le immagini segnalate dal classificatore sono risultate il doppio delle probabilità di essere abusive. Il punteggio prodotto dallo strumento indica quindi con maggiore affidabilità quali immagini richiedono l’intervento umano, concentrando l’attenzione dei controlli su un numero più contenuto di elementi.
Avvisi e sospensioni in ChatGPT
In ChatGPT sono state introdotte nuove schermate di avvertimento per le richieste dirette a ottenere materiale che sessualizza i minori. Il sistema mostra un avviso all’utente, lo indirizza verso servizi di supporto specialistico per interrompere comportamenti dannosi e, come misura deterrente, sospende l’account per 24 ore. OpenAI ha precisato che l’applicazione blocca già i contenuti CSAM e le richieste correlate; le infrazioni ripetute possono comportare la rimozione permanente dell’account.
La formulazione dei messaggi e delle linee guida è stata definita con la partecipazione di Protect Children, della Lucy Faithfull Foundation e di Joel Scanlan dell’University of Tasmania, che ha valutato in modo indipendente una sperimentazione dei messaggi deterrenti.
Linee guida e strumenti per gli sviluppatori
OpenAI ha inoltre pubblicato linee guida per gli sviluppatori che utilizzano i suoi strumenti, dedicate alla prevenzione, al rilevamento e alla segnalazione dei contenuti CSAM. Secondo quanto dichiarato dall’azienda, le linee guida pubblicate per gli sviluppatori hanno aiutato un numero di sviluppatori ad adottare strumenti di sicurezza per l’infanzia e a registrarsi per la segnalazione dei contenuti CSAM al NCMEC.
Per le forze dell’ordine che si occupano della sicurezza dei minori sono previste funzioni basate sull’intelligenza artificiale, fra cui plugin dedicati, strumenti investigativi e analisi complesse dei dati. L’accesso è regolato dagli amministratori del programma. L’azienda mette a disposizione anche la formazione per gli investigatori e una guida operativa sull’impiego dell’intelligenza artificiale.
Le preoccupazioni sugli adolescenti
OpenAI è stata destinata di diverse cause giudiziarie che le attribuiscono danni agli utenti, soprattutto ai minori. L’organizzazione senza scopo di lucro Common Sense Media ha definito la tecnologia di OpenAI un “rischio inaccettabile per gli adolescenti”. Fra gli altri chatbot, Grok è stato utilizzato per creare immagini sessualizzate non consensuali, comprese quelle di minori.
Nel corso degli ultimi 12 mesi, l’azienda ha modificato la propria tecnologia: ha pubblicato un modello di sicurezza, aggiornato le linee guida sui contenuti per vietare materiali inappropriati, ricalibrato il modello affinché non producesse contenuti dannosi e rilasciato una versione dedicata di ChatGPT per gli adolescenti.