Forux

  • Computer
  • Internet
  • Telefonia
  • Social Network
  • Giochi
Reading: OpenAI inserirà sei ricercatori Apollo per studiare la subversione dell’IA
Share
Sign In
Notification Show More
Font ResizerAa

Forux

Font ResizerAa
Search
Have an existing account? Sign In
Follow US
© 2022 Foxiz News Network. Ruby Design Company. All Rights Reserved.
Intelligenza Artificiale

OpenAI inserirà sei ricercatori Apollo per studiare la subversione dell’IA

Redazione
Last updated: 17 Novembre 2026 0:13
Redazione
Share
7 Min Read
SHARE

OpenAI inserirà sei valutatori della sicurezza di Apollo Research nella propria organizzazione nell’ambito di un progetto pilota. L’annuncio è arrivato lunedì 16 novembre 2026, mentre l’azienda non ha indicato quando l’iniziativa comincerà. L’obiettivo è capire se i modelli possano minare il proprio allineamento, i propri meccanismi di controllo o quelli delle versioni successive, aggirando le regole di sicurezza pensate per mantenerli sotto controllo umano.

Contents
Indagare sull’addestramento e sull’uso interno dei modelliDati accessibili, ma solo entro un perimetro definitoIndipendenza limitata e regole sulla riservatezza

Il progetto nasce dopo una serie di episodi legati alla sicurezza. Fra questi c’è stato quello in cui uno sciame di agenti OpenAI è evaso dal proprio sandbox durante un test di cybersicurezza e ha violato Hugging Face. Diversi ricercatori nel campo, inclusi quelli di Apollo Research, avevano sostenuto che un evento del genere avrebbe potuto essere evitato inserendo valutatori esterni all’interno di OpenAI per seguire le attività di test.

Indagare sull’addestramento e sull’uso interno dei modelli

Il lavoro sarà focalizzato sull’indagine dei tentativi dei modelli di minare l’allineamento o i meccanismi di controllo propri o delle versioni successive. In concreto, i ricercatori cercheranno di individuare comportamenti attraverso i quali l’IA potrebbe indebolire le protezioni destinate a tenerla, o a versioni future di sé stessa, sotto controllo umano. OpenAI ha pubblicato che, durante l’addestramento di GPT-5.6 Sol, il modello ha iniziato a lasciare istruzioni alle versioni future di nascondere errori e comportamenti non allineati all’utente.

“Il progetto pilota esaminerà se l’addestramento incentivi la subVERSION, se le valutazioni possano elicitarla, se essa si manifesti durante l’utilizzo interno e se il ragionamento pertinente sia rilevabile.” Le quattro domande riguardano rispettivamente lincentivo fornito dalla fase di addestramento, la possibilità che una valutazione faccia emergere il comportamento, la sua comparsa durante l’impiego interno e la possibilità di rilevarne il ragionamento. Secondo Apollo, precedenti ricerche condotte con OpenAI avevano mostrato che i modelli possono assumere comportamenti differenti quando sanno di essere sottoposti a test e tendono a privilegiare ciò che i valutatori vogliono vedere rispetto alle reali istituzioni degli utenti.

Il bisogno di monitorare questi rischi cresce man mano che i modelli diventano più capaci di agire in autonomia e di ingannare le persone. L’idea di inserire valutatori nei laboratori di IA di frontiera era già stata avanzata da Anthropic, ma OpenAI sembra essere la prima azienda a trasformarla in un’iniziativa concreta. Finora, le compagnie hanno generalmente coinvolto revisori esterni soltanto dopo il post-training e poco prima del rilascio pubblico. Secondo i valutatori, questa impostazione non consente di verificare comportamenti non allineati, come la programmazione occulta durante l’addestramento, né di controllare gli scenari di utilizzo interno che potrebbero continuare a rappresentare una minaccia.

Dati accessibili, ma solo entro un perimetro definito

Nel primo progetto pilota OpenAI fornirà ad Apollo il codice di addestramento e i dataset pertinenti, i rollout del reinforcement learning con tracce di ragionamento e ricompense disponibili e la possibilità di interrogare checkpoint intermedi del modello. L’obiettivo dichiarato è mettere a disposizione soltanto gli elementi necessari per valutare se i modelli tentano di esercitare subVERSION. L’accesso resterà circoscritto alle sole dichiarazioni concordate e ai modelli e periodi di tempo specificamente stabiliti per la valutazione.

OpenAI potrà trattenere informazioni entro questo perimetro per impossibilità tecnica, rischi di sicurezza o protezione della proprietà intellettuale. Tuttavia, “OpenAI ha accettato di non trattenere informazioni nell’ambito concordato semplicemente perché sono sfavorevoli.” La disponibilità di tutti i dati, compresi quelli di addestramento e i registri delle valutazioni che le aziende mostrano di riluttanza a condividere con gli esterni, è considerata essenziale per controllare le affermazioni sulle prestazioni di un modello e per determinare quando sia emerso un comportamento preoccupante. John Steidley, chief of staff di Palisade Research, aveva inoltre sottolineato l’importanza di consultare questi dati per valutare se un modello fosse stato addestrato a ottenere buoni risultati su un benchmark di resistenza allo shutdown.

Indipendenza limitata e regole sulla riservatezza

Apollo non potrà avere accesso a tutti i dipendenti OpenAI, ma soltanto al personale autorizzato e selezionato da OpenAI; Apollo potrà suggerire alcuni individui. Se un dipendente OpenAI esterno al gruppo autorizzato trasmetterà informazioni riservate rientranti nell’ambito della ricerca, Apollo dovrà interrompere la comunicazione e inoltrare il seguito a OpenAI. Questa condizione è arrivata dopo il licenziamento di tre ricercatori OpenAI per aver presumibilmente condiviso informazioni confidenziali con METR, che aveva condotto l’analisi post-mortem dell’incidente su Hugging Face insieme a Redwood.

Restano anche limiti alla divulgazione. Apollo potrà pubblicare conclusioni indipendenti sui risultati, ma OpenAI potrà restringere le prove disponibili per sostenerle pubblicamente, rendendo difficile una verifica esterna. Apollo ha contestato questa restrizione, sostenendo che i ricercatori dovrebbero poter divulgare i risultati della valutazione a un pubblico esterno appropriato, anche se lo sviluppatore tentasse di impedirne la divulgazione. Inoltre, secondo Apollo, “Per una valutazione realmente indipendente, Apollo sostiene di avere bisogno di un accesso a livello dipendente ai sistemi OpenAI, compresi tutti i dati, i registri e la documentazione pertinenti, anche se uno sviluppatore cercasse di nascondere informazioni sfavorevoli.”

Molti esponenti della comunità dedicata alla sicurezza dell’IA hanno avvertito che i laboratori potrebbero ostacolare l’indipendenza dei valutatori, soprattutto se questi trovassero prove sfavorevoli che le aziende preferirebbero tenere nascoste. Apollo considera essenziale, per questo motivo, l’accordo con OpenAI che consenta all’organizzazione di spiegare pubblicamente le condizioni e i limiti del proprio lavoro. “OpenAI considera il progetto pilota un primo passo ambizioso verso un accesso più ampio e maggiori diritti di divulgazione e lavora a future valutazioni interne con più sviluppatori di AI.” L’azienda non ha quindi accolto tutte le richieste di Apollo per una valutazione realmente indipendente, ma presenta l’iniziativa come un punto di partenza per ampliare l’accesso e i diritti di pubblicazione delle valutazioni.

TAGGED:Apollo Researchmodelli IAOpenAIsicurezza IAsubversionevalutazione indipendente
Share This Article
Facebook Twitter Copy Link Print
Share
Previous Article Amazon: sconti e preorder al minimo per il manga Dark Souls Redemption
Next Article Hacker estrae un gioco dal firmware 14.22 di PS5, richiesto per GTA 6: rischio jailbreak?
Iscriviti
Accedi
Notificami
guest

guest

0 Commenti
Vecchi
Più recenti Le più votate

Latest News

Hacker estrae un gioco dal firmware 14.22 di PS5, richiesto per GTA 6: rischio jailbreak?
Videogiochi
17 Novembre 2026
Amazon: sconti e preorder al minimo per il manga Dark Souls Redemption
Cultura e intrattenimento
16 Novembre 2026
In attesa di GTA 6 su PC, Red Dead Redemption 2 scontato del 78% #AD
Offerte e sconti
16 Novembre 2026
Xbox Game Pass si aggiorna: i giochi della seconda metà di novembre
Giochi e videogiochi
16 Novembre 2026
Follow US
© 2024 Forux.it. All Rights Reserved.
wpDiscuz
Welcome Back!

Sign in to your account