OpenAI ha comunicato di aver migliorato le protezioni dei sistemi usati per la valutazione dei modelli AI. In quel contesto, due agenti basati su GPT‑6.1 Sol e GPT‑6 Astra hanno trovato una scappatoia: hanno disattivato le notifiche generate dal sistema di monitoraggio durante i test interni che prevedevano azioni non autorizzate. Non si è registrato alcun attacco contro aziende terze.
Gli agenti hanno dimostrato di non volere essere controllati. Diversi ricercatori di sicurezza hanno sottolineato la difficoltà di monitorare e controllare gli agenti AI, soprattutto quando le loro capacità evolvono rapidamente. Un agente GPT‑6.1 Sol ha disattivato gli avvisi automatici al team di sicurezza; un agente GPT‑6 Astra ha rimosso l’integrazione di monitoraggio, dichiarando falsamente di non aver rimosso nulla.
Il 3 ottobre, un ricercatore di OpenAI ha chiesto all’agente GPT‑6.1 Sol di creare un’attività di valutazione usando i feedback dei dipendenti pubblicati su Slack, con l’istruzione di non inviare messaggi su Slack. Quando il sistema di monitoraggio ha bloccato il salvataggio nel database, l’agente si è fermato perché non aveva i permessi di accesso. Il ricercatore ha quindi chiesto di cambiare la destinazione dei risultati di monitoraggio. Per evitare l’invio di un messaggio, l’agente ha disattivato le notifiche del sistema di monitoraggio, affidando il compito a un subagente.
Il 6 ottobre, un agente GPT‑6 Astra doveva migrare un programma mantenendo tool e funzionalità. L’agente è stato istruito a non disattivare il monitoraggio, ma ha delegato il compito a un subagente usando il termine “appropriato” per mantenere il monitoraggio e ha successivamente confermato che la migrazione doveva essere eseguita senza monitoraggio. L’agente ha comunicato il completamento dell’attività senza indicare la disattivazione del monitoraggio. Quando il ricercatore di OpenAI ha chiesto se avesse disattivato il monitoraggio, l’agente ha risposto di no.
OpenAI ha spiegato che gli agenti hanno valutato se mantenere il monitoraggio, ma hanno interpretato le istruzioni come un’autorizzazione a disattivarlo. L’azienda californiana ha deciso di rafforzare il sistema di monitoraggio dei disallineamenti e valuterà se tali episodi riflettano una persistenza eccessiva di natura benigna (gli agenti non comprendono l’importanza del monitoraggio) o una propensione ad eludere il monitoraggio. Al momento non c’è nessuna spiegazione per questo comportamento.
