Jakub Pachocki, chief scientist di OpenAI, ha proposto in un nuovo post sul blog dell’azienda un metodo per porre limiti allo sviluppo dell’AI. Il suo ragionamento si fonda sulla perplessità, una misura che, secondo l’originale, «misura quanto bene un modello prevede in media il token successivo; una perplessità più bassa indica previsioni migliori».
La centralità di questa indicazione deriva da un problema emerso nel dibattito sulla sicurezza: per rallentare l’evoluzione dell’intelligenza artificiale occorre stabilire innanzitutto come quantificarne la velocità. Nel testo, Pachocki sostiene che i benchmark incentrati sulle «capacità downstream» dell’AI sono rapidamente diventati obsoleti con l’avanzamento della tecnologia, mentre la perplessità è rimasta «informativa». Il post include un grafico che mostra la diminuzione della perplessità dei modelli OpenAI da GPT-3.5.
Secondo l’argomentazione dello scienziato, GPT-4, con perplessità ~0.91, era competente nel uso produttivo del ragionamento chain-of-thought; valori inferiori a 0.8 hanno coinciso con l’emergere di capacità trasformative nella cybersecurity e nella matematica. Pachocki ha scritto che questa competenza ha motivato «la successiva elicitazione mirata di questa capacità e la creazione dei moderni modelli di ragionamento».
La perplessità potrebbe fornire la base per «un benchmark condiviso per l’intelligenza generale» e consentire alle aziende AI di stabilire limiti comuni. Le aziende AI dovrebbero impegnarsi a non superare una certa soglia finché non sarà raggiunto un traguardo concreto nella capacità di comprendere e monitorare il comportamento dell’AI.
La proposta si inserisce in un contesto di pressioni crescenti. Un ex ricercatore di OpenAI e Anthropic ha affermato che le due aziende stanno «scommettendo sulle nostre vite», mentre il documento per l’IPO di Anthropic suggeriva che la tecnologia potrebbe comportare «rischi catastrofici o esistenziali per la società». Dario Amodei, CEO di Anthropic, aveva pubblicato un piano per «rallentare la frontiera», che secondo la fonte sembrava sostenuto anche da Sam Altman ed Elon Musk.
Nel piano di Amodei, le aziende sono invitate ad accordare standard di sicurezza comuni e limiti alla velocità del progresso dell’AI non controllato. Altman ha definito il post di Pachocki «la cosa più importante che OpenAI abbia pubblicato negli ultimi tempi», attribuendogli un ruolo centrale nel dibattito sulla regolazione dello sviluppo dell’intelligenza artificiale.