ChatGPT può generare risposte credibili anche quando i dati non esistono. Le frasi inventate, con nomi e dettagli realistici, possono sembrare autentiche se non controllate. Questo comportamento non è un difetto, ma una conseguenza del design dei modelli: preferiscono fornire una risposta plausibile piuttosto che ammettere l’incertezza.
Le ricerche di OpenAI e del Politecnico della Georgia dimostrano che i meccanismi di valutazione premiano le ipotesi audaci rispetto all’ammissione di incertezza. In pratica, il modello apprende che inventare è più sicuro che rimanere in silenzio.
Ridurre le allucinazioni con una semplice istruzione
Un test clinico su sei modelli ha mostrato che una singola riga di prompt, in cui si vieta esplicitamente la creazione di dati non verificati, abbassa il tasso medio di allucinazioni dal 66% al 44%. Questo miglioramento di oltre venti punti percentuali è ottenuto senza aggiungere complessità al dialogo.
Metodo 1: vietare le invenzioni
Prima di porre la domanda, è fondamentale stabilire regole chiare. Il prompt richiede al modello di non inventare studi, articoli, libri, collegamenti, citazioni, esperti, aziende, esempi di clienti o dati numerici. Se non dispone di una fonte verificata, deve rispondere: “Non dispongo di una fonte verificata per questa informazione.” In questo modo si evita che il chatbot riempia i vuoti con contenuti fantasiosi.
Metodo 2: chiedere fonti per ogni affermazione
Invece di limitare il modello, si può obbligarne a dimostrare le proprie affermazioni. Il prompt richiede la creazione di una lista di controllo, la citazione di fonti specifiche per ogni dato, la presentazione di calcoli numerici e la dichiarazione esplicita di eventuali informazioni non verificabili. La risposta risultante è più lunga ma più affidabile, poiché ogni affermazione è accompagnata da un riferimento.
Metodo 3: la catena di verifica
Questa tecnica più sofisticata prevede che il modello generi una risposta, poi la decostruisca in fatti verificabili, verifichi ciascuno di essi e infine riscriva la risposta includendo solo le affermazioni confermate. Il processo richiede più tempo, ma garantisce un risultato di qualità superiore rispetto alla risposta diretta.
Nonostante l’efficacia di questi metodi, nessuno è infallibile. Un chatbot addestrato a non inventare ridurrà le allucinazioni, ma non le eliminerà completamente. Il controllo umano rimane essenziale finché i sistemi non comprenderanno che l’ammissione di ignoranza è un segno di intelligenza e non di debolezza.
