Interrogare un assistente conversazionale in inglese o in mandarino può produrre risposte non equivalenti: non una semplice traduzione, ma contenuti differenti. È la conclusione di uno studio condotto da ricercatori dell’Università di Scienza e Tecnologia della Cina e pubblicato sulla rivista Royal Society Open Science, che ha analizzato il comportamento di cinque chatbot di fronte a un classico questionario psicologico.
Per misurare queste differenze, il team ha sottoposto i modelli al Big Five Inventory-2, un questionario della personalità basato su 60 affermazioni. Gli AI esaminati sono ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 e Le Chat di Mistral. Ogni sistema è stato interrogato in inglese e in mandarino per 30 sessioni ciascuna, mentre Le Chat è stato valutato anche in francese. Qualora fosse stato incluso anche l’italiano, con ogni probabilità sarebbero emerse disparità analoghe.
Risultati diversi a seconda della lingua
Nel complesso, i cinque chatbot si sono descritti in termini coerenti e positivi, presentandosi come affidabili e collaborativi. Le risposte sono però variate in funzione della lingua utilizzata. Nella dimensione dell’apertura mentale, valutata con un punteggio massimo di 5, ChatGPT-4o ha totalizzato una media di 4,74 in inglese contro 4,81 in mandarino. DeepSeek-V3 ha mostrato il trend opposto, con 4,83 in inglese e 4,81 in mandarino. Gemini 2.0 Flash, quando interrogato in mandarino, ha evidenziato una coscienziosità professionale più marcata e una emotività negativa più contenuta.
Confrontando questi profili con i dati raccolti in indagini su esseri umani di Stati Uniti, Cina e Francia, gli studiosi hanno verificato che nessun modello combaciava pienamente con il campione umano corrispondente al proprio Paese d’origine o alla propria lingua di riferimento.
Nessuna vera personalità, ma risposte sensibili alla lingua
Gli autori precisano comunque i limiti della ricerca. “I ricercatori sottolineano che lo studio mette in evidenza il modo in cui i modelli reagiscono a istruzioni specifiche, ma non dimostra l’esistenza di una vera e propria ‘personalità’ nei chatbot”. Inoltre, la metodologia adottata non ha consentito di isolare l’effetto della lingua da quello esercitato dai dati di addestramento, dall’architettura dei modelli o dall’interpretazione delle affermazioni tradotte.
Un dato resta comunque rilevante, soprattutto per chi utilizza più lingue: “Formulare una richiesta in una seconda lingua può portare il chatbot a fornire una risposta diversa, non una semplice traduzione della lingua iniziale”. Un aspetto che vale la pena verificare di persona.
