Gartner ha analizzato l’impiego dei modelli ChatGPT e Claude da parte delle aziende per smistare le richieste dei clienti: un’attività spesso semplice e ripetitiva che, secondo l’analisi, non richiede sempre le prestazioni dei modelli più avanzati. Gran parte della giornata di un agente software, infatti, è composta da mansioni simili a quelle di un impiegato di concetto. L’uso indiscriminato di questi strumenti può comportare costi molto elevati, soprattutto quando la stessa operazione viene ripetuta migliaia o milioni di volte.
La raccomandazione è assegnare il lavoro in modo più efficiente, in base alle capacità necessarie, invece di affidare ogni compito ai modelli AI più avanzati. Per attività come classificare informazioni, chiamare programmi, controllare che un risultato torni o abbinare elenchi di dati, i modelli a pesi aperti possono offrire risultati paragonabili a quelli dei modelli proprietari.
Il vantaggio economico dipende dal confronto scelto. A parità di punteggio, il costo scenderebbe a un quarto rispetto al modello chiuso più economico. Rispetto a un modello di punta usato sempre e comunque, il vantaggio può arrivare a venti volte.
Questi risparmi, però, riguardano le condizioni migliori possibili, quelle da brochure. I modelli aperti tendono a produrre testi più lunghi e a ritentare più volte prima di centrare il bersaglio; ogni tentativo aggiuntivo consuma risorse. Considerando le ripetizioni aggiuntive tipiche dei modelli aperti, il costo per singola operazione scende di cinque o sei volte rispetto al modello di frontiera. Il vantaggio è meno spettacolare, ma resta rilevante quando la stessa operazione gira senza sosta, giorno e notte.
Un altro elemento riguarda la memoria degli agenti software. Ogni decisione presa, ogni strumento utilizzato e ogni risultato ottenuto confluiscono in un registro delle attività, una specie di diario di bordo. Per Gartner, il registro delle attività degli agenti può costituire un patrimonio aziendale e influire sul prezzo di vendita di una software house. Chi conserva questo materiale può comprendere come viene utilizzato il servizio e come ragionano i suoi agenti, acquisendo un sapere che pesa sulla valutazione in caso di vendita. Chi lo lascia in giro, invece, rischia di cedere insieme al servizio anche una parte di questa conoscenza.
L’accesso ai parametri dei modelli a pesi aperti offre un’ulteriore libertà operativa: sono accessibili e possono essere eseguiti sui server dell’azienda oppure su quelli di terzi. Molti modelli aperti sono offerti tramite API da fornitori esterni, quindi l’accesso ai pesi non implica automaticamente che i dati restino all’interno dell’azienda.
Per controllare davvero l’esecuzione e lo storico delle operazioni, occorre scegliere con cura dove il modello viene ospitato e quali regole di conservazione dei dati applicare. Avere accesso ai pesi, infatti, non garantisce che il registro delle attività resti entro i confini dell’organizzazione.
Gartner prevede che entro il 2030 i modelli aperti specializzati avranno un posto dominante, occupandosi dei passaggi stabili e ripetitivi. Attività come quelle appena descritte possono essere eseguite milioni di volte al mese: ai modelli più costosi e più brillanti resterebbe il compito di intervenire quando serve davvero.
