Un assistente nella scrivania, non nel cloud
L’idea di avere un piccolo factotum che vive esclusivamente nel computer sulla propria scrivania, che risponde solo al proprietario e non ai padroni di OpenAI, Google, Microsoft o Anthropic, ha un sapore diverso rispetto all’affidarsi ai servizi cloud o all’abbonamento a un chatbot. L’autore afferma che la privacy rende l’AI locale più attraente rispetto agli strumenti cloud: è come usare i tool AI basati su cloud, ma con la riservatezza dei propri dati dalla propria parte. Il timore di consegnare le informazioni più personali ai servizi cloud è stato il freno principale, ma oggi eseguire modelli potenti in locale è sempre più fattibile.
Resta però una linea netta: l’autore dichiara che non farà mai scrivere, modificare testi o generare volantini all’AI, ma con la privacy dalla sua parte potrebbe trovare compiti utili da “affidarle”. La domanda da cui parte tutto è se questa tecnologia sia così utile da giustificare una spesa consistente per un computer o un portatile con molta RAM costosa. L’autore si presenta come non esperto di AI: sarà un percorso di apprendimento, documentato in più articoli, per capire se vale la pena intraprenderlo.
Apple e i PC Windows puntano sull’AI agentica
Il contesto di mercato è caldo. Una parte rilevante della proposta commerciale di Apple per i nuovi Mac desktop riguarda quanto siano validi per l’AI locale, mentre un’intera linea di PC Windows RTX Spark sta per arrivare, con fino a 128GB di RAM, orientata all’uso dell’AI agentica. L’AI locale e gli agenti sono il tema del momento, e i produttori li trattano come argomento di vendita.
Per cominciare a sperimentare, l’autore ha installato alcuni LLM locali come parte del test in corso del Mac Studio M5 Ultra, oltre a esperimenti su altri sistemi Mac e Windows. La scelta dell’hardware non è casuale: la memoria abbondante è la condizione per far girare modelli di grandi dimensioni senza ricorrere al cloud, eliminando anche il costo per token tipico dei servizi in abbonamento.
Hermes Agent e il modello Qwen da 125 miliardi di parametri
Il primo passo è stato installare Hermes Agent sul Mac Studio. Si tratta di un’app desktop open-source self-hosted per agenti AI, compatibile con macOS, Windows e Linux, ed è completamente gratuita se si usano solo LLM locali. Grazie ai 256GB di memoria unificata del Mac Studio M5 Ultra testato, è possibile eseguire praticamente qualsiasi modello locale si desideri.
Ed è qui che le cose diventano rapidamente travolgenti: i modelli disponibili sono più numerosi di quanto si riesca a contare, e alcuni hanno usi specializzati. In generale, i modelli con molti miliardi di parametri sono più capaci di quelli con pochi miliardi. Poiché in locale non c’è il costo per token da pagare, l’autore ha deciso di partire in grande: tramite l’interfaccia di onboarding e il selettore di modelli di Hermes, la scelta è caduta su Qwen 3.8 Flash Next, un modello da 125 miliardi di parametri, di dimensioni pari a circa 105GB.
In programma anche prove con modelli Qwen molto più piccoli su altri dispositivi: un M6 Mac Mini, un M5 MacBook Air, un Asus TUF Gaming A14 con processore AMD Strix Halo e, in futuro, una macchina RTX Spark. L’invito è rivolto anche ai lettori, che possono condividere nei commenti i modelli locali e l’hardware che utilizzano.
Primi passi, poi la frustrazione
Mettere in funzione Hermes e Qwen ha richiesto poco tempo, così come renderli controllabili dal telefono tramite un bot di Telegram. L’avvio è stato quindi rapido e senza particolari ostacoli tecnici, almeno nella fase iniziale della configurazione.
Ma subito dopo è arrivato l’imprevisto: l’autore si è trovato davanti a una situazione non meglio specificata che rappresenta il primo vero ostacolo del percorso. È il punto in cui l’entusiasmo iniziale lascia spazio alla frustrazione tipica di chi si avvicina a strumenti complessi senza competenze consolidate. Il diario di questo percorso di apprendimento continuerà nei prossimi articoli, per verificare passo dopo passo se l’AI locale mantenga le promesse che il mercato le attribuisce.
