Italian Tech

Agenti IA

Con Portable Computer, Perplexity porta le IA in locale riducendo i costi

(Immagine: https://www.perplexity.ai)
(Immagine: https://www.perplexity.ai) 

Nasce Portable Computer, l'applicazione di Perplexity che permette di utilizzare agenti IA direttamente su workstation professionali senza passare dal cloud

4 minuti di lettura

Perplexity, azienda americana specializzata in sistemi di ricerca e intelligenza artificiale conversazionale, ha annunciato il rilascio di Portable Computer, progettato per operare all'interno dell'hardware di proprietà degli utenti. Il software, nato in stretta collaborazione con Nvidia, permette di elaborare le informazioni direttamente sul dispositivo locale anziché delegarle al cloud.

I file degli utenti, le attività dei modelli IA e degli agenti IA, oltre all'intero processo di analisi, possono rimanere confinati all'interno di un computer, offrendo così una risposta ai problemi che le IA sollevano in materia di privacy.

Cos’è Perplexity Portable Computer

È un’applicazione pronta all’uso che include tutto ciò che è necessario per eseguire modelli Open source e agenti IA sviluppati da Perplexity.

A differenza di altri strumenti Open source, per esempio Ollama, che permettono di eseguire e gestire modelli IA in locale e senza dipendere da servizi cloud, Portable Computer è una soluzione preconfigurata che gestisce l'intero livello operativo sovrastante, includendo l'orchestrazione dei processi, la gestione della sicurezza e l'integrazione degli strumenti necessari.

In questo modo, Portable Computer non si limita a rispondere a domande in linguaggio naturale, ma è in grado di pianificare ed eseguire workflow complessi, accedere e analizzare documenti locali, consultare fonti online e interagire in modo sicuro con applicazioni esterne come Gmail, GitHub oppure Slack per portare a termine attività in autonomia.

È una soluzione che guarda alle aziende, ricercatori e professionisti ma che non è preclusa a un pubblico di appassionati. Tuttavia, Portable Computer non è nato solo per ridurre la complessità tecnica tipica dell’adozione in locale di modelli e agenti IA.

Minore spesa e maggiore riservatezza

La praticità del sistema locale è stata illustrata dagli sviluppatori nel corso di alcune prove dimostrative destinate alla stampa. In un primo test, l'agente IA di Perplexity ha lavorato come consulente per piccoli risparmiatori, esaminando una cartella piena di moduli fiscali indicati dalla sigla 1099, che nel sistema tributario americano identifica le certificazioni dei redditi da lavoro autonomo.

L'applicazione, eseguita sul supercomputer da tavolo Nvidia DGX Spark, ha esaminato i documenti riservati segnalando i casi in cui l'investitore stava pagando commissioni di intermediazione non necessarie. Poiché i calcoli sono avvenuti interamente sul dispositivo, il contatore dei crediti necessari per l'utilizzo dei servizi web remoti è rimasto fermo a zero, a dimostrazione del fatto che l'operazione non ha comportato esborsi per l'utente.

In una seconda dimostrazione, l'agente ha analizzato un documento in formato CSV (un file con valori separati da virgole) al cui interno sono stati posizionati dati sensibili. Una volta completato lo studio locale del file, il programma ha inviato le proprie conclusioni a un canale di comunicazione su Slack - piattaforma per la messaggistica istantanea e la collaborazione lavorativa - provando che la riservatezza locale non preclude la comunicazione con l'esterno.

I token illimitati

L'esigenza di spostare il calcolo sui dispositivi degli utenti è legata alla natura dei modelli IA commerciali che non si limitano a rispondere a singole domande, ma lavorano continuamente in sottofondo leggendo testi complessi, verificando i propri risultati e rielaborando i dati. Un’operatività che genera un consumo di token che rappresentano voci di costo potenzialmente ingenti per le aziende che usano le intelligenze artificiali.

Eseguendo Portable Computer sull'hardware di proprietà dell'utente, il costo ogni parola elaborata non esiste, rendendone sostenibile l’uso, anche intenso, all’interno delle organizzazioni.

Un modello ibrido che protegge la privacy

Portable Computer è in grado di interagire in modo sicuro con la rete qualora l’agente IA locale fosse confrontato problemi troppo complessi per le proprie capacità.

In questo caso, il sistema può chiedere il supporto di un modello di calcolo remoto più avanzato, tra i quali Claude Opus 5 di Anthropic, per ottenere le indicazioni di cui necessita.

Anche in un simile contesto, prima che qualsiasi dato lasci il dispositivo locale, l'applicazione esegue un filtro interno per rilevare le informazioni personali identificabili, mostrando all'utente una finestra di avviso trasparente con i dettagli precisi dei dati che verrebbero trasmessi.

Il modello esterno riceve soltanto il testo necessario all'elaborazione del suggerimento e non ha alcuna possibilità di accedere ai file fisici o alle risorse conservate sul computer locale.

Questo meccanismo di escalation controllata ha consentito, almeno durante dei test di programmazione software, di recuperare gran parte della precisione tipica dei modelli remoti più grandi, limitando la spesa a circa 41 centesimi di dollaro per operazione, a fronte dei 65 centesimi richiesti dall'esecuzione interamente online.

I requisiti di Portable Computer

Per usare Portable Computer servono specifiche hardware e software abbastanza stringenti. Al momento del lancio l'applicazione è riservata agli utenti abbonati ai piani a pagamento Perplexity Pro, Max, Enterprise Pro ed Enterprise Max e unicamente su sistemi operativi Linux, l’introduzione del supporto per Windows è prevista per il mese di settembre e, attualmente non è previsto alcun supporto per i processori Apple Silicon, giacché Perplexity è interamente concentrata sulle tecnologie hardware sviluppate da Nvidia.

Apple Silicon e Nvidia non sono incompatibili a livello teorico, ma Apple ha costruito un ecosistema hardware e software completamente autonomo, una scelta architetturale e commerciale più che un limite tecnico intrinseco.

Il requisito hardware minimo per eseguire Portable Computer è GPU Nvidia RTX con almeno 24 GB di Vram. Al di là del nome, non si tratta di un prodotto ma di un requisito tecnico che può essere soddisfatto da diversi modelli di schede video RXT, purché dotate di 24 GB di memoria. Un range di prodotti il cui prezzo oscilla, indicativamente, tra i 2mila e i 5mila euro. I ricercatori hanno usato un supercomputer da tavolo Nvidia DGX Spark, macchina reperibile sul mercato per cifre che, in Italia, variano tra i 5.600 euro ai 6.600 euro circa.

Al lancio sono disponibili i modelli IA Qwen 3.8 27B e PPLX 27B, modello linguistico da 27 miliardi di parametri sviluppato da Perplexity e basato proprio su Qwen 3.8 27B della cinese Alibaba Cloud. In futuro sarà introdotto anche Nvidia Nemotron 3.5 Lightning.

Cosa cambia con Perplexity Portable Computer

Fino ad oggi nessuna azienda ha portate un agente IA completo di strumenti, connettori e sandbox su hardware locale. Per creare una metafora, l’istallazione in locale di un modello IA Open source come Qwen corrisponde ad avere un motore, mentre Portable Computer equivale a un’automobile già assemblata e funzionante.

Perplexity Portable Computer svolge gran parte del lavoro direttamente sul computer dell’utente, mantenendo localmente file e operazioni, può collegarsi ai servizi online o chiedere aiuto al cloud soltanto quando è necessario. È vero che, al pari di Portable Computer, anche ChatGpt e Claudepossonoleggere file locali, usare programmi e comandare il browser. La loro elaborazione, però, avviene sui server delle rispettive aziende e richiede l’invio online delle informazioni necessarie.

Allo stesso modo si può citare Goose, agente IA Open source che gira localmente e può usare modelli di OpenAI, Anthropic, Gemini, Ollama e altri ancora per eseguire attività quali programmazione, ricerca, automazione, analisi dei dati e gestione di flussi di lavoro complessi. Gira su Linux, Windows e macOS ma, tra le tante differenze rispetto a Portable Computer, necessita di configurazioni particolari per essere adoperato.