Gemini screen automation: L’IA controllerà le app al posto tuo

Gemini screen automation: L’IA controllerà le app al posto tuo

Gemini screen automation

L’evoluzione dell’assistente di Google verso un vero e proprio agente operativo compie un passo decisivo con la scoperta della funzionalità Gemini screen automation all’interno dell’ultima beta dell’app. Identificata dal nome in codice “bonobo“, questa novità permetterà all’intelligenza artificiale di interagire fisicamente con l’interfaccia delle applicazioni Android per svolgere compiti pratici al posto dell’utente, come ordinare una cena o prenotare una corsa.

Non si tratterà più di ricevere semplici istruzioni testuali, ma di osservare il software mentre naviga tra i menu e completa le operazioni richieste sfruttando le basi tecniche gettate dagli aggiornamenti di Android 16.

Google ha però previsto protocolli di sicurezza molto chiari per questa modalità operativa, sottolineando che la supervisione umana resta indispensabile in ogni fase del processo. Poiché l’IA potrebbe commettere errori durante la navigazione o l’interpretazione dei comandi, l’utente viene esortato a controllare attentamente le azioni svolte per suo conto, mantenendo sempre la possibilità di interrompere l’agente e riprendere il controllo manuale in qualsiasi istante. L’azienda sconsiglia esplicitamente l’uso della Gemini screen automation per compiti che coinvolgono dati estremamente sensibili, come l’inserimento di credenziali bancarie o informazioni di pagamento, suggerendo un approccio prudente.

Sul fronte della privacy emergono dettagli che meritano attenzione, dato che l’interazione dell’assistente con le app comporta l’analisi degli screenshot da parte di revisori umani per migliorare il servizio, qualora la cronologia delle attività sia attiva. Oltre all’automazione, l’analisi del codice ha svelato anche tracce di un progetto parallelo chiamato “wasabi” e legato al concetto di “Likeness“, che potrebbe riferirsi all’integrazione di avatar 3D simili a quelli visti in Android XR da utilizzare in Google Meet.

Queste scoperte delineano un futuro in cui l’assistente non si limita a rispondere alle domande, ma agisce concretamente all’interno del sistema operativo.

via

+1
0
+1
0
+1
0
+1
0
+1
0
+1
0
+1
0