Un piccolo gruppo di ricerca ha superato DeepMind nel benchmark AndroidWorld

In un mondo dominato da colossi, quali strategie dovrebbero adottare i piccoli team per continuare a fare la differenza?

Per chi non lo sapesse, AndroidWorld è un benchmark sviluppato da Google Research per valutare le capacità degli agenti artificiali di interagire con smartphone Android in modo simile a un essere umano. AndroidWorld propone ambienti dinamici in cui l’agente deve navigare tra app, toccare pulsanti, scorrere schermate, digitare testo e gestire notifiche impreviste. L’obiettivo non è solo riconoscere ciò che appare sullo schermo, ma anche pianificare ed eseguire azioni concrete per completare compiti complessi. Per questo è considerato un banco di prova cruciale per lo sviluppo di agenti mobili intelligenti e robusti.

AndroidWorld è utile perché se un’IA impara a usare bene un telefono, può diventare un collaboratore digitale universale, capace di interfacciarsi con qualsiasi app o servizio senza bisogno di integrazioni specifiche. La sfida di AndroidWorld non è solo tecnica, ma anche simbolica: racconta la dinamica tra David e Golia nel mondo dell’intelligenza artificiale.

Negli ultimi mesi, una storia interessante ha catturato l’attenzione della comunità AI: un piccolo gruppo indipendente di ricercatori ha sviluppato un agente artificiale per smartphone che è riuscito a superare i punteggi di colossi come Google DeepMind e Microsoft Research. Tuttavia, il loro primato è durato poco: un grande laboratorio cinese, Zhipu AI, ha rapidamente preso la leadership. Per capire il senso di questa vicenda, raccontata su Reddit, partiamo dalle basi.

Che cos’è un benchmark?

Un benchmark è un test standardizzato usato per misurare e confrontare le prestazioni di diversi sistemi di intelligenza artificiale. In altre parole, è come una gara in cui tutti corrono sullo stesso percorso. Alcuni benchmark famosi:

• ImageNet per la classificazione di immagini.
• GLUE per la comprensione del linguaggio naturale.
• AndroidWorld per l’interazione con dispositivi mobili.

AndroidWorld: usare un telefono come un umano

AndroidWorld è un benchmark relativamente nuovo, progettato per valutare quanto bene un agente artificiale riesca a usare uno smartphone Android come farebbe una persona. I compiti tipici includono:

• Toccare pulsanti.
• Scorrere schermate.
• Digitare testo.
• Navigare tra app diverse.

Questo tipo di interazione è complessa perché richiede:

1. Percezione visiva (riconoscere ciò che appare sullo schermo).
2. Comprensione del contesto (capire quale sia l’obiettivo).
3. Pianificazione (decidere quale sequenza di azioni porti al risultato).
4. Esecuzione (toccare, scorrere, scrivere in modo corretto).

Perché è difficile

A differenza di un videogioco o di un dataset statico, un telefono reale presenta molte variabili:

• Interfacce che cambiano a seconda dell’app.
• Pop‑up e notifiche inaspettate.
• Layout diversi in base al modello o alla versione del sistema operativo.

Creare un agente che funzioni in questo ambiente significa sviluppare un sistema robusto, capace di adattarsi a situazioni nuove.

Il piccolo team indipendente aveva costruito un framework agentico in grado di interagire autonomamente con lo smartphone, ottenendo punteggi migliori di Google DeepMind e Microsoft Research su AndroidWorld. Questo risultato ha sorpreso molti: dimostra che non sempre servono risorse gigantesche per innovare. Con un approccio creativo e focalizzato, anche un gruppo ridotto può battere i giganti.

Poco dopo, però, Zhipu AI – un laboratorio cinese con decine di ricercatori e risorse molto maggiori – ha pubblicato risultati che superavano quelli del piccolo team. Nel gergo competitivo, questo è il significato della frase “We beat Google DeepMind but got killed by a Chinese lab”: prima hanno superato i leader occidentali, ma poi sono stati nettamente sorpassati da un attore ancora più forte.

Invece di arrendersi, il piccolo team ha scelto una strada diversa: rendere pubblico e open source il proprio sistema, su Github (link). Questo approccio ha due vantaggi:

• Collaborazione: altri ricercatori possono contribuire a migliorare l’agente.
• Diffusione: anche senza le risorse di un grande laboratorio, il progetto può crescere grazie alla comunità.

In parallelo, stanno sviluppando ambienti di addestramento su misura (RL gyms), ovvero simulazioni che permettono all’agente di esercitarsi e migliorare le proprie capacità, avvicinandosi a prestazioni ottimali.

Questa vicenda è significativa per almeno tre motivi:

1. Dimostra che piccoli team possono innovare e persino superare per un po’ i giganti.
2. Evidenzia il ruolo crescente della Cina nell’AI, con laboratori in grado di mobilitare risorse enormi.
3. Ribadisce il valore dell’open source come leva per competere in un ecosistema dominato da grandi player.