Per gli sviluppatori di app Android che si affidano all’intelligenza artificiale per la codifica, scegliere il modello giusto può essere complicato. Non tutti i modelli sono uguali e molti non sono specificatamente addestrati per i flussi di lavoro di sviluppo Android. Per risolvere questo problema, Google ha introdotto un nuovo benchmark per aiutare gli sviluppatori a comprendere il rendimento dei diversi modelli di intelligenza artificiale nelle attività di codifica Android nel mondo reale.
Soprannominato Panchina Androidil nuovo benchmark è progettato per valutare la capacità dei modelli linguistici di grandi dimensioni (LLM) di gestire le tipiche attività di sviluppo di Android. Google spiega che il benchmark valuta i modelli utilizzando attività del mondo reale provenienti da progetti pubblici su GitHub e chiede ai modelli di ricreare richieste pull effettive e risolvere problemi simili a quelli riscontrati dagli sviluppatori durante la creazione di app Android. I risultati vengono quindi verificati per vedere se risolvono effettivamente il problema.
In termini più semplici, il benchmark verifica se il codice generato dai modelli di intelligenza artificiale risolve veramente il problema invece di sembrare corretto solo in superficie. Questo aiuta Google a misurare quanto siano realmente utili i diversi modelli quando si tratta di risolvere problemi reali di sviluppo Android.
Con la prima versione di Android Bench, Google ha pianificato di “misurare esclusivamente le prestazioni del modello e di non concentrarsi sull’uso di agenti o strumenti”. I risultati evidenziano un ampio divario, con i modelli che hanno completato con successo tra il 16% e il 72% delle attività di benchmark. La società afferma che la pubblicazione di questi risultati dovrebbe rendere più semplice per gli sviluppatori confrontare i modelli e scegliere quelli che sono effettivamente in grado di gestire i reali problemi di codifica Android.
Oltre a guidare gli sviluppatori, il benchmark potrebbe anche spingere le aziende di intelligenza artificiale a migliorare la comprensione dei loro modelli sullo sviluppo di Android. Per supportare questo sforzo, Google ha pubblicato la metodologia, il set di dati e il framework di take a look at di Android Bench su GitHub. Nel corso del tempo, ciò potrebbe portare a strumenti di intelligenza artificiale meglio attrezzati per navigare in complesse basi di codice Android e aiutare gli sviluppatori a creare e correggere le app in modo più efficace.
