Nel novembre del 2023, Google ha presentato al mondo la sua nuova intelligenza artificiale denominata Gemini, con l’ambizioso obiettivo di competere con il gigante OpenAI nel campo dei modelli linguistici di grandi dimensioni (LLM). Tuttavia, uno studio solleva dubbi sull’efficacia di Gemini Pro, la versione avanzata per i consumatori, rispetto al più noto GPT-4 di OpenAI.
Test e i risultati
Il team di ricercatori, composto dalla Carnegie Mellon University e BerriAI, ha confrontato quattro diversi modelli di LLM: Google Gemini Pro, OpenAI GPT-3.5 Turbo, GPT-4 Turbo e Mixtral 8x7B. Il confronto è stato effettuato attraverso l’utilizzo di un sito aggregatore di intelligenza artificiale chiamato LiteLLM, nel periodo compreso tra l’11 e il 15 dicembre 2023. I risultati, rappresentativi di diverse aree come le scienze umane, il ragionamento, la matematica, la programmazione e la traduzione, hanno rivelato che Gemini Pro ha raggiunto un’accuratezza paragonabile a GPT 3.5 Turbo, ma notevolmente inferiore a GPT-4 Turbo.
Le debolezze di Gemini Pro
La ricerca ha messo in luce diverse debolezze di Gemini Pro in ambiti come la riorganizzazione delle parole, la produzione di simboli, la risoluzione di domande a scelta multipla, la comprensione di interrogazioni complesse, la codifica e la navigazione web. Questi risultati sollevano interrogativi sulla capacità di Gemini Pro di affrontare compiti avanzati nell’ambito dei modelli linguistici di grandi dimensioni.
Punti di forza e avanzamenti
Tuttavia, è cruciale notare che Gemini Pro ha dimostrato una certa superiorità rispetto a GPT 3.5 Turbo in alcune specifiche aree, come l’ordinamento delle parole, la manipolazione di simboli, la sicurezza, la microeconomia e la traduzione. Questi miglioramenti indicano che Google ha fatto progressi in settori specifici rispetto alle versioni precedenti di intelligenza artificiale.
La risposta di Google
In risposta allo studio, Google ha prontamente affermato che Gemini Pro ha superato GPT-3.5 e ha annunciato il prossimo rilascio di Gemini Ultra all’inizio del 2024, con prestazioni che superano persino GPT-4 secondo le loro valutazioni interne. Tuttavia, va notato che Google ha ammesso che la dimostrazione iniziale di Gemini è stata manipolata.
Lo studio rappresenta una sfida significativa per le ambizioni di Google nell’ambito dell’intelligenza artificiale generativa. Nonostante i progressi ottenuti con Gemini Pro, OpenAI mantiene la sua posizione di leader nel settore, secondo il professor Ethan Mollick della Wharton School, uno dei partecipanti alla ricerca. Al momento, sembra che GPT-4 di OpenAI rimanga la scelta migliore nel campo sempre più competitivo dei modelli linguistici di grandi dimensioni.
