Le intelligenze artificiali (IA) dietro le popolari piattaforme di AI generativa come ChatGPT forniscono risposte diverse quando sottoposte allo stesso test di ragionamento e non migliorano quando viene fornito un contesto aggiuntivo. È quanto emerge da un nuovo studio condotto dai ricercatori dell’University College London (UCL).
Lo studio, pubblicato su Royal Society Open Science, ha testato i modelli linguistici di grandi dimensioni (Large Language Models, LLMs) più avanzati utilizzando test di psicologia cognitiva per valutare la loro capacità di ragionamento. I risultati sottolineano l’importanza di comprendere come queste IA “pensano” prima di affidare loro compiti, in particolare quelli che coinvolgono decisioni.
Negli ultimi anni, gli LLM che alimentano le app di AI generativa come ChatGPT sono diventati sempre più sofisticati. La loro capacità di produrre testo, immagini, audio e video realistici ha sollevato preoccupazioni riguardo alla loro capacità di rubare posti di lavoro, influenzare le elezioni e commettere crimini. Tuttavia, queste IA hanno dimostrato di fabbricare informazioni, rispondere in modo incoerente e persino sbagliare semplici calcoli matematici.
In questo studio, i ricercatori dell’UCL hanno analizzato sistematicamente se 7 LLM (GPT-4, GPT-3.5, Google Bard, Claude 2, Llama 2 7b, Llama 2 13b e Llama 2 70b) fossero capaci di ragionamento razionale. Una definizione comune di agente razionale (umano o artificiale), adottata dagli autori, è quella di un agente che ragiona secondo le regole della logica e della probabilità. Un agente irrazionale è quello che non ragiona secondo queste regole.
Gli LLM sono stati sottoposti a una 12 test comuni di psicologia cognitiva per valutare il ragionamento, tra cui il compito di Wason, il problema di Linda e il problema di Monty Hall. La capacità degli esseri umani di risolvere questi compiti è bassa; in studi recenti, solo il 14% dei partecipanti ha risolto correttamente il problema di Linda e solo il 16% ha risolto correttamente il compito di Wason.
I modelli hanno mostrato irrazionalità in molte delle loro risposte, come fornire risposte variabili quando viene posta la stessa domanda 10 volte. Sono inclini a fare semplici errori, inclusi errori di addizione di base e confondere consonanti con vocali, il che li ha portati a fornire risposte errate.
Ad esempio, le risposte corrette al compito di Wason variavano dal 90% per GPT-4 allo 0% per GPT-3.5 e Google Bard. Llama 2 70b, che ha risposto correttamente il 10% delle volte, ha scambiato la lettera K per una vocale e quindi ha risposto in modo errato.
Mentre la maggior parte degli esseri umani fallirebbe anche nel rispondere correttamente al compito di Wason, è improbabile che ciò sia dovuto al fatto che non sanno cosa sia una vocale.
Olivia Macmillan-Scott, primo autore dello studio del Dipartimento di Informatica dell’UCL, ha dichiarato: “In base ai risultati del nostro studio e ad altre ricerche sui modelli linguistici di grandi dimensioni, si può dire con certezza che questi modelli non ‘pensano’ ancora come gli esseri umani. Detto questo, il modello con il dataset più grande, GPT-4, ha ottenuto risultati molto migliori rispetto agli altri modelli, suggerendo che stanno migliorando rapidamente. Tuttavia, è difficile dire come ragioni questo particolare modello perché è un sistema chiuso. Sospetto che ci siano altri strumenti in uso che non avremmo trovato nel predecessore GPT-3.5“.
Alcuni modelli hanno rifiutato di rispondere ai compiti per motivi etici, nonostante le domande fossero innocue. Questo è probabilmente il risultato di parametri di salvaguardia che non funzionano come previsto.
I ricercatori hanno anche fornito un contesto aggiuntivo per i compiti, che ha mostrato un miglioramento delle risposte delle persone. Tuttavia, gli LLM testati non hanno mostrato alcun miglioramento consistente.
Il Prof. Mirco Musolesi, autore senior dello studio del Dipartimento di Informatica dell’UCL, ha dichiarato: “Le capacità di questi modelli sono estremamente sorprendenti, soprattutto per le persone che lavorano con i computer da decenni, direi. La cosa interessante è che non comprendiamo realmente il comportamento emergente dei modelli linguistici di grandi dimensioni e perché e come ottengono risposte giuste o sbagliate. Ora abbiamo metodi per perfezionare questi modelli, ma poi sorge una domanda: se proviamo a correggere questi problemi insegnando ai modelli, imponiamo anche i nostri difetti? Ciò che è intrigante è che questi LLM ci fanno riflettere su come ragioniamo e sui nostri stessi pregiudizi, e se vogliamo macchine completamente razionali. Vogliamo qualcosa che commetta errori come noi, o vogliamo che siano perfetti?“
