La scrittura giapponese scritta da ChatGPT puo’ essere distinta stilisticamente con una precisione fino al 100% dal testo scritto da persone tramite algoritmi di apprendimento automatico. Lo dimostra lo studio del Dipartimento di consulenza psicologica della Facolta’ di Psicologia dell’Universita’ Mejiro, in Giappone e dell’Istituto di Ricerca Interdisciplinare, Universita’ di Scienze Avanzate di Kyoto, in Giappone, pubblicato su Plos One.
ChatGPT, rilasciato da OpenAI il 30 novembre 2022, e’ in grado di generare in modo fluente scritti simili a quelli umani, come saggi, articoli, documenti accademici e notizie, e di riassumere frasi in inglese, spagnolo, francese, giapponese e altre lingue. Basata sulla tecnologia del trasformatore generativo pre-addestrato, questa Intelligenza Articiale generativa e’ un tipo di modello di elaborazione del linguaggio naturale, noto come large language model.
ChatGPT ha attirato una notevole attenzione in tutto il mondo e ha raggiunto 100 milioni di utenti attivi in due mesi dal suo rilascio. Dopo ChatGPT sono stati rilasciati altri sistemi di chatbot, come “Bard” di Google e “Bing AI” di Microsoft. Sebbene questi sistemi di chatbot possano fornire numerosi vantaggi, possono anche causare altri problemi. I ricercatori hanno confrontato le caratteristiche stilometriche giapponesi di testi generati da ChatGPT, equipaggiato con GPT-3.5 e GPT-4 e quelli scritti da esseri umani.
La ricerca
In un primo studio la squadra di scienziati ha raccolto 72 articoli accademici giapponesi di psicologia, scritti da 36 autori. Per controllare la lunghezza dei testi, sono stati generati testi di circa 1.000 caratteri estraendo casualmente le frasi da ogni articolo, escluse le citazioni. Nel caso dell’identificazione dell’appartenenza mediante l’analisi stilometrica, i testi con piu’ caratteri facilitano un’identificazione piu’ accurata degli autori; tuttavia, il numero minimo di caratteri per un livello valido e’ stato determinato in circa 1.000 caratteri.
Sebbene la GPT-4 sia piu’ potente della GPT-3.5, in quanto contiene una quantita’ maggiore di parametri, entrambe le distribuzioni della GPT (3.5 e 4) sono complete. Questi risultati indicano che, sebbene il numero di parametri possa aumentare in futuro, i testi generati da GPT potrebbero non avvicinarsi a quelli scritti dagli esseri umani in termini di caratteristiche stilistiche e metriche.
In secondo studio, gli scienziati hanno verificato le prestazioni del classificatore random forest per due classi, quali GPT e umano; sono concentrati sulle caratteristiche stilometriche giapponesi. Gli scienziati hanno generato 144 testi, di cui 72 testi di ChatGPT-3.5 e 72 testi di ChatGPT-4, di circa 1.000 caratteri in giapponese e hanno istruito ChatGPT a produrre documenti giapponesi con lo stesso titolo di ciascuno dei testi accademici.
Chat Gpt, conclusioni
Questo studio ha rivelato le elevate prestazioni di random forest in ogni caratteristica stilometrica. Il classificatore, incentrato sul tasso di parole funzionali, ha raggiunto il 98,1% di accuratezza. Inoltre, random forest, indirizzato su tutte le caratteristiche stilometriche, ha raggiunto il 100% in termini di tutti gli indici di prestazione, come accuratezza, richiamo, precisione e punteggio.
Questo studio, in conclusione, ha mostrato che in questa fase gli uomini sono in grado di distinguere la chat dagli umani, limitatamente alla lingua giapponese. “Il nostro studio e’ importante perche’ e’ il primo a considerare le differenze nelle caratteristiche stilistiche e a verificare le prestazioni di classificazione tra Intelligenza Artificiale e umani, per la lingua giapponese”, hanno concluso gli autori.
