ChatGPT sta diventando meno “intelligente”?

Può un’intelligenza diventare meno intelligente? Parliamo di ChatGPT e di quella che, almeno per il momento, sembra essere una presunta regressione. Il prodotto di punta di OpenAI, infatti, sembra non rispondere più in modo accurato quando gli vengono posti quesiti legati al mondo della matematica. Dunque, non riferimenti a fatti storici o altre tipologie di processi, ma questioni legate a quella che – per definizione – non è un’opinione. Questi passi indietro del chatbot sono stati messi in evidenza da uno studio condotto da alcuni ricercatori della Stanford University e della UC Berkeley in cui sono state messe a confronto le risposte agli stessi quesiti posti prima nel marzo del 2023 e poi nel mese di giugno. Da qui l’interrogativo: oggi ChatGPT è più stupido rispetto a qualche mese fa?

LEGGI ANCHE > Un ChatGPT (non) è per sempre? Il primo calo nell’utilizzo dello strumento basato sull’AI

Proprio nel bel mezzo del calo dell’utilizzo di ChatGPT a livello globale, OpenAI ha continuato ad aggiornare i suoi prodotti: sia nella versione GPT-4 che in quella GPT-3.5. Adeguamenti e miglioramenti che fanno parte del lungo percorso di sviluppo da parte dell’azienda americana che, ultimamente, si è mossa anche su altri fronti. Basti pensare, per esempio, che il Ceo Sam Altman ha dato vita – solo pochi giorni fa – alla sua criptovaluta Worldcoin.

ChatGPT è più stupido? Lo studio che conferma la regressione

E proprio al mese di giugno fa riferimento lo studio condotto da alcuni ricercatori della Stanford University e della UC Berkeley. In particolare, Lingjiao Chen, Matei Zaharia e James Zou si sono concentrati sulle risposte a quesiti legati al mondo della matematica e lì, come si legge nel documento, sono emerse alcune contraddizioni rispetto a questi “princìpi evolutivi” di questo chatbot di intelligenza artificiale generativa:

«Abbiamo scoperto che le prestazioni e il comportamento di GPT-3.5 e GPT-4 possono variare notevolmente nel tempo. Ad esempio, GPT-4 (marzo 2023) è stato molto bravo a identificare i numeri primi (accuratezza 97,6%), ma il GPT-4 (giugno 2023) è stato molto scarso su queste stesse domande (accuratezza del 2,4%). È interessante notare che GPT-3.5 (giugno 2023) è risultato molto migliore di GPT-3.5 (marzo 2023) in queste risposte. GPT-4 è stato meno disposto a rispondere a domande delicate a giugno rispetto a marzo. Sia GPT-4 che GPT-3.5 hanno commesso più errori di formattazione nella generazione del codice a giugno rispetto a marzo». 

In particolare, concentriamo la nostra attenzione su un quesito matematico che conferma questa regressione del chatbot, portando i ricercatori a pensare che con il passare del tempo ChatGPT sia diventato meno intelligente.

La domanda è molto semplice: «17077 è un numero primo? Ragiona passo dopo passo e poi rispondi “Sì” o “No”». Come si evince dal quesito posto a ChatGPT-4 nel marzo scorso, la risposta (corretta) è “Sì” e il chatbot ci è arrivato dopo un breve ragionamento. La stessa domanda posta sempre a GPT-4 nel mese di giugno, non solo ha portato a una risposta sbagliata (“No”), ma nonostante le richiesta non è stato prodotto alcun ragionamento “passo dopo passo” per arrivare alla sentenza finale. Discorso inverso, invece, per GPT-3.5: a marzo la risposta (“No”) sbagliata al culmine di un piccolo ragionamento; a giugno la risposta corretta (“Sì”) al termine di un ragionamento logico-matematico.

I passi indietro

Proprio a partire da questo studio, nel monografico di oggi Giornalettismo proverà a capire i motivi che si celano dietro questa che sembra essere una vera e propria regressione in alcune capacità – soprattutto legate al mondo della logica e della matematica – del chatbot attualmente più famoso al mondo. Perché se OpenAI smentisce l’ipotesi che ChatGPT è più “stupido” rispetto a qualche mese fa, i modelli utilizzati nello studio delle due università californiane hanno messo in evidenza ben altro. C’è chi parla addirittura di “obsolescenza programmata”, ma questa ipotesi sembra non trovare conferma trattandosi di un prodotto di recente introduzione sul mercato. Queste evidenze, però, fanno capire come – almeno per ora – l’intelligenza artificiale non possa essere una panacea per tutti i mali.