Il vicepresidente di Open AI non accetta proprio che ChatGPT stia peggiorando rispetto alla precedente versione

Respingere la realtà che non soltanto è stata fotografata da uno studio di due prestigiose università americane, ma anche di quella che traspare da esempi concreti che sono stati riportati, puntualmente, sui social network. Peter Welinder, vicepresidente di Open AI che ha la delega al controllo della qualità del prodotto ChatGPT, ha respinto in maniera decisa le osservazioni arrivate in seguito alla presentazione dello studio della Stanford University e della UC Berkeley che hanno evidenziato delle risposte più approssimative di ChatGPT 3.5 e di ChatGPT 4 rispetto a quelle fornite dagli stessi strumenti qualche mese fa.

LEGGI ANCHE > ChatGPT sta diventando meno “intelligente”?

Peter Welinder ha risposto in maniera poco soddisfacente alle osservazioni dei ricercatori dell’università

In sintesi, come abbiamo rilevato nel nostro articolo di apertura al monografico di oggi, ChatGPT risulta meno accurato, secondo lo studio, nel risolvere problemi di matematica, in entrambe le versioni, dal marzo 2023 (quando era più preciso) al giugno del 2023 (quando ha evidenziato problemi molto seri, anche per quanto riguarda la risoluzione di quesiti piuttosto semplici). Sembra diretta proprio a questi ricercatori l’affermazione che Peter Welinder ha affidato a Twitter: «No, non abbiamo reso GPT-4 più stupido. Al contrario: rendiamo ogni nuova versione più intelligente della precedente. Ipotesi attuale: quando lo usi più frequentemente, inizi a notare problemi che non vedevi prima». Poi, ha rincarato la dose: «Se qualcuno ha delle evidenze, le può segnalare».

Detto, fatto. In risposta al tweet sono arrivate diverse segnalazioni che hanno in qualche modo evidenziato gli stessi problemi analizzati dai ricercatori delle due università americane:

here i ask it a simple question, is transpose(1,2) the same as transpose(2,1) in torch, and it contradicted itself 4 times+ in the same conversation. it was capable of answering much tougher torch questions like high dimensional folding operations no problem in the past pic.twitter.com/5poU3UNdEi

— c w (@cwa93393) July 15, 2023

Il VP di Open AI, al momento, si è limitato a ringraziare per gli esempi forniti. Tuttavia, da alcune comunicazioni successive alla data dello studio, si evince che Open AI stia lavorando per rendere più smart ChatGPT. Insomma, rispondere a uno studio – anche piuttosto documentato – con la frase «più lo usi, più si notano gli errori» non sembra essere la strada giusta. Anche perché il tema sollevato dai ricercatori non trova una sua ragion d’essere nell’utilizzo dello strumento, quanto nel far notare che una versione successiva che funziona peggio rispetto a una versione precedente può rappresentare un problema. Soprattutto per il peso specifico che si sta dando all’intelligenza artificiale generativa.