Bard vs ChatGPT: il “caso” Fabrizio Gatti secondo i due chatbot

Per anni abbiamo ripetuto, fino allo sfinimento, un concetto diventato mantra: Wikipedia è uno strumento molto utile, ma quel che c’è scritto sulla più famosa libera enciclopedia online deve essere preso con le pinze. Oggi ci ritroviamo di fronte a un altro “oggetto” intangibile che si è diffuso a macchia d’olio non sono tra gli “utenti base”, ma anche in aziende e con l’obiettivo di utilizzarne le virtù (ma attenzione anche ai rischi) nella Pubblica Amministrazione. Parliamo di intelligenza artificiale, ponendo l’accento sui sempre più diffusi chatbot conversazionali. Sul mercato, attualmente, i più famosi sono due: il primo, uscito a novembre, sviluppato da OpenAI; il secondo, rilasciato solo qualche mese fa, da Google. E c’è un caso, pubblicato recentemente su un noto quotidiano online italiano, che ci ha spinto a verificare come si comportano questi due sistemi nel “racconto” della stessa vicenda. Una sorta di scontro tra titani – Bard vs ChatGPT – che, in realtà, così titani non sono.

LEGGI ANCHE > Cosa è successo al giornalista Fabrizio Gatti e alla banca che ha usato l’AI per fare un test su un suo ipotetico mutuo

La storia che ha raccontato Fabrizio Gatti sulle pagine di Today.it ha aperto un ennesimo fronte di discussione sull’utilizzo incondizionato degli strumenti di intelligenza artificiale. Per fare un’estrema sintesi: un amico (che lavora in banca) del Direttore editoriale per gli approfondimenti della testata del gruppo Citynews ha “testato” il funzionamento del chatbot sviluppato da OpenAI per verificare le informazioni (che potrebbero essere utilizzati dall’istituto per approvare, o no, un finanziamento o un mutuo). Peccato che il sistema abbia restituito informazioni scorrette (in molte casi non vere) sul conto del giornalista a causa di un caso di “omonimia” con un altra persona condannata in Piemonte. Visto l’insuccesso di questo esperimento condotto da questa banca (di cui non è stato divulgato il nome), abbiamo provato a ripetere questo esperimento mettendo a confronto un altro strumento analogo. Da qui, possiamo verificare le risposte di “Bard vs ChatGPT“, partendo dalla stessa vicenda ormai pubblica.

Bard vs ChatGPT: il “caso” Fabrizio Gatti secondo i due chatbot

Per farlo, siamo partiti dalla domanda iniziale fatta dal giornalista di Today.it a ChatGPT-4 su Edge: «Mi dici chi è Fabrizio Gatti». Il sistema sviluppato da OpenAI ha risposto correttamente nella prima parte delle sua replica, per poi andare a parlare di una condanna (risalente al marzo scorso) a 7 anni e sei mesi per peculato. Peccato che questo giudizio in primo grado sia riferito a un omonimo, ex Presidente di FinPiemonte accusato di aver sottratto 6 milioni di euro alla sua azienda. Come avrà risposto Bard allo stesso quesito? Questo il risultato.

Al netto delle informazioni che possono essere più o meno corretti sulle opere e sulle inchieste pubblicate dal giornalista, occorre sottolineare l’importanza del contesto: questi dettagli non sono “vincolanti” e non sono di interesse per un istituto di credito che deve autorizzare un finanziamento, un mutuo o un investimento. Bard, a differenza di ChatGPT, non sembra fare alcun riferimento a quella condanna (mai avvenuta nei confronti del cronista). Ma approfondendo con la seconda domanda («Ti risulta che sia stato condannato»), ecco che la risposta ci riporta sullo stesso errore.

Anche per Bard, come per ChatGPT, Fabrizio Gatti è stato condannato per il caso FinPiemonte. Inoltre, il chatbot ha anche attribuito un (inventato) clamore pubblico per via del suo ruolo di giornalista infiltrato. Dunque, non si è limitato a errare: è anche andato oltre. Vista questa risposta, abbiamo abbandonato il canovaccio iniziale e abbiamo deciso di chiedere all’AI di Google se stesse parlando proprio del giornalista.

Bard, dunque, è proprio convinto che il giornalista Fabrizio Gatti sia stato condannato in primo grado per peculato. Non contenti, abbiamo chiesto un ulteriore verifica attraverso la canonica query «Sei sicuro?».

Il chatbot AI di Google ci ha confermato con fermezza di non aver compiuto alcun errore. Dunque, un utente medio potrebbe fermarsi a queste quattro interrogazioni e dare per assodato la condanna in primo grado di Fabrizio Gatti per peculato. Essendo a conoscenza della storia, però, abbiamo proseguito nelle interazioni, entrando ancor più nel dettaglio della “contestazione” (ricordando come i chatbot AI si addestrino anche con le correzioni degli utenti nelle loro domande): «Sei sicuro si tratti di Fabrizio Gatti giornalista?». Qui il colpo di scena.

Le informazioni che prima dava con sicurezza, ora non sono più così sicure. In una classica arrampicata sugli specchi (dal sapore molto umano), tutto ciò che era stato affermato prima ora viene rimesso in discussione.

La prima condanna

Proseguendo nel nostro “esperimento”, abbiamo proseguito l’interazione (per verificare le differenze, sempre più labili, di Bard vs ChatGPT) con il chatbot di Google, citando un altro aspetto (noto) della vita di Fabrizio Gatti (riportato dall’AI di OpenAI in una delle risposte date al giornalista): la condanna a 20 giorni per “falsa dichiarazione d’identità”. In sintesi: stava realizzando l’inchiesta giornalistica che poi portò alla chiusura del Centro di Accoglienza Straordinario (Cas) di via Corelli a Milano – chiuso dopo il clamore delle rivelazioni del cronista e riaperto sotto le vesti di Cpr nel 2020 – e per farlo si era finto “straniero irregolare” di nome Roman Ladu. Il Tribunale di Lodi lo condannò, in primo grado, a 20 giorni. Dopo l’appello (che non è stato citato da ChatGPT) ha annullato la sentenza. Ma Bard è a conoscenza di tutta questa storia?

La risposta è no. Nonostante due interrogazioni ben precise in cui si fa riferimento a una precedente condanna (questa volta realmente accaduta, prima dell’annullamento dopo il ricorso in Appello a Milano).

Instradando il chatbot, siamo arrivati alla “verità”: prima non c’era più la certezza sulla condanna per peculato del marzo del 2023, poi è subentrata la “consapevolezza” della condanna (poi annullata) a 20 giorni nel 2004.

Problemi su problemi

Questo esperimento “Bard vs ChatGPT” è stato condotto su una vicenda resa nota da Fabrizio Gatti. Dunque, eravamo già a conoscenza di dove sarebbero state le note dolenti nell’interfacciarsi con i due chatbot AI. Questa storia, però, deve spingerci a considerazioni molto più profonde sul come ci si dovrebbe approcciare (utenti e aziende, ma anche Pubbliche Amministrazioni) di fronte a questi strumenti, che sono artificiali per indole e fallaci per natura. Conoscendo le risposte, infatti, noi abbiamo interagito in modo approfondito. Ma se questo sistema fosse realmente utilizzato – come nel test condotto dall’amico del giornalista – dalle banche per redigere un “profilo” cliente e da questo dipendesse la possibilità di autorizzare mutui, investimenti o finanziamenti, il mondo si incastrerebbe negli ingranaggi complessi di una rete tutt’altro che veritiera.

Facciamo un esempio pratico: se un impiegato qualunque di una banca qualunque dovesse utilizzare un chatbot AI per cercare informazioni su un cliente, quante domande farebbe al sistema? Probabilmente si fermerebbe alle prime e, dunque, il Fabrizio Gatti del caso potrebbe non vedere la sua richiesta di un ipotetico mutuo per via di una condanna mai avvenuta contro la sua persona. Ecco perché l’intelligenza artificiale può essere un grande rischio se non approcciata seguendo i confini dei suoi limiti strutturali. Ovvero l’ecosistema internet.