GPTZero, l’app per scovare i testi prodotti da una AI, funziona davvero?

Anno nuovo, app nuova. Così ha ragionato Edward Tian, studente 22enne di Toronto che – a Capodanno – ha lanciato un’applicazione chiamata GPTZero per «scovare rapidamente e in modo efficiente se un saggio è stato scritto con ChatGPT o da una persona». Come funziona GPTZero e in che modo riesce – se riesce – a scovare quali testi sono frutto di intelligenza artificiale e quali frutto di intelligenza (e mano) umana? Al di là del funzionamento dello strumento, lo abbiamo anche provato a usare inserendo un articolo che ChatGPT aveva scritto per Giornalettismo e un altro paio di testi che abbiamo fatto scrivere all’intelligenza artificiale.

I spent New Years building GPTZero — an app that can quickly and efficiently detect whether an essay is ChatGPT or human written

— Edward Tian (@edward_the6) January 3, 2023

LEGGI ANCHE >>> ChatGPT è solo una moda del momento?

Come funziona GPTZero?

Secondo chi l’ha creata, GPTZero è uno strumento in grado di capire se un testo inserito (che è bene sia lungo almeno cinque frasi per la restituzione di un risultato più completo) è stato scritto tramite intelligenza artificiale o da una persona. L’applicazione è stata creata col preciso scopo di identificare quali saggi accademici, temi e – in generale – produzioni scritte frutto del lavoro degli studenti sono state generate in maniera fraudolenta.

L’applicazione è attualmente in fase beta e di sviluppo. In che modo potrebbe essere usata? Agli educatori e ai docenti leverebbe il peso delle verifiche di plagio e i dubbi (se funziona bene) rispetto all’autenticità del testo che stanno valutando. Quel che è certo è che l’applicazione deve essere migliorata a partire dal fatto che, per ora, faccia fatica ad analizzare in maniera adeguata testi che presentano meno di dieci frasi. Ciò non toglie che, fatte le dovute modifiche, potrebbe rivelarsi uno strumento molto prezioso per assistere il lavoro degli insegnanti.

GPTZero riesce davvero a fare ciò che promette?

Noi di Giornalettismo abbiamo già realizzato un approfondimento su ChatGPT, su come funziona, sui potenziali utilizzi e sui rischi e i limiti di tecnologie come questa. Nel nostro approfondimento – come abbiamo già accennato – abbiamo fatto scrivere una porzione di articolo a ChatGPT. Partendo dalla richiesta in italiano “scrivi un articolo su ChatGPT”, l’AI ha prodotto un testo parlando di se stesso. Quello stesso testo lo abbiamo inserito nel box di analisi di GPTZero. Risultato?

Secondo l’applicazione si tratta di un testo generato da un essere umano quindi – in questo specifico caso – GPTZero non è stato in grado di riconoscere un testo generato in italiano da ChatGPT. Provando, invece, a inserire domande in inglese (abbiamo prima inserito “Secondo World War” e poi provato con Second World War Essay”) – generando, di conseguenza, testi in inglese -, GPTZero è stato in grado di riconoscere come  entrambe le produzioni fossero frutto dell’azione di un’intelligenza artificiale.

We’ll be rolling out a new model GPTZeroX, and new features to GPTZero next week! You can get all the deets here: https://t.co/hM7xk59HV5

— Edward Tian (@edward_the6) January 15, 2023

Intanto la scorsa settimana Tian ha fatto sapere che – nel corso di quella attuale – dovrebbero essere lanciati «un nuovo modello GPTZeroX e nuove funzionalità per GPTZero».