L’app che è stata presumibilmente usata per i deepnude spagnoli è sotto accusa, a partire dal suo slogan

«Spogliate chiunque con il nostro servizio gratuito» – recita senza pudore l’home page dell’app (nella sua versione web) che è stata utilizzata, verosimilmente, nella cittadina spagnola di Almendralejo dai ragazzi di 12 e 14 anni su almeno 11 loro coetanee le cui foto di deepnude hanno iniziato a circolare nelle chat e sono state utilizzate per vere e proprie opere di sextortion. Proprio l’utilizzo esplicito di un determinato tipo di linguaggio, l’obiettivo dichiarato senza nemmeno mascherarlo, la relativa facilità di utilizzo (e di accesso) a questo tipo di servizio sono finite nel mirino di chi si sta occupando, a livello internazionale, di un caso clamoroso, che ha fatto scuola e che ben ci spiega – ancora una volta – quali possano essere le effettive distorsioni dell’intelligenza artificiale. L’app deepnude usata ad Almendralejo è davvero alla portata di tutti.

LEGGI ANCHE > La storia delle vittime dell’app deepnude che sta sconvolgendo la Spagna

App deepnude usata ad Almendralejo: le modalità di utilizzo

Ci sono degli elementi che devono essere presi in considerazione. Innanzitutto, l’attuale portata di questo servizio. L’applicazione, infatti, ha una sua estensione pubblica anche attraverso i canali social tradizionali (su Twitter/X – dove l’ultimo messaggio risale proprio al 25 settembre: l’admin dell’applicazione chiede di sottoporre tutte le domande ufficiali sul meccanismo di funzionamento della piattaforma all’apposito indirizzo mail che è stato evidenziato anche sul sito web) e ha quasi 750mila iscritti al suo canale Telegram. Recentemente – in estate – era stato diffuso un dato sull’utilizzo quotidiano di questa applicazione: il bot che genera immagini di deepnude, infatti, è stato interrogato almeno 30mila volte al giorno, con dati in forte crescita e relativa espansione del mercato anche in oriente (soprattutto in Giappone, da dove provengono molti nuovi utenti).

Realizzare immagini di nudo è abbastanza semplice, grazie all’implementazione della tecnologia di Stable Diffusion. Bisogna caricare un’immagine di una donna (con le immagini di uomini, l’app non funziona) che non presenti abbigliamento troppo pesante. In pochi attimi, il bot è in grado di mostrare quella stessa immagine del tutto priva di vestiti, proprio come promette nel claim che campeggia in maniera inquietante in apertura della sua versione desktop.

Sotto accusa, oltre a questo claim, ci sono anche l’alta qualità del risultato (che sembra indistinguibile da una foto scattata realmente), l’assenza di una specifica evidente rispetto al fatto che l’immagine sia generata attraverso l’intelligenza artificiale (la filigrana con il logo dell’app, in basso a destra, può essere agevolmente rimossa, con un minimo di postproduzione), la mancata assunzione di responsabilità da parte del team dell’applicazione stessa.

Tutte le controversie sullo scarico di responsabilità su chi usa l’app (oltre al problema dell’age verification)

Questo è un punto particolarmente controverso. Nonostante il claim esplicito, in basso, il sito web della piattaforma di AI spiega di non essere responsabile per l’utilizzo che viene fatto delle immagini generate in questo modo. «Non rivendichiamo la proprietà del contenuto risultante – si legge -. Il nostro sito web è destinato all’uso personale e non commerciale. Sei l’unico responsabile delle immagini che crei o modifichi utilizzando il nostro sito web. Accetti che le tue immagini non violino diritti d’autore, marchi o altri diritti di proprietà intellettuale di terzi». Inoltre, si chiede semplicemente di non utilizzare lo strumento per scopi non autorizzati o addirittura illegali.

Ma si tratta semplicemente di frasi vuote, perché non hanno alcun valore. Un po’ come il divieto di utilizzo ai minori di 13 anni o l’utilizzo consentito ai minori di 18 previo consenso dei genitori o dei tutori legali. Non una vera e propria barriera all’uso, non un sistema efficace di age verification. Basta una sorta di autocertificazione per aggirare l’ostacolo e accedere quantomeno alla demo che garantisce due risultati gratuiti (successivamente all’impiego dei crediti gratuiti, è possibile procedere solo dietro al pagamento di una somma di denaro per poter continuare a utilizzare il servizio). I due risultati gratuiti – a volte – possono bastare per rovinare la vita delle persone che, loro malgrado, cadono vittima di chi utilizza queste applicazioni in maniera del tutto impropria.

Già in passato Giornalettismo aveva trattato l’argomento delle app che creano deepnude. Ha anche evidenziato come siano stati presi provvedimenti nei confronti di questi stessi strumenti. Tuttavia, per il caso che stiamo affrontando nel monografico di oggi, ci sorprendono i toni espliciti utilizzati per promuovere l’applicazione, il successo dei canali social, l’assenza di una qualsiasi barriera inibitoria concreta per l’utilizzo di questo strumento. Non è un caso, insomma, che in Spagna si sia alzato un grido d’aiuto da parte delle famiglie e delle comunità coinvolte dall’uso malevolo dell’intelligenza artificiale.

*Articolo aggiornato il 4 ottobre 2023 con la risposta dell’azienda proprietaria dell’app a una nostra richiesta di commento*

In primo luogo, vorremmo chiarire che ***, l’applicazione di intelligenza artificiale citata, è progettata per creare immagini alterate utilizzando parametri di origine specificati. Genera immagini basate su foto completamente vestite e i risultati sono rappresentazioni artistiche generate da una rete neurale. È importante notare che questi risultati non sono le foto originali, ma piuttosto opere d’arte digitali.

*** funziona come un editor di foto e, come molti altri strumenti creativi, il suo utilizzo può variare notevolmente a seconda delle preferenze e delle intenzioni individuali. L’applicazione è utilizzata da centinaia di migliaia di utenti che ne apprezzano la creatività, trovando spesso umorismo e positività nel suo lavoro. L’atteggiamento positivo è testimoniato dalle numerose recensioni positive e dalla partecipazione attiva sui social media.

Vale la pena ricordare che la storia della manipolazione digitale delle immagini è già stata discussa in passato dalla società. La comparsa della manipolazione digitale delle immagini, alcune delle quali ritenute reali, ha avuto un effetto davvero importante. Ciò solleva importanti questioni sull’uso responsabile della tecnologia e sul ruolo delle piattaforme e degli utenti nel plasmare il suo effetto sulla società.

*** non memorizza le foto degli utenti. L’elaborazione dell’intelligenza artificiale avviene localmente sul dispositivo dell’utente (“front-end”) e i risultati vengono temporaneamente memorizzati nella cache del browser e cancellati automaticamente dopo alcune ore se l’utente non sceglie di salvare l’immagine.
Durante il processo di registrazione su ***, gli utenti sono tenuti ad accettare un accordo con l’utente, che vieta esplicitamente l’elaborazione di foto di persone senza il loro consenso e il caricamento di foto che possono offendere gli altri. Gli utenti accettano inoltre la piena responsabilità e le conseguenze di qualsiasi elaborazione di immagini da loro avviata.

Per quanto riguarda il caso specifico che ha attirato l’attenzione dei giornali spagnoli, siamo molto preoccupati per questa situazione. Abbiamo condotto un’indagine per determinare se le foto in questione sono state elaborate utilizzando il nostro servizio.
Fin dall’inizio del nostro servizio, abbiamo adottato misure per impedire l’elaborazione di foto di persone di età inferiore ai 18 anni. Questo include una tecnologia che ci permette di determinare l’età di una persona a partire da una foto. Se un utente tenta di farlo per più di due volte, il nostro sistema lo blocca automaticamente sul progetto.

Tuttavia, in questo caso particolare, abbiamo appreso che il colpevole potrebbe aver utilizzato ulteriori tecniche di manipolazione delle immagini. In particolare, ha tagliato parti delle foto per aggirare il sistema di rilevamento dell’età e ha poi unito le immagini alterate sul suo dispositivo. Pertanto, il risultato finale che ha suscitato preoccupazione nell’opinione pubblica è stato ottenuto grazie alla manipolazione dell’autore del reato.

Abbiamo anche notato affermazioni che suggeriscono che individui di età inferiore ai 18 anni possano aver utilizzato ***. Desideriamo chiarire che il nostro servizio vieta esplicitamente la registrazione di persone di età inferiore ai 18 anni, e questa restrizione è chiaramente comunicata durante il processo di registrazione, che non può essere aggirato senza ingannare il sistema di proposito.

La decisione di compiere tali atti ci costringe a sollevare la questione: Chi ha fatto credere loro che sia accettabile. Sono davvero le persone a dire che non possono farlo o è qualcosa che affrontano ogni giorno, come l’influenza di un blogger che guardano o i contenuti maturi dei social network che scorrono ogni ora.

Comprendiamo le preoccupazioni sollevate dai genitori e dalle vittime, in particolare per quanto riguarda la potenziale diffusione di queste immagini manipolate. Anche se queste immagini non sono reali, il realismo dei contenuti generati dall’intelligenza artificiale può causare un reale disagio. Siamo solidali con le vittime e le loro famiglie in questo momento difficile e ci impegniamo a fare del nostro meglio per evitare che simili episodi si verifichino in futuro.