I ricercatori mettono in dubbio l’idea popolare che i modelli di deep learning siano “scatole nere” che non rivelano nulla di ciò che accade al loro interno.
di Will Douglas Heaven
Caricando il sito web This Person Does Not Exist, si vedrà un volto umano, quasi perfetto nel suo realismo, ma totalmente falso. L’aggiornamento e la rete neurale dietro il sito ne genereranno un altro e un altro e un altro ancora. L’infinita sequenza di volti creati dall’intelligenza artificiale è prodotta da una rete generativa avversaria (GAN), un tipo di intelligenza artificiale che impara a produrre esempi realistici, anche se falsi, dai dati su cui viene addestrata.
Ma tali volti artificiali, che stanno iniziando a essere utilizzati nei film e nelle pubblicità con app di computer grafica (CGI) potrebbero non essere così originali come sembrano. In un documento intitolato This Person (Probably) Exists, i ricercatori mostrano che molti volti prodotti dalle GAN hanno una sorprendente somiglianza con le persone reali che appaiono nei dati di allenamento.
I volti falsi possono effettivamente smascherare i veri volti su cui è stata addestrata la GAN, rendendo possibile svelare l’identità di quegli individui. Il lavoro è l’ultimo di una serie di studi che mettono in dubbio l’idea popolare che le reti neurali siano “scatole nere” che non rivelano nulla di ciò che accade al loro interno.
Per esporre i dati di addestramento nascosti, Ryan Webster e i suoi colleghi dell’Università di Caen in Normandia in Francia hanno utilizzato un tipo di attacco chiamato attacco di appartenenza, che può essere utilizzato per scoprire se determinati dati sono stati utilizzati per addestrare un modello di rete neurale. Questi attacchi in genere sfruttano le sottili differenze tra il modo in cui un modello tratta i dati su cui è stato addestrato (e quindi ha visto migliaia di volte prima) e i dati invisibili.
Per esempio, un modello potrebbe identificare accuratamente un’immagine non vista in precedenza, ma con una sicurezza leggermente inferiore rispetto a quella su cui è stato addestrato. Un secondo modello di attacco può imparare a individuare tali indizi nel comportamento del primo modello e usarli per prevedere quando determinati dati, come una foto, sono o meno nel set di addestramento.
Tali attacchi possono portare a gravi falle nella sicurezza. Per esempio, scoprire che i dati medici di qualcuno sono stati utilizzati per addestrare un modello associato a una malattia potrebbe rivelare che quella persona ha una determinata malattia.
Il team di Webster ha esteso questa idea in modo che invece di identificare le foto esatte utilizzate per addestrare una GAN, hanno identificato le foto nel set di allenamento della GAN che non erano identiche, ma sembravano ritrarre lo stesso individuo, in altre parole, volti con la stessa identità. Per fare ciò, i ricercatori hanno prima generato volti con la GAN e quindi hanno utilizzato un’intelligenza artificiale separata per il riconoscimento facciale per rilevare se l’identità di questi volti generati corrispondeva all’identità di uno dei volti visti nei dati di allenamento.
I risultati sono sorprendenti. In molti casi, il team ha trovato più foto di persone reali nei dati di allenamento che sembravano corrispondere ai volti falsi generati dal GAN, rivelando l’identità delle persone su cui l’AI era stata addestrata. Il lavoro solleva alcuni seri problemi di privacy. “La comunità dell’AI ha un senso di sicurezza fuorviante quando condivide modelli di rete neurale profonda addestrati”, afferma Jan Kautz, vicepresidente della ricerca sull’apprendimento e la percezione di Nvidia.
In teoria questo tipo di attacco potrebbe applicarsi ad altri dati legati a un individuo, come dati biometrici o medici. D’altra parte, Webster sottolinea che le persone potrebbero anche utilizzare la tecnica per verificare se i loro dati sono stati utilizzati per addestrare un’intelligenza artificiale senza il loro consenso. Il metodo potrebbe anche essere utilizzato per assicurarsi che le GAN non espongano dati privati in primo luogo. Il sistema che apprende in modo automatico potrebbe, infatti, verificare se le sue creazioni assomigliano a esempi reali nei suoi dati di addestramento, utilizzando la stessa tecnica sviluppata dai ricercatori, prima di rilasciarle.
Tuttavia, questo discorso presuppone che si possano ottenere i dati di allenamento, afferma Kautz. Lui e i suoi colleghi di Nvidia hanno escogitato un modo diverso per esporre i dati privati, comprese immagini di volti e altri oggetti, dati medici e altro, che non richiede affatto l’accesso ai dati di addestramento.
A tal fine, hanno sviluppato un algoritmo in grado di ricreare i dati a cui è stato esposto un modello addestrato, invertendo i passaggi che il modello compie durante l’elaborazione di tali dati. Una rete addestrata per il riconoscimento delle immagini per identificare cosa c’è in un’immagine la fa passare attraverso una serie di strati di neuroni artificiali. Ogni livello estrae diversi livelli di informazioni, dai bordi alle forme alle caratteristiche più riconoscibili.
Il team di Kautz ha scoperto che potevano interrompere un modello nel mezzo di questi passaggi e invertire la sua direzione, ricreando l’immagine di input dai dati interni del modello. Hanno testato la tecnica su una varietà di modelli comuni di riconoscimento delle immagini e GAN. In un test, hanno dimostrato di poter ricreare accuratamente le immagini da ImageNet, uno dei set di dati di riconoscimento delle immagini più conosciuti. Come nel lavoro di Webster, le immagini ricreate assomigliano molto a quelle reali. “Siamo rimasti sorpresi dalla qualità finale”, afferma Kautz.
I ricercatori sostengono che questo tipo di attacco non è semplicemente ipotetico. Gli smartphone e altri piccoli dispositivi stanno iniziando a utilizzare più AI. A causa dei limiti di batteria e memoria, i modelli a volte vengono elaborati solo a metà sul dispositivo stesso e inviati al cloud per l’elaborazione finale, un approccio noto come split computing. La maggior parte dei ricercatori presume che lo split computing non rivelerà alcun dato privato dal telefono di una persona perché solo il modello è condiviso, afferma Kautz. Ma il suo attacco mostra che non è così.
Kautz e i suoi colleghi stanno ora lavorando per trovare modi per impedire ai modelli di “perdere” dati privati. Volevamo capire i rischi in modo da poter ridurre al minimo le vulnerabilità, spiega. Anche se usano tecniche molto diverse, Kautz pensa che il suo lavoro e quello di Webster si completino a vicenda. Il team di Webster ha mostrato che i dati privati possono essere trovati nell’output di un modello; Il team di Kautz ha mostrato che i dati privati possono essere rivelati procedendo al contrario, ricreando l’input. “Esplorare entrambe le direzioni è importante per comprendere meglio come prevenire gli attacchi”, conclude Kautz.
Immagine di: Ms Tech / Pexels / ThisPersonDoesNotExist.com
(rp)
