Essere invisibili alle telecamere intelligenti, dopo 31,7 milioni di test

Una vecchia Toyota Yaris rivestita da un disegno geometrico ad alto contrasto è passata davanti a una telecamera di sorveglianza Flock e non è stata riconosciuta. La prova si è svolta venerdì 7 agosto a Las Vegas, nel corso della trentaquattresima edizione di Def Con, la conferenza dedicata alla sicurezza informatica. L'autore dell'esperimento è Bill Swearingen, professionista della cybersecurity e cofondatore del meetup SecKC di Kansas City, che ha battezzato il proprio lavoro noRecognition.

Come funziona una telecamera intelligente

Una telecamera intelligente non guarda: calcola. Ogni fotogramma viene passato a una rete neurale che assegna un punteggio di confidenza a quello che crede di aver trovato, per esempio 0,89 su una porzione di immagine che ritiene contenga una persona. Se il punteggio supera una soglia prestabilita, il software disegna un rettangolo attorno al soggetto e genera l'avviso che arriva sul monitor di un operatore. Sotto quella soglia non accade nulla, il video viene registrato e archiviato come sempre, ma nessuna notifica segnala che in quel fotogramma c'era qualcuno.

Un disegno, un motivo, insomma una fantasia grafica (tecnicamente pattern avversariale) che vuole ingannare il sistema gioca esattamente su quel punteggio. La rete non riconosce una persona perché ne comprende la forma, ma perché ritrova una combinazione statistica di contrasti, bordi e trame appresa durante l'addestramento. Un disegno costruito ad hoc inserisce nell'immagine i dettagli che mandano fuori strada quel calcolo: la confidenza crolla sotto la soglia e il rettangolo non compare mai. Sul sito del progetto l'effetto è mostrato con due scatti affiancati: la stessa persona davanti alla stessa telecamera, rilevata con una confidenza dello 0,89 mentre indossa una maglietta comune e ignorata quando indossa quella stampata (per altro terrificante nei canoni estetici). Nei test di noRecognition la soglia di rilevamento è fissata a 0,25.

Lo stesso principio vale per le targhe e per i volti, perché la catena è identica: un modello propone, una soglia decide, un avviso parte. Il risultato, come lo descrive TechCrunch, è un ritorno alla condizione di ago nel pagliaio, dato che il filmato esiste ma nessuno sa dove cercarlo. "La privacy è un diritto fondamentale", ha dichiarato a TechCrunch, definendo i propri disegni un modo per consentire alle persone di sottrarsi al tracciamento.

Il percorso è durato un anno. Swearingen è partito da un laboratorio di prova che batteva un algoritmo open source alla volta, poi ha trasformato l'impianto in un modello di reinforcement learning che, con le sue parole, ha imparato "a dipingere". Ogni volta che un disegno veniva riconosciuto, il sistema lo modificava e riprovava. Il sito del progetto dichiara 31,7 milioni di test. La galleria di bersagli conta undici modelli, tra cui il software dei lettori di targa Flock, le bodycam Axon e telecamere che utilizzano Clearview AI. L'undicesimo, secondo la documentazione del progetto, è un rilevatore di persone i cui pesi sono stati estratti dal software di bordo di una telecamera di sorveglianza realmente installata. Il video della prova di Las Vegas, realizzato con la collaborazione di Donut Media, uscirà nelle prossime settimane, e i log degli avvisi generati (o non generati) dalla telecamera Flock durante il test non sono stati resi pubblici.

Quello che i numeri dicono davvero

I risultati, però, andrebbero maneggiati con cautela, e il progetto stesso lo mette per iscritto. La dashboard di ricerca di noRecognition qualifica tutti i punteggi come digitali, con stampa e ripresa simulate e pieno accesso ai pesi dei modelli. Il dato migliore è il 61,7% di non rilevamento sul detector estratto dalla telecamera reale, pari a 148 casi su 240, con il 90% su YOLOv5 (un diffuso modello open source per il rilevamento di oggetti sviluppato da Ultralytics) e il 62,5% su un modello ResNet34-SSD, quest'ultimo soltanto quando il disegno copre una porzione ampia dell'inquadratura. Un singolo pattern grafico capace di battere tutti gli undici modelli insieme non è ancora stato dimostrato.

L'arte è arrivata prima

La storia del camuffamento antialgoritmico in realtà viene da lontano. Adam Harvey ha creato CV Dazzle nel 2010, come tesi di master alla New York University, usando trucco asimmetrico e volumi dei capelli per spezzare i tratti che il rilevatore Viola-Jones si aspettava di trovare. Il progetto viene considerato il primo camuffamento documentato capace di battere un algoritmo di visione artificiale, e oggi è lo stesso autore ad avvertire che quel rilevatore è uscito di scena tra il 2013 e il 2016 e che i suoi look originali non funzionano più. Nel 2017 Harvey ha presentato con il collettivo Hyphen-Labs HyperFace, un tessuto che rovesciava la logica: invece di nascondere il volto, ne offriva al software una collezione di falsi, più appetibili di quello vero.

La tecnica è poi diventata protesta. Quattro artiste londinesi, Emily Roderick, Georgina Rowlands, Anna Hart ed Evie Price, hanno fondato nell'agosto 2019 il Dazzle Club, dopo l'ammissione che il gruppo immobiliare Argent aveva sperimentato il riconoscimento facciale nel comprensorio di King's Cross. Il collettivo ha organizzato per due anni passeggiate silenziose mensili con i volti dipinti secondo il metodo di Harvey. Le fondatrici, però, hanno dichiarato di non avere mai potuto misurare l'efficacia del trucco, perché non avevano accesso al software impiegato dalla polizia londinese.

Ricercatori, artisti e designer

I ricercatori hanno lavorato in parallelo agli artisti. Simen Thys, Wiebe Van Ranst e Toon Goedemé della KU Leuven hanno mostrato nel 2019, in un workshop della conferenza Cvpr, che bastava tenere davanti al corpo un cartoncino stampato per abbassare in modo sensibile l'accuratezza di un rilevatore di persone. La Adversarial t-shirt presentata l'anno successivo a Eccv da Northeastern University, MIT-IBM Watson AI Lab e MIT ha affrontato il problema più difficile, cioè la deformazione della stoffa su un corpo in movimento: il risultato è stato il 74% di successo in digitale e il 57% nel mondo fisico contro YOLOv2, a fronte del 18% del metodo migliore fino a quel momento. Un gruppo della Tsinghua University guidato da Zhanhao Hu ha proposto nel 2022, di nuovo a Cvpr, texture avversariali estese a tutta la superficie del capo: i ricercatori hanno stampato il tessuto e confezionato magliette, gonne e vestiti, provandoli nel mondo fisico, per superare il limite delle toppe rigide, che perdono efficacia quando il tessuto si piega o l'angolo di ripresa cambia.

L'Italia ha un capitolo proprio. Rachele Didero ha brevettato con il Politecnico di Milano, nel febbraio 2021, un metodo per incorporare l'immagine avversaria nella trama di un tessuto in maglia invece di stamparla, e con Federica Busani ha fondato Cap_able: la Manifesto Collection fa classificare chi la indossa come cane, zebra o giraffa dal sistema YOLO. Il designer berlinese Simon Weckert ha portato ad Ars Electronica 2025 Digital Camouflage, capi con texture avversariale continua realizzata attraverso la stampa digitale su tessuto. Nessuno di questi lavori si presenta come prodotto di sicurezza, e quasi nessuno pubblica risultati di test. È la lacuna che noRecognition dichiara di volere colmare, mettendo in rete i propri punteggi.

Il fronte europeo

Il quadro normativo continentale sposta la partita dal tessuto alle regole. L'articolo 5 del regolamento (UE) 2024/1689 vieta come principio generale l'identificazione biometrica remota in tempo reale negli spazi accessibili al pubblico per finalità di contrasto, ammettendo eccezioni tassative e soggette ad autorizzazione, e il divieto è applicabile dal 2 febbraio 2025. Il fronte statunitense che Swearingen ha in mente, fatto di lettori di targa installati su decine di migliaia di strade, non dispone di un argine equivalente.

Swearingen tiene i disegni più efficaci fuori dalla rete, per evitare che i produttori di telecamere li usino come materiale di addestramento, e ha aperto una campagna su Kickstarter per una serie limitata di magliette e felpe. La logica resta quella di una corsa agli armamenti. "Ogni fallimento migliora il mio modello, e quindi continuano a diventare sempre migliori", ha detto a TechCrunch.