ZIYANG WU & MARK RAMOS

Generazione Critica: Potreste parlarci del vostro percorso artistico e di come avete deciso di concentrarvi sui vostri rispettivi campi di ricerca artistica, ossia da un lato l’impatto delle tecnologie digitali sul nostro paesaggio mediatico, socio-culturale e politico e dall’altro la riflessione sul nostro futuro attraverso la programmazione 3D e lo sviluppo di modelli digitali?

Mark Ramos: Concettualmente, sono interessato a Internet sia come infrastruttura fisica di portata geopolitica planetaria sia come sito di complesse interazioni socioeconomiche e culturali, una conversazione asincrona affrontata non solo attraverso scritti critici e accademici più consolidati, ma anche attraverso i modi in cui le persone interagiscono online: meme, IU e nuovi media.
Ultimamente lavoro esclusivamente sul web, realizzando siti che mettono in discussione o vogliono essere sovversivi nei confronti dei modi in cui siamo condizionati a essere online, a interagire con la tecnologia, a svolgere un ruolo in una rete. Come artista, mi interessa anche spingere le capacità del browser con la grafica 3D, webGL e altri framework in quanto metodi. Intendo realizzare lavori che incoraggino le persone a fare ciò che non dovrebbero fare sul web.

Ziyang Wu: Le mie pratiche recenti esaminano il modo in cui le tecnologie attuali, in un contesto interculturale, influenzano la politica, la società e le relazioni esplicite e implicite tra le diverse situazioni a livello macro e micro, sotto forma di indagini sul campo, analisi dei dati, simulazioni in tempo reale, realtà aumentata, videogiochi e installazioni video interattive. I temi dei miei progetti recenti includono “Algorithmic Control and Bias”, “Digital Labor Rights”, “Community and Immunity”, “Planetary-Scale Computation” e “Evolution of Cloud Network Societies”.
In quanto artista project-based, il supporto delle mie opere d’arte è sempre legato al tema del progetto. Per esempio, in “Where Did Macy Go?” ho affrontato il grande numero di esposizioni online poco efficaci realizzate durante la pandemia (come la semplice replica di una “scatola bianca” online) puntando a sfruttare le funzionalità più efficaci di Internet e dei social media: l’adesività, la condivisione e la viralità. Pertanto, ho diviso la narrazione non lineare di “Where Did Macy Go?” in 11 episodi e li ho pubblicati su TikTok settimanalmente, come una serie televisiva, per aumentare la capacità di diffusione dell’opera. Inoltre, ho utilizzato metodi come invitare continuamente gli amici a condividere e acquistare pubblicità nell’ambito delle mie possibilità per massimizzare la diffusione dell’opera il più possibile. In “24 Panda” mi sono concentrato sullo sfruttamento pervasivo del lavoro digitale gratuito. Ho scaricato 24 modelli di panda 3D gratuiti da Sketchfab (una delle più grandi piattaforme di modelli 3D al mondo) e li ho inseriti in una ambientazione di una foresta immaginaria. Alla fine, queste opere d’arte sono state vendute sotto forma di NFT. Sfruttando i contratti intelligenti, metà del ricavato di ogni vendita è stato diviso per 24 e distribuito a ogni creatore che ha fornito i modelli gratuiti.

GC: Le vostre opere, pur presentando delle differenze estetiche, convergono su alcuni temi di grande interesse comune. Infatti, entrambi indagate l’influenza che una società “data-driven” esercita sul comportamento e sul modo di pensare degli utenti, così come gli effetti che l’intelligenza artificiale e le tecnologie di comunicazione automatizzate hanno sulle modalità di ricerca e consumo delle informazioni e sulle relazioni sociali. In modo altrettanto importante, entrambi rivolgete la vostra attenzione al declino ambientale in corso, al quale le attuali forze politiche non sembrano prestare la dovuta attenzione. Ecco, vorremmo sapere come è nata la vostra collaborazione artistica e qual è il vostro rispettivo approccio ai progetti a cui lavorate insieme.

MR + ZW: Ci siamo conosciuti nel 2020 come membri del percorso Art & Code di New Inc, con il tutoraggio di Rhizome. New Inc è l’incubatore del New Musuem of Contemporary Art per persone che lavorano alle intersezioni tra arte e tecnologia e Rhizome è un’organizzazione storica dedicata alla conservazione, alla cura e alla scrittura critica di opere nate in digitale. Una parte del nostro percorso comprendeva la collaborazione con gli ingegneri dei Nokia Bell Labs, come continuazione del loro programma di lunga durata Experiments in Art Technology. Quando la pandemia ha costretto a trasferire tutto online, abbiamo lavorato a distanza con gli ingegneri dei Bell Labs per realizzare l’opera “Networked Ecosystem”. Siamo stati fortunati che il nostro primo lavoro insieme abbia debuttato come parte della serie Rhizomes: New Art Online al New Museum. Da allora abbiamo continuato a collaborare, realizzando un’opera chiamata “future_forecast” nel 2021/2022 e l’opera esposta ora a Metronom: “Event Modeling”.

Wu Ziyang & Mark Ramos, screenshot of the “Stack” structure in “Future Forecast”, 2022. Live simulation and collective world-building online environment, 2022. Commissioned by Guangdong Times Museum, Media Lab.

MR: Poiché Ziyang si trova in Cina e io a Brooklyn, NY, conduciamo linee di ricerca divergenti in modo semi-indipendente l’uno dall’altro e poi ci incontriamo regolarmente online per discutere i quadri concettuali. Dal punto di vista pratico, mi piace dire che Ziyang ha spesso un ruolo più incisivo sul front-end: la modellazione 3D, lo stile estetico e la composizione, il linguaggio visivo. Io di solito lavoro più sul back-end, sul codice, lavorando con lo script o il motore di gioco.

GC: “Event Modeling” cristallizza nel tempo, sotto forma di fossili digitali, diversi eventi estratti dal panorama mediatico proposto dagli algoritmi delle piattaforme dei social media. In sostanza, descrive come la nostra realtà sia mediata e profondamente modificata dalle tecnologie digitali. Ci potete parlare della genesi del progetto e del vostro rispettivo ruolo nel suo sviluppo? Qual è il ruolo di ciascuna delle due parti che compongono l’opera, “#dump” e “AI Fossil”?

MR: Ho lavorato direttamente alla parte del lavoro che abbiamo finito per chiamare “#dump”. Volevamo creare un paesaggio simulato in tempo reale per i modelli di generazione di testo-immagine dell’intelligenza artificiale che Ziyang aveva sperimentato durante la sua residenza all’Alfred University. Abbiamo fatto riferimento alle miniere e alle discariche come luoghi in cui le esigenze della tecnologia nei confronti dell’ambiente erano visivamente evidenti in queste luride pozze, colorate al neon, di sottoprodotti liquidi. Volevamo che l’opera rispondesse ai tweet in tempo reale su X come un modo per far partecipare tutti alla costruzione di questo ambiente. È una sorta di collaborazione generativa involontaria innescata dalla presenza sui social media. È un paesaggio digitale disseminato di artefatti della gestalt attuale, resti della presenza in rete.

Ziyang Wu & Mark Ramos, Event Modeling, #dump, 2023, live simulated online environment

ZW: Come ha appena detto Mark, la parte di “AI Fossil” è iniziata durante la mia residenza all’Alfred. In quel periodo, un mio amico ha presentato uno strumento per la generazione di AI da testo a 3D chiamato dreamfields3D. Poiché lavoriamo da tempo con i modelli 3D, eravamo molto entusiasti del suo potenziale. Ho quindi raccolto e organizzato varie notizie ed eventi che si erano verificati o erano in corso (per un periodo di 81 giorni), basandomi sulle notifiche push giornaliere degli algoritmi dei social media. Ho poi utilizzato dreamfields3D per generare i corrispondenti modelli 3D per ogni materiale, con il testo del titolo di ogni notizia come frase di input. Nell’era dell’esplosione dell’IA (anche se forse agli inizi), abbiamo cercato di trasformare varie informazioni umane in “fossili di IA”, registrandole come modelli 3D attraverso la tecnologia di generazione del testo. Nella scena futuristica della “fabbrica abbandonata” che si mescola con la realtà e il virtuale, i partecipanti possono trovare il loro testo originale avvicinandosi a ciascun “fossile”, e possono anche scovare le storie che sono diventate importanti, oscene, significative, eccitanti o moderatamente noiose nel processo di generazione dell’IA.

Event Modeling – AI Fossil, video still.
© Ziyang Wu & Mark Ramos, courtesy the artists.

GC: Il lavoro estrapola le sue informazioni da diverse piattaforme. E queste, a loro volta, si basano sugli algoritmi che regolano il flusso dei contenuti. Ci potete parlare di quali sono le fonti del progetto e, se e come, avete addestrato l’algoritmo delle diverse piattaforme digitali a produrre un certo tipo di informazioni piuttosto che altre?

MR + ZW: Questa è una domanda interessante dal punto di vista tecnico, perché abbiamo dovuto usare tre diverse tecniche di programmazione per raccogliere i dati per “#dump”. I processi stessi sono stati dettati dal modo in cui sono state costruite le piattaforme specifiche e dalle regole/legalità di Internet in generale in quel periodo. Il bot originale di Twitter (pre-X) utilizzava un’API open-source che all’epoca era liberamente disponibile per chiunque. Ricercatori, artisti e sviluppatori potevano accedere liberamente a questo tipo di dati e fare cose come trovare i tweet più recenti, eccetera. Quando Twitter ha cambiato nome in X, ha chiuso questi endpoint API e chiunque volesse accedere a questi dati ha dovuto pagare una somma oscillante tra i 100/1000/4000 dollari al mese, il che ha messo fuori gioco la maggior parte degli artisti, compresi noi. Per circa 6 mesi siamo stati in grado di utilizzare un progetto open-source chiamato Nitter che aggirava l’API di Twitter effettuando lo scraping dei dati sql del front-end. Siamo stati in grado di replicare questa tecnica per uno dei nostri bot, dato che Nitter non ha un’API di back-end, e di raschiare il testo dei tweet dai div html di front-end. Il progetto Nitter è stato praticamente ucciso da Twitter nel corso di 3 mesi all’inizio del 2024.Nell’estate del 2023 mi sono recato in Cina per una borsa di studio accademica e ho lavorato a un bot che effettuava lo scraping di Weibo (la versione cinese di Twitter) attraverso un percorso molto arretrato. Weibo mantiene una versione legacy di un sito mobile per i vecchi dispositivi Android, relativamente poco protetto sul front-end. Basandomi sui tutorial che ho seguito al MIT, siamo riusciti a costruire un bot che accedeva ai dati JSON utilizzati per costruire queste pagine. Tre bot diversi, tre approcci di codifica diversi attraverso tentativi ed errori per ottenere la stessa funzionalità: trovare l’ultimo tweet collegato a un hashtag e inserirlo nella nostra simulazione “#dump” per attivare un dump del modello 3D.

Full list of AI-generated 3D models and their seeding information/source media.
© Ziyang Wu & Mark Ramos, courtesy the artists.

GC: Il saggio “Keywords for Today”, che avete utilizzato nella produzione del vostro lavoro, offre una panoramica dell’evoluzione della storia della società contemporanea attraverso parole chiave significative. In effetti, è stato definito anche una sorta di vocabolario per comprendere il XXI secolo. Come mai vi siete avvicinati a questo testo e quali sono state le parole chiave più rappresentative nello sviluppo di “Event Modeling”?

MR: Credo che parte della selezione di questo testo sia stata guidata dalle stesse API dei social media. La maggior parte di esse si basa sugli hashtag come identificatori dei post, quindi avevamo bisogno di un modo per trovare gli hashtag pertinenti. Ziyang ha trovato e ricercato questo testo specifico più di me, che mi sono occupato maggiormente della parte di codifica.

ZW: Quando abbiamo deciso di realizzare “#dump” attraverso una simulazione dal vivo, abbiamo pensato a quale fosse un sistema abbastanza ampio da poter coprire la maggior parte dei temi sui social media e mantenere la qualità concettuale del progetto. Così il libro “Keywords for Today: A 21st Century Vocabulary” ci è venuto in mente. Credo che tutte le parole chiave siano estremamente importanti per il progetto. Perché sono tutti temi estremamente importanti nel nostro mondo di oggi, come Verità, Violenza, Trauma, Tecnologia, Sessualità, Razza, Politica, Occupazione, Rete, Amore, Genere, Femminista, Evoluzione, Depressione, Democrazia, Classe, Capitalismo e altri ancora.

GC: Il progetto è iniziato nel 2023, quindi non è passato molto tempo dal suo inizio, tuttavia sareste in grado di dire se in questo periodo, fino ad oggi, è stato possibile individuare qualche tendenza tra la generazione degli artefatti 3D estratti dalle notizie proposte dalle piattaforme digitali?

MR: Domanda interessante! Per me, parte dell’interesse visivo è stato vedere il paesaggio simulato accumularsi con i modelli. Mi piace vederli accumularsi l’uno sull’altro in strutture precarie. È come un deposito di artefatti digitali dell’attività online. Penso che ci sia un deciso cambiamento nell’argomento attuale che attraversa gli hashtag. Per esempio, all’inizio dello sviluppo del lavoro i tweet di NFT erano molto popolari tra gli hashtag e, più recentemente, i tweet sull’IA e sulla Palestina.

GC: Nel tuo lavoro, Ziyang, l’uso della live simulation è un aspetto ricorrente. Un altro elemento interessante è l’introduzione di concetti di worldbuilding per la creazione di mondi digitali simulati dotati di un proprio ecosistema. A differenza del classico worldbuilding fantasy, i mondi da te creati immaginano scenari futuri che esplorano vari temi, tra cui i cambiamenti ambientali odierni, le relazioni tra tecnologia, IA e natura e le sfide socio-politiche del futuro. Puoi spiegarci meglio il tuo processo di sviluppo attraverso le live simulation e la creazione di mondi fittizi? Quali sono le tue ispirazioni e i tuoi pensieri alla base di questa scelta? In che modo la simulazione dal vivo e la creazione di mondi ti permettono di esplorare questi temi?

ZW: Concettualmente, siamo entrambi interessati alla società data-driven, alle sfide socio-politiche e alle questioni ambientali. Ad esempio, in “future-forecast” abbiamo esplorato l’evoluzione delle società di rete cloud nei Paesi in via di sviluppo, con le Filippine come caso rappresentativo. Una delle componenti più importanti del progetto è una simulazione in tempo reale combinata con un gioco online di costruzione di un mondo collettivo. La parte di simulazione in tempo reale prevede la connessione di una serie di dati del mondo reale relativi alle Filippine, come i cambiamenti climatici e ambientali, allo spazio virtuale tramite API per attivare vari effetti e cambiamenti negli oggetti. L’aspetto di costruzione collettiva del mondo prevede che i giocatori completino una serie di compiti progettati sulla base di ricerche preliminari. Dopo aver completato con successo i vari task, i giocatori possono “costruire” e modificare in modo permanente il paesaggio del progetto. In definitiva, si tratta di una futura società di rete cloud, creata in modo collaborativo dai dati del mondo reale e dalle varie decisioni prese dai giocatori nel gioco.
Piuttosto che presentare il lavoro in modo didattico, sono interessato alla costruzione del mondo attraverso la costruzione di un sistema complesso e l’implementazione di vari tipi di input (come dati reali o decisioni basate sulle ideologie dei diversi giocatori). Ad esempio, i giocatori possono decidere quale sia il modo corretto di sviluppo: piantare un albero al livello della Terra o costruire un’alienata torre di segnalazione “a forma di albero”; al livello dell’utente, assumere un dipendente umano o un dipendente AI; al livello della città, scegliere tra l’impiego di tecnologie IoT e blockchain per la sorveglianza panoramica e la colonizzazione della rete per monitorare e governare i canali fluviali in tempo reale, o lasciare che la spazzatura scorra liberamente nell’acqua. Di fronte a un ecosistema sociale vulnerabile, si deve optare per una saggezza biologica a “bassa energia” o per una sorveglianza digitale ad “alta energia”; scegliere il vantaggio dell’incarnazione sensoriale o il rischio di una macchina di governo? Per me, questi “futuri” costantemente iterati, sconosciuti e fluidi, basati su sistemi complessi, possono essere più vicini alla realtà.

GC: Mark, nella tua pratica artistica è molto importante il ruolo svolto dalle piattaforme open source per rendere libera l’informazione e la conoscenza, un approccio alle tecnologie digitali che era molto diffuso negli anni Duemila e che purtroppo oggi si sta progressivamente perdendo con la privatizzazione dei contenuti e dell’accesso alle informazioni. Ma non solo, l’utilizzo di software e piattaforme è ormai quasi interamente controllato da soluzioni in abbonamento che concedono all’utente finale l’utilizzo di prodotti e strumenti attraverso un noleggio perenne. Da un lato, non possediamo più realmente gli strumenti con cui creare contenuti e informazioni, dall’altro, questi stessi contenuti vengono successivamente quantificati e ritenuti appetibili da algoritmi. In questo panorama post-apocalittico, quali pensi possano essere valide strategie di riappropriazione che gli utenti possono mettere in atto per riprendere lentamente il controllo sulla conoscenza e l’accesso ad essa?

MR: Penso che si tratti di grandi questioni che richiedono una molteplicità di approcci e di contesti. Una delle promesse più eccitanti per me, nelle speculazioni sul web3, è l’idea della decentralizzazione, che fa anche parte di un dialogo per restituire i mezzi di produzione e la proprietà dei nostri io on-line alle persone che li usano. Mi piace immaginare uno spazio in cui le persone su Internet non siano solo utenti e le interazioni in rete siano più eque e collettivamente immaginate da tutti. Per me, una parte di questo è nella pratica del mio studio, che consiste nel decentralizzare la tecnologia dal punto di vista dell’utente, nell’esaminare il lavoro all’interno di questi sistemi, nell’esaminare chi li sostiene e nel guardare ben al di là dell’“utente ideale” come modo per guidare un nuovo tipo di struttura tecnologica e nel recupero di strumenti e metodi.

GC: Quali sono i vostri progetti futuri? C’è qualcos’altro che vorreste aggiungere?

MR + ZW: Stiamo esaminando la generazione di propaganda AI e il suo ruolo in alcune importanti decisioni politiche recenti in alcune parti dell’Asia, la riscrittura di narrazioni storiche e la scrittura di memoria, percezione e nostalgia. Maggiori informazioni a breve!

Ziyang Wu & Mark Ramos, Event Modeling, #dump, 2023, live simulated online environment