AI-visualisering under live debattsending

Utfordringen

Debattene om Norges Fremtid skulle ha en episode om kunstig intelligens og hvilke effekter dens fremmarsj vil kunne ha på vår identitet, ideer og verdier.

Som ansvarlige for produksjonen ønsket Fieldwork å tilføre et tematisk passende og unikt innslag, i form av en skjerminstallasjon som viste frem AI-genererte bilder som tok utgangspunkt i det som ble snakket om på scenen.

Løsningen

Da vi er vant med å lage installasjoner som kan drive seg selv og ikke trenger menneskelig oppsyn, var vårt første instinkt å bruke AI for å analysere det som ble sagt og deretter konvertere det til prompts, eller instruksjoner, som kunne mates videre inn i et bildegeneratorer slik som Stable Diffusion eller Midjourney. Men siden dette var ett enkelt liveprogram som skulle vare i under to timer, og deadlinen kun var tre dager unna, bestemte vi oss for at vi kunne forenkle løsningen ganske drastisk ved å manuelt lytte til det som ble sagt, omformulere det til prompts til en bildegenerator og deretter mate det videre. Dette ville også gi oss færre potensielle feilpunkter, noe som veier tungt når man jobber med liveproduksjoner.

Teknologi

Vi starter med å ganske enkelt gi instruksjoner til Midjourney. For å få riktig format bruker vi kommandoen --ar 16:9 og for å gjøre generasjonen raskere setter vi ned kvaliteten ved å bruke --q .25.

Disse bildene legges i en spesifikk mappe som monitoreres av TouchDesigner. TouchDesigner er et program som lar designere enkelt jobbe visuelt og programmatisk med grafikk og interaktivitet. Når programmet oppdager en endring i mappen, igangsettes en kompleks transisjon til det siste bildet som ble lagt til.

Bildet sendes ut fra TouchDesigner som en RTMP-strøm til mux.com. Mux er en SaaS-plattform som tilbyr både videostrømming og hosting. Vi bruker NextJS for å bygge en nettside som viser HLS-strømmen i en enkel videoavspiller med kontroller. Siden hostes på Vercel. Fieldwork satte denne videostrømmen i fullskjerm på en skjerm på scenen.

Design

Vi ville transisjonere mellom bilder på en vakker og unik måte, som i tillegg reflekterte tematikken. Effekten vi til slutt endte opp med er en slags malerisk utvisking og gradvis overgang fra ett bilde til et annet. For å ikke dra for mye oppmerksomhet fra det som skjer på scenen tar overgangen bortimot 30 sekunder eller mer. AI-bilder har en tendens til å ende opp litt absurde og drømmeaktige, og effekten alluderer også til en slags drømmetåke. Ting glir svært jevnt over i hverandre, og det er vanskelig å se når et bilde slutter og et annet begynner.

Slik fungerer effekten

Vi forskyver pikslene i bilde 1 basert på fargeinformasjonen fra et inputbilde. Inputbildet fungerer altså som et kart over retningsvektorer som bestemmer hvilken vei en gitt piksel flytter seg. Vi bruker deretter dette forvrengte resultatbildet som input for å forvrenge bilde 1 ytterligere, i en slags feedbackloop. Samtidig med dette gjør vi en svært gradvis krysstoning til bilde 2, og bruker også bilde 2 mer og mer som en input for å forvrenge pikslene i det som var bilde 1. Når krysstoningen er fullført skrur vi gradvis ned forvrengningen, helt til det nye bildet er tydelig. Vi slutter aldri helt å forvrenge bildet, for å sørge for at det har litt bevegelse også når vi ikke transisjonerer.

Utførelse

Når klokken slo 18:30 og debatten var i gang, begynte vi å generere bilder for harde livet. Gjerne flere samtidig for å gi oss flere valgmuligheter. Etter hvert som nye gjester kom på, brukte vi bilder av dem som en del av instruksjonen til bildegeneratoren. Dette gjorde at installasjonen kjentes mye mer “live” ut.

Alt gikk mer eller mindre knirkefritt helt til det gjenstod en halvtime av programmet og Midjourney fikk et tjenestebrudd. Man kan nesten ikke ha mer uflaks, men vi hadde heldigvis en backup-løsning: Et forhåndgenerert galleri av bilder som vi hadde laget basert på antagelser om hvor diskusjonen ville føre hen. Dette galleriet holdt oss flytende til Midjourney var oppe og gikk igjen. Det er ekstremt viktig å ha backupløsninger i bakhånd dersom man skulle ha uflaks, spesielt når det er snakk om live events.

Vår AI-drevne visualisering for Fieldwork under Debattene om Norges Fremtid er et eksempel på hvordan vi kan skape en unik og tematisk passende visuell opplevelse som engasjerer publikum og gir arrangementet en ekstra dimensjon. Til tross for tjenestebruddet underveis, viste vi oss i stand til å håndtere det effektivt takket være proaktiv planlegging og solide backupløsninger. Denne opplevelsen understreket viktigheten av forberedelse og tilpasningsevne i en livesetting, og viste oss verdien av å forenkle løsninger når det er praktisk.

Vi er stolte over hva vi har oppnådd med dette prosjektet, og vi ser frem til å utforske enda mer innovative og spennende bruksområder for AI i fremtiden.