Wanneer AI mee in de camera kruipt
Wat gebeurt er wanneer generatieve AI niet pas in post-productie wordt ingezet, maar rechtstreeks tijdens het filmen? Het Immersive Lab van AP Hogeschool onderzocht die vraag met PAIC, een ‘promptable’ AI-camera. Het is een system dat een AI-laag plaatst tussen de camera en de output, en dat toelaat om live visuals te genereren terwijl de camera draait.
Van clip-gebaseerde AI tot realtime video
De meeste AI-videotools zijn sequentie-gebaseerd: ze analyseren een bepaalde sequentie van frames om zo meer temporele stabiliteit te kunnen bieden. Dat werkt goed voor consequente resultaten, maar het is best een traag proces. Wie een nieuwe achtergrond of visuele stijl wil uitproberen moet dan al vaak een hele nieuwe versie laten genereren en dus even wachten tot een nieuw resultaat zichtbaar is.
PAIC werkt anders. Het verwerkt video's frame per frame, past elk beeld aan en stuurt het direct door naar de output. Een videomaker kan zo een prompt intypen en meteen zien hoe de scène verandert in de live feed. Een achtergrond, effect of personage kan tijdens het filmen aangepast worden, een visuele stijl kan midden in het shot al veranderen en een face swap kan meteen uitgevoerd worden.
Om dit te realiseren ontwikkelde het team een GPU- (Graphics Processing Unit) versnellingstechniek waarmee het systeem tientallen AI-processen per seconde kan uitvoeren. Het draait per GPU meerdere keren sneller dan standaardimplementaties. In een andere demo testte het team een realtime face swap met het gezicht van de Brusselse rapper Zwangere Guy. Dit toont aan dat de pipeline flexibel is en dat verschillende AI-modellen geïntegreerd of vervangen kunnen worden, afhankelijk van de behoeften van de gebruiker. Naarmate nieuwe modellen beschikbaar worden, kunnen ze worden toegevoegd zonder de volledige setup te moeten veranderen.
Belangrijkste inzichten
1. Verbetering van virtuele studio-workflows
De technologie kan een aanvulling zijn op studio-omgevingen zoals green screen- of virtuele productiestudio’s door een AI-laag toe te voegen aan de live camerafeed. Zo kunnen visuele aanpassingen direct tijdens het filmen worden toegepast.
2. Visuele stijlen testen tijdens productie
Omdat visuele veranderingen onmiddellijk zichtbaar zijn, kunnen productieteams verschillende stijlen, achtergronden of effecten vergelijken en verder ontwikkelen terwijl de camera draait, zonder achteraf meerdere versies te genereren.
3. Realtime visuele aanpassingen voor makers
Eerdere experimenten onderzochten ook hoe makers het uiterlijk van hun content tijdens de opname konden aanpassen, door visuele veranderingen rechtstreeks op de videofeed te prompten. Zo krijgt de videomaker dus meteen wat hij/zij wil, en dat resultaat is meteen zichtbaar in de live output.
Conclusie
Filmproductie verloopt traditioneel stap voor stap: voorbereiding komt eerst, daarna volgt de opname en postproductie komt als laatste. Dankzij technologieën zoals virtuele productie zijn die grenzen al heel wat vervaagd en kunnen producenten tijdens de shoot
previews zien van bepaalde effecten. PAIC gaat nog een stap verder door visuele veranderingen al tijdens het filmen mogelijk te maken.
Het Immersive Lab van de AP Hogeschool test het systeem momenteel samen met partners uit om te onderzoeken hoe de AI-camera het best werkt in realistische productiecontexten. Dankzij een systeem zoals PAIC zou een deel van het creatieve proces dus kunnen verschuiven van postproductie naar het moment van de opname zelf.
Een artikel van Futur Media Hubs
Artikel geschreven door Marie Sommen, met input van Jeroen Cluckers, AP Immersive Lab. Vertaling door Daemen Van Laere.