PIlotbijdrage
Hellfighter
Een hybride theaterproject waarbij met jazzmuziek nieuwe beelden gegenereerd worden uit archiefmateriaal.
Met Hellfighter draagt Podium Biarritz bij aan kennisontwikkeling rond live audiovisuele systemen en de inzet van digitale tools voor nieuwe publieksbelevingen binnen de podiumkunsten.
Sinds 2019 werkt animatie en VR specialist Yvonne van Ulden met een team aan het project Hellfighter, een hybride animatiefilm en theaterperformance. Hellfighter is een moderne Odyssee over een zwarte held uit de Eerste Wereldoorlog. Door de Roaring Twenties van de vorige eeuw dwaalde hij door Europa, op zoek naar zijn identiteit. Met de Afrikaanse diaspora bracht hij de Jazz naar Europa.
De techniek
Met deze productie als aanleiding wordt een systeem uitgewerkt dat een fluïde synergie creërt tussen cinema, theater en live muziek. Dat gebeurt via geluids- en bewegingsdata, machine listening en learning, AI image-to-video generation en TouchDesigner.
Vanuit de live muziek en de bewegingen van de performers op het podium worden beelden gecreëerd en visueel gemanipuleerd. Deze beelden worden in verschillende lagen gecombineerd met traditioneel geproduceerde, bestaande animatie. De magie van het unieke moment van een live performance wordt gecombineerd met cinema om zo tot een organisch, fluïde geheel te komen.
Van ontwikkelbijdrage naar pilotbijdrage
Met de ontwikkelbijdrage van DigitALL werden al een machine-listening-systeem en twee realitime visualisatiesystemen ontwikkeld en getest. Deze systemen vertalen live jazzimprovisatie en de bewegingen van performers direct naar beeld, waardoor muziek, beeld en performance in continue wisselwerking staan. Op basis van de inzichten kan het systeem nu verder worden aangescherpt met de pilotbijdrage.