Hoe voelt het om het middelpunt te zijn van een opera? In nieuwe VR-opera ‘From Dust’ krijgt iedere bezoeker een persoonlijke AI-wereld

Hoe zou het zijn om niet vanuit een zaal naar een opera te kijken, maar zelf midden in een opera te staan; niet als passieve toeschouwer, maar als protagonist? Het antwoord op die vraag wil componist en operamaker Michel van der Aa zijn publiek geven met zijn nieuwe ‘VR-opera’ From Dust . Michel van der Aa (54) is de operacomponist voor wie de techniek zich niet snel genoeg kan ontwikkelen. Hij gebruikt in zijn opera’s vrijwel altijd nieuwe technische snufjes, met name op gebied van interactief beeld.

Bijvoorbeeld door een zanger live met zichzelf te laten zingen in zijn doorbraakwerk in 2003 , een interactieve liedcyclus in 2015 en grote 3D-beelden die via een miniatuurhuisje op het podium tot leven komen in 2016 . Hoe je spraak, zang en acteren kunt laten samenvallen met (live) video, pushte hij recent nog verder in The Book of Water en Upload . Die laatste gaf NRC vijf ballen.



De VR-bril is geen nieuw technisch snufje, en Van der Aa maakte er ook al eens eerder gebruik van in zijn Eight in 2019. Maar From Dust is groter in verhaal en in oppervlak (ongeveer zes bij zes meter bewandel je onbewust), en heeft nog een paar andere technische nieuwigheden. NRC kon het werk halverwege oktober alvast ‘uitproberen’ in een zogenaamde bètatest in een flinke hal op het Westergasterrein in Amsterdam, waar Van der Aa en zijn team de opera op proefpubliek testen en zoeken naar mogelijke laatste verbeteringen.

Vanaf 3 december is de opera een kleine twee weken te ervaren in De Doelen in Rotterdam. Een kaartje koop je voor een tijdslot, want een VR-opera ervaar je niet samen, maar één voor één. Allereerst wilde Van der Aa in zijn nieuwe VR-opera geen eenvormig, lineair verhaal.

De wereld waar je invalt moet jóúw wereld zijn. Daarom mag je niet meteen bij binnenkomst de VR-bril opzetten. Eerst krijg je een onboarding , een vraaggesprekje: ‘Hoe comfortabel ben je met mensen om je heen?’ ‘Doe je ogen dicht en stel je een ruimte voor waar je je niet fijn voelt; wat zie je?’ ‘En hoe ziet de plek eruit die je juist wel fijn vindt?’ De medewerker die de vragen stelt, typt je antwoorden mee in een computer.

Daar zit de echte vernieuwing: AI verwerkt de antwoorden vervolgens tot beelden en stuurt die naar de VR-bril die op een tafeltje klaarligt. Als het AI-model het goed gedaan heeft (in de bètatest van NRC moet de onboarding tweemaal opnieuw, omdat het AI-model de antwoorden verkeerd begreep), kom je in From Dust langs je eigen werelden, is Van der Aa’s bedoeling. Ook de route in de virtuele wereld zal voor iedereen anders uitpakken: het verhaal is niet lineair, maar vertakt zich in keuzes die het vervolg van het vierentwintig minuten durende VR-verhaal beïnvloeden, zowel in beeld als muziek.

Een ander verschil met zijn eerdere VR-brilwerk heeft te maken met de zangers die je op je reis door de virtuele wereld tegenkomt. Want, vertelt Van der Aa na afloop van de test: „Het allerbelangrijkste van deze opera is dat je je door de zangers gezien voelt. Je moet voelen dat er mensen met jou in de ruimte staan.

” Hij vroeg de zangeressen van vocaal ensemble Sjaella om zijn nieuwe muziek in te zingen, maar niet zomaar voor een microfoon; camera’s en sensoren legden hun gezicht en gescripte bewegingen vast. In From Dust zijn de zingende hoofden op een digitaal lichaam geplakt; langdurig millimeterwerk om dat realistisch te krijgen, vertelt Van der Aa. Inderdaad zijn de zangeressen in de bètatest al goed herkenbaar.

Ze leiden je op je pad en staan meermaals in een cirkel om je heen. Terwijl je rondkijkt en -loopt, verschuift het geluid in je koptelefoon realistisch mee. De onboarding-vraag ‘Hoe comfortabel ben je met mensen om je heen’ blijkt te bepalen hoe dichtbij ze staan.

Als je aangeeft je maximaal comfortabel te voelen, naderen ze je op nog geen armlengte afstand. Van der Aa: „In eerdere tests bleek al dat de ervaring voor sommigen zo realistisch was, dat een zangeres die je voor je neus recht aankijkt, té intens is.” Daarom programmeerde Van der Aa en zijn team de zangeressen zo dat ze op die momenten precies langs je heen kijken.

De vierentwintig minuten vliegen in de test voorbij en het is lastig de ervaring te omschrijven zonder al te veel weg te geven. Daarbij is één run eigenlijk te overweldigend om From Dust in één keer te bevatten: beelden, muziek, Engelstalige zang, je weg vinden door de virtuele wereld, alles vraagt je aandacht. Maar het beginbeeld alleen al is bijzonder: als je de bril opzet, zie je een bol pixels in je hand liggen (je kunt door de bril je handen zien).

Die bol spat uiteen en vormen de zangeressen die je bijna de hele ervaring blijven toezingen: soms eentje bijna fluisterend dichtbij, soms met z’n zessen tegelijkertijd symfonisch opzwepend, maar op een bepaalde manier toch steeds vluchtig en geheimzinnig. Op je weg kom je langs de beelden die je in de onboarding opgaf: in deze test een concertzaal en een duinlandschap met zeevogels. Twee jaar is Van der Aa er met een team aan bezig geweest.

En nog ziet hij op de bètatest allerlei dingen die hij wil verbeteren: belichting, stereo-effecten, zelfs het wapperen van het haar van de zangeressen wil hij nog realistischer. „Nog lang niet alles is mogelijk, met name grafisch. We werken met de best beschikbare computers, maar vooral door al die vertakkingen is de wereld zo groot dat de computers nog niet alles realistisch aankunnen.

Dat heeft ook te maken met timing. Een lineair verhaal is makkelijk met beeld en geluid te timen, maar deze wereld geeft allerlei keuzes. Op elk scenario moet de computer een antwoord hebben.

” Is zo’n VR-opera nou een gebbetje, of denkt Van der Aa dat hier serieuze toekomst in zit? Dat laatste. „Je kunt verhalen vertellen die je tot nu toe niet kon vertellen. Publiek als protagonist, in een persoonlijk decor, dat is nieuw.

Maar ik zou niet alleen nog maar VR-werken willen maken. VR vervangt niet het prachtige ritueel van samen in een zaal zitten en naar een nieuwe opera te luisteren.”.