Kenniscentrum faculteit Digitale Media & Creatieve Industrie

AI kan overledenen 'tot leven brengen'. Maar willen we dat?

Voorbeelden te zien op festival Society 5.0

24 okt 2023 09:15 | Faculteit Digitale Media en Creatieve Industrie

Met kunstmatige intelligentie en deepfakes worden binnenkort bijna-echte gesprekken mogelijk met overleden personen. Dat kan helpen bij rouwverwerking of educatieve storytelling. “Maar het roept ook veel vragen op en is niet zonder risico”, zegt mediawetenschapper Esther Hammelburg van de Hogeschool van Amsterdam. Een panelgesprek op het Society 5.0 Festival (31 okt & 1 nov) verkent de ethische dilemma’s van dit AI en een digitaal hiernamaals. Wat als dit wordt toegepast op Hitler of Osama Bin Laden?”

Als een kadootje voor zijn vrouw Kim Kardashian liet rapper Kanye West drie jaar geleden een digitale replica maken van haar vader Rob Kardashian, die al in 2003 was overleden. Helemaal realistisch was het schokkerige holografische filmpje niet, zo is te zien op de X-post van dochter Kim. Maar haar reactie was er niet minder enthousiast om: “The gift of a lifetime.”

Het zal niet lang meer duren voordat we allemaal net als de Kardashians oog in oog kunnen staan met dierbare overledenen. Met deepfakes worden nu al levende mensen zeer realistisch nagebootst. Daarvoor moeten weliswaar uitgebreide 3D-scans worden gemaakt, maar binnen vijf jaar kun je zo’n levensechte avatar met een smartphone maken. En dat is niet het enige; met een stemgenerator kan ook een stem tot in perfectie worden gereproduceerd. Zo kan een pratende digital twin van iemand worden gecreëerd. Dus waarom dan niet van een overleden persoon?

Hologram van Rob Kardashian. Bron: Twitter

Rouwtherapie

“Met gebruik van kunstmatige intelligentie kunnen we ook invoelbare gesprekken gaan voeren met overleden dierbaren”, zegt Esther Hammelburg, hoofddocent aan de faculteit Digitale Media en Creatieve Industrie van de Hogeschool van Amsterdam. Daarvoor wordt een AI-systeem vol geladen met informatie over een overleden persoon, zoals whatsappjes, de Insta-tijdlijn, persoonlijke emails of helemaal optimaal, dagboeken en video-opnames..

Op basis van deze data kan een AI-systeem vervolgens een chatbot aansturen die communiceert zoals de overleden persoon dat zou doen. Eventueel kan dat zelfs in een ruimtelijke beleving met virtual reality. “Dat maakt de beleving nog intenser.” Kortom, “AI slaat een brug naar het afterlife”.

Doden die tot leven komen. Het lijkt een aflevering van de Netflix-serie Black Mirror, maar inmiddels wordt dit in rap realiteit. Verschillende rouwtherapeuten zeggen dat het cliënten kan helpen in de rouwverwerking om op deze manier met hun dierbaren in gesprek te gaan. Toch kleven er ook grote ethische dilemma’s aan deze rouwtherapie, beaamt Hammelburg. "Het is nog onvoldoende bekend wat de effecten zijn. Zo zou het ook kunnen dat mensen er soms stevig van in de war raken. Misschien is het wel beter om juist een helder afgebakend afscheid te hebben.” Bovendien zijn de huidige AI-systemen nog niet feilloos. “Wat als een chatbot of avatar onzin gaat uitkramen?” Tot slot wijst de mediawetenschapper op “het recht op rust voor zowel de overledenen als de nabestaanden”.

Virtuele Bart de Graaff

Om deze praktische en ethische voor- en nadelen van deze technologische toepassing af te wegen organiseert Hammelburg op het Society 5.0 Festival in Amsterdam (31 okt & 1 nov) het panelgesprek AI Afterlife: Reanimating the Deceased with Synthetic Media met uiteenlopende experts. “We betreden een heel nieuw terrein. Dat roept vragen op. Daarom moeten we net er nu over hebben, straks is het te laat.” Deelnemers zijn rouwtherapeut Anne-Mieke Zweers en Annabel van Dijk van BNNVARA die met studenten van de Hogeschool Rotterdam een digitale replica ontwikkelt van de overleden omroepbaas Bart de Graaff. Daarnaast vertellen de digitale makers Davy van Gerven, Nina Willems en Sammie de Vries over hun AI-projecten.

Bekijk hier het hele programma van het Society 5.0 Festival

VR-nabootsing van de Hollandsche Schouwburg voor de oorlog. Door Sammie de Vries, Studio VRij

Ook voor de geschiedenisles

Het panelgesprek gaat over meer dan alleen over rouwverwerking met behulp van AI. Zo kan de realistische avatar ook een verrijking zijn van het artistieke instrumentarium voor bijvoorbeeld film- en theatermakers. Of een AI-systeem dat muziek componeert in de stijl van Mozart, waarbij een avatar van Mozart een toelichting geeft. Rembrandt die op zaal in het Rijksmuseum vertelt hoe hij de Nachtwacht heeft geschilderd. “Een compleet nieuwe vorm van theater en storytelling kan ontstaan”, zegt Hammelburg. Maar hier geldt wederom: “Het moet heel zorgvuldig; het moet ondubbelzinnig duidelijk zijn dat het om fictie gaat.”

Tot slot biedt een afterlife-ervaring door AI ook educatieve mogelijkheden. Bijvoorbeeld door historische figuren weer tot leven wekken. Hammelburg: “Denk aan een geschiedenisles waarin leerlingen Anne Frank zien voorlezen uit haar dagboek. Dat maakt meer indruk dan een leraar voor de klas.” Maar ook deze maatschappelijke toepassingen zijn niet zonder risico. “Wat als deze technologie wordt toegepast op Hitler of Osama Bin Laden? Wat kan wel en niet, en wie bepaalt dat?"

Daarnaast kun je vraagtekens zetten bij de historische objectiviteit, meent de docent-onderzoeker. “Het verhaal van zo’n avatar hangt sterk af van de dataset waarmee de chatbot is geladen. Bij een misleidende tekst van Rembrandt dreigt niet direct gevaarlijke misleiding. Maar bij Anne Frank bijvoorbeeld ligt dat gevoeliger.” Oftewel: “Waar liggen de grenzen van AI als het gaat om het digitale hiernamaals? Dat is de ingewikkelde vraag waarop we een antwoord moeten vinden. Of we dat nou leuk vinden of niet.”

Passage to the Past

De grootvader van virtual storyteller Sammie de Vries van Studio VRij is de Joodse toneelspeler Rob de Vries. De heldendaden die hij als verzetsman verrichtte, maakten hem in het gezin tot een mythische man en vader. Over het opmerkelijke oorlogsverhaal van zijn grootvader maakte Sammie met zijn vader, acteur en scenarist Edwin de Vries, het toneelstuk Westerbork Serenade. Nu werkt hij aan een VR-ervaring Passage to the Past waarin zijn grootvader zelf zijn levensverhaal tijdens WOII vertelt. “We laten hem als een geavanceerde avatar nog een keer een toneelrol spelen als het ware. Mijn vader was oprecht ontroerd toe hij zijn vader voor het eerst zo terugzag.”

VR-ervaring Passage to the Past over Rob de Vries, grootvader van Sammie de Vries

Passage to the Past is een interactieve ervaring. “Je kunt dus vragen stellen aan mijn grootvader. We hebben een script geschreven waarmee een chatbot de antwoorden genereert.”, vertelt De Vries. De VR-ervaring zal te zien zijn in Hollandsche Schouwburg in Amsterdam, wat in de Tweede Wereldoorlog eerst een Joods theater was en later deportatieplaats. “We hebben het Joodse theater zoals het toen was in virtual reality nagebouwd. Er was nog maar één foto van dus dat is best bijzonder. Je ziet de historische reconstructie en bent er ook fysiek. Dat maakt de ervaring nog intenser.”

Aanleiding voor deze innovatieve mix van theater, technologie en geschiedschrijving is de afnemende kennis over de holocaust onder jongeren. Naast de opvoering in de Hollandsche Schouwburg moet Passage to the Past gaan toeren langs theaters, jongerencentra en scholen. “De Jodenvervolging wordt door deze persoonlijke vertelling beter invoelbaar. Door in gesprek te gaan met een persoon die echt heeft bestaan, krijgt dit grote verhaal letterlijk een gezicht en een stem, zonder in detail de verschrikkingen te laten zien.”

Overleden acteur Jeroen Willems opnieuw in de hoofdrol

In de theatervoorstelling Litanie van een Terugkeer speelt de 2012 overleden acteur Jeroen Willems de hoofdrol. Dat wil zeggen: zijn avatar. Willems speelde vooral in het theater en minder in films. Er is dus relatief weinig van zijn oeuvre nog beschikbaar. Hoe kunnen we AI inzetten om zijn nalatenschap te vieren? Dat vroeg theatermaker Davy van Gerven zich af. “Een virtuele Jeroen Willems die een toneelstuk van Shakespeare voordraagt is niet interessant. Dat kan nooit recht doen aan zijn talent. Het wordt al snel zoiets als een ABBA-hologram.”

In plaats daarvan is AI gebruikt voor een “artistieke herinterpretatie”’ van de acteur. Daarvoor werd de stem van Willems gegenereerd op basis van luisterboeken. Die stem werd gebruikt voor een uitvoering van een door AI gemaakte liedtekst van Jacques Brel. “Maar wel zo dat je duidelijk hoort dat het niet de acteur zelf is. Dit wordt bovendien gecombineerd met een live-uitvoering van deze liedtekst door zijn nicht Nina Willems.” Van deze en andere performances is een voorstelling gemaakt.

Daarnaast werd een geïndividualiseerde dataset aangelegd op basis van interviews, recensies, castings en het familiearchief. “Op basis van de interviewantwoorden van Willems hebben wij ChatGPT nieuwe vragen laten schrijven. Een getrainde chatbot heeft op deze vragen fictieve antwoorden gegeven. Zo krijg je een complet nieuw maar fictief interview.” De achterliggende vraag van dit theatrale AI-experiment is: Kan technologie de rol van een overleden acteur overnemen? En zo ja, hoe dan? “Een belangrijke voorwaarde is transparantie over wat echt en wat fictief is”, zegt Van Gerven. “Naast instemming van de nabestaanden natuurlijk.”

Tekst: Jeroen Junte, Design Digger

De documentaire Deepfake Therapy van regisseur Roshan Nejal volgt een aantal nabestaanden die onder begeleiding van een rouwtherapeut met deepfake technologie een interactief videogesprek voeren met hun overleden dierbaren. Ze halen herinneringen op, stellen dringende vragen en gaan de confrontatie met onuitgewerkte zaken aan. Voor de documentaire werkte Nejal samen met hoogleraar Computer Vision Theo Gevers (Universiteit van Amsterdam) en rouwtherapeut Leoniek van der Maarel. “Zij kon met haar vakkennis heel goed uitleggen waarom ons idee met deepfake technologie zo goed zou kunnen werken voor mensen in rouw. Ze vertelde dat alléén de gedachte al, dat je je laptop kunt openslaan en kunt spreken met je overleden dierbare, heel veel rust geeft. Het kan de overgang van ‘altijd contact’ naar ‘nooit meer’ contact, zachter, geleidelijker en makkelijker maken.”

Kijk de documentaire hier via het NPO-kanaal 2Doc:

https://www.2doc.nl/documentaires/2020/10/deepfake-therapy.html