Video- und stimmgesteuerte «Deep Fakes» sind durch hochkomplexe Algorithmen in der Lage, fiktive Realitäten quasi in Echtzeit zu erzeugen und Wahrnehmungen zu kontrollieren, ohne dabei Spuren zu hinterlassen.
All the Lives, Trailer, 2022 © Nadine Cocina, Björn Franke, Paulina Zybinska
Diese technischen Algorithmen setzen ausgerechnet bei den Merkmalen an, die unsere so einzigartige und individuelle menschliche Identität charakterisieren: bei der Stimme oder dem Gesicht. Das ist insofern beachtlich, da die Wissenschaft noch in den Kinderschuhen steckt, genau diese identitätsstiftenden Merkmale zu verstehen. Oft werden Deep Fakes mit missbräuchlicher Nutzung assoziiert. Doch während die Technologie im gesellschaftlich-politischen Bereich grosses Potenzial zur Verbreitung von Falschinformationen hat, beschränkt sich der Bereich der Kunst und Unterhaltung oft darauf, bekannten Menschen neue Worte in den Mund zu legen oder die Gesichter der Handelnden auszutauschen.
Die immersive Installation All the Lives hingegen erlaubt es dem Publikum, sich mittels Deep Fakes in alternative Lebenssituationen zu begeben, die bevorstehen könnten oder die bereits erlebt wurden. In einem ersten Schritt wird eine Bild- und eine Stimmprobe der Besucherinnen und Besucher aufgenommen und dann in einem zweiten Schritt durch einen Deep-Fake-Algorithmus in Kurzfilme eingebunden, in denen sie sich in einer synthetisierten Realität und Lebenswirklichkeit wiederfinden. In diesen Filmen sehen sich die Besucherinnen und Besucher beispielsweise als ältere Menschen auf der Terrasse ihres sonnigen Strandhaus oder einsam am Tisch sitzen, gefangen in einem tristen Büro, als Filmstars belagert von Kameras und Blitzlichtern oder sportlich fit auf einen Boxsack einschlagen.
Die Erfahrung, sein Deep-Fake-Ego in einer neuen und bisher nicht gelebten Rolle, Situation oder Identität zu erleben, regt dazu an, alltägliche Rollen und nicht zuletzt seinen eigenen, konkret gelebten Lebensentwurf zu reflektieren. In diesem Sinne kann die All the Lives als philosophische Maschine verstanden werden, die einerseits die Entscheidung für einen bestimmten Lebensentwurf und dessen Grenzen in den Fokus rückt und andererseits eine Projektionsfläche für das menschliche Selbst und dessen mögliche andere Identitäten bietet. Gleichzeitig entsteht durch das immersive Erlebnis ein nahegehendes Verständnis der gesellschaftlichen und politischen Dimensionen dieser Technologien. So eröffnet die innovative künstlerische Installation neuartige wissenschaftliche Herangehensweisen zur Erforschung des menschlichen Identitätscodes.
All the Lives, 2022 © Nadine Cocina, Björn Franke, Paulina Zybinska
All the Lives, Making of, 2022 © Nadine Cocina, Björn Franke, Paulina Zybinska
Jeffery DelViscio, “A Nixon Deepfake, a ‘Moon Disaster’ Speech and an Information Ecosystem at Risk,” Scientific American, July 20, 2020
Katerina Cizek, William Uricchio, and Sarah Wolozin, “Media Co-creation with Non-human Systems,” in Collective Wisdom: Co-Creating Media within Communities, across Disciplines and with Algorithms, 2019
Jordan Peele, “Obama Deep Fake,” Ars Electronica
Luke O’Neil, “Doctored Video of Sinister Mark Zuckerberg puts Facebook to the Test,” The Guardian, June 12, 2019
EJ Dickson, “TikTok Stars Are Being Turned Into Deepfake Porn Without Their Consent,” Rolling Stone, October 26, 2020
Supasorn Suwajanakorn, Steven M. Seitz, Ira Kemelmacher-Shlizerman, “Synthesizing Obama: Learning Lip Sync from Audio,” ACM Transactions on Graphics 36, no. 4 (2017): 95:1–95:13.
Lin Cao, Wenjun Sheng, Fan Zhang, Kangning Du, Chong Fu and Peiran Song, “Face Manipulation Detection Based on Supervised Multi-Feature Fusion Attention Network,” Sensors 21, no. 24 (2021): 8181.
Yisroel Mirsky and Wenke Lee, “The Creation and Detection of Deepfakes: A Survey,” ACM Computing Surveys 54, no. 1 (2022): 1–41.
Sherry Turkle, The Second Self: Computers and the Human Spirit (New York: Simon & Schuster, 1984).
Sherry Turkle, Life on the Screen: Identity in the Age of the Internet (New York: Weidenfeld and Nicolson, 1995).
Donna Haraway, “A Cyborg Manifesto: Science, Technology, and Socialist-Feminism in the Late Twentieth Century,” in Simians, Cyborgs and Women: The Reinvention of Nature (London: Routledge, 1991).
James Glass, Shattered Selves: Multiple Personality in a Postmodern World (Ithaca, NY: Cornell University Press, 1993).
Erving Goffman, The Presentation of Self in Everyday Life (London: Penguin Books, 1990).
Jacques Lacan, “The Mirror-Stage as Formative of the I as Revealed in Psychoanalytic Experience,” in Écrits: A Selection (New York: W. W. Norton, 1977).
Paul Ricoeur, Oneself as Another (Chicago: University of Chicago Press, 1994).
Konzept: Dr. Björn Franke, Interaction Design & Visual Communication, ZHdK
Programmierung: Paulina Zybinska, Interaction Design, ZHdK
Video: Nadine Cocina, Interaction Design, ZHdK
Casting: Isabela Gygax
Schauspieler und Schauspielerinnen: Tina Schmid, Christian Leugger, Teresa Matusadila Leuzinger, Rahim Lascandri, Astrid Kehl, Kurt Herzog, Kemal Dempster, Christoph Gross, Susann Klossek, Walesca Frank, Melisa Sari Arslan, Ramona Sprenger, Jemsith Regan Raveendran, June Donkor, Oliver Meier, Clifford Seidmann, Elijah Knight, Kate Tsui