„TrueSync“

KI lässt De Niro lippensynchron deutsch sprechen

Wenn Schauspieler in ausländischen Filmen hierzulande ihre Lippen bewegen, obwohl kein Ton über diese kommt, dann ist meist die schlechte Synchronisation daran schuld. Doch damit könnte bald Schluss sein: Mit „TrueSync“ hat das von Regisseur Scott Mann gegründete Unternehmen FlawlessAI das laut eigenen Angaben weltweit erste System entwickelt, das künstliche Intelligenz nutzt, „um perfekt lippensynchrone Visualisierungen in mehreren Sprachen zu erstellen“.

Die Idee zu TrueSync kam Mann laut einem Bericht des US-Magazins „Wired“, als er Robert De Niro in einer schlecht synchronisierten Fassung seines Films „Die Entführung von Bus 657“ aus dem Jahr 2015 sah. „Wenn Sie eine kleine Änderung an einem Wort oder einer Darbietung vornehmen, kann das eine große Veränderung auf eine Figur im Erzählstrang und damit auf den Film haben“, erläuterte Mann die Problematik.

Robert DeNiro in „Die Entführung von Bus 657“ und einer seiner Synchronsprecher

(Bild: flawlessai.com)

Um „das wahre Potenzial der Filme auszuschöpfen“, wie es auf der Unternehmenswebsite heißt, gründete er deshalb FlawlessAI, dessen erste Entwicklung - TrueSync - nun mit der Hilfe von künstlicher Intelligenz die perfekte Lippensynchronisation ermöglichen soll, ganz gleich in welcher Sprache. Aus der Mimik und insbesondere den Lippenbewegungen des Synchronsprechers wird dafür eine Art dreidimensionale Maske erstellt, die anschließend mit dem Gesicht des jeweiligen Schauspielers zusammengeführt und quasi verschmolzen wird.

Fließender Sprachwechsel
Wie das aussieht bzw. klingt, demonstriert das Unternehmen in mehreren Videos und zeigt etwa einen japanisch sprechenden Tom Hanks in seiner Paraderolle als „Forrest Gump“, Jack Nicholson, wie er in „Eine Frage der Ehre“ mit Tom Cruise französisch parliert, oder besagten Robert De Niro in „Die Entführung von Bus 657“, der sich auf Deutsch mit seinem weiterhin englisch sprechenden Schauspielkollegen Morris Chestnut unterhält.

Dass eine derartige Sychronisierung mittels TrueSync aufwändiger und teurer ist, ist Mann durchaus bewusst. Da internationale Einspielergebnisse aber immer wichtiger würden, setze er darauf, dass sich diese Investition für die Filmstudios lohnen werde, so der Regisseur zu „Wired“.

Kritiker befürchten „Kontrollverlust“
Kritiker befürchten indes, dass die Technologie den Schauspielern die Kontrolle über ihre Darbietungen entziehen könnte: „Es gibt legitime und ethisch vertretbare Anwendungen dieser Technologie“, sagte der Anwalt der Gewerkschaft Screen Actors Guild, Duncan Crabtree-Ireland, dem Magazin. „Aber jeder Einsatz dieser Technologie darf nur mit dem Einverständnis der betroffenen Darsteller und mit einer angemessenen Vergütung erfolgen.“