25.05.2021 09:22 |

„TrueSync“

KI lässt De Niro lippensynchron deutsch sprechen

Wenn Schauspieler in ausländischen Filmen hierzulande ihre Lippen bewegen, obwohl kein Ton über diese kommt, dann ist meist die schlechte Synchronisation daran schuld. Doch damit könnte bald Schluss sein: Mit „TrueSync“ hat das von Regisseur Scott Mann gegründete Unternehmen FlawlessAI das laut eigenen Angaben weltweit erste System entwickelt, das künstliche Intelligenz nutzt, „um perfekt lippensynchrone Visualisierungen in mehreren Sprachen zu erstellen“.

Die Idee zu TrueSync kam Mann laut einem Bericht des US-Magazins „Wired“, als er Robert De Niro in einer schlecht synchronisierten Fassung seines Films „Die Entführung von Bus 657“ aus dem Jahr 2015 sah. „Wenn Sie eine kleine Änderung an einem Wort oder einer Darbietung vornehmen, kann das eine große Veränderung auf eine Figur im Erzählstrang und damit auf den Film haben“, erläuterte Mann die Problematik.

Um „das wahre Potenzial der Filme auszuschöpfen“, wie es auf der Unternehmenswebsite heißt, gründete er deshalb FlawlessAI, dessen erste Entwicklung - TrueSync - nun mit der Hilfe von künstlicher Intelligenz die perfekte Lippensynchronisation ermöglichen soll, ganz gleich in welcher Sprache. Aus der Mimik und insbesondere den Lippenbewegungen des Synchronsprechers wird dafür eine Art dreidimensionale Maske erstellt, die anschließend mit dem Gesicht des jeweiligen Schauspielers zusammengeführt und quasi verschmolzen wird.

Fließender Sprachwechsel
Wie das aussieht bzw. klingt, demonstriert das Unternehmen in mehreren Videos und zeigt etwa einen japanisch sprechenden Tom Hanks in seiner Paraderolle als „Forrest Gump“, Jack Nicholson, wie er in „Eine Frage der Ehre“ mit Tom Cruise französisch parliert, oder besagten Robert De Niro in „Die Entführung von Bus 657“, der sich auf Deutsch mit seinem weiterhin englisch sprechenden Schauspielkollegen Morris Chestnut unterhält.

Dass eine derartige Sychronisierung mittels TrueSync aufwändiger und teurer ist, ist Mann durchaus bewusst. Da internationale Einspielergebnisse aber immer wichtiger würden, setze er darauf, dass sich diese Investition für die Filmstudios lohnen werde, so der Regisseur zu „Wired“.

Kritiker befürchten „Kontrollverlust“
Kritiker befürchten indes, dass die Technologie den Schauspielern die Kontrolle über ihre Darbietungen entziehen könnte: „Es gibt legitime und ethisch vertretbare Anwendungen dieser Technologie“, sagte der Anwalt der Gewerkschaft Screen Actors Guild, Duncan Crabtree-Ireland, dem Magazin. „Aber jeder Einsatz dieser Technologie darf nur mit dem Einverständnis der betroffenen Darsteller und mit einer angemessenen Vergütung erfolgen.“

Sebastian Räuchle
Sebastian Räuchle
Kommentare
Eingeloggt als 
Nicht der richtige User? Logout

Willkommen in unserer Community! Eingehende Beiträge werden geprüft und anschließend veröffentlicht. Bitte achten Sie auf Einhaltung unserer Netiquette und AGB. Für ausführliche Diskussionen steht Ihnen ebenso das krone.at-Forum zur Verfügung.

User-Beiträge geben nicht notwendigerweise die Meinung des Betreibers/der Redaktion bzw. von Krone Multimedia (KMM) wieder. In diesem Sinne distanziert sich die Redaktion/der Betreiber von den Inhalten in diesem Diskussionsforum. KMM behält sich insbesondere vor, gegen geltendes Recht verstoßende, den guten Sitten oder der Netiquette widersprechende bzw. dem Ansehen von KMM zuwiderlaufende Beiträge zu löschen, diesbezüglichen Schadenersatz gegenüber dem betreffenden User geltend zu machen, die Nutzer-Daten zu Zwecken der Rechtsverfolgung zu verwenden und strafrechtlich relevante Beiträge zur Anzeige zu bringen (siehe auch AGB).

Sonntag, 13. Juni 2021
Wetter Symbol