„Instant NeRF“

Nvidia zaubert aus 2D-Bildern in Sekunden 3D-Video

Der US-Grafikspezialist Nvidia hat mit „Instant NeRF“ eine neue Technologie vorgestellt, um aus einer Sammlung von zweidimensionalen Standbildern dreidimensionale und somit plastisch wirkende Aufnahmen zu fertigen. Im Gegensatz zu früheren Ansätzen soll dies dank des Einsatzes von künstlicher Intelligenz in Sekundenschnelle gelingen.

„Als vor 75 Jahren das erste Sofortbild mit einer Polaroid-Kamera aufgenommen wurde, war es bahnbrechend, die 3D-Welt schnell in einem realistischen 2D-Bild zu erfassen“, schreibt Nvidia in einem Blogeintrag. Heute arbeiteten KI-Forscher am Gegenteil, indem sie eine Sammlung von Standbildern „innerhalb von Sekunden“ in eine digitale 3D-Szene verwandelten.

Bei diesem als inverses Rendering bekannten Verfahren wird mithilfe von künstlicher Intelligenz das Lichtverhalten in der realen Welt nachgebildet. So können Forscher eine 3D-Szene aus einer Handvoll 2D-Bildern rekonstruieren, die aus verschiedenen Winkeln aufgenommen wurden. Nvidias „Instant NeRF“-Technologie bewältigt diese Aufgabe „fast augenblicklich“, indem sie das ultraschnelle Training von neuronalen Netzen und schnelles Rendering kombiniere, wie das Unternehmen erläutert.

„Das Modell benötigt nur wenige Sekunden, um anhand von ein paar Dutzend Fotos trainiert zu werden - plus Daten zu den Kamerawinkeln, aus denen sie aufgenommen wurden - und kann dann die resultierende 3D-Szene innerhalb von zehn Millisekunden rendern“, so Nvidia.

„Wenn herkömmliche 3D-Darstellungen wie Polygonnetze mit Vektorbildern vergleichbar sind, dann sind NeRFs wie Bitmap-Bilder: Sie erfassen dicht die Art und Weise, wie Licht von einem Objekt oder innerhalb einer Szene abstrahlt“, erläutert David Luebke, Vice President für Grafikforschung bei Nvidia. „In diesem Sinne könnte Instant NeRF für 3D so wichtig sein, wie es Digitalkameras und JPEG-Kompression für die 2D-Fotografie waren.“

(Bild: youtube.com/Nvidia Developer)

Lückenfüller
NeRFs verwenden demnach neuronale Netzwerke, um realistische 3D-Szenen auf der Grundlage einer Sammlung von 2D-Bildern darzustellen und zu rendern. Das Sammeln von Daten für ein NeRF sei ein bisschen wie der Versuch eines Fotografen auf einem roten Teppich, das Outfit eines Prominenten aus jedem Blickwinkel zu erfassen, beschreibt Luebke. Das neuronale Netzwerk benötige ein paar Dutzend Bilder, die aus verschiedenen Positionen rund um die Szene aufgenommen wurden, sowie die Kameraposition für jede dieser Aufnahmen.

Bei einer Szene mit Menschen oder anderen beweglichen Elementen sei es umso besser, je schneller diese Aufnahmen gemacht würden. Wenn sich während der 2D-Bilderfassung zu viel bewege, werde die von der KI erzeugte 3D-Szene unscharf. „Instant NeRF“ fülle dann die Lücken, indem es ein kleines neuronales Netzwerk trainiere, das die Szene rekonstruiert, indem es die Farbe des Lichts vorhersagt, das von jedem Punkt im 3D-Raum in jede Richtung strahlt. Die Technik könne sogar Verdeckungen umgehen - wenn Objekte, die in einigen Bildern zu sehen sind, durch Hindernisse wie Säulen in anderen Bildern verdeckt werden, so Nvidia.

Grundlage für autonomes Fahren und Robotik
Dem Unternehmen nach renderten frühe NeRF-Modelle „gestochen scharfe Szenen ohne Artefakte in wenigen Minuten, benötigten aber immer noch Stunden für das Training“. Instant NeRF hingegen verkürze die Rendering-Zeit „um mehrere Größenordnungen“ und könne „auf einem einzigen Nvidia-Grafikprozessor trainiert und ausgeführt werden“. Die Technologie könnte laut Nvidia nun verwendet werden, um etwa Roboter und selbstfahrende Autos zu trainieren, damit sie die Größe und Form von realen Objekten verstehen. Sie könnte auch in der Architektur und in der Unterhaltungsbranche eingesetzt werden, „um schnell digitale Darstellungen von realen Umgebungen zu erzeugen, die von den Entwicklern verändert und ausgebaut werden können“.