Ansprechpartner

Prof. Dr. Christian Theobalt
Telefon:+49 681 9325-4028
Dr. Michael Zollhöfer
Telefon:+49 681 9325-4019

Originalpublikation mit Video

Abhimitra Meka, Michael Zollhöfer, Christian Richardt, Christian Theobalt
Live Intrinsic Video

Verwandte Artikel

Animierte Figuren etwa in Filmen und in Computerspielen wirken heute oft lebensecht. Denn sie werden mit aufwendig erzeugten, dreidimensionalen Modellen von Körpern und Gesichtern erschaffen. Christian Theobalt und seine Mitarbeiter am Max-Planck-Institut für Informatik in Saarbrücken erleichtern es Grafikern deutlich, solche Modelle zu erstellen. Sie ermöglichen dadurch Anwendungen, die bislang undenkbar waren.

Computer schneiden Grimassen

Animierte Figuren etwa in Filmen und in Computerspielen wirken heute oft lebensecht. Denn sie werden mit aufwendig erzeugten, dreidimensionalen Modellen von Körpern und Gesichtern erschaffen. Christian Theobalt und seine Mitarbeiter am Max-Planck-Institut für Informatik in Saarbrücken erleichtern es Grafikern deutlich, solche Modelle zu erstellen. Sie ermöglichen dadurch Anwendungen, die bislang undenkbar waren.
Saarbrücker Informatiker können realistische Gesichtsmodelle etwa für animierte Filme alleine anhand von Videoaufnahmen erstellen

Computeranimation: Modelle für die Mimik

8. März 2016

Saarbrücker Informatiker können realistische Gesichtsmodelle etwa für animierte Filme alleine anhand von Videoaufnahmen erstellen

Informatik

Die Realität, fotorealistisch erweitert

Mit einer neuen Software für Augmented Reality lassen sich in Videos Farben und Materialien in Echtzeit verändern

15. Februar 2017

Seit dem Handyspiel „Pokémon Go“, das innerhalb von wenigen Tagen mehr als 75 Millionen Menschen begeisterte, ist Augmented Reality (AR) wieder in den Blick der Öffentlichkeit gerückt. Bilder oder Videos von einer realen Umgebung werden hier mit am Computer generierten Informationen erweitert oder verändert, indem diese über das Bild gelegt oder eingeblendet werden. Wissenschaftler des Max-Planck-Instituts für Informatik haben nun eine Software entwickelt, mit deren Hilfe sich Bilder so fotorealistisch verändern lassen, dass der Unterschied zur realen Aufnahme nicht mehr erkennbar ist. Die Forscher aus Saarbrücken sind überzeugt, dass dies ein wichtiger Schritt für AR-Anwendungen ist.
Vom Computer umgefärbt: Eine Software von Saarbrücker Informatikern ändert in Videos die Farbe von Oberflächen, und zwar fotorealistisch und in Echtzeit. So erscheint das T-Shirt einer Frau nicht mehr rot sondern blau. Bild vergrößern
Vom Computer umgefärbt: Eine Software von Saarbrücker Informatikern ändert in Videos die Farbe von Oberflächen, und zwar fotorealistisch und in Echtzeit. So erscheint das T-Shirt einer Frau nicht mehr rot sondern blau. [weniger]

Pokémon Go, ein Spiel für Mobilgeräte wie Smartphone und Tabletcomputer, hat der Augmented Reality neuen Schub gegeben. Informatiker aus Saarbrücken heben diese Technik nun auf eine neue Qualitätsstufe, indem sie nicht mehr das reale, digitale Bild mit visuellen Informationen überlagern, sondern das Bild realitätsgetreu verändern. So geben sie einer Oberfläche eine andere Farbe oder Textur, lassen sie also aus anderem Material gemacht erscheinen als in der Realität.

Das klingt einfacher, als es ist: „Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter der Gruppe „Graphics, Vision & Video“ am Max-Planck-Institut für Informatik auf dem Saarland Informatics Campus in Saarbrücken. „Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung daher nur indirekt im Bild enthalten sind und damit nicht messbar sind“, so Theobalt.

Geändert wird nur die Beleuchtung oder die Reflexion

Gemeinsam mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, löst er dieses Problem auf besondere Weise.  „Indem wir blitzschnell für jeden Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern, bleibt der realistische Eindruck erhalten“, erklärt Theobalt. Diese Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass es sogar bei Live-Aufnahmen von einer herkömmlichen Webcam möglich ist.

Was ihre Software kann, demonstrieren die Forscher mit einem verblüffend einfachen Aufbau: Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau zu sehen. Das ist jedoch der einzige Unterschied, der zwischen der Szene im Raum und der Szene auf dem Bildschirm zu erkennen ist.

Aus einem Baumwoll- wird ein Samthemd

Und die Software kann nicht nur Farben wechseln. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich sogar andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln.

„Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren: „Stellen Sie sich vor, Sie denken über ein neues Sofa in einer anderen Farbe nach. Mit unserem Programm können Sie prüfen, ob die angedachte Farbe zu den Lichtverhältnissen im Wohnzimmer passt. Sie müssen dafür noch nicht mal aufstehen.“

gob

 
loading content