Die Realität, fotorealistisch erweitert

Mit einer neuen Software für Augmented Reality lassen sich in Videos Farben und Materialien in Echtzeit verändern

15. Februar 2017

Seit dem Handyspiel „Pokémon Go“, das innerhalb von wenigen Tagen mehr als 75 Millionen Menschen begeisterte, ist Augmented Reality (AR) wieder in den Blick der Öffentlichkeit gerückt. Bilder oder Videos von einer realen Umgebung werden hier mit am Computer generierten Informationen erweitert oder verändert, indem diese über das Bild gelegt oder eingeblendet werden. Wissenschaftler des Max-Planck-Instituts für Informatik haben nun eine Software entwickelt, mit deren Hilfe sich Bilder so fotorealistisch verändern lassen, dass der Unterschied zur realen Aufnahme nicht mehr erkennbar ist. Die Forscher aus Saarbrücken sind überzeugt, dass dies ein wichtiger Schritt für AR-Anwendungen ist.

Pokémon Go, ein Spiel für Mobilgeräte wie Smartphone und Tabletcomputer, hat der Augmented Reality neuen Schub gegeben. Informatiker aus Saarbrücken heben diese Technik nun auf eine neue Qualitätsstufe, indem sie nicht mehr das reale, digitale Bild mit visuellen Informationen überlagern, sondern das Bild realitätsgetreu verändern. So geben sie einer Oberfläche eine andere Farbe oder Textur, lassen sie also aus anderem Material gemacht erscheinen als in der Realität.

Das klingt einfacher, als es ist: „Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter der Gruppe „Graphics, Vision & Video“ am Max-Planck-Institut für Informatik auf dem Saarland Informatics Campus in Saarbrücken. „Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung daher nur indirekt im Bild enthalten sind und damit nicht messbar sind“, so Theobalt.

Geändert wird nur die Beleuchtung oder die Reflexion

Gemeinsam mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, löst er dieses Problem auf besondere Weise.  „Indem wir blitzschnell für jeden Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern, bleibt der realistische Eindruck erhalten“, erklärt Theobalt. Diese Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass es sogar bei Live-Aufnahmen von einer herkömmlichen Webcam möglich ist.

Was ihre Software kann, demonstrieren die Forscher mit einem verblüffend einfachen Aufbau: Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau zu sehen. Das ist jedoch der einzige Unterschied, der zwischen der Szene im Raum und der Szene auf dem Bildschirm zu erkennen ist.

Aus einem Baumwoll- wird ein Samthemd

Und die Software kann nicht nur Farben wechseln. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich sogar andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln.

„Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren: „Stellen Sie sich vor, Sie denken über ein neues Sofa in einer anderen Farbe nach. Mit unserem Programm können Sie prüfen, ob die angedachte Farbe zu den Lichtverhältnissen im Wohnzimmer passt. Sie müssen dafür noch nicht mal aufstehen.“

gob

Weitere interessante Beiträge

Zur Redakteursansicht