Das Handyspiel Pokémon Go hat der Augmented Reality (angereicherte Realität) eine gehörige Portion Rückenwind verliehen. Forscher des Max-Planck-Instituts für Informatik in Saarbrücken konnten nun diese neue Technologie qualitativ stark verbessern. Dabei wird nicht nur das digitalisierte „reale“ Bild um eine zusätzliche visuelle Information angereichert, sondern das Bild auch in Echtzeit fotorealistisch verändert. Auf diese Weise lässt sich zum Beispiel eine Oberfläche in einer anderen Farbe und/oder mit einer anderen Textur darstellen, so dass es scheint, als ob sie aus einem ganz anderen Material besteht, als dies in Wirklichkeit der Fall ist.
 
Das klingt einfacher, als es ist. Der Farbwert, den eine Kamera während der Aufnahme den einzelnen Bildpunkten verleiht, ist, vereinfach ausgedrückt, immer ein Zusammenspiel von Reflexion und Belichtung. Das Problem ist aber, dass die Komponenten nur indirekt im Bild vorhanden sind und deshalb nicht direkt und voneinander getrennt gemessen werden können.
 
Die Forscher haben dieses Hindernis auf eine recht clevere Weise überwunden. In einer sehr hohen Geschwindigkeit wird für jedes Pixel die Belichtung und das Maß der Reflexion abgeschätzt und nur einer dieser beiden Faktoren verändert. Dadurch bleibt der sehr realistische Eindruck erhalten.
 
Diese Abschätzung der einzelnen Pixel erfordert eine komplizierte mathematische Optimierungsmethode. Da die Software die neuen Werte parallel berechnet und die Veränderungen sehr schnell vorgenommen werden, lassen sich selbst Live-Aufnahmen einer gewöhnlichen Webcam fotorealistisch verändern.