Was ist das eigentlich dieses Mixed Reality? Wie unterscheidet sich die kombinierte von der physischen Realität und wo kommt sie zum Einsatz?

Hier findest du eine einfache Definition und spannende Einsatzszenarien rund um das Thema Mixed Reality.

Vermutlich sind einigen von Euch die Begriffe virtuelle Realität (Virtual Reality) und erweiterte Realität (Augmented Reality) geläufiger als Mixed Reality, die gemischte Realität.

Einfach ausgedrückt: Mixed Reality schließt die beiden oben genannten Realitätsformen mit ein.

Bei Mixed Reality (MR) wird deine natürliche Wahrnehmung um eine künstlich erzeugte Wahrnehmung ergänzt. MR schafft so völlig neue Anwendungsmöglichkeiten, da Umgebungen für Nutzer*innen kreiert werden können, die es so zuvor noch nicht gab.

Die technische Plattform, die die Kombination der digitalen und physischen Welt ermöglicht, ist die Microsoft HoloLens2. Mit diesem holografischen Computer können hochauflösende 3D-Hologramme im Sichtfeld der Nutzer*innen eingeblendet werden. Was sich anhört wie die Technologie von morgen ist schon im Hier und Jetzt angekommen. Es gibt bereits zahlreiche Bereiche in denen ein Einsatz denkbar wäre.

Mixed Reality, wie kam man auf die Idee?
Mixed Reality bildet das gesamte Spektrum zwischen der physischen Welt, in der wir leben, bis hin zur vollständig virtuellen Realität, ab. Es ist also eine Kombination aus einer rein virtuellen Erweiterung der echten Welt und einer vollständig virtuell erzeugten Welt.

Man geht davon aus, dass der Begriff „virtuelle Realität“ erstmalig 1987 von Damien Broderick in dem Roman „The Judas Mandala“ verwendet wurde. Er hat sich seitdem in unseren Sprachgebrauch integriert. Bereits vor 30 Jahren gab es die ersten Entwürfe für entsprechende Technologien, die so futuristische Namen trugen wie „Sensorama“ von Morton Heilig. Die Bezeichnung Mixed Reality tauchte dann zum ersten Mal 1994 in dem Artikel „A Taxonomy of Mixed Reality Visual Displays“ von Paul Milgram und Fumio Kishino auf.

Bei Microsoft zum Beispiel fing die Mixed-Reality-Reise vor etwa 10 Jahren mit den Azure Kinect Sensoren in der Xbox an. Dadurch konnten Nutzer*innen ein Xbox-Spiel mit Gesten und Bewegungen steuern. Dieser Ansatz wurde weiterentwickelt und in die Microsoft HoloLens integriert, die mit der 1. Version 2016 auf den Markt kam.

Warum die HoloLens?
Mit der Microsoft HoloLens können wir Hologramme in der realen Welt platzieren. Die HoloLens ist ausgestattet mit unterschiedlichen Sensoren und Kameras, um zum Beispiel Augenbewegungen zu verfolgen, Gesten, Objekte und Sprache zu erkennen. Außerdem werden Räume dreidimensional erfasst, um die Position und Lage von Objekten in diesen Räumen ohne zusätzliche Sensoren oder Zubehör berechnen zu können. Das ist die Grundlage dafür, um in der HoloLens digitale 3D-Objekte zu erzeugen, welche dann an der gewünschten Stelle verbleiben. 

Aber was sind denn nun die Unterschiede zu den anderen Lösungen?

Von Augmented Reality (AR), also der erweiterten Realität, wird gesprochen, wenn die physische Realität um virtuelle Elemente ergänzt wird. Beispielsweise können, wie heute auch schon vielfach in der Praxis umgesetzt, auf dem Smartphone oder einem Computermonitor Zusatzinformationen eingeblendet werden, die sich in das abgefilmte Bild der echten Welt integrieren. Das können zum Beispiel Informationen über Inhaltsstoffe in Lebensmitteln sein, die sichtbar werden, wenn wir Smartphones über eine Lebensmittelverpackung halten.

Ihren technischen Ursprung hat die Augmented Reality in den HUDs (Head Up Displays), die in den 50er-Jahre für Kampfflugzeuge entwickelt wurden und dann auch Einzug in die zivile Luftfahrt nahmen. Heute sind HUDs auch in einigen Autos oder militärisch genutzten Helmvisieren integriert und mit AR-Funktionen ausgestattet.

AR funktioniert grundsätzlich auch ohne Brille, sondern ebenso mit jedem Smartphone oder Tablet. Pokemon Go ist ein Beispiel für ein Spiel mit AR-Elementen. Apple beschreitet mit dem im September 2017 präsentierten AR-Kit diesen Weg.

Allerdings bleibt bei derartigen Bildschirm-Lösungen immer das Problem der Handhabung, welches mit AR-Brillen nicht besteht. Denn hier hat man die Hände frei.

Allen AR-Brillen haben gemeinsam, dass sich das in die Brille gespiegelte Bild nicht in die Umgebung einfügt, sondern mit der Kopfbewegung mitbewegt. Sie sind damit nicht immersiv. Zudem nimmt das eingespiegelte Bild nur einen sehr kleinen Teil des Blickfelds ein.

Unter Virtual Reality (VR) wird verstanden das man sich in einer computergenerierten interaktiven Umgebung befindet. Um diese Umgebung sehen zu können, benötigt man eine entsprechende VR-Brille. Diese Brillen decken das Sichtfeld komplett ab und helfen bei der Immersion. Also dem illusorischen Effekt, sich in die virtuelle Welt so hineingezogen zu fühlen, dass die echte Welt dabei vollständig in den Hintergrund tritt. VR wird oft im Gaming-Bereich eingesetzt, damit Spieler*innen noch besser in virtuelle Welten abtauchen können.
Der wesentliche Unterschied von AR gegenüber VR ist, dass bei AR die reale Umgebung weiterhin für Nutzer*innen sichtbar bleibt.

So funktionieren Virtual-Reality-Brillen oder präziser Head-Mounted-Displays. Die reale Außenwelt wird komplett ersetzt, die Kopf- und teilweise auch Körperbewegungen des Trägers werden aber auf die Spielfigur oder die virtuelle Kamera übertragen. Das soll ein möglichst weites Eintauchen in die computergenerierte Szenerie ermöglichen. Das Problem bei VR-HMDs ist, dass es zwischen Tracking, also der Erfassung von Bewegungen sowie Position des Trägers und deren Umsetzung auf die virtuelle Szenerie möglichst wenig Zeitversatz geben darf und dass sie mit hoher Präzision erfolgen muss. Ist das nicht der Fall, dann wird vielen Trägern von VR-Brillen schlicht übel („Motion Sickness”). Den Effekt kann man nur durch sehr präzise Tracking-Systeme, schnelle Displays und leistungsfähige Rechner eliminieren. Ein schneller PC ist auch notwendig, da für jedes Auge ein geringfügig anderes Bild gerendert wird, um den gewünschten 3D-Effekt zu erzielen.

Vieles von dem, was wir heute an VR-Geräten kennen, wurde ab 1984 in der Firma VPL Research entwickelt, die vom VR-Pionier Jaron Lanier gegründet wurde. Die Firma brachte eine VR-Brille mit dem Namen EyePhone, den ersten kommerziellen Datenhandschuh und sogar einen VR-Anzug auf den Markt, der die Bewegung des kompletten Körpers erfassen konnte. Allerdings waren die Produkte extrem teuer und ihrer Zeit voraus. 1990 ging die Firma in Konkurs, die Überreste wurden von Sun übernommen. Die im Hollywood-Film „Der Rasenmähermann“ von 1992 eingesetzten VR-Requisiten folgen den Vorbildern von VPL Research. Zu dieser Zeit wurde auch versucht, die erste Welle von günstigen VR-Produkten für Konsolen- und Computerspieler auf den Markt zu bringen. Aber Headsets wie Sega VR, Nintendo Virtual Boy oder die für PCs bestimmten Forte VFX oder Philipx Scuba konnten sich wegen miserabler Auflösung, technischer Unzulänglichkeiten und zu hoher Preise nicht durchsetzen. Im professionellen Bereich wurden VR-Lösungen dagegen immer häufiger eingesetzt. Allerdings oft in speziellen VR-Räumen und gekoppelt an teure Workstations.