Virtual Reality - das Kompendium

Engine / Game-Engine

Engines treiben, wie der Name vielleicht schon vermuten lässt, Virtual Reality Experiences an. Sie sorgen für die nötige Grundlage, sodass sich die Entwickler nicht um alles von Grund auf kümmern müssen. Engines, wie z.B. Unity oder Unreal, übernehmen beispielsweise die Berechnungen für physikalisch korrekte Interaktionen zwischen Objekten und das Rendering inklusive realistischer Belichtung usw.

Außerdem bieten Engines Benutzeroberflächen, die Programmierung einfacher und weniger anspruchsvoll machen und es einem erlauben, die Experience zwischendrin zu testen.

Augmented Reality

Anders als VR (virtuelle Realität) - eine vollständig digitale Welt - bedeutet AR (Augmented Reality) das Erweitern der realen Welt um digitale Inhalte. Mit AR-Anwendungen lassen sich 3D Modelle und User-Interfaces virtuell in die reale Welt projizieren. Die digitalen Objekte werden an die Kameraposition und -einstellung, die Perspektive und die Lichtverhältnisse angepasst, sodass sie sich möglichst nahtlos und realistisch einfügen lassen.

Die Schwierigkeit dabei ist, dass alle Berechnungen in Echtzeit und meist auf weniger prozessorstarken Mobilgeräten laufen müssen.

Mehr Infos zum Thema AR findest du hier. Zahlreiche Anwendungsbeispiele hier in unserem AR Guide.

WebGL

WebGL ist eine bzw. **die** Programmierschnittstelle für 3D-Grafiken im Web. Sie erlaubt Entwicklern, die ansonsten recht limitierten Rechenkapazitäten, die Browsern zur Verfügung stehen, effizient auszureizen und zu erweitern. WebGL liefert eine technologische Grundlage, die Dinge wie WebAR und VR erst möglich, bezahlbar und profitabel macht.

FBX

FBX (Filmbox) ist ein Dateiformat der Firma Autodesk. Es wird zu vielen verschiedenen Zwecken genutzt und von im Grunde jeder 3D-Software unterstützt. Das Format soll eine Brücke zwischen verschiedenen Softwares schlagen und für Kompatibilität sorgen.

Die Einsatzbereiche sind so vielseitig, da FBX-Dateien sowohl 3D-Daten, Texturen, Animationen und Rigs speichern und weiterreichen können. FBX ist also ein echtes Allrounder-Format.

OBJ

OBJ ist ein offenes Dateiformat zum Speichern von 3D-Daten. Und auch nur davon. Anders als bei FBX, werden in .obj Dateien keine Informationen zu Position, Licht, Kamera, Animation, Textur usw. gespeichert - nur Geometrie. Dafür sind die Dateien meist schlank und eignen sich in vielen verschiedenen Situationen.

Textur

Texturen sind Bilder, die auf 3D-Objekte gelegt werden, um deren Oberfläche Details zu geben, ohne die tatsächliche Oberfläche verändern zu müssen. Die Texturen werden in verschiedenen Verhältnissen und mit verschiedenen Einstellungen zu Reflektivität, Lichtdurchlässigkeit, Farbtönung usw. verbunden. Das Gesamtprodukt nennt man dann Material. Es bestimmt das Aussehen der 3D-Objekte und macht optisch beispielsweise den Unterschied zwischen einem Plastikball und einer Stahlkugel aus.

(Quelle)

VR-Brille / Headset

Um Virtual Reality erleben zu können, muss der Mensch sich selbst austricksen. Wenn man zwei perspektivisch leicht verschiedene Bewegtbilder jeweils einem Auge zeigt, entsteht die Illusion von dreidimensionaler Sicht. In Verbindung mit Sensoren, die Kopfposition und -bewegungen feststellen, können wir eine immersive und glaubhafte Experience schaffen. Auf der einen Seite gibt es große Hersteller von Hightech VR-Brillen, beispielsweise Oculus / Meta, HTC, Pico und Valve, die mit viel kluger Hard- und Software für sehr komfortable und immersive, aber auch teure VR-Experiences sorgen. Auf der anderen Seite stehen verschiedene Projekte, die Smartphones als Prozessor und Bildschirm nutzen, um sehr günstige und trotzdem eindrucksvolle VR zu zeigen. Das wohl prominenteste, wenn auch alles andere als aktuelle Beispiel hierfür ist Google Cardboard.

Sensoren

Sensoren sind für VR Anwendungen extrem wichtig. Geräte wie VR-Headsets, aber auch Smartphones brauchen beispielsweise Informationen zu ihrer relativen Position und Rotation um alle drei Raumachsen. In Smartphones wird das unter anderem mit Gyroskopen gelöst, Systeme wie die HTC Vive verwenden hingegen im Raum befestigte sog. Base Stations. Diese fungieren als feste Orientierungspunkte für die Brille.

Außerdem braucht man auch spezielle Sensoren, wenn man mit der virtuellen Welt interagieren will. So haben viele highend Systeme zusätzlich Controller mit einer Vielzahl an Buttons, die die Nutzer in den Händen halten. Damit kann man virtuelle Gegenstände aufheben, Menüs navigieren und anderen Spielern zuwinken. Die HTC Vive hat dazu noch Sensoren an den Fußgelenken. Je mehr man mit Sensoren abdeckt, desto immersiver die Experience.

Motion-to-Photon Latency

Latenz ist die zeitliche Differenz zwischen Aktion und der entsprechenden Reaktion. In diesem Fall zwischen der Bewegung eines VR-Headset-Nutzers (beispielsweise mit der Hand) und dementsprechend Output auf den Displays des Headsets.

Im Idealfall liegt diese Latenz bei null - keine Verzögerung und maximale Immersion. Das ist allerdings absolut unrealistisch. Wir sprechen hier nun mal nicht von direkten mechanischen Verbindungen, sondern von einer langen Pipeline an Übertragungen, Prozessen und Berechnungen. Bei AR Anwendungen braucht es weniger als 5ms, für VR reichen auch um die 10ms.

Latenz

Latenz ist die zeitliche Differenz zwischen Aktion und der entsprechenden Reaktion.

FPS

FPS steht für Frames per Second, beschreibt also, aus wie vielen Bildern eine Sekunde Video besteht. Je mehr, desto flüssiger die Darstellung, zu wenig und es fängt an zu ruckeln. Manchmal, wenn es Gerät nicht leistungsfähig genug ist und mit den nötigen Berechnungen nicht hinterherkommt, muss einen Moment gewartet werden, bevor das nächste Bild dargestellt werden kann. Dann kommt es zu sog. Frame Drops, "fallengelassene" Bilder, die nicht rechtzeitig gezeichnet werden konnten.

Eye-Tracking

Der Begriff ist höchstwahrscheinlich recht selbsterklärend, die Technologie dafür umso spannender. Spezielle Infrarot-Sensoren tracken die Position der Augen des Nutzers, sodass man sich z.B. durch Menüs navigieren kann, einfach nur durch Gucken.

Die Firma Tobii entwickelt solche Lösungen, unter anderem auch für die HTC Vive Pro Eye.

Fullbody-Tracking

Systeme, die Fullbody-Tracking unterstützen, versuchen möglichst viele verschiedene und komplexe Bewegungen zu erkennen. Dafür setzt man auf Sensoren, die an möglichst vielen Stellen am Körper angebracht werden. Am üblichsten sind Hände und Fußgelenke. Die Bewegungen des Kopfes deckt das Headset selbst ab.

Haptisches Feedback

Ein gutes Beispiel für haptisches Feedback ist der Home-Button, den Apple mit dem iPhone 7 eingeführt hat. Mithilfe eines Vibrationsmotors gab man dem Nutzer beim Drücken auf ein Stück Glas das Gefühl eines physischen Buttons. Auch Controller von Konsolen wie
der PlayStation geben mit Vibrationsmotoren Feedback in bestimmten Spielsituationen - beispielsweise wenn man in GTA V gegen einen Baum fährt.

Dadurch werden User-Interfaces optimiert und rein digitale Strukturen anfassbar, angenehmer und, im Falle von VR und AR, immersiver gemacht.

Autarke VR-Brillen

Autarke VR-Brillen sind völlig eigenständig und unabhängig von einem externen Prozessor.
Viele VR-Brillen setzen auf dir Rechenpower eines externen PCs oder Laptops. So müssen die sehr anspruchsvollen Berechnungen nicht auf den Headsets selbst laufen, was ihnen erlaubt kleiner, komfortabler und billiger zu sein.

Das macht diese Geräte allerdings auch alles andere als mobil und daher für viele Szenarien ungeeignet. Oft braucht es autarke Headsets ohne herumhängende Kabel, mit denen man sich frei bewegen kann.

Abschluss

VR ist eine sehr spannende Technologie, die sich in den vergangenen Jahren in vielen Bereichen durchsetzen konnte. Dieses Kompendium bietet einen Überblick über die wichtigsten Begriffe und dient als Ausgangspunkt für alle, die sich mit der virtuellen Realität beschäftigen. Zudem wird dieses Lexikon vor zu erweitert und mit aktuellen Inhalten bereichert.