AR QuickLook im Produktmarketing

Selbst Apps wie iMessage, Mail, Notizen, Nachrichten, Safari und Dateien unterstützen mittlerweile AR-Features.

Das haben wir AR QuickLook zu verdanken. Aktuell der einfachste Weg, komplexere AR in Anwendungen für Mobilgeräte umzusetzen. Was mit der Technologie im Produktmarketing alles möglich ist und warum es sich lohnt, sich damit zu beschäftigen, soll dieser Artikel zeigen.

Was ist AR QuickLook?

Apple AR Quick Look ist eine Technologie, die es iOS-Benutzern ermöglicht, Augmented Reality (AR)-Inhalte direkt in Apps oder auf Websites anzuzeigen und mit ihnen zu interagieren, ohne dass eine separate AR-Anwendung erforderlich ist. Sie ermöglicht ein nahtloses AR-Erlebnis, indem sie die Leistungsfähigkeit von ARKit nutzt, um 3D-Modelle, Animationen und andere AR-Inhalte in realen Umgebungen anzuzeigen.

QuickLook selbst gibt es schon lange auf MacOS-Geräten. Wählt man im Finder ein Bild aus und drückt die Leertaste, öffnet sich eine schnelle Vorschau, ohne dass die Datei tatsächlich „geöffnet“ werden muss.

Das Neue dabei? QuickLook unterstützt mit dem neuen AR-Feature jetzt auch 3D-Formate wie .usdz und .reality.

AR QuickLook erlaubt es einem, 3D Modelle virtuell in den Raum zu projizieren. Das Modell unter Berücksichtigung von Perspektive und Skalierung so platziert, dass es im Raum realistisch aussieht. Auch die Beleuchtung wird an die Umgebung angepasst. Andernfalls würden die digitalen Inhalte alle Fehl am Platz und “aufgesetzt” aussehen.

Möchte man etwa ein neues Sofa kaufen, kann man es mit QuickLook, das ja auf realitätsgetreue Skalierung achtet, einfach probehalber im Wohnzimmer platzieren und schauen, ob es in Ambiente passt.

Das Beste daran ist, AR QuickLook einzurichten ist unglaublich einfach. Es reicht, den Pfad zur entsprechenden USDZ-Datei anzugeben. Den Rest übernimmt Apples Software.

Features von AR QuickLook

Klar, AR QuickLook ist eine absolute Blackbox. Das heißt, man kann ausschließlich in dem von Apple gesteckten Rahmen arbeiten. QuickLook bietet allerdings deutlich mehr Features, als man denkt.

Das ist alles möglich:

• Anker: Anker machen es möglich, virtuelle Inhalte an reale Flächen zu “kleben”. Seit iOS 13 ist “Ankern” an horizontalen Flächen (sprich: Boden, Decke, Tische, Stühle, usw.), vertikalen Flächen (bspw. Wände), Bildern (also z.B. Poster und Fotos), sowie Gesichtern möglich.
• Occlusion: Occlusion sorgt dafür, dass virtuelle Inhalte von physischen Objekten überlappt werden können, je nachdem wo sich der Inhalt relativ zum realen “Raum” befindet. Das ist allerdings nur auf bestimmten Geräten möglich.
• Kraft und Kollisionen: Virtuelle Inhalte reagieren (wenn gewollt) auf physikalische Gesetze, d.h. Gravitation, Kollisionen untereinander, Abprallen / Springen.
• Trigger und Verhalten: Nutzer können direkt in die AR Experience eingreifen und Ereignisse, Animationen, Sounds auslösen und Objekte beeinflussen.
• Realtime Schatten: Virtuelle Objekte werfen in Echtzeit realistische Schatten auf die physischen Objekte in der realen Umgebung. Je leistungsstärker das Gerät, desto realistischer. Bei neueren Geräten wird dafür sogar Raytracing verwendet.
• Hohe Dynamic Range und Farbkorrekturen: AR QuickLook passt die Beleuchtung und Farbgebung der virtuellen Objekte laufend an die Umgebung und die jeweiligen Gegebenheiten an. So bettet sich das Virtuelle bestmöglich in die reale Welt ein.
• Realtime Effekte: Um eine noch realitätsgetreuere Darstellung zu erreichen, legt AR QuickLook auch noch Post-Processing auf die virtuellen Inhalte. Durch Motion-Blur verschwimmen schnelle Bewegungen, simulierte Brennweite sorgt dafür, dass weit entfernte Objekte nicht fokussiert sind und leichte Körnung (Grain) passt die sonst zu perfekten Renderings an den leichten Qualitätsverlust des Kamerafeeds an.
• Physik basiertes Rendering von Clear-Coat Materials: Clear-Coat Materials erlauben unglaublich realitätsnahe Materials, mit denen virtuelle Objekte den Echten täuschend ähnlich sehen können.
• Spatial Audio: Eingebettete Sounds werden nicht nur einfach abgespielt, sondern reagieren auf Bewegung und Position im Raum bzw. relativ zur Kamera. Befindet sich ein virtuelles Objekt, das einen Sound abgibt, links vom Betrachter, kommt auch der Ton von links. Bewegt sich das Objekt nach rechts, bewegt sich der Ton mit. Für maximale Immersion.
• Integration und Customizing: AR QuickLook lässt sich ganz leicht in Web, iOS, macOS und tvOS Anwendungen einbinden.
  Apple Pay: Die hauseigene Bezahlfunktion von Apple ist nativ in AR QuickLook eingebunden. Der Nutzer muss die AR Experience also nicht ein mal verlassen, um ein dort vorgestelltes Produkt direkt kaufen zu können. Ideal für Marketing und Vertrieb.

AR QuickLook kann einiges, und zwar unglaublich gut - Flexibilität, Erreichbarkeit und hohe Abbildungsqualität gleichzeitig. An einigen Stellen muss man sich aber trotzdem noch in Acht nehmen.

Einschränkungen von AR QuickLook

Die vielen Features, die AR QuickLook bietet, sind großartig, allerdings nicht auf allen Geräten. Für viele ältere oder weniger leistungsstarke Geräte wird das Featureset deutlich reduziert. Die volle Erfahrung mit allem, was dazu gehört, gibt es leider nur auf den allerneusten Apple-Geräten.

Wahrscheinlich offensichtlich, sollte aber trotzdem gesagt sein: AR QuickLook gibt es nur für das Apple Universum. Geräte auf denen kein Apple Betriebssystem läuft, Android oder Windows beispielsweise, haben von der Technologie nichts. Ganz Apple eben.

Außerdem gibt es keinerlei Code bzw. Skript Pipeline für Entwickler, mit der man AR Quick Look an das jeweilige Projekt anpassen und inhaltlich besser einbetten könnte. Webhooks, offene Events (zum Beispiel bezüglich des Status der Anwendung) oder dergleichen gibt es nicht. Wenn man eine intelligentere AR Anwendung benötigt und unbedingt Apple-Nativ arbeiten möchte, kommt man um die Entwicklung einer App nicht herum. Das entspricht nicht gerade dem Kerngedanken von WebAR.

QuickLook erleben

Ausprobieren ist ganz einfach! Auf dieser Seite hat Apple eine ganze Reihe spannender Beispiele, die die verschiedensten Features von AR Quick Look demonstrieren. Ein Klick auf eines der Vorschaubilder mit dem kleinen Icon oben rechts in der Ecke öffnet die AR Anwendung (nur am iPhone unter iOS 12 oder neuer).

AR Modus

Hat man am iPhone auf einen solchen Link geklickt, der auf eine .usdz oder .reality Datei verweist, startet AR QuickLook im AR Modus. So landet der Nutzer schnellstmöglich in der AR Anwendung, die man ihm präsentieren möchte.

QuickLook sucht jetzt eine geeignete Fläche zum Positionieren der digitalen Inhalte. Verschiedene Animationen geben dem Nutzer intuitive Anweisungen, um das zu beschleunigen. Ist eine solche Fläche gefunden, wird das Objekt automatisch platziert und gleich korrekt beleuchtet.

Jetzt sind ein paar Dinge möglich:

• Positionieren: Durch einfaches Tippen, Halten und Ziehen lassen sich Objekte ganz einfach und intuitiv im Raum positionieren. Übrigens: AR QuickLook kann auch mit vertikalen Flächen umgehen.
• Skalieren: Mit einer “pinch” Geste, wie z.B. auch beim Zoomen von Fotos, kann man die Objekte skalieren. Ein Doppeltipp auf das Modell setzt die Größe zurück auf 100 %.
• Drehen: Drehen geht ganz einfach und intuitiv, in dem man mit zwei Fingern eine Kreisbewegung auf dem Bildschirm macht. Ein Doppeltipp setzt die Drehung zurück.
• Schweben lassen: Zieht man ein Objekt mit zwei Fingern hoch, schwebt es über der getrackten Fläche.
• Fotos und Videos: Mit dem Auslöser-Knopf am Rand lassen sich per einfachem Tipp Schnappschüsse der Mixed-Reality Szene machen. Hält man gedrückt, wird, bis man loslässt, ein Video aufgenommen.
• Teilen: Der Teilen-Button erlaubt es einem, die Experience ganz einfach zu teilen. AirDrop an einen Freund in der Nähe funktioniert etwa super.

Klickt man auf das X, schließt sich die Anwendung und man landet wieder bei dem Button, mit dem man Experience geöffnet hat.

Objekt Modus

Im Objekt Modus kann das 3D Modell separat, ganz ohne Ablenkungen betrachtet werden. Trotzdem funktionieren auch hier Features wie Spatial Audio.

Zusammenfassendes Fazit

Also noch mal zusammengefasst:

• AR ist mittlerweile fester Bestandteil des Apple Ökosystems mit Integrationen für iOS, macOS und tvOS.
• AR Quick Look verfügt über eine Vielzahl von Funktionen und bietet ein erstklassiges Augmented Reality Erlebnis, das sofort einsatzbereit ist. Die Benutzer wissen instinktiv, was zu tun ist.
• AR QuickLook nutzt .udsz und .reality Dateien.
• Die AR Inhalte sind im Web nutzbar. Das einfache Einbinden der Dateien als Link reicht, iOS ist intelligent genug, die Dateien zu erkennen und die Experience zu starten.