augmented-reality-apps-browser

Augmented Reality App und AR Browser

AR Technologie kann in vielen Branchen und Geschäftsfeldern zum Einsatz kommen. Bedingt durch die Vielzahl unterschiedlicher Anwendungsszenarien und Rahmenbedingungen haben sich zwei typische Herangehensweisen für die AR-App Entwicklung etabliert. Zum einen können individuelle AR Apps mit voller Konfigurierbarkeit aller Feature als passgenaue Lösung für jede Herausforderung umgesetzt werden. Zum anderen gibt es aber auch bestehende AR Browser Apps, welche als eine Art Veröffentlichungsplattform verstanden werden können und meist standardisierte Features (zum Teil auch in Form eines Editing-Tools) bieten. Zwar erlauben AR-Browser-Apps dem Entwickler aufgrund von umfassender Automatisierung und klar definierter Feature-Vorlagen einen vergleichsweise einfachen Einstieg in die AR-Content-Entwicklung und Veröffentlichung, gleichzeitig sind aber die Möglichkeiten zur Nutzung komplexerer AR-Funktionen oft ausgeschlossen und der eigene Content kann innerhalb der AR-Browser lediglich eingeschränkt gebrandet und beworben werden. Individuelle AR-Apps hingegen können hinsichtlich ihrer Funktionen frei und sehr komplex realisiert werden, auf jede Herausforderung eingehen und als eigenständige App beworben und veröffentlicht werden. Nachfolgend werden beide Ansätze genauer erklärt.

Augmented Reality Apps

Was ist eine Augmented Reality App?

augmented-reality-ar-app

Augmented Reality Anwendungen bieten dem Benutzer ergänzende Informationen zu seinem Standort, zu Objekten (z. B. Produkten) in seinem direkten Umfeld oder ermöglichen es virtuelle Objekte in die Bildschirmwiedergabe des realen Umfelds einzublenden. Dabei können AR Apps in so gut wie allen Branchen und Bereichen zum Einsatz kommen und zur Unterhaltung, Schulung, Produktivitätssteigerung, Kommunikation, Absatzsteigerung u. v. m. beitragen. Die erweiterte Realität reicht bei der Form möglicher Darstellungsformate von einfachen Texteinblendungen, über eingebettete Video- und Audiodateien360°-Panorama und 360°-Turn-Around Darstellungen bis hin zu animierten 2D und 3D-Inhalten, kann lineare oder interaktive Mechanismen zur Benutzerführung / -interaktion bieten. Sie kann als einfache Client-Anwendung auf dem Endgerät des Nutzers oder komplexere Client-Server Anwendung auf vernetzten Systemen zum Einsatz kommen. Da die Eigenschaften einer AR-Lösung stark vom jeweiligen Verwendungszweck abhängen, sind AR-Apps in der Regel maßgeschneiderte Individualanfertigungen, welche ihrerseits auf Augmented Reality SDKs (Software-Development-Kits, s.u.) und anderen Basistechnologien aufbauen (z.B. Apple ARKit, Google ARCore, vuforia, u.v.m.).

Welche AR Apps gibt es?

Augmented Reality Apps gibt es für verschiedenste Anwendungsgebiete in fast allen Branchen und Geschäftsbereichen. Durch die Vielzahl der bereits existierenden Apps und der Tatsache, dass diese für unterschiedlichste Plattformen (Smartphone, Tablet, PC, Headsets etc.) und diverse Betriebssysteme (iOS, Android, Windows, etc.) veröffentlicht werden, ist es kaum möglich eine ganzheitliche Übersicht zu allen AR-Apps zu geben. Nachfolgen haben wir einige der bekanntesten Beispiele aufgelistet. Darüber hinaus stehen weitere Details und Informationen in der Rubrik “Was ist Augmented Reality?” zur Verfügung (hier wird auch der Unterschied zwischen Augmented Reality, Mixed Reality und Virtual Reality erklärt).

  • LEGO Digital Box
    Anwendung auf Kiosk-System am Point of Sale (Lego-Stores) zur Produktkommunikation und Verkaufsunterstützung
  • IKEA App
    als Smartphone App; Zusatz zum IKEA Katalog (AR-Print / Interactive-Print) zur Produktvorschau
  • Pokémon GO
    als Smartphone App; Prominentester Vertreter im Bereich AR-Games

Hinweis: Bei den genannten drei Beispielen handelt es sich um AR-Apps die nicht von uns, sondern von anderen Firmen entwickelt wurden.

Wie funktioniert eine Augmented Reality App?

Damit eine App die wahrgenommene Realität visuell und in Bezug auf den jeweiligen Kontext erweitern kann, muss die App die Situation bzw. das Umfeld in der sie zum Einsatz kommt “verstehen”. Hierfür kommen verschiedene Technologien zum Einsatz, welche in der Regel Bestandteil gängiger AR-SDKs sind. Aktuell unterstützen die meisten Basistechnologien 2D Bildmarker-Erkennung. Komplexere SDKs bieten darüber hinaus auch 3D Objekt-Erkennung, SLAM oder Visual Inertial Odometry (VIO) Verfahren und erlauben zum Teil eine GEO-Positionierung via GPS. Die meisten dieser Ansätze werten das Kamerabild des Endgeräts aus und ergänzen dieses um audio-visuelle Inhalte (z.B. eingeblendete Texte, Bilder, Videos bis hin zu 2D oder 3D Animationen etc.). Die erweiterte Realität wird dann auf dem Bildschirm angezeigt. Da der gesamte Prozess “in Echtzeit” geschieht, erscheint es dem Nutzer so, als ob die virtuellen Zusätze direkt in seinem Kamerabild auftauchen und somit (wenn auch nur auf dem Bildschirm) Bestandteil seiner Realität sind.

Details zu den verschiedenen Tracking-Ansätzen im Überblick:

2D Bildmarker / Trackingmarker

Der Ausdruck Bildmarker oder auch Trackingmarker bezeichnet in der Regel ein Bild, welches in einer AR-App oder dem dahinter liegenden Cloud-Service zum Abgleich hinterlegt, also dem System “bekannt” ist. Der Abgleich läuft in der Regel über die Auswertung von hell-dunkel Werten im Bild und liefert sogenannte “Image-Features” in Form von Kontrastpunkten. Im Ablauf einer Anwendung wird das aktive Kamerabild ausgewertet und alles was im Videobild zu sehen ist, auf die hinterlegten Bildmarker (und deren Kontrastpunkt-Muster) hin geprüft und abgeglichen. Ergibt diese Bildanalyse eine positive Übereinstimmung können zum einen hinterlegte Zusatzinformationen dem identifizierten Bildmarker zugeordnet, zum anderen die Ausrichtung des Bildmarkers in der Kameraperspektive analysiert und Inhalte entsprechend überlagert angezeigt werden. Ein Bildmarker ist also mehr als ein QR-Code und verweist nicht nur auf zusätzliche Datenbestände sondern hilft bei der Initialisierung eines 3D Koordinatensystems zur Darstellung von visuellen Bildüberlagerungen in der Perspektive der Kamera.

3D Objekt Erkennung

Mit der 3D Objekt Erkennung können 2D Bildmarker nicht nur ersetzt, sondern zudem auch komplexere Anwendungsfälle umgesetzt werden. Statt einer 2D Bildreferenz hinterlegt man im System eine 3D Volumenreferenz in Form einer Punktwolke (Point Cloud). Das reale Objekt wird wieder von einer Kamera gefilmt – das Videobild analysiert und mit der 3D Referenz abgeglichen. Stark vereinfacht gesagt, versucht die Bildanalyse dem Videobild Kontrastpunkte und -kanten abzugewinnen und diese als Vergleichsgrundlage im Abgleich mit dem hinterlegten 3D Datenbestand zu nutzen. Wird über diese komplexe Analyse ein “bekanntes” Objekt im Bild der Kamera identifiziert, so können auch hier wieder verknüpfte Zusatzinformationen (Text, Video, 2D und 3D Grafiken etc.) mit ins Kamerabild eingefügt und in korrekter, perspektivischer Ausrichtung überlagert werden. Großer Vorteil gegenüber der 2D Bildmarker basierten Variante ist, dass das reale Objekt von “allen” Seiten angesehen und stabil augmentiert werden kann.

SLAM (Simultaneous Localization And Mapping)

Als SLAM bezeichnet man einen Zusammenschluss von unterschiedlichen Softwarelösungen, welche das übergeordnete Ziel haben, dem Endgerät (im AR-Anwendu