augmented-reality-apps-browser

Augmented Reality App und AR Browser

AR Technologie kann in vielen Branchen und Geschäftsfeldern zum Einsatz kommen. Bedingt durch die Vielzahl unterschiedlicher Anwendungsszenarien und Rahmenbedingungen haben sich zwei typische Herangehensweisen für die AR-App Entwicklung etabliert. Zum einen können individuelle AR Apps mit voller Konfigurierbarkeit aller Feature als passgenaue Lösung für jede Herausforderung umgesetzt werden. Zum anderen gibt es aber auch bestehende AR Browser Apps, welche als eine Art Veröffentlichungsplattform verstanden werden können und meist standardisierte Features (zum Teil auch in Form eines Editing-Tools) bieten. Zwar erlauben AR-Browser-Apps dem Entwickler aufgrund von umfassender Automatisierung und klar definierter Feature-Vorlagen einen vergleichsweise einfachen Einstieg in die AR-Content-Entwicklung und Veröffentlichung, gleichzeitig sind aber die Möglichkeiten zur Nutzung komplexerer AR-Funktionen oft ausgeschlossen und der eigene Content kann innerhalb der AR-Browser lediglich eingeschränkt gebrandet und beworben werden. Individuelle AR-Apps hingegen können hinsichtlich ihrer Funktionen frei und sehr komplex realisiert werden, auf jede Herausforderung eingehen und als eigenständige App beworben und veröffentlicht werden. Nachfolgend werden beide Ansätze genauer erklärt.

Augmented Reality Apps

Was ist eine Augmented Reality App?

augmented-reality-ar-app

Augmented Reality Anwendungen bieten dem Benutzer ergänzende Informationen zu seinem Standort, zu Objekten (z. B. Produkten) in seinem direkten Umfeld oder ermöglichen es virtuelle Objekte in die Bildschirmwiedergabe des realen Umfelds einzublenden. Dabei können AR Apps in so gut wie allen Branchen und Bereichen zum Einsatz kommen und zur Unterhaltung, Schulung, Produktivitätssteigerung, Kommunikation, Absatzsteigerung u. v. m. beitragen. Die erweiterte Realität reicht bei der Form möglicher Darstellungsformate von einfachen Texteinblendungen, über eingebettete Video- und Audiodateien360°-Panorama und 360°-Turn-Around Darstellungen bis hin zu animierten 2D und 3D-Inhalten, kann lineare oder interaktive Mechanismen zur Benutzerführung / -interaktion bieten. Sie kann als einfache Client-Anwendung auf dem Endgerät des Nutzers oder komplexere Client-Server Anwendung auf vernetzten Systemen zum Einsatz kommen. Da die Eigenschaften einer AR-Lösung stark vom jeweiligen Verwendungszweck abhängen, sind AR-Apps in der Regel maßgeschneiderte Individualanfertigungen, welche ihrerseits auf Augmented Reality SDKs (Software-Development-Kits, s.u.) und anderen Basistechnologien aufbauen (z.B. Apple ARKit, Google ARCore, vuforia, u.v.m.).

Welche AR Apps gibt es?

Augmented Reality Apps gibt es für verschiedenste Anwendungsgebiete in fast allen Branchen und Geschäftsbereichen. Durch die Vielzahl der bereits existierenden Apps und der Tatsache, dass diese für unterschiedlichste Plattformen (Smartphone, Tablet, PC, Headsets etc.) und diverse Betriebssysteme (iOS, Android, Windows, etc.) veröffentlicht werden, ist es kaum möglich eine ganzheitliche Übersicht zu allen AR-Apps zu geben. Nachfolgen haben wir einige der bekanntesten Beispiele aufgelistet. Darüber hinaus stehen weitere Details und Informationen in der Rubrik “Was ist Augmented Reality?” zur Verfügung (hier wird auch der Unterschied zwischen Augmented Reality, Mixed Reality und Virtual Reality erklärt).

  • LEGO Digital Box
    Anwendung auf Kiosk-System am Point of Sale (Lego-Stores) zur Produktkommunikation und Verkaufsunterstützung
  • IKEA App
    als Smartphone App; Zusatz zum IKEA Katalog (AR-Print / Interactive-Print) zur Produktvorschau
  • Pokémon GO
    als Smartphone App; Prominentester Vertreter im Bereich AR-Games

Hinweis: Bei den genannten drei Beispielen handelt es sich um AR-Apps die nicht von uns, sondern von anderen Firmen entwickelt wurden.

Wie funktioniert eine Augmented Reality App?

Damit eine App die wahrgenommene Realität visuell und in Bezug auf den jeweiligen Kontext erweitern kann, muss die App die Situation bzw. das Umfeld in der sie zum Einsatz kommt “verstehen”. Hierfür kommen verschiedene Technologien zum Einsatz, welche in der Regel Bestandteil gängiger AR-SDKs sind. Aktuell unterstützen die meisten Basistechnologien 2D Bildmarker-Erkennung. Komplexere SDKs bieten darüber hinaus auch 3D Objekt-Erkennung, SLAM oder Visual Inertial Odometry (VIO) Verfahren und erlauben zum Teil eine GEO-Positionierung via GPS. Die meisten dieser Ansätze werten das Kamerabild des Endgeräts aus und ergänzen dieses um audio-visuelle Inhalte (z.B. eingeblendete Texte, Bilder, Videos bis hin zu 2D oder 3D Animationen etc.). Die erweiterte Realität wird dann auf dem Bildschirm angezeigt. Da der gesamte Prozess “in Echtzeit” geschieht, erscheint es dem Nutzer so, als ob die virtuellen Zusätze direkt in seinem Kamerabild auftauchen und somit (wenn auch nur auf dem Bildschirm) Bestandteil seiner Realität sind.

Details zu den verschiedenen Tracking-Ansätzen im Überblick:

2D Bildmarker / Trackingmarker

Der Ausdruck Bildmarker oder auch Trackingmarker bezeichnet in der Regel ein Bild, welches in einer AR-App oder dem dahinter liegenden Cloud-Service zum Abgleich hinterlegt, also dem System “bekannt” ist. Der Abgleich läuft in der Regel über die Auswertung von hell-dunkel Werten im Bild und liefert sogenannte “Image-Features” in Form von Kontrastpunkten. Im Ablauf einer Anwendung wird das aktive Kamerabild ausgewertet und alles was im Videobild zu sehen ist, auf die hinterlegten Bildmarker (und deren Kontrastpunkt-Muster) hin geprüft und abgeglichen. Ergibt diese Bildanalyse eine positive Übereinstimmung können zum einen hinterlegte Zusatzinformationen dem identifizierten Bildmarker zugeordnet, zum anderen die Ausrichtung des Bildmarkers in der Kameraperspektive analysiert und Inhalte entsprechend überlagert angezeigt werden. Ein Bildmarker ist also mehr als ein QR-Code und verweist nicht nur auf zusätzliche Datenbestände sondern hilft bei der Initialisierung eines 3D Koordinatensystems zur Darstellung von visuellen Bildüberlagerungen in der Perspektive der Kamera.

3D Objekt Erkennung

Mit der 3D Objekt Erkennung können 2D Bildmarker nicht nur ersetzt, sondern zudem auch komplexere Anwendungsfälle umgesetzt werden. Statt einer 2D Bildreferenz hinterlegt man im System eine 3D Volumenreferenz in Form einer Punktwolke (Point Cloud). Das reale Objekt wird wieder von einer Kamera gefilmt – das Videobild analysiert und mit der 3D Referenz abgeglichen. Stark vereinfacht gesagt, versucht die Bildanalyse dem Videobild Kontrastpunkte und -kanten abzugewinnen und diese als Vergleichsgrundlage im Abgleich mit dem hinterlegten 3D Datenbestand zu nutzen. Wird über diese komplexe Analyse ein “bekanntes” Objekt im Bild der Kamera identifiziert, so können auch hier wieder verknüpfte Zusatzinformationen (Text, Video, 2D und 3D Grafiken etc.) mit ins Kamerabild eingefügt und in korrekter, perspektivischer Ausrichtung überlagert werden. Großer Vorteil gegenüber der 2D Bildmarker basierten Variante ist, dass das reale Objekt von “allen” Seiten angesehen und stabil augmentiert werden kann.

SLAM (Simultaneous Localization And Mapping)

Als SLAM bezeichnet man einen Zusammenschluss von unterschiedlichen Softwarelösungen, welche das übergeordnete Ziel haben, dem Endgerät (im AR-Anwendungsfall meist ein Smartphone oder ein ähnliches Multi-Sensor-Gerät) die Erfassung der Umgebung und Orientierung im zunächst “unbekannten” Raum zu ermöglichen. Die Technologie wurde zunächst im Kontext von autonomen Robotern genutzt, ist aber auch für Augmented Reality und Mixed Reality Szenarien von großer Bedeutung. AR und MR Anwendungen entfalten immer dann ihr Potential, wenn das Endgerät und die App möglichst viel über das reale Umfeld und somit den Kontext wissen. Mit SLAM haben AR und MR Lösungen die Möglichkeit sich in unbekannten Umgebungen zurecht zu finden und somit räumliche Informationen im Kontext der Szene zu sammeln, ein Vorteil der ganz neue Anwendungsfälle unabhängig von vorher hinterlegten Referenzmarkern ermöglicht.

Visual Inertial Odometry (VIO)

Als “Visual Inertial Odometry” bezeichnet man ein Verfahren bei dem Daten von einer Kamera (Bilder) und Daten der Position und Beschleunigung (Gyroskop und Beschleunigungssensor) dazu genutzt werden um die Position, Ausrichtung und Bewegung eines Geräts im Raum feststellen zu können. Die weitere Verwendung der Daten führt zu einem ähnlichen Resultat wie das oben erwähnte SLAM Verfahren, bietet aber zudem einen sehr präzisen Abgleich von Längen, Größen und Distanzen, wodurch virtuelle Objekte auch ohne genormten Bild-Marker in realistischen Größendimensionen angezeigt werden können.

GEO-Positionierung / Location Based Service (LBS)

Als “Location Based Service”, also standortbezogener Dienst, zeigen AR Apps relevante Informationen für den aktuellen Standort des Benutzers an. Dazu wird über GPS die Position des Benutzers ermittelt und vorbereitete / hinterlegte Inhalte in einem definierten Umkreis seiner Position geladen. Neben Details zu nahegelegenen Gebäuden, Shops und Sehenswürdigkeiten, können auch virtuelle Objekte als animiertes 3D Modell angezeigt oder interaktive Elemente implementiert werden. Ein bekanntes Beispiel für die intensive Nutzung dieses Verfahrens ist Pokémon Go, bei dem der Nutzer mit seiner Geräteposition auf eine Landkarte verortet und diese um virtuelle Elemente (Pokémons, Arenen etc.) angereichert wird. Dabei wird die Position des Nutzers und die einer virtuellen Ergänzung ausgewertet und verarbeitet. Es entsteht die Illusion von einem Pokémon in der eigenen Nachbarschaft.

Was ist ein Augmented Reality SDK?

AR SDKs bieten dem AR App Entwickler Basistechnologien und Tools zur Erstellung von AR Lösungen. Sie enthalten wichtige Grundfunktionen, wie die Bild- oder Objekterkennung, SLAM Technologien, verschiedenste Softwarealgorithmen und zum Teil eine Renderengine zur Darstellung und Wiedergabe der Inhalte. Zu den bekanntesten SDKs gehören das ARKit (Apple – nach Akquise der Firma metaio durch Apple), ARCore (Google), vuforia (PTC. Ehemals QCAR von Qualcomm), Wikitude, MaxST, Kudan und ARToolKit wobei sich die Softwarepakete in Qualität und Art der AR Technologie Bausteine unterscheiden.

ARKitARCoreWikitudevuforiaKudan
BetriebssystemiOSAndroidiOS / AndroidiOS / Android / Windows UWPiOS / Android
Maximale Distanz zum Marker (Erkennung / Tracking)--0.8m / 3m1.2m / 3.7m0.8m / 3m
Erkennungsqualität statischer Marker8/102/1010/1010/109/10
Erkennungsqualität beweglicher Marker6/102/108/106/106/10
2D ErkennungJaJaJaJaJa
3D ErkennungNeinNeinJaJa (kleine Objekte)Ja
Geo-PositionierungNeinNeinJaNeinNein
Cloud-Lösung zum erkennen von MarkernNeinNeinJaJaNein
SLAMJaJaJaNeinJa

Welche Inhalte können in AR und MR Apps genutzt werden?

AR und MR Anwendungen machen oftmals Gebrauch von Text, Video (als Clip oder Live-Stream), 2D und 3D Grafiken (mit und ohne Animationen), 360° Panorama und Turn-Around-Aufzeichnungen und Audiodateien. Grundsätzlich sind alle Datenformate möglich, die von Smartdevices bekannt sind, die in AR Apps fest hinterlegt oder über Online- und Clouddienste bereitgestellt werden können. Zudem können dynamische Inhalte aus Datenbanken und anderen Quellen (Wetterdienste, Sportergebnisse, soziale Netzwerke, etc.) in die Anwendung eingebunden werden.

Vorteile einer AR App

  • Entwicklung individueller, innovativer Lösungen
  • Optimale Ausrichtung der Feature für die Zielsetzung im eigenen Unternehmen
  • Uneingeschränkte Möglichkeit zum Branding der eigenen App
  • Freie Technologiewahl und Technologiekonfiguration
  • Keine Abhängigkeit zu AR Browser (Servererreichbarkeit etc.)

Augmented Reality Browser und CMS

Was ist ein AR Browser?

augmented-reality-ar-browser

Neben der Möglichkeit zur Entwicklung individueller AR Apps, können AR Inhalte auch über bestehende Plattformen von Drittanbietern veröffentlicht und z.T. redaktionell bearbeitet werden. Bestehende Anwendungen (z.B. BlippAR, Wikitude oder Aurasma) beschreiben sich selbst als AR-Plattformen und werden in Anlehnung an ihre Funktionalität AR Browser genannt. Sie verfügen neben standardisierten AR Feature oftmals über Entwickler-Werkzeuge zur einfachen Erstellung und Verwaltung von Inhalten (Content Management Systeme – CMS). Ein AR Browser ist eine Anwendung für Smartphones (z.B. iPhone) und Tablets (z.B. iPad) oder andere AR / MR Endgeräte (siehe Augmented Reality Hardware), die zusätzliche Informationen im Kamerabild des Benutzers auf Basis von 2D Bildmarkern, 3D Objektmarkern, SLAM Methoden oder GPS Ortung anzeigt. Meistens werden beide großen mobilen Betriebssysteme iOS (Apple iPhone/iPad) und Android (Samsung, HTC, LG, Motorola und weitere) unterstützt.

Welche AR Browser gibt es?

Seit 2008 sind verschiedene AR Browser, für Endkunden / Benutzer zumeist kostenlos, auf dem Markt erschienen. Hier eine Auflistung einiger bekannter Vertreter

  • Wikitude (10/2008)
  • Layar (06/2009) und BlippAR (10/2011) – beide Teil der BlippAR-Group
  • junaio (09/2009) – welcher nach der Übernahme von metaio durch Apple eingestellt wurde
  • Aurasma (05/2011)
  • uvm.

Wie funktioniert ein AR Browser?

AR Browser verstehen sich als Plattform zur einfachen und verhältnismäßig günstigen Veröffentlichung von AR-Inhalten. Dabei werden meist einfache AR Funktionen wie Überlagerung von Texten, 2D Bildern, Videos und auch einfacher 3D Modelle als modulare Feature für Kunden bereitgestellt. Entwickler, aber auch Laien, können über bereitgestellte Werkzeuge Inhalte erstellen und mit 2D Bildmarkern oder GPS Koordinaten verknüpfen. Beides – die Inhalte und auch die Bildmarker – müssen online verfügbar gemacht werden. So können bei wikitude “worlds”, bei Layar “layers”, und bei aurasma “auras” erstellt und veröffentlicht werden, wobei jeder Kunde seinen eigenen “Kanal” (ähnlich einer URL im Webbrowser) erhält und diesen als Zugang zu seiner AR-Experience kommunizieren und vermarkten kann / muss.

Neben der installierten AR-Browser-App muss ein Endnutzer den Zugang zum “Kanal” des AR-Content-Anbieters finden (sozusagen auf dessen AR-Kanal gelangen). Um das Auffinden eines Kanals so einfach wie möglich zu machen, gibt es verschiedene Funktionen wie “Suche”, “Favoriten” und teilweise Visual Search (Bild fotografieren, Ergebnis auswählen). Wird eine world/layar/aura gestartet, laden die AR-Inhalte des jeweiligen Kanal-Anbieters und der Benutzer kann diese anschließend entdecken.

Eigenschaften eines AR Browser

  • kostengünstige Entwicklung, Veröffentlichung und Pflege von AR-Inhalten
  • bestehende Verbreitung bekannter AR Browser sowie deren Reputation bei Endanwendern
  • Promotion durch etablierte Kanäle
  • Erstellung und Pflege der AR-Inhalte durch “Laien” nach Schulung u. U. möglich