Was ist Augmented Reality? Was ist Mixed Reality? Beispiel Microsoft Hololens

Bild zu Microsoft HoloLens, verwendet mit Erlaubnis von Microsoft

Augmented Reality oder Mixed Reality?

Definition

Augmented Reality, also “erweiterte Realität”, ist die computergestützte Erweiterung der Realitätswahrnehmung (Wikipedia) und somit ein Teilbereich von Mixed Reality (vgl. Abb. 1  “Realitäts-Virtualitäts-Kontinuum”).

Ein typisches Beispiel für eine Augmented Reality Anwendung ist das Einblenden von zusätzlichen Informationen bei einer Fußball-Übertragung. Hier werden Abseitslinien und die Torentfernung beim Freistoß digital für den Fernsehzuschauer ins Bild eingefügt. Die Augmentierung der Realitätseindrücke mit zusätzlichen Informationen geschieht in der Regel live (man spricht auch von “in Echtzeit“) und kann alle menschlichen Sinnesmodalitäten ansprechen. Dennoch wird der Begriff “erweiterte Realität” meist im Zusammenhang mit einer visuell erweiterten Darstellung genutzt und somit funktional auf Erweiterungen für die optische Sinnesmodalität des Menschen reduziert.

Im Alltag profitiert der Mensch auch auditiv von AR Funktionen. So sind Sprachansagen in öffentlichen Verkehrsmitteln meist automatisiert und von Computern gesteuert. Dabei ermittelt eine Software den aktuellen Standort der Tram und leitet davon die nächste Haltestelle ab. Als Ergebnis hört der Fahrgast eine Kombination einzelner Sprachschnipsel und weiß somit über den nächsten Halt und die Aussiegsrichtung bescheid.

 

Voraussetzungen

Nachfolgend werden typische Anforderungen an eine mobile AR Lösungung basierend auf Bildmarkern aufgelistet.

Anforderungen an die Hardware:

  • Sensoren zur Erfassung der Realumgebung und Orientierung im Raum (z.B. RGB Kamera, GPS, Gyroskop)
  • Schnittstellen zur Erfassung von Nutzereingaben (z.B. Touchscreen, Microfon)
  • Rechenleistung / Prozessor zur Verarbeitung, Berechnung der Daten
  • Schnittstellen zur Ausgabe von Daten und Informationen (z.B. Bildschirm, Kopfhörer, Vibration)

Anforderungen an die Software:
Technologie zur …

  • Auswertung der Kamerabilder (Bildanalye)
  • Auswertung anderer Sensordaten (GPS, Beschleunigungssensoren, Gyroskop)
  • Anbindung bestehender Datenquellen und Ressourcen (Datenbank Anbindungen u. A.)
  • Verwaltung von Benutzereingaben und Ablaufsteuerung (z.B. Game-Engine)
  • Kombination von Kamerabild und digitalen, visuellen Erweiterungen (Bildbearbeitung)

 

Geschichte

Die Anfänge von AR sind bis in die 1960er Jahre zurückzuverfolgen. Die mobile Augmented Reality dagegen ist recht jung, entwickelt sich aber rasant. Zwischen 2008 und 2010 wurden mit junaio, Layar und Wikitude erste AR-Browser-Apps veröffentlicht. Mit dem Erscheinen des iPhone® 3Gs (2009), dass über benötigte Sensoren und mehr Rechenleistung verfügte, wurde mobile Augmented Reality für den Massenmarkt interessant. Mit der Zeit etablierten sich Firmen wie metaio, Total Immersion und Qualcomm als Software-Anbieter für Augmented Reality SDKs, welche auf Basis von Lizenzmodellen anderen Entwicklern bereitgestellt wurden. Mit dem Wachsen dieser Unternehmen bzw. Softwarelösungen gingen auch Übernahmen durch andere Technologiekonzerne einher. So wurde Qualcomms vuforia SDK im Oktober 2015 von PTC für 65 mio USD gekauft. Kurz zuvor (05-2015) war auch die Firma metaio mit ihrem Technologieportfolio von Apple für einen nicht bekannten Betrag akquiriert worden. Fast zeitgleich kündigte Microsoft eine neue Datenbrille, die HoloLens an, zu deren Vorläufern u.a. Datenbrillen der Firma vuzix und auch die Google Glass gehörten. Seit Mitte 2015 lassen sich somit zwei grundlegende Entwicklungen im Technologiesektor für Augmented Reality Lösungen beobachten. Zum einen die Weiterentwicklung bestehender Lösungsansätze für mobile “handheld” Geräte wie Smartphone, Tablet und Phablet (meist softwareseitige Neuerungen wie zuletzt Apples ARKit oder Googles ARCore als native AR Entwicklungsgrundlage für iOS und Android), zum anderen die Erforschung und Entwicklung neuer AR-Ausgabegeräte (meist Smartglasses, Datenbrillen oder Kamera- / Sensortechnologie) wie es neben Microsoft HoloLens auch von den Firmen hinter den Projekten “Meta” und “Magic Leap” verfolgt wird.

Das Realitäts-Virtualitäts-Kontinuum

Das R-V-Kontinuum zeigt den stufenlosen Übergang von einem realen Umfeld (links) zu einem virtuellen Umfeld (rechts) und benennt für die unterschiedlichen Teilbereiche entsprechende Fachbegriffe. Unter Mixed Reality (Vermischte Realität) versteht man jenen Bereich des Realitäts-Virtualitäts-Kontinuums zwischen dem ganzheitlich realen und dem komplett virtuellen Umfeld. Der Begriff umfaßt somit alle Teilbereiche in denen Realität mit Virtualität (oder umgekehrt) vermischt wird. Augmented Reality (Erweiterte Realität) ist somit ein Teil der vermischten Realität.

Augmented Reality und Virtual Reality im Realitäts-Virtualitäts-Kontinuum

Augmented Reality Anwendungsgebiete und Beispiele

Wo kommen Augmented Reality und Mixed Reality Lösungen heute in unserem Alltag schon zum Einsatz und wie werden Mixed Reality Headsets wie Microsoft HoloLens die Mensch-Maschine-Interaktion im Privaten wie auch am Arbeitsplatz in Zukunft revolutionieren? Nachfolgend werden einige Beispiele aus den verschiedenen Branchen und Geschäftsfeldern aufgeführt und Vorteile hervorgehoben.

Immobilien / Architektur / Innenarchitektur

Augmented Reality für Immobilien, Architektur und Innenarchitektur

Projekt für KWAG – AR App Leopold Carré – 2015

  • Hohe Informationsdichte durch interaktive, animierte Darstellung von geplanten oder bereits existierenden Immobilien als AR-Miniaturmodell
  • Intuitiver Zugang zum Kontext der Immobilie (Nachbarbebauung, Bestandsobjekte, Licht-/ Schattenverlauf,  markante Eigenschaften des Objekts) durch Aufbereitung der Informationen in der AR-Szene
  • Überzeugende Präsentation von Bauvorhaben durch Prä-Visualisierung der Baukörpern und deren Bauphasen in Realgröße an der Baugrube
  • AR-Anwendung als Werkzeug zur interaktiven Planung der Inneneinrichtung/Interieur hilft der Vorstellungskraft von Kunden spielerisch auf die Sprünge
  • und mehr…

Messe / Ausstellung

Augmented Reality und Mixed Reality für Messen und Ausstellungen

Projekt für OWA – AR App für Messestand – 2017

  • Maximaler Nutzen der Ausstellungsfläche durch virtuelle Präsentation von Produkten bei gleichzeitiger Darstellung in Realgröße
  • Darstellung von ergänzenden Informationen zu Exponaten (Text, Bild, oder Bewegtbild bis hin zur 3D Animation) mit linearer oder non-linearer Benutzerführung über die AR-App
  • Kostenersparnis durch reduzierte Transportkosten für Messe-Aussteller (Produkte als virtuelle Exponate mitführen)
  • Bessere Kundenansprache durch AR Messekonzepte (Publikumsmagnet, Icebreaker, Innovationsmerkmal) mit Smartdevices oder als Kiosk-System (Digital Signage)
  • und mehr…

Marketing / Augmented Reality Print

Augmented Reality und Mixed Reality für Print, hier Lamborghini Magazin

Projekt für Lamborghini. Im Auftrag von TERRITORY – AR im Magazin – 2015

  • Gesteigerter Informationsgehalt von Print durch Augmented Reality Begleiter-App als interaktiver Zusatz zum gedruckten Format, auch bekannt als AR-Print oder Interactive-Print (z. B. für Produktkatalog, Produktverpackungen, Flyer, Postwurfsendung, Visitenkarten, u. v. m.)
  • Besonders hochwertige virtuelle Aufbereitung komplexer Informationen (z. B. für Imagebroschüre, Jahresbericht, Jubiläumsmagazin, u. v. m.)
  • Möglichkeit zur Nutzung von Authoring-System zur einfachen Erstellung und Verwaltung neuer Inhalte
  • und mehr…

Produktveredelung / -erweiterung

Augmented Reality und Mixed Reality für Produkt-Veredelung

 Projekt für Columbus-Verlag – 4D Globus App – 2014

  • Nahtloses Verbinden zeitloser und hochwertiger Produkteigenschaften mit innovativen Digital-Funktionen (z. B. Columbus-Verlag Globus-Weltkugel, 4D Globus App)
  • Erfolgreiches Aufwerten traditioneller Brettspiele durch smartes Kombinieren analoger und digitaler Spielmechaniken (z. B. Ravensburger AR-Puzzle, Scotlandyard Master, etc.)
  • Benutzerfreundliches Kombinieren von analogen und digitalen Datenbeständen  (z. B. Printversion einer Zeitschrift mit digitalen Medien der Internetpräsenz; oder Fotobücher mit Videoclips)
  • und mehr…

Training / Anleitung / Wissensvermittlung

Augmented Reality und Mixed Reality für Anleitung, Ausbildung oder Unterricht

Bild zu Microsoft HoloLens, verwendet mit Erlaubnis von Microsoft

  • Einfaches Erklären von Produkten, deren Bedienung und Reparatur mit Hilfe einer entsprechenden AR-App (z. B. Wartung und Service bei Elektrogeräten, Anleitung zum Aufbau von Gesellschaftsspielen u. v. m.)
  • Optimierte Weiterbildung und individualisiertes Training von Personen im Unternehmen durch AR-Training-Lösung – Standort unabhängig, zeitlich und räumlich flexibel, skalierbar
  • Lernerfolg durch interaktives und positiv-emotionales Lernen mit Augmented Reality Lern-Anwendungen als innovativer Ansatz zur Wissensvermittlung
  • und mehr…

Medizin

Augmented Reality und Mixed Reality für Medizin

Bild zu Microsoft HoloLens, verwendet mit Erlaubnis von Microsoft

  • Zahnmedizin – Echtzeit-Einblendung von Zahn-Rekonstruktion bei gleichzeitiger Handlungsfreiheit durch freie Hände (Augmented Reality Brille)
  • OP/Chirurgie – Visuelle Hilfestellung mit AR-Darstellungsformen führen zu reduzierten Fehlerquoten bei chirurgischen Eingriffen
  • Weiterbildung – Detailliertes Studium von Details des menschlichen Körpers auf Basis von dreidimensionalen, virtuellen Modellen (ohne reale Patienten in Gefahr zu bringen)
  • und mehr…

Logistik / Lager

Augmented Reality und Mixed Reality für Logistik und Lagerverwaltung

Konzept AR Vision-Picking – XPuls/www.tag-der-logistik.de

  • Optimierte Abläufe für Lager und Logistik Mitarbeiter durch Vision-Picking lassen Papier oder Handheld-Geräte überflüssig werden
  • Wichtige Informationen zu Waren (Gewicht, Destination, Besonderheiten etc.) können dem Lieferanten auf der “letzten Meile” via AR-App im Kontext des Pakets visualisiert werden
  • Verständliche Darstellung der Lieferadresse, Identifikation von Eingängen oder Darstellung individueller Lieferwünsche für den Lieferanten
  • und mehr…

Produktivität

Augmented Reality und Mixed Reality für Produktivität

Bild zu Microsoft HoloLens, verwendet mit Erlaubnis von Microsoft

  • Zeit- und Kostenersparnis durch Rapid-Prototyping mit virtuellen Teilüberlagerung am realen Produkt (Maßstabsgetreu, einfach konfigurierbar, keine langen Produktionsphasen, schnelles Iterieren)
  • Dezentrales Zusammenarbeiten, Kollaborieren sowie Vernetzen von Standorten und Personal durch Multi-User Mixed Reality Anwendungen
  • Übersetzungs-App mit AR-Funktionen zur schnellen Übersetzung mit Kontextbezug via Bilderkennung und Smartphone
  • und mehr …

Automotive

Augmented Reality und Mixed Reality für Automotive

Bild zu BMW Head-Up Display, verwendet mit Erlaubnis von BMW-Group

  • Verbesserte Sicherheit im Straßenverkehr durch Augmented Reality Leit- und Navigationssysteme und einfacher Umgang mit komplexen Daten für den Fahrer
  • Schnellere Iterationen bei der Planung neuer Fahrzeuge durch reduzierte Konzeptionszeiten, schnelleres Prototyping via AR-Werkzeuge in der Arbeitsumgebung
  • Steigende Effizienz und reduzierte Fehlerquoten im Prozess der Fahrzeugfertigung durch vernetzte, digitalisierte Abläufe und Augmented Reality Systeme
  • Erhebliche Erleichterung für Wartungsarbeiten durch Endkunden am eigenen Wagen oder Servicemitarbeiter und Mechaniker durch AR-App Wartungshilfe
  • und mehr…

Industie und Fertigung

Augmented Reality und Mixed Reality für Industrie, Fertigung und Wartung

Bild zu Microsoft HoloLens, verwendet mit Erlaubnis von Microsoft

  • Digitalisierung und Innovation mit Augmented Reality als Lösung zur Darstellung von Informationen im Kontext bestehender Prozesse
  • Optimale Visualisierung von Arbeitsschritten für Fertigungspersonal – hands-free, interaktiv, vernetzt
  • Reibungsloses und zeiteffizientes Testing durch Augmented Reality Qualitätsprüfungsverfahren ersetzen fehleranfällige Prozesse mit Papier
  • Digitalisierung bei gleichzeitiger Optimierung dank Multi-User – Multi-Device orientierter Lösungen für Industrie und Fertigung
  • Reduktion von Fertigungszeiten und Fehlerquoten durch vernetzte und interaktive Augmented Reality System
  • und mehr…

Augmented Reality Tourismus

Augmented Reality und Mixed Reality für Tourismus und Reisen

Konzept GPS basierte AR Navigation

  • Ganzheitliches Verstehen von Hintergründen und Begebenheiten durch hochwertige Darstellung der historischen Entwicklung von Sehenswürdigkeiten und Gebäuden
  • Zugewinn an Reisequalität durch interaktive Reiseführer
  • Mehr Spaß am Entdecken neuer Destinationen durch AR-Gamification für Reisegruppen
  • Emotionales Erleben von Metropolen durch atemberaubende Stadtrundfahrten mit AR-App
  • Einfacheres Orientieren und Navigieren durch GEO-Positionierung und AR-App
  • Erleichterung beim Finden und Buchen von Hotel, Mietwagen, Tickets etc.
  • und mehr…

Games / Gamification / Serious Games

Augmented Reality und Mixed Reality für Spiele wie Pokemon Go, Gamifizierung und Seriöse Spiele

Bild zu Pokémon Go, nianticlabs.com – 2017

  • AR-Games verwandeln die gewohnte Umgebung und den Alltag in eine neue fantastische Spiellandschaft (z. B. Skipiste mit virtuellen Wegpunkten als Gamification)
  • Spiele mit AR-Technologie funktionieren im Kontext der Realität und bringen den Spieler weg von der Couch und zurück in die Natur (z. B. mit Geo-Cashing Spielen)
  • Edutainment mit AR-Funktionen kann reale, historische, fantastische aber auch ernste Inhalte spielerisch zusammenführen (z. B. historische Stadtführung als Schnitzeljagd)
  • Augmented Reality Funktionen können als Mechanik für Serious-Games eingesetzt werden und die Brücke zwischen virtuellen und realen Inhalten schlagen
  • und mehr…

Handel und Vertrieb

Augmented Reality und Mixed Reality für Handel und Vertrieb

Konzept AR Shopping App

  • Virtuelle Anprobe von Uhren, Brillen und Kleidung als kostengünstige Alternative zu realen Produkt-Samples (Einsparung von Retouren)
  • Unkompliziertes Mitführen und Demonstrieren virtueller Produktbeispiele für Vertriebsmitarbeiter im Außendienst bei gleichzeitig begeisternder Präsentationsform
  • Zu allen AR-Marketing Szenarien können direkte Kaufoptionen für die dargestellten Produkte angeboten werden (mobile Commerce)
    z. B. Printanzeigen mit virtuellem Preisschild und digitaler Kauf-Option
    z. B. Bestell-Funktion für virtuell plazierte Möbel
  • Individuelle Lösungen nicht nur als App für Smartphones und Tablets sondern auch für Kiosk-Systeme am Point of Sale möglich
  • und mehr…

Ihre Augmented Reality (AR) Lösung?

Augmented Reality und Mixed Reality für ihre Produkte, Use-Cases und Anwendungen