WO2019228780A1

WO2019228780A1 - Konzept für die steuerung einer anzeige eines mobilen augmented-reality-gerätes

Info

Publication number: WO2019228780A1
Application number: PCT/EP2019/061983
Authority: WO
Inventors: Johannes Tümler; Adrian HAAR
Original assignee: Volkswagen Aktiengesellschaft
Priority date: 2018-06-01
Filing date: 2019-05-09
Publication date: 2019-12-05
Also published as: CN112189125A; DE102018208700A1; US20210231451A1

Abstract

Ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers. Zunächst wird eine statische Navigationsanzeige für ein Ziel generiert (10), die ortsfest in einer realen Umgebung positioniert ist. Wird nun eine Situation erfasst (11), die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes erfordert, so wird eine an die Situation angepasste statische Navigationsanzeige oder eine ergänzende Navigationsanzeige generiert (12).

Description

Beschreibung

Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige eines mobilen Augmented- Reality-Gerätes eines Nutzers. Die Erfindung betrifft weiterhin ein mobiles Augmented- Reality-Gerät, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.

Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual- und Augmented-Reality-Technologien

und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei Augmented Reality (AR), auf Deutsch„erweiterte Realität“, handelt es sich um die

Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck„Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck„Mixed Reality“ verwendet. Für die Darstellung von AR-Anzeigen können beispielsweise Augmented-Reality-Brillen genutzt werden. Eine Augmented-Reality-Brille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Augmented-Reality- Brillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten.

Alternativ können AR-Anzeigen auch mittels Augmented-Reality-Smartphones oder Augmented-Reality-Tablets generiert werden. Dabei werden virtuelle Elemente auf dem Display des jeweiligen Gerätes zusammen mit der von einer Kamera des jeweiligen Gerätes aufgenommenen Umgebung angezeigt. Auch eine Projektion von Inhalten in die reale Umgebung ist möglich.

Insgesamt ist absehbar, dass Augmented-Reality-Brillen, Augmented-Reality-Smartphones und andere Augmented-Reality-Geräte bei Endkunden zunehmend stärker im Einsatz sein werden. Ein wesentlicher Anwendungsfall für portable Augmented-Reality-Systeme ist die Navigation, sowohl in Fortbewegungsmitteln als auch außerhalb von Fortbewegungsmitteln. Die Ausgabe von Navigationsanweisungen kann dabei durch einfache

Bewegungsanweisungen erfolgen, z.B. in Form von Richtungspfeilen oder auch

Hinweistexten.

In diesem Zusammenhang beschreibt die EP 2 960 630 A2 eine Augmented-Reality-Brille mit einer Kamera, einer Ausgabeeinheit und einer Steuerung. Mittels der Ausgabeeinheit werden Routenführungsinformationen für einen Nutzer in Form von Anweisungen

ausgegeben. Die Steuerung erfasst Informationen über eine aktuelle Position und veranlasst, dass die Ausgabeeinheit die Routenführungsinformationen für eine Route von der aktuellen Position zu einem Ziel ausgibt. Die Steuerung erhält von der Kamera visuelle Informationen in Echtzeit, während die Routenführungsinformationen ausgegeben wird, und aktualisiert die Routenführungsinformationen in Echtzeit basierend auf den erfassten visuellen

Informationen.

Eine weitere Möglichkeit besteht darin, dass ein visueller Pfad in die Umgebung

eingeblendet wird, dem der Nutzer folgen soll.

In diesem Zusammenhang beschreibt die DE 10 2017 11 1 843 A1 ein System, um einen Nutzer mittels Gehanweisungen in erweiterter Realität dynamisch von einem gegenwärtigen Nutzerstandort zu einem Abholungsort eines autonom fahrenden Fahrzeugs zu führen. Die Gehanweisungen werden dem Nutzer auf einem Display einer mobilen oder tragbaren Nutzervorrichtung präsentiert. Die Gehanweisungen in Form von Fußspuren oder Linien werden in Echtzeit dynamisch erzeugt und ändern sich, während sich der Nutzer mit der tragbaren Nutzervorrichtung bewegt.

Insbesondere bei der Fußgängernavigation kann nicht davon ausgegangen werden, dass Personen exakt auf dem vom Navigationssystem vorgeschlagenen Pfad entlang gehen, der durch das Augmented-Reality-Gerät angezeigt wird. Dabei kann es passieren, dass der Anwender so weit von einem fest in der Welt verödeten statischen Navigationspfad abweicht, dass der Pfad aufgrund der Entfernung irgendwann nicht mehr erkennbar ist.

Daher ist eine Anpassung des Pfades an die räumliche Position und Orientierung des Anwenders sinnvoll.

Eine Augmented-Reality-Anzeige zeichnet sich dadurch aus, dass sie interaktiv ist, d.h. dass das angezeigte Bild eine Mindestbildwiederholrate hat. Üblicherweise werden ca. 60 Bilder pro Sekunde generiert. Für jedes einzelne Bild wird die in dem Moment eingenommene Position und Orientierung des Nutzers zur Generierung der Augmented-Reality-Anzeige verwendet. Eine wesentliche Eigenschaft einer Augmented-Reality-Navigationsanzeige ist es, dass der Anwender die Botschaft intuitiv versteht, dabei die Augmented-Reality-Anzeige jedoch nicht als aufdringlich, sondern als harmonisch in die Umgebung eingebettet wahrnimmt. Daher ist es keine Lösung, den Navigationspfad für jedes berechnete Einzelbild von der aktuellen Kameraperspektive des Betrachters ausgehen zu lassen. Der Anwender würde durch den sich ständig und sehr schnell verändernden Pfad irritiert und abgelenkt, der Navigationspfad würde daher nicht als harmonisch in die Umgebung integriertes Objekt wahrgenommen.

Es ist eine Aufgabe der Erfindung, ein verbessertes Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes bereitzustellen.

Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1 , durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 8, durch eine

Vorrichtung mit den Merkmalen des Anspruchs 9 sowie durch ein mobiles Augmented- Reality-Gerät mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers die Schritte:

- Generieren einer statischen Navigationsanzeige für ein Ziel, die ortsfest in einer realen Umgebung positioniert ist;

- Erfassen einer Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality- Gerätes erfordert; und

- Generieren einer an die Situation angepassten statischen Navigationsanzeige oder einer ergänzenden Navigationsanzeige.

Entsprechend enthält ein computerlesbares Speichermedium Instruktionen, die bei

Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers veranlassen:

- Erfassen einer Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality- Gerätes erfordert; und - Generieren einer an die Situation angepassten statischen Navigationsanzeige oder einer ergänzenden Navigationsanzeige.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch

Workstations, verteilte Systeme und andere prozessorbasierte

Datenverarbeitungsvorrichtungen.

Analog dazu weist eine Vorrichtung zur Steuerung einer Anzeige eines mobilen Augmented- Reality-Gerätes eines Nutzers auf:

- einen Grafikgenerator zum Generieren einer statischen Navigationsanzeige für ein Ziel, die ortsfest in einer realen Umgebung positioniert ist; und

- eine Sensorik zum Erfassen einer Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes erfordert;

wobei der Grafikgenerator eingerichtet ist, eine an die Situation angepasste statische Navigationsanzeige oder eine ergänzende Navigationsanzeige zu generieren.

Die erfindungsgemäße Lösung basiert auf der Idee, die statische, ortsfest in der realen Umgebung positionierte Navigationsanzeige nicht kontinuierlich neu zu erstellen und einzublenden, sondern vielmehr kontinuierlich zu überprüfen, ob eine Anpassung der Anzeige erforderlich ist und abhängig vom Ergebnis eine angepasste Anzeige zu generieren. Auf diese Weise ist die Navigationsanzeige räumlich fest in der realen Welt registriert bzw. fest in der Welt verortet, dennoch hat der Nutzer die Möglichkeit der freien Bewegung auch abseits des angezeigten Pfades. Tritt bei dieser freien Bewegung die Situation auf, dass eine Anpassung der Anzeige erforderlich wird, beispielweise weil sich der Nutzer zu weit vom angezeigten Pfad entfernt, wird schließlich eine angepasste statische Navigationsanzeige oder eine ergänzende Navigationsanzeige generiert und angezeigt. Durch die situative Anpassung der Anzeige wird verhindert, dass sich der angezeigte Pfad ständig und sehr schnell verändert.

Gemäß einem Aspekt der Erfindung wird die Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes erfordert, auf Basis einer Nutzereingabe erfasst. Die Nutzereingabe kann beispielsweise darin bestehen, dass der Nutzer eine definierte

Blickgeste oder Handgeste ausführt oder einen Sprachbefehl erteilt. Beispielsweise kann die Anpassung erfolgen, wenn der Nutzer für einen gewissen Zeitraum auf seine Füße blickt. Anhand von Nutzereingaben lässt sich sehr leicht feststellen, wann eine Anpassung der Anzeige vorgenommen werden soll, so dass keine rechenaufwändige Auswertung erforderlich ist. Gleichzeitig hat diese Lösung den Vorteil, dass der Nutzer selbst bestimmt, wann er eine Anpassung der Anzeige wünscht, d.h. der Nutzer wird nicht mit für ihn eventuell unnötigen Anpassungen konfrontiert.

Gemäß einem Aspekt der Erfindung ist die ergänzende Navigationsanzeige ein temporärer Navigationspfad in Richtung des Zieles, ein Kompass oder ein Richtungspfeil. Dieser Ansatz ist besonders vorteilhaft, wenn anstelle eines Pfades die Navigationsinformationen nur situativ angezeigt werden. Durch die situativen Informationen wird die Anzeige unnötiger Informationen vermieden, gleichzeitig ist auch kein ständiges Anpassen des Pfades erforderlich. Beispielsweise können Abbiegungen durch einen gekrümmten Pfad nur an der entsprechenden Ecke oder Kurve angedeutet werden. Sollte der Nutzer die Orientierung verlieren, kann dieser z.B. durch eine Nutzereingabe einen temporären Pfad erscheinen lassen. Dieser illustriert den zurückzulegenden Weg zur nächsten Navigationssituation, blendet sich nach einer gewissen Zeit aber wieder aus. Anstelle eines temporären Pfades kann auch eine Art Kompass eingeblendet werden, der in Richtung der nächsten

Navigationssituation zeigt.

Gemäß einem Aspekt der Erfindung ist die ergänzende Navigationsanzeige ein visuelles Signal mit einer Richtungscharakteristik. Diese Lösung hat den Vorteil, dass die durch die mittels der Richtungscharakteristik vermittelte Richtungsangabe vom Nutzer intuitiv erfasst wird. Beispielsweise kann ein kurzes Aufblitzen des Bildschirms auf einem oder beiden Augen oder einem Bildschirmsegment erfolgen, durch welches die erforderliche Drehrichtung oder Laufrichtung vermittelt wird. Dieses Aufblitzen kann eine relativ grobe Richtungsangabe vermitteln, z.B. lediglich eine Unterscheidung zwischen links und rechts. Es kann aber auch feiner positioniert sein, um genauere Richtungsangaben zu machen, bis hin zu einer Art Stereo-Blitz für beide Augen, der räumlich positioniert erscheint.

Gemäß einem Aspekt der Erfindung ist eine durch das Augmented-Reality-Gerät

augmentierbare Fläche in der realen Umgebung in Teilflächen unterteilt, wobei die statische Navigationsanzeige ein von einer ersten Teilfläche ausgehender Navigationspfad in Richtung des Zieles ist. Es wird nun erfasst, dass der Nutzer von einer ersten Teilfläche in eine zweite Teilfläche wechselt. Daraufhin wird der von der ersten Teilfläche ausgehende

Navigationspfad ausgeblendet und ein von der zweiten Teilfläche ausgehender

Navigationspfad eingeblendet. Bei dieser Lösung wird die augmentierbare Fläche in

Abschnitte bzw. Teilflächen fester Größe eingeteilt, sogenannte Kacheln. Es wird nun ein Navigationspfad angezeigt, der statisch und fest mit der Umgebung verbunden ist, d.h.

Anfangspunkt und Endpunkt sind fest. Verlässt der Betrachter eine Kachel und betritt die nächste, so wird der aktuelle Navigationspfad ausgeblendet. Dies kann ohne eine oder mit einer Animation erfolgen, beispielsweise kann der aktuelle Navigationspfad immer transparenter werden. Während der von der alten Kachel ausgehende Navigationspfad ausblendet, wird der Navigationspfad für die neue Kachel berechnet und eingeblendet. Dabei ist es sinnvoll, wenn zu keinem Zeitpunkt zwei gleichwertige Pfade sichtbar sind, um

Verwirrung zu vermeiden. Der alte Navigationspfad wird zunächst sehr weit ausgeblendet, bevor der neue Navigationspfad dargestellt wird. Ein Vorteil dieses Ansatzes besteht darin, dass sich der Nutzer nicht so weit vom Navigationspfad entfernen kann, dass es zu

Problemen mit der Erkennbarkeit kommt, gleichzeitig aber auch kein ständiges, störendes Anpassen des Pfades erfolgt.

Gemäß einem Aspekt der Erfindung wird der Navigationspfad lediglich zwischen der ersten Teilfläche und einem Zwischenziel ausgeblendet und zwischen der zweiten Teilfläche und dem Zwischenziel eingeblendet. Diese Lösung reduziert das Anpassen des

Navigationspfades auf einen verhältnismäßig kleinen Abschnitt, da der Pfad zwischen dem Zwischenziel und dem Ziel beibehalten wird. Auf diese Weise ist die Anpassung des Pfades für den Nutzer weniger auffällig und daher weniger störend.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem mobilen Augmented-Reality-Gerät eingesetzt, beispielsweise in einer Augmented-Reality-Brille, in einem Augmented-Reality-Smartphone oder in einem

Augmented-Reality-Tablet.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch eine Augmented-Reality-Brille;

Fig. 2 zeigt schematisch einen fest in der Welt verödeten statischen Navigationspfad auf einem mobilen Augmented-Reality-Gerät;

Fig. 3 zeigt den fest in der Welt verödeten statischen Navigationspfad bei großer

Entfernung des Nutzers vom Navigationspfad;

Fig. 4 zeugt schematisch ein Vedahren zur Steuerung einer Anzeige eines mobilen

Augmented-Reality-Gerätes eines Nutzers; Fig. 5 zeigt schematisch eine erste Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers;

Fig. 6 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers;

Fig. 7 zeigt eine situative Anzeige von Navigationsinformationen am Beispiel eines

Abbiegepfades;

Fig. 8 zeigt eine Anzeige einer ergänzenden Navigationsanzeige am Beispiel eines

Kompasses;

Fig. 9 zeigt eine Anzeige einer ergänzenden Navigationsanzeige am Beispiel eines visuellen Hinweises;

Fig. 10 illustriert schematisch einen Ansatz zur Generierung einer angepassten

statischen Navigationsanzeige, die auf einer Einteilung der augmentierbaren Fläche in Teilflächen basiert;

Fig. 11 illustriert schematisch eine Erweiterung des Ansatzes aus Fig. 10, bei der nur ein

Teilabschnitt eines Navigationspfades neu dargestellt wird; und

Fig. 12 zeigt schematisch ein Verfahren zum Generieren einer angepassten statischen

Navigationsanzeige.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch eine Augmented-Reality-Brille als Beispiel für ein mobiles

Augmented-Reality-Gerät 1. Die Augmented-Reality-Brille 1 hat eine Kamera 2 zum

Erfassen von Umgebungsdaten einer Umgebung der Augmented-Reality-Brille 1. Mittels einer Posenbestimmungsvorrichtung 3 kann eine Pose der Augmented-Reality-Brille 1 bestimmt werden, beispielsweise anhand der Umgebungsdaten. Eine Grafikeinheit 4 generiert eine Anzeige für die Augmented-Reality-Brille 1 entsprechend der ermittelten Pose. Dazu können die Posenbestimmungsvorrichtung 3 und die Grafikeinheit 4 miteinander Daten austauschen. Die Posenbestimmungsvorrichtung 3 und die Grafikeinheit 4 können, wie im Beispiel dargestellt, Bestandteil der Augmented-Reality-Brille 1 sein. Sie können aber auch als externe Geräte über eine Schnittstelle 5 mit der Augmented-Reality-Brille 1 verbunden sein. Die von der Grafikeinheit 4 generierte Anzeige wird durch eine Projektionseinheit 6 eingeblendet. Im Beispiel in Fig. 1 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch mit einer Augmented-Reality-Brille 1 mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, realisiert werden.

Fig. 2 zeigt schematisch einen fest in der Welt verödeten statischen Navigationspfad 41 auf einem mobilen Augmented-Reality-Gerät 1. In diesem Beispiel handelt es sich beim

Augmented-Reality-Gerät 1 um ein Tablet. Auf dem Display des Tablets wird die von einer Kamera des Tablets aufgenommene Umgebung angezeigt. Überlagert wird diese Umgebung durch einen Navigationspfad 41 , der in Form von stilisierten Fußspuren dargestellt wird. Da sich der Nutzer in unmittelbarer Nähe des Navigationspfades 41 befindet, sind die

Fußspuren gut erkennbar.

Fig. 3 zeigt den fest in der Welt verödeten statischen Navigationspfad 41 bei größerer Entfernung des Nutzers vom Navigationspfad41. Wie zuvor handelt es sich beim

Augmented-Reality-Gerät 1 um ein Tablet, auf dessen Display die von der Kamera des Tablets aufgenommene Umgebung angezeigt wird. Auch hier wird ein Navigationspfad 41 in Form von stilisieden Fußspuren angezeigt. Aufgrund der großen Entfernung des Nutzers vom Navigationspfad 41 ist dieser auf dem Display allerdings kaum noch erkennbar.

Fig. 4 zeigt schematisch ein Vedahren zur Steuerung einer Anzeige eines mobilen

Augmented-Reality-Gerätes eines Nutzers. Zunächst wird eine statische Navigationsanzeige für ein Ziel generied 10, die ortsfest in einer realen Umgebung positionied ist. Wird nun eine Situation edasst 11 , die eine Anpassung der Anzeige des mobilen Augmented-Reality- Gerätes edordert, so wird eine an die Situation angepasste statische Navigationsanzeige oder eine ergänzende Navigationsanzeige generied 12. Die Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes edordert, kann auf Basis einer Nutzereingabe edasst werden. Die Nutzereingabe kann beispielsweise darin bestehen, dass der Nutzer eine definiede Blickgeste oder Handgeste ausfühd oder einen Sprachbefehl edeilt. Die ergänzende Navigationsanzeige kann z.B. ein temporärer Navigationspfad in Richtung des Zieles, ein Kompass, ein Richtungspfeil oder ein visuelles Signal mit einer Richtungscharakteristik sein.

Fig. 5 zeigt schematisch eine erste Ausführungsform einer Vorrichtung 20 zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes 1 eines Nutzers. Die Vorrichtung 20 hat einen Eingang 21 , über den beispielsweise Daten zu einer Position und einer Blickrichtung eines Nutzers des Augmented-Reality-Gerätes 1 empfangen werden können. Die Vorrichtung 20 hat zudem einen Grafikgenerator 22 zum Generieren einer statischen Navigationsanzeige für ein Ziel, die ortsfest in einer realen Umgebung positioniert ist. Mittels einer Sensorik 23 kann eine Situation erfasst werden, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes 1 erfordert. Die Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes erfordert, kann von der Sensorik 23 beispielsweise auf Basis einer Nutzereingabe erfasst werden. Die Nutzereingabe kann z.B. darin bestehen, dass der Nutzer eine definierte Blickgeste oder Handgeste ausführt oder einen Sprachbefehl erteilt. Wird von der Sensorik 23 eine Situation erfasst, die eine

Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes 1 erfordert, so generiert der Grafikgenerator 22 eine an die Situation angepasste statische Navigationsanzeige oder eine ergänzende Navigationsanzeige. Die ergänzende Navigationsanzeige kann z.B. ein temporärer Navigationspfad in Richtung des Zieles, ein Kompass, ein Richtungspfeil oder ein visuelles Signal mit einer Richtungscharakteristik sein. Über einen Ausgang 26 der

Vorrichtung 20 wird die angepasste statische Navigationsanzeige oder die ergänzende Navigationsanzeige an das Augmented-Reality-Gerät 1 ausgegeben.

Der Grafikgenerator 22 und die Sensorik 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen des Grafikgenerators 22, der Sensorik 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Der Grafikgenerator 22, die Sensorik 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle

implementiert sein. Im beschriebenen Beispiel ist die Vorrichtung 20 eine eigenständige Komponente. Sie kann aber ebenso in der Augmented-Reality-Display-Vorrichtung 1 oder in einer Recheneinheit zur Ansteuerung der Augmented-Reality-Display-Vorrichtung 1 integriert sein.

Fig. 6 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung 30 zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes eines Nutzers. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder eine mobile Recheneinheit, z.B. ein Tablet oder ein Smartphone. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei

Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der

beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle

zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und

Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Abbiegepfades. In diesem Beispiel besteht die statische Navigationsanzeige 41 nicht aus einem Pfad, sondern lediglich aus einer situativen Navigationsinformationen, hier einem gekrümmten Abbiegepfad an der betroffenen Ecke bzw. Kurve. Dadurch wird die Anzeige unnötiger Informationen vermieden. Sollte der Nutzer die Orientierung verlieren, kann dieser z.B. durch eine Nutzereingabe einen temporären Pfad als ergänzende Navigationsanzeige erscheinen lassen. Dieser illustriert den zurückzulegenden Weg zur nächsten

Navigationssituation, blendet sich nach einer gewissen Zeit aber wieder aus. Der temporär angezeigte Navigationspfad kann z.B. in Form fragmentierter Anzeigen kurz vollständig erscheinen. Er kann alternativ in Form einer angedeuteten Welle vom Betrachter weglaufend in Richtung des nächsten Navigationspunktes angezeigt werden. Die Welle kann dabei durch Geschwindigkeit, Größe, Position und Anzahl der gleichzeitig dargestellten Fragmente parametriert sein.

Fig. 8 zeigt eine Anzeige einer ergänzenden Navigationsanzeige 42 am Beispiel eines Kompasses. Auf Basis einer Nutzereingabe wird eine ergänzende Navigationsanzeige 42 eingeblendet, in diesem Beispiel ein Kompass, der um die Füße des Nutzers liegt und in Richtung der nächsten Navigationssituation weist. Für diese Art der ergänzenden

Navigationsanzeige 42 ist es sinnvoll, wenn die Nutzereingabe darin besteht, dass der Nutzer für einen gewissen Zeitraum auf seine Füße blickt. Die ergänzende

Navigationsanzeige 42 kann wieder ausgeblendet werden, sobald der Nutzer den Blick von seinen Füßen abwendet.

Fig. 9 zeigt eine Anzeige einer ergänzenden Navigationsanzeige 42 am Beispiel eines visuellen Hinweises. Links ist die Anzeige für das linke Auge des Nutzers dargestellt, rechts die Anzeige für das rechte Auge. Die erforderliche Drehrichtung oder Laufrichtung wird vermittelt durch ein kurzes Aufblitzen des Bildschirms auf einem oder beiden Augen oder einem Bildschirmsegment, angedeutet durch den dargestellten Stern. Das Aufblitzen kann z.B. in Form eines Lichtsignals erfolgen, dass für einige Millisekunden bzw. einige Frames angezeigt wird. Durch das Aufblitzen kann eine relativ grobe Richtungsangabe vermittelt werden, z.B. lediglich eine Unterscheidung zwischen links und rechts. Im Beispiel in Fig. 9 wird eine Drehung nach links vermittelt. Der visuelle Hinweis kann aber auch feiner positioniert sein, um genauere Richtungsangaben zu machen, bis hin zu einem räumlich positionierten visuellen Hinweis für beide Augen.

Fig. 10 illustriert schematisch einen Ansatz zur Generierung einer angepassten statischen Navigationsanzeige. Die augmentierbare Fläche wird dabei in Abschnitte bzw. Teilflächen fester Größe eingeteilt, sogenannte Kacheln. Es wird nun ein Navigationspfad 41 von der der ersten Position 44 des Nutzers entsprechenden Kachel bis zum Ziel 40 angezeigt, der statisch und fest mit der Umgebung verbunden ist, d.h. Anfangspunkt und Endpunkt sind fest. Wechselt der Nutzer von der ersten Position 44 zu einer zweiten Position 45, die einer anderen Kachel entspricht, so wird der aktuelle Navigationspfad 41 ausgeblendet, was durch die gestrichelte Linie mit großem Strichabstand angedeutet ist. Dies kann ohne eine oder mit einer Animation erfolgen, beispielsweise kann der aktuelle Navigationspfad 41 immer transparenter werden. Während der von der alten Kachel ausgehende Navigationspfad ausblendet, wird der Navigationspfad 41 für die neue Kachel berechnet und eingeblendet, was durch die gestrichelte Linie mit kleinem Strichabstand angedeutet ist. Dabei ist es sinnvoll, wenn zu keinem Zeitpunkt zwei gleichwertige Pfade sichtbar sind, um Verwirrung zu vermeiden. Der alte Navigationspfad 41 wird zunächst sehr weit ausgeblendet, bevor der neue Navigationspfad 41 dargestellt wird.

Fig. 11 illustriert schematisch eine Erweiterung des Ansatzes aus Fig. 10. Bei dieser Erweiterung wird nicht der gesamte alte Navigationspfad 41 durch einen neuen

Navigationspfad 41 ersetzt, es wird vielmehr ein Zwischenziel 43 genutzt. Der Teilabschnitt des Navigationspfades vom Zwischenziel 43 zum Ziel bleibt dabei erhalten. Lediglich der Teilabschnitt des Navigationspfades 41 zwischen der der ersten Position 44, 45 des Nutzers entsprechenden Kachel bis zum Zwischenziel 43 wird neu dargestellt.

Fig. 12 zeigt schematisch ein Verfahren zum Generieren einer angepassten statischen Navigationsanzeige, das auf einer Einteilung der augmentierbaren Fläche Teilflächen basiert. Die statische Navigationsanzeige ist dabei ein von einer ersten Teilfläche ausgehender Navigationspfad in Richtung des Zieles. Es wird nun erfasst 50, dass der Nutzer von einer ersten Teilfläche in eine zweite Teilfläche wechselt. Daraufhin wird der von der ersten Teilfläche ausgehenden Navigationspfad ausgeblendet 51. Zeitgleich oder im Anschluss wird ein von der zweiten Teilfläche ausgehender Navigationspfad eingeblendet 52. Dabei kann auch vorgesehen sein, lediglich einen Abschnitt des Navigationspfades bis zu einem Zwischenziel neu darzustellen.

Bezugszeichenliste

Augmented-Reality-Gerät

Kamera

Schnittstelle

Posenbestimmungsvorrichtung

Grafikeinheit

Projektionseinheit

Generieren einer statischen Navigationsanzeige

Erfassen einer Situation, die eine Anpassung der Anzeige erfordert

Generieren einer angepassten statischen Navigationsanzeige oder einer ergänzenden Navigationsanzeige

Vorrichtung

Eingang

Grafikgenerator

Sensorik

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang

Ziel

Statische Navigationsanzeige

Ergänzende Navigationsanzeige

Zwischenziel

Erste Position

Zweite Position

Erfassen eines Wechsels von einer ersten in eine zweite Teilfläche

Ausblenden des von der ersten Teilfläche ausgehenden Navigationspfades Einblenden eines von der zweiten Teilfläche ausgehenden Navigationspfades

Claims

Patentansprüche

1. Verfahren zur Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes (1 ) eines Nutzers für die Fußgängernavigation, mit den Schritten:

- Generieren (10) einer statischen Navigationsanzeige (41 ) für ein Ziel (40), die ortsfest in einer realen Umgebung positioniert ist;

- Erfassen (11 ) einer Situation, die eine Anpassung der Anzeige des mobilen

Augmented-Reality-Gerätes (1 ) erfordert, auf Basis einer Nutzereingabe oder einer Entfernung des Nutzers von einem angezeigten Navigationspfad; und

- Generieren (12) einer an die Situation angepassten statischen Navigationsanzeige (41 ) oder einer ergänzenden Navigationsanzeige (42).

2. Verfahren gemäß Anspruch 1 , wobei die Nutzereingabe eine Blickgeste des Nutzers, eine Handgeste des Nutzers oder einen Sprachbefehl des Nutzers umfasst.

3. Verfahren gemäß Anspruch 1 oder 2, wobei die ergänzende Navigationsanzeige (42) ein temporärer Navigationspfad in Richtung des Zieles (40), ein Kompass oder ein Richtungspfeil ist.

4. Verfahren gemäß Anspruch 1 oder 2, wobei die ergänzende Navigationsanzeige (42) ein visuelles Signal mit einer Richtungscharakteristik ist.

5. Verfahren gemäß Anspruch 1 , wobei eine durch das Augmented-Reality-Gerät (1 ) augmentierbare Fläche in der realen Umgebung in Teilflächen unterteilt ist, und wobei die statische Navigationsanzeige (41 ) ein von einer ersten Teilfläche ausgehender Navigationspfad in Richtung des Zieles (40) ist, mit den Schritten:

- Erfassen (50), dass der Nutzer von einer ersten Teilfläche in eine zweite Teilfläche wechselt;

- Ausblenden (51 ) des von der ersten Teilfläche ausgehenden Navigationspfades; und

- Einblenden (52) eines von der zweiten Teilfläche ausgehenden Navigationspfades.

6. Verfahren gemäß Anspruch 5, wobei der Navigationspfad lediglich zwischen der ersten Teilfläche und einem Zwischenziel (43) ausgeblendet wird (51 ) und zwischen der zweiten Teilfläche und dem Zwischenziel (43) eingeblendet wird (52).

7. Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 6 zur Steuerung einer Anzeige eines mobilen Augmented-Reality- Gerätes (1 ) eines Nutzers für die Fußgängernavigation veranlassen.

8. Vorrichtung (20) zur Steuerung einer Anzeige eines mobilen Augmented-Reality- Gerätes (1 ) eines Nutzers für die Fußgängernavigation, mit:

- einem Grafikgenerator (22) zum Generieren (10) einer statischen Navigationsanzeige (41 ) für ein Ziel (40), die ortsfest in einer realen Umgebung positioniert ist; und

- einer Sensorik (23) zum Erfassen (11 ) einer Situation, die eine Anpassung der Anzeige des mobilen Augmented-Reality-Gerätes (1 ) erfordert, auf Basis einer Nutzereingabe oder einer Entfernung des Nutzers von einem angezeigten

Navigationspfad;

wobei der Grafikgenerator (22) eingerichtet ist, eine an die Situation angepasste statische Navigationsanzeige (41 ) oder eine ergänzende Navigationsanzeige (42) zu generieren (12).

9. Mobiles Augmented-Reality-Gerät (1 ), dadurch gekennzeichnet, dass es eine

Vorrichtung (20) gemäß Anspruch 8 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 6 auszuführen.