WO2016184972A1 - Method for operating data glasses in a motor vehicle and system having data glasses - Google Patents

Method for operating data glasses in a motor vehicle and system having data glasses Download PDF

Info

Publication number
WO2016184972A1
WO2016184972A1 PCT/EP2016/061287 EP2016061287W WO2016184972A1 WO 2016184972 A1 WO2016184972 A1 WO 2016184972A1 EP 2016061287 W EP2016061287 W EP 2016061287W WO 2016184972 A1 WO2016184972 A1 WO 2016184972A1
Authority
WO
WIPO (PCT)
Prior art keywords
data glasses
predetermined
information
selection element
view
Prior art date
Application number
PCT/EP2016/061287
Other languages
German (de)
French (fr)
Inventor
Marcus KÜHNE
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2016184972A1 publication Critical patent/WO2016184972A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the invention is based on a method for operating data goggles in a motor vehicle, wherein information about an off-vehicle object is arranged, which is arranged at a predetermined first position, and it is checked whether the object in a predetermined field of view of the data glasses located.
  • a data glasses in this case is preferably an electronic data glasses, such as an augmented reality glasses to understand.
  • Electronic data glasses are generally known, which may have a display device, by means of which information can be superimposed into a field of view of a wearer of the data glasses. It is possible to provide the most diverse objects, such as persons, buildings and the like, if available, corresponding information by means of such data glasses. If such objects are thus located in a predetermined field of view of the data glasses, the information about the corresponding objects can be superimposed by means of the data glasses, so that these are superimposed on the real image of the environment from the point of view of the user or carrier. Especially for the operation of a data glasses in a motor vehicle so provided additional information to the driver or passengers can be very helpful and supportive. However, if too many such objects, so-called "points of interest" are in the field of view, there is the problem that the field of view can be filled with this additional information and thus hinder the view of the real environment.
  • the object of the present invention is therefore to provide a method for operating data glasses in a motor vehicle and a system with data glasses, by means of which information can provide the passport I
  • the method according to the invention is characterized in that, under the first condition that the check reveals that the object is in the predetermined field of view, an optical marking associated with the object is displayed by means of the data glasses and under the second condition that a predetermined selection operation of the user, the information about the object is displayed with the data glasses.
  • a position information about the object when checking whether the object is located in a predetermined field of view of the data glasses, a position information about the object, which can be provided for example by a device of the motor vehicle, compared with a position information on the data glasses.
  • a position information about the object As well as the position information on the data glasses
  • devices of the motor vehicle such as a GPS system, a navigation system, an Internet connection and the like can be used, by means of which the position information, such as the geographical location, and also the information can be deployed via the vehicle-external object. It is also conceivable that this information is provided via corresponding devices of the data glasses themselves.
  • the position information on the data glasses can also be provided by the data glasses themselves and / or by the motor vehicle.
  • the motor vehicle can have a corresponding detection device by means of which position, orientation, a change in position or orientation change of the data glasses with respect to a coordinate system, for example the motor vehicle coordinate system, can be detected.
  • the motor vehicle can also provide information about its own position and orientation relative to its surroundings, for example by means of navigation data, GPS, detection of the direction of movement of the motor vehicle and the like. From this, for example, the position and orientation of the data glasses relative to the surroundings of the motor vehicle, and thus in relation to the motor vehicle external object in the environment can be determined.
  • the data glasses themselves can also have suitable detection means by which information about the position and orientation of the data glasses relative to their surroundings can be determined, eg GPS, an Internet connection, motion sensors and / or one or more surrounding cameras. Also, the comparison of the position information on the data glasses with the position information about the object can be performed by the data glasses and / or the motor vehicle. It is thus particularly advantageous if the motor vehicle and the data glasses have a communicative connection with one another, for example via WLAN, radio and the like. Thus, if appropriate, the corresponding information required for this comparison can be transmitted from the data glasses to the motor vehicle and vice versa. The more functions the data glasses take on themselves, the more self-sufficient the data glasses can be used.
  • the smart glasses display a selection element, for example a cursor or a crosshair, wherein the second condition is satisfied when it is detected that the selection element in a predetermined second position relative to the first position of the object and / or the mark associated with the object.
  • a position of the selection element relative to the first position of the object and / or the marking can be controlled by the user, in particular wherein the predetermined second position of the selection element is determined by the selection element at least partially coinciding with the object and / or the marking located.
  • a cursor or a crosshair may be displayed through the data glasses superimposed on the real environment from the user's point of view.
  • the position of the displayed reticle can be changed relative to its real environment.
  • this selection element can be moved by means of eye tracking, that is to say also without necessary head movement, in the field of vision of the user as a function of the detected viewing direction.
  • the second condition which states that at least only a predetermined selection operation of the user must be detected, so that the information on the object with the data glasses is displayed, is therefore satisfied if this selection element in a certain position with respect to the object or its mark preferably in overlapping or partial covering with the object and / or the marking, in particular from the user perspective, or a predetermined perspective approximating the user perspective.
  • This relative position between selection element and object therefore preferably relates to a projection of the two positions on a predetermined plane, for example a plane perpendicular to a center axis of the data glasses, which preferably passes through the center of the two eyes of a user, or a plane parallel to Display surface or image plane of the data glasses, or a plane perpendicular to the average viewing direction of the two eyes or a viewing direction of at least one eye of the user, in the event that the data glasses has an eye tracker.
  • the distance between the two positions in the viewing direction or in the direction of the center axis of the data glasses is therefore not relevant, only the distance of these two positions perpendicular to this axis. obligations.
  • the user can thus perform in a particularly advantageous and simple manner by moving the selection element, the predeterminedsolutionbedienmaschine and thus select the object, as a result, the information about the object with the data glasses is displayed.
  • the information about the object can be displayed, for example, immediately after this operator action. Since the selection element, in the case where several objects are in the field of view, can always be coincided with precisely one of these objects or one of their markings, only the information about the relevant object can always be displayed, and not information about several such objects simultaneously. This also ensures that the field of view of the user is not overcrowded by additional information.
  • the information about the object is displayed only under the further, third condition that a predetermined user input, in particular a manual actuation of an operating element and / or a voice command and / or an operator gesture, has been detected.
  • a display position of the selection element is fixed on a display surface of the data glasses. That is, the selection element is displayed by the data glasses, then this is always displayed at the same location of the display area. A movement of the selection element relative to the environment then takes place for example by means of head movement by the user and a consequent movement of the data glasses relative to the environment.
  • This fixed display position is then preferably in the form that the selection element is superimposed in a central region of the field of view of the user or the data glasses.
  • a display position of the selection element on a display surface of the data glasses is variable, wherein the display position is changed depending on a detected viewing direction of the user.
  • the data glasses can also have an eye-tracking device by means of which the viewing direction of the user can be detected and the display position of the selection element can be changed as a function of the detected viewing direction. This makes it possible to control the position of the selection element even more flexible.
  • the selection element is only displayed when it is detected that the object and / or the associated marking is located in a first predetermined area of the field of view of the data glasses. Even the fade-in of the selection element itself takes the user part of his view of the real environment. This can now be advantageously avoided by also the selection element can be displayed situation adapted, that is, not always, but only if the object or the marker is in a first predetermined range of the field of view.
  • This predetermined range of the field of view of the data glasses can be fixed, for example, if the selection element is also assigned a fixed display position or variable, eg if the display position of the selection element is variable depending on the detected line of sight, then so can the predetermined range of the field of view in Depending on the detected line of sight are determined and determined.
  • the selection element is preferably associated with a display position that is fixed or variable, and to which the selection element can be displayed, wherein the selection element is displayed only when the display position according to a predetermined criterion in the vicinity of the viewed through the data glasses object and / or its mark is located.
  • the selection element does not permanently influence the field of view, it can also be selectively displayed only if it is located in the vicinity of the object and / or its marking from the user's point of view. If the display position is fixed, for example, the selection element can only be displayed when the object and / or its marking moves, for example, into the center of the field of view. Then, without or even with a predetermined time offset, the selection element can be displayed.
  • the predetermined criterion may, for example, example, in that the selection element is displayed only when it falls below a predetermined distance from the object, the distance here again from the perspective of the user or a predetermined perspective can be seen, for example, as a distance in a plane perpendicular to the viewing direction of the User or on a central axis or the center axis of the data glasses. It would also be conceivable that the selection element is displayed only after a first predetermined period of time during which the display position and the object or its mark are in overlap, and for example after expiration of a second predetermined period of time, during which the displayed Selection element and the object or its mark are in overlap, the information about the object is displayed.
  • the information is displayed only as long as the object and / or its mark is in a second predetermined area of the field of view of the data glasses and / or as long as an area in which the information is displayed, is located in a predetermined range of the field of view of the data glasses and / or until an operator action of the user for terminating the display of the information is detected.
  • this can be done by an active operator action of the user, which has the advantage that the user can determine how long the information is displayed to him, even if he, for example, turns his gaze or head in a different direction.
  • the information can only be displayed as long as the object, its associated marking or the displayed information are located in a predetermined area of the field of view.
  • the user averts his gaze from the object or displayed information, or turns his head away so that the object is no longer in the predetermined area of the field of view, and only at the edge, for example the display of the information will be ended automatically.
  • This has the advantage that the user can control solely by head movements or his viewing direction, where and when information on which object are displayed to him.
  • the display of the information is terminated when the object has left the predetermined area of the field of view for a predetermined minimum period of time. This has the advantage that a slight, short-term or accidental head movement of the user does not immediately lead to the Information display is ended unintentionally.
  • the invention relates to a system with data goggles, wherein information about an off-screen object, which is arranged at a predetermined first position, is provided on the data goggles, and wherein the system is designed to check whether the Object is located in a predetermined field of view of the data glasses.
  • the data glasses are designed to detect a predetermined selection operation of the user, and under the first condition that the check reveals that the object is in the predetermined field of view, to represent an optical mark associated with the object, and under the second condition the user's predetermined selection operation has been detected to display the information about the object.
  • 1 is a schematic representation of a system with a data glasses, wherein the data glasses are provided for operation in the motor vehicle shown schematically, according to an embodiment of the invention
  • 2 shows a schematic illustration of the data glasses in a plan view for illustrating the field of view of the data glasses with objects located in an environment of the data glasses
  • a schematic representation of a view through the data glasses in which the display position of a non-displayed display element is not located in the vicinity of the field of view of the data glasses objects, illustrating the method for operating the data glasses according to an embodiment of the invention
  • a schematic representation of another view of the data glasses in which the display position of the display element now displayed is located in the vicinity of one of the objects in the field of view of the data glasses, illustrating the method for operating the data glasses according to an embodiment of the invention
  • another schematic representation of the view through the data glasses in which the displayed display element is in coincidence with one of the objects in the field of view of the data glasses and the information provided to the object are displayed, illustrating the method for operating the data glasses
  • FIG. 1 shows a schematic representation of a system 10 with data glasses 12, wherein the data glasses 12 are provided for operation in a likewise illustrated motor vehicle 14.
  • the motor vehicle 14 may optionally also be part of the system 10.
  • the data goggles 12 are designed to display digital artificial contents in the real environment of the data goggles 12 perceivable by the data goggles 12, in particular by a display surface 12a, which in this example is in the form of spectacle lenses. This can be done for example by projection of digital content on the display surface 12a and this on the eyes of a user, or also, in an embodiment of the display surface 12a as displays with changeable degree of transparency, by a corresponding control of individual display areas.
  • the latter also has a control device 12b, which displays the digital contents, as well as other functions of the data glasses 12 controls.
  • the data glasses may further comprise an external camera 12c to capture images of the real environment and, if appropriate, to examine the recorded images for objects located in the real environment of the data glasses 12 and / or position and orientation of the data glasses 12 relative to to determine their environment.
  • the data glasses 12 have a movement detection device 12d, by means of which the position, position changes, the orientation of the data glasses 12 and orientation changes with respect to the environment or a predetermined coordinate system can be detected.
  • the data glasses 12 can optionally have a communication module 12e via which a communicative connection to the motor vehicle 14 can be produced.
  • data of the data glasses 12 can be transmitted to the motor vehicle 14 and vice versa.
  • the motor vehicle 14 also preferably has such a communication device in order to communicate with the data goggles 12.
  • This communication connection can be implemented, for example, wirelessly via radio, WLAN, Bluetooth, or even wired.
  • the communication module 12e of the data glasses 12 can additionally also assume additional functions and, for example, also have a GPS receiver and / or provide an Internet connection.
  • the system 10 is now adapted to provide information about off-vehicle objects to the data glasses 12, and when those objects are within a predetermined field of view of the data glasses, to display markers of those respective objects by means of the data glasses 12 spatially associated with the respective objects.
  • the data glasses 12 alone take over and execute all these functions or that parts of these described functions, such as providing information about the objects in the environment, the positions of these objects, the check whether these objects are located in the field of view of the data glasses, are executed by the motor vehicle 14.
  • the motor vehicle 14 may have corresponding devices, such as a navigation system 14a for providing navigation data, a GPS system 14b, which may also be part of the navigation system 14a, a communication module 14c for communicating with the data glasses 12 and / or for providing an internet connection, vehicle sensors 14d for providing further motor vehicle-specific data, for example the vehicle speed, a tracking device. 14e, for example, to detect the position and orientation of the data glasses 12 relative to the motor vehicle 14, and a controller 14f to control said systems and devices.
  • FIG. 2 now shows a schematic representation of the data glasses 12 in a plan view for illustrating the field of view 16 of the data glasses 12 with objects 18a, 18b and 18c arranged in an environment 18 of the data glasses 12.
  • These objects 18a, 18b, 18c represent objects in the environment 18, to each of which associated information is provided.
  • This information can be provided, for example, via the navigation system 14a of the motor vehicle 14 and / or via an internet connection either by the data glasses 12 themselves or likewise by the motor vehicle 14, as well as the respective geographical positions of these objects 18a, 18b, 18c.
  • the system 10 now permanently checks, for example repeatedly, in particular at periodic intervals, whether such objects 18a, 18b, 18c are located in a predetermined field of view 16 of the data glasses 12.
  • 16a denotes in FIG. 2 the lateral boundary of this field of view 16. In this example, therefore, the objects 18a and 18b are located within the field of view 16 and the object 18c is outside.
  • the check whether these objects 18a, 18b, 18c are thus in the field of view is preferably carried out such that the respective positions of the objects 18a, 18b, 18c with the position of the field of view 16 of the data glasses 12, by the position of the data glasses 12 itself is predetermined, is compared.
  • the data glasses 12 can either determine their own position and orientation relative to the environment 18 themselves and / or the position and orientation of the data glasses 12 is determined by the motor vehicle 14.
  • the adjustment with the respective positions of the objects 18a, 18b, 18c can also be carried out either by the data glasses 12 themselves or by the motor vehicle 14.
  • Both the data glasses 12 and the motor vehicle 14 can each determine and provide information that is then evaluated in its entirety, either from the data glasses 12 or the motor vehicle 14 or both, to check whether the objects 18 a, 18 b and 18c located inside or outside the field of view 16. If it is then determined, as shown in this example, that the two objects 18a and 18b are located in the predetermined field of view 16 of the data glasses, the data glasses 12 display on the display surface 12a the spatially assigned markings for the respective objects, for example the respective objects 18a and Cover 18b, hovering over it or otherwise highlighting, for example, by emphasizing the contours, color identification and like. These markings themselves do not contain any object-specific information and can therefore be displayed relatively small, for example with a predetermined maximum area relative to the display area 12a, and thus do not overfill the field of vision of a user.
  • FIG. 3 a wherein a view through the data glasses 12 is illustrated schematically here.
  • the data glasses 12 thus fade into the real environment 18, which is seen through the display surface 12a of the data glasses 12, to the objects 18a and 18b located in the field of vision 16 of the data glasses 12, preferably markers 20a and 20b as purely digital contents.
  • the field of view 16 is advantageously not overfilled with additional information about these objects, since these additional information are not displayed at the same time but only under certain conditions.
  • a predetermined selection control action of the user must first be detected.
  • the display position 22a is not in the vicinity of the objects 18a, 18b and markers 20a, 20b or in a predetermined near zone 24 of the object 18b, and also not in a near portion of the object (not shown) 18a, so thus the display element 22 itself is not shown or displayed, which should be illustrated by the dashed lines of the display position 22a. If now the selection element 22 is guided in the vicinity of an object 18a, 18b or the associated markings 20a, 20b by the user, the selection element 22 is displayed, as shown in Fig. 3b.
  • a predetermined distance may be predetermined and / or a predetermined proximity area 24, so that when the selection element 22 is within this proximity area 24, the selection element is displayed, and when the selection element 22 or whose display position 22a is outside this area 24 and also in no other area associated with an object, the selector 22 itself is not displayed.
  • an unnecessary display of the selection element 22 and an unnecessary restriction of visibility as well as an unnecessary distraction of the driver or user can advantageously be avoided. If now the selection element 22 is displayed and this is further guided over the object, in this example the object 18b, or its marking 20b, then the information associated with the object 18b and provided on the data glasses 12 is faded in by means of the data glasses 12, as in FIG Fig. 3c shown.
  • the selection element 22 is again moved away from the object 18b or its marking 20b, and if the selection element 22 leaves again the predetermined area 24 or another, for example larger, predetermined area, then it can be provided that the indicated areas are shown Information automatically disappears. Alternatively, it may also be provided that the user can also hide the information manually or by any other predetermined operator action, such as a voice command, gesture control or the like.
  • the display position 22a is fixed with respect to the display surface 12a, so that when the user wearing the data glasses 12 moves his head, the display position 22a also faces the environment 18. speaking moving. That is, the user can change the display position 22a of the display element 22 relative to the surroundings 18 by head movements.
  • the display position 22a is in a central area of the field of view 16 and the user moves his head so that an object in the field of view 16 is also moved into the central area, e.g.
  • the selection element 22 is displayed at the display position 22a, the user continues to move his head to the coverage of selection element 22 and mark 20b and the object 18b, as in Fig. 3c, the information 26 to the object 18b appears.
  • the selection element 22 or its display position 22a can be moved in the direction of view, which can be implemented with an eye-tracking device which can be integrated in the data glasses 12.
  • the information 26 for the object 18b can now be entered directly. dazzle when the selection element 22 is passed over the marking 20b or the object 18b, or only further user input, such as a voice command or actuation of a mechanical input element, eg a button on the data glasses or on the motor vehicle, may be required to display the information 26. Also, all of these triggering variants could be implemented by the system as selectable options, so that a user can advantageously self-select which triggering mechanism to display the information 26, whether directly or only after further operator action.
  • a method for operating data glasses in a motor vehicle and a system which, by providing different information levels and successively fading in a selection element under certain conditions, enables the user, such as the driver of a motor vehicle, can provide a variety of information about its environment, but without overcrowding the field of view with such additional information. This achieves both a situation-adapted information display and an increase in traffic safety.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention relates to a method for operating data glasses (12) in a motor vehicle (14), wherein information (26) relating to an object (18a, 18b, 18c) which is external to the motor vehicle and which is arranged at a predetermined first position is made available, and it is checked whether the object (18a, 18b, 18c) is located in a predetermined field of vision (16) of the data glasses (12). According to the first condition of the check that the object (18a, 18b, 18c) is located in the predetermined field of vision (16), an optical mark (20a, b) which is assigned to the object (18a, 18b, 18c) is displayed by means of the data glasses (12), and according to the second condition that a predetermined selection operator control action of the user is detected, the information (26) relating to the object (18a, 18b, 18c) is displayed with the data glasses (12). As a result, a display of information which is better adapted to the situation is made available without over-filling the field of vision with additional information, thereby permitting an improvement in road safety.

Description

Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille  Method for operating data glasses in a motor vehicle and system with data glasses
BESCHREIBUNG: DESCRIPTION:
Die Erfindung geht aus von einem Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug, wobei eine Information über ein kraftfahrzeugexternes Objekt bereitgestellt wird, welches an einer vorbestimmten ersten Position angeordnet ist, und überprüft wird, ob sich das Objekt in einem vorbe- stimmten Sichtfeld der Datenbrille befindet. The invention is based on a method for operating data goggles in a motor vehicle, wherein information about an off-vehicle object is arranged, which is arranged at a predetermined first position, and it is checked whether the object in a predetermined field of view of the data glasses located.
Unter einer Datenbrille ist hierbei bevorzugt eine elektronische Datenbrille, wie beispielsweise eine Augmented-Reality-Brille zu verstehen. Es sind allgemein elektronische Datenbrillen bekannt, welche über eine Anzeigeeinrich- tung verfügen können, mittels welcher Informationen in ein Sichtfeld eines Trägers der Datenbrille eingeblendet werden können. Dabei ist es möglich, zu unterschiedlichsten Objekten, wie beispielsweise Personen, Gebäude und dergleichen, falls vorhanden, entsprechende Informationen mittels einer derartigen Datenbrille bereitzustellen. Befinden sich also derartige Objekte in einem vorbestimmten Sichtfeld der Datenbrille, so können die Informationen zu den entsprechenden Objekten mittels der Datenbrille eingeblendet werden, so dass diese aus der Sicht des Benutzers bzw. Trägers dem Realbild der Umgebung überlagert sind. Gerade auch für den Betrieb einer Datenbrille in einem Kraftfahrzeug können so zur Verfügung gestellte Zusatzinformationen an den Fahrer oder auch Mitfahrer sehr hilfreich und unterstützend sein. Befinden sich allerdings zu viele solcher Objekte, sogenannte„Points of Interest", im Sichtfeld, besteht das Problem, dass das Sichtfeld mit diesen zusätzlichen Informationen über- füllt sein kann und damit die Sicht auf die reale Umgebung behindert wird. Under a data glasses in this case is preferably an electronic data glasses, such as an augmented reality glasses to understand. Electronic data glasses are generally known, which may have a display device, by means of which information can be superimposed into a field of view of a wearer of the data glasses. It is possible to provide the most diverse objects, such as persons, buildings and the like, if available, corresponding information by means of such data glasses. If such objects are thus located in a predetermined field of view of the data glasses, the information about the corresponding objects can be superimposed by means of the data glasses, so that these are superimposed on the real image of the environment from the point of view of the user or carrier. Especially for the operation of a data glasses in a motor vehicle so provided additional information to the driver or passengers can be very helpful and supportive. However, if too many such objects, so-called "points of interest" are in the field of view, there is the problem that the field of view can be filled with this additional information and thus hinder the view of the real environment.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und ein System mit einer Datenbrille bereitzustellen, mittels welchen sich Informationen Situationsange- passter bereitstellen I The object of the present invention is therefore to provide a method for operating data glasses in a motor vehicle and a system with data glasses, by means of which information can provide the passport I
Diese Aufgabe wird gelöst durch ein Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und einem System mit einer Datenbrille gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Ansprüchen. This object is achieved by a method for operating data glasses in a motor vehicle and a system with data glasses according to the independent claims. Advantageous embodiments of the invention can be found in the dependent claims.
Das erfindungsgemäße Verfahren zeichnet sich nun dadurch aus, dass unter der ersten Bedingung, dass die Überprüfung ergibt, dass sich das Objekt im vorbestimmten Sichtfeld befindet, eine dem Objekt zugeordnete optische Markierung mittels der Datenbrille angezeigt wird und unter der zweiten Bedingung, dass eine vorbestimmte Auswahlbedienhandlung des Benutzers erfasst wird, die Information über das Objekt mit der Datenbrille angezeigt wird. The method according to the invention is characterized in that, under the first condition that the check reveals that the object is in the predetermined field of view, an optical marking associated with the object is displayed by means of the data glasses and under the second condition that a predetermined selection operation of the user, the information about the object is displayed with the data glasses.
Durch das Anzeigen von bevorzugt räumlich korrekt zugeordneten, zum Beispiel auf dem Objekt befindlichen bzw. dieses überdeckenden oder darüber schwebenden und/oder sich in einem Maximalabstand zum Objekt befindlichen Markierungen, ist es also vorteilhafter Weise möglich, dem Nutzer zu signalisieren, dass hier Informationen zum Objekt vorliegen, ohne die Informationen selbst gleich einblenden zu müssen. Erst wenn zumindest die vorbestimmte Auswahlbedienhandlung erfasst wird, wird auch die Information über das Objekt mit der Datenbrille angezeigt. Durch diese unterschiedlichen Informationslevel bzw. diesen mehrstufigen Prozess bis zum Anzeigen der letztendlichen Information über das Objekt, wird also vorteilhafterweise vermieden, auch wenn sich sehr viele solcher Objekte, zu denen Informationen bereitgestellt sind, im vorbestimmten Sichtfeld der Datenbrille befinden, dass das Sichtfeld mit diesen zusätzlichen Informationen überhäuft wird. Der Benutzer kann sich also diese zusätzlichen Informationen nur dann anzeigen lassen, wenn dies auch gewünscht ist. Dadurch lässt sich eine deutlich bessere und situationsangepasstere Bereitstellung von Informationen mit einer Datenbrille ermöglichen. By displaying preferably spatially correct assigned, for example, located on the object or this overlapping or floating above and / or located at a maximum distance to the object marks, so it is advantageously possible to signal to the user that here information for Object without having to fade in the information itself. Only when at least the predetermined Auswahlbedienhandlung is detected, also the information about the object with the data glasses is displayed. By means of these different information levels or this multistage process up to the display of the final information about the object, it is thus advantageously avoided even if very many such objects to which information is provided are in the predetermined field of view of the data glasses, that the field of view with these additional information is overwhelmed. The user can therefore display this additional information only if this is also desired. This makes it possible to provide a much better and situation-adapted provision of information with data glasses.
Bei einer vorteilhaften Ausgestaltung der Erfindung wird bei der Überprüfung, ob sich das Objekt in einem vorbestimmten Sichtfeld der Datenbrille befindet, eine Positionsinformation über das Objekt, die beispielsweise von einer Einrichtung des Kraftfahrzeugs bereitgestellt werden kann, mit einer Positionsinformation über die Datenbrille verglichen. Um die Positionsinformation über das Objekt sowie die Positionsinformation über die Datenbrille bereitzustellen gibt es vielzählige Möglichkeiten. Beispielsweise können zur Bereitstellung der Positionsinformation über das Objekt Einrichtungen des Kraftfahrzeugs, wie beispielsweise ein GPS-System, ein Navigationssystem, eine Internetverbindung und dergleichen genutzt werden, mittels welchen sich die Positi- onsinformation, wie beispielsweise der geographische Ort, und darüber hinaus auch die Information über das kraftfahrzeugexterne Objekt bereitstellen lassen. Auch ist es denkbar, dass diese Informationen über entsprechende Einrichtungen der Datenbrille selbst bereitgestellt werden. Auch die Positionsinformation über die Datenbrille kann von der Datenbrille selbst und/oder durch das Kraftfahrzeug bereitgestellt werden. Das Kraftfahrzeug kann beispielsweise eine entsprechende Erfassungseinrichtung aufweisen, mittels welcher Position, Orientierung, eine Positionsänderung oder Orientierungsänderung der Datenbrille in Bezug auf ein Koordinatensystem, beispielsweise das Kraftfahrzeugkoordinatensystem, erfasst werden kann. Weiterhin können durch das Kraftfahrzeug auch Informationen über dessen eigene Position und Orientierung relativ zu seiner Umgebung, beispielsweise durch Navigationsdaten, GPS, Erfassung der Bewegungsrichtung des Kraftfahrzeugs und dergleichen bereitgestellt werden. Daraus kann beispielsweise auch die Position und Orientierung der Datenbrille relativ zur Umgebung des Kraftfahrzeugs, und damit in Bezug zum kraftfahrzeugexternen Objekt in der Umgebung ermittelt werden. Auch kann die Datenbrille selbst geeignete Erfassungsmittel aufweisen, durch die sich Informationen über die Position und Orientierung der Datenbrille relativ zu ihrer Umgebung bestimmen lässt, z.B. GPS, eine Internetverbindung, Bewegungssensoren und/oder eine oder mehrere Umfeldkameras. Auch das Vergleichen der Positionsinformation über die Datenbrille mit der Positionsinformation über das Objekt kann von der Datenbrille und/oder dem Kraftfahrzeug ausgeführt werden. Dabei ist es also besonders vorteilhaft, wenn das Kraftfahrzeug und die Datenbrille eine kommunikative Verbindung zueinander, zum Beispiel über WLAN, Funk und dergleichen, aufweisen. So können gegebenenfalls die entsprechenden Informationen, die für diesen Vergleich erforderlich sind, von der Datenbrille zum Kraftfahrzeug und umgekehrt übermittelt werden. Je mehr Funktionen die Datenbrille dabei selbst übernimmt, desto autarker kann die Datenbrille verwendet werden. Da die Datenbrille aber gerade in einem Kraftfahrzeug betrieben werden soll, ist es besonders vorteilhaft, Funktionen auch in das Kraftfahrzeug auszulagern, da sich dadurch sowohl das Gewicht der Datenbrille, ihre Kosten und auch der erforderliche Bauraum für die Datenbrille reduzieren lassen. Dies erhöht vor allem den Tragekomfort. Zusätzlich kann so vorteilhafterweise auch die durch das Kraftfahrzeug bereitgestellte Rechen- leistung genutzt werden, und vor allem auch Informationen, die dem Kraftfahrzeug sowieso zur Verfügung stehen, beispielsweise über das Navigationssystem. Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung zeigt die Datenbrille ein Auswahlelement an, beispielsweise einen Cursor oder ein Fadenkreuz, wobei die zweite Bedingung erfüllt ist, wenn erfasst wird, dass das Auswahlelement sich in einer vorbestimmten zweiten Position relativ zur ersten Position des Objekts und/oder der dem Objekt zugeordneten Markierung befindet. Dabei ist eine Position des Auswahlelements relativ zur ersten Position des Objekts und/oder der Markierung durch den Benutzer steuerbar, insbesondere wobei die vorbestimmte zweite Position des Auswahlelements dadurch bestimmt ist, dass sich das Auswahlelement zumindest teilweise in Überdeckung mit dem Objekt und/oder der Markierung befindet. Beispiels- weise kann ein Cursor oder ein Fadenkreuz durch die Datenbrille angezeigt werden, das aus Sicht des Benutzers der realen Umgebung überlagert ist. Auch kann durch eine Kopfbewegung des Benutzers die Position des angezeigten Fadenkreuzes relativ zu seiner realen Umgebung verändert werden. Des Weiteren ist es denkbar, dass dieses Auswahlelement mittels Eye- tracking, das heißt auch ohne notwendige Kopfbewegung, im Sichtfeld des Benutzers in Abhängigkeit von dessen erfasster Blickrichtung bewegt werden kann. Die zweite Bedingung, die besagt, dass zumindest erst eine vorbestimmte Auswahlbedienhandlung des Benutzers erfasst werden muss, damit die Information über das Objekt mit der Datenbrille angezeigt wird, ist also erfüllt, wenn sich dieses Auswahlelement in einer bestimmten Position bezüglich des Objekts bzw. dessen Markierung befindet, nämlich vorzugsweise in Überdeckung oder teilweiser Überdeckung mit dem Objekt und/oder der Markierung, insbesondere aus der Benutzerperspektive oder eine die Benutzerperspektive approximierenden vorbestimmten Perspektive. Diese Relativ- position zwischen Auswahlelement und Objekt bezieht sich daher bevorzugt auf eine Projektion der beiden Positionen auf eine vorbestimmte Ebene, z.B. einer Ebene senkrecht zu einer Mittelachse der Datenbrille, die bevorzugt durch die Mitte der beiden Augen eines Benutzers verläuft, oder eine Ebene parallel zur Anzeigefläche oder Bildebene der Datenbrille, oder eine Ebene senkrecht zur gemittelten Blickrichtung der beiden Augen oder einer Blickrichtung zumindest eines Auges des Benutzers, für den Fall, dass die Datenbrille einen Eyetracker aufweist. Der Abstand der beiden Positionen in Blickrichtung bzw. in Richtung der Mittelachse der Datenbrille ist also nicht relevant, nur der Abstand dieser beiden Positionen senkrecht zur diesen Rieh- tungen. Der Benutzer kann also auf besonders vorteilhafte und einfache Weise durch Bewegen des Auswahlelements die vorbestimmte Auswahlbedienhandlung durchführen und damit das Objekt auswählen, in Folge dessen die Information über das Objekt mit der Datenbrille angezeigt wird. In an advantageous embodiment of the invention, when checking whether the object is located in a predetermined field of view of the data glasses, a position information about the object, which can be provided for example by a device of the motor vehicle, compared with a position information on the data glasses. To provide the position information about the object as well as the position information on the data glasses There are many possibilities. For example, to provide the position information about the object, devices of the motor vehicle, such as a GPS system, a navigation system, an Internet connection and the like can be used, by means of which the position information, such as the geographical location, and also the information can be deployed via the vehicle-external object. It is also conceivable that this information is provided via corresponding devices of the data glasses themselves. The position information on the data glasses can also be provided by the data glasses themselves and / or by the motor vehicle. By way of example, the motor vehicle can have a corresponding detection device by means of which position, orientation, a change in position or orientation change of the data glasses with respect to a coordinate system, for example the motor vehicle coordinate system, can be detected. Furthermore, the motor vehicle can also provide information about its own position and orientation relative to its surroundings, for example by means of navigation data, GPS, detection of the direction of movement of the motor vehicle and the like. From this, for example, the position and orientation of the data glasses relative to the surroundings of the motor vehicle, and thus in relation to the motor vehicle external object in the environment can be determined. The data glasses themselves can also have suitable detection means by which information about the position and orientation of the data glasses relative to their surroundings can be determined, eg GPS, an Internet connection, motion sensors and / or one or more surrounding cameras. Also, the comparison of the position information on the data glasses with the position information about the object can be performed by the data glasses and / or the motor vehicle. It is thus particularly advantageous if the motor vehicle and the data glasses have a communicative connection with one another, for example via WLAN, radio and the like. Thus, if appropriate, the corresponding information required for this comparison can be transmitted from the data glasses to the motor vehicle and vice versa. The more functions the data glasses take on themselves, the more self-sufficient the data glasses can be used. Since the data glasses but just to be operated in a motor vehicle, it is particularly advantageous to outsource functions in the motor vehicle, as this can reduce both the weight of the data glasses, their cost and the required space for the data glasses. This especially increases the wearing comfort. In addition, the calculation method provided by the motor vehicle can advantageously also be used. be used and, above all, information that the motor vehicle anyway available, for example via the navigation system. In a further advantageous embodiment of the invention, the smart glasses display a selection element, for example a cursor or a crosshair, wherein the second condition is satisfied when it is detected that the selection element in a predetermined second position relative to the first position of the object and / or the mark associated with the object. In this case, a position of the selection element relative to the first position of the object and / or the marking can be controlled by the user, in particular wherein the predetermined second position of the selection element is determined by the selection element at least partially coinciding with the object and / or the marking located. For example, a cursor or a crosshair may be displayed through the data glasses superimposed on the real environment from the user's point of view. Also, by a head movement of the user, the position of the displayed reticle can be changed relative to its real environment. Furthermore, it is conceivable that this selection element can be moved by means of eye tracking, that is to say also without necessary head movement, in the field of vision of the user as a function of the detected viewing direction. The second condition, which states that at least only a predetermined selection operation of the user must be detected, so that the information on the object with the data glasses is displayed, is therefore satisfied if this selection element in a certain position with respect to the object or its mark preferably in overlapping or partial covering with the object and / or the marking, in particular from the user perspective, or a predetermined perspective approximating the user perspective. This relative position between selection element and object therefore preferably relates to a projection of the two positions on a predetermined plane, for example a plane perpendicular to a center axis of the data glasses, which preferably passes through the center of the two eyes of a user, or a plane parallel to Display surface or image plane of the data glasses, or a plane perpendicular to the average viewing direction of the two eyes or a viewing direction of at least one eye of the user, in the event that the data glasses has an eye tracker. The distance between the two positions in the viewing direction or in the direction of the center axis of the data glasses is therefore not relevant, only the distance of these two positions perpendicular to this axis. obligations. The user can thus perform in a particularly advantageous and simple manner by moving the selection element, the predetermined Auswahlbedienhandlung and thus select the object, as a result, the information about the object with the data glasses is displayed.
Dabei kann die Information über das Objekt beispielsweise unmittelbar nach dieser Bedienhandlung angezeigt werden. Da das Auswahlelement, für den Fall, dass sich mehrere Objekte im Sichtfeld befinden, immer nur mit genau einem dieser Objekte bzw. einer deren Markierungen in Überdeckung ge- bracht werden kann, kann auch immer nur die Information über das betreffenden Objekt angezeigt werden, und nicht Informationen zu mehreren solcher Objekte gleichzeitig. Auch dadurch ist gewährleistet, dass das Blickfeld des Benutzers nicht durch zusätzliche Informationen überfüllt ist. Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Information über das Objekt nur unter der weiteren, dritten Bedingung, dass eine vorbestimmte Benutzereingabe, insbesondere eine manuelle Betätigung eines Bedienelements und/oder ein Sprachbefehl und/oder eine Bediengeste, erfasst wurde, angezeigt. Diese Ausgestaltung, bei der zur Ausgabe weiter- führender Informationen ein Sprachbefehl erfolgen oder ein mechanisches Eingabeelement betätigt oder irgendeine andere aktive Bedienhandlung bzw. Betätigungshandlung erfolgen muss, hat den Vorteil, dass gerade für den Fahrer kritische zeitgebundene Auslösemechanismen vermieden werden. Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist eine Anzeigeposition des Auswahlelements auf einer Anzeigefläche der Datenbrille fest. Das heißt, wird das Auswahlelement durch die Datenbrille angezeigt, dann wird dieses immer an derselben Stelle der Anzeigefläche angezeigt. Eine Bewegung des Auswahlelements relativ zur Umgebung erfolgt dann zum Beispiel mittels Kopfbewegung durch den Benutzer und einer dadurch bedingten Bewegung der Datenbrille relativ zur Umgebung. Diese feste Anzeigeposition ist dann bevorzugt der Gestalt, dass das Auswahlelement in einem zentralen Bereich des Sichtfelds des Benutzers bzw. der Datenbrille eingeblendet wird. Dies lässt sich beispielsweise dadurch realisieren, dass dieses Auswahlelement in einen Bereich der Anzeigefläche projiziert wird, oder in diesem Bereich angezeigt wird, der sich beim Tragen der Brille direkt vor dem Auge befindet. Dadurch ist eine besonders einfache Steuermöglichkeit des Auswahlelements in seiner Position relativ zur Umgebung gegeben. Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist eine Anzeigeposition des Auswahlelements auf einer Anzeigefläche der Datenbrille variabel, wobei die Anzeigeposition in Abhängigkeit von einer erfassten Blickrichtung des Benutzers geändert wird. Wie bereits erwähnt, kann die Daten- brille auch eine Eyetrackingeinrichtung aufweisen, mittels welcher die Blickrichtung des Benutzers erfasst werden kann und in Abhängigkeit von der erfassten Blickrichtung die Anzeigeposition des Auswahlelements geändert werden kann. Dadurch lässt sich die Position des Auswahlelements noch flexibler steuern. In this case, the information about the object can be displayed, for example, immediately after this operator action. Since the selection element, in the case where several objects are in the field of view, can always be coincided with precisely one of these objects or one of their markings, only the information about the relevant object can always be displayed, and not information about several such objects simultaneously. This also ensures that the field of view of the user is not overcrowded by additional information. In a further advantageous embodiment of the invention, the information about the object is displayed only under the further, third condition that a predetermined user input, in particular a manual actuation of an operating element and / or a voice command and / or an operator gesture, has been detected. This refinement, in which a voice command is issued to output further information, or a mechanical input element is actuated or any other active operator action or actuation action must take place, has the advantage that critical time-based triggering mechanisms are avoided, especially for the driver. In a further advantageous embodiment of the invention, a display position of the selection element is fixed on a display surface of the data glasses. That is, the selection element is displayed by the data glasses, then this is always displayed at the same location of the display area. A movement of the selection element relative to the environment then takes place for example by means of head movement by the user and a consequent movement of the data glasses relative to the environment. This fixed display position is then preferably in the form that the selection element is superimposed in a central region of the field of view of the user or the data glasses. This can be realized, for example, by projecting this selection element into a region of the display surface or by displaying it in this region, which is located directly in front of the eye when wearing the spectacles. As a result, a particularly simple control option of the selection element is given in its position relative to the environment. In a further advantageous embodiment of the invention, a display position of the selection element on a display surface of the data glasses is variable, wherein the display position is changed depending on a detected viewing direction of the user. As already mentioned, the data glasses can also have an eye-tracking device by means of which the viewing direction of the user can be detected and the display position of the selection element can be changed as a function of the detected viewing direction. This makes it possible to control the position of the selection element even more flexible.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird das Auswahlelement nur dann angezeigt, wenn erfasst wird, dass sich das Objekt und/oder die zugeordnete Markierung in einem ersten vorbestimmten Bereich des Sichtfelds der Datenbrille befindet. Auch das Einblenden des Aus- wahlelements selbst nimmt dem Benutzer einen Teil seiner Sicht auf die reale Umgebung. Dies kann nun vorteilhafterweise vermieden werden, indem auch das Auswahlelement situationsangepasst angezeigt werden kann, das heißt also nicht immer, sondern nur, wenn sich das Objekt bzw. die Markierung in einem ersten vorbestimmten Bereich des Sichtfelds befindet. In a further advantageous embodiment of the invention, the selection element is only displayed when it is detected that the object and / or the associated marking is located in a first predetermined area of the field of view of the data glasses. Even the fade-in of the selection element itself takes the user part of his view of the real environment. This can now be advantageously avoided by also the selection element can be displayed situation adapted, that is, not always, but only if the object or the marker is in a first predetermined range of the field of view.
Dieser vorbestimmte Bereich des Sichtfelds der Datenbrille kann beispielsweise fest sein, wenn dem Auswahlelement ebenfalls eine feste Anzeigeposition zugeordnet ist oder auch variabel, z.B. wenn die Anzeigeposition des Auswahlelements in Abhängigkeit von der erfassten Blickrichtung variierbar ist, dann kann also auch der vorbestimmte Bereich des Sichtfelds in Abhängigkeit von der erfassten Blickrichtung bestimmt und festgelegt werden. Mit anderen Worten ist dem Auswahlelement bevorzugt eine Anzeigeposition zugeordnet, die fest oder variabel ist, und an welcher das Auswahlelement anzeigbar ist, wobei das Auswahlelement nur dann angezeigt wird, wenn sich die Anzeigeposition nach einem vorbestimmten Kriterium in der Nähe des durch die Datenbrille betrachteten Objekts und/oder dessen Markierung befindet. Damit also das Auswahlelement nicht permanent das Sichtfeld be- einflusst, kann es auch selektiv immer nur dann eingeblendet werden, wenn es sich aus der Sicht des Benutzers in der Nähe des Objekts und/oder des- sen Markierung befindet. Ist die Anzeigeposition beispielsweise fest, kann das Auswahlelement erst dann angezeigt werden, wenn das Objekt und/oder seine Markierung beispielsweise ins Zentrum des Sichtfelds rückt. Dann kann ohne oder aber auch mit vorbestimmtem zeitlichen Versatz das Auswahlelement angezeigt werden. Das vorbestimmte Kriterium kann beispiels- weise darin bestehen, dass das Auswahlelement erst dann angezeigt wird, wenn es einen vorbestimmten Abstand zum Objekt unterschreitet, wobei der Abstand hier wiederum aus Sicht des Benutzers bzw. einer vorbestimmten Perspektive zu sehen ist, beispielsweise als ein Abstand in einer Ebene senkrecht zur Blickrichtung des Benutzers oder auch auf eine zentrale Achse bzw. die Mittelachse der Datenbrille bezogen. Auch wäre es denkbar, dass das Auswahlelement erst nach Ablauf einer ersten vorbestimmten Zeitdauer, während der sich die Anzeigeposition und das Objekt bzw. dessen Markierung in Überdeckung befinden, angezeigt wird, und z.B. nach Ablauf einer zweiten vorbestimmten Zeitdauer, während der sich anschließend das angezeigte Auswahlelement und das Objekt bzw. dessen Markierung in Überdeckung befinden, die Information über das Objekt angezeigt wird. This predetermined range of the field of view of the data glasses can be fixed, for example, if the selection element is also assigned a fixed display position or variable, eg if the display position of the selection element is variable depending on the detected line of sight, then so can the predetermined range of the field of view in Depending on the detected line of sight are determined and determined. In other words, the selection element is preferably associated with a display position that is fixed or variable, and to which the selection element can be displayed, wherein the selection element is displayed only when the display position according to a predetermined criterion in the vicinity of the viewed through the data glasses object and / or its mark is located. So that the selection element does not permanently influence the field of view, it can also be selectively displayed only if it is located in the vicinity of the object and / or its marking from the user's point of view. If the display position is fixed, for example, the selection element can only be displayed when the object and / or its marking moves, for example, into the center of the field of view. Then, without or even with a predetermined time offset, the selection element can be displayed. The predetermined criterion may, for example, example, in that the selection element is displayed only when it falls below a predetermined distance from the object, the distance here again from the perspective of the user or a predetermined perspective can be seen, for example, as a distance in a plane perpendicular to the viewing direction of the User or on a central axis or the center axis of the data glasses. It would also be conceivable that the selection element is displayed only after a first predetermined period of time during which the display position and the object or its mark are in overlap, and for example after expiration of a second predetermined period of time, during which the displayed Selection element and the object or its mark are in overlap, the information about the object is displayed.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Infor- mation nur solange angezeigt, solange sich das Objekt und/oder dessen Markierung in einem zweiten vorbestimmten Bereich des Sichtfelds der Datenbrille befindet und/oder solange sich ein Bereich, in dem die Information angezeigt wird, in einem vorbestimmten Bereich des Sichtfelds der Datenbrille befindet und/oder bis eine Bedienhandlung des Benutzers zum Beenden der Anzeige der Information erfasst wird. Um also die Anzeige der Information zu beenden, gibt es vielzählige vorteilhafte Möglichkeiten. Beispielsweise kann dies durch eine aktive Bedienhandlung des Benutzers geschehen, was den Vorteil hat, dass der Benutzer selbst bestimmen kann, wie lang ihm die Informationen angezeigt werden, auch wenn er währenddessen beispiels- weise seinen Blick oder Kopf in eine andere Richtung wendet. Alternativ kann auch die Information nur solange angezeigt werden, wie sich das Objekt, dessen zugeordnete Markierung oder die angezeigte Information in einem vorbestimmten Bereich des Sichtfelds befinden. Mit anderen Worten wendet der Benutzer seinen Blick vom Objekt oder der angezeigten Informa- tion ab, oder dreht seinen Kopf weg, so dass sich das Objekt nicht mehr in dem vorbestimmten Bereich des Sichtfelds, und zum Beispiel nur noch am Rand, befindet, so kann die Anzeige der Information automatisch beendet werden. Dies hat den Vorteil, dass der Benutzer allein durch Kopfbewegungen oder seine Blickrichtung steuern kann, wo und wann ihm Informationen zu welchem Objekt angezeigt werden. Auch kann es vorgesehen sein, dass die Anzeige der Information dann beendet wird, wenn das Objekt den vorbestimmte Bereich des Sichtfelds für eine vorbestimmte Mindestzeitdauer verlassen hat. Dies hat den Vorteil, das eine geringfügige, kurzzeitige oder versehentliche Kopfbewegung des Benutzers nicht gleich dazu führt, dass die Informationsanzeige ungewollt beendet wird. In a further advantageous embodiment of the invention, the information is displayed only as long as the object and / or its mark is in a second predetermined area of the field of view of the data glasses and / or as long as an area in which the information is displayed, is located in a predetermined range of the field of view of the data glasses and / or until an operator action of the user for terminating the display of the information is detected. So to stop the display of information, there are many advantageous opportunities. For example, this can be done by an active operator action of the user, which has the advantage that the user can determine how long the information is displayed to him, even if he, for example, turns his gaze or head in a different direction. Alternatively, the information can only be displayed as long as the object, its associated marking or the displayed information are located in a predetermined area of the field of view. In other words, the user averts his gaze from the object or displayed information, or turns his head away so that the object is no longer in the predetermined area of the field of view, and only at the edge, for example the display of the information will be ended automatically. This has the advantage that the user can control solely by head movements or his viewing direction, where and when information on which object are displayed to him. It can also be provided that the display of the information is terminated when the object has left the predetermined area of the field of view for a predetermined minimum period of time. This has the advantage that a slight, short-term or accidental head movement of the user does not immediately lead to the Information display is ended unintentionally.
Des Weiteren betrifft die Erfindung ein System mit einer Datenbrille, wobei eine Information über ein datenbrillenexternes Objekt, welches an einer vor- bestimmten ersten Position angeordnet ist, an der Datenbrille bereitstellbar ist, und wobei das System dazu ausgelegt ist, zu überprüfen, ob sich das Objekt in einem vorbestimmten Sichtfeld der Datenbrille befindet. Weiterhin ist die Datenbrille dazu ausgelegt, eine vorbestimmte Auswahlbedienhandlung des Benutzers zu erfassen, und unter der ersten Bedingung, dass die Überprüfung ergibt, dass sich das Objekt im vorbestimmten Sichtfeld befindet, eine dem Objekt zugeordnete optische Markierung darzustellen, und unter der zweiten Bedingung, dass die vorbestimmte Auswahlbedienhandlung des Benutzers erfasst wurde, die Information über das Objekt anzuzeigen. Furthermore, the invention relates to a system with data goggles, wherein information about an off-screen object, which is arranged at a predetermined first position, is provided on the data goggles, and wherein the system is designed to check whether the Object is located in a predetermined field of view of the data glasses. Furthermore, the data glasses are designed to detect a predetermined selection operation of the user, and under the first condition that the check reveals that the object is in the predetermined field of view, to represent an optical mark associated with the object, and under the second condition the user's predetermined selection operation has been detected to display the information about the object.
Die für das erfindungsgemäße Verfahren und seine Ausgestaltungen genannten Merkmale, Merkmalskombinationen und deren Vorteile gelten in gleicher Weise für das erfindungsgemäße System. Darüber hinaus ermöglichen die in Zusammenhang mit dem erfindungsgemäßen Verfahren und sei- nen Ausgestaltungen genannten Verfahrensschritte die Weiterbildung des erfindungsgemäßen Systems durch weitere gegenständliche Merkmale. The features, feature combinations and their advantages mentioned for the method according to the invention and its embodiments apply in the same way to the system according to the invention. In addition, the method steps mentioned in connection with the method according to the invention and its embodiments make possible the further development of the system according to the invention by further objective features.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegeben Kombination, sondern auch in anderen Kombinationen oder in Alleinstel- lung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Further advantages, features and details of the invention will become apparent from the following description of preferred embodiments and from the drawing. The features and combinations of features mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone To leave frame of the invention.
Dabei zeigen: Showing:
Fig. 1 eine schematische Darstellung eines Systems mit einer Daten- brille, wobei die Datenbrille zum Betrieb in dem schematisch dargestellten Kraftfahrzeug vorgesehen ist, gemäß einem Ausführungsbeispiel der Erfindung; Fig. 2 eine schematische Darstellung der Datenbrille in einer Draufsicht zur Veranschaulichung des Sichtfelds der Datenbrille mit sich in einer Umgebung der Datenbrille befindlichen Objekten; eine schematische Darstellung einer Sicht durch die Datenbrille, bei welcher die Anzeigeposition eines nicht angezeigten Anzeigelements sich nicht in der Nähe der im Sichtfeld der Datenbrille befindlichen Objekte befindet, zur Veranschaulichung des Verfahrens zum Betreiben der Datenbrille gemäß einem Ausführungsbeispiel der Erfindung; eine schematische Darstellung einer weiteren Sicht auf die Datenbrille, bei welcher die Anzeigeposition des nun angezeigten Anzeigelements sich in der Nähe eines der im Sichtfeld der Datenbrille befindlichen Objekte befindet, zur Veranschaulichung des Verfahrens zum Betreiben der Datenbrille gemäß einem Ausführungsbeispiel der Erfindung; und eine weitere schematische Darstellung der Sicht durch die Datenbrille, bei welcher das angezeigte Anzeigelement sich in Überdeckung mit einem der im Sichtfeld der Datenbrille befindlichen Objekte befindet und die zum Objekt bereitgestellten Informationen angezeigt werden, zur Veranschaulichung des Verfahrens zum Betreiben der Datenbrille gemäß einem Ausführungsbeispiel der Erfindung. 1 is a schematic representation of a system with a data glasses, wherein the data glasses are provided for operation in the motor vehicle shown schematically, according to an embodiment of the invention; 2 shows a schematic illustration of the data glasses in a plan view for illustrating the field of view of the data glasses with objects located in an environment of the data glasses; a schematic representation of a view through the data glasses, in which the display position of a non-displayed display element is not located in the vicinity of the field of view of the data glasses objects, illustrating the method for operating the data glasses according to an embodiment of the invention; a schematic representation of another view of the data glasses, in which the display position of the display element now displayed is located in the vicinity of one of the objects in the field of view of the data glasses, illustrating the method for operating the data glasses according to an embodiment of the invention; and another schematic representation of the view through the data glasses, in which the displayed display element is in coincidence with one of the objects in the field of view of the data glasses and the information provided to the object are displayed, illustrating the method for operating the data glasses according to an embodiment of the Invention.
Fig. 1 zeigt eine schematische Darstellung eines Systems 10 mit einer Datenbrille 12, wobei die Datenbrille 12 zum Betrieb in einem ebenfalls dargestellten Kraftfahrzeug 14 vorgesehen ist. Das Kraftfahrzeug 14 kann dabei optional ebenfalls Teil des Systems 10 sein. Die Datenbrille 12 ist dazu ausgelegt, in die durch die Datenbrille 12, insbesondere durch eine Anzeigefläche 12a, die in diesem Beispiel als Brillengläser ausgebildet ist, wahrnehmbare reale Umgebung der Datenbrille 12 digitale künstliche Inhalte einzublenden. Dies kann beispielsweise durch Projektion von digitalen Inhalten auf die Anzeigefläche 12a und über diese auf die Augen eines Benutzers erfolgen, oder auch, bei einer Ausbildung der Anzeigefläche 12a als Displays mit änderbarem Transparenzgrad, durch eine entsprechende Ansteuerung einzelner Displaybereiche. Zur Steuerung der Datenbrille 12 weist diese weiterhin eine Steuereinrichtung 12b auf, welche die Anzeige der digitalen Inhalte, sowie auch weitere Funktionen der Datenbrille 12 steuert. Optional kann die Datenbrille weiterhin eine Außenkamera 12c aufweisen, um Bilder der realen Umgebung aufzunehmen und gegebenenfalls, um die aufgenommenen Bilder hinsichtlich in der realen Umgebung der Datenbrille 12 befindlicher Ob- jekte zu untersuchen und/oder um eine Position und Orientierung der Datenbrille 12 relativ zu ihrer Umgebung zu ermitteln. Darüber hinaus weist die Datenbrille 12 eine Bewegungserfassungseinrichtung 12d auf, mittels welcher sich die Position, Positionsänderungen, die Orientierung der Datenbrille 12 und Orientierungsänderungen bezüglich der Umgebung oder einem vor- bestimmten Koordinatensystem erfassen lassen. Weiterhin kann die Datenbrille 12 optional ein Kommunikationsmodul 12e aufweisen, über welche eine kommunikative Verbindung zum Kraftfahrzeug 14 herstellbar ist. Über diese kommunikative Verbindung lassen sich Daten der Datenbrille 12 an das Kraftfahrzeug 14 übermitteln und umgekehrt. Entsprechend weist auch das Kraftfahrzeug 14 bevorzugt eine derartige Kommunikationseinrichtung auf, um mit der Datenbrille 12 zu kommunizieren. Diese Kommunikationsverbindung kann beispielsweise drahtlos über Funk, WLAN, Bluetooth, oder auch drahtgebunden realisiert sein. Das Kommunikationsmodul 12e der Datenbrille 12 kann zusätzlich auch weitere Funktionen übernehmen und beispiels- weise auch einen GPS-Empfänger aufweisen und/oder eine Internetverbindung zur Verfügung stellen. Das System 10 ist nun dazu ausgelegt, Informationen über kraftfahrzeugexterne Objekte an der Datenbrille 12 bereitzustellen, und wenn diese Objekte in einem vorbestimmten Sichtfeld der Datenbrille liegen, Markierungen dieser jeweiligen Objekte mittels der Datenbrille 12 einzublenden, die den jeweiligen Objekten räumlich zugeordnet sind. Dabei kann es vorgesehen sein, dass die Datenbrille 12 allein all diese Funktionen übernimmt und ausführt oder dass Teile dieser beschriebenen Funktionen, wie beispielsweise das Bereitstellen von Informationen über die in der Umgebung befindlichen Objekte, die Positionen dieser Objekte, die Überprü- fung, ob sich diese Objekte im Sichtfeldbereich der Datenbrille befinden, vom Kraftfahrzeug 14 ausgeführt werden. FIG. 1 shows a schematic representation of a system 10 with data glasses 12, wherein the data glasses 12 are provided for operation in a likewise illustrated motor vehicle 14. The motor vehicle 14 may optionally also be part of the system 10. The data goggles 12 are designed to display digital artificial contents in the real environment of the data goggles 12 perceivable by the data goggles 12, in particular by a display surface 12a, which in this example is in the form of spectacle lenses. This can be done for example by projection of digital content on the display surface 12a and this on the eyes of a user, or also, in an embodiment of the display surface 12a as displays with changeable degree of transparency, by a corresponding control of individual display areas. For controlling the data glasses 12, the latter also has a control device 12b, which displays the digital contents, as well as other functions of the data glasses 12 controls. Optionally, the data glasses may further comprise an external camera 12c to capture images of the real environment and, if appropriate, to examine the recorded images for objects located in the real environment of the data glasses 12 and / or position and orientation of the data glasses 12 relative to to determine their environment. In addition, the data glasses 12 have a movement detection device 12d, by means of which the position, position changes, the orientation of the data glasses 12 and orientation changes with respect to the environment or a predetermined coordinate system can be detected. Furthermore, the data glasses 12 can optionally have a communication module 12e via which a communicative connection to the motor vehicle 14 can be produced. Via this communicative connection, data of the data glasses 12 can be transmitted to the motor vehicle 14 and vice versa. Correspondingly, the motor vehicle 14 also preferably has such a communication device in order to communicate with the data goggles 12. This communication connection can be implemented, for example, wirelessly via radio, WLAN, Bluetooth, or even wired. The communication module 12e of the data glasses 12 can additionally also assume additional functions and, for example, also have a GPS receiver and / or provide an Internet connection. The system 10 is now adapted to provide information about off-vehicle objects to the data glasses 12, and when those objects are within a predetermined field of view of the data glasses, to display markers of those respective objects by means of the data glasses 12 spatially associated with the respective objects. It may be provided that the data glasses 12 alone take over and execute all these functions or that parts of these described functions, such as providing information about the objects in the environment, the positions of these objects, the check whether these objects are located in the field of view of the data glasses, are executed by the motor vehicle 14.
Dazu kann das Kraftfahrzeug 14 entsprechende Einrichtungen aufweisen, wie beispielsweise ein Navigationssystem 14a zum Bereitstellen von Naviga- tionsdaten, ein GPS-System 14b, welches auch Teil des Navigationssystems 14a sein kann, ein Kommunikationsmodul 14c zur Kommunikation mit der Datenbrille 12 und/oder zum Bereitstellen einer Internetverbindung, Fahrzeugsensoren 14d zum Bereitstellen weiterer kraftfahrzeugspezifischer Daten, beispielsweise die Kraftfahrzeuggeschwindigkeit, eine Trackingeinrich- tung 14e, um beispielsweise die Position und Orientierung der Datenbrille 12 relativ zum Kraftfahrzeug 14 zu erfassen, und eine Steuereinrichtung 14f, um die genannten Systeme und Einrichtungen zu steuern. Fig. 2 zeigt nun eine schematische Darstellung der Datenbrille 12 in einer Draufsicht zur Veranschaulichung des Sichtfelds 16 der Datenbrille 12 mit in einer Umgebung 18 der Datenbrille 12 angeordneten Objekten 18a, 18b und 18c. Diese Objekte 18a, 18b, 18c stellen Objekte in der Umgebung 18 dar, zu denen jeweils eine zugeordnete Information bereitgestellt ist. Diese Infor- mation kann beispielsweise über das Navigationssystem 14a des Kraftfahrzeugs 14 und/oder über eine Internetverbindung entweder durch die Datenbrille 12 selbst oder ebenfalls durch das Kraftfahrzeug 14 bereitgestellt sein, sowie auch die jeweiligen geographischen Positionen dieser Objekte 18a, 18b, 18c. Das System 10 überprüft nun permanent, zum Beispiel wiederholt, insbesondere in periodischen Abständen, ob sich solche Objekte 18a, 18b, 18c in einem vorbestimmten Sichtfeld 16 der Datenbrille 12 befinden. 16a bezeichnet in Fig. 2 die seitliche Begrenzung dieses Sichtfelds 16. In diesem Beispiel befinden sich also die Objekte 18a und 18b innerhalb des Sichtfelds 16 und das Objekt 18c außerhalb. Die Überprüfung, ob sich diese Objekte 18a, 18b, 18c also im Sichtfeld befinden wird bevorzugt so durchgeführt, dass die jeweiligen Positionen der Objekte 18a, 18b, 18c mit der Position des Sichtfelds 16 der Datenbrille 12, die durch die Position der Datenbrille 12 selbst vorbestimmt ist, verglichen wird. Wie beschrieben, kann die Datenbrille 12 entweder selbst ihre eigene Position und Orientierung relativ zur Um- gebung 18 ermitteln und/oder die Position und Orientierung der Datenbrille 12 wird durch das Kraftfahrzeug 14 ermittelt. Auch der Abgleich mit den jeweiligen Positionen der Objekte 18a, 18b, 18c kann entweder durch die Datenbrille 12 selbst oder durch das Kraftfahrzeug 14 durchgeführt werden. Auch können sowohl die Datenbrille 12 und das Kraftfahrzeug 14 jeweils In- formationen ermitteln und bereitstellen, die dann insgesamt ausgewertet werden, entweder von der Datenbrille 12 oder dem Kraftfahrzeug 14 oder auch von beiden, um zu überprüfen, ob sich die Objekte 18a, 18b und 18c innerhalb oder außerhalb des Sichtfelds 16 befinden. Wird nun, wie in diesem Beispiel gezeigt, ermittelt, dass sich die beiden Objekte 18a und 18b im vorbestimmten Sichtfeld 16 der Datenbrille befinden, blendet die Datenbrille 12 über die Anzeigefläche 12a den jeweiligen Objekten räumlich zugeordnete Markierungen ein, die beispielsweise die jeweiligen Objekte 18a und 18b überdecken, darüber schweben oder in anderer Weise optisch hervorheben, zum Beispiel durch Betonung der Konturen, farbliche Kenntlichmachung und dergleichen. Diese Markierungen beinhalten selbst keine objektspezifischen Informationen und können daher relativ klein, z.B. mit einer vorbestimmten Maximalfläche bezogen auf die Anzeigefläche 12a, dargestellt werden und überfüllen damit nicht den Sichtbereich eines Benutzers. For this, the motor vehicle 14 may have corresponding devices, such as a navigation system 14a for providing navigation data, a GPS system 14b, which may also be part of the navigation system 14a, a communication module 14c for communicating with the data glasses 12 and / or for providing an internet connection, vehicle sensors 14d for providing further motor vehicle-specific data, for example the vehicle speed, a tracking device. 14e, for example, to detect the position and orientation of the data glasses 12 relative to the motor vehicle 14, and a controller 14f to control said systems and devices. FIG. 2 now shows a schematic representation of the data glasses 12 in a plan view for illustrating the field of view 16 of the data glasses 12 with objects 18a, 18b and 18c arranged in an environment 18 of the data glasses 12. These objects 18a, 18b, 18c represent objects in the environment 18, to each of which associated information is provided. This information can be provided, for example, via the navigation system 14a of the motor vehicle 14 and / or via an internet connection either by the data glasses 12 themselves or likewise by the motor vehicle 14, as well as the respective geographical positions of these objects 18a, 18b, 18c. The system 10 now permanently checks, for example repeatedly, in particular at periodic intervals, whether such objects 18a, 18b, 18c are located in a predetermined field of view 16 of the data glasses 12. 16a denotes in FIG. 2 the lateral boundary of this field of view 16. In this example, therefore, the objects 18a and 18b are located within the field of view 16 and the object 18c is outside. The check whether these objects 18a, 18b, 18c are thus in the field of view is preferably carried out such that the respective positions of the objects 18a, 18b, 18c with the position of the field of view 16 of the data glasses 12, by the position of the data glasses 12 itself is predetermined, is compared. As described, the data glasses 12 can either determine their own position and orientation relative to the environment 18 themselves and / or the position and orientation of the data glasses 12 is determined by the motor vehicle 14. The adjustment with the respective positions of the objects 18a, 18b, 18c can also be carried out either by the data glasses 12 themselves or by the motor vehicle 14. Both the data glasses 12 and the motor vehicle 14 can each determine and provide information that is then evaluated in its entirety, either from the data glasses 12 or the motor vehicle 14 or both, to check whether the objects 18 a, 18 b and 18c located inside or outside the field of view 16. If it is then determined, as shown in this example, that the two objects 18a and 18b are located in the predetermined field of view 16 of the data glasses, the data glasses 12 display on the display surface 12a the spatially assigned markings for the respective objects, for example the respective objects 18a and Cover 18b, hovering over it or otherwise highlighting, for example, by emphasizing the contours, color identification and like. These markings themselves do not contain any object-specific information and can therefore be displayed relatively small, for example with a predetermined maximum area relative to the display area 12a, and thus do not overfill the field of vision of a user.
Dies ist beispielsweise in Fig. 3a veranschaulicht, wobei hier eine Sicht durch die Datenbrille 12 schematisch veranschaulicht ist. Die Datenbrille 12 blendet also in die reale Umgebung 18, die durch die Anzeigefläche 12a der Datenbrille 12 gesehen wird, zu den im Sichtfeld 16 der Datenbrille 12 befindlichen Objekten 18a und 18b jeweilige Markierungen 20a und 20b bevorzugt als rein digitale Inhalte ein. So wird vorteilhafterweise bei vielen im Sichtfeld 16 befindlichen Objekten das Sichtfeld 16 nicht mit zusätzlichen Informationen zu diesen Objekten überfüllt, da diese zusätzlichen Informationen nicht gleich sondern nur unter bestimmten Voraussetzungen eingeblendet werden. Um diese zu den jeweiligen Objekten 18a und 18b zur Verfügung stehenden Informationen einzublenden, muss zunächst eine vorbestimmte Auswahlbedienhandlung des Benutzers erfasst werden. Diese kann beispielsweise darin bestehen, dass der Benutzer ein mittels der Datenbrille 12 eingeblendetes Auswahlelement, in diesem Beispiel ein Fadenkreuz, aber beispielsweise auch ein Cursor und dergleichen, über die jeweiligen Markierungen 20a, 20b und/oder die Objekte 18a, 18b führt, wie in Fig. 3c dargestellt. Dabei ist es nicht zwingend erforderlich, dass dieses Auswahlelement 22 permanent angezeigt wird, sondern erst, wenn sich eine dem Auswahlelement 22 zugeordnete Anzeigeposition 22a in der Nähe eines dieser Objekte 18a oder 18b und/oder der zugeordneten Markierungen 20a, 20b befindet. This is illustrated, for example, in FIG. 3 a, wherein a view through the data glasses 12 is illustrated schematically here. The data glasses 12 thus fade into the real environment 18, which is seen through the display surface 12a of the data glasses 12, to the objects 18a and 18b located in the field of vision 16 of the data glasses 12, preferably markers 20a and 20b as purely digital contents. Thus, in many objects located in the field of view 16, the field of view 16 is advantageously not overfilled with additional information about these objects, since these additional information are not displayed at the same time but only under certain conditions. In order to display these information available for the respective objects 18a and 18b, a predetermined selection control action of the user must first be detected. This can consist, for example, in the fact that the user guides a selection element displayed by means of the data glasses 12, in this example a crosshair but also, for example, a cursor and the like, over the respective markings 20a, 20b and / or the objects 18a, 18b, as in FIG Fig. 3c shown. It is not absolutely necessary for this selection element 22 to be permanently displayed, but only when a display position 22a associated with the selection element 22 is located in the vicinity of one of these objects 18a or 18b and / or the associated markings 20a, 20b.
In Fig. 3a beispielsweise ist dargestellt, dass sich die Anzeigeposition 22a nicht in der Nähe der Objekte 18a, 18b und Markierungen 20a, 20b befindet bzw. nicht in einem vorbestimmten Nahbereich 24 des Objekts 18b, und auch nicht in einem nicht dargestellten Nahbereich des Objekts 18a, wobei also somit das Anzeigeelement 22 selbst nicht dargestellt bzw. angezeigt wird, was durch die gestrichelten Linien der Anzeigeposition 22a veranschaulicht werden soll. Wird nun das Auswahlelement 22 in die Nähe eines Objekts 18a, 18b oder der zugeordneten Markierungen 20a, 20b durch den Benutzer geführt, so wird das Auswahlelement 22 angezeigt, wie in Fig. 3b dargestellt. Dabei kann beispielsweise ein vorbestimmter Abstand vorgegeben sein und/oder ein vorbestimmter Nahbereich 24, so dass, wenn sich das Auswahlelement 22 innerhalb dieses Nahbereichs 24 befindet, das Auswahlelement angezeigt wird, und wenn sich das Auswahlelement 22 bzw. dessen Anzeigeposition 22a außerhalb dieses Bereichs 24 und auch in keinem anderen einem Objekt zugeordneten Bereich befindet, das Auswahlelement 22 selbst nicht angezeigt wird. Dadurch kann vorteilhafterweise eine unnötige Anzeige des Auswahlelements 22 und eine unnötige Sichtein- schränkung sowie eine unnötige Ablenkung des Fahrers bzw. Benutzers vermieden werden. Ist nun das Auswahlelement 22 angezeigt und wird dieses weiter über das Objekt, in diesem Beispiel das Objekt 18b, geführt bzw. dessen Markierung 20b, so werden die dem Objekt 18b zugeordneten und an der Datenbrille 12 bereitgestellten Informationen mittels der Datenbrille 12 eingeblendet, wie in Fig. 3c dargestellt. Wird das Auswahlelement 22 beispielsweise wieder vom Objekt 18b oder dessen Markierung 20b wegbewegt, und verlässt das Auswahlelement 22 dabei beispielsweise wieder den vorbestimmten Bereich 24 oder auch einen anderen, z.B. größer bemessenen, vorbestimmten Bereich, so kann es vorgesehen sein, dass die ange- zeigten Informationen automatisch wieder ausgeblendet werden. Alternativ kann es auch vorgesehen sein, dass der Benutzer auch manuell oder durch irgendeine andere vorbestimmte Bedienhandlung, wie beispielsweise einen Sprachbefehl, Gestensteuerung oder dergleichen, die Information wieder ausblenden lassen kann. For example, it is shown in FIG. 3a that the display position 22a is not in the vicinity of the objects 18a, 18b and markers 20a, 20b or in a predetermined near zone 24 of the object 18b, and also not in a near portion of the object (not shown) 18a, so thus the display element 22 itself is not shown or displayed, which should be illustrated by the dashed lines of the display position 22a. If now the selection element 22 is guided in the vicinity of an object 18a, 18b or the associated markings 20a, 20b by the user, the selection element 22 is displayed, as shown in Fig. 3b. In this case, for example, a predetermined distance may be predetermined and / or a predetermined proximity area 24, so that when the selection element 22 is within this proximity area 24, the selection element is displayed, and when the selection element 22 or whose display position 22a is outside this area 24 and also in no other area associated with an object, the selector 22 itself is not displayed. As a result, an unnecessary display of the selection element 22 and an unnecessary restriction of visibility as well as an unnecessary distraction of the driver or user can advantageously be avoided. If now the selection element 22 is displayed and this is further guided over the object, in this example the object 18b, or its marking 20b, then the information associated with the object 18b and provided on the data glasses 12 is faded in by means of the data glasses 12, as in FIG Fig. 3c shown. If, for example, the selection element 22 is again moved away from the object 18b or its marking 20b, and if the selection element 22 leaves again the predetermined area 24 or another, for example larger, predetermined area, then it can be provided that the indicated areas are shown Information automatically disappears. Alternatively, it may also be provided that the user can also hide the information manually or by any other predetermined operator action, such as a voice command, gesture control or the like.
Um das Auswahlelement 22 zu bewegen, kann es darüber hinaus vorgesehen sein, dass die Anzeigeposition 22a bezüglich der Anzeigefläche 12a fest ist, so dass sich bei einer Kopfbewegung des Benutzers, der die Datenbrille 12 trägt, auch die Anzeigeposition 22a gegenüber der Umgebung 18 ent- sprechend bewegt. Das heißt der Benutzer kann durch Kopfbewegungen die Anzeigeposition 22a des Anzeigeelements 22 relativ zur Umgebung 18 ändern. Befindet sich also die Anzeigeposition 22a, wie in Fig. 3a, in einem zentralen Bereich des Sichtfelds 16 und bewegt der Benutzer seinen Kopf so, dass ein im Sichtfeld 16 befindliches Objekt ebenfalls in den zentralen Bereich bewegt wird, z.B. wie in Fig. 3b, wird das Auswahlelement 22 an der Anzeigeposition 22a eingeblendet, bewegt der Benutzer seinen Kopf weiter bis zur Überdeckung von Auswahlelement 22 und Markierung 20b bzw. des Objekts 18b, wie in Fig. 3c, wird die Information 26 zum Objekt 18b eingeblendet. Alternativ kann es auch vorgesehen sein, dass sich das Aus- wahlelement 22 bzw. dessen Anzeigeposition 22a blickrichtungsgesteuert bewegen lässt, was mit einer Eyetrackingvorrichtung, die in die Datenbrille 12 integriert sein kann, umgesetzt werden kann. Furthermore, in order to move the selection element 22, it may be provided that the display position 22a is fixed with respect to the display surface 12a, so that when the user wearing the data glasses 12 moves his head, the display position 22a also faces the environment 18. speaking moving. That is, the user can change the display position 22a of the display element 22 relative to the surroundings 18 by head movements. Thus, as shown in Figure 3a, if the display position 22a is in a central area of the field of view 16 and the user moves his head so that an object in the field of view 16 is also moved into the central area, e.g. As in Fig. 3b, the selection element 22 is displayed at the display position 22a, the user continues to move his head to the coverage of selection element 22 and mark 20b and the object 18b, as in Fig. 3c, the information 26 to the object 18b appears. Alternatively, it can also be provided that the selection element 22 or its display position 22a can be moved in the direction of view, which can be implemented with an eye-tracking device which can be integrated in the data glasses 12.
Weiterhin kann nun die Information 26 zum Objekt 18b unmittelbar einge- blendet werden, wenn das Auswahlelement 22 über die Markierung 20b oder das Objekt 18b geführt wird oder es kann erst eine weitere Benutzereingabe, wie beispielsweise ein Sprachbefehl oder eine Betätigung eines mechanischen Eingabeelements, z.B. eines Knopfs an der Datenbrille oder am Kraft- fahrzeug, erforderlich sein, um die Information 26 einzublenden. Auch könnten alle diese Auslösevarianten durch das System als auswählbare Optionen implementiert sein, so dass ein Benutzer vorteilhafterweise selbst auswählen kann, welchen Auslösemechanismus zum Anzeigen der Informationen 26, ob unmittelbar oder erst nach weiterer Bedienhandlung, er bevorzugt. Furthermore, the information 26 for the object 18b can now be entered directly. dazzle when the selection element 22 is passed over the marking 20b or the object 18b, or only further user input, such as a voice command or actuation of a mechanical input element, eg a button on the data glasses or on the motor vehicle, may be required to display the information 26. Also, all of these triggering variants could be implemented by the system as selectable options, so that a user can advantageously self-select which triggering mechanism to display the information 26, whether directly or only after further operator action.
Insgesamt wird so ein Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und ein System bereitgestellt, welche es durch das Bereitstellen von unterschiedlichen Infornnationsleveln sowie durch ein sukzessives Einblenden eines Auswahlelements unter bestimmten Voraussetzungen er- möglichen, dass dem Benutzer, wie beispielsweise dem Fahrer eines Kraftfahrzeugs, vielzahlige Informationen über sein Umfeld bereitgestellt werden können, ohne jedoch das Sichtfeld mit derartigen zusätzlichen Informationen zu überfüllen. Dadurch wird sowohl eine situationsangepasstere Informationsanzeige als auch eine Erhöhung der Verkehrssicherheit erreicht. Overall, a method is provided for operating data glasses in a motor vehicle and a system which, by providing different information levels and successively fading in a selection element under certain conditions, enables the user, such as the driver of a motor vehicle, can provide a variety of information about its environment, but without overcrowding the field of view with such additional information. This achieves both a situation-adapted information display and an increase in traffic safety.

Claims

PATENTANSPRÜCHE: CLAIMS:
Verfahren zum Betreiben einer Datenbrille(12) in einem Kraftfahrzeug (14) mit den Schritten: Method for operating a data goggle (12) in a motor vehicle (14) with the steps:
a) Bereitstellen einer Information (26) über ein kraftfahrzeugexternes Objekt (18a, 18b, 18c), welches an einer vorbestimmten ersten Position angeordnet ist; a) providing information (26) about an off-vehicle object (18a, 18b, 18c) disposed at a predetermined first position;
b) Überprüfen, ob sich das Objekt (18a, 18b, 18c) in einem vorbestimmten Sichtfeld (16) der Datenbrille (12) befindet; b) checking that the object (18a, 18b, 18c) is located in a predetermined field of view (16) of the data glasses (12);
gekennzeichnet durch die Schritte: characterized by the steps:
c) Unter der ersten Bedingung, dass die Überprüfung ergibt, dass sich das Objekt (18a, 18b, 18c) im vorbestimmten Sichtfeld (16) befindet, Darstellen einer dem Objekt (18a, 18b, 18c) zugeordneten optischen Markierung (20a, 20b) mittels der Datenbrille (12); und c) under the first condition that the check reveals that the object (18a, 18b, 18c) is in the predetermined field of view (16), representing an optical mark (20a, 20b) associated with the object (18a, 18b, 18c) by means of the data glasses (12); and
d) Unter der zweiten Bedingung, dass eine vorbestimmte Auswahlbedienhandlung des Benutzers erfasst wird, Anzeigen der Information (26) über das Objekt (18a, 18b, 18c) mit der Datenbrille (12). d) under the second condition that a predetermined selection operation of the user is detected, displaying the information (26) about the object (18a, 18b, 18c) with the data glasses (12).
Verfahren nach Anspruch 1 , Method according to claim 1,
dadurch gekennzeichnet, dass characterized in that
bei der Überprüfung in Schritt b) eine Positionsinformation über das Objekt (18a, 18b, 18c), die von einer Einrichtung (14a, 14b, 14c, 14d, 14e, 14f) des Kraftfahrzeugs (14) bereitgestellt wird, mit einer Positionsinformation über die Datenbrille (12) verglichen wird. when checking in step b), position information about the object (18a, 18b, 18c) provided by a device (14a, 14b, 14c, 14d, 14e, 14f) of the motor vehicle (14) having position information about the vehicle Data glasses (12) is compared.
Verfahren nach einem der vorhergehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die Datenbrille (12) ein Auswahlelement (22) anzeigt, wobei die zweite Bedingung erfüllt ist, wenn erfasst wird, dass das Auswahlelement (22) sich in einer vorbestimmten zweiten Position relativ zur ersten Position des Objekts (18a, 18b, 18c) und/oder der zugeordneten Markieung (20a, 20b) befindet, wobei eine Position des Auswahlelements (22) relativ zur ersten Position des Objekts (18a, 18b, 18c) durch den Benutzer steuerbar ist, insbesondere wobei die vorbestimmte zweite Position des Auswahlelements (22) dadurch bestimmt ist, dass sich das Auswahlelement (22) zumindest teilweise in Überdeckung mit dem Objekt (18a, 18b, 18c) und/oder der Markierung (20a, 20b) befindet. Verfahren nach einem der vorhergehenden Ansprüche, the data glasses (12) indicate a selection element (22), the second condition being met when it is detected that the selection element (22) is in a predetermined second position relative to the first position of the object (18a, 18b, 18c) and / or the associated marker (20a, 20b), wherein a position of the selection element (22) relative to the first position of the object (18a, 18b, 18c) is controllable by the user, in particular wherein the predetermined second position of the selection element (22) characterized it is determined that the selection element (22) is at least partially in register with the object (18a, 18b, 18c) and / or the marking (20a, 20b). Method according to one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die Information (26) über das Objekt (18a, 18b, 18c) nur unter der weiteren, dritten Bedingung, dass eine vorbestimmte Benutzereingabe, insbesondere eine manuelle Betätigung eines Bedienelements und/oder ein Sprachbefehl und/oder eine Bediengeste, erfasst wurde, angezeigt wird. the information (26) about the object (18a, 18b, 18c) is displayed only under the further, third condition that a predetermined user input, in particular a manual actuation of a control element and / or a voice command and / or an operator gesture, has been detected ,
Verfahren nach Anspruch 3 oder 4, Method according to claim 3 or 4,
dadurch gekennzeichnet, dass characterized in that
eine Anzeigeposition (22a) des Auswahlelements (22) auf einer Anzeigefläche (12a) der Datenbrille (12) fest ist. a display position (22a) of the selection element (22) is fixed on a display surface (12a) of the data glasses (12).
Verfahren nach einem der Ansprüche 3 oder 4, Method according to one of claims 3 or 4,
dadurch gekennzeichnet, dass characterized in that
eine Anzeigeposition (22a) des Auswahlelements (22) auf einer Anzeigefläche (12a) der Datenbrille (12) variabel ist, wobei die Anzeigeposition (22a) in Abhängigkeit von einer erfassten Blickrichtung des Benutzers geändert wird. a display position (22a) of the selection member (22) is variable on a display surface (12a) of the data glasses (12), the display position (22a) being changed depending on a detected viewing direction of the user.
Verfahren nach einem der Ansprüche 3 bis 6, Method according to one of claims 3 to 6,
dadurch gekennzeichnet, dass characterized in that
das Auswahlelement (22) nur dann angezeigt wird, wenn erfasst wird, dass sich das Objekt (18a, 18b, 18c) und/oder die zugeordnete Markierung (20a, 20b) in einem ersten vorbestimmten Bereich des Sichtfelds (16) der Datenbrille (12) befindet. the selection element (22) is displayed only when it is detected that the object (18a, 18b, 18c) and / or the associated marking (20a, 20b) are in a first predetermined area of the field of view (16) of the data glasses (12 ) is located.
Verfahren nach einem der Ansprüche 3 bis 7, Method according to one of claims 3 to 7,
dadurch gekennzeichnet, dass characterized in that
dem Auswahlelement (22) eine Anzeigeposition (22a), die fest oder variable ist, zugeordnet ist, an welcher das Auswahlelement (22) anzeigbar ist, wobei das Auswahlelement (22) nur dann angezeigt wird, wenn sich die Anzeigeposition (22a) nach einem vorbestimmten Kriterium in der Nähe (24) des durch die Datenbrille (12) betrachteten Objekts (18a, 18b, 18c) und/oder der Markierung (20a, 20b) befindet. the selection element (22) is assigned a display position (22a) which is fixed or variable, to which the selection element (22) can be displayed, the selection element (22) being displayed only when the display position (22a) is after a predetermined criterion in the vicinity (24) of the object (18a, 18b, 18c) and / or the marker (20a, 20b) viewed through the data glasses (12).
Verfahren nach einem der vorhergehenden Ansprüche, Method according to one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die Information (26) nur solange angezeigt wird, solange sich das Objekt (18a, 18b, 18c) und/oder die Markierung (20a, 20b) in einem zweiten vorbestimmten Bereich (24) des Sichtfelds (16) der Datenbrille (12) befindet und/oder solange sich ein Bereich, in dem die Information (26) angezeigt wird, in einem vorbestimmten Bereich (24) des Sichtfelds (16) der Datenbrille (12) befindet und/oder bis eine Bedienhandlung des Benutzers zum Beenden der Anzeige der Information (26) erfasst wird. the information (26) is only displayed as long as the object remains (18a, 18b, 18c) and / or the marking (20a, 20b) is located in a second predetermined area (24) of the field of view (16) of the data glasses (12) and / or as long as an area in which the information (26 ) is displayed in a predetermined area (24) of the field of view (16) of the data glasses (12) and / or until an operator action of the user to terminate the display of the information (26) is detected.
10. System (10) mit einer Datenbrille (12), wobei eine Information (26) über ein datenbrillenexternes Objekt (18a, 18b, 18c), welches an einer vorbe- stimmten ersten Position angeordnet ist, an der Datenbrille (12) bereitstellbar ist und wobei das System (10) dazu ausgelegt ist zu überprüfen, ob sich das Objekt (18a, 18b, 18c) in einem vorbestimmten Sichtfeld (16) der Datenbrille (12) befindet, 10. System (10) with a data glasses (12), wherein information (26) via a data-external object (18a, 18b, 18c), which is arranged at a predetermined first position, on the data glasses (12) can be provided and wherein the system (10) is adapted to check whether the object (18a, 18b, 18c) is located in a predetermined field of view (16) of the data glasses (12),
dadurch gekennzeichnet, dass  characterized in that
die Datenbrille (12) dazu ausgelegt ist, eine vorbestimmte Auswahlbedienhandlung des Benutzers zu erfassen, und unter der ersten Bedingung, dass die Überprüfung ergibt, dass sich das Objekt (18a, 18b, 18c) im vorbestimmten Sichtfeld (16) befindet, eine dem Objekt (18a, 18b, 18c) zugeordneten optischen Markierung (20a, 20b) darzustellen, und unter der zweiten Bedingung, dass die vorbestimmte Auswahlbedienhandlung des Benutzers erfasst wurde, die Information (26) über das Objekt (18a, 18b, 18c) anzuzeigen.  the data glasses (12) are adapted to detect a predetermined selection operation of the user and, under the first condition that the verification indicates that the object (18a, 18b, 18c) is in the predetermined field of view (16), the object (18a, 18b, 18c) associated with the optical marker (20a, 20b), and under the second condition that the predetermined selection operation of the user has been detected, displaying the information (26) about the object (18a, 18b, 18c).
PCT/EP2016/061287 2015-05-21 2016-05-19 Method for operating data glasses in a motor vehicle and system having data glasses WO2016184972A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015006610.2A DE102015006610A1 (en) 2015-05-21 2015-05-21 Method for operating data glasses in a motor vehicle and system with data glasses
DE102015006610.2 2015-05-21

Publications (1)

Publication Number Publication Date
WO2016184972A1 true WO2016184972A1 (en) 2016-11-24

Family

ID=56119450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/061287 WO2016184972A1 (en) 2015-05-21 2016-05-19 Method for operating data glasses in a motor vehicle and system having data glasses

Country Status (2)

Country Link
DE (1) DE102015006610A1 (en)
WO (1) WO2016184972A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115004090A (en) * 2020-01-19 2022-09-02 3M创新有限公司 Article for display device and display system
US12025878B2 (en) 2023-05-10 2024-07-02 3M Innovative Properties Company Article for display device and display system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017215161A1 (en) 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Method and device for selecting an environment object in the environment of a vehicle
DE102019122633A1 (en) * 2019-08-22 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft DEVICE, SYSTEM AND METHOD FOR OPERATING A VISUAL OUTPUT DEVICE IN AN MOTOR VEHICLE AND MOTOR VEHICLE

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835A1 (en) * 2009-08-18 2011-02-24 Metaio Gmbh Method for displaying virtual information in a real environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101622196B1 (en) * 2009-09-07 2016-05-18 삼성전자주식회사 Apparatus and method for providing poi information in portable terminal
EP2778842A1 (en) * 2013-03-15 2014-09-17 BlackBerry Limited System and method for indicating a presence of supplemental information in augmented reality
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835A1 (en) * 2009-08-18 2011-02-24 Metaio Gmbh Method for displaying virtual information in a real environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115004090A (en) * 2020-01-19 2022-09-02 3M创新有限公司 Article for display device and display system
CN115004090B (en) * 2020-01-19 2024-03-15 3M创新有限公司 Article for display device and display system
US12025878B2 (en) 2023-05-10 2024-07-02 3M Innovative Properties Company Article for display device and display system

Also Published As

Publication number Publication date
DE102015006610A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
EP3298474B1 (en) Method for operating a head-mounted display in a motor vehicle, and system comprising a head-mounted display
EP3394708B1 (en) Method for operating a virtual reality system, and virtual reality system
EP2986225B1 (en) Method for determining if a vehicle occupant is aware of relevant objects in the surroundings of the vehicle
EP2987057B1 (en) Method for selecting an information source from a plurality of information sources for display on a display of data spectacles
EP3164756B1 (en) Locating an hmd in a vehicle
DE102014213285B4 (en) Head direction-dependent display of content on data glasses
DE102015109027A1 (en) Head-up display with situation-based adaptation of the presentation of virtual image content
WO2019149874A1 (en) Method and device for operating a display system comprising a head-mounted display
WO2018114078A1 (en) Head-up display device for a motor vehicle, method, device and computer-readable recording medium with instructions for controlling a display of a head-up display device
WO2019037905A1 (en) Method for operating an assistance system for a vehicle and assistance system
WO2016184972A1 (en) Method for operating data glasses in a motor vehicle and system having data glasses
DE102016225261A1 (en) Method and device for operating a display system with data glasses
WO2018077520A1 (en) Method and device for operating a display system comprising a head-mounted display
DE102020212412B3 (en) Method for operating a head-up display device and a head-up display device
EP3296795A1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102019105216A1 (en) Method and device for operating a display system with data glasses
DE102019103360A1 (en) Method and device for operating a display system with data glasses
DE102016225262A1 (en) Method and device for operating a display system with data glasses
DE102013210587A1 (en) Display system with data glasses
DE102014213020A1 (en) Takeover request for highly automated driving on data glasses
DE102016225265A1 (en) Method and device for operating a display system with data glasses
DE102019112189A1 (en) Method and device for displaying an information object in augmented reality data glasses
DE102015007131A1 (en) A method of operating a display system and display system
DE102016225269A1 (en) Method and device for operating a display system with data glasses
DE102016225082A1 (en) Method and device for operating data glasses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16728621

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16728621

Country of ref document: EP

Kind code of ref document: A1