WO2014067798A1 - Provision of an operating input using a head-mounted display - Google Patents

Provision of an operating input using a head-mounted display Download PDF

Info

Publication number
WO2014067798A1
WO2014067798A1 PCT/EP2013/071824 EP2013071824W WO2014067798A1 WO 2014067798 A1 WO2014067798 A1 WO 2014067798A1 EP 2013071824 W EP2013071824 W EP 2013071824W WO 2014067798 A1 WO2014067798 A1 WO 2014067798A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
gesture
menu
user
head
Prior art date
Application number
PCT/EP2013/071824
Other languages
German (de)
French (fr)
Inventor
Felix Lauber
Wolfgang Spiessl
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2014067798A1 publication Critical patent/WO2014067798A1/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the invention relates to a method for providing an operating input using a head-mounted display, a corresponding device and a computer program.
  • head-mounted displays are known that are worn by a user and include displays arranged in front of one or both eyes of the user. These displays may be semi-translucent, allowing the user to perceive both the representation on the display and the surrounding environment.
  • Document WO 01/56007 A1 mentions a system comprising a head-mounted display and a tracker carried on one hand of the user. A menu is displayed depending on the position of the tracker in the head-mounted display. However, document WO 01/56007 A1 does not deal with the interaction with the menu.
  • a method for providing operator input using a head-mounted display carried by a user comprises: detecting the position of an object, in particular a user's hand; Display of a menu with in particular graphically displayed selection possibilities based on the detected position of the object; Detecting a gesture of at least a part of a hand, in particular the hand whose position has been detected, if the position of the hand is detected; Recognizing that the detected gesture corresponds to a gesture associated with a choice of the menu; in response to detecting that the detected gesture corresponds to the gesture, selecting the associated selection option.
  • the user is enabled a comfortable menu control.
  • the object may be a steering wheel or a controller, and the menu may also include a list, the choices being elements of the list. Lists can also be scrolled (scrolled) using the method, other submenus can be called up, each of which is assigned to individual displayed options.
  • the object is the user's hand.
  • the menu is then displayed based on the detected position of a user's hand, and is thus based on the "action radius" of the user or on the body of the user.
  • This type of placement of the menu leads to an intuitive input situation, as the user By manipulating the position of the hand, which the user habitually uses for inputs to, for example, computers, a user-familiar situation is created and the menu is easily associated with the ability to make inputs.
  • this placement is advantageous in that the gestures can be developed to produce the same result with always the same defined movements, thus making it easier for the user to learn or understand the operator input. On comparatively complex sensors can be dispensed with, it is only a camera needed.
  • a gesture may include moving at least a portion of the hand and showing a number using the fingers of the hand.
  • the number shown by the fingers may be associated with a choice assigned the same number.
  • the method comprises cases in which the input is performed by hand, by whose position the input possibilities are displayed, as well as cases in which the input is carried out by the other hand.
  • the position of the hand and the detection of the gesture can be performed using one or more camera shots and corresponding image processing known per se.
  • the camera can be a camera that takes pictures in the visible light range or in the infrared range.
  • the camera can also provide depth information.
  • the camera may in particular be included in the head-mounted display itself, but also be arranged, for example, on the dashboard or in the front region of the headliner of a motor vehicle.
  • the options along a circle are arranged adjacent to the position of the object.
  • the choices may also be displayed aligned along a circle with the object substantially at the center of the circle.
  • this arrangement of the selection possibilities advantageously enables hand movements in the direction of a selection possibility the hand is traversed during a movement gesture, is achieved with a so- tion of the input elements as possible kept kiein, which increases the input speed.
  • the selection possible chains can be displayed on the object or the detected hand, in particular the back of the hand. This reinforces the relation of the selection possibilities to the "input medium" even further.
  • the gesture which is associated with a selection possibility, comprises a movement of the hand in the direction of the selection possibility; and, in particular, the gesture is associated with the option displayed in the direction of movement of the hand from the detected position of the object, in particular the detected hand.
  • the user moves aiso his hand in the direction in which he is also the choice. Since the choices, in the case of the object being a hand, may be based on the position of the hand, the same movement of the hand may each lead to the selection of the same choice regardless of the absolute position of the hand. Even when using the user's hand, which does not serve to position the choices, there is always the same movement relative to the position-determining hand.
  • the gesture associated with a selection facility comprises interpreting a number using extended fingers of the hand. The number is then assigned a choice. This is advantageous, for example, in the case of a large number of choices, if, for example, small deviations in the movement of the hand can lead to an input possibility leading to an unwanted selection. Nevertheless, this input method can also be provided as standard input.
  • the head-mounted display comprises a camera and the method further comprises the following steps; Detecting that the camera of the head-mounted display is for a predetermined time substantially aligned with the object, in particular the hand, in particular on the back of the hand; the menu being displayed in response to detecting that the camera is aligned.
  • the predetermined time is advantageously chosen so that an unintentional activation, ie the display of the menu, is avoided.
  • the user is offered a convenient way to display the menu and to open the possibility for input, in the particularly advantageous case that the camera of the head-mounted display is arranged so that it receives in the same direction as the orientation of the head-mounted display is an orientation of the camera on the hand that the user also focuses his gaze on the hand. This represents an intuitive activation of the menu entry.
  • the number of outstretched fingers can also be detected and the menu displayed in response.
  • the method comprises: detecting the closing of the hand into a fist, in response to detecting the closing end of the hand into a fist, closing the menu. Likewise, the menu can be opened again by opening the hand. Again, this provides the user with an intuitive and easily and quickly executable gesture to interact with the menu entry facility.
  • the object is a steering wheel of a vehicle or a controller, that is to say a specific physical structure provided for input.
  • a choice can be selected.
  • An arrangement along the steering wheel or controller may determine the location and shape of the choices shown graphically.
  • an apparatus comprises: a head-mounted display; A camera, which is in particular comprised of the head-mounted display; An electronic processing unit, the apparatus being adapted to carry out one of the methods presented above.
  • the electronic processing unit can be a programmable microcontroller or universal processor.
  • a computer program includes instructions for performing one of the methods presented above.
  • the computer program may cause a computer to execute one of the methods presented above when executing the instructions.
  • the invention is also based on the following considerations:
  • the user looks at his outstretched hand (the back of his hand is turned to him). It can be provided that, after a certain time or based on the number of extended fingers, the system recognizes the interaction request and inserts a (for example) circularly arranged menu in the head-mounted display.
  • the opening and closing of the menu can be done, for example, by opening or closing a fist. Since the system is able to determine the position of the hand, the menu can be placed around the outstretched hand of the user.
  • the user can now select a list entry by gestures of the hand (or hands) such as extending a defined number of fingers, by a hand movement on the corresponding menu item or by adding the second hand.
  • the steering wheel specifies the location of the menu, for example.
  • a menu item can be selected to navigate in the menu.
  • Fig. 1 shows a device according to an embodiment.
  • Fig. 2 shows the arrangement of choices of the menu according to an embodiment.
  • FIG. 3 shows an exemplary movement gesture for selecting a selection option according to an embodiment.
  • 4 shows an example gesture for interpreting a number for selecting a selection option according to an exemplary embodiment.
  • Fig. 1 shows an apparatus according to an embodiment.
  • the device comprises a camera 2, an electronic processing unit 3 and a head-mounted display 4, wherein the camera 2 is arranged on the head-mounted display 4 and receives in the same direction as the line of sight of the user is when the head-mounted display 4 is mounted
  • the camera 2 picks up the area in front of it and thus also the hand 1 held there.
  • the recording of the camera 2 is forwarded to the processing unit 3, which is adapted to the position of the hand 1, the orientation of the hand 1 (here the angle a), a gesture of the hand 1 and the number, the direction and the type to recognize outstretched fingers.
  • the processing unit 3 uses the coordinate system drawn in FIG.
  • the processing unit 3 is set to determine a menu with choices and the position at which the menu is to be displayed.
  • the position of the menu to be displayed is determined by the position of the hand 1.
  • An example of the position and arrangement of the menu is shown in FIG.
  • the menu to be displayed is forwarded by the processing unit 3 to the head-mounted display 4 and the head-mounted display 4 finally displays the menu.
  • the processing unit 3 is adapted to detect a gesture of the detected hand in camera shots and to recognize that this gesture corresponds to a gesture that a choice is assigned. Once this is done, a choice is selected.
  • the processing unit 3 shows the arrangement of options 5 of the menu, as they appear for the user of the head-mounted display 4 and can be determined by the processing unit 3.
  • the choices 5 are arranged along a circle which in turn adjoins the user's hand 1.
  • the individual selection chains are numbered 1 to 5.
  • a user can select one of the selections 5 by making a gesture of his hand in the direction of the selection element as a gesture. If the user guides his hand 1, for example in the direction of the option No. 3, as indicated by the dashed line in FIG. 3, this gesture is detected and it is recognized that this gesture corresponds to the selection of the selection option No. 3. Consequently, option # 3 is activated.
  • Fig. 4 shows the case that the user wants to select the third option, and thus, as a gesture, stretches three fingers, which is interpreted as a number "3".

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention discloses a method for providing an operating input using a head-mounted display which is worn by a user, comprising: detecting the position of an object, in particular a hand of the user; displaying a menu containing selection options on the basis of the detected position of the object; detecting a gesture of at least one part of a hand, in particular of the hand, the position of which has been detected; recognizing that the detected gesture corresponds to a gesture associated with a selection option in the menu; selecting the associated selection option in response to the recognition that the detected gesture corresponds to the gesture.

Description

Bereitstellen einer Bedienungseingabe unter Verwendung eines Head- mounted Displays  Providing an operator input using a head-mounted display
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays, eine entsprechende Vorrichtung und ein Computerprogramm. The invention relates to a method for providing an operating input using a head-mounted display, a corresponding device and a computer program.
Heutzutage sind Head-mounted Displays bekannt, die durch einen Benutzer getragen werden und vor einem oder beiden Augen des Benutzers angeordnete Anzeigen umfassen. Diese Anzeigen können halbdurchsichtig sein, so dass der Benutzer sowohl die Darstellung auf der Anzeige wahrnehmen kann als auch die ihn umge- bende Umwelt. Today, head-mounted displays are known that are worn by a user and include displays arranged in front of one or both eyes of the user. These displays may be semi-translucent, allowing the user to perceive both the representation on the display and the surrounding environment.
Es ist ebenfalls bekannt, durch Kameraaufnahmen die Position der Hände eines Benutzers oder allgmeiner Gesten des Benutzers zu erfassen und auszuwerten. It is also known to capture and evaluate the position of a user's hands or general gestures of the user through camera shots.
Die Druckschrift WO 01/56007 A1 erwähnt ein System umfassend ein Head- mounted Display und einen an einer Hand des Benutzers getragenen Tracker. Ein Menü wird abhängig von der Position des Trackers im Head-mounted Display angezeigt. Die Druckschrift WO 01/56007 A1 geht allerdings nicht auf die Interaktion mit dem Menü ein. Document WO 01/56007 A1 mentions a system comprising a head-mounted display and a tracker carried on one hand of the user. A menu is displayed depending on the position of the tracker in the head-mounted display. However, document WO 01/56007 A1 does not deal with the interaction with the menu.
Aufgabe an den Fachmann ist die Bereitstellung von Bedienungseingaben für ein Menü unter Verwendung eines Head-mounted Displays. Die Aufgabe wird durch ein Verfahren nach Anspruch 1 , eine Vorrichtung nach Anspruch 10 und ein Computerprogramm nach Anspruch 11 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The task for the person skilled in the art is the provision of operating inputs for a menu using a head-mounted display. The object is achieved by a method according to claim 1, an apparatus according to claim 10 and a computer program according to claim 11. Advantageous developments are defined in the dependent claims.
In einem Aspekt umfasst ein Verfahren zum Bereitstellen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays, das von einem Benutzer getragen wird: Erfassen der Position eines Objektes, insbesondere einer Hand des Benutzers; Anzeigen eines Menüs mit insbesondere graphisch dargestellten Auswahl- möglichkeiten basierend auf der erfassten Position des Objektes; Erfassen einer Geste zumindest eines Teils einer Hand, insbesondere der Hand, deren Position erfasst wurde, falls die Position der Hand erfasst wird; Erkennen, dass die erfasste Geste einer Geste entspricht, der eine Auswahlmöglichkeit des Menüs zugeordnet ist; in Antwort auf das Erkennen, dass die erfasste Geste der Geste entspricht, Auswählen der zugeordneten Auswahlmöglichkeit. In one aspect, a method for providing operator input using a head-mounted display carried by a user comprises: detecting the position of an object, in particular a user's hand; Display of a menu with in particular graphically displayed selection possibilities based on the detected position of the object; Detecting a gesture of at least a part of a hand, in particular the hand whose position has been detected, if the position of the hand is detected; Recognizing that the detected gesture corresponds to a gesture associated with a choice of the menu; in response to detecting that the detected gesture corresponds to the gesture, selecting the associated selection option.
Auf diese Weise wird dem Benutzer eine komfortable Menüsteuerung ermöglicht. Dadurch, dass das Menü an Objekten orientiert angezeigt wird, ergibt sich für den Benutzer bei Verwendung eines halbdurchsichtigen Head-mounted Displays ein Zusammenhang zwischen der wirklichen Welt und den Auswahlmöglichkeiten des Menüs, dies wird von manchen auch als augmented reaiity bezeichnet. Dies vereinfacht für den Benutzer die Interaktion, da ihm so Referenzpunkte der wirklichen Welt zur Verfügung stehen. Das Objekt kann ein Lenkrad oder ein Controller sein und das Menü kann auch eine Liste umfassen, wobei die Auswahimöglichkeiten Ele- mente der Liste sind. Mithilfe des Verfahrens können auch Listen durchblättert (ge- scrollt) werden, weitere Untermenüs aufgerufen werden, je jeweils einzelnen angezeigten Auswahlmöglichkeiten zugeordnet sind. In this way, the user is enabled a comfortable menu control. The fact that the menu is displayed oriented to objects, results in the user when using a semi-transparent head-mounted display, a connection between the real world and the choices of the menu, this is sometimes referred to as augmented reaiity. This simplifies interaction for the user as it provides him with reference points of the real world. The object may be a steering wheel or a controller, and the menu may also include a list, the choices being elements of the list. Lists can also be scrolled (scrolled) using the method, other submenus can be called up, each of which is assigned to individual displayed options.
Vorteilhaft ist es insbesondere, wenn das Objekt die Hand des Benutzers ist. Das Menü wird dann basierend auf der erfassten Position einer Hand des Benutzers, angezeigt und orientiert sich damit am„Aktionsradius" des Benutzers beziehungsweise knüpft an den Körper des Benutzers an. Diese Art der Platzierung des Menüs führt zu einer intuitiven Eingabesituation, da der Benutzer seine Hände gewohnheitsmäßig zur Manipulation von Objekten einsetzt. Durch eine Anordnung in Abhängigkeit der Position der Hand, die der Benutzer gewohnheitsmäßig für Eingaben beispielsweise in Computer verwendet, wird eine für den Benutzer gewohnte Situation geschaffen und das Menü leicht mit der Möglichkeit Eingaben vorzunehmen in Verbindung gebracht. Des Weiteren ist diese Platzierung insofern vorteilhaft, als dass die Gesten derart entwickelt werden können, dass sie mit stets denselben definierten Bewegungen zum selben Ergebnis führen. Dies erleichtert dem Benutzer das Erlernen oder Verstehen der Bedieneingabe. Auf vergleichsweise aufwändige Sensorik kann verzichtet werden, es wird lediglich eine Kamera benötigt. Es muss kein Handschuh, kein Marker oder sonstiger Gegenstand (bis auf das Head-mounted Display) getragen werden. Außer dem Head mounted Display (ggf. inklusive Kamera) muss kein weiterer Gegenstand vom Be- nutzer getragen werden. Eine Interaktion, also Bedieneingabe, gemäß dem vorgestellten Verfahren kann spontan erfolgen und ohne großen Zeitaufwand. It is advantageous, in particular, if the object is the user's hand. The menu is then displayed based on the detected position of a user's hand, and is thus based on the "action radius" of the user or on the body of the user.This type of placement of the menu leads to an intuitive input situation, as the user By manipulating the position of the hand, which the user habitually uses for inputs to, for example, computers, a user-familiar situation is created and the menu is easily associated with the ability to make inputs. Furthermore, this placement is advantageous in that the gestures can be developed to produce the same result with always the same defined movements, thus making it easier for the user to learn or understand the operator input. On comparatively complex sensors can be dispensed with, it is only a camera needed. No glove, marker or other object (except for the head-mounted display) must be worn. Apart from the head-mounted display (including the camera if necessary), no further objects need to be carried by the user. An interaction, so operator input, according to the presented method can be done spontaneously and without much time.
Es kann vorgesehen sein, dass auch die Orientierung der Hand erfasst wird, und dass das Menü mit Auswahlmögiichkeiten auch basierend auf der Orientierung der Hand angezeigt wird. Eine Geste kann eine Bewegung zumindest eines Teils der Hand und das Zeigen einer Zahl mithilfe der Finger der Hand umfassen. Die durch die Finger gezeigte Zahl kann einer Auswahlmöglichkeit zugeordnet sein, der dieselbe Zahl zugewiesen ist. Weiterhin ist offensichtlich, dass das Verfahren Fälle umfasst, in denen die Eingabe von der Hand ausgeführt wird, anhand deren Position die Eingabemöglichkeiten angezeigt werden, als auch Fälle, in denen die Einga- be von der anderen Hand ausgeführt wird. Die Position der Hand und das Erfassen der Geste kann mithilfe einer oder mehrerer Kameraaufnahmen und entsprechender an sich bekannter Bildverarbeitung ausgeführt werden. Bei der Kamera kann es sich um eine Kamera handeln, die Aufnahmen im sichtbaren Lichtbereich macht oder im Infrarotbereich macht. Auch kann die Kamera zusätzlich Tiefeninformationen bereit- stellen. Die Kamera kann insbesondere in dem Head-mounted Display selbst umfasst sein, aber auch beispielsweise auf dem Armaturenbrett oder im vorderen Bereich des Dachhimmels eines Kraftfahrzeugs angeordnet sein. It can be provided that also the orientation of the hand is detected, and that the menu with Auswahlmögichkeiten also displayed based on the orientation of the hand. A gesture may include moving at least a portion of the hand and showing a number using the fingers of the hand. The number shown by the fingers may be associated with a choice assigned the same number. Furthermore, it is obvious that the method comprises cases in which the input is performed by hand, by whose position the input possibilities are displayed, as well as cases in which the input is carried out by the other hand. The position of the hand and the detection of the gesture can be performed using one or more camera shots and corresponding image processing known per se. The camera can be a camera that takes pictures in the visible light range or in the infrared range. The camera can also provide depth information. The camera may in particular be included in the head-mounted display itself, but also be arranged, for example, on the dashboard or in the front region of the headliner of a motor vehicle.
In einer vorteilhaften Weiterbildung sind die Auswahlmöglichkeiten entlang eines Kreises angrenzend an die Position des Objektes angeordnet. Alternativ können die Auswahlmögiichkeiten auch entlang eines Kreises ausgerichtet angezeigt werden mit dem Objekt im Wesentlichen im Mittelpunkt des Kreises. Auf diese Weise wird der Bezug des Eingabemenüs zum„Eingabemedium" für den Nutzer besonders deutlich. In dem Fall, dass das Objekt die Hand des Benutzers ist, werden mithilfe dieser Anordnung der Auswahlmögiichkeiten Handbewegungen in Richtung einer Auswahtmöglichkeit vorteilhaft ermöglicht. Die Strecke, die von der Hand bei einer Bewegungsgeste durchlaufen wird, wird bei einer so ermöglichten nahen Platzie- rung der Eingabeelemente möglichst kiein gehalten, was die Eingabegeschwindigkeit erhöht. In an advantageous development, the options along a circle are arranged adjacent to the position of the object. Alternatively, the choices may also be displayed aligned along a circle with the object substantially at the center of the circle. In this way, the reference of the input menu to the "input medium" becomes particularly clear to the user In the case that the object is the user's hand, this arrangement of the selection possibilities advantageously enables hand movements in the direction of a selection possibility the hand is traversed during a movement gesture, is achieved with a so- tion of the input elements as possible kept kiein, which increases the input speed.
Alternativ können die Auswahlmöglichketten auf dem Objekt beziehungsweise der erfassten Hand, insbesondere dem Handrücken, angezeigt werden. Dies verstärkt den Bezug der Auswahlmöglichkeiten zum„Eingabemedium" sogar noch weiter. Alternatively, the selection possible chains can be displayed on the object or the detected hand, in particular the back of the hand. This reinforces the relation of the selection possibilities to the "input medium" even further.
In einer besonders vorteilhaften Weiterbildung umfasst die Geste, der eine Auswahlmöglichkeit zugeordnet ist, eine Bewegung der Hand in Richtung der Auswahl- mögfichkeit; und der Geste ist insbesondere die Auswahlmöglichkeit zugeordnet, die in der Richtung der Bewegung der Hand ausgehend von der erfassten Position des Objektes, insbesondere der erfassten Hand, angezeigt wird. Der Benutzer bewegt aiso seine Hand in die Richtung, in der sich für ihn auch die Auswahlmöglichkeit befindet. Da die Auswahlmöglichkeiten, in dem Fall, dass das Objekt eine Hand ist, anhand der Position der Hand ausgerichtet sein können, kann jeweils dieselbe Bewegung der Hand zur Auswahl derselben Auswahlmöglichkeit führen, unabhängig von der absoluten Position der Hand. Auch bei der Verwendung der Hand des Benutzers, die nicht zur Positionierung der Auswahlmöglichkeiten dient, besteht relativ zur positionsbestimmenden Hand stets die gleiche Bewegung. Da der Benutzer für die relative Position setner Hände ein relativ gutes Raumgefühl hat, ist auch dieser Fall für den Benutzer intuitiv und gut erlernbar. Alternativ oder zusätzlich umfasst die Geste, der eine Auswahlmögltchkeit zugeordnet ist, das Deuten einer Zahl mithilfe ausgestreckter Finger der Hand. Der Zahl ist dann eine Auswahlmöglichkeit zugeordnet. Dies ist beispielsweise bei einer großen Anzahl von Auswahlmöglichkeiten vorteilhaft, wenn beispielsweise kleine Abweichungen in der Bewegung der Hand zu einer Eingabemöglichkeit hin zu einer un- gewollten Auswahl führen können. Trotzdem kann diese Eingabemethode auch als Standardeingabe vorgesehen sein. In a particularly advantageous development, the gesture, which is associated with a selection possibility, comprises a movement of the hand in the direction of the selection possibility; and, in particular, the gesture is associated with the option displayed in the direction of movement of the hand from the detected position of the object, in particular the detected hand. The user moves aiso his hand in the direction in which he is also the choice. Since the choices, in the case of the object being a hand, may be based on the position of the hand, the same movement of the hand may each lead to the selection of the same choice regardless of the absolute position of the hand. Even when using the user's hand, which does not serve to position the choices, there is always the same movement relative to the position-determining hand. Since the user has a relatively good sense of space for the relative position setner hands, this case is also intuitive and easy to learn for the user. Alternatively or additionally, the gesture associated with a selection facility comprises interpreting a number using extended fingers of the hand. The number is then assigned a choice. This is advantageous, for example, in the case of a large number of choices, if, for example, small deviations in the movement of the hand can lead to an input possibility leading to an unwanted selection. Nevertheless, this input method can also be provided as standard input.
In einer vorteilhaften Ausgestaltung umfasst das Head-mounted Display eine Kamera und das Verfahren umfasst ferner folgende Schritte; Erfassen, dass die Kamera des Head-mounted Displays für eine vorbestimmte Zeit im Wesentlichen auf das Objekt, insbesondere die Hand, ausgerichtet ist, insbesondere auf den Handrücken; wobei das Menü in Antwort auf das Erfassen, dass die Kamera ausgerichtet ist, angezeigt wird. Die vorbestimmte Zeit wird vorteilhafterweise so gewählt, dass eine unbeabsichtigte Aktivierung, also das Anzeigen des Menüs, vermieden wird. Auf diese Weise wird dem Benutzer eine komfortable Möglichkeit geboten, das Menü anzeigen zu lassen und die Möglichkeit zur Eingabe zu eröffnen, in dem besonders vorteilhaften Fall, dass die Kamera des Head-mounted Displays derart angeordnet ist, dass sie in dieselbe Richtung aufnimmt, wie die Ausrichtung des Head-mounted Displays ist, bedeutet eine Ausrichtung der Kamera auf die Hand, dass der Benutzer auch seine Blickrichtung auf die Hand fokussiert. Dies stellt eine intuitive Aktivierung der Menüeingabe dar. In an advantageous embodiment, the head-mounted display comprises a camera and the method further comprises the following steps; Detecting that the camera of the head-mounted display is for a predetermined time substantially aligned with the object, in particular the hand, in particular on the back of the hand; the menu being displayed in response to detecting that the camera is aligned. The predetermined time is advantageously chosen so that an unintentional activation, ie the display of the menu, is avoided. In this way, the user is offered a convenient way to display the menu and to open the possibility for input, in the particularly advantageous case that the camera of the head-mounted display is arranged so that it receives in the same direction as the orientation of the head-mounted display is an orientation of the camera on the hand that the user also focuses his gaze on the hand. This represents an intuitive activation of the menu entry.
Alternativ kann auch die Anzahl der ausgestreckten Finger erkannt werden und in Antwort darauf, das Menü angezeigt werden. Alternatively, the number of outstretched fingers can also be detected and the menu displayed in response.
In einer weiteren Ausgestaltung umfasst das Verfahren: Erfassen des Schließens der Hand zu einer Faust, In Antwort auf das Erfassens des Schließends der Hand zu einer Faust, Schließen des Menüs. Ebenso kann durch ein Öffnen der Hand das Menü wieder geöffnet werden. Auch dies stellt für den Benutzer wieder eine intuitive und sowohl leicht als auch schnell ausführbare Geste bereit mit der Menüeingabemöglichkeit zu interagieren. In a further embodiment, the method comprises: detecting the closing of the hand into a fist, in response to detecting the closing end of the hand into a fist, closing the menu. Likewise, the menu can be opened again by opening the hand. Again, this provides the user with an intuitive and easily and quickly executable gesture to interact with the menu entry facility.
In einer anderen Weiterbildung ist das Objekt ein Lenkrad eines Fahrzeugs oder ein Controller, also eine spezielle zur Eingabe vorgesehene physikalische Struktur. Durch eine Veränderung der Handposition auf dem Lenkrad oder dem Controller, an dem entlang vorteilhafterweise die Auswahlmöglichkeiten angeordnet sind, kann dann eine Auswahlmöglichkeit ausgewählt werden. Eine Anordnung entlang dem Lenkrad oder Controller kann den Ort und die Form der graphisch dargestellten Auswahlmöglichkeiten bestimmen. In another refinement, the object is a steering wheel of a vehicle or a controller, that is to say a specific physical structure provided for input. By changing the hand position on the steering wheel or the controller, along which advantageously the choices are arranged, then a choice can be selected. An arrangement along the steering wheel or controller may determine the location and shape of the choices shown graphically.
In einem anderen Aspekt umfasst eine Vorrichtung: Ein Head-mounted Display; Eine Kamera, die insbesondere vom Head-mounted Display umfasst ist; Eine elektronische Verarbeitungseinheit, wobei die Vorrichtung dazu eingerichtet ist eines der oben vorgestellten Verfahren auszuführen. Die elektronische Verarbeitungseinheit kann ein programmtechnisch einrichtbarer MikroController oder universaler Prozessor sein. In another aspect, an apparatus comprises: a head-mounted display; A camera, which is in particular comprised of the head-mounted display; An electronic processing unit, the apparatus being adapted to carry out one of the methods presented above. The electronic processing unit can be a programmable microcontroller or universal processor.
In wieder einem anderen Aspekt umfasst ein Computerprogramm Anweisungen zum Ausführen eines der oben dargestellten Verfahren. Das Computerprogramm kann einen Computer dazu veranlassen eines der oben dargestellten Verfahren auszuführen, wenn dieser die Anweisungen ausführt. In yet another aspect, a computer program includes instructions for performing one of the methods presented above. The computer program may cause a computer to execute one of the methods presented above when executing the instructions.
Die Erfindung basiert auch auf folgenden Überlegungen: The invention is also based on the following considerations:
Der Nutzer blickt auf seine nach vorne ausgestreckte Hand (Handrücken ist zu ihm gekehrt). Es kann vorgesehen sein, dass nach einer gewissen Zeit oder anhand der Anzahl der ausgestreckten Finger das System den Interaktionswunsch erkennt und in dem Head-mounted Display ein (beispielsweise) kreisförmig angeordnetes Menu einblendet. Das Öffnen und Schließen des Menüs kann beispielsweise durch das Öffnen bzw. Schließen einer Faust geschehen. Da das System in der Lage ist die Position der Hand zu bestimmen, kann das Menu um die ausgestreckte Hand des Benutzers angeordnet werden. Der Nutzer kann nun durch Gesten der Hand (oder Hände) wie das Ausstrecken einer definierten Anzahl von Fingern, durch eine Handbewegung auf den entsprechenden Menüeintrag oder durch Hinzunahme der zweiten Hand einen Listeneintrag auswählen. The user looks at his outstretched hand (the back of his hand is turned to him). It can be provided that, after a certain time or based on the number of extended fingers, the system recognizes the interaction request and inserts a (for example) circularly arranged menu in the head-mounted display. The opening and closing of the menu can be done, for example, by opening or closing a fist. Since the system is able to determine the position of the hand, the menu can be placed around the outstretched hand of the user. The user can now select a list entry by gestures of the hand (or hands) such as extending a defined number of fingers, by a hand movement on the corresponding menu item or by adding the second hand.
Es kann vorgesehen sein, dass nicht die Hand des Benutzers erkannt wird sondern ein beliebiger Gegenstand beispielsweise in einem Kraftfahrzeug. Hier wäre denkbar, dass beispielsweise das Lenkrad den Ort beispielsweise des Menüs vorgibt. Hier kann beispielsweise durch eine Veränderung der Handposition(en) auf dem Lenkrad oder einen physikalischen Controller ein Menüeintrag selektiert werden um im Menü zu navigieren. KURZE BESCHREIBUNG DER ZEICHNUNGEN It can be provided that not the hand of the user is recognized but any object, for example in a motor vehicle. Here it would be conceivable that, for example, the steering wheel specifies the location of the menu, for example. Here, for example, by changing the hand position (s) on the steering wheel or a physical controller, a menu item can be selected to navigate in the menu. BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel. Fig. 2 zeigt die Anordnung von Auswahlmöglichkeiten des Menüs entsprechend einem Ausführungsbeispiel. Fig. 1 shows a device according to an embodiment. Fig. 2 shows the arrangement of choices of the menu according to an embodiment.
Fig. 3 zeigt eine beispielhafte Bewegungsgeste zur Auswahl einer Auswahlmöglichkeit gemäß einem Ausführungsbeispiel. Fig. 4 zeigt eine beispielhafte Geste zum Deuten einer Zahl zur Auswahl einer Aus- wahlmöglichkeit gemäß einem Ausführungsbeispiel. 3 shows an exemplary movement gesture for selecting a selection option according to an embodiment. 4 shows an example gesture for interpreting a number for selecting a selection option according to an exemplary embodiment.
Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg. Like reference numerals refer to corresponding elements throughout the figures.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE Fig. 1 zeigt eine Vorrichtung gemäß einem Ausführungsbeispiel. Die Vorrichtung umfasst eine Kamera 2, eine elektronische Verarbeitungseinheit 3 und ein Head- mounted Display 4, wobei die Kamera 2 am Head-mounted Display 4 angeordnet ist und in dieselbe Richtung aufnimmt, wie die Blickrichtung des Benutzers ist bei aufgesetztem Head-mounted Display 4. Die Kamera 2 nimmt den vor ihr liegenden Bereich und damit auch die dort gehaltene Hand 1 auf. Die Aufnahme der Kamera 2 wird an die Verarbeitungseinheit 3 weitergeleitet, die dazu eingerichtet ist, die Position der Hand 1 , die Orientierung der Hand 1 (hier den Winkel a), eine Geste der Hand 1 und die Anzahl, die Richtung und den Typ der ausgestreckten Finger zu erkennen. Gegebenenfalls verwendet die Verarbeitungseinheit 3 dazu das in Fig. 1 eingezeichnete Koordinatensystem (x- und y-Achse). Auch ist die Verarbeitungsein- heit 3 dazu eingerichtet ein Menü mit Auswahlmöglichkeiten und die Position, an der das Menü anzuzeigen ist, zu bestimmen. Dabei wird die Position des anzuzeigenden Menüs anhand der Position der Hand 1 bestimmt. Ein Beispiel der Position und Anordnung des Menüs ist in der Fig. 2 gezeigt. Das anzuzeigende Menü wird von der Verarbeitungseinheit 3 an das Head-mounted Display 4 weitergeleitet und das Head-mounted Display 4 zeigt das Menü schließlich an. Darüber hinaus ist die Verarbeitungseinheit 3 dazu eingerichtet, eine Geste der erfassten Hand in Kameraaufnahmen zu erfassen und zu erkennen, dass diese Geste einer Geste entspricht, der eine Auswahlmöglichkeit zugeordnet ist. Sobald dies geschieht wird eine Auswahlmöglichkeit ausgewählt. DETAILED DESCRIPTION OF THE EMBODIMENTS Fig. 1 shows an apparatus according to an embodiment. The device comprises a camera 2, an electronic processing unit 3 and a head-mounted display 4, wherein the camera 2 is arranged on the head-mounted display 4 and receives in the same direction as the line of sight of the user is when the head-mounted display 4 is mounted The camera 2 picks up the area in front of it and thus also the hand 1 held there. The recording of the camera 2 is forwarded to the processing unit 3, which is adapted to the position of the hand 1, the orientation of the hand 1 (here the angle a), a gesture of the hand 1 and the number, the direction and the type to recognize outstretched fingers. If appropriate, the processing unit 3 uses the coordinate system drawn in FIG. 1 (x and y axis) for this purpose. Also, the processing unit 3 is set to determine a menu with choices and the position at which the menu is to be displayed. The position of the menu to be displayed is determined by the position of the hand 1. An example of the position and arrangement of the menu is shown in FIG. The menu to be displayed is forwarded by the processing unit 3 to the head-mounted display 4 and the head-mounted display 4 finally displays the menu. Moreover, the processing unit 3 is adapted to detect a gesture of the detected hand in camera shots and to recognize that this gesture corresponds to a gesture that a choice is assigned. Once this is done, a choice is selected.
Fig. 2 zeigt die Anordnung von Auswahlmöglichkeiten 5 des Menüs, wie sie für den Benutzer des Head-mounted Displays 4 erscheinen und durch die Verarbeitungs- einheit 3 bestimmt sein können. Die Auswahlmöglichkeiten 5 sind entlang eines Kreises angeordnet, der wiederum an die Hand 1 des Benutzers grenzt. Die einzelnen Auswahlmöglichketten sind mit 1 bis 5 durchnummeriert. 2 shows the arrangement of options 5 of the menu, as they appear for the user of the head-mounted display 4 and can be determined by the processing unit 3. The choices 5 are arranged along a circle which in turn adjoins the user's hand 1. The individual selection chains are numbered 1 to 5.
Ein Benutzer kann eine der Auswahlmöglichkeiten 5 auswählen, in dem er als Geste eine Bewegung seiner Hand in Richtung des Auswahlelements ausführt. Führt der Benutzer seine Hand 1 beispielsweise in Richtung der Auswahlmöglichkeit Nr. 3, wie in Fig. 3 durch die gestrichelte Linie angedeutet, so wird diese Geste erfasst und es wird erkannt, dass diese Geste zu der Auswahl der Auswahlmöglichkeit Nr. 3 korrespondiert. Folglich wird die Möglichkeit Nr. 3 aktiviert. A user can select one of the selections 5 by making a gesture of his hand in the direction of the selection element as a gesture. If the user guides his hand 1, for example in the direction of the option No. 3, as indicated by the dashed line in FIG. 3, this gesture is detected and it is recognized that this gesture corresponds to the selection of the selection option No. 3. Consequently, option # 3 is activated.
Als Alternative oder auch zusätzlich zu der Bewegungsgeste kann vorgesehen sein, dass auch das Deuten der Zahl, die einer der Auswahlmöglichkeiten 5 zugewiesen ist, zur Auswahl dieser Möglichkeit führt. Beispielsweise zeigt Fig. 4 den Fall, dass der Benutzer die dritte Auswahlmöglichkeit wählen will und folglich als Geste drei Finger ausstreckt, was als Zahl„3" interpretiert wird. As an alternative or in addition to the movement gesture, it can be provided that the interpretation of the number assigned to one of the selections 5 also leads to the selection of this possibility. For example, Fig. 4 shows the case that the user wants to select the third option, and thus, as a gesture, stretches three fingers, which is interpreted as a number "3".

Claims

ANSPRÜCHE 1. Verfahren zum Bereitsteilen einer Bedienungseingabe unter Verwendung eines Head-mounted Displays, das von einem Benutzer getragen wird, umfassend: CLAIMS 1. A method of providing operator input using a head-mounted display carried by a user comprising:
Erfassen der Position eines Objektes, insbesondere einer Hand des Benutzers; Detecting the position of an object, in particular a hand of the user;
Anzeigen eines Menüs mit Auswahlmöglichkeiten basierend auf der erfass- ten Position des Objektes; Displaying a menu of choices based on the detected position of the object;
Erfassen einer Geste zumindest eines Teils einer Hand, insbesondere der Hand, deren Position erfasst wurde; Detecting a gesture of at least a part of a hand, in particular the hand whose position has been detected;
Erkennen, dass die erfasste Geste einer Geste entspricht, der eine Auswahlmöglichkeit des Menüs zugeordnet ist; Recognizing that the detected gesture corresponds to a gesture associated with a choice of the menu;
In Antwort auf das Erkennen, dass die erfasste Geste der Geste entspricht, Auswählen der zugeordneten Auswahlmöglichkeit, In response to detecting that the detected gesture corresponds to the gesture, selecting the associated choice,
2. Verfahren nach Anspruch 1 , wobei die Auswahlmöglichkeiten entlang eines Kreises angrenzend an die Position des Objektes angeordnet sind. 2. The method of claim 1, wherein the choices are arranged along a circle adjacent to the position of the object.
3. Verfahren nach Anspruch 1 , wobei die Auswahlmöglächkeiten auf dem Objekt angezeigt werden, insbesondere einem Handrücken, falls das Objekt eine Hand des Benutzers ist. 3. The method of claim 1, wherein the choices are displayed on the object, in particular a back of the hand, if the object is a user's hand.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Geste, der eine Auswahimöglichkeit zugeordnet ist, eine Bewegung der Hand in Richtung der Auswahimöglichkeit umfasst; wobei der Geste insbesondere die Auswahimögiichkeit zugeordnet ist, die in der Richtung der Bewegung der Hand ausgehend von der erfassten Position des Objektes angezeigt wird. 4. The method according to any one of the preceding claims, wherein the gesture, which is associated with a Auswahimöglichkeit comprising a movement of the hand in the direction of Auswahiöglichkeit; wherein the gesture is associated, in particular, with the possibility of selection displayed in the direction of movement of the hand from the detected position of the object.
5. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Geste, der eine Auswahlmöglichkeit zugeordnet ist, das Deuten einer Zahl mithilfe ausgestreckter Finger der Hand umfasst; oder nach Anspruch 4, wobei die Geste eine erste Geste ist, und das Verfahren ferner umfasst: 5. The method of claim 1, wherein the gesture associated with a selection comprises interpreting a number using extended fingers of the hand; or according to claim 4, wherein the gesture is a first gesture, and the method further comprises:
Erfassen einer zweiten Geste zumindest eines Teils einer Hand, insbesondere der Hand, deren Position erfasst wurde; Detecting a second gesture of at least part of a hand, in particular the hand whose position has been detected;
Erkennen, dass die erfasste zweite Geste das Deuten einer bestimmten Zahl mithilfe ausgestreckter Finger der Hand umfasst, wobei der Geste eine entsprechende Auswahlmöglichkeit des Menüs zugeordnet ist, insbesondere in Abhängigkeit der gedeuteten Zahl; Recognizing that the detected second gesture comprises interpreting a particular number by means of extended fingers of the hand, the gesture being associated with a corresponding choice of the menu, in particular depending on the number being interpreted;
In Antwort auf das Erkennen, Auswählen der zugeordneten Auswahimöglichkeit. In response to the detection, selecting the associated selection option.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Head- mounted Display eine Kamera umfasst; wobei das Verfahren ferner umfasst: Erfassen, dass die Kamera des Head-mounted Displays für eine vorbestimmte Zeit im Wesentlichen auf das Objekt ausgerichtet ist, insbesondere auf den Handrücken, falls das Objekt eine Hand des Benutzers ist; wobei das Menü in Antwort auf das Erfassen, dass die Kamera ausgerichtet ist, angezeigt wird. 6. The method according to any one of the preceding claims, wherein the head-mounted display comprises a camera; the method further comprising: Detecting that the camera of the head-mounted display is substantially aligned with the object for a predetermined time, in particular on the back of the hand if the object is a user's hand; the menu being displayed in response to detecting that the camera is aligned.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Objekt ein Lenkrad oder Controller ist. 7. The method according to any one of the preceding claims, wherein the object is a steering wheel or controller.
8. Verfahren nach Anspruch 7, wobei die Geste eine Veränderung der Handposition auf dem Lenkrad oder Controller ist. 8. The method of claim 7, wherein the gesture is a change in hand position on the steering wheel or controller.
9. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: 9. The method according to any one of the preceding claims, further comprising:
Erfassen des Schließens einer Hand des Benutzers zu einer Faust, Detecting the closing of a user's hand to a fist,
In Antwort auf das Erfassens des Schließends der Hand zu einer Faust, Schließen des Menüs. In response to detecting the closing end of the hand in a fist, closing the menu.
10. Vorrichtung, umfassend: 10. Apparatus comprising:
Ein Head-mounted Display; A head-mounted display;
Eine Kamera, die insbesondere vom Head-mounted Display umfasst ist; Eine elektronische Verarbeitungseinheit, wobei die Vorrichtung dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. A camera, which is in particular comprised of the head-mounted display; An electronic processing unit, the apparatus being adapted to carry out a method according to any one of the preceding claims.
11. Computerprogramm, umfassend Anweisungen zum Ausführen eines der Verfahren nach den Ansprüchen 1 bis 9. 11. Computer program comprising instructions for carrying out one of the methods according to claims 1 to 9.
PCT/EP2013/071824 2012-10-30 2013-10-18 Provision of an operating input using a head-mounted display WO2014067798A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012219814.8A DE102012219814A1 (en) 2012-10-30 2012-10-30 Providing an operator input using a head-mounted display
DE102012219814.8 2012-10-30

Publications (1)

Publication Number Publication Date
WO2014067798A1 true WO2014067798A1 (en) 2014-05-08

Family

ID=49448143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/071824 WO2014067798A1 (en) 2012-10-30 2013-10-18 Provision of an operating input using a head-mounted display

Country Status (2)

Country Link
DE (1) DE102012219814A1 (en)
WO (1) WO2014067798A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003142A (en) 2014-12-05 2017-08-01 奥迪股份公司 The operation device and its operating method of vehicle particularly passenger stock
DE102015006664A1 (en) * 2015-05-22 2016-11-24 Giesecke & Devrient Gmbh System and method for processing value documents
CN108958590A (en) * 2017-05-26 2018-12-07 成都理想境界科技有限公司 Menu-operating method and head-mounted display apparatus applied to head-mounted display apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US20110197147A1 (en) * 2010-02-11 2011-08-11 Apple Inc. Projected display shared workspaces
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US20110197147A1 (en) * 2010-02-11 2011-08-11 Apple Inc. Projected display shared workspaces
WO2012082971A1 (en) * 2010-12-16 2012-06-21 Siemens Corporation Systems and methods for a gaze and gesture interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEAN WHITE ET AL: "Interaction and presentation techniques for shake menus in tangible augmented reality", MIXED AND AUGMENTED REALITY, 2009. ISMAR 2009. 8TH IEEE INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 19 October 2009 (2009-10-19), pages 39 - 48, XP031568946, ISBN: 978-1-4244-5390-0 *

Also Published As

Publication number Publication date
DE102012219814A1 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
EP1998996A1 (en) Interactive operating device and method for operating the interactive operating device
WO2013029772A2 (en) Method and array for providing a graphical user interface, in particular in a vehicle
DE102008048825A9 (en) Display and control system in a motor vehicle with user-influenceable display of display objects and method for operating such a display and control system
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
EP3067244A1 (en) Motor vehicle with automatic situation adaptive drive mode
EP2953793B1 (en) System for printing press operation
EP3508968A1 (en) Human-machine interface and method for operating a human-machine interface
EP3418861B1 (en) Method for operating a display device, and a motor vehicle
DE102014009302A1 (en) Method for operating a virtual reality glasses and system with a virtual reality glasses
WO2014067798A1 (en) Provision of an operating input using a head-mounted display
WO2015162058A1 (en) Gesture interaction with a driver information system of a vehicle
DE102015012720A1 (en) Interactive operator system and method for performing an operator action in an interactive operator system
WO2017140569A1 (en) Motor vehicle operator control apparatus and method for operating an operator control apparatus in order to cause an interaction between a virtual presentation plane and a hand
EP3025214B1 (en) Method for operating an input device, and input device
WO2016184971A1 (en) Method for operating an operating device, and operating device for a motor vehicle
EP3274789B1 (en) Motor vehicle simulation system for simulating a virtual environment with a virtual motor vehicle and method for simulating a virtual environment
EP3093182B1 (en) Means of locomotion, working machine, user interface and method for displaying the content of a first display device on a second display device
EP3108332A1 (en) User interface and method for switching from a first operating mode of a user interface to a 3d gesture mode
DE102012218155A1 (en) Method for preparation of input for rider of e.g. passenger car on touch-sensitive display, involves displaying a section of graphical interface on display unit, in response to detecting that driver needs to perform the input process
WO2014040807A1 (en) Touch entries along a ridge/depression on a touch-sensitive surface
WO2021028274A1 (en) Operating system and method for operating the operating system
DE102014006945A1 (en) Vehicle system, vehicle and method for responding to gestures
DE102013016490A1 (en) Motor vehicle with contactless activatable handwriting connoisseur
DE102016008049A1 (en) Method for operating an operating device, operating device and motor vehicle
DE102013021927A1 (en) Method and system for operating a display device and device with a display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13779805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13779805

Country of ref document: EP

Kind code of ref document: A1