WO2015162058A1 - Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges - Google Patents

Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges Download PDF

Info

Publication number
WO2015162058A1
WO2015162058A1 PCT/EP2015/058327 EP2015058327W WO2015162058A1 WO 2015162058 A1 WO2015162058 A1 WO 2015162058A1 EP 2015058327 W EP2015058327 W EP 2015058327W WO 2015162058 A1 WO2015162058 A1 WO 2015162058A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
display content
display
control device
unit
Prior art date
Application number
PCT/EP2015/058327
Other languages
English (en)
French (fr)
Inventor
Andreas Menath
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2015162058A1 publication Critical patent/WO2015162058A1/de
Priority to US15/299,705 priority Critical patent/US10585487B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the invention generally relates to automatic recognition of
  • the invention relates to a gesture interaction with a computer (gesture recognition).
  • DE 42 01 934 A1 shows a data processing system which detects gestures and translates them into commands for controlling the data processing system.
  • EP 1 408 443 A1 also shows a system in which a function control takes place via a gesture recognition which, for example, various gestures in the form of hand or
  • Finger positions which are detected by means of a 2D or 3D camera.
  • the respective hand and finger positions are assigned corresponding actions.
  • the interpretation uses both static gestures and certain
  • EP 1 477 924 A2 shows a gesture recognition device for recognizing
  • Postures or gestures of a person based on pictures of the person taken by two cameras.
  • Modern vehicles provide the driver with extensive information, for example via a central display screen Control options available.
  • the operation of modern navigation systems is a constant object of research to improve operation by the driver especially while driving so that the driver is distracted from the actual guidance of the vehicle as little as possible and his attention to the environment and the
  • Vehicle component can not be achieved because gestures of the driver are not always implemented in the intended by the driver operator inputs or not detected. The consequence of this is that the actual operation takes longer than theoretically expected and the driver's attention is more distracted.
  • a core idea of the invention is to display a displayed map section of a navigation map from a navigation system or a comparable displaceable content on a central display unit of a navigation system
  • a gesture preferably a free space gesture to control, for example, to move or zoom. That is, with a special gesture, such as a tweezer grip with two fingers, the display content on the central display can be adjusted in three dimensions (3D) according to the position of a virtually free-space palpable and movable camera.
  • a special gesture such as a tweezer grip with two fingers
  • 3D three dimensions
  • the invention relates to a control device for moving and / or zooming a display content of a display unit.
  • the control device comprises: (i) a display unit having a display content, at least one camera adapted to receive a detection area in front of the display unit, (ii) a gesture recognition unit coupled to the at least one camera, and one-hand recognition executed predetermined gesture and a current position of the gesture in the detection area, and (iii) a display content adjustment unit which is arranged, the display content
  • Display unit to move the display content accordingly and / or to increase or decrease the display content when changing the position to or away from the display unit.
  • the control device may have two cameras for recording the detection area in front of the display unit.
  • the gesture recognition unit can determine the current position of the gesture in the detection area by means of stereoscopy.
  • the at least one camera can be an infrared camera and / or a time-of-flight camera and / or a structured light camera.
  • the actual gesture recognition can take place on the basis of a continuous sequence of images of a hand / finger position of a user by means of technical image analysis. There are basically two approaches possible: The
  • Gesture recognition unit may include a database of examples of relevant gestures that have been created based on a meridian of a plurality, for example, over 1, 000 video analyzes of different executions of the gesture. An optically detected gesture can then by means of image recognition algorithms with the
  • a Database can be compared and it can be based on the comparison relevant gesture are detected in order to trigger the assigned operating function.
  • the image information is processed by image processing algorithms known per se, which analyze the raw data and finally recognize the gestures. This algorithm can be used for pattern recognition.
  • a first step In order to remove noise in the input data and to reduce data, in a first step, a
  • the gesture recognition unit and / or the display content adjustment unit is preferably configured to shift and / or zoom the display content as long as the predetermined gesture is recognized.
  • the detection area is preferably a predetermined space in front of the display unit.
  • the display content adjustment unit may be configured to increase or decrease the display content by a factor in a change of the position of the gesture to or away from the display unit.
  • the factor preferably corresponds to a power of the base 2 with the change of the distance between the position of the gesture and the display unit as an exponent.
  • Movement of the gesture or hand of the user in the x-direction doubling or halving the display content shown is achieved. So you can switch between very many zoom factors with a single hand movement.
  • the exponent can also be scaled with a sensitivity factor.
  • the display content adjustment unit may be configured to shift the display content corresponding to a change in the position of the gesture in a plane parallel to the display unit such that a length of movement of the Display content of a distance corresponds to the movement of the gesture in the plane parallel to the display unit. That is, with a hand movement over a distance of 10cm in a plane parallel to the display unit to the right has a movement of the display content by also 10cm to the right result. This results in a perfect mental operating model for a user, whereby the control is intuitive for a user.
  • the display content adjustment unit may be further set up as soon as
  • Coordinates of a last position of the gesture have been detected, the display content corresponding to a last detected or the last detected speed, with which the position of the gesture has changed, continue to run and preferably continuously to slow down to a standstill.
  • This control behavior gives a user the feeling of being able to virtually nudge or nudge the display content by means of the predetermined gesture.
  • the display content is preferably a map of a map, e.g. one
  • the map data and thus the map can be stored for example in a database of the navigation system.
  • the display content adjustment unit then serves to adjust the map section according to the change in the current position of the gesture.
  • the invention further relates to a vehicle, in particular a motor vehicle, with a driver information system which has at least one display unit for displaying graphical data, for example a navigation system or a navigation system
  • the invention is particularly well suited for the control of display contents of a driver information system in a vehicle.
  • the invention can
  • Embodiments are not to be understood as exhaustive, but have exemplary character for explaining the invention.
  • the detailed description is for the information of the person skilled in the art, therefore, in the description of known circuits, structures and methods are not shown or explained in detail in order not to complicate the understanding of the present description.
  • FIG. 1 illustrates the basic principle of a map excerpt.
  • FIG. 2 schematically shows the components of a navigation system with a stereoscopic gesture recognition and gesture position recognition for adapting a map section according to the principle of FIG. 1.
  • FIG. 1 initially illustrates the basic principle of the one proposed here
  • Map of control From a (navigation) map 1 with graphically edited geographic data and road data is a specific map section 7 to be displayed on a display 5.
  • the map section 7 is taken with a camera 3, which is aligned with the card 1.
  • the image data captured by the camera 3 from a position P defines the
  • Map section 7 In this case, an outer boundary of the map section 7 is essentially determined by the distance of the camera 3 to the map 1, an opening angle 3.1 of the camera 3 and the format of the image sensor (not shown) of the camera 3.
  • the image data is transmitted from the camera 3 to the display unit 5 and displayed there.
  • the map section 7 By changing the position P of the camera 3 in the y- and / or z-direction of the map section 7 can be moved accordingly.
  • the map section 7 By changing the position P of the camera 3 in the x direction, the map section 7 can be zoomed. That is, when the position P is moved toward the card 1 in the x direction, the map section 7 is reduced accordingly.
  • Display unit remains the same, this means that a smaller part of the map 1 is displayed on the display area, which was zoomed into the map 1 as a result.
  • the map section 7 is enlarged accordingly. As the display area of the
  • Map section 7 transmitted on the display unit 5 of a navigation system.
  • FIG. 2 schematically shows the components of a navigation system with a gesture recognition and a stereoscopic gesture position recognition for adapting the map section 7 according to the principle of FIG. 1.
  • the basic components of a navigation system and their function are assumed to be known and not explained here.
  • the further components explained below for gesture recognition and stereoscopic gesture position recognition as well as those that can be implemented with software means are assumed to be known and not explained here.
  • Image processing as well as map detail adaptation can be supplemented with a known navigation system.
  • Figure 2 shows the display unit 5 of the navigation system on the one
  • Map section 7 is displayed.
  • two cameras 12.1, 12.2 are arranged for gesture detection.
  • the two cameras 12.1, 12.2 allow a stereoscopic detection of the position P of a recognized gesture G, which is performed with a hand H.
  • a gesture G has been preset in which the thumb and forefinger of one hand are used as a predetermined finger position
  • the gesture recognition has the advantage that the intention of the user is clearly recognizable and the gesture can be distinguished from other hand movements.
  • other hand movements in the detection area of the cameras 12.1, 12.2 do not result in (unintentional) adaptation of the map section 7. That is to say, only when the predetermined gesture G is detected is the
  • Map section adaptation unit 1 6 activated.
  • a gesture recognition unit 14 with the cameras 12.1, 12.2 can be part of a control device 10 of the navigation system as a separate hardware or can be connected to it or by software routines of the already existing software
  • the gesture recognition unit 14 is set up both for gesture recognition and for determining the current position P of the gesture G in free space in front of the display unit 5.
  • the gesture recognition is in a known manner with appropriate methods of image processing and
  • the determination of the current position P of the gesture G is essentially based on the knowledge of the positions of the cameras 12.1, 12.2 and the current solid angle of the line of sight 12.1 r, 12.2r of the respective camera 12.1, 12.2 starting from the position P of the gesture G.
  • the gesture recognition unit 14 may use known computations of the
  • Stereoscopy determine the coordinates of the position P with sufficient accuracy.
  • the 3D coordinates of the position P of the gesture G are preferably in short
  • Time periods e.g. every 20 ms, and provided to the map section adaptation unit 16 in order to ensure a smooth adaptation of the map section 7 (displacement and / or zoom).
  • the gesture recognition unit 14 has detected the predetermined gesture G, as long as the predetermined hand / finger position for the gesture G is retained by the user, the coordinates of the (gesture) position P of the
  • the Gesture recognition unit 14 detected.
  • the coordinates (G nx , G ny , G nz ) form the basis for the adaptation of the map section 7 based thereon by the map excerpt unit 1 6.
  • the entire map 1 (see Figure 1) is stored in a database 18 of the navigation system
  • Map section adaptation unit 16 is coupled to the database, i. has access to the map data.
  • Known navigation systems also have options for setting the current map section. That is, the improved map section adaptation unit 16 proposed herein can be supplemented at this point in a known navigation system.
  • the acquired coordinates of the position can be identified with a running index n
  • the last coordinates (G kx , G ky , G kz ) correspond to the last position P k at which the hand H performed the predetermined gesture G or the technical condition
  • Gesture recognition unit 14 detects k during an interaction
  • a specific space above or in front of the display unit 5 may be defined.
  • Coordinates G nX yz of the position P are calculated by the gesture recognition unit 14 as a control input to the map section adaptation unit 16 only when the defined gesture G is recognized and the current position P of the gesture G is in the recognition area. If a position P outside the detection range is detected or reached during an active interaction, or if the defined hand position is left, the interaction is aborted. That is, there is then no further adaptation of the map section 7 instead.
  • the current position P of the gesture G is converted into a position of a virtual camera (corresponding to the camera 3 in FIG. 1), which can be displaced arbitrarily in three dimensions.
  • the calculated position P V c of the virtual camera and an opening angle associated with the virtual camera then define the map section 7 currently to be displayed on the display unit 5.
  • the gesture recognition unit 14 calculates the corresponding position (Pvcnx, Pvcny, Pvcnz) of the virtual camera preferably according to the following formula relationships:
  • Pvcnx PVC1 x * 2 ((Gnx - Gix) / f x) (1 .1)
  • PvCny PVC (n-1) * y + PvCnx (G ny - G (n -i) y) * fy (. 1 2)
  • PvCnz PVC (n-1) z + PvCnx * (G nz - G (n -l) z) * fz (1 -3) where f x, f y, f z sensitivity parameter and n is the index for a while Interaction detected positions P, where - as explained above - 1 ⁇ n ⁇ k applies.
  • the respective x-coordinate corresponds to the current distance of the gesture G to the display unit 5 or the height of the virtual camera above the map 1, from which the map section 7 is displayed on the display unit 5.
  • Gesture position G nx is used to reduce or enlarge (zoom in) the
  • Map section used. With the power of 2 is achieved by a defined movement of the gesture G or hand H in x-direction so a doubling of the displayed map size is achieved. This can be changed with a hand movement between many zoom factors.
  • Sensitivity parameter f y and f z the length of a map movement on the
  • Display unit 5 corresponds to the distance of the movement of the gesture G or hand H in the y- and / or z-direction. That is, e.g. a hand movement of 10 cm to the right results in a card movement of 10 cm to the right. This results in a perfect mental model, making control intuitive to a user.
  • Display content control may be the adjustment of the display content
  • the map section adaptation unit 16 is set up to allow the map section 7 to continue to move over the map 1 in the last detected speed of the hand H or gesture G, the movement continuously slowed to a standstill. This behavior gives the user the feeling that the card can be "toasted.” This behavior may occur with the following formula
  • Pvcnx Pvcix * 2 A ((G kx + S nx ) / f x ) (2.4)
  • PvCny PVC (n-1) * y + PvCnx (S n y S (n -l) y) * fy (2.5)
  • PvCnz PVC (n-1) z + PvCnx * (S n z S (n -1) z) * fz (2.6)
  • n> k means that the continued running of the map section 7 after the last recognized gesture position is carried out
  • b a preset braking factor, eg - 0.3m / s
  • steplength is a step size corresponding to the current frame rate of the cameras 12.1, 12.2, eg 20ms at 50 fps
  • last_vel X y Z is the last one
  • the speed of movement of the gesture G or hand H is, for example, (G kX yz-G ( k -i) xy Z ) / steplength.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft eine Steuereinrichtung zum Verschieben und/oder Zoomen eines Anzeigeinhalts, wobei die Steuereinrichtung aufweist: eine Anzeigeeinheit mit einem Anzeigeinhalt, wenigstens eine Kamera, die zur Aufnahme eines Erfassungsbereichs vor der Anzeigeeinheit eingerichtet ist, eine Gestenerkennungseinheit, die mit der wenigstens einen Kamera gekoppelt ist und zur Erkennung einer mit einer Hand ausgeführten vorbestimmten Geste und einer aktuellen Position der Geste im Erfassungsbereich eingerichtet ist, und eine Anzeigeinhaltanpassungseinheit, die eingerichtet ist, den Anzeigeinhalt entsprechend einer Veränderung der aktuellen Position der Geste anzupassen, insbesondere bei einer Veränderung der Position in einer Ebene parallel zur Anzeigeeinheit den Anzeigeinhalt entsprechend zu verschieben und/oder bei einer Veränderung der Position zu oder weg von der Anzeigeeinheit den Anzeigeinhalt zu vergrößern oder zu verkleinern.

Description

Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
Die Erfindung betrifft im Allgemeinen die automatische Erkennung von durch
Menschen ausgeführten Gesten mittels eines Computers (Gestenerkennung). Im Besonderen betrifft die Erfindung eine Gesteninteraktion mit einem
Fahrerinformationssystem eines Fahrzeugs.
Hintergrund der Erfindung
Im Kontext einer Mensch-Computer-Interaktion definieren Kurtenbach et al.
(„Gestures in Human-Computer Communication" in„The Art of Human-Computer Interface Design", pp. 309-317, 1990) eine Geste als eine Bewegung eines Körpers, die Informationen enthält. Beispielsweise ist ein Winken zum Abschied eine Geste. Das Drücken einer Taste auf einer Tastatur ist hingegen keine Geste, da die
Bewegung des Fingers auf dem Weg bis zur Kollision mit der Taste weder beobachtet wird noch signifikant ist, da lediglich relevant ist, welche Taste gedrückt wurde. In Fahrzeugen ist es bereits bekannt, eine Bedienung von Fahrzeugkomponenten durch eine Interpretation von Gesten vorzunehmen. DE 42 01 934 A1 zeigt ein Datenverarbeitungssystem, welches Gesten erkennt und diese in Befehle zur Steuerung des Datenverarbeitungssystems übersetzt. EP 1 408 443 A1 zeigt ebenfalls ein System, bei dem eine Funktionssteuerung über eine Gestenerkennung erfolgt, die beispielsweise verschiedene Gesten in Form von Hand- bzw.
Fingerstellungen umfasst, die mittels einer 2D- oder 3D-Kamera erfasst werden. Den jeweiligen Hand- und Fingerstellungen werden entsprechende Aktionen zugeordnet. Die Interpretation nutzt sowohl statische Gesten als auch bestimmte
Bewegungsabläufe. Ein weiterer Ansatz ist die Gestenerkennung mittels Stereoskopie. EP 1 477 924 A2 zeigt beispielsweise eine Gestenerkennungsvorrichtung zum Erkennen von
Haltungen oder Gesten einer Person basierend auf Bildern der Person, die von zwei Kameras aufgenommen wurden.
Moderne Fahrzeuge stellen dem Fahrzeugführer, beispielsweise über einen zentralen Anzeigebildschirm, umfangreiche Informationen und Steuerungsmöglichkeiten zur Verfügung. Insbesondere die Bedienung moderner Navigationssysteme ist ständiger Gegenstand der Forschung, um eine Bedienung durch den Fahrzeugführer besonders während der Fahrt so zu verbessern, dass der Fahrzeugführer von der eigentlichen Führung des Fahrzeugs möglichst wenig abgelenkt wird und seine Aufmerksamkeit für die Umgebung und den
Straßenverkehr möglichst wenig beeinträchtigt wird. Die vorstehend beschriebenen Steuerungsmöglichkeiten mittels Gestenerkennung sind jedoch häufig wenig intuitiv. Daher kann oft die angestrebte Vereinfachung der Bedienung einer
Fahrzeugkomponente nicht erreicht werden, da Gesten des Fahrers nicht immer in die vom Fahrer beabsichtigten Bedieneingaben umgesetzt oder gar nicht erkannt werden. Die Folge davon ist, dass der eigentliche Bedienvorgang länger dauert als theoretisch erwartet und die Aufmerksamkeit des Fahrers stärker abgelenkt wird.
Offenbarung der Erfindung
Es ist eine mögliche Aufgabe der vorliegenden Erfindung, eine verbesserte
Steuerungsmöglichkeit vorzuschlagen, insbesondere für eine Steuerung von einem Kartenausschnitt eines Navigationssystems oder von Bildschirminhalten eines Fahrerinformationssystems, beispielsweise eines implementierten Internetbrowsers, welche die Nachteile im Stand der Technik überwindet.
Wenigstens eine der Aufgaben wird mit den Merkmalen der unabhängigen
Ansprüche gelöst. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen.
Ein Kerngedanke der Erfindung besteht darin, einen angezeigten Kartenausschnitt einer Navigationskarte von einem Navigationssystem oder einen vergleichbaren verschiebbaren Inhalt auf einer zentralen Anzeigeeinheit eines
Fahrerinformationssystems über eine Geste, bevorzugt eine Freiraumgestik, zu steuern, beispielsweise zu verschieben oder zu zoomen. D.h., mit einer speziellen Geste, z.B. einem Pinzettengriff mit zwei Fingern, kann der Anzeigeinhalt auf der zentralen Anzeige entsprechend der Position einer virtuell im freien Raum greifbaren und bewegbaren Kamera in drei Dimensionen (3D) justiert werden. Mit der erfindungsgemäßen Steuervorrichtung wird erreicht, dass dem Fahrer oder einem Bediener ein intuitives Bediengefühl durch einen speziellen Zusammenhang zwischen der Handbewegung und der Veränderung des Anzeigeinhalts vermittelt wird. Damit wird die Steuerung des Navigationssystems oder des
Fahrerinformationssystems vereinfacht und sicherer, so dass besonders der Fahrer weniger durch einen Bedienvorgang bei der Führung des Fahrzeugs beeinträchtigt wird.
Somit betrifft die Erfindung eine Steuereinrichtung zum Verschieben und/oder Zoomen eines Anzeigeinhalts einer Anzeigeeinheit. Die Steuereinrichtung weist auf: (i) eine Anzeigeeinheit mit einem Anzeigeinhalt, wenigstens eine Kamera, die zur Aufnahme eines Erfassungsbereichs vor der Anzeigeeinheit eingerichtet ist, (ii) eine Gestenerkennungseinheit, die mit der wenigstens einen Kamera gekoppelt ist und zur Erkennung einer mit einer Hand ausgeführten vorbestimmten Geste und einer aktuellen Position der Geste im Erfassungsbereich eingerichtet ist, und (iii) eine Anzeigeinhaltanpassungseinheit, die eingerichtet ist, den Anzeigeinhalt
entsprechend einer Veränderung der aktuellen Position der Geste anzupassen, insbesondere bei einer Veränderung der Position in einer Ebene parallel zur
Anzeigeeinheit den Anzeigeinhalt entsprechend zu verschieben und/oder bei einer Veränderung der Position zu oder weg von der Anzeigeeinheit den Anzeigeinhalt zu vergrößern oder zu verkleinern.
Die Steuereinrichtung kann zwei Kameras zur Aufnahme des Erfassungsbereichs vor der Anzeigeeinheit aufweisen. Damit kann die Gestenerkennungseinheit die aktuelle Position der Geste im Erfassungsbereich mittels Stereoskopie ermitteln.
Die wenigstens eine Kamera kann eine Infrarot-Kamera und/oder eine Time-of- Flight-Kamera und/oder eine Structured-Light-Kamera sein.
Die eigentliche Gestenerkennung kann anhand einer kontinuierlichen Folge von Bildern einer Hand-/Fingerstellung eines Benutzers mittels technischer Bildanalyse erfolgen. Dabei sind grundsätzlich zwei Ansätze möglich: Die
Gestenerkennungseinheit kann eine Datenbank mit Beispielen relevanter Gesten enthalten, die aufgrund eines Meridians von einer Vielzahl, beispielsweise über 1 .000 Videoanalysen verschiedener Ausführungen der Geste erstellt worden sind. Eine optisch erfasste Geste kann dann mittels Bilderkennungsalgorithmen mit der
Datenbank verglichen werden und es kann basierend auf dem Vergleich die relevante Geste erkannt werden, um die zugeordnete Bedienfunktion auszulösen. Alternativ kann auch mit einer sogenannten Skeletterkennung gearbeitet werden, wobei in den Bilddaten die Hand und/oder Finger erkannt werden und mittels eines vereinfachten Skelettmodells auf vordefinierte Gesten geschlossen wird. Bei der eigentlichen Erkennung der Gesten werden die Bildinformationen durch an sich bekannte Bildverarbeitungsalgorithmen verarbeitet, welche die Rohdaten analysieren und schließlich die Gesten erkennen. Dabei können Algorithmen zur Mustererkennung zum Einsatz kommen. Zur Entfernung von Rauschen in den Eingabedaten und zur Datenreduktion kann in einem ersten Schritt eine
Vorverarbeitung der Bilddaten erfolgen. Anschließend werden aus den Bilddaten Merkmale extrahiert, um die Geste mittels einer Klassifikation zu erkennen. Hierfür können beispielsweise Hidden Markov Modelle, künstliche neuronale Netze und andere an sich bekannte Techniken aus der Forschung zur künstlichen Intelligenz eingesetzt werden. Die Gestenerkennungseinheit und/oder die Anzeigeinhaltanpassungseinheit ist bzw. sind bevorzugt eingerichtet, den Anzeigeinhalt zu verschieben und/oder zu zoomen, solange die vorbestimmte Geste erkannt wird. Der Erfassungsbereich ist bevorzugt ein vorbestimmter Raum vor der Anzeigeeinheit.
Die Anzeigeinhaltanpassungseinheit kann eingerichtet sein, bei einer Veränderung der Position der Geste zu oder weg von der Anzeigeeinheit, den Anzeigeinhalt mit einem Faktor zu vergrößern oder zu verkleinern. Der Faktor entspricht dabei bevorzugt einer Potenz der Basis 2 mit der Änderung des Abstandes zwischen der Position der Geste und der Anzeigeeinheit als Exponent. Durch die 2er-Potenz mit der Abstandsänderung als Exponent wird erreicht, dass durch eine definierte
Bewegung der Geste bzw. Hand des Benutzers in x-Richtung eine Verdoppelung oder Halbierung des dargestellten Anzeigeinhalts erreicht wird. So kann mit einer einzigen Handbewegung zwischen sehr vielen Zoomfaktoren gewechselt werden. Der Exponent kann auch zusätzlich mit einem Sensitivitätsfaktor skaliert werden.
Die Anzeigeinhaltanpassungseinheit kann eingerichtet sein, den Anzeigeinhalt bei einer Veränderung der Position der Geste in einer Ebene parallel zur Anzeigeeinheit entsprechend so zu verschieben, dass eine Länge einer Bewegung des Anzeigeinhalts einer Strecke der Bewegung der Geste in der Ebene parallel zur Anzeigeeinheit entspricht. D.h., mit einer Handbewegung über eine Strecke von 10cm in einer Ebene parallel zur Anzeigeeinheit nach rechts hat eine Bewegung des Anzeigeinhalts um ebenfalls 10cm nach rechts zur Folge. Damit ergibt sich ein perfektes mentales Bedienmodell für einen Benutzer, wodurch die Steuerung für einen Nutzer intuitiv ist.
Die Anzeigeinhaltanpassungseinheit kann weiter eingerichtet sein, sobald
Koordinaten einer letzten Position der Geste erfasst worden sind, den Anzeigeinhalt entsprechend einer zuletzt erfassten bzw. der letzten erfassten Geschwindigkeit, mit der sich die Position der Geste geändert hat, weiterlaufen zu lassen und bevorzugt kontinuierlich bis zum Stillstand zu verlangsamen. Dieses Steuerungsverhalten vermittelt einem Benutzer das Gefühl, den Anzeigeinhalt mittels der vorbestimmten Geste quasi anstoßen oder anstupsen zu können.
Der Anzeigeinhalt ist bevorzugt ein Kartenausschnitt einer Karte, z.B. einer
Navigationskarte eines Navigationssystems. Die Kartendaten und damit die Karte können beispielsweise in einer Datenbank des Navigationssystems gespeichert sein. Die Anzeigeinhaltanpassungseinheit dient dann dazu, den Kartenausschnitt entsprechend der Veränderung der aktuellen Position der Geste anzupassen.
Die Erfindung betrifft weiter ein Fahrzeug, insbesondere ein Kraftfahrzeug, mit einem Fahrerinformationssystem, welches wenigstens eine Anzeigeeinheit zur Anzeige von graphischen Daten, beispielsweise eines Navigationssystems oder eines
Internetbrowsers, und eine erfindungsgemäße Steuereinrichtung, wie vorstehend beschrieben, zum Verschieben und/oder Zoomen des Anzeigeinhalts aufweist.
Die Erfindung eignet sich besonders gut für die Steuerung von Anzeigeinhalten eines Fahrerinformationssystems in einem Fahrzeug. Die Erfindung kann aber
grundsätzlich auch auf Smartphones, Tabletcomputern oder Vorrichtungen mit einer Anzeige implementiert werden, deren Inhalt entsprechend der hier vorgeschlagenen Steuerung durch einen Nutzer angepasst werden kann.
Bevorzugte Ausführungsbeispiele Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen
Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Ebenso können die vorstehend genannten und die hier weiter ausgeführten Merkmale je für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Funktionsähnliche oder identische Bauteile oder Komponenten sind teilweise mit gleichen
Bezugszeichen versehen. Die in der Beschreibung der Ausführungsbeispiele verwendeten Begriffe„links",„rechts",„oben" und„unten" beziehen sich auf die Zeichnungen in einer Ausrichtung mit normal lesbarer Figurenbezeichnung bzw. normal lesbaren Bezugszeichen. Die gezeigten und beschriebenen
Ausführungsformen sind nicht als abschließend zu verstehen, sondern haben beispielhaften Charakter zur Erläuterung der Erfindung. Die detaillierte Beschreibung dient der Information des Fachmanns, daher werden bei der Beschreibung bekannte Schaltungen, Strukturen und Verfahren nicht im Detail gezeigt oder erläutert, um das Verständnis der vorliegenden Beschreibung nicht zu erschweren.
Figur 1 veranschaulicht das Grundprinzip einer Kartenausschnittsteuerung.
Figur 2 zeigt schematisch die Komponenten eines Navigationssystems mit einer stereoskopischen Gestenerkennung und Gestenpositionserkennung zur Anpassung eines Kartenausschnitts gemäß dem Prinzip der Figur 1 .
Die folgende Beschreibung erläutert die vorgeschlagene Steuerung des
Anzeigeinhalts einer Anzeigeeinheit am Beispiel der Steuerung eines angezeigten Kartenausschnitts eines Navigationssystems. Selbstverständlich kann die hier beschriebene Steuerung grundsätzlich entsprechend auf andere Anzeigenhalte einer Anzeigeeinheit eines Fahrerinformationssystems übertragen werden. Als weiteres Beispiel sei hier ein in das Fahrerinformationssystem integrierter Internetbrowser genannt, bei dem dann - wie beim Kartenausschnitt - kleine Inhalte mit einer kurzen und schnellen Geste fokussiert werden können. Figur 1 veranschaulicht zunächst das Grundprinzip der hier vorgeschlagenen
Kartenausschnittsteuerung. Von einer (Navigations-)Karte 1 mit grafisch aufbereiteten geografischen Daten und Straßenverlaufsdaten soll ein bestimmter Kartenausschnitt 7 auf einer Anzeige 5 angezeigt werden. Der Kartenausschnitt 7 wird mit einer Kamera 3, die auf die Karte 1 ausgerichtet ist, aufgenommen. Die von der Kamera 3 von einer Position P aus erfassten Bilddaten definieren den
Kartenausschnitt 7. Dabei wird eine äußere Begrenzung des Kartenausschnitts 7 im Wesentlichen vom Abstand der Kamera 3 zur Karte 1 , einem Öffnungswinkel 3.1 der Kamera 3 und dem Format des Bildsensors (nicht gezeigt) der Kamera 3 bestimmt. Die Bilddaten werden von der Kamera 3 an die Anzeigeeinheit 5 übertragen und dort angezeigt. Durch eine Veränderung der Position P der Kamera 3 in y- und/oder z-Richtung kann der Kartenausschnitt 7 entsprechend verschoben werden. Durch eine Veränderung der Position P der Kamera 3 in x-Richtung kann der Kartenausschnitt 7 gezoomt werden. D.h., wenn die Position P in x-Richtung auf die Karte 1 zubewegt wird, wird der Kartenausschnitt 7 entsprechend verkleinert. Da die Anzeigefläche der
Anzeigeeinheit gleich bleibt bedeutet dies, dass ein kleinerer Teil der Karte 1 auf der Anzeigefläche angezeigt wird, womit im Ergebnis in die Karte 1 hineingezoomt wurde. Wenn die Position P in x-Richtung von der Karte 1 wegbewegt wird, wird der Kartenausschnitt 7 entsprechend vergrößert. Da die Anzeigefläche der
Anzeigeeinheit gleich bleibt bedeutet dies, dass jetzt ein größerer Teil der Karte 1 auf der Anzeigefläche angezeigt wird, womit im Ergebnis aus der Karte 1 herausgezoomt wurde.
Das vorstehende Grundprinzip wird gemäß dem ersten Aspekt mittels einer
Gestensteuerung im freien Raum zur Steuerung eines aktuell angezeigten
Kartenausschnitts 7 auf der Anzeigeeinheit 5 eines Navigationssystems übertragen. Dabei wird die Position einer vorbestimmten Geste G in Form einer bestimmten
Hand-/Fingerstellung erkannt und in eine Position P der virtuellen Kamera 3 der Figur 1 umgerechnet. D.h., eine Anpassung des Kartenausschnitts 7 wird in Abhängigkeit der Bewegung der Position P einer erkannten Geste G entsprechend dem anhand der Figur 1 erläuterten Prinzip durchgeführt. Figur 2 zeigt dazu schematisch die Komponenten eines Navigationssystems mit einer Gestenerkennung und einer stereoskopischen Gestenpositionserkennung zur Anpassung des Kartenausschnitts 7 gemäß dem Prinzip der Figur 1 . Die grundsätzlichen Bestandteile eines Navigationssystems und deren Funktion werden als bekannt vorausgesetzt und hier nicht näher erläutert. Die im Folgenden erläuterten weiteren Bestandteile zur Gestenerkennung und stereoskopischen Gestenpositionserkennung sowie die mit Softwaremitteln realisierbare
Bildverarbeitung sowie Kartenausschnittanpassung kann bei einem bekannten Navigationssystem ergänzt werden.
Figur 2 zeigt die Anzeigeeinheit 5 des Navigationssystems auf dem ein
Kartenausschnitt 7 angezeigt wird. An den beiden oberen Ecken der Anzeigeeinheit 5 sind zwei Kameras 12.1 , 12.2 zur Gestenerfassung angeordnet. Die zwei Kameras 12.1 , 12.2 ermöglichen eine stereoskopische Erfassung der Position P einer erkannten Geste G, die mit einer Hand H ausgeführt wird. Für die hier beschriebene Kartenausschnittanpassung wurde eine Geste G voreingestellt, bei der sich als vorbestimmte Fingerstellung der Daumen und der Zeigefinger einer Hand
pinzettenartig berühren, d.h. einen sogenannten Pinzettengriff ausführen. Die Gestenerkennung hat den Vorteil, dass so die Absicht des Benutzers klar erkennbar ist und die Geste von anderen Handbewegungen unterschieden werden kann. Dadurch führen andere Handbewegungen im Erkennungsbereich der Kameras 12.1 , 12.2 zu keiner (unbeabsichtigten) Anpassung des Kartenausschnitts 7. D.h., erst bei einer Erkennung der vorbestimmten Geste G wird die
Kartenausschnittanpassungseinheit 1 6 aktiviert.
Eine Gestenerkennungseinheit 14 mit den Kameras 12.1 , 12.2 kann als separate Hardware Bestandteil einer Steuereinrichtung 10 des Navigationssystems sein oder damit verbunden sein bzw. durch ohnehin vorhandene Softwareroutinen des
Navigationssystems implementiert sein. Die Gestenerkennungseinheit 14 ist sowohl zur Gestenerkennung als auch zur Bestimmung der aktuellen Position P der Geste G im freien Raum vor der Anzeigeeinheit 5 eingerichtet. Die Gestenerkennung ist in bekannter weise mit entsprechenden Verfahren der Bildverarbeitung und
Mustererkennung implementiert. Die Bestimmung der aktuellen Position P der Geste G erfolgt im Wesentlichen basierend auf der Kenntnis der Positionen der Kameras 12.1 , 12.2 sowie der aktuellen Raumwinkel der Sichtlinien 12.1 r, 12.2r von der jeweiligen Kamera 12.1 , 12.2 ausgehend von der Position P der Geste G. Damit kann die Gestenerkennungseinheit 14 mittels bekannter Berechnungen der
Stereoskopie die Koordinaten der Position P hinreichend genau bestimmen.
Die 3D-Koordinaten der Position P der Geste G werden bevorzugt in kurzen
Zeitabschnitten, z.B. alle 20 ms, erfasst und der Kartenausschnittanpassungseinheit 16 zur Verfügung gestellt, um eine flüssige Anpassung des Kartenausschnitts 7 (Verschiebung und/oder Zoom) zu gewährleisten.
Sobald die Gestenerkennungseinheit 14 die vorbestimmte Geste G erkannt hat, werden, solange die vorbestimmte Hand-/Fingerstellung für die Geste G vom Nutzer beibehalten wird, die Koordinaten der (Gesten-)Position P von der
Gestenerkennungseinheit 14 erfasst. Die Koordinaten (Gnx, Gny, Gnz) bilden die Grundlage für die darauf basierende Anpassung des Kartenausschnitts 7 durch die Kartenausschnittanpassungseinheit 1 6. Die gesamte Karte 1 (vgl. Figur 1 ) ist in einer Datenbank 18 des Navigationssystems gespeichert, wobei die
Kartenausschnittanpassungseinheit 1 6 mit der Datenbank gekoppelt ist, d.h. auf die Kartendaten Zugriff hat. Bekannte Navigationssysteme weisen auch Möglichkeiten zur Einstellung des aktuellen Kartenausschnitts auf. D.h., die hier vorgeschlagene verbesserte Kartenausschnittanpassungseinheit 1 6 kann an dieser Stelle bei einem bekannten Navigationssystems ergänzt werden.
Dabei erfasste Koordinaten der Position können mit einem Laufindex n
gekennzeichnet und gespeichert werden, wobei der Index n von 1 bis k läuft. Die letzten Koordinaten (Gkx, Gky, Gkz) entsprechen der letzten Position Pk, bei der die Hand H die vorbestimmte Geste G ausführte oder den technisch bedingten
Erfassungsbereich vor der Anzeigeeinheit 5 verlassen hat. D.h., die
Gestenerkennungseinheit 14 erfasst während einer Interaktion k
Positionskoordinaten: x-Koordinate: Gix, G2x, G3x, G4x, G5x, ... ,Gkx y-Koordinate: Giy, G2y, G3y, G y, G5y, ... , Gky z-Koordinate: Giz, G2Z, G3Z, G4z, Gsz, ... , Gkz Als Erkennungsbereich kann ein bestimmter Raum über bzw. vor der Anzeigeeinheit 5 definiert sein. Koordinaten GnXyz der Position P werden von der Gestenerkennungseinheit 14 als Steuereingabe an die Kartenausschnittanpassungseinheit 16 nur berechnet, wenn die definierte Geste G erkannt wird und die aktuelle Position P der Geste G im Erkennungsbereich liegt. Wird eine Position P außerhalb des Erkennungsbereichs ermittelt oder während einer aktiven Interaktion erreicht, oder wird die definierte Handstellung verlassen, wird die Interaktion abgebrochen. D.h., es findet dann keine weitere Anpassung des Kartenausschnitts 7 statt.
Um die Darstellung eines bestimmten Kartenausschnitts 7 auf der Anzeigeeinheit 5 zu erreichen, wird die aktuelle Position P der Geste G in eine Position einer virtuellen Kamera (entsprechend der Kamera 3 in Figur 1 ), die beliebig in drei Dimensionen verschoben werden kann, umgerechnet. Die berechnete Position PVc der virtuellen Kamera und ein der virtuellen Kamera zugeordneter Öffnungswinkel definieren dann den aktuell auf der Anzeigeeinheit 5 anzuzeigenden Kartenausschnitt 7. Aus der aktuell erfassten Position P der Geste G mit den Koordinaten (Gnx, Gny, Gnz) berechnet die Gestenerkennungseinheit 14 die entsprechende Position (Pvcnx, Pvcny, Pvcnz) der virtuellen Kamera bevorzugt entsprechend folgender formelmäßiger Zusammenhänge:
Pvcnx = PvC1 x * 2 ((Gnx - Gix) / fx) (1 .1 ) PvCny = PvC(n-1)y + PvCnx * (Gny - G(n-i )y) * fy (1 .2)
PvCnz = PvC(n-1)z + PvCnx * (Gnz— G(n-l )z) * fz (1 -3) wobei fx, fy, fz Sensitivitätsparameter sind und n der Index für die während einer Interaktion erfassten Positionen P ist, wobei - wie oben erläutert - 1 < n < k gilt.
Die jeweilige x-Koordinate entspricht dem aktuellen Abstand der Geste G zur Anzeigeeinheit 5 bzw. der Höhe der virtuellen Kamera über der Karte 1 , von welcher der Kartenausschnitt 7 auf der Anzeigeeinheit 5 angezeigt wird. Der Zusammenhang zwischen der x-Koordinate der Kamera Pvcnx und der x-Koordinate der
Gestenposition Gnx wird für ein Verkleinern oder Vergrößern (Zoomen) des
Kartenausschnitts verwendet. Mit der 2er-Potenz wird erreicht, dass durch eine definierte Bewegung der Geste G bzw. Hand H in x-Richtung so eine Verdoppelung der dargestellten Kartengröße erreicht wird. Dadurch kann mit einer Handbewegung zwischen sehr vielen Zoomfaktoren gewechselt werden.
Weiter sind die y- und z-Koordinaten Pvcny, Pvcnz der virtuellen Kamera so von der x- Koordinate Pvcnx abhängig, dass durch entsprechende Einstellung der
Sensitivitätsparameter fy und fz die Länge einer Kartenbewegung auf der
Anzeigeeinheit 5 der Strecke der Bewegung der Geste G bzw. Hand H in y- und/oder z-Richtung entspricht. D.h., dass z.B. eine Handbewegung um 10 cm nach rechts eine Kartenbewegung um 10 cm nach rechts zur Folge hat. Somit ergibt sich ein perfektes mentales Modell, wodurch die Steuerung für einen Nutzer intuitiv ist.
Gemäß einem weiteren vorteilhaften Aspekt der vorgeschlagenen
Anzeigeinhaltsteuerung kann die Anpassung des Anzeigeinhaltes die
Bewegungsdynamik der Geste G bzw. Hand H bei der Eingabe berücksichtigen. Dazu ist die Kartenausschnittanpassungseinheit 1 6 eingerichtet, nachdem die letzten Koordinaten Gk der Position P der Geste G gesendet wurden, den Kartenausschnitt 7 in der letzten erfassten Geschwindigkeit der Hand H bzw. Geste G über die Karte 1 weiterlaufen zu lassen, wobei sich die Bewegung kontinuierlich bis zum Stillstand verlangsamt. Dieses Verhalten vermittelt dem Nutzer das Gefühl, dass man die Karte „anstoßen" kann. Dieses Verhalten kann mit folgenden formelmäßigen
Zusammenhängen und Einstellungen abgebildet werden: last vel 'xyz
= (Gkxyz - G(k-i)xyZ) / steplength (2.1 )
= 0.5 * b * (steplength * (n-k))A2 + last_velxyz * steplength * (n-k); (2.2) (last_velxyz > 0) s ',nxyz
= - 0.5 * b * (steplength * (n-k))A2 + last_velxyz * steplength * (n-k); (2.3) (last_velxyz < 0)
Pvcnx = Pvcix * 2A((Gkx + Snx)/ fx) (2.4) PvCny = PvC(n-1 )y + PvCnx * (Sny— S(n-l )y) * fy (2.5)
PvCnz = PvC(n-1 )z + PvCnx * (Snz— S(n-1 )z) * fz (2.6) wobei n > k bedeutet, dass das Weiterlaufen des Kartenausschnitts 7 nach der letzten erkannten Gestenposition erfolgt, b ein voreingestellter Bremsfaktor, z.B. - 0.3m/s ist,„steplength" eine Schrittweite entsprechend der aktuellen Bildrate der Kameras 12.1 , 12.2, z.B. 20ms bei 50 Bilder/s ist, und„last_velXyZ" die letzte
Geschwindigkeit der Bewegung der Geste G bzw. Hand H ist, z.B. (GkXyz - G(k-i )xyZ) / steplength.
Der beschriebene Weiterlauf des Kartenausschnitts endet, sobald snXyz ein definiertes Minimum erreicht oder eine neue Serie von Koordinaten einer Position P einer erkannten Geste G gesendet wird.

Claims

Patentansprüche
1 . Steuereinrichtung zum Verschieben und/oder Zoomen eines Anzeigeinhalts, wobei die Steuereinrichtung aufweist: eine Anzeigeeinheit (5) mit einem
Anzeigeinhalt (7), wenigstens eine Kamera (12.1 , 12.2), die zur Aufnahme eines Erfassungsbereichs vor der Anzeigeeinheit (5) eingerichtet ist, eine
Gestenerkennungseinheit (14), die mit der wenigstens einen Kamera (12.1 , 12.2) gekoppelt ist und zur Erkennung einer mit einer Hand (H) ausgeführten
vorbestimmten Geste (G) und einer aktuellen Position (P) der Geste (G) im
Erfassungsbereich eingerichtet ist, und eine Anzeigeinhaltanpassungseinheit (16), die eingerichtet ist, den Anzeigeinhalt (7) entsprechend einer Veränderung der aktuellen Position (P) der Geste (G) anzupassen, insbesondere bei einer
Veränderung der Position (P) in einer Ebene parallel zur Anzeigeeinheit (5) den Anzeigeinhalt entsprechend zu verschieben und/oder bei einer Veränderung der Position (P) zu oder weg von der Anzeigeeinheit (5) den Anzeigeinhalt zu vergrößern oder zu verkleinern.
2. Steuereinrichtung gemäß Anspruch 1 , wobei die Steuereinrichtung zwei Kameras (12.1 , 12.2) zur Aufnahme des Erfassungsbereichs vor der Anzeigeeinheit (5) aufweist und die Gestenerkennungseinheit (14) die aktuellen Position (P) der Geste (G) im Erfassungsbereich mittels Stereoskopie ermittelt.
3. Steuereinrichtung gemäß Anspruch 1 oder 2, wobei die wenigstens eine Kamera (12.1 , 12.2) eine Infrarot-Kamera und/oder eine Time-of-Flight-Kamera und/oder eine Structured-Light-Kamera ist.
4. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Gestenerkennungseinheit (14) und/oder die Anzeigeinhaltanpassungseinheit (1 6) eingerichtet ist bzw. sind, den Anzeigeinhalt zu verschieben und/oder zu zoomen, solange die vorbestimmte Geste (G) erkannt wird.
5. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei der Erfassungsbereich ein vorbestimmter Raum vor der Anzeigeeinheit (5) ist.
6. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Anzeigeinhaltanpassungseinheit (16) eingerichtet ist, den Anzeigeinhalt (7) bei einer Veränderung der Position (P) zu oder weg von der Anzeigeeinheit (5) mit einem Faktor zu vergrößern oder zu verkleinern, wobei der Faktor einer Potenz der Basis 2 mit einer Änderung des Abstandes zwischen der Position (P) der Geste (G) und der Anzeigeeinheit (5) als Exponent entspricht.
7. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Anzeigeinhaltanpassungseinheit (16) eingerichtet ist, den Anzeigeinhalt (7) bei einer Veränderung der Position (P) in einer Ebene parallel zur Anzeigeeinheit (5) entsprechend so zu verschieben, dass eine Länge einer Bewegung des
Anzeigeinhalts einer Strecke der Bewegung der Position (P) der Geste (G) in der Ebene parallel zur Anzeigeeinheit (5) entspricht.
8. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei die Anzeigeinhaltanpassungseinheit (16) weiter eingerichtet ist, sobald eine letzte Position (P) der Geste (G) erfasst worden ist, den Anzeigeinhalt (7) entsprechend einer letzten erfassten Geschwindigkeit, mit der sich die Position (P) der Geste (G) geändert hat, weiterlaufen zu lassen und kontinuierlich bis zum Stillstand zu verlangsamen.
9. Steuereinrichtung gemäß einem der vorhergehenden Ansprüche, wobei der Anzeigeinhalt ein Kartenausschnitt (7) einer Karte (1 ) ist, die beispielsweise in einer Datenbank (18) eines Navigationssystems gespeichert ist, und die
Anzeigeinhaltanpassungseinheit (16) den Kartenausschnitt (7) entsprechend der Veränderung der aktuellen Position (P) der Geste (G) anpasst.
10. Fahrzeug, insbesondere Kraftfahrzeug, mit einem Fahrerinformationssystem, welches wenigstens eine Anzeigeeinheit (5) zur Anzeige von graphischen Daten, beispielsweise eines Navigationssystems oder eines Internetbrowser, und eine Steuereinrichtung gemäß einem der vorhergehenden Ansprüche zum Verschieben und/oder Zoomen des Anzeigeinhalts aufweist.
PCT/EP2015/058327 2014-04-23 2015-04-16 Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges WO2015162058A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/299,705 US10585487B2 (en) 2014-04-23 2016-10-21 Gesture interaction with a driver information system of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014207637.4 2014-04-23
DE102014207637.4A DE102014207637A1 (de) 2014-04-23 2014-04-23 Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/299,705 Continuation US10585487B2 (en) 2014-04-23 2016-10-21 Gesture interaction with a driver information system of a vehicle

Publications (1)

Publication Number Publication Date
WO2015162058A1 true WO2015162058A1 (de) 2015-10-29

Family

ID=53039866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/058327 WO2015162058A1 (de) 2014-04-23 2015-04-16 Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges

Country Status (3)

Country Link
US (1) US10585487B2 (de)
DE (1) DE102014207637A1 (de)
WO (1) WO2015162058A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10821831B2 (en) 2016-09-01 2020-11-03 Volkswagen Aktiengesellschaft Method for interacting with image contents displayed on a display device in a transportation vehicle

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
KR20210000466A (ko) * 2019-06-25 2021-01-05 현대모비스 주식회사 차량 내 제스처 입력을 이용한 제어 시스템
US11983327B2 (en) * 2021-10-06 2024-05-14 Fotonation Limited Method for identifying a gesture
DE102022111443A1 (de) 2022-05-09 2023-11-09 Diehl Ako Stiftung & Co. Kg Berührungslose Steuereinrichtung für einen Präsentationsbereich sowie Bedieneinheit

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4201934A1 (de) 1992-01-24 1993-07-29 Siemens Ag Gestik computer
EP1408443A1 (de) 2002-10-07 2004-04-14 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
EP1477924A2 (de) 2003-03-31 2004-11-17 HONDA MOTOR CO., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US20130055150A1 (en) * 2011-08-24 2013-02-28 Primesense Ltd. Visual feedback for tactile and non-tactile user interfaces
DE102013201746A1 (de) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interaktion mit fahrzeugbedienungselementen durch gestenerkennung
WO2013184704A1 (en) * 2012-06-04 2013-12-12 Oblong Industries, Inc. Spatial operating environment (soe) with markerless gestural control

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037154A1 (de) * 2006-03-27 2007-10-18 Volkswagen Ag Navigationsgerät und Verfahren zum Betreiben eines Navigationsgeräts
US8881049B2 (en) * 2007-12-14 2014-11-04 Apple Inc. Scrolling displayed objects using a 3D remote controller in a media system
US9785330B1 (en) * 2008-02-13 2017-10-10 Apple Inc. Systems for and methods of providing inertial scrolling and navigation using a fingerprint sensor calculating swiping speed and length
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8878779B2 (en) * 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8811938B2 (en) * 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
DE102013000066A1 (de) * 2013-01-08 2014-07-10 Audi Ag Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
US9246961B2 (en) * 2013-11-27 2016-01-26 Facebook, Inc. Communication user interface systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4201934A1 (de) 1992-01-24 1993-07-29 Siemens Ag Gestik computer
EP1408443A1 (de) 2002-10-07 2004-04-14 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
EP1477924A2 (de) 2003-03-31 2004-11-17 HONDA MOTOR CO., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US20130055150A1 (en) * 2011-08-24 2013-02-28 Primesense Ltd. Visual feedback for tactile and non-tactile user interfaces
DE102013201746A1 (de) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interaktion mit fahrzeugbedienungselementen durch gestenerkennung
WO2013184704A1 (en) * 2012-06-04 2013-12-12 Oblong Industries, Inc. Spatial operating environment (soe) with markerless gestural control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURTENBACH ET AL.: "Gestures in Human-Computer Communication", THE ART OF HUMAN-COMPUTER INTERFACE DESIGN, 1990, pages 309 - 317

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10821831B2 (en) 2016-09-01 2020-11-03 Volkswagen Aktiengesellschaft Method for interacting with image contents displayed on a display device in a transportation vehicle

Also Published As

Publication number Publication date
DE102014207637A1 (de) 2015-10-29
US20170038851A1 (en) 2017-02-09
US10585487B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
EP2720929B1 (de) Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
WO2015162058A1 (de) Gesteninteraktion mit einem fahrerinformationssystem eines fahrzeuges
EP2653335A2 (de) Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
WO2014108153A1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
WO2014040930A1 (de) Verfahren und vorrichtung zur bedienung einer kraftfahrzeugkomponente mittels gesten
WO2014108147A1 (de) Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung
DE102012020607A1 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
WO2018137939A1 (de) Verfahren zum betreiben eines bediensystems, bediensystem und fahrzeug mit einem bediensystem
EP2953793B1 (de) System zur druckmaschinenbedienung
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
WO2016120251A1 (de) Verfahren zum betreiben einer eingabevorrichtung, eingabevorrichtung
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE102015201728A1 (de) Verfahren zum Auswählen eines Bedienelements eines Kraftfahrzeugs und Bediensystem für ein Kraftfahrzeug
DE202015100273U1 (de) Eingabevorrichtung
DE102014226553A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
EP3298477B1 (de) Verfahren zum betreiben einer bedienvorrichtung sowie bedienvorrichtung für ein kraftfahrzeug
WO2014067798A1 (de) Bereitstellen einer bedienungseingabe unter verwendung eines head-mounted displays
DE102018220693B4 (de) Steuerungssystem und Verfahren zum Steuern einer Funktion eines Fahrzeugs, sowie Fahrzeug mit einem solchen
DE102014204289A1 (de) Erfassung von Freiraumgesten und Feedback
DE102015215044A1 (de) Verfahren und System zur Verarbeitung multimodaler Eingabesignale
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
WO2020052894A1 (de) Verfahren zum unterstützen eines benutzers beim durchführen eines scroll-vorgangs, vorrichtung und kraftfahrzeug
WO2015010829A1 (de) Verfahren zum betreiben einer eingabevorrichtung, sowie eingabevorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15719995

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15719995

Country of ref document: EP

Kind code of ref document: A1