WO2014108152A2 - Kraftfahrzeug-bedienschnittstelle mit einem bedienelement zum erfassen einer bedienhandlung - Google Patents

Kraftfahrzeug-bedienschnittstelle mit einem bedienelement zum erfassen einer bedienhandlung Download PDF

Info

Publication number
WO2014108152A2
WO2014108152A2 PCT/EP2013/003541 EP2013003541W WO2014108152A2 WO 2014108152 A2 WO2014108152 A2 WO 2014108152A2 EP 2013003541 W EP2013003541 W EP 2013003541W WO 2014108152 A2 WO2014108152 A2 WO 2014108152A2
Authority
WO
WIPO (PCT)
Prior art keywords
operating
motor vehicle
control
operating element
displayed
Prior art date
Application number
PCT/EP2013/003541
Other languages
English (en)
French (fr)
Other versions
WO2014108152A3 (de
Inventor
Michael SCHLITTENBAUER
Martin Roehder
Heiko Maiwand
Nathaniel COSER
Lorenz Bohrer
Alexander Sebastian Strauch
Original Assignee
Audi Ag
Volkswagen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag, Volkswagen Ag filed Critical Audi Ag
Publication of WO2014108152A2 publication Critical patent/WO2014108152A2/de
Publication of WO2014108152A3 publication Critical patent/WO2014108152A3/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/113—Scrolling through menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/133—Multidirectional input devices for instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/133—Multidirectional input devices for instruments
    • B60K2360/137—Jog-dials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture

Definitions

  • the invention relates to a method for operating a user interface of a motor vehicle.
  • the operator interface may include one or more controls, such as a button, a rotary pushbutton and / or a slider.
  • a control function assigned to the respective operating action is triggered for operating the motor vehicle. For example, the pressing of a key is recognized and the function assigned to the key is activated. So that a driver is not unnecessarily distracted while driving with his motor vehicle, the control elements for the driver are usually arranged easily accessible by hand in an operator interface.
  • variable panels can be displayed on a screen, which can be selected or pressed (in the case of a touch screen) so as to be able to trigger an operating function as well.
  • Such softkeys allow a context-related function definition, ie different control panels for triggering different operating functions can be displayed one after the other on the same screen.
  • Each associated with a specific control panel operating function is the user by texts, symbols, colors or other indicators of the panels displayed.
  • the panels or indicators permanently overlap the content actually displayed on the screen, ie, the output information of the device to be operated, such as a road map in a navigation device.
  • the indicators usually appear permanent, obscuring the visibility of the content under the indicators, thereby limiting the information display area, although the indicators are not required if the occupant of the vehicle does not currently wish to trigger an operator function.
  • An interactive operating device is known from DE 10 2006 037 157 A1, in which graphic information as well as operating elements, ie softkeys, are displayed on a display device and, based on sensor information, it is determined that a body part of a user is within an activation range that is spatially relative is set to a Dar- position area of an operating element on the display device. As a result, an operating intent of the user is detected and the at least one operating element optimized for activating the operating element associated with the operating action shown.
  • a distance from adjacent further operating elements and / or an animation of the operating element can be changed so as to facilitate the user's choice of one or more operating elements. It can also be provided that, based on the sensor information, a distance of the body part from the representation of the operating element is determined and the operating element is scaled as a function of this distance. In this method, the user is indeed the operation, ie the pressing of the individual panels easier, but the panels must be displayed before, so that the user can read the possible operating functions on the touch screen and he knows where he has to take his finger. From US 2012/0268404 A1 an operator interface is known in which an operating element has a proximity sensor which signals the approach of a hand of the user to the operating element.
  • a gesture recognition device for a motor vehicle is known from US 201 1/0286676 A1, which generates 3D image data of a body part of a person in a motor vehicle by means of a TOF camera (TOF) and of the 3D image data Performs gesture recognition.
  • TOF TOF camera
  • the inventive method is based on an operating interface of a motor vehicle, in which upon detection of a user's control action on a control element of the user interface, an operating function assigned to the operating action for actuating the motor vehicle is triggered. For example, it is thus detected whether a user rotates a rotary push-button and correspondingly triggers a state change associated with the rotary motion in the motor vehicle, that is, for example, moves a selection cursor in a selection menu.
  • a selection menu does not have to be permanently displayed to the user before the operating procedure, but only if necessary.
  • the optical sensor device comprises a 3D camera, by means of which 3D image data are generated, from which a position of the user's hand in the interior of the motor vehicle is determined by the optical sensor device. From the position, a distance of the hand is then determined by the operating element.
  • the user is provided with operating information on a display device of the operating interface that is different from the operating element, ie, for example, a head-up display or a screen in a center console concerning at least one momen-
  • a display device of the operating interface that is different from the operating element, ie, for example, a head-up display or a screen in a center console concerning at least one momen-
  • the selection menu in which a selection can be made by the operating action "turning" of the rotary-push-button can be triggered, but if the distance is greater than the threshold value, this operating information is not displayed.
  • the inventive method has the advantage that the display element when not operating the control element completely, i. its entire display area, is available for information that has nothing to do with the operating information.
  • the size of the display device must therefore be designed only for the output information, since unnecessary operating information is hidden if necessary.
  • the operating element does not have to have any special sensors in order to be able to detect the approach of a hand.
  • the 3D camera can be used by the optical sensor device to determine the distance to different operating elements and then display respective operating information when the hand approaches one of the operating elements. This reduces the circuit complexity in an advantageous manner.
  • the operating element is a simple button
  • the driver can, for example, grasp the button during a night drive in the dark and then, for example on the windshield, display information about the function by means of a head-up display Tasters is triggered. The driver no longer has to take his eyes off the traffic to see if he has found the right button.
  • an additional advantage results if the operating information not only shows the triggering operating function itself, but also the operating action required for triggering. This makes it possible that even more complex controls that can detect more than one control action (for example, a rotary-push-button), can be operated in this way without the driver must turn his attention to the traffic in an undesirably high degree.
  • the user may be displayed to a rotary pushbutton as a control information, what happens when the rotary pushbutton is rotated to the left, rotated to the right, or is pressed.
  • the operating functions that can be triggered by the operating element are set as a function of an operating state of the motor vehicle, that is, context-dependent.
  • one and the same operating element can be used to operate, for example, both a navigation device and a media playback device, such as an MP3 player.
  • a navigation device for example, both a navigation device and a media playback device, such as an MP3 player.
  • a particularly preferred embodiment provides that by means of the display device first output information is displayed, which do not represent operating information, but are different from these.
  • the output information represents a context for the operating actions, which means that the operating element is then assigned such operating functions by which the output information currently displayed can be influenced.
  • the control element can be used, for example. Assigned operating functions for setting the street map view. If the user now accesses the operating element, he is informed by the operating information on how he can influence the output information by means of the operating element. For this purpose, control panels can also be displayed.
  • the triggerable operating functions are displayed as panels in the output information.
  • the user still sees the output information or at least part of it and then superimposed on it or arranged next to it are the operating information.
  • the user is also visually immediately clear the context in which he now operates the control.
  • An embodiment of the method provides that in displaying the operating information, so if the user is with his hand close to the control element, an image of the control element or a symbol for the control are displayed and additionally at least one adjacently to the control element arranged control by a Image or icon will also be displayed.
  • the user can then orient themselves in an advantageous manner, for example on a button bar, without having to look at the button bar. This is particularly advantageous in the case of a night drive if the driver, for example via a head-up display, displays the button bar and his current finger position in his field of vision.
  • the operating element may be a mechanical operating element, wherein a rotary-push-dial is preferably monitored as to whether a hand is approaching it.
  • another preferred embodiment of the method provides that is monitored as the control element no mechanically provided for the operation component, but a sensorless trim part of the interior of the motor vehicle. This may be, for example, a seat surface or a surface of a panel of the dashboard. Sensorless here means that no signal is generated by pressing or other operating action on the surface itself. Rather, the operating sensor of the hand is monitored by the optical sensor device based on the 3D image data of the 3D camera in addition to the distance, which performs the hand when performing the operation on the (sensorless) control element.
  • a driver may be possible for a driver to control a pointer element on a screen simply by placing his finger on a cowling or armrest and passing his finger across the surface.
  • the coating device is then converted by the optical sensor device into a movement of the pointer element on the screen.
  • the user can change the pointer element e.g. Move to also displayed on the screen control surfaces and then there, for example, by tapping the surface of the function represented by the control surface is represented.
  • the invention also includes a motor vehicle.
  • the motor vehicle according to the invention has a 3D camera and a control interface equipped with at least one operating element.
  • the motor vehicle according to the invention is designed to determine for each of the operating elements in the described manner whether a user's hand is approaching the operating element, and in this case then to display operating information on the operating element on a display device.
  • the display device is different from the operating element, ie it is not a so-called touch screen.
  • the 3D camera of the motor vehicle according to the invention is preferably a TOF camera and / or a stereo camera arrangement. It can also be provided that a TOF camera is part of a stereo camera arrangement.
  • FIG. 1 shows a block diagram of an optical sensor device which can be installed in an embodiment of the motor vehicle according to the invention, and a sketch of an operating procedure as it is made possible for an operator on the basis of an embodiment of the method according to the invention.
  • the examples shown represent preferred embodiments of the invention.
  • FIG. 1 shows an optical sensor device 10 and a re-input device 12 of a motor vehicle, for example a passenger car.
  • the reproduction device 12 can be, for example, an infotainment system, an audio system, a navigation system, a television system, a telephone, a combination instrument or a head-up display.
  • the sensor device 10 comprises a measuring device 14 and a calculation unit 16.
  • the measuring device 14 comprises an optical sensor 18, which may be, for example, a TOF camera or a PMD camera.
  • the optical sensor 18 may also be, for example, a stereo camera. In the example shown in FIG. 1, it has been assumed that the optical sensor 18 is a PMD camera acts.
  • the optical sensor 18 may be arranged, for example, in a headliner of the motor vehicle.
  • the optical sensor 18 may be configured in a manner known per se, i. a light source 20, e.g. an infrared light illuminates a detection area 22, for example a space above a center console of the motor vehicle. If there is an object in it, for example a hand 24 of the driver of the motor vehicle, then the electromagnetic radiation emitted by the light source 20 is reflected back by the hand 24 to a sensor array 26. By means of the sensor array 26 then SD image data can be generated, which indicate 3D coordinates to individual surface elements of the hand 24. The 3D image data are transmitted from the measuring device 14 to the calculation unit 16.
  • the calculation unit 16 may be, for example, a control unit of the motor vehicle.
  • the signals are evaluated and then the evaluated data are made available to the vehicle, for example, by being transmitted to the reproduction device 12.
  • limbs such as a hand
  • the 3D image data of the sensor array 26 of the optical sensor 18 may also represent a sequence of successive 3D images, i. With the optical sensor 18 and movements of the hand 24 can be detected. By tracing the trajectory, for example the fingertip in this 3D image sequence, in particular by tracking the position and the speed of the fingertip, a motion gesture indicated by the fingertip can be extrapolated from the trajectory.
  • FIG. 2 an interior 28 of a motor vehicle is shown, which may be, for example, a passenger car. Shown is a perspective schematic view of a center console 30 of the motor vehicle, which has a rotary push-button 32 and a screen 34.
  • the screen 34 is a display device, the rotary-push-button an operating element in the context of the invention.
  • the described optical sensor 26 can be arranged in a headliner of the motor vehicle and the center console 30 and capture objects above it.
  • 3D image data are generated by the optical sensor 26, which are processed by the calculation unit 16 in the manner described and output to an infotainment system 12.
  • the infotainment system is a display device, and therefore has the same reference as the display device in FIG. 1.
  • the screen 14 belongs to the infotainment system 12.
  • the infotainment system 12 is in a navigation mode in which a road map 36 is shown on the screen 34.
  • the road map 36 represents output information based on which a route is illustrated to the driver of the motor vehicle.
  • the driver wants to operate the infotainment system 12 in order to make changes in the destination in navigation mode, for example.
  • the driver has put his hand 24 on the rotary push-button 32 for this purpose.
  • a movement of the hand 24 over the center console 30 has been detected on the basis of the 3D image data of the measuring device 14 and it is checked here whether a distance of the hand 24 from the rotary pushbutton is smaller than a minimum radius 38, which is from a Center of the rotary push-button 32 is defined from.
  • the minimum radius 38 represents a threshold.
  • the threshold may be in a range of 0 to 10 cm.
  • the minimum radius 38 defines a monitoring area 40.
  • coordinates of the spin-push adjuster 32 and the minimum radius 38 may be stored in the calculation unit 16. If the hand 24 is located within the monitoring area 40, ie if its distance is smaller than the minimum radius 38, an operating mode is activated by the calculation unit 16 in the infotainment system 12. When the operating mode is activated, the infotainment system 12 changes the display of the screen 34 in such a way that the card information 36 is superimposed on indicators 42 for operating functions. For example, the indicators 42 may be moved from an edge of the card 36 in an animation motion 44 toward the center of the map.
  • the indicators 42 represent panels that the user can select by a corresponding operation on the rotary push button 32. Upon selecting one of the indicators 42, the control function assigned to the respective indicator is activated. For example, an indicator 42 may be on select activate a navigation destination entry. For example, another indicator 42 may be for a selection from an address book.
  • the user with his hand 24 does not have to touch a discrete operating element such as the rotary push-button 32 explicitly.
  • the user can place his hand 24 or a finger of the hand 24 in a predefined or a freely selectable surface area 46, for example on the panel of the center console 30, and this of the optical sensor device 10 in the same way is recognized, as it was detected in connection with the rotary push-button 32.
  • the user must touch the area 46 with the finger, i. a minimum distance for the activation of the indicators is 0 cm. It can be provided that the user can move a mouse pointer 48 on the screen 34 by swiping over the surface area 46.
  • the calculation unit 16 converts the coordinates of the position of the finger on the operating surface 46 into corresponding coordinates of the mouse pointer 48 and positions the mouse pointer 48 accordingly on the card 36.
  • a relative evaluation of the position change in a corresponding movement of the mouse pointer 48 can also be provided .
  • the example shows how an approach to a surface can be recognized by the physically perfect location of an occupant, for example by a TOF camera, or by body parts of the occupant. If the occupant falls below a certain distance from the surface to be operated with a body part, the indicators for the functions of the surface in question can be displayed in a display unit depending on this. Depending on whether an infotainment system is in a navigation mode, in a music playback mode, a video mode or a telephony mode, different indicators for the same control element can be displayed. In the remaining period, when the user is with his body part at a greater distance from the operating element, the full image area for user information, ie output information of the device, can be used on the display unit.
  • This procedure can be implemented not only for discrete operating elements but also for freely definable areas in the motor vehicle. A driver is thus at non-operation of the controls or the user-definable control surfaces, the entire screen area for displaying output information available because relevant control information, such as the indicators of buttons and also other free surfaces or objects with such surfaces, only be shown on request.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mechanical Control Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienschnittstelle eines Kraftfahrzeugs, wobei bei Erfassen einer Bedienhandlung eines Benutzers an einem Bedienelement (32, 46) der Bedienschnittstelle eine der Bedienhandlung zugeordnete Bedienfunktion des Kraftfahrzeugs ausgelöst wird. Es ist Aufgabe der Erfindung, die Bedienschnittstelle in dem Kraftfahrzeug mit geringem Schaltungsaufwand und bauraumsparend bereitzustellen. Durch eine optische Sensoreinrichtung (10) wird hierzu mit einer 3D-Kamera (26) in einem Innenraum (28) des Kraftfahrzeugs eine Position einer Hand (24) des Benutzers ermittelt und aus der Position ein Abstand der Hand (24) von dem Bedienelement (32, 46) ermittelt. Nur wenn der Abstand kleiner als eine vorbestimmter Schwellenwert (38) ist, werden auf einer von dem Bedienelement (32, 46) verschiedenen Anzeigeeinrichtung (34) Bedieninformationen (42) betreffend zumindest eine mit dem Bedienelement (32, 46) momentan auslösbare Bedienfunktion angezeigt. Ansonsten kann die Anzeige vollständig für die Ausgabe von Nutzinformationen genutzt werden.

Description

Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienschnittstelle eines Kraftfahrzeugs. Die Bedienschnittstelle kann eines oder mehrere Bedienelemente umfassen, also beispielsweise eine Taste, einen Dreh-Drück- Steller und/oder einen Schieberegler. Beim Erfassen einer Bedienhandlung eines Benutzers an einem der Bedienelemente wird eine der jeweiligen Bedienhandlung zugeordnete Bedienfunktion zum Bedienen des Kraftfahrzeugs ausgelöst. Beispielsweise wird also das Drücken einer Taste erkannt und die der Taste zugeordnete Funktion aktiviert. Damit ein Fahrer während einer Fahrt mit seinem Kraftfahrzeug nicht unnötig abgelenkt wird, sind bei einer Bedienschnittstelle die Bedienelemente für den Fahrer in der Regel einfach mit der Hand erreichbar angeordnet. Hat der Fahrer dabei beispielsweise durch Ertasten ein Bedienelement, beispielsweise eine Taste oder auch einen Dreh-Drück-Steller, gefunden, so muss ihm dann aber auch klar sein, ob er das richtige Bedienelement gefunden hat, welches bei Betätigen auch die von ihm gewünschte Funktion aktiviert. Hierzu ist in der Regel ein Kontrollblick auf das Bedienelement durch den Fahrer nötig, damit dieser das auf dem Bedienelement angezeigte Symbol überprüfen kann.
Um den für eine Bedienschnittstelle benötigten Bauraum zu verringern, können z.B. auf einem Bildschirm veränderbare Bedienfelder angezeigt werden, die ausgewählt oder (im Falle eines Touchscreens) gedrückt werden können, um so ebenfalls eine Bedienfunktion auslösen zu können. Solche Softkeys erlauben eine kontextbezogene Funktionsdefinition, d.h. auf demselben Bildschirm können nacheinander unterschiedliche Bedienfelder zum Auslösen unterschiedliche Bedienfunktionen dargestellt werden. Die jeweils einem bestimmten Bedienfeld zugeordnete Bedienfunktion wird dem Benutzer durch Texte, Symbole, Einfärbungen oder sonstige Indikatoren der Bedienfelder angezeigt. Die Bedienfelder oder Indikatoren überlagern aber permanent den eigentlich auf dem Bildschirm anzuzeigenden Inhalt, d.h. die Ausgabeinformationen des zu bedienenden Geräts, also etwa einer Straßenkarte bei einem Navigationsgerät. Die Indikatoren erscheinen in der Regel permanent und verdecken die Sicht auf unter den Indikatoren befindliche Inhalte und schränken so den Anzeigebereich für Informationen ein, obwohl die Indikatoren keinerlei Notwendigkeit unterliegen, wenn der Insasse des Fahrzeugs momentan keine Bedienfunktion auslösen möchte. Aus der DE 10 2006 037 157 A1 ist eine interaktive Bedienvorrichtung bekannt, bei welcher auf einer Anzeigevorrichtung grafische Informationen sowie Bedienelemente, also Softkeys, angezeigt werden und anhand von Sensorinformationen ermittelt wird, dass sich ein Körperteil eines Nutzers innerhalb eines Aktivierungsbereichs befindet, der räumlich relativ zu einem Dar- Stellungsgebiet eines Bedienelements auf der Anzeigevorrichtung festgelegt ist. Hierdurch wird eine Bedienabsicht des Nutzers erkannt und das mindestens eine Bedienelement optimiert für das Aktivieren der dem Bedienelement zugeordneten Bedienaktion dargestellt. Beispielsweise kann ein Abstand von benachbarten weiteren Bedienelementen und/oder eine Animation des Be- dienelements verändert werden, um so dem Nutzer eine Auswahl von einem oder mehreren Bedienelementen zu erleichtern. Es kann auch vorgesehen sein, dass anhand der Sensorinformationen ein Abstand des Körperteils von der Darstellung des Bedienelements ermittelt wird und das Bedienelement in Abhängigkeit von diesem Abstand skaliert wird. Bei diesem Verfahren wird dem Nutzer zwar die Bedienung, d.h. das Drücken der einzelnen Bedienfelder erleichtert, die Bedienfelder müssen aber schon zuvor dargestellt sein, damit der Benutzer die möglichen Bedienfunktionen an dem Touchscreen ablesen kann und er weiß, wohin er mit dem Finger fassen muss. Aus der US 2012/0268404 A1 ist eine Bedienschnittstelle bekannt, bei welcher ein Bedienelement einen Näherungssensor aufweist, welcher das Annähern einer Hand des Benutzers an das Bedienelement signalisiert. Mittels des Bedienelements kann in einem Auswahlmenü auf einem Bildschirm etwas ausgewählt werden. Das Menü wird erst eingeblendet, wenn das Be- dienelement eine Annäherung einer Hand signalisiert. Zum Einblenden des Bedienmenüs wird ein bis dahin angezeigter Bildschirminhalt gelöscht. Damit ein Bedienelement die Annäherung einer Hand signalisieren kann, muss das Bedienelement mit einem entsprechenden Näherungssensor ausgestattet sein. Aus der US 201 1/0286676 A1 ist eine Gestenerkennungseinrichtung für ein Kraftfahrzeug bekannt, welche mittels einer TOF-Kamera (TOF - Time of Flight) 3D-Bilddaten einem Körperteil einer in einem Kraftfahrzeug befindli- chen Person erzeugt und anhand der 3D-Bilddaten eine Gestenerkennung durchführt. Es wird zwischen dynamischen und statischen Gesten unterschieden. Mittels einer Geste kann ein Gerät des Kraftfahrzeugs während der Fahrt bedient werden. Es ist Aufgabe der Erfindung, in einem Kraftfahrzeug mit geringem Schaltungsaufwand und bauraumsparend eine Bedienschnittstelle bereitzustellen.
Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1 sowie ein Kraftfahrzeug gemäß Patentanspruch 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
Das erfindungsgemäße Verfahren geht von einer Bedienschnittstelle eines Kraftfahrzeugs aus, bei welcher bei Erfassen einer Bedienhandlung eines Benutzers an einem Bedienelement der Bedienschnittstelle eine der Bedien- handlung zugeordneten Bedienfunktion zum Bedienen des Kraftfahrzeugs ausgelöst wird. Beispielsweise wird also erfasst, ob ein Benutzer einen Dreh- Drück-Steller dreht und entsprechend eine der Drehbewegung zugeordnete Zustandsänderung in dem Kraftfahrzeug ausgelöst, also beispielsweise in einem Auswahlmenü ein Auswahl-Cursor verschoben. Ein solches Aus- wahlmenü muss dem Benutzer vor dem Bedienvorgang aber nicht dauerhaft angezeigt werden, sondern nur bei Bedarf.
Vor einem solchen Bedienvorgang wird hierzu die Hand des Benutzers gemäß dem erfindungsgemäßen Verfahren durch eine optische Sensoreinrich- tung überwacht. Die optische Sensoreinrichtung umfasst eine 3D-Kamera, mittels welcher 3D-Bilddaten erzeugt werden, aus denen durch die optische Sensoreinrichtung eine Position der Hand des Benutzers im Innenraum des Kraftfahrzeugs ermittelt wird. Aus der Position wird dann ein Abstand der Hand von dem Bedienelement ermittelt. Falls der Abstand zu dem Bedien- element kleiner als ein vorbestimmter Schwellenwert ist, wird auf einer von dem Bedienelement verschiedenen, d.h. beabstandet angeordneten, Anzeigeeinrichtung der Bedienschnittstelle, also beispielsweise einem Head-up- Display oder einem Bildschirm in einer Mittelkonsole, dem Benutzer eine Bedieninformation betreffend zumindest eine mit dem Bedienelement momen- tan auslösbare Bedienfunktion angezeigt, also in dem obigen Beispiel etwa das Auswahlmenü, bei welchem durch die Bedienhandlung „Drehen" des Dreh-Drück-Stellers eine Auswahl getroffen werden kann. Ist der Abstand dagegen größer als der Schwellenwert, so wird diese Bedieninformation nicht angezeigt.
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass das Anzeigeelement bei Nichtbedienung des Bedienelements vollständig, d.h. seine gesamte Anzeigefläche, für Informationen zur Verfügung steht, die nichts mit den Bedieninformationen zu tun haben. Die Größe der Anzeigeeinrichtung muss also nur für die Ausgabeinformationen ausgelegt sein, da unnötige Bedieninformationen bei Bedarf ausgeblendet werden. Zugleich muss aber auch das Bedienelement keine besondere Sensorik aufweisen, um eine Annäherung einer Hand detektieren zu können. Insbesondere kann die 3D- Kamera durch die optische Sensoreinrichtung dazu genutzt werden, den Abstand zu unterschiedlichen Bedienelementen zu ermitteln und dann jeweils bei einer Annäherung der Hand an eines der Bedienelemente entsprechende Bedieninformationen anzuzeigen. Hierdurch reduziert sich in vorteilhafter Weise der Schaltungsaufwand.
Handelt es sich bei dem Bedienelement um einen einfachen Taster, so kann der Fahrer beispielsweise während einer Nachtfahrt im Dunkeln an den Taster fassen und bekommt dann beispielsweise auf der Windschutzscheibe durch ein Head-up-Display eine Information zu der Funktion angezeigt, die bei Drücken des Tasters ausgelöst wird. Der Fahrer muss so nicht mehr den Blick vom Verkehrsgeschehen abwenden, um zu überprüfen, ob er den richtigen Taster gefunden hat.
Ein zusätzlicher Vorteil ergibt sich, wenn durch die Bedieninformationen nicht nur die auslösbare Bedienfunktion selbst, sondern auch noch die jeweils zum Auslösen nötige Bedienhandlung dargestellt wird. Hierdurch ist es möglich, dass auch komplexere Bedienelemente, welche mehr als eine Bedienhandlung erfassen können (beispielsweise ein Dreh-Drück-Steller), auf diese Weise bedient werden können, ohne dass der Fahrer seine Aufmerksamkeit vom Verkehrsgeschehen in einem unerwünscht hohen Maß abwenden muss. Beispielsweise kann dem Benutzer zu einem Dreh-Drück-Steller als Bedieninformation angezeigt werden, was passiert, wenn der Dreh-Drück- Steller nach links gedreht wird, nach rechts gedreht wird, oder gedrückt wird. Ein weiterer Vorteil ergibt sich, wenn die mit dem Bedienelement auslösbaren Bedienfunktionen in Abhängigkeit von einem Betriebszustand des Kraftfahrzeugs, also kontextabhängig, eingestellt werden. Dann kann ein und dasselbe Bedienelement zum Bedienen beispielsweise sowohl eines Naviga- tionsgeräts als auch eines Medienwiedergabegeräts, wie beispielsweise eines MP3-Abspielgeräts, genutzt werden. Indem bei Annähern oder Berühren des Bedienelements dem Benutzer die dem Bedienelement bzw. den unterschiedlichen Bedienhandlungen zugeordneten Bedienfunktionen angezeigt werden, sind Fehlbedienungen in vorteilhafter Weise zuverlässig vermieden.
Eine besonders bevorzugte Ausführungsform sieht vor, dass mittels der Anzeigeeinrichtung zunächst Ausgabeinformationen angezeigt werden, die keine Bedieninformationen darstellen, sondern von diesen verschieden sind. Hierbei stellen die Ausgabeinformationen aber einen Kontext für die Bedien- handlungen dar, was bedeutet, dass dem Bedienelement dann solche Bedienfunktionen zugeordnet sind, durch welche die gerade angezeigten Ausgabeinformationen beeinflussbar sind. Wird also beispielsweise durch ein Navigationsgerät auf der Anzeigeeinrichtung eine Straßenkarte angezeigt, so sind bei aktivem Navigationsgerät dem Bedienelement z.B. Bedienfunktionen zum Einstellen der Straßenkartenansicht zugeordnet. Greift nun der Benutzer nach dem Bedienelement, so wird er durch die Bedieninformationen darüber informiert, wie er mittels des Bedienelements die Ausgabeinformationen beeinflussen kann. Hierzu können auch Bedienfelder eingeblendet werden.
Hierbei ist bevorzugt vorgesehen, dass die auslösbaren Bedienfunktionen als Bedienfelder in die Ausgabeinformationen eingeblendet werden. Der Benutzer sieht also noch die Ausgabeinformationen oder zumindest einen Teil davon und diesen überlagert oder daneben angeordnet sind dann die Bedienin- formationen. Hierdurch ist dem Benutzer auch visuell unmittelbar der Kontext klar, in welchem er das Bedienelement nun bedient.
Eine Ausführungsform des Verfahrens sieht vor, dass bei Anzeigen der Bedieninformationen, wenn also der Benutzer mit seiner Hand nahe an dem Bedienelement ist, ein Abbild des Bedienelements oder ein Symbol für das Bedienelement angezeigt werden und zusätzlich zumindest ein zu dem Bedienelement benachbart angeordnetes Bedienelement durch ein Abbild oder ein Symbol ebenfalls angezeigt werden. Hierdurch kann sich der Benutzer dann in vorteilhafter Weise beispielsweise auf einer Tastenleiste orientieren, ohne hierbei auf die Tastenleiste schauen zu müssen. Insbesondere bei einer Nachtfahrt ist dies von Vorteil, wenn dem Fahrer beispielsweise über ein Head-up-Display die Tastenleiste und seine aktuelle Fingerposition in sein Blickfeld eingeblendet werden.
Wie bereits ausgeführt, kann es sich bei dem Bedienelement um ein mechanisches Bedienelement handeln, wobei bevorzugt ein Dreh-Drück-Steller daraufhin überwacht wird, ob sich eine Hand an diesen annähert. Eine andere bevorzugte Ausführungsform des Verfahrens sieht allerdings vor, dass als das Bedienelement gar kein mechanisch für die Bedienung vorgesehenes Bauteil überwacht wird, sondern ein sensorloses Verkleidungsteil des Innenraums des Kraftwagens. Hierbei kann es sich beispielsweise um eine Sitzoberfläche oder um eine Oberfläche einer Verkleidung des Armaturenbretts handeln. Sensorlos meint hier, dass durch Drücken oder eine sonstige Bedienhandlung an der Oberfläche an sich keine Signal erzeugt wird. Vielmehr wird durch die optische Sensoreinrichtung auf der Grundlage der 3D-Bilddaten der 3D-Kamera zusätzlich zu dem Abstand auch die Bediengeste der Hand überwacht, welche die Hand beim Ausführen der Bedienhandlung an dem (sensorlosen) Bedienelement vollführt. So kann es beispielsweise einem Fahrer ermöglicht werden, ein Zeigerelement auf einem Bildschirm zu steuern, indem er einfach den Finger auf ein Verkleidungsteil oder eine Armlehne legt und dort mit dem Finger über die Oberfläche streicht. Durch die optische Sensoreinrichtung wird dann die Streichrich- tung umgesetzt in eine Bewegung des Zeigerelements auf dem Bildschirm. So kann der Benutzer das Zeigerelement z.B. auf ebenfalls auf dem Bildschirm eingeblendete Bedienflächen bewegen und dort dann beispielsweise durch ein Antippen der Oberfläche die Funktion aktivieren, die durch die Bedienfläche repräsentiert wird.
Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine 3D-Kamera und eine mit zumindest einem Bedienelement ausgestattete Bedienschnittstelle auf. Das erfindungsgemäße Kraftfahrzeug ist dazu ausgelegt, zu jedem der Bedienele- mente in der beschriebenen Weise zu ermitteln, ob sich eine Hand eines Benutzers an das Bedienelement nähert, und in diesem Fall dann Bedieninformationen zu dem Bedienelement auf einer Anzeigeeinrichtung anzuzeigen. Die Anzeigeeinrichtung ist von dem Bedienelement verschieden, d.h. es handelt sich nicht um einen sogenannten Touchscreen. Bei der 3D-Kamera des erfindungsgemäßen Kraftfahrzeugs handelt es sich bevorzugt um eine TOF-Kamera und/oder eine Stereo-Kameraanordnung. Es kann hierbei auch vorgesehen sein, dass eine TOF-Kamera Bestandteil einer Stereo-Kameraanordnung ist. Hierdurch wird in vorteilhafter Weise der für TOF-Kameras bekannte Abschattungseffekt vermieden, der sich ergibt, wenn die TOF-Kamera ein frei im Raum befindliches Objekt nur von einer Seite erfasst und hierdurch die Tiefenabmessungen des Objekts entlang der optischen Achse der TOF-Kamera nicht erfasst werden können. Eine andere Möglichkeit zur Kompensation einer Abschattung ist durch ein Handmodell gegeben, wie es z.B. von dem Produkt„Kinect" ® des Unternehmens Microsoft ® bekannt ist.
Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausfüh- rungsbeispiels erläutert. Hierzu zeigt: ein Blockschaltbild zu einer optischen Sensoreinrichtung, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird. Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.
In Fig. 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrich- tung 12 gezeigt. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefon, ein Kombiinstrument oder ein Head-up- Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen op- tischen Sensor 18, der beispielsweise eine TOF-Kamera oder eine PMD- Kamera sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereokamera handeln. In dem in Fig. 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.
Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d.h. eine Leuchtquelle 20, z.B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise einer Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte elektromagnetische Strahlung von der Hand 24 zu einem Sensorar- ray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann SD- Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen. Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedma- ßen, wie beispielsweise eine Hand, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden. Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d.h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden.
In Fig. 2 ist ein Innenraum 28 eines Kraftfahrzeugs gezeigt, das beispielsweise ein Personenkraftwagen sein kann. Dargestellt ist eine perspektivische schematische Ansicht einer Mittelkonsole 30 des Kraftfahrzeugs, welche einen Dreh-Drück-Steller 32 und einen Bildschirm 34 aufweist. Der Bildschirm 34 ist eine Anzeigeeinrichtung, der Dreh-Drück-Steller ein Bedienelement im Sinne der Erfindung. Der beschriebene optische Sensor 26 kann in einem Dachhimmel des Kraftfahrzeugs angeordnet sein und die Mittelkonsole 30 und über dieser befindliche Objekte erfassen. Durch die Messeinrichtung 14 werden mittels des optischen Sensors 26 3D-Bilddaten erzeugt, die von der Berechnungseinheit 16 in der beschriebenen Weise verarbeitet werden und an ein Infotainmentsystem 12 ausgegeben werden. Das Infotainmentsystem stellt eine Wiedergabeeinrichtung dar, weshalb es dasselbe Bezugszeigen wie die Wiedergabeeineinrichtung in Fig. 1 aufweist. Der Bildschirm 14 gehört zu dem Infotainmentsystem 12.
In dem in Fig. 2 gezeigten Beispiel befindet sich das Infotainmentsystem 12 in einem Navigationsmodus, in welchem auf dem Bildschirm 34 eine Straßenkarte 36 dargestellt ist. Die Straßenkarte 36 stellt Ausgabeinformationen dar, anhand welcher dem Fahrer des Kraftfahrzeugs eine Fahrroute veranschaulicht wird. Der Fahrer möchte das Infotainmentsystem 12 bedienen, um im Navigationsmodus z.B. eine Veränderungen des Fahrziels vorzunehmen. Der Fahrer hat hierzu seine Hand 24 auf den Dreh-Drück-Steller 32 gelegt. Durch die Berechnungseinrichtung 16 wurde anhand der 3D-Bilddaten der Messeinrichtung 14 eine Bewegung der Hand 24 über der Mittelkonsole 30 erkannt und hierbei überprüft, ob ein Abstand der Hand 24 von dem Dreh- Drück-Steller kleiner als ein Mindestradius 38 ist, der von einem Mittelpunkt des Dreh-Drück-Stellers 32 aus definiert ist. Der Mindestradius 38 stellt einen Schwellenwert dar. Beispielsweise kann der Schwellenwert in einem Bereich von 0 bis 10 cm liegen. Durch den Mindestradius 38 ist ein Überwachungsbereich 40 definiert. Zum Berechnen des Abstandes können Koordinaten des Dreh-Drück-Stellers 32 und der Mindestradius 38 in der Berechnungseinheit 16 gespeichert sein. Befindet sich die Hand 24 innerhalb des Überwachungsbereichs 40, ist ihr Abstand also kleiner als der Mindestradius 38, so wird durch die Berechnungseinheit 16 in dem Infotainmentsystem 12 ein Bedienmodus aktiviert. Bei Aktivieren des Bedienmodus wird hierbei durch das Infotainmentsystem 12 die Anzeige des Bildschirms 34 dahin geändert, dass den Karteninformationen 36 Indikatoren 42 für Bedienfunktionen überlagert werden. Beispielsweise können die Indikatoren 42 von einem Rand der Karte 36 aus in einer Animationsbewegung 44 zur Kartenmitte hin bewegt werden. Die Indikatoren 42 stellen Bedienfelder dar, die der Benutzer durch eine entsprechende Bedienhandlung an dem Dreh-Drück-Steller 32 auswählen kann. Bei Auswählen eines der Indikatoren 42 wird die dem jeweiligen Indikator zugeordnete Bedienfunktion aktiviert. Beispielsweise kann ein Indikator 42 bei Auswählen eine Navigationszieleingabe aktivieren. Ein anderer Indikator 42 kann beispielsweise für eine Auswahl aus einem Adressbuch stehen.
Es kann auch vorgesehen sein, dass der Benutzer mit seiner Hand 24 nicht ausdrücklich ein diskretes Bedienelement wie den Dreh-Drück-Steller 32 berühren muss. Beispielsweise kann auch vorgesehen sein, dass der Benutzer seine Hand 24 oder einen Finger der Hand 24 in einen vordefinierten oder auch einen frei wählbaren Flächenbereich 46 beispielsweise auf der Verkleidung der Mittelkonsole 30 legen kann und dies von der optischen Sensorein- richtung 10 in der gleichen Weise erkannt wird, wie es im Zusammenhang mit dem Dreh-Drück-Steller 32 erkannt wurde. Beispielsweise kann vorgesehen sein, dass der Benutzer mit dem Finger den Bereich 46 berühren muss, d.h. ein Mindestabstand für die Aktivierung der Indikatoren 0 cm beträgt. Es kann vorgesehen sein, dass der Benutzer durch Streichen über den Oberflä- chenbereich 46 einen Mauszeiger 48 auf dem Bildschirm 34 bewegen kann. Die Berechnungseinheit 16 rechnet hierzu die Koordinaten der Position des Fingers auf der Bedienfläche 46 in entsprechende Koordinaten des Mauszeigers 48 um und positioniert den Mauszeiger 48 entsprechend auf der Karte 36. Es kann auch eine relative Auswertung der Positionsänderung in eine entsprechende Bewegung des Mauszeigers 48 vorgesehen sein.
Durch das Beispiel ist gezeigt, wie durch die physikalisch einwandfreie Ort- barkeit eines Insassen, beispielsweise durch eine TOF-Kamera, bzw. von Körperteilen des Insassen eine Annäherung an einer Oberfläche erkannt werden kann. Unterschreitet der Insasse mit einem Körperteil einen gewissen Abstand zur zu bedienenden Oberfläche, so können davon abhängig die Indikatoren für die Funktionen der betrachteten Oberfläche in einer Anzeigeeinheit eingeblendet werden. Welche Indikatoren eingeblendet werden, kann situationsabhängig erfolgen, d.h. je nachdem, ob sich beispielsweise ein Infotainmentsystem in einem Navigationsmodus, in einem Musikwiedergabemodus, einem Videomodus oder einem Telefoniemodus befindet, können unterschiedliche Indikatoren für dasselbe Bedienelement eingeblendet werden. Im restlichen Zeitraum, wenn der Benutzer mit seinem Körperteil sich in einem größeren Abstand zu dem Bedienelement befindet, kann auf der An- zeigeeinheit die volle Bildfläche für Nutzinformationen, d.h. Ausgabeinformationen des Geräts, genutzt werden. Dieses Vorgehen ist nicht nur für diskrete Bedienelemente, sondern auch für frei definierbare Flächen im Kraftfahrzeug realisierbar. Einem Fahrer steht somit bei Nichtbedienung der Bedienelemente bzw. der frei definierbaren Bedienflächen die gesamte Bildschirmfläche für das Anzeigen von Ausgabeinformationen zur Verfügung, da relevante Bedieninformationen, wie die Indikatoren, von Tasten und aber auch von anderen freien Flächen bzw. von Objekten mit solchen Flächen, erst bei Bedienwunsch eingeblendet werden.

Claims

PATENTANSPRÜCHE:
Verfahren zum Betreiben einer Bedienschnittstelle eines Kraftfahrzeugs, wobei bei Erfassen einer Bedienhandlung eines Benutzers an einem Bedienelement (32, 46) eine der Bedienhandlung zugeordnete Bedienfunktion des Kraftfahrzeugs ausgelöst wird,
dadurch gekennzeichnet, dass
durch eine optische Sensoreinrichtung (10) mit einer 3D-Kamera (26) in einem Innenraum (28) des Kraftfahrzeugs eine Position einer Hand (24) des Benutzers ermittelt und aus der Position ein Abstand der Hand (24) von dem Bedienelement (32, 46) ermittelt wird und nur, falls der Abstand kleiner als eine vorbestimmter Schwellenwert (38) ist, auf einer von dem Bedienelement (32, 46) verschiedenen Anzeigeeinrichtung (34) Bedieninformationen (42) betreffend zumindest eine mit dem Bedienelement (32, 46) momentan auslösbare Bedienfunktion angezeigt werden.
Verfahren nach Anspruch 1 , wobei durch die Bedieninformationen (42) zusätzlich auch die jeweils zum Auslösen nötige Bedienhandlung dargestellt wird.
Verfahren nach Anspruch 1 oder 2, wobei die mit dem Bedienelement (32, 46) auslösbaren Bedienfunktionen in Abhängigkeit von einem Betriebszustand des Kraftfahrzeugs kontextabhängig eingestellt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Anzeigeeinrichtung (34) Ausgabeinformationen (36), welche von den Bedieninformationen (42) verschieden, aber mittels der auslösbaren Bedienfunktionen beeinflussbar sind, angezeigt werden und die auslösbaren Bedienfunktionen als Bedienfelder (42) in die Ausgabeinformationen (36) eingeblendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei bei Anzeigen der Bedieninformationen (42) das Bedienelement (32, 46) und zumindest ein zu dem Bedienelement (32, 46) benachbart angeordnetes Bedienelement angezeigt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei als das Bedienelement (32) ein mechanisches Bedienelement (32) überwacht wird.
Verfahren nach Anspruch 6, wobei als das mechanische Bedienelement (32) ein Dreh-Drück-Steller (32) überwacht wird.
Verfahren nach einem der Ansprüche 1 bis 5, wobei als das Bedienelement (46) ein sensorloses Verkleidungsteil (46) des Innenraums (28) des Kraftfahrzeugs überwacht wird und durch die Sensoreinrichtung (10) auf der Grundlage von 3D-Bilddaten der 3D-Kamera (26) zusätzlich eine Bediengeste der Hand (24) als die Bedienhandlung erkannt wird.
Kraftfahrzeug mit einer 3D-Kamara (26) und mit einer zumindest ein Bedienelement (32, 46) aufweisenden Bedienschnittstelle, wobei das Kraftfahrzeug dazu ausgelegt die Bedienschnittstelle in Bezug auf jedes Bedienelement (32, 46) gemäß einem Verfahren nach einem der vorhergehenden Ansprüche zu betreiben.
Kraftfahrzeug nach Anspruch 9, wobei die 3D-Kamera (26) eine TOF- Kamera (26) und/oder eine Stereo-Kameraanordnung aufweist.
PCT/EP2013/003541 2013-01-08 2013-11-23 Kraftfahrzeug-bedienschnittstelle mit einem bedienelement zum erfassen einer bedienhandlung WO2014108152A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013000069.6A DE102013000069B4 (de) 2013-01-08 2013-01-08 Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
DE102013000069.6 2013-01-08

Publications (2)

Publication Number Publication Date
WO2014108152A2 true WO2014108152A2 (de) 2014-07-17
WO2014108152A3 WO2014108152A3 (de) 2014-12-11

Family

ID=49680976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/003541 WO2014108152A2 (de) 2013-01-08 2013-11-23 Kraftfahrzeug-bedienschnittstelle mit einem bedienelement zum erfassen einer bedienhandlung

Country Status (2)

Country Link
DE (1) DE102013000069B4 (de)
WO (1) WO2014108152A2 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598144A (zh) * 2015-02-02 2015-05-06 上海翰临电子科技有限公司 基于红外感应的智能穿戴设备界面切换控制方法
GB2568510A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
GB2568509A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
CN110049892A (zh) * 2016-12-09 2019-07-23 Zf 腓德烈斯哈芬股份公司 用于机动车辆的信息娱乐系统的操作装置、用于获知这种操作元件的操作者的所在处的方法
US11280632B2 (en) 2016-05-10 2022-03-22 Volkswagen Aktiengesellschaft Method for reproducing a map display in a transportation vehicle depending on a driving situation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037157A1 (de) 2005-09-12 2007-03-22 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Coburg Kunststoff-Türmodul für eine Kraftfahrzeugtür
US20110286676A1 (en) 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
US20120268404A1 (en) 2009-10-29 2012-10-25 Volkswagen Ag Method for operating a control device, and control device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
DE102006013645A1 (de) 2006-03-24 2007-10-25 Volkswagen Ag Bedienelement für ein Kraftfahrzeug
DE102006028046B4 (de) 2006-06-19 2016-02-11 Audi Ag Kombinierte Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug
DE102006059032B4 (de) 2006-12-14 2009-08-27 Volkswagen Ag Bedienvorrichtung eines Kraftfahrzeugs und Verfahren zum Erfassen von Nutzereingaben
DE102007003734A1 (de) 2007-01-25 2008-07-31 Daimler Ag Multifunktionsbedienvorrichtung insbesondere für ein zentrales Steuerungssystem in einem Kraftfahrzeug
DE102007034272A1 (de) 2007-07-19 2009-01-22 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug mit einer Multi-View-Anzeigevorrichtung
DE102007035379A1 (de) 2007-07-26 2009-01-29 Volkswagen Ag Anzeige- und Bediensystem für ein Kraftfahrzeug mit von einem Betriebsmodus abhängiger Ausgestaltung
DE102008023405B4 (de) 2008-05-13 2020-10-01 Volkswagen Ag Kraftfahrzeug mit einem Display sowie Verfahren zum Betrieb eines Kraftfahrzeuges mit einem Display
DE102010012240A1 (de) * 2010-03-22 2011-09-22 Volkswagen Ag Bedienungs- und Anzeigevorrichtung eines Kraftfahrzeugs
DE102010053788A1 (de) * 2010-12-08 2012-06-14 Volkswagen Ag Verfahren zum Betreiben einer Bedienvorrichtung und Bedienvorrichtung in einem Fahrzeug
DE102011089195A1 (de) 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006037157A1 (de) 2005-09-12 2007-03-22 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Coburg Kunststoff-Türmodul für eine Kraftfahrzeugtür
US20120268404A1 (en) 2009-10-29 2012-10-25 Volkswagen Ag Method for operating a control device, and control device
US20110286676A1 (en) 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598144A (zh) * 2015-02-02 2015-05-06 上海翰临电子科技有限公司 基于红外感应的智能穿戴设备界面切换控制方法
US11280632B2 (en) 2016-05-10 2022-03-22 Volkswagen Aktiengesellschaft Method for reproducing a map display in a transportation vehicle depending on a driving situation
CN110049892A (zh) * 2016-12-09 2019-07-23 Zf 腓德烈斯哈芬股份公司 用于机动车辆的信息娱乐系统的操作装置、用于获知这种操作元件的操作者的所在处的方法
GB2568510A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
GB2568509A (en) * 2017-11-17 2019-05-22 Jaguar Land Rover Ltd Vehicle controller
GB2568509B (en) * 2017-11-17 2020-03-18 Jaguar Land Rover Ltd Vehicle controller
GB2568510B (en) * 2017-11-17 2020-04-01 Jaguar Land Rover Ltd Vehicle controller

Also Published As

Publication number Publication date
DE102013000069A1 (de) 2014-07-10
WO2014108152A3 (de) 2014-12-11
DE102013000069B4 (de) 2022-08-11

Similar Documents

Publication Publication Date Title
DE102006028046B4 (de) Kombinierte Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug
EP1998996B1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
EP2338106B1 (de) Multifunktionsanzeige- und bediensystem sowie verfahren zum steuern eines solchen systems mit optimierter grafischer bediendarstellung
EP2350799B1 (de) Verfahren und vorrichtung zum anzeigen von in listen geordneter information
EP2451672B1 (de) Verfahren und vorrichtung zum bereitstellen einer benutzerschnittstelle in einem fahrzeug
EP2877362B1 (de) Bedienschnittstelle, verfahren zum anzeigen einer eine bedienung einer bedienschnittstelle erleichternden information und programm
EP2943367B1 (de) Verfahren zum synchronisieren von anzeigeeinrichtungen eines kraftfahrzeugs
EP3507681B1 (de) Verfahren zur interaktion mit bildinhalten, die auf einer anzeigevorrichtung in einem fahrzeug dargestellt werden
EP2121372B1 (de) Berührungslos aktivierbare anzeige- und bedienvorrichtung
EP2726960A1 (de) Vorrichtung und verfahren zur berührungslosen erfassung von gegenständen und/oder personen und von diesen ausgeführten gesten und/oder bedienvorgängen
EP2150883A1 (de) Multifunktionsanzeige- und bedienvorrichtung und verfahren zum betreiben einer multifunktionsanzeige- und bedienvorrichtung mit verbesserter auswahlbedienung
DE102013000069B4 (de) Kraftfahrzeug-Bedienschnittstelle mit einem Bedienelement zum Erfassen einer Bedienhandlung
EP2941685B1 (de) Bedienverfahren und bediensystem in einem fahrzeug
EP2246214B1 (de) Verfahren und Vorrichtung zum Anzeigen von in Listen geordneter Information
EP2485913A1 (de) Verfahren und anzeigeeinrichtung zum anzeigen von informationen
WO2014108147A1 (de) Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung
DE102009057081A1 (de) Verfahren zum Bereitstellen einer Benutzerschnittstelle
EP3254172B1 (de) Bestimmung einer position eines fahrzeugfremden objekts in einem fahrzeug
EP2808775A2 (de) Controller für ein Informationswiedergabesystem für ein Fahrzeug
DE102013204242A1 (de) Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug, Kraftfahrzeug und entsprechendes Verfahren
DE102016224235A1 (de) Verfahren und Vorrichtung zur Anpassung der Darstellung von Bild- und/oder Bedienelementen auf einer grafischen Benutzerschnittstelle
DE102020207040B3 (de) Verfahren und Vorrichtung zur manuellen Benutzung eines Bedienelementes und entsprechendes Kraftfahrzeug
WO2014108160A2 (de) Bedienschnittstelle zum berührungslosen auswählen einer gerätefunktion
EP2885153B1 (de) Verfahren zum bereitstellen einer bedienvorrichtung in einem fahrzeug und bedienvorrichtung für ein fahrzeug
EP3426516B1 (de) Bedienvorrichtung und verfahren zum erfassen einer benutzerauswahl zumindest einer bedienfunktion der bedienvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13798578

Country of ref document: EP

Kind code of ref document: A2

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
122 Ep: pct application non-entry in european phase

Ref document number: 13798578

Country of ref document: EP

Kind code of ref document: A2