WO2024074315A1 - Targeted 3d image generation in a motor vehicle - Google Patents

Targeted 3d image generation in a motor vehicle Download PDF

Info

Publication number
WO2024074315A1
WO2024074315A1 PCT/EP2023/076062 EP2023076062W WO2024074315A1 WO 2024074315 A1 WO2024074315 A1 WO 2024074315A1 EP 2023076062 W EP2023076062 W EP 2023076062W WO 2024074315 A1 WO2024074315 A1 WO 2024074315A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
interaction zone
information system
designed
image generation
Prior art date
Application number
PCT/EP2023/076062
Other languages
German (de)
French (fr)
Inventor
Maryia Kazhura
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2024074315A1 publication Critical patent/WO2024074315A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments

Definitions

  • the present invention relates to an information system for a motor vehicle.
  • the invention also relates to a motor vehicle with a generic information system and a method for operating a generic information system for a motor vehicle.
  • Information systems for motor vehicles which have image generation devices for generating holographic 3D images.
  • image generation devices have, for example, a holographic 3D display which is designed to display holographic 3D objects and UI elements (“user interface elements”) at almost any distance in front of or behind the 3D display.
  • holographic 3D objects are referred to below as “3D objects” and holographic 3D images as “3D images”.
  • a 3D image is understood to be an arrangement of one or more 3D objects.
  • Such 3D displays can provide vehicle occupants, such as the driver or their passengers, with a much more complex experience than the conventional 2D displays used to date.
  • Hand gestures of the occupants can be recorded using a recording device, so that the 3D images generated by the 3D display can be manipulated in a targeted manner using predefined hand gestures.
  • information systems have one or more so-called "interaction zones" within which the hand gestures must be performed in order to transmit a control command to the information system.
  • interaction zones In order to reduce the risk of recording randomly generated hand gestures, such as hand gestures made by an occupant during a conversation, it has proven useful to restrict the input of hand gestures to the interaction zones. Hand gestures performed outside the interaction zones are therefore usually ignored by conventional information systems.
  • 3D objects can also be created in the interaction zone in order to improve direct interaction with the 3D object.
  • direct interaction with the 3D object is understood to mean, for example, optically touching the 3D object or immersion in the 3D object.
  • the interaction zone is coupled to the 3D object, so that manually moving the 3D object in space leads or can lead to the interaction zone being taken along.
  • the 3D object can also be created in an area that is spaced away from the interaction zone, for example outside the reach of the occupants of the motor vehicle.
  • interaction with the 3D object is only possible indirectly, for example using a virtual hand, a pointer or the like.
  • Gestures such as swiping gestures, can also be predefined, which do not require direct interaction with a 3D object or 3D image and can therefore be carried out in an interaction zone that is spaced away from the 3D object, even if the 3D object is within the reach of the occupants.
  • An information system with a gesture detection system for interaction with 3D objects is known from the document KR 1020150072206 A.
  • An interaction zone can be automatically adapted to a driver's seating position, size or age in order to avoid the interaction zone being out of the driver's reach.
  • a manual arrangement of the interaction zone is described.
  • the document US 2021/0023946 A1 discloses an information system for an autonomously operable motor vehicle, in which individually adapted environments with 3D images and interaction zones can be provided for several occupants.
  • the object is achieved by an information system for a motor vehicle.
  • the information system has an image generation device for generating holographic 3D images, a detection device for detecting an action of a hand of an occupant of the motor vehicle carried out in an interaction zone, and a control device for controlling the image generation device.
  • the detection device is designed to detect an action of the hand carried out outside the interaction zone
  • the control device is designed to control the image generation device depending on the action of the hand detected outside the interaction zone
  • the control device is designed to differently process actions of the hand carried out outside the interaction zone and actions of the hand carried out within the interaction zone.
  • an information system is understood to mean a device that is designed to display information.
  • the information can be, for example, operating data of the motor vehicle, such as speed, rpm, tank level, battery charge level (SOC), coolant temperature, driving mode or the like, assistance system data, such as a brake assistant, lane assistant, parking assistant or the like, entertainment data, such as the frequency or name of a selected or selectable radio station, the name of a podcast or the like,
  • the information can, for example, include input options (III) for the user, such as switches, buttons, controls or the like.
  • the image generation device is designed to generate holographic 3D objects.
  • the image generation device is preferably designed to generate 3D images with one or more 3D objects.
  • the image generation device preferably has a 3D display, a 3D projector or the like.
  • An image generation device with a 3D display is preferably designed to display 3D objects for the viewer in front of and behind the 3D display. The 3D object can thus be displayed, for example, between an occupant of the motor vehicle and the 3D display or in such a way that the 3D display is arranged between the occupant and the 3D object.
  • An image generation device with a 3D projector preferably has a 3D projection surface for displaying the 3D object, which can be illuminated by the 3D projector.
  • the image generation device is preferably designed to generate 3D objects within the interaction zone, such as operating elements, as well as outside the interaction zone, such as information elements.
  • the detection device is designed to detect an action of the occupant's hand carried out in the interaction zone and, according to the invention, also outside the interaction zone.
  • the detection device preferably has a depth camera or the like.
  • an action of the hand is understood to mean, for example, an arrangement of the hand in a certain position, a shape of the hand, a gesture of the hand, a trajectory of the hand or the like.
  • actions can also differ in terms of the timing of the movement carried out and can thus be perceived as different actions. Different timing relates, for example, to the speed and a change in speed when carrying out an action, a temporal sequence of different actions or the like.
  • An action of the hand has the technical function of transmitting a user input, such as a control command, a display command or the like, of the occupant to the information system.
  • the detection device is designed to transmit the detected action of the hand to the control device.
  • the control device is designed to control the image generating device.
  • the control device is designed to control the image generating device depending on an action of the hand carried out within the interaction zone.
  • a press carried out by the hand in the interaction zone a button designed as a holographic 3D object can be displayed by moving the button accordingly.
  • further optical changes in the display of the 3D image or individual 3D objects can preferably be implemented in response to the action of the hand, such as color changes, size changes, shape changes, additional 3D objects, alternative 3D objects, fewer 3D objects or the like.
  • the control device preferably has a detection device for detecting eyes of the occupants of the motor vehicle, wherein the control device is designed to control the image generation device depending on a position of the detected eyes.
  • the 3D objects can be optimally adapted to a viewing angle of the occupant, so that only a few perspectives are required to generate the 3D objects and the computing effort for this is significantly reduced.
  • the control device is designed to process hand actions performed outside the interaction zone differently from hand actions performed within the interaction zone.
  • the control device is preferably designed such that hand actions performed within the interaction zone are predominantly or at least partially processed differently than hand actions performed outside the interaction zone and can therefore sometimes have different effects on the information system, in particular the representation of the 3D objects or the 3D image.
  • the number of hand actions identifiable as user inputs is greater within the interaction zone than outside the interaction zone. This can mean, for example, that a first action can be identified as a first control command within the interaction zone and ignored outside the interaction zone.
  • a second action can, for example, be identifiable as a second control command within the interaction zone and identifiable as a different third control command outside the interaction zone.
  • actions of the hand performed outside the interaction zone can be evaluated in a less differentiated manner than actions of the hand performed within the interaction zone, so that several different actions performed outside the interaction zone can be identifiable as the same user input, while the same actions of the hand within the interaction zone can be identifiable as different user inputs.
  • An information system according to the invention has, compared to conventional
  • Information systems have the advantage that with simple means and in a cost-effective manner an action area for an operator to operate the information system can be better customized.
  • the operator Through the targeted recording and different processing of hand actions carried out within the interaction zone compared to hand actions carried out outside the interaction zone, the operator has further options for operating the information system, so that input can be made much faster, since actively moving the hand into the interaction zone can be avoided.
  • the control device is designed to cause the image generation device to generate a 3D object when the hand falls below a predefined minimum distance from the interaction zone.
  • the control device is additionally designed to cause the image generation device to hide the 3D object when the hand exceeds a predefined maximum distance from the interaction zone, wherein the maximum distance is greater than or equal to the minimum distance.
  • a greater maximum distance than the minimum distance according to a hysteresis is preferred according to the invention in order to avoid flickering when the 3D object is generated. This makes it possible for displays, switching objects or the like designed as 3D objects, for example, to be displayed at least when the hand is near the interaction zone.
  • the control device is designed to cause the image generation device to hide the 3D object when the hand reaches the interaction zone.
  • the displayed 3D object serves only to mark the interaction zone, such as a direction arrow, a frame of the interaction zone or the like.
  • a change in position, size, color, shape or the like of the 3D object can also be provided. This has the advantage that the approach of the occupant to the interaction zone can be improved using simple means and in a cost-effective manner. By selectively hiding it, superfluous information can be better concealed, so that, for example, the driver of the vehicle is less distracted from driving the vehicle by superfluous 3D objects.
  • control device is designed to control the image generation device in such a way that a brightness and/or intensity and/or size of the 3D object generated by the image generation device increases with decreasing distance of the hand from the interaction zone.
  • the 3D object changes continuously.
  • the change in the 3D object can, for example, be proportional, disproportionate or disproportionate to the movement of the hand. In this way, an effect can be created whereby the 3D object is displayed as relatively small and/or dimly lit and/or highly transparent when the hand is relatively far away from the interaction zone, and larger and/or brighter and/or less transparent when the hand is relatively close to the interaction zone.
  • the 3D object becomes more recognizable to the user as they approach the interaction zone and less recognizable as they move away from the interaction zone.
  • the control device is further preferably designed to control the image generation device for optically marking one or more interaction zones when the hand has a predefined minimum distance to an interaction zone.
  • the predefined minimum distance is defined to a predefined interaction zone, wherein the predefined interaction zone preferably has a greater distance to a steering wheel of the motor vehicle than other interaction zones of the information system.
  • the predefined interaction zone is preferably arranged in the area of an instrument panel, in particular in a central area between the driver and a passenger.
  • the predefined minimum distance is preferably set in such a way that the minimum distance is not or cannot be undercut by operating the steering wheel and/or a gear lever, so that no unwanted optical marking of the interaction zones occurs.
  • An optical marking of the interaction zones can be designed, for example, as the creation of a frame, a light area, an arrow, a 3D object or the like. This has the advantage that the occupants can be shown the options for interacting with the information system at the occupant's command using simple means and in a cost-effective manner. This reduces the driver's distraction from 3D objects while driving and still ensures that the interaction zones and 3D objects are easy to find. This also makes the information system easier and faster to use.
  • control device is designed to
  • the predefined gesture is preferably determined in such a way that it differs significantly from normal hand movements when driving the motor vehicle in order to reduce the risk of accidentally activating the information system. Accordingly, the predefined gesture is preferably an unnatural hand movement. Possible gestures for this are, for example, crossing two fingers, turning a clenched fist back and forth, spreading one or more fingers, in particular taking into account one or more predefined directions, forming a special shape of the hand or the like.
  • the display and hiding of 3D objects can therefore be specifically initiated by the occupant even when the hand is away from the interaction zone. This has the advantage that driver distraction caused by 3D objects while driving is reduced using simple means and in a cost-effective manner, and that interaction zones and 3D objects can still be easily found. This also makes the information system easier and faster to use.
  • the control device is preferably designed to cause the image generation device to optically mark the interaction zone when a predefined gesture of the hand points in the direction of the interaction zone.
  • the predefined gesture can, for example, include stretching one or more fingers in the direction of the interaction zone. By pointing to the interaction zone, the interaction zone can thus be optically highlighted.
  • Optical marking of the interaction zones can, for example, be designed as the creation of a frame, a light area, an arrow, a 3D object or the like. This has the advantage that distraction of the driver by 3D objects while driving is reduced using simple means and in a cost-effective manner, and that the interaction zones and the 3D objects are still easy to find. In addition, this makes the information system easier and faster to use.
  • the control device is designed to shift the interaction zone in response to a predefined gesture of the hand made outside the interaction zone.
  • shifting is understood to mean, for example, moving the interaction zone towards or away from the hand.
  • the control device is designed to shift the interaction zone in response to a predefined first gesture made outside the interaction zone towards the hand. move.
  • the control device is further preferably designed to move the interaction zone away from the hand in response to a predefined second gesture made outside the interaction zone.
  • the control device is preferably designed in such a way that a movement of the interaction zone that runs transversely thereto, such as a lateral or vertical movement transversely to the direction of travel, can also be brought about by such a gesture.
  • the detection device is particularly preferably designed to detect an action area of the occupant of the motor vehicle for hand gestures, wherein the control device is designed to arrange the interaction zone within the detected action area.
  • Parameters of the occupant such as upper body size, upper body position, arm length or the like, can be detected via a depth camera of the detection system and transmitted to the control device.
  • the control device is designed to determine the action area from this.
  • the action area describes a space in which the occupant, for example the driver of the motor vehicle, can easily move his hand to transmit gestures in the current sitting position, in particular without having to change his sitting position for this.
  • the detection of the action area can also take ergonomic aspects into account. This has the advantage that an easier and more comfortable operation of the information system is provided with simple means and in a cost-effective manner.
  • the object is achieved by a motor vehicle.
  • the motor vehicle has an information system according to the invention.
  • the image generation device is preferably arranged on an instrument panel in an interior of the motor vehicle, preferably between a windshield, a driver's seat and a passenger seat of the motor vehicle.
  • the detection device is preferably arranged in the area of the image generation device in the interior.
  • the detection device preferably has several detection sensors, such as depth cameras, which are arranged at different locations in the interior of the motor vehicle.
  • the motor vehicle according to the invention has the advantage over conventional motor vehicles that an action area for an operator to operate the information system can be better customized using simple means and in a cost-effective manner.
  • the targeted recording and different processing of hand actions carried out within the interaction zone compared to hand actions carried out outside the interaction zone gives the operator further options for operating the information system, so that input can be made much faster because active movement of the hand into the interaction zone can be avoided.
  • the object is achieved by a method for operating an information system for a motor vehicle.
  • the method comprises:
  • the information system is preferably provided integrated in the motor vehicle.
  • the hands of an occupant, preferably the driver, of the motor vehicle are detected by the detection device.
  • an action of the occupant's hand carried out outside the interaction zone namely the position and/or movement of the hand, is detected.
  • the detected action is compared by the control device with predefined actions, namely positions and/or movements of the hand predefined as command gestures.
  • the actions predefined for outside the interaction zone differ at least partially from actions predefined for within the interaction zone. This means that the execution of a certain action within the interaction zone can be identified as a control command, while the same action carried out outside the interaction zone may not be identifiable as a control command. In this way, unwanted transmission of commands is avoided.
  • At least one Action is defined which, when carried out outside the interaction zone, is considered a control command. If this action is detected and it is determined during comparison that this action corresponds to the predefined action, the control device identifies this as a targeted, intentional interaction of the occupant with the information system and controls the image generation device to generate the 3D object, preferably a 3D object corresponding to the intentional interaction.
  • the method according to the invention results in all the advantages that have already been described for an information system according to the first aspect of the invention and for a motor vehicle according to the second aspect of the invention. Accordingly, the method according to the invention has the advantage over conventional methods that an action area for an operator to operate the information system can be better customized using simple means and in a cost-effective manner.
  • the targeted detection and different processing of hand actions performed within the interaction zone compared to hand actions performed outside the interaction zone gives the operator further options for operating the information system, so that input can be made much faster because active movement of the hand into the interaction zone can be avoided.
  • Figure 1 is a plan view of a section of an image generating device designed as a display according to a preferred embodiment of the invention in a first state
  • Figure 2 shows a plan view of the detail of the image generating device from Figure 1 in a second state
  • Figure 3 is a plan view of the detail of the image generating device from Figure 1 in a third state
  • Figure 4 shows a plan view of a cockpit of a motor vehicle according to a preferred embodiment of the invention
  • Figure 5 shows a side view of a preferred embodiment of a motor vehicle according to the invention
  • Figure 6 shows a flow chart of a preferred embodiment of a method according to the invention.
  • a section of an image generation device 3 designed as a display according to a preferred embodiment of the invention is shown schematically in a top view.
  • a hand H is brought close to an interaction zone 6 in such a way that the image generation device 3 optically highlights the interaction zone 6.
  • the optical highlighting takes place by generating a cuboid-shaped 3D object 4 which fills the interaction zone 6.
  • the 3D object 4 can also be smaller or larger than the interaction zone 6.
  • the hand H is still so far away from the interaction zone 6 that no further 3D objects 4 are generated by the image generation device 3.
  • Fig. 2 shows the section of the image generation device 3 from Fig. 1 in a second state schematically in a top view.
  • the hand H is arranged in the interaction zone 6.
  • the image generation device 3 generates further 3D objects 4, which can be selected by a corresponding action of the hand H, for example by tapping.
  • Fig. 3 the section of the image generation device 3 from Fig. 1 is shown schematically in a top view in a third state.
  • the third state one of the 3D objects 4 from Fig. 2 is selected, so that the image generation device 3 displays a new 3D object 4 designed as a road map.
  • a 3D object 4 designed as a circle is shown, which marks the point on the 3D object 4 to which a fingertip of the hand H points.
  • Fig. 4 shows a cockpit of a motor vehicle 2 according to a preferred embodiment of the invention schematically in a top view.
  • a preferred embodiment of a motor vehicle 2 according to the invention is shown schematically in a side view.
  • An information system 1 according to the invention is arranged in a motor vehicle 2.
  • the information system 1 has an image generation device 3 designed as a display for generating holographic 3D objects 4.
  • the 3D object 4 is generated in an interaction zone 6 for interacting with the information system 1.
  • the information system also has a detection device 5 with several sensors and a control device 7 for controlling the image generation device 3.
  • Fig. 6 shows a preferred embodiment of a method according to the invention schematically in a flow chart.
  • a motor vehicle 2 is provided with an information system 1 according to the invention.
  • an action of a hand H arranged in an interior of the motor vehicle 2 and outside the interaction zone 6, for example of an occupant of the motor vehicle 2, in particular a driver of the motor vehicle 2 is detected by the detection device 5 of the information system 1.
  • the detection device 5 detects, for example, a position or a movement of the hand H.
  • the position of the hand H can include, for example, a position of the hand H in space, an orientation of the hand H in space and a shape of the hand H.
  • control device 7 compares the detected action of the hand H with a predefined action of the hand H.
  • control device 7 controls the image generation device 3 to generate a 3D object 4 if the detected action of the hand H corresponds to the predefined action of the hand H or is at least within the predetermined tolerance.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)

Abstract

The present invention relates to an information system (1) for a motor vehicle (2), comprising an image generation device (3) for generating holographic 3D objects (4), a sensing device (5) for sensing an action of a hand (H) of an occupant of the motor vehicle (2) performed in an interaction zone (6), and a control device (7) for controlling the image generation device (3). According to the invention, the sensing device (5) is designed to a sense an action of the hand (H) performed outside the interaction zone (6), the control device (7) being designed to control the image generation device (3) according to the action of the hand (H) sensed outside the interaction zone (6), and the control device (7) being designed to process differently actions of the hand (H) performed outside the interaction zone (6) and actions of the hand (H) performed inside the interaction zone (6). The invention also relates to a motor vehicle (2) and to a method for operating an information system (1) for a motor vehicle (2).

Description

Beschreibung Description
Gezielte 3D Bilderzeugung in einem Kraftfahrzeug Targeted 3D image generation in a motor vehicle
Die vorliegende Erfindung betrifft ein Informationssystem für ein Kraftfahrzeug. Ferner betrifft die Erfindung ein Kraftfahrzeug mit einem gattungsgemäßen Informationssystem sowie ein Verfahren zum Betreiben eines gattungsgemäßen Informationssystems für ein Kraftfahrzeug. The present invention relates to an information system for a motor vehicle. The invention also relates to a motor vehicle with a generic information system and a method for operating a generic information system for a motor vehicle.
Es sind Informationssysteme für Kraftfahrzeuge bekannt, welche Bilderzeugungsvorrichtungen zur Erzeugung holografischer 3D-Bilder aufweisen. Derartige Bilderzeugungsvorrichtungen weisen beispielsweise ein holographisches 3D-Display auf, welches ausgebildet ist, holografische 3D-Objekte sowie Ul-Elemente („User Interface Elemente“) in nahezu beliebiger Entfernung vor oder hinter dem 3D-Display darzustellen. Im Rahmen der Erfindung werden im Folgenden holografische 3D-Objekte kurz als „3D-Objekte“ und holografische 3D-Bilder als „3D- Bilder“ bezeichnet. Unter einem 3D-Bild wird im Rahmen der Erfindung eine Anordnung eines oder mehrerer 3D-Objekte verstanden. Information systems for motor vehicles are known which have image generation devices for generating holographic 3D images. Such image generation devices have, for example, a holographic 3D display which is designed to display holographic 3D objects and UI elements (“user interface elements”) at almost any distance in front of or behind the 3D display. In the context of the invention, holographic 3D objects are referred to below as “3D objects” and holographic 3D images as “3D images”. In the context of the invention, a 3D image is understood to be an arrangement of one or more 3D objects.
Derartige 3D-Displays können Insassen des Kraftfahrzeugs, wie beispielsweise dem Fahrer oder seinen Beifahrern, ein wesentlich komplexeres Erlebnis bereiten als die bislang verwendeten, herkömmlichen 2D-Displays. Über eine Erfassungsvorrichtung sind Handgesten der Insassen erfassbar, sodass über vordefinierte Handgesten die vom 3D-Display erzeugten 3D-Bilder gezielt manipulierbar sind. Zur Gewährleistung einer zuverlässigen Erfassung der Handgesten weisen derartige Informationssysteme eine oder mehrere sogenannte „Interaktionszonen“ auf, innerhalb welcher die Handgesten durchzuführen sind, um einen Steuerungsbefehl an das Informationssystem zu übermitteln. Um das Risiko des Erfassens zufällig erzeugter Handgesten, wie beispielsweise während eines Gesprächs von einem Insassen getätigter Handgesten, zu reduzieren, hat es sich als nützlich erwiesen, die Eingabemöglichkeit von Handgesten auf die Interaktionszonen zu beschränken. Außerhalb der Interaktionszonen durchgeführte Handgesten werden daher von herkömmlichen Informationssystemen für gewöhnlich ignoriert. Such 3D displays can provide vehicle occupants, such as the driver or their passengers, with a much more complex experience than the conventional 2D displays used to date. Hand gestures of the occupants can be recorded using a recording device, so that the 3D images generated by the 3D display can be manipulated in a targeted manner using predefined hand gestures. To ensure reliable recording of hand gestures, such information systems have one or more so-called "interaction zones" within which the hand gestures must be performed in order to transmit a control command to the information system. In order to reduce the risk of recording randomly generated hand gestures, such as hand gestures made by an occupant during a conversation, it has proven useful to restrict the input of hand gestures to the interaction zones. Hand gestures performed outside the interaction zones are therefore usually ignored by conventional information systems.
Mittels des 3D-Displays sind 3D-Objekte mitunter auch in der Interaktionszone erzeugbar, um eine direkte Interaktion mit dem 3D-Objekt zu verbessern. Unter einer direkten Interaktion mit dem 3D-Objekt wird im Rahmen der Erfindung beispielsweise ein optisches Berühren des 3D- Objekts oder ein Eintauchen in das 3D-Objekt verstanden. Hierbei kann beispielsweise vorgesehen sein, dass das die Interaktionszone an das 3D-Objekt gekoppelt wird, sodass ein manuelles Verschieben des 3D-Objekts im Raum zu einer Mitnahme der Interaktionszone führt bzw. führen kann. Using the 3D display, 3D objects can also be created in the interaction zone in order to improve direct interaction with the 3D object. In the context of the invention, direct interaction with the 3D object is understood to mean, for example, optically touching the 3D object or immersion in the 3D object. For example, it can be provided that the interaction zone is coupled to the 3D object, so that manually moving the 3D object in space leads or can lead to the interaction zone being taken along.
Alternativ kann das 3D-Objekt auch in einem Bereich erzeugt werden, welcher von der Interaktionszone beabstandet ist, beispielsweise außerhalb einer Reichweite der Insassen des Kraftfahrzeugs. Eine Interaktion mit dem 3D-Objekt ist in diesem Fall nur indirekt, beispielsweise unter Verwendung einer virtuellen Hand, eines Pointers oder dergleichen, möglich. Es können auch Gesten, wie beispielsweise Wischgesten, vordefiniert sein, welche keine direkte Interaktion mit einem 3D-Objekt bzw. 3D-Bild erfordern und somit in einer von dem 3D-Objekt beabstandeten Interaktionszone durchführbar sind, selbst wenn sich das 3D-Objekt innerhalb der Reichweite der Insassen befindet. Alternatively, the 3D object can also be created in an area that is spaced away from the interaction zone, for example outside the reach of the occupants of the motor vehicle. In this case, interaction with the 3D object is only possible indirectly, for example using a virtual hand, a pointer or the like. Gestures, such as swiping gestures, can also be predefined, which do not require direct interaction with a 3D object or 3D image and can therefore be carried out in an interaction zone that is spaced away from the 3D object, even if the 3D object is within the reach of the occupants.
Ein Informationssystem mit einem Erfassungssystem für Gesten für eine Interaktion mit 3D-Objekten ist aus dem Dokument KR 1020150072206 A bekannt. Eine Interaktionszone ist automatisch an eine Sitzposition, Größe oder Alter des Fahrers anpassbar, um zu vermeiden, dass die Interaktionszone außerhalb der Reichweite des Fahrers liegt. Überdies ist eine manuelle Anordnung der Interaktionszone beschrieben. Das Dokument US 2021/0023946 A1 offenbart ein Informationssystem für ein autonom betreibbares Kraftfahrzeug, bei welchem für mehrere Insassen jeweils individuell angepasste Umgebungen mit 3D-Bildern sowie Interaktionszonen bereitstellbar sind. An information system with a gesture detection system for interaction with 3D objects is known from the document KR 1020150072206 A. An interaction zone can be automatically adapted to a driver's seating position, size or age in order to avoid the interaction zone being out of the driver's reach. In addition, a manual arrangement of the interaction zone is described. The document US 2021/0023946 A1 discloses an information system for an autonomously operable motor vehicle, in which individually adapted environments with 3D images and interaction zones can be provided for several occupants.
Bekannte Informationssysteme haben den Nachteil, dass 3D-Objekte bzw. 3D-Bilder auch dann angezeigt werden, wenn die Hand eines Bedieners des Informationssystems außerhalb der Interaktionszone angeordnet ist. Dies kann, insbesondere, wenn die 3D-Objekte als Bedienelemente ausgebildet sind, den Fahrer des Kraftfahrzeugs unnötig ablenken oder sogar stören. Überdies ist ein schnelles Ändern einer Position der Interaktionszone derzeit nicht möglich, sodass es dem Fahrer in einigen Fahrsituationen erschwert ist, eine Interaktion mit dem Informationssystem vorzunehmen. Known information systems have the disadvantage that 3D objects or 3D images are displayed even when the hand of an operator of the information system is positioned outside the interaction zone. This can unnecessarily distract or even disturb the driver of the motor vehicle, especially if the 3D objects are designed as control elements. In addition, it is currently not possible to quickly change the position of the interaction zone, which makes it difficult for the driver to interact with the information system in some driving situations.
Es ist daher Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile bei einem Informationssystem für ein Kraftfahrzeug zu beheben oder zumindest teilweise zu beheben. Insbesondere ist es Aufgabe der vorliegenden Erfindung, ein Informationssystem für ein Kraftfahrzeug, ein Kraftfahrzeug sowie ein Verfahren zum Betreiben eines Informationssystems für ein Kraftfahrzeug zu schaffen, die auf eine einfache und kostengünstige Art und Weise eine unnötige Ablenkung des Fahrers durch die Erzeugung von 3D-Objekten vermeiden und/oder eine verbesserte Bedienbarkeit, insbesondere in speziellen Fahrsituationen, bereitstellen. It is therefore the object of the present invention to eliminate or at least partially eliminate the disadvantages described above in an information system for a motor vehicle. In particular, it is the object of the present invention to provide an information system for a motor vehicle, a motor vehicle and a method for operating an information system for a motor vehicle, which are based on a simple and avoid unnecessary distraction of the driver by generating 3D objects in a cost-effective manner and/or provide improved usability, especially in special driving situations.
Die voranstehende Aufgabe wird durch die Patentansprüche gelöst. Demnach wird die Aufgabe durch ein Informationssystem für ein Kraftfahrzeug mit den Merkmalen des unabhängigen Anspruchs 1, durch ein Kraftfahrzeug mit den Merkmalen des nebengeordneten Anspruchs 9 sowie durch ein Verfahren zum Betreiben eines Informationssystems für ein Kraftfahrzeug mit den Merkmalen des nebengeordneten Anspruchs 10 gelöst. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Informationssystem beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Kraftfahrzeug sowie dem erfindungsgemäßen Verfahren und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird beziehungsweise werden kann. The above object is solved by the patent claims. Accordingly, the object is solved by an information system for a motor vehicle with the features of independent claim 1, by a motor vehicle with the features of the independent claim 9 and by a method for operating an information system for a motor vehicle with the features of the independent claim 10. Further features and details of the invention emerge from the subclaims, the description and the drawings. Features and details that are described in connection with the information system according to the invention naturally also apply in connection with the motor vehicle according to the invention and the method according to the invention and vice versa, so that with regard to the disclosure of the individual aspects of the invention, reference is or can always be made to each other.
Gemäß einem ersten Aspekt der Erfindung wird die Aufgabe durch ein Informationssystem für ein Kraftfahrzeug gelöst. Das Informationssystem weist eine Bilderzeugungsvorrichtung zur Erzeugung holografischer 3D-Bilder, eine Erfassungsvorrichtung zum Erfassen einer in einer Interaktionszone durchgeführten Aktion einer Hand eines Insassen des Kraftfahrzeugs und eine Steuerungsvorrichtung zum Steuern der Bilderzeugungsvorrichtung auf. Erfindungsgemäß ist die Erfassungsvorrichtung zum Erfassen einer außerhalb der Interaktionszone durchgeführten Aktion der Hand ausgebildet, wobei die Steuerungsvorrichtung ausgebildet ist, die Bilderzeugungsvorrichtung in Abhängigkeit der außerhalb der Interaktionszone erfassten Aktion der Hand zu steuern, wobei die Steuerungsvorrichtung zur unterschiedlichen Verarbeitung von außerhalb der Interaktionszone durchgeführten Aktionen der Hand und innerhalb der Interaktionszone durchgeführten Aktionen der Hand ausgebildet ist. According to a first aspect of the invention, the object is achieved by an information system for a motor vehicle. The information system has an image generation device for generating holographic 3D images, a detection device for detecting an action of a hand of an occupant of the motor vehicle carried out in an interaction zone, and a control device for controlling the image generation device. According to the invention, the detection device is designed to detect an action of the hand carried out outside the interaction zone, wherein the control device is designed to control the image generation device depending on the action of the hand detected outside the interaction zone, wherein the control device is designed to differently process actions of the hand carried out outside the interaction zone and actions of the hand carried out within the interaction zone.
Unter einem Informationssystem wird im Rahmen der Erfindung eine Vorrichtung verstanden, die ausgebildet ist, Informationen darzustellen. Die Informationen können beispielsweise Betriebsdaten des Kraftfahrzeugs, wie beispielsweise Geschwindigkeit, Drehzahl, Tankfüllstand, Batterieladezustand (SOC), Kühlmitteltemperatur, Fahrmodus oder dergleichen, Assistenzsystemdaten, wie beispielsweise eines Bremsassistenten, Spurassistenten, Einparkassistenten oder dergleichen, Entertainmentdaten, wie beispielsweise Frequenz oder Name eines gewählten oder wählbaren Radiosenders, Name eines Podcasts oder dergleichen, aufweisen. Überdies können die Informationen beispielsweise Eingabemöglichkeiten (III) für den Benutzer, wie beispielsweise Schalter, Taster, Regler oder dergleichen, aufweisen. In the context of the invention, an information system is understood to mean a device that is designed to display information. The information can be, for example, operating data of the motor vehicle, such as speed, rpm, tank level, battery charge level (SOC), coolant temperature, driving mode or the like, assistance system data, such as a brake assistant, lane assistant, parking assistant or the like, entertainment data, such as the frequency or name of a selected or selectable radio station, the name of a podcast or the like, Furthermore, the information can, for example, include input options (III) for the user, such as switches, buttons, controls or the like.
Die Bilderzeugungsvorrichtung ist zur Erzeugung holographischer 3D-Objekte ausgebildet. Vorzugsweise ist die Bilderzeugungsvorrichtung zur Erzeugung von 3D-Bildern mit einem oder mehreren 3D-Objekten ausgebildet. Hierfür weist die Bilderzeugungsvorrichtung vorzugsweise ein 3D-Display, einen 3D-Projektor oder dergleichen auf. Eine Bilderzeugungsvorrichtung mit einem 3D-Display ist vorzugsweise ausgebildet, 3D-Objekte für den Betrachter vor und auch hinter dem 3D-Display darzustellen. Somit kann das 3D-Objekt beispielsweise zwischen einem Insassen des Kraftfahrzeugs und dem 3D-Display oder derart dargestellt werden, dass das 3D- Display zwischen dem Insassen und dem 3D-Objekt angeordnet ist. Eine Bilderzeugungsvorrichtung mit einem 3D- Projektor weist vorzugsweise zum Abbilden des 3D- Objekts eine 3D-Projektionsfläche auf, welche von dem 3D-Projektor bestrahlbar ist. Die Bilderzeugungsvorrichtung ist vorzugsweise zum Erzeugen von 3D-Objekten innerhalb der Interaktionszone, wie beispielsweise Bedienelementen, sowie außerhalb der Interaktionszone, wie beispielsweise Informationselementen, ausgebildet. The image generation device is designed to generate holographic 3D objects. The image generation device is preferably designed to generate 3D images with one or more 3D objects. For this purpose, the image generation device preferably has a 3D display, a 3D projector or the like. An image generation device with a 3D display is preferably designed to display 3D objects for the viewer in front of and behind the 3D display. The 3D object can thus be displayed, for example, between an occupant of the motor vehicle and the 3D display or in such a way that the 3D display is arranged between the occupant and the 3D object. An image generation device with a 3D projector preferably has a 3D projection surface for displaying the 3D object, which can be illuminated by the 3D projector. The image generation device is preferably designed to generate 3D objects within the interaction zone, such as operating elements, as well as outside the interaction zone, such as information elements.
Die Erfassungsvorrichtung ist zum Erfassen einer in der Interaktionszone sowie erfindungsgemäß auch außerhalb der Interaktionszone durchgeführten Aktion einer Hand des Insassen ausgebildet. Hierfür weist die Erfassungsvorrichtung vorzugsweise eine Tiefenkamera oder dergleichen auf. Unter einer Aktion der Hand wird im Rahmen der Erfindung beispielsweise eine Anordnung der Hand in einer bestimmten Lage, eine Formung der Hand, eine Geste der Hand, eine Trajektorie der Hand oder dergleichen verstanden. Aktionen können sich erfindungsgemäß auch durch ein Timing der durchgeführten Bewegung unterscheiden und können somit als unterschiedliche Aktionen wahrgenommen werden. Ein unterschiedliches Timing betrifft beispielsweise die Geschwindigkeit sowie eine Geschwindigkeitsänderung bei der Durchführung einer Aktion, eine zeitliche Abfolge verschiedener Aktionen oder dergleichen. Eine Aktion der Hand hat die technische Funktion der Übermittlung einer Benutzereingabe, wie beispielsweise eines Steuerungsbefehls, eines Anzeigebefehls oder dergleichen, des Insassen an das Informationssystem. Ferner ist die Erfassungsvorrichtung ausgebildet, die erfasste Aktion der Hand an die Steuerungsvorrichtung zu übermitteln. The detection device is designed to detect an action of the occupant's hand carried out in the interaction zone and, according to the invention, also outside the interaction zone. For this purpose, the detection device preferably has a depth camera or the like. In the context of the invention, an action of the hand is understood to mean, for example, an arrangement of the hand in a certain position, a shape of the hand, a gesture of the hand, a trajectory of the hand or the like. According to the invention, actions can also differ in terms of the timing of the movement carried out and can thus be perceived as different actions. Different timing relates, for example, to the speed and a change in speed when carrying out an action, a temporal sequence of different actions or the like. An action of the hand has the technical function of transmitting a user input, such as a control command, a display command or the like, of the occupant to the information system. Furthermore, the detection device is designed to transmit the detected action of the hand to the control device.
Die Steuerungsvorrichtung ist zum Steuern der Bilderzeugungsvorrichtung ausgebildet. Vorzugsweise ist die Steuerungsvorrichtung ausgebildet, die Bilderzeugungsvorrichtung in Abhängigkeit einer innerhalb der Interaktionszone durchgeführten Aktion der Hand zu steuern. Somit kann beispielsweise ein durch die Hand in der Interaktionszone durchgeführtes Drücken eines als holografisches 3D-Objekt ausgebildeten Knopfs durch ein entsprechendes Mitbewegen des Knopfs darstellbar sein. Alternativ oder zusätzlich sind vorzugsweise weitere optische Änderungen der Darstellung des 3D-Bilds oder einzelner 3D-Objekte als Reaktion auf die Aktion der Hand realisierbar, wie beispielsweise Farbänderungen, Größenveränderungen, Formveränderungen, zusätzliche 3D-Objekte, alternative 3D-Objekte, weniger 3D-Objekte oder dergleichen. Vorzugsweise weist die Steuerungsvorrichtung eine Erkennungsvorrichtung zum Erkennen von Augen der Insassen des Kraftfahrzeugs auf, wobei die Steuerungsvorrichtung ausgebildet ist, die Bilderzeugungsvorrichtung in Abhängigkeit einer Position der erkannten Augen zu steuern. Auf diese Weise sind die 3D-Objekte an einen Blickwinkel des Insassen optimal anpassbar, sodass zum Generieren der 3D-Objekte nur wenige Perspektiven erforderlich sind und ein Rechenaufwand hierfür wesentlich reduziert ist. The control device is designed to control the image generating device. Preferably, the control device is designed to control the image generating device depending on an action of the hand carried out within the interaction zone. Thus, for example, a press carried out by the hand in the interaction zone a button designed as a holographic 3D object can be displayed by moving the button accordingly. Alternatively or additionally, further optical changes in the display of the 3D image or individual 3D objects can preferably be implemented in response to the action of the hand, such as color changes, size changes, shape changes, additional 3D objects, alternative 3D objects, fewer 3D objects or the like. The control device preferably has a detection device for detecting eyes of the occupants of the motor vehicle, wherein the control device is designed to control the image generation device depending on a position of the detected eyes. In this way, the 3D objects can be optimally adapted to a viewing angle of the occupant, so that only a few perspectives are required to generate the 3D objects and the computing effort for this is significantly reduced.
Die Steuerungsvorrichtung ist zur unterschiedlichen Verarbeitung von außerhalb der Interaktionszone durchgeführten Aktionen der Hand und innerhalb der Interaktionszone durchgeführten Aktionen der Hand ausgebildet. Vorzugsweise ist die Steuerungsvorrichtung derart ausgebildet, dass innerhalb der Interaktionszone durchgeführte Aktionen der Hand überwiegend oder zumindest teilweise unterschiedlich verarbeitet werden als außerhalb der Interaktionszone durchgeführte Aktionen der Hand und somit mitunter unterschiedliche Auswirkungen auf das Informationssystem, insbesondere die Darstellung der 3D-Objekte bzw. des 3D-Bilds, haben können. Hierbei ist es erfindungsgemäß bevorzugt, dass die Anzahl als Benutzereingaben identifizierbarer Aktionen der Hand innerhalb der Interaktionszone größer ist als außerhalb der Interaktionszone. Das kann beispielsweise bedeuten, dass eine erste Aktion innerhalb der Interaktionszone als erster Steuerbefehl identifizierbar und außerhalb der Interaktionszone ignorierbar ist. Eine zweite Aktion kann beispielsweise innerhalb der Interaktionszone als zweiter Steuerbefehl identifizierbar und außerhalb der Interaktionszone als verschiedener dritter Steuerbefehl identifizierbar sein. Ebenso kann erfindungsgemäß vorgesehen sein, dass außerhalb der Interaktionszone durchgeführte Aktionen der Hand weniger differenziert auswertbar sind als innerhalb der Interaktionszone durchgeführte Aktionen der Hand, sodass mehrere verschiedene außerhalb der Interaktionszone durchgeführte Aktionen als gleiche Benutzereingabe identifizierbar sein können, während die gleichen Aktionen der Hand innerhalb der Interaktionszone als unterschiedliche Benutzereingaben identifizierbar sein können. The control device is designed to process hand actions performed outside the interaction zone differently from hand actions performed within the interaction zone. The control device is preferably designed such that hand actions performed within the interaction zone are predominantly or at least partially processed differently than hand actions performed outside the interaction zone and can therefore sometimes have different effects on the information system, in particular the representation of the 3D objects or the 3D image. In this case, it is preferred according to the invention that the number of hand actions identifiable as user inputs is greater within the interaction zone than outside the interaction zone. This can mean, for example, that a first action can be identified as a first control command within the interaction zone and ignored outside the interaction zone. A second action can, for example, be identifiable as a second control command within the interaction zone and identifiable as a different third control command outside the interaction zone. Likewise, according to the invention, it can be provided that actions of the hand performed outside the interaction zone can be evaluated in a less differentiated manner than actions of the hand performed within the interaction zone, so that several different actions performed outside the interaction zone can be identifiable as the same user input, while the same actions of the hand within the interaction zone can be identifiable as different user inputs.
Ein erfindungsgemäßes Informationssystem hat gegenüber herkömmlichenAn information system according to the invention has, compared to conventional
Informationssystemen den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise ein Aktionsbereich für einen Bediener zum Bedienen des Informationssystems besser individualisierbar ist. Durch die gezielte Erfassung und unterschiedliche Verarbeitung von innerhalb der Interaktionszone durchgeführten Aktionen der Hand gegenüber außerhalb der Interaktionszone durchgeführten Aktionen der Hand sind für den Bediener weitere Möglichkeiten der Bedienbarkeit des Informationssystems gegeben, sodass eine wesentlich schnellere Eingabe erfolgen kann, da ein aktives Bewegen der Hand in die Interaktionszone vermeidbar ist. Information systems have the advantage that with simple means and in a cost-effective manner an action area for an operator to operate the information system can be better customized. Through the targeted recording and different processing of hand actions carried out within the interaction zone compared to hand actions carried out outside the interaction zone, the operator has further options for operating the information system, so that input can be made much faster, since actively moving the hand into the interaction zone can be avoided.
Gemäß einer bevorzugten Weiterentwicklung der Erfindung kann bei einem Informationssystem vorgesehen sein, dass die Steuerungsvorrichtung ausgebildet ist, die Bilderzeugungsvorrichtung zur Erzeugung eines 3D-Objekts zu veranlassen, wenn die Hand einen vordefinierten Mindestabstand zur Interaktionszone unterschreitet. Vorzugsweise ist die Steuerungsvorrichtung zusätzlich ausgebildet, die Bilderzeugungsvorrichtung zum Ausblenden des 3D-Objekts zu veranlassen, wenn die Hand einen vordefinierten Maximalabstand zur Interaktionszone überschreitet, wobei der Maximalabstand größer oder gleich dem Mindestabstand ist. Ein größerer Maximalabstand als der Mindestabstand gemäß einer Hysterese ist erfindungsgemäß bevorzugt, um ein Flackern bei der Erzeugung des 3D-Objekts zu vermeiden. Hierdurch ist bewirkbar, dass beispielsweise als 3D-Objekte ausgebildete Anzeigen, Schaltobjekte oder dergleichen, zumindest dann angezeigt werden, wenn die Hand in der Nähe der Interaktionszone ist. Alternativ oder zusätzlich kann erfindungsgemäß auch vorgesehen sein, dass die Steuerungsvorrichtung ausgebildet ist, die Bilderzeugungsvorrichtung zum Ausblenden des 3D-Objekts zu veranlassen, wenn die Hand die Interaktionszone erreicht. In diesem Rahmen kann beispielsweise vorgesehen sein, dass das eingeblendete 3D-Objekt lediglich zur Kennzeichnung der Interaktionszone dient, wie beispielsweise ein Richtungspfeil, ein Rahmen der Interaktionszone oder dergleichen. Anstatt eines Ausblendens kann auch eine Positionsveränderung, Größenveränderung, Farbveränderung, Formveränderung oder dergleichen des 3D-Objekts vorgesehen sein. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise ein Heranführen des Insassen an die Interaktionszone verbesserbar ist. Durch ein gezieltes Ausblenden können überflüssige Informationen besser verborgen werden, sodass beispielsweise der Fahrer des Kraftfahrzeugs weniger durch überflüssige 3D-Objekte vom Fahren des Kraftfahrzeugs abgelenkt wird. According to a preferred further development of the invention, in an information system it can be provided that the control device is designed to cause the image generation device to generate a 3D object when the hand falls below a predefined minimum distance from the interaction zone. Preferably, the control device is additionally designed to cause the image generation device to hide the 3D object when the hand exceeds a predefined maximum distance from the interaction zone, wherein the maximum distance is greater than or equal to the minimum distance. A greater maximum distance than the minimum distance according to a hysteresis is preferred according to the invention in order to avoid flickering when the 3D object is generated. This makes it possible for displays, switching objects or the like designed as 3D objects, for example, to be displayed at least when the hand is near the interaction zone. Alternatively or additionally, it can also be provided according to the invention that the control device is designed to cause the image generation device to hide the 3D object when the hand reaches the interaction zone. In this context, it can be provided, for example, that the displayed 3D object serves only to mark the interaction zone, such as a direction arrow, a frame of the interaction zone or the like. Instead of hiding it, a change in position, size, color, shape or the like of the 3D object can also be provided. This has the advantage that the approach of the occupant to the interaction zone can be improved using simple means and in a cost-effective manner. By selectively hiding it, superfluous information can be better concealed, so that, for example, the driver of the vehicle is less distracted from driving the vehicle by superfluous 3D objects.
Es ist erfindungsgemäß bevorzugt, dass die Steuerungsvorrichtung ausgebildet ist, die Bilderzeugungsvorrichtung derart zu steuern, dass eine Helligkeit und/oder Intensität und/oder Größe des von der Bilderzeugungsvorrichtung erzeugten 3D-Objekts mit abnehmendem Abstand der Hand zur Interaktionszone zunimmt. Hierbei ist es bevorzugt, dass die Veränderung des 3D-0bjekts stufenlos erfolgt. Die Veränderung des 3D-Objekt kann sich zur Bewegung der Hand beispielsweise proportional, überproportional oder unterproportional verhalten. Auf diese Weise ist ein Effekt erzeugbar, dass das 3D-Objekt bei verhältnismäßig großer Entfernung der Hand von der Interaktionszone beispielsweise verhältnismäßig klein und/oder lichtschwach und/oder hochtransparent und bei verhältnismäßig geringer Entfernung der Hand von der Interaktionszone größer und/oder lichtstärker und/oder niedrigtransparent dargestellt wird. Mit anderen Worten nimmt eine Erkennbarkeit des 3D-Objekts für den Benutzer bei Annäherung an die Interaktionszone zu und bei Entfernung von der Interaktionszone ab. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise eine Ablenkung des Fahrers während der Fahrt durch das 3D-Objekt reduziert ist, wobei ein leichtes Auffinden der Interaktionszone sowie des 3D-Objekts weiterhin gewährleistet ist. It is preferred according to the invention that the control device is designed to control the image generation device in such a way that a brightness and/or intensity and/or size of the 3D object generated by the image generation device increases with decreasing distance of the hand from the interaction zone. In this case, it is preferred that the The 3D object changes continuously. The change in the 3D object can, for example, be proportional, disproportionate or disproportionate to the movement of the hand. In this way, an effect can be created whereby the 3D object is displayed as relatively small and/or dimly lit and/or highly transparent when the hand is relatively far away from the interaction zone, and larger and/or brighter and/or less transparent when the hand is relatively close to the interaction zone. In other words, the 3D object becomes more recognizable to the user as they approach the interaction zone and less recognizable as they move away from the interaction zone. This has the advantage that the driver's distraction from the 3D object while driving is reduced using simple means and in a cost-effective manner, while the interaction zone and the 3D object are still easy to find.
Weiter bevorzugt ist die Steuerungsvorrichtung ausgebildet, die Bilderzeugungsvorrichtung zur optischen Kennzeichnung einer oder mehrerer Interaktionszonen zu steuern, wenn die Hand einen vordefinierten Mindestabstand zu einer Interaktionszone aufweist. Hierbei ist es bevorzugt, dass der vordefinierte Mindestabstand zu einer vordefinierten Interaktionszone definiert ist, wobei die vordefinierte Interaktionszone vorzugsweise einen größeren Abstand zu einem Lenkrad des Kraftfahrzeugs aufweist als andere Interaktionszonen des Informationssystems. Die vordefinierte Interaktionszone ist vorzugsweise im Bereich einer Instrumententafel, insbesondere in einem mittleren Bereich zwischen dem Fahrer und einem Beifahrer, angeordnet. Der vordefinierte Mindestabstand ist vorzugsweise derart festgelegt, dass durch ein Betätigen des Lenkrads und/oder eines Schalthebels der Mindestabstand nicht unterschritten wird bzw. unterschritten werden kann, sodass keine ungewollte optische Kennzeichnung der Interaktionszonen erfolgt. Eine optische Kennzeichnung der Interaktionszonen kann beispielsweise als Erzeugung eines Rahmens, einer Leuchtfläche, eines Pfeils, eines 3D-Objekts oder dergleichen ausgebildet sein. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise den Insassen Interaktionsmöglichkeiten mit dem Informationssystem auf Befehl des Insassen aufzeigbar sind. Somit ist eine Ablenkung des Fahrers während der Fahrt durch 3D-Objekte reduziert und ein leichtes Auffinden der Interaktionszonen sowie der 3D-Objekte weiterhin gewährleistet. Zudem ist hierdurch eine leichtere sowie schnellere Bedienbarkeit des Informationssystems bereitgestellt. The control device is further preferably designed to control the image generation device for optically marking one or more interaction zones when the hand has a predefined minimum distance to an interaction zone. In this case, it is preferred that the predefined minimum distance is defined to a predefined interaction zone, wherein the predefined interaction zone preferably has a greater distance to a steering wheel of the motor vehicle than other interaction zones of the information system. The predefined interaction zone is preferably arranged in the area of an instrument panel, in particular in a central area between the driver and a passenger. The predefined minimum distance is preferably set in such a way that the minimum distance is not or cannot be undercut by operating the steering wheel and/or a gear lever, so that no unwanted optical marking of the interaction zones occurs. An optical marking of the interaction zones can be designed, for example, as the creation of a frame, a light area, an arrow, a 3D object or the like. This has the advantage that the occupants can be shown the options for interacting with the information system at the occupant's command using simple means and in a cost-effective manner. This reduces the driver's distraction from 3D objects while driving and still ensures that the interaction zones and 3D objects are easy to find. This also makes the information system easier and faster to use.
In einer besonders bevorzugten Ausgestaltung der Erfindung kann bei einemIn a particularly preferred embodiment of the invention, in a
Informationssystem vorgesehen sein, dass die Steuerungsvorrichtung ausgebildet ist, dieInformation system can be provided that the control device is designed to
Bilderzeugungsvorrichtung als Reaktion auf eine außerhalb der Interaktionszone getätigte vordefinierte Geste der Hand zur optischen Kennzeichnung einer oder mehrerer Interaktionszonen und/oder zur Erzeugung eines 3D-Objekts zu veranlassen. Die vordefinierte Geste ist vorzugsweise derart bestimmt, dass sich diese von gewöhnlichen Bewegungen der Hand beim Fahren des Kraftfahrzeugs deutlich unterscheidet, um das Risiko des versehentlichen Betätigens des Informationssystems zu reduzieren. Demnach ist die vordefinierte Geste vorzugsweise eine unnatürliche Bewegung der Hand. Mögliche Gesten hierfür sind beispielsweise das Überkreuzen von zwei Fingern, das hin und her Drehen einer geballten Faust, das Abspreizen eines oder mehrerer Finger, insbesondere unter Berücksichtigung einer oder mehrerer vordefinierten Richtungen, das Bilden einer besonderen Form der Hand oder dergleichen. Somit ist das Anzeigen sowie das Ausblenden von 3D- Objekten auch dann gezielt durch den Insassen veranlassbar, wenn die Hand von der Interaktionszone entfernt ist. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise eine Ablenkung des Fahrers während der Fahrt durch 3D- Objekte reduziert wird und ein leichtes Auffinden der Interaktionszonen sowie der 3D-Objekte weiterhin gewährleistet ist. Zudem ist hierdurch eine leichtere sowie schnellere Bedienbarkeit des Informationssystems bereitgestellt. Image generating device in response to a command made outside the interaction zone to initiate a predefined hand gesture for optically marking one or more interaction zones and/or for generating a 3D object. The predefined gesture is preferably determined in such a way that it differs significantly from normal hand movements when driving the motor vehicle in order to reduce the risk of accidentally activating the information system. Accordingly, the predefined gesture is preferably an unnatural hand movement. Possible gestures for this are, for example, crossing two fingers, turning a clenched fist back and forth, spreading one or more fingers, in particular taking into account one or more predefined directions, forming a special shape of the hand or the like. The display and hiding of 3D objects can therefore be specifically initiated by the occupant even when the hand is away from the interaction zone. This has the advantage that driver distraction caused by 3D objects while driving is reduced using simple means and in a cost-effective manner, and that interaction zones and 3D objects can still be easily found. This also makes the information system easier and faster to use.
Vorzugsweise ist die Steuerungsvorrichtung ausgebildet, die Bilderzeugungsvorrichtung zur optischen Kennzeichnung der Interaktionszone zu veranlassen, wenn eine vordefinierte Geste der Hand in Richtung der Interaktionszone weist. Die vordefinierte Geste kann beispielsweise das Strecken eines oder mehrerer Finger in Richtung der Interaktionszone umfassen. Durch Zeigen auf die Interaktionszone ist somit ein optisches Hervorheben der Interaktionszone bewirkbar. Eine optische Kennzeichnung der Interaktionszonen kann beispielsweise als Erzeugung eines Rahmens, einer Leuchtfläche, eines Pfeils, eines 3D-Objekts oder dergleichen ausgebildet sein. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise eine Ablenkung des Fahrers während der Fahrt durch 3D-Objekte reduziert wird und ein leichtes Auffinden der Interaktionszonen sowie der 3D-Objekte weiterhin gewährleistet ist. Zudem ist hierdurch eine leichtere sowie schnellere Bedienbarkeit des Informationssystems bereitgestellt. The control device is preferably designed to cause the image generation device to optically mark the interaction zone when a predefined gesture of the hand points in the direction of the interaction zone. The predefined gesture can, for example, include stretching one or more fingers in the direction of the interaction zone. By pointing to the interaction zone, the interaction zone can thus be optically highlighted. Optical marking of the interaction zones can, for example, be designed as the creation of a frame, a light area, an arrow, a 3D object or the like. This has the advantage that distraction of the driver by 3D objects while driving is reduced using simple means and in a cost-effective manner, and that the interaction zones and the 3D objects are still easy to find. In addition, this makes the information system easier and faster to use.
Gemäß einer bevorzugten Ausführungsform der Erfindung ist die Steuerungsvorrichtung ausgebildet, die Interaktionszone als Reaktion auf eine außerhalb der Interaktionszone getätigte vordefinierte Geste der Hand zu verlagern. Unter einem Verlagern wird im Rahmen der Erfindung beispielsweise ein Bewegen der Interaktionszone zur Hand hin oder von der Hand weg verstanden. Vorzugsweise ist die Steuerungsvorrichtung ausgebildet, die Interaktionszone auf eine außerhalb der Interaktionszone getätigte vordefinierte erste Geste zur Hand hin zu bewegen. Weiter bevorzugt ist die Steuerungsvorrichtung ausgebildet, die Interaktionszone auf eine außerhalb der Interaktionszone getätigte vordefinierte zweite Geste von der Hand weg zu bewegen. Vorzugsweise ist die Steuerungsvorrichtung derart ausgebildet, dass auf diese Weise auch eine hierzu quer verlaufende Bewegung der Interaktionszone, wie beispielsweise eine seitliche oder eine vertikale Bewegung quer zur Fahrtrichtung, durch eine derartige Geste bewirkbar ist. Es ist somit beispielsweise erleichtert, dass der Fahrer, während seine Blickrichtung in eine Richtung gebunden ist, beispielsweise zu einer Fahrzeugseite, die Interaktionszone in sein Blickfeld rücken kann, um eine weitere Interaktion mit dem Informationssystem besser vornehmen zu können, ohne dabei seine Blickrichtung zu verändern oder zumindest wesentlich zu verändern. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise eine leichtere sowie schnellere Bedienbarkeit des Informationssystems bereitgestellt ist. According to a preferred embodiment of the invention, the control device is designed to shift the interaction zone in response to a predefined gesture of the hand made outside the interaction zone. In the context of the invention, shifting is understood to mean, for example, moving the interaction zone towards or away from the hand. Preferably, the control device is designed to shift the interaction zone in response to a predefined first gesture made outside the interaction zone towards the hand. move. The control device is further preferably designed to move the interaction zone away from the hand in response to a predefined second gesture made outside the interaction zone. The control device is preferably designed in such a way that a movement of the interaction zone that runs transversely thereto, such as a lateral or vertical movement transversely to the direction of travel, can also be brought about by such a gesture. This makes it easier, for example, for the driver, while his line of sight is bound in one direction, for example to one side of the vehicle, to move the interaction zone into his field of vision in order to be able to better carry out further interaction with the information system without changing his line of sight or at least changing it significantly. This has the advantage that easier and faster operation of the information system is provided with simple means and in a cost-effective manner.
Besonders bevorzugt ist die Erfassungsvorrichtung ausgebildet, einen Aktionsraum des Insassen des Kraftfahrzeugs für Handgesten zu erfassen, wobei die Steuerungsvorrichtung ausgebildet ist, die Interaktionszone innerhalb des erfassten Aktionsraums anzuordnen. Über eine Tiefenkamera des Erfassungssystems sind Parameter des Insassen, wie beispielsweise eine Oberkörpergröße, eine Oberkörperposition, eine Armlänge oder dergleichen, erfassbar und an die Steuerungsvorrichtung übermittelbar. Die Steuerungsvorrichtung ist ausgebildet, hieraus den Aktionsraum zu bestimmen. Der Aktionsraum beschreibt einen Raum, in welchem der Insasse, beispielsweise der Fahrer des Kraftfahrzeugs, bei aktueller Sitzposition seine Hand zur Übermittlung von Gesten gut bewegen kann, insbesondere ohne seine Sitzposition hierfür verändern zu müssen. Die Erfassung des Aktionsraums kann erfindungsgemäß auch ergonomische Aspekte berücksichtigen. Dies hat den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise eine leichtere sowie komfortablere Bedienbarkeit des Informationssystems bereitgestellt ist. The detection device is particularly preferably designed to detect an action area of the occupant of the motor vehicle for hand gestures, wherein the control device is designed to arrange the interaction zone within the detected action area. Parameters of the occupant, such as upper body size, upper body position, arm length or the like, can be detected via a depth camera of the detection system and transmitted to the control device. The control device is designed to determine the action area from this. The action area describes a space in which the occupant, for example the driver of the motor vehicle, can easily move his hand to transmit gestures in the current sitting position, in particular without having to change his sitting position for this. According to the invention, the detection of the action area can also take ergonomic aspects into account. This has the advantage that an easier and more comfortable operation of the information system is provided with simple means and in a cost-effective manner.
Gemäß einem zweiten Aspekt der Erfindung wird die Aufgabe durch ein Kraftfahrzeug gelöst. Erfindungsgemäß weist das Kraftfahrzeug ein erfindungsgemäßes Informationssystem auf. Die Bilderzeugungsvorrichtung ist vorzugsweise an einer Instrumententafel in einem Innenraum des Kraftfahrzeugs, vorzugsweise zwischen einer Windschutzscheibe, einem Fahrersitz und einem Beifahrersitz des Kraftfahrzeugs angeordnet. Die Erfassungsvorrichtung ist vorzugsweise im Bereich der Bilderzeugungsvorrichtung im Innenraum angeordnet. Vorzugsweise weist die Erfassungsvorrichtung mehrere Erfassungssensoren, wie beispielsweise Tiefenkameras auf, welche an verschiedenen Stellen im Innenraum des Kraftfahrzeugs angeordnet sind. Bei dem erfindungsgemäßen Kraftfahrzeug ergeben sich sämtliche Vorteile, die bereits zu einem Informationssystem gemäß dem ersten Aspekt der Erfindung beschrieben worden sind. Demnach hat das erfindungsgemäße Kraftfahrzeug gegenüber herkömmlichen Kraftfahrzeugen den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise ein Aktionsbereich für einen Bediener zum Bedienen des Informationssystems besser individualisierbar ist. Durch die gezielte Erfassung und unterschiedliche Verarbeitung von innerhalb der Interaktionszone durchgeführten Aktionen der Hand gegenüber außerhalb der Interaktionszone durchgeführten Aktionen der Hand sind für den Bediener weitere Möglichkeiten der Bedienbarkeit des Informationssystems gegeben, sodass eine wesentlich schnellere Eingabe erfolgen kann, da ein aktives Bewegen der Hand in die Interaktionszone vermeidbar ist. According to a second aspect of the invention, the object is achieved by a motor vehicle. According to the invention, the motor vehicle has an information system according to the invention. The image generation device is preferably arranged on an instrument panel in an interior of the motor vehicle, preferably between a windshield, a driver's seat and a passenger seat of the motor vehicle. The detection device is preferably arranged in the area of the image generation device in the interior. The detection device preferably has several detection sensors, such as depth cameras, which are arranged at different locations in the interior of the motor vehicle. The motor vehicle according to the invention offers all the advantages that have already been described for an information system according to the first aspect of the invention. Accordingly, the motor vehicle according to the invention has the advantage over conventional motor vehicles that an action area for an operator to operate the information system can be better customized using simple means and in a cost-effective manner. The targeted recording and different processing of hand actions carried out within the interaction zone compared to hand actions carried out outside the interaction zone gives the operator further options for operating the information system, so that input can be made much faster because active movement of the hand into the interaction zone can be avoided.
Gemäß einem dritten Aspekt der Erfindung wird die Aufgabe durch ein Verfahren zum Betreiben eines Informationssystems für ein Kraftfahrzeug gelöst. Das Verfahren weist auf:According to a third aspect of the invention, the object is achieved by a method for operating an information system for a motor vehicle. The method comprises:
- Bereitstellen eines erfindungsgemäßen Informationssystems, - Providing an information system according to the invention,
- Erfassen der Lage und/oder Bewegung der Hand außerhalb der Interaktionszone durch die Erfassungsvorrichtung, - Detection of the position and/or movement of the hand outside the interaction zone by the detection device,
- Vergleichen der erfassten Lage und/oder Bewegung der Hand mit einer vordefinierten Lage und/oder Bewegung der Hand durch die Steuerungsvorrichtung, und - comparing the detected position and/or movement of the hand with a predefined position and/or movement of the hand by the control device, and
- Steuern der Bilderzeugungsvorrichtung zur Erzeugung eines 3D-0bjekts durch die Steuerungsvorrichtung, wenn die erfasste Lage und/oder Bewegung der Hand der vordefinierten Lage und/oder Bewegung der Hand entspricht oder innerhalb einer vorgegebenen Toleranz entspricht. - Controlling the image generation device to generate a 3D object by the control device if the detected position and/or movement of the hand corresponds to the predefined position and/or movement of the hand or corresponds within a predetermined tolerance.
Das Informationssystem wird vorzugsweise in dem Kraftfahrzeug integriert bereitgestellt. Durch die Erfassungsvorrichtung werden Hände eines Insassen, vorzugsweise des Fahrers, des Kraftfahrzeugs erfasst. Hierbei werden eine außerhalb der Interaktionszone getätigte Aktion der Hand des Insassen, nämlich die Lage und/oder die Bewegung der Hand, erfasst. Die erfasste Aktion wird durch die Steuerungsvorrichtung mit vordefinierten Aktionen, nämlich als Befehlsgesten vordefinierten Lagen und/oder Bewegungen der Hand, verglichen. Die für außerhalb der Interaktionszone vordefinierten Aktionen unterscheiden sich erfindungsgemäß zumindest teilweise von für innerhalb der Interaktionszone vordefinierten Aktionen. Dies hat zur Folge, dass die Durchführung einer bestimmten Aktion innerhalb der Interaktionszone als Steuerungsbefehl identifizierbar ist, während dieselbe außerhalb der Interaktionszone durchgeführte Aktion unter Umständen nicht als Steuerungsbefehl identifizierbar ist. Auf diese Weise ist eine ungewollte Übermittlung von Befehlen vermieden. Gleichwohl ist zumindest eine Aktion definiert, die bei der Durchführung außerhalb der Interaktionszone als Steuerungsbefehl gilt. Wenn diese Aktion erfasst und beim Vergleichen festgestellt wird, dass diese Aktion der vordefinierten Aktion entspricht, wird dies von der Steuerungsvorrichtung als gezielte absichtliche Interaktion des Insassen mit dem Informationssystem identifiziert und die Bilderzeugungsvorrichtung zur Erzeugung des 3D-Objekts, vorzugsweise eines der absichtlichen Interaktion entsprechenden 3D-Objekts, angesteuert. The information system is preferably provided integrated in the motor vehicle. The hands of an occupant, preferably the driver, of the motor vehicle are detected by the detection device. In this case, an action of the occupant's hand carried out outside the interaction zone, namely the position and/or movement of the hand, is detected. The detected action is compared by the control device with predefined actions, namely positions and/or movements of the hand predefined as command gestures. According to the invention, the actions predefined for outside the interaction zone differ at least partially from actions predefined for within the interaction zone. This means that the execution of a certain action within the interaction zone can be identified as a control command, while the same action carried out outside the interaction zone may not be identifiable as a control command. In this way, unwanted transmission of commands is avoided. Nevertheless, at least one Action is defined which, when carried out outside the interaction zone, is considered a control command. If this action is detected and it is determined during comparison that this action corresponds to the predefined action, the control device identifies this as a targeted, intentional interaction of the occupant with the information system and controls the image generation device to generate the 3D object, preferably a 3D object corresponding to the intentional interaction.
Bei dem erfindungsgemäßen Verfahren ergeben sich sämtliche Vorteile, die bereits zu einem Informationssystem gemäß dem ersten Aspekt der Erfindung sowie zu einem Kraftfahrzeug gemäß dem zweiten Aspekt der Erfindung beschrieben worden sind. Demnach hat das erfindungsgemäße Verfahren gegenüber herkömmlichen Verfahren den Vorteil, dass mit einfachen Mitteln sowie auf eine kostengünstige Art und Weise ein Aktionsbereich für einen Bediener zum Bedienen des Informationssystems besser individualisierbar ist. Durch die gezielte Erfassung und unterschiedliche Verarbeitung von innerhalb der Interaktionszone durchgeführten Aktionen der Hand gegenüber außerhalb der Interaktionszone durchgeführten Aktionen der Hand sind für den Bediener weitere Möglichkeiten der Bedienbarkeit des Informationssystems gegeben, sodass eine wesentlich schnellere Eingabe erfolgen kann, da ein aktives Bewegen der Hand in die Interaktionszone vermeidbar ist. The method according to the invention results in all the advantages that have already been described for an information system according to the first aspect of the invention and for a motor vehicle according to the second aspect of the invention. Accordingly, the method according to the invention has the advantage over conventional methods that an action area for an operator to operate the information system can be better customized using simple means and in a cost-effective manner. The targeted detection and different processing of hand actions performed within the interaction zone compared to hand actions performed outside the interaction zone gives the operator further options for operating the information system, so that input can be made much faster because active movement of the hand into the interaction zone can be avoided.
Ein erfindungsgemäßes Informationssystem für ein Kraftfahrzeug, ein erfindungsgemäßes Kraftfahrzeug sowie ein erfindungsgemäßes Verfahren zum Betreiben eines Informationssystems für ein Kraftfahrzeug werden nachfolgend anhand von Zeichnungen näher erläutert. Es zeigen jeweils schematisch: An information system according to the invention for a motor vehicle, a motor vehicle according to the invention and a method according to the invention for operating an information system for a motor vehicle are explained in more detail below with reference to drawings. They each show schematically:
Figur 1 in einer Draufsicht ein Ausschnitt einer als Display ausgebildeten Bilderzeugungsvorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung in einem ersten Zustand, Figure 1 is a plan view of a section of an image generating device designed as a display according to a preferred embodiment of the invention in a first state,
Figur 2 in einer Draufsicht den Ausschnitt der Bilderzeugungsvorrichtung aus Figur 1 in einem zweiten Zustand, Figure 2 shows a plan view of the detail of the image generating device from Figure 1 in a second state,
Figur 3 in einer Draufsicht den Ausschnitt der Bilderzeugungsvorrichtung aus Figur 1 in einem dritten Zustand, Figure 3 is a plan view of the detail of the image generating device from Figure 1 in a third state,
Figur 4 in einer Draufsicht ein Cockpit eines Kraftfahrzeugs gemäß einer bevorzugten Ausführungsform der Erfindung, Figur 5 in einer Seitenansicht eine bevorzugte Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs, und Figure 4 shows a plan view of a cockpit of a motor vehicle according to a preferred embodiment of the invention, Figure 5 shows a side view of a preferred embodiment of a motor vehicle according to the invention, and
Figur 6 in einem Ablaufdiagramm eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens. Figure 6 shows a flow chart of a preferred embodiment of a method according to the invention.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Fig. 1 - 6 jeweils mit denselben Bezugszeichen versehen. Elements with the same function and mode of operation are provided with the same reference numerals in Fig. 1 - 6.
In Fig. 1 ist ein Ausschnitt einer als Display ausgebildeten Bilderzeugungsvorrichtung 3 gemäß einer bevorzugten Ausführungsform der Erfindung schematisch in einer Draufsicht dargestellt. Eine Hand H ist in diesem ersten Zustand einer Interaktionszone 6 derart angenähert, dass die Bilderzeugungsvorrichtung 3 die Interaktionszone 6 optisch hervorhebt. In diesem Beispiel erfolgt das optische Hervorheben durch das Erzeugen eines quaderförmigen 3D-Objekts 4, welches die Interaktionszone 6 ausfüllt. Das 3D-Objekt 4 kann erfindungsgemäß auch kleiner oder größer als die Interaktionszone 6 ausgebildet sein. In diesem ersten Zustand ist die Hand H noch so weit von der Interaktionszone 6 entfernt, dass von der Bilderzeugungsvorrichtung 3 keine weiteren 3D-Objekte 4 erzeugt werden. In Fig. 1, a section of an image generation device 3 designed as a display according to a preferred embodiment of the invention is shown schematically in a top view. In this first state, a hand H is brought close to an interaction zone 6 in such a way that the image generation device 3 optically highlights the interaction zone 6. In this example, the optical highlighting takes place by generating a cuboid-shaped 3D object 4 which fills the interaction zone 6. According to the invention, the 3D object 4 can also be smaller or larger than the interaction zone 6. In this first state, the hand H is still so far away from the interaction zone 6 that no further 3D objects 4 are generated by the image generation device 3.
Fig. 2 zeigt den Ausschnitt der Bilderzeugungsvorrichtung 3 aus Fig. 1 in einem zweiten Zustand schematisch in einer Draufsicht. In dem zweiten Zustand ist die Hand H in der Interaktionszone 6 angeordnet. Die Bilderzeugungsvorrichtung 3 erzeugt weitere 3D-Objekte 4, welche durch eine entsprechende Aktion der Hand H auswählbar sind, beispielsweise durch Antippen. Fig. 2 shows the section of the image generation device 3 from Fig. 1 in a second state schematically in a top view. In the second state, the hand H is arranged in the interaction zone 6. The image generation device 3 generates further 3D objects 4, which can be selected by a corresponding action of the hand H, for example by tapping.
In Fig. 3 ist der Ausschnitt der Bilderzeugungsvorrichtung 3 aus Fig. 1 in einem dritten Zustand schematisch in einer Draufsicht abgebildet. In dem dritten Zustand ist eines der 3D-Objekte 4 aus Fig. 2 ausgewählt, sodass die Bilderzeugungsvorrichtung 3 ein neues als Straßenkarte ausgebildetes 3D-Objekt 4 darstellt. Auf der Straßenkarte ist ein als Kreis ausgebildetes 3D- Objekt 4 dargestellt, welches die Stelle auf dem 3D-Objekt 4 markiert, auf welche eine Fingerspitze der Hand H weist. In Fig. 3, the section of the image generation device 3 from Fig. 1 is shown schematically in a top view in a third state. In the third state, one of the 3D objects 4 from Fig. 2 is selected, so that the image generation device 3 displays a new 3D object 4 designed as a road map. On the road map, a 3D object 4 designed as a circle is shown, which marks the point on the 3D object 4 to which a fingertip of the hand H points.
Fig. 4 zeigt ein Cockpit eines Kraftfahrzeugs 2 gemäß einer bevorzugten Ausführungsform der Erfindung schematisch in einer Draufsicht. In Fig. 5 ist eine bevorzugte Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs 2 schematisch in einer Seitenansicht dargestellt. In dem Kraftfahrzeug 2 ist ein erfindungsgemäßes Informationssystem 1 angeordnet. Das Informationssystem 1 weist eine als Display ausgebildete Bilderzeugungsvorrichtung 3 zur Erzeugung holografischer 3D-Objekte 4 auf. Das 3D-Objekt 4 wird in einer Interaktionszone 6 zum Interagieren mit dem Informationssystem 1 erzeugt. Ferner weist das Informationssystem eine Erfassungsvorrichtung 5 mit mehreren Sensoren sowie eine Steuerungsvorrichtung 7 zum Steuern der Bilderzeugungsvorrichtung 3 auf. Fig. 4 shows a cockpit of a motor vehicle 2 according to a preferred embodiment of the invention schematically in a top view. In Fig. 5, a preferred embodiment of a motor vehicle 2 according to the invention is shown schematically in a side view. In the An information system 1 according to the invention is arranged in a motor vehicle 2. The information system 1 has an image generation device 3 designed as a display for generating holographic 3D objects 4. The 3D object 4 is generated in an interaction zone 6 for interacting with the information system 1. The information system also has a detection device 5 with several sensors and a control device 7 for controlling the image generation device 3.
Fig. 6 zeigt eine bevorzugte Ausführungsform eines erfindungsgemäßen Verfahrens schematisch in einem Ablaufdiagramm. In einer ersten Verfahrensaktion 100 wird ein Kraftfahrzeug 2 mit einem erfindungsgemäßen Informationssystem 1 bereitgestellt. In einer zweiten Verfahrensaktion 200 wird eine Aktion einer in einem Innenraum des Kraftfahrzeugs 2 sowie außerhalb der Interaktionszone 6 angeordneten Hand H, beispielsweise eines Insassen des Kraftfahrzeugs 2, insbesondere eines Fahrers des Kraftfahrzeugs 2, durch die Erfassungsvorrichtung 5 des Informationssystems 1 erfasst. Als Aktion erfasst die Erfassungsvorrichtung 5 beispielsweise eine Lage oder eine Bewegung der Hand H. Die Lage der Hand H kann beispielsweise eine Position der Hand H im Raum, eine Orientierung der Hand H im Raum sowie eine Form der Hand H umfassen. Fig. 6 shows a preferred embodiment of a method according to the invention schematically in a flow chart. In a first method action 100, a motor vehicle 2 is provided with an information system 1 according to the invention. In a second method action 200, an action of a hand H arranged in an interior of the motor vehicle 2 and outside the interaction zone 6, for example of an occupant of the motor vehicle 2, in particular a driver of the motor vehicle 2, is detected by the detection device 5 of the information system 1. As an action, the detection device 5 detects, for example, a position or a movement of the hand H. The position of the hand H can include, for example, a position of the hand H in space, an orientation of the hand H in space and a shape of the hand H.
In einer dritten Verfahrensaktion 300 vergleicht die Steuerungsvorrichtung 7 die erfasste Aktion der Hand H mit einer vordefinierten Aktion der Hand H. In einer vierten Verfahrensaktion 400 steuert die Steuerungsvorrichtung 7 die Bilderzeugungsvorrichtung 3 zur Erzeugung eines 3D- Objekts 4, wenn die erfasste Aktion der Hand H der vordefinierten Aktion der Hand H entspricht oder zumindest innerhalb der vorgegebenen Toleranz liegt. In a third method action 300, the control device 7 compares the detected action of the hand H with a predefined action of the hand H. In a fourth method action 400, the control device 7 controls the image generation device 3 to generate a 3D object 4 if the detected action of the hand H corresponds to the predefined action of the hand H or is at least within the predetermined tolerance.
Bezugszeichenliste List of reference symbols
1 Informationssystem 1 Information system
2 Kraftfahrzeug 2 Motor vehicle
3 Bilderzeugungsvorrichtung 3 Image forming device
4 3D-Objekt 4 3D object
5 Erfassungsvorrichtung 5 Detection device
6 Interaktionszone 6 Interaction zone
7 Steuerungsvorrichtung 7 Control device
100 erste Verfahrensaktion 100 first procedural action
200 zweite Verfahrensaktion 200 second procedural action
300 dritte Verfahrensaktion 300 third procedural action
400 vierte Verfahrensaktion 400 fourth procedural action
A Aktionsraum A space of action
H Hand H Hand

Claims

Patentansprüche Informationssystem (1) für ein Kraftfahrzeug (2), aufweisend eine Bilderzeugungsvorrichtung (3) zur Erzeugung holografischer 3D-Objekte (4), eine Erfassungsvorrichtung (5) zum Erfassen einer in einer Interaktionszone (6) durchgeführten Aktion einer Hand (H) eines Insassen des Kraftfahrzeugs (2) und eine Steuerungsvorrichtung (7) zum Steuern der Bilderzeugungsvorrichtung (3), dadurch gekennzeichnet, dass die Erfassungsvorrichtung (5) zum Erfassen einer außerhalb der Interaktionszone (6) durchgeführten Aktion der Hand (H) ausgebildet ist, wobei die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) in Abhängigkeit der außerhalb der Interaktionszone (6) erfassten Aktion der Hand (H) zu steuern, wobei die Steuerungsvorrichtung (7) zur unterschiedlichen Verarbeitung von außerhalb der Interaktionszone (6) durchgeführten Aktionen der Hand (H) und innerhalb der Interaktionszone (6) durchgeführten Aktionen der Hand (H) ausgebildet ist. Informationssystem (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) zur Erzeugung eines 3D-Objekts (4) zu veranlassen, wenn die Hand (H) einen vordefinierten Mindestabstand zur Interaktionszone (6) unterschreitet. Informationssystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) derart zu steuern, dass eine Helligkeit und/oder Intensität und/oder Größe des von der Bilderzeugungsvorrichtung (3) erzeugten 3D-Objekts (4) mit abnehmendem Abstand der Hand (H) zur Interaktionszone (6) zunimmt. Informationssystem (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) zur optischen Kennzeichnung einer oder mehrerer Interaktionszonen (6) zu steuern, wenn die Hand (H) einen vordefinierten Mindestabstand zu einer Interaktionszone (6) aufweist. Informationssystem (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) als Reaktion auf eine außerhalb der Interaktionszone (6) getätigte vordefinierte Geste der Hand (H) zur optischen Kennzeichnung einer oder mehrerer Interaktionszonen (6) und/oder zur Erzeugung eines 3D-Objekts (4) zu veranlassen. Informationssystem (1) nach Anspruch 5, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Bilderzeugungsvorrichtung (3) zur optischen Kennzeichnung der Interaktionszone (6) zu veranlassen, wenn eine vordefinierte Geste der Hand (H) in Richtung der Interaktionszone (6) weist. Informationssystem (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (7) ausgebildet ist, die Interaktionszone (6) als Reaktion auf eine außerhalb der Interaktionszone (6) getätigte vordefinierte Geste der Hand (H) zu verlagern. Informationssystem (1) nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Erfassungsvorrichtung (5) ausgebildet ist, einen Aktionsraum (A) des Insassen des Kraftfahrzeugs (2) für Handgesten zu erfassen, wobei die Steuerungsvorrichtung (7) ausgebildet ist, die Interaktionszone (6) innerhalb des erfassten Aktionsraums (A) anzuordnen. Kraftfahrzeug (2), dadurch gekennzeichnet, dass das Kraftfahrzeug (2) ein Informationssystem (1) nach einem der vorangegangenen Ansprüche aufweist. Verfahren zum Betreiben eines Informationssystems (1) für ein Kraftfahrzeug (2), aufweisend: Information system (1) for a motor vehicle (2), comprising an image generation device (3) for generating holographic 3D objects (4), a detection device (5) for detecting an action of a hand (H) of an occupant of the motor vehicle (2) carried out in an interaction zone (6), and a control device (7) for controlling the image generation device (3), characterized in that the detection device (5) is designed to detect an action of the hand (H) carried out outside the interaction zone (6), wherein the control device (7) is designed to control the image generation device (3) depending on the action of the hand (H) detected outside the interaction zone (6), wherein the control device (7) is designed to differently process actions of the hand (H) carried out outside the interaction zone (6) and actions of the hand (H) carried out within the interaction zone (6). Information system (1) according to claim 1, characterized in that the control device (7) is designed to cause the image generation device (3) to generate a 3D object (4) when the hand (H) falls below a predefined minimum distance from the interaction zone (6). Information system (1) according to claim 1 or 2, characterized in that the control device (7) is designed to control the image generation device (3) in such a way that a brightness and/or intensity and/or size of the 3D object (4) generated by the image generation device (3) increases as the distance of the hand (H) from the interaction zone (6) decreases. Information system (1) according to one of the preceding claims, characterized in that the control device (7) is designed to control the image generation device (3) to optically mark one or more interaction zones (6) when the hand (H) has a predefined minimum distance from an interaction zone (6). Information system (1) according to one of the preceding claims, characterized in that the control device (7) is designed to cause the image generation device (3) to optically mark one or more interaction zones (6) and/or to generate a 3D object (4) in response to a predefined gesture of the hand (H) made outside the interaction zone (6). Information system (1) according to claim 5, characterized in that the control device (7) is designed to cause the image generation device (3) to optically mark the interaction zone (6) when a predefined gesture of the hand (H) points in the direction of the interaction zone (6). Information system (1) according to one of the preceding claims, characterized in that the control device (7) is designed to relocate the interaction zone (6) in response to a predefined gesture of the hand (H) made outside the interaction zone (6). Information system (1) according to one of the preceding claims, characterized in that the detection device (5) is designed to detect an action area (A) of the occupant of the motor vehicle (2) for hand gestures, wherein the control device (7) is designed to arrange the interaction zone (6) within the detected action area (A). Motor vehicle (2), characterized in that the motor vehicle (2) has an information system (1) according to one of the preceding claims. Method for operating an information system (1) for a motor vehicle (2), comprising:
Bereitstellen eines Informationssystems (1) nach einem der Ansprüche 1 - 8, Erfassen der Lage und/oder Bewegung der Hand (H) außerhalb der Interaktionszone (6) durch die Erfassungsvorrichtung (5), Vergleichen der erfassten Lage und/oder Bewegung der Hand (H) mit einer vordefinierten Lage und/oder Bewegung der Hand (H) durch die Steuerungsvorrichtung (7), und Providing an information system (1) according to one of claims 1 - 8, detecting the position and/or movement of the hand (H) outside the interaction zone (6) by the detection device (5), Comparing the detected position and/or movement of the hand (H) with a predefined position and/or movement of the hand (H) by the control device (7), and
Steuern der Bilderzeugungsvorrichtung (3) zur Erzeugung eines 3D-Objekts (4) durch die Steuerungsvorrichtung (7), wenn die erfassten Lage und/oder Bewegung der Hand (H) der vordefinierten Lage und/oder Bewegung der Hand (H) entspricht oder innerhalb einer vorgegebenen Toleranz liegt. Controlling the image generation device (3) to generate a 3D object (4) by the control device (7) if the detected position and/or movement of the hand (H) corresponds to the predefined position and/or movement of the hand (H) or is within a predetermined tolerance.
PCT/EP2023/076062 2022-10-05 2023-09-21 Targeted 3d image generation in a motor vehicle WO2024074315A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022210527.3 2022-10-05
DE102022210527.3A DE102022210527A1 (en) 2022-10-05 2022-10-05 Targeted 3D image generation in a motor vehicle

Publications (1)

Publication Number Publication Date
WO2024074315A1 true WO2024074315A1 (en) 2024-04-11

Family

ID=88188869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/076062 WO2024074315A1 (en) 2022-10-05 2023-09-21 Targeted 3d image generation in a motor vehicle

Country Status (2)

Country Link
DE (1) DE102022210527A1 (en)
WO (1) WO2024074315A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041327A1 (en) * 2000-07-24 2002-04-11 Evan Hildreth Video-based image control system
KR20150072206A (en) 2013-12-19 2015-06-29 현대자동차주식회사 System and control method for gestures recognition using holographic
US9310891B2 (en) * 2012-09-04 2016-04-12 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US20190004614A1 (en) * 2015-12-22 2019-01-03 Clarion Co., Ltd. In-Vehicle Device
US20200182647A1 (en) * 2017-09-19 2020-06-11 Bayerische Motoren Werke Aktiengesellschaft Method for Displaying Points of Interest on a Digital Map
US20210023946A1 (en) 2019-07-24 2021-01-28 Harman International Industries, Incorporated Systems and methods for user interfaces in a vehicular environment
US20210278909A1 (en) * 2018-06-13 2021-09-09 Audi Ag Method for operating a display and operating device, display and operating device, and motor vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013014877A1 (en) 2013-09-06 2015-03-12 Audi Ag Motor vehicle operating device with self-explanatory gesture recognition
DE102014015087A1 (en) 2014-10-11 2016-04-14 Daimler Ag Operating a control system for a motor vehicle and control system for a motor vehicle
DE102017211378A1 (en) 2017-07-04 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft User interface for a means of transport and means of transport containing a user interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041327A1 (en) * 2000-07-24 2002-04-11 Evan Hildreth Video-based image control system
US9310891B2 (en) * 2012-09-04 2016-04-12 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR20150072206A (en) 2013-12-19 2015-06-29 현대자동차주식회사 System and control method for gestures recognition using holographic
US20190004614A1 (en) * 2015-12-22 2019-01-03 Clarion Co., Ltd. In-Vehicle Device
US20200182647A1 (en) * 2017-09-19 2020-06-11 Bayerische Motoren Werke Aktiengesellschaft Method for Displaying Points of Interest on a Digital Map
US20210278909A1 (en) * 2018-06-13 2021-09-09 Audi Ag Method for operating a display and operating device, display and operating device, and motor vehicle
US20210023946A1 (en) 2019-07-24 2021-01-28 Harman International Industries, Incorporated Systems and methods for user interfaces in a vehicular environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VERMEULEN JO ET AL: "Proxemic Flow: Dynamic Peripheral Floor Visualizations for Revealing and Mediating Large Surface Interactions", 30 August 2015, ADVANCES IN DATABASES AND INFORMATION SYSTEMS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CHAM, PAGE(S) 264 - 281, ISBN: 978-3-319-10403-4, XP047519249 *

Also Published As

Publication number Publication date
DE102022210527A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
EP3067244B1 (en) Motor vehicle with automatic situation adaptive drive mode
EP3507681B1 (en) Method for interacting with image contents displayed on a display device in a vehicle
EP2653335B1 (en) Method and apparatus for displaying a hand of an operator of an operating element of a vehicle
WO2007107368A1 (en) Interactive operating device and method for operating the interactive operating device
WO2018224320A1 (en) Method for operating a display arrangement of a motor vehicle, operator control device and motor vehicle
EP3642695B1 (en) Method for operating a display device, and a motor vehicle
DE102007011543A1 (en) Method for operating equipment of a vehicle and operating device for such devices
EP3116737A1 (en) Method and apparatus for providing a graphical user interface in a vehicle
WO2018050343A1 (en) Method for interacting with display and/or operating devices in a vehicle
WO2014106570A1 (en) Operating method and operating system in a vehicle
DE102015012720B4 (en) Interactive operating system and method for performing an operating action in an interactive operating system
DE102005056458B4 (en) Operating device for a vehicle
DE102011116175B4 (en) Method and device for providing a user interface, in particular in a vehicle
DE102007048599B4 (en) Method for operating a display device of a vehicle and operating device for such a display device
DE102016224235A1 (en) Method and device for adapting the representation of image and / or operating elements on a graphical user interface
WO2024074315A1 (en) Targeted 3d image generation in a motor vehicle
DE102012220653A1 (en) Operating apparatus for operating user interface of vehicle, outputs measurement signal of sensor such that information contained in transformed signal is independent of angle for detecting characteristics related to vehicle occupant
DE102016218003A1 (en) Method and device for optimizing the display on a display or multiple displays and / or the interaction with a display or multiple displays in a vehicle
DE102014013268A1 (en) Method for operating at least one operating unit in a vehicle and operating device for at least one operating unit of a vehicle
EP2059408B1 (en) Method for displaying information in a motor vehicle and information system
DE102012218155A1 (en) Method for preparation of input for rider of e.g. passenger car on touch-sensitive display, involves displaying a section of graphical interface on display unit, in response to detecting that driver needs to perform the input process
DE102020201520B4 (en) Device and method for the haptic interaction of a vehicle occupant with a vehicle
DE102012022803A1 (en) Operating method for use in road vehicle, involves changing graphics data at one input, so that contents of display of current display on one display area is partially identically or schematically superimposed on another display area
DE102022209275B4 (en) Moving an optical representation between optical output devices using eye tracking
DE102020201519B4 (en) Method and apparatus for operating a visual interface between a vehicle and a vehicle occupant

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23776334

Country of ref document: EP

Kind code of ref document: A1