WO2016051071A1 - Système et procédé de commande d'un équipement d'un véhicule automobile - Google Patents

Système et procédé de commande d'un équipement d'un véhicule automobile Download PDF

Info

Publication number
WO2016051071A1
WO2016051071A1 PCT/FR2015/052592 FR2015052592W WO2016051071A1 WO 2016051071 A1 WO2016051071 A1 WO 2016051071A1 FR 2015052592 W FR2015052592 W FR 2015052592W WO 2016051071 A1 WO2016051071 A1 WO 2016051071A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
display
driver
control
vehicle
Prior art date
Application number
PCT/FR2015/052592
Other languages
English (en)
Inventor
Michael Irzyk
Frédéric AUTRAN
Original Assignee
Valeo Comfort And Driving Assistance
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort And Driving Assistance filed Critical Valeo Comfort And Driving Assistance
Priority to EP15781127.4A priority Critical patent/EP3201728A1/fr
Priority to US15/514,992 priority patent/US20170228035A1/en
Priority to JP2017517065A priority patent/JP2018501998A/ja
Priority to CN201580053340.3A priority patent/CN107250948A/zh
Publication of WO2016051071A1 publication Critical patent/WO2016051071A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the invention relates to a control system of at least one equipment of a motor vehicle.
  • a conventional motor vehicle is equipped with a multitude of equipment and features to improve the comfort or safety of the driver, such as a heating / air conditioning system, a car radio, a hands-free device for telephone, a geo-location system and road navigation, etc.
  • the multiplication of the number of these devices involves a multiplication of the number of orders in the vehicle to adjust or configure these multiple features and equipment, the commands are generally presented in the form of push button, wheel, etc.
  • the devices of gesture recognition are not, in the current state of the art, able to recognize for sure the gestures made, on the one hand because of the technologies of recognition employed, on the other hand because of the imprecision actions taken by the driver. This results in operation that does not meet the requirements of safety and comfort of the driver.
  • the invention aims to overcome at least some of the disadvantages of known motor vehicle control systems.
  • the invention also aims to provide a control system including a gesture recognition device that informs the driver of the proper functioning or not of the recognition of a gesture made by the driver.
  • the invention also aims to provide a control system that allows the driver to adjust equipment and features of the vehicle without the driver looking away from the road.
  • the invention relates to a system for controlling at least one piece of equipment of a motor vehicle, the vehicle comprising a head-up type display, said system comprising a gesture recognition device capable of providing data representative of a gesture made by a driver of the vehicle, and a control module adapted to process said data, characterized in that the control module is configured to be able to control the display of at least one visual feedback on the display at the reception said data representative of the gesture made by the driver.
  • gesture we mean at the same time a sign in the sense of a particular static position, and a gesture in the sense of a displacement in space.
  • visual feedback is meant information intended to display on the display for the driver and allowing the driver to be informed of the proper consideration of the gesture made.
  • the invention thus allows the driver to benefit from a visual feedback on the recognition or not the gesture made, so as not to think wrongly that his gesture was not taken into account by the system while he has been taken into account, or to think wrongly that his gesture was taken into account by the system when it was not taken into account.
  • the invention then makes it possible to compensate for the inaccuracies of a system of the prior art, either from the detection of the gesture or from the very execution of the gesture by the driver.
  • the gesture recognition device is capable of providing data representative of a gesture made by a hand of the driver of the vehicle.
  • the gestural recognition is performed at the level of a driver's hand, which is one of the organs of the driver the simplest to recognize in the context of gestural recognition.
  • the hand can easily perform a multitude of signs (closed hand, open hand, different combinations of bent / open fingers, etc.) and gestures (in three dimensions of space) varied.
  • the use of the hand by the driver allows to perform the gestures without leaving the road eyes.
  • control module is configured to be able to control the display of a visual return, said first visual feedback, on the display on receipt of data representative of a detection of the presence of the driver's hand by the gesture recognition device.
  • this first visual feedback allows the driver, even before making a gesture, to know if the presence of his hand is detected to be sure that a potential gesture made later can be taken into account. account. Indeed, if the driver makes a gesture while his hand is not detected, he can not know if it is the hand or the gesture that has not been detected. This first visual feedback solves this problem.
  • control module is configured to be able to control the display on the display of a help image informing the driver on different types of gestures that the gesture recognition device is able to recognize.
  • the driver can benefit from a help image reminding him of all or part of the gestures he can perform and which will be recognized by the gesture recognition device.
  • This help image only appears when the driver's hand is detected, so as not to disturb the driver the rest of the time by displaying the gestures available on the display, which could encumber this one.
  • control module is configured to be able to control the display of a visual feedback, said second visual feedback, on the display on receipt of data representative of a recognition of a type of gesture. performed by the driver among a plurality of types of gesture that the gesture recognition device is able to recognize.
  • the control module provides information on the detection of a gesture made by the driver through the second visual feedback.
  • This gesture only makes sense if it is part of a gesture recognized by the device of gestural recognition, and therefore if it is one of the types of gesture that it is able to recognize.
  • the display module therefore confirms the driver's good recognition of the gesture he has made.
  • the control module is configured to be able to control the display of the first visual feedback and the second visual feedback.
  • the driver can make a gesture knowing:
  • This combination greatly enhances the efficiency of the actions by the driver, so that it does not lose its concentration on the road and its path by performing unnecessary gestures in case of mis-detection or detection but without visual return of confirmation that would make him repeat unnecessarily a gesture already recognized.
  • control module is configured to control at least one equipment of the vehicle, said equipment being associated with a type of gesture made by the driver among a plurality of types of gesture that the gesture recognition device is able to recognize.
  • control module receives the data from the recognition device, and allows both the display of visual returns on the display and the sending of commands to the vehicle equipment to perform the actions associated with detected gestures.
  • control module comprises a database comprising the types of gestures that the gesture recognition device is able to recognize.
  • the gesture recognition device comprises a contactless detector configured to detect the gesture made by the driver.
  • the non-contact detector is one or a combination of the following detectors:
  • control module is configured to control at least one of the following equipment:
  • geo-location system and road navigation, such as GPS system.
  • the invention also relates to a method of controlling at least one equipment of a motor vehicle, characterized in that, the vehicle comprising a head-up type display, said method comprises successively a recognition step a gesture made by the driver of the vehicle, a step of transmitting data representative of said gesture, a step of processing said data and a step of controlling the display on the display of at least one representative visual feedback of the data processed at the processing stage.
  • the method according to the invention is implemented by the system according to the invention.
  • system according to the invention implements the method according to the invention.
  • FIG. 1 is a schematic representation of a vehicle interior equipped with the control system according to one embodiment of the invention
  • FIG. 2 is a schematic representation of a control system according to one embodiment of the invention.
  • FIG. 3 is a schematic representation of the control method according to one embodiment of the invention.
  • FIG 1 shows schematically an interior of a vehicle 10 equipped with a system according to the invention.
  • the driver of the vehicle is represented by its head 12 directed towards a front windshield 14 of the vehicle, on which an image 16 is displayed by a head-up display.
  • the image 16 is here displayed directly on the windshield 14, but it can for example be displayed on a semi-transparent screen placed between the driver 12 of the vehicle and the windshield 14.
  • the driver 12 can use his hand 18 to perform different gestures and / or signs (called "gestures"). Each gesture is associated with equipment and / or control to be transmitted to this equipment, for example turning the air conditioning / heating on or off, raising or lowering the temperature, answering a telephone call, etc.
  • the use of the hand 18 of the driver 12 rather than another part of the body (head, eye tracking, etc.) allows the driver 12 to perform the gestures without leaving the road eyes.
  • the gestures are recognized by a gesture recognition device, installed in the vehicle 10.
  • This gesture recognition device comprises a non-contact detector 20 for example a camera (video or flight time), an ultrasonic or infrared detector, a capacitive detector, etc. (or a combination of these latter examples) placed for example as shown in Figure 1 at the top and middle of the windshield. Is also shown in Figure 1 the field of view 22 of the camera 20, in which is placed the hand 18 of the driver 12 in the context of the use of the system according to this embodiment of the invention.
  • the recognition of the gestures of the driver 12 by the gesture recognition device causes the transmission of data to a control module which can in turn control the display of a visual feedback 23 on the display.
  • FIG. 2 diagrammatically represents a control system 24 according to one embodiment of the invention, which comprises the gesture recognition device, identified 26, and the control module, identified 28.
  • the gesture recognition device 26, which comprises the detector 20 of Figure 1 transmits data representative of the gesture made by the driver 12 of the vehicle to the control module 28.
  • the control module 28 can then control the display of visual returns 30 or 32 on a display 34, and can also to order one or more equipment 36 of the vehicle.
  • the gesture recognition device 26 and the control module 28 may be two separate components or be part of the same component, of the computer type for example, the control module 28 being by example a module implemented in a software way in the computer.
  • the gesture recognition device 26 allows the recognition of the hand 18 of the conductor 12 detected by the detector 20 and the recognition of any gesture made by the latter.
  • the representative data transmitted by the recognition device 26 contain information enabling the control module 28 to control the display of the visual returns 30, 32 on the display 34 and to control the equipment 36.
  • the data sent by the recognition device 26 are close to raw data, such as depth data from a flight time camera, that the control module 28 interprets to carry out its commands, or the recognition device 26 sends richer data that it has itself partially interpreted, for example the type of gesture recognized, the time during which the gesture was made, etc.
  • the control module 28 translates these gestures recognized commands, both for controlling the display of one or more visual returns 30, 32 on the display 34 that for the control of equipment 36.
  • the control module 28 advantageously comprises a database 38 comprising the different types of gestures that the gesture recognition device 26 is able to recognize.
  • Each gesture is associated with a function or a device 36, preprogrammed by the vehicle manufacturer or registered by a user of the vehicle during a configuration of the system.
  • the control module 28 then transmits the commands.
  • the visual feedback control for the display is transmitted by the link 40 (which can be both wired and wireless).
  • the display 34 Upon receipt of this command, the display 34 then displays the visual or returns 30, 32.
  • these visual returns 30, 32 can be:
  • this first visual return 30 is discrete so as not to clutter the image 16 displayed by the display 34, for example a diffuse halo or a a light contour surrounding the entire image 16 displayed on the display 34, which allows a visual feedback that is not superimposed on another information of the image 16 of the display 34.
  • visual feedback 30 is represented by a dotted rounded rectangle which runs along the contour of the display as could the diffuse halo or the light contour.
  • a second visual feedback 32 serves to indicate to the driver 12 the proper consideration of a gesture that is part of gestures that the gesture recognition device 26 can recognize.
  • a pictogram representative of the equipment 36 associated with this gesture is displayed as a second visual return 32.
  • the second visual return 32 is represented by a pictogram of a sun that can correspond to the equipment. of the vehicle in charge of heating, and which allows the driver 12 to verify that the detected command is the one he wanted by performing the gesture.
  • the first visual feedback 30 can be accompanied by the display of the gestures available with the help of a picture of assistance provided with pictograms representing a hand performing a gesture, and possibly the pictogram representative of the equipment associated with this gesture.
  • This help image can be displayed as soon as the hand is detected, or after a delay, preferably between 3 and 4 seconds.
  • the other command transmitted by the control module 28 is the control intended for one or more equipment 36 associated with the type of gesture performed by the driver.
  • equipment 36 that can be controlled by the control module 28 of the system 24 are for example an air conditioning / heater 42, a car radio 43, a hands-free device 44 for a telephone, a system 45 for geolocation and road navigation, etc. .
  • a gesture can control several devices 36 simultaneously, for example a command activating air conditioning / heating 42 can also control the closing of windows of the vehicle.
  • the controls of this equipment 36 can be carried out in two phases: the driver can perform a sign, in the sense of a particular static position, and / or a gesture in the direction of a displacement in space.
  • the sign may be associated with the equipment 36 that it is desired to control, and the gesture performed after recognition of this sign may perform a particular function associated with this equipment.
  • an open hand that is, with the five fingers open
  • an upward movement gesture indicates that the driver 12 wishes to increase the temperature while a gesture down indicates that the driver 12 wishes to lower the temperature.
  • air conditioning / heating 42 sign: open hand; functions: start, extinguish, increase / decrease temperature, air recirculation, etc.
  • car radio 43 sign: closed fist; functions: silence, up / down volume, change of radio station, etc.
  • hands-free device 44 for telephone sign: thumb and open indexes; functions: silence, pick up phone, hang up phone, etc.
  • the gestures associated with the functions must be simple to avoid any distraction of the driver 12. For example, a movement from right to left can pick up the phone while a movement from left to right can hang up the phone.
  • a help image on the display 34 can also serve to inform the driver 12 of the gestures associated with the functions of the driver. the equipment chosen.
  • FIG. 3 diagrammatically represents a method according to one embodiment of the invention, in the form of a flowchart comprising steps related to the actions of the conductor 12.
  • the first step is an initial resting state 46, where the method associated with the system is not started, no action is performed by the system.
  • This first step is linked to a hand detection step 48, in the form of a decision block comprising the test: is the hand 18 of the conductor 12 detected? ". If the answer is no (represented by the letter N), the process loops on the initial state 46, and if the answer is yes (represented by the letter O), the method enters a step 50 of controlling the first visual feedback.
  • the test is linked to the detection of the hand 18 by the gesture recognition device 26, and not to the real presence of the hand 18: if the driver 12 places his hand 18 in front of the recognition device 26 but that this is not detected, the process loops on the initial state 46 until effective detection.
  • the step 50 of controlling the first visual feedback then makes it possible to indicate to the driver that his hand has been detected.
  • This control step comprises a step 51 of transmission to the control module 28 representative data provided by the gesture recognition device 26, a step 52 of processing said data by the control module 28 and a step 53 of the control of the display on the display 34 of the first visual feedback 30, corresponding to the detection of the presence of the hand 18 of the driver 12.
  • This step 50 of controlling the first visual feedback is followed by a step 54 waiting for the gesture made by the driver 12. It is connected to a step 56 of recognition of said gesture made by the driver 12 among a plurality of types of gesture that the gesture recognition device 26 is able to recognize, in the form of a decision block comprising the test: "is a known hand gesture detected? ". If the answer is no, the method enters a step 58 of checking the presence of the hand 18. If the answer is yes, the method performs two simultaneous control steps: a step 60 of controlling the second visual return 32 and a step 62 of control of equipment 36.
  • the hand detection step 48 and the gesture recognition step 56 performed by the driver 12 among a plurality of gesture types that the gesture recognition device 26 is able to recognize are two forms of recognition.
  • the step 58 for checking the presence of the hand 18 makes it possible to check whether the hand 18 of the conductor 12 is still detected by the recognition device 26. If this is the case, the method loops on the step 54 of FIG. wait, otherwise it returns to the initial state 46.
  • the two control steps are performed simultaneously in this embodiment: the step 60 of controlling the second visual feedback 32 is similar to the step 50 of controlling the first visual feedback: it comprises a step 51 'of transmission to the module of control 28 of the representative data provided by the gesture recognition device 26, a step 52 'of processing said data by the control module 28 and a step 53' of controlling the display on the display of the corresponding second visual feedback 32, at the detection of a gesture made by the driver 12.
  • the control step 58 of the equipment 36 corresponds to the sending of command by the control module 28 towards the equipment or 36 associated with the gesture detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Image Analysis (AREA)
  • Thermal Sciences (AREA)

Abstract

Le système est caractérisé en ce que, le véhicule comprenant un afficheur (34) de type tête haute, ledit système comprend un dispositif de reconnaissance gestuelle (26) apte à fournir des données représentatives d'un geste effectué par un conducteur du véhicule, et un module de commande (28) apte à traiter lesdites données, le module de commande (28) étant configuré pour pouvoir commander l'affichage d'au moins un retour visuel (30, 32) sur l'afficheur (34) à la réception desdites données représentatives du geste effectué par le conducteur.

Description

SYSTÈME ET PROCÉDÉ DE COMMANDE D'UN ÉQUIPEMENT D'UN VÉHICULE
AUTOMOBILE
1. Domaine technique de l'invention
L'invention concerne un système de commande d'au moins un équipement d'un véhicule automobile.
Un véhicule automobile classique est équipé d'une multitude d'équipements et de fonctionnalités permettant l'amélioration du confort ou de la sécurité du conducteur, comme par exemple un système de chauffage/climatisation, un autoradio, un dispositif main libre pour téléphone, un système de géo-localisation et navigation routière, etc. La multiplication du nombre de ces équipements implique une multiplication du nombre de commandes dans le véhicule destinées à régler ou configurer ces multiples fonctionnalités et équipements, les commandes étant généralement présentées sous la forme de bouton poussoir, molette, etc.
Le nombre élevé de commandes présentes à proximité du volant, du tableau de bord, ou dans la partie centrale de l'habitacle peut entraîner des problèmes de sécurité puisque le conducteur est amené à détourner son regard de la route pour chercher la commande relative à la fonctionnalité ou l'équipement que le conducteur veut régler, puis pour effectuer le réglage de la commande selon son souhait de réglage.
Les dispositifs de reconnaissance gestuelle ne sont pas, en l'état actuel de la technique, capable de reconnaître à coup sûr les gestes effectués, d'une part à cause des technologies de reconnaissance employées, d'autre part à cause de l'imprécision des gestes effectués par le conducteur. Il en résulte un fonctionnement qui ne satisfait pas aux exigences de sécurité et de confort du conducteur.
2. Objectifs de l'invention
L'invention vise à pallier au moins certains des inconvénients des systèmes de commande de véhicule automobile connus.
En particulier, l'invention vise aussi à fournir un système de commande comprenant un dispositif de reconnaissance gestuelle qui permet d'informer le conducteur du bon fonctionnement ou non de la reconnaissance d'un geste effectué par le conducteur.
L'invention vise aussi à fournir un système de commande qui permet au conducteur de régler des équipements et fonctionnalités du véhicule sans que le conducteur détourne son regard de la route.
3. Exposé de l'invention
Pour ce faire, l'invention concerne un système de commande d'au moins un équipement d'un véhicule automobile, le véhicule comprenant un afficheur de type tête haute, ledit système comprenant un dispositif de reconnaissance gestuelle apte à fournir des données représentatives d'un geste effectué par un conducteur du véhicule, et un module de commande apte à traiter lesdites données, caractérisé en ce que le module de commande est configuré pour pouvoir commander l'affichage d'au moins un retour visuel sur l'afficheur à la réception desdites données représentatives du geste effectué par le conducteur.
On entend par geste à la fois un signe dans le sens d'une position statique particulière, et un geste dans le sens d'un déplacement dans l'espace.
On entend par retour visuel, une information destinée à s'afficher sur l'afficheur à destination du conducteur et permettant à ce dernier d'être informé de la bonne prise en compte du geste effectué.
L'invention permet ainsi de permettre au conducteur de bénéficier d'un retour visuel sur la reconnaissance ou non du geste effectué, afin de ne pas penser à tort que son geste n'a pas été pris en compte par le système alors qu'il a bien été pris en compte, ou bien que de penser à tort que son geste a été pris en compte par le système alors que celui-ci n'a pas été pris en compte. L'invention permet alors de compenser les imprécisions d'un système de l'art antérieur, soit provenant de la détection du geste, soit de l'exécution même du geste par le conducteur.
De plus, ce retour visuel s'effectuant sur l'afficheur tête haute, le conducteur peut commander les équipements sans détourner son regard de la route. Avantageusement et selon l'invention, le dispositif de reconnaissance gestuelle est apte à fournir des données représentatives d'un geste effectué par une main du conducteur du véhicule.
Selon cet aspect de l'invention, la reconnaissance gestuelle s'effectue au niveau d'une main du conducteur, qui est un des organes du conducteur le plus simple à reconnaître dans le cadre d'une reconnaissance gestuelle. De plus, la main permet d'effectuer aisément une multitude de signes (main fermée, main ouverte, différentes combinaisons de doigts pliés/ouverts, etc.) et de gestes (dans les trois dimensions de l'espace) variés. Enfin, l'utilisation de la main par le conducteur permet d'effectuer les gestes sans quitter la route des yeux.
Avantageusement et selon ce dernier aspect de l'invention, le module de commande est configuré pour pouvoir commander l'affichage d'un retour visuel, dit premier retour visuel, sur l'afficheur à la réception de données représentatives d'une détection de la présence de la main du conducteur par le dispositif de reconnaissance gestuelle.
Selon cet aspect de l'invention, ce premier retour visuel permet au conducteur, avant même d'effectuer un geste, de savoir si la présence de sa main est détectée pour être sûr qu'un potentiel geste effectué par la suite pourra être pris en compte. En effet, si le conducteur effectue un geste alors que sa main n'est pas détectée, il ne peut pas savoir si c'est la main ou le geste qui n'a pas été détecté. Ce premier retour visuel permet de résoudre cette problématique.
Avantageusement et selon l'invention, le module de commande est configuré pour pouvoir commander l'affichage sur l'afficheur d'une image d'aide renseignant le conducteur sur différents types de gestes que le dispositif de reconnaissance gestuelle est apte à reconnaître.
Selon cet aspect de l'invention, le conducteur peut bénéficier d'une image d'aide lui rappelant tout ou partie des gestes qu'il peut effectuer et qui seront reconnu par le dispositif de reconnaissance gestuelle. Cette image d'aide n'apparait que lorsque la main du conducteur est détectée, afin de ne pas gêner le conducteur le reste du temps en affichant les gestes disponibles sur l'afficheur, ce qui pourrait encombrer celui-ci.
Avantageusement et selon l'invention, le module de commande est configuré pour pouvoir commander l'affichage d'un retour visuel, dit deuxième retour visuel, sur l'afficheur à la réception de données représentatives d'une reconnaissance d'un type de geste effectué par le conducteur parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle est apte à reconnaître.
Selon cet aspect de l'invention, le module de commande renseigne sur la détection d'un geste effectué par le conducteur grâce au deuxième retour visuel. Ce geste n'a de sens que s'il fait partie d'un geste reconnu par le dispositif de reconnaissance gestuelle, et donc s'il fait partie des types de geste que celui-ci est apte à reconnaître. Le module d'affichage confirme donc au conducteur la bonne reconnaissance du geste qu'il a effectué. Avantageusement et selon l'invention, le module de commande est configuré pour pouvoir commander l'affichage du premier retour visuel et du deuxième retour visuel.
Selon cet aspect de l'invention, le conducteur peut effectuer un geste en sachant :
- si sa main a bien été détectée, ce qui lui évite de faire un geste qui ne sera de toute façon pas détecté si sa main n'est pas détectée,
si le geste a bien été détecté, ce qui lui évite de reproduire plusieurs fois son geste sans savoir si celui-ci a été détecté ou non.
Cette combinaison permet de grandement renforcer l'efficacité des gestes par le conducteur, afin que celui-ci ne perde pas sa concentration sur la route et son trajet en effectuant des gestes inutiles en cas de mauvaise détection, ou de détection mais sans retour visuel de confirmation qui lui ferait répéter inutilement un geste déjà reconnu.
Avantageusement et selon l'invention, le module de commande est configuré pour commander au moins un équipement du véhicule, ledit équipement étant associé à un type de geste effectué par le conducteur parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle est apte à reconnaître.
Selon cet aspect de l'invention, le module de commande reçoit les données provenant du dispositif de reconnaissance, et permet à la fois l'affichage des retours visuels sur l'afficheur et l'envoi des commandes vers les équipements du véhicule pour effectuer les actions associés aux gestes détectés.
Avantageusement et selon l'invention, le module de commande comprend une base de donnée comprenant les types de gestes que le dispositif de reconnaissance gestuelle est apte à reconnaître.
Avantageusement et selon l'invention, le dispositif de reconnaissance gestuelle comprend un détecteur sans contact configuré pour détecter le geste effectué par le conducteur.
Avantageusement et selon ce dernier aspect de l'invention, le détecteur sans contact est un ou une combinaison des détecteurs suivants :
une caméra vidéo,
une caméra de type temps de vol,
un détecteur à ultrason,
un détecteur à infrarouge,
- un détecteur capacitif.
Avantageusement et selon l'invention, le module de commande est configuré pour commander au moins un équipement parmi les équipements suivants :
climatisation/chauffage du véhicule,
- autoradio du véhicule,
dispositif main libre pour téléphone,
système de géo-localisation et navigation routière, tel que système GPS.
L'invention concerne aussi un procédé de commande d'au moins un équipement d'un véhicule automobile, caractérisé en ce que, le véhicule comprenant un afficheur de type tête haute, ledit procédé comprend successivement une étape de reconnaissance d'un geste effectué par le conducteur du véhicule, une étape de transmission de données représentatives dudit geste, une étape de traitement desdites données et une étape de commande de l'affichage sur l'afficheur d'au moins un retour visuel représentatif des données traitées à l'étape de traitement.
Avantageusement, le procédé selon l'invention est mis en œuvre par le système selon l'invention.
Avantageusement, le système selon l'invention met en œuvre le procédé selon l'invention.
4. Description des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
La figure 1 est une représentation schématique d'un intérieur de véhicule équipé du système de commande selon un mode de réalisation de l'invention,
La figure 2 est une représentation schématique d'un système de commande selon un mode de réalisation de l'invention,
La figure 3 est une représentation schématique du procédé de commande selon un mode de réalisation de l'invention.
5. Description détaillée d'un mode de réalisation de l'invention
Il faut noter que les figures exposent l'invention de manière détaillée pour mettre en œuvre l'invention, lesdites figures pouvant bien entendu servir à mieux définir l'invention le cas échéant.
La figure 1 représente schématiquement un intérieur d'un véhicule 10 équipé d'un système selon l'invention. Le conducteur du véhicule est représenté par sa tête 12 dirigée vers un pare-brise 14 avant du véhicule, sur lequel s'affiche une image 16 affichée par un afficheur tête haute. L'image 16 est ici affichée directement sur le pare- brise 14, mais elle peut par exemple être affichée sur un écran semi-transparent placé entre le conducteur 12 du véhicule et le pare-brise 14.
Dans le cadre de l'invention et pour contrôler différents équipements du véhicule, tel que la climatisation/chauffage, l'autoradio ou un dispositif main libre pour téléphone, le conducteur 12 peut utiliser sa main 18 pour effectuer différents gestes et/ou signes (réunis sous le terme « gestes »). Chaque geste est associé à un équipement et/ou à une commande à transmettre à cet équipement, par exemple allumer ou éteindre la climatisation/chauffage, augmenter ou baisser la température, répondre à un appel téléphonique, etc. L'utilisation de la main 18 du conducteur 12 plutôt qu'une autre partie du corps (tête, suivi des yeux, etc.) permet notamment au conducteur 12 d'effectuer les gestes sans quitter la route des yeux.
Les gestes sont reconnus par un dispositif de reconnaissance gestuelle, installé dans le véhicule 10. Ce dispositif de reconnaissance gestuelle comporte un détecteur sans-contact 20 par exemple une caméra (vidéo ou bien temps de vol), un détecteur à ultrason ou à infrarouge, un détecteur capacitif, etc. (ou une combinaison de ces derniers exemples) placé par exemple comme représenté sur la figure 1 en haut et au milieu du pare-brise. Est aussi représenté sur la figure 1 le champ de vision 22 de la caméra 20, dans lequel vient se placer la main 18 du conducteur 12 dans le cadre de l'utilisation du système selon ce mode de réalisation de l'invention.
Selon l'invention, la reconnaissance des gestes du conducteur 12 par le dispositif de reconnaissance gestuelle entraine la transmission de données à un module de commande qui peut à son tour commander l'affichage d'un retour visuel 23 sur l'afficheur.
La figure 2 représente schématiquement un système de commande 24 selon un mode de réalisation de l'invention, qui comprend le dispositif de reconnaissance gestuelle, repéré 26, et le module de commande, repéré 28. Le dispositif de reconnaissance gestuelle 26, qui comprend le détecteur 20 de la figure 1, transmet des données représentatives du geste effectué par le conducteur 12 du véhicule au module de commande 28. Le module de commande 28 peut ensuite commander l'affichage de retours visuels 30 ou 32 sur un afficheur 34, et peut aussi commander un ou des équipements 36 du véhicule.
En pratique, le dispositif de reconnaissance gestuelle 26 et le module de commande 28 peuvent être deux composants séparés ou bien faire partie d'un même composant, du type calculateur par exemple, le module de commande 28 étant par exemple un module implanté de façon logicielle dans le calculateur.
Le dispositif de reconnaissance gestuelle 26 permet la reconnaissance de la main 18 du conducteur 12 détectée par le détecteur 20 ainsi que la reconnaissance de tout geste effectué par celle-ci. Les données représentatives que transmet le dispositif de reconnaissance 26 contiennent des informations permettant au module de commande 28 de commander l'affichage des retours visuels 30, 32 sur l'afficheur 34 et de commander les équipements 36. Selon différents modes de réalisation de l'invention, les données envoyées par le dispositif de reconnaissance 26 sont proches de données brutes, telles que des données de profondeur provenant d'une caméra temps de vol, que le module de commande 28 interprète pour effectuer ses commandes, ou bien le dispositif de reconnaissance 26 envoie des données plus riches qu'il aura lui-même en partie interprétées, par exemple le type de geste reconnu, le temps pendant lequel le geste a été effectué, etc.
Le module de commande 28 traduit ces gestes reconnus en commandes, à la fois pour la commande de l'affichage d'un ou plusieurs retours visuels 30, 32 sur l'afficheur 34 que pour la commande des équipements 36. Pour l'association de chaque geste à une commande, le module de commande 28 comprend avantageusement une base de données 38 comprenant les différents types de gestes que le dispositif de reconnaissance gestuelle 26 est apte à reconnaître. Chaque geste est associé à une fonction ou un équipement 36, préprogrammés par le constructeur du véhicule ou bien enregistrés par un utilisateur du véhicule lors d'une configuration du système.
Le module de commande 28 transmet ensuite les commandes. La commande de retour visuel destinée à l'afficheur est transmise par la liaison 40 (qui peut être aussi bien filaire que sans-fil). À la réception de cette commande, l'afficheur 34 affiche alors le ou les retours visuels 30, 32. Par exemple, ces retours visuels 30, 32 peuvent être :
Un premier retour visuel 30, permettant de signifier au conducteur 12 la bonne détection par le dispositif de reconnaissance gestuelle 26 de la présence de la main 18 du conducteur 12. Cela permet au conducteur 12 de ne pas effectuer de geste tant que sa main 18 n'a pas été détectée par le dispositif de reconnaissance 26. Avantageusement, ce premier retour visuel 30 est discret pour ne pas encombrer l'image 16 affichée par l'afficheur 34, par exemple un halo diffus ou un contour lumineux entourant l'ensemble de l'image 16 affichée sur l'afficheur 34, qui permet un retour visuel qui ne se superpose pas à une autre information de l'image 16 de l'afficheur 34. Sur la figure 2, le premier retour visuel 30 est représenté par un rectangle arrondi pointillé qui longe le contour de l'afficheur tel que pourrait le faire le halo diffus ou le contour lumineux.
Un second retour visuel 32, permet de signifier au conducteur 12 la bonne prise en compte d'un geste effectué qui fait partie des gestes que le dispositif de reconnaissance gestuelle 26 peut reconnaître. Avantageusement, un pictogramme représentatif de l'équipement 36 associé à ce geste est affiché comme second retour visuel 32. Par exemple sur la figure 2, le second retour visuel 32 est représenté par un pictogramme d'un soleil qui peut correspondre à l'équipement du véhicule en charge du chauffage, et qui permet au conducteur 12 de vérifier que la commande détectée est celle qu'il souhaitait en effectuant le geste.
Pour pallier à l'oubli par le conducteur 12 du type de gestes qu'il peut effectuer pour commander les équipements 36, le premier retour visuel 30 peut s'accompagner de l'affichage des gestes disponibles à l'aide d'une image d'aide pourvue de pictogrammes représentant une main effectuant un geste, ainsi qu'éventuellement le pictogramme représentatif de l'équipement associé à ce geste. Cette image d'aide peut s'afficher dès la détection de la main, ou bien après une temporisation, de préférence comprise entre 3 et 4 secondes.
L'autre commande transmise par le module de commande 28 est la commande destinée à un ou plusieurs équipements 36 associés au type de geste effectué par le conducteur. Des exemples d'équipements 36 pouvant être commandés par le module de commande 28 du système 24 sont par exemple une climatisation/chauffage 42, un autoradio 43, un dispositif main libre 44 pour téléphone, un système 45 de géolocalisation et de navigation routière, etc. Un geste peut commander plusieurs équipements 36 simultanément, par exemple une commande activant la climatisation/chauffage 42 peut aussi commander la fermeture des fenêtres du véhicule.
Les commandes de ces équipements 36 peuvent s'effectuer en deux phases : le conducteur peut effectuer un signe, dans le sens d'une position statique particulière, et/ou un geste dans le sens d'un déplacement dans l'espace. Le signe peut être associé à l'équipement 36 que l'on souhaite commander, et le geste effectué après reconnaissance de ce signe peut effectuer une fonction particulière associée à cet équipement. Par exemple, une main ouverte (autrement dit avec les cinq doigts ouverts) peut être un signe associé à la climatisation/chauffage 42, puis un geste de déplacement vers le haut indique que le conducteur 12 souhaite augmenter la température, tandis qu'un geste vers le bas indique que le conducteur 12 souhaite baisser la température.
D'autres exemples de signes, leurs équipements associés et les fonctions disponibles sont :
climatisation/chauffage 42 : signe : main ouverte ; fonctions : mise en marche, extinction, hausse/baisse température, recyclage d'air, etc.
autoradio 43: signe : poing fermé ; fonctions : silence, hausse/baisse volume, changement de station de radio, etc.
- dispositif main libre 44 pour téléphone : signe : pouce et index ouverts ; fonctions : silence, décrocher téléphone, raccrocher téléphone, etc.
De manière générale, les gestes associés aux fonctions doivent être simples pour éviter toute distraction du conducteur 12. Par exemple, un mouvement de la droite vers la gauche permet de décrocher le téléphone tandis qu'un mouvement de la gauche vers la droite permet de raccrocher le téléphone.
De manière analogue à l'image d'aide permettant au conducteur 12 d'être informé sur les gestes associés à chaque équipement, une image d'aide sur l'afficheur 34 peut aussi servir à informer le conducteur 12 des gestes associés aux fonctions de l'équipement choisi.
La figure 3 représente schématiquement un procédé selon un mode de réalisation de l'invention, sous la forme d'un organigramme comprenant des étapes liées aux actions du conducteur 12. La première étape est un état de repos initial 46, où le procédé associé au système n'est pas lancé, aucune action n'est effectuée par le système. Cette première étape est liée à une étape 48 de détection de la main, sous la forme d'un bloc de décision comprenant le test : « la main 18 du conducteur 12 est-elle détectée ? ». Si la réponse est non (représenté par la lettre N), le procédé boucle sur l'état initial 46, et si la réponse est oui (représenté par la lettre O), le procédé entre dans une étape 50 de commande du premier retour visuel. Le test est lié à la détection de la main 18 par le dispositif de reconnaissance gestuelle 26, et non pas à la présence réelle de la main 18 : si le conducteur 12 place sa main 18 devant le dispositif de reconnaissance 26 mais que celle-ci n'est pas détectée, le procédé boucle sur l'état initial 46 jusqu'à détection effective.
L'étape 50 de commande du premier retour visuel permet alors de signifier au conducteur que sa main a bien été détectée. Cette étape de commande comprend une étape 51 de transmission au module de commande 28 des données représentatives fournie par le dispositif de reconnaissance gestuelle 26, une étape 52 de traitement desdites données par le module de commande 28 et une étape 53 de commande de l'affichage sur l'afficheur 34 du premier retour visuel 30, correspondant à la détection de la présence de la main 18 du conducteur 12.
Cette étape 50 de commande du premier retour visuel est suivie d'une étape 54 d'attente du geste effectué par le conducteur 12. Elle est reliée à une étape 56 de reconnaissance dudit geste effectué par le conducteur 12 parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle 26 est apte à reconnaître, sous la forme d'un bloc de décision comprenant le test : « un geste de la main 18 connu est-il détecté ? ». Si la réponse est non, le procédé entre dans une étape 58 de contrôle de la présence de la main 18. Si la réponse est oui, le procédé exécute deux étapes de commande simultanées : une étape 60 de commande du deuxième retour visuel 32 et une étape 62 de commande des équipements 36.
Dans un sens plus général, l'étape 48 de détection de la main et l'étape 56 de reconnaissance du geste effectué par le conducteur 12 parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle 26 est apte à reconnaître sont deux formes d'étape de reconnaissance du geste effectué par le conducteur du procédé selon l'invention.
L'étape 58 de contrôle de la présence de la main 18 permet de vérifier si la main 18 du conducteur 12 est toujours détectée par le dispositif de reconnaissance 26. Si c'est le cas, le procédé boucle sur l'étape 54 d'attente, sinon elle retourne à l'état initial 46. Les deux étapes de commandes sont effectuées simultanément dans ce mode de réalisation : l'étape 60 de commande du deuxième retour visuel 32 est analogue à l'étape 50 de commande du premier retour visuel : elle comprend une étape 51' de transmission au module de commande 28 des données représentatives fournie par le dispositif de reconnaissance gestuelle 26, une étape 52' de traitement desdites données par le module de commande 28 et une étape 53' de commande de l'affichage sur l'afficheur du deuxième retour visuel 32, correspondant à la détection d'un geste effectué par le conducteur 12.
L'étape 58 de commande des équipements 36 correspond à l'envoi de commande par le module de commande 28 en direction du ou des équipements 36 associés au geste détecté.

Claims

REVENDICATIONS
1. Système de commande d'au moins un équipement (36) d'un véhicule automobile (10), caractérisé en ce que, le véhicule (10) comprenant un afficheur (34) de type tête haute, ledit système comprend un dispositif de reconnaissance gestuelle (26) apte à fournir des données représentatives d'un geste effectué par un conducteur (12) du véhicule, et un module de commande (28) apte à traiter lesdites données, le module de commande (28) étant configuré pour pouvoir commander l'affichage d'au moins un retour visuel (23, 30, 32) sur l'afficheur (34) à la réception desdites données représentatives du geste effectué par le conducteur (12).
2. Système de commande selon la revendication 1, caractérisé en ce que le dispositif de reconnaissance gestuelle (26) est apte à fournir données représentatives d'un geste effectué par une main (18) du conducteur (12) du véhicule.
3. Système de commande selon la revendication précédente, caractérisé en ce que le module de commande (28) est configuré pour pouvoir commander l'affichage d'un retour visuel, dit premier retour visuel (30), sur l'afficheur (34) à la réception de données représentatives d'une détection de la présence de la main (18) du conducteur (12) par le dispositif de reconnaissance gestuelle (26).
4. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le module de commande (28) est configuré pour pouvoir commander l'affichage sur l'afficheur (34) d'une image d'aide renseignant le conducteur (12) sur différents types de gestes que le dispositif de reconnaissance gestuelle (26) est apte à reconnaître.
5. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le module de commande (28) est configuré pour pouvoir commander l'affichage d'un retour visuel, dit deuxième retour visuel (32), sur l'afficheur (34) à la réception de données représentatives d'une reconnaissance d'un type de geste effectué par le conducteur (12) parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle (26) est apte à reconnaître.
6. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le module de commande (28) est configuré pour commander au moins un équipement (36) du véhicule, ledit équipement (36) étant associé à un type de geste effectué par le conducteur (12) parmi une pluralité de types de geste que le dispositif de reconnaissance gestuelle (26) est apte à reconnaître.
7. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le module de commande (28) comprend une base de donnée (38) comprenant les types de gestes que le dispositif de reconnaissance gestuelle (26) est apte à reconnaître.
8. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le dispositif de reconnaissance gestuelle (26) comprend un détecteur sans contact (20), configuré pour détecter le geste effectué par le conducteur.
9. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le détecteur sans contact (20) est un ou une combinaison des détecteurs suivants :
une caméra vidéo,
une caméra de type temps de vol,
un détecteur à ultrason,
- un détecteur à infrarouge,
un détecteur capacitif.
10. Système de commande selon l'une des revendications précédentes, caractérisé en ce que le module de commande (28) est configuré pour commander au moins un équipement (36) parmi les équipements suivants :
climatisation/chauffage du véhicule, autoradio du véhicule,
dispositif main libre pour téléphone,
système de géo-localisation et navigation routière, tel que système GPS.
11. Procédé de commande d'au moins un équipement (36) d'un véhicule automobile (10), caractérisé en ce que, le véhicule (10) comprenant un afficheur (34) de type tête haute, ledit procédé comprend successivement une étape (48, 56) de reconnaissance d'un geste effectué par le conducteur (12) du véhicule, une étape (51, 51') de transmission de données représentatives dudit geste, une étape (52, 52') de traitement desdites données et une étape (53, 53') de commande de l'affichage sur l'afficheur (34) d'au moins un retour visuel représentatif des données traitées à l'étape (52, 52') de traitement.
PCT/FR2015/052592 2014-09-30 2015-09-29 Système et procédé de commande d'un équipement d'un véhicule automobile WO2016051071A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15781127.4A EP3201728A1 (fr) 2014-09-30 2015-09-29 Système et procédé de commande d'un équipement d'un véhicule automobile
US15/514,992 US20170228035A1 (en) 2014-09-30 2015-09-29 System and method for controlling a piece of equipment of a motor vehicle
JP2017517065A JP2018501998A (ja) 2014-09-30 2015-09-29 自動車の機器を制御するためのシステムおよび方法
CN201580053340.3A CN107250948A (zh) 2014-09-30 2015-09-29 用于控制机动车辆的装备的系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1402203A FR3026502A1 (fr) 2014-09-30 2014-09-30 Systeme et procede de commande d'un equipement d'un vehicule automobile
FR1402203 2014-09-30

Publications (1)

Publication Number Publication Date
WO2016051071A1 true WO2016051071A1 (fr) 2016-04-07

Family

ID=52003867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2015/052592 WO2016051071A1 (fr) 2014-09-30 2015-09-29 Système et procédé de commande d'un équipement d'un véhicule automobile

Country Status (6)

Country Link
US (1) US20170228035A1 (fr)
EP (1) EP3201728A1 (fr)
JP (1) JP2018501998A (fr)
CN (1) CN107250948A (fr)
FR (1) FR3026502A1 (fr)
WO (1) WO2016051071A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259488A1 (en) * 2015-03-06 2016-09-08 Alibaba Group Holding Limited Navigation user interface for compact mobile devices
FR3056369B1 (fr) * 2016-09-22 2020-01-31 Thales Systeme de communication et procede de communication associe
US11027822B2 (en) * 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
JP6541910B1 (ja) * 2019-04-17 2019-07-10 京セラ株式会社 電子機器、制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
FR2995418A1 (fr) * 2012-09-12 2014-03-14 Continental Automotive Gmbh Procede et dispositif de commande d'un composant de vehicule automobile a l'aide de gestes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
WO2010147600A2 (fr) * 2009-06-19 2010-12-23 Hewlett-Packard Development Company, L, P. Instruction qualifiée
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
JP5625506B2 (ja) * 2010-06-04 2014-11-19 ソニー株式会社 操作端末装置、電子機器、および電子機器システム
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
US20130144583A1 (en) * 2011-09-02 2013-06-06 Saudi Arabia Oil Company Hyper-dimensional simulation for reservoir engineering and geosciences
WO2013095679A1 (fr) * 2011-12-23 2013-06-27 Intel Corporation Système informatique utilisant des gestes de commande à deux mains coordonnés
US9639262B2 (en) * 2012-01-02 2017-05-02 Microsoft Technology Licensing, Llc Self-revealing gesture
US20140309878A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
WO2012126426A2 (fr) * 2012-05-21 2012-09-27 华为技术有限公司 Procédé et dispositif de commande sans contact par geste de main
JP2016500352A (ja) * 2012-12-21 2016-01-12 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両のためのシステム
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
FR2995418A1 (fr) * 2012-09-12 2014-03-14 Continental Automotive Gmbh Procede et dispositif de commande d'un composant de vehicule automobile a l'aide de gestes

Also Published As

Publication number Publication date
CN107250948A (zh) 2017-10-13
JP2018501998A (ja) 2018-01-25
US20170228035A1 (en) 2017-08-10
FR3026502A1 (fr) 2016-04-01
EP3201728A1 (fr) 2017-08-09

Similar Documents

Publication Publication Date Title
US10431069B2 (en) Apparatus, method and mobile terminal for providing object loss prevention service in vehicle
US10431086B2 (en) Vehicle, mobile terminal and method for controlling the same
US9922548B2 (en) Trainable transceiver and camera systems and methods
US10086762B2 (en) Vehicle display device and vehicle comprising same
US20160196098A1 (en) Method and system for controlling a human-machine interface having at least two displays
FR3045177A1 (fr) Procede de controle d'une fonctionnalite d'un vehicule automobile au moyen d'un terminal mobile
EP3201728A1 (fr) Système et procédé de commande d'un équipement d'un véhicule automobile
KR101809924B1 (ko) 차량 디스플레이 장치 및 이를 구비한 차량
GB2550044A (en) Interactive display based on interpreting driver actions
KR101924059B1 (ko) 차량 디스플레이 장치 및 이를 구비한 차량
CN103294190A (zh) 通过手势识别与车辆控制交互的识别系统
CN110696613A (zh) 用于车辆的乘客抬头显示器
FR2995418A1 (fr) Procede et dispositif de commande d'un composant de vehicule automobile a l'aide de gestes
US10067341B1 (en) Enhanced heads-up display system
RU2680370C2 (ru) Определение местонахождения кнопки багажника для конечного пользователя
US9930474B2 (en) Method and system for integrating wearable glasses to vehicle
CN111511599A (zh) 用于运行辅助系统的方法和汽车用辅助系统
KR101916425B1 (ko) 차량용 사용자 인터페이스 장치, 차량과 이동 단말기의 연동 시스템
FR3085888A1 (fr) Pare-soleil motorise et a ecran a affichage contextuel, pour un vehicule
EP3856559B1 (fr) Dispositif d'affichage à écran tactile affichant dans des zones indépendantes des pages d'imagettes associées à des fonctionnalités d'un véhicule
EP3373117B1 (fr) Procédé de commande d'au moins une fonction d'un véhicule par l'accomplissement d'au moins un geste de commande associé à cette fonction
WO2018019640A1 (fr) Procédé et système de commande de l'affichage d'informations et terminal d'utilisateur mettant en oeuvre ce procédé
FR3055988A1 (fr) Dispositif d’assistance d’un conducteur de vehicule, pour la commande de taches par un equipement de communication embarque temporairement.
FR3056059A1 (fr) Procede et dispositif de controle par glissement du transfert de contenus de media entre equipements de communication presents dans un vehicule
FR3097829A1 (fr) Procédé pour activer au moins une fonction concernant la sécurité d’un véhicule

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15781127

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017517065

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015781127

Country of ref document: EP