WO2018158163A1 - Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé - Google Patents

Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé Download PDF

Info

Publication number
WO2018158163A1
WO2018158163A1 PCT/EP2018/054586 EP2018054586W WO2018158163A1 WO 2018158163 A1 WO2018158163 A1 WO 2018158163A1 EP 2018054586 W EP2018054586 W EP 2018054586W WO 2018158163 A1 WO2018158163 A1 WO 2018158163A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
driver
hand
detection zone
vehicle
Prior art date
Application number
PCT/EP2018/054586
Other languages
English (en)
Inventor
Frédéric AUTRAN
Original Assignee
Valeo Comfort And Driving Assistance
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort And Driving Assistance filed Critical Valeo Comfort And Driving Assistance
Priority to EP18708630.1A priority Critical patent/EP3590071A1/fr
Priority to US16/490,767 priority patent/US11170241B2/en
Priority to CN201880015472.0A priority patent/CN110383290B/zh
Publication of WO2018158163A1 publication Critical patent/WO2018158163A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • Device for determining the attention state of a vehicle driver embedded system comprising such a device, and associated method
  • the present invention relates to a device for determining the state of attention of a vehicle driver.
  • a monitoring device adapted to determine a state of alertness of the driver and in particular to prevent drowsy driving. Depending on the state of alertness determined, the monitoring device alerts the driver to prevent it from getting into a dangerous situation.
  • Such a monitoring device deduces the state of vigilance of the driver according to behavioral parameters associated with the driver and / or operating parameters of the vehicle.
  • the behavioral parameters for example the closing rate of the eyelids or the gaze direction
  • the operating parameters of the vehicle for example the parameters relating to an angle of rotation of the steering wheel, at a vehicle speed or the action of the driver on certain keys, are obtained from physical sensors of the vehicle.
  • the present invention proposes an on-board device for determining a state of attention of a vehicle driver.
  • a device for determining a state of attention of a vehicle driver comprising:
  • an image capture unit embedded in said vehicle said image capture unit being adapted to capture at least one image of a detection zone situated in said vehicle, and
  • an image processing unit adapted to receive said captured and programmed image for determining the state of attention of the driver, as a function of the detection of the presence of an object of distraction in one of the hands of the driver located in the detection area.
  • an object of distraction is an object other than a driving member of the vehicle. It is an object capable of distracting the driver from his driving, and occupying his hand so that said object of distraction prevents the driver from interacting safely with the driving members of the vehicle.
  • the device makes it possible to determine the state of attention of the driver as a function of a state of occupation of at least one of the hands of the driver among a "busy” state in which the hand holds an object distraction, and a "free” state in which it is free to interact with the driving organs of the vehicle because it holds no object of distraction.
  • a busy state the driver is in a lower state of attention than when both hands are in a free state because the driver may be embarrassed to intervene quickly on the drivers of the vehicle if it holds an object of distraction in his hand.
  • the image capture unit comprises at least one sensor adapted to capture a three-dimensional image of the detection zone, said three-dimensional image including information relating to the distance, with respect to said sensor, from said distracted object and / or said hand located in the detection zone;
  • the image capture unit comprises at least one sensor adapted to capture at least one image of a first nature comprising a first type of information relating to said distraction object and / or to said hand located in the detection zone , and a sensor adapted to capture at least one image of a second nature distinct from the first nature, comprising a second type information relating to said distraction object and / or said hand located in the detection zone;
  • the image of first nature is chosen from: a three-dimensional image comprising information relating to the distance, with respect to said sensor, from at least said distraction object and / or said hand located in the detection zone, a two-dimensional image comprising information relating to the luminance of at least said distraction object and / or said hand located in the detection zone, and a thermal image including information relating to the temperature of at least said amusement object and / or said hand located in the detection zone (the image of second nature can also be chosen from the aforementioned image types, while being of a nature distinct from the first nature as already indicated);
  • the image capture unit further comprises at least one sensor adapted to capture an image of a third nature distinct from said first and second natures, comprising a third type of information relating to said object and / or to said hand located in the detection zone
  • the image of the third nature is chosen from: a three-dimensional image comprising information relating to the distance, with respect to said sensor, from at least said distraction object and / or said hand located in the detection zone, a two-dimensional image comprising information relating to the luminance of at least said distraction object and / or said hand located in the detection zone, and a thermal image including information relating to the temperature of at least said amusement object and / or said hand located in the detection zone;
  • the image processing unit is programmed to implement the following steps:
  • step b1) the image processing unit is programmed to implement step b1) according to the following substeps:
  • step b2) the image processing unit is programmed to implement step b2) according to the following substeps:
  • the image processing unit implements step b1) from the image of first nature, and step b2) from the image of a nature distinct from the first nature;
  • the image processing unit implements the steps b1) to b2) from each image received from the image capture unit, and implements an additional step according to which it determines a confidence index associated with the detection of the presence of the object of distraction in the hand of the driver according to which it deduces the state of attention of the driver;
  • the image processing unit comprises processing means using a trained neural network to determine the state of attention of the driver from the image of the detection zone captured by the capture unit; images.
  • the invention also relates to an on-board vehicle system comprising:
  • a device adapted to determine the state of attention of the driver
  • an autonomous driving unit of said vehicle programmed to control driving members of said vehicle independently of the driver
  • a decision unit programmed to authorize the driver to control at least part of the driving members of the vehicle when determining a free state of the hand (or at least one of the two hands, or both hands) of the driver and / or to alert the driver when determining a busy state of the driver's hand, and / or to switch the autonomous driving in a secure mode.
  • the vehicle is an autonomous motor vehicle, that is to say whose drivers are controlled independently of the driver, the driver will not be able to resume control, even partial, of the driving members of the vehicle, if occupation status of his hand is determined as "occupied”.
  • the autonomous vehicle can be brought by the decision unit of the onboard system to park on the low side (or on the emergency stop band), according to the aforementioned secure mode.
  • the detection of an object of distraction in at least one of the hands of the driver may for example be followed by a warning of the driver on the risk taken.
  • the invention finally proposes a method for determining a state of attention of a vehicle driver, according to which
  • an image capture unit embedded in said vehicle captures at least one image of a detection zone located in said vehicle
  • an image processing unit receives said captured image and determines the state of attention of the driver, according to the detection of the presence of a distraction object in at least one of the driver's hands located in the area detection.
  • the driving members of said vehicle are controlled independently of the driver, there is further provided a step according to which the driver is authorized to control at least part of the driving members of the vehicle in case of determination of a state. free of one of the hands of the driver and / or alerting the driver when determining a busy state of one of said hands of the driver and / or tilt the autonomous driving in a secure mode.
  • the method that has just been proposed may also optionally include steps such as those proposed above with respect to the device for determining a state of attention of the driver (in particular steps b1) and b2) and the possible steps for these steps).
  • FIG. 1 shows schematically, in front view, a motor vehicle comprising a device according to the invention
  • FIG. 2 diagrammatically represents the device of FIG. 1 according to two possible embodiments, a first embodiment (in solid lines) in which the image capture unit 11 comprises a single sensor 12, and a second an embodiment in which the image capture unit 11 comprises two sensors 12, 13 (solid line and dotted line, the sensor 13 being shown in dashed lines); and
  • FIG. 3 represents a flowchart of the main steps of the method according to the invention.
  • FIG. 1 shows the front of a vehicle 1 embodying a device 10 for determining a state of attention of a driver of the vehicle 1.
  • such a device 10 is adapted to determine the state of attention of the driver 4 according to a state of occupation of at least one of the hands of said driver 4 of the vehicle 1.
  • such a device 10 is adapted to detect at least one of the hands of the driver in a detection zone D of the vehicle 1, and to determine the state of occupation of this (or these) hand (s) to deduce the the state of attention of the driver.
  • the state of occupation is determined from a "busy” state in which the hand holds an object of distraction, and a “free” state in which it does not hold any object of distraction.
  • the hand can for example be engaged in driving the vehicle, that is to say act on a driving member of the vehicle, or be empty, for example at rest on an armrest.
  • the object of distraction is an object other than a driving member of the vehicle.
  • This is for example a mobile phone, a book, a road map, a GPS etc.
  • the drivers accessible to the driver's hands are, for example, the steering wheel 3, the gearshift lever, the controls (turn signal or windshield wiper levers), the switches (such as the hazard warning lights) or the parking brake. .
  • the device comprises: an image capture unit 1 1 embedded in said vehicle 1, said image capture unit 11 being adapted to capture at least one image of the detection zone D situated in said vehicle 1, and
  • an image processing unit 15 adapted to receive said captured and programmed image for determining the state of occupation of the hand of the driver 4 located in the detection zone D, as a function of the detection of the presence of a object of distraction in said hand.
  • the image capture unit 1 1 is embedded in the motor vehicle, that is to say disposed inside the vehicle 1, more precisely inside the passenger compartment of the vehicle 1.
  • the image capture unit 11 comprises at least one sensor 12, 13 adapted to capture an image of a first nature of the detection zone D.
  • the detection zone D is located between the gear lever 2 and the front door of the driver.
  • the detection zone D thus encompasses the steering wheel 3 of the vehicle 1 and contains both hands of the driver.
  • the sensor 12, 13 of the image capture unit 1 1 is for example placed in a front ceiling of the vehicle 1 automobile, so that it takes in top view the zone detection D.
  • the senor could be placed on the dashboard of the vehicle, in a central area of the latter, so that the detection area would be seen from the front.
  • the detection zone may contain only one of the driver's hands.
  • the senor could be placed behind the steering wheel 3 of the vehicle, at the dashboard.
  • the detection zone could then easily contain the driver's right hand and left hand.
  • the image capture unit comprises a single sensor 12 adapted to capture a three-dimensional image of the detection zone D, said three-dimensional image comprising information relating to the distance, with respect to said sensor, of at least a part of the elements of the space contained in the detection zone D.
  • elements of the space include the hands of the driver 4 and the object of distraction possibly present in the detection zone D.
  • the elements of the space can also include elements of the environment of the driver, for example elements the passenger compartment of the vehicle and the vehicle control devices such as the gear lever, steering wheel, armrest, etc.
  • the three-dimensional image includes a scatterplot representing the envelope of the space elements present in the detection zone D, including the hand of the driver, the forearm of the driver, and the distraction object that may be present therein. to be present.
  • the scatterplot thus gives information as to the position in space of the elements of the space present in the detection zone D, in particular information relative to their distance relative to said sensor.
  • Such a sensor 12 adapted to capture three-dimensional images is known to those skilled in the art and will not be described in detail. It will be specified simply that it could be a flight time sensor, such as a time of flight camera ("Time of Flight" or TOF according to the English acronym) adapted to send the light to the conductor 4 and measure the time it takes for this light to return to said time-of-flight sensor to deduce the three-dimensional image of the detection zone D.
  • a stereoscopic sensor comprising at least two cameras, each capturing an image of the detection zone according to its own point of view, the images of each camera being then combined to deduce the three-dimensional image of the detection zone. It can also be a structured light sensor adapted to project a pattern on the detection zone and to analyze the deformation of this pattern to deduce the three-dimensional image of the conductor 4.
  • the image processing unit 15 is adapted to receive the three-dimensional image of the sensor, and programmed to determine by means of this image, the state of occupation of at least one of the hands of the conductor, according to the detection of the presence of the object of distraction in said hand.
  • the image processing unit 15 is programmed to implement the following steps: b1) detecting at least one of the hands of the driver in said image received from the image capture unit 1 1, and
  • the image processing unit 15 comprises processing means programmed to detect the image of the driver's hand in the image captured by the image capture unit 11, as well as the presence of the object of distraction in this hand.
  • step b1) is programmed to implement step b1) according to the following substeps:
  • the processing unit of the processing unit 15 is programmed to identify, among the points of the cloud of points, those associated with the image of the arm or the forearm of the driver.
  • the recognition of the shape of the arm or the forearm of the driver (step b1)) is here based on a shape recognition algorithm.
  • the processing means are also programmed to recognize characteristic shapes of space elements that may be present in the detection zone D, such as a part of the speed lever 2, a part of the steering wheel 3, part of an armrest, etc.
  • the "shape" of the elements of space corresponds here to its external envelope. The detection of these space elements can facilitate the detection of the driver's arm.
  • the treatment unit of the processing unit 15 identifies a portion of the cloud of points in which the hand of the driver is likely to be.
  • the recognition of the shape of the hand is here based on an algorithm of form, realized with the determined portion of the cloud of points.
  • the processing means are also programmed to identify at least two different regions in said three-dimensional image captured by the image capture unit 11, for example a first region formed by the images of the points closest to the sensor (foreground ) and a second region formed by the images of the farthest points of the sensor (second plane), and to recognize the shape of the arm or forearm of the driver 4 in these regions.
  • the processing means are adapted to determine the location of the driver's arm, and then to deduce the location of the driver's hand in the real space of the detection zone D.
  • step b2) is programmed to implement step b2) according to the following substeps:
  • processing means are also programmed to identify the nature of the detected objects, according to the recognized shape at the estimated location of the hand in the image.
  • the processing unit 15 is programmed to deduce the state of occupation of the driver's hand, according to the shape recognized at the level of the driver's hand in the three-dimensional image.
  • This recognized form may be that associated with a distraction object a mobile phone, a glass or a cup, a book, a road map, etc., or that of elements still present in the detection zone D,
  • the image processing unit 15 is programmed to determine that the driver's hand is in a busy state when it is very likely, given the shape recognized at the driver's hand in the image. three-dimensional, that the driver holds this object of distraction with his hand.
  • the image processing unit could be programmed to determine that the hand is in a busy state when the distance between the hand and the distraction object, in the captured three-dimensional image, is less than a predetermined threshold value.
  • the image processing unit could be programmed to determine that the hand is in a free state when the distance between the hand and the distracted object detected, in the captured three-dimensional image, is greater than a value. predetermined threshold.
  • the driver can react faster on the manual driving organs of the vehicle, such as the steering wheel, turn signals, the horn, the hazard warning lights, or the gearshift, in case of need.
  • the manual driving organs of the vehicle such as the steering wheel, turn signals, the horn, the hazard warning lights, or the gearshift, in case of need.
  • the device according to the invention is thus adapted to determine that the overall attention state of the driver is lower when his hand is in a busy state than when it is in a free state.
  • the image processing unit 15 comprises processing means including a data transmission network. trained neurons to directly recognize the state of occupancy of the hand, or even the state of attention of the driver, from an image of the detection zone D.
  • the neural network is trained prior to its use in the device 10 according to the invention.
  • the neural network is input fed by a plurality of images of the detection zone D in which the hand is in a free state (i.e. the hand is empty of any object of distraction, or holds a driving organ of the vehicle by hand) and it is indicated to the neural network that for its images, the state of the hand is free.
  • the neural network is also fed by a plurality of images of the detection zone D in which the hand is in an occupied state (that is to say, it holds an object of distraction). , and we indicate to the neural network that for its pictures, the state of the hand is busy.
  • the neural network then receiving as input the image of the detection zone D captured by the image-capturing unit 1 1, is programmed to output, the free or occupied state of the hand of the driver, or even directly the state of high attention (if the hand is in a free state) or low of the driver (if the hand is in a busy state).
  • the image capture unit 1 1 comprises at least
  • a sensor 12 (solid line in FIG. 2) adapted to capture at least one image of a first nature comprising a first type of information relating to the elements of the space contained in the detection zone D, and
  • a sensor 13 (in dashed line in FIG. 2) adapted to capture at least one image of a second nature distinct from the first nature, comprising a second type of information relating to the elements of the space contained in the zone of detection D.
  • the elements of the space contained in the detection zone D include in particular the hand of the driver and / or the object of distraction whose presence it is desired to detect. They may also include elements of the driver's environment naturally present in the detection zone D, such as the steering wheel, the gear lever or the armrest of one of the seats.
  • the image capture unit 11 comprises either a single sensor (not shown) adapted to capture both the first and second nature images, or at least two distinct sensors 12, 13 adapted to capture respectively the first and second images. first and second natures.
  • the image capture unit 1 1 comprises two separate sensors 12, 13, it is conceivable that they be arranged at the same place in the passenger compartment of the vehicle 1, for example in the ceiling lamp, behind the steering wheel 3, or still in a central region of the dashboard as previously described. It is also conceivable that each separate sensor is disposed at a different location of the passenger compartment of the vehicle, especially among the previously described locations.
  • the first and second nature images are chosen from: a three-dimensional image comprising information relating to the distance, relative to said sensor, of at least a part of the elements of the space contained in the detection zone D, that is to say here at least of the object of distraction and / or the hand of the driver,
  • a two-dimensional image comprising information relating to the luminance of at least part of the elements contained in the detection zone D, that is to say at least the distraction object and / or the driver's hand and,
  • a thermal image comprising information relating to the temperature of at least part of the elements contained in the detection zone D, that is to say at least the distraction object and / or the driver's hand .
  • the senor 12, 13 may be one of those described previously in the first embodiment of the device 10, namely a time-of-flight sensor, a stereoscopic sensor, or a structured light sensor.
  • This type of sensor may in some cases also be suitable for capturing two-dimensional images.
  • a conventional photographic type sensor, or a camera is also capable of capturing two-dimensional images.
  • the two-dimensional images are images giving information on the luminance of the elements present in the detection zone D, including the hand and the forearm of the driver.
  • the two-dimensional images comprise pixels representing regions of the detection zone D, that is to say a pixel corresponding to the image of a region of the detection zone D. Each pixel is more or less bright depending on the corresponding luminance of the region of the detection zone D that it represents.
  • the two-dimensional images are in black and white, but one could also have two-dimensional color images, in which case each pixel would represent the chrominance of each corresponding region of the detection zone.
  • the senor may be a thermal camera, for example a high wavelength infrared camera (or Long Wired InfraRed LWIR camera).
  • a thermal camera for example a high wavelength infrared camera (or Long Wired InfraRed LWIR camera).
  • the luminous intensity of the pixels of the thermal images depends on the temperature of the regions of the detection zone D corresponding to each pixel: the higher the temperature, the brighter the pixel, the lower the temperature, the darker the pixel.
  • the forearm and the driver's hand will be represented by bright pixels, as well as the battery of the mobile phone, or a cup filled with hot liquid.
  • the gear lever, a book or a road map will be represented by darker pixels.
  • the processing unit it is also easier for the processing unit to recognize the nature of the elements of the space included in the detection zone D, and in particular to discern the forearm of the driver terminated by the hand of the driver of the rest of these elements of space.
  • the image capture unit 11 may further comprise at least one sensor adapted to capture an image of a third nature, distinct from said first and second natures, comprising a third type of information relating to the elements of the space contained in the detection zone D.
  • the image capture unit 1 1 will in this case comprise at least two separate sensors, possibly arranged at different locations of the passenger compartment of the vehicle, to capture the images of first, second and third natures.
  • the third nature image is chosen from the images described above, namely a three-dimensional image, a two-dimensional image or a thermal image.
  • the sensors described above are for example used.
  • the image processing unit 15 takes into account at least three images of different natures, namely a three-dimensional image, a two-dimensional image and a thermal image, for determining the state of occupation of the driver's hand.
  • the image processing unit 15 is programmed to implement steps b1) and b2) explained above, namely:
  • the image processing unit 15 comprises processing means programmed to implement the steps b1) and b2) in a so-called sequential implementation or in a so-called concurrent implementation.
  • steps b1) and b2) are made from one or two images of the same nature.
  • the image processing unit 15 implements the step b1) from at least a first captured image of first nature, and the step b2) from at least a second captured image of a different nature from the first nature.
  • the first image of first nature is for example one of the three-dimensional images captured by the image capture unit 1 1.
  • the processing means are programmed to segment this three-dimensional image, that is to say to identify at least two different regions in said three-dimensional image, and to recognize the shape of the forearm or the arm of the driver 4 in each of these regions, as described in the first embodiment of the device 10, and to deduce the position of the hand of the driver, logically at the end of the arm recognized.
  • the two aforementioned regions correspond for example, as mentioned above, to a near region and to a region remote from the sensor.
  • the processing means of the image processing unit 15 are programmed to detect the possible presence of an object in the driver's hand by means of the second second nature image captured by the image capture unit 1 1.
  • the processing means of the image processing unit 15 are programmed to recognize the characteristic shape of objects possibly present in the detection zone D, at the position of the hand as evaluated as explained above, from two-dimensional and / or thermal images.
  • the processing means are then programmed to determine, by combining the information of the first and second images (first and second natures) if an object is present in the hand of the driver or not and, if so, to determine the nature of the this object to estimate whether it is a distraction object (or a driving device).
  • the image processing unit 15 is programmed to determine that the hand is in a free state.
  • the processing unit 15 is programmed to identify the nature of the detected object.
  • the image processing unit 15 is then programmed to determine that the hand is in a busy state if the detected object is an object of distraction (and to determine that the hand is in a free state, in the sense available for the driving, if the detected object is a driving device).
  • the shape recognized at the level of the hand in the first and second nature images confirms the probability that it holds an object of distraction, or greatly reduce this probability.
  • the shape of the contour of the hand can thus be taken into account by the image processing unit 15 for determining the state of occupation of the hand.
  • the sequential implementation makes it possible to use the most relevant information of each of the first and second nature images, depending on the step to be performed.
  • thermal or two-dimensional images as a first-nature image
  • three-dimensional, two-dimensional or thermal images as an image of second nature, provided that they are chosen from distinct nature of the first nature.
  • the image processing unit 15 implements the steps b1) and b2) from each image received from the image capture unit 11, and implements a step that it determines a confidence index associated with the detection of the presence of the object in the driver's hand according to which it deduces the state of occupation of the driver's hand.
  • the image processing unit 15 implements steps b1) and b2) independently for each of the first, second and third images.
  • steps b1) and b2) are implemented with the three-dimensional images as described in the case of the first embodiment of the device 10 according to the invention.
  • the processing means of the image processing unit 15 are programmed to identify, from among the pixels of each image, those associated with the image of the hand and / or the image of the image. the forearm of the driver, and those associated with the image of a distraction object possibly present in the detection zone D, from shape recognition algorithms specific to said thermal and two-dimensional images.
  • the image processing unit 15 is programmed to deduce the state of occupation of the hand of the driver in these images.
  • the image processing unit 15 determines the confidence index of the treatment, that is to say determines whether the treatment has led to a result, and if this result is safe, or if it is rather random.
  • the confidence index is at most if one recognizes the palm and five fingers in the image; the index is lower when fewer elements are recognized, for example when one recognizes the palm and only two fingers.
  • the image processing unit 15 determines the actual occupation status (occupied or free) of the driver's hand from the image whose processing has led to the highest confidence index, c ' that is to say, whose result is the safest.
  • the image processing unit 15 comprises processing means including a trained neuron network for directly recognizing the state of occupancy of the hand from an image of the detection zone D.
  • the neural network is trained prior to its use in the device according to the invention according to the same principle as that described in the case of the first embodiment, except that it is trained with images of first, second and possibly third natures.
  • the neuron network thus driven is thus adapted to receive first, second, and possibly third-nature images as input to determine the state of occupation of the driver's hand.
  • the fact of using images of different types at the input of the neural network makes it possible to increase the reliability of the result given at the output of said neural network.
  • the device according to the invention finally finds a particularly useful application in an embedded system 100 for a vehicle comprising
  • the device according to the invention adapted to determine the state of occupation of at least one of the hands of the conductor 4 present in the detection zone D,
  • an autonomous driving unit 50 of said vehicle 1 programmed to control driving members of said vehicle independently of the driver
  • a decision unit (not shown) programmed to allow the driver 4 to control at least part of the driving members of the vehicle 1 in case of determination of a free state the hand of the driver and / or to alert the driver in case of determination a busy state of the driver's hand, and / or to tilt the autonomous driving in a secure mode.
  • the driving members include the steering wheel 3, the acceleration and brake pedals, the gear lever, the turn signals, the headlights, the wipers.
  • the driving members of the vehicle include all the vehicle elements used for driving.
  • the autonomous driving unit 50 is adapted to control the various driving members so that said vehicle is driven without intervention of the driver.
  • the driver is allowed to be in a state of insufficient vigilance, that is to say, being distracted, and it is possible that he reads a book or looks at his mobile phone without danger for driving.
  • the decision unit is programmed to allow the driver to at least partially control the driving members only when his state of global attention is high, especially when at least one of his hands is in a state free.
  • the decision unit does not allow a restart by the driver, but may for example command the display of a warning message to the driver to encourage him to be attentive and / or switch the autonomous driving in a secure mode in which the autonomous driving unit 50 controls for example the parking of the vehicle on the low side (or on the emergency stop band) ).
  • FIG. 3 shows in flowchart form the main steps of the method implemented by the device according to the invention.
  • the method according to the invention for determining the state of occupation of at least one of the hands of the driver of the vehicle comprises steps according to which:
  • the image capture unit 1 1 embedded in said vehicle 1 captures at least one image of the detection zone D located in said vehicle 1,
  • the image processing unit 15 receives said captured image and determines the state of occupation of a hand of the conductor 4 located in the detection zone D, as a function of the detection of the presence of an object of distraction in said hand.
  • step a) the image capture unit 11 of the device 10 according to the invention captures at least one image of a first nature of the detection zone. D.
  • the detection zone D Preferably, it captures two or even three images, of the same nature or of different natures, from the detection zone D, preferably of natures different.
  • each image of different nature is captured at a given moment, that is to say that all the images are captured simultaneously by the image capture unit 11 or in a relatively short time interval, in particular well under a minute. This ensures that the analyzed situation has not changed between the captures of images of different natures.
  • step b) the image processing unit 15 receives the captured image or images in step a).
  • the image processing unit 15 implements the steps described above, namely
  • step b) When two images of different natures are captured in step a), by the image capture unit 11 according to the second embodiment of the device 10 according to the invention, the implementation of step b) can be sequential or concurrent, as previously described.
  • the image processing unit 15 comprises a trained neuron network represented by the channel (2).
  • said image processing unit 15 directly recognizes the state of occupation of the hand from the images received from the image capture unit 11 (block G of FIG. 3).
  • step b) the image processing unit 15 sends the state of occupation of the hand of the driver to the devices of the vehicle the applicant (block E2 of the FIG. 3), in particular to the autonomous vehicle decision unit, or to a device monitoring the existing driver of the vehicle.
  • the device according to the invention informs the driver of the busy state of at least one of his hands, so as to encourage him to refocus on his conduct.
  • an additional step of determining a state of overall attention of the driver taking into account the state of occupation of the hand of the driver and / or a state of alertness of the driver determined by d other known means.
  • the driver in a situation where the driving members of said vehicle are controlled independently of the driver, there is further provided a step according to which the driver is authorized to control at least part of the driving members of the vehicle in the event of determination of a free state of the driver's hand and / or in the event of determination of a busy state of the driver's hand, the driver is alerted and / or the autonomous driving is tilted in a secure mode.
  • the device, the system and the method according to the invention are particularly advantageous in partially or completely autonomous driving situations, during which the driver is allowed to relax his attention, that is to say to present a state of insufficient vigilance .
  • the position of the driver in his situations can be changed to the point that he is no longer in front of a possible surveillance device adapted to capture an image of his head to assess his level of vigilance. It is then very useful to determine the state of occupation of the hands of the driver to apprehend his state of overall attention.
  • the invention makes it possible to provide information complementary to that already provided by a possible device for monitoring the driver.
  • the invention applies to any type of vehicle, including transport vehicles such as boats, trucks, trains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

L'invention concerne un dispositif (10) de détermination d'un état d'attention d'un conducteur (4) de véhicule comportant: - une unité de capture d'images embarquée dans ledit véhicule (1), ladite unité de capture d'images étant adaptée à capturer au moins une image d'une zone de détection (D) située dans ledit véhicule (1), et - une unité de traitement d'images adaptée à recevoir ladite image capturée et programmée pour déterminer l'état d'attention du conducteur (4), en fonction de la détection de la présence d'un objet de distraction dans une des mains du conducteur (4) située dans la zone de détection (D). Un système embarqué comprenant un tel dispositif et un procédé associé sont également proposés.

Description

Dispositif de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comportant un tel dispositif, et procédé associé
DOMAINE TECHNIQUE AUQUEL SE RAPPORTE L'INVENTION La présente invention concerne un dispositif de détermination de l'état d'attention d'un conducteur de véhicule.
Elle concerne aussi un système embarqué comportant un tel dispositif. Elle concerne encore un procédé associé à un tel dispositif.
Elle trouve enfin une application particulièrement avantageuse dans le cas des véhicules autonomes, notamment des véhicules automobiles autonomes.
ARRIERE-PLAN TECHNOLOGIQUE
Il est connu de surveiller le conducteur d'un véhicule automobile à l'aide d'un dispositif de surveillance adapté à déterminer un état de vigilance du conducteur et notamment à prévenir l'endormissement au volant. En fonction de l'état de vigilance déterminé, le dispositif de surveillance alerte le conducteur pour éviter qu'il ne se mette dans une situation dangereuse.
Un tel dispositif de surveillance déduit l'état de vigilance du conducteur en fonction de paramètres comportementaux associés au conducteur et/ou de paramètres de fonctionnement du véhicule. En pratique, les paramètres comportementaux, par exemple le rythme de fermeture des paupières ou la direction du regard, sont obtenus en analysant des images de la tête du conducteur, et les paramètres de fonctionnement du véhicule, par exemple les paramètres relatifs à un angle de rotation du volant, à une vitesse du véhicule ou à l'action du conducteur sur certaines touches, sont obtenus à partir de capteurs physiques du véhicule.
Cependant, dans certains cas il peut être nécessaire de connaître non seulement l'état de vigilance du conducteur, mais aussi son état d'attention général, ce qui n'est pas toujours possible à partir des seuls paramètres comportementaux associés au visage du conducteur et/ou de fonctionnement du véhicule.
OBJET DE L'INVENTION
Afin de remédier à l'inconvénient précité de l'état de la technique, la présente invention propose un dispositif embarqué de détermination d'un état d'attention d'un conducteur de véhicule.
Plus particulièrement, on propose selon l'invention un dispositif de détermination d'un état d'attention d'un conducteur de véhicule comportant :
- une unité de capture d'images embarquée dans ledit véhicule, ladite unité de capture d'images étant adaptée à capturer au moins une image d'une zone de détection située dans ledit véhicule, et
- une unité de traitement d'images adaptée à recevoir ladite image capturée et programmée pour déterminer l'état d'attention du conducteur, en fonction de la détection de la présence d'un objet de distraction dans une des mains du conducteur située dans la zone de détection.
Au sens de l'invention un objet de distraction est un objet autre qu'un organe de conduite du véhicule. Il s'agit d'un objet susceptible de distraire le conducteur de sa conduite, et occupant sa main de sorte que ledit objet de distraction empêche le conducteur d'interagir en toute sécurité avec les organes de conduite du véhicule.
Ainsi, le dispositif selon l'invention permet de déterminer l'état d'attention du conducteur en fonction d'un état d'occupation d'au moins une des mains du conducteur parmi un état « occupé » dans lequel la main tient un objet de distraction, et un état « libre » dans lequel elle est libre d'interagir avec les organes de conduite du véhicule car elle ne tient aucun objet de distraction. Lorsqu'au moins une des mains est dans un état occupé, le conducteur est dans un état d'attention plus faible que lorsque les deux mains sont dans un état libre car le conducteur risque d'être gêné pour intervenir rapidement sur les organes de conduite du véhicule s'il tient un objet de distraction dans sa main.
D'autres caractéristiques non limitatives et avantageuses du dispositif conforme à l'invention sont les suivantes :
- l'unité de capture d'images comprend au moins un capteur adapté à capturer une image tridimensionnelle de la zone de détection, ladite image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection ;
- l'unité de capture d'images comprend au moins un capteur adapté à capturer au moins une image d'une première nature comportant un premier type d'informations relatives audit objet de distraction et/ou à ladite main située dans la zone de détection, et un capteur adapté à capturer au moins une image d'une deuxième nature distincte de la première nature, comportant un second type d'informations relatives audit objet de distraction et/ou à ladite main située dans la zone de détection ;
- l'image de première nature est choisie parmi : une image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection, une image bidimensionnelle comportant des informations relatives à la luminance au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection, et une image thermique comportant des informations relatives à la température au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection (l'image de deuxième nature pouvant elle aussi être choisie parmi les natures d'image précitées, tout en étant de nature distincte de la première nature comme déjà indiqué) ;
- l'unité de capture d'images comprend en outre au moins un capteur adapté à capturer une image d'une troisième nature distincte desdites première et deuxième natures, comportant un troisième type d'informations relatives audit objet et/ou à ladite main située dans la zone de détection
- l'image de troisième nature est choisie parmi : une image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection, une image bidimensionnelle comportant des informations relatives à la luminance au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection, et une image thermique comportant des informations relatives à la température au moins dudit objet de distraction et/ou de ladite main située dans la zone de détection ;
- l'unité de traitement d'images est programmée pour mettre en œuvre les étapes suivantes :
b1 ) localiser ladite main du conducteur dans ladite image reçue de l'unité de capture d'images,
b2) détecter la présence dudit objet de distraction dans ladite main du conducteur afin de déduire l'état d'attention du conducteur ;
- l'unité de traitement d'images est programmée pour mettre en œuvre l'étape b1 ) selon les sous-étapes suivantes :
* détecter au moins une partie d'un bras du conducteur, dans l'image reçue l'unité de capture d'images, et * déduire la position, dans ladite image reçue de l'unité de capture d'images, de ladite main du conducteur à partir du lieu de détection de la partie du bras du conducteur dans l'image reçue de l'unité de capture d'images ;
- l'unité de traitement d'images est programmée pour mettre en œuvre l'étape b2) selon les sous-étapes suivantes :
* détecter la présence d'un objet quelconque dans la main du conducteur, et
* déterminer la nature dudit objet détecté dans la main du conducteur, afin de déduire l'état d'attention du conducteur ;
- l'unité de traitement d'images met en œuvre l'étape b1 ) à partir de l'image de première nature, et l'étape b2) à partir de l'image de nature distincte de la première nature ;
- l'unité de traitement d'images met en œuvre les étapes b1 ) à b2) à partir de chaque image reçue de l'unité de capture d'images, et met en œuvre une étape supplémentaire selon laquelle elle détermine un indice de confiance associé à la détection de la présence de l'objet de distraction dans la main du conducteur en fonction duquel elle déduit l'état d'attention du conducteur ;
- l'unité de traitement d'images comprend des moyens de traitement utilisant un réseau de neurones entraîné pour déterminer l'état d'attention du conducteur à partir de l'image de la zone de détection capturée par l'unité de capture d'images.
L'invention concerne aussi un système embarqué pour véhicule comportant :
- un dispositif selon l'invention, adapté à déterminer l'état d'attention du conducteur,
- une unité de conduite autonome dudit véhicule programmée pour commander des organes de conduite dudit véhicule indépendamment du conducteur, et
- une unité de décision programmée pour autoriser le conducteur à commander au moins en partie les organes de conduite du véhicule en cas de détermination d'un état libre de la main (ou d'au moins une des deux mains, ou des deux mains) du conducteur et/ou pour alerter le conducteur en cas de détermination d'un état occupé de la main du conducteur, et/ou pour faire basculer la conduite autonome dans un mode sécurisé. Ainsi, lorsque le véhicule est un véhicule automobile autonome, c'est-à- dire dont les organes de conduite sont commandés indépendamment du conducteur, le conducteur ne pourra pas reprendre la commande, même partielle, des organes de conduite du véhicule, si l'état d'occupation de sa main est déterminé comme « occupé ». En cas de détermination d'un état occupé de la main du conducteur, le véhicule autonome peut être amené par l'unité de décision du système embarqué à se stationner sur le bas côté (ou sur la bande d'arrêt d'urgence), conformément au mode sécurisé précité.
Dans le cas d'un véhicule à conduite manuelle ou semi-autonome, la détection d'un objet de distraction dans au moins une des mains du conducteur, peut par exemple être suivi d'une alerte du conducteur sur le risque pris.
L'invention propose enfin un procédé de détermination d'un état d'attention d'un conducteur de véhicule, selon lequel
a) une unité de capture d'images embarquée dans ledit véhicule capture au moins une image d'une zone de détection située dans ledit véhicule, et
b) une unité de traitement d'images reçoit ladite image capturée et détermine l'état d'attention du conducteur, en fonction de la détection de la présence d'un objet de distraction dans au moins une des mains du conducteur situées dans la zone de détection.
De manière avantageuse, lorsque les organes de conduite dudit véhicule sont commandés indépendamment du conducteur, il est en outre prévu une étape selon laquelle on autorise le conducteur à commander au moins en partie les organes de conduite du véhicule en cas de détermination d'un état libre d'une des mains du conducteur et/ou on alerte le conducteur en cas de détermination d'un état occupé d'une desdites mains du conducteur et/ou on fait basculer la conduite autonome dans un mode sécurisé.
Le procédé qui vient d'être proposé peut par ailleurs comporter à titre optionnel des étapes telles que celles proposées plus haut relativement au dispositif de détermination d'un état d'attention du conducteur (en particulier les étapes b1 ) et b2) et les sous-étapes possibles pour ces étapes).
DESCRIPTION DÉTAILLÉE D'UN EXEMPLE DE RÉALISATION La description qui va suivre en regard des dessins annexés, donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée. Sur les dessins annexés :
- la figure 1 représente schématiquement, en vue avant, un véhicule automobile comprenant un dispositif selon l'invention ;
- la figure 2 représente schématiquement le dispositif de la figure 1 selon deux modes de réalisation possibles, un premier mode de réalisation (en trait plein) dans lequel l'unité de capture d'images 1 1 comprend un seul capteur 12, et un deuxième mode de réalisation dans lequel l'unité de capture d'images 1 1 comprend deux capteurs 12, 13 (en trait plein et pointillé, le capteur 13 étant représenté en pointillé) ; et
- la figure 3 représente un organigramme des étapes principales du procédé selon l'invention.
Dispositif
Sur la figure 1 , on a représenté l'avant d'un véhicule 1 automobile embarquant un dispositif 10 de détermination d'un état d'attention d'un conducteur du véhicule 1 .
Plus précisément, un tel dispositif 10 est adapté à déterminer l'état d'attention du conducteur 4 en fonction d'un état d'occupation d'au moins une des mains dudit conducteur 4 du véhicule 1 .
Ainsi, un tel dispositif 10 est adapté à détecter au moins une des mains du conducteur dans une zone de détection D du véhicule 1 , et à déterminer l'état d'occupation de cette (ou de ces) main(s) pour déduire l'état d'attention du conducteur.
L'état d'occupation est déterminé parmi un état « occupé » dans lequel la main tient un objet de distraction, et un état « libre » dans lequel elle ne tient pas d'objet de distraction. Dans cet état libre, la main peut par exemple être engagée dans la conduite du véhicule, c'est-à-dire agir sur un organe de conduite du véhicule, ou être vide, par exemple au repos sur un accoudoir.
Au sens où on l'entend ici, l'objet de distraction est un objet autre qu'un organe de conduite du véhicule. Il s'agit par exemple d'un téléphone portable, d'un livre, d'une carte routière, d'un GPS etc. Les organes de conduite accessibles aux mains du conducteur sont par exemple le volant 3, le levier de vitesse, les commodos (manettes de clignotants ou d'essuie glace), les interrupteurs (tels que les feux de détresse) ou encore le frein à main.
Comme le montre la figure 2, le dispositif selon l'invention comporte : - une unité de capture d'images 1 1 embarquée dans ledit véhicule 1 , ladite unité de capture d'images 1 1 étant adaptée à capturer au moins une image de la zone de détection D située dans ledit véhicule 1 , et
- une unité de traitement d'images 15 adaptée à recevoir ladite image capturée et programmée pour déterminer l'état d'occupation de la main du conducteur 4 située dans la zone de détection D, en fonction de la détection de la présence d'un objet de distraction dans ladite main.
Ici, l'unité de capture d'images 1 1 est embarquée dans le véhicule automobile, c'est-à-dire disposée à l'intérieur du véhicule 1 , plus précisément à l'intérieur de l'habitacle du véhicule 1 .
L'unité de capture d'images 1 1 comprend au moins un capteur 12, 13 adapté à capturer une image d'une première nature de la zone de détection D.
Telle que représentée sur la figure 1 , la zone de détection D est située entre le levier de vitesse 2 et la portière avant du conducteur. La zone de détection D englobe ainsi le volant 3 du véhicule 1 et contient les deux mains du conducteur. Pour capturer une telle zone de détection D, le capteur 12, 13 de l'unité de capture d'images 1 1 est par exemple placé dans un plafonnier avant du véhicule 1 automobile, de sorte qu'il prend en vue de dessus la zone de détection D.
En variante, le capteur pourrait être placé sur la planche de bord du véhicule, dans une zone centrale de cette dernière, de sorte que la zone de détection serait vue depuis l'avant. En fonction de l'angle d'ouverture du capteur, la zone de détection pourrait ne contenir qu'une des deux mains du conducteur.
En variante encore, le capteur pourrait être placé derrière le volant 3 du véhicule, au niveau du tableau de bord. La zone de détection pourrait alors facilement contenir la main droite et la main gauche du conducteur.
Tout autre endroit permettant d'avoir les mains du conducteur dans le champ de vision du capteur 12, 13 est encore envisageable pour disposer le capteur.
Selon un premier mode de réalisation du dispositif 10 selon l'invention, représenté sur la figure 2 en trait plein, l'unité de capture d'images comprend un seul capteur 12 adapté à capturer une image tridimensionnelle de la zone de détection D, ladite image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, d'au moins une partie des éléments de l'espace contenus dans la zone de détection D.
Ces éléments de l'espace comprennent notamment les mains du conducteur 4 et l'objet de distraction éventuellement présent dans la zone de détection D. Les éléments de l'espace peuvent également comprendre des éléments de l'environnement du conducteur, par exemple des éléments de l'habitacle du véhicule et des organes de conduite du véhicule tels que le levier de vitesse, le volant, un accoudoir, etc.
L'image tridimensionnelle comporte un nuage de points représentant l'enveloppe des éléments de l'espace présents dans la zone de détection D, y compris de la main du conducteur, de l'avant bras du conducteur, et dudit objet de distraction pouvant y être présent. Le nuage de points donne ainsi une information quant à la position dans l'espace des éléments de l'espace présents dans la zone de détection D, notamment une information relative à leur distance par rapport audit capteur.
Un tel capteur 12 adapté à capturer des images tridimensionnelles est connu de l'homme du métier et ne sera pas décrit en détails. On précisera simplement qu'il pourrait s'agir d'un capteur de temps de vol, telle qu'une caméra à temps de vol, (« Time of Flight » ou TOF selon l'acronyme anglo-saxon) adaptée à envoyer de la lumière vers le conducteur 4 et à mesurer le temps que met cette lumière à revenir vers ledit capteur à temps de vol pour déduire l'image tridimensionnelle de la zone de détection D. En variante, il pourrait s'agir d'un capteur stéréoscopique comportant au moins deux caméras, chacune capturant une image de la zone de détection selon son propre point de vue, les images de chaque caméra étant ensuite combinées pour déduire l'image tridimensionnelle de la zone de détection. Il peut encore s'agir d'un capteur à lumière structurée adapté à projeter un motif sur la zone de détection et à analyser la déformation de ce motif pour déduire l'image tridimensionnelle du conducteur 4.
Selon ce premier mode de réalisation, l'unité de traitement d'images 15 est adaptée à recevoir l'image tridimensionnelle du capteur, et programmée pour déterminer grâce à cette image, l'état d'occupation d'au moins une des mains du conducteur, en fonction de la détection de la présence de l'objet de distraction dans ladite main.
Plus précisément, l'unité de traitement d'images 15 est programmée pour mettre en œuvre les étapes suivantes : b1 ) détecter au moins une des mains du conducteur dans ladite image reçue de l'unité de capture d'images 1 1 , et
b2) détecter la présence dudit objet de distraction dans la main du conducteur afin de déduire l'état d'occupation de la main du conducteur.
La suite de la description est basée sur la détection d'une main du conducteur. Bien entendu, le même principe pourra être appliqué à l'autre main du conducteur.
L'unité de traitement d'images 15 comprend à cet effet des moyens de traitement programmés pour détecter l'image de la main du conducteur dans l'image capturée par l'unité de capture d'images 1 1 , ainsi que la présence de l'objet de distraction dans cette main.
Plus précisément, l'unité de traitement d'images 15 est programmée pour mettre en œuvre l'étape b1 ) selon les sous-étapes suivantes :
- détecter au moins une partie d'un bras du conducteur, dans l'image reçue l'unité de capture d'images, et
- déduire la position, dans ladite image reçue de l'unité de capture d'images, de la main du conducteur à partir du lieu de détection de la partie du bras du conducteur dans cette même image.
En pratique, les moyens de traitement de l'unité de traitement 15 sont programmés pour identifier, parmi les points du nuage de points, ceux associés à l'image du bras ou de l'avant bras du conducteur.
La reconnaissance de la forme du bras ou de l'avant bras du conducteur (étape b1 )) est ici basée sur un algorithme de reconnaissance de forme.
A partir du nuage de points, les moyens de traitement sont aussi programmés pour reconnaître des formes caractéristiques d'éléments de l'espace pouvant être présents dans la zone de détection D, tels qu'une partie du levier de vitesse 2, une partie du volant 3, une partie d'un accoudoir, etc. La « forme » des éléments de l'espace correspond ici à son enveloppe externe. La détection de ces éléments de l'espace peut faciliter la détection du bras du conducteur.
A partir de l'identification du bras ou de l'avant bras du conducteur, les moyens de traitement de l'unité de traitement 15 identifient une portion du nuage de points dans laquelle la main du conducteur est susceptible de se trouver. La reconnaissance de la forme de la main est ici basée sur un algorithme de forme, réalisée avec la portion déterminée du nuage de points. Les moyens de traitement sont aussi programmés pour identifier au moins deux régions différentes dans ladite image tridimensionnelle capturée par l'unité de capture d'images 1 1 , par exemple une première région formée par les images des points les plus proches du capteur (premier plan) et une deuxième région formée par les images des points les plus éloignés du capteur (second plan), et pour reconnaître la forme du bras ou de l'avant bras du conducteur 4 dans ces régions.
Ainsi, les moyens de traitement sont adaptés à déterminer la localisation du bras du conducteur, puis à en déduire la localisation de la main du conducteur dans l'espace réel de la zone de détection D.
Par ailleurs, l'unité de traitement d'images 15 est programmée pour mettre en œuvre l'étape b2) selon les sous-étapes suivantes :
- détecter la présence d'un objet quelconque dans la main du conducteur, et
- déterminer la nature dudit objet détecté dans la main du conducteur, afin de déduire l'état d'attention du conducteur.
Ainsi, les moyens de traitement sont aussi programmés pour identifier la nature des objets détectés, en fonction de la forme reconnue au niveau du lieu estimé de la main dans l'image.
En pratique, l'unité de traitement 15 est programmée pour déduire l'état d'occupation de la main du conducteur, en fonction de la forme reconnue au niveau de la main du conducteur dans l'image tridimensionnelle.
Cette forme reconnue peut être celle associée à un objet de distraction un téléphone portable, à un verre ou une tasse, à un livre, à une carte routière, etc, ou celle d'éléments toujours présents dans la zone de détection D,
En variante, il serait aussi possible de déduire l'état d'occupation de la main du conducteur en fonction de la distance entre la main et les éventuels objets détectés, dans l'image capturée.
Plus précisément, l'unité de traitement d'images 15 est programmée pour déterminer que la main du conducteur est dans un état occupé lorsqu'il est très probable, compte tenu de la forme reconnue au niveau de la main du conducteur dans l'image tridimensionnelle, que le conducteur tienne cet objet de distraction avec sa main.
En variante, l'unité de traitement d'images pourrait être programmée pour déterminer que la main est dans un état occupé lorsque la distance entre la main et l'objet de distraction, dans l'image tridimensionnelle capturée, est inférieure à une valeur seuil prédéterminée.
Au contraire, elle est programmée pour déterminer que la main du conducteur est dans un état libre lorsqu'il est improbable, compte tenu de la forme reconnue au niveau de la main du conducteur, que le conducteur tienne un objet de distraction avec cette main.
En variante, l'unité de traitement d'images pourrait être programmée pour déterminer que la main est dans un état libre lorsque la distance entre la main et l'objet de distraction détecté, dans l'image tridimensionnelle capturée, est supérieure à une valeur seuil prédéterminée.
Lorsque sa main est dans cet état libre, le conducteur peut réagir plus vite sur les organes manuels de conduite du véhicule, tels que le volant, des clignotants, le klaxon, les feux de détresse, ou encore le levier de vitesse, en cas de besoin.
Le dispositif selon l'invention est ainsi adapté à déterminer que l'état d'attention global du conducteur est plus faible lorsque sa main est dans un état occupé que lorsqu'elle est dans un état libre.
En variante, toujours selon ce premier mode de réalisation du dispositif selon l'invention, au lieu de mettre en œuvre les étapes b1 ), et b2), l'unité de traitement d'images 15 comprend des moyens de traitement incluant un réseau de neurones entraînés pour reconnaître directement l'état d'occupation de la main, voire l'état d'attention du conducteur, à partir d'une image de la zone de détection D.
En pratique, le réseau de neurones est entraîné préalablement à son utilisation dans le dispositif 10 selon l'invention.
Pour ce faire, le réseau de neurones est alimenté en entrée par une pluralité d'images de la zone de détection D dans lesquelles la main est dans un état libre (c'est-à-dire que la main est vide de tout objet de distraction, ou tient un organe de conduite du véhicule à la main) et on indique au réseau de neurones que pour ses images, l'état de la main est libre. Selon le même principe, on alimente aussi le réseau de neurones par une pluralité d'images de la zone de détection D dans lesquelles la main est dans un état occupé (c'est-à-dire qu'elle tient un objet de distraction), et on indique au réseau de neurones que pour ses images, l'état de la main est occupé.
Une fois entraîné, le réseau de neurones recevant ensuite en entrée l'image de la zone de détection D capturée par l'unité de capture d'images 1 1 , est programmé pour donner en sortie, l'état libre ou occupée de la main du conducteur, voire directement l'état d'attention élevé (si la main est dans un état libre) ou faible du conducteur (si la main est dans un état occupé).
Selon un deuxième mode de réalisation du dispositif 10 selon l'invention, représenté sur la figure 2 à la fois en trait plein et trait pointillé, l'unité de capture d'images 1 1 comprend au moins
- un capteur 12 (en trait plein sur la figure 2) adapté à capturer au moins une image d'une première nature comportant un premier type d'informations relatives aux éléments de l'espace contenus dans la zone de détection D, et
- un capteur 13 (en trait pointillé sur la figure 2) adapté à capturer au moins une image d'une deuxième nature distincte de la première nature, comportant un second type d'informations relatives aux éléments de l'espace contenus dans la zone de détection D.
Comme dans le premier mode de réalisation, les éléments de l'espace contenus dans la zone de détection D comprennent notamment la main du conducteur et/ou l'objet de distraction dont on souhaite détecter la présence. Ils peuvent aussi comprendre les éléments de l'environnement du conducteur naturellement présents dans la zone de détection D, tels que le volant, le levier de vitesse ou encore l'accoudoir d'un des sièges.
En pratique, l'unité de capture d'images 1 1 comprend soit un unique capteur (non représenté) adapté à capturer à la fois les images de première et deuxième natures, soit au moins deux capteurs 12, 13 distincts adaptés à capturer respectivement les images de première et deuxième natures.
Lorsque l'unité de capture d'images 1 1 comprend deux capteurs 12, 13 distincts, il est envisageable qu'ils soient disposés au même endroit dans l'habitacle du véhicule 1 , par exemple dans le plafonnier, derrière le volant 3, ou encore dans une région centrale de la planche de bord tels que précédemment décrits. Il est aussi envisageable que chaque capteur distinct soit disposé à un endroit différent de l'habitacle du véhicule, notamment parmi les endroits précédemment décrits.
Les images de première et deuxième natures sont choisies parmi : - une image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, d'au moins une partie des éléments de l'espace contenus dans la zone de détection D, c'est-à-dire ici au moins de l'objet de distraction et/ou de la main du conducteur,
- une image bidimensionnelle comportant des informations relatives à la luminance d'au moins une partie des éléments contenus dans la zone de détection D, c'est-à-dire au moins de l'objet de distraction et/ou de la main du conducteur, et,
- une image thermique comportant des informations relatives à la température d'au moins une partie des éléments contenus dans la zone de détection D, c'est-à-dire au moins de l'objet de distraction et/ou de la main du conducteur.
Pour capturer une image tridimensionnelle, le capteur 12, 13 peut être un de ceux décrits précédemment dans le premier mode de réalisation du dispositif 10, à savoir un capteur à temps de vol, un capteur stéréoscopique, ou encore un capteur à lumière structurée.
Ce type de capteur peut dans certains cas être aussi adapté à capturer des images bidimensionnelles.
Un capteur classique de type photographique, ou une caméra, est aussi capable de capturer des images bidimensionnelles.
Les images bidimensionnelles sont des images donnant des informations sur la luminance des éléments présents dans la zone de détection D, y compris de la main et de l'avant bras du conducteur. De façon classique, les images bidimensionnelles comprennent des pixels représentant des régions de la zone de détection D, c'est-à-dire qu'un pixel correspond à l'image d'une région de la zone de détection D. Chaque pixel est plus ou moins lumineux en fonction de la luminance correspondante de la région de la zone de détection D qu'il représente. Ici, les images bidimensionnelles sont en noir et blanc, mais on pourrait aussi avoir des images bidimensionnelles en couleur, auquel cas chaque pixel représenterait la chrominance de chaque région correspondante de la zone de détection.
Grâce aux images bidimensionnelles donnant des détails sur la zone de détection D, il est ainsi plus facile pour l'unité de traitement d'images 15 de reconnaître la nature des objets compris dans la zone de détection D que lorsque les seules images tridimensionnelles sont traitées.
Cela est par exemple grâce à des algorithmes de reconnaissance de forme classiques.
Pour capturer des images thermiques, le capteur peut être une caméra thermique, par exemple une caméra infra rouge à longueur d'ondes élevées (ou caméra LWIR selon l'acronyme anglais « Long Wave InfraRed »).
L'intensité lumineuse des pixels des images thermiques dépend de la température des régions de la zone de détection D correspondant à chaque pixel : plus la température est élevée plus le pixel est lumineux, moins la température est élevée, plus le pixel est sombre.
Ainsi, par exemple, l'avant bras et la main du conducteur seront représentés par des pixels lumineux, de même que la batterie du téléphone portable, ou encore une tasse remplie de liquide chaud. Au contraire, le levier de vitesse, un livre ou encore une carte routière seront représentés par des pixels plus sombres.
Ainsi, grâce aux images thermiques, il est aussi plus facile pour l'unité de traitement de reconnaître la nature des éléments de l'espace compris dans la zone de détection D, et notamment de discerner l'avant bras du conducteur terminé par la main du conducteur du reste de ces éléments de l'espace.
En complément ou en variante du deuxième mode de réalisation du dispositif 10 selon l'invention, l'unité de capture d'images 1 1 peut en outre comprendre au moins un capteur adapté à capturer une image d'une troisième nature, distincte desdites première et deuxième natures, comportant un troisième type d'informations relatives aux éléments de l'espace contenus dans la zone de détection D.
De façon préférentielle, l'unité de capture d'images 1 1 comprendra dans ce cas au moins deux capteurs distincts, éventuellement disposé à des endroits différents de l'habitacle du véhicule, pour capturer les images de première, deuxième et troisième natures.
L'image de troisième nature est choisie parmi les images décrites précédemment, à savoir une image tridimensionnelle, une image bidimensionnelle ou une image thermique. Les capteurs décrits précédemment sont par exemple utilisés.
Selon cette variante, l'unité de traitement d'images 15 prend en compte au moins trois images de natures différentes, à savoir une image tridimensionnelle, une image bidimensionnelle et une image thermique, pour déterminer l'état d'occupation de la main du conducteur.
Selon le deuxième mode de réalisation du dispositif selon l'invention, quelle que soit la variante envisagée, c'est-à-dire que l'unité de capture d'images 1 1 capture des images de deux ou trois natures différentes, l'unité de traitement d'images 15 est programmée pour mettre en œuvre les étapes b1 ) et b2) explicitées précédemment, à savoir :
b1 ) localiser ladite main du conducteur dans au moins une desdites images reçues de l'unité de capture d'images 1 1 ,
b2) détecter un objet de distraction dans la main du conducteur 4 afin de déduire l'état d'occupation de la main du conducteur, puis l'état d'attention du conducteur.
A cet effet, l'unité de traitement d'images 15 comprend des moyens de traitement programmés pour mettre en œuvre les étapes b1 ) et b2) selon une mise en œuvre dite séquentielle ou selon une mise en œuvre dite concourante.
Il est en outre possible d'envisager que les étapes b1 ) et b2) soient réalisées à partir d'une ou deux images de même nature.
Cependant, il est avantageux d'utiliser pour réaliser ces étapes des images de natures différentes qui donnent accès à différentes informations sur la zone de détection.
On envisage de manière générale, soit de réaliser l'une des étapes b1 ) et b2) à partir d'une ou plusieurs images d'une première nature et de réaliser l'autre étape b1 ) ou b2) à partir d'une ou plusieurs images d'une même nature, différente de la première nature, soit de réaliser au moins l'une des deux étapes b1 ) et b2) à partir de plusieurs images de différentes natures, soit de réaliser chaque étape b1 ) et b2) à partir de plusieurs images de différentes natures. La combinaison de plusieurs images de différentes natures pour réaliser les étapes b1 ) et/ou b2) permet d'améliorer la précision de la détection de la main et/ou de l'objet de distraction.
Exemple de mise en œuyre séquentielle
Pour plus de clarté, la mise en œuvre séquentielle est décrite dans le cas où l'unité de capture d'images 1 1 capture des images de deux natures différentes. Bien entendu, le même principe pourra être appliqué lorsqu'elle capture des images de trois natures différentes.
Selon cet exemple de la mise en œuvre séquentielle, l'unité de traitement d'images 15 met en œuvre l'étape b1 ) à partir d'au moins une première image capturée de première nature, et l'étape b2) à partir d'au moins une deuxième image capturée de nature différente de la première nature.
En pratique, la première image de première nature est par exemple l'une des images tridimensionnelles capturées par l'unité de capture d'images 1 1 . Les moyens de traitement sont programmés pour segmenter cette image tridimensionnelle, c'est-à-dire pour identifier au moins deux régions différentes dans ladite image tridimensionnelle, et pour reconnaître la forme de l'avant bras ou du bras du conducteur 4 dans chacune de ces régions, tel que cela a été décrit dans le premier mode de réalisation du dispositif 10, et pour en déduire la position de la main du conducteur, logiquement à l'extrémité du bras reconnu.
Les deux régions précitées correspondent par exemple, comme mentionné précédemment, à une région proche et à une région éloignée du capteur.
Il est avantageux de reconnaître une partie du bras (par exemple l'avant bras) du conducteur à partir de l'image tridimensionnelle car il est ainsi possible de connaître la région, proche ou lointaine par rapport au capteur, dans laquelle se situe le bras du conducteur.
Après avoir localisé la main du conducteur au moyen de la première image tridimensionnelle, les moyens de traitement de l'unité de traitement d'images 15 sont programmés pour détecter la présence éventuelle d'un objet dans la main du conducteur au moyen de la deuxième image de deuxième nature capturée par l'unité de capture d'images 1 1 . A cet effet, les moyens de traitement de l'unité de traitement d'images 15 sont programmés pour reconnaître la forme caractéristique d'objets possiblement présents dans la zone de détection D, au niveau de la position de la main telle qu'évaluée comme expliqué ci-dessus, à partir des images bidimensionnelles et/ou thermiques.
Les moyens de traitement sont ensuite programmés pour déterminer, en combinant les informations des première et deuxième images (de première et deuxième natures) si un objet est présent dans la main du conducteur ou non et, dans l'affirmative, pour déterminer la nature de cet objet afin d'estimer s'il s'agit d'un objet de distraction (ou d'un organe de conduite). Lorsqu'aucune image d'objet n'est détectée dans la deuxième image (de deuxième nature) capturée par l'unité de capture d'images 1 1 , c'est-à-dire qu'aucun objet n'est présent dans la zone de détection D, l'unité de traitement d'images 15 est programmée pour déterminer que la main est dans un état libre.
Lorsqu'au moins un objet est détecté dans la deuxième image (de deuxième nature) capturée par l'unité de capture d'images 1 1 , l'unité de traitement 15 est programmée pour identifier la nature de l'objet détecté.
L'unité de traitement d'images 15 est alors programmée pour déterminer que la main est dans un état occupé si l'objet détecté est un objet de distraction (et pour déterminer que la main est dans un état libre, au sens disponible pour la conduite, si l'objet détecté est un organe de conduite).
Bien entendu, comme dans le premier mode de réalisation du dispositif, la forme reconnue au niveau de la main dans les images de première et deuxième nature permet de confirmer la probabilité qu'elle tienne un objet de distraction, ou de réduire fortement cette probabilité. La forme du contour de la main peut ainsi être prise en compte par l'unité de traitement d'images 15 pour la détermination de l'état d'occupation de la main.
De manière avantageuse, la mise en œuvre séquentielle permet d'utiliser les informations les plus pertinentes de chacune des images de première et de deuxième nature, en fonction de l'étape à accomplir.
Bien entendu, en pratique, il serait possible de réaliser la mise en œuvre séquentielle en utilisant les images thermiques ou bidimensionnelles comme image de première nature, et les images tridimensionnelles, bidimensionnelles ou thermiques comme image de deuxième nature pour autant qu'elles soient choisies de nature distincte de la première nature.
Il serait encore possible d'utiliser les images de troisième nature pour faciliter l'étape de reconnaissance de forme de la main et/ou de l'avant bras du conducteur, et/ou pour faciliter l'étape de détection de l'objet dans la zone de détection D.
Exemple de mise en œuyre concourante
Selon la mise en œuvre concourante, l'unité de traitement d'images 15 met en œuvre les étapes b1 ) et b2) à partir de chaque image reçue de l'unité de capture d'images 1 1 , et met en œuvre une étape supplémentaire selon laquelle elle détermine un indice de confiance associé à la détection de la présence de l'objet dans la main du conducteur en fonction duquel elle déduit l'état d'occupation de la main du conducteur.
Plus précisément, l'unité de traitement d'images 15 met en œuvre les étapes b1 ) et b2) indépendamment pour chacune des images de première, deuxième et troisième natures.
En pratique, les étapes b1 ) et b2) sont mises en œuvre avec les images tridimensionnelles tel que cela a été décrit dans le cas du premier mode de réalisation du dispositif 10 selon l'invention.
Pour les images bidimensionnelles et thermiques, les moyens de traitement de l'unité de traitement d'images 15 sont programmés pour identifier, parmi les pixels de chaque image, ceux associés à l'image de la main et/ou à l'image de l'avant bras du conducteur, et ceux associés à l'image d'un objet de distraction éventuellement présent dans la zone de détection D, à partir d'algorithmes de reconnaissance de forme propres auxdites images thermiques et bidimensionnelles. En fonction de la localisation de la main et de la détection éventuelle d'un objet de distraction dans la main ainsi localisée, l'unité de traitement d'images 15 est programmée pour déduire l'état d'occupation de la main du conducteur dans ces images.
A l'issu du traitement de chaque image de première, deuxième et éventuellement troisième natures, l'unité de traitement d'images 15 détermine l'indice de confiance du traitement, c'est-à-dire détermine si le traitement a conduit à un résultat, et si ce résultat est sûr, ou s'il est plutôt aléatoire.
Par exemple, en modélisant une main par une paume et cinq doigts chacun composé de trois phalanges, l'indice de confiance est au maximum si on reconnaît la paume et cinq doigts dans l'image ; l'indice est inférieur lorsque moins d'éléments sont reconnus, par exemple lorsque l'on reconnaît la paume et deux doigts seulement.
L'unité de traitement d'images 15 détermine l'état d'occupation (occupé ou libre) réel de la main du conducteur à partir de l'image dont le traitement a conduit à l'indice de confiance le plus élevé, c'est-à-dire dont le résultat est le plus sûr.
En variante, toujours selon le deuxième mode de réalisation du dispositif selon l'invention, au lieu de mettre en œuvre les étapes b1 ) et b2) de façon concourante ou séquentielle, l'unité de traitement d'images 15 comprend des moyens de traitement incluant un réseau de neurones entraînés pour reconnaître directement l'état d'occupation de la main à partir d'une image de la zone de détection D.
En pratique, le réseau de neurones est entraîné préalablement à son utilisation dans le dispositif selon l'invention selon le même principe que ce qui a été décrit dans le cas du premier mode de réalisation, si ce n'est qu'il est entraîné avec des images de première, deuxième et éventuellement troisième natures.
Le réseau de neurones ainsi entraîné est ainsi adapté à recevoir en entrée des images de première, deuxième, et éventuellement de troisième natures, pour déterminer l'état d'occupation de la main du conducteur.
Avantageusement, le fait d'utiliser des images de natures différentes en entrée du réseau de neurones permet d'augmenter la fiabilité du résultat donné en sortie dudit réseau de neurones.
Le dispositif selon l'invention trouve enfin une application particulièrement utile dans un système embarqué 100 pour véhicule comportant
- le dispositif selon l'invention, adapté à déterminer l'état d'occupation d'au moins une des mains du conducteur 4 présente dans la zone de détection D,
- une unité de conduite autonome 50 dudit véhicule 1 programmée pour commander des organes de conduite dudit véhicule indépendamment du conducteur, et
- une unité de décision (non représentée) programmée autoriser le conducteur 4 à commander au moins en partie les organes de conduite du véhicule 1 en cas de détermination d'un état libre la main du conducteur et/oupour alerter le conducteur en cas de détermination d'un état occupé de la main du conducteur, et/ou pour faire basculer la conduite autonome dans un mode sécurisé.
Ici, les organes de conduite regroupent notamment le volant 3, les pédales d'accélération et de freinage, le levier de vitesse, les clignotants, les phares, les essuie-glaces. Ainsi, les organes de conduite du véhicule regroupent l'ensemble des éléments du véhicule utilisés pour la conduite.
L'unité de conduite autonome 50 est adaptée à commander les différents organes de conduite de manière que ledit véhicule est conduit sans intervention du conducteur.
Dans cette situation, le conducteur est autorisé à être dans un état de vigilance insuffisant, c'est-à-dire à être distrait, et il est possible qu'il lise un livre ou regarde son téléphone portable sans danger pour la conduite.
Il arrive parfois que le conducteur veuille reprendre au moins partiellement la main sur les organes de conduite (ou que l'unité de conduite autonome 50 requiert une telle reprise en main par le conducteur, par exemple à cause des conditions de circulation). Dans ce cas, l'unité de décision est programmée pour autoriser le conducteur à commander au moins partiellement les organes de conduite uniquement lorsque son état d'attention global est élevé, en particulier lorsque l'une de ses mains au moins est dans un état libre.
Au contraire, lorsqu'au moins une de ses mains est dans un état occupé
(ou en variante lorsque ces deux mains sont dans un état occupé), l'unité de décision n'autorise pas une reprise en main par le conducteur, mais peut par exemple commander l'affichage d'un message d'alerte destiné au conducteur pour l'inciter à être attentif et/ou faire basculer la conduite autonome dans un mode sécurisé dans lequel l'unité de conduite autonome 50 commande par exemple le stationnement du véhicule sur le bas côté (ou sur la bande d'arrêt d'urgence) .
Procédé
Sur la figure 3, on a représenté sous forme d'organigramme les étapes principales du procédé mis en œuvre par le dispositif selon l'invention.
Le procédé selon l'invention de détermination de l'état d'occupation d'au moins une des mains du conducteur du véhicule, comprend des étapes selon lesquelles :
a) l'unité de capture d'images 1 1 embarquée dans ledit véhicule 1 capture au moins une image de la zone de détection D située dans ledit véhicule 1 ,
b) l'unité de traitement d'images 15 reçoit ladite image capturée et détermine l'état d'occupation d'une main du conducteur 4 située dans la zone de détection D, en fonction de la détection de la présence d'un objet de distraction dans ladite main.
Plus précisément, à l'étape a) (bloc E1 de la figure 3), l'unité de capture d'images 1 1 du dispositif 10 selon l'invention capture au moins une image d'une première nature de la zone de détection D.
De préférence, elle capture deux voire trois images, de même nature ou de natures différentes, de la zone de détection D, de préférence de natures différentes.
De préférence, chaque image de nature différente est capturée à un instant donné, c'est-à-dire que toutes les images sont capturées simultanément par l'unité de capture d'images 1 1 ou dans un intervalle de temps relativement court, notamment bien inférieur à une minute. Ceci permet de garantir que la situation analysée n'a pas changée entre les captures des images de différentes natures.
A l'étape b), l'unité de traitement d'images 15 reçoit la ou les images capturées à l'étape a).
Selon une première mise en œuvre possible du procédé selon l'invention utilisant le dispositif 10 du premier ou deuxième mode de réalisation selon l'invention, représentée par la voie (1 ) sur la figure 3, l'unité de traitement d'images 15 met en œuvre les étapes décrites précédemment, à savoir
- détecter au moins une partie du bras du conducteur dans au moins une image reçue (bloc F1 ) ;
- localiser la main du conducteur dans ladite ou lesdites images reçues de l'unité de capture d'images 1 1 (bloc F2), en fonction ici du lieu de détection de la partie du bras susmentionnée,
- détecter la présence dudit objet de distraction dans la main du conducteur afin de déduire l'état d'occupation de la main du conducteur (bloc F3).
Lorsque deux images de natures différentes sont capturées à l'étape a), par l'unité de capture d'images 1 1 selon le deuxième mode de réalisation du dispositif 10 selon l'invention, la mise en œuvre de l'étape b) peut être séquentielle ou concourante, tel que cela a été décrit précédemment.
Selon une deuxième mise en œuvre possible du procédé selon l'invention utilisant les variantes des premier et deuxième modes de réalisation du dispositif 10 dans lequel l'unité de traitement d'images 15 comprend un réseau de neurones entraînés, représentée par la voie (2) sur la figure 3, ladite unité de traitement d'images 15 reconnaît directement l'état d'occupation de la main à partir des images reçue de l'unité de capture d'images 1 1 (bloc G de la figure 3).
Quelle que soit la mise en œuvre du procédé envisagée, à l'étape b), l'unité de traitement d'images 15 envoie l'état d'occupation de la main du conducteur aux dispositifs du véhicule le requérant (bloc E2 de la figure 3), notamment à l'unité de décision en cas de véhicule autonome, ou à un dispositif de surveillance du conducteur existant du véhicule.
On pourrait aussi envisager que le dispositif selon l'invention informe le conducteur de l'état occupé d'au moins une de ses mains, de manière à inciter celui-ci à se reconcentrer sur sa conduite.
De manière avantageuse, il est en outre prévu une étape supplémentaire selon laquelle on détermine un état d'attention global du conducteur prenant en compte l'état d'occupation de la main du conducteur et/ou un état de vigilance du conducteur déterminé par d'autres moyens connus.
Avantageusement, dans le cas des véhicules autonomes, dans une situation où les organes de conduite dudit véhicule sont commandés indépendamment du conducteur, il est en outre prévu une étape selon laquelle on autorise le conducteur à commander au moins en partie les organes de conduite du véhicule en cas de détermination d'un état libre de la main du conducteur et/ou en cas de détermination d'un état occupé de la main du conducteur, on alerte le conducteur et/ou on fait basculer la conduite autonome dans un mode sécurisé.
Le dispositif, le système et le procédé selon l'invention sont particulièrement avantageux dans les situations de conduite partiellement ou complètement autonomes, pendant lesquelles le conducteur est autorisé à relâcher son attention, c'est-à-dire à présenter un état de vigilance insuffisant. La position du conducteur dans ses situations peut être modifiée au point qu'il ne se situe plus en face d'un éventuel dispositif de surveillance adapté à capturer une image de sa tête pour évaluer son niveau de vigilance. Il est alors très utile de déterminer l'état d'occupation des mains du conducteur pour appréhender son état d'attention global.
En outre, l'invention permet de fournir des informations complémentaires à celles déjà fournies par un éventuel dispositif de surveillance du conducteur.
Enfin, l'invention s'applique à tout type de véhicule, y compris aux véhicules de transport tels que les bateaux, les camions, les trains.

Claims

REVENDICATIONS
1 . Dispositif (10) de détermination d'un état d'attention d'un conducteur de véhicule (1 ) comportant :
- une unité de capture d'images (1 1 ) embarquée dans ledit véhicule (1 ), ladite unité de capture d'images (1 1 ) étant adaptée à capturer au moins une image d'une zone de détection (D) située dans ledit véhicule (1 ), et
- une unité de traitement d'images (15) adaptée à recevoir ladite image capturée et programmée pour déterminer l'état d'attention du conducteur (4), en fonction de la détection de la présence d'un objet de distraction dans une des mains du conducteur (4) située dans la zone de détection (D).
2. Dispositif (10) selon la revendication 1 , dans lequel l'unité de capture d'images (1 1 ) comprend au moins un capteur (12, 13) adapté à capturer une image tridimensionnelle de la zone de détection (D), ladite image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur (12, 13), au moins dudit objet de distraction ou de ladite main située dans la zone de détection (D).
3. Dispositif (10) selon la revendication 1 , dans lequel l'unité de capture d'images (1 1 ) comprend au moins
- un capteur (12) adapté à capturer au moins une image d'une première nature comportant un premier type d'informations relatives audit objet de distraction ou à ladite main située dans la zone de détection (D), et
- un capteur (13) adapté à capturer au moins une image d'une deuxième nature distincte de la première nature, comportant un second type d'informations relatives audit objet de distraction ou à ladite main située dans la zone de détection (D).
4. Dispositif (10) selon la revendication 3, dans lequel l'image de première nature est choisie parmi : une image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur (12, 13), au moins dudit objet de distraction ou de ladite main située dans la zone de détection (D), une image bidimensionnelle comportant des informations relatives à la luminance au moins dudit objet de distraction ou de ladite main située dans la zone de détection (D), et une image thermique comportant des informations relatives à la température au moins dudit objet de distraction ou de ladite main située dans la zone de détection (D).
5. Dispositif (10) selon l'une des revendications 3 et 4, dans lequel l'unité de capture d'images (1 1 ) comprend en outre au moins un capteur adapté à capturer une image d'une troisième nature distincte desdites première et deuxième natures, comportant un troisième type d'informations relatives audit objet de distraction ou à ladite main située dans la zone de détection (D).
6. Dispositif (10) selon la revendication 5, dans lequel l'image de troisième nature est choisie parmi : une image tridimensionnelle comportant des informations relatives à la distance, par rapport audit capteur, au moins dudit objet de distraction ou de ladite main située dans la zone de détection, une image bidimensionnelle comportant des informations relatives à la luminance au moins dudit objet de distraction ou de ladite main située dans la zone de détection, et une image thermique comportant des informations relatives à la température au moins dudit objet de distraction ou de ladite main située dans la zone de détection.
7. Dispositif (10) selon l'une des revendications 1 à 6, dans lequel l'unité de traitement d'images (15) est programmée pour mettre en œuvre les étapes suivantes :
b1 ) localiser (F1 , F2) ladite main du conducteur (4) dans ladite image reçue de l'unité de capture d'images (1 1 ),
b2) détecter (F3) la présence dudit objet de distraction dans ladite main du conducteur (4) afin de déduire l'état d'attention du conducteur (4).
8. Dispositif (10) selon la revendication 7, dans lequel l'unité de traitement d'images (15) est programmée pour mettre en œuvre l'étape b1 ) selon les sous-étapes suivantes :
- détecter (F1 ) au moins une partie d'un bras du conducteur, dans l'image reçue de l'unité de capture d'images, et
- déduire (F2) la position, dans ladite image reçue de l'unité de capture d'images, de ladite main du conducteur à partir du lieu de détection de la partie du bras du conducteur dans l'image reçue de l'unité de capture d'images.
9. Dispositif (10) selon l'une des revendications 7 et 8, dans lequel l'unité de traitement d'images (15) est programmée pour mettre en œuvre l'étape b2) selon les sous-étapes suivantes :
- détecter la présence d'un objet quelconque dans la main du conducteur, et
- déterminer la nature dudit objet détecté dans la main du conducteur, afin de déduire l'état d'attention du conducteur.
10. Dispositif (10) selon l'une des revendications 7 à 9 prises dans la dépendance de l'une des revendications 3 à 6, dans lequel l'unité de traitement d'images (15) met en œuvre l'étape b1 ) à partir de l'image de première nature, et l'étape b2) à partir de l'image de nature distincte de la première nature.
1 1 . Dispositif (10) selon l'une des revendications 7 à 9, dans lequel l'unité de traitement d'images (15) met en œuvre les étapes b1 ) et b2) à partir de chaque image reçue de l'unité de capture d'images (1 1 ), et met en œuvre une étape supplémentaire selon laquelle elle détermine un indice de confiance associé à la détection de la présence de l'objet de distraction dans la main du conducteur (4) en fonction duquel elle déduit l'état d'attention du conducteur (4).
12. Dispositif (10) selon l'une des revendications 1 à 6, dans lequel l'unité de traitement d'images (15) comprend des moyens de traitement utilisant un réseau de neurones entraîné pour déterminer l'état d'attention du conducteur à partir de l'image de la zone de détection (D) capturée par l'unité de capture d'images (1 1 ).
13. Système embarqué (100) pour véhicule comportant :
- un dispositif (10) selon l'une des revendications 1 à 12, adapté à déterminer l'état d'attention d'un conducteur (4),
- une unité de conduite autonome (50) dudit véhicule (1 ) programmée pour commander des organes de conduite dudit véhicule (1 ) indépendamment du conducteur, et
- une unité de décision programmée pour autoriser le conducteur à commander au moins en partie les organes de conduite du véhicule en cas de détermination d'un état libre de la main du conducteur.
14. Procédé de détermination d'un état d'attention d'un conducteur (4) de véhicule (1 ), selon lequel
a) une unité de capture d'images (1 1 ) embarquée dans ledit véhicule (1 ) capture au moins une image d'une zone de détection (D) située dans ledit véhicule,
b) une unité de traitement d'images (15) reçoit ladite image capturée et détermine l'état d'attention du conducteur, en fonction de la détection de la présence d'un objet de distraction dans une des mains du conducteur située dans la zone de détection (D).
PCT/EP2018/054586 2017-03-03 2018-02-23 Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé WO2018158163A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18708630.1A EP3590071A1 (fr) 2017-03-03 2018-02-23 Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé
US16/490,767 US11170241B2 (en) 2017-03-03 2018-02-23 Device for determining the attentiveness of a driver of a vehicle, on-board system comprising such a device, and associated method
CN201880015472.0A CN110383290B (zh) 2017-03-03 2018-02-23 用于确定车辆驾驶员注意力的装置，包括这种装置的车载系统以及相关方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1700222A FR3063557B1 (fr) 2017-03-03 2017-03-03 Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
FR17/00222 2017-03-03

Publications (1)

Publication Number Publication Date
WO2018158163A1 true WO2018158163A1 (fr) 2018-09-07

Family

ID=58645179

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/054586 WO2018158163A1 (fr) 2017-03-03 2018-02-23 Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé

Country Status (5)

Country Link
US (1) US11170241B2 (fr)
EP (1) EP3590071A1 (fr)
CN (1) CN110383290B (fr)
FR (1) FR3063557B1 (fr)
WO (1) WO2018158163A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111845757A (zh) * 2019-04-30 2020-10-30 通用汽车环球科技运作有限责任公司 分心驾驶消除系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
FR3085927B1 (fr) * 2018-09-18 2023-04-14 Valeo Comfort & Driving Assistance Dispositif, systeme et procede de detection de la distraction d'un conducteur
KR102612925B1 (ko) * 2018-10-18 2023-12-13 주식회사 에이치엘클레무브 차량 긴급 제어 장치
US11447140B2 (en) * 2020-10-20 2022-09-20 Toyota Motor Engineering & Manufacturing North America, Inc. Cognitive tunneling mitigation device for driving
JP2023550078A (ja) * 2020-11-23 2023-11-30 ソニーセミコンダクタソリューションズ株式会社 飛行時間型物体検出回路および飛行時間型物体検出方法
US11779275B2 (en) 2021-08-05 2023-10-10 Phoeb-X, Inc. Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
CN114005105B (zh) * 2021-12-30 2022-04-12 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备
US20240089579A1 (en) * 2022-09-09 2024-03-14 Immervision, Inc. Optical system with localized magnification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
WO2014128273A1 (fr) * 2013-02-21 2014-08-28 Iee International Electronics & Engineering S.A. Système de surveillance d'occupant basé sur un dispositif d'imagerie prenant en charge de multiples fonctions

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US20030117275A1 (en) * 2001-10-25 2003-06-26 Watkins D. Scott Apparatus for detecting potential tire failure
US7646312B2 (en) * 2006-08-11 2010-01-12 Michael Rosen Method and system for automated detection of mobile telephone usage by drivers of vehicles
JP4922715B2 (ja) * 2006-09-28 2012-04-25 タカタ株式会社 乗員検出システム、警報システム、制動システム、車両
JP4420081B2 (ja) * 2007-08-03 2010-02-24 株式会社デンソー 行動推定装置
WO2012128952A2 (fr) * 2011-03-18 2012-09-27 Battelle Memorial Institute Appareils et procédés pour déterminer si une personne utilisant un équipement possède une charge cognitive élevée
JP5505434B2 (ja) * 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
JP2013225205A (ja) * 2012-04-20 2013-10-31 Denso Corp 喫煙検出装置及びプログラム
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP5983575B2 (ja) * 2013-09-27 2016-08-31 株式会社Ｊｖｃケンウッド 操作入力装置、操作入力方法およびプログラム
DE102014202490A1 (de) * 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
CN106068201B (zh) * 2014-03-07 2019-11-01 大众汽车有限公司 用户界面和在手势检测时将输入件3d位置信号化的方法
US9721173B2 (en) * 2014-04-04 2017-08-01 Conduent Business Services, Llc Machine learning approach for detecting mobile phone usage by a driver
US9842266B2 (en) * 2014-04-04 2017-12-12 Conduent Business Services, Llc Method for detecting driver cell phone usage from side-view images
EP2930081B1 (fr) * 2014-04-08 2019-03-27 Volvo Car Corporation Procédé de transition entre des modes d'entraînement
WO2016029939A1 (fr) * 2014-08-27 2016-03-03 Metaio Gmbh Procédé et système pour déterminer au moins une caractéristique d'image dans au moins une image
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US9996756B2 (en) * 2015-08-31 2018-06-12 Lytx, Inc. Detecting risky driving with machine vision
GB2545958B (en) * 2015-10-26 2019-08-28 Active Knowledge Ltd Moveable internal shock-absorbing energy dissipation padding in an autonomous vehicle
US10059347B2 (en) * 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10710608B2 (en) * 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
DE102016206771A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest eines Fahrerinteraktionssystems
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
AU2017283549A1 (en) * 2016-06-13 2019-01-24 Xevo Inc. Method and system for providing behavior of vehicle operator using virtuous cycle
US9928433B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
CN106203385B (zh) * 2016-07-20 2019-07-09 东方网力科技股份有限公司 一种驾驶员手持电话行为检测方法及装置
US20180043829A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Automatic Mirror Setting Via Inward Facing Cameras
US20180096668A1 (en) * 2016-09-30 2018-04-05 Ford Global Technologies, Llc Hue adjustment of a vehicle display based on ambient light
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US11493918B2 (en) * 2017-02-10 2022-11-08 Magna Electronics Inc. Vehicle driving assist system with driver attentiveness assessment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
WO2014128273A1 (fr) * 2013-02-21 2014-08-28 Iee International Electronics & Engineering S.A. Système de surveillance d'occupant basé sur un dispositif d'imagerie prenant en charge de multiples fonctions

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALBERTO FERNÁNDEZ ET AL: "Driver Distraction Using Visual-Based Sensors and Algorithms", SENSORS, vol. 16, no. 12, 28 October 2016 (2016-10-28), pages 1805, XP055417621, DOI: 10.3390/s16111805 *
BERRI RAFAEL A ET AL: "A pattern recognition system for detecting use of mobile phones while driving", 2014 INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS (VISAPP), SCITEPRESS, vol. 2, 5 January 2014 (2014-01-05), pages 411 - 418, XP032792102 *
KONDYLI ALEXANDRA ET AL: "Computer Assisted Analysis of Drivers' Body Activity Using a Range Camera", IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE, IEEE, USA, vol. 7, no. 3, 1 October 2015 (2015-10-01), pages 18 - 28, XP011664188, ISSN: 1939-1390, [retrieved on 20150724], DOI: 10.1109/MITS.2015.2439179 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111845757A (zh) * 2019-04-30 2020-10-30 通用汽车环球科技运作有限责任公司 分心驾驶消除系统

Also Published As

Publication number Publication date
US11170241B2 (en) 2021-11-09
CN110383290B (zh) 2023-09-01
CN110383290A (zh) 2019-10-25
FR3063557B1 (fr) 2022-01-14
US20200012872A1 (en) 2020-01-09
EP3590071A1 (fr) 2020-01-08
FR3063557A1 (fr) 2018-09-07

Similar Documents

Publication Publication Date Title
WO2018158163A1 (fr) Dispositf de détermination de l'état d'attention d'un conducteur de véhicule, système embarqué comprenant un tel dispositif, et procédé associé
EP3222467B1 (fr) Dispositif et procede de commande a reconnaissance gestuelle et optionnellement vocale pour l'eclairage interieur d'un vehicule
WO2017097942A1 (fr) Procédé de contrôle d'une fonctionnalité d'un véhicule automobile au moyen d'un terminal mobile
FR3030396A1 (fr) Procede de gestion d'un vehicule autonome ou partiellement autonome et dispositif de signalisation pour sa mise en oeuvre
FR2865307A1 (fr) Dispositif de determination du risque de collision
FR3015700A1 (fr) Systeme et procede de commande de luminosite d'un afficheur tete haute et afficheur utilisant ledit systeme
WO2017174673A1 (fr) Procédé de commande d'affichage automatique d'un pictogramme représentatif de l'imminence d'ouverture d'une portière
FR2942064A1 (fr) Procede et systeme pour alerter un conducteur de vehicule
EP3609742A1 (fr) Dispositif de signalisation lumineuse d'un changement de voie pour véhicule automobile
FR2910408A1 (fr) Procede de vision de nuit sur route.
FR3066158A1 (fr) Procede et systeme d’alerte d’une presence dans un angle mort de vehicule
FR3047961A1 (fr) Dispositif et procede d'aide au changement de voie de circulation pour un vehicule automobile
FR3099104A1 (fr) Dispositif d’observation de rétroviseur extérieur de véhicule
FR3056501A1 (fr) Systeme d'aide a l'identification d'un vehicule automobile et son procede de mise en oeuvre
FR3103052A1 (fr) Procédé d’aide à la conduite d’un véhicule et système d’aide à la conduite associé
FR3061793A1 (fr) Procede et dispositif de surveillance d'un vehicule automobile stationne
EP3867126B1 (fr) Procédé et dispositif d'aide à la conduite d'un véhicule automobile en phase de recul
FR3122391A1 (fr) Procédé et dispositif de détermination d’un état d’attention d’un conducteur d’un véhicule autonome
EP3210813A1 (fr) Procede de presentation d'informations au demarrage d'un vehicule automobile
FR3059813A1 (fr) Systeme d'aide a la conduite d'un vehicule automobile
FR3138894A1 (fr) Procédé et dispositif d’alerte d’un danger par vibration du tapis de sol
FR3068667A1 (fr) Procede d’activation automatique d’une fonction d’un vehicule automobile
FR3097829A1 (fr) Procédé pour activer au moins une fonction concernant la sécurité d’un véhicule
FR3061780A1 (fr) Procede de pilotage d'un afficheur de vehicule automobile, et afficheur correspondant
WO2023002098A1 (fr) Procédé et dispositif de contrôle d'ouverture de porte de véhicule

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18708630

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018708630

Country of ref document: EP