WO2023041285A1 - Procede de selection d'un mode de fonctionnement d'un dispositif de capture d'images pour reconnaissance faciale - Google Patents

Procede de selection d'un mode de fonctionnement d'un dispositif de capture d'images pour reconnaissance faciale Download PDF

Info

Publication number
WO2023041285A1
WO2023041285A1 PCT/EP2022/073131 EP2022073131W WO2023041285A1 WO 2023041285 A1 WO2023041285 A1 WO 2023041285A1 EP 2022073131 W EP2022073131 W EP 2022073131W WO 2023041285 A1 WO2023041285 A1 WO 2023041285A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
value
image capture
mode
capture device
Prior art date
Application number
PCT/EP2022/073131
Other languages
English (en)
Inventor
Norbert Rossello
Original Assignee
Renault S.A.S.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault S.A.S. filed Critical Renault S.A.S.
Publication of WO2023041285A1 publication Critical patent/WO2023041285A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the present invention relates generally to the field of facial recognition.
  • the invention finds a particularly advantageous application in facial recognition within motor vehicles.
  • Facial recognition consists of identifying, or even authenticating, a person by acquiring images of their face and comparing them to a database. Facial recognition allows, for example, a personalized welcome from the driver (temperature, driving settings), making payments (tolls, service stations, on the internet) or giving certain voice commands (opening rear windows). Facial recognition is required to operate continuously while driving, in particular to ensure that we are always dealing with the same driver during a journey.
  • a facial recognition system conventionally comprises an image capture device that can alternate between a mode color image acquisition mode (often an “RGB” mode according to the English acronym “Red-Green-Blue”) and an infrared image acquisition mode.
  • a mode color image acquisition mode often an “RGB” mode according to the English acronym “Red-Green-Blue”
  • the infrared mode although less efficient than the color mode for facial recognition, allows for example the latter to operate satisfactorily even when the ambient light is very low.
  • the infrared mode is generally coupled to an infrared source which has the advantage of being able to illuminate the driver's face, synchronized with the acquisition of the images, without disturbing the driver.
  • the situation of the vehicle in its environment can also generate variations in brightness in the passenger compartment. This is the case, for example, when the vehicle passes through a tunnel or under a bridge, the luminosity then being insufficient to acquire a color image, or when the pixels of the image capture device are directly illuminated by the sun and that this ci then saturates the color image.
  • the image capture device for example when it operates in color mode, can itself be used to detect a change in brightness. For example, it is possible to measure a reduction in the signal-to-noise ratio of the image and switch to infrared mode to restore an image of sufficient quality.
  • the present invention proposes a method for selecting an operating mode, from among at least two operating modes, of a device for capturing images used to perform facial recognition of an occupant of a motor vehicle, the method comprising the following steps:
  • the positioning parameter of the vehicle in its environment makes it possible, even before the quality of the image becomes insufficient, to switch to a mode allowing facial recognition to work.
  • the positioning parameter of the vehicle in its environment makes it possible to predict that a change in luminosity will take place and to anticipate it.
  • the image capture device can switch to infrared mode preventively, so that it operates in this mode as soon as the vehicle enters the tunnel, and not several seconds later as in the prior art.
  • the mode of operation of the image capture device is selected by anticipation and not by reaction.
  • the few images of insufficient quality mentioned in the introduction are therefore not acquired, which allows facial recognition to continue to operate effectively despite the change in brightness.
  • the positioning parameter of the vehicle in its environment is correlated to a state of illumination of the passenger compartment of the vehicle;
  • the positioning parameter is relative to a trajectory of the vehicle
  • the positioning parameter is selected from at least one of the following parameters: a time or a distance separating the vehicle from an infrastructure likely to modify the brightness inside the vehicle; an angle between a main direction of the vehicle and a vehicle-sun axis, a topographical condition, a meteorological condition;
  • the selection is made on the basis of a comparison of the representative value of the parameter with a determined threshold value
  • the comparison of the representative value of the parameter with the determined threshold value is carried out periodically, the selection consisting in switching the image capture device into said operating mode when the value representative of the parameter becomes lower or higher than the determined threshold value;
  • the determined threshold value varies according to at least one of the following conditions: a meteorological condition, the presence of a sunroof, the presence of a glazed roof;
  • said at least two operating modes include: a color mode, in which the image capture device acquires an image on the basis of radiation included in the visible range, and an infrared mode, in which the image capture device image acquires an image based on radiation in the infrared range;
  • the representative value of the parameter is determined on the basis of at least one of the following data: geolocation data, a linear speed of the vehicle, a yaw speed of the vehicle, a radar or lidar signal, an image of a scene at the front of the vehicle, recognition of a road sign.
  • the invention also proposes a facial recognition system for an occupant of a motor vehicle comprising a device for capturing images of the occupant's face and a computer programmed to perform the following steps:
  • the computer of this system can be programmed to implement the aforementioned advantageous and non-limiting characteristics of the method according to the invention.
  • FIG. 1 is a schematic sectional view of a front part of a vehicle comprising the facial recognition system according to the invention
  • FIG. 2 is a block diagram of a sequence of steps making it possible to implement the method implemented by the system of FIG. 1;
  • FIG. 3 is a schematic side view of the vehicle of Figure 1 which is about to enter a tunnel;
  • FIG. 4 is a schematic top view of the vehicle of Figure 1, shown in two successive positions along a hairpin bend.
  • FIG 1 there is shown a facial recognition system 1 of an occupant 5 of a motor vehicle 4.
  • the "occupant” 5 is here a driver of the vehicle 4, as shown in Figure 1 , or a passenger.
  • the facial recognition implemented by the system 1 allows for example a personalized welcome from the driver, an authentication to start the vehicle or even payments during a trip (parking, toll, service station).
  • the facial recognition system 1 is caused to operate continuously or periodically, that is to say here at regular time intervals, for example less than two seconds or even equal to one second.
  • the system 1 conventionally comprises an image capture device 2 and a computer 3.
  • the image capture device 2 is arranged to acquire images of the face of the occupant 5.
  • the image capture device 2 is in practice positioned at the level of the dashboard of the vehicle 4 and faces the occupant so that the face of the occupant 5 is included in the field of view of the image capture device 2.
  • the image capture device 2 is more particularly suitable for capturing series of images of the face of the occupant 5.
  • the image capture device 2 can for example acquire images at regular time intervals of way to form a video stream.
  • the image capture device 2 acquires for example 30 images per second.
  • the facial recognition system 1 analyzes 30 images to identify the occupant 5.
  • the image capture device 2 comprises a lens and a photosensitive sensor.
  • This photosensitive sensor comprises here, alternately, both so-called “color” pixels and so-called “infrared” pixels.
  • Infrared pixels make it possible to form images on the basis of wavelengths in the infrared range.
  • Color pixels make it possible to form images on the basis of wavelengths included in the visible range.
  • color pixels are red, green and blue pixels, respectively designed to form red, green and blue images. Combining these images makes it possible to form color images of the face of the occupant 5, here so-called “RGB” images (from the English acronym “Red-Green-Blue”).
  • the image capture device 2 is for example a so-called “RGB-IR” camera (for “Red, Green, Blue and Infra Red”).
  • the image capture device 2 is here designed to be able to operate at least:
  • the image capture device may operate in a hybrid mode or form images based on both visible and infrared wavelengths.
  • the computer 3 is here the electronic control unit (or ECU for "Electronic Control Unit") of the vehicle 4.
  • the computer 3 is connected to the image capture device 2 and is designed to control the latter. It notably makes it possible to trigger image capture, to build the images on the basis of the signals delivered by the pixels, and to select the mode of operation of the image capture device 2.
  • the computer 3 comprises a processor and a memory which records the data used in the process described below.
  • the memory also records a computer application, consisting of computer programs comprising instructions whose execution by the processor enables the computer 3 to implement the method described below.
  • the computer 3 is connected to a light source emitting infrared radiation in the direction of the occupant 5 (radiation which is therefore invisible to the latter). During the acquisition of the infrared images, the computer 3 then controls the emission of the infrared radiation.
  • the computer 3 is also connected to various sensors of the vehicle 4. Among these sensors, it is for example provided that the computer is connected to: - A RADAR or LIDAR remote sensing device, making it possible to observe the environment in front of the vehicle 4;
  • a speed sensor making it possible to determine the speed of the vehicle 4, for example on the basis of a speed of rotation of the wheels.
  • the computer 3 is programmed to implement facial recognition.
  • facial recognition in itself, that is to say the way of identifying, or even of authenticating the occupant 5, is not strictly speaking the subject of the presentation and will not be therefore not described in detail here.
  • the color mode is generally more efficient than the infrared mode for facial recognition. Indeed, certain characteristics of the face such as the grain or the texture of the skin or the color of the eyes do not stand out or very little on an infrared image. It is therefore more difficult to identify the occupant in infrared mode. This is why the color mode is most often preferred.
  • the quality of the color image (which can for example be evaluated using a signal-to-noise ratio) becomes insufficient and it is then necessary to switch to mode infrared to keep facial recognition working. For example, at night, when the outside brightness is very low, the infrared mode is necessary.
  • Other examples of associations between luminosity conditions and the operating modes of the image capture device 2 will be given during the description of a first and a second embodiment.
  • the object of the invention is to select the mode of operation of the image capture device 2 best suited to the light conditions.
  • the objective is more precisely to switch the image capture device 2 from one mode to the other at the appropriate moment so as to guarantee optimal functioning of the facial recognition, and this despite a variation in brightness.
  • the objective is to guarantee optimal functioning of facial recognition before, during and after a light variation.
  • the process for selecting the mode of operation of the device for image capture 2 in accordance with the invention comprises the following main steps:
  • positioning value V The representative value of a positioning parameter of the vehicle 4 in its environment is subsequently called positioning value V.
  • the positioning parameter of the vehicle 4 in its environment is here correlated to a state of illumination inside the passenger compartment of the vehicle 4.
  • the state of illumination corresponds here to the conditions of luminosity or illumination in which images of the occupant 5 are acquired.
  • the state of illumination is for example representative of the light intensity on the face of the occupant 5 or on the pixels of the image capture device 2.
  • the positioning value V here makes it possible to determine that a variation in the state of illumination will probably occur. Thus, the selection can be made in anticipation of such a variation in the illumination state.
  • the computer 3 can then change the mode of operation of the image capture device 2 before, or concomitantly, with a change in the state of illumination.
  • the image capture device 2 already operates in the mode giving the best image quality for facial recognition. All the images acquired by the image capture device 2 in the vicinity of the change in illumination state can thus be used for facial recognition.
  • the positioning parameter may relate to a trajectory of the vehicle 4 in the sense that it can be deduced from this trajectory.
  • trajectory here means a straight line or a curve that the vehicle 4 is following at a given moment or even a predetermined route to reach a destination. The fact that the positioning parameter is relative to the trajectory makes it possible to determine in what position the vehicle 4 will be, relative to its environment, at short notice or throughout a planned journey.
  • the positioning parameter is representative of a predictive change in brightness of the environment of the vehicle 4, the change in brightness of the environment of the vehicle 4 affecting here the state of illumination inside the passenger compartment of the vehicle 4.
  • predictive means that the change in brightness can be anticipated, in particular by knowing the route or trajectory of the vehicle 4.
  • the positioning parameter of the vehicle 4 in its environment is for example a time or a distance separating the vehicle 4 from an infrastructure capable of modifying the brightness inside the vehicle 4
  • this infrastructure is a tunnel 10.
  • the infrastructure can also be a bridge or a car park.
  • the positioning parameter can also be a position and/or an orientation of the vehicle 4 with respect to external light sources independent of the vehicle 4, for example the sun or lampposts or even structures reflecting sunlight.
  • the positioning parameter of the vehicle 4 in its environment is for example an angle between a main direction of the vehicle 4 and a vehicle-sun axis.
  • the positioning parameter can also be a topographic condition.
  • the parameter can then represent the position of the vehicle 4 with respect to a section of the road heavily shaded by trees or by reliefs in the terrain.
  • the positioning value can then be a distance or a travel time between the vehicle and the shaded area.
  • the selection of the mode of operation could also be made on the basis of a meteorological parameter, for example representative of the fact that the vehicle is located in a cloudy zone.
  • the parameter can then represent the position of the vehicle relative to such a cloudy zone.
  • the state parameters are here determined by the computer 3 on the base of data supplied by the sensors to which the computer is connected.
  • step E4 for determining the positioning value V.
  • the determination of the positioning value V is here performed by the computer 3 on the basis of one or more state parameters.
  • the positioning value V here represents a physical quantity.
  • the positioning value V can for example be calculated from a theoretical or empirical analytical formula or it can be read from an abacus.
  • the positioning value V is then compared with a determined threshold value.
  • the threshold value is used here to define a border between two states of illumination.
  • the threshold value is defined either by calculation or at the end of a test campaign.
  • the determined threshold value can here vary according to a meteorological condition, for example the presence or absence of clouds or rain. It may also vary due to the fact that the vehicle 4 has a sunroof and if this is the case depending on the opening state of the sunroof. It may still vary due to the fact that the vehicle 4 has a glazed roof, and if this is the case depending on the opening state of the window.
  • the computer 3 switches the image capture device 2 from one mode of operation to another, that is to say from the mode of the instant of reference to another.
  • the threshold value may vary depending on whether the image capture device 2 switches from a first operating mode to the second or vice versa, so as to avoid oscillation problems (we speak of hysteresis).
  • the computer 3 retains the operating mode of the reference time. This means that the latter is currently suitable.
  • step E6 is here performed periodically and the selection consists in switching the image capture device 2 into the other operating mode when the positioning value V becomes lower or higher than the value determined threshold.
  • the repetition frequency is lower than the frequency of identification of the occupant 5 by the facial recognition system 1.
  • the repetition frequency is for example equal to the image acquisition frequency by the image capture device 2.
  • step E8 computer 3 can perform steps E2 to E8 again. In practice, it then considers the moment of changeover as a new reference instant. The computer 3 can then consider another positioning parameter of the vehicle 4 in its environment and/or adapt the condition making it possible to go from step E6 to E8.
  • the change in luminosity taken into account is the change between a high state of illumination and a low state of illumination.
  • the high state of illumination corresponds to a situation where the vehicle 4 is outside the tunnel 10, the ambient light in the passenger compartment is then high and the color operating mode is the most suitable.
  • the low state of illumination corresponds to a situation where the vehicle 4 is inside the tunnel 10, the ambient light in the passenger compartment is then low and the infrared operating mode is the most suitable.
  • the positioning value V determined here is the time, expressed in seconds, to reach the entrance of the tunnel 10.
  • the determined positioning value could be the distance to reach the tunnel entrance.
  • step E2 the computer 3 determines on the one hand the distance d separating the vehicle from the entrance to the tunnel 10.
  • the computer 3 has access to the information that the entrance to the tunnel 10 is close thanks to the geolocation and navigation system.
  • the computer 3 has here in memory a map including the location of the tunnel 10. It determines the distance d by comparing, on the map, the position of the vehicle 4 with that of the entrance to the tunnel 10.
  • the computer 3 detects the entrance to the tunnel 10 thanks to the LIDAR remote sensor device which also makes it possible to determine the distance d separating the vehicle from the entrance to the tunnel 10.
  • the computer 3 detects the entrance to the tunnel 10 by reading the panel 20 using the front camera.
  • the road sign preceding the entrance to the tunnel 10 indicates the distance, usually in meters, between the panel and the entrance to the tunnel 10.
  • the computer 3 then implements an image analysis to "read" this indication.
  • step E2 the computer 3 determines the instantaneous speed of the vehicle 4 using the speed sensor.
  • step E4 the computer 3 then calculates the positioning value V, here the time that the vehicle 4 will take to reach the entrance to the tunnel 10, as the ratio of distance to instantaneous speed.
  • the computer 3 compares the positioning value V with the threshold value.
  • the threshold value is preferably between 5 and 10 seconds. Here, for example, it is 8 seconds, which leaves enough time to adapt the facial recognition algorithm to the reception of infrared images.
  • the fact that the condition “the lower positioning value V or equal to the threshold value” is fulfilled indicates that entry into the tunnel 10 is imminent. Switching the image capture device 2 to the infrared operating mode then makes it possible to avoid that, when entering the tunnel 10, the image capture device 2 produces color images whose quality would be insufficient (because the brightness would be too low) to be used for facial recognition.
  • the computer 3 repeats steps E2 to E6. This means that vehicle 4 is still far enough from tunnel 10 that it is still possible to operate image capture device 2 in color mode for some time.
  • the computer switches the image capture device to infrared mode once said time has elapsed (therefore at the tunnel entrance ) or at a predetermined time, for example one second, before said time has elapsed (therefore before entering the tunnel). In this case, steps E2 to E6 do not need to be repeated if the condition is not met.
  • the computer 3 considers as positioning value V the time to reach the exit of the tunnel 10. Symmetrically, the computer 3 can then be programmed to switch from infrared mode to color mode before the output, for example 8 seconds before the output. This makes it possible to make the image capture device 2 operate as much as possible in color mode by anticipating the transition from the low illumination state to the high illumination state.
  • the switching of the infrared mode or color mode is here less critical for the facial recognition algorithm. Indeed, once switched to infrared mode in the tunnel 10, there is less risk of acquiring images of insufficient quality since the quality of the infrared images is substantially the same in the tunnel 10 and outside the tunnel 10 .
  • provision can therefore be made to switch to color mode once the vehicle has exited the tunnel.
  • provision can also be made not to switch to color mode between the tunnels.
  • the method is suitable for predicting the glare of the image capture device 2, plus specifically from its pixels, by the sun 30.
  • the change in luminosity taken into account is the change between a saturated state of illumination and a low state of illumination.
  • the saturated state of illumination corresponds to a situation where the vehicle 4 has its back to the sun 30, the light intensity of the solar radiation on the pixels of the image capture device 2 is then high. Solar radiation saturates color images but, since its intensity is lower in the infrared range, it does not saturate infrared images. The infrared operating mode is therefore the most suitable for the saturated illumination state.
  • the low state of illumination corresponds conversely to a situation where the vehicle 4 is not facing the sun 30, it is then possible to use color images.
  • the vehicle 4 is not yet with its back to the sun 30 and that it is following a curved road 40, that is to say a bend, which leads it to having one's back to the sun 30.
  • the change in luminosity considered is therefore the transition from the low state to the saturated state.
  • the idea here is then to anticipate the exit from the bend and the saturation of the color images by preventively switching the image capture device 2 from color mode to infrared mode.
  • the determined positioning value V is here an angle, measured here in degrees in the clockwise direction, between a main direction of the vehicle 4 and a vehicle-sun axis.
  • the main direction of the vehicle 4 here corresponds to the direction of the vehicle 4 when the latter is driving in a straight line.
  • the main direction therefore corresponds to a speed vector representative of the instantaneous speed of the vehicle 4.
  • the main direction is therefore here a rear-forward direction of the vehicle 4, parallel to the road 40 and passing through what is substantially a plane of left-right symmetry of the vehicle.
  • the vehicle-sun axis can for example be defined as an axis passing through the sun 30 and the image capture device 2 or through the sun 30 and the center of gravity of the vehicle 4.
  • the vehicle-sun axis here corresponds to a ray of sunlight reaching the image capture device 2.
  • the vehicle 4 is represented in two successive positions in FIG. 4.
  • a first value of positioning V1 approximately equal to 120 degrees, is defined between a first main direction D1 and a first sun-vehicle axis A1.
  • This first positioning value V1 corresponds to the low state.
  • a second positioning value V2 approximately equal to 0 degrees, is defined between a second main direction D2 and a second sun-vehicle axis A2.
  • This second positioning value V2 corresponds to the saturated state.
  • step E2 the computer 3 determines the vehicle-sun axis using the geolocation and navigation system.
  • step E4 the computer 3 then calculates the positioning value V, for example as the angle between two three-dimensional vectors, a first vector collinear with the main direction of the vehicle 4 and a second vector collinear with vehicle-sun axis.
  • the computer 3 compares the absolute value (because angles are considered here) of the positioning value V with the determined threshold value.
  • the threshold value is preferably less than 20 degrees. It is for example here 10 degrees.
  • the threshold value can be determined depending on weather conditions. For example, a higher threshold value will be chosen for a cloudless sky than for a cloudy sky.
  • the fact that the condition "the positioning value V less than or equal to the threshold value” is fulfilled indicates that the vehicle 4 is substantially back to the sun 30.
  • Switch to infrared mode when the positioning value V becomes lower or equal to the threshold value then makes it possible to prevent the image capture device 2 from producing saturated color images whose quality would be insufficient to be used for facial recognition.
  • computer 3 repeats steps E2 to E6. This means that the vehicle 4 is not yet facing the sun 30 and that it is still possible to operate the image capture device 2 in color mode for a certain time. Once the vehicle 4 has its back to the sun 30, the computer 3 still considers as positioning value V the angle between the main direction of the vehicle 4 and the vehicle-sun axis. The computer 3 can then be programmed to switch from infrared mode to color mode when the absolute value of the positioning value V becomes strictly greater than the threshold value.
  • the computer 3 is here programmed to take into account in parallel all the situations mentioned, in particular the two situations corresponding to the two embodiments.
  • the system could comprise two image capture devices, one designed to operate only in color mode and the other designed to operate only in infrared mode.
  • Operating mode selection would then consist of selecting which image capture device to use for facial recognition.

Abstract

L'invention concerne un procédé de sélection d'un mode de fonctionnement, parmi au moins deux modes de fonctionnement, d'un dispositif de capture d'images (2) utilisé pour effectuer une reconnaissance faciale d'un occupant (5) d'un véhicule (4) automobile. Selon l'invention, le procédé comprend les étapes suivantes : - la détermination d'une valeur représentative d'un paramètre de positionnement du véhicule dans son environnement; - la sélection, sur la base de ladite valeur, du mode de fonctionnement.

Description

DESCRIPTION
TITRE DE L’INVENTION : PROCÉDÉ DE SELECTION D’UN MODE DE FONCTIONNEMENT D’UN DISPOSITIF DE CAPTURE D’IMAGES POUR RECONNAISSANCE FACIALE
DOMAINE TECHNIQUE DE L'INVENTION
[0001] La présente invention concerne de manière générale le domaine de la reconnaissance faciale.
[0002] Elle concerne plus particulièrement un procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images utilisé dans le cadre de la reconnaissance faciale.
[0003] L’invention trouve une application particulièrement avantageuse dans la reconnaissance faciale au sein des véhicules automobiles.
[0004] Elle concerne également un système de reconnaissance faciale.
ETAT DE LA TECHNIQUE
[0005] Des systèmes de reconnaissance faciale d’un occupant, en particulier du conducteur, sont de plus en plus souvent intégrés dans les véhicules automobiles. La reconnaissance faciale consiste à identifier, voire authentifier, une personne en acquérant des images de son visage et en les comparant à une base de données. La reconnaissance faciale permet par exemple un accueil personnalisé du conducteur (température, réglages de conduite), d’effectuer des payements (péages, stations-services, sur internet) ou de passer certaines commandes vocales (ouverture des fenêtres arrières). La reconnaissance faciale est amenée à fonctionner en continu au cours de la conduite, notamment pour s’assurer que l’on a toujours affaire au même conducteur au cours d’un trajet.
[0006] Pour s’adapter aux différentes conditions de luminosité dans l’habitacle, par exemple une forte luminosité le jour et une faible luminosité la nuit, un système de reconnaissance faciale comprend classiquement un dispositif de capture d’images pouvant alterner entre un mode d’acquisition d’images couleurs (souvent un mode « RGB » selon l’acronyme anglais « Red-Green-Blue ») et un mode d’acquisition d’images infrarouges. Le mode infrarouge, bien que moins performant que le mode couleur pour la reconnaissance faciale, permet par exemple à cette dernière de fonctionner de façon satisfaisante même lorsque la luminosité ambiante est très faible. Pour cela, le mode infrarouge est en général couplé à une source infrarouge qui a l’avantage de pouvoir illuminer le visage du conducteur, de façon synchronisée avec l’acquisition des images, sans perturber le conducteur.
[0007] Mis à part l’alternance jour/nuit, la situation du véhicule dans son environnement peut elle aussi générer des variations de luminosité dans l’habitacle. Cela est par exemple le cas lorsque le véhicule passe dans un tunnel ou sous un pont, la luminosité étant alors insuffisante pour acquérir une image couleur, ou lorsque les pixels du dispositif de capture d’images sont directement éclairés par le soleil et que celui-ci sature alors l’image couleur.
[0008] Classiquement, le dispositif de capture d’images, par exemple lorsqu’il fonctionne en mode couleur, peut lui-même servir à détecter un changement de luminosité. Il est par exemple possible de mesurer une diminution du rapport signal- sur-bruit de l’image et de basculer dans le mode infrarouge pour rétablir une image de qualité suffisante.
[0009] Il existe toutefois un délai entre le changement de luminosité et le basculement en mode infrarouge. Ce délai est en partie dû au fait qu’il faut acquérir une ou plusieurs images pour constater le changement de luminosité alors que celui-ci a déjà eu lieu. Pendant ce délai les images acquises ne sont pas de qualité suffisante pour faire fonctionner la reconnaissance faciale, ce qui empêche notamment le conducteur d’interagir avec les applications du véhicule dépendantes de la reconnaissance faciale.
[0010] Ces images de qualité insuffisante sont d’autant plus gênantes que la plupart des algorithmes de reconnaissance faciale se réinitialisent lorsqu’ils reçoivent une image non-exploitable. Leur réinitialisation est souvent longue et coûteuse en puissance de calcul (il faut par exemple réinitialiser les réseaux de neurones).
PRESENTATION DE L'INVENTION
[0011 ] Afin de remédier à l’inconvénient précité de l’état de la technique, la présente invention propose un procédé de sélection d’un mode de fonctionnement, parmi au moins deux modes de fonctionnement, d’un dispositif de capture d’images utilisé pour effectuer une reconnaissance faciale d’un occupant d’un véhicule automobile, le procédé comprenant les étapes suivantes :
- la détermination d’une valeur représentative d’un paramètre de positionnement du véhicule dans son environnement ; - la sélection, sur la base de ladite valeur, du mode de fonctionnement.
[0012] Ainsi, grâce à l’invention, la reconnaissance faciale n’est pas perturbée par des changements de luminosité. En effet, le paramètre de positionnement du véhicule dans son environnement permet, avant même que la qualité de l’image devienne insuffisante, de basculer dans un mode permettant de faire fonctionner la reconnaissance faciale. En d’autres termes, le paramètre de positionnement du véhicule dans son environnement permet de prédire qu’un changement de luminosité va avoir lieu et de l’anticiper.
[0013] Ainsi, par exemple, lorsque l’entrée d’un tunnel est détectée, le dispositif de capture d’images peut basculer en mode infrarouge de façon préventive, de sorte qu’il fonctionne dans ce mode dès que le véhicule pénètre dans le tunnel, et pas plusieurs secondes après comme dans l’art antérieur.
[0014] Par conséquent, le mode de fonctionnement du dispositif de capture d’images est sélectionné par anticipation et non pas par réaction. Les quelques images de qualité insuffisante évoquées en introduction ne sont donc pas acquises, ce qui permet à la reconnaissance faciale de continuer à fonctionner de manière efficace malgré le changement de luminosité.
[0015] D’autres caractéristiques avantageuses et non limitatives du procédé conforme à l’invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
- le paramètre de positionnement du véhicule dans son environnement est corrélé à un état d’illumination de l’habitacle du véhicule ;
- le paramètre de positionnement est relatif à une trajectoire du véhicule ;
- le paramètre de positionnement est sélectionné parmi au moins l’un des paramètres suivants : un temps ou une distance séparant le véhicule d’une infrastructure susceptible de modifier la luminosité à l’intérieur du véhicule ; un angle entre une direction principale du véhicule et un axe véhicule - soleil, une condition topographique, une condition météorologique ;
- la sélection est effectuée sur la base d’une comparaison de la valeur représentative du paramètre avec une valeur seuil déterminée ;
- la comparaison de la valeur représentative du paramètre avec la valeur seuil déterminée est effectuée de façon périodique, la sélection consistant à faire basculer le dispositif de capture d’images dans ledit mode de fonctionnement lorsque la valeur représentative du paramètre devient inférieure ou supérieure à la valeur seuil déterminée ;
- la valeur seuil déterminée varie en fonction au moins de l’une des conditions suivantes : une condition météorologique, une présence d’un toit ouvrant, une présence d’un toit vitré ;
- lesdits au moins deux modes de fonctionnement comprennent : un mode couleur, dans lequel le dispositif de capture d’images acquiert une image sur la base d’un rayonnement compris dans le domaine visible, et un mode infrarouge, dans lequel le dispositif de capture d’images acquiert une image sur la base d’un rayonnement compris dans le domaine infrarouge ;
- la valeur représentative du paramètre est déterminée sur la base de l’une au moins des données suivantes : données de géolocalisation, une vitesse linéaire du véhicule, une vitesse de lacet du véhicule, un signal radar ou lidar, une image d’une scène à l’avant du véhicule, une reconnaissance d’une indication routière.
[0016] L’invention propose également un système de reconnaissance faciale d’un occupant d’un véhicule automobile comprenant un dispositif de capture d’images du visage de l’occupant et un calculateur programmé pour effectuer les étapes suivantes :
- la détermination d’une valeur représentative d’un paramètre de positionnement du véhicule dans son environnement ;
- la sélection, sur la base de ladite valeur, d’un mode de fonctionnement du dispositif de capture d’images parmi au moins deux modes de fonctionnement.
[0017] Le calculateur de ce système peut être programmé pour mettre en œuvre les caractéristiques avantageuses et non limitatives précitées du procédé conforme à l’invention.
[0018] Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
DESCRIPTION DETAILLEE DE L'INVENTION
[0019] La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.
[0020] Sur les dessins annexés : [0021 ] [Fig. 1] est une vue schématique en coupe d’une partie avant d’un véhicule comprenant le système de reconnaissance faciale conforme à l’invention ;
[0022] [Fig. 2] est un schéma bloc d’une séquence d’étapes permettant de mettre en œuvre le procédé implémenté par le système de la figure 1 ;
[0023] [Fig. 3] est une vue schématique de côté du véhicule de la figure 1 qui s’apprête à rentrer dans un tunnel ;
[0024] [Fig. 4] est une vue schématique de dessus du véhicule de la figure 1 , représenté en deux positions successives le long d’un virage en épingle.
[0025] Sur la figure 1 , on a représenté un système 1 de reconnaissance faciale d’un occupant 5 d’un véhicule automobile 4. L’ « occupant » 5 est ici un conducteur du véhicule 4, tel que représenté sur la figure 1 , ou un passager. La reconnaissance faciale mise en œuvre par le système 1 permet par exemple un accueil personnalisé du conducteur, une authentification pour démarrer le véhicule ou encore des payements pendant un trajet (parking, péage, station-service). Le système 1 de reconnaissance faciale est amené à fonctionner de façon continue ou périodique, c’est-à-dire ici à intervalles de temps réguliers, par exemple inférieurs à deux secondes ou encore égaux à une seconde.
[0026] Comme le montre la figure 1 , le système 1 comprend classiquement un dispositif de capture d’images 2 et un calculateur 3.
[0027] Comme le montre la figure 1 , le dispositif de capture d’images 2 est agencé pour acquérir des images du visage de l’occupant 5. Le dispositif de capture d’images 2 est en pratique positionné au niveau du tableau de bord du véhicule 4 et fait face à l’occupant de sorte que le visage de l’occupant 5 est compris dans le champ de vue du dispositif de capture d’images 2.
[0028] Le dispositif de capture d’images 2 est plus particulièrement adapté à capturer des séries d’images du visage de l’occupant 5. Le dispositif de capture d’images 2 peut par exemple acquérir des images à intervalles de temps réguliers de manière à former un flux vidéo. Le dispositif de capture d’images 2 acquiert par exemple 30 images par seconde. Ainsi, chaque seconde, le système 1 de reconnaissance faciale analyse 30 images pour identifier l’occupant 5.
[0029] Le dispositif de capture d’images 2 comprend un objectif et un capteur photosensible. Ce capteur photosensible comporte ici, en alternance, à la fois des pixels dits « couleurs » et des pixels dits « infrarouges ».
[0030] Les pixels infrarouges permettent de former des images sur la base de longueurs d’ondes comprises dans le domaine infrarouge.
[0031 ] Les pixels couleurs permettent quant à eux de former des images sur la base de longueurs d’ondes comprises dans le domaine visible. A titre d’exemple, les pixels couleurs sont des pixels rouges, verts et bleus, respectivement conçus pour former des images rouges, vertes et bleues. Combiner ces images permet de former des images couleurs du visage de l’occupant 5, ici des images dites « RGB » (de l’acronyme anglais « Red-Green-Blue »). Ainsi, le dispositif de capture d’images 2 est par exemple une caméra dite « RGB-IR » (pour « Red, Green, Blue et Infra Red »).
[0032] De façon générale, le dispositif de capture d’images 2 est ici conçu pour pouvoir fonctionner au moins :
- dans un mode couleur dans lequel il forme des images couleurs, et
- dans un mode infrarouge dans lequel il forme des images infrarouges.
[0033] En variante, le dispositif de capture d’image peut fonctionner dans un mode hydride ou les forme des images sur la base à la fois de longueurs d’onde visibles et infrarouges.
[0034] Le calculateur 3 est ici l’unité électronique de commande (ou ECU pour « Electronic Control Unit ») du véhicule 4. Dans le contexte de l’invention, le calculateur 3 est connecté au dispositif de capture d’images 2 et est conçu pour commander ce dernier. Il permet notamment de déclencher les captures d’images, de construire les images sur la base des signaux délivrés par les pixels, et de sélectionner le mode de fonctionnement du dispositif de capture d’images 2.
[0035] Le calculateur 3 comprend un processeur et une mémoire qui enregistre les données utilisées dans le cadre du procédé décrit ci-dessous. La mémoire enregistre également une application informatique, constituée de programmes d’ordinateur comprenant des instructions dont l’exécution par le processeur permet la mise en œuvre par le calculateur 3 du procédé décrit ci-dessous.
[0036] De préférence, le calculateur 3 est connecté à une source lumineuse émettant un rayonnement infrarouge en direction de l’occupant 5 (rayonnement qui est donc invisible pour ce dernier). Au cours de l’acquisition des images infrarouges, le calculateur 3 commande alors l’émission du rayonnement infrarouge.
[0037] Ici, le calculateur 3 est également connecté à différents capteurs du véhicule 4. Parmi ces capteurs, il est par exemple prévu que le calculateur soit connecté à : - un dispositif télédétecteur RADAR ou LIDAR, permettant d’observer l’environnement à l’avant du véhicule 4 ;
- une caméra frontale, permettant aussi d’observer l’environnement à l’avant du véhicule 4 et/ou de reconnaître des indications routières ;
- un système de géolocalisation et de navigation ;
- un capteur de vitesse permettant de déterminer la vitesse du véhicule 4, par exemple sur la base d’une vitesse de rotation des roues.
[0038] Le calculateur 3 est programmé pour mettre en œuvre la reconnaissance faciale. Toutefois, on notera que la reconnaissance faciale en elle-même, c’est-à- dire la façon d’identifier, voire d’authentifier l’occupant 5, ne fait pas à proprement parler l’objet de la présentation et ne sera donc pas décrite en détails ici.
[0039] Il convient cependant de souligner que le mode couleur s’avère globalement plus performant que le mode infrarouge pour la reconnaissance faciale. En effet, certaines caractéristiques du visage comme le grain ou la texture de la peau ou encore la couleur des yeux ne ressortent pas ou très peu sur une image infrarouge. Il est donc plus difficile d’identifier l’occupant en mode infrarouge. C’est pourquoi le mode couleur est le plus souvent privilégié.
[0040] Toutefois, dans certaines conditions de luminosité ou d’éclairement, la qualité de l’image couleur (qui peut par exemple être évaluée grâce à un rapport signal-sur-bruit) dévient insuffisante et il est alors nécessaire de basculer en mode infrarouge pour continuer à faire fonctionner la reconnaissance faciale. A titre d’exemple, de nuit, lorsque la luminosité extérieure est très basse, le mode infrarouge est nécessaire. D’autres exemples d’associations entre des conditions de luminosité et les modes de fonctionnement du dispositif de capture d’images 2 seront donnés au cours de la description d’un premier et d’un deuxième mode de réalisation.
[0041 ] L’objet de l’invention consiste à sélectionner le mode de fonctionnement du dispositif de capture d’images 2 le plus adapté aux conditions de luminosité. L’objectif est plus précisément de faire basculer le dispositif de capture d’images 2 d’un mode à l’autre au moment adéquat de façon à garantir un fonctionnement optimal de la reconnaissance faciale, et cela malgré une variation de luminosité. En d’autres termes, l’objectif est de garantir un fonctionnement optimal de la reconnaissance faciale avant, pendant et après une variation lumineuse.
[0042] Le procédé de sélection du mode de fonctionnement du dispositif de capture d’images 2 conforme à l’invention comprend les étapes principales suivantes :
- la détermination d’une valeur représentative d’un paramètre de positionnement du véhicule 4 dans son environnement ;
- la sélection, sur la base de ladite valeur, du mode de fonctionnement.
[0043] La valeur représentative d’un paramètre de positionnement du véhicule 4 dans son environnement est par la suite appelée valeur de positionnement V.
[0044] Le paramètre de positionnement du véhicule 4 dans son environnement est ici corrélé à un état d’illumination à l’intérieur de l’habitacle du véhicule 4. L’état d’illumination correspond ici aux conditions de luminosité ou d’éclairement dans lesquelles des images de l’occupant 5 sont acquises. L’état d’illumination est par exemple représentatif de l’intensité lumineuse sur le visage de l’occupant 5 ou sur les pixels du dispositif de capture d’images 2.
[0045] Ainsi, la valeur de positionnement V permet ici de déterminer qu’une variation de l’état d’illumination va probablement se produire. Ainsi, la sélection peut être effectuée en prévision d’une telle variation de l’état d’illumination.
[0046] Avantageusement, le calculateur 3 peut alors changer le mode de fonctionnement du dispositif de capture d’images 2 avant, ou de façon concomitante, avec un changement d’état d’illumination. Ainsi, dès que le changement d’état d’illumination survient, le dispositif de capture d’images 2 fonctionne déjà dans le mode donnant la meilleur qualité d’image pour la reconnaissance faciale. Toutes les images acquises par le dispositif de capture d’images 2 au voisinage du changement d’état d’illumination sont ainsi utilisables pour la reconnaissance faciale.
[0047] Pour anticiper un changement d’état d’illumination suffisamment à l’avance, le paramètre de positionnement peut être relatif à une trajectoire du véhicule 4 en ce sens qu’il peut être déduit de cette trajectoire. On entend ici par « trajectoire » une ligne droite ou une courbe qu’est en train de suivre le véhicule 4 à un instant donné ou encore un trajet prédéterminé pour rejoindre une destination. Le fait que le paramètre de positionnement soit relatif à la trajectoire permet de déterminer dans quelle position va se trouver le véhicule 4, par rapport à son environnement, à bref délais ou tout au long d’un trajet planifié.
[0048] De façon générale, le paramètre de positionnement est représentatif d’un changement prédictif de luminosité de l’environnement du véhicule 4, le changement de luminosité de l’environnement du véhicule 4 affectant ici l’état d’illumination à l’intérieur de l’habitacle du véhicule 4. On entend ici par « prédictif » que le changement de luminosité peut être anticipé, notamment en connaissant le trajet ou la trajectoire du véhicule 4.
[0049] Ainsi, dans le premier mode de réalisation, le paramètre de positionnement du véhicule 4 dans son environnement est par exemple un temps ou une distance séparant le véhicule 4 d’une infrastructure susceptible de modifier la luminosité à l’intérieur du véhicule 4. Dans l’exemple illustré en figure 3, cette infrastructure est un tunnel 10. L’infrastructure peut aussi être un pont ou un parking.
[0050] Le paramètre de positionnement peut aussi être une position et/ou une orientation du véhicule 4 par rapport à des sources de lumière extérieures indépendantes du véhicule 4, par exemple le soleil ou des lampadaires ou encore des structures réfléchissant la lumière du soleil.
[0051 ] Ainsi, dans le deuxième mode de réalisation, représenté en figure 4, le paramètre de positionnement du véhicule 4 dans son environnement est par exemple un angle entre une direction principale du véhicule 4 et un axe véhicule - soleil.
[0052] Le paramètre de positionnement peut aussi être une condition topographique. Le paramètre peut alors représenter la position du véhicule 4 par rapport à un tronçon de la route fortement ombragé par des arbres ou par des reliefs du terrain. Comme pour le premier mode de réalisation, la valeur de positionnement peut alors être une distance ou un temps de parcours entre le véhicule la zone ombragée.
[0053] En variante, la sélection du mode de fonctionnement pourrait aussi être faite sur la base d’un paramètre météorologique, par exemple représentatif du fait que le véhicule soit situé dans une zone nuageuse. Le paramètre peut alors représenter la position du véhicule par rapport à une telle zone nuageuse.
[0054] Pour bien comprendre le procédé, on décrit maintenant ses étapes à partir d’un instant de référence où la reconnaissance faciale est en cours et où le dispositif de capture d’images 2 est en train de fonctionner dans le mode le plus adapté aux conditions de luminosité à cet instant de référence.
[0055] Quel que soit le mode de réalisation, comme visible sur la figure 2, le procédé débute par l’étape E2 de détermination de paramètres d’état du véhicule 4. Les paramètres d’état sont ici déterminés par le calculateur 3 sur la base de données fournies par les capteurs auxquels le calculateur est connecté.
[0056] Ces paramètres d’état sont par exemple :
- des données de géolocalisation ;
- une vitesse linéaire du véhicule ;
- une vitesse de lacet du véhicule ;
- un signal radar ou lidar ;
- une image d’une scène à l’avant du véhicule ;
- une reconnaissance d’une indication routière.
[0057] Le procédé se poursuit par l’étape E4 de détermination de la valeur de positionnement V. La détermination de la valeur de positionnement V est ici effectuée par le calculateur 3 sur la base d’un ou de plusieurs paramètres d’état. La valeur de positionnement V représente ici une grandeur physique. La valeur de positionnement V peut par exemple être calculée à partir d’une formule analytique théorique ou empirique ou elle peut être lue à partir d’un abaque.
[0058] Au cours de l’étape E6, la valeur de positionnement V est ensuite comparée à une valeur seuil déterminée. La valeur seuil permet ici de définir une frontière entre deux états d’illumination. La valeur seuil est définie soit par calcul, soit à l’issue d’une campagne d’essais. La valeur seuil déterminée peut ici varier en fonction d’une condition météorologique, par exemple la présence ou non de nuages ou de pluie. Elle peut aussi varier du fait que le véhicule 4 présente un toit ouvrant et si tel est le cas en fonction de l’état d’ouverture du toi. Elle peut encore varier du fait que le véhicule 4 présente un toit vitré, et si tel est le cas en fonction de l’état d’ouverture de la vitre.
[0059] Lorsqu’une condition sur cette comparaison est remplie, par exemple si la valeur de positionnement V est strictement supérieure à la valeur seuil, alors, dans une étape E8, le calculateur 3 bascule le dispositif de capture d’images 2 d’un mode de fonctionnement à l’autre, c’est-à-dire du mode de l’instant de référence à l’autre. [0060] Bien entendu, la valeur seuil peut varier selon que le dispositif de capture d’images 2 bascule d’un premier mode de fonctionnement au second ou vis-versa, de façon à éviter les problèmes d’oscillation (on parle d’Hystérésis).
[0061 ] Le fait que la condition sur la comparaison est remplie indique un changement d’état d’illumination. On comprend alors que déterminer la valeur seuil revient à définir la frontière entre les deux états d’illumination.
[0062] Dans le cas contraire, si la condition n’est pas remplie, le calculateur 3 conserve le mode de fonctionnement de l’instant de référence. Cela signifie que ce dernier est pour le moment adapté.
[0063] Comme illustré en figure 2, le calculateur 3 réitère alors les étapes E2, E4 et E6. Ainsi, la comparaison de l’étape E6 est ici effectuée de façon périodique et la sélection consiste à faire basculer le dispositif de capture d’images 2 dans l’autre mode de fonctionnement lorsque la valeur de positionnement V devient inférieure ou supérieure à la valeur seuil déterminée.
[0064] De préférence, la fréquence de répétition est inférieure à la fréquence d’identification de l’occupant 5 par le système 1 de reconnaissance faciale. La fréquence de répétition est par exemple égale à la fréquence d’acquisition d’images par le dispositif de capture d’images 2.
[0065] Ici, le procédé est prévu pour être mis en œuvre en boucle. Ainsi, après l’étape E8, le calculateur 3 peut effectuer les étapes E2 à E8 à nouveau. En pratique, il considère alors le moment de basculement comme un nouvel instant de référence. Le calculateur 3 peut alors considérer un autre paramètre de positionnement du véhicule 4 dans son environnement et/ou adapter la condition permettant de passer de l’étape E6 à E8.
[0066] Dans le premier mode de réalisation, illustré en figure 3, on considère le cas du passage du véhicule 4, de jour, dans un tunnel 10.
[0067] Le changement de luminosité pris en compte est le changement entre un état d’illumination haut et un état d’illumination bas. L’état d’illumination haut correspond à une situation où le véhicule 4 est à l’extérieur du tunnel 10, la luminosité ambiante dans l’habitacle est alors élevée et le mode de fonctionnement couleur est le plus adapté. L’état d’illumination bas correspond à une situation où le véhicule 4 est à l’intérieur du tunnel 10, la luminosité ambiante dans l’habitacle est alors faible et le mode de fonctionnement infrarouge est le plus adapté.
[0068] Dans le cadre de cette description, on considère que le véhicule 4 est initialement à l’extérieur du tunnel 10 et va y entrer. Le changement de luminosité considéré est donc le passage de l’état haut à l’état bas lors de l’entrée dans le tunnel 10. La valeur de positionnement V déterminée est ici le temps, exprimé en secondes, pour atteindre l’entrée du tunnel 10. En variante, la valeur de positionnement déterminée pourrait être la distance pour atteindre l’entrée du tunnel.
[0069] L’idée est alors ici d’anticiper l’entrée dans le tunnel 10 et donc la baisse subite de la luminosité ambiante en basculant de façon préventive le dispositif de captures d’images 2 du mode couleur au mode infrarouge.
[0070] Tout d’abord, lors de l’étape E2, le calculateur 3 détermine d’une part la distance d séparant le véhicule de l’entrée du tunnel 10.
[0071 ] Dans un premier exemple, le calculateur 3 a accès à l’information que l’entrée du tunnel 10 est proche grâce au système de géolocalisation et de navigation. Le calculateur 3 a ici en mémoire une carte incluant la localisation du tunnel 10. Il détermine la distance d en comparant, sur la carte, la position du véhicule 4 à celle de l’entrée du tunnel 10.
[0072] Dans un deuxième exemple, le calculateur 3 détecte l’entrée du tunnel 10 grâce au dispositif télédétecteur LIDAR qui permet aussi de déterminer la distance d séparant le véhicule de l’entrée du tunnel 10. Ces deux exemples sont bien entendu combinables, de façon à obtenir une meilleure approximation de la distance d.
[0073] Dans un troisième exemple, le calculateur 3 détecte l’entrée du tunnel 10 par une lecture de panneau 20 grâce à la caméra frontale. En pratique, le panneau routier précédant l’entrée du tunnel 10 indique la distance, le plus souvent en mètres, entre le panneau et l’entrée du tunnel 10. Le calculateur 3 met alors en œuvre une analyse d’images pour « lire » cette indication.
[0074] D’autre part, toujours au cours de l’étape E2, le calculateur 3 détermine la vitesse instantanée du véhicule 4 grâce au capteur de vitesse.
[0075] A l’étape E4, le calculateur 3 calcule alors la valeur de positionnement V, ici le temps que le véhicule 4 mettra pour atteindre l’entrée du tunnel 10, comme le ratio de distance sur la vitesse instantanée.
[0076] Ensuite à l’étape E6, le calculateur 3 compare la valeur de positionnement V à la valeur seuil. La valeur seuil est de préférence comprise entre 5 et 10 secondes. Elle est par exemple ici de 8 secondes, ce qui laisse un temps suffisant pour adapter l’algorithme de reconnaissance faciale à la réception d’images infrarouges.
[0077] Si la valeur de positionnement V est inférieure ou égale à la valeur seuil, c’est-à-dire ici si le temps pour atteindre l’entrée du tunnel 10 est inférieure ou égale à 8 secondes, alors le calculateur 3, lors de l’étape E8, bascule le dispositif de capture d’images 2 du mode couleur au mode infrarouge.
[0078] Ici, le fait que la condition « la valeur de positionnement V inférieure ou égale à la valeur seuil » soit remplie indique que l’entrée dans le tunnel 10 est imminente. Basculer le dispositif de capture d’images 2 dans le mode de fonctionnement infrarouge permet alors d’éviter que, lors de l’entrée dans le tunnel 10, le dispositif de capture d’images 2 produise des images couleurs dont la qualité serait insuffisante (car la luminosité serait trop basse) pour être utilisées pour la reconnaissance faciale.
[0079] Dans le cas contraire, c’est-à-dire ici si le temps pour atteindre l’entrée du tunnel 10 est strictement supérieur à 8 secondes, le calculateur 3 réitère les étapes E2 à E6. Cela signifie que le véhicule 4 est encore suffisamment loin du tunnel 10 est qu’il est encore possible de faire fonctionner le dispositif de capture d’images 2 en mode couleur pendant un certain temps.
[0080] En variante, on pourrait prévoir qu’une fois le temps pour atteindre l’entrée du tunnel déterminé, le calculateur bascule le dispositif de capture d’images en mode infrarouge une fois ledit temps écoulé (donc à l’entrée du tunnel) ou à un délai prédéterminé, par exemple d’une seconde, avant que ledit temps soit écoulé (donc avant l’entrée du tunnel). Dans ce cas, les étapes E2 à E6 n’ont pas besoin d’être réitérées si la condition n’est pas remplie.
[0081 ] Une fois le véhicule 4 dans le tunnel 10, il est de préférence prévu que le calculateur 3 considère comme valeur de positionnement V le temps pour atteindre la sortie du tunnel 10. De façon symétrique, on peut alors programmer le calculateur 3 pour basculer du mode infrarouge au mode couleur avant la sortie, par exemple 8 secondes avant la sortie. Ceci permet de faire fonctionner le plus possible le dispositif de capture d’images 2 en mode couleur en anticipant le passage de l’état d’illumination bas à l’état d’illumination haut.
[0082] Toutefois, le basculement du mode infrarouge ou mode couleur est ici moins critique pour l’algorithme de reconnaissance faciale. En effet, une fois passé en mode infrarouge dans le tunnel 10, il y a moins de risques d’acquérir des images de qualité insuffisante puisque la qualité des images infrarouges est sensiblement la même dans le tunnel 10 et à l’extérieur du tunnel 10.
[0083] En variante, on peut donc prévoir de basculer en mode couleur une fois le véhicule sorti du tunnel. Dans le cas où des tunnels se succèdent rapidement, on peut aussi prévoir de ne pas basculer en mode couleur entre les tunnels.
[0084] Dans le deuxième mode de réalisation, illustré en figure 4, le procédé est adapté à prévoir l’éblouissement du dispositif de capture d’images 2, plus spécifiquement de ses pixels, par le soleil 30.
[0085] Le changement de luminosité pris en compte est le changement entre un état d’illumination saturé et un état d’illumination bas. L’état d’illumination saturé correspond à une situation où le véhicule 4 est dos au soleil 30, l’intensité lumineuse du rayonnement solaire sur les pixels du dispositif de capture d’images 2 est alors élevée. Le rayonnement solaire sature les images couleurs mais, puisque son intensité est plus faible dans le domaine infrarouge, il ne sature pas les images infrarouges. Le mode de fonctionnement infrarouge est donc le plus adapté à l’état d’illumination saturé. L’état d’illumination bas correspond à l’inverse à une situation où le véhicule 4 n’est pas dos au soleil 30, il est alors possible d’utiliser des images couleurs.
[0086] Dans le cadre de cette description, on considère que le véhicule 4 n’est pas encore dos au soleil 30 et qu’il suit une route 40 courbe, c’est-à-dire un virage, qui l’amène à être dos au soleil 30. Le changement de luminosité considéré est donc le passage de l’état bas à l’état saturé.
[0087] L’idée est alors ici d’anticiper la sortie du virage et la saturation des images couleurs en basculant de façon préventive le dispositif de captures d’images 2 du mode couleur au mode infrarouge.
[0088] La valeur de positionnement V déterminée est ici un angle, mesuré ici en degré dans le sens horaire, entre une direction principale du véhicule 4 et un axe véhicule - soleil.
[0089] La direction principale du véhicule 4 correspond ici à la direction du véhicule 4 lorsque celui-ci roule en ligne droite. La direction principale correspond donc à un vecteur vitesse représentatif de la vitesse instantanée du véhicule 4. En d’autres termes, la direction principale est donc ici une direction arrière - avant du véhicule 4, parallèle à la route 40 et passant par ce qui est sensiblement un plan de symétrie gauche - droite du véhicule.
[0090] L’axe véhicule - soleil peut par exemple être défini comme un axe passant par le soleil 30 et le dispositif de capture d’images 2 ou par le soleil 30 et le centre de gravité du véhicule 4. En pratique, l’axe véhicule - soleil correspond ici à un rayon de soleil atteignant le dispositif de capture d’images 2.
[0091 ] Pour bien illustrer la valeur de positionnement V considérée dans ce deuxième mode de réalisation, le véhicule 4 est représenté en deux positions successives sur la figure 4. Pendant le virage, une première valeur de positionnement V1 , environ égale à 120 degrés, est définie entre une première direction principale D1 et un premier axe soleil - véhicule A1 . Cette première valeur de positionnement V1 correspond à l’état bas. A la sortie du virage, une deuxième valeur de positionnement V2, environ égale à 0 degré, est définie entre une deuxième direction principale D2 et un deuxième axe soleil - véhicule A2. Cette deuxième valeur de positionnement V2 correspond à l’état saturé.
[0092] Lors de l’étape E2, le calculateur 3 détermine l’axe véhicule - soleil grâce au système de géolocalisation et de navigation.
[0093] A l’étape E4, le calculateur 3 calcule alors la valeur de positionnement V par exemple comme l’angle entre deux vecteurs à trois dimensions, un premier vecteur colinéaire à la direction principale du véhicule 4 et un deuxième vecteur colinéaire à l’axe véhicule - soleil.
[0094] Ensuite à l’étape E6, le calculateur 3 compare la valeur absolue (car on considère ici des angles) de la valeur de positionnement V à la valeur seuil déterminée. La valeur seuil est de préférence inférieure à 20 degrés. Elle est par exemple ici de 10 degrés. Ici, la valeur seuil peut être déterminée en fonction de conditions météorologiques. Par exemple, on choisira une valeur seuil plus grande pour un ciel sans nuage que pour un ciel nuageux.
[0095] Si la valeur absolue de la valeur de positionnement V est inférieure ou égale à la valeur seuil (comme pour la deuxième valeur de positionnement V2 sur la figure 4), alors le calculateur 3, lors de l’étape E8, bascule le dispositif de capture d’images 2 du mode couleur au mode infrarouge.
[0096] Ici, le fait que la condition « la valeur de positionnement V inférieure ou égale à la valeur seuil » soit remplie indique que le véhicule 4 est sensiblement dos au soleil 30. Basculer en mode infrarouge lorsque la valeur de positionnement V devient inférieure ou égale à la valeur seuil permet alors d’éviter que le dispositif capture d’images 2 ne produise des images couleurs saturées dont la qualité serait insuffisante pour être utilisées pour la reconnaissance faciale.
[0097] Dans le cas contraire, c’est-à-dire ici si l’angle entre la direction principale du véhicule 4 et l’axe véhicule - soleil est strictement supérieur à 10 degrés (comme pour la première valeur de positionnement V1 sur la figure 4), le calculateur 3 réitère les étapes E2 à E6. Cela signifie que le véhicule 4 n’est pas encore dos au soleil 30 et qu’il est encore possible de faire fonctionner le dispositif de capture d’images 2 en mode couleur pendant un certain temps. [0098] Une fois le véhicule 4 dos au soleil 30, le calculateur 3 considère encore comme valeur de positionnement V l’angle entre la direction principale du véhicule 4 et l’axe véhicule - soleil. On peut alors programmer le calculateur 3 pour basculer du mode infrarouge au mode couleur lorsque la valeur absolue de la valeur de positionnement V devient strictement supérieure à la valeur seuil.
[0099] Le calculateur 3 est ici programmé pour tenir compte en parallèle de toutes les situations évoquées, notamment des deux situations correspondant aux deux modes de réalisation.
[0100] La présente invention n’est nullement limitée aux modes de réalisation décrits et représentés, mais l’homme du métier saura y apporter toute variante conforme à l’invention.
[0101] Ainsi, par exemple, le système pourrait comprendre deux dispositifs de capture d’images, l’un conçu pour fonctionner uniquement en mode couleur et l’autre conçu pour fonctionner uniquement en mode infrarouge. La sélection du mode de fonctionnement consisterait alors à sélectionner quel dispositif de capture d’images utiliser pour la reconnaissance faciale.

Claims

REVENDICATIONS
[Revendication 1 ] Procédé de sélection d’un mode de fonctionnement, parmi au moins deux modes de fonctionnement, d’un dispositif de capture d’images (2) utilisé pour effectuer une reconnaissance faciale d’un occupant (5) d’un véhicule (4) automobile, le procédé comprenant les étapes suivantes :
- la détermination d’une valeur (V) représentative d’un paramètre de positionnement du véhicule (4) dans son environnement, ledit paramètre étant représentatif d’un changement prédictif de luminosité de l’environnement du véhicule (4) ;
- la sélection, sur la base de ladite valeur (V), du mode de fonctionnement.
[Revendication 2] Procédé selon la revendication 1 , dans lequel ledit paramètre de positionnement du véhicule (4) dans son environnement est corrélé à un état d’illumination de l’habitacle du véhicule (4).
[Revendication 3] Procédé selon l’une des revendications 1 à 2, dans lequel le paramètre de positionnement est relatif à une trajectoire du véhicule (4).
[Revendication 4] Procédé selon l’une des revendications 1 à 3, dans lequel le paramètre de positionnement est sélectionné parmi au moins l’un des paramètres suivants :
- un temps ou une distance (d) séparant le véhicule (4) d’une infrastructure (10) susceptible de modifier la luminosité à l’intérieur du véhicule (4) ;
- un angle entre une direction principale (D1 , D2) du véhicule (4) et un axe véhicule - soleil (A1 , A2) ;
- une condition topographique ;
- une condition météorologique.
[Revendication 5] Procédé selon l’une des revendications 1 à 4, dans lequel la sélection est effectuée sur la base d’une comparaison de la valeur (V) représentative du paramètre avec une valeur seuil déterminée.
[Revendication 6] Procédé selon la revendication 5, dans lequel la comparaison de la valeur (V) représentative du paramètre avec la valeur seuil déterminée est effectuée de façon périodique, et dans lequel la sélection consiste à faire basculer le dispositif de capture d’images (2) dans ledit mode de fonctionnement lorsque la valeur (V) représentative du paramètre devient inférieure ou supérieure à la valeur seuil déterminée.
[Revendication 7] Procédé selon la revendication 5 ou 6, dans lequel la valeur seuil déterminée varie en fonction au moins de l’une des conditions suivantes :
- une condition météorologique ;
- une présence d’un toit ouvrant ;
- une présence d’un toit vitré.
[Revendication 8] Procédé selon l’une des revendications 1 à 7, dans lequel lesdits au moins deux modes de fonctionnement comprennent :
- un mode couleur, dans lequel le dispositif de capture d’images (2) acquiert une image sur la base d’un rayonnement compris dans le domaine visible ; et
- un mode infrarouge, dans lequel le dispositif de capture d’images (2) acquiert une image sur la base d’un rayonnement compris dans le domaine infrarouge.
[Revendication 9] Procédé selon l’une des revendications 1 à 8, la valeur (V) représentative du paramètre est déterminée sur la base de l’une au moins des données suivantes :
- données de géolocalisation ;
- une vitesse linéaire du véhicule (4) ;
- une vitesse de lacet du véhicule (4) ;
- un signal radar ou lidar ;
- une image d’une scène à l’avant du véhicule (4) ;
- une reconnaissance d’une indication routière (20).
[Revendication 10] Système (1 ) de reconnaissance faciale d’un occupant (5) d’un véhicule (4) automobile comprenant un dispositif de capture d’images (2) du visage de l’occupant (5) et un calculateur (3) programmé pour effectuer les étapes suivantes :
- la détermination d’une valeur (V) représentative d’un paramètre de positionnement du véhicule (4) dans son environnement, ledit paramètre étant représentatif d’un changement prédictif de luminosité de l’environnement du véhicule (4) ;
- la sélection, sur la base de ladite valeur (V), d’un mode de fonctionnement du dispositif de capture d’images (2) parmi au moins deux modes de fonctionnement.
PCT/EP2022/073131 2021-09-20 2022-08-18 Procede de selection d'un mode de fonctionnement d'un dispositif de capture d'images pour reconnaissance faciale WO2023041285A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2109865 2021-09-20
FR2109865A FR3127355B1 (fr) 2021-09-20 2021-09-20 procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale

Publications (1)

Publication Number Publication Date
WO2023041285A1 true WO2023041285A1 (fr) 2023-03-23

Family

ID=78049468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/073131 WO2023041285A1 (fr) 2021-09-20 2022-08-18 Procede de selection d'un mode de fonctionnement d'un dispositif de capture d'images pour reconnaissance faciale

Country Status (2)

Country Link
FR (1) FR3127355B1 (fr)
WO (1) WO2023041285A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018641A1 (en) * 2004-07-07 2006-01-26 Tomoyuki Goto Vehicle cabin lighting apparatus
EP3348441A1 (fr) * 2015-10-27 2018-07-18 Zhejiang Geely Holding Group Co., Ltd. Système de commande de véhicule basé sur la reconnaissance faciale

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028798A1 (fr) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 Procédé et dispositif de surveillance d'une condition de conduite, et dispositif électronique associé
JPWO2020054240A1 (ja) * 2018-09-13 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
FR3104363B1 (fr) * 2019-12-09 2022-03-25 Valeo Comfort & Driving Assistance Dispositif de capture d’images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018641A1 (en) * 2004-07-07 2006-01-26 Tomoyuki Goto Vehicle cabin lighting apparatus
EP3348441A1 (fr) * 2015-10-27 2018-07-18 Zhejiang Geely Holding Group Co., Ltd. Système de commande de véhicule basé sur la reconnaissance faciale

Also Published As

Publication number Publication date
FR3127355B1 (fr) 2023-09-29
FR3127355A1 (fr) 2023-03-24

Similar Documents

Publication Publication Date Title
EP3049283B1 (fr) Dispositif et procédé d'aide à la conduite
EP3084511B1 (fr) Système et procédé de commande de luminosité d'un afficheur tête haute et afficheur utilisant ledit système
FR3049560A1 (fr) Procede et systeme d'assistance au changement de voie de roulage pour vehicule automobile
FR2983799A1 (fr) Procede et dispositif de commande de l'emission lumineuse d'un projecteur de vehicule
FR2969098A1 (fr) Procede et dispositif d'assistance du conducteur d'un vehicule
FR2932595A1 (fr) Procede d'affichage d'aide au parking.
EP2743129B1 (fr) Procédé et dispositif de commande d'un faisceau lumineux
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
FR3082038A1 (fr) Estimation dynamique du tangage instantane d'une camera embarquee dans un vehicule automobile
WO2023041285A1 (fr) Procede de selection d'un mode de fonctionnement d'un dispositif de capture d'images pour reconnaissance faciale
EP3853082B1 (fr) Dispositif de détection de neige sur une surface vitrée d'un véhicule automobile
EP3926529A1 (fr) Systèmes et méthodes de détermination d'un nombre de personnes dans un véhicule
FR3093311A1 (fr) Assistance à la conduite d’un véhicule, par détermination de la contrôlabilité de sa conduite
WO2020025260A1 (fr) Procédé de détermination d'un type d'emplacement de stationnement
FR2863050A1 (fr) Dispositif de mesure de la distance entre deux vehicules.
FR2976091A1 (fr) "procede et dispositif de deconnexion automatique des systemes d'aide a la conduite d'un vehicule en approche d'une barriere de peage"
US11836964B2 (en) Devices, systems and methods for scene image acquisition
EP1738293B1 (fr) Procede de commande de la trajectoire d'un vehicule
FR3127615A1 (fr) Procédé et dispositif de contrôle de système d’aide à la conduite embarqué dans un véhicule
FR2913127A1 (fr) Procede de detection d'un virage, procede de commande de l'eclairage d'un vehicule lors de la detection d'un virage et systeme de mise en oeuvre de ces procedes
EP4281347A1 (fr) Procédé et dispositif de contrôle d'un premier véhicule suivant un deuxième véhicule sur une portion de route comprenant un virage
EP3931741A1 (fr) Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées
FR3068667A1 (fr) Procede d’activation automatique d’une fonction d’un vehicule automobile
FR2939194A1 (fr) Capteur de luminosite, notamment pour vehicule automobile
FR3122391A1 (fr) Procédé et dispositif de détermination d’un état d’attention d’un conducteur d’un véhicule autonome

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022768335

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022768335

Country of ref document: EP

Effective date: 20240422