WO2022200102A1 - Système de surveillance d'un occupant d'un véhicule automobile - Google Patents

Système de surveillance d'un occupant d'un véhicule automobile Download PDF

Info

Publication number
WO2022200102A1
WO2022200102A1 PCT/EP2022/056533 EP2022056533W WO2022200102A1 WO 2022200102 A1 WO2022200102 A1 WO 2022200102A1 EP 2022056533 W EP2022056533 W EP 2022056533W WO 2022200102 A1 WO2022200102 A1 WO 2022200102A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
during
acquisition
acquisition period
occupant
Prior art date
Application number
PCT/EP2022/056533
Other languages
English (en)
Inventor
Nicolas RINGELSTEIN
Frederic Autran
Original Assignee
Valeo Comfort And Driving Assistance
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort And Driving Assistance filed Critical Valeo Comfort And Driving Assistance
Priority to US18/284,034 priority Critical patent/US20240164652A1/en
Priority to EP22714804.6A priority patent/EP4312742A1/fr
Priority to CN202280023502.9A priority patent/CN117042683A/zh
Publication of WO2022200102A1 publication Critical patent/WO2022200102A1/fr

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A61B5/02433—Details of sensor for infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • the field of the present invention relates to a system for monitoring an occupant of a motor vehicle. More specifically, this monitoring system aims to determine one or possibly several physiological parameters of an occupant of a motor vehicle by remote photoplethysmography. This monitoring system also aims to define, from said parameter, the physiological state of said occupant. The invention also relates to a method for determining the physiological state of the occupant by photoplethysmography, this method using said monitoring system.
  • Plethysmography is a method of measuring changes in the volume of a part of the body (for example an organ) which allows these vital signs to be extracted. Plethysmography is used in particular to detect changes in volume due to a cardiovascular pulse wave which passes through the body of a subject with each heartbeat.
  • Known plethysmography methods include photoplethysmography, an optical measurement technique to assess a time-varying change in the reflectance or transmission of light in an area or region of interest.
  • Photoplethysmography is based on the fact that the blood absorbs more light than the surrounding tissues, the variations in blood volume generated with each heartbeat consequently affect the transmittance and reflectivity. By evaluating transmittance and/or reflectivity at different wavelengths (typically red and infrared), blood oxygen saturation or other parameters related to the vital signs of the subject being studied can be determined. Photoplethysmography can be performed "remotely" in a non-intrusive manner, i.e. without contact with said subject. For this, light sources (in particular infrared illumination sources) and one or more image acquisition devices, such as a camera or a video camera, are for example used. This equipment is thus placed at a distance from the subject during the shots.
  • light sources in particular infrared illumination sources
  • image acquisition devices such as a camera or a video camera
  • Remote photoplethysmography can prove useful in the context of an automotive application to enhance road safety, in particular to monitor the physiological state of the driver of said motor vehicle.
  • changes in the lighting in the passenger compartment of a motor vehicle and more particularly drastic changes in the lighting on the face or the hands of the occupant lead to difficulties in the acquisition and use of data. by the image acquisition device or devices.
  • the lighting in the passenger compartment is variable over time, it depends in particular on the environment outside the vehicle (weather, presence of buildings or trees or any other object likely to generate shade, time at time of shooting, etc.).
  • the light reflected by the driver comprises a component due to the lighting coming from the infrared light sources and another component due to the ambient lighting
  • the variations of the component due to the ambient lighting in the light received by the sensor(s) of the image acquisition device(s) have a significant impact.
  • the change in lighting on the driver's face is likely to alter the images, thus limiting the reliability of the data used when determining one or possibly several physiological parameters by photoplethysmography. Real-time monitoring of the motor vehicle occupant's vital signs can be difficult under these conditions.
  • any light detected by the sensor of the acquisition device generates noise ("shot noise" in English) so that a high value of the component due to ambient illumination decreases the signal-to-noise ratio and makes the more complex useful signal detection. It is therefore essential to overcome the component due to ambient illumination in the light received by the sensor of the image acquisition device to promote the reliability of the method for determining a physiological parameter of the occupant of the motor vehicle by photoplethysmography.
  • the object of the invention is to at least partially overcome these disadvantages of the prior art by proposing a simple, effective and economical solution.
  • the subject of the invention is a system for monitoring an occupant of a motor vehicle, the monitoring system comprising a pulsed light source configured to emit a train of light pulses in the direction of the occupant, a device image acquisition device, such as a time-of-flight camera, said image acquisition device comprising an image sensor and a shutter configured to pass light to the image sensor during a first period of acquisition during which the pulsed light source emits a light pulse and during a second acquisition period during which the pulsed light source is inactive, the second acquisition period being triggered outside the first acquisition period , the respective duration of the first and of the second acquisition periods being at least equal to the duration of a light pulse emitted by the pulsed light source, the light received by the image sensor during the first acquisition period and the second acquisition period comprising a component due to the ambient lighting and a component due to the light pulse emitted by the pulsed light source, the monitoring system comprising also a processing unit configured to determine from the images acquired a physiological parameter of the occupant by photoplethy
  • Such a monitoring system therefore makes it possible to overcome the variations introduced by the component due to the ambient lighting on the images acquired by the image acquisition device or devices, thus making it possible to apply the photoplethysmography methods therein in order to to determine one or possibly several physiological parameters of the occupant with the aim of evaluating his physiological state.
  • a time-of-flight camera therefore also makes it possible to reconstruct the filmed scene (in the present case in particular the face of the driver) in three dimensions in real time.
  • Such a surveillance system can thus allow real-time monitoring of the movements of the occupant, in particular of his head, and to select the images presenting a profile (in particular from the front) to be processed during the process for developing the physiological state of the occupant while removing in particular the images deemed unusable in terms of photoplethysmography.
  • the invention may further comprise one or more of the following aspects taken alone or in combination:
  • the respective duration of the first , of the second and of the third acquisition period is less than 50 ns and more particularly equal to 20 ns;
  • the durations of the first, second and third vesting periods are identical to each other;
  • the duration of a pulse of the train of light pulses emitted by the pulsed light source is equal to the duration of the first acquisition period
  • the monitoring system comprises a control unit configured to synchronize the start of the train of light pulses emitted by the pulsed light source with the opening of the shutter at the start of the first acquisition period;
  • control unit is configured to control the opening and closing of the shutter
  • the monitoring system is configured to select a region of interest on the occupant's face to allow determination of the physiological parameter
  • the image sensor is configured to establish a depth map of the occupant's face from the images acquired by the image acquisition device;
  • the image acquisition device has three separate shutters: a first shutter configured to pass light to the image sensor during the first acquisition period, a second shutter configured to pass light to the image sensor during the second acquisition period and a third shutter configured to pass light to the image sensor during the third acquisition period.
  • the invention also relates to a method for determining the physiological state of the occupant by photoplethysmography.
  • the method may further comprise the following steps: – the pulsed light source emits a train of light pulses in the direction of the occupant, this corresponds to a first step; – simultaneously, the shutter is opened in order to let the light pass towards the image sensor, this light includes a component due to the ambient lighting and a component due to the light pulse emitted by the pulsed light source, this corresponds at a second stage; – at the end of the first acquisition period, the pulsed light source is deactivated, this corresponds to a third step; – the shutter is open in order to let the light pass towards the image sensor during a second acquisition period, this light includes a component due to the ambient lighting and possibly a component due to the light pulse emitted previously by the pulsed light source, this corresponds to a fourth step; – in the case where the image acquisition device comprises several shutters, the method comprises a fifth step during which the second shutter is closed and the third shutter is opened; – the shutter is open in order to let the light pass towards the image sensor during a third acquisition
  • The is a figure similar to and schematically represents the state of the monitoring system during a first acquisition period
  • The is a figure similar to and schematically represents the state of the monitoring system during a second acquisition period
  • The is a figure similar to the previous figure and schematically represents the state of the monitoring system of the during a second vesting period
  • The is a figure similar to the two previous figures and schematically represents the state of the monitoring system of Figures 6a and 6b during a third acquisition period, and
  • certain elements can be indexed, such as the first element or the second element, for example.
  • it is a simple indexing to differentiate and name elements that are close but not identical. This indexing does not imply a priority of one element over another and it is easy to interchange such denominations without departing from the scope of the present description. Nor does this indexing imply an order in time.
  • the surveillance system 1 more particularly comprises a pulsed light source 3, an image acquisition device 5, such as a time-of-flight camera, and a processing unit 7.
  • the pulsed light source 3 is configured to emit a train of light pulses, in particular in the infrared and therefore invisible to humans, in the direction of the occupant 2.
  • the surveillance system 1 is arranged in the passenger compartment of the motor vehicle such that the pulsed light source 3 makes it possible to illuminate more particularly the face of the occupant 2 and such that the images acquired by the image acquisition device 5 comprise part or all of of the face of the occupant 2.
  • the monitoring system 1 is for example arranged within the dashboard. Other locations are possible, such as the structure of the interior mirror or the roof of the passenger compartment more generally.
  • the pulsed light source 3 is located outside the enclosure of the structure of the image acquisition device 5. According to another embodiment of the monitoring system, the pulsed light source 3 can be included within the structure of the image acquisition device 5.
  • the pulsed light source 3 is for example an infrared radiation source. It may in particular be in the form of a light-emitting diode (LED) or a laser diode.
  • the wavelength of the train of light pulses emitted by such a light source is for example included in an interval delimited in particular between 850 nm and 940 nm.
  • such infrared radiation is invisible to the human eye. The risk of diverting the attention of the occupant 2 during the emission of the train of light pulses is therefore relatively low.
  • the image acquisition device 5 comprises an image sensor 9, such as for example a photographic sensor, such as a CMOS or CCD sensor.
  • the image acquisition device 5 also comprises a shutter 11 configured to allow light to pass towards the image sensor 9, this shutter 11 can be mechanical or electronic. According to a non-illustrated embodiment of the image acquisition device 5, the latter may comprise several image sensors 9.
  • the images acquired by the image acquisition device 5 are intended to be processed by the processing unit 7 which is configured to determine one or more physiological parameters of the occupant 2 from said images.
  • the determination of the physiological parameter(s) is done by remote photoplethysmography. Remote photoplethysmography methods are known and will not be detailed in this description.
  • the physiological parameter can be heart rate, respiratory rate or arterial blood oxygen saturation.
  • the monitoring system 1 can be configured to select one or more regions of interest 12 on the face of the occupant 2 with the aim of allowing the determination of the physiological parameter by remote photoplethysmography in a non-intrusive manner.
  • a region of interest 12 can in particular designate a part or even the whole of the forehead, the cheeks or the chin of the occupant 2, as indicated for example on the .
  • the image acquisition device 5 is a time-of-flight (ToF) camera.
  • This type of camera makes it possible to simultaneously acquire information on the light intensity and information on the distance separating the occupant 2 from the sensor 9 of the image acquisition device 5 of the surveillance system 1. vol is thus able to reconstruct the filmed scene in three dimensions in a minimum of time, which promotes real-time monitoring of the movements of the occupant 2.
  • the image sensor 9 is configured to establish a depth map of the face of the occupant 2 from the images acquired by the image acquisition device 5.
  • This depth map makes it possible more particularly to evaluate the position of the head of the occupant 2 and to locate the displacement of the region(s) of interest 12 on the face of the occupant 2 when he is required to move, such as when he turns his head to perform a reverse, for example.
  • the head movements of the occupant 2 can complicate the identification of the region(s) of interest 12 on the images of the face of the occupant 2 intended to be processed by the processing unit 7.
  • This monitoring system 1 also makes it possible to circumvent another difficulty identified in the introduction: the change in ambient lighting within the passenger compartment of the motor vehicle. Due to the almost uninterrupted evolution of light inside and around the motor vehicle, the ambient lighting may change frequently, which may affect the intensity on the images acquired by the acquisition device. image 5 from surveillance system 1. That is, the face of occupant 2 is not uniformly illuminated over time; a Ca component due to ambient illumination on the images is variable over time. It is therefore necessary to overcome this component Ca due to the ambient lighting which interferes with said images and which can disturb the determination of the physiological parameter by remote photoplethysmography carried out by the processing unit 7.
  • first acquisition period P1 the acquisition of said images occurs cyclically and each cycle comprises three times which will be referred to as "first acquisition period P1", “second acquisition period P2” and “third acquisition period P3" in following this description.
  • the second acquisition period P2 is triggered outside the first acquisition period P1.
  • the third acquisition period P3 is triggered outside of the first P1 and the second P2 acquisition periods.
  • These three acquisition periods P1, P2, P3 may in particular follow one another, in this case the second acquisition period P2 begins when the first acquisition period P1 ends and the third acquisition P3 begins when the second acquisition period P2 ends.
  • FIGS. 3a, 3b and 3c diagram respectively the actions of the surveillance system 1 during the first acquisition period P1, the second acquisition period P2 and the third acquisition period P3.
  • the first acquisition period P1 is marked by two events taking place at the same time: the surveillance system 1 is configured such that the pulsed light source 3 emits a light pulse in the direction of the occupant 2, this is in particular represented by the hatched area between the two dotted arrows pointing towards the occupant 2.
  • the light emitted by the pulsed light source 3 is represented by horizontal hatching.
  • the shutter 11 is opened to allow light to pass from the occupant 2 to the image sensor 9 of the acquisition device 5 of the surveillance system 1 during the first acquisition period P1, this is more particularly represented by the hatched area between the two arrows pointing towards the rectangle representing the shutter 11.
  • the surveillance system 1 can comprise a control unit 13 (represented schematically in FIGS. 1, 3a, 3b and 3c) which is configured to synchronize the start of the train of light pulses emitted by the pulsed light source 3 with the opening of the shutter 11 at the start of the first acquisition period P1. Furthermore, this control unit 13 can also be configured to control the opening and closing of the shutter 11.
  • the light pulse emitted by the pulsed light source 3 makes a journey of variable duration depending on the distance between the object it illuminates and the image sensor 9 of the image acquisition device 5 of the system surveillance 1.
  • the travel time of a light pulse reflected on an object placed near the image sensor 9 and the pulsed light source 3 will be shorter than that of a light pulse reflected on an object placed more far.
  • this travel time makes it possible to calculate the distance which separates in particular the regions of interest 12 of the face of the occupant 2 and the image sensor 9 of the image acquisition device 5 of the monitoring system 1.
  • the light emitted by the pulsed light source 3 and reflected by the occupant 2 does not necessarily have time to cross the shutter 11 of the image acquisition device 5 before the end of the first acquisition period P1, which is why there is the second acquisition period P2 which follows it.
  • the sensor 11 is open during the second acquisition period P2 to let the light pass to the sensor 9 of the image acquisition device 5.
  • part of the light pulse emitted by the pulsed light source 3 and reflected by the occupant 2 may therefore have to pass through the shutter 11 during this second acquisition period P2 to avoid a potential loss of data.
  • This "late" part of the light received by the image sensor 9 of the image acquisition device 5 corresponds in particular to the rays of light which are reflected on objects placed at a greater distance from the pulsed light source 3.
  • the pulsed light source 3 is inactive: it no longer emits a light pulse in the direction of the occupant 2.
  • the light passing through the shutter 11 towards the sensor 9 during the first acquisition period P1 also comprises a component Ca due to the ambient lighting and a component Ci due to the light pulse.
  • the component Ci due to the light pulse in the light reflected by the region or regions of interest 12 of the face of the occupant 2 in the direction of the shutter 11 is represented by a zone with horizontal hatching and the component Ca due to the ambient lighting in the light reflected by the region(s) of interest 12 of the face of the occupant 2 towards the shutter 11 is represented by oblique hatching in this same zone.
  • the pulsed light source 3 emits a light pulse in the infrared range
  • the light perceived by the image sensor 9 during the first and the second acquisition period P1, P2 therefore comprises a light component visible and an infrared light component.
  • the respective duration of the first acquisition period P1 and of the second acquisition period P2 is at least equal to the duration of a light pulse emitted by the pulsed light source 3.
  • the duration of a pulse of the train of light pulses emitted by the pulsed light source 3 is equal to the duration of the first acquisition period P1.
  • the pulsed light source 3 is deactivated at the end of the first acquisition period P1 and remains inactive during the second and third acquisition periods P2 and P3.
  • the shutter 11, for its part, allows light to pass towards the image sensor 9 during each of the three acquisition periods P1, P2 and P3.
  • the durations of the first, of the second and of the third acquisition period P1, P2, P3 can be identical to each other.
  • the duration of the light pulse, the duration of the first, second and third acquisition periods P1, P2 and P3 and the distance separating the occupant 2 from the surveillance system 1 are such that the light received by the image sensor 9 during the third acquisition period P3 does not include any component Ci due to the light pulse emitted by the pulsed light source 3.
  • only ambient light is received by the image sensor 9 during the third period of acquisition P3.
  • the component Ca due to the ambient lighting is represented by oblique hatching in the zone representing the light reflected by the region(s) of interest 12 of the face of the occupant 2 towards the shutter 11. There is no no horizontal hatching in this zone, since this light is devoid of a component Ci due to the light pulse emitted by the pulsed light source 3.
  • the respective durations of the three acquisition periods P1, P2, P3 are very short, they are for example less than 50 ns and more particularly equal to 20 ns. They are so short that the change in the ambient illumination on the face of the occupant 2 is negligible over this period of time, i.e. the Ca component due to the ambient illumination in the light received by the image sensor 9 is considered to be identical on all the images acquired by the image acquisition device 5 during these three acquisition periods P1, P2, P3 belonging to the same cycle.
  • the processing unit 7 is configured to subtract this component Ca from part or all of said images in order to isolate the component Ci due to the light pulse emitted by the pulsed light source 3.
  • This operation is shown schematically in the .
  • This figure shows several timelines with a time axis t whose start is marked by the origin O.
  • the time axis t is divided into three segments of the same length highlighted by double arrows.
  • Each double-arrow represents an acquisition period P1, P2, P3.
  • the rectangular blocks surmounting these double arrows represent the light received by the image sensor 9 during these three acquisition periods P1, P2 and P3.
  • this component Ca is here represented by a first rectangular block comprising oblique hatching.
  • the total length of this first block corresponds to the sum of the lengths of the three double arrows.
  • a second block of a length equal to a single double-arrow surmounts the first block.
  • the horizontal hatching inside the second block represents the component Ci due to the light pulse emitted by the pulsed light source 3.
  • the offset between the start of this second block and the origin O is due to the travel time of the light pulse emitted by the pulsed light source 3.
  • the subtraction operation performed by the processing unit 7 takes place as follows: the processing unit 7 identifies the component Ca due to the ambient lighting on the images acquired by the image acquisition device 5 during the third acquisition period P3, this is symbolized by the bold dotted lines on the first timeline.
  • the value of this component Ca is subtracted from the quantity of light received by the image sensor 9 during which said image sensor 9 also receives the component Ci due to the light pulse reflected by the region(s) of interest 12 of the face of the occupant 2, this is represented on the second timeline located below the first timeline.
  • the processing unit 7 therefore focuses on the images which no longer include the component Ci to apply thereto a photoplethysmograhie method in order to determine a physiological parameter of the occupant 2. This last step is symbolized by the frame with thick lines on the third frieze of the .
  • the component Ca due to the ambient lighting is specific to each cycle, this is represented by the different sizes of the blocks Ca1, Ca2 and Ca3 with the oblique hatching. The thus illustrates the repetition of the subtraction operation carried out by the processing unit 7 cycle after cycle.
  • the processing unit 7 is therefore configured to subtract the component Ca due to the ambient illumination from the light received by the sensor 9 of the image acquisition device 5 for the images acquired during the first and the second period of acquisition P1 and P2.
  • the images acquired by the image acquisition device 5 during the first and the second acquisition periods P1 and P2 are no longer interfered with by the component Ca due to the ambient lighting, which increases the efficiency of the processing image performed by the processing unit 7 in the context of determining the physiological parameter by remote photoplethysmography.
  • the processing unit 7 is also configured to define, from the physiological parameter, the physiological state of the occupant 2.
  • the processing unit 7 can for example compare the value of the physiological parameter(s) to one or more thresholds predetermined.
  • the physiological parameter is heart rate. If this is greater than a predetermined maximum threshold or less than a predetermined minimum threshold within the processing unit 7, it is possible that the physiological state of the occupant 2 does not allow him to drive.
  • the monitoring system 1 can in particular be configured to emit, for example, a sound signal or any other form of alert when the physiological parameter(s) do not correspond to the predetermined criteria within the processing unit 7.
  • a sound signal can alert the occupant of a potential danger, such as driving while fatigued.
  • the surveillance system 1 can comprise several shutters 111, 112 and 113.
  • the image acquisition device 5 can comprise a first shutter 111 configured to pass light to image sensor 9 during the first acquisition period P1, a second shutter 112 configured to pass light to image sensor 9 during the second acquisition period P2 and a third shutter 113 configured to allow light to pass towards the image sensor 9 during the third acquisition period P3, as illustrated respectively in images 5a, 5b and 5c.
  • the first shutter 111 is open at the start of the first acquisition period P1 and closed again at the end of the first acquisition period P1
  • the second shutter 112 is open at the start of the second acquisition period P2 and closed at the end of the second acquisition period P2 and the same principle applies for the third shutter 113 and the third acquisition period P3.
  • the operation of this second embodiment of the monitoring system 1 is very similar to that of the first embodiment, hence the similarity between Figures 6a, 6b and 6c with Figures 3a, 3b and 3c respectively.
  • control unit 13 can be configured to control the opening and the closing in cascade of the first, second and third shutters 111, 112 and 113.
  • the closing of the first shutter 111 coincides with the opening of the second shutter 112 and the closing of the second shutter 112 coincides with the opening of the third shutter 113. result in an increased lifespan of the monitoring system 1.
  • a method for determining the physiological state of the occupant 2 by photoplethysmography is detailed in the following description.
  • This method makes use of a monitoring system 1 such as that described previously.
  • the method comprises several steps E1, E2, E3, E4, E5, E6, E7, E8, E9 and E10.
  • Steps E1 and E2 take place at the same time during the first acquisition period P1.
  • the pulsed light source 3 emits a train of light pulses in the direction of the occupant 2 while for step E2, which takes place simultaneously, the shutter 11 or the first shutter 111 is opened in order to to let the light pass towards the image sensor 9.
  • This light comprises a component Ca due to the ambient lighting and a component Ci due to the light pulse emitted by the pulsed light source 3.
  • Step E3 also marks the end of the first acquisition period P1 and the start of the second acquisition period P2.
  • this step E3 is also marked by the closing of the first shutter 111 and the opening of the second shutter 112.
  • step E4 the shutter 11 or the second shutter 112 is opened in order to let the light pass towards the image sensor 9 during the second acquisition period P2, this light comprises a component Ca due to the ambient lighting and possibly a component Ci due to the light pulse previously emitted by the pulsed light source 3.
  • Step E5 marks the end of the second acquisition period P2 and the start of the third acquisition period P3.
  • step E5 also corresponds to the moment when the second shutter 112 is closed and the third shutter 113 is open.
  • step E6 the shutter 11 or 113 is opened in order to let the light pass towards the image sensor 9 during the third acquisition period P3, this light comprises a component Ca due to the ambient lighting , but no more component Ci due to the light pulse previously emitted by the pulsed light source 3.
  • step E7 at the end of the third acquisition period P3, the shutter 11 or the third shutter 113 is closed.
  • step E8 the processing unit 7 subtracts the component Ca due to the ambient lighting contained in the light received by the image sensor 9 during the third acquisition period P3 from the light received by the image sensor 9 during the first and second acquisition periods P1, P2 with the aim of isolating the component Ci due to the light pulse emitted by the pulsed light source 3 on the images acquired by the acquisition device image 5 during the first and second acquisition periods P1, P2.
  • step E9 the processing unit 7 determines from said images a physiological parameter of the occupant 2 by photoplethysmography.
  • step E10 the processing unit 7 defines, from the physiological parameter, the physiological state of the occupant 2 by photoplethysmography. It is not necessarily necessary to repeat steps E9 and E10 for each cycle. In other words, it is possible to repeat steps E1 to E8 several times in a row before starting steps E9 and E10.
  • the processing unit 7 of the surveillance system 1 can be configured to select the images worthy of being processed during the process for developing the physiological state of the occupant 2 by removing, for example, the images on which the occupant 2 is not oriented facing the surveillance system 1, as in the case where the occupant is a driver and the latter turns his head to carry out a reverse gear with his vehicle, because these images do not allow reliably determining a physiological parameter of the occupant 2 by photoplethysmography.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Le système de surveillance (1) comporte : - une source lumineuse (3), - un dispositif d'acquisition d'image (5) comprenant un obturateur (11) qui laisse passer la lumière pendant une période (PI) où la source est active et pendant une période (P2) où la source est inactive, la lumière reçue par un capteur (9) comportant une composante (Ca) due à l'éclairage ambiant et une composante (Ci) due à la source lumineuse; - une unité de traitement (7) configurée pour déterminer un paramètre physiologique de l'occupant par photopléthysmographie. L'obturateur (11) laisse passer la lumière pendant une troisième période (P3), ladite lumière comportant la composante (Ca) de l'éclairage ambiant et l'unité de traitement (7) étant configurée pour soustraire cette composante (Ca) à la lumière reçue (9) pendant les deux autres périodes dans le but d'isoler la composante (Ci) de la source sur des images acquises.

Description

Système de surveillance d’un occupant d’un véhicule automobile
Le domaine de la présente invention concerne un système de surveillance d’un occupant d’un véhicule automobile. Plus précisément, ce système de surveillance a pour objectif de déterminer un ou éventuellement plusieurs paramètres physiologiques d’un occupant d’un véhicule automobile par photopléthysmographie à distance. Ce système de surveillance a également pour objectif de définir, à partir dudit paramètre, l’état physiologique dudit occupant. L’invention concerne également un procédé de détermination de l’état physiologique de l’occupant par photopléthysmographie, ce procédé a recours audit système de surveillance.
Les signes vitaux d’une personne, tels que la fréquence cardiaque, le rythme respiratoire ou la saturation en oxygène du sang artériel peuvent servir d’indicateurs de l’état de santé (aussi appelé « état physiologique ») d’une personne. La pléthysmographie est une méthode de mesure des changements de volume d’une partie du corps (par exemple un organe) qui permet d’extraire ces signes vitaux. La pléthysmographie est notamment employée pour détecter des changements de volume dus à une onde de pouls cardio-vasculaire qui traverse le corps d’un sujet à chaque battement cardiaque. Parmi les méthodes de pléthysmographie connues figure notamment la photopléthysmographie, une technique de mesure optique permettant d’évaluer un changement variable dans le temps de la réflectance ou de la transmission de la lumière dans une zone ou une région d’intérêt.
La photopléthysmographie se base sur le fait que le sang absorbe plus de lumière que les tissus environnants, les variations du volume sanguin générées à chaque battement cardiaque affectent en conséquence la transmittance et la réflectivité. En évaluant la transmittance et/ou la réflectivité à différentes longueurs d’onde (typiquement rouge et infrarouge), la saturation en oxygène du sang ou d’autres paramètres liés aux signes vitaux du sujet étudié peuvent être déterminés. La photopléthysmographie peut être pratiquée « à distance » de façon non-intrusive, c’est-à-dire sans contact avec ledit sujet. Pour cela, des sources lumineuses (notamment des sources d’éclairement infrarouge) et un ou plusieurs dispositifs d’acquisition d’image, tels qu’un appareil photo ou une caméra, sont par exemple utilisés. Cet équipement est ainsi disposé à distance du sujet lors des prises de vues.
La photopléthysmographie à distance peut s’avérer utile dans le cadre d’une application automobile pour renforcer la sécurité routière, notamment pour surveiller l’état physiologique du conducteur dudit véhicule automobile. Cependant, des changements de l’éclairage dans l’habitacle d’un véhicule automobile et plus particulièrement des changements drastiques de l’éclairage sur le visage ou les mains de l’occupant amènent des difficultés dans l’acquisition et l’exploitation des données par le ou les dispositifs d’acquisition d’images. En effet, l’éclairage dans l’habitacle est variable dans le temps, il dépend notamment de l’environnement extérieur du véhicule (météo, présence de bâtiments ou d’arbres ou tout autre objet susceptible de générer de l’ombre, heure au moment des prises de vues, etc.). Si l’on considère que la lumière réfléchie par le conducteur comprend une composante due à l’éclairage issu des sources lumineuses infrarouges et une autre composante due à l’éclairage ambiant, on comprend que les variations de la composante due à l’illumination ambiante dans la lumière reçue par le ou les capteurs du ou des dispositifs d’acquisition d’images ont un impact important. Le changement de l’éclairage sur le visage du conducteur est susceptible d’altérer les images, limitant ainsi la fiabilité des données exploitées lors de la détermination d’un ou éventuellement plusieurs paramètres physiologiques par photopléthysmographie. Un suivi en temps réel des signes vitaux de l’occupant du véhicule automobile peut s’avérer difficile dans ces conditions.
Par ailleurs, toute lumière détectée par le capteur du dispositif d’acquisition génère du bruit (« shot noise » en anglais) de sorte qu’une valeur élevée de la composante due à l’illumination ambiante diminue le rapport signal/bruit et rend la détection du signal utile plus complexe. Il est donc essentiel de s’affranchir de la composante due à l’illumination ambiante dans la lumière reçue par le capteur du dispositif d’acquisition d’image pour favoriser la fiabilité du procédé de détermination d’un paramètre physiologique de l’occupant du véhicule automobile par photopléthysmographie.
L’invention a pour objectif de pallier au moins partiellement ces inconvénients de l’art antérieur en proposant une solution simple, efficace et économique.
À cet effet l’invention a pour objet un système de surveillance d’un occupant d’un véhicule automobile, le système de surveillance comportant une source lumineuse pulsée configurée pour émettre un train d’impulsions lumineuses en direction de l’occupant, un dispositif d’acquisition d’image, tel une caméra à temps de vol, ledit dispositif d’acquisition d’image comprenant un capteur d’image et un obturateur configuré pour laisser passer de la lumière vers le capteur d’image pendant une première période d’acquisition au cours de laquelle la source lumineuse pulsée émet une impulsion lumineuse et pendant une deuxième période d’acquisition au cours de laquelle la source lumineuse pulsée est inactive, la deuxième période d’acquisition étant déclenchée en dehors de la première période d’acquisition, la durée respective de la première et de la deuxième périodes d’acquisition étant au moins égale à la durée d’une impulsion lumineuse émise par la source lumineuse pulsée, la lumière reçue par le capteur d’image lors de la première période d’acquisition et de la deuxième période d’acquisition comportant une composante due à l’éclairage ambiant et une composante due à l’impulsion lumineuse émise par la source lumineuse pulsée, le système de surveillance comportant également une unité de traitement configurée pour déterminer à partir des images acquises un paramètre physiologique de l’occupant par photopléthysmographie et pour définir, à partir dudit paramètre, l’état physiologique de l’occupant, le système de surveillance étant caractérisé en ce que l’obturateur est également configuré pour laisser passer de la lumière vers le capteur d’image pendant une troisième période d’acquisition déclenchée en dehors de la première et de la deuxième périodes d’acquisition, la source lumineuse pulsée étant inactive pendant la troisième période d’acquisition, ladite lumière comportant la composante due à l’éclairage ambiant et en ce que l’unité de traitement est configurée pour soustraire cette composante due à l’éclairage ambiant à la lumière reçue par le capteur pendant la première et la deuxième périodes d’acquisition dans le but d’isoler la composante due à l’impulsion lumineuse émise par la source lumineuse pulsée sur une partie ou la totalité des images acquises par le dispositif d’acquisition d’image pendant la première et la deuxième périodes d’acquisition.
Un tel système de surveillance permet donc de s’affranchir des variations introduites par la composante due à l’éclairage ambiant sur les images acquises par le ou les dispositifs d’acquisition d’image, permettant ainsi d’y appliquer les méthodes de photopléthysmographie afin de déterminer un ou éventuellement plusieurs paramètres physiologiques de l’occupant dans le but d’évaluer son état physiologique. Par ailleurs, la caméra à temps de vol (en anglais « ToF = time of flight ») permet d’acquérir des informations liées à la profondeur et/ou à la distance : ce genre de caméra permet d’évaluer la distance qui sépare l’occupant du dispositif d’acquisition d’image en calculant le temps de parcours des impulsions lumineuses émises par la source lumineuse pulsée pour effectuer le trajet entre ladite source jusqu’aux objets filmés et le capteur de la caméra à temps de vol. Une caméra à temps de vol permet donc en plus de reconstruire la scène filmée (dans le cas présent en particulier le visage du conducteur) en trois dimensions en temps réel. Un tel système de surveillance peut ainsi permettre un suivi en temps réel des mouvements de l’occupant, notamment de sa tête, et de sélectionner les images présentant un profil (notamment de face) pour être traitées lors du procédé d’élaboration de l’état physiologique de l’occupant tout en supprimant notamment les images jugées inexploitables en termes de photopléthysmographie.
L’invention peut en outre comprendre un ou plusieurs des aspects suivants pris seuls ou en combinaison :
– la durée respective de la première, de la deuxième et de la troisième période d’acquisition est inférieure à 50 ns et plus particulièrement égale à 20 ns ;
– les durées de la première, de la deuxième et de la troisième période d’acquisition sont identiques entre elles ;
– la durée d’une impulsion du train d’impulsion lumineuses émis par la source lumineuse pulsée est égale à la durée de la première période d’acquisition ;
– le système de surveillance comporte une unité de pilotage configurée synchroniser le départ du train d’impulsions lumineuses émis par la source lumineuse pulsée avec l’ouverture de l’obturateur au début de la première période d’acquisition ;
– l’unité de pilotage est configurée pour piloter l’ouverture et la fermeture de l’obturateur ;
– le système de surveillance est configuré pour sélectionner une région d’intérêt sur le visage de l’occupant pour permettre la détermination du paramètre physiologique ;
- le capteur d’image est configuré pour établir une carte de profondeur du visage de l’occupant à partir des images acquises par le dispositif d’acquisition d’image ;
- le dispositif d’acquisition d’image comporte trois obturateurs distincts : un premier obturateur configuré pour laisser passer de la lumière vers le capteur d’image pendant la première période d’acquisition, un deuxième obturateur configuré pour laisser passer de la lumière vers le capteur d’image pendant la deuxième période d’acquisition et un troisième obturateur configuré pour laisser passer de la lumière vers le capteur d’image pendant la troisième période d’acquisition.
L’invention concerne également un procédé de détermination de l’état physiologique de l’occupant par photopléthysmographie.
Le procédé peut en outre comprendre les étapes suivantes :
– la source lumineuse pulsée émet un train d’impulsions lumineuses en direction de l’occupant, ceci correspond à une première étape ;
– simultanément, l’obturateur est ouvert afin de laisser passer la lumière vers le capteur d’image, cette lumière comprend une composante due à l’éclairage ambiant et une composante due à l’impulsion lumineuse émise par la source lumineuse pulsée, ceci correspond à une deuxième étape ;
– à la fin de la première période d’acquisition, la source lumineuse pulsée est désactivée, ceci correspond à une troisième étape ;
– l’obturateur est ouvert afin de laisser passer la lumière vers le capteur d’image pendant une deuxième période d’acquisition, cette lumière comprend une composante due à l’éclairage ambiant et éventuellement une composante due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée, ceci correspond à une quatrième étape ;
– dans le cas où le dispositif d’acquisition d’image comporte plusieurs obturateurs, le procédé comporte une cinquième étape au cours de laquelle le deuxième obturateur est refermé et le troisième obturateur est ouvert ;
– l’obturateur est ouvert afin de laisser passer la lumière vers le capteur d’image pendant une troisième période d’acquisition, cette lumière comprend une composante due à l’éclairage ambiant, mais plus de composante due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée, ceci correspond à une sixième étape ;
– à la fin de la troisième période d’acquisition, l’obturateur est refermé ; ceci correspond à une septième étape ;
– l’unité de traitement soustrait la composante due à l’éclairage ambiant contenue dans la lumière reçue par le capteur d’image pendant la troisième période d’acquisition à la lumière reçue par le capteur d’image pendant la première et la deuxième périodes d’acquisition dans le but d’isoler la composante due à l’impulsion lumineuse émise par la source lumineuse pulsée sur les images acquises par le dispositif d’acquisition d’image pendant la première et la deuxième périodes d’acquisition, ceci correspond à une huitième étape ;
– l’unité de traitement détermine à partir desdites images un ou plusieurs paramètres physiologiques de l’occupant par photopléthysmographie, ceci correspond à une neuvième étape ;
– l’unité de traitement définit, à partir du paramètre physiologique, l’état physiologique de l’occupant par photopléthysmographie, ceci correspond à une dixième étape.
D’autres avantages et caractéristiques de l’invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre d’exemple illustratif et non limitatif, et des dessins annexés parmi lesquels :
La représente une vue schématique d’un système de surveillance d’un occupant selon un premier mode de réalisation,
La est une illustration indiquant les régions d’intérêt sur le visage d’un occupant ;
La est une figure similaire à la et représente schématiquement l’état du système de surveillance pendant une première période d’acquisition ;
La est une figure similaire à la et représente schématiquement l’état du système de surveillance pendant une deuxième période d’acquisition,
La est une figure similaire aux figures 3a et 3b et représente schématiquement l’état du système de surveillance pendant une troisième période d’acquisition,
La illustre schématiquement quelques étapes du traitement effectué par l’unité de traitement après la troisième période d’acquisition,
La est une figure similaire à la et représente quelques étapes du traitement effectuées par l’unité de traitement sur un laps de temps plus long,
La représente une vue schématique d’un deuxième mode de réalisation du système de surveillance d’un occupant pendant une première période d’acquisition ;
La est une figure similaire à la figure précédente et représente schématiquement l’état du système de surveillance de la pendant une deuxième période d’acquisition,
La est une figure similaire aux deux figures précédentes et représente schématiquement l’état du système de surveillance des figures 6a et 6b pendant une troisième période d’acquisition, et
La est un organigramme représentant les étapes d’un procédé de détermination de l’état physiologique de l’occupant par photopléthysmographie.
Sur ces figures, les éléments identiques portent les mêmes numéros de référence. Par ailleurs, les éléments représentés ne sont pas tous à la même échelle : certains composants du système de surveillance ont été agrandis pour des soucis de clarté.
Les réalisations suivantes sont des exemples. Bien que la description se réfère à un ou plusieurs modes de réalisation, ceci ne signifie pas nécessairement que chaque référence concerne le même mode de réalisation, ou que les caractéristiques s’appliquent seulement à un seul mode de réalisation. De simples caractéristiques de différents modes de réalisation peuvent également être combinées ou interchangées pour fournir d’autres réalisations.
Dans la description, on peut indexer certains éléments, comme par exemple premier élément ou deuxième élément. Dans ce cas, il s’agit d’un simple indexage pour différencier et dénommer des éléments proches mais non identiques. Cette indexation n’implique pas une priorité d’un élément par rapport à un autre et on peut aisément interchanger de telles dénominations sans sortir du cadre de la présente description. Cette indexation n’implique pas non plus un ordre dans le temps.
Il est illustré schématiquement sur la un premier mode de réalisation d’un système de surveillance 1 avec un occupant 2 d’un véhicule automobile (le véhicule automobile n’est pas représenté sur la ). L’occupant 2 est par exemple le conducteur du véhicule automobile ou un passager. Il peut y avoir plusieurs occupants formant par exemple un groupe comportant un conducteur et un ou plusieurs passagers. Le système de surveillance 1 comprend plus particulièrement une source lumineuse pulsée 3, un dispositif d’acquisition d’image 5, tel une caméra à temps de vol, et une unité de traitement 7.
La source lumineuse pulsée 3 est configurée pour émettre un train d’impulsions lumineuses en particulier dans l’infrarouge et donc invisible pour l’homme, en direction de l’occupant 2. De ce fait, le système de surveillance 1 est agencé dans l’habitacle du véhicule automobile de telle sorte que la source lumineuse pulsée 3 permet d’éclairer plus particulièrement le visage de l’occupant 2 et tel que les images acquises par le dispositif d’acquisition d’image 5 comprennent une partie ou l’intégralité du visage de l’occupant 2. Le système de surveillance 1 est par exemple agencé au sein du tableau de bord. D’autres emplacements sont envisageables, tels que la structure du miroir intérieure ou le toit de l’habitacle plus généralement.
Selon le mode de réalisation du système de surveillance 1 schématisé sur la , la source lumineuse pulsée 3 se situe en dehors de l’enceinte de la structure du dispositif d’acquisition d’image 5. Selon un autre mode de réalisation du système de surveillance, la source lumineuse pulsée 3 peut être comprise au sein de la structure du dispositif d’acquisition d’image 5.
La source lumineuse pulsée 3 est par exemple une source de rayonnement infrarouge. Elle peut notamment se présenter sous la forme d’une diode électroluminescente (LED) ou une diode laser. La longueur d’onde du train d’impulsions lumineuses émis par une telle source lumineuse est par exemple comprise dans un intervalle délimité notamment entre 850 nm et 940 nm. Avantageusement, un tel rayonnement infrarouge est invisible pour l’œil humain. Le risque de détourner l’attention de l’occupant 2 lors de l’émission du train d’impulsions lumineuses est donc relativement faible.
Le dispositif d’acquisition d’image 5 comprend un capteur d’image 9, comme par exemple un capteur photographique, tel un capteur CMOS ou CCD. Le dispositif d’acquisition d’image 5 comprend également un obturateur 11 configuré pour laisser passer de la lumière vers le capteur d’image 9, cet obturateur 11 peut être mécanique ou électronique. Selon un mode de réalisation non illustré du dispositif d’acquisition d’image 5, celui-ci peut comprendre plusieurs capteurs d’image 9.
Les images acquises par le dispositif d’acquisition d’image 5 sont destinées à être traitées par l’unité de traitement 7 qui est configurée pour déterminer un ou plusieurs paramètres physiologiques de l’occupant 2 à partir desdites images. La détermination du ou des paramètres physiologiques se fait par photopléthysmographie à distance. Les méthodes de photopléthysmographie à distance sont connues et ne seront pas détaillées dans cette description. Le paramètre physiologique peut être la fréquence cardiaque, la fréquence respiratoire ou la saturation en oxygène du sang artériel.
Plus particulièrement, le système de surveillance 1 peut être configuré pour sélectionner une ou plusieurs régions d’intérêt 12 sur le visage de l’occupant 2 dans le but de permettre la détermination du paramètre physiologique par photopléthysmographie à distance de façon non-intrusive. Une région d’intérêt 12 peut notamment désigner une partie ou encore l’intégralité du front, des joues ou du menton de l’occupant 2, comme indiqué par exemple sur la .
Il convient de préciser que le dispositif d’acquisition d’image 5 est une caméra à temps de vol (ToF). Ce type de caméra permet d’acqérir simultanément des informations sur l’intensité lumineuse et des informations sur la distance séparant l’occupant 2 du capteur 9 du dispositif d’acquisition d’image 5 du système de surveillance 1. Une caméra à temps de vol est ainsi en mesure de reconstruire la scène filmée en trois dimensions en un minimum de temps, ce qui favorise un suivi en temps réel des mouvements de l’occupant 2.
Plus particulièrement, le capteur d’image 9 est configuré pour établir une carte de profondeur du visage de l’occupant 2 à partir des images acquises par le dispositif d’acquisition d’image 5. Cette carte de profondeur permet plus particulièrement d’évaluer la position de la tête de l’occupant 2 et de localiser le déplacement de la ou des régions d’intérêt 12 sur le visage de l’occupant 2 lorsqu’il est amené à bouger, comme lorsqu’il tourne la tête pour effectuer une marche arrière par exemple. En effet, les mouvements de tête de l’occupant 2 peuvent compliquer l’identification de la ou des régions d’intérêt 12 sur les images du visage de l’occupant 2 destinées à être traitées par l’unité de traitement 7.
Ce système de surveillance 1 permet par ailleurs de contourner une autre difficulté identifiée dans l’introduction : le changement de l’éclairage ambiant au sein de l’habitacle du véhicule automobile. À cause de l’évolution quasi-ininterrompue de la lumière à l’intérieur et autour du véhicule automobile, l’éclairage ambiant peut être amené à changer fréquemment, ce qui peut affecter l’intensité sur les images acquises par le dispositif d’acquisition d’image 5 du système de surveillance 1. Autrement dit, le visage de l’occupant 2 n’est pas éclairé de manière uniforme au fil du temps ; une composante Ca due à l’illumination ambiante sur les images est variable dans le temps. Il est donc nécessaire de s’affranchir de cette composante Ca due à l’éclairage ambiant qui parasite lesdites images et qui peut perturber la détermination du paramètre physiologique par photopléthysmographie à distance effectuée par l’unité de traitement 7.
Dans cette optique, l’acquisition desdites images se produit de manière cyclique et chaque cycle comprend trois temps qui seront appelées « première période d’acquisition P1 », « deuxième période d’acquisition P2 » et « troisième période d’acquisition P3 » dans la suite de cette description. La deuxième période d’acquisition P2 est déclenchée en dehors de la première période d’acquisition P1. De même, la troisième période d’acquisition P3 est déclenchée en dehors de la première P1 et de la deuxième P2 périodes d’acquisition. Ces trois périodes d’acquisition P1, P2, P3 peuvent notamment se succéder les unes aux autres, dans ce cas la deuxième période d’acquisition P2 commence au moment où la première période d’acquisition P1 s’achève et la troisième période d’acquisition P3 commence au moment où la deuxième période d’acquisition P2 s’achève.
Les figures 3a, 3b et 3c schématisent respectivement les actions du système de surveillance 1 pendant la première période d’acquisition P1, la deuxième période d’acquisition P2 et la troisième période d’acquisition P3.
En référence à la , la première période d’acquisition P1 est marquée par deux évènements ayant lieu en même temps : le système de surveillance 1 est configuré de telle sorte que la source lumineuse pulsée 3 émet une impulsion lumineuse en direction de l’occupant 2, ceci est notamment représenté par la zone hachurée comprise entre les deux flèches en pointillés pointant vers l’occupant 2. La lumière émise par la source lumineuse pulsée 3 est représentée par des hachures horizontales. Simultanément, l’obturateur 11 est ouvert pour laisser passer de la lumière depuis l’occupant 2 jusqu’au capteur d’image 9 du dispositif d’acquisition 5 du système de surveillance 1 pendant la première période d’acquisition P1, ceci est plus particulièrement représenté par la zone hachurée comprise entre les deux flèches pointant vers le rectangle représentant l’obturateur 11.
Afin d’assurer la simultanéité de ces deux phénomènes, le système de surveillance 1 peut comporter une unité de pilotage 13 (représentée schématiquement sur les figures 1, 3a, 3b et 3c) qui est configurée pour synchroniser le départ du train d’impulsions lumineuses émis par la source lumineuse pulsée 3 avec l’ouverture de l’obturateur 11 au début de la première période d’acquisition P1. Par ailleurs, cette unité de pilotage 13 peut également être configurée pour piloter l’ouverture et la fermeture de l’obturateur 11.
L’impulsion lumineuse émise par la source lumineuse pulsée 3 effectue un trajet d’une durée variable en fonction de la distance entre l’objet qu’elle éclaire et le capteur d’image 9 du dispositif d’acquisition d’image 5 du système de surveillance 1. Ainsi, la durée de trajet d’une impulsion lumineuse réfléchie sur un objet placé près du capteur d’image 9 et de la source lumineuse pulsée 3 sera plus courte que celle d’une impulsion lumineuse réfléchie sur un objet placé plus loin. La vitesse de la lumière étant connue, ce temps de trajet permet de calculer la distance qui sépare notamment les régions d’intérêt 12 du visage de l’occupant 2 et le capteur d’image 9 du dispositif d’acquisition d’image 5 du système de surveillance 1.
En fonction de la distance parcourue par l’impulsion lumineuse et de la durée de la première période d’acquisition P1, la lumière émise par la source lumineuse pulsée 3 et réfléchie par l’occupant 2 n’a pas forcément le temps de traverser l’obturateur 11 du dispositif d’acquisition d’image 5 avant la fin de la première période d’acquisition P1, c’est pourquoi il y a la deuxième période d’acquisition P2 qui lui succède. Le capteur 11 est ouvert pendant la deuxième période d’acquisition P2 pour laisser passer la lumière jusqu’au capteur 9 du dispositif d’acquisition d’image 5. Ainsi une partie de l’impulsion lumineuse émise par la source lumineuse pulsée 3 et réfléchie par l’occupant 2 peut donc être amenée à traverser l’obturateur 11 pendant cette deuxième période d’acquisition P2 pour éviter une potentielle perte des données. Cette partie « retardataire » de la lumière reçue par le capteur d’image 9 du dispositif d’acquisition d’image 5 correspond notamment aux rayons de lumière qui sont réfléchis sur les objets placés à une distance plus importante de la source lumineuse pulsée 3.
En référence à la qui représente l’état du système de surveillance 1 pendant la deuxième période d’acquisition P2, la source lumineuse pulsée 3 est inactive : elle n’émet plus d’impulsion lumineuse en direction de l’occupant 2. Tout comme la lumière traversant l’obturateur 11 vers le capteur 9 pendant la première période d’acquisition P1, la lumière traversant l’obturateur 11 vers le capteur 9 pendant la deuxième période d’acquisition P2 comporte elle aussi une composante Ca due à l’éclairage ambiant et une composante Ci due à l’impulsion lumineuse. Sur les figures 3a et 3b, la composante Ci due à l’impulsion lumineuse dans la lumière réfléchie par la ou les régions d’intérêt 12 du visage de l’occupant 2 en direction de l’obturateur 11 est représentée par une zone avec des hachures horizontales et la composante Ca due à l’éclairage ambiant dans la lumière réfléchie par la ou les régions d’intérêt 12 du visage de l’occupant 2 vers l’obturateur 11 est représentée par des hachures obliques dans cette même zone.
Dans le cas où la source lumineuse pulsée 3 émet une impulsion lumineuse dans le domaine de l’infrarouge, la lumière perçue par le capteur d’image 9 pendant la première et la deuxième période d’acquisition P1, P2 comprend donc une composante de lumière visible et une composante de lumière infrarouge.
La durée respective de la première période d’acquisition P1 et de la deuxième période d’acquisition P2 est au moins égale à la durée d’une impulsion lumineuse émise par la source lumineuse pulsée 3. Selon un mode de réalisation du système de surveillance 1, la durée d’une impulsion du train d’impulsions lumineuses émis par la source lumineuse pulsée 3 est égale à la durée de la première période d’acquisition P1. La source lumineuse pulsée 3 est désactivée à la fin de la première période d’acquisition P1 et reste inactive pendant les deuxième et troisième périodes d’acquisition P2 et P3. L’obturateur 11, quant à lui, laisse passer de la lumière vers le capteur d’image 9 pendant chacune des trois périodes d’acquisition P1, P2 et P3. En outre, les durées de la première, de la deuxième et de la troisième période d’acquisition P1, P2, P3 peuvent être identiques entre elles.
La durée de l’impulsion lumineuse, la durée des premières, deuxième et troisième périodes d’acquisition P1, P2 et P3 et la distance séparant l’occupant 2 du système de surveillance 1 sont telles que la lumière reçue par le capteur d’image 9 pendant la troisième période d’acquisition P3 ne comporte pas de composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3. Autrement dit, seule la lumière ambiante est reçue par le capteur d’image 9 pendant la troisième période d’acquisition P3. Sur la , la composante Ca due à l’éclairage ambiant est représentée par des hachures obliques dans la zone représentant la lumière réfléchie par la ou les régions d’intérêt 12 du visage de l’occupant 2 vers l’obturateur 11. Il n’y a pas de hachures horizontales dans cette zone, puisque cette lumière est dépourvue d’une composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3.
Les durées respectives des trois périodes d’acquisition P1, P2, P3 sont très courtes, elles sont par exemple inférieures à 50ns et plus particulièrement égale à 20ns. Elles sont si courtes que le changement de l’éclairage ambiant sur le visage de l’occupant 2 est négligeable sur ce laps de temps, c’est-à-dire que la composante Ca due à l’éclairage ambiant dans la lumière reçue par le capteur d’image 9 est considérée comme identique sur toutes les images acquises par le dispositif d’acquisition d’image 5 au cours de ces trois périodes d’acquisition P1, P2, P3 appartenant à un même cycle.
Pour s’affranchir de la composante Ca due à l’éclairage ambiant sur les images acquises par le dispositif d’acquisition d’image 5 pendant la première période d’acquisition P1 et la deuxième période d’acquisition P2, l’unité de traitement 7 est configurée pour soustraire cette composante Ca sur une partie ou la totalité desdites images dans le but d’isoler la composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3. Cette opération est représentée de façon schématique sur la . Cette figure montre plusieurs frises chronologiques présentant un axe temporel t dont le départ est marquée par l’origine O. L’axe temporel t est divisé en trois segments de même longueur mis en évidence par des doubles-flèches. Chaque double-flèche représente une période d’acquisition P1, P2, P3. Les blocs rectangulaires surmontant ces doubles-flèches représentent la lumière reçue par le capteur d’image 9 pendant ces trois périodes d’acquisition P1, P2 et P3. Puisque la composante Ca due à l’éclairage ambiant est considérée comme constante au cours des trois périodes d’acquisition P1, P2, P3 d’un même cycle, cette composante Ca est ici représentée par un premier bloc rectangulaire comprenant des hachures obliques. La longueur totale de ce premier bloc correspond à la somme des longueurs des trois doubles-flèches.
Un deuxième bloc d’une longueur égale à une seule double-flèche surmonte le premier bloc. Les hachures horizontales à l’intérieur du deuxième bloc représentent la composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3. Le décalage entre le début de ce deuxième bloc et l’origine O est dû au temps de trajet de l’impulsion lumineuse émise par la source lumineuse pulsée 3.
L’opération de soustraction effectuée par l’unité de traitement 7 se déroule comme suit : l’unité de traitement 7 repère la composante Ca due à l’éclairage ambiant sur les images acquises par le dispositif d’acquisition d’image 5 pendant la troisième période d’acquisition P3, ceci est symbolisé par les pointillés en gras sur la première frise chronologique. La valeur de cette composante Ca est retranchée à la quantité de lumière reçue par le capteur d’image 9 pendant laquelle ledit capteur d’images 9 reçoit également la composante Ci due à l’impulsion lumineuse réfléchie par la ou les régions d’intérêt 12 du visage de l’occupant 2, ceci est représenté sur la deuxième frise chronologique située en dessous de la première frise chronologique. Suite à cette opération de soustraction, l’unité de traitement 7 se focalise donc sur les images qui ne comprennent plus que la composante Ci pour y appliquer une méthode de photopléthysmograhie afin de déterminer un paramètre physiologique de l’occupant 2. Cette dernière étape est symbolisée par le cadre aux traits épais sur la troisième frise de la .
La présente deux axes temporels similaires à ceux de la . Ces axes temporels représentent trois cycles consécutifs de trois périodes d’acquisition P1, P2 et P3 qui se succèdent les une aux autres. La composante Ca due à l’éclairage ambiant est propre à chaque cycle, ceci est représenté par les différentes tailles des blocs Ca1, Ca2 et Ca3 avec les hachures obliques. La illustre ainsi la répétition de l’opération de soustraction réalisée par l’unité de traitement 7 cycle après cycle.
L’unité de traitement 7 est donc configurée pour soustraire la composante Ca due à l’illumination ambiante à la lumière reçue par le capteur 9 du dispositif d’acquisition d’image 5 pour les images acquises pendant la première et la deuxième période d’acquisition P1 et P2. Ainsi les images acquises par le dispositif d’acquisition d’image 5 pendant la première et la deuxième périodes d’acquisition P1 et P2 ne sont plus parasitées par la composante Ca due à l’éclairage ambiant, ce qui augmente l’efficacité du traitement d’image effectué par l’unité de traitement 7 dans le cadre de la détermination du paramètre physiologique par photopléthysmographie à distance.
L’unité de traitement 7 est également configurée pour définir, à partir du paramètre physiologique, l’état physiologique de l’occupant 2. L’unité de traitement 7 peut par exemple comparer la valeur du ou des paramètres physiologiques à un ou plusieurs seuils prédéterminés. À titre d’exemple, l’on peut considérer le cas où l’occupant 2 surveillé par le système de surveillance 1 est également le conducteur du véhicule automobile. Dans cet exemple, le paramètre physiologique est la fréquence cardiaque. Si celle-ci est supérieure à un seuil maximal prédéterminé ou inférieure à un seuil minimal prédéterminé au sein de l’unité de traitement 7, il est possible que l’état physiologique de l’occupant 2 ne lui permette pas de conduire.
Le système de surveillance 1 peut notamment être configuré pour émettre par exemple un signal sonore ou toute autre forme d’alerte lorsque le ou les paramètres physiologiques ne correspondent pas aux critères prédéterminés au sein de l’unité de traitement 7. Un signal sonore peut alerter l’occupant d’un potentiel danger, telle qu’une conduite en état de fatigue.
Puisque les durées respectives des trois périodes d’acquisition P1, P2 et P3 sont très courtes, il convient de répéter ce cycle d’acquisition un grand nombre de fois pour collecter assez de données dans le but de déterminer le paramètre physiologique. Ce traitement demande effectivement une certaine réactivité des composants du système de surveillance 1.
À cet effet, le système de surveillance 1 peut comporter plusieurs obturateurs 111, 112 et 113. Selon un autre mode de réalisation du dispositif d’acquisition d’image 5, le dispositif d’acquisition d’image 5 peut comporter un premier obturateur 111 configuré pour laisser passer de la lumière vers le capteur d’image 9 pendant la première période d’acquisition P1, un deuxième obturateur 112 configuré pour laisser passer de la lumière vers le capteur d’image 9 pendant la deuxième période d’acquisition P2 et un troisième obturateur 113 configuré pour laisser passer de la lumière vers le capteur d’image 9 pendant la troisième période d’acquisition P3, comme illustré respectivement sur les images 5a, 5b et 5c. Ainsi, le premier obturateur 111 est ouvert au début de la première période d’acquisition P1 et refermé à la fin de la première période d’acquisition P1, le deuxième obturateur 112 est ouvert au début de la deuxième période d’acquisition P2 et refermé à la fin de la deuxième période d’acquisition P2 et le même principe s’applique pour le troisième obturateur 113 et la troisième période d’acquisition P3. Le fonctionnement de ce deuxième mode de réalisation du système de surveillance 1 est très similaire à celui du premier mode de réalisation, d’où la similitude entre les figures 6a, 6b et 6c avec respectivement les figures 3a, 3b et 3c.
Dans ce mode de réalisation particulier, l’unité de pilotage 13 peut être configurée pour piloter l’ouverture et la fermeture en cascade des premiers, deuxième et troisième obturateurs 111, 112 et 113. Autrement dit, la fermeture du premier obturateur 111 coïncide avec l’ouverture du deuxième obturateur 112 et la fermeture du deuxième obturateur 112 coïncide avec l’ouverture du troisième obturateur 113. Cette conception particulière du système de surveillance 1 peut permettre de moins solliciter les différents obturateurs 111, 112, 113, ce qui peut se traduire par une durée de vie augmentée du système de surveillance 1.
En référence à l’organigramme de la , un procédé de détermination de l’état physiologique de l’occupant 2 par photopléthysmographie est détaillé dans la suite de la description. Ce procédé a recours à un système de surveillance 1 tel que celui décrit précédemment. Le procédé comprend plusieurs étapes E1, E2, E3, E4, E5, E6, E7, E8, E9 et E10.
Les étapes E1 et E2 ont lieu en même temps pendant la première période d’acquisition P1. Pour l’étape E1, la source lumineuse pulsée 3 émet un train d’impulsions lumineuses en direction de l’occupant 2 tandis que pour l’étape E2, qui a lieu simultanément, l’obturateur 11 ou le premier obturateur 111 est ouvert afin de laisser passer la lumière vers le capteur d’image 9. Cette lumière comprend une composante Ca due à l’éclairage ambiant et une composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3.
À la fin de la première période d’acquisition P1, la source lumineuse pulsée 3 est désactivée, cet événement correspond à l’étape E3. L’étape E3 marque également la fin de la première période d’acquisition P1 et le début de la deuxième période d’acquisition P2. Dans le cas où le dispositif d’acquisition d’image 5 comporte plusieurs obturateurs, cette étape E3 est également marquée par la fermeture du premier obturateur 111 et l’ouverture du deuxième obturateur 112.
Au cours de l’étape E4, l’obturateur 11 ou le deuxième obturateur 112 est ouvert afin de laisser passer la lumière vers le capteur d’image 9 pendant la deuxième période d’acquisition P2, cette lumière comprend une composante Ca due à l’éclairage ambiant et éventuellement une composante Ci due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée 3.
L’étape E5 marque la fin de la deuxième période d’acquisition P2 et le début de la troisième période d’acquisition P3. Dans le cas où le dispositif d’acquisition d’image 5 comporte plusieurs obturateurs 111, 112, 113, l’étape E5 correspond également au moment où le deuxième obturateur 112 est refermé et le troisième obturateur 113 est ouvert.
Au cours de l’étape E6, l’obturateur 11 ou 113 est ouvert afin de laisser passer la lumière vers le capteur d’image 9 pendant la troisième période d’acquisition P3, cette lumière comprend une composante Ca due à l’éclairage ambiant, mais plus de composante Ci due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée 3.
Au cours de l’étape E7, à la fin de la troisième période d’acquisition P3, l’obturateur 11 ou le troisième obturateur 113 est refermé.
Au cours de l’étape E8, l’unité de traitement 7 soustrait la composante Ca due à l’éclairage ambiant contenue dans la lumière reçue par le capteur d’image 9 pendant la troisième période d’acquisition P3 à la lumière reçue par le capteur d’image 9 pendant la première et la deuxième périodes d’acquisition P1, P2 dans le but d’isoler la composante Ci due à l’impulsion lumineuse émise par la source lumineuse pulsée 3 sur les images acquises par le dispositif d’acquisition d’image 5 pendant la première et la deuxième périodes d’acquisition P1, P2.
Pendant l’étape E9, l’unité de traitement 7 détermine à partir desdites images un paramètre physiologique de l’occupant 2 par photopléthysmographie. Pendant l’étape E10, l’unité de traitement 7 définit, à partir du paramètre physiologique, l’état physiologique de l’occupant 2 par photopléthysmographie. Il n’est pas forcément nécessaire de répéter les étapes E9 et E10 pour chaque cycle. Autrement dit, il est envisageable de répéter les étapes E1 à E8 plusieurs fois d’affilée avant d’enclencher les étapes E9 et E10. Par exemple, l’unité de traitement 7 du système de surveillance 1 peut être configurée pour sélectionner les images dignes d’être traitées lors du procédé d’élaboration de l’état physiologique de l’occupant 2 en ôtant par exemple les images sur lesquels l’occupant 2 n’est pas orienté face au système de surveillance 1, comme dans le cas où l’occupant est un conducteur et que celui-ci tourne la tête pour effectuer une marche arrière avec son véhicule, car ces images ne permettent pas déterminer un paramètre physiologique de l’occupant 2 par photopléthysmographie de manière fiable.

Claims (10)

  1. Système de surveillance (1) d’un occupant d’un véhicule automobile, le système de surveillance (1) comportant : 
    – une source lumineuse pulsée (3) configurée pour émettre un train d’impulsions lumineuses en direction de l’occupant (2),
    – un dispositif d’acquisition d’image (5), tel une caméra à temps de vol, ledit dispositif d’acquisition d’image (5) comprenant un capteur d’image (9) et un obturateur (11) configuré pour laisser passer de la lumière vers le capteur d’image (9) pendant une première période d’acquisition (P1) au cours de laquelle la source lumineuse pulsée (3) émet une impulsion lumineuse et pendant une deuxième période d’acquisition (P2) au cours de laquelle la source lumineuse pulsée (3) est inactive, la deuxième période d’acquisition (P2) étant déclenchée en dehors de la première période d’acquisition (P1), la durée respective de la première et de la deuxième périodes d’acquisition (P1, P2) étant au moins égale à la durée d’une impulsion lumineuse émise par la source lumineuse pulsée (3), la lumière reçue par le capteur d’image (9) lors de la première période d’acquisition (P1) et de la deuxième période d’acquisition (P2) comportant une composante (Ca) due à l’éclairage ambiant et une composante (Ci) due à l’impulsion lumineuse émise par la source lumineuse pulsée (3);
    – une unité de traitement (7) configurée pour déterminer à partir des images acquises un paramètre physiologique de l’occupant (2) par photopléthysmographie et pour définir, à partir dudit paramètre, l’état physiologique de l’occupant (2),
    le système de surveillance (1) étant caractérisé en ce que l’obturateur (11) est également configuré pour laisser passer de la lumière vers le capteur d’image (9) pendant une troisième période d’acquisition (P3) déclenchée en dehors de la première et de la deuxième périodes d’acquisition (P1, P2), la source lumineuse pulsée (3) étant inactive pendant la troisième période d’acquisition (P3), ladite lumière comportant la composante (Ca) due à l’éclairage ambiant et en ce que l’unité de traitement (7) est configurée pour soustraire cette composante (Ca) due à l’éclairage ambiant à la lumière reçue par le capteur d’image (9) pendant la première et la deuxième périodes d’acquisition (P1, P2) dans le but d’isoler la composante (Ci) due à l’impulsion lumineuse émise par la source lumineuse pulsée (3) sur une partie des images acquises par le dispositif d’acquisition d’image (5) pendant la première et la deuxième périodes d’acquisition (P1, P2).
  2. Système de surveillance selon la revendication 1, caractérisé en ce que la durée respective de la première, de la deuxième et de la troisième période d’acquisition (P1, P2, P3) est inférieure à 50 ns et plus particulièrement égale à 20 ns.
  3. Système de surveillance selon la revendication précédente, caractérisé en ce que les durées de la première, de la deuxième et de la troisième période d’acquisition (P1, P2, P3) sont identiques entre elles.
  4. Système de surveillance selon l’une quelconque des revendications précédentes, caractérisé en ce que la durée d’une impulsion du train d’impulsion lumineuses émis par la source lumineuse pulsée (3) est égale à la durée de la première période d’acquisition (P1).
  5. Système de surveillance selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comporte une unité de pilotage (13) configurée pour synchroniser le départ du train d’impulsions lumineuses émis par la source lumineuse pulsée (3) avec l’ouverture de l’obturateur (11) au début de la première période d’acquisition (P1).
  6. Système de surveillance selon la revendication précédente, caractérisé en ce que l’unité de pilotage (13) est configurée pour piloter l’ouverture et la fermeture de l’obturateur (11).
  7. Système de surveillance selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il est configuré pour sélectionner une région d’intérêt (12) sur le visage de l’occupant (2) pour permettre la détermination du paramètre physiologique.
  8. Système de surveillance selon l’une quelconque des revendications précédentes, caractérisé en ce que le capteur d’image (9) est configuré pour établir une carte de profondeur du visage de l’occupant (2) à partir des images acquises par le dispositif d’acquisition d’image (5).
  9. Système de surveillance selon l’une quelconque des revendications précédentes, caractérisé en ce que le dispositif d’acquisition d’image (5) comporte trois obturateurs (111, 112, 113) distincts :
    – un premier obturateur (111) configuré pour laisser passer de la lumière vers le capteur d’image (9) pendant la première période d’acquisition (P1) ;
    – un deuxième obturateur (112) configuré pour laisser passer de la lumière vers le capteur d’image (9) pendant la deuxième période d’acquisition (P2) ;
    – un troisième obturateur (113) configuré pour laisser passer de la lumière vers le capteur d’image (9) pendant la troisième période d’acquisition (P3).
  10. Procédé de détermination de l’état physiologique de l’occupant (2) par photopléthysmographie, le procédé ayant recours à un système de surveillance (1) selon l’une quelconque des revendications précédentes, caractérisé en ce que le procédé comprend les étapes (E1, E2, E3, E4, E5, E6, E7, E8, E9 et E10) suivantes :
    – la source lumineuse pulsée (3) émet un train d’impulsions lumineuses en direction de l’occupant (2), ceci correspond à une première étape (E1) ;
    – simultanément, l’obturateur (11, 111) est ouvert afin de laisser passer la lumière vers le capteur d’image (9), cette lumière comprend une composante (Ca) due à l’éclairage ambiant et une composante (Ci) due à l’impulsion lumineuse émise par la source lumineuse pulsée (3), ceci correspond à une deuxième étape (E2) ;
    – à la fin de la première période d’acquisition (P1), la source lumineuse pulsée (3) est désactivée, ceci correspond à une troisième étape (E3) ;
    – l’obturateur (11, 112) est ouvert afin de laisser passer la lumière vers le capteur d’image (9) pendant une deuxième période d’acquisition (P2), cette lumière comprend une composante (Ca) due à l’éclairage ambiant et éventuellement une composante (Ci) due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée (3), ceci correspond à une quatrième étape (E4) ;
    – dans le cas où le dispositif d’acquisition d’image (5) comporte plusieurs obturateurs (111, 112, 113), le procédé comporte une cinquième étape (E5) au cours de laquelle le deuxième obturateur (112) est refermé et le troisième obturateur (113) est ouvert ;
    – l’obturateur (11, 113) est ouvert afin de laisser passer la lumière vers le capteur d’image (9) pendant une troisième période d’acquisition (P3), cette lumière comprend une composante (Ca) due à l’éclairage ambiant, mais plus de composante (Ci) due à l’impulsion lumineuse émise précédemment par la source lumineuse pulsée (3), ceci correspond à une sixième étape (E6) ;
    – à la fin de la troisième période d’acquisition (P3), l’obturateur (11, 113) est refermé ; ceci correspond à une septième étape (E7) ;
    – l’unité de traitement (7) soustrait la composante (Ca) due à l’éclairage ambiant contenue dans la lumière reçue par le capteur d’image (9) pendant la troisième période d’acquisition (P3) à la lumière reçue par le capteur d’image (9) pendant la première et la deuxième périodes d’acquisition (P1, P2) dans le but d’isoler la composante (Ci) due à l’impulsion lumineuse émise par la source lumineuse pulsée (3) sur une partie des images acquises par le dispositif d’acquisition d’image (5) pendant la première et la deuxième périodes d’acquisition (P1, P2), ceci correspond à une huitième étape (E8) ;
    – l’unité de traitement (7) détermine à partir desdites images au moins un paramètre physiologique de l’occupant (2) par photopléthysmographie, ceci correspond à une neuvième étape (E9) ;
    – l’unité de traitement (7) définit, à partir du paramètre physiologique, l’état physiologique de l’occupant (2) par photopléthysmographie, ceci correspond à une dixième étape (E10).
PCT/EP2022/056533 2021-03-25 2022-03-14 Système de surveillance d'un occupant d'un véhicule automobile WO2022200102A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/284,034 US20240164652A1 (en) 2021-03-25 2022-03-14 System for monitoring an occupant of a motor vehicle
EP22714804.6A EP4312742A1 (fr) 2021-03-25 2022-03-14 Système de surveillance d'un occupant d'un véhicule automobile
CN202280023502.9A CN117042683A (zh) 2021-03-25 2022-03-14 用于监测机动车辆的乘员的监测系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2103023 2021-03-25
FR2103023A FR3121028A1 (fr) 2021-03-25 2021-03-25 Système de surveillance d’un occupant d’un véhicule automobile

Publications (1)

Publication Number Publication Date
WO2022200102A1 true WO2022200102A1 (fr) 2022-09-29

Family

ID=76283890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/056533 WO2022200102A1 (fr) 2021-03-25 2022-03-14 Système de surveillance d'un occupant d'un véhicule automobile

Country Status (5)

Country Link
US (1) US20240164652A1 (fr)
EP (1) EP4312742A1 (fr)
CN (1) CN117042683A (fr)
FR (1) FR3121028A1 (fr)
WO (1) WO2022200102A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180191936A1 (en) * 2014-12-08 2018-07-05 Samsung Electronics Co., Ltd. Imaging devices with optical shutters and low-power drivers therefor
US20200297270A1 (en) * 2017-12-19 2020-09-24 Panasonic Intellectual Property Management Co., Ltd. Biometric apparatus, biometric method, and determination apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180191936A1 (en) * 2014-12-08 2018-07-05 Samsung Electronics Co., Ltd. Imaging devices with optical shutters and low-power drivers therefor
US20200297270A1 (en) * 2017-12-19 2020-09-24 Panasonic Intellectual Property Management Co., Ltd. Biometric apparatus, biometric method, and determination apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GONZALEZ-BANOS H ET AL: "Computing depth under ambient illumination using multi-shuttered light", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 27 JUNE-2 JULY 2004 WASHINGTON, DC, USA, IEEE, PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION IEE, vol. 2, 27 June 2004 (2004-06-27), pages 234 - 241, XP010708658, ISBN: 978-0-7695-2158-9, DOI: 10.1109/CVPR.2004.1315169 *

Also Published As

Publication number Publication date
CN117042683A (zh) 2023-11-10
FR3121028A1 (fr) 2022-09-30
US20240164652A1 (en) 2024-05-23
EP4312742A1 (fr) 2024-02-07

Similar Documents

Publication Publication Date Title
EP3210531B1 (fr) Procédé d'estimation d'une fréquence cardiaque et dispositif associé
FR3023917B1 (fr) Dispositif capteur de gaz destine a la mesure d'une concentration de gaz cible
EP0353200A2 (fr) Méthode et appareil pour vision assistée par instrument en visibilité reduite, en particulier pour conduire dans le brouillard
FR2723448A1 (fr) Dispositif de detection d'eau ou analogue sur une glace de vehicule automobile
US10284836B2 (en) Depth camera light leakage avoidance
KR20160039177A (ko) 능동형 조명을 구비한 센서 시스템
EP2122596A2 (fr) Systeme de televigilance ambulatoire comportant un dispositif de debruitage du pouls, d'actimetrie et de detection de chute
CA2688942A1 (fr) Capteur et systeme d'imagerie pour la detection a distance d'un objet
EP1183518B1 (fr) Dispositif pour determiner les valeurs d'au moins un parametre de particules, notamment de gouttelettes d'eau
Laurenzis et al. Three-dimensional range-gated imaging at infrared wavelengths with super-resolution depth mapping
US7091867B2 (en) Wavelength selectivity enabling subject monitoring outside the subject's field of view
WO2022200102A1 (fr) Système de surveillance d'un occupant d'un véhicule automobile
EP4010685A1 (fr) Procédé d'analyse d'un gaz par un capteur optique
FR3091356A1 (fr) Capteur actif, système d’identification d’objet, véhicule et feu de véhicule
FR2870521A1 (fr) Systeme et procede de surveillance de zones interieures d'un avion, interface d'utilisateur pour un tel systeme, et avion equipe d'un tel systeme
EP0276513A1 (fr) Dispositif de détection d'intrusion et de reconnaissance de véhicules terrestres
FR3023622A1 (fr) Dispositif et procede de detection par le son du champ environnant
FR3048110A1 (fr) Procede et dispositif de detection d'un objet oublie dans l'habitacle d'un vehicule
WO2012080372A1 (fr) Dispositif actif d'observation d'une scène à travers un milieu diffusant, utilisation de ce dispositif et procédé d'observation
CA2666030A1 (fr) Procede et dispositif pour la detection d'un objet apte a retroreflechir la lumiere
EP0833168B1 (fr) Détecteur photosensible et mosaique de détecteurs photosensibles pour la détection d'éclats lumineux et applications
EP3926529A1 (fr) Systèmes et méthodes de détermination d'un nombre de personnes dans un véhicule
WO2000037292A1 (fr) Procede de commande de nettoyage d'une surface de plaque par controle optique dynamique, et equipement de mise en oeuvre
EP0308457A1 (fr) Dispositif d'observation de l' il utilisant la reflexion d'un rayonnement infrarouge par le globe oculaire
EP3495998B1 (fr) Procédé de détermination de l état d'un individu à partir du traitement d'images de sa tête et dispositif associé

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22714804

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280023502.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18284034

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022714804

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022714804

Country of ref document: EP

Effective date: 20231025