WO2022053219A1 - Procédé de capture d'une séquence d'images, dispositif imageur correspondant et système d'imagerie comportant un tel dispositif - Google Patents

Procédé de capture d'une séquence d'images, dispositif imageur correspondant et système d'imagerie comportant un tel dispositif Download PDF

Info

Publication number
WO2022053219A1
WO2022053219A1 PCT/EP2021/071043 EP2021071043W WO2022053219A1 WO 2022053219 A1 WO2022053219 A1 WO 2022053219A1 EP 2021071043 W EP2021071043 W EP 2021071043W WO 2022053219 A1 WO2022053219 A1 WO 2022053219A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
pixel
integration
sequence
capture
Prior art date
Application number
PCT/EP2021/071043
Other languages
English (en)
Inventor
Aleksandar Popovic
Liangbin XIANG
Original Assignee
Valeo Comfort And Driving Assistance
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort And Driving Assistance filed Critical Valeo Comfort And Driving Assistance
Publication of WO2022053219A1 publication Critical patent/WO2022053219A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention relates to the technical field of image capture, in particular the capture of digital images, for example by rolling shutter imaging devices (“Rolling shutter”, in English).
  • the invention relates more particularly to a method for capturing a sequence of images representative of a scene illuminated by at least one radiation source, a corresponding device and a system comprising such a device.
  • rolling shutter imaging devices comprise a photosensitive module comprising a matrix of pixels with photodetectors, typically photodiodes.
  • each pixel of the matrix is subjected to a light exposure at a time which depends on the position of the pixel in the matrix. For example, rows of pixels in the array are integrated sequentially, typically from top to bottom of the array. In this case, the different periods of integration of the pixels of each line are not simultaneous but slightly shifted in time.
  • each of the rows starts with a delay with respect to the previous row which is equal to the period separating two image captures divided by the number of rows of the matrix.
  • the capture of each line of an image is carried out directly after the capture of each line of the same rank of the previous image and the capture periods of two successive images overlap.
  • the duration of the capture of a sequence of N images is conventionally equal to (N-1)TL+Tx.
  • the imaging device is configured to acquire a sequence of images
  • the artifact resulting from the same light pulse can be spread over two successive images.
  • a known solution to this problem is the use of a global shutter imager, that is to say an imager configured to expose all the pixels of its photosensitive module. simultaneously.
  • the duration Ti for capturing an image is equal to the duration TL for capturing a line.
  • this solution is complex and expensive.
  • the invention proposes to meet this need with a method, a device and a system which allow image capture devoid of artifact linked to the presence of pulsed lighting.
  • integration designates here the set of operations enabling at least one pixel to collect useful radiation, that is to say radiation visible in the image.
  • integration may include exposing the pixel to radiation, such as light from the scene to be captured, transferring charges generated by the pixel's photodiode to an electronic processing circuit, and resetting the load value of the pixel to a reference value for a next integration of the pixel.
  • shutdown designates here a state of the photosensitive module in which the pixels are inactive, that is to say that they do not integrate any useful radiation. It can be a physical shutter, in which an opaque shutter isolates the pixels from the light, or an electrical shutter in which an electrical control signal prevents any integration.
  • each line of pixels of the pixel array is exposed with a delay relative to the previous line, said delay being strictly less than the duration separating the capture of two successive images minus the duration integration of a row of the pixel matrix, divided by the number of rows of the matrix minus one.
  • ⁇ (Te - TL) / (n-1) with n the number of rows of the matrix, At the duration of the delay between two successive rows, Te the duration separating the capture of two successive images and TL the integration time of a row of pixels.
  • the image capture step may have a duration less than the duration separating the start of the respective captures of two successive images.
  • the emission of the radiation pulses can be synchronized with the capture of the images of the sequence of images.
  • an imaging device comprising a photosensitive module and configured to capture a sequence of images representative of a scene illuminated by a radiation source, for example a light source generating light pulses, the device being configured for a. between each pair of successive radiation pulses, capturing an image of the sequence and, b. blocking the photosensitive module during each occurrence of a radiation pulse.
  • a radiation source for example a light source generating light pulses
  • the photosensitive module is a pixel matrix, each pixel of which comprises a photo-detector and the device is configured to integrate each row of the matrix with a delay relative to the previous row, said delay being strictly less than the duration separating the capture of two successive images minus the integration time of a row of the matrix of pixels, divided by the number of rows of the matrix minus one.
  • the photosensitive module can be a CMOS sensor.
  • an imaging system which comprises an imaging device according to the invention and which comprises said radiation source.
  • the imaging device and the radiation source can be controlled by the same control circuit.
  • the emission of the radiation pulses can be synchronized with the capture of the images of the sequence of images.
  • a method for capturing a sequence of images representative of a scene in which the capture of at least one image of the image sequence comprises a plurality of actions of integration relating respectively to the different rows of a matrix of pixels, an integration action relating to a row being performed with a predetermined (non-zero) delay with respect to the integration action of the previous row, and wherein the predetermined delay is such that the integration action relating to the last line is completed before the capture of the next image.
  • this shutter period can be used to emit radiation, for example a pulse of radiation used by another imaging device, without thus causing any artifact during the aforementioned capture process.
  • FIG. 1 illustrates a passenger compartment of a motor vehicle equipped with a device according to the invention
  • FIG. 2 is a timing diagram illustrating an example of implementation of a method according to the invention.
  • Figure 1 illustrates the front part of a passenger compartment of a motor vehicle VT, here a car, comprising a steering wheel VL, an interior mirror RI, and a dashboard TB.
  • the passenger compartment is equipped with a DMS system (“Driver Monitoring System”, in English, “driver monitoring system”, in French) and a first imaging device 1 according to the invention.
  • DMS system Driver Monitoring System
  • the first imaging device 1 includes for example here an RGB type camera for capturing color image sequences, which includes a first photosensitive module 10 and a computer (not shown).
  • the first imaging device 1 has a rolling shutter.
  • the first imaging device 1 is designed to generate an image of the environment facing it and is arranged in the vehicle so as to be oriented in the direction of the head of the driver of the vehicle so that the image acquired by the device imager 1 notably includes the face of the driver.
  • the first imaging device is here located in a box BT fixed under the interior mirror RI.
  • the imaging device 1 is sensitive to a given frequency range of radiation, here visible light, and/or infrared radiation.
  • the first imaging device 1 is for example here adapted to the implementation of videoconferences.
  • the first imaging device 1 is controlled by a control circuit present in the vehicle VT (not shown).
  • the DMS system (“Driver Monitoring System”, for driver monitoring system) comprises a second imaging device 2 and a computer (not shown).
  • the DMS system can further comprise at least one biometric sensor (not shown) designed to measure at least one physiological parameter (sometimes called “physiological constant”) of the driver.
  • the DMS system is configured to capture an image or an image (or video) sequence via the second imaging device 2 and to carry out its analysis in order to identify the driver's face and/or certain areas of the driver's face. driver and determining in particular a level of incapacity to drive, that is to say for example a level of distraction of the driver and/or a level of drowsiness of the driver.
  • the DMS system is for example designed to determine the driver's level of distraction by determining the posture of the driver's head, the direction of the driver's gaze and the evolution of this posture and this direction over time.
  • the second imaging device 2 comprises a second photosensitive module 20 and a radiation source 21 (for example an infrared radiation emitter).
  • a radiation source 21 for example an infrared radiation emitter
  • the second imaging device 2 is here suitable for producing three-dimensional images by implementing time-of-flight measurements.
  • the radiation source 21 is an infrared radiation source adapted to generate a light signal in a pulsed manner.
  • the radiation source 21 is configured to generate infrared pulses of 5 millisecond duration every 28 milliseconds.
  • the second imaging device 2 is here controlled by the control circuit.
  • the second imaging device 2 is arranged to face the vehicle passengers.
  • the second imaging device 2 is placed in a region close to an upper part of a windshield of the vehicle, here in the box BT.
  • the photosensitive modules 10 and 20 are CMOS sensors (“Complementary Metal-Oxide Semiconductor” in English, “metal oxide gate semiconductor” in French), which each comprise a matrix of pixels.
  • Each pixel of each matrix comprises at least one photo-detector, for example a photodiode and a circuit for transferring electrical charges to a processing circuit (not shown) of the imaging device.
  • the photosensitive modules here are matrices of 1000 rows and 1000 columns.
  • the first imaging device 1 and the second imaging device 2 each perform distinct operations having distinct purposes, they are configured here to operate simultaneously. As described below, the first imaging device 1 is configured to operate in such a way that the radiation pulses generated by the second imaging device 2 do not lead to the appearance of artifacts on the images captured by the first imaging device 1 .
  • the method for capturing a sequence of images according to the invention, implemented here by the first imaging device 1 comprises an alternation of integration periods Tx of all the pixels of the matrix, that is to say that is to say capture periods of an image of the image sequence, and shutter periods To, during which the pixels are said to be shuttered and no image is captured.
  • the second imaging device 2 generates an infrared pulse.
  • the process for capturing an image sequence is periodic, and its capture period Te is equal to the sum of the integration period Tx and of the shutter period To.
  • the capture period Te therefore corresponds to the duration separating the capture of two successive images.
  • the duration of the integration period Tx is strictly less than the capture period Te, ie Tx ⁇ Te.
  • each shutter period To coincides with a radiation pulse from the second imaging device 2.
  • FIG. 2 is a timing diagram which represents devolutions of the voltage values V of integration control signals Si to Siooo, respectively of rows 1 to 1000 of the pixel matrix and of an illumination control signal SL of the second radiation source 21 during a capture of a sequence of m images by a method according to the invention.
  • the sequence comprises 5000 images.
  • the integration control signals Si to Siooo and illumination SL are for example delivered by the control circuit of the motor vehicle VT.
  • the integration control signals Si to Siooo and the illumination control signal SL are either in a high state or in a low state.
  • the first device imager 1 is configured to integrate the charges of the pixels of each line (that is to say to command an integration action relating to a line) only when the signal associated with the line is in a high state.
  • the second imaging device 2 is configured to activate the second radiation source only when the signal SL is in a high state.
  • the first imaging device 1 captures a first image of the image sequence by integrating all rows of the matrix.
  • the line integration duration TL i.e. the duration of a high state of each integration control signal, is equal to 28 milliseconds and the delay At is equal to 2 microseconds .
  • each line is integrated with the delay of 2 microseconds with respect to the previous line, and a first control signal Si, controlling the integration of a first line of the matrix of the first photosensitive module 10 passes into a state top 2 microseconds before a second control signal S2 commanding the integration of a second line.
  • a third integration control signal S3 controlling the integration of a third row of the matrix goes into a high state 2 microseconds after the second signal S2.
  • the delay between the integration of the first line and the integration of the last line is equal to 2 milliseconds. Since the duration of integration of a row is equal to 28 milliseconds, the duration of the first integration period Txi is here equal to 30 milliseconds.
  • the first illumination control signal SLi is in a high state and the second radiation source 21 generates an infrared light beam.
  • the integration control signals generated by the control circuit are in a low state and the pixels of the first photosensitive module 10 are not integrated. The first photosensitive module 10 is therefore closed.
  • the infrared pulses generated by the second imaging device 2 coincide with the shutter periods and are therefore distinct from the pixel integration periods, that is to say they do not overlap, which advantageously allows avoid the presence of artefacts on the captured images.
  • the environment in which the first imaging device 1 is placed is a car interior.
  • the imaging device according to the invention is however not limited to this environment and can be placed in any type of environment, for example a passenger compartment of a different vehicle, for example a train or an airplane, or else outside inside a building, or outside.
  • the second radiation source 21 has been described above as being included in an imaging device implementing time-of-flight measurements.
  • the second radiation source can be included in any other imaging device, for example a device for capturing photographic or video images, or even be included in any device other than an imaging device.
  • the second radiation source 21 can also be a source independent of any device and/or emit a light beam of any wavelength, in particular a visible light beam
  • the environment in which the first imaging device 1 is placed can comprise a different number of light sources, for example two or three light sources.
  • the method is then applied so that the periods of illumination of the different light sources do not overlap the periods of integration.
  • an integration period having a duration less than or equal to 33 milliseconds will be chosen.
  • the photosensitive module is not limited to CMOS technology, and the invention is compatible with any technology, in particular CCD technology ("Charge-coupled Device" in English, “charge transfer device” in French).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

Il est proposé un procédé de capture d'une séquence d'images représentatives d'une scène éclairée par au moins une source de rayonnement (22) générant des impulsions, comprenant a. entre chaque paire d'impulsions de rayonnement successives, une étape de capture d'une image (Tx1, Tx2..., Txn) de la séquence comportant une intégration des pixels d'une matrice de pixels d'un module photosensible (10)une exposition d'un module photosensible (10) comportant une matrice de pixels, de façon que chaque pixel de la matrice soit exposé intégré à un instant qui dépend de la position du pixel dans la matrice, et b. une étape d'obturation (To1, To2,... Ton) du module photosensible (10) pendant chaque occurrence (TL1, TL2,...TLn) d'une impulsion de rayonnement. Il est aussi proposé un dispositif adapté à la mise en oeuvre de ce procédé ainsi qu'un système comportant un tel dispositif.

Description

Description
Titre de l'invention : Procédé de capture d'une séquence d'images, dispositif imageur correspondant et système d'imagerie comportant un tel dispositif.
Domaine technique
[0001] La présente invention concerne le domaine technique de la capture d'image, notamment de la capture d'images numériques, par exemple par des dispositifs imageurs à obturation déroulante (« Rolling shutter », en langue anglaise).
[0002] L'invention concerne plus particulièrement un procédé de capture d'une séquence d'images représentatives d'une scène éclairée par au moins une source de rayonnement, un dispositif correspondant ainsi qu'un système comportant un tel dispositif.
Arrière-plan technologique
[0003] Dans le domaine ci-dessus, les dispositifs imageurs à obturation déroulante comportent un module photosensible comportant une matrice de pixels à photodétecteurs, typiquement des photodiodes.
[0004] Lors d'une capture d'une image par un dispositif imageur à obturation déroulante, chaque pixel de la matrice est soumis à une exposition lumineuse à un instant qui dépend de la position du pixel dans la matrice. Par exemple, les lignes de pixels de la matrice sont intégrées séquentiellement, typiquement du haut vers le bas de la matrice. Dans ce cas, les différentes périodes d'intégration des pixels de chaque ligne ne sont pas simultanées mais légèrement décalées dans le temps.
[0005] Par exemple, l'intégration de chacune des lignes démarre avec un retard par rapport à la ligne précédente qui est égal à la période séparant deux captures d'image divisée par le nombre de ligne de la matrice..
[0006] Ainsi classiquement, la durée Tx nécessaire à l'intégration de toutes les lignes de la matrice, c'est-à-dire la période de capture d'une image, respecte l'équation Tx=(n-l)*At+TL avec n le nombre de ligne de la matrice, At la durée du retard entre deux lignes successives, TL la durée d'intégration d'une ligne de pixels.
[0007] Classiquement, la capture de chaque ligne d'une image est réalisée directement après la capture de chaque ligne de même rang de l'image précédente et les périodes de captures de deux images successives se chevauchent. La durée de la capture d'une séquence de N images est classiquement égale à (N-1)TL+Tx.
[0008] L'absence de simultanéité des intégrations des pixels peut entraîner des déformations de l'image obtenue (on parle alors d'artéfact) notamment lorsque la scène capturée comporte des variations rapides et de forte amplitude. En particulier, certains de ces dispositifs imageurs peuvent être placés dans un environnement soumis à un éclairage variable, par exemple un éclairage pulsé, qui résulte en un artéfact de rayonnement sur l'image.
[0009] Lorsque le dispositif imageur est configuré pour acquérir une séquence d'images, l'artéfact résultant d'une même impulsion lumineuse peut s'étaler sur deux images successives.
[0010] Une solution connue à ce problème est l'emploi d'un imageur à obturation globale (« Global shutter », en langue anglaise), c'est-à-dire un imageur configuré pour exposer tous les pixels de son module photosensible simultanément. Dans un tel dispositif, la durée Ti de capture d'une image est égale à la durée TL de capture d'une ligne. Cependant, cette solution est complexe et onéreuse.
[0011] Il existe donc un besoin d'éviter l'apparition de ces artéfacts lors d'une capture employant un imageur à obturation déroulante.
Résumé de l'invention
[0012] L'invention propose de répondre à ce besoin par un procédé, un dispositif et un système qui permettent une capture d'image dépourvue d'artéfact lié à la présence d'éclairage pulsé. [0013] Selon un aspect, il est proposé un procédé de capture d'une séquence d'images représentatives d'une scène éclairée par au moins une source de rayonnement, par exemple une source de lumière, générant des impulsions de rayonnement, comprenant a. entre chaque paire d'impulsions de rayonnement successives, une étape de capture d'une image de la séquence comportant une intégration des pixels d'une matrice de pixels d'un module photosensible, de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et b. une étape d'obturation du module photosensible pendant chaque occurrence d'une impulsion de rayonnement.
[0014] Le terme « intégration » désigne ici l'ensemble d'opérations permettant à au moins un pixel de collecter un rayonnement utile, c'est-à-dire un rayonnement visible sur l'image. Par exemple, l'intégration peut comporter l'exposition du pixel au rayonnement, par exemple à la lumière provenant de la scène à capturer, le transfert des charges générées par la photodiode du pixel vers un circuit de traitement électronique, et la réinitialisation de la valeur de charge du pixel à une valeur de référence en vue d'une prochaine intégration du pixel.
[0015] Le terme « obturation » désigne ici un état du module photosensible dans lequel les pixels sont inactifs, c'est-à-dire qu'ils n'intègrent aucun rayonnement utile. Il peut s'agir d'une obturation physique, dans laquelle un volet opaque vient isoler les pixels de la lumière, ou d'une obturation électrique dans laquelle un signal électrique de commande empêche toute intégration.
[0016] En ménageant, dans la séquence de capture d'image, des périodes d'obturation qui coïncident avec des impulsions de rayonnement, on évite l'apparition d'artéfact résultant des impulsions de rayonnement dans une même séquence d'image.
[0017] Selon un mode de mise en œuvre, chaque ligne de pixels de la matrice de pixels est exposée avec un retard par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée séparant la capture de deux images successives moins la durée d'intégration d'une ligne de la matrice de pixels, divisée par le nombre de ligne de la matrice moins un. [0018] En d'autres termes, At < (Te - TL) /(n-1) avec n le nombre de ligne de la matrice, At la durée du retard entre deux lignes successives, Te la durée séparant la capture de deux images successives et TL la durée d'intégration d'une ligne de pixels.
[0019] L'étape de capture d'image peut avoir une durée inférieure à la durée séparant le début des captures respectives de deux images successives.
[0020] L'émission des impulsions de rayonnement peut être synchronisée avec la capture des images de la séquence d'images.
[0021] Selon un autre aspect de l'invention, il est proposé un dispositif imageur comportant un module photosensible et configuré pour capturer une séquence d'images représentatives d'une scène éclairée par une source de rayonnement, par exemple une source de lumière générant des impulsions lumineuses, le dispositif étant configuré pour a. entre chaque paire d'impulsions de rayonnement successives, capturer une image de la séquence et, b. obturer le module photosensible pendant chaque occurrence d'une impulsion e rayonnement.
[0022] Selon un mode de réalisation, le module photosensible est une matrice pixels dont chaque pixel comporte un photo-détecteur et le dispositif est configuré pour intégrer chaque ligne de la matrice avec un retard par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée séparant la capture de deux images successives moins la durée d'intégration d'une ligne de la matrice de pixels, divisée par le nombre de ligne de la matrice moins un.
[0023] Le module photosensible peut être un capteur CMOS.
[0024] Selon un autre aspect, il est proposé un système d'imagerie qui comporte un dispositif imageur selon l'invention et qui comporte ladite source de rayonnement.
[0025] Le dispositif imageur et la source de rayonnement peuvent être commandés par un même circuit de commande. Ainsi l'émission des impulsions de rayonnement peut être synchronisée avec la capture des images de la séquence d'images. [0026] Selon un autre aspect, il est proposé un procédé de capture d'une séquence d'images représentatives d'une scène, dans lequel la capture d'au moins une image de la séquence d'image comprend une pluralité d'actions d'intégration relatives respectivement aux différentes lignes d'une matrice de pixels, une action d'intégration relative à une ligne étant effectuée avec un retard prédéterminé (non-nul) par rapport à l'action d'intégration de la ligne précédente, et dans lequel le retard prédéterminé est tel que l'action d'intégration relative à la dernière ligne s'achève avant la capture de l'image suivante. On ménage ainsi (entre la fin d'intégration de la dernière ligne et le début de capture de l'image suivante) une période pendant laquelle aucun pixel n'est actif (/.e. aucune intégration n'a lieu), ou période d'obturation.
[0027] Comme déjà indiqué, cette période d'obturation peut être mise à profit pour émettre un rayonnement, par exemple une impulsion d'un rayonnement utilisée par un autre dispositif imageur, sans provoquer ainsi d'artefact lors du procédé de capture susmentionné.
[0028] Les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Brève description des figures
[0029] De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes non limitatives de réalisation de l'invention et où :
[0030] [Fig. 1] illustre un habitacle d'un véhicule automobile équipé d'un dispositif selon l'invention,
[0031] [Fig. 2] est un chronogramme illustrant un exemple de mise en œuvre d'un procédé selon l'invention.
[0032] Il est à noter que sur ces figures les éléments structurels et/ou fonctionnels communs aux différentes variantes peuvent présenter les mêmes références. Description détaillée
[0033] La figure 1 illustre la partie avant d'un habitacle d'un véhicule automobile VT, ici une voiture, comportant un volant VL, un rétroviseur intérieur RI, ainsi qu'un tableau de bord TB. L'habitacle est équipé d'un système DMS (« Driver Monitoring System », en langue anglaise, « système de surveillance du conducteur », en français) et d'un premier dispositif imageur 1 selon l'invention.
[0034] Le premier dispositif imageur 1 comporte par exemple ici une caméra de type RGB permettant de capturer des séquences d'images en couleur, qui comporte un premier module photosensible 10 et un calculateur (non représenté). Le premier dispositif imageur 1 est à obturation déroulante.
[0035] Le premier dispositif imageur 1 est conçu pour générer une image de l'environnement lui faisant face et est disposé dans le véhicule de manière à être orienté en direction de la tête du conducteur du véhicule afin que l'image acquise par le dispositif imageur 1 inclue notamment le visage du conducteur. Le premier dispositif imageur est ici situé dans un boîtier BT fixé sous le rétroviseur intérieur RI.
[0036] Le dispositif imageur 1 est sensible à une plage de fréquence donnée du rayonnement, ici la lumière visible, et/ou au rayonnement infrarouge.
[0037] Le premier dispositif imageur 1 est par exemple ici adapté à la mise en œuvre de vidéoconférences.
[0038] Le premier dispositif imageur 1 est commandé par un circuit de commande présent dans le véhicule VT (non représenté).
[0039] Le système DMS (« Driver Monitoring System », pour système de surveillance du conducteur) comporte un deuxième dispositif imageur 2 et un calculateur (non représenté). Le système DMS peut en outre comprendre au moins un capteur biométrique (non représenté) conçu pour mesurer au moins un paramètre physiologique (parfois dénommée « constante physiologique ») du conducteur.
[0040] Le système DMS est configuré pour capturer une image ou une séquence d'image (ou vidéo) via le deuxième dispositif imageur 2 et pour procéder à son analyse afin d'identifier le visage du conducteur et/ou certaines zones du visage du conducteur et de déterminer notamment un niveau d'inaptitude à la conduite, c'est-à-dire par exemple un niveau de distraction du conducteur et/ou un niveau de somnolence du conducteur.
[0041] Le système DMS est par exemple conçu pour déterminer le niveau de distraction du conducteur en déterminant la posture de la tête du conducteur, la direction du regard du conducteur et l'évolution de cette posture et de cette direction au cours du temps.
[0042] Le deuxième dispositif imageur 2 comporte un deuxième module photosensible 20 et une source de rayonnement 21 (par exemple un émetteur de rayonnement infrarouge).
[0043] Le deuxième dispositif imageur 2 est ici adapté à réaliser des images tridimensionnelles par la mise en œuvre de mesures de temps de vol. Comme il est classique dans les dispositifs de mesure de temps de vol, la source de rayonnement 21 est une source de rayonnement infrarouge adaptée à générer un signal lumineux de façon impulsionnelle. Par exemple, la source de rayonnement 21 est configurée pour générer des impulsions infrarouges d'une durée de 5 millisecondes toutes les 28 millisecondes.
[0044] Le deuxième dispositif imageur 2, est ici commandé par le circuit de commande.
[0045] Le deuxième dispositif imageur 2 est agencé de façon à faire face aux passagers du véhicule. Par exemple ici, le deuxième dispositif imageur 2 est placé dans une région voisine d'une partie supérieure d'un pare-brise du véhicule, ici dans le boîtier BT.
[0046] Dans cet exemple, les modules photosensibles 10 et 20 sont des capteurs CMOS (« Complementary Metal-Oxide Semidconductor » en langue anglaise, « semiconducteur à grille métal oxyde » en langue française), qui comprennent chacun une matrice de pixels. Chaque pixel de chaque matrice comporte au moins un photo-détecteur, par exemple une photodiode et un circuit de transfert de charges électriques vers un circuit de traitement (non représenté) du dispositif imageur. Par exemple, les modules photosensibles sont ici des matrices de 1000 lignes et 1000 colonnes.
[0047] Bien que le premier dispositif imageur 1 et le deuxième dispositif imageur 2 réalisent chacun des opérations distinctes ayant des finalités distinctes, ils sont configurés ici pour fonctionner simultanément. Comme décrit ci-après, le premier dispositif imageur 1 est configuré pour fonctionner de telle manière que les impulsions de rayonnement générées par le deuxième dispositif imageur 2 ne conduisent pas à l'apparition d'artefacts sur les images capturées par le premier dispositif imageur 1. [0048] Le procédé de capture d'une séquence d'images selon l'invention, mis en oeuvre ici par le premier dispositif imageur 1 comporte une alternance de périodes d'intégration Tx de tous les pixels de la matrice, c'est-à-dire de périodes de captures d'une image de la séquence d'image, et de périodes d'obturation To, durant lesquelles les pixels sont dits obturés et aucune image n'est capturée. Ici, lors de chaque période d'obturation, le deuxième dispositif imageur 2 génère une impulsion infrarouge.
[0049] Ici, toutes les périodes d'intégration Tx se déroulent de façon identique et toutes les périodes d'obturation To se déroulent de façon identique. Ainsi le procédé de capture d'une séquence d'image est périodique, et sa période de capture Te est égale à la somme de la période d'intégration Tx et de la période d'obturation To. La période de capture Te correspond donc à la durée séparant la capture de deux images successives.
[0050] Ici, Tx=(n-l)*At+TL
[0051] avec n le nombre de ligne de la matrice, ici n=1000, At la durée du retard entre l'intégration de deux lignes successives et TL la durée d'intégration d'une ligne de pixels.
[0052] La durée de la période d'intégration Tx est strictement inférieure à la période de capture Te, soit Tx < Te.
[0053] Le procédé est mis en œuvre de telle manière que chaque période d'obturation To coïncide avec une impulsion de rayonnement du deuxième dispositif imageur 2.
[0054] La figure 2 est un chronogramme qui représente dévolutions des valeurs de tension V de signaux de commande d'intégration Si à Siooo, respectivement des lignes 1 à 1000 de la matrice de pixels et d'un signal de commande d'illumination SL de la deuxième source de rayonnement 21 lors d'une capture d'une séquence de m images par un procédé selon l'invention. Par exemple ici, la séquence comporte 5000 images.
[0055] Les signaux de commande d'intégration Si à Siooo et de d'illumination SL sont par exemple délivrés par le circuit de commande du véhicule automobile VT.
[0056] Puisque toutes les périodes de capture Ti sont identiques, seule une première période Tci sera détaillée ici.
[0057] Les signaux de commande d'intégration Si à Siooo et le signal de commande d'illumination SL sont soit dans un état haut, soit dans un état bas. Le premier dispositif imageur 1 est configuré pour intégrer les charges des pixels de chaque ligne (c'est-à-dire pour commander une action d'intégration relative à une ligne) uniquement lorsque le signal associé à la ligne est dans un état haut. Le deuxième dispositif imageur 2 est configuré pour activer la deuxième source de rayonnement uniquement lorsque le signal SL est dans un état haut.
[0058] Lors de la première période d'intégration Txi, le premier dispositif imageur 1 capture une première image de la séquence d'image en intégrant toutes lignes de la matrice. Ici, la durée TL d'intégration d'une ligne, c'est-à-dire la durée d'un état haut de chaque signal de commande d'intégration, est égale à 28 millisecondes et le retard At est égal à 2 microsecondes.
[0059] Ainsi chaque ligne est intégrée avec le retard de 2 microsecondes par rapport à la ligne précédente, et un premier signal de commande Si, commandant l'intégration d'une première ligne de la matrice du premier module photosensible 10 passe dans un état haut 2 microsecondes avant un deuxième signal de commande S2 commandant l'intégration d'une deuxième ligne.
[0060] De même, un troisième signal de commande d'intégration S3 commandant l'intégration d'une troisième ligne de la matrice passe dans un état haut 2 microsecondes après le deuxième signal S2.
[0061] Ainsi, dans l'exemple illustré dans lequel la matrice de pixel comporte 1000 lignes, le retard entre l'intégration de la première ligne et l'intégration de la dernière ligne est égal à 2 millisecondes. Puisque la durée d'intégration d'une ligne est égale à 28 millisecondes, la durée de la première période d'intégration Txi est ici égale à 30 millisecondes.
[0062] L'intégration de la dernière ligne (et donc de l'ensemble des lignes de l'image, ici de la première image) est donc achevée avant la capture de l'image suivante (ici la seconde image).
[0063] Lors d'une première période d'obturation To qui a ici une durée de 2 millisecondes et qui succède directement à la première période d'intégration Txi, le premier signal de commande d'illumination SLi est dans un état haut et la deuxième source de rayonnement 21 génère un faisceau lumineux infrarouge. [0064] Pendant la première période d'obturation To, les signaux de commande d'intégration générés par le circuit de commande sont dans un état bas et les pixels du premier module photosensible 10 ne sont pas intégrés. Le premier module photosensible 10 est donc obturé. Ainsi les impulsions infrarouges générées par le deuxième dispositif imageur 2 coïncident avec les périodes d'obturation et sont donc distinctes des périodes d'intégration des pixels, c'est-à-dire qu'elles ne se chevauchent pas, ce qui permet avantageusement d'éviter la présence d'artefacts sur les images capturées.
[0065] L'invention n'est pas limitée aux modes de mise en œuvre et de réalisation décrits ci-avant.
[0066] Dans l'exemple illustré, l'environnement dans lequel est placé le premier dispositif imageur 1 est un habitacle de voiture. Le dispositif imageur selon l'invention n'est toutefois pas limité à cet environnement et peut être placé dans tout type d'environnement, par exemple un habitacle d'un véhicule différent, par exemple un train ou un avion, ou bien à l'intérieur d'un bâtiment, ou encore en extérieur.
[0067] La deuxième source de rayonnement 21 a été décrite ci-avant comme étant comprise dans un dispositif imageur mettant en œuvre des mesures de temps de vol. En variante, la deuxième source de rayonnement peut être comprise dans tout autre dispositif imageur, par exemple un dispositif de capture d'images photographiques ou vidéo, ou bien même être comprise dans tout dispositif autre qu'un dispositif imageur. La deuxième source de rayonnement 21 peut en outre être une source indépendante de tout dispositif et/ou émettre un faisceau lumineux de toute longueur d'onde, notamment un faisceau de lumière visible
[0068] Par ailleurs, l'environnement dans lequel est placé le premier dispositif imageur 1 peut comprendre un nombre différent de sources lumineuses, par exemple deux ou trois sources lumineuses. Le procédé s'applique alors de façon que les périodes d'illumination des différentes sources lumineuses ne chevauchent pas les périodes d'intégration. Il est possible à cette fin de jouer sur la vitesse de capture d'image afin de faire varier la durée des périodes d'intégration. Préférentiellement, on choisira une période d'intégration ayant une durée inférieure ou égale à 33 millisecondes. [0069] Enfin, le module photosensible n'est pas limité à la technologie CMOS, et l'invention est compatible avec toute technologie, notamment la technologie CCD (« Charge-coupled Device » en langue anglaise, « dispositif à transfert de charge » en langue française).
[0070] Diverses autres modifications peuvent être apportées à l'invention dans le cadre des revendications annexées.

Claims

Revendications
1. Procédé de capture d'une séquence d'images représentatives d'une scène éclairée par au moins une source de rayonnement (22) générant des impulsions, comprenant a. entre chaque paire d'impulsions de rayonnement successives, une étape de capture d'une image (Txi, Tx?..., Txn) de la séquence comportant une intégration des pixels d'une matrice de pixels d'un module photosensible (10), de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et b. une étape d'obturation (Toi, T02,... Ton) du module photosensible (10) pendant chaque occurrence d'une impulsion de rayonnement.
2. Procédé selon la revendication 1, dans lequel chaque ligne de pixels de la matrice de pixels est exposée avec un retard (At) par rapport à la ligne précédente, ledit retard (At) étant strictement inférieur à la durée (Te) séparant la capture de deux images successives moins la durée (TL) d'intégration d'une ligne de la matrice de pixels, divisée par le nombre de ligne (n) de la matrice moins un.
3. Procédé selon la revendication 1 ou 2, dans lequel l'étape de capture d'image a une durée (Te) inférieure à la durée séparant le début des captures respectives de deux images successives.
4. Procédé selon l'une quelconque des revendications 1 et 2, dans l'émission des impulsions de rayonnement est synchronisée avec la capture des images de la séquence d'images.
5. Dispositif imageur à obturation déroulante comportant un module photosensible (10) et configuré pour capturer une séquence d'images représentatives d'une scène éclairée par une source de rayonnement (21) générant des impulsions de rayonnement, le dispositif (1) étant configuré pour a. entre chaque paire d'impulsions de rayonnement successives, capturer une image de la séquence, cette capture comportant une intégration des pixels d'une matrice de pixels d'un module photosensible (10), de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et, b. obturer le module photosensible pendant chaque occurrence d'une impulsion de rayonnement.
6. Dispositif selon la revendication 5, dans lequel le module photosensible (10) est une matrice pixel dont chaque pixel comporte un photo-détecteur et le dispositif est configuré pour intégrer chaque ligne de la matrice avec un retard (At) par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée (Te) séparant la capture de deux images successives moins la durée (TL) d'intégration d'une ligne de la matrice de pixels, divisée par le nombre de ligne (n) de la matrice moins un..
7. Dispositif selon la revendication 5 ou 6, dans lequel le module photosensible est un capteur CMOS.
8. Système d'imagerie qui comporte un dispositif imageur (1) selon l'une quelconque des revendications 5 à 7 et qui comporte ladite source de rayonnement (21).
9. Système selon la revendication 8, dans lequel le dispositif imageur (1) et la source de rayonnement sont commandés par un même circuit de commande.
PCT/EP2021/071043 2020-09-09 2021-07-27 Procédé de capture d'une séquence d'images, dispositif imageur correspondant et système d'imagerie comportant un tel dispositif WO2022053219A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2009122A FR3113992B1 (fr) 2020-09-09 2020-09-09 Procédé de capture d’une séquence d’images, dispositif imageur correspondant et système d’imagerie comportant un tel dispositif.
FRFR2009122 2020-09-09

Publications (1)

Publication Number Publication Date
WO2022053219A1 true WO2022053219A1 (fr) 2022-03-17

Family

ID=73793356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/071043 WO2022053219A1 (fr) 2020-09-09 2021-07-27 Procédé de capture d'une séquence d'images, dispositif imageur correspondant et système d'imagerie comportant un tel dispositif

Country Status (2)

Country Link
FR (1) FR3113992B1 (fr)
WO (1) WO2022053219A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2790399A1 (fr) * 2011-12-08 2014-10-15 Sony Corporation Dispositif de traitement d'image, procédé de traitement d'image, et programme associé
US20180041681A1 (en) * 2016-08-02 2018-02-08 Cree, Inc. Solid state lighting fixtures and image capture systems
US20180324344A1 (en) * 2015-11-24 2018-11-08 Sony Corporation Image processor, image processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2790399A1 (fr) * 2011-12-08 2014-10-15 Sony Corporation Dispositif de traitement d'image, procédé de traitement d'image, et programme associé
US20180324344A1 (en) * 2015-11-24 2018-11-08 Sony Corporation Image processor, image processing method, and program
US20180041681A1 (en) * 2016-08-02 2018-02-08 Cree, Inc. Solid state lighting fixtures and image capture systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BRADLEY D ET AL: "Synchronization and rolling shutter compensation for consumer video camera arrays", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 2009. CVPR WORKSHOPS 2009. IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 20 June 2009 (2009-06-20), pages 1 - 8, XP031606989, ISBN: 978-1-4244-3994-2 *

Also Published As

Publication number Publication date
FR3113992A1 (fr) 2022-03-11
FR3113992B1 (fr) 2023-04-21

Similar Documents

Publication Publication Date Title
WO1992003016A2 (fr) Camera panoramique du type a transfert de charges dans un systeme de veille
US10382714B2 (en) Image capturing apparatus and moving object
FR2973162A1 (fr) Capteur d&#39;image a tres haute dynamique
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
WO2021230981A1 (fr) Caméra de temps de vol à obturateur global
FR2740558A1 (fr) Procede de detection par designation laser et dispositif d&#39;ecartometrie a detecteur matriciel correspondant
CA3015112C (fr) Dispositif de detection d&#39;un spot laser
JP6728268B2 (ja) 撮像装置、撮像システム、および、移動体
WO2022053219A1 (fr) Procédé de capture d&#39;une séquence d&#39;images, dispositif imageur correspondant et système d&#39;imagerie comportant un tel dispositif
CN113785561B (zh) 摄像装置
FR2914499A1 (fr) Procede et circuit d&#39;obtention d&#39;un echantillon dans un capteur d&#39;images
EP2056126B1 (fr) Procédé de détection d&#39;une impulsion lumineuse réfléchie sur un objet pour déterminer la distance de l&#39;objet, capteur et dispositif de mise en oeuvre
WO2010031952A1 (fr) Compteur analogique et imageur incorporant un tel compteur
WO2002088756A1 (fr) Methode et dispositif pour evaluer un parametre d&#39;un object en mouvement
EP3310039B1 (fr) Dispositif électronique d&#39;analyse d&#39;une scène
US20220124291A1 (en) Imaging device and imaging system
EP3402178B1 (fr) Capteur de mouvement et capteur d&#39;images
US11700467B2 (en) Photoelectric conversion device, photoelectric conversion system, and movable body
FR3078427A1 (fr) Detection dynamique de lumiere parasite dans une image numerique
WO2022003033A1 (fr) Procédé d&#39;acquisition d&#39;images d&#39;une scène
CN116249025A (zh) 光电转换装置
JP2023084272A (ja) 光電変換装置
EP4186227A1 (fr) Capteur pour mesure de distance par temps de vol avec pixel à noeuds memoires multiples
FR2735935A1 (fr) Dispositif a couplage de charges adapte a l&#39;acquisition rapide d&#39;un signal lumineux et son application dans un lidar
JPH10333022A (ja) 焦点検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21751549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE