WO2014096670A1 - Procede et dispositif d'acquisition d'image - Google Patents

Procede et dispositif d'acquisition d'image Download PDF

Info

Publication number
WO2014096670A1
WO2014096670A1 PCT/FR2013/053114 FR2013053114W WO2014096670A1 WO 2014096670 A1 WO2014096670 A1 WO 2014096670A1 FR 2013053114 W FR2013053114 W FR 2013053114W WO 2014096670 A1 WO2014096670 A1 WO 2014096670A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
account
integration
sensor
motion sensor
Prior art date
Application number
PCT/FR2013/053114
Other languages
English (en)
Inventor
Fabien GAVANT
Laurent Alacoque
Original Assignee
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique Et Aux Energies Alternatives filed Critical Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority to EP13818323.1A priority Critical patent/EP2932706A1/fr
Priority to US14/652,444 priority patent/US9860449B2/en
Publication of WO2014096670A1 publication Critical patent/WO2014096670A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • This application relates to methods and available ⁇ sitifs of general image capture. It relates more particularly to so-called image stabilization methods and devices, that is to say to avoid or limit the presence of visible artifacts on the image, which can result from unwanted movements of the acquisition device during a shot.
  • an embodiment provides a method in which an integration period of an image sensor is divided into several sub-periods whose durations are chosen taking into account at least one output signal of a sensor. of movements.
  • an intermediate image acquired by the image sensor is read, and the image sensor is reset.
  • said intermediate images are combined to form a final image.
  • the at least one output signal of the motion sensor is taken into account to effect the combination of the intermediate images.
  • the combination does not take into account intermediate images having a signal-to-noise ratio below a threshold.
  • the combination does not take into account intermediate images acquired during an integration subperiod less than a threshold.
  • an image quality index is calculated taking into account said at least one output signal of the motion sensor.
  • the quality index is taken into account to divide or not the integration period into several sub-periods.
  • the image sensor and the motion sensor are part of the same image acquisition device.
  • the motion sensor is configured to provide signals representative of movements of the image acquisition device.
  • the combination takes into account the brightness level in the intermediate images to reconstruct a final image with a wide dynamic range.
  • Another embodiment provides an image acquisition device comprising an image sensor, a motion sensor, and a circuit adapted to divide an integration period of the image sensor into several sub-periods of time. Integration whose durations are chosen taking into account at least one output signal of the motion sensor.
  • the motion sensor is configured to provide signals representative of movements of the image acquisition device.
  • the device further comprises an optical compensation device, and a circuit adapted to control the optical compensation device taking into account the at least one output signal of the motion sensor.
  • the device does not include an optical compensation device.
  • Figure 1 schematically illustrates in block form an embodiment of an image acquisition device
  • FIGS. 2A, 2B and 3 illustrate the operation of an embodiment of an image acquisition method
  • FIG. 4 schematically illustrates in the form of blocks an alternative embodiment of an image acquisition device
  • Figure 5 is a schematic perspective view illustrating an embodiment in an integrated form of an image acquisition device.
  • FIGS. 2A, 2B, 3 and 5 are not drawn to scale.
  • only those elements useful for understanding skin ⁇ standing of the invention have been shown and will be described. detailed description
  • An image acquisition device for example a digital camera, conventionally comprises an image sensor placed behind an optical system, all mounted in a protective case.
  • the acquisition device may comprise an optical stabilizer comprising a device for measuring the movements of the housing, or sensor of the movements of the housing, and an optical compensation device of these movements.
  • the motion measuring device may comprise one or more motion sensors, for example of the gyroscope, gyroscope, accelerometer, etc. type, and be configured to provide signals representative of movements of the housing.
  • the optical compensation device may include actuation elements configured to move the image sensor or all or part of the optical system in response to a control signal.
  • the optical compensation device can be controlled by taking into account the output signals of the motion measuring device, so that during the image acquisition or image acquisition phases, the image projected on the sensor is the more independent possible movements of the acquisition device.
  • a problem is that, when the movements of the acquisition device have large amplitudes, and / or when the focal length of the optical system is large, the optical compensation device can come into abutment without being able to completely compensate for the measured movements.
  • the response time of the optical compensation system may be too slow to compensate for some rapid movements of the acquisition device, or the compensation system may not be accurate enough to accurately compensate for the measured movements.
  • artifacts, and especially blur may be present in the output image, especially when the integration period (or integration time) of the sensor is important.
  • an image acquisition device comprising an image sensor and a device for measuring movements of the acquisition device, to divide an integration period of the sensor into one or more sub-elements.
  • integration periods whose durations are chosen taking into account the output signals of the motion measuring device. More particularly, when, during an image acquisition phase, movements of the acquisition device capable of significantly impacting the rendering of the image are detected, it is planned to interrupt the integration of the sensor, read an intermediate image or frame already integrated on the sensor, then immediately reset the sensor to start a new integration subperiod, and so on until the sum of the integration sub-periods is equal to the integration period in question.
  • the intermediate images can be combined or accumulated by taking into account the data provided by the motion measuring device, so as to reconstruct a final image of higher sharpness (and equivalent brightness level) than the image that would have been obtained if the integration of the sensor had been performed at one time.
  • FIG. 1 schematically illustrates, in the form of blocks, an example of an embodiment of an image acquisition device 100.
  • the device 100 comprises an image sensor 101 (IMG), which can be mounted in a protective case (not shown), for example behind an optical system (not shown).
  • An image supplying output of the sensor 101 is connected to a memory 103 (MEM) of the device 100, in which image data acquired by the sensor can be stored, for example for digital processing and / or waiting to be recorded on another storage medium (not shown).
  • Device 100 includes in addition, an image stabilization system.
  • the stabilization system comprises an optical stabilizer of the type mentioned above, that is to say having a device 105 (MS) adapted to measure movements of the device 100 (independently of possible movements of all or part of the scene seen by the sensor), and a device 107 (MC) optical compensation of these movements.
  • the stabilization system comprises a calculation and control circuit 109 (CPU), for example a microcontroller, configured to receive output signals from the device 105, and to control the device 107 accordingly, so that the projected image on the sensor 101 is as independent as possible from the movements of the device 100.
  • CPU calculation and control circuit 109
  • the stabilization system further comprises a memory zone 113 (PSF), which may be distinct from the memory 103 or included in the memory 103 wherein the circuit 109 is capable of storing data relating to the movements of the device 100.
  • the circuit 109 is further adapted to supply control signals to the image sensor 101, and to read and write to the memory 103.
  • FIG. 2A is a chronogram schematically showing the evolution as a function of time, during an image acquisition phase, of the equivalent position P x of the device 100, after compensation of the movements of the device 100 by the device 107
  • the curve P x of FIG. 2A does not represent all the displacements of the device 100 during the integration phase, but represents the part of these displacements which is not compensated by the device 107. for example because of their excessive amplitude, or because they are movements that are too fast to compensate.
  • the curve P x can be obtained by comparing the output signals of the motion measuring device 105 with the control signals supplied to the compensation device 107, possibly taking into account the time response of the compensation circuit 107, or with displacement sensors of the compensation device itself.
  • the image acquisition device 100 moves only in translation, and in only one direction of the image plane of the sensor.
  • the operating modes described are however compatible with more complex movements of the device 100, provided that these movements can be measured by the device 105.
  • a target integration period T of the sensor is chosen, for example automatically, taking into account the ambient light conditions, or by manual parameterization by the user.
  • the integration of the sensor 101 begins. From time t0 until the end of the image acquisition phase, the device 105 continuously measures the movements of the device 100, and transmits motion data to the circuit 109 which, in response, commands the optical compensation device 107 so that the image projected on the sensor 101 is as independent as possible from the movements of the device 100. In parallel, the circuit 109 determines the equivalent residual movements or displacements of the device 100, that is to say say the movements of the device 100 not compensated by the device 107 (P x signal).
  • the circuit 109 When the circuit 109 detects that the residual displacements of the device 100 are likely to cause a significant degradation of the rendering of the final image, it controls the interruption of the integration of the sensor 101, and an intermediate image is read and recorded in the memory 103. This marks the end of a first integration subperiod ⁇ of the sensor. The sensor is then immediately reset and a second integration subperiod ⁇ 2 begins, and so on until the sum of the integration sub-periods equal to the integration period T referred to. In the example shown, the period T is divided into four successive sub-periods ⁇ , X2, ⁇ 3 and ⁇ 4, that is to say that four intermediate images are read during the image acquisition phase.
  • data relating to the residual displacements of the device 100 can be recorded in the memory zone 113.
  • the intermediate images are combined to reconstruct a final image sharper than the image that would have been obtained if the sensor integration had been performed at one time.
  • residual displacement data of the device 100 determined by the circuit 109 may, for example, be shifted by one another. relative to the others before being added, so as to compensate at least in part for these residual displacements.
  • other methods of estimating residual displacements and recombination of the intermediate images can be used, for example a method using convolution techniques to match blocks of pixels representative of the same part of the scene. gain.
  • the reconstruction of the final image can be fully performed after reading the last intermediate image. However, to minimize the amount of memory required for storing intermediate images, a partial reconstruction can be performed after each intermediate reading.
  • a first intermediate image is read at the end of the integration subperiod ⁇ , and is stored in the memory 103.
  • a second intermediate image is read and is directly combined with the first intermediate image, taking into account the residual displacements of the device 100 during the sub-period x2.
  • a third intermediate image is read and is directly combined with the partially reconstructed image contained in the memory 103, taking into account the residual displacements of the device 100 during the sub-period ⁇ 3.
  • a fourth intermediate image is read and is directly combined with the already partially reconstructed image contained in the memory 103, taking into account the residual displacements of the device 100 during the subperiod ⁇ 4.
  • the circuit 109 can calculate, from the displacement data residual, the matrix or function spread point ("point spread function" in English) of the device 100, that is to say the deformation caused by the residual displacements of the device 100, a scene chosen for, in the absence of residual displacements, illuminate only one pixel of the sensor 101.
  • the staggering function can also be used to reconstruct the final image.
  • the circuit 109 calculates, taking into account the residual displacement data of the device 100, for example from the point spreading function, a quality index JND of FIG. image being acquired. This index can be used as a criterion by the circuit 109, to decide whether the integration of the sensor should be interrupted or whether it can be continued.
  • FIG. 2B represents the evolution as a function of time, during the image acquisition phase of FIG. 2A, of the quality index JND calculated by the circuit 109.
  • the index JND is fixed at a reference value, for example zero.
  • the circuit 109 recalculates the quality index JND taking into account the residual movements of the device 100.
  • the index JND reaches a low threshold JND m -j_ n (lower than reference level set at time t0)
  • the integration of the sensor is interrupted, an intermediate image is read, and a new integration sub-period starts.
  • the JND index is reset to its initial value (zero in this example).
  • the threshold JND m -j_ n defines a set of quality level required in each intermediate image. For a given sequence of movements during the integration phase, the higher the threshold JND m j_ n , the greater the number of integration subperiods will be important to meet this setpoint, and vice versa. The quality of the final image obtained by combining the intermediate images depends on the setpoint JND min .
  • the JND quality index is a perceptual quality index calculated from the point spread function by the method described in the article "Perceptual Image Quality Assessment Metric That Handles Arbitraty Motion Blur" from Fabien Gavant et al. (SPIE 8293, Image Quality and System Performance IX, 829314 (January 24, 2012)).
  • SPIE 8293 Image Quality and System Performance IX, 829314 (January 24, 2012)
  • the coordinates of the center of gravity of the matrix are calculated, then each coefficient of the matrix is weighted by its distance to the center of gravity, and the weighted coefficients are summed to obtain a standard deviation E.
  • FIG. 3 represents the acquisition of an image by a method of the type described with reference to FIGS. 1, 2A and 2B.
  • an integration period T ' is divided into nine successive integration subperiods referenced respectively ⁇ ' to ⁇ 9 '.
  • the sub-periods T3 ', T4', ⁇ 5 'and T8' are significantly shorter than the others, which means that during these sub-periods, movements of the device 100 resulted in rapid degradation the quality of the image being acquired.
  • the corresponding intermediate images (hatched in FIG. 3) are consequently relatively noisy.
  • the integration of the sensor can be extended until the sum of the integration sub-periods actually taken into account in the construction of 1 final image is equal to or close to the integration period T '.
  • FIG. 4 schematically illustrates, in the form of blocks, an example of an alternative embodiment of an image acquisition device 400.
  • the device 400 comprises the same elements as the device 100, at the the exception of the optical compensation device 107.
  • the acquisition device 400 does not include an optical stabilizer, but only a device 105 for measuring the movements of the acquisition device.
  • the operating modes described with reference to FIGS. 1, 2A, 2B and 3 are compatible with the device 400, with the difference that where, in the device 100, the equivalent residual movements of the device 100 were taken into account, after optical compensation by the device 107, in the device 400, the movements actually measured by the device 105 are directly taken into account.
  • An advantage of the device 400 is that it does not include an optical compensation device, which reduces its cost, weight and bulk.
  • FIG. 5 very schematically illustrates an embodiment in an integrated form of an image acquisition device 500 of the type described with reference to FIGS. 1 to 4.
  • the device 500 is made according to a stacking technology semiconductor chips, or 3D technology.
  • An image sensor 501 comprising a matrix of photodiodes 502 is made in a first level of stacking. The photodiodes 502 occupy for example the entire surface of the stack so as to capture as much light as possible.
  • a memory 503 adapted to contain at least one image acquired by the sensor 501, is made in a second stack level, under the sensor 501. Under the memory 503, a control circuit 509 is made in a third stacking level. .
  • the device 500 further comprises a motion measuring device 505 comprising for example a gyroscope.
  • the device 505 can be integrated into one of the aforementioned stacking levels.
  • the device 505 can be made in MEMS technology (English Micro-Electro-Mechanical Systems).
  • the device 500 may further comprise an optical compensation device (not shown), for example comprising a liquid lens having an electrically controllable shape. An optical stabilization can thus be achieved by controlling the lens according to the motion information measured by the device 505, while maintaining a high level of integration.
  • An advantage of the device 500 of Figure 5 lies in its small size and low weight.
  • An advantage of the embodiments described with reference to FIGS. 1 to 4 is that they make it possible to obtain a sharp image regardless of the amplitude and the speed of the movements of the image acquisition device, the focal length of the image. optical system, and the integration time of the sensor.
  • the segmentation of the integration period of the sensor occurs only when movements likely to affect the quality of the image being acquired are detected.
  • the integration period of the sensor will not be divided, and the final image will be obtained directly, without a step of combining intermediate images (that is to say that in this case, the integration period will be divided into a single integration subperiod). This makes it possible not to introduce noise into the final image by segmenting the integration period unnecessarily, when the acquisition device does not move.
  • the embodiments described are not limited to the particular examples of image acquisition devices described with reference to FIGS. 1, 4 and 5. More generally, the image stabilization method described in connection with FIGS. FIGS. 1 to 5 may be implemented in any image acquisition device comprising at least one image sensor and a device for measuring the movements of the acquisition device.
  • so-called high dynamic range image acquisition methods may comprise successive acquisitions of several images of the same scene with different integration times, and the reconstruction, from these images, of a final image of homogeneous brightness level, having a large dynamic range.
  • Such methods make it possible in particular to limit the phenomena of overexposure or under-exposure when the scene to be acquired is strongly contrasted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne un procédé dans lequel on tient compte d'au moins un signal de sortie d'un capteur de mouvements (105; 505) pour diviser ou non une période d'intégration (T; T" ) d'un capteur d'images (101; 501) en plusieurs sous-périodes (Ti; Ti ' ).

Description

PROCEDE ET DISPOSITIF D 'ACQUISITION D ' IMAGE
Domaine
La présente demande concerne les procédés et dispo¬ sitifs d'acquisition d'image de façon générale. Elle concerne plus particulièrement des procédés et dispositifs dits de stabilisation d'image, c'est-à-dire visant à éviter ou limiter la présence d'artefacts visibles sur l'image, qui peuvent résulter de mouvements indésirables du dispositif d'acquisition lors d'une prise de vue.
Exposé de l'art antérieur
Diverses techniques de stabilisation d'image ont été proposées. Ces techniques présentent toutefois toutes leurs inconvénients propres.
Résumé
Ainsi, un mode de réalisation prévoit un procédé dans lequel une période d'intégration d'un capteur d'images est divisée en plusieurs sous-périodes dont les durées sont choisies en tenant compte d'au moins un signal de sortie d'un capteur de mouvements .
Selon un mode de réalisation, à la fin de chaque sous- période d'intégration, une image intermédiaire acquise par le capteur d'images est lue, et le capteur d'images est réinitialisé . Selon un mode de réalisation, lesdites images intermédiaires sont combinées pour former une image finale.
Selon un mode de réalisation, on tient compte dudit au moins un signal de sortie du capteur de mouvements pour effectuer la combinaison des images intermédiaires.
Selon un mode de réalisation, la combinaison ne tient pas compte des images intermédiaires ayant un rapport signal sur bruit inférieur à un seuil.
Selon un mode de réalisation, la combinaison ne tient pas compte des images intermédiaires acquises pendant une sous- période d'intégration inférieure à un seuil.
Selon un mode de réalisation, un indice de qualité d'image est calculé en tenant compte dudit au moins un signal de sortie du capteur de mouvements.
Selon un mode de réalisation, on tient compte de l'indice de qualité pour diviser ou non la période d'intégration en plusieurs sous-périodes.
Selon un mode de réalisation, le capteur d'images et le capteur de mouvements font partie d'un même dispositif d'acquisition d'images.
Selon un mode de réalisation, le capteur de mouvements est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images.
Selon un mode de réalisation, la combinaison tient compte du niveau de luminosité dans les images intermédiaires pour reconstruire une image finale à large gamme dynamique.
Un autre mode de réalisation prévoit un dispositif d'acquisition d'images, comportant un capteur d'images, un capteur de mouvements, et un circuit adapté à diviser une période d'intégration du capteur d'images en plusieurs sous- périodes d'intégration dont les durées sont choisies en tenant compte d'au moins un signal de sortie du capteur de mouvements.
Selon un mode de réalisation, le capteur de mouvements est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images. Selon un mode de réalisation, le dispositif comporte en outre un dispositif de compensation optique, et un circuit adapté à commander le dispositif de compensation optique en tenant compte du au moins un signal de sortie du capteur de mouvements .
Selon un mode de réalisation, le dispositif ne comporte pas de dispositif de compensation optique.
Brève description des dessins
Ces caractéristiques et leurs avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
la figure 1 illustre schématiquement sous forme de blocs un mode de réalisation d'un dispositif d'acquisition d' image ;
les figures 2A, 2B et 3 illustrent le fonctionnement d'un mode de réalisation d'un procédé d'acquisition d'image ;
la figure 4 illustre schématiquement sous forme de blocs une variante de réalisation d'un dispositif d'acquisition d ' image ; et
la figure 5 est une vue en perspective schématique illustrant un exemple de réalisation sous forme intégrée d'un dispositif d'acquisition d'image.
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, les figures 2A, 2B, 3 et 5 ne sont pas tracées à l'échelle. En outre, seuls les éléments utiles à la compré¬ hension de l'invention ont été représentés et seront décrits. Description détaillée
Un dispositif d'acquisition d'image, par exemple un appareil photographique numérique, comporte classiquement un capteur d'images placé derrière un système optique, le tout monté dans un boîtier de protection. Pour éviter ou limiter la présence d'artefacts visibles sur l'image en cas de mouvement indésirable du dispositif d'acquisition lors d'une prise de vue (par exemple du fait de tremblements de la main de l'utilisateur), le dispositif d'acquisition peut comprendre un stabilisateur optique comportant un dispositif de mesure des mouvements du boîtier, ou capteur des mouvements du boîtier, et un dispositif de compensation optique de ces mouvements. A titre d'exemple, le dispositif de mesure de mouvements peut comporter un ou plusieurs capteurs de mouvements, par exemple de type gyroscope, gyromètre, accéléromètre, etc., et être configuré pour fournir des signaux représentatifs de mouvements du boîtier. Le dispositif de compensation optique peut comprendre des éléments d'actionnement configurés pour déplacer le capteur d'images ou tout ou partie du système optique en réponse à un signal de commande. Le dispositif de compensation optique peut être commandé en tenant compte des signaux de sortie du dispositif de mesure de mouvements, de façon que, pendant les phases de prise de vue ou d'acquisition d'image, l'image projetée sur le capteur soit la plus indépendante possible des mouvements du dispositif d'acquisition.
Un problème est que, lorsque les mouvements du dispositif d'acquisition ont de fortes amplitudes, et/ou lorsque la distance focale du système optique est importante, le dispositif de compensation optique peut venir en butée sans parvenir à compenser intégralement les mouvements mesurés. En outre, le temps de réponse du système de compensation optique peut être trop lent pour compenser certains mouvements rapides du dispositif d'acquisition, ou le système de compensation peut ne pas être suffisamment précis pour compenser exactement les mouvements mesurés. Ainsi, même en présence d'un stabilisateur optique, des artefacts, et notamment du flou, peuvent être présents dans l'image de sortie, surtout lorsque la période d'intégration (ou temps d'intégration) du capteur est importante .
Il serait souhaitable de pouvoir stabiliser une image quelles que soient l'amplitude, la direction et la vitesse des secousses du dispositif d'acquisition d'image, la distance focale du système optique, et la durée d'intégration du capteur (ou durée d'intégration de l'image sur le capteur).
Selon un aspect, on prévoit, dans un dispositif d'acquisition d'image comportant un capteur d'images et un dispositif de mesure de mouvements du dispositif d'acquisition, de diviser une période d'intégration du capteur en une ou plusieurs sous-périodes d'intégration dont les durées sont choisies en tenant compte de signaux de sortie du dispositif de mesure de mouvements. Plus particulièrement, lorsque, pendant une phase d'acquisition d'image, des mouvements du dispositif d'acquisition susceptibles d'impacter de façon significative le rendu de l'image sont détectés, on prévoit d'interrompre l'intégration du capteur, de lire une image intermédiaire ou trame déjà intégrée sur le capteur, puis de réinitialiser aussitôt le capteur pour démarrer une nouvelle sous-période d'intégration, et ainsi de suite jusqu'à ce que la somme des sous-périodes d'intégration soit égale à la période d'intégration visée. Les images intermédiaires peuvent être combinées ou accumulées en tenant compte des données fournies par le dispositif de mesure de mouvement, de façon à reconstituer une image finale de netteté supérieure (et de niveau de luminosité équivalent) à l'image qui aurait été obtenue si l'intégration du capteur avait été réalisée en une seule fois.
La figure 1 illustre schématiquement, sous forme de blocs, un exemple d'un mode de réalisation d'un dispositif d'acquisition d'image 100. Le dispositif 100 comprend un capteur d'images 101 (IMG), qui peut être monté dans un boîtier de protection (non représenté) , par exemple derrière un système optique (non représenté). Une sortie de fourniture d'image du capteur 101 est reliée à une mémoire 103 (MEM) du dispositif 100, dans laquelle des données d'images acquises par le capteur peuvent être stockées, par exemple en vue de subir un traitement numérique et/ou en attendant d'être enregistrées sur un autre support de stockage (non représenté) . Le dispositif 100 comprend en outre un système de stabilisation d'image. Dans cet exemple, le système de stabilisation comporte un stabilisateur optique du type mentionné ci-dessus, c'est-à-dire comportant un dispositif 105 (MS) adapté à mesurer des mouvements du dispositif 100 (indépendamment d'éventuels mouvements de tout ou partie de la scène vue par le capteur) , et un dispositif 107 (MC) de compensation optique de ces mouvements. Dans cet exemple, le système de stabilisation comprend un circuit 109 (UC) de calcul et de contrôle, par exemple un microcontrôleur, configuré pour recevoir des signaux de sortie du dispositif 105, et commander en conséquence le dispositif 107, de façon que l'image projetée sur le capteur 101 soit la plus indépendante possible des mouvements du dispositif 100. Dans cet exemple, le système de stabilisation comprend en outre une zone mémoire 113 (PSF) , qui peut être distincte de la mémoire 103 ou incluse dans la mémoire 103, dans laquelle le circuit 109 peut stocker des données concernant les mouvements du dispositif 100. Le circuit 109 est en outre adapté à fournir des signaux de commande au capteur d'images 101, et à lire et écrire dans la mémoire 103.
Des exemples de modes de fonctionnement du dispositif 100 vont maintenant être décrits en relation avec les figures 1, 2A, 2B et 3.
La figure 2A est un chronogramme représentant de façon schématique l'évolution en fonction du temps, pendant une phase d'acquisition d'une image, de la position équivalente Px du dispositif 100, après compensation des mouvements du dispositif 100 par le dispositif 107. En d'autres termes, la courbe Px de la figure 2A ne représente pas l'intégralité des déplacements du dispositif 100 pendant la phase d'intégration, mais représente la partie de ces déplacements qui n'est pas compensée par le dispositif 107, par exemple en raison de leur trop grande amplitude, ou parce qu'il s'agit de déplacements trop rapides pour être compensés . La courbe Px peut être obtenue en comparant les signaux de sortie du dispositif de mesure de mouvement 105 aux signaux de commande fournis au dispositif de compensation 107, en tenant éventuellement compte de la réponse temporelle du circuit de compensation 107, ou à l'aide de capteurs de déplacement du dispositif de compensation lui-même. On notera que par souci de simplification, on a considéré ici que le dispositif d'acquisition d'image 100 ne se déplace qu'en translation, et dans une seule direction du plan image du capteur. Les modes de fonctionnement décrits sont toutefois compatibles avec des mouvements plus complexes du dispositif 100, à condition que ces mouvements puissent être mesurés par le dispositif 105.
Avant une phase d'acquisition d'une image, une période d'intégration T visée du capteur est choisie, par exemple de façon automatique en tenant compte des conditions de luminosité ambiante, ou par paramétrage manuel par l'utilisateur.
A un instant tO de début de la phase d'acquisition d'image, l'intégration du capteur 101 commence. A partir de l'instant tO et jusqu'à la fin de la phase d'acquisition d'image, le dispositif 105 mesure en permanence les mouvements du dispositif 100, et transmet des données de mouvement au circuit 109 qui, en réponse, commande le dispositif de compensation optique 107 de façon que l'image projetée sur le capteur 101 soit la plus indépendante possible des mouvements du dispositif 100. Parallèlement, le circuit 109 détermine les mouvements ou déplacements résiduels équivalents du dispositif 100, c'est-à-dire les mouvements du dispositif 100 non compensés par le dispositif 107 (signal Px) .
Lorsque le circuit 109 détecte que les déplacements résiduels du dispositif 100 sont de nature à entraîner une dégradation significative du rendu de l'image finale, il commande l'interruption de l'intégration du capteur 101, et une image intermédiaire est lue et enregistrée dans la mémoire 103. Ceci marque la fin d'une première sous-période d'intégration τΐ du capteur. Le capteur est alors aussitôt réinitialisé et une deuxième sous-période d'intégration τ2 commence, et ainsi de suite jusqu'à ce que la somme des sous-périodes d'intégration soit égale à la période d'intégration T visée. Dans l'exemple représenté, la période T est divisée en quatre sous-périodes successives τΐ, X2, τ3 et τ4, c'est-à-dire que quatre images intermédiaires sont lues pendant la phase d'acquisition d'image.
Pendant la phase d'acquisition d'image, des données relatives aux déplacements résiduels du dispositif 100 peuvent être enregistrées dans la zone mémoire 113.
Les images intermédiaires sont combinées de façon à reconstruire une image finale plus nette que 1 ' image qui aurait été obtenue si 1 ' intégration du capteur avait été effectuée en une seule fois. A titre d'exemple, pour parvenir à ce résultat, il peut être tenu compte, lors de la combinaison des images intermédiaires, des données de déplacements résiduels du dispositif 100 déterminées par le circuit 109. Les images intermédiaires peuvent par exemple être décalées les unes par rapport aux autres avant d'être additionnées, de façon à compenser au moins en partie ces déplacements résiduels. A titre de variante, d'autres méthodes d'estimation des déplacements résiduels et de recombinaison des images intermédiaires peuvent être utilisées, par exemple une méthode utilisant des techniques de convolution pour faire coïncider des blocs de pixels représentatifs d'une même partie de la scène à acquérir.
La reconstruction de 1 ' image finale peut être intégralement effectuée après la lecture de la dernière image intermédiaire. Toutefois, pour minimiser la quantité de mémoire nécessaire au stockage des images intermédiaires, une reconstruction partielle peut être effectuée après chaque lecture intermédiaire. A titre d'exemple, dans le cas de la figure 2A, une première image intermédiaire est lue à la fin de la sous-période d'intégration τΐ, et est enregistrée dans la mémoire 103. A la fin de la sous-période d'intégration x2, une deuxième image intermédiaire est lue et est directement combinée à la première image intermédiaire, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période x2. A la fin de la sous-période d'intégration τ3, une troisième image intermédiaire est lue et est directement combinée à l'image partiellement reconstruite contenue dans la mémoire 103, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période τ3. A la fin de la sous-période d'intégration τ4, une quatrième image intermédiaire est lue et est directement combinée à l'image déjà partiellement reconstruite contenue dans la mémoire 103, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période τ4. Ceci permet de n'avoir à mémoriser qu'une seule image intermédiaire pendant la phase d'acquisition, indépendamment du nombre de sous-périodes d'intégration en lequel est divisée la période T.
Pour déterminer dans quelle mesure les mouvements résiduels du dispositif 100 sont susceptibles d'affecter le rendu de l'image finale, et décider si l'intégration du capteur doit être interrompue ou poursuivie, le circuit 109 peut calculer, à partir des données de déplacement résiduel, la matrice ou fonction d'étalement de point ("point spread function" en anglais) du dispositif 100, c'est-à-dire la déformation provoquée par les déplacements résiduels du dispositif 100, d'une scène choisie pour, en l'absence de déplacements résiduels, n'éclairer qu'un seul pixel du capteur 101. La fonction d'étalement de point peut aussi être utilisée pour reconstruire l'image finale. En effet, en comparant les états de la fonction d'étalement de points à la fin de deux sous-périodes d'intégration successives, on peut déterminer les déplacements résiduels du dispositif 100 pendant la deuxième sous-période, et en déduire les décalages de pixels à prévoir lors de la combinaison pour compenser ces déplacements .
Dans un mode de réalisation préféré, illustré par la figure 2B, le circuit 109 calcule, en tenant compte des données de déplacement résiduel du dispositif 100, par exemple à partir de la fonction d'étalement de point, un indice de qualité JND de l'image en cours d'acquisition. Cet indice peut être utilisé comme critère par le circuit 109, pour décider si l'intégration du capteur doit interrompue ou si elle peut être poursuivie.
La figure 2B représente l'évolution en fonction du temps, pendant la phase d'acquisition d'image de la figure 2A, de l'indice de qualité JND calculé par le circuit 109. A l'instant tO de début de la phase d'acquisition d'image, l'indice JND est fixé à une valeur de référence, par exemple zéro. Tout au long de la phase d'acquisition d'image, le circuit 109 recalcule l'indice de qualité JND en tenant compte des mouvements résiduels du dispositif 100. Lorsque l'indice JND atteint un seuil bas JNDm-j_n (inférieur au niveau de référence fixé à l'instant tO) , l'intégration du capteur est interrompue, une image intermédiaire est lue, et une nouvelle sous-période d'intégration démarre. Avant le début de la nouvelle période d'intégration, l'indice JND est réinitialisé à sa valeur de départ (zéro dans cet exemple) .
Le seuil JNDm-j_n définit une consigne de niveau de qualité requis dans chaque image intermédiaire. Pour une séquence de mouvements donnée pendant la phase d'intégration, plus le seuil JNDmj_n est élevé, plus le nombre de sous-période d'intégration sera important pour pouvoir satisfaire à cette consigne, et inversement. La qualité de l'image finale obtenue par combinaison des images intermédiaires dépend de la consigne JNDmin.
Dans un mode de réalisation préféré, l'indice de qualité JND est un indice de qualité perceptuelle calculé à partir de la fonction d'étalement de point par la méthode décrite dans l'article "Perceptual Image Quality Assessment Metric That Handles Arbitraty Motion Blur" de Fabien Gavant et al. (Proc. SPIE 8293, Image Quality and System Performance IX, 829314 (January 24, 2012)). Selon cette méthode, pour une matrice d'étalement de point donnée, les coordonnées du centre de gravité de la matrice sont calculées, puis chaque coefficient de la matrice est pondéré par sa distance au centre de gravité, et les coefficients pondérés sont additionnés pour obtenir un écart type E. L'indice de qualité est ensuite calculé selon la formule JND = -a*ln(E+l) + b, où a et b sont des coefficients d'ajustement.
Tout autre indice de qualité tenant compte des mouvements résiduels du dispositif d'acquisition d'image peut toutefois être utilisé.
On notera que dans les modes de réalisation décrits en relation avec les figues 1, 2A et 2B, en cas de forte secousse du dispositif 100 pendant une phase d'acquisition d'image, certaines sous-périodes d'intégration peuvent être très brèves. Les images intermédiaires acquises pendant ces sous-périodes d'intégration peuvent en conséquence être relativement bruitées, ce qui peut nuire à la qualité de 1 ' image finale obtenue par recombinaison des images intermédiaires . Dans un mode de réalisation préféré illustré par la figure 3, pour améliorer encore la qualité de l'image finale, on peut prévoir de ne pas tenir compte, dans la construction de l'image finale, des images intermédiaires dont le rapport signal sur bruit est inférieur à un seuil, et/ou dont la durée d'intégration est inférieure à un seuil .
La figure 3 représente l'acquisition d'une image par un procédé du type décrit en relation avec les figures 1, 2A et 2B. Dans cet exemple, une période d'intégration T' est divisée en neuf sous-périodes d'intégration successives référencées respectivement τΐ ' à χ9'. Comme cela apparaît sur la figure, les sous-périodes T3 ' , T4 ' , τ5 ' et T8 ' sont nettement plus courtes que les autres, ce qui signifie que pendant ces sous-périodes, des mouvements du dispositif 100 ont entraîné une dégradation rapide de la qualité de l'image en cours d'acquisition. Les images intermédiaires correspondantes (hachurées sur la figure 3) sont en conséquence relativement bruitées. Pour éviter de dégrader la qualité de l'image finale, on peut prévoir de ne pas tenir compte des trames X3 ' , T4 ' , τ5 ' et T8 ' dans la reconstruction de l'image finale. Pour obtenir une image finale ayant un niveau de luminosité équivalent au niveau de luminosité de l'image qui aurait été obtenu si aucune trame n'avait été supprimée, on peut prévoir de multiplier l'ensemble des valeurs de pixel de 1 ' image finale par un coefficient ou gain proportionnel au temps d'intégration qui n'a pas été pris en compte dans la construction de l'image finale (τ3 ' +Τ4 ' +τ5 ' +τ8 ' dans cet exemple) . A titre de variante, pour compenser la perte de luminosité provoquée par la suppression des trames bruitées, l'intégration du capteur peut être prolongée jusqu'à ce que la somme des sous-périodes d'intégration effectivement prises en compte dans la construction de 1 ' image finale soit égale ou voisine de la période d'intégration T'.
La figure 4 illustre schématiquement, sous forme de blocs, un exemple d'une variante de réalisation d'un dispositif d'acquisition d'image 400. Dans cet exemple, le dispositif 400 comprend les mêmes éléments que le dispositif 100, à l'exception du dispositif de compensation optique 107. En d'autres termes, le dispositif d'acquisition 400 ne comporte pas de stabilisateur optique, mais uniquement un dispositif 105 de mesure des mouvements du dispositif d'acquisition.
Les modes de fonctionnement décrits en relation avec les figures 1, 2A, 2B et 3 sont compatibles avec le dispositif 400, à la différence près que là où, dans le dispositif 100, il était tenu compte des mouvements résiduels équivalents du dispositif 100, après compensation optique par le dispositif 107, dans le dispositif 400, on tient compte directement des mouvements effectivement mesurés par le dispositif 105.
Un avantage du dispositif 400 est qu'il ne comprend pas de dispositif de compensation optique, ce qui réduit son coût, son poids et son encombrement.
La figure 5 illustre très schématiquement un exemple de réalisation sous forme intégrée d'un dispositif d'acquisition d'image 500 du type décrit en relation avec les figures 1 à 4. Dans cet exemple, le dispositif 500 est réalisé selon une technologie à empilement de puces semiconductrices, ou technologie 3D. Un capteur d'images 501 comportant une matrice de photodiodes 502 est réalisé dans un premier niveau d'empilement. Les photodiodes 502 occupent par exemple toute la surface de l'empilement de façon à capter le plus de lumière possible. Une mémoire 503 adaptée à contenir au moins une image acquise par le capteur 501, est réalisée dans un deuxième niveau d'empilement, sous le capteur 501. Sous la mémoire 503, un circuit de contrôle 509 est réalisé dans un troisième niveau d'empilement. Le circuit 509 est notamment adapté à réaliser des combinaisons d'images intermédiaires lors de phase de reconstruction d'une image finale. Le dispositif 500 comprend en outre un dispositif de mesure de mouvements 505 comprenant par exemple un gyroscope. Le dispositif 505 peut être intégré dans l'un des niveaux d'empilement susmentionné. A titre d'exemple, le dispositif 505 peut être réalisé en technologie MEMS (de l'anglais Micro-Electro-Mechanical Systems). Le dispositif 500 peut en outre comprendre un dispositif de compensation optique (non représenté) , comportant par exemple une lentille liquide ayant une forme commandable électriquement. Une stabilisation optique peut ainsi être réalisée en commandant la lentille en fonction des informations de mouvements mesurées par le dispositif 505, tout en gardant un fort niveau d'intégration.
Un avantage du dispositif 500 de la figure 5 réside dans son faible encombrement et son faible poids.
Un avantage des modes de réalisation décrits en relation avec les figures 1 à 4 est qu'ils permettent d'obtenir une image nette quelles que soient l'amplitude et la vitesse des mouvements du dispositif d'acquisition d'image, la distance focale du système optique, et la durée d'intégration du capteur.
En outre, dans les modes de réalisation décrits, la segmentation de la période d'intégration du capteur n'intervient que lorsque des mouvements de nature à affecter la qualité de l'image en cours d'acquisition sont détectés. En particulier, si aucun mouvement significatif n'est détecté pendant une phase d'acquisition d'image, la période d'intégration du capteur ne sera pas divisée, et l'image finale sera obtenue directement, sans étape de combinaison d'images intermédiaires (c'est-à-dire que dans ce cas, la période d'intégration sera divisée en une unique sous-période d'intégration). Ceci permet de ne pas introduire de bruit dans 1 ' image finale en segmentant inutilement la période d'intégration, lorsque le dispositif d'acquisition ne bouge pas.
Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art.
En particulier, les modes de réalisations décrits ne sont pas limités aux exemples particuliers de dispositifs d'acquisition d'image décrits en relation avec les figures 1, 4 et 5. Plus généralement, le procédé de stabilisation d'image décrit en relation avec les figures 1 à 5 pourra être mis en oeuvre dans tout dispositif d'acquisition d'image comportant au moins un capteur d'images et un dispositif de mesure de mouvements du dispositif d'acquisition.
Par ailleurs, des procédés d'acquisition d'image dits à haute gamme dynamique, peuvent comprendre des acquisitions successives de plusieurs images d'une même scène avec des temps d'intégration différents, et la reconstruction, à partir de ces images, d'une image finale de niveau de luminosité homogène, ayant une grande plage dynamique. On peut par exemple choisir, dans chaque zone de l'image, la ou les trames ayant le niveau de luminosité le mieux adapté. Dans les zones les plus lumineuses de la scène, des trames ayant un temps d'exposition court peuvent être privilégiées, et dans les zones les plus sombres de la scène, des trames ayant un temps d'exposition long peuvent être privilégiées. De tels procédés permettent notamment de limiter les phénomènes de surexposition ou sous-exposition lorsque la scène à acquérir est fortement contrastée. On pourra prévoir de combiner le procédé de stabilisation décrit en relation avec les figures 1 à 5 avec un procédé d'acquisition d'image à haute dynamique. A titre d'exemple, on peut utiliser la segmentation du temps d'intégration générée par le procédé de stabilisation pour reconstruire une image finale à haute dynamique, et, si nécessaire, ajouter de la segmentation spécifiquement dédiée à l'obtention d'une image à haute dynamique .

Claims

REVENDICATIONS
1. Procédé dans lequel une période d'intégration (T ; T') d'un capteur d'images (101 ; 501) est divisée en plusieurs sous-périodes d'intégration (xi ; Ti') dont les durées sont choisies en tenant compte d'au moins un signal de sortie d'un capteur de mouvements (105 ; 505) .
2. Procédé selon la revendication 1, dans lequel à la fin de chaque sous-période d'intégration (xi ; Ti ' ) , une image intermédiaire acquise par le capteur d'images (101 ; 501) est lue, et le capteur d'images (101) est réinitialisé.
3. Procédé selon la revendication 2, dans lequel lesdites images intermédiaires sont combinées pour former une image finale .
4. Procédé selon la revendication 3, dans lequel on tient compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505) pour effectuer la combinaison desdites images intermédiaires.
5. Procédé selon la revendication 3 ou 4, dans lequel ladite combinaison ne tient pas compte des images intermédiaires ayant un rapport signal sur bruit inférieur à un seuil.
6. Procédé selon l'une quelconque des revendications 3 à 5, dans lequel ladite combinaison ne tient pas compte des images intermédiaires acquises pendant une sous-période d'intégration (xi ; Ti ' ) inférieure à un seuil.
7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel un indice (JND) de qualité d'image est calculé en tenant compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505) .
8. Procédé selon la revendication 7, dans lequel on tient compte dudit indice (JND) pour diviser ou non la période d'intégration (T ; ') en plusieurs sous-périodes (Ti, Ti ' ) .
9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel le capteur d'images (101 ; 501) et le capteur de mouvements (105 ; 505) font partie d'un même dispositif d'acquisition d'images (100 ; 400 ; 500).
10. Procédé selon la revendication 9, dans lequel le capteur de mouvements (105 ; 505) est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images (100 ; 400 ; 500).
11. Procédé selon l'une quelconque des revendications 3 à 10 dans leur rattachement à la revendication 3, dans lequel ladite combinaison tient compte du niveau de luminosité dans les images intermédiaires pour reconstruire une image finale à large gamme dynamique.
12. Dispositif d'acquisition d'images (100 ; 400 ; 500), comportant un capteur d'images (101 ; 501), un capteur de mouvements (105 ; 505) , et un circuit (109 ; 509) adapté à diviser une période d'intégration (T, T') du capteur d'images en plusieurs sous-périodes d'intégration (xi ; Ti ' ) dont les durées sont choisies en tenant compte d'au moins un signal de sortie du capteur de mouvements (105 ; 505) .
13. Dispositif (100 ; 400 ; 500) selon la revendication 12, dans lequel le capteur de mouvements (105 ; 505) est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images.
14. Dispositif (100) selon la revendication 12 ou 13, comportant en outre un dispositif (107) de compensation optique, et un circuit (109) adapté à commander le dispositif de compensation optique (107) en tenant compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505) .
15. Dispositif (400) selon la revendication 12 ou 13, ne comportant pas de dispositif de compensation optique.
PCT/FR2013/053114 2012-12-17 2013-12-17 Procede et dispositif d'acquisition d'image WO2014096670A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13818323.1A EP2932706A1 (fr) 2012-12-17 2013-12-17 Procede et dispositif d'acquisition d'image
US14/652,444 US9860449B2 (en) 2012-12-17 2013-12-17 Image acquisition method and device to divide integration time for image stabalization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1262133A FR2999735B1 (fr) 2012-12-17 2012-12-17 Procede et dispositif d'acquisition d'image
FR1262133 2012-12-17

Publications (1)

Publication Number Publication Date
WO2014096670A1 true WO2014096670A1 (fr) 2014-06-26

Family

ID=48468405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2013/053114 WO2014096670A1 (fr) 2012-12-17 2013-12-17 Procede et dispositif d'acquisition d'image

Country Status (4)

Country Link
US (1) US9860449B2 (fr)
EP (1) EP2932706A1 (fr)
FR (1) FR2999735B1 (fr)
WO (1) WO2014096670A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211677A1 (de) * 2017-07-07 2019-01-10 Siemens Healthcare Gmbh Bewegungsabhängige Rekonstruktion von Magnetresonanzabbildungen
JP7258465B2 (ja) * 2018-01-12 2023-04-17 キヤノン株式会社 撮像装置およびその制御方法
US11704777B2 (en) * 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060216008A1 (en) * 2005-03-25 2006-09-28 Casio Computer Co., Ltd. Imaging apparatus, solid image sensor, and method for driving the solid image sensor
US20100295954A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120287309A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP4511766B2 (ja) 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4789767B2 (ja) * 2006-09-28 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法
JP4488041B2 (ja) * 2007-08-02 2010-06-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5243477B2 (ja) * 2010-04-13 2013-07-24 パナソニック株式会社 ブラー補正装置およびブラー補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060216008A1 (en) * 2005-03-25 2006-09-28 Casio Computer Co., Ltd. Imaging apparatus, solid image sensor, and method for driving the solid image sensor
US20100295954A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120287309A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FABIEN GAVANT ET AL.: "Perceptual Image Quality Assessment Metric That Handles Arbitraty Motion Blur", PROC. SPIE 8293, IMAGE QUALITY AND SYSTEM PERFORMANCE IX, 24 January 2012 (2012-01-24)
See also references of EP2932706A1

Also Published As

Publication number Publication date
US20150334304A1 (en) 2015-11-19
EP2932706A1 (fr) 2015-10-21
US9860449B2 (en) 2018-01-02
FR2999735B1 (fr) 2018-08-31
FR2999735A1 (fr) 2014-06-20

Similar Documents

Publication Publication Date Title
JP5198192B2 (ja) 映像復元装置および方法
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
KR101847392B1 (ko) 화상처리장치 및 그 제어 방법
EP2780763B1 (fr) Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement
FR3044141A1 (fr) Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
FR3027143A1 (fr) Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble"
FR3062009B1 (fr) Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image.
WO2015132255A1 (fr) Debruitage video optimise pour systeme multicapteur heterogene
EP2932706A1 (fr) Procede et dispositif d'acquisition d'image
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
FR3030791A1 (fr)
FR3057095A1 (fr) Procede de construction d'une carte de profondeur d'une scene et/ou d'une image entierement focalisee
EP3170205B1 (fr) Dispositif de détection de mouvement
JP2015109681A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP2007214662A (ja) 固体撮像装置
FR3066271B1 (fr) Capteur de mouvement et capteur d'images
EP4066483B1 (fr) Saisie d'images utilisant des éléments sensibles au rayonnement présentant une effet de mémoire
JP5993124B2 (ja) 撮像装置
CA2955368C (fr) Procede et dispositif de traitement de mouvements de hautes frequences dans un systeme optronique
BE1029415A1 (fr) Un système et un procédé de mesure de réactions d’un sujet, un programme d’ordinateur et un support lisible par ordinateur
EP4399484A1 (fr) Dispositif de mesure des erreurs angulaires d'inclinaison d'un axe réel de rotation d'un élément rotatif et procédé
FR3123734A1 (fr) Procédé de traitement de données de pixels, dispositif et programme correspondant
FR3138529A1 (fr) Acquisition de distances d'un capteur à une scène
WO2014072348A1 (fr) Alignement automatique des cameras dans un systeme 3d
FR3030086A1 (fr) Controle de l'affichage d'une image representative d'un objet capture par un dispositif d'acquisition d'images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13818323

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013818323

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14652444

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE