WO2014207127A1 - Procede d'estimation de l'image totale d'une scene - Google Patents

Procede d'estimation de l'image totale d'une scene Download PDF

Info

Publication number
WO2014207127A1
WO2014207127A1 PCT/EP2014/063568 EP2014063568W WO2014207127A1 WO 2014207127 A1 WO2014207127 A1 WO 2014207127A1 EP 2014063568 W EP2014063568 W EP 2014063568W WO 2014207127 A1 WO2014207127 A1 WO 2014207127A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scene
partial
estimating
total image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2014/063568
Other languages
English (en)
Inventor
Laurent Mugnier
Leonardo Blanco
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Office National dEtudes et de Recherches Aerospatiales ONERA
Centre National de la Recherche Scientifique CNRS
Original Assignee
Office National dEtudes et de Recherches Aerospatiales ONERA
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Office National dEtudes et de Recherches Aerospatiales ONERA, Centre National de la Recherche Scientifique CNRS filed Critical Office National dEtudes et de Recherches Aerospatiales ONERA
Publication of WO2014207127A1 publication Critical patent/WO2014207127A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the present application concerns the technical field of digital image processing and more precisely that of the estimation of a total image (wide field) and true (correction of aberrations and noises) of a scene from partial images. (narrow field) and disturbed (aberrations and noises) produced (acquired or simulated) from this scene.
  • the estimated image of the true scene reconstructed from the partial images must have a resolution and a noise level as good as possible. , and at least as good as those of the partial images, especially when several partial images have a part corresponding to the same area of the scene to be imaged.
  • the geometric transformations of the partial images have several possible main causes, in particular the motion and / or the deformation of the scene in the case of a dynamic scene, and / or the movement and / or deformation of the image production device. and / or the movement and / or deformation of the wave propagation medium.
  • the spatial aberrations or disturbances of the intensity (brightness and / or contrast) of the partial images have several main causes: a) non-uniform illumination of the partial scene;
  • the magnitude quantifying the intensity disturbances is hereinafter referred to as "overall instrumental transmission” (TIG) of the partial image producing device.
  • TIG can be likened to a filter superimposed on each partial image of a retina, darkening the contours of each said partial image.
  • This filter is typically "bell” shaped, the brightness being higher in the center of the partial image than at its edges.
  • each partial image undergoes a correction intensity, and then, in a second step, the partial image corrected intensity undergo geometric correction and then are assembled to to form the estimated total image of the scene.
  • the darkening of the edges of the partial images makes it difficult to identify their common parts, and because of this, their assembly becomes less precise.
  • the main disadvantage of this first technique is that the estimated total image of the scene is then of low resolution.
  • a second possible disadvantage according to the details of implementation of this technique is that the noise is amplified during the correction of the TIG.
  • the correction of the intensity of each partial image amplifies the noise during the amplification of the brightness of the dark areas.
  • the main disadvantage is that the estimated total image of the scene is strongly noisy.
  • a second possible disadvantage according to the details of implementation of this technique is that the amplification of the noise makes the assembly less accurate which can degrade the resolution of the estimated image of the scene.
  • None of the current techniques for estimating the total image of a scene from partial images allows a satisfactory quality estimate when the TIG of the partial image production device is not spatially uniform, which is the case when the partial images are disturbed by a spatially non-uniform illumination, and / or by attenuations of the light beam coming from the scene, and / or by defects in the design, construction or assembly of the partial image production device.
  • the invention presented below proposes to solve these drawbacks (estimated image of the low-resolution scene and / or strongly noisy) and in particular to improve the resolution of the estimated total image of the scene and / or to reduce the noise. of the estimated total image of the scene, which also makes it possible to increase the field of view of the total scene estimated for given levels of resolution and noise.
  • the present invention solves the drawbacks mentioned above, by proposing a method and a device for estimating a total image (ie large field) and true (correction of aberrations and noises) of a scene from images. partial (ie in narrow field) and disturbed (aberrations and noises) of this scene, produced (acquired or simulated) by at least a partial image production device.
  • the present invention provides in particular a method for estimating the true total image of a scene from partial and disturbed images of this scene produced from at least one partial image production device, said method comprising:
  • this estimation step comprising an estimation of said geometrical transformations, being performed from said partial images and of their respective direct model, at least one partial image produced used in this estimation step having at least one of its parts imaging a part of the common scene with at least one of the parts of another produced partial image.
  • ⁇ the direct model takes into account, for each pixel of the partial image modeled, an estimate of a disturbance intensity called global instrumental transmission (TIG) of the partial image generating device used to generate the partial image, the values of the global instrumental transmission TIG being different for at least two different pixels of the same partial image produced.
  • TIG global instrumental transmission
  • partial images can be produced under identical or different conditions (for example at different times, with different lighting conditions, with different framing at a different angle of view, with different magnifications). , on the conditions that:
  • TIG or TIG map for each of these devices is estimated
  • each partial image produced used in the estimating step b) has at least one of its parts imaging a part of the common scene with at least one of the parts of another partial image produced used in said step.
  • the term defining the geometrical transformations can estimate all the types of geometrical transformation undergone by the total image of the scene (in the description which follows it is sometimes omitted the term "and true" by designating the total image, this in a pedagogical perspective), to optimally superimpose each modeled partial image.
  • a geometrical transformation can be a translation in a horizontal and / or vertical direction, and / or a homothety (variation of the overall size of the image, which is the case in case of variation of the magnification of the production device partial image) and / or rotation and / or deformation.
  • the term defining the geometric transformations is independent of the TIG.
  • the partial images produced and modeled, as well as the total image of the observed scene can be multi-dimensional, in particular to more than two dimensions (multi-spectral 3D images for example).
  • a TIG map is implemented that can be multi-dimensional, in particular more than two-dimensional, since this TIG depends on the pixels, unlike the state of the art in which the TIG has a same scalar value estimated for all the pixels of a partial image.
  • This characteristic of having a TIG function of the pixels of a partial image has as a technical effect a correction of the intensity disturbances for each pixel and therefore a differentiated amplification of the noise of these pixels.
  • the TIG of each partial image is first uniformized by amplifying the brightness of the partial images having dark areas, which also amplifies the image.
  • the noise in these zones typically the uniformization of a TIG of 1/10 leads to a noise amplified by a factor of 10
  • This advantage is reinforced in a particular embodiment where the assembly is weighted pixel by pixel, so as to weight more weakly pixels having a lower TIG.
  • the technical effect of taking into account the TIG in the direct model and the fact that it is the TIG of each pixel that is considered and not a TIG (scalar value) of the whole partial image, is a better one. estimation of the geometric transformations (position, orientation, size, deformation) and thus a better assembly, and consequently the result is a better resolution of the estimated image of the scene.
  • this step b) may include a deconvolution of the partial images.
  • the technical effect of this deconvolution is to further improve the effective resolution of the estimated total image while limiting the noise therein.
  • the term defining the geometric transformations and the parameters estimating the values of the overall instrumental transmission can be estimated jointly.
  • the operation of estimating the true total image of the scene from the estimated geometrical transformations and the estimated TIG is then made using jointly all the partial images produced.
  • the best correction of the intensity by the taking into account of the TIG, pixel by pixel, in the direct model it is possible to assemble the partial images with an accuracy that can be less than or even much less than the size of a pixel composing the partial images.
  • the precision of assembly or mosaicing of the partial images, to form the estimated total image of the scene can be of the order of 1/100 of the size of the pixels of the partial images produced.
  • the field of view of the true total image estimated from a set of partial images can therefore be increased, compared to the methods of the state of the art, by the method according to the invention, since the zones at the edge of the true total image are less dark and less noisy than the corresponding zones of a total image assembled according to a method of the state of the art.
  • Partial operations such as, for example, spatial or temporal frequency filtering or dead pixel processing can also be performed on the raw partial images before implementing the method as defined above.
  • step b) of estimating the total image of the scene post-treatments of the estimated total image of the scene such as for example:
  • An estimate of the TIG from at least two partial images can also be implemented. For example, one can calculate the median (pixel by pixel) of the partial images by the same device of production.
  • geometric transformations associated with each partial image can be estimated from at least two partial images produced and the estimated TIG.
  • the geometric transformations of the partial images and the TIG are estimated from all the partial images.
  • the estimated total image of the scene is better corrected for geometric transformations, intensity disturbances and noise.
  • step b) of estimating the process is carried out using an optimization criterion.
  • This optimization criterion may be a criterion for minimizing the sum of the weighted distances between the partial images used and the corresponding modeled partial images, said distances being calculated pixel by pixel and said weighting being explicitly a function of the pixel.
  • the optimization criterion can also be a criterion of the "maximum likelihood” or “maximum a posteriori” (MAP) type (also known as under the names of "maximum likelihood regularized” or “maximum likelihood” (MV) "penalized”), or generalized maximum likelihood type (MVG).
  • MAP maximum a posteriori
  • MVG generalized maximum likelihood type
  • the optimization criterion may comprise a regularization term associated with each pixel of the estimated true total image of the scene, so that, on the one hand, it prevents, during step b), uncontrolled amplification. noise in an area of the estimated true total image of the scene that is absent from the produced partial images used or that is insufficiently illuminated and secondly, to have a default intensities map prescribed by the user for any area of the scene image that is absent from the partial images produced used or that is insufficiently illuminated.
  • the assembly of the partial images is weighted pixel by pixel, so as to weight more weakly the pixels having a lower TIG.
  • the regularization term is, for each pixel of the estimated true total image of the scene, a weighted distance between the intensity of the estimated true total image of the scene and a value, referred to as a reference value, of intensity. considered probable for this pixel, said weighting being explicitly a function of the pixel.
  • the reference value for each pixel can for example be determined from a model according to which the intensity of a non-observed area of the scene is assumed to be a Gaussian statistic, the pixels of said zone being able to be dependent on each other (this which takes into account the possible spatial correlations between the pixels) or independent between them.
  • the reference value in each pixel may be the average of this Gaussian.
  • the optimization criterion comprises a regularization term associated with the geometrical transformations experienced by the true total image of the scene in order to superimpose itself optimally on each modeled partial image.
  • a method according to the invention comprises a preliminary step of estimating the value of the TIG from the partial images and using this estimate during the step of constructing the direct model.
  • the estimation of the TIG can for example be carried out by calculating, for each pixel composing the partial images, an average or a median on all of these partial images.
  • This estimation of the TIG by calculating the mean or the median can be completed or replaced by adjusting a linear combination of primitives (for example polynomial surfaces) to the set of partial images.
  • the direct model comprises, for each pixel of a modeled partial image, a term or uncertainty parameters (for example noise variance) representing measurement uncertainties (for example bias or noise) or uncertainty. modeling.
  • a term or uncertainty parameters for example noise variance
  • measurement uncertainties for example bias or noise
  • the values of the term or uncertainty parameters may be different for different pixels of the same modeled partial image.
  • the present invention also relates to a method for estimating a true total image of a scene from N partial (with N> 1) and disturbed images of this scene produced from at least one image production device. (s) partial (s) at least one partial image produced ij having at least one of its parts imaging part of the common scene with at least one of the parts of another produced partial image, said method comprising steps of:
  • each direct model modeling a partial image Ij given among partial images, the construction comprising for each modeled pixel (k; I) of a direct model, an operation between a term T (r, specific to said modeled partial image, defining parameters ⁇ ⁇ , ⁇ ⁇ , .-, ⁇ ⁇ of geometrical transformations to be applied to a total image r to be estimated so that it is superimposed on said given partial image Ij and another term c (k; l) own modeled pixel audit and corresponding to an estimate of an overall instrumental transmission value of the partial image producing device used, different global instrumental transmission values being provided between modeled pixels different from said given partial image, the true total image of the scene being estimated from the N partial images ij and their respective N direct models Ij.
  • Said operation can be a product.
  • the estimation of the true total image of the scene can be performed using an optimization criterion J by minimizing the sum of the weighted distances between the partial images used and the corresponding partial modeled images.
  • the present application also relates to a true total image estimation device of a scene allowing the implementation of one of the methods according to the invention above.
  • This true total image estimation device of a scene comprises at least one partial image production device whose TIG is estimable, each partial image comprising several pixels, and a calculation means capable of implementing the method. according to the invention.
  • the true total image estimation device may also include data storage means and partial image, in the case for example where all the partial images would not be produced at the same time.
  • said means for producing a partial image is a digital sensor, for example of the CCD or CMOS type, comprising several pixels.
  • said device comprises a plurality of digital sensors.
  • said device is an imaging camera, such as a retinal imaging camera.
  • the partial image production device may be of the full field corrected or non-corrected type by adaptive optics (such as the device RTX1 from Imagine Eyes). BRIEF DESCRIPTION OF THE DRAWINGS
  • FIG. 1 represents an example of a partial image production device according to the invention making it possible to estimate the image of a retina
  • Figures 2A to 2F show several partial images of a retina produced by a partial image producing device
  • FIGS. 3A to 3F represent the partial images of FIG. 2 processed according to a method of the invention in which the images have been compensated for geometric transformations estimated without compensating the TIG, for educational purposes;
  • FIG. 4 represents an example of estimation of the value of the global instrumental transmission (TIG) from several partial images of a retina
  • FIG. 5 represents a true total image of the retina estimated by a method according to the invention.
  • FIG. 6A shows a partial image produced of a retina whose nonuniformity of the TIG has been corrected according to the state of the art (without using the invention), that is to say individually, by not using than the partial image in question.
  • the noise amplification at the edges is clearly visible;
  • FIG. 6B represents an estimated total image of a retina obtained by an assembly according to the state of the art, partial images produced of a retina whose non-uniformity of the TIG has been corrected according to the state of the art. , that is, individually.
  • the noise, amplified in each partial image, remains amplified in this assembly;
  • FIG. 7 represents the steps of an algorithm making it possible to implement one of the methods according to the invention. DETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
  • a first step of the method consists in acquiring at least two partial images j and j + 1 of the same scene.
  • the observed scene is a human retina 2 (FIG. 1).
  • a partial image ij of the retina is obtained from a partial image producing device 16 comprising a digital sensor 10 comprising at least two pixels ((k, l) and (k ', 1')).
  • Each pixel 12 allows the conversion of light waves from a small portion 4A, 4B of the retina into an electrical signal (l (k, l), l (k'J ') ( Figure 1).
  • the partial image producing device therefore converts a partial image of the retina into a pixelated image, the value of each pixel lj (k, l) of the partial image being proportional to the intensity of the light waves received by the image.
  • pixel (k, l) The intensity lj (k, l) of the pixel (k, l) is raw, and is not corrected.
  • At least two or more partial images (j, j + 1) of the retina are digitized by the digital sensor of the partial image producing device 10 in the form of pixelated partial images whose intensities are (lj (k, l), lj (k ', l'); l j + i (k, l), l j + i (k ', l').
  • a direct model is constructed so as to express the value of a pixel lj (k, l) of a modeled partial image (j), as a function of the true image, to be estimated from the retina :
  • the direct model is constructed from the following terms:
  • the term r represents the desired true image of the retina, more specifically, the term r represents a global or whole image of the retina, not geometrically deformed and spatially uniform illumination;
  • the term Tj (r; p ⁇ p - P ⁇ ) represents an estimation of the geometrical transformations undergone by the true total image r to be superimposed or correspond to the modeled partial image Ij, with ⁇ ⁇ , ⁇ ⁇ ,. -, ⁇ ⁇ parameters of geometric transformations;
  • rij (k, I) represents the random variations, that is to say the measurement noise on the pixel (k, l) and / or the uncertainty of modeling the partial image
  • the term 0 represents a pixel-to-pixel operation which may for example be a sum in the case of an additive noise, and / or a product in the case of a multiplicative noise, and / or another non-explicit operation (in the case of a Poissonian noise for example).
  • the factor "c (k, l) x" represents the global instrumental transmission (TIG), estimated for each pixel (k, l), as a function of the conditions of production of the partial image (j).
  • the value of this factor c (k, l) is different for at least two pixels belonging to the same device for producing a partial image 16.
  • "x" represents for example a multiplication between the TIG and Tj (r; ⁇ ⁇ , ⁇ ⁇ , .-, ⁇ ⁇ ) but could be a more complex operation depending on these two quantities, in the case of geometrical deformation due to the instrument or nonlinearity due to to the sensor for example.
  • FIGS. 2A to 2F show a series of partial images produced from a retina, for which the term Tj (r; ⁇ ⁇ , ⁇ ⁇ , .-, ⁇ ⁇ ) corresponds to a translation of the image of the retina.
  • the value of the exponent P is in this case equal to 2 so that the geometric transformations experienced by the term r to correspond to the image (j) can be expressed as follows: Tj (r; p ⁇ p ⁇ ).
  • T (r; p 1 ], p 2 j) is equal to the product of convolution between the term r and a Dirac at the point (p 1 ], p 2 j), which is equivalent to an offset of the true image r of a quantity (p 1 ], P 2 j).
  • a third step of the method the expression of the term r and the parameters p j ' j (for all the partial images lj (k, l) by the partial image production device 16, together with j ⁇ ⁇ 1, ..., N ⁇ , where N is the number of partial images and j ' ⁇ ⁇ 1, ..., P ⁇ , where P is the number of parameters of the geometric transformation.
  • a priori model can be used, for example the following: in the absence of partial images produced of certain zones of the retina, the estimated total image is assumed to be a Gaussian statistic in these areas, for example independent between pixels, of average ro (for example constant, of value equal to 0, or the average of the values of the estimated pixels), and of variance l / w r (k, l) at each point.
  • the term w r (k, l) represents a weight associated with the pixel (k, l). This weight is associated with the weighting of the regularization term and its function is to settle the compromise between fidelity to and regularity of the solution.
  • the optimization criterion also includes a regularization term R ( ⁇ p j ' j ⁇ , associated with the geometrical transformations that the true total image of the scene undergoes to superimpose itself optimally on each modeled partial image.
  • R ⁇ p j ' j ⁇
  • this regularization term can be used to take into account information a priori on these geometric transformations.
  • the third step is therefore to minimize the following criterion:
  • JMPÎ ⁇ J) x [r ⁇ r;j> j, p ?,. . . , pf)] (frii)
  • the criterion (2) is a criterion of maximum likelihood type (MV) with respect to the offsets to be estimated between the images partial and maximum posterior (MAP) vis-à-vis the estimated image of the scene.
  • the criterion (2) is of the joint MAP type on r and on p. Let us call r * and ⁇ p * j ' j ⁇ the solution of this minimization, that is to say, the image and the parameters which minimize criterion (2).
  • FIGS. 3A to 3F show the images acquired after compensation on each of the transformation T for the parameters ⁇ p * j ' j ⁇ estimated by the minimization of the criterion (2), without compensation of the TIG, for a purpose illust ratif: on visually observe that one has the same underlying image, a different part of which is illuminated in each image.
  • the image r * obtained at the end of the minimization of the criterion (2) is the desired estimate of the image of the retina observed by the partial image production device 16 (FIG. 4). It can be seen in FIG.
  • the invention makes it possible to estimate an image of the retina whose field is significantly enlarged with respect to the field of each partial image produced, and that the noise at the edge of the estimated image of the retina r * is lower than that obtained by a method according to the state of the art. It can also be seen that certain details visible only on one or more partial images of the retina are also visible on the estimated image of the retina r *.
  • the term c (k, l) can be estimated in a preliminary step. If the partial images produced by the partial image production device are quite numerous (typically more than a dozen) and different from each other, an average or a median of the partial images can be realized (FIG. 5).
  • Another solution, alternative or complementary, may be to parameterize the shape of the TIG estimated as a linear combination of primitives (for example in the form of polynomials) and to find which linear combination fits best, in the least squares sense weighted for example, to the set of partial images acquired.
  • the estimation of the weights can be carried out before the step of minimizing criterion (2).
  • the total variance at each pixel can be estimated as the sum of 2 components, one being the variance of the photonic noise, the other the variance of the sensor noise.
  • the first can be estimated directly from each produced partial image, the second can be calibrated in advance (see LM Mugnier, T. Fusco and JM Conan, "Mistral: a Myopia Edge-Preserving Image Restoration Method, with Application to Astronomical Adaptive-Optics-Corrected Long-Exposure Images ", J. Opt.Soc.Am.A, 21 (10), pp. 1841-1854 (October 2004)).
  • One can for example define the weight Wj (k, l) 0 for an unavailable measurement of the pixel lj (k, l) (case of a pixel out of service for example).
  • w r ⁇ . ⁇ Wj (k, l))> where ⁇ represents a spatial mean over the pixels (k, l) and time on the images j. We can then take the order of a few percent (for example from 0.01 to 0.1).
  • FIG. 6A. and 6B For comparison, the simple prior art approach of offsetting the inhomogeneity of the TIG on each produced partial image, and then assembling the partial images to form a total image of the retina is illustrated in FIG. 6A. and 6B.
  • the amplification of the noise in the partial images is apparent (FIG. 6A), and results in an estimated total image of the very noisy scene (FIG. 6B).
  • the digital partial image producing means of the production device 16 comprises a CCD type sensor 10.
  • the estimating device also comprises a means 14 for storing data (for example a hard disk of a microcomputer) and computing (for example a microcomputer), in particular enabling a software program to carry out the steps of a method described. above ( Figure 7).

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Procédé d'estimation d'une image totale vraie d'une scène (2), à partir d'images partielles de cette scène (4A, 4B) produites par un dispositif de production d'image partielle (16), ledit procédé comprenant une étape d'estimation d'une image totale vraie de la scène par une méthode d'inversion d'un modèle direct, l'étape d'estimation étant effectuée à partir d'images partielles de la scène produites par le dispositif de production d'image partielle et de leur modélisation par un modèle direct, le procédé d'estimation étant caractérisé en ce que, le modèle direct comporte un terme estimant la valeur de la transmission instrumentale globale du dispositif de production d'image partielle pour chaque pixel de l'image partielle modélisée, la valeur de la transmission instrumentale globale étant différente pour au moins deux pixels différents d'une même image partielle modélisée.

Description

PROCEDE D'ESTIMATION DE L'IMAGE TOTALE D'UNE SCENE
DESCRIPTION
DOMAINE TECHNIQUE ET ART ANTÉRIEUR
La présente demande concerne le domaine technique du traitement d'images numériques et plus précisément celui de l'estimation d'une image totale (large champ) et vraie (correction des aberrations et des bruits) d'une scène à partir d'images partielles (champ étroit) et perturbées (aberrations et bruits) produites (acquises ou simulées) de cette scène.
Dans certains domaines d'application, comme par exemple l'astronomie, la sécurité, la défense ou la médecine, l'image estimée de la scène vraie reconstituée à partir des images partielles doit avoir une résolution et un niveau de bruit aussi bons que possible, et au moins aussi bons que ceux des images partielles, notamment lorsque plusieurs images partielles ont une partie correspondant à une même zone de la scène à imager.
L'atteinte de cet objectif est bien entendu plus difficile en présence de perturbations des images partielles. Ces perturbations, qui peuvent être de différentes natures :
d'une part, des transformations géométriques des images partielles ; d'une deuxième part, des perturbations spatiales de l'intensité (luminosité et/ou contraste) des images partielles ;
et d'une troisième part, des bruits.
Les transformations géométriques des images partielles ont plusieurs causes principales possibles, notam ment le mouvement et/ou la déformation de la scène dans le cas d'une scène dynamique, et/ou le mouvement et/ou la déformation du dispositif de production d'images partielles et/ou le mouvement et/ou la déformation du milieu de propagation des ondes.
Les aberrations ou perturbations spatiales de l'intensité (luminosité et/ou contraste) des images partielles ont plusieurs causes principales : a) éclairement non uniforme de la scène partielle ;
b) atténuation (par exemple par absorption ou diffusion) de l'intensité des faisceaux lumineux provenant de la scène, par exemple du fait de la présence de poussières entre la scène partielle et le capteur du dispositif de production d'image partielle ;
c) défauts de conception et/ou de réalisation et/ou de montage du dispositif de production d'image partielle conduisant à une perturbation spatiale de l'intensité des images partielles (ce qui est un problème différent que celui des transformations géométriques des images partielles).
Les bruits ont plusieurs causes principales :
a) bruit de mesure ;
b) bruit de quantification, notamment du capteur numérique.
La grandeur quantifiant les perturbations de l'intensité est désignée ci- après par « transmission instrumentale globale » (TIG) du dispositif de production d'image partielle. Par exemple, dans le domaine médical, plus particulièrement en imagerie rétinienne, la TIG peut être assimilée à un filtre se superposant à chaque image partielle d'une rétine, assombrissant les contours de chaque dite image partielle. Ce filtre est typiquement en forme de « cloche », la luminosité étant plus élevée au centre de l'image partielle qu'au niveau de ses bords.
Il est en effet plus difficile d'estimer une image totale par assemblage d'images partielles si chaque image partielle a subi des perturbations différentes et inconnues.
Dans l'état de la technique, il y a deux types de procédés se proposant de corriger tant les perturbations spatiales de l'intensité que les transformations géométriques des images partielles :
■ Selon une première technique connue de l'homme du métier, décrite par exemple dans WO 01/28405A2, dans un premier temps les images partielles subissent une correction géométrique et l'image totale de la scène est estimée par assemblage de ces images partielles corrigées géométriquement, puis, dans un second temps, l'image totale estimée subit une correction de son intensité par amplification de la luminosité dans les zones sombres de cette image totale.
■ Selon une seconde technique connue de l'homme du métier, dans un premier temps, chaque image partielle subit une correction de son intensité, puis, dans un second temps, les images partielles d'intensité corrigée subissent une correction géométrique puis sont assemblées pour former l'image totale estimée de la scène.
Lorsque l'ampleur de ces perturbations augmente, par exemple lorsque les bords des images partielles s'assombrissent, la qualité (résolution et niveau de bruit) de l'image totale estimée baisse.
En effet, concernant la première technique (assemblage puis correction de l'intensité), l'assombrissement des bords des images partielles rend délicate l'identification de leurs parties communes, et de ce fait, leur assemblage devient moins précis. Le principal inconvénient de cette première technique est que l'image totale estimée de la scène est alors de faible résolution. Un deuxième inconvénient possible selon les détails de mise en oeuvre de cette technique, est que le bruit est amplifié lors de la correction de la TIG.
Concernant la seconde technique (correction de l'intensité puis assemblage), la correction de l'intensité de chaque image partielle amplifie le bruit lors de l'amplification de la luminosité des zones sombres. Le principal inconvénient est que l'image totale estimée de la scène est alors fortement bruitée. Un deuxième inconvénient possible selon les détails de mise en oeuvre de cette technique est que l'amplification du bruit rend l'assemblage moins précis ce qui peut dégrader la résolution de l'image estimée de la scène.
Aucune des techniques actuelles d'estimation de l'image totale d'une scène à partir d'images partielles (acquises ou simulées), ne permet une estimation de qualité satisfaisante lorsque la TIG du dispositif de production d'image partielle n'est pas spatialement uniforme, ce qui est le cas lorsque les images partielles sont perturbées par un éclairement spatialement non uniforme, et/ou par des atténuations du faisceau lumineux provenant de la scène, et/ou par des défauts de conception, de réalisation ou de montage du dispositif de production d'image partielle. L'invention présentée ci-après se propose de résoudre ces inconvénients (image estimée de la scène de faible résolution et/ou fortement bruitée) et notamment à améliorer la résolution de l'image totale estimée de la scène et/ou à diminuer le bruit de l'image totale estimée de la scène, ce qui permet également d'augmenter le champ de vue de la scène totale estimée pour des niveaux de résolution et de bruit donnés.
EXPOSÉ DE L'INVENTION
La présente invention résout les inconvénients cités ci-avant, en proposant un procédé et un dispositif d'estimation d'une image totale (i.e. large champ) et vraie (correction des aberrations et des bruits) d'une scène à partir d'images partielles (i.e. en champ étroit) et perturbées (aberrations et bruits) de cette scène, produites (acquises ou simulées) par au moins un dispositif de production d'image partielle.
La présente invention prévoit en particulier un procédé d'estimation de l'image totale vraie d'une scène à partir d'images partielles et perturbées de cette scène produites à partir d'au moins un dispositif de production d'image partielle, ledit procédé comprenant :
a) une étape de construction d'au moins un modèle direct modélisant au moins une desdites image(s) partielle(s), ledit modèle direct comprenant un terme, propre à chaque image partielle modélisée, définissant des transformations géométriques à appliquer à l'image totale à estimer pour qu'elle se superpose, de manière optimale, à l'image partielle produite ;
b) une étape d'estimation de l'image totale vraie de la scène, en particulier par une méthode d'inversion de modèle direct, cette étape d'estimation, comprenant une estimation desdites transformations géométriques, étant effectuée à partir desdites images partielles et de leur modèle direct respectif, au moins une image partielle produite utilisée dans cette étape d'estimation ayant au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite.
Dans ce procédé d'estimation: ■ le modèle direct prend en compte, pour chaque pixel de l'image partielle modélisée, une estimation d'une perturbation d'intensité appelée transmission instrumentale globale (TIG) du dispositif de production d'image partielle utilisé pour produire l'image partielle, les valeurs de la transmission instrumentale globale TIG étant différentes pour au moins deux pixels différents d'une même image partielle produite.
Il est précisé que des images partielles peuvent être produites dans des conditions identiques ou différentes quelconques (par exemple à des instants différents, avec des conditions d'éclairage différentes, avec des cadrages différents, selon un angle de vue différent, avec des grossissements différents), aux conditions que :
" si différents dispositifs de production d'image partielle sont utilisés, on estime la TIG ou une carte de TIG pour chacun de ces dispositifs ;
■ chaque image partielle produite utilisée dans l'étape d'estimation b) a au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite utilisée dans ladite étape.
Cette définition récursive de l'ensemble des images partielles utilisées suppose le choix d'utiliser une première image partielle qui constitue l'ensemble de départ des images partielles utilisées.
Il est précisé que le terme définissant les transformations géométriques peut estimer tous les types de transformation géométrique subie par l'image totale de la scène (dans la description qui suit il est parfois omis le terme « et vraie » en désignant l'image totale, ceci dans une optique pédagogique), pour se superposer de manière optimale à chaque image partielle modélisée.
Par exemple, une transformation géométrique peut être une translation dans une direction horizontale et/ou verticale, et/ou une homothétie (variation de la taille globale de l'image, ce qui est le cas en cas de variation du grossissement du dispositif de production d'image partielle) et/ou une rotation et/ou une déformation.
Le terme définissant les transformations géométriques est indépendant de la TIG. Les images partielles produites et modélisées, ainsi que l'image totale de la scène observée peuvent être à plusieurs dimensions, notamment à plus de deux dimensions (images 3D multi-spectrales par exemple).
Dans le procédé suivant l'invention, on met en œuvre une carte de TIG qui peut être à plusieurs dimensions, notamment à plus de deux dimensions, puisque cette TIG dépend des pixels, contrairement à l'état de la technique où la TIG a une même valeur scalaire estimée pour tous les pixels d'une image partielle.
Cette caractéristique d'avoir une TIG fonction des pixels d'une image partielle a comme effet technique une correction des perturbations d'intensité pour chaque pixel et donc une amplification différenciée du bruit de ces pixels. En effet, dans la seconde technique de l'état de la technique décrite précédemment, il est procédé d'abord à une uniformisation de la TIG de chaque image partielle par amplification de la luminosité des images partielles ayant des zones sombres ce qui amplifie donc aussi le bruit dans ces zones (typiquement l'uniformisation d'une TIG de 1/10 conduit à une bruit amplifié d'un facteur 10), puis à l'assemblage de ces images partielles par compensation des transformations géométriques. Il y a donc sommation de parties d'images partielles faiblement bruitées avec des parties d'images partielles dont le bruit a été amplifié.
Cet avantage est renforcé dans un mode de réalisation particulier où l'assemblage est pondéré pixel par pixel, de sorte à pondérer plus faiblement des pixels ayant une TIG plus faible.
L'effet technique de la prise en compte de la TIG dans le modèle direct et du fait que c'est la TIG de chaque pixel qui est considérée et non pas une TIG (valeur scalaire) de toute l'image partielle, est une meilleure estimation des transformations géométriques (position, orientation, taille, déformation) et donc un meilleur assemblage, et par suite le résultat est une meilleure résolution de l'image estimée de la scène.
Il est également précisé que cette étape b) peut inclure une déconvolution des images partielles. L'effet technique de cette déconvolution est d'améliorer encore la résolution effective de l'image totale estimée tout en limitant le bruit dans celle-ci. Le terme définissant les transformations géométriques et les paramètres estimant les valeurs de la transmission instrumentale globale peuvent être estimés conjointement.
L'opération d'estimation de l'image totale vraie de la scène à partir des transformations géométriques estimées et de la TIG estimée est alors faite en utilisant de manière conjointe l'ensemble des images partielles produites.
L'effet technique de cette utilisation conjointe de toutes les images partielles est une meilleure limitation du bruit dans l'image totale estimée de la scène.
L'apport du procédé selon l'invention à l'état de la technique est, que, de manière conjointe, toutes les perturbations sont corrigées et l'assemblage des images partielles corrigées des transformations géométriques et des perturbations d'intensité est réalisé. Cette synergie entre les corrections permet à la fois une meilleure correction des transformations géométriques et une meilleure correction des perturbations d'intensité, ce qui conduit à une image totale vraie de bien meilleure résolution et de meilleur niveau de bruit.
En effet, grâce à cette synergie entre l'opération de correction de l'intensité et celle de correction des transformations géométriques (l'assemblage), la meilleure correction de l'intensité par la prise en compte de la TIG, pixel par pixel, dans le modèle direct permet d'assembler les images partielles avec une précision pouvant être inférieure voire très inférieure à la taille d'un pixel composant les images partielles. Par exemple, la précision d'assemblage ou de mosaïquage des images partielles, pour former l'image totale estimée de la scène, peut être de l'ordre de 1/100 de la taille des pixels des images partielles produites.
Pour un niveau de résolution et de bruit accepté, le champ de vue de l'image totale vraie estimée à partir d'un ensemble d'images partielles peut donc être augmenté, par rapport aux procédés de l'état de la technique, par le procédé selon l'invention, puisque les zones au bord de l'image totale vraie sont moins sombres et moins bruitées que les zones correspondantes d'une image totale assemblée selon un procédé de l'état de la technique. On peut également réaliser sur les images partielles brutes des opérations préliminaires telles que par exemple un filtrage fréquentiel spatial ou temporel ou un traitement des pixels morts, avant de mettre en œuvre le procédé tel que défini plus haut.
De même, il est possible d'effectuer après l'étape b) d'estimation de l'image totale de la scène, des post-traitements de l'image totale estimée de la scène tels que par exemple :
- une déconvolution de l'image totale estimée de la scène telle que décrite par exemple dans « Marginal blind déconvolution of adaptive optics retinal images » L. Blanco et L. Mugnier paru dans Optics Express 2011) ;
- une compensation des aberrations résiduelles ;
Une estimation de la TIG à partir d'au moins deux images partielles peut être également mise en oeuvre. Par exemple, on peut calculer la médiane (pixel à pixel) des images partielles par un même dispositif de production.
II est également précisé que les transformations géométriques associées à chaque image partielle peuvent être estimées à partir d'au moins deux images partielles produites et de la TIG estimée.
Avantageusement, les transformations géométriques des images partielles et la TIG sont estimées à partir de toutes les images partielles. Ainsi en tirant parti de toute l'information contenue dans les images partielles, l'image totale estimée de la scène est mieux corrigée des transformations géométriques, des perturbations d'intensité et du bruit.
Avantageusement, l'étape b) d'estimation du procédé est réalisée à l'aide d'un critère d'optimisation.
Ce critère d'optimisation peut être un critère de minimisation de la somme des distances pondérées entre les images partielles utilisées et les images partielles modélisées correspondantes, lesdites distances étant calculées pixel à pixel et ladite pondération étant explicitement fonction du pixel.
Le critère d'optimisation peut être également un critère de type « maximum de vraisemblance », ou « maximum a posteriori » (MAP) (connu également sous les noms de « maximum de vraisemblance régularisé » ou de « maximum de vraisemblance » (MV) « pénalisé »), ou bien de type maximum de vraisemblance généralisé (MVG).
Avantageusement, le critère d'optimisation peut comporter un terme de régularisation associé à chaque pixel de l'image totale vraie estimée de la scène, de sorte d'une part, à empêcher, lors de l'étape b), une amplification non contrôlée du bruit dans une zone de l'image totale vraie estimée de la scène qui est absente des images partielles produites utilisées ou qui est insuffisamment éclairée et d'autre part, à avoir une carte d'intensités par défaut prescrites par l'utilisateur pour toute zone de l'image de la scène qui est absente des images partielles produites utilisées ou bien qui est insuffisamment éclairée.
Avantageusement, l'assemblage des images partielles est pondéré pixel par pixel, de sorte à pondérer plus faiblement les pixels ayant une TIG plus faible.
Avantageusement, le terme de régularisation est, pour chaque pixel de l'image totale vraie estimée de la scène, une distance pondérée entre l'intensité de l'image totale vraie estimée de la scène et une valeur, dite de référence, d'intensité jugée probable pour ce pixel, la dite pondération étant explicitement fonction du pixel.
La valeur de référence pour chaque pixel peut par exemple être déterminée à partir d'un modèle selon lequel l'intensité d'une zone non observée de la scène est supposée de statistique gaussienne, les pixels de ladite zone pouvant être dépendants entre eux (ce qui prend en compte les corrélations spatiales éventuelles entre les pixels) ou indépendants entre eux. Par exemple, la valeur de référence en chaque pixel peut être la moyenne de cette gaussienne.
Avantageusement, le critère d'optimisation comprend un terme de régularisation associé aux transformations géométriques que subit l'image totale vraie de la scène pour se superposer de manière optimale à chaque image partielle modélisée.
Ce terme de régularisation permet notamment de prendre en compte une information a priori sur ces transformations géométriques. Avantageusement, un procédé selon l'invention comprend une étape préliminaire consistant à estimer la valeur de la TIG à partir des images partielles et à utiliser cette estimation lors de l'étape de construction du modèle direct.
L'estimation de la TIG peut par exemple : être réalisée en calculant, pour chaque pixel composant les images partielles, une moyenne ou une médiane sur l'ensemble de ces images partielles.
Cette estimation de la TIG par calcul de la moyenne ou de la médiane peut être complétée ou remplacée par l'ajustement d'une combinaison linéaire de primitives (par exemple des surfaces polynômiales) à l'ensemble des images partielles.
Avantageusement, le modèle direct comprend, pour chaque pixel d'une image partielle modélisée, un terme ou des paramètres d'incertitude (par exemple variance des bruits) représentant les incertitudes de mesures (par exemple des biais ou des bruits) ou l'incertitude de modélisation.
Les valeurs du terme ou des paramètres d'incertitude peuvent être différentes pour différents pixels d'une même image partielle modélisée.
La présente invention concerne également un procédé d'estimation d'une image totale vraie d'une scène à partir de N images partielles (avec N>1) et perturbées de cette scène produites à partir d'au moins un dispositif de production de image(s) partielle(s) au moins une image partielle produite ij ayant au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite, ledit procédé comprenant des étapes consistant à :
- construire N modèles directs, chaque modèle direct modélisant une image partielle Ij donnée parmi j images partielles, la construction comprenant pour chaque pixel modélisé (k ; I) d'un modèle direct, une opération entre un terme T(r,
Figure imgf000012_0001
propre à ladite image partielle modélisée, définissant des paramètres ρ^,ρ^,.-,Ρ^ de transformations géométriques à appliquer à une image totale r à estimer pour qu'elle se superpose à ladite image partielle Ij donnée et un autre terme c(k;l) propre audit pixel modélisé et correspondant à une estimation d'une valeur de transmission instrumentale globale du dispositif de production d'image partielle utilisé, des valeurs de transmission instrumentale globale différentes étant prévues entre des pixels modélisés différents de ladite image partielle donnée, l'image totale vraie de la scène étant estimée à partir des N images partielles ij et de leurs N modèles directs Ij respectifs.
Ladite opération peut être un produit.
L'estimation de l'image totale vraie de la scène peut être réalisée à l'aide d'un critère d'optimisation J par minimisation de la somme des distances pondérées entre les images partielles utilisées et les images partielles modélisées correspondantes.
La présente demande concerne également un dispositif d'estimation d'image totale vraie d'une scène permettant la mise en œuvre d'un des procédés selon l'invention ci-dessus.
Ce dispositif d'estimation d'image totale vraie d'une scène comprend au moins un dispositif de production d'image partielle dont la TIG est estimable, chaque image partielle comprenant plusieurs pixels, et un moyen de calcul apte à mettre en œuvre le procédé selon l'invention. Le dispositif d'estimation d'image totale vraie peut également comprendre un moyen de stockage de données et notamment d'image partielle, dans le cas par exemple où toutes les images partielles ne seraient pas produites en même temps.
Dans un mode de réalisation de ce dispositif, ledit moyen de production d'une image partielle est un capteur numérique, par exemple de type CCD ou CMOS, comportant plusieurs pixels.
Dans un autre mode de réalisation de ce dispositif, ledit dispositif comprend plusieurs capteurs numériques.
Dans un autre mode de réalisation de ce dispositif, ledit dispositif est une caméra d'imagerie, comme par exemple une caméra d'imagerie rétinienne.
Le dispositif de production d'image partielle peut être du type imagerie plein champ corrigé ou non par optique adaptative (comme par exemple le dispositif RTX1 de la société Imagine Eyes). BRÈVE DESCRIPTION DES DESSINS
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins (où les différentes parties représentées ne le sont pas nécessairement selon une échelle uniforme) sur lesquels :
La figure 1 représente un exemple de dispositif de production d'image partielle selon l'invention permettant d'estimer l'image d'une rétine ;
Les figures 2A à 2F représentent plusieurs images partielles d'une rétine, produites par un dispositif de production d'image partielle ;
Les figures 3A à 3F représentent les images partielles de la figure 2 traitées selon un procédé de l'invention où les images ont été ici compensées des transformations géométriques estimées sans compenser la TIG, dans un but pédagogique ;
La figure 4 représente un exemple d'estimation de la valeur de la transmission instrumentale globale (TIG) à partir de plusieurs images partielles d'une rétine ;
La figure 5 représente une image totale vraie de la rétine estimée par un procédé selon l'invention ;
La figure 6A représente une image partielle produite d'une rétine dont la non uniformité de la TIG a été corrigée selon l'état de la technique (sans utiliser l'invention), c'est-à-dire individuellement, en n'utilisant que l'image partielle en question. L'amplification du bruit sur les bords est bien visible ;
La figure 6B représente une image totale estimée d'une rétine obtenue par un assemblage selon l'état de la technique, d'images partielles produites d'une rétine dont la non uniformité de la TIG a été corrigée selon l'état de la technique, c'est-à-dire individuellement. Le bruit, amplifié dans chaque image partielle, reste amplifié dans cet assemblage ;
La figure 7 représente les étapes d'un algorithme permettant de mettre en œuvre l'un des procédés selon l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Ci-dessous est présenté un exemple détaillé de mise en œuvre de l'invention dans le cas de son application à l'imagerie rétinienne et de l'utilisation d'un même dispositif de production d'image partielle qui comprend un capteur numérique apte à acquérir une image partielle.
Une première étape du procédé consiste à acquérir au moins deux images partielles j et j+1 d'une même scène. Selon le présent exemple de réalisation de l'invention, la scène observée est une rétine humaine 2 (figure 1).
Une image pa rtielle ij de la rétine est obtenue à partir d'un dispositif de production d'image partielle 16 comprena nt un capteur numérique 10 comprenant a u moins deux pixels ((k,l) et (k',1')). Chaque pixel 12 permet la conversion des ondes lumineuses provenant d'une petite partie 4A, 4B de la rétine en un signal électrique (l(k,l), l(k'J') (figure 1).
Le dispositif de production d'image partielle convertit donc une image partielle j de la rétine en une image pixélisée, la valeur de chaque pixel lj(k,l) de l'image partielle étant proportionnelle à l'intensité des ondes lumineuses reçues par le pixel (k,l). L'intensité lj(k,l) du pixel (k,l) est brute, et n'est pas corrigée.
Lors de la première étape du procédé, au moins deux images partielles (j,j+l) ou plus de la rétine sont numérisées par le capteur numérique du dispositif de production d'image partielle 10 sous forme d'images partielles pixélisées dont les intensités sont (lj(k,l),lj(k',l'); lj+i(k,l),lj+i(k',l').
Selon une seconde étape du procédé, un modèle direct est construit de sorte à exprimer la valeur d'un pixel lj(k,l) d'une image partielle (j) modélisée, en fonction de l'image vraie, à estimer, de la rétine :
lj(k,l) = c(k,l) x [Tj(r;
Figure imgf000015_0001
0nj(k, I) Equation 1
Ainsi, le modèle direct est construit à partir des termes suivants :
a) le terme r représente l'image vraie recherchée de la rétine, plus précisément, le terme r représente une image globale ou entière de la rétine, non déformée géométriquement et d'éclairement spatialement uniforme ; b) le terme Tj(r; p^p - P^) représente une estimation des transformations géométriques subies par l'image totale vraie r pour se superposer ou correspondre à l'image partielle modélisée Ij, avec ρ^,ρ^,.-,Ρ^ des paramètres de transformations géométriques ;
c) le terme [](k,i> représente l'échantillonnage du terme r par le pixel (k,l) du capteur ;
d) le terme rij(k, I) représente les variations aléatoires, c'est-à-dire le bruit de mesure sur le pixel (k,l) et/ou l'incertitude de modélisation de l'image partielle
(j) ;
e) le terme 0 représente une opération pixel à pixel qui peut par exemple être une somme dans le cas d'un bruit additif, et/ou un produit dans le cas d'un bruit multiplicatif, et/ou une autre opération non explicite (dans le cas d'un bruit Poissonien par exemple).
f) le facteur "c(k,l) x" représente la transmission instrumentale globale (TIG), estimée pour chaque pixel (k,l), en fonction des conditions de production de l'image partielle (j). La valeur de ce facteur c(k,l) est différente pour au moins deux pixels appartenant au même dispositif de production d'image partielle 16. Dans le facteur c(k,l) x, "x" représente par exemple une multiplication entre la TIG et les Tj(r; ρ^,ρ^,.-,Ρ^) mais pourrait être une opération plus complexe fonction de ces deux grandeurs, dans le cas de déformation géométrique due à l'instrument ou de non-linéarité due au capteur par exemple.
À titre d'exemple, les figures 2A à 2F représentent une série d'images partielles produites d'une rétine, pour lesquelles le terme Tj(r; ρ^,ρ^,.-,Ρ^) correspond à une translation de l'image de la rétine. La valeur de l'exposant P est dans ce cas égale à 2 de sorte que les transformations géométriques subies par le terme r pour correspondre à l'image (j) peuvent être exprimées ainsi : Tj(r; p^p^). Dans l'équation 1, le terme T(r; p1], p2j) est égal au produit de convolution entre le terme r et un Dirac au point (p1], p2j), ce qui est équivalent à un décalage de l'image vraie r d'une quantité (p1], P2j). Selon une troisième étape du procédé, on recherche conjointement l'expression du terme r et les paramètres pj'j (pour toutes les images partielles lj(k,l) par le dispositif de production d'image partielle 16, avec j ε {1,...,N}, N étant le nombre d'images partielles et j' ε {1,...,P}, P étant le nombre de paramètres de la transformation géométrique. Cette recherche est effectuée au sens du Maximum a posteriori (MAP) ou du maximum de vraisemblance généralisé. Ces méthodes d'estimation sont présentées par exemple dans le document : "Approche bayésienne pour les problèmes inverses", sous la direction de J. Idier, Hermes/Lavoisier 2001 ou dans le document : "Bayesian Approach to Inverse Problems , edited by Jérôme Idier, ISTE / John Wiley, 2008.
Pour éviter l'amplification incontrôlée du bruit dans les zones de l'image totale estimée de la rétine, on peut utiliser un modèle a priori, par exemple le suivant : en l'absence d'images partielles produites de certaines zones de la rétine, l'image totale estimée est supposée de statistique gaussienne dans ces zones, par exemple indépendante entre pixels, de moyenne ro (par exemple constante, de valeur égale à 0, ou bien à la moyenne des valeurs des pixels estimés), et de variance l/wr(k,l) en chaque point. Le terme wr(k,l) représente un poids associé au pixel (k,l). Ce poids est associé à la pondération du terme de régularisation et, sa fonction est de régler le compromis entre fidélité aux et régularité de la solution.
Dans notre exemple, le critère d'optimisation comprend également un terme de régularisation R({pj'j}, associé aux transformations géométriques que subit l'image totale vraie de la scène pour se superposer de manière optimale à chaque image partielle modélisée. Comme indiqué précédemment, ce terme de régularisation peut être utilisé pour prendre en compte une information a priori sur ces transformations géométriques.
La troisième étape aboutit donc à minimiser le critère suivant :
JMPÎÙ J) = x [r<r; j>j , p?, . . . , pf)] (frii) |2
j k,l
+ ∑wr{k
Figure imgf000017_0001
R U pi ' j } ) (2)
En l'absence du terme R({pj'j}, le critère (2) est un critère de type maximum de vraisemblance (MV) vis-à-vis des décalages à estimer entre les images partielles, et de type maximum a posteriori (MAP) vis-à-vis de l'image estimée de la scène. En présence d'un terme R({pjj}), le critère (2) est du type MAP conjoint sur r et sur les p . Appelons r*et {p*j'j} la solution de cette minimisation, c'est-à-dire, l'image et les paramètres qui minimisent le critère (2).
Les figures 3A à 3F montrent les images acquises après compensation sur chacune de la transformation T pour les paramètres {p*j'j} estimés par la minimisation du critère (2), sans compensation de la TIG, dans un but illust ratif : on observe visuellement que l'on a bien la même image sous-jacente, dont une partie différente est éclairée dans chaque image. L'image r* obtenue à la fin de la minimisation du critère (2) est l'estimation recherchée de l'image de la rétine observée par le dispositif de production d'image partielle 16 (figure 4). On peut constater sur la figure 4 que l'invention permet l'estimation d'une image de la rétine dont le champ est notablement élargi par rapport au champ de chaque image partielle produite, et que le bruit au bord de l'image estimée de la rétine r* est inférieur à celui obtenu par un procédé selon l'état de la technique. On peut voir également que certains détails visibles seulement sur une ou plusieurs images partielles de la rétine sont également visibles sur l'image estimée de la rétine r*.
Selon une alternative au procédé ci-dessus, le terme c(k,l) peut être estimé lors d'une étape préliminaire. Si les images partielles produites par le dispositif de production d'image partielle sont assez nombreuses (typiquement plus d'une dizaine) et différentes entre elles, une moyenne ou une médiane des images partielles peut être réalisée (figure 5).
Une autre solution, alternative ou complémentaire, peut consister à paramétrer la forme de la TIG estimée comme étant une combinaison linéaire de primitives (par exemple sous forme de polynômes) et de rechercher quelle combinaison linéaire s'ajuste le mieux, au sens des moindres carrés pondérés par exemple, à l'ensemble des images partielles acquises.
On suppose, à titre d'exemple, un bruit de mesure gaussien, blanc, et de variance égale à (l/wj(k,l)). L'estimation des poids peut être réalisée avant l'étape de minimisation du critère (2). Par exemple, la variance totale en chaque pixel peut être estimée comme la somme de 2 composantes, l'une étant la variance du bruit photonique, l'autre la variance du bruit de capteur. La première peut être estimée directement à partir de chaque image partielle produite, la seconde peut être étalonnée à l'avance (cf. L.M. Mugnier, T. Fusco et J-M. Conan, "Mistral : a Myopie Edge-Preserving Image Restoration Method, with Application to Astronomical Adaptive-Optics-Corrected Long-Exposure Images", J. Opt. Soc. Am. A, 21(10), pp. 1841-1854 (octobre 2004)).
On peut par exemple définir le poids Wj(k,l) = 0 pour une mesure non disponible du pixel lj(k,l) (cas d'un pixel hors service par exemple).
Par souci de simplicité on peut par exemple prendre wr(k,l) =constante. De plus, pour régler facilement ce paramètre on peut le reparamétrer comme un pourcentage de la valeur moyenne de Wj en posant :
wr = □ . < Wj(k,l)) > où < représente une moyenne spatiale sur les pixels (k,l) et temporelle sur les images j. On peut ensuite prendre □ de l'ordre de quelques pourcent (par exemple de 0,01 à 0,1).
À titre de comparaison, l'approche simple de l'état de la technique consistant à compenser l'inhomogénéité de la TIG sur chaque image partielle produite, puis à assembler les images partielles pour former une image totale de la rétine est illustrée en figures 6A et 6B. L'amplification du bruit dans les images partielles est apparente (figure 6A), et se traduit par une image totale estimée de la scène très bruitée (figure 6B). Ces figures montrent que l'invention permet de résoudre ce problème d'amplification du bruit.
Dans le présent exemple, le moyen de production d'image partielle numérique du dispositif de production 16 comprend un capteur 10 de type CCD. Le dispositif d'estimation comprend également un moyen 14 de stockage de données (par exemple disque dur d'un micro-ordinateur) et de calcul (par exemple un microordinateur) permettant notamment à un logiciel d'effectuer les étapes d'un procédé décrit ci-dessus (figure 7).

Claims

REVENDICATIONS
1. Procédé d'estimation d'une image totale vraie d'une scène (2) à partir d'images partielles et perturbées de cette scène produites (4A, 4B) à partir d'au moins un dispositif de production d'image(s) partielle(s) (16), le procédé comprenant :
a) une étape de construction d'au moins un modèle direct modélisant au moins une image partielle, ledit modèle direct comprenant un terme, propre à chaque image partielle modélisée, définissant des transformations géométriques à appliquer à une image totale à estimer pour qu'elle se superpose à l'image partielle produite ;
b) une étape de d'estimation de l'image totale vraie de la scène, cette étape d'estimation, comprenant une estimation desdites transformations géométriques, étant effectuée à partir desdites images partielles et de leur modèle direct respectif, au moins une image partielle produite utilisée dans cette étape d'estimation ayant au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite ;
ledit procédé d'estimation étant caractérisé en ce que :
■ Ledit modèle direct construit prend en compte, pour chaque pixel de l'image partielle modélisée, une estimation de sa perturbation d'intensité dite transmission instrumentale globale (TIG) du dispositif de production d'image partielle utilisé des valeurs de transmission instrumentale globale différentes étant prévues pour au moins deux pixels différents d'une même image partielle produite. »
2. Procédé d'estimation de l'image totale vraie d'une scène selon la revendication 1, dans lequel les paramètres des transformations géométriques sont estimés conjointement.
3. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 ou 2, dans lequel les paramètres des transformations géométriques et les paramètres estimant les valeurs de la transmission instrumentale globale sont estimés conjointement.
4. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 3, dans lequel, le terme définissant les transformations géométriques et les paramètres estimant les valeurs de la transmission instrumentale globale sont estimés à partir de plusieurs images partielles issues du dispositif de production d'image partielle (16).
5. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 4, dans lequel, lors de l'étape b), un assemblage des images partielles est pondéré pixel par pixel, les pixels ayant une transmission instrumentale globale plus faible étant pondérés plus faiblement.
6. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 5, dans lequel l'estimation de l'image totale vraie de la scène est réalisée à l'aide d'un critère d'optimisation comportant un paramètre de régularisation associé à chaque pixel de l'image totale vraie modélisée adapté de sorte d'une part, à empêcher une amplification non contrôlée, lors de l'étape b), du bruit d'une zone de l'image de la scène, qui est absente des images partielles produites utilisées ou bien qui est insuffisamment éclairée et d'autre part, à avoir une carte d'intensités par défaut prescrites par l'utilisateur pour toute zone de l'image de la scène qui est absente des images partielles produites utilisées ou bien qui est insuffisamment éclairée.
7. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 6, dans lequel, l'estimation de l'image totale vraie de la scène est réalisée à l'aide d'un critère d'optimisation comprenant un terme de régularisation associé aux transformations géométriques que doit subir l'image totale vraie de la scène pour que chaque image partielle produite se superpose à la partie correspondante de l'image totale vraie.
8. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 6 ou 7, dans lequel le critère d'optimisation est de type maximum de vraisemblance, ou maximum de vraisemblance généralisé, ou maximum a posteriori.
9. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 8, dans lequel une étape d'estimation de la valeur de la transmission instrumentale globale est réalisée avant l'étape b), cette valeur estimée de la transmission instrumentale globale étant utilisée lors de la construction dudit modèle direct.
10. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 9, dans lequel le modèle direct comporte un paramètre d'incertitude représentatif d'incertitudes de modélisation pour chaque pixel composant une image partielle modélisée.
11. Dispositif d'estimation d'image totale vraie comprenant :
• un dispositif de production d'image partielle (16) d'une scène (2), la transmission instrumentale globale de ce dispositif de production d'image partielle étant estimable ;
• et un moyen de calcul (14) pour mettre en œuvre les étapes d'un procédé selon l'une des revendications 1 à 9.
12. Dispositif d'estimation d'image totale vraie selon la revendication
11, utilisé, selon le procédé de la revendication 1 à 10, pour l'imagerie rétinienne.
PCT/EP2014/063568 2013-06-26 2014-06-26 Procede d'estimation de l'image totale d'une scene Ceased WO2014207127A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1356129 2013-06-26
FR1356129A FR3007872B1 (fr) 2013-06-26 2013-06-26 Procede d'estimation de l'image totale d'une scene

Publications (1)

Publication Number Publication Date
WO2014207127A1 true WO2014207127A1 (fr) 2014-12-31

Family

ID=49713133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/063568 Ceased WO2014207127A1 (fr) 2013-06-26 2014-06-26 Procede d'estimation de l'image totale d'une scene

Country Status (2)

Country Link
FR (1) FR3007872B1 (fr)
WO (1) WO2014207127A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
US20100061601A1 (en) * 2008-04-25 2010-03-11 Michael Abramoff Optimal registration of multiple deformed images using a physical model of the imaging distortion

Also Published As

Publication number Publication date
FR3007872A1 (fr) 2015-01-02
FR3007872B1 (fr) 2019-07-05

Similar Documents

Publication Publication Date Title
EP2174289B1 (fr) Procede de traitement d&#39;objet numerique et systeme associe.
EP2457379B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
EP1523730B1 (fr) Procede et systeme pour calculer une image transformee a partir d&#39;une image numerique
JP6091176B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
EP3290891B1 (fr) Procédé et dispositif de caractérisation des aberrations d&#39;un système optique
FR3021127A1 (fr) Systeme et procede d&#39;acquisition d&#39;images hyperspectrales
WO2005031646A1 (fr) Procede et systeme pour m7difier une image numérique de maniere differenciee et quasi reguliere par pixel
EP4020978B1 (fr) Procede d&#39;etalonnage d&#39;une matrice de photodetecteurs, dispositif d&#39;etalonnage et systeme d&#39;imagerie associes
FR3088755A1 (fr) Procede de defloutage d’une image
WO2009133307A1 (fr) Dispositif de traitement d&#39;images amélioré
FR3007872B1 (fr) Procede d&#39;estimation de l&#39;image totale d&#39;une scene
KR101371925B1 (ko) 영상 초점 복원 방법
EP3072081B1 (fr) Determination de la carte de profondeur image d&#39;une scene
EP3054422A1 (fr) Procédé de determination d&#39;un axe de rotation d&#39;un objet en tomographie et procédé de caracterisation par tomographie
EP3130144B1 (fr) Procédé de calibration d&#39;un imageur numérique
FR3059453A1 (fr) Procede et dispositif de deconvolution d&#39;images numeriques
WO2025238312A1 (fr) Procede de dematriçage d&#39;une image brute, programme d&#39;ordinateur, dispositif et appareil mettant en œuvre un tel procede
FR3127316A1 (fr) Procédé d’amélioration de la qualité d’une image numérique mettant en œuvre un réseau neuronal
EP4505237A1 (fr) Procédé de correction d&#39;aberrations optiques introduites par un objectif optique dans une image, appareil et système mettant en oeuvre un tel procédé
WO2024194540A1 (fr) Procede de correction d&#39;images
WO2024194541A1 (fr) Procede de correction d&#39;images, au sein d&#39;un appareil utilisateur
FR3066268A1 (fr) Capteur d&#39;images
FR3005226A1 (fr) Saisie d&#39;image avec addition de signaux d&#39;accumulation pour des photodetecteurs adjacents

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14735517

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14735517

Country of ref document: EP

Kind code of ref document: A1