WO2009112710A2 - Procede de restauration d'une image floue acquise au moyen d'une camera equipant un terminal de communication - Google Patents

Procede de restauration d'une image floue acquise au moyen d'une camera equipant un terminal de communication Download PDF

Info

Publication number
WO2009112710A2
WO2009112710A2 PCT/FR2009/000140 FR2009000140W WO2009112710A2 WO 2009112710 A2 WO2009112710 A2 WO 2009112710A2 FR 2009000140 W FR2009000140 W FR 2009000140W WO 2009112710 A2 WO2009112710 A2 WO 2009112710A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
function
operator
equation
communication terminal
Prior art date
Application number
PCT/FR2009/000140
Other languages
English (en)
Other versions
WO2009112710A3 (fr
Inventor
Mohammed Elrhabi
Gilles Rochefort
Original Assignee
Realeyes3D
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realeyes3D filed Critical Realeyes3D
Publication of WO2009112710A2 publication Critical patent/WO2009112710A2/fr
Publication of WO2009112710A3 publication Critical patent/WO2009112710A3/fr

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Definitions

  • the present invention relates to a method of restoring a fuzzy image acquired by means of a camera equipping a communication terminal.
  • the cameras equipping a device of the aforementioned type are often manufactured with fixed focal lengths (that is to say without autofocus or macro mode) and / or a fixed aperture, only the speed Shutter is ordered.
  • the cheap sensors used are often very limited in low light conditions.
  • the resulting photo is often fuzzy, noisy and difficult to interpret. Indeed, although it is possible to equip the cameras with "autofocus” or "macro” mode, this is rarely the case because of the extra cost or the additional space that results.
  • the object of the invention is more particularly to improve the sharpness of categories of images where it is essential to be able to interpret the information contained in the imaged object (it being understood that it makes it possible to treat any type of image). images).
  • a fuzzy image has its contours attenuated, making the task of interpreting objects or symbols contained very difficult, even impossible.
  • the same goes for a machine, where interpreting symbols contained in an image that is too fuzzy is also impossible. Indeed, these devices usually use local high frequency characteristics to classify or recognize symbols.
  • the invention more specifically aims at the reconstruction of a "digital" image v from the sole knowledge of the observed image u.
  • the problem that the invention proposes to solve is to reconstruct the image ⁇ from the sole knowledge of the observed image u.
  • the invention proposes an approximate solution for determining the pair ⁇ and h quickly and with a better compromise cost, robustness and portability.
  • this method proposes a method making it possible in particular to restore a fuzzy image, acquired by means of a camera equipping a communication terminal, with a view to improving the human or automatic interpretation of the pictorial symbols, this method comprising the following steps :
  • the communication terminal is provided with the means necessary for the transmission of an image by some means and media whatsoever, and also provided with means for processing a feedback information;
  • J (I 1 K) p ( ⁇ I * K) (X 1 V) - I 0 (x, y)) + ⁇ ⁇ ⁇ (VI (x, y)) + ⁇ ⁇ (VK (x, y)).
  • J (I 1 K) p ( ⁇ I * K) (X 1 V) - I 0 (x, y)) + ⁇ ⁇ ⁇ (VI (x, y)) + ⁇ ⁇ (VK (x, y)).
  • the function ⁇ () can be either a quadratic function such that ⁇ (u) - u 2 , or any other functions approaching the behavior of
  • the method according to the invention may comprise a joint estimate of two images such that I - Ii + I utUe estimate in which the equation Ij - Ii * K is true at least on the support of K, the equation J () becoming then:
  • J (Ii I ut i le: K) ⁇ p ⁇ Ii ⁇ x, y) + (I ut i the * K) (x.y) - I Q (x, y)) + ⁇ ⁇ ⁇ ⁇ VI uU ⁇ , y)) + ⁇ ⁇ - ⁇ ⁇ S / K ⁇ x, y)).
  • the blur degradation operator K may be parameterizable and depend only on a few parameters.
  • the number of parameters will be reduced to 2 and in the case of a defocusing blur, the number of parameters will be reduced to 1.
  • the search for the parameters of the K-blur operator may involve a dichotomy technique such as, for example, but not necessarily, the Brent method.
  • this method iteratively estimates an image pair ⁇ and a blur operator h comprising the following steps:
  • the image ⁇ n + 1 is processed by the contour enhancement filter (FAC).
  • FAC contour enhancement filter
  • the method may use any contour enhancement filter (for example of the "unsharp masking" type), it is obvious that the performances are directly dependent on the ability of this filter to approach a satisfactory coarse solution. .
  • the invention proposes the use of shock filters as a type of contour enhancement filter (FAC).
  • FAC contour enhancement filter
  • the use of concepts and techniques developed for calculating equation 1 solutions by solving nonlinear hyperbolic partial differential equations (PDEs) for image processing problems was proposed by L. Rudin (see [L. Rudin,
  • shock filters Rockwell International Science Center Annual DARPA T.R 22 (1984), no. 2, 387-405]
  • These filters are operators whose application allows the development in the restored signal of phenomena similar to known shock waves in fluid mechanics (see [to3em, Images, numerical analysis of singularities and shock filters., Ph.D. thesis, Computer Science Department, CalTech, Pasadena, CA, 1987, S. Osher and Rudin LI, Feature-oriented image enhancement by shock filters, SIAM J. Numer Anal 27 (1990), 4, 919-940] for more precision).
  • u ⁇ is the transpose of u and H ⁇ is the Hessian matrix associated with v (matrix composed of the second derivatives of v), ⁇ being the direction of the gradient.
  • V * + 1 for At>0; i G ⁇ 1, ..., N 1 ),
  • the main properties of the impact filters are: - shocks develop at inflection points (zeros of derivatives of order 2),
  • the method according to the invention uses a family of shock filters where the activation of these filters is weighted according to the region of the image. These weights are of greater amplitude near a point of inflection and less in a more regular region.
  • V ⁇ denotes the derivatives of order 2 in the direction parallel to the gradient.
  • This term of anisotropic diffusion makes it possible to reduce the noise during the process, 7> 0 is the parameter of penalization associated with this term.
  • the arctan function weights the amplitude according to the region, finally a is a real parameter controlling the sharpness of the slope near zero.
  • the introduction of time in the second term of equality reduces the effect of shock at the beginning of the process.
  • diffusion reducing the noise
  • This equation has three terms: the first expresses the error made on the model. This term is also referred to as the data matching term. For a quadratic function (?), This term is the least squares criterion. The second and the third terms, on the other hand, express a priori that we assume on the image v and the operator h. These two terms are means of controlling the noise in the image and stabilize the problem.
  • J is convex in ⁇ for h fixed and also convex in h for v fixed.
  • oc and ⁇ are positive and sufficiently small constants.
  • the two terms of penalization which relate to h and v are penalizations of the Tikhonov type when the functions ⁇ () and VO are chosen quadratic.
  • a quadratic penalty on the image v is a priori too strong, in the sense that it imposes a solution ⁇ too regular.
  • variable illumination does not represent a limitation of the restoration method according to the invention. Nevertheless, the management of variable illumination poses great difficulties to image analysis algorithms. Also, the invention proposes a writing different from the equation 5 to treat this particular case by imposing the following decomposition:
  • J s (z.w, h) / p ((z * h) (x, y) + w (x, y) - u (x, y)) dx dy + ⁇ / ⁇ (Vz (x, y) )) dx dy + ⁇ / ⁇ (Vh (x, y)) dx dy.
  • h can be expressed parametrically and with few degrees of freedom.
  • J (v, h (r)) becomes J (v, r).
  • finding the minimum of J, when ⁇ is fixed returns to find the minimum of a convex function to a variable, and can be realized by dichotomy without using the derivative of

Abstract

Le procédé selon l'invention permet de restaurer une image floue acquise au moyen d'une caméra équipant un terminal de communication. Il consiste à acquérir une image au moyen de la caméra, l'extraction de l'information de luminance de l'image et la création d'une nouvelle image en niveaux de gris, l'approximation grossière I0 d'une image restaurée au moyen d'un filtrage d'accentuation des contours (FAC) de l'image observée Iobs, la recherche d'un opérateur de dégradation Kn tel qu'il soit le minimum d'une fonctionnelle convexe J(In, K) en K, la recherche d'une image restaurée 7n+1 tel qu'il soit le minimum d'une fonctionnelle convexe J(I, Kn) en 7, le traitement éventuel de l'image 7n+1 par un filtre d'accentuation des contours (FAC) et la répétition des étapes de recherche et de traitement jusqu'à ce que |In+1 — In| devienne suffisamment petit (convergence).

Description

PROCEDE DE RESTAURATION D'UNE IMAGE FLOUE ACQUISE AU MOYEN D'UNE CAMERA EQUIPANT UN TERMINAL DE COMMUNICATION.
La présente invention concerne un procédé de restauration d'une image floue acquise au moyen d'une caméra équipant un terminal de communication.
Elle s'applique plus particulièrement à la restauration d'une image floue acquise au moyen d'une caméra équipant un dispositif muni des moyens nécessaires pour : - transmettre une image et recevoir des informations en retour, - effectuer le traitement de manière autonome.
Elle a notamment pour objet d'améliorer l'interprétation des informations contenues dans ladite image, que cette interprétation soit effectuée par un individu ou de manière automatique par une machine.
D'une manière générale, on sait que les caméras équipant un dispositif du type précédemment mentionné sont souvent fabriquées avec des focales fixes (c'est-à- dire sans autofocus ni de mode macro) et/ou une ouverture fixe, seule la vitesse d'obturation est commandée. En outre, les capteurs bon marché utilisés sont bien souvent très limités dans des conditions de luminosité faible. Lorsque l'objet est proche de la caméra, la photo résultante est bien souvent floue, bruitée et difficilement interprétable. En effet, bien qu'il soit possible d'équiper les caméras de dispositif d'"autofocus" ou de mode "macro", cela est rarement le cas en raison du surcoût ou de l'encombrement supplémentaire qui en résulte. L'invention a plus particulièrement pour but d'améliorer la netteté de catégories d'images où il est fondamental de pouvoir interpréter les informations contenues dans l'objet imagé, (étant entendu qu'elle permet de traiter n'importe quel type d'images).
Dès lors, il est nécessaire de restaurer l'image floue le plus fidèlement possible aux données initiales afin de garantir sa bonne interprétabilité.
L'oeil humain est sensible aux contours des objets dans les images. Une image floue voit ses contours atténués, rendant la tâche d'interprétation des objets ou symboles contenus très difficile, voir impossible. Il en va de même pour une machine, où interpréter des symboles contenus dans une image trop floue est également impossible. En effet, ces dispositifs utilisent usuellement des caractéristiques hautes fréquences locales pour classifier ou reconnaître des symboles.
Tel est le cas notamment par exemple dans des applications de reconnaissance de caractères, ou encore de décodage de code barres ld/2d.
L'invention a plus précisément pour but la reconstruction d'une image "digitale" v à partir de la seule connaissance de l'image observée u.
Dans la suite, on considérera une image u G RNι xN'2 où AT1 et A^ sont deux entiers naturels. On supposera que cette image numérique est obtenue à partir d'une image digitale v, à l'aide d'un appareil de mesure.
On suppose aussi que v G L(R2), (L(R2) étant l'ensemble des fonctions définies dans R2 de carrés (sommables) et que la dégradation (éventuelle) introduite par l'appareil de mesure, suit le modèle : u(x, y) = (h * ?;) (x, y) + b(x, y) , (équation 1)
où * désigne le produit de convolution, (x, y) € {0, .... Ni — 1} x {0, ..., Λ^ — 1}, h G L(R2) est un noyau de convolution invariant spatialement et b est une variable aléatoire définissant le bruit.
Le problème que l'invention se propose de résoudre est de reconstruire l'image υ à partir de la seule connaissance de l'image observée u. Ce problème rentre dans la catégorie des problèmes inverses (voir [Guy. Demoment, Inverse problems : theory and applications, Spring-Rolls, Lorient, 1997 ; Albert Tarantola and Bernard Valette, Inverse problems = quest for information, Journal of Geophysics 50 (1982), 159-170 ; P. C. Sabatier, Introduction to applied inverse problems, Applied Inverse Problems (P.C. Sabatier, éd.), Springer-Verlag, Berlin, Germany, 1978, pp. 2-26]).
II s'avère que ces problèmes "inverses" relatifs à la reconstruction d'une image à partir de la connaissance de l'image observée sont habituellement « mal posés ». En outre, le noyau de convolution h est lui aussi inconnu (déconvolution aveugle) (voir [Deepa Kundur and Dimitrios Hatzinakos, Blind image déconvolution, IEEE Signal processing magazine (1996), 43-64 ; Schultz, Multiframe blind déconvolution of astronomical images, Journal of the Optical Society of America 10 (1993), no. 5 ; David Donoho, On minimum entropy déconvolution, Applied Time Séries Analysis ii (New-York) (David D. Findley, éd.), Académie Press, mars 1981, pp. 565-608]).
Une analyse rapide de ce problème montre que :
- en présence de bruit, une déconvolution exacte est impossible ; on ne retrouve pas l'image originale ; seule une approximation est possible, et cela même si le noyau h est parfaitement connu,
- le plus souvent, cette solution n'est pas unique, il est donc nécessaire d'imposer des contraintes pour réduire le champ de solutions et/ou d'ajouter des hypothèses et un a priori sur l'image à restaurer, - A -
— on doit estimer à la fois le noyau de flou h et l'image υ ; une recherche exhaustive donnerait une solution approchée du problème de l'équation 1 avec un coût de calcul forcément trop élevé.
L'invention propose une solution approchée pour déterminer le couple υ et h rapidement et avec un meilleur compromis coût, robustesse et portabilité.
A cet effet, elle propose un procédé permettant notamment de restaurer une image floue, acquise au moyen d'une caméra équipant un terminal de communication, en vue d'améliorer l'interprétation humaine ou automatique des symboles imagés, ce procédé comprenant les étapes suivantes :
- l'acquisition d'au moins une image au moyen d'une caméra équipant le terminal de communication ;
- la transmission éventuelle de l'image à un moyen de calculs déportés étant entendu que le terminal de communication est pourvu des moyens nécessaires à la transmission d'une image par quelques moyens et média que ce soit, et également pourvu de moyens de traiter une information en retour ;
- l'extraction de l'information de luminance de l'image d'entrée et la création d'une nouvelle image en niveaux de gris IQ ; — la réduction éventuelle de la taille de l'image /0&s, effectuée pour réduire les temps de calculs ;
- l'approximation grossière /° d'une image restaurée au moyen d'une technique de filtrage d'accentuation des contours (FAC) de l'image observée Iobs ;
- la recherche d'un opérateur de dégradation Kn tel qu'il soit le minimum d'une fonctionnelle convexe J{In, K) en K ;
- la recherche d'une image restaurée /n+1 tel qu'il soit le minimum d'une fonctionnelle convexe J(I, Kn) en I ;
- le traitement éventuel de l'image /n+1 par un filtre d'accentuation des contours (FAC) ; - la répétition des étapes de recherche d'un opérateur de dégradation, de recherche d'une image restaurée /n+1 et de traitement éventuel de l'image restaurée jusqu'à la convergence, c'est-à-dire lorsque |/n+1 — In\ devient suffisamment petit.
Le procédé précédemment défini pourra utiliser un opérateur spatialement invariant et un critère convexe J(I, K) de la forme : J(I1 K) = ^ p ({I * K)(X1 V) - I0(x, y)) + \ ∑ φ (VI(x, y)) + μ ∑ψ (VK(x, y)) . x,y x.y x,y
(équation 15)
où p(), φ() et ψ() sont des fonctions dérivables et strictement convexes. I et K réalisent un minimum global du critère J.
La fonction p() pourra être soit une fonction quadratique telle que p(u) = u2, soit une fonction telle que p(u) = \u\, soit toutes autres fonctions approchant le comportement de \u\ et néanmoins dérivable en 0.
La fonction φ() pourra être soit une fonction quadratique telle que φ(u) — u2, soit toutes autres fonctions approchant le comportement de |?/| et néanmoins dérivable en O.
Par ailleurs, le procédé selon l'invention pourra comprendre une estimation conjointe de deux images telle que I — Ii + IutUe estimation dans laquelle l'équation Ij — Ii * K est vraie au moins sur le support de K, l'équation J() devenant alors :
J(Ii. Iutile: K) = ∑p {Ii{x, y) + (Iutile * K)(x. y) - IQ(x, y))+λ ∑ φ {VIuUφ, y))+μ ∑ -ψ {S/K{x, y)) . χ>v x<y χ-y
(équation 16)
Avantageusement, l'opérateur de dégradation de flou K pourra être paramétrable et ne dépendre que de peu de paramètres. Ainsi, dans le cas d'un flou de bougé, le nombre de paramètres sera réduit à 2 et dans le cas d'un flou de défocalisation, le nombre de paramètres sera réduit à 1. Dans le cas où K est paramétré, il ne sera plus nécessaire de tenir compte de la régularisation imposée sur K et μ = 0.
Par ailleurs, la recherche des paramètres de l'opérateur de flou K pourra faire intervenir une technique de dichotomie telle que, par exemple, mais non nécessairement, la méthode de Brent.
Un mode de mise en œuvre de ce procédé sera décrit ci-après, à titre d'exemple non limitatif.
Dans cet exemple, ce procédé estime de manière itérative un couple image υ et un opérateur de flou h comprenant les étapes suivantes :
1. Le filtrage de l'image observée u par un filtre d'accentuation des contours (FAC) indépendant de l'opérateur de flou h permet d'obtenir une image υ°.
2. On calcule une estimation de l'opérateur de flou hn à partir de vn et de u.
3. On effectue une estimation de l'image restaurée υn+1 à l'itération ri, entre hn et u.
4. Pour accélérer la convergence du procédé, l'image υn+1 est traitée par le filtre d'accentuation des contours (FAC).
5. On répète les étapes à partir du calcul de l'estimation de l'opérateur de flou, jusqu'à la convergence - c'est-à-dire jusqu'à ce que |υn+1 — vn \ soit suffisamment petit.
II s'avère cependant, qu'en pratique, une estimation conjointe telle que celle décrite précédemment dépend fortement de l'initialisation. En effet, il est évident qu'il y a de nombreux couples image/opérateur qui sont des solutions de l'équation 1. Le recours à un filtre d'accentuation des contours (FAC) a le double avantage de conduire à une estimation grossière du couple de solutions (v, h) suffisamment proche de la solution finale pour garantir la convergence vers une solution acceptable et également d'accélérer le processus global.
Bien que le procédé puisse avoir recours à n'importe quel filtre d'accentuation des contours (par exemple du type "unsharp masking"), il est évident que les performances sont directement dépendantes de la capacité de ce filtre à approcher une solution grossière satisfaisante.
L'invention propose l'utilisation de filtres de chocs comme type de filtre d'accentuation des contours (FAC). L'utilisation de concepts et de techniques développées pour le calcul de solutions de l'équation 1 par la résolution d'équations aux dérivées partielles (EDP) non linéaires de type hyperbolique pour des problèmes de traitement des images a été proposée par L.Rudin (voir [L. Rudin,
Shock filters, Rockwell International Science Center Annual DARPA T.R 22 (1984), no. 2, 387-405]), qui a été le premier à introduire dans ce domaine la notion de filtre de choc. Ces filtres sont des opérateurs dont l'application permet le développement dans le signal restauré de phénomènes analogues aux ondes de choc connues en mécanique des fluides (voir [to3em, Images, numerical analysis of singularities and shock filters., Ph.D. thesis, Computer Science Department, CalTech, Pasadena,CA, 1987 ; S. Osher and L. I. Rudin, Feature-oriented image enhancement using shock filters, SIAM J. Numer. Anal. 27 (1990), no. 4, 919-940] pour plus de précision).
L'approche développée par Rudin pour la résolution du problème de la restauration d'images fait appel à un schéma aux EDP dont la solution v(t, x, y) a comme condition initiale l'image restaurée t>(0. x, y).
Le modèle 2D proposé par Rudin est : )) , pour t > 0; (x, y) € Ω, G Ω, £ = 0, <9Ω de Ω.
Figure imgf000009_0001
(équation 2)
où F {s) est une fonction de la variable s telle que F(O) = 0 et sign{s)F{s) > 0 où signQ est la fonction signe, C (v) désigne un opérateur elliptique non linéaire du second ordre, permettant l'extraction des contours. Les performances de ce type de modèle résident dans le choix judicieux de la fonction F et de l'opérateur C (v).
Le choix de Rudin et le plus évident pour F est la fonction signe définie par :
, , f 1 si s >> 00,,
^ = ( 0 si s - < "0. algorithme
Maintenant, il s'agit de choisir l'opérateur elliptique C, sachant que l'on souhaite développer les chocs dans la direction orthogonale au gradient de l'image, Rudin a proposé : C{v) = Hη,η := W7X V?;,
où uτ est la transposée de u et Hυ est la matrice hessienne associée à v (matrice composée des dérivées secondes de v), η étant la direction du gradient.
Pour simplifier, le schéma numérique classique pour ce genre de filtre dans le cas ID est :
V*+1 , pour At > 0; i G {1, ..., N1 ),
Figure imgf000009_0002
(équation 3)
où les D et D2 sont des opérateurs de dérivation discrets d'ordre 1 et 2 respectivement, vérifiant : _ Tn(A+Vu A-Vj) 2 _ A+A-Vj VVt " Δ.τ ' * ~ (Δ.x)2 ' '
où la fonction m est donnée par :
Figure imgf000010_0001
et Δ± = ±(v.i±ι — Ui). Ici, la condition CFL (pour le cas ID) est :
Λr Δ« < —
Les propriétés principales des filtres de chocs sont : - les chocs se développent aux points d'inflexion (les zéros des dérivées d'ordre 2),
- les extrema locaux sont invariants en temps, aucun nouvel extremum local n'est créé,
- le schéma conserve la variation totale, - la solution (faible) à l'équilibre est constante par morceaux (avec des discontinuités aux points d'inflexion),
- le modèle approche la déconvolution sans nécessiter la connaissance du noyau de convolution h.
Cependant, ce modèle est très peu résistant au bruit. D'un point de vue théorique, dans le domaine continu, n'importe quel bruit blanc additif peut ajouter un nombre infini de points d'inflexion, perturbant le processus complètement.
Afin de résoudre la difficulté liée au bruit, le procédé selon l'invention a recours à une famille de filtres de chocs où l'activation de ces filtres est pondérée en fonction de la région de l'image. Ces poids sont d'amplitude plus importante au voisinage d'un point d'inflexion et moindre dans une région plus régulière. Pour cela, la première partie de l'équation 2 est remplacée par : — = — arctan (atvm + ΥVζt) , t > 0, dans Ω, σt π ss (équation 4)
où Vξξ désigne les dérivées d'ordre 2 dans la direction parallèle au gradient. Ce terme de diffusion anisotropique permet de réduire le bruit au cours du processus, 7 > 0 est le paramètre de pénalisation associé à ce terme. La fonction arctan pondère l'amplitude selon la région, enfin a est un paramètre réel contrôlant l'acuité de la pente au voisinage de zéro. L'introduction du temps dans le second terme de l'égalité permet de réduire l'effet du choc au début du processus. Ainsi, c'est le terme de diffusion (réduisant le bruit) qui est prépondérant, ce qui va considérablement supprimer le nombre de « faux » points d'inflexion.
Afin de résoudre l'équation 1 en h et υ, on a recours à une fonctionnelle J définie par :
J(υ, h) = / ψ (Vh(x, y)) dx dy.
Figure imgf000011_0001
(équation 5)
où /?(), φ(), φ{) sont des fonctions convexes, positives et vérifiant /?(0) = 0, φ(0) — 0, ^'(0) = 0. Ω est le domaine de l'image.
Cette équation comprend trois termes : le premier exprime l'erreur commise sur le modèle. On appelle également ce terme, le terme d'adéquation aux données. Pour une fonction /?() quadratique, ce terme est le critère des moindres carrés. Le second et le troisième termes expriment quant à eux Y a priori que l'on suppose sur l'image v et l'opérateur h. Ces deux termes sont des moyens de contrôler le bruit dans l'image υ et stabilisent le problème.
Par construction, J est convexe en υ pour h fixé et également convexe en h pour v fixé. Dans la suite, J est défini comme étant un critère semi convexe, et la solution de l'équation 1 vérifie : (?;. h) = Infj fcJ(/, k) = arg .
Figure imgf000012_0001
Par abus de notation et pour simplifier, le couple (v, h), solution de l'équation 1, est dénommé le minimum du critère J. Trouver cette solution consiste à rechercher ce minimum. Il est alors nécessaire d'avoir recours à des techniques de descentes de gradients, c'est-à-dire de rechercher itérativement et alternativement le minimum de J à l'aide de ses dérivées partielles par rapport à h et à υ
— = h(-x, -y) * ç> ({υ * h)(x, y) - u(x, y)) + λ— {p {Vv(x, y))) .
(équation 6)
0 7 Q
— = v(-x, -y) * p' ({v * h){x, y) - u{x, y)) + μ— {φ (V/ι(x, y))) .
(équation 7)
Une procédure simple mais coûteuse pour atteindre le minimum de J en h et en υ peut s'écrire sous la forme :
^+1 = v1 - a^- (v\ ti) , dv v ' ; (équation 8)
hi+1 = hi - β^- (ύi+\ hi) . dh κ } (équation 9)
Où, oc et β sont des constantes positives et suffisamment petites.
Il pourra également être avantageux de recourir à d'autres techniques d'optimisation toujours dans l'esprit d'améliorer le taux de convergence. A cet effet, on préférera des méthodes du type gradient conjugué (voir [R. Marucci, R. M. Mercereau, and R. W. Shafer, Constrained itérative deconvolution using a conjugate-gradient algorithm, Proceedings of the International Conférence on Acoustic, Speech and Signal Processing (Paris), 1982, pp. 1845-1848 ; R. Fletcher and C M. Reeves, Function minimization by conjugate gradients, Comp. J. 7 (1964), 149-157]) ou mieux encore du type quasi-Newton tel que le LBFGS ([J. Nocedal and S. J. Wright, Numeήcal Optimization, Springer-Verlag, New York, 1999]).
Comme évoqué précédemment, l'utilisation d'une fonction /?() quadratique revient à exprimer un critère de moindres carrés sur le terme d'adéquation aux données. Cependant, il est également avantageux d'employer une fonction convexe plus robuste pour ce terme, c'est-à-dire, une fonction qui pénalise moins lourdement les erreurs au modèle que les pénalisations quadratiques du type Tikhonov (voir [Jerry Eriksson, Optimization and regularization of nonlinear least squares problems, Ph.D. thesis, Umeâ University, Sweden, juin 1996 ; to3em, Solutions of ill-posed problems, Winston, Washington DC, 1977 ; A. Tikhonov and V. Arsenin, Méthodes de résolution de problèmes mal posés, Éditions MTR, Moscou, 1976]).
Une norme robuste simple revient à utiliser une fonction p(x) = \x\ et sa dérivée (au sens des distributions) p'(x) = sign{x). Toutefois, cette norme pose des problèmes de convergence autour de 0 en raison de sa non dérivabilité au sens usuel en ce point. D'autres fonctions peuvent alors être employées imitant un comportement quadratique en dessous d'un seuil T, et un comportement linéaire au-dessus.
Sans que cela ne constitue une restriction du procédé, on pourra avoir recours à une norme Lorentzienne en posant :
Figure imgf000013_0001
De la même manière, les deux termes de pénalisation qui portent sur h et v sont des pénalisations du type Tikhonov lorsque les fonctions φ() et VO sont choisies quadratiques. Or, une telle pénalisation quadratique sur l'image v est un a priori trop fort, au sens où il impose une solution υ trop régulière. Afin de préserver les contours de l'image à restaurer, et sans que cela ne constitue une restriction du procédé, on peut recourir à des techniques de pénalisation par variation totale.
La pénalisation par variation totale revient à poser :
VT(υ) = / ρ(Vv) άx άy = |V?>| άx άy. JQ JΩ (équation 10)
Cependant cette équation ne tient pas compte des points singuliers (c'est-à-dire les points annulant le gradient spatial de υ). La majorité des auteurs utilisent une version régularisée, par exemple [R. Acar and C. Vogel, Analysis of bounded variation penalty methodfor ill-posed problems, Inverse Problems 10 (1994), no. 6, 1217-1229 ; to3em, Fast, robust total variation-based reconstruction of noisy, blurred images, IEEE Transactions on Image Processing IP-7 (1998), no. 6, 813- 823 ; Antonin Chambolle and Pierre-Louis Lions, Image recovery via total variation minimization and related problems, Numerische Mathematik 76 (1997), 167-188 ; to3em, A computational algorithm for minimizing total variation in image restoration, IEEE Transactions on Image Processing 5 (1996), 987-995 ; Yuying Li and Fadil Santosa, An affine scaling algorithm for minimizing total variation in image enhancement, Tech, report, IEEE Image processing ; R. V. Vogel and M. E. Oman, Itérative methods for total variation denoising, SIAM Journal of Scientific Computing 17 (1996), no. 1, 227-238 ; L. Rudin, Stanley Osher, and C. Fatemi, Nonlinear total variation based noise removal algorithm, Physica D 60 (1992), 259-268] pour réduire la dégénérescence dans les régions « lisses » de l'image où le gradient spatial est nul. Ainsi, on peut définir une version « régularisée » de la variation totale, tel que :
/ pÇS/v) άx άy = / Jv^. + v% + s άx άy. Jn Jn * (équation 11)
où s est un réel positif suffisamment petit. La dérivée de l'équation 11 en v s'écrit alors :
3VT (V) VXX.(.S + V%) - 2.Vχ.Vy.Vχy + Vyy.(s + lξ) dv
(s -f υl + vf) 2 (équation 12)
II est à noter qu'un raisonnement analogue à celui sur v peut être tenu concernant la pénalisation de l'opérateur h, mais qui ne sera pas détaillé ici.
Dans de nombreuses applications, les conditions d'éclairage de la prise de vue ne sont pas maîtrisées. Aussi, l'image obtenue par la prise de vue peut révéler une illumination variable. Cette illumination variable ne représente pas une limitation du procédé de restauration selon l'invention. Néanmoins, la gestion de l'illumination variable pose de grandes difficultés aux algorithmes d'analyse d'images. Aussi, l'invention propose une écriture différente de l'équation 5 pour traiter ce cas particulier en imposant la décomposition suivante :
v = z + u' (équation 13)
On suppose que z contient la partie utile du signal à restaurer tandis que w contient des variations faibles du signal tel que w(x, y) = (h * w)(x, y) soit vrai au moins au voisinage de (x, y) et sur le support de h.
En combinant les équations 5 et 13, on obtient le nouveau critère Js tel que :
Js(z. w, h) = / p ((z * h)(x, y) + w(x, y) - u(x, y)) dx dy+λ / φ (Vz(x, y)) dx dy+μ / φ (Vh(x, y)) dx dy. Jn JQ Jn
(équation 14)
Cette nouvelle écriture apporte l'avantage de porter un a priori plus adéquat sur la partie utile du signal z. Il est alors possible au choix :
- de fixer ιυ puis d'estimer alternativement et itérativement z et h comme précédemment, ou alors
- d'estimer conjointement z,w et h. Quoiqu'il en soit, les méthodes de pénalisations ou d'optimisation basées sur le critère de l'équation 5 sont également applicables pour l'équation 14. De fait, il ne sera pas fait de distinction entre ces deux équations par la suite.
Dans l'hypothèse où la nature du flou est connue à l'avance (exemple : flou atmosphérique, flou de bougé, flou de défocalisation, etc.), h peut s'exprimer paramétriquement et avec peu de degrés de liberté.
Une fois h paramétrisé, il apparaît alors que la minimisation de J par h revient à celle de J par les paramètres θ de h. De ce fait, des techniques d'optimisation plus simples et plus rapides peuvent être envisagées.
Par exemple, dans le cas d'un flou de défocalisation, h est modélisé par un disque de rayon rcentré à l'origine, aussi J(v, h(r)) devient J(v, r). Dans ce cas, trouver le minimum de J, lorsque υ est fixe, revient à chercher le minimum d'une fonction convexe à une variable, et peut être réalisé par dichotomie sans utiliser la dérivée de
J par r. Les méthodes de type Golden search sont donc indiquées et en particulier la méthode de Brent (voir [R. P. Brent, Algorithms for minimization without derivatives, ch. 7, pp. 308-313, Prentice-Hall, Englewood Cliffs, NJ, 1973]).

Claims

Revendications
1. Procédé permettant notamment de restaurer une image floue, acquise au moyen d'une caméra équipant un terminal de communication, pour améliorer l'interprétation humaine ou automatique des symboles imagés, ce terminal de communication étant pourvu de moyens de transmission d'une image et de traitement d'une information en retour, caractérisé en ce qu'il comprend les étapes suivantes :
- l'acquisition d'au moins une image au moyen de la caméra équipant le terminal de communication ;
- l'extraction de l'information de luminance de l'image d'entrée et la création d'une nouvelle image en niveaux de gris /o ;
- l'approximation grossière /° d'une image restaurée au moyen d'une technique de filtrage d'accentuation des contours (FAC) de l'image observée Iobs ; - la recherche d'un opérateur de dégradation Kn tel qu'il soit le minimum d'une fonctionnelle convexe J(In, K) en K ;
- la recherche d'une image restaurée In+1 tel qu'il soit le minimum d'une fonctionnelle convexe J(I, Kn) en / ;
- le traitement de l'image In+1 par un filtre d'accentuation des contours (FAC) ; - la répétition des étapes de recherche d'un opérateur de dégradation, de recherche d'une image restaurée In+1 jusqu'à la convergence, c'est-à-dire lorsque I jn+i _ /«| devient suffisamment petit.
2. Procédé selon la revendication 1, caractérisé en ce qu'à la suite de l'étape d'acquisition de la susdite image, il comprend la transmission de cette image par le terminal de communication à un moyen de calcul déporté.
3. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une réduction de la taille de l'image Iobs pour réduire les temps de calcul.
4. Procédé selon la revendication 1, caractérisé en ce qu'il utilise un opérateur spatialement invariant et un critère convexe J(I, K) de la forme :
J(I, K) = ∑ p ((I * K)(x, y) - I0(x, y)) + λ ∑ φ (VI(x, y)) + μ ∑Φ (VK(x, y)) . x,y x.y x,y
où pi), φQ et VO sont des fonctions dérivables et strictement convexes. I et K réalisent un minimum global du critère J .
5. Procédé selon la revendication 4, caractérisé en ce que la fonction pÇ) est une fonction quadratique telle que p(u) = u2.
6. Procédé selon la revendication 4, caractérisé en ce que la fonction pÇ) est une fonction telle que p(u) = \u\.
7. Procédé selon la revendication 4, caractérisé en ce que la fonction pÇ) est constituée par une fonction autre qu'une fonction quadratique telle que p{u) = u2 et qu'une fonction telle que p(u) = \u\, et qui approche le comportement de |w| et néanmoins dérivable en 0.
8. Procédé selon la revendication 4, caractérisé en ce que la fonction φ() est soit une fonction quadratique telle que φ(qή = y2.
9. Procédé selon la revendication 4, caractérisé en ce que la fonction φ() est une fonction autre qu'une fonction quadratique telle que φ(u) = υ2 et approchant le comportement de |n| et néanmoins dérivable en 0.
10. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une estimation conjointe de deux images telle que I — I1 + IutUe estimation dans laquelle l'équation I{ — I{ * K est vraie au moins sur le support de K, l'équation JÇ) devenant alors :
J(I1. Iutύe. K) =
Figure imgf000019_0001
y) + (Iutde * K)(x. y) - I0(x, y))+X ∑ φ (VIutûe(x, y))+μ ∑ φ (VK(x. y)) . X'V X 'V x V
11. Procédé selon la revendication 1, caractérisé en ce que l'opérateur de dégradation K est paramétrable et dépend d'un nombre limité de paramètres.
12. Procédé selon la revendication 11, caractérisé en ce que l'opérateur de dégradation K dépend de deux paramètres dans le cas d'un flou de bougé.
13. Procédé selon la revendication 11, caractérisé en ce que l'opérateur de dégradation K dépend de un paramètre dans le cas d'un flou de défocalisation.
14. Procédé selon la revendication 11, caractérisé en ce que lorsque l'opérateur de dégradation de flou K est paramétré, il n'est plus nécessaire de tenir compte de la régularisation imposée sur ledit opérateur et le coefficient μ est égal à zéro.
15. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comprend la recherche des paramètres de l'opérateur de dégradation K par une technique de dichotomie.
16. Procédé selon la revendication 10, caractérisé en ce que la recherche des susdits paramètres est effectuée par la méthode de Brent.
17. Procédé selon la revendication 1, caractérisé en ce que le filtre d'accentuation des contours (FAC) appartient à la famille des filtres de Shock.
18. Procédé selon la revendication 1, caractérisé en ce que la recherche du minima de la fonctionnelle J(I, K) est effectuée au moyen d'une technique de descente de gradients prenant en compte la dérivée de l'équation J(I, K) par rapport à l'une et l'autre de ses variables.
PCT/FR2009/000140 2008-02-11 2009-02-06 Procede de restauration d'une image floue acquise au moyen d'une camera equipant un terminal de communication WO2009112710A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0800693A FR2927447A1 (fr) 2008-02-11 2008-02-11 Procede de restauration d'une image floue acquise au moyen d'une camera equipant un terminal de communication.
FR0800693 2008-02-11

Publications (2)

Publication Number Publication Date
WO2009112710A2 true WO2009112710A2 (fr) 2009-09-17
WO2009112710A3 WO2009112710A3 (fr) 2009-11-05

Family

ID=39720476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2009/000140 WO2009112710A2 (fr) 2008-02-11 2009-02-06 Procede de restauration d'une image floue acquise au moyen d'une camera equipant un terminal de communication

Country Status (2)

Country Link
FR (1) FR2927447A1 (fr)
WO (1) WO2009112710A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765325A (zh) * 2018-05-17 2018-11-06 中国人民解放军陆军工程大学 一种小型无人机模糊图像复原方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257042A1 (en) * 2005-05-13 2006-11-16 Microsoft Corporation Video enhancement

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BAR L ET AL: "Image deblurring in the presence of salt-and-pepper noise" SCALE SPACE AND PDE METHODS IN COMPUTER VISION. 5TH INTERNATIONAL CONFERENCE, SCALE-SPACE 2005. PROCEEDINGS (LECTURE NOTES IN COMPUTER SCIENCE VOL.3459) SPRINGER-VERLAG BERLIN, GERMANY, 2005, pages 107-118, XP002494849 ISBN: 3-540-25547-8 *
CHAN T F ET AL: "TOTAL VARIATION BLIND DECONVOLUTION" IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 7, no. 3, 1 mars 1998 (1998-03-01), pages 370-375, XP000738213 ISSN: 1057-7149 *
DURAND S ET AL: "Stability of the Minimizers of Least Squares with a Non-Convex Regularization. Part I: Local Behavior" APPLIED MATHEMATICS AND OPTIMIZATION, SPRINGER-VERLAG, NE, vol. 53, no. 2, 1 mars 2006 (2006-03-01), pages 185-208, XP019363607 ISSN: 1432-0606 *
GILBOA G ET AL: "Regularized shock filters and complex diffusion" LECTURE NOTES IN COMPUTER SCIENCE, SPRINGER VERLAG, BERLIN; DE, vol. 2350, 1 janvier 2002 (2002-01-01), pages 399-413, XP002483589 *
KIM J ET AL: "Joint nonuniform illumination estimation and deblurring for bar code signals" OPTICS EXPRESS 20071029 OPTICAL SOCIETY OF AMERICA US, vol. 15, no. 22, 29 octobre 2007 (2007-10-29), pages 14817-14837, XP002494851 *
LOKHANDE R ET AL: "Identification of parameters and restoration of motion blurred images" APPLIED COMPUTING 2006. 21ST ANNUAL ACM SYMPOSIUM ON APPLIED COMPUTING ACM NEW YORK, NY, USA, vol. 1, 2006, pages 301-305 VOL.1, XP002494850 ISBN: 1-59593-108-2 *
MARK R BANHAM ET AL: "Digital Image Restoration" IEEE SIGNAL PROCESSING MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 14, no. 2, 1 mars 1997 (1997-03-01), pages 24-41, XP011089767 ISSN: 1053-5888 *
MONEY ET AL: "Total variation minimizing blind deconvolution with shock filter reference" IMAGE AND VISION COMPUTING, GUILDFORD, GB, vol. 26, no. 2, 9 novembre 2007 (2007-11-09), pages 302-314, XP022338760 ISSN: 0262-8856 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765325A (zh) * 2018-05-17 2018-11-06 中国人民解放军陆军工程大学 一种小型无人机模糊图像复原方法
CN108765325B (zh) * 2018-05-17 2021-06-29 中国人民解放军陆军工程大学 一种小型无人机模糊图像复原方法

Also Published As

Publication number Publication date
WO2009112710A3 (fr) 2009-11-05
FR2927447A1 (fr) 2009-08-14

Similar Documents

Publication Publication Date Title
Wang et al. Recent progress in image deblurring
Xu et al. Two-phase kernel estimation for robust motion deblurring
Goossens et al. An improved non-local denoising algorithm
Zhang et al. Blur processing using double discrete wavelet transform
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
US20100166332A1 (en) Methods of deblurring image and recording mediums having the same recorded thereon
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
Delbracio et al. Removing camera shake via weighted fourier burst accumulation
Welk et al. PDE-based deconvolution with forward-backward diffusivities and diffusion tensors
Seo et al. Robust flash denoising/deblurring by iterative guided filtering
Chen et al. Blind de-convolution of images degraded by atmospheric turbulence
Feng et al. Turbugan: An adversarial learning approach to spatially-varying multiframe blind deconvolution with applications to imaging through turbulence
EP1673728A1 (fr) Procede et systeme pour m7difier une image numérique de maniere differenciee et quasi reguliere par pixel
US20240020796A1 (en) Noise reconstruction for image denoising
EP0410826B1 (fr) Procédé itératif d&#39;estimation de mouvement, entre une image de référence et une image courante, et dispositif pour la mise en oeuvre de ce procédé
Wang et al. Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique
WO2009112710A2 (fr) Procede de restauration d&#39;une image floue acquise au moyen d&#39;une camera equipant un terminal de communication
Markarian et al. High-TV based CS framework using MAP estimator for SAR image enhancement
Khongkraphan et al. An efficient blind image deblurring using a smoothing function
EP3797509B1 (fr) Traitement d&#39;un bruit impulsionnel dans une séquence vidéo
Chen et al. Blind restoration for nonuniform aerial images using nonlocal Retinex model and shearlet-based higher-order regularization
WO2018083266A1 (fr) Procédé et dispositif de restauration d&#39;image numérique
Gangisetty et al. Underwater image restoration using deep encoder–decoder network with symmetric skip connections
Salvador et al. A Bayesian approach for natural image denoising
Thai et al. Simultaneous inpainting and denoising by directional global three-part decomposition: connecting variational and Fourier domain-based image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09719617

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: CONSTATATION DE LA PERTE D UN DROIT CONFORMEMENT A LA REGLE 112(1) CBE (OEB FORM 1205A EN DATE DU 19/11/2011)

122 Ep: pct application non-entry in european phase

Ref document number: 09719617

Country of ref document: EP

Kind code of ref document: A2