WO2004068410A1 - Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants. - Google Patents

Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants. Download PDF

Info

Publication number
WO2004068410A1
WO2004068410A1 PCT/FR2003/000834 FR0300834W WO2004068410A1 WO 2004068410 A1 WO2004068410 A1 WO 2004068410A1 FR 0300834 W FR0300834 W FR 0300834W WO 2004068410 A1 WO2004068410 A1 WO 2004068410A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wavelet
interest
resolution
detail
Prior art date
Application number
PCT/FR2003/000834
Other languages
English (en)
Inventor
Christophe Laurent
Nathalie Laurent
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to EP03725291A priority Critical patent/EP1579386A1/fr
Priority to AU2003227837A priority patent/AU2003227837A1/en
Priority to US10/541,118 priority patent/US20060257028A1/en
Publication of WO2004068410A1 publication Critical patent/WO2004068410A1/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Abstract

ABREGEProcédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants.L'invention concerne un procédé de détection de points d'intérêt dans une image numérique source, ledit procédé mettant en uvre une transformation en ondelettes associant ô une image source une image sous-échantillonnée, dite image échelle, et des coefficients ondelettes correspondant ô au moins une image de détails, pour au moins un niveau de décomposition, un point d'intérêt étant un point associé ô une région de l'image présentant des hautes fréquences. Le procédé comprend les étapes suivantes :- application de ladite transformation en ondelettes ô ladite image source ;- construction d'une arborescence unique, ô partir des coefficients ondelettes de chacune desdites images de détails ;- sélection d'au moins un point d'intérêt, par analyse de ladite arborescence.Figure 3

Description

Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants.
1. domaine de l'invention
Le domaine de l'invention est celui de la détection de points d'intérêt, encore appelés points saillants dans une image numérique. Plus précisément, l'invention concerne une technique de détection de points d'intérêt mettant en œuvre une approche de type ondelettes. Un point d'intérêt peut être considéré comme le représentant d'une région spatiale de l'image véhiculant une partie importante de l'information.
Historiquement, la notion de point saillant a été proposée dans le domaine de la vision par ordinateur, où l'un des problèmes majeurs consistait à détecter les coins des objets (d'où le terme « saillant », utilisé par la suite à titre de synonyme du terme « d'intérêt »). Plus tard, cette notion a été élargie à d'autres caractéristiques des images comme les contours, les jonctions, etc.
Dans le domaine du traitement d'images, la détection des points saillants correspondant aux coins des objets n'a que peu d'intérêt. En effet, les coins sont généralement des points isolés, ne représentant qu'une faible partie de l'information contenue dans l'image. De plus, leur détection génère des amas de points saillants dans le cas de régions texturées ou bruitées.
Différentes autres techniques ont été proposées, s'intéressant notamment aux points saillants correspondant aux zones de hautes fréquences, c'est-à-dire aux contours des objets. L'invention s'applique plus précisément à ce type de technique.
On présente ci-après plus en détail différentes techniques connues de détection de points saillants.
2. Etat de l'art
La détection de points saillants (aussi appelés points d'intérêt) dans les images est un problème qui a suscité de nombreuses recherches depuis plusieurs années. On présente dans cette section les principales approches retenues classiquement dans la littérature. On pourra se référer au document [5] (les documents auxquels il est fait référence sont regroupés en Annexe B) pour un état de l'art plus détaillé. Une des premières méthodes a été proposée par Harris et Stephens [7] pour la détection des coins. Ce type de points étaient alors considérés comme véhiculant une quantité importante de l'information et trouvait son application dans le domaine de la vision par ordinateur.
Pour définir ce détecteur, on calcule en chaque point p(x,y) de l'image /, la quantité :
Rx>y = Det(Mx_y) - kTr(Mx 2
où MXιy est une matrice définie par :
Mx = G(σ)® (χ.y) ιx(χ.y)iy(χ>y)
Ix(x,y)IJx,y) ll(x,y)
ou : +%* G(σ) dénote un noyau gaussien de variance σ ;
*t* ® dénote le produit de convolution ; *> Ix (resp. Iy) dénote la dérivée première de / suivant la direction x (resp. y) ;
*t* Det(Mxy) dénote le déterminant de la matrice Mxy ; *t* Tr(Mxy) dénote la trace de la matrice MXJ ;
*> J est une constante généralement utilisée avec une valeur de 0.04. Les points saillants sont alors définis par les extrema locaux positif de la quantité Rxy.
Dans [5], les auteurs proposent aussi une version plus précise du détecteur de Harris et Stephens. Cette version remplace le calcul des dérivées de l'image / par un calcul précis des dérivées du noyau gaussien.
Le détecteur de Harris et Stephens présenté ci-dessus a été étendu au cas des images couleurs dans [6]. Pour ce faire, les auteurs étendent la définition de la matrice Mxy qui devient alors (RxRy + GxGy + BxBJ(x,y) y) (Ry 2 + G) +
Figure imgf000005_0001
Figure imgf000005_0002
où :
*X* RX,GX,BX dénotent respectivement les dérivées premières des plans colorimétriques rouge, vert et bleu dans la direction x ;
*t* Ry,Gy,By dénotent respectivement les dérivées premières des plans colorimétriques rouge, vert et bleu dans la direction y ; Dans [10], les auteurs considèrent les points saillants comme les points de l'image présentant un fort contraste. Pour construire un tel détecteur, les auteurs utilisent une approche multi-résolution basée sur la construction d'une pyramide gaussienne.
Supposons que l'image / soit de taille 2Nx2N. Nous pouvons définir une pyramide à N mveaux où le niveau 0 correspond à l'image originale et le niveau N-l correspond à une image de 1 pixel. Au niveau k de la pyramide, le contraste au point P est défini par :
C k,(s P) / = BÂiplj avec 0 ≤ k≤ N-let C NJs P /) = 1
où Gk(P) définit la luminance locale au point P et au niveau k, et Bk(P) définit la luminance du fond local au point P et au niveau k.
Ces deux grandeurs sont calculées en chaque point et pour chaque niveau de la pyramide. On peut donc les représenter par deux pyramides appelées pyramide de luminance et pyramide du fond et définies par :
Figure imgf000005_0003
Bt(P) - ^ W(Q)GM(Q)
Q≡Parent(P) ou :
*> Les notations Fils(P) et Parent(P) dénotent les relations de hiérarchie dans la pyramide gaussienne ; *X* w est une fonction de poids normalisée pouvant être réglée afin de simuler la pyramide gaussienne ; W est une fonction de poids normalisée prenant en compte la façon dont P est utilisé pour construire la luminance de ses ascendants dans la pyramide.
Dans cette approche, un point saillant est un point caractérisé par une valeur élevée du contraste local. Afin de prendre en compte la non symétrie de la grandeur Ck, les auteurs introduisent une nouvelle grandeur afin d'obtenir une valeur nulle pour une situation de non contraste et une valeur supérieure à zéro partout ailleurs.
Cette nouvelle grandeur est définie par :
Figure imgf000006_0001
Avec cette nouvelle grandeur, les points saillants sont définis par les maxima locaux de Ck * supérieurs à un seuil fixé. Le détecteur de points saillants présenté initialement dans [11] est sans doute le plus proche de la présente invention puisqu'il est aussi basé sur l'utilisation de la théorie des ondelettes. En effet, les auteurs considèrent que les points véhiculant une partie importante de l'information sont localisés dans les régions de l'image présentant de hautes fréquences. En utilisant des ondelettes à support compact, les auteurs sont capables de déterminer un ensemble de points du signal / (que l'on suppose pour l'instant mono-dimensionnel) qui ont été utilisés pour calculer n'importe quel coefficient ondelette D2]f(n) , et ce, à n'importe quelle résolution 2J (j ≤ -1) .
A partir de cette constatation, une hiérarchie de coefficients ondelettes est construite. Cette hiérarchie détermine pour chaque niveau de résolution 2J et pour chaque coefficient ondelette D2jf(n)de ce niveau, l'ensemble des coefficients ondelettes du niveau de résolution immédiatement supérieur 27+1 nécessaires pour calculer D2]f(n) : C(D2if(n)) = {D2 f(k),2n ≤ k ≤ 2n + 2p-l},0 ≤ n < 2JN
où p dénote la régularité de la base d' ondelette utilisée (i.e. la taille du filtre ondelette) et N dénote la longueur du signal original
Ainsi, chaque coefficient ondelette D2jf(n) est calculé à partir de 2~Jp points du signal/ Ses coefficients fils C(D2Jf(n)) donnent la variation d'un sous-ensemble de ces 2~! points. Le sous-ensemble le plus saillant est celui dont le coefficient ondelette est maximal (en valeur absolue) au niveau de résolution 2y+1.
Il convient donc de considérer ce coefficient à ce niveau de résolution. En appliquant de façon récursive ce processus, un coefficient D2.lf(n) est sélectionné à la résolution — . Ce coefficient représente 2p points du signal/ Pour
sélectionner le point saillant correspondant dans/ les auteurs proposent de retenir parmi ces 2p points, celui dont le gradient est maximal en valeur absolue.
Pour étendre cette approche aux signaux bi-dimensionnels que sont les images, les auteurs appliquent la même approche à chacune des trois sous-bandes D2jI,D2jI,D2jI où I dénote l'image originale. Dans le cas des images, le support spatial de la base d' ondelette est de taille 2px2p. Ainsi, le cardinal de C(D2jf(x,y)) est de 4p2 pour tout s=l,2,3. Pour chaque orientation (horizontale, verticale et oblique), la méthode cherche, parmi les coefficients fils d'un coefficient donné, celui dont l'amplitude est maximale. Si différents coefficients de différentes orientations amènent au même pixel de /, alors ce pixel est considéré comme un point saillant.
Cette technique a été notamment utilisé en indexation d'images dans [9]. 3. Inconvénients des techniques antérieures Comme cela est montré dans la section précédente, de nombreuses méthodes ont été proposées dans la littérature pour la détection de points saillants. La différence majeure entre ces approches repose sur la définition même de point saillant. Historiquement, les chercheurs dans le domaine de la vision par ordinateur s'intéressaient aux coins des objets. C'est ainsi qu'a été proposé le détecteur de Harris et Stephens [7] qui a été récemment étendu à la couleur dans [6]. Les coins des objets ne représentent cependant pas une information pertinente dans le domaine du traitement d'image. En effet, dans le cas d'images faiblement texturees, ces points vont être éparpillés dans l'espace et ne donneront pas une représentation satisfaisante de l'image. Dans le cas d'images texturees ou bruitees, les points saillants seront tous concentrés dans les textures et donneront une représentation locale et non globale de l'image.
La définition de la saillance basée sur le contraste [10] est nettement plus intéressante pour le traitement d'image. Malheureusement, cette approche souffre du même défaut que la précédente dans le cas de régions texturees ou bruitees.
*> L'approche basée sur les ondelettes proposée par E. Loupias et N. Sebe
[11] est manifestement la plus robuste et la plus intéressante. En effet, on sait depuis longtemps que les contours représentent l'information primordiale d'une image puisqu'elle est en parfaite adéquation avec le système visuel humain.
4. objectifs et caractéristiques de l'invention
L'invention a donc notamment pour objectif de pallier les différents inconvénients de l'état de l'art.
Plus précisément, un objectif de l'invention est de fournir une technique de détection de points saillants correspondant à une haute fréquence, et ne privilégiant aucune direction particulière dans l'image.
Un autre objectif de l'invention est de fournir une telle technique, qui nécessite un nombre réduit d'opérations, par rapport aux techniques connues.
Notamment, un objectif de l'invention est de fournir une telle technique permettant d'utiliser des bases d'ondelettes avec un support de taille importante.
Ces objectifs, ainsi que d'autres qui apparaîtront plus clairement par la suite, sont atteints à l'aide d'un procédé de détection de points d'intérêt dans une image numérique source, ledit procédé mettant en œuvre une transformation en ondelettes associant à une image source une image sous-échantillonnée, dite image échelle, et des coefficients ondelettes correspondant à au moins une image de détails, pour au moins un niveau de décomposition, un point d'intérêt étant un point associé à une région de l'image présentant des hautes fréquences. Selon l'invention, ce procédé comprend les étapes suivantes :
- application de ladite transformation en ondelettes à ladite image source ;
- construction d'une arborescence unique, à partir des coefficients ondelettes de chacune desdites images de détails ;
- sélection d'au moins un point d'intérêt, par analyse de ladite arborescence. Dans le présent document, on appelle par simplification image source une image d'origine ou une image ayant subi un prétraitement (calcul de gradient, changement d'espace colorimétrique,...).
De façon avantageuse, on détermine, pour chaque niveau de décomposition, au moins deux images de détails correspondant respectivement à au moins deux directions prédéterminées par ladite transformation en ondelettes. Cette transformation en ondelettes peut notamment utiliser des ondelettes de première ou de deuxième génération (basée maillage).
Notamment, lesdites images de détails peuvent comprendre :
- une image de détails représentant les hautes fréquences verticales ; - une image de détails représentant les hautes fréquences horizontales ;
- une image de détails représentant les hautes fréquences diagonales,
De façon avantageuse, le procédé de l'invention comprend une étape de fusion des coefficients desdites images de détails, de façon à ne privilégier aucune direction de ladite image source. De façon avantageuse, ladite étape de construction d'une arborescence repose sur une approche de type Zerotree.
Ainsi, préférentiellement, chaque point de l'image échelle de résolution minimum est la racine d'un arbre à laquelle on associe un nœud fils à chacun des coefficients ondelettes dechacune de la ou desdites images de détails localisés au même emplacement, puis on associe récursivement, à chaque nœud fils d'un niveau de résolution donné, quatre nœuds fils formés par les coefficients ondelettes de l'image de détails de même type et du niveau de résolution précédent, et associée à la région correspondante de l'image source.
Selon un aspect avantageux de l'invention, ladite étape de sélection met en œuvre une étape de construction d'au moins une carte de saillance, affectant auxdits coefficients ondelettes une valeur de saillance représentative de son intérêt. Préférentiellement, on construit une carte de saillance pour chacun desdits niveaux de résolution.
De façon avantageuse, pour chacune desdites cartes de saillance, on fusionne pour chaque valeur de saillance les informations associées aux trois coefficients ondelettes correspondant aux trois images de détail, de façon à ne privilégier aucune direction dans l'image.
Selon un aspect préférentiel de l'invention, une valeur de saillance d'un coefficient ondelette donné d'un niveau de résolution donné prend en compte la ou les valeurs de saillance des coefficients ondelettes descendant dans ladite arborescence dudit coefficient ondelette donné.
Préférentiellement, une valeur de saillance est une relation linéaire des coefficients ondelettes associés.
Dans un mode de réalisation particulier de l'invention, la valeur de saillance d'un coefficient ondelette donné est calculée à partir des équations suivantes :
Figure imgf000010_0001
Dans ces équations, le paramètre αk peut par exemple valoir -1/r pour toutes les valeurs de k.
Selon un autre aspect préférentiel de l'invention, ladite étape de sélection comprend une étape de construction d'une arborescence desdites valeurs de saillance, repose avantageusement sur une approche de type Zerotree. Dans ce cas, ladite étape de sélection comprend avantageusement les étapes de :
- tri par ordre décroissant des valeurs de saillance de la carte de saillance correspondant à la résolution minimum ; - sélection de la branche présentant la valeur de saillance la plus élevée pour chacun des arbres ainsi triés.
Selon un aspect préférentiel de l'invention, ladite étape de sélection de la branche présentant la valeur de saillance la plus élevée met en œuvre un parcours de l'arbre correspondant à partir de sa racine, et une sélection à chaque niveau de l'arbre du nœud fils présentant la valeur de saillance la plus élevée.
Comme déjà mentionné, l'invention permet d'utiliser de nombreuses transformations en ondelettes. Dans un mode de réalisation particulier, on met en œuvre la base de Haar.
Dans un mode de réalisation particulier, on choisit comme niveau minimal de résolution 2"\
Le procédé de l'invention peut par ailleurs comprendre une étape de calcul d'une signature d'image, à partir d'un nombre prédéterminé de points d'intérêt de ladite image.
Ladite signature peut ainsi notamment être utilisée pour l'indexation d'images par leur contenu.
Plus généralement l'invention trouve des applications dans de nombreux domaines, et par exemple pour :
- le tatouage d'images ;
- l'indexation d'images ; - la détection de visage(s) dans une image.
L'invention concerne également les dispositifs de détection de points d'intérêt dans une image numérique source mettant en œuvre le procédé tel que décrit ci-dessus.
L'invention concerne encore les programmes d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé de détection de points d'intérêt décrit ci-dessus, et les supports de données numériques utilisables par un ordinateur portant un tel programme.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante d'un mode de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés parmi lesquels : la figure 1 illustre le principe de l'analyse multi-résolution d'une image I par transformation en ondelettes ; la figure 2 présente de façon schématique une transformation ondelette ; la figure 3 est une représentation d'une arborescence de coefficients ondelettes selon l'invention ; la figure 4 présente un exemple de cartes de saillance, et les arbres de saillance correspondants ; - la figure 5 illustre la saillance d'une branche de l'arbre de la figure
4 ; les figures 6a et 6b illustrent des résultats expérimentaux du procédé de l'invention, la figure 6a présentant deux images originales et la figure 6b les points saillants correspondants ; - la figure 7 illustre un procédé d'indexation d'images mettant en œuvre le procédé de détection de l'invention. 5. Identification des éléments techniques essentiels de l'invention
5.0 Principes généraux Un but de l'invention est donc la détection des points saillants d'une image I. Ces points correspondent aux pixels de / appartenant à des régions de haute fréquence. Pour ce faire, on se base sur la théorie des ondelettes [1][2][3]. L'Annexe A présente une brève présentation de cette théorie.
La transformée en ondelettes est une représentation multi-résolution de l'image qui permet d'exprimer l'image aux différentes résolutions —,—,etc .
2 4 Ainsi, à chaque niveau de résolution 2J(j ≤ -l) , la transformée en ondelettes représente l'image /, de taille n x m = 2k x 2l (k,l GZ) , sous la forme : *> d'une image grossière A2lI ; *> d'une image D2JIde détails représentant les hautes fréquences verticales
(Le. les contours horizontaux) ; *X* d'une image D^/de détails représentant les hautes fréquences horizontales (i.e. les contours verticaux) ; *> d'une image D^/de détails représentant les hautes fréquences diagonales
(i.e. les coins).
Chacune de ces images est de taille 2k*J x 2 j . La figure 1 illustre ce type de représentation.
Chacune de ces trois images est obtenue à partir A2 I par un filtrage suivi d'un sous-échantillonnage d'un facteur deux dans chaque direction comme le montre la 2. Il est à noter que l'on a A2 = I.
L'invention consiste à choisir, en premier lieu, une base d' ondelettes et un niveau de résolution minimal 2r(r ≤ -1) . Une fois la transformation ondelette effectuée, nous proposons de parcourir chacune des trois images de détails Dl I ,
D2J et D2 afin de construire une arborescence de coefficients ondelettes. Cette arborescence est basée sur l'approche Zerotree [4], initialement proposée pour le codage d'image. Elle permet de mettre en place une carte de saillance de taille 2A+r x 2 r reflétant l'importance de chaque coefficient ondelette à la résolution 2r(r ≤ -l) .
Ainsi, un coefficient ayant une saillance importante correspond à une région de / présentant des hautes fréquences. En effet, un coefficient ondelette de module important à la résolution 2r(r ≤ -1) correspond à un contour de l'image A +11 suivant une direction particulière (horizontale, verticale ou oblique).
L'approche Zerotree nous indique que chacun des coefficients ondelettes à la résolution 2r correspond à une zone spatiale de taille 2"r x2"rdans l'image /.
A partir de la carte de saillance construite, l'invention propose une méthode permettant de choisir parmi les 2"r x2"'' pixels de /, le pixel le plus représentatif de cette zone. En termes d'applications potentielles, la détection de points saillants dans les images peut être utilisée, de façon non exhaustive :
*> Pour le tatouage d'images. Dans ce cas, les points saillants donnent des indication quant à la localisation possible de la marque afin de garantir sa robustesse ;
*> Pour l'indexation d'image. En détectant un nombre fixe de points saillants, on peut en déduire une signature de l'image (basée, par exemple, sur la colorimétrie autour des points saillants) qui peut ensuite être utilisée pour le calcul de similarités inter-images ; *> Pour la détection de visages. Parmi les points saillants correspondant aux hautes fréquences de l'image, certains d'entre eux sont localisés sur les caractéristiques faciales (yeux, nez, bouche) des visages présents dans l'image. Ils peuvent alors être utilisés dans un procédé de détection de visages dans les images. La technique de l'invention diffère de celle proposée par E. Loupias et N.
Sebe [11]. Les principales différences sont les suivantes :
<* L'algorithme de recherche des points saillants proposé par Loupias et Sebe requiert une recherche parmi 22J x Ap2 x 3 coefficients pour chaque niveau de résolution 27 et pour une image carrée. Notre algorithme est indépendant de la taille du support de la base d'ondelette, ce qui nous amène à une recherche parmi 22j x 4x3coefficients. Cet avantage nous permet de pouvoir utiliser des bases d'ondelette avec un support pouvant être de taille importante alors que la plupart des publications utilisant le détecteur de Loupias et Sebe utilisent la base de Haar, loin d'être optimale. La méthode de Loupias et Sebe considèrent les sous-bandes indépendamment les unes des autres ce qui les amènent à détecter en priorité les points de gradient maximal dans toutes les directions (i.e. les coins). De notre côté, nous fusionnons l'information contenue dans les différentes sous-bandes ce qui nous permet de ne privilégier aucune direction particulière. 5.1 Tranformation ondelette
La transformation ondelette est un outil mathématique puissant permettant l'analyse multi-résolution d'une fonction [1][2][3]. L'Annexe A pour un rapide survol de cet outil. Dans le cas de l'invention, les fonctions considérées sont des images numériques c'est-à-dire des fonctions bi-dimensionnelles discrètes. Sans perte de généralités, nous supposons que les images traitées sont échantillonnées sur une grille discrète de n lignes et m colonnes et à valeur dans un espace de luminance échantillonné à 256 valeurs. De plus, nous supposons que n = 2k (kE:Z) et que
Figure imgf000015_0001
Si nous notons /l'image originale, nous avons alors :
Figure imgf000015_0002
Comme mentionné à la section4, la transformation ondelette de / permet une représentation multi-résolution de /. A chaque niveau de résolution 2} (j ≤ -l) , la représentation de / est donnée par une image grossière A2 et par trois images de détails D2 l lI , D^Iet D2lI . Chacune de ces images est de taille
2k+J x 2l*J . Ce processus est illustré sur la figure 2.
La transformation ondelette nécessite le choix d'une fonction échelle Φ(x) ainsi que le choix d'une fonction ondelette Ψ(x) . A partir de ces deux fonctions, on dérive un filtre échelle H et un filtre ondelette G dont les réponses impulsionnelles respectives h et g sont définies par : h(ή) = (02_! (u),φ(u - nnVn E Z g(n) = (*/ > u),φ(u - n))\fn G Z.
Notons respectivement H et G les filtres miroirs de H et G (i.e. h(n) = h(-n) et g(n) = g(-n)). On peut alors montrer [1] (cf. figure 2) que :
*> A2jl peut être calculée en convoluant -^2^+1/ avec H dans les deux dimensions et en sous-échantillonnant d'un facteur deux dans les deux dimensions ; *> D2 l j I peut être calculée en :
1. convoluant _42;+1J avec H suivant la direction y et en sous- échantillonnant d'un facteur deux suivant cette même direction ; 2. convoluant le résultat de l'étape 1) avec G suivant la direction x et en sous-échantillonnant d'un facteur deux suivant cette même direction. *> D2jl peut être calculée en :
1. convoluant -^^,7 avec G suivant la direction y et en sous- échantillonnant d'un facteur deux suivant cette même direction ;
2. convoluant le résultat de l'étape 1) avec H suivant la direction x et en sous-échantillonnant d'un facteur deux suivant cette même direction. *X* D2j I peut être calculée en : 1. convoluant A2 I a.vec G suivant la direction y et en sous- échantillonnant d'un facteur deux suivant cette même direction ; 2. convoluant le résultat de l'étape 1) avec G suivant la direction x et en sous-échantillonnant d'un facteur deux suivant cette même direction. 5.2 Construction de l'arborescence des coefficients ondelettes
Une fois la transformation ondelette effectuée jusqu'à la résolution 2r(r ≤ -l) , on dispose :
*t* D'une image approximée A2 ;
*> De trois images de détails D2 X , D2JI , D2JI par niveau de résolution 2; avecj=-l,...,r.
On construit alors une arborescence des coefficients ondelettes en se basant sur la technique Zerotree [4], Les arbres sont construits de la façon suivante (cf.figure 3) :
*> Chaque pixel p(x,y) de l'image A%rI est la racine d'un arbre ; *t* Chaque racine p (x,y) se voit attribuer trois nœuds fils désignés par les coefficients ondelettes des trois images de détails -D2rJ(s= 1,2,3) localisés au même emplacement (x,y) ;
*> Du fait du sous-échantillonnage d'un facteur deux effectué par la transformation ondelette à chaque changement de résolution, chaque coefficient ondelette s (x,y) (s=l,2,3) correspond à une zone de taille
2 2pixels dans l'image détail correspondante à la résolution 2r+1. Cette zone est localisée en (2x,2y) et tous les coefficients ondelettes y appartenant deviennent les nœuds fils de as (x, y) . De façon récursive, on construit l'arborescence dans laquelle chaque coefficient ondelette a2„ (x,y) (s= 1,2,3 et 0>u>r) possède quatre nœuds fils désignés par les coefficients ondelettes de l'image D2 localisés dans la région située en (2x,2y) et de taille 2x2pixels.
Une fois l'arborescence construite, chaque coefficient ondelette as (x,y)(s=l,2, 3) correspond à une région de taille 2~r x2"r pixels dans l'image détail D2 S .
5.3 Construction des cartes de saillance
A partir de l'arborescence obtenue par l'étape précédente, nous proposons de construire en ensemble de -r cartes de saillance (i.e. une carte de saillance par niveau de résolution). Chaque carte de saillance S2j (j=-l,...,r) reflète l'importance des coefficients ondelettes présents à la résolution correspondante
2j . Ainsi, plus un coefficient ondelette sera jugé important au sens de l'information qu'il véhicule, plus sa valeur de saillance sera importante.
Il est à noter que chaque coefficient ondelette privilégie une direction (horizontale, verticale ou oblique) suivant l'image de détails à laquelle il appartient. Cependant, nous avons choisi de ne privilégier aucune direction particulière et nous avons donc fusionné l'information contenue dans les trois coefficients ondelettes a2j (x,y), 2j(x,y), 2j(x,y) quelque soit le niveau de résolution 2J et quelque soit la localisation (x,y) avec 0 ≤ x < 2k+J et 0 ≤ y < 21+J . Chaque carte de saillance S2, est de taille 2 J x 2I+J . D'autre part, la saillance de chaque coefficient à la résolution 2J doit prendre en compte la saillance de ses descendants dans l'arborescence des coefficients.
Afin de prendre en compte l'ensemble de ces propriétés, la saillance d'un coefficient localisé en (x,y) à la résolution 2J est donnée par la relation récursive suivante :
Figure imgf000018_0001
Équation 1: expression de la saillance d'un coefficient ou
*l* Max(D2j ) (s= 1,2,3) dénote la valeur maximale des coefficients ondelettes dans l'image détail D2JI ; *> ak (0 ≤ ak ≤ 1,) )permet de régler l'importance des coefficients de saillance suivant le niveau de résolution. Il est à noter que l'on a ak = I .
*> Il est important de noter que les valeurs de saillance sont normalisées i.e. ≤ S2j (x,y) ≤ l.
Comme on peut le voir sur l'Équation 1, la saillance d'un coefficient est une relation linéaire des coefficients ondelettes. En effet, comme nous l'avons mentionné en section4, nous considérons les points saillants comme des pixels de l'image appartenant à des régions de haute fréquence. Or, un coefficient ondelette c 2j (x,y) (s= 1,2,3) élevé à la résolution 2y dénote une zone de haute fréquence dans l'image A2 I à la localisation (2x,2y). En effet, les images de détails étant obtenues par un filtrage passe-haut de l'image A2J I , chaque contour de A2^ génère un coefficient ondelette élevé dans une des images de détail à la résolution 2J et correspondant à l'orientation du contour.
Ainsi, la formulation de la saillance d'un coefficient donnée dans l'Équation 1 se justifie.
5.4 Choix des points saillants
Une fois la construction des cartes de saillance achevée, nous proposons une méthode afin de choisir les points les plus saillants dans l'image originale. Pour ce faire, nous construisons une arborescence des valeurs de saillance à partir des -r cartes de saillance construites. De façon analogue à la construction de l'arborescence des coefficients ondelettes, nous pouvons construire 2A+,+2r arbres de coefficients de saillance, chacun ayant pour racine un coefficient de S2, .
Comme pour la technique Zerotree, chacun de ces coefficients correspond à une zone de taille 2x2 coefficients dans la carte S2r+1 . On peut alors construire récursivement l'arbre dans lequel chaque nœud se voit attribuer quatre nœuds fils dans la carte de saillance de résolution immédiatement supérieure. La figure 4 illustre cette construction.
Afin de localiser les points les plus saillants dans I, nous procédons : 1. à un tri par ordre décroissant des 2k+l+2r valeurs de saillance présentes dans
S ;
2. à la sélection de la branche de saillance maximale de chacun des 2A+/+2r arbres ainsi triés.
Afin de sélectionner cette branche, nous proposons d'effectuer un parcours de l'arbre à partir de la racine dans lequel nous sélectionnons à chaque niveau de l'arbre le nœud fils ayant la valeur de saillance la plus importante (cf. figure 5). Nous obtenons ainsi une liste de -r valeurs de saillance :
Branche saillante = [s (xvyt),s2r+12,y2),L,-s2,, (x_,,y_r)} avec (xk,yk) = Arg Max{s2r k_2) (2xk_l + u^y^ + v),0 ≤ u ≤ 1,0 ≤ v ≤ l} . A partir des branches les plus saillantes de chaque arbre, le pixel de I choisi comme étant le plus représentatif de la branche est localisé en (2x_r ,2y_r ) .
Dans la pratique, on parcourt uniquement un sous-ensemble des 2k*'*2r arbres. En effet, pour de nombreuses applications, on recherche un nombre fixe n de points saillants. Dans ce cas, il convient de ne parcourir que les n arbres ayant les racines les plus saillantes.
6. Description détaillée d'au moins un mode particulier de réalisation
Dans cette section, nous utilisons les éléments techniques présentés dans la section précédente dont nous fixons les paramètres nécessaires afin de décrire un mode particulier de réalisation.
6.1 Choix de la transformation ondelette
Comme nous l'avons mentionné en section 5.1, nous devons en premier lieu choisir une base d'ondelettes et le niveau minimal de résolution 2r (r ≤ -1) . Pour ce mode particulier de réalisation, nous proposons d'utiliser la base de Haar et r=-4.
La base de Haar est définie par :
Figure imgf000020_0001
pour la fonction échelle, et par :
1 s- 0 ≤ C < —
2 ιp(x) = . - i157 - —1 ≤ Λ. < i 1
2 0 sinon
pour la fonction ondelette.
6.2 Construction de l'arborescence des coefficients ondelettes Dans cette étape, aucun paramètre n'est requis. Le processus est donc conforme à ce qui est décrit dans la section 5.1.
6.3 Construction des cartes de saillance
Dans cette étape, nous devons choisir les paramètres ak (-1 ≥ k ≥ r ) permettant de régler l'importance accordé aux coefficients de saillance suivant le niveau de résolution auquels ils appartiennent.
Dans ce cas particulier de réalisation, nous proposons d'utiliser ak -Vfcefc-i].
6.4 Choix des points saillants
Cette étape ne requiert aucun paramètre. Le processus est donc conforme à ce qui est décrit dans la section 5.4. 6.5 Résultats expérimentaux
Les résultats obtenus sur des images naturelles en utilisant les paramètres proposés dans ce mode particulier de réalisation sont illustrés sur la figure 6. 6.6 Exemple d'application
Parmi les applications potentielles listées dans la section 4, nous présentons dans cette section l'utilisation des points saillants pour l'indexation d'images fixes par le contenu.
6.6.1 But de l'indexation d'images
L'indexation d'images par le contenu permet de retrouver, parmi une base de données d'images, un ensemble d'images visuellement similaires à une image donnée appelée image requête. Pour ce faire, des caractéristiques visuelles
(appelées aussi descripteurs) sont extraites des images et forment la signature de l'image.
Les signatures des images appartenant à la base de données sont calculées off-line et sont stockées dans la base de données. Lorsque l'utilisateur soumet par la suite une image requête au moteur d'indexation, le moteur calcule la signature de l'image requête et rapproche cette signature des signatures pré-calculées de la base de données.
Ce rapprochement est effectué en calculant la distance entre la signature de l'image requête et les signatures de la base de données. Les images les plus similaires à l'images requête sont alors celles dont la signature minimise la distance calculée. La figure 7 illustre ce procédé.
Toute la difficulté de l'indexation d'images consiste alors à déterminer des descripteurs et des distances robustes.
6.6.2 Descripteurs basés sur les points saillants d'une image Nous proposons dans cette section de calculer la signature d'une image à partir d'un nombre fixe de points saillants. Cette approche est inspirée de [9]. Un descripteur colorimétrique et un descripteur de texture sont extraits au voisinage de chacun des points saillants. Le descripteur colorimétrique est constitué des moments d'ordre 0 (moyenne), 1 (variance) et 2 dans un voisinage de taille 3x3 autour de chaque point saillant. Le descripteur de texture est constitué des moments de Gabor dans un voisinage de taille 9x9.
Une fois la signature de l'image requête R calculée, la distance D(R,Ij) entre cette signature et la signature de la/ème image Ij dans la base de données est définie par : D(R,IJ) - 21 ιWlSJ(fl) - l,...,N i où N dénote le nombre d'images dans la base de données et S fJ est définie par :
Sj(fi) ≈ (χ i - gif(χ i - qi)
où xt et qt désignent respectivement le ième descripteur (par exemple i=l pour le descripteur colorimétrique et i=2 pour le descripteur de texture) de la j'ème image de la base et de l'image requête R. Les poids Wj permettent de moduler l'importance des descripteurs les uns par rapport aux autres.
Annexe A : Survol de la théorie des ondelettes A.1 Introduction
La théorie des ondelettes [1][2][3] permet d'approximer une fonction (courbe, surface, etc.) à différentes résolutions. Ainsi, cette théorie permet de décrire une fonction sous la forme d'une approximation grossière et d'une série de détails permettant de reconstruire parfaitement la fonction originale.
Une telle représentation multi-résolution [1] d'une fonction permet donc d'interpréter de façon hiérarchique l'information contenue dans la fonction. Pour ce faire, cette information est réorganisée en un ensemble de détails apparaissant à différentes résolutions. Partant d'une séquence de résolutions croissantes (r^)^ , les détails d'une fonction à la résolution r7 sont définis comme la différence d'information entre son approximation à la résolution η et son approximation à la résolution r.+1.
A.2 Notations Avant de présenter plus en détail les fondements de l'analyse multi- résolution, nous présentons dans cette section les notations qui seront utilisées dans le document.
*> Les ensembles des nombres entiers et réels sont respectivement notés Z et R. <* L2(R)dénotG l'espace vectoriel des fonctions unidimensionnelles. fΛ;) mesurables et intégrables.
*> Pour f(x) G L2 (R) et g(x) EL2(R) , le produit scalaire de f(x) et g(x) est défini par :
{f(x).g(x)) = f(u)g(u)du . * Pour f(x) G L2 (R) et g(x) G L2 (R) , la convolution dcf(x) et g(x) est définie par :
/ * g(x) = j f(u)g(x - u)du .
*> L2(R2) dénote l'espace vectoriel des fonctions f(x,y) de deux variables mesurables et intégrables. <* Pour f(x,y)s≡L2(R2)et g(x,y)EL2(R2 ), le produit scalaire de/(jc,y) et g(x,y) est défini par :
Figure imgf000024_0001
-4.3 Propriétés de l'analyse multi-résolution Dans cette section, nous présentons de manière intuitive les propriétés désirées de l'opérateur permettant l'analyse multi-résolution d'une fonction. Ces propriétés sont issues de [1],
Soit A2j l'opérateur qui approxime une fonction f(x)GL2(R) h la résolution 2J (j ≥ 0) (i.e.f(x) est définie par 2y échantillons). Les propriétés attendues de AlS sont les suivantes :
1. ^ est un opérateur linéaire. Si A2lf(x) représente l'approximation def(x) à la résolution 2J , alors A2jf(x) ne doit pas être modifié lorsqu'on l'approxime de nouveau à la résolution 2j . Ce principe s'écrit A2j 0A2j = A2j et montre que l'opérateur A2J est un opérateur de projection dans un espace vectoriel V2J C Û(R) . Cet espace vectoriel peut être interprété comme l'ensemble de toutes les approximations possibles à la résolution 2J des fonctions de L2(R) .
2. Parmi toutes les approximations possibles de f(x) à la résolution 2J , A2lf(x) est la plus similaire à f(x). L'opérateur A%s est donc une projection orthogonale sur V2J .
3. L'approximation d'une fonction à la résolution 27+1 contient toute l'information nécessaire pour calculer la même fonction à la résolution inférieure 2j . Cette propriété de causalité induit la relation suivante : V/EZ,F2, C ,+1 .
4. L'opération d'approximation est la même à toutes les résolutions. Les espaces des fonctions approximées peuvent être dérivés les uns des autres par un changement d'échelle correspondant à la différence de résolution : Mj< Z,f(x)≡V2J <» f(2x)≡V^ .
5. Lorsque l'on calcule une approximation de f(x) à la résolution 2J , une partie de l'information contenue dansf(x) est perdue.
Cependant, lorsque la résolution tend vers l'infini, la fonction approximée doit converger vers la fonction f(x) originale. De la même façon, lorsque la résolution tend vers zéro, la fonction approximée contient moins d'information et doit converger vers zéro.
Tout espace vectoriel (V } )jez qui satisfait l'ensemble de ces propriétés est appelé approximation multi-résolution de L2(R) .
A.4 Analyse multi-résolution d'une fonction unidimensionnelle
A.4.1 Recherche d'une base de V2,
Nous avons vu dans la section A.3 que l'opérateur d'approximation A2J est une projection orthogonale sur l'espace vectoriel V2] . Afin de caractériser numériquement cet opérateur, nous devons trouver une base orthonomale de V2J .
V2j étant un espace vectoriel contenant les approximations de fonctions de
L2(R) à la résolution 2j , toute fonction f(x)EV2] peut être vue comme un vecteur à 2J composantes. Il nous faut donc trouver 2J fonctions de base.
Un des théorèmes principaux de la théorie des ondelettes stipule qu'il existe une fonction unique Φ(x)E.L2(R) , appelée fonction échelle, à partir de laquelle on peut définir 2J fonctions de base Φj(x)dc F^par dilatation et translation de Φ(x) :
Φ{ (x) = f 2 ' x - i), i - o,L ,2J - 1. Approximer une fonction f(x)EL2(R) à la résolution 2J revient donc à projeter de façon orthogonale f(x) sur les 2J fonctions de base ΦJ, (x) . Cette opération consiste à calculer le produit scalaire de f(x) avec chacune des 27 fonctions de base Φj(x) :
Figure imgf000026_0001
On peut montrer [1] que A }f(x) peut être réduit la convolution deflx) avec le filtre passe-bas Φ( x) , évaluée au point k :
A2Jf = (f(u)*Φ(-2ju))(k),kEZ. Comme Φ(x) est un filtre passe-bas, -4^ /peut être interprété comme un filtrage passe-bas suivi d'un sous-échantillonnage uniforme.
A.4.2 Construction de l'analyse multi-résolution
Dans la pratique, les fonctions /à approximer (signal, image, etc.) sont discrètes. Supposons que la fonction f(x) originale soit définie sur n = 2k (kGZ) échantillons. La résolution maximale de/(x) est alors n.
Soit Anf l'approximation discrète de/( à la résolution n. La propriété de causalité (cf. section A.3) prétend que l'on peut calculer A2jf & partir de Anf pour tout j < k .
En effet, en calculant la projection des 2 J fonctions de base Φ (x)de J^, sur V2j+l , on peut montrer que -42//peut être obtenue en convoluant A Mf avec le filtre passe-bas correspondant à la fonction échelle et en sous- échantillonnant le résultat d'un facteur 2 :
2V+1-1
A2j f(u) = ∑ Mk ~ 2u)A2 f(k),Q ≤ u < 2J -l
avec h(n) = {Φ(2u),Φ(u -n)), lnE.Z .
A.4.3 La fonction détail
Comme mentionné dans la propriété (5) de la section A.3, l'opération qui consiste à approximer une fonction f(x) à une résolution 2J à partir d'une approximation à la résolution 2 +1 génère une perte d'information.
Cette perte d'information est contenue dans une fonction appelée fonction détail à la résolution 27 et notée D2lf . Il est à noter que la connaissance de D2jf et A }f permet de reconstruire parfaitement la fonction approximée A2JΛf .
La fonction détail à la résolution 2J est obtenue en projetant de manière orthogonale la fonction originale f(x) sur le complément orthogonal de F^ dans
V2 . Soit W j cet espace vectoriel. Pour calculer numériquement cette projection, nous avons besoin de trouver une base orthonormale de W2J c'est-à-dire 2J fonctions de base. Un autre théorème important de la théorie des ondelettes stipule qu'à partir d'une fonction échelle Φ(x ) , il est possible de définir 2J fonctions de base de W2J . Ces fonctions de baseΨ ( ) sont obtenues par dilatation et translation d'une fonction Ψ( x) appelée fonction ondelette :
Ψ/(x) = Ψ(2Jx - i), i = 0,L ,2J - 1. De la même façon que pour la construction de l'approximation
Figure imgf000027_0001
, 011 peut montrer que -D2,/peut être obtenu par une convolution de la fonction originale /(x) avec le filtre passe-haut Ψ(x) suivi d'un sous-échantillonnage d'un facteur 2J :
D2]f = (f(u)*Ψ(-2Ju))(k),k<EZ.
A.4.5 Extension à l'analyse multi-résolution de fonction bi-dimensionnelles
Dans cette section, nous présentons la manière d'étendre l'analyse multi- résolution par ondelettes aux fonctions de L2 (R2 ) comme les images.
Pour ce faire, on utilise les mêmes théorèmes que ceux utilisés précédemment. Ainsi, si l'on note V2J l'espace vectoriel des approximations de
L2(R2 ) h la résolution 2 on peut montrer que l'on peut trouver une base orthonormale de P^ en dilatant et translatant une fonction échelle Φ(x,y)≡L2(R2) :
Φ{(x,y) ≈ Φf 2' C - i,2J y - j), (i,j) Z2. Dans le cas particulier des approximations séparables de L2(R2) , on a Φ(x,y) = Φ(x)Φ(y)QÙ φ^est une f0ncti0n éc elle de L2(R) . Dans ce cas, l'analyse multi-résolution d'une fonction de L2(R2) est effectué en traitant de façon séquentielle et séparable chacune des dimensions x et y. Comme dans le cas unidimensionnel, la fonction détail à la résolution 2y est obtenue par une projection orthogonale dcf(x,y) sur le complément de V2j dans V , noté W s . Dans le cas bidimensionnel, on peut montrer que si l'on note Ψ(x) la fonction ondelette associé à la fonction échelle Φ(x ) , alors les trois fonctions définies par :
Ψ1(x,y) = Φ(x)Ψ(y) Ψ2(x,y) = Ψ(x)Φ(y) Ψ3(x, ) Ψ(x)Ψ(y) sont des fonctions ondelettes de L2(R2 ) . En dilatant et translatant ces trois fonctions ondelettes, on obtient une base orthonormale de Ws : ψ] (x, y) = ΦΨ 2 ' x - k,2J y -l) Ψ2(x,y) ≈ ΨΦ(2Jx-k,2Jy-l) Ψ3 (x,y) = ΨΨ(2J x - k,2J y - 1). La projection de f(x,y) sur ces trois fonctions de la base de W2J donne trois fonctions détails :
D2 l jf = f(x,y)*Φj(-x)Ψj(-y) D2 2 Jf = f(χ,y)*ΨJ(-χj(-y) D2 l jf = f(χ,y)*ΨJ(-χj(-y)
Annexe B : Références
[I] Mallat S., "A Theoryfor Multiresolution Signal Décomposition: the Wavelet Représentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, Juillet 1989, pp. 674-693.
[2] Stollnitz E.J., DeRose T.D., Salesin D., "Waveletsfor Computer Graphics:
A Primer-Part 2", IEEE Computer Graphics and Applications, Mai 1995, pp.76-84. [3] Stollnitz E.J., DeRose T.D., Salesin D., "Waveletsfor Computer Graphics:
A Primer-Part 2", IEEE Computer Graphics and Applications, Juillet 1995, pp.75-85. [4] Shapiro J.M., " Embedded Image Coding Using Zerotrees of Wavelet
Coefficients ", IEEE Transactions on Signal Processing, Vol. 41, No. 12,
Décembre 1993, pp. 3445-3462. [5] Schmid C, Mohr R. et Bauckhage C, " Evaluation of Interest Point
Detectors", International Journal of Computer Vision, Vol. 37, No 2, pp.
151-172, 2000. [6] Gouet V. et Boujemaa N., "About Optimal Use of Color Points of Interest for Content-Based Image Retrieval", Rapport de recherche INRIA, No 4439,
Avril 2002. [7] Harris C. et Stephens M., "A Combined Corner and Edge Detector",
Proceedings of the 4* Alvey Vision Conférence, 1988. [9] Sebe N. et Lew M.S., "Salient Points for Content-based
Retrieval", Proceedings of British Machine Vision Conférence, Manchester,
2001. [10] Bres S. et Jolion J.M., "Détection of Interest Points for Image Indexation".
[I I] Loupias E. et Sebe N., "Wavelet-based Salient Points for Image Retrieval ", Rapport de recherche RR 99.11, INSA Lyon, 1999.

Claims

REVENDICATIONS
1. Procédé de détection de points d'intérêt dans une image numérique source, ledit procédé mettant en œuvre une transformation en ondelettes associant à une image source une image sous-échantillonnée, dite image échelle, et des coefficients ondelettes correspondant à au moins une image de détails, pour au moins un niveau de décomposition, un point d'intérêt étant un point associé à une région de l'image présentant des hautes fréquences, caractérisé en ce qu'il comprend les étapes suivantes : - application de ladite transformation en ondelettes à ladite image source ;
- construction d'une arborescence unique, à partir des coefficients ondelettes de chacune desdites images de détails ;
- sélection d'au moins un point d'intérêt, par analyse de ladite arborescence.
2. Procédé selon la revendication 1, caractérisé en ce qu'on détermine, pour chaque niveau de décomposition, au moins deux images de détails correspondant respectivement à au moins deux directions prédéterminées par ladite transformation en ondelettes.
3. Procédé selon la revendication 2, caractérisé en ce que lesdites images de détails comprennent :
- une image de détails représentant les hautes fréquences verticales ;
- une image de détails représentant les hautes fréquences horizontales ;
- une image de détails représentant les hautes fréquences diagonales,
4. Procédé selon l'une quelconque des revendications 2 et 3, caractérisé en ce qu'il comprend une étape de fusion des coefficients desdites images de détails, de façon à ne privilégier aucune direction de ladite image source.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite étape de construction d'une arborescence repose sur une approche de type Zerotree.
6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que chaque point de l'image échelle de résolution minimum est la racine d'un arbre à laquelle on associe un nœud fils à chacun des coefficients ondelettes de chacune de la ou desdites images de détails localisés au même emplacement, puis en ce qu'on associe récursivement, à chaque nœud fils d'un niveau de résolution donné, quatre nœuds fils formés par les coefficients ondelettes de l'image de détails de même type et du niveau de résolution précédent, et associée à la région correspondante de l'image source.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractérisé en ce que ladite étape de sélection met en œuvre une étape de construction d'au moins une carte de saillance, affectant auxdits coefficients ondelettes une valeur de saillance représentative de son intérêt.
8. Procédé selon la revendication 7, caractérisé en ce que l'on construit une carte de saillance pour chacun desdits niveaux de résolution.
9. Procédé selon l'une quelconque des revendications 7 et 8, caractérisé en ce que, pour chacune desdites cartes de saillance, on fusionne pour chaque valeur de saillance les informations associées aux trois coefficients ondelettes correspondant aux trois images de détail, de façon à ne privilégier aucune direction dans l'image.
10. Procédé selon l'une quelconque des revendications 7 à 9, caractérisé en ce qu'une valeur de saillance d'un coefficient ondelette donné d'un niveau de résolution donné prend en compte la ou les valeurs de saillance des coefficients ondelettes descendant dans ladite arborescence dudit coefficient ondelette donné.
11. Procédé selon l'une quelconque des revendications 7 à 10, caractérisé en ce qu'une valeur de saillance est une relation linéaire des coefficients ondelettes associés.
12. Procédé selon la revendication 11, caractérisé en ce que la valeur de saillance d'un coefficient ondelette donné est calculée à partir des équations suivantes :
Figure imgf000032_0001
13. Procédé selon la revendication 12, caractérisé en ce que le paramètre αk vaut -1/r pour toutes les valeurs de k.
14. Procédé selon l'une quelconque des revendications 7 à 13, caractérisé en ce que ladite étape de sélection comprend une étape de construction d'une arborescence desdites valeurs de saillance.
15. Procédé selon la revendication 14, caractérisé en ce que ladite étape de construction d'une arborescence desdites valeurs de saillance repose sur une approche de type Zerotree.
16. Procédé selon l'une quelconque des revendications 14 et 15, caractérisé en ce que ladite étape de sélection comprend les étapes de :
- tri par ordre décroissant des valeurs de saillance de la carte de saillance correspondant à la résolution minimum ;
- sélection de la branche présentant la valeur de saillance la plus élevée pour chacun des arbres ainsi triés.
17. Procédé selon la revendication 16, caractérisé en ce que ladite étape de sélection de la branche présentant la valeur de saillance la plus élevée met en œuvre un parcours de l'arbre correspondant à partir de sa racine, et une sélection à chaque niveau de l'arbre du nœud fils présentant la valeur de saillance la plus élevée.
18. Procédé selon l'une quelconque des revendications 1 à 17, caractérisé en ce que ladite transformation en ondelettes met en œuvre la base de Haar.
19. Procédé selon l'une quelconque des revendications 1 à 18, caractérisé en ce que le niveau minimal de résolution est 2"4.
20. Procédé selon l'une quelconque des revendications 1 à 15, caractérisé en ce qu'il comprend une étape de calcul d'une signature d'image, à partir d'un nombre prédéterminé de points d'intérêt de ladite image.
21. Procédé selon la revendication 20, caractérisé en ce que ladite signature est utilisée pour l'indexation d'images par leur contenu.
22. Application du procédé de détection de points d'intérêt dans une image numérique source selon l'une quelconque des revendications 1 à 21 à au moins un des domaines appartenant au groupe comprenant :
- le tatouage d'images ;
- l'indexation d'images ;
- la détection de visage(s) dans une image.
23. Dispositif de détection de points d'intérêt dans une image numérique source, mettant en œuvre une transformation en ondelettes associant à une image source une image sous-échantillonnée, dite image échelle, et des coefficients ondelettes correspondant à au moins une image de détails, pour au moins un niveau de décomposition, un point d'intérêt étant un point associé à une région de l'image présentant des hautes fréquences, caractérisé en ce qu'il comprend :
- des moyens d'application de ladite transformation en ondelettes à ladite image source ;
- des moyens de construction d'une arborescence unique, à partir des coefficients ondelettes de chacune desdites images de détails ;
- des moyens de sélection d'au moins un point d'intérêt, par analyse de ladite arborescence.
24. Programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé de détection de points d'intérêt dans une image numérique source selon l'une quelconque des revendications 1 à 22.
25. Produit programme d'ordinateur comprenant des instructions de code de programme enregistré sur un support utilisable dans un ordinateur, comprenant des moyens de programmation lisible par ordinateur pour la mise en œuvre d'une transformation en ondelettes associant à une image source une image sous-échantillonnée, dite image échelle, et des coefficients ondelettes correspondant à au moins une image de détails, pour au moins un niveau de décomposition, un point d'intérêt étant un point associé à une région de l'image présentant des hautes fréquences, caractérisé en ce qu'il comprend :
- des moyens de programmation lisible par ordinateur pour effectuer l'application de ladite transformation en ondelettes à ladite image source ; - des moyens de programmation lisible par ordinateur pour effectuer la construction d'une arborescence unique, à partir des coefficients ondelettes de chacune desdites images de détails ;
- des moyens de programmation lisible par ordinateur pour effectuer la sélection d'au moins un point d'intérêt, par analyse de ladite arborescence.
26. Support de données numériques utilisable par un ordinateur, caractérisé en ce qu'il comprend des instructions de code de programme d'un programme d'ordinateur selon l'une quelconque des revendications 24 et 25.
PCT/FR2003/000834 2002-12-31 2003-03-14 Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants. WO2004068410A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03725291A EP1579386A1 (fr) 2002-12-31 2003-03-14 Procede et dispositif de detection de points d'interet dans une image numerique source, programme d'ordinateur et support de donees correspondants
AU2003227837A AU2003227837A1 (en) 2002-12-31 2003-03-14 Method and device for detection of points of interest in a source digital image, corresponding computer programme and data support
US10/541,118 US20060257028A1 (en) 2002-12-31 2003-03-14 Method and device for detection of points of interest in a source digital image, corresponding computer program and data support

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR02/16929 2002-12-31
FR0216929 2002-12-31

Publications (1)

Publication Number Publication Date
WO2004068410A1 true WO2004068410A1 (fr) 2004-08-12

Family

ID=32799431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2003/000834 WO2004068410A1 (fr) 2002-12-31 2003-03-14 Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants.

Country Status (4)

Country Link
US (1) US20060257028A1 (fr)
EP (1) EP1579386A1 (fr)
AU (1) AU2003227837A1 (fr)
WO (1) WO2004068410A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009053516A1 (fr) 2007-10-26 2009-04-30 Consejo Superior De Investigaciones Científicas Procédé et système d'analyse de caractéristiques de signaux numériques

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2007002071A (es) * 2004-08-18 2007-04-24 Nielsen Media Res Inc Metodos y aparatos para generar firmas.
US7970226B2 (en) * 2007-04-23 2011-06-28 Microsoft Corporation Local image descriptors
US8126275B2 (en) 2007-04-24 2012-02-28 Microsoft Corporation Interest point detection
US8650402B2 (en) * 2007-08-17 2014-02-11 Wong Technologies L.L.C. General data hiding framework using parity for minimal switching
US10769247B2 (en) * 2014-12-04 2020-09-08 Guy Le Henaff System and method for interacting with information posted in the media
CN113313709A (zh) * 2021-07-14 2021-08-27 常州微亿智造科技有限公司 工业部件的缺陷检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19744648A1 (de) * 1997-10-09 1999-04-15 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Sekundärbilderzeugung und zur schnellen Suche in digitalen Bilddatenbanken

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
US6144773A (en) * 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
US6157746A (en) * 1997-02-12 2000-12-05 Sarnoff Corporation Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method
US5923785A (en) * 1997-03-31 1999-07-13 Interated Systems, Inc. System and method for compressing data
EP0985193B1 (fr) * 1997-05-30 2003-01-29 Interval Research Corporation Procede et appareil de compression de donnees par ondelettes
KR100284027B1 (ko) * 1998-12-22 2001-03-02 서평원 웨이블릿 패킷 계수의 재배치방법
KR20000059799A (ko) * 1999-03-09 2000-10-05 구자홍 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
JP2004509531A (ja) * 2000-09-12 2004-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
KR100389807B1 (ko) * 2001-05-30 2003-07-02 한국과학기술원 Spiht에 기반한 관심영역의 코딩방법
FR2849329A1 (fr) * 2002-12-20 2004-06-25 France Telecom Procede de codage d'une image par ondelettes, procede de decodage, dispositifs, signal et applications correspondantes
WO2006004847A2 (fr) * 2004-06-30 2006-01-12 Comet Video Technology Procede de compression de donnees incluant une compression de donnees video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19744648A1 (de) * 1997-10-09 1999-04-15 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Sekundärbilderzeugung und zur schnellen Suche in digitalen Bilddatenbanken

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN C-H, LEE J-S, SUN Y-N: "Wavelet Transformation for Gray-Level Corner Detection", PATTERN RECOGNITION, vol. 28, no. 6, 1995, pages 853 - 861, XP002259956 *
LOUPIAS E ET AL: "Wavelet-based salient points for image retrieval", PROC. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING 2000, vol. 2, 10 September 2000 (2000-09-10) - 13 September 2000 (2000-09-13), pages 518 - 521, XP010530035 *
SHAPIRO J M: "EMBEDDED IMAGE CODING USING ZEROTREES OF WAVELET COEFFICIENTS", IEEE TRANSACTIONS ON SIGNAL PROCESSING, IEEE, INC. NEW YORK, US, vol. 41, no. 12, 1 December 1993 (1993-12-01), pages 3445 - 3462, XP000426658, ISSN: 1053-587X *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009053516A1 (fr) 2007-10-26 2009-04-30 Consejo Superior De Investigaciones Científicas Procédé et système d'analyse de caractéristiques de signaux numériques

Also Published As

Publication number Publication date
AU2003227837A1 (en) 2004-08-23
US20060257028A1 (en) 2006-11-16
EP1579386A1 (fr) 2005-09-28

Similar Documents

Publication Publication Date Title
EP3707676B1 (fr) Procédé d&#39;estimation de pose d&#39;une caméra dans le référentiel d&#39;une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d&#39;ordinateur associé
Hahn et al. Compressive sensing and adaptive direct sampling in hyperspectral imaging
US20140355843A1 (en) 3d face recognition method based on intermediate frequency information in geometric image
Xu et al. Multi-focus image fusion using fully convolutional two-stream network for visual sensors
EP2364490A1 (fr) Dispositif a architecture pipeline de flot de donnees pour la reconnaissance et la localisation d&#39;objets dans une image par balayage de fenetres de detection
EP0960382B9 (fr) Procede pour reconnaitre dans un catalogue preetabli des etoiles detectees par un senseur stellaire
EP1579386A1 (fr) Procede et dispositif de detection de points d&#39;interet dans une image numerique source, programme d&#39;ordinateur et support de donees correspondants
FR3091355A1 (fr) Système et procédé d’identification de source radar
WO2020245526A1 (fr) Procede de generation de cartes haute resolution a partir de nuages de points
FR2853748A1 (fr) Procede de tatouage d&#39;une image en couleurs par approche vectorielle, procede de detection d&#39;une marque de tatouage, dispositifs, image et programmes d&#39;ordinateurs correspondants
Yang et al. Texture feature extraction of mountain economic forest using high spatial resolution remote sensing images
Vijayaraj et al. High resolution urban feature extraction for global population mapping using high performance computing
Ng et al. Robust pairwise matching of interest points with complex wavelets
Elakkiya et al. Feature based object recognition using discrete wavelet transform
EP1751694B1 (fr) Procede de caracterisation d&#39;une image numerique et ses applications
Sarkar et al. Hyperspectral texture synthesis using histogram and power spectral density matching
Zhang et al. An unsupervised change detection based on clustering combined with multiscale and region growing
Ranjan et al. U-net based MRA framework for segmentation of remotely sensed images
Miclea et al. SPATIAL-SPECTRAL CLASSIFICATION OF HYPERSPECTRAL DATA WITH CONTROLLED DATA SEPARATION
Dixit et al. Logo based document image retrieval using singular value decomposition features
Parlewar et al. An Efficient Saliency Detection Using Wavelet Fusion Check for updates
Parlewar et al. An Efficient Saliency Detection Using Wavelet Fusion
Gan Hunting Elusive Excess Variance in Big LOFAR Data
Vu et al. Designing of wavelet-based processing system for airborne laser scanner segmentation
Agrawal et al. A New Hybrid Multifocus Image Fusion Model Using Single Optimum Gabor Filter.

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003725291

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003725291

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006257028

Country of ref document: US

Ref document number: 10541118

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10541118

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP