WO2009150361A2

WO2009150361A2 - Procede et dispositif de reconnaissance invariante-affine de formes

Info

Publication number: WO2009150361A2
Application number: PCT/FR2009/050923
Authority: WO
Inventors: Jean-Michel Morel; Guoshen Yu
Original assignee: Ecole Polytechnique; Ecole Normale Superieure
Priority date: 2008-05-19
Filing date: 2009-05-18
Publication date: 2009-12-17
Also published as: CN102099815B; JP2011521372A; KR20110073386A; US20110069889A1; CN102099815A; WO2009150361A3; FR2931277A1; EP2289026A2; US8687920B2; JP5442721B2; FR2931277B1

Abstract

L'invention concerne un procédé pour la reconnaissance d'objets dans au moins une image digitale dans lequel : a) à partir de ladite image digitale, on simule une pluralité de rotations digitales et au moins deux tilts digitaux différents de 1, de façon à élaborer pour chaque couple rotation-tilt, une image simulée; et b) on applique un algorithme produisant des valeurs invariantes par translation, rotation et zoom sur les images simulées de façon à déterminer des caractéristiques locales dites SIFs (« scale invariant features ») que l'on utilise pour la reconnaissance d'objets. A l'étape b, on peut utiliser la méthode SIFT.

Description

" Procédé et dispositif de reconnaissance invariante-affine de formes."

La présente invention concerne un procédé et un dispositif pour la reconnaissance d'objets dans au moins une image digitale.

D'une façon générale, un procédé de reconnaissance de formes a pour objet de reconnaître un objet ou un type d'objet qui a été pris en photo quand la position relative de l'objet et du dispositif de prise de vue réel ou simulé sont inconnus, ou quand l'objet s'est éventuellement déformé. L'objet lui- même peut être un objet graphique et non physique (comme par exemple un logo digital ou le résultat d'une simulation). Pour simplifier nous appellerons dans la suite « caméra » le dispositif de prise de vue (ou de simulation de prise de vue), mais l'invention concerne toute acquisition d'images, et toutes distorsions ou déformations géométriques de la vue d'un objet entraînées par le changement de position relativement à l'objet de la caméra, ou par les particularités du dispositif d'acquisition ou de simulation d'images. De plus les objets photographiés ou simulés n'ont pas besoin d'être identiques, il suffit qu'ils soient semblables, une situation courante pour des objets issus d'une production industrielle ou graphique. Une ou plusieurs images de l'objet à reconnaître sont à disposition : ce sont les images « requêtes ». L'image ou les images où l'objet est recherché ne le contiennent pas forcément. Le but est de trouver des indices fiables pour savoir si l'objet est présent dans ces images analysées, et de donner sa position dans l'image.

La première simplification proposée par toutes les méthodes traitant le problème de reconnaissance est de supposer que l'objet a un relief assez régulier pour que l'on puisse interpréter les déformations locales dans les images cibles comme des déformations affines planaires de l'image requête. La plupart des objets physiques d'intérêt sont en effet des volumes dont la surface présente des faces planes ou légèrement courbées. Les exceptions sont rares. Comme exemple d'exception, citons un arbre sans feuilles, dont l'aspect peut changer drastiquement par un changement d'angle de vue, ou les remous d'un liquide. Or, toute déformation régulière au sens mathématique du terme (différentiable) est, localement dans l'image, proche d'une déformation affine. C'est en particulier le cas pour la déformation apparente de l'image optique d'un objet assez régulier, quand cette déformation apparente dans l'image est causée par le mouvement de la caméra, ou par les distorsions optiques de la caméra, ou par le mouvement de l'objet, voire par une déformation progressive de l'objet lui-même. Par exemple dans le cas d'un objet plat, la déformation de son image causée par un changement de position de la caméra l'observant est une homographie plane, qui est en tout point tangente à une application affine. Si de plus la caméra est assez loin de l'objet observé, cette déformation de l'image ressemble de plus en plus à une transformation affine globale. Réciproquement, toute transformée affine du plan de l'image de déterminant positif peut être interprétée comme une déformation de l'image due au mouvement dans l'espace d'une caméra observant l'image et située loin de l'image (virtuellement à l'infini). Rappelons qu'une déformation affine du plan de coordonnées (x,y) s'écrit sous la forme x'=ax+by+e, y'=cx+dy+f, et les paramètres a, b, c, d forment une matrice à deux lignes et deux colonnes que nous noterons A. La déformation affine d'une image u(x,y) s'écrit donc u (x',y')= u(A(x,y) +(e,f))

Pour les raisons données ci-dessus, le problème de la reconnaissance des formes peut être réduit à la recherche de caractéristiques locales d'images qui soient invariantes modulo une transformation affine. Ces caractéristiques sont alors robustes aux déformations locales apparentes entraînées par les mouvements relatifs de l'objet et de la caméra, ainsi qu'aux distorsions entraînées par le dispositif d'acquisition, telles que par exemple la distorsion optique d'une lentille, et finalement aux distorsions dues aux déformations de l'objet lui-même.

Dans la suite, on utilise « tilt » et « digital » qui sont des termes couramment utilisés par l'homme du métier et qui signifient respectivement inclinaison et numérique. On utilise également SIF et SIFT qui sont des abréviations connues par l'homme du métier et qui signifient respectivement « scale invariant feature » et « scale invariant feature transform», soit « caractéristique invariante en échelle » et « transformée de caractéristique invariante en échelle ».

On connaît le document US 671 1293 (Lowe) qui décrit une méthode dite méthode SIFT pour « scale invariant feature transform » permettant de reconnaître des objets sur une image prise de manière frontale par une caméra. Dans ce document US 671 1293, on considère qu'explorer tout l'espace affine serait prohibitif et non efficace. Lowe remarque enfin que le défaut d'invariance de sa méthode SIFT pourrait être compensé en prenant des vues réelles des objets 3D éloignées les unes des autres de 30 degrés.

Le document « Cloth Motion Capture », de D. Pritchard et W. Heidrich, Eurographics 2003/ volume 22, Number 3, décrit une méthode pour déterminer des caractéristiques SIFT, dans laquelle, à partir d'une image initiale prise de manière frontale, on élabore quatre images simulées avec un tilt égal à deux. La première image simulée est obtenue pour un tilt réalisé selon l'horizontal, la seconde selon la verticale, les troisième et quatrième selon deux axes de 45 degrés. Cette méthode prévoit donc quatre images simulées de façon à améliorer la reconnaissance.

La présente invention a pour but un nouveau procédé de reconnaissance d'une portion d'une image planaire qui a subi une transformation affine arbitraire. L'invention a aussi pour but de permettre la reconnaissance d'objet dans une image pour laquelle la prise de vue est oblique, en comparaison à une prise de vue frontale face à l'objet, ou également oblique. L'invention a donc pour but d'améliorer le taux de reconnaissance quelles que soient les prises de vues..

On atteint au moins l'un des objectifs précités avec un procédé pour la reconnaissance d'objets dans au moins une image digitale dans lequel : a) à partir de ladite image digitale, on simule une pluralité de rotations digitales et au moins deux tilts digitaux différents de 1, de façon à élaborer pour chaque couple rotation-tilt, une image simulée, et b) on applique un algorithme produisant des valeurs invariantes par translation, rotation et zoom sur les images simulées de façon à déterminer des caractéristiques locales dites SIFs (« scale invariant features ») que l'on utilise pour la reconnaissance d'objets. En d'autres termes, à partir de l'image digitale, on simule plusieurs changements de directions d'axe optique d'une caméra observant l'image digitale à l'infini. Bien que chaque position de la caméra soit définie par un couple rotation-tilt, l'homme du métier comprendra aisément que d'autres transformations plus ou moins complexes peuvent être utilisées pour définir une position de la caméra. Néanmoins, l'invention est remarquable par le fait - A - que tout changement d'orientation de l'axe de la caméra peut se résumer à une rotation suivie d'un tilt.

Le procédé selon la présente invention est basé sur l'observation que toute transformation affine du plan peut être interprétée comme une transformation de l'image due à un changement de position d'une caméra à l'infini. Grâce à cette interprétation on peut décomposer une transformation affine en le produit:

-d'un mouvement de la caméra le long de l'axe optique, ou zoom (1 paramètre), -d'une translation parallèlement au plan focal (2 paramètres),

-d'une rotation axiale de la caméra (1 paramètre),

-et d'un changement de direction d'axe optique de la caméra (2 paramètres).

Des algorithmes de l'art antérieur, tels que la méthode SIFT, permettent de reconnaître une image pour laquelle les trois premières transformations sont arbitraires. Elles correspondent aux quatre paramètres de rotation axiale de la caméra, de zoom, et de translation parallèlement au plan focal (et donc perpendiculairement à l'axe optique). La méthode SIFT permet de déterminer des SIFs (« scale invariant features »), c'est-à-dire plus précisément des caractéristiques invariantes par zoom, translation et rotation de l'image, mais ne tient pas compte des deux derniers paramètres relatifs au changement de direction d'axe optique de la caméra. Lowe prévoit des vues supplémentaires pour améliorer la sensibilité de la méthode SIFT, mais il s'agit de vues réelles, ce qui implique des manipulations supplémentaires ainsi qu'une augmentation considérable des données à traiter. Pritchard prévoit uniquement quatre images simulées car on considérait qu'aller au- delà serait contreproductif et prohibitif en termes de temps de calcul. La présente invention va au-delà d'un préjugé généralement admis, selon lequel le temps de calcul serait prohibitif si l'on augmentait le nombre d'images simulées.

Avec le procédé selon la présente invention, on peut simuler avec une précision suffisante toutes les distorsions de l'image dues aux variations des deux paramètres non traités dans la méthode SIFT, qui sont les paramètres de changement de direction de l'axe optique de la caméra. Avec l'invention, on élabore d'abord plusieurs images simulées en fonction desdits deux derniers paramètres que l'on décrit par une rotation et un tilt. En particulier, les couples rotation-tilt peuvent s'inscrire dans une demi-sphère au-dessus de l'image digitale. On considère que la rotation et le tilt correspondent respectivement à la longitude et la latitude dans l'espace. Pritchard décrit en fait quatre rotations et une seule valeur de tilt à partir d'une image frontale. Avec l'invention, les images initiales peuvent être obtenues par des prises de vues non frontales, c'est-à-dire obliques jusqu'à environ 80 degrés. Les systèmes de l'art antérieur permettent de reconnaître des objets avec une tolérance pour des changements d'orientation d'axe de la caméra entraînant des tilts réels allant jusqu'à 3 ou 4. Le procédé selon l'invention peut traiter les tilts jusqu'à une valeur dépassant 40. En effet, dans la situation où une caméra a pris deux vues d'un objet plat avec des tilts t et t', la simulation de l'une de ces vues obliques à partir de l'autre peut demander de simuler un tilt allant jusqu'à la valeur tt'. Par exemple pour des latitudes de 80°, le tilt est de 5.76 et le tilt combiné quand les vues obliques ont une différence de longitude égale à 90° est égal à 5.76²=33.2. Un tilt très supérieur à 2, allant jusqu'à 30 par exemple ou plus est donc possible, et le procédé selon l'invention permet de reconnaître de telles vues obliques l'une à partir de l'autre.

Ce procédé est donc capable de reconnaître toutes les vues possibles de l'image à l'infini, puisque les vues simulées n'ont plus besoin que d'un algorithme de reconnaissance invariant par translation, rotation et zoom, problème bien maîtrisé dans l'état de l'art qui sait calculer des SIFs.

Le principe sur lequel se base le procédé selon l'invention n'est pas de supposer que toute l'image a subi une seule transformation affine, ce qui n'est vrai que pour un objet complètement plan et une caméra à l'infini. Par contre, en appliquant un algorithme de reconnaissance prenant en compte toutes les transformations affines de l'image on obtient bien une reconnaissance complète, car chaque déformation est localement tangente à une application affine. On peut résumer la situation en disant que la simulation de toutes les transformations affines suffit pour simuler effectivement toutes les déformations locales de l'image. Selon un mode de mise en œuvre de l'invention, le procédé est appliqué à une image dite requête et une image dite cible, les SIFs des images simulées de la requête étant comparés aux SIFs des images simulées de la cible de façon à reconnaître des objets semblables ou identiques entre la requête et la cible.

A titre d'exemple non limitatif, lorsqu'on applique le procédé selon l'invention à une ou plusieurs images dites requêtes et une ou plusieurs images dites cibles, les SIFs relatifs à la requête peuvent être déterminés au cours d'une étape préalable d'étalonnage de façon à constituer un dictionnaire de SIFs. Et les SIFs relatifs aux cibles peuvent être respectivement déterminés au cours d'une étape de fonctionnement pendant laquelle on compare les SIFs obtenus à partir de chaque cible aux SIFs dudit dictionnaire.

Pour déterminer empiriquement un nombre et des positions optimaux des couples rotation-tilt à réaliser afin de garantir des résultats acceptables, on réalise le procédé selon l'invention dans lequel la requête contient une prise de vue quelconque d'un objet de forme semblable ou identique à la forme d'un autre objet contenu dans la cible sous une prise de vue quelconque, et on détermine des couples rotation-tilt, c'est à dire ce nombre optimum et ces positions optimales comme étant ceux pour lesquels les SIFs des deux objets sont semblables, pour un grand nombre d'objets testés.

Le procédé selon l'invention prévoit d'élaborer un même nombre d'images simulées pour la requête et pour la cible, et pour les mêmes couples rotation-tilt. Mais il prévoit également le cas où on élabore un nombre différent d'images simulées pour la requête et pour la cible, notamment avec des tilts différents ou identiques.

Avantageusement, le nombre de rotations par tilt augmente en même temps que la valeur du tilt augmente. De préférence, on définit le tilt comme une fonction de la latitude dans une demi-sphère au-dessus de l'image digitale, et l'écart de latitude entre deux tilts consécutifs diminue en même temps que le tilt augmente. En particulier, la latitude peut être mesurée par un paramètre θ allant de 0 à 90 degrés, ou alternativement par un paramètre de tilt défini par t= l/| cos(θ) | . Ces caractéristiques permettent d'avoir des positions simulées de plus en plus rapprochées de la caméra lorsque la latitude tend vers les 90°. Selon une caractéristique avantageuse de l'invention, pour une rotation donnée, les tilts considérés forment approximativement, c'est-à-dire avec une tolérance, une suite géométrique finie 1, a, a², a³, ... , a", a étant un nombre plus grand que 1. A titre d'exemple non limitatif, a est de l'ordre de racine de 2 (V2) et n peut aller de 2 à 6 si les couples rotation-tilt sont appliqués aussi bien sur la cible que sur la requête, et de 2 à 12 si les couples rotation-tilt sont appliqués sur une seule des deux images.

Selon une autre caractéristique avantageuse de l'invention, pour un tilt t donné, les rotations digitales, par exemple à partir du tilt t =a, forment approximativement, c'est-à-dire avec une tolérance, une suite arithmétique 0, b/t, 2b/t, ..., kb/t degrés, avec b en degrés et k un nombre entier.

De préférence, b est de l'ordre de 72 degrés, et k est la dernière valeur entière telle que kb/t soit inférieur àl80 degrés. Avec ces valeurs typiques, pour chaque tilt testé t on simule (180/72). t images= 2,5.f images.

Avantageusement, appliquer un tilt t consiste à sous-échantillonner l'image digitale dans une direction d'une valeur égale à t, ce qui divise sa surface par t. On peut également appliquer un tilt en combinant un sous- échantillonnage de l'image digitale selon une direction avec un sur- échantillonnage selon une direction orthogonale à la précédente.

Pour éviter que la surface totale simulée n'excède trop celle de l'image initiale, on peut prendre par exemple a= racine de 2 et /7=4. Si chaque tilt t est obtenu par sous-échantillonnage, cela divise la surface de l'image après tilt par t. Donc on simule pour chaque t des images dont la surface totale est 18O.t/(72.t) = 2,5 fois la surface de l'image initiale. La surface traitée est donc égale à 2.5 fois la surface de l'image initiale multipliée par le nombre de tilts. La surface simulée est donc 2, 5. /7=10 fois celle de l'image initiale. Si toutefois on applique le procédé selon l'invention à des zooms arrière d'un facteur 3 des images requête et cible, la surface simulée est d'à peine 10/9 = 1.11 fois la surface initiale. Donc le procédé selon l'invention prend un temps comparable à la méthode SIFT, par exemple, tout en permettant la reconnaissance de vues obliques jusqu'à un tilt de transition de 16. Toutefois, un tilt peut être simulé en combinant un sur-échantillonnage dans une direction et un sous-échantillonnage dans la direction orthogonale, de sorte que la surface de l'image reste constante et ne diminue pas (voir définition du tilt plus loin).

Ainsi, avec le procédé selon l'invention, simuler toutes les vues dépendant de deux paramètres en conservant un temps de calcul et une mémoire raisonnable est rendu possible grâce au fait que l'espace des deux paramètres rotation et tilt est échantillonné avec assez peu de valeurs pour chaque paramètre, et que la simulation des distorsions dues aux vues obliques peut faire diminuer la taille des images par sous-échantillonnage. Cela permet de générer virtuellement toutes les vues possibles à une précision donnée, tout en n'étendant pas trop la capacité mémoire requise.

Selon un mode de réalisation avantageux de l'invention, le procédé selon l'invention peut s'appliquer à ladite image digitale en comparaison avec la même image digitale ou une transformée de celle-ci, par exemple une symétrie axiale, de façon à déterminer dans cette image digitale des symétries, des formes répétées ou des formes présentant des périodicités.

Suivant un autre aspect de l'invention, il est prévu un dispositif pour la mise en œuvre d'un procédé pour la reconnaissance d'objets dans au moins une image digitale selon l'invention. Ce dispositif comprend un circuit de traitement configuré pour : a) appliquer, à partir de ladite image digitale, une pluralité de rotations digitales et au moins deux tilts digitaux t différents de 1 de façon à élaborer pour chaque couple rotation-tilt, une image simulée, et b) appliquer un algorithme invariant par translation, rotation et zoom sur les images simulées de façon à déterminer des caractéristiques locales dites SIFs (« scale invariant features ») que l'on utilise pour la reconnaissance d'objets.

Ce dispositif comprend avantageusement un espace mémoire dans lequel est stocké un dictionnaire de SIFs ; et le circuit de traitement est configuré de façon à comparer les SIFs de ladite image digitale (image initiale) aux SIFs dudit dictionnaire.

Selon l'invention, le circuit de traitement peut être configuré de façon à traiter un nombre arbitraire d'images en parallèle. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée d'un mode de mise en œuvre nullement limitatif, et des dessins annexés, sur lesquels :

La figure 1 est une vue générale d'un dispositif mettant en œuvre le procédé selon l'invention ;

La figure 2 est un organigramme illustrant de façon simplifiée des étapes du procédé selon l'invention ;

La figure 3 est une vue générale illustrant les quatre paramètres principaux décrivant les positions d'une caméra ; La figure 4 est une vue générale illustrant des comparaisons multiples entre images simulées ;

La figure 5 est une vue générale illustrant une sphère dans laquelle s'inscrivent des couples rotation-tilt ;

La figure 6 est une vue générale illustrant une répartition des positions des tilts et rotations simulés sur la sphère de la figure 5 ;

Les figures 7 et 8 sont des vues illustrant la différence entre tilts absolus et tilts relatifs, ou tilts de transition.

Sur la figure 1, on voit une unité de traitement 1 telle qu'un ordinateur doté de moyens logiciels et matériels nécessaires pour son bon fonctionnement. Il comprend notamment un circuit de traitement 2 tel qu'un microprocesseur ou un microcontrôleur dédié qui est configuré de façon à traiter des images selon le procédé selon la présente invention. On distingue également un espace mémoire 3 conventionnel apte à stocker notamment des SIFs sous la forme d'un dictionnaire. Cet ordinateur est équipé d'un moniteur 4 de visualisation sur lequel peuvent s'afficher les images traitées.

Une caméra 5 est reliée à l'ordinateur 1 via un câble de connexion. Mais d'autres moyens de connexion notamment sans fil peuvent être utilisés. On peut aussi récupérer des images préalablement acquises et stockées dans des moyens de stockages fixes de l'ordinateur ou portable.

Bien que l'invention n'y soit pas limitée, on va maintenant décrire le procédé de reconnaissance selon l'invention appliqué pour la reconnaissance d'objets entre une image cible et une image requête.

Sur la figure 2, l'organigramme illustre le traitement en parallèle des deux images requête 6 et cible 10. A partir des deux images requête 6 et cible 10, on élabore une première image simulée pour un couple de rotation 7,11 et tilt 8,12, et on réalise plusieurs fois, par exemple p fois, les étapes 7,11 et 8,12, de façon à générer p images simulées en 9 et 13. En d'autres termes, chacune des images subit le même traitement consistant à simuler toutes les distorsions possibles dues aux changements d'orientation de l'axe de la caméra, ce qui est un espace à deux paramètres, qu'on appelle longitude et latitude. Sur la figure 3 par exemple, l'angle thêta θ est la latitude et l'angle phi φ la longitude. Ces images simulées sont faites pour un nombre fini p de paires de longitudes et de latitudes, avec un échantillonnage qui rend le nombre de vues effectivement simulées petit (quelques dizaines), tout en garantissant que les quelques dizaines d'images simulées restent proches de toute autre vue possible. A l'étape 14 sur la figure 2, les images ainsi simulées sont ensuite comparées entre elles par l'un quelconque des algorithmes déjà existants qui réalisent une reconnaissance efficace modulo une rotation de l'image ( = rotation de la caméra autour de son axe optique), une translation ( = mouvement de la caméra perpendiculaire à son axe) et un zoom ( = mouvement de la caméra sur son axe optique). Un tel algorithme est notamment l'algorithme SIFT tel que décrit dans le document US 671 1293. Sur la figure 4, on voit une illustration des comparaisons multiples effectuées sur les images simulées. Les deux images requête A et cible B symbolisées par deux carrés, entourées par leurs vues simulées (des parallélogrammes) obtenues par deux tilts et les rotations associées. Les flèches joignant des parallélogrammes d'une des images à quelques parallélogrammes de l'autre indiquent que l'on fait des comparaisons des vues simulées d'une image avec des vues simulées de l'autre.

La sortie 15 peut être une liste (éventuellement vide) de paires de sous-images de la requête et de la cible où figure un objet reconnu sur les deux images, ainsi que la transformation affine identifiée comme permettant de transformer une des sous-images en l'autre.

La figure 3 illustre les quatre paramètres principaux induisant une déformation de l'image prise par une caméra : la caméra peut tourner sur elle-même d'un angle psi ψ, son axe optique peut adopter un angle thêta θ (latitude) par rapport à l'axe frontal, et cette inclinaison d'un angle thêta est faite dans un plan vertical faisant un angle phi φ (longitude) avec une direction fixée.

Le procédé selon l'invention permet de générer toutes les déformations affines qui seraient dues aux changements de direction de l'axe de la caméra à l'infini observant frontalement l'image plane, ces déformations dépendant donc des deux paramètres, la longitude et la latitude, qui sont échantillonnés de sorte que le nombre de vues généré soit de quelques dizaines. Les longitudes simulées sont de plus en plus nombreuses quand la latitude croît. Mais quand la latitude croît, les images sont aussi éventuellement de plus en plus sous-échantillonnées dans une direction et donc de plus en plus petites, les taux de sous-échantillonnage étant alors une suite géométrique.

De manière encore plus précise, la latitude est mesurée par un paramètre θ allant de 0 à 90 degrés, ou alternativement par un paramètre de tilt défini par t= l/| cos(θ) | . La longitude est décrite par un paramètre φ (voir figure 3). Les valeurs du tilt t sont échelonnées logarithmiquement et celles de φ arithmétiquement.

On peut définir le déplacement de la caméra d'une position à une autre par une transformée A définie par :

fcosψ - sinψlft OTcosφ - sinφ A = H_xR₁ (V)T₁R₂ (^) = I ^Ύ

|_sinψ cosψ J[O l_||_sinφ cosφ

La transformée A est une transformée linéaire du plan associée à une matrice 2x2 à quatre éléments (a, b, c, d). Etant donnée une image u(x,y), interprétée comme une image vue frontalement par une caméra optique, l'application u(x,y) -> u(A(x,y)) s'interprète alors comme la déformation de l'image qui sera observée quand la caméra tourne sur son axe optique d'un angle psi ψ, qu'elle glisse sur son axe optique en s'éloignant (ou se rapprochant si lambda λ< l) sur cet axe d'un facteur lambda, et que son axe optique s'éloigne de sa position frontale par une combinaison d'un changement de latitude thêta θ et d'un changement de longitude phi φ. La caméra peut aussi commencer par se déplacer par un mouvement de translation perpendiculaire à son axe optique, ce qui entraîne une translation préalable de l'image (e,f) non prise en compte dans la formule précédente. Cette translation (e, f), le zoom lambda λ et la rotation psi ψ sont les quatre paramètres maîtrisés par l'état de l'art. La présente invention porte sur la manière de reconnaître une image quand elle a subi en plus les déformations provoquées par les changements de latitude et de longitude. La figure 5 illustre une sphère sur laquelle sont positionnés des tilts et des rotations. Sur cette figure en perspective on voit les positions des caméras qui seraient simulées pour les tilts 2, 2V2 et 4, soit respectivement pour les angles 60°, 69.30° et 75.52°. Il y a de plus en plus d'angles de rotation quand les tilts augmentent. La figure 6 illustre une répartition des positions des tilts et rotations.

Chaque cercle correspond à un tilt. Le cercle le plus intérieur est pour le tilt associé à thêta θ= 45°, et les cercles successifs correspondent à thêta θ=60, 70, 75 et 80°. Plus le tilt augmente, et plus il est nécessaire d'augmenter le nombre de positions sur le cercle, c'est-à-dire le nombre de longitudes phi φ. Les points indiqués ont donc pour coordonnées sin(θ)cos(φ) et sin(θ) sin(φ). Les rectangles indiquent la déformation d'une image carrée provoquée par chaque tilt.

Le procédé selon l'invention fait intervenir un certain nombre de termes connus par l'homme du métier et qui sont rappelés ci- dessous :

Rotation de l'image digitale u(x,y) : calcul, par interpolation à partir des valeurs u(x,y) aux pixels (x,y) de l'image, des valeurs v(x,y) = u(R(x,y)) où R est une rotation planaire d'angle phi, décrite par une matrice à deux lignes et deux colonnes de paramètres (cos (φ), -sin(φ), sin(φ), cos(φ)). L'effet visuel est que l'image tourne sur l'écran de l'ordinateur d'un angle φ. Cette opération simule notamment l'effet qu'aurait eu une rotation autour de son axe optique d'une caméra prenant l'image en vue frontale.

Tilt de l'image digitale dans la direction de x : on pose v(x,y) = u(xa,y/b), et ab= t est le « facteur de tilt », en abrégé le « tilt ». Cette opération simule le résultat sur une image u(x,y), supposée observée frontalement par une caméra à l'infini, de l'inclinaison dans la direction de x de l'axe optique de la caméra. L'angle de l'axe optique avec la direction normale est l'une des deux valeurs thêta θ comprises entre -90° et +90° telles que t= l/| cos(θ) | . L'image u(x,y) est la vue frontale et l'image v(x,y) est donc la vue oblique après tilt t d'un angle θ dans la direction de x. Sur l'image digitale, le tilt peut être obtenu en suréchantillonnant l'image d'un facteur b dans la direction de y, et en sous-échantillonnant l'image d'un facteur a dans la direction de x, où b est un facteur arbitraire entre 1 et t. Si a = t, b= l, on a juste un sous-échantillonnage dans la direction de x, et si a = l, b=t, on a juste un sur-échantillonnage dans la direction de y. En cas de sous- échantillonnage, l'image doit être préalablement lissée dans la direction de x par convolution de l'image avec un filtre passe-bas unidimensionnel. Si a=t, et b= l, l'image digitale après tilt a une surface divisée par t (et la surface ne change pas si a=Vt, b=Vt).

Zoom arrière de l'image digitale : application à l'image u(x,y) d'une convolution v(x,y) = (G_*u) par un filtre passe-bas G_h(x,y) = (l/h²)G(x/h,y/h), suivie d'un sous-échantillonnage v(x,y) = (G_h*u)(xh,yh), où h est le facteur de zoom arrière. Cette opération simule l'éloignement de la caméra par rapport à l'image, la distance à l'objet avant l'éloignement étant dans le rapport h à la distance après l'éloignement. La fonction G(x,y), souvent une gaussienne, simule le noyau de convolution optique d'une caméra. Un zoom avant numérique est obtenu par simple interpolation. Un zoom arrière ou avant est un zoom tout court.

Tilt absolu et tilt relatif: On appelle tilt absolu le facteur t= l/|cos(θ) | de compression de l'image dans une direction entraîné par le passage de la caméra d'une position frontale face à un objet plan, à une vue oblique. Supposons maintenant qu'un même objet plan ait été pris en photo par une caméra dans deux positions dont l'axe optique passe par le même point de l'image. La position de l'axe de la première caméra est décrite par deux angles θ et φ et celle de la seconde par deux angles θ' et φ'. Quand φ=φ', le tilt qu'il faut appliquer à l'une des deux images pour passer directement à l'autre (à un zoom près) est égal au rapport t'/t, où t' désigne le plus grand des deux tilts, et t le plus petit. Quand φ=φ'+90°, ce même tilt devant être appliqué à l'une des deux images u(tx,y) pour passer à l'autre u(x,t'y) est maximal et égal au produit tt'. Ce fait explique pourquoi, pour comparer des vues obliques, on simule avantageusement des tilts importants pouvant dépasser 40. Sur les figures 7 et 8 notamment, on voit de manière illustrée la différence entre tilts absolus et tilts relatifs, ou de transition. A gauche, sur la figure 7, on voit la caméra dans deux positions correspondant aux valeurs de θ =30° et 60°, avec et φ=φ'. L'un des tilts est égal à 2, l'autre à 2/V3, et le tilt relatif, de transition pour passer de v à v', est donc V3, qui est plus petit que le tilt qui passait de u à v'. Donc, quand les tilts se font dans le même plan (φ=φ'), on voit que les tilts à simuler sont plus petits que les tilts originaux. A droite, le plan de tilt a changé : on a φ-φ'=90°, et les tilts sont t=2 de u à v , et t'=4 de u à v'. Dans ce cas, les tilts se multiplient, et le tilt relatif, de transition de v à v', est 2 x4 =8.

SIF (« scale invariant feature ») : nombres ou ensembles de nombres attachés à une image digitale et qui changent peu quand on fait tourner l'image, ou quand on la translate, et qui peuvent aussi se maintenir avec peu de changement quand un zoom est appliqué à l'image. Les SIFs permettent donc de reconnaître des pixels dans l'image indépendamment de leur position, recadrage, orientation, et zoom. Un exemple classique de tels indicateurs sont obtenus par la méthode SIFT (« scale invariant feature transform »).

La présente invention peut efficacement s'appliquer à l'un des domaines suivants :

- comparaison de différentes images d'un film ou des images de plusieurs films ;

- comparaison de différentes images prises par une caméra ou plusieurs caméras placées dans des positions successives ou simultanées ;

- utilisation à bord d'un véhicule équipé de caméras, par exemple pour sa navigation ;

- détection des symétries obliques dans une image par l'application du procédé à l'image et à l'image symétrisée par rapport à une droite arbitraire ;

- reconnaissance des êtres animés (humains, animaux, machines) ; comparaison ou classement des photographies, peintures, et généralement œuvres d'art plastiques ;

- organisation et gestion de grandes bases de données d'images individuelles ou collectives ; - reconstruction de relief d'une scène ou d'un objet à partir de plusieurs vues ;

- calibration ou étalonnage d'images prises par une ou plusieurs caméras ; -cartographie, plane, ou en relief par comparaison de vues aériennes, spatiales, ou terrestres ; - reconnaissance de symboles, mots, caractères d'imprimerie ou logos ; et

- application à un film pour suivre à la trace un objet présent dans toute une séquence.

Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention.

Claims

REVENDICATIONS

1. Procédé pour la reconnaissance d'objets appliqué à une image digitale dite requête et à une image digitale dite cible dans lequel : a) à partir de chaque image digitale, on simule une pluralité de rotations digitales et au moins deux tilts digitaux différents de 1, de façon à élaborer pour chaque couple rotation-tilt, une image simulée, et b) on applique un algorithme produisant des valeurs invariantes par translation, rotation et zoom sur les images simulées de façon à déterminer des caractéristiques locales dites SIFs (« scale invariant features ») que l'on utilise pour reconnaître des objets semblables ou identiques entre la requête et la cible.

2. Procédé selon la revendication 1, caractérisé en ce que la requête contient une prise de vue quelconque d'un objet de forme semblable ou identique à la forme d'un autre objet contenu dans la cible sous une prise de vue quelconque ; et en ce qu'on détermine des couples rotation-tilt pour lesquels les SIFs des deux objets sont semblables.

3. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'on élabore un même nombre d'images simulées pour la requête et pour la cible, et pour les mêmes couples rotation-tilt.

4. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'on élabore un nombre différent d'images simulées pour la requête et pour la cible.

5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le nombre de rotations par tilt augmente en même temps que la valeur du tilt augmente.

6. Procédé selon l'une quelconque des revendications précédentes, dans lequel procédé le tilt est fonction de la latitude dans une demi-sphère au- dessus de l'image digitale ; caractérisé en ce que l'écart de latitude entre deux tilts consécutifs diminue en même temps que le tilt augmente.

7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les tilts considérés forment approximativement une suite géométrique finie 1, a, a², a³, ... , a", a étant un nombre plus grand que 1.

8. Procédé selon la revendication 7, caractérisé en ce que a est de l'ordre de racine de 2 et n allant de 2 à 6 si les couples rotation-tilt sont appliqués aussi bien sur la cible que sur la requête, et de 2 à 12 si les couples rotation-tilt sont appliqués sur une seule des deux images.

9. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que, pour un tilt t donné, les rotations digitales forment une suite approximativement arithmétique 0, b/t, 2b/t, ..., kb/t degrés, avec b en degrés et k un nombre entier.

10. Procédé selon la revendication 9, caractérisé en ce que b est de l'ordre de 72 degrés, et k la dernière valeur entière telle que kb/t soit inférieur à 180 degrés.

11. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'appliquer un tilt t consiste à sous-échantillonner l'image digitale dans une direction fixée d'une valeur égale à t.

12. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'appliquer un tilt t consiste à sous-échantillonner l'image digitale dans une direction fixée et à sur-échantillonner dans une direction orthogonale à la précédente.

13. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il est appliqué à une ou plusieurs images dites requêtes et une ou plusieurs images dites cibles ; et en ce que les SIFs relatifs à la requête sont déterminés au cours d'une étape préalable d'étalonnage de façon à constituer un dictionnaire de SIFs ; et en ce que les SIFs relatifs aux cibles sont respectivement déterminés au cours d'une étape de fonctionnement pendant laquelle on compare les SIFs obtenus à partir de chaque cible aux SIFs dudit dictionnaire.

14. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il est appliqué à une image digitale en comparaison avec la même image digitale ou une transformée de celle-ci, de façon à déterminer dans cette image digitale des symétries obliques, des formes répétées ou des formes présentant des périodicités.

15. Dispositif pour la mise en œuvre d'un procédé pour la reconnaissance d'objets appliqué à une image digitale dite requête et à une image digitale dite cible selon l'une quelconque des revendications précédentes, ce dispositif comprenant un circuit de traitement configuré pour : a) appliquer, à partir de chaque image digitale, une pluralité de rotations digitales et au moins deux tilts digitaux t différents de 1 de façon à élaborer pour chaque couple rotation-tilt, une image simulée, et b) appliquer un algorithme produisant des valeurs invariantes par translation, rotation et zoom sur les images simulées de façon à déterminer des caractéristiques locales dites SIFs (« scale invariant features ») que l'on utilise pour reconnaître des objets semblables ou identiques entre la requête et la cible.

16. Dispositif selon la revendication 15, caractérisé en ce qu'il comprend un espace mémoire dans lequel est stocké un dictionnaire de SIFs ; et en ce que le circuit de traitement est configuré de façon à comparer les SIFs de ladite image digitale aux SIFs dudit dictionnaire.