WO2011089517A1 - Procede et dispositif de reconnaissance de visages en conditions de poses variables - Google Patents

Procede et dispositif de reconnaissance de visages en conditions de poses variables Download PDF

Info

Publication number
WO2011089517A1
WO2011089517A1 PCT/IB2011/000098 IB2011000098W WO2011089517A1 WO 2011089517 A1 WO2011089517 A1 WO 2011089517A1 IB 2011000098 W IB2011000098 W IB 2011000098W WO 2011089517 A1 WO2011089517 A1 WO 2011089517A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial recognition
facial
image
phase
images
Prior art date
Application number
PCT/IB2011/000098
Other languages
English (en)
Inventor
Ngoc Son Vu
Alice Caplier
Original Assignee
Vesalis
Institut Polytechnique De Grenoble
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vesalis, Institut Polytechnique De Grenoble filed Critical Vesalis
Publication of WO2011089517A1 publication Critical patent/WO2011089517A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the invention relates to a facial recognition method adapted to perform recognition of face images in case of variable poses condition, in particular not seen from the front.
  • the invention further provides a corresponding facial recognition device.
  • face recognition has been one of the most active sectors in pattern recognition because of its potential interest in human-computer interaction applications, video surveillance and security systems.
  • face recognition has been one of the most active sectors in pattern recognition because of its potential interest in human-computer interaction applications, video surveillance and security systems.
  • there are many powerful methods for solving the problem of facial recognition provided that the acquisition conditions of the face of the person to be recognized are controlled. Nevertheless, one of the biggest challenges that remains is face recognition in variable pose and illumination conditions.
  • CONFIRMATION C0PV approach however requires manual detection on the face image of a large number of points.
  • a third technique is based on a statistical approach: the goal is to model how the appearance of faces changes according to the pose, on the one hand for a given individual and on the other hand between different individuals.
  • Known statistical methods are classified into two groups: those based on global modeling and those based on local modeling. Generally, the methods based on local statistical models are more efficient than those based on global models.
  • the invention provides different technical means.
  • a first object of the invention is to provide a method for reliably performing face recognition in variable laying conditions.
  • Another object of the invention is to provide a method for reliably performing face recognition in laying conditions not seen from the front.
  • the invention provides a method of facial recognition from image data, comprising the steps of:
  • a reference database comprising images in substantially frontal views of known persons
  • the image of the reference base with which the probability is the greatest serves to provide the desired identity.
  • a detection alert is generated.
  • the method has the advantage of only requiring a single reference image for each individual and secondly the fact that the addition of a new individual in the database of faces does not does not require relearning models.
  • the learning phase is performed in masked time, prior to any recognition phase.
  • the characteristic features of faces are characterized using Gabor wavelets and / or LBP descriptors.
  • Gabor wavelets are of great interest for facial recognition because they can capture visual and salient properties such as spatial location, orientation, and spatial frequency characteristics. They also allow the recognition of faces without perfect match. In other words, the Gabor wavelet representation of a facial image is robust to misaligned face images.
  • the invention further provides a facial recognition method for recognizing facial images of individuals in non-frontal views comprising a learning phase and a recognition phase, the second phase using at least two local descriptors including Gabor wavelets and LBP descriptors.
  • the method is advantageously centered on modeling the way in which the appearance of the face changes when the point of view varies.
  • the invention also provides a facial recognition device comprising:
  • a learning database comprising image data of faces with a plurality of distinct views for each person
  • a reference database comprising images in substantially frontal views of known persons
  • a facial recognition module making it possible to perform a comparison phase between the data of the images to be processed and the data of the reference database and to indicate the probability that two faces of different orientations come from the same individual
  • the facial recognition module comprising a comparator making it possible to calculate similarity values between patches of the image to be recognized and image patches of the reference base, and, based on the parameters of the models learned, of determine the probability that the established similarity values come from the same individual.
  • the device comprises a learning module, making it possible to perform a pretreatment of the data of the facial image database of learning, the pretreatment comprising at least one learning phase during which Probabilistic models describing joint probability distributions of facial patches between face images at different poses are learned.
  • the characteristic features of faces are characterized using Gabor wavelets and / or LBP descriptors.
  • FIG 1 is a schematic representation of a facial recognition device according to the invention.
  • FIG. 2 is a functional flow chart showing the main steps of the facial recognition method according to the invention.
  • FIG. 3 is an image on which points can be seen making it possible to extract the region of the face
  • FIG. 4 shows examples of the Feret base: at the top, the original images; at the bottom, the images pre-treated by a retinal filter;
  • FIG. 5A graphically presents the recognition rate obtained for different poses: performance of the proposed method and comparison;
  • FIG. 5B shows graphically the recognition rate obtained for different poses: performance of the proposed method when the pose of the request is known or not.
  • FIG. 1 illustrates an example of a facial recognition device according to the invention, comprising a learning database 1A, comprising image data of faces with a plurality of distinct views for each person.
  • This base is advantageously used to carry out a "learning phase", making it possible to generate parameters of learned models. These parameters are stored in a parameter database 1B. This learning phase is described in more detail later in this document.
  • the device also comprises a reference database 1C, comprising images in substantially frontal views of known persons.
  • a database or image input to be processed 2 is also provided.
  • a facial recognition module 3 is connected to the bases 1B, 1C and 2. It comprises a comparator 6, for performing the recognition step described below.
  • the facial recognition module 3 is advantageously provided with calculation means such as a microprocessor 4 and a working memory module 5.
  • the device comprises a learning module 7 advantageously provided with calculation means such as a microprocessor 8 and a working memory module 9.
  • the learning module makes it possible to carry out the learning phase described below.
  • the calculation means 4 and 8, as the working memories 5 and 9 can be centralized for all the modules or the entire device, or be arranged externally, with connection to different modules.
  • the implementation of the various previously described modules is advantageously achieved by means of implementation instructions, allowing the modules to perform the operation or operations specifically provided for the module concerned. .
  • the instructions may be in the form of one or more software or software modules implemented by one or more microprocessors.
  • the module (s) and / or the software (s) are advantageously provided in a computer program product comprising a recording medium or recording medium that can be used by a computer and comprising a programmed code readable by a computer integrated in said medium or medium, allowing an application software execution on a computer or other device comprising a microprocessor.
  • the method consists of two phases: a learning phase advantageously "offline" or masked time, and a recognition phase.
  • Figure 2 shows the steps of the method according to the invention.
  • Learning databases 1A and 1C are provided (step 10).
  • the learning phase concerns the learning step 11.
  • probabilistic models describing the probability distributions joint facial patches between face images at different poses are learned.
  • the resulting parameters are stored in parameter database 1 B.
  • the facial recognition phase ranges from steps 12 to 15.
  • the parameters of the models learned from the base 1B are used to calculate the probability that two faces of different orientation come from the same individual.
  • the method uses two local descriptors to characterize face-specific information, namely Gabor wavelets and local Binary Patterns (LBP) descriptors, both of known type in independent use or for detections with face only.
  • LBP Local Binary Patterns
  • step 13 an image is received from the base or input 2. This image has a face of an individual to recognize in any view, that is to say frontal or no.
  • step 14 similarity values are calculated between patches of the image to be recognized and image patches of the reference base 1C.
  • step 15 based on the parameters of the learned models, the probability that the established similarity values are derived from the same individual is determined.
  • the method advantageously uses a base such as the FERET database which consists of images from 200 individuals. For each person, the faces were acquired at nine different poses which correspond to the angles of view: 0 °, - 60 °, - 45 °, - 25 °, - 15 °, + 15 °, + 25 °, + 45 ° , + 60 °. Other views at other angles can also be used, depending on the baseline.
  • a base such as the FERET database which consists of images from 200 individuals. For each person, the faces were acquired at nine different poses which correspond to the angles of view: 0 °, - 60 °, - 45 °, - 25 °, - 15 °, + 15 °, + 25 °, + 45 ° , + 60 °.
  • Other views at other angles can also be used, depending on the baseline.
  • Facial recognition algorithms being very sensitive to the alignment of the two faces to be compared, the facial region is classically extracted manually and carefully so that the eyes are aligned on the same position. To do this, the coordinates of the centers of the eyes must be estimated very precisely. However, automatic extraction tools do not yet allow such operations. To remove this constraint, the key points of the face are extracted from the knowledge of two pixels - If - any of the eyes and any pixel of the mouth, none of these pixels being located neither in the center of the eyes nor in the center of the mouth. The extraction of these pixels is performed using an automatic algorithm of known type, such as the "Viola-Jones" method and / or the "C3F"("Convolutional face Finder") method of Garcia.
  • Figure 3 shows the area encompassing the face. It is advantageous to use a retinal filter as pretreatment. Several filters of this type are well known.
  • Figure 4 shows the faces extracted at nine different poses for the same person from the Feret base: at the top, the original images; at the bottom, the images pre-treated by a retinal filter.
  • a representation of a Gabor wavelet image involving a convolution of the image with a family of 40 Gabor nuclei, 5 scales and 8 different orientations.
  • 40 complex values are calculated for each pixel.
  • only the amplitudes are used to form the final representation because the phases are too sensitive to small displacements.
  • each image after convolution is advantageously undersampled to give a 10x10 size image. Since the facial image is also divided into 10x10 non-overlapping patches, the descriptor of each patch is a vector of 40 values. The similarity between two patches is calculated using the cosine distance. Thanks to subsampling of the facial image, the characteristics are more robust to misalignments.
  • the LBP operator is a known method for describing textures.
  • the operator labels each pixel of an image by thresholding on a 3x3 neighborhood with the central value and the result is considered a binary number.
  • the label histogram is used as a texture descriptor.
  • the face region is divided into 10x10 non-overlapping patches, each size 12x10.
  • a vector of 59 values corresponding to histograms of indices LBP U2 8 , 2 descriptor of a face patch with U2 uniform LBP descriptors, 8.2 respectively denote the number of neighbors and the size of the scale).
  • the local histograms of the regions are robust to misalignments.
  • the similarity between the two histograms is then calculated using preferably the Chi-square distance.
  • S r is the similarity between the patch r of the gallery image and the request (the similarity can be a scalar in the case of the use of the high-level fusion or a vector in the case of the low-level fusion)
  • ⁇ ⁇ is the view angle of the query
  • w defines whether the gallery and queries come from the same topic or from different topics.
  • the histograms of similarity of each descriptor considered are established. Then, the distributions obtained are modeled by an appropriate function. In case of merger at the decision level, distributions are calculated for each feature considered using single variable Gauss laws. On the other hand, in case of fusion at the level of the characteristics, the distributions are approximated by using a law of Gauss with several variables.
  • the pose of the request image was assumed to be known.
  • the recognition rate in each of the following cases is calculated: using each characteristic separately then using the combination of the two descriptors.
  • FIGS. 5A and 5B it is firstly noted that the use of either Gabor wavelets or LBP coefficients leads to excellent performance. It can also be seen that the combination of the two descriptors allows a significant performance gain, especially when the pose angle of the request image is large. Only the results obtained with the merger of the decision level are presented here, the merger strategy at the level of the characteristics leading to the same performances.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Procédé et dispositif de reconnaissance faciale permettant de reconnaître des individus en vues non frontales comprenant une phase d'apprentissage et une phase de reconnaissance, la seconde phase utilisant deux descripteurs locaux : des ondelettes de Gabor et des descripteurs LBP.

Description

PROCEDE ET DISPOSITIF DE RECONNAISSANCE DE VISAGES EN CONDITIONS DE POSE VARIABLES
DOMAINE TECHNIQUE DE L'INVENTION
[0001] L'invention concerne un procédé de reconnaissance faciale adapté pour effectuer des reconnaissances d'images de visage en cas de condition de poses variables, en particulier non vues de face. L'invention prévoit par ailleurs un dispositif de reconnaissance faciale correspondant.
ETAT DE LA TECHNIQUE ANTERIEURE
[0002] Au cours des dernières décennies, la reconnaissance de visages a été un des secteurs les plus actifs en reconnaissance des formes du fait de son intérêt potentiel pour des applications en interaction homme-machine, en vidéo surveillance et en systèmes de sécurité. A l'heure actuelle, il existe de nombreux procédés performants pour résoudre le problème de la reconnaissance faciale sous réserve que les conditions d'acquisition du visage de la personne à reconnaître soient contrôlées. Néanmoins, l'un des plus grands défis qui demeure est la reconnaissance de visage en conditions de pose et d'illumination variables.
[0003] Plusieurs techniques ont été proposées pour résoudre ce problème. La première consiste à prendre une seule image de visage à une pose donnée et à créer un modèle complet du visage en 3D pour le sujet considéré. Cette approche, bien que produisant de bons résultats, occasionne des temps de calculs importants et coûteux. De ce fait, une telle stratégie n'est pas appropriée pour des applications telles que la vidéo surveillance ou pour des applications en temps réel.
[0004] Plus récemment, une autre approche a été développée dont le but est de rechercher dans le visage des caractéristiques qui sont invariantes. Une telle
CONFIRMATION C0PV approche nécessite cependant la détection manuelle sur l'image de visage d'un nombre important de points.
[0005] Une troisième technique est basée sur une approche statistique : le but est de modéliser en quoi l'apparence des visages change en fonction de la pose, d'une part pour un individu donné et d'autre part entre différents individus. Les méthodes statistiques connues sont classées en deux groupes: celles qui s'appuient sur une modélisation globale et celles qui s'appuient sur une modélisation locale. Généralement, les méthodes à base de modèles statistiques locaux sont plus performantes que celles à base de modèles globaux.
[0006] Les performances actuelles obtenues à l'aide des diverses techniques connues de reconnaissance faciale sont toujours limitées, de sorte que les utilisateurs potentiels attendent toujours une amélioration sensible des résultats avant d'envisager des applications pratiques.
[0007] Pour pallier ces différents inconvénients, l'invention prévoit différents moyens techniques.
EXPOSE DE L'INVENTION
[0008] Tout d'abord, un premier objet de l'invention consiste à prévoir un procédé permettant d'effectuer de façon fiable la reconnaissance de visages en conditions de pose variables.
[0009] Un autre objet de l'invention consiste à prévoir un procédé permettant d'effectuer de façon fiable la reconnaissance de visages en conditions de pose non vue de face.
[0010] Encore un autre objet de l'invention consiste à prévoir un dispositif permettant d'effectuer de façon fiable la reconnaissance de visages en conditions de pose non vue de face. [0011] Encore un autre objet de l'invention consiste à prévoir un dispositif et un procédé permettant d'effectuer des reconnaissances de visages en vue non frontale, sachant que la base d'images de référence ne contient que des vues de face des individus à reconnaître.
[0012] Pour ce faire, l'invention prévoit un procédé de reconnaissance faciale à partir de données d'images, comprenant les étapes consistant à :
-fournir une base de données d'apprentissage, comportant des données d'images de visages avec une pluralité de vues distinctes pour chaque personne ;
-effectuer au moins une phase d'apprentissage lors de laquelle des modèles probabilistes décrivant des distributions de probabilité conjointes de sous-parties ou patchs faciaux entre une pluralité d'images de visage à différentes poses sont appris ;
-fournir une base de données de référence, comportant des images en vues sensiblement frontales de personnes connues ;
-effectuer au moins une phase de reconnaissance faciale consistant à :
-fournir une image, éventuellement non vue de face, d'un visage d'un individu non connu, en vue d'une reconnaissance ;
-calculer des valeurs de similarité entre des patchs de l'image à reconnaître et des patchs d'images de la base de référence ;
-en se basant sur les paramètres des modèles appris, déterminer la probabilité que les valeurs de similarité établies proviennent d'un même individu.
[0013]Pour une tâche d'identification, l'image de la base de référence avec laquelle la probabilité est la plus grande sert à fournir l'identité recherchée. Pour une tâche de vérification, si la probabilité est supérieure à un seuil donné, une alerte de détection est générée.
[0014] Ces caractéristiques permettent d'obtenir une nouvelle approche basée sur des caractéristiques faciales locales (calculées sur des sous-parties ou « patchs » du visage) robustes aux variations de pose. [0015] Le procédé a l'avantage d'une part de ne nécessiter qu'une seule image de référence pour chaque individu et d'autre part le fait que l'ajout d'un nouvel individu dans la base de données de visages ne requiert pas de réapprendre les modèles.
[0016] Selon un mode de réalisation avantageux, la phase d'apprentissage est effectuée en temps masqué, préalablement à toute phase de reconnaissance.
[0017] Selon un autre mode de réalisation avantageux, les traits caractéristiques de visages sont caractérisés en utilisant des ondelettes de Gabor et/ou des descripteurs LBP. Il est fait appel à une combinaison de ces deux descripteurs au lieu d'utiliser l'intensité de pixels. Les ondelettes de Gabor sont d'un grand intérêt pour la reconnaissance du visage, car elles peuvent capturer des propriétés visuelles et saillantes comme la localisation spatiale, l'orientation, et les caractéristiques de fréquences spatiales. Elles permettent aussi la reconnaissance de visages sans correspondance parfaite. En d'autres termes, la représentation en ondelettes de Gabor d'une image faciale est robuste aux mauvais alignements d'images de visage.
[0018] Il est également proposé d'utiliser un filtre rétine comme technique de prétraitement.
[0019] L'invention prévoit par ailleurs un procédé de reconnaissance faciale permettant de reconnaître des images faciales d'individus en vues non frontales comprenant une phase d'apprentissage et une phase de reconnaissance, la seconde phase utilisant au moins deux descripteurs locaux dont des ondelettes de Gabor et des descripteurs LBP.
[0020] Le procédé est avantageusement centré sur la modélisation de la façon dont l'apparence du visage change lorsque le point de vue varie. [0021] L'invention prévoit également un dispositif de reconnaissance faciale comprenant :
-une base de données d'apprentissage, comportant des données d'images de visages avec une pluralité de vues distinctes pour chaque personne ;
-une base de données de référence, comportant des images en vues sensiblement frontales de personnes connues ;
-une entrée permettant de fournir les données d'images non frontales d'individus à reconnaître ;
-un module de reconnaissance faciale, permettant d'effectuer une phase de comparaison entre les données des images à traiter et les données de la base de référence et d'indiquer la probabilité que deux visages d'orientations différentes proviennent d'un même individu,
-le module de reconnaissance faciale comportant un comparateur permettant de calculer des valeurs de similarité entre des patchs de l'image à reconnaître et des patchs d'images de la base de référence, et, en se basant sur les paramètres des modèles appris, de déterminer la probabilité que les valeurs de similarité établies proviennent d'un même individu.
[0022] De manière avantageuse, le dispositif comprend un module d'apprentissage, permettant d'effectuer un prétraitement des données de la base de données d'images faciales d'apprentissage, le prétraitement comportant au moins une phase d'apprentissage lors de laquelle des modèles probabilistes décrivant les distributions de probabilité conjointes de patchs faciaux entre images de visage à différentes poses sont appris.
[0023] Egalement de manière avantageuse, les traits caractéristiques de visages sont caractérisés en utilisant des ondelettes de Gabor et/ou des descripteurs LBP.
DESCRIPTION DES FIGURES [0024] Tous les détails de réalisation sont donnés dans la description qui suit, complétée par les figures 1 à 5, présentées uniquement à des fins d'exemples non limitatifs, et dans lesquelles:
-la figure 1 est une représentation schématique d'un dispositif de reconnaissance faciale selon l'invention;
-la figure 2 est un organigramme fonctionnel présentant les principales étapes du procédé de reconnaissance faciale conforme à l'invention ;
-la figure 3 est image sur laquelle on aperçoit des points permettant de réaliser une extraction de la région du visage ;
-la figure 4 montre des exemples de la base Feret : en haut, les images originales; en bas, les images prétraitées par un filtre rétine ;
-la figure 5A présente graphiquement le taux de reconnaissance obtenu pour différentes poses : performances de la méthode proposée et comparaison ;
-la figure 5B présente graphiquement le taux de reconnaissance obtenu pour différentes poses: performances de la méthode proposée lorsque la pose de la requête est connue ou non.
DESCRIPTION DETAILLEE DE L'INVENTION
[0025] La figure 1 illustre un exemple d'un dispositif de reconnaissance faciale conforme à l'invention, comportant une base de données 1A d'apprentissage, comportant des données d'images de visages avec une pluralité de vues distinctes pour chaque personne. Cette base est avantageusement utilisée pour effectuer une « phase d'apprentissage », permettant de générer des paramètres de modèles appris. Ces paramètres sont stockés dans une base de données de paramètres 1B. Cette phase d'apprentissage est décrite plus en détails plus loin dans le présent document. Le dispositif comprend également une base de données de référence 1C, comportant des images en vues sensiblement frontales de personnes connues. Une base de données ou une entrée d'images à traiter 2 est également prévue. Un module de reconnaissance faciale 3 est relié aux bases 1B, 1C et 2. Il comprend un comparateur 6, permettant de réaliser l'étape de reconnaissance décrite plus loin. Le module de reconnaissance faciale 3 est avantageusement pourvu de moyens de calculs tel qu'un microprocesseur 4 et d'un module mémoire 5 de travail.
[0026] Le dispositif comporte un module d'apprentissage 7 avantageusement pourvu de moyens de calculs tel qu'un microprocesseur 8 et d'un module mémoire 9 de travail. Le module d'apprentissage permet d'effectuer la phase d'apprentissage décrite plus loin.
[0027] Selon diverses variantes de réalisation, les moyens de calculs 4 et 8, tout comme les mémoires de travail 5 et 9 peuvent être centralisés pour tous les modules ou tout le dispositif, ou encore être agencés de façon externe, avec connexion aux différents modules.
[0028] La mise en oeuvre des différents modules préalablement décrits (par exemple les modules 3 et 7) est avantageusement réalisée au moyen d'instructions de mise en œuvre, permettant aux modules d'effectuer la ou les opérations spécifiquement prévues pour le module concerné. Les instructions peuvent être sous la forme d'un ou plusieurs logiciels ou modules de logiciels mis en œuvre par un ou plusieurs microprocesseurs. Le ou les modules et/ou le ou les logiciels sont avantageusement prévus dans un produit programme d'ordinateur comprenant un support d'enregistrement ou médium d'enregistrement utilisable par un ordinateur et comportant un code programmé lisible par un ordinateur intégré dans ledit support ou médium, permettant à un logiciel applicatif son exécution sur un ordinateur ou autre dispositif comportant un microprocesseur.
[0029] Le procédé est constitué de deux phases : une phase d'apprentissage avantageusement « offline » ou en temps masqué, et une phase de reconnaissance. La figure 2 présente les étapes du procédé conforme à l'invention. Des bases de données d'apprentissage 1A et de référence 1C sont fournies (étape 10). La phase d'apprentissage concerne l'étape d'apprentissage 11. Dans cette phase d'apprentissage, en utilisant une base de données de visage indépendante, des modèles probabilistes décrivant les distributions de probabilité conjointes de patchs faciaux entre images de visage à différentes poses sont appris. Les paramètres résultants sont conservés dans la base de paramètres 1 B.
[0030] La phase de reconnaissance faciale s'échelonne des étapes 12 à 15. Dans la phase de reconnaissance, les paramètres des modèles appris de la base 1B sont utilisés pour calculer la probabilité que deux visages d'orientation différente proviennent du même individu. Le procédé utilise deux descripteurs locaux pour caractériser les informations spécifiques d'un visage, à savoir des ondelettes de Gabor et des descripteurs LBP (« Local Binary Patterns »), tous deux de type connu en utilisation indépendante ou pour des détections avec des vues de face uniquement.
[0031] A l'étape 13, une image est reçue de la base ou entrée 2. Cette image présente un visage d'un individu à reconnaître, en vue quelconque, c'est-à-dire frontale on non. A l'étape 14, on calcule des valeurs de similarité entre des patchs de l'image à reconnaître et des patchs d'images de la base de référence 1C. A l'étape 15, en se basant sur les paramètres des modèles appris, on détermine la probabilité que les valeurs de similarité établies proviennent d'un même individu.
[0032] Le procédé utilise avantageusement une base telle que la base de données FERET qui se compose d'images issues de 200 individus. Pour chaque personne, les visages ont été acquis à neuf poses différentes qui correspondent aux angles de vue : 0°, - 60°, - 45°, - 25°, - 15°, + 15°, + 25°, + 45°, + 60°. D'autres vues à d'autres angles peuvent aussi être utilisées, selon la base de référence.
[0033] Les algorithmes de reconnaissance faciale étant très sensibles à l'alignement des deux visages à comparer, la région du visage est classiquement extraite manuellement et avec soin de manière à ce que les yeux soient alignés sur la même position. Pour ce faire, les coordonnées des centres des yeux doivent être estimées très précisément. Or, les outils d'extraction automatique ne permettent pas encore de telles opérations. Pour lever cette contrainte, les points clés du visage sont extraits à partir de la connaissance de deux pixels - Si - quelconques des yeux et un pixel quelconque de la bouche, aucun de ces pixels n'étant situé ni au centre des yeux ni au centre de la bouche. L'extraction de ces pixels est effectuée à l'aide d'un algorithme automatique de type connu, comme par exemple la méthode «Viola-Jones » et/ou la méthode « C3F » (« Convolutional face Finder ») de Garcia. A partir de ces 3 points, la zone englobant le visage est construite, tel que montré à la figure 3. On utilise avantageusement un filtre rétine comme prétraitement. Plusieurs filtres de ce type sont bien connus. La Figure 4 montre les visages extraits à neuf poses différentes pour une même personne de la base Feret : en haut, les images originales; en bas, les images prétraitées par un filtre rétine.
Les ondelettes de Gabor
[0034] Selon un mode de réalisation avantageux, on prévoit une représentation d'une image en ondelettes de Gabor impliquant une convolution de l'image avec une famille de 40 noyaux de Gabor, de 5 échelles et 8 orientations différentes. Ainsi, pour chaque pixel, 40 valeurs complexes sont calculées. En général, seules les amplitudes sont utilisées pour former la représentation finale parce que les phases sont trop sensibles aux petits déplacements.
[0035] Dans le modèle utilisé, chaque image après convolution est avantageusement sous-échantillonné pour donner une image de taille 10x10. Puisque l'image du visage est également divisée en 10x10 patchs non superposés, le descripteur de chaque patch est un vecteur de 40 valeurs. La similitude entre deux patchs est calculée en utilisant la distance cosinus. Grâce au sous-échantillonnage de l'image faciale, les caractéristiques sont plus robustes aux mauvais alignements.
Descripteur LBP
[0036] L'opérateur LBP est un procédé connu pour décrire des textures. L'opérateur étiquette chaque pixel d'une image par seuillage sur un voisinage 3x3 avec la valeur centrale et le résultat est considéré comme un nombre binaire. L'histogramme des étiquettes est utilisé comme descripteur de texture. [0037] Dans le modèle conforme à l'invention, la région du visage est divisée en 10x10 patchs non superposés, chacun de taille de 12x10. Puis, un vecteur de 59 valeurs correspondant à des histogrammes d'indices LBPU2 8,2 (descripteur d'un patch visage avec U2 descripteurs LBP uniformes ; 8,2 désignent respectivement le nombre de voisins et la taille de l'échelle). Grâce à cette approche, les histogrammes locaux des régions sont robustes aux mauvais alignements. La similarité entre les deux histogrammes est ensuite calculée en utilisant de préférence la distance du Chi-square.
[0038] Dans le cadre de l'invention, on modélise comment l'apparence du visage change lorsque le point de vue varie. Pour ce faire, on se réfère avantageusement à l'évolution de deux caractéristiques locales de visage, à savoir les ondelettes de Gabor et les coefficients LBP. Par ailleurs, deux approches différentes de fusion de ces deux descripteurs sont possibles: une fusion au niveau des décisions (fusion haut niveau) et une fusion au niveau des caractéristiques (fusion bas niveau).
[0039] Dans la phase d'apprentissage, on détermine la distribution de probabilité de similitude entre deux patchs de visage, compte tenu de la pose de la requête :
P(Sr | w, φρ), φρ e{même, dif}
où Sr est la similarité entre le patch r de l'image galerie et la requête (la similarité peut être un scalaire dans le cas de l'utilisation de la fusion haut niveau ou un vecteur en cas de la fusion bas niveau), φρ est l'angle de vue de la requête et w définit si la galerie et les requêtes proviennent du même sujet ou de sujets différents.
[0040] Pour calculer ces distributions, les histogrammes de similarité de chaque descripteur considéré sont établis. Ensuite, les distributions obtenues sont modélisées par une fonction appropriée. En cas de fusion au niveau des décisions, les distributions sont calculées pour chaque caractéristique considérée en utilisant des lois de Gauss à variable unique. En revanche, en cas de fusion au niveau des caractéristiques, les distributions sont approchées en utilisant une loi de Gauss à plusieurs variables.
[0041] Des expérimentations effectuées à partir de la base Feret ont permis de valider le concept et de ses performances. La base utilisée a été divisée en deux groupes de même taille : le groupe A et le groupe B. Une phase d'apprentissage est effectuée en utilisant les images du groupe A. Les tests de performance de reconnaissance faciale sont ensuite effectués sur les images du groupe B. Dans un second temps, une validation croisée est réalisée: le modèle est appris sur les images du groupe B et les tests sont menés sur les images du groupe A. Pour chaque expérience de reconnaissance, seules les images de face sont utilisées en tant que référence et toutes les autres images de visage à pose variable sont utilisées comme requête.
[0042] Lors de la première phase de validation, la pose de l'image requête a été supposée connue. Afin d'évaluer l'efficacité de la combinaison des caractéristiques ondelettes de Gabor et coefficients LBP, le taux de reconnaissance dans chacun des cas suivants est calculé: en utilisant chaque caractéristique séparément puis en utilisant la combinaison des deux descripteurs. En référence aux figures 5A et 5B, on constate tout d'abord que l'utilisation soit des ondelettes de Gabor soit des coefficients LBP conduit à d'excellentes performances. On constate également que la combinaison des deux descripteurs permet un gain de performance significatif, notamment quand l'angle de pose de l'image requête est grand. Ne sont présentés ici que les résultats obtenus avec la fusion du niveau des décisions, la stratégie de fusion au niveau des caractéristiques conduisant aux mêmes performances.
[0043] Pour la deuxième expérience, le taux de reconnaissance a été calculé quand la pose de l'image requête est inconnue. Dans ce cas, les distributions sont estimées en utilisant les distributions marginales. Il ressort clairement des Figures 5A et 5B que le procédé proposé conduit à de très bons taux de reconnaissance que la pose de l'image requête soit connue ou non.
[0044] Les résultats expérimentaux obtenus sur la base de données Feret montrent que le procédé est efficace pour des variations importantes de la pose.
[0045] Les Figures et leurs descriptions faites ci-dessus illustrent l'invention plutôt qu'elles ne la limitent. En particulier, l'invention et ses différentes variantes viennent d'être décrites en relation avec un exemple particulier effectué à partir de la base Feret. Néanmoins, il est évident pour un homme du métier que l'invention peut être étendue à d'autres modes de réalisation dans lesquels en variantes, on utilise une ou plusieurs autres bases à titre de référence.
[0046] Les signes de références dans les revendications n'ont aucun caractère limitatif. Les verbes "comprendre" et "comporter" n'excluent pas la présence d'autres éléments que ceux listés dans les revendications. Le mot "un" précédant un élément n'exclue pas la présence d'une pluralité de tels éléments.

Claims

REVENDICATIONS
1. Procédé de reconnaissance faciale à partir de données d'images, comprenant les étapes consistant à :
-fournir (10) une base de données d'apprentissage comportant des données d'images de visages avec une pluralité de vues distinctes pour chaque personne ;
-effectuer au moins une phase d'apprentissage (11 ) lors de laquelle des modèles probabilistes décrivant des distributions de probabilité conjointes de sous-parties ou patchs faciaux entre une pluralité d'images de visage à différentes poses sont appris ;
-fournir (10) une base de données de référence comportant des images en vues sensiblement frontales de personnes connues ;
-effectuer au moins une phase de reconnaissance faciale (12) consistant à :
-fournir une image (13), éventuellement non vue de face, d'un visage d'un individu non connu, en vue d'une reconnaissance ;
-calculer (14) des valeurs de similarité entre des patchs de l'image à reconnaître et des patchs d'images de la base de référence ;
-en se basant sur les paramètres des modèles appris, déterminer (15) la probabilité que les valeurs de similarité établies proviennent d'un même individu.
2. Procédé de reconnaissance faciale selon la revendication , dans lequel la phase d'apprentissage (11 ) est effectuée en temps masqué, préalablement à toute phase de reconnaissance.
3. Procédé de reconnaissance faciale selon l'une des revendications 1 ou 2, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant des ondelettes de Gabor.
4. Procédé de reconnaissance faciale selon l'une des revendications 1 ou 2, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant des descripteurs LBP.
5. Procédé de reconnaissance faciale selon l'une des revendications 1 ou 2, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant des ondelettes de Gabor et des descripteurs LBP.
6. Procédé de reconnaissance faciale permettant de reconnaître des images faciales d'individus en vues non frontales comprenant une phase d'apprentissage et une phase de reconnaissance, la seconde phase utilisant au moins deux descripteurs locaux dont des ondelettes de Gabor et des descripteurs LBP.
7. Dispositif de reconnaissance faciale comprenant :
-une base de données d'apprentissage (1A), comportant des données d'images de visages avec une pluralité de vues distinctes pour chaque personne ;
-une base de données de référence (1 B), comportant des images en vues sensiblement frontales de personnes connues ;
-une entrée (2) permettant de fournir les données d'images non frontales d'individus à reconnaître ;
-un module de reconnaissance faciale (3), permettant d'effectuer une phase de comparaison entre les données des images à traiter et les données de la base de référence et d'indiquer la probabilité que deux visages d'orientations différentes proviennent d'un même individu,
-le module de reconnaissance faciale comportant un comparateur (6) permettant de calculer des valeurs de similarité entre des patchs de l'image à reconnaître et des patchs d'images de la base de référence, et, en se basant sur les paramètres des modèles appris, de déterminer la probabilité que les valeurs de similarité établies proviennent d'un même individu.
8. Dispositif de reconnaissance faciale selon la revendication 7, comprenant par ailleurs un module d'apprentissage (7), permettant d'effectuer un prétraitement des données de la base de données d'images (1 ) faciales de référence, le prétraitement comportant au moins une phase d'apprentissage lors de laquelle des modèles probabi listes décrivant les distributions de probabilité conjointes de patchs faciaux entre images de visage à différentes poses sont appris.
9. Dispositif de reconnaissance faciale selon l'une des revendications 7 ou 8, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant les ondelettes de Gabor.
10. Dispositif de reconnaissance faciale selon l'une des revendications 7 ou 8, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant des descripteurs LBP.
11. Dispositif de reconnaissance faciale selon l'une des revendications 7 ou 8, dans lequel les traits caractéristiques de visages sont caractérisés en utilisant les ondelettes de Gabor et des descripteurs LBP.
PCT/IB2011/000098 2010-01-25 2011-01-24 Procede et dispositif de reconnaissance de visages en conditions de poses variables WO2011089517A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR10/00264 2010-01-25
FR1000264 2010-01-25

Publications (1)

Publication Number Publication Date
WO2011089517A1 true WO2011089517A1 (fr) 2011-07-28

Family

ID=44065573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2011/000098 WO2011089517A1 (fr) 2010-01-25 2011-01-24 Procede et dispositif de reconnaissance de visages en conditions de poses variables

Country Status (1)

Country Link
WO (1) WO2011089517A1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN110163847A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 基于ct/mr影像的肝脏肿瘤分割方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAOCHANG ZHANG ET AL: "Histogram of Gabor Phase Patterns (HGPP): A Novel Object Representation Approach for Face Recognition", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 16, no. 1, 1 January 2007 (2007-01-01), pages 57 - 68, XP011145365, ISSN: 1057-7149, DOI: DOI:10.1109/TIP.2006.884956 *
LIOR WOLF ET AL: "Similarity Scores Based on Background Samples", 23 September 2009, COMPUTER VISION Â ACCV 2009, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 88 - 97, ISBN: 978-3-642-12303-0, XP019141327 *
WENCHAO ZHANG ET AL: "Local Gabor Binary Pattern Histogram Sequence (LGBPHS): A Novel Non-Statistical Model for Face Representation and Recognition", COMPUTER VISION, 2005. ICCV 2005. TENTH IEEE INTERNATIONAL CONFERENCE ON BEIJING, CHINA 17-20 OCT. 2005, PISCATAWAY, NJ, USA,IEEE, LOS ALAMITOS, CA, USA, vol. 1, 17 October 2005 (2005-10-17), pages 786 - 791, XP010854868, ISBN: 978-0-7695-2334-7, DOI: DOI:10.1109/ICCV.2005.147 *
XIAOYANG TAN ET AL: "Fusing Gabor and LBP Feature Sets for Kernel-Based Face Recognition", 20 October 2007, ANALYSIS AND MODELING OF FACES AND GESTURES; [LECTURE NOTES IN COMPUTER SCIENCE], SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 235 - 249, ISBN: 978-3-540-75689-7, XP019081561 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
CN105608448B (zh) * 2016-02-22 2019-08-09 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
CN107392142A (zh) * 2017-07-19 2017-11-24 广东工业大学 一种真伪人脸识别方法及其装置
CN110163847A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 基于ct/mr影像的肝脏肿瘤分割方法及装置

Similar Documents

Publication Publication Date Title
EP3640843B1 (fr) Procédé d'extraction de caractéristiques d'une empreinte digitale représentée par une image d'entrée
US20200175250A1 (en) Feature extraction and matching for biometric authentication
EP2013816B1 (fr) Procede d'identification d'une personne par analyse de caracteristiques de ses cils
EP3832535A1 (fr) Procédé de détection d'au moins un élément d'intérêt visible dans une image d'entrée au moyen d'un réseau de neurones à convolution
FR2931006A1 (fr) Systeme et procede pour la reconnaissance visuelle
FR2884007A1 (fr) Procede d'identification de visages a partir d'images de visage, dispositif et programme d'ordinateur correspondants
EP3620970B1 (fr) Procédé d'extraction de caractéristiques d'une empreinte digitale représentée par une image d'entrée
EP3552146B1 (fr) Détection de nerfs dans une série d'images échographiques
FR3088467A1 (fr) Procede de classification d'une image d'entree representative d'un trait biometrique au moyen d'un reseau de neurones a convolution
FR3100074A1 (fr) Procédé d'analyse d'une caractéristique faciale d'un visage
EP3866064A1 (fr) Procede d'authentification ou d'identification d'un individu
EP2754088B1 (fr) Identification par reconnaissance d'iris
FR3085217A1 (fr) Procede de determination de pose et d'identification d'une vue tridimensionnelle de visage
FR3102600A1 (fr) Procédé de segmentation d’une image d’entrée représentant au moins une empreinte biométrique au moyen d’un réseau de neurones à convolution
WO2011089517A1 (fr) Procede et dispositif de reconnaissance de visages en conditions de poses variables
EP2652674B1 (fr) Procede de comparaison d'images d'iris par selection intelligente de zones texturees
EP3929809A1 (fr) Procédé de détection d'au moins un trait biométrique visible sur une image d entrée au moyen d'un réseau de neurones à convolution
EP4016381A1 (fr) Procédé d'extraction d'une signature d'une empreinte digitale et dispositif mettant en oeuvre ledit procédé
EP4042319A1 (fr) Procédé de reconnaissance d'objets à représentativité augmentée
EP4099200A1 (fr) Procede et dispositif d'identification et/ou d'authentification biometrique
EP3825915A1 (fr) Procede de classification d'une empreinte biometrique representee par une image d'entree
FR2964771A1 (fr) Procede de vision par ordinateur base sur des contraintes valides en geometrie projective pour un filtre de coherence spatiale
FR2912827A1 (fr) Procede de verification biometrique utilisant l'iris d'un oeil et systeme associe.
FR2977056A1 (fr) Procede d'etablissement d'un score final de similarite entre des images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11713346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11713346

Country of ref document: EP

Kind code of ref document: A1