WO2011148596A1 - 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム - Google Patents

顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム Download PDF

Info

Publication number
WO2011148596A1
WO2011148596A1 PCT/JP2011/002766 JP2011002766W WO2011148596A1 WO 2011148596 A1 WO2011148596 A1 WO 2011148596A1 JP 2011002766 W JP2011002766 W JP 2011002766W WO 2011148596 A1 WO2011148596 A1 WO 2011148596A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
face feature
face
point
points
Prior art date
Application number
PCT/JP2011/002766
Other languages
English (en)
French (fr)
Inventor
森下雄介
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/637,732 priority Critical patent/US8737697B2/en
Priority to KR1020127030899A priority patent/KR101365789B1/ko
Priority to JP2012517124A priority patent/JP5772821B2/ja
Priority to CN201180025493.9A priority patent/CN102906786B/zh
Priority to EP11786300.1A priority patent/EP2579210A4/en
Publication of WO2011148596A1 publication Critical patent/WO2011148596A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face feature point position correcting device, a face feature point position correcting method, and a face feature point position correcting program for correcting the feature point positions of facial organs such as eyes and noses detected from images.
  • the face feature point Detects and outputs the position (hereinafter referred to as the face feature point) of the feature points (hereinafter referred to as the face feature points) of the facial organs such as eyes and nose from the image of the face photographed (hereinafter referred to as the face image).
  • This technique is important for performing high-precision processing such as face orientation estimation, face authentication, and facial expression recognition, and various methods have been proposed.
  • Non-Patent Document 1 describes a method of correcting a detected face feature point position based on a statistical face shape model as a method of detecting a face feature point and outputting the face feature point position. Yes.
  • a face feature point detector constructed for each face feature point is applied to the face region to detect the face feature point, and a reliability map representing the likelihood of the face feature point is detected for each detected face feature point. Generated.
  • a facial feature point position that is highly reliable and has a small difference from the position indicated by the statistical facial shape model is searched based on a predetermined evaluation function.
  • a penalty is given to face feature point positions far away from the positions indicated by the statistical face shape model (specifically, no weighting is performed). Therefore, even when some or all of the facial feature points are blocked in the facial image, a plausible facial feature point position can be obtained.
  • Patent Document 1 describes a method for correcting a detected face feature point position based on a geometric arrangement relationship as a method for detecting a face feature point and outputting a face feature point position. .
  • this method first, a facial feature point in a facial image is searched in a preset search range based on the input reliability map, and an initial facial feature point position is obtained as a search result.
  • the obtained initial face feature point position is corrected by statistical geometric constraint processing using eigenspace based on the positional relationship.
  • the search range is reset based on the corrected initial face feature point position, and the face feature point position is searched in the reset range.
  • a reliable face feature point position is obtained by determining the reliability of the position of the initial face feature point position and the face feature point position of the re-search result.
  • Non-Patent Document 1 when a reliability map of erroneous contents is generated for one or a plurality of face feature points due to factors such as illumination fluctuations and shielding during face image shooting, The face feature point is corrected to a position close to the average position calculated from the face shape model by giving a penalty by a predetermined evaluation function.
  • a predetermined evaluation function including the reliability of the face feature point is calculated, there is a problem that the position of other face feature points is shifted due to the influence of the reliability map of the wrong contents. .
  • the present invention provides a face feature point position correction device, a face feature point, which can output a highly accurate face feature point position even when information with low reliability is input for one or a plurality of face feature points.
  • An object is to provide a position correction method and a face feature point position correction program.
  • the face feature point position correcting apparatus generates a reliability map representing the feature point likelihood of each face feature point, which is a feature point of each organ of the face, for each face feature point from an input image of the face.
  • a facial feature point reliability generating unit that calculates the position of each facial feature point in an image of a face based on the reliability map generated by the facial feature point reliability generation unit.
  • An out-of-face feature point determining unit that determines whether or not the out-of-face feature point is a out-of-face feature point that is a face feature point that does not meet the condition, Face feature points determined to be outlier face feature points Face feature point difference calculating means for calculating the difference between the position of each excluded face feature point and the position of the corresponding point corresponding to each face feature point, the determination result of the outlier face feature point determining means, and the face It is characterized by comprising face feature point position correcting means for correcting the position of a predetermined face feature point among the face feature points based on the calculation result of the feature point difference calculating means.
  • the face feature point position correction method generates, for each face feature point, a reliability map that represents the feature point likelihood of each face feature point that is the feature point of each organ of the face from the input image of the face. Then, based on the generated reliability map, the position of each face feature point in the image showing the face is calculated, and for each face feature point, the calculated position of each face feature point and the statistical face shape model are calculated. Whether or not each face feature point is an outlier face feature point that is a face feature point that does not meet a predetermined condition based on the position of each corresponding point corresponding to each face feature point.
  • the difference between the position of each face feature point excluding the face feature point determined to be an outlier face feature point and the position of the corresponding point corresponding to each face feature point is calculated, and the outlier face feature is calculated.
  • Judgment result of whether or not it is a point, and each face A feature of correcting the position of a predetermined facial feature point among each facial feature point based on the result of calculation of the difference between the position of the feature point and the corresponding point corresponding to each facial feature point To do.
  • a reliability map representing the feature point likelihood of each face feature point is input from the input image of the face to the computer.
  • Initial facial feature point position for calculating the position of each facial feature point in the image of the face based on the facial feature point reliability generation process generated for each face and the reliability map generated by the facial feature point reliability generation process
  • Out-of-face feature point determination processing for determining whether or not an out-of-face feature point is a feature point that does not meet a predetermined condition based on the predetermined condition, and out-of-face feature points out of each face feature point according to a predetermined evaluation function
  • the out-of-face feature points Face feature point difference calculation processing for calculating the difference between the position of each face feature point excluding the determined face feature point and
  • the position of the face feature points can be corrected and the position of the face feature points can be output with high accuracy. Can be.
  • FIG. 1 is an explanatory diagram showing a configuration example of an embodiment of a face feature point position correcting apparatus according to the present invention.
  • the face feature point position correcting apparatus 1 includes a data processing apparatus 100 and a storage device 200.
  • the data processing apparatus 100 includes a face image input unit 110, a face feature point reliability generation unit 120, an initial face feature point position calculation unit 130, an out-of-face feature point determination unit 140, and a face feature point difference calculation unit 150.
  • face feature point position correcting means 160 includes face shape model storage means 210.
  • the face image input means 110 inputs an image with a face.
  • the face feature point reliability generation unit 120 generates, for each face feature point, a reliability map that represents the feature point likelihood of face feature points such as eyes and nose from the image of the face input by the face image input unit 110.
  • the initial face feature point position calculation unit 130 calculates the face feature point position based on the reliability map generated by the face feature point reliability generation unit 120.
  • the face feature point position calculated by the initial face feature point position calculating unit 130 is referred to as an initial face feature point position.
  • the out-of-face feature point determining unit 140 stores the face feature point at the initial face feature point position in the face shape model storage unit 210. It is determined whether or not the face feature point is a deviated face feature point at a position outside the statistical face shape model.
  • the face feature point difference calculating means 150 uses a statistical face shape model according to the position of the face feature points excluding the face feature points determined by the out-of-face feature point determining means 140 as out-of-face feature points, and a predetermined evaluation function. The difference from the position of the corresponding face feature point (corresponding point) is calculated.
  • the face feature point position correcting unit 160 is a statistical unit stored in the face shape model storage unit 210 based on the determination result of the outlier face feature point determination unit 140 and the result calculated by the face feature point difference calculation unit 150. In the face shape model, the position of the face feature point having a large error from the position of the corresponding face feature point is corrected.
  • FIG. 2 is a flowchart showing the operation of the face feature point position correcting apparatus 1 shown in FIG.
  • the face image input means 110 inputs an image with a face (step S111).
  • the face feature point reliability generation means 120 generates a reliability map representing the likelihood of the feature points of the face feature points such as eyes and nose from the image of the face input in the process of step S111 (step S112). ).
  • the initial face feature point position calculation means 130 calculates the initial face feature point position based on the reliability map generated by the process of step S112 (step S113).
  • the face feature point determination unit 140 stores the face feature point at the initial face feature point position in the face shape model storage unit 210 based on the initial face feature point position calculated in step S113. It is determined whether or not the feature point is an out-of-face feature point at a position out of the statistical face shape model (step S114).
  • the face feature point difference calculation means 150 responds in the statistical face shape model according to a predetermined evaluation function and the positions of the face feature points excluding the face feature points determined to be outlier face feature points in the process of step S114. The difference from the position of the face feature point is calculated (step S115).
  • the face feature point position correcting unit 160 is based on the determination result of the process in step S114 and the result calculated in the process of step S115.
  • the position of the face feature point having a large error from the position of the corresponding face feature point is corrected (step S116).
  • the facial feature points at positions deviating from the corresponding facial feature points in the statistical facial shape model are excluded according to a predetermined evaluation function. Since it is configured to calculate the difference from the position of the corresponding face feature point in the statistical face shape model and correct the position of the face feature point, it is possible to output the face feature point position with high accuracy. .
  • the storage device 200 is realized by, for example, a semiconductor memory or a hard disk.
  • the face image input unit 110 is realized by, for example, a digital camera.
  • the face image input means 110, the face feature point reliability generation means 120, the initial face feature point position calculation means 130, the outlier face feature point determination means 140, the face feature point difference calculation means 150, and the face feature point position correction means 160 include For example, it is realized by a CPU (Central Processing Unit) that executes processing according to program control.
  • the face shape model storage unit 210 is realized by, for example, a semiconductor memory or a hard disk.
  • the face image input means 110 inputs an image with a face.
  • FIG. 3 is an explanatory diagram illustrating an example of an image with a face input by the face image input unit 110.
  • the image input by the face image input unit 110 may include a background in addition to the face. Further, the face image input means 110 may perform face detection in advance and cut out and input only the region where the face is shown from the image showing the face.
  • the face feature point reliability generation unit 120 generates, for each face feature point, a reliability map that represents the feature point likelihood of the face feature points such as eyes and nose from the image of the face input by the face image input unit 110.
  • FIG. 4 is an explanatory diagram showing face feature points to be detected in an image with a face.
  • the face feature points to be detected are indicated by crosses.
  • X marks are placed at 14 points on both ends of the left and right eyebrows, the center and both ends of the left and right eyes, the lower part of the nose, and both ends and the center of the mouth. It is attached.
  • the face feature point reliability generation means 120 generates 14 reliability maps corresponding to each point.
  • Non-Patent Document 1 a detector for each facial feature point configured using AdaBoost based on Haar-like features by Viola and Jones is applied to the entire region of the image input by the facial image input means 110.
  • AdaBoost AdaBoost based on Haar-like features by Viola and Jones
  • FIG. 5 is an explanatory diagram showing an example of a reliability map at the center of the pupil of the right eye.
  • the higher the reliability representing the likelihood of a face feature point the darker black it is.
  • the reliability of the vicinity of the pupil center of the left eye, the vicinity of the right eyebrow, and the vicinity of the nose is high in addition to the center of the pupil of the right eye.
  • the initial face feature point position calculation unit 130 calculates the position of the initial face feature point based on the reliability map generated by the face feature point reliability generation unit 120. When it is desired to detect the positions of the 14 face feature points shown in FIG. 4, the positions of the 14 initial face feature points are calculated. For example, the initial face feature point position calculating unit 130 determines the position where the reliability is the maximum value (the position with the highest reliability) in each reliability map generated by the face feature point reliability generation unit 120 as the initial face feature point. The position of Further, the initial face feature point position calculation means 130 uses the position where the reliability in the reliability map has the maximum value as the position of the initial face feature point, and the prior distribution of the face feature point position and the face feature point reliability. You may use the position where the product of the maximum is the position of the initial face feature point.
  • FIG. 6 is an explanatory diagram showing the position where the reliability is maximum in the reliability map around the center of the pupil of the right eye, indicated by x.
  • FIG. 6 shows that the reliability of the vicinity of the pupil center of the left eye, the vicinity of the right eyebrow, and the vicinity of the nose is high in addition to the center of the pupil of the right eye.
  • the reliability of the position of the right-eye pupil center is the highest, it is indicated that the right-eye pupil center (position indicated by a cross) is selected as the position of the initial face feature point.
  • the out-of-face feature point determination unit 140 stores the face feature point at the initial face feature point position in the face shape model storage unit 210. It is determined whether or not the face feature point is out of the statistical face shape model.
  • the face shape model storage unit 210 records the coordinate values of the 14 face feature points shown in FIG. 4 as a statistical face shape model.
  • the coordinate values of the 14 face feature points may be, for example, the average value of the coordinate values of the face feature points of many face images including individual differences, facial expressions, and face orientation fluctuations.
  • the face shape model storage unit 210 records a set of a plurality of coordinate values obtained by applying the k-means method to the coordinate values of the face feature points of a large number of face images including various variations as a face shape model. May be. For example, a robust estimation method can be applied to determine whether or not a face feature point is a face feature point at a position deviating from the statistical face shape model.
  • FIG. 7 is an explanatory diagram showing the position of the initial face feature point calculated by the initial face feature point position calculation means 130.
  • the initial face feature point position calculation means 130 determines the initial pupil center portion of the right eye, the right eye head portion, and the right end portion of the mouth depending on factors such as illumination fluctuation at the time of face image shooting. Assume that the position of the face feature point is calculated at a position greatly deviating from the corresponding position in the image where the face is photographed.
  • the out-of-face feature point determination unit 140 first randomly selects two face feature points from the 14 face feature points shown in FIG.
  • FIG. 8 is an explanatory diagram showing an example of two randomly selected face feature points. In the example shown in FIG. 8A, it is shown that the face feature point of the right eye corner and the face feature point of the left end of the mouth are selected.
  • each face feature point selected by the off-face feature point determination unit 140 will be described with a or b added.
  • a set of coordinate values of initial face feature points corresponding to two randomly selected face feature points in the input image is defined as (t a , t b ).
  • T a and t b are two-dimensional vectors representing coordinate values in the input image.
  • the face feature point selected by the out-of-face feature point determination unit 140 in this example, the right eye
  • the face feature point selected by the out-of-face feature point determination unit 140 (in this example, the right eye
  • k a and k b are two-dimensional vectors representing coordinate values in the face shape model.
  • the out-of-face feature point determination unit 140 performs coordinate conversion from (t a , t b ) of the set of coordinate values of the initial face feature point to (k a , k b ) of the set of coordinate values of the face shape model.
  • Find p The coordinate transformation p is a four-dimensional vector having a translation component in the x-axis direction, a translation component in the y-axis direction, a rotation component in the in-screen direction, and a scale component.
  • the out-of-face feature point determination unit 140 uses the remaining 12 coordinate values of the initial face feature point converted using the coordinate conversion p according to the equation (1) and the initial face feature point in the face shape model. A square error with the coordinate values of 12 face feature points corresponding to each is calculated, and a median value of 12 square errors is obtained.
  • med indicates a function for calculating the median.
  • the outlier face feature point determination unit 140 selects two face feature points at random, obtains the coordinate transformation p, and performs a series of operations for calculating the square error of each coordinate value a plurality of times. Then, the out-of-face feature point determination unit 140 holds the coordinate transformation p having the smallest median square error as p ′. Lastly, the out-of-face feature point determination unit 140 detects an out-of-face feature point in which the square error between the coordinate value of the initial face feature point converted by the coordinate conversion p ′ and the coordinate value of the face shape model is larger than a predetermined threshold. Judged as a feature point.
  • FIG. 9 is an explanatory diagram illustrating an example of a determination result of the out-of-face feature point determination unit 140.
  • the face feature points determined as the out-of-face feature points by the out-of-face feature point determination unit 140 are indicated by circles X.
  • FIG. 9 shows that the initial face feature points at the center of the pupil of the right eye, the head of the right eye, and the right end of the mouth are determined to be out-of-face feature points.
  • the number of face feature points randomly selected by the out-of-face feature point determination unit 140 to obtain the coordinate transformation p may be three or more.
  • the out-of-face feature point determination unit 140 randomly selects three face feature points from the 14 face feature points shown in FIG.
  • each face feature point selected by the off-face feature point determination unit 140 will be described with a, b, or c.
  • a set of coordinate values of the three face feature points of the initial face feature points corresponding to the three randomly selected face feature points is defined as (t a , t b , t c ).
  • a set of coordinate values of three face feature points corresponding to the face feature points selected by the out-of-face feature point determination unit 140 is obtained. Let (k a , k b , k c ).
  • the out-of-face feature point determination means 140 determines (k a , k b , k) of the set of coordinate values of the face shape model from (t a , t b , t c ) of the set of coordinate values of the initial face feature point. c ) A coordinate transformation p that minimizes the square error between the other coordinate values of the face shape model when the coordinate transformation is performed and the coordinate value of the initial face feature point corresponding to the coordinate value is obtained. Then, the out-of-face feature point determination unit 140 can determine whether or not the face feature point is an out-of-face feature point, as in the case where the number of randomly selected face feature points is two.
  • the face feature point difference calculating unit 150 excludes the face feature points that the out-of-face feature point determining unit 140 has determined to be out-of-face feature points, and determines the position of the face feature point according to a predetermined evaluation function. The difference from the position of the corresponding face feature point in the shape model is calculated.
  • the facial feature point difference calculating unit 150 calculates, for example, the initial facial feature point from the coordinate value of the initial facial feature point excluding the facial feature point determined by the out-of-face feature point determining unit 140 as the out-of-face feature point.
  • the coordinate transformation p to the coordinate value of the face feature point in the corresponding face shape model is obtained using the least square method.
  • the face feature point difference calculation means 150 calculates a square error between the coordinate value of the initial face feature point converted by the coordinate conversion p and the coordinate value of the face shape model and the face feature point excluding the outlier face feature point and statistically. You may use for the difference with the position of the face feature point in a face shape model.
  • the face feature point difference calculating unit 150 may substitute the coordinate transformation p ′ obtained by the out-of-face feature point judging unit 140 as the coordinate transformation p. Further, the face feature point difference calculation means 150 uses the face feature point reliability at the coordinates of the initial face feature points, in addition to the square error between the coordinate values of the initial face feature points after the coordinate conversion and the coordinate values of the face shape model. May be.
  • the face feature point difference calculating unit 150 calculates the square error between the coordinate value of the initial face feature point after the coordinate conversion and the coordinate value of the face shape model, and the face feature point reliability. May be output as an error between the coordinate value of the initial face feature point subjected to coordinate conversion and the coordinate value of the face shape model.
  • the face feature point position correcting means 160 is a face feature point having a large error from the statistical face shape model based on the determination result of the outlier face feature point determining means 140 and the result calculated by the face feature point difference calculating means 150. Correct the position of.
  • the face feature point whose position is corrected by the face feature point position correcting unit 160 is calculated by the face feature point determined to be an out-of-face feature point by the out-of-face feature point determining unit 140 and the face feature point difference calculating unit 150. This is a face feature point whose error from the position in the face shape model is a predetermined threshold value or more.
  • the face feature point position correcting unit 160 may use, for example, a face shape model stored in the face shape model storage unit 210 for correcting the face feature point. Specifically, the face feature point position correcting unit 160 uses the inverse transformation p 1 to the coordinate transformation p obtained by the face feature point difference calculating unit 150 to use the face of the face shape model corresponding to the face feature point to be corrected. By converting the coordinate value of the feature point, it is possible to obtain the corrected coordinate value of the face feature point deviated from the face shape model (that is, the face feature point to be corrected).
  • FIG. 10 is an explanatory diagram showing an example of a result of correcting the position of the face feature point that is out of the face shape model by the face feature point position correcting unit 160.
  • FIG. 10 shows that the positions of the right-eye pupil center, the right-eye head, and the right edge of the mouth that are determined to be out-of-face feature points in FIG. 9 have been corrected to appropriate positions. .
  • the face feature point detected as being out of the position of the corresponding face feature point in the statistical face shape model is corrected to an appropriate position, and the highly accurate face feature point position is corrected. Can be output.
  • FIG. 11 is a block diagram showing an outline of the present invention.
  • a face feature point position correction apparatus 300 according to the present invention includes a face feature point reliability generation means 301, an initial face feature point position calculation means 302, an outlier face feature point determination means 303, and a face feature. Point difference calculation means 304 and face feature point position correction means 305 are included.
  • the face feature point reliability generation unit 301 generates a reliability map representing the feature point likelihood of each face feature point, which is a feature point of each organ of the face, for each face feature point from the input image of the face. .
  • the initial face feature point position calculation unit 302 calculates the position of each face feature point in the image showing the face based on the reliability map generated by the face feature point reliability generation unit 301.
  • the off-face feature point determination unit 303 corresponds to each face feature point calculated by the initial face feature point position calculation unit 302 and each face feature point in the statistical face shape model. It is determined whether or not the face feature point is an outlier face feature point that does not meet a predetermined condition based on the position of each corresponding point.
  • the face feature point difference calculating unit 304 excludes each of the face feature points from the face feature points that are determined to be out-of-face feature points by the out-of-face feature point determining unit 303 according to a predetermined evaluation function. And the position of the corresponding point corresponding to each face feature point.
  • the face feature point position correction unit 305 determines the position of a predetermined face feature point among the face feature points based on the determination result of the out-of-face feature point determination unit 303 and the calculation result of the face feature point difference calculation unit 304. to correct.
  • an image with low reliability for one or more facial feature points due to factors such as illumination fluctuation or shielding during face image capturing. Even when is inputted, it is possible to correct the position of the face feature point and output the face feature point position with high accuracy.
  • face feature point position correction apparatuses as shown in the following (1) to (4) are also disclosed.
  • a face feature point position correction apparatus in which the out-of-face feature point determination unit 303 determines whether each face feature point is an out-of-face feature point using a robust estimation technique.
  • a facial feature point position correcting apparatus that determines that a facial feature point having a square error between the coordinate value indicating the position of the corresponding point of each facial feature point and a coordinate value indicating the position of each facial feature point is larger than a predetermined threshold is a facial feature point.
  • a face feature point position correction apparatus including face shape model storage means for storing statistical face shape model information.
  • the face feature point position correcting unit 305 includes a facial feature point determined to be an out-of-face feature point by the out-of-face feature point determining unit 303 and a facial feature point difference calculating unit 304.
  • the present invention can be widely used for face orientation estimation, high accuracy of a face authentication system, facial expression recognition, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　顔特徴点信頼度生成手段が、顔画像から各顔特徴点の信頼度マップを生成する。初期顔特徴点位置計算手段が、信頼度マップにもとづいて顔画像における各顔特徴点の位置を計算する。外れ顔特徴点判定手段が、各顔特徴点ごとに、所定の条件に合致しない外れ顔特徴点であるか否かを判定する。顔特徴点差異計算手段が、各顔特徴点のうち、外れ顔特徴点であると判定された顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点の対応点の位置との差異をそれぞれ計算する。顔特徴点位置補正手段が、外れ顔特徴点判定手段の判定結果、および顔特徴点差異計算手段の計算結果にもとづいて、所定の顔特徴点の位置を補正する。

Description

顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
　本発明は、画像から検出した目、鼻等の顔の器官の特徴点位置を補正する顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラムに関する。
　顔が撮影された画像（以下、顔画像という）から目、および鼻等の顔の器官の特徴点（以下、顔特徴点という）の位置（以下、顔特徴点位置という）を検出して出力する技術は、顔の向きの推定や、顔の認証、および表情の認識等の処理を高い精度で行うために重要であり、種々の方法が提案されている。
　例えば、非特許文献１には、顔特徴点を検出して顔特徴点位置を出力する方法として、統計的な顔形状モデルにもとづいて、検出した顔特徴点位置を補正する方法が記載されている。この方法では、まず、顔特徴点ごとに構築した顔特徴点検出器が顔領域に適用されて顔特徴点が検出され、検出された顔特徴点ごとに顔特徴点らしさを表す信頼度マップが生成される。
　次に、顔特徴点ごとに、信頼度が高く、統計的な顔形状モデルによって示される位置との差が小さくなるような顔特徴点位置が所定の評価関数にもとづいて探索される。このとき、統計的な顔形状モデルによって示される位置から遠く離れた顔特徴点位置にはペナルティが与えられる（具体的には、重み付けがされない）。そのため、顔画像において顔特徴点の一部または全部が遮蔽されている場合でも、尤もらしい顔特徴点位置が得られる。
　また、特許文献１には、顔特徴点を検出して顔特徴点位置を出力する方法として、幾何学的な配置関係にもとづいて、検出した顔特徴点位置を補正する方法が記載されている。この方法では、まず、入力された信頼度マップにもとづいて顔画像中の顔特徴点が予め設定された探索範囲で探索され、探索結果として初期顔特徴点位置が得られる。
　次に、得られた初期顔特徴点位置が、その位置関係にもとづいて、固有空間を利用した統計的な幾何拘束処理で補正される。次に、補正された初期顔特徴点位置にもとづいて探索範囲が再設定され、再設定された範囲で顔特徴点位置が探索される。最後に、初期顔特徴点位置と、再探索結果の顔特徴点位置とについて、それぞれ位置の信頼性が判定されることによって、尤もらしい顔特徴点位置が得られる。
特開２００９－２１１１７７号公報
Ｄ．　Ｃｒｉｓｔｉｎａｃｃｅ　ａｎｄ　Ｔ．　Ｆ．　Ｃｏｏｔｅｓ，"Ａ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｓｈａｐｅ　Ｃｏｎｓｔｒａｉｎｅｄ　Ｆａｃｉａｌ　Ｆｅａｔｕｒｅ　Ｄｅｔｅｃｔｏｒｓ"，Ｉｎ　６ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　２００４，Ｋｏｒｅａ，ｐｐ．３５７－３８０
　非特許文献１に記載されている方法では、顔画像撮影時の照明の変動や遮蔽等の要因によって、１つまたは複数の顔特徴点について誤った内容の信頼度マップが生成された場合、それらの顔特徴点の位置は、所定の評価関数によりペナルティが与えられて顔形状モデルから計算される平均的な位置の近くの位置に修正される。しかし、当該顔特徴点の信頼度も含めて所定の評価関数の計算が行われるので、誤った内容の信頼度マップの影響を受けて他の顔特徴点の位置がずれてしまうという問題がある。
　また、特許文献１に記載されている方法では、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合に、それ以外の顔特徴点位置が正しく求められていれば幾何学的な配置関係にもとづいて顔特徴点位置が正しく補正される。しかし、さらに、顔検出に失敗するなどして顔領域の位置、大きさおよび画面内回転の正規化に失敗すると、顔特徴点位置が固有空間として表現された標準的な顔形状から全体的に外れてしまう。この場合、どの顔特徴点位置が標準的な顔形状から外れているのかを判断することができない。従って、幾何学的な配置関係を正しく計算することができず、正確な顔特徴点位置を得ることができないという問題がある。
　そこで、本発明は、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、高精度の顔特徴点位置の出力が可能な顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラムを提供することを目的とする。
　本発明による顔特徴点位置補正装置は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する顔特徴点信頼度生成手段と、顔特徴点信頼度生成手段が生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算手段と、各顔特徴点ごとに、初期顔特徴点位置計算手段が計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定手段と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定手段が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する顔特徴点差異計算手段と、外れ顔特徴点判定手段の判定結果、および顔特徴点差異計算手段の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正手段とを備えたことを特徴とする。
　本発明による顔特徴点位置補正方法は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成し、生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算し、各顔特徴点ごとに、計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定し、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算し、外れ顔特徴点であるか否かの判定結果、およびそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異の計算の結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正することを特徴とする。
　本発明による顔特徴点位置補正プログラムは、コンピュータに、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する顔特徴点信頼度生成処理と、顔特徴点信頼度生成処理で生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する初期顔特徴点位置計算処理と、各顔特徴点ごとに、初期顔特徴点位置計算処理で計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定処理と、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定処理で外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異を計算する顔特徴点差異計算処理と、外れ顔特徴点判定処理の判定結果、および顔特徴点差異計算処理の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正処理とを実行させることを特徴とする。
　本発明によれば、１つまたは複数の顔特徴点について信頼度の低い情報が入力された場合においても、当該顔特徴点の位置を補正して、高精度の顔特徴点位置の出力を可能にすることができる。
本発明による顔特徴点位置補正装置の実施形態の構成例を示す説明図である。 本実施形態の顔特徴点位置補正装置の動作を示すフローチャートである。 顔画像入力手段が入力する顔の写った画像の例を示す説明図である。 顔の写った画像において、検出したい顔特徴点を示す説明図である。 右目の瞳中心の信頼度マップの例を示す説明図である。 右目の瞳中心周辺の信頼度マップにおいて、信頼度が最大値となる位置を×印で示す説明図である。 初期顔特徴点位置計算手段が計算した初期顔特徴点の位置を示す説明図である。 ランダムに選択された２個の顔特徴点の例を示す説明図である。 外れ顔特徴点判定手段の判定結果の例を示す説明図である。 顔特徴点位置補正手段が顔形状モデルから外れた顔特徴点の位置を補正した結果の例を示す説明図である。 本発明の概要を示すブロック図である。
　本発明による顔特徴点位置補正装置の実施形態について、図面を参照して説明する。図１は、本発明による顔特徴点位置補正装置の実施形態の構成例を示す説明図である。
　図１に示すように、本発明による顔特徴点位置補正装置１は、データ処理装置１００と、記憶装置２００とを含む。データ処理装置１００は、顔画像入力手段１１０と、顔特徴点信頼度生成手段１２０と、初期顔特徴点位置計算手段１３０と、外れ顔特徴点判定手段１４０と、顔特徴点差異計算手段１５０と、顔特徴点位置補正手段１６０とを含む。記憶装置２００は、顔形状モデル記憶手段２１０を含む。
　顔画像入力手段１１０は、顔の写った画像を入力する。顔特徴点信頼度生成手段１２０は、顔画像入力手段１１０が入力した顔の写った画像から目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップを顔特徴点ごとに生成する。初期顔特徴点位置計算手段１３０は、顔特徴点信頼度生成手段１２０が生成した信頼度マップにもとづいて、顔特徴点位置を計算する。なお、初期顔特徴点位置計算手段１３０によって算出された顔特徴点位置を初期顔特徴点位置という。
　外れ顔特徴点判定手段１４０は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある顔特徴点である外れ顔特徴点であるか否かを判定する。顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除く顔特徴点の位置と、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点（対応点）の位置との差異を計算する。顔特徴点位置補正手段１６０は、外れ顔特徴点判定手段１４０の判定結果、および顔特徴点差異計算手段１５０が計算した結果にもとづいて、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて対応する顔特徴点の位置との誤差の大きな顔特徴点の位置を補正する。
　次に、顔特徴点位置補正装置１の動作について、図面を参照して説明する。図２は、図１に示す顔特徴点位置補正装置１の動作を示すフローチャートである。
　まず、顔画像入力手段１１０が、顔の写った画像を入力する（ステップＳ１１１）。次に、顔特徴点信頼度生成手段１２０が、目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップをステップＳ１１１の処理で入力された顔の写った画像から生成する（ステップＳ１１２）。初期顔特徴点位置計算手段１３０が、初期顔特徴点位置をステップＳ１１２の処理で生成された信頼度マップにもとづいて計算する（ステップＳ１１３）。
　次に、外れ顔特徴点判定手段１４０が、ステップＳ１１３の処理で計算された初期顔特徴点位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある外れ顔特徴点であるか否かを判定する（ステップＳ１１４）。顔特徴点差異計算手段１５０が、ステップＳ１１４の処理で外れ顔特徴点であると判定された顔特徴点を除く顔特徴点の位置と、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算する（ステップＳ１１５）。そして、顔特徴点位置補正手段１６０が、ステップＳ１１４の処理の判定結果、およびステップＳ１１５の処理で計算した結果にもとづいて、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて対応する顔特徴点の位置との誤差の大きな顔特徴点の位置を補正する（ステップＳ１１６）。
　本実施形態によれば、顔画像から検出した顔特徴点のうち、統計的な顔形状モデルにおいて対応する顔特徴点の位置から外れた位置にある顔特徴点を除外して所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算し、顔特徴点の位置を補正するように構成されているので、高精度の顔特徴点位置の出力が可能である。
　次に、本発明の実施形態の構成と動作とについて、具体的な実施例を用いて説明する。
図１に示す本発明による顔特徴点位置補正装置１において、記憶装置２００は、例えば、半導体メモリまたはハードディスクによって実現される。顔画像入力手段１１０は、例えば、デジタルカメラによって実現される。顔画像入力手段１１０、顔特徴点信頼度生成手段１２０、初期顔特徴点位置計算手段１３０、外れ顔特徴点判定手段１４０、顔特徴点差異計算手段１５０、および顔特徴点位置補正手段１６０は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）によって実現される。また、顔形状モデル記憶手段２１０は、例えば、半導体メモリまたはハードディスクによって実現される。
　顔画像入力手段１１０は、顔の写った画像を入力する。図３は、顔画像入力手段１１０が入力する顔の写った画像の例を示す説明図である。顔画像入力手段１１０が入力する画像には、顔の他に背景が含まれていてもよい。また、顔画像入力手段１１０は、予め顔検出を行って、顔の写った画像から顔が写っている領域のみを切り出して入力してもよい。
　顔特徴点信頼度生成手段１２０は、顔画像入力手段１１０が入力した顔の写った画像から、目や鼻などの顔特徴点の特徴点らしさを表す信頼度マップを、顔特徴点ごとに生成する。図４は、顔の写った画像において、検出したい顔特徴点を示す説明図である。図４に示す例では、検出したい顔特徴点が×印で示されている。本例では、図４に示すように、左右の眉の両端部と、左右の目の中央部および両端部と、鼻の下部と、口の両端部および中央部との１４点に×印が付されている。顔特徴点信頼度生成手段１２０は、各点に対応して信頼度マップを１４個生成する。なお、顔特徴点の特徴点らしさを表す信頼度マップを生成するための手法は、従来提案されている種々の手法を用いることが可能である。例えば、非特許文献１と同様に、顔画像入力手段１１０が入力した画像の領域全体に、ＶｉｏｌａとＪｏｎｅｓによるＨａａｒ－ｌｉｋｅ特徴にもとづくＡｄａＢｏｏｓｔを用いて構成した顔特徴点ごとの検出器を適用することで信頼度マップを生成してもよい。
　図５は、右目の瞳中心の信頼度マップの例を示す説明図である。図５に示す例では、顔特徴点らしさを表す信頼度が高いほど、濃い黒で示されている。図５に示す例では、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、および鼻下付近の信頼度が高いことが示されている。
　初期顔特徴点位置計算手段１３０は、顔特徴点信頼度生成手段１２０が生成した信頼度マップにもとづいて初期顔特徴点の位置を計算する。図４に示す１４点の顔特徴点の位置を検出したい場合、１４個の初期顔特徴点の位置が計算される。初期顔特徴点位置計算手段１３０は、例えば、顔特徴点信頼度生成手段１２０が生成した各信頼度マップにおいて、信頼度が最大値となる位置（信頼度が最も高い位置）を初期顔特徴点の位置とする。また、初期顔特徴点位置計算手段１３０は、信頼度マップにおける信頼度が最大値となる位置を初期顔特徴点の位置に用いる以外に、顔特徴点位置の事前分布と顔特徴点信頼度との積が最大となる位置を初期顔特徴点の位置に用いてもよい。
　図６は、右目の瞳中心周辺の信頼度マップにおいて、信頼度が最大値となる位置を×印で示す説明図である。図６には、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、および鼻下付近の信頼度も高いことが示されている。しかし、右目の瞳中心の位置の信頼度が最も高いので、右目の瞳中心（×印で示す位置）が初期顔特徴点の位置として選ばれたことが示されている。
　外れ顔特徴点判定手段１４０は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点の位置にもとづいて、当該初期顔特徴点位置にある顔特徴点が顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルから外れた位置にある外れ顔特徴点であるか否かを判定する。顔形状モデル記憶手段２１０には、統計的な顔形状モデルとして、図４に示す１４個の顔特徴点の座標値が記録されている。
　ここで、１４個の顔特徴点の座標値は、例えば、個人差、表情、および顔向きの変動を含む多数の顔画像の顔特徴点の座標値の平均値としてもよい。また、顔形状モデル記憶手段２１０には、様々な変動を含む多数の顔画像の顔特徴点の座標値にｋ－ｍｅａｎｓ法を適用して得られる複数の座標値の組が顔形状モデルとして記録されていてもよい。統計的な顔形状モデルから外れた位置にある顔特徴点である外れ顔特徴点であるか否かの判定には、例えば、ロバスト推定の手法が適用可能である。
　ここで、ロバスト推定の手法の１つである最小メジアン法（ＬＭｅｄＳ（ｌｅａｓｔ　ｍｅｄｉａｎ　ｏｆ　ｓｑｕａｒｅｓ）法）を用いた外れ顔特徴点の判定方法について、図面を参照して説明する。図７は、初期顔特徴点位置計算手段１３０が計算した初期顔特徴点の位置を示す説明図である。ここで、図７に示すように、初期顔特徴点位置計算手段１３０は、顔画像撮影時の照明変動等の要因によって右目の瞳中心部、右目の目頭部、および口の右端部の初期顔特徴点の位置を、顔が撮影された画像において対応する位置から大きく外れた位置に計算したとする。
　外れ顔特徴点判定手段１４０は、まず、図４に示す１４個の顔特徴点から２個の顔特徴点をランダムに選択する。図８は、ランダムに選択された２個の顔特徴点の例を示す説明図である。図８（ａ）に示す例では、右目の目尻の顔特徴点、および口の左端の顔特徴点が選択されたことが示されている。
　以下、外れ顔特徴点判定手段１４０によって選択された各顔特徴点にａまたはｂを付して説明する。そして、入力画像において、ランダムに選択された２個の顔特徴点に対応する初期顔特徴点の座標値の組を（ｔａ，ｔｂ）とする。なお、ｔａおよびｔｂはそれぞれ入力画像における座標値を表す２次元ベクトルである。また、図８（ｂ）に示すように、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて、外れ顔特徴点判定手段１４０によって選択された顔特徴点（本例では右目の目尻の点および口の左端の点）に対応する２個の顔特徴点の座標値（つまり、顔形状モデルにおける右目の目尻の点および口の左端の点の座標値）の組を（ｋａ，ｋｂ）とする。なお、ｋａおよびｋｂはそれぞれ顔形状モデルにおける座標値を表す２次元ベクトルである。
　ここで、顔形状モデルの顔特徴点の座標系と、初期顔特徴点の座標系とは相違しているので、両者の座標系にもとづく座標値を対応付ける必要がある。そこで、外れ顔特徴点判定手段１４０は、初期顔特徴点の座標値の組の（ｔａ，ｔｂ）から、顔形状モデルの座標値の組の（ｋａ，ｋｂ）への座標変換ｐを求める。座標変換ｐは、ｘ軸方向の平行移動成分、ｙ軸方向の平行移動成分、画面内方向の回転成分、およびスケール成分を有する４次元ベクトルである。次に、外れ顔特徴点判定手段１４０は、式（１）に従って、座標変換ｐを用いて変換した初期顔特徴点の残りの１２個の座標値と、顔形状モデルにおいて当該初期顔特徴点にそれぞれ対応する１２個の顔特徴点の座標値との二乗誤差を計算し、１２個の二乗誤差の中央値を求める。
Figure JPOXMLDOC01-appb-M000001
　式（１）におけるｍｅｄは中央値を算出する関数を示す。外れ顔特徴点判定手段１４０は、ランダムに２個の顔特徴点を選択し、座標変換ｐを求め、各座標値の二乗誤差を計算する一連の動作を複数回行う。そして、外れ顔特徴点判定手段１４０は、二乗誤差の中央値が最も小さかった座標変換ｐをｐ’として保持する。最後に、外れ顔特徴点判定手段１４０は、座標変換ｐ’で変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差が、所定の閾値より大きな顔特徴点を外れ顔特徴点と判定する。
　図９は、外れ顔特徴点判定手段１４０の判定結果の例を示す説明図である。図９において、外れ顔特徴点判定手段１４０によって外れ顔特徴点と判定された顔特徴点を丸で囲われた×印で示す。図９には、右目の瞳中心部、右目の目頭部、および口の右端部の初期顔特徴点が外れ顔特徴点と判定されたことが示されている。
　なお、外れ顔特徴点判定手段１４０が座標変換ｐを求めるためにランダムに選択する顔特徴点の数は、３個以上であってもよい。例えば、外れ顔特徴点判定手段１４０が、図４に示す１４個の顔特徴点から３個の顔特徴点をランダムに選択したとする。ここで、外れ顔特徴点判定手段１４０によって選択された各顔特徴点にａ、ｂまたはｃを付して説明する。そして、入力画像において、ランダムに選択された３個の顔特徴点に対応する初期顔特徴点の３個の顔特徴点の座標値の組を（ｔａ，ｔｂ，ｔｃ）とする。また、顔形状モデル記憶手段２１０に記憶されている統計的な顔形状モデルにおいて、外れ顔特徴点判定手段１４０によって選択された顔特徴点に対応する３個の顔特徴点の座標値の組を（ｋａ，ｋｂ，ｋｃ）とする。
　そして、外れ顔特徴点判定手段１４０は、初期顔特徴点の座標値の組の（ｔａ，ｔｂ，ｔｃ）から、顔形状モデルの座標値の組の（ｋａ，ｋｂ，ｋｃ）に座標変換したときの顔形状モデルの他の座標値と当該座標値に対応する初期顔特徴点の座標値との二乗誤差が最小となる座標変換ｐを求める。そして、外れ顔特徴点判定手段１４０は、ランダムに選択する顔特徴点の数が２個の場合と同様に、外れ顔特徴点であるか否かを判定することができる。
　顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除外して、顔特徴点の位置について、所定の評価関数に従って統計的な顔形状モデルにおいて対応する顔特徴点の位置との差異を計算する。
　なお、顔特徴点差異計算手段１５０は、例えば、外れ顔特徴点判定手段１４０が外れ顔特徴点であると判定した顔特徴点を除く初期顔特徴点の座標値から、当該初期顔特徴点に対応する顔形状モデルにおける顔特徴点の座標値への座標変換ｐを最小二乗法を用いて求める。そして、顔特徴点差異計算手段１５０は、座標変換ｐで変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差を当該外れ顔特徴点を除く顔特徴点と統計的な顔形状モデルにおける顔特徴点の位置との差異に用いてもよい。また、顔特徴点差異計算手段１５０は、外れ顔特徴点判定手段１４０が求めた座標変換ｐ’を座標変換ｐとして代用してもよい。また、顔特徴点差異計算手段１５０は、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差以外に、初期顔特徴点の座標における顔特徴点信頼度等を用いてもよい。
　顔特徴点差異計算手段１５０は、顔特徴点信頼度を用いる場合には、例えば、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との二乗誤差と、顔特徴点信頼度の逆数との積を、座標変換した初期顔特徴点の座標値と顔形状モデルの座標値との誤差として出力してもよい。
　顔特徴点位置補正手段１６０は、外れ顔特徴点判定手段１４０の判定結果、および顔特徴点差異計算手段１５０が計算した結果にもとづいて、統計的な顔形状モデルとの誤差の大きな顔特徴点の位置を補正する。顔特徴点位置補正手段１６０が位置を補正する顔特徴点は、外れ顔特徴点判定手段１４０によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段１５０が計算した顔形状モデルにおける位置との誤差が所定の閾値以上の顔特徴点である。
　顔特徴点位置補正手段１６０は、顔特徴点の補正に、例えば、顔形状モデル記憶手段２１０に記憶されている顔形状モデルを使用してもよい。具体的には、顔特徴点位置補正手段１６０は、顔特徴点差異計算手段１５０が求めた座標変換ｐの逆変換ｐ～を用いて、補正対象の顔特徴点に対応する顔形状モデルの顔特徴点の座標値を変換することにより、顔形状モデルから外れた顔特徴点（つまり、補正対象の顔特徴点）の補正後の座標値を求めることができる。
　図１０は、顔特徴点位置補正手段１６０が顔形状モデルから外れた顔特徴点の位置を補正した結果の例を示す説明図である。図１０には、図９において、外れ顔特徴点と判定された右目の瞳中心部、右目の目頭部、および口の右端部の位置が適当な位置に補正されたことが示されている。
　本実施例によれば、統計的な顔形状モデルにおいて対応する顔特徴点の位置から外れた位置にあると検出された顔特徴点を適当な位置に補正して、高精度の顔特徴点位置を出力することができる。
　次に、本発明の概要について説明する。図１１は本発明の概要を示すブロック図である。図１１に示すように、本発明による顔特徴点位置補正装置３００は、顔特徴点信頼度生成手段３０１と、初期顔特徴点位置計算手段３０２と、外れ顔特徴点判定手段３０３と、顔特徴点差異計算手段３０４と、顔特徴点位置補正手段３０５とを含む。
　顔特徴点信頼度生成手段３０１は、入力された顔の写った画像から顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを各顔特徴点ごとに生成する。初期顔特徴点位置計算手段３０２は、顔特徴点信頼度生成手段３０１が生成した信頼度マップにもとづいて、顔の写った画像における各顔特徴点の位置を計算する。外れ顔特徴点判定手段３０３は、各顔特徴点ごとに、初期顔特徴点位置計算手段３０２が計算した各顔特徴点の位置と、統計的な顔形状モデルにおいて各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する。
　顔特徴点差異計算手段３０４は、所定の評価関数に従って、各顔特徴点のうち、外れ顔特徴点判定手段３０３が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する。顔特徴点位置補正手段３０５は、外れ顔特徴点判定手段３０３の判定結果、および顔特徴点差異計算手段３０４の計算結果にもとづいて、各顔特徴点のうち、所定の顔特徴点の位置を補正する。
　そのような構成によれば、例えば、顔画像撮影時の照明の変動や遮蔽等の要因によって、１つまたは複数の顔特徴点について信頼度の低い（具体的には、例えば、不鮮明な）画像が入力された場合においても、当該顔特徴点の位置を補正して、高精度の顔特徴点位置の出力を可能にすることができる。
　また上記の実施形態では、以下の（１）～（４）に示すような顔特徴点位置補正装置も開示されている。
（１）外れ顔特徴点判定手段３０３が、ロバスト推定の手法を用いて、各顔特徴点が外れ顔特徴点であるか否かを判定する顔特徴点位置補正装置。
（２）外れ顔特徴点判定手段３０３が、各顔特徴点からランダムに顔特徴点を選択する動作、選択した顔特徴点の位置を示す座標値を顔特徴点の対応点の位置を示す座標値に変換するベクトルにもとづいて、当該動作で選択されなかった顔特徴点の位置を示す座標値を変換する動作、および変換後の座標値と顔特徴点の対応点の位置を示す座標値との二乗誤差の中央値を算出する動作を複数回繰り返し、各回の動作で座標値の変換に用いられたベクトルのうち、最も小さい中央値が算出されたベクトルにもとづいて変換された各顔特徴点の座標値と、各顔特徴点の対応点の位置を示す座標値との二乗誤差が所定の閾値よりも大きい顔特徴点を外れ顔特徴点であると判定する顔特徴点位置補正装置。
（３）統計的な顔形状モデルの情報を記憶する顔形状モデル記憶手段を備えた顔特徴点位置補正装置。
（４）顔特徴点位置補正手段３０５が、各顔特徴点のうち、外れ顔特徴点判定手段３０３によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段３０４の計算結果の差異が予め決められた値以上である顔特徴点の位置を補正する顔特徴点位置補正装置。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年５月２６日に出願された日本特許出願２０１０－１２１０１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明を、顔向き推定や顔認証システムの高精度化、表情認識等に広く利用可能である。
　１、３００　顔特徴点位置補正装置
　１００　データ処理装置
　１１０　顔画像入力手段
　１２０、３０１　顔特徴点信頼度生成手段
　１３０、３０２　初期顔特徴点位置計算手段
　１４０、３０３　外れ顔特徴点判定手段
　１５０、３０４　顔特徴点差異計算手段
　１６０、３０５　顔特徴点位置補正手段
　２００　記憶手段
　２１０　顔形状モデル記憶手段

Claims (7)

  1. 　入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成する顔特徴点信頼度生成手段と、
    　前記顔特徴点信頼度生成手段が生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算する初期顔特徴点位置計算手段と、
    　前記各顔特徴点ごとに、前記初期顔特徴点位置計算手段が計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定手段と、
    　所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点判定手段が外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異をそれぞれ計算する顔特徴点差異計算手段と、
    　前記外れ顔特徴点判定手段の判定結果、および前記顔特徴点差異計算手段の計算結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正手段とを備えた
    　ことを特徴とする顔特徴点位置補正装置。
  2. 　外れ顔特徴点判定手段は、ロバスト推定の手法を用いて、各顔特徴点が外れ顔特徴点であるか否かを判定する
    　請求項１記載の顔特徴点位置補正装置。
  3. 　外れ顔特徴点判定手段は、各顔特徴点からランダムに顔特徴点を選択する動作、選択した前記顔特徴点の位置を示す座標値を前記顔特徴点の対応点の位置を示す座標値に変換するベクトルにもとづいて、前記動作で選択されなかった顔特徴点の位置を示す座標値を変換する動作、および変換後の座標値と前記顔特徴点の対応点の位置を示す座標値との二乗誤差の中央値を算出する動作を複数回繰り返し、各回の動作で座標値の変換に用いられたベクトルのうち、最も小さい中央値が算出されたベクトルにもとづいて変換された前記各顔特徴点の座標値と、前記各顔特徴点の対応点の位置を示す座標値との二乗誤差が所定の閾値よりも大きい顔特徴点を外れ顔特徴点であると判定する
    　請求項２記載の顔特徴点位置補正装置。
  4. 　統計的な顔形状モデルの情報を記憶する顔形状モデル記憶手段を備えた
    　請求項１から請求項３のうちいずれか１項記載の顔特徴点位置補正装置。
  5. 　顔特徴点位置補正手段は、各顔特徴点のうち、外れ顔特徴点判定手段によって外れ顔特徴点であると判定された顔特徴点、および顔特徴点差異計算手段の計算結果の差異が予め決められた値以上である顔特徴点の位置を補正する
    　請求項１から請求項４のうちいずれか１項記載の顔特徴点位置補正装置。
  6. 　入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成し、
    　生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算し、
    　前記各顔特徴点ごとに、計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定し、
    　所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異を計算し、
    　外れ顔特徴点であるか否かの判定結果、および前記それぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異の計算の結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する
    　ことを特徴とする顔特徴点位置補正方法。
  7. 　コンピュータに、
    　入力された顔の写った画像から前記顔の各器官の特徴点である各顔特徴点の特徴点らしさを表す信頼度マップを前記各顔特徴点ごとに生成する顔特徴点信頼度生成処理と、
    　前記顔特徴点信頼度生成処理で生成した前記信頼度マップにもとづいて、前記顔の写った画像における前記各顔特徴点の位置を計算する初期顔特徴点位置計算処理と、
    　前記各顔特徴点ごとに、前記初期顔特徴点位置計算処理で計算した前記各顔特徴点の位置と、統計的な顔形状モデルにおいて前記各顔特徴点にそれぞれ対応する各対応点の位置とにもとづく所定の条件に合致しない顔特徴点である外れ顔特徴点であるか否かを判定する外れ顔特徴点判定処理と、
    　所定の評価関数に従って、前記各顔特徴点のうち、外れ顔特徴点判定処理で外れ顔特徴点であると判定した顔特徴点を除外したそれぞれの顔特徴点の位置と、前記それぞれの顔特徴点に対応する対応点の位置との差異を計算する顔特徴点差異計算処理と、
    　前記外れ顔特徴点判定処理の判定結果、および前記顔特徴点差異計算処理の計算結果にもとづいて、前記各顔特徴点のうち、所定の顔特徴点の位置を補正する顔特徴点位置補正処理とを実行させる
    　ための顔特徴点位置補正プログラム。
PCT/JP2011/002766 2010-05-26 2011-05-18 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム WO2011148596A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/637,732 US8737697B2 (en) 2010-05-26 2011-05-18 Facial feature point position correction device, facial feature point position correcting method, and facial feature point position correcting program
KR1020127030899A KR101365789B1 (ko) 2010-05-26 2011-05-18 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체
JP2012517124A JP5772821B2 (ja) 2010-05-26 2011-05-18 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
CN201180025493.9A CN102906786B (zh) 2010-05-26 2011-05-18 脸部特征点位置校正设备和脸部特征点位置校正方法
EP11786300.1A EP2579210A4 (en) 2010-05-26 2011-05-18 Face feature-point position correction device, face feature-point position correction method, and face feature-point position correction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-121017 2010-05-26
JP2010121017 2010-05-26

Publications (1)

Publication Number Publication Date
WO2011148596A1 true WO2011148596A1 (ja) 2011-12-01

Family

ID=45003597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002766 WO2011148596A1 (ja) 2010-05-26 2011-05-18 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム

Country Status (6)

Country Link
US (1) US8737697B2 (ja)
EP (1) EP2579210A4 (ja)
JP (1) JP5772821B2 (ja)
KR (1) KR101365789B1 (ja)
CN (1) CN102906786B (ja)
WO (1) WO2011148596A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122009A1 (ja) * 2012-02-16 2013-08-22 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2013196295A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置
WO2013145496A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP2013242757A (ja) * 2012-05-22 2013-12-05 Sony Corp 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP2019102081A (ja) * 2017-12-05 2019-06-24 富士通株式会社 データ処理装置及びデータ処理方法
CN110889373A (zh) * 2019-11-27 2020-03-17 中国农业银行股份有限公司 基于区块链的身份识别方法、信息保存方法及相关装置
US11210498B2 (en) 2017-06-26 2021-12-28 Nec Corporation Facial authentication device, facial authentication method, and program recording medium

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001144A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for face tracking utilizing integral gradient projections
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US8983203B2 (en) * 2011-10-14 2015-03-17 Ulsee Inc. Face-tracking method with high accuracy
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105868767B (zh) * 2015-01-19 2020-02-18 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN105893920B (zh) 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
EP3136289A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US11232584B2 (en) 2016-10-31 2022-01-25 Nec Corporation Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6992367B2 (ja) * 2017-09-27 2022-01-13 カシオ計算機株式会社 爪輪郭検出装置、爪輪郭検出方法及び爪輪郭検出プログラム
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US20220036581A1 (en) 2018-09-26 2022-02-03 Nec Corporation Estimation device, estimation method, and storage medium
US11587288B2 (en) * 2021-03-15 2023-02-21 Tencent America LLC Methods and systems for constructing facial position map

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299051A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
JP2009211177A (ja) 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置
JP2010121017A (ja) 2008-11-19 2010-06-03 Dainippon Printing Co Ltd 粘着フィルム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501937B2 (ja) * 2004-11-12 2010-07-14 オムロン株式会社 顔特徴点検出装置、特徴点検出装置
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
CN1786980A (zh) * 2005-12-08 2006-06-14 上海交通大学 用二维轮廓进行人脸特征点新位置搜索的方法
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
KR100816016B1 (ko) 2006-09-12 2008-03-21 인하대학교 산학협력단 이기종 지문 입력기 간 인식의 호환을 위한 테일러시리즈를 이용한 특징점 변환 방법
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299051A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
JP2009211177A (ja) 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置
JP2010121017A (ja) 2008-11-19 2010-06-03 Dainippon Printing Co Ltd 粘着フィルム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. CRISTINACCE; T. F. COOTES: "A Comparison of Shape Constrained Facial Feature Detectors", 6TH INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION, 2004, pages 357 - 380
See also references of EP2579210A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122009A1 (ja) * 2012-02-16 2013-08-22 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JPWO2013122009A1 (ja) * 2012-02-16 2015-05-11 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US9858501B2 (en) 2012-02-16 2018-01-02 Nec Corporation Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program
JP2013196295A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置
US9684850B2 (en) 2012-03-19 2017-06-20 Kabushiki Kaisha Toshiba Biological information processor
US9904843B2 (en) 2012-03-27 2018-02-27 Nec Corporation Information processing device, information processing method, and program
WO2013145496A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2013145496A1 (ja) * 2012-03-27 2015-12-10 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP2013242757A (ja) * 2012-05-22 2013-12-05 Sony Corp 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US11210498B2 (en) 2017-06-26 2021-12-28 Nec Corporation Facial authentication device, facial authentication method, and program recording medium
US11915518B2 (en) 2017-06-26 2024-02-27 Nec Corporation Facial authentication device, facial authentication method, and program recording medium
JP2019102081A (ja) * 2017-12-05 2019-06-24 富士通株式会社 データ処理装置及びデータ処理方法
JP7188015B2 (ja) 2017-12-05 2022-12-13 富士通株式会社 データ処理装置及びデータ処理方法
CN110889373A (zh) * 2019-11-27 2020-03-17 中国农业银行股份有限公司 基于区块链的身份识别方法、信息保存方法及相关装置
CN110889373B (zh) * 2019-11-27 2022-04-08 中国农业银行股份有限公司 基于区块链的身份识别方法、信息保存方法及相关装置

Also Published As

Publication number Publication date
JPWO2011148596A1 (ja) 2013-07-25
CN102906786A (zh) 2013-01-30
US20130022277A1 (en) 2013-01-24
CN102906786B (zh) 2015-02-18
EP2579210A1 (en) 2013-04-10
JP5772821B2 (ja) 2015-09-02
KR20130025906A (ko) 2013-03-12
US8737697B2 (en) 2014-05-27
EP2579210A4 (en) 2018-01-17
KR101365789B1 (ko) 2014-02-20

Similar Documents

Publication Publication Date Title
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
JP5406705B2 (ja) データ補正装置及び方法
KR101956071B1 (ko) 사용자 인증 방법 및 장치
US9916495B2 (en) Face comparison device, method, and recording medium
US20170154209A1 (en) Image identification apparatus and image identification method
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US10147015B2 (en) Image processing device, image processing method, and computer-readable recording medium
US20190066333A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10223804B2 (en) Estimation device and method
US20150161435A1 (en) Frontal face detection apparatus and method using facial pose
US9904843B2 (en) Information processing device, information processing method, and program
WO2014112346A1 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
US20210174062A1 (en) Image processing device, image processing method, and recording medium
US20190266392A1 (en) Image processing apparatus, image processing method, and storage medium
KR102126722B1 (ko) 3차원 피사체 인식의 안티-스푸핑 방법
US11647152B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6003367B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN110598647B (zh) 一种基于图像识别的头部姿态识别方法
JP2013015891A (ja) 画像処理装置、画像処理方法及びプログラム
JP4816874B2 (ja) パラメータ学習装置、パラメータ学習方法、およびプログラム
JP2012243285A (ja) 特徴点位置決定装置、特徴点位置決定方法及びプログラム
JP6393495B2 (ja) 画像処理装置および物体認識方法
US20230386078A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180025493.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11786300

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011786300

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13637732

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012517124

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20127030899

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE