WO2014112346A1 - 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム - Google Patents

特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム Download PDF

Info

Publication number
WO2014112346A1
WO2014112346A1 PCT/JP2014/000102 JP2014000102W WO2014112346A1 WO 2014112346 A1 WO2014112346 A1 WO 2014112346A1 JP 2014000102 W JP2014000102 W JP 2014000102W WO 2014112346 A1 WO2014112346 A1 WO 2014112346A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
point position
target image
feature
initial information
Prior art date
Application number
PCT/JP2014/000102
Other languages
English (en)
French (fr)
Inventor
雄介 森下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201480004808.5A priority Critical patent/CN104919492A/zh
Priority to JP2014557390A priority patent/JP6387831B2/ja
Priority to US14/759,155 priority patent/US20150356346A1/en
Publication of WO2014112346A1 publication Critical patent/WO2014112346A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a feature point position detection technique for detecting the position of a feature point such as an eye or nose from an image such as a face.
  • Feature point position detection is the detection of feature point positions of organs such as eyes, nose and mouth from images such as faces, and is an important technology for high-precision face recognition and facial expression recognition. Yes.
  • AAM Active Appearance Model
  • Non-patent Document 1 a model relating to the texture and shape of a face is constructed by a statistical method from a plurality of face images and feature point position information input in advance to these images, and this model is converted into an image including a face to be detected. Fit. Then, the feature point position is detected by repeatedly updating the model parameters so that the face image to be detected is close to the face image calculated from the model.
  • Various enhancements have been made since AAM was proposed, and a method for combining a plurality of models to cope with profile detection, and improvements for higher speed and higher accuracy have been proposed.
  • Non-Patent Document 2 it is known that AAM is strongly influenced by initial values (initial parameters) when fitting models.
  • initial values initial parameters
  • Patent Document 2 the performance of feature point detection is improved by estimating AAM parameters using a cylindrical head model.
  • Patent Document 1 in order to cope with a change in the face direction, an identification method that is robust to a change in the face direction is provided by rotating the face image.
  • the head model of Non-Patent Document 2 or the face of Patent Document 1 can be used.
  • the amount of information is small only by rotating the image.
  • problems such as model fitting falling into a local solution occur, and it is difficult to detect face feature point positions with high accuracy.
  • the present invention has been made to solve the above-described problems, and its purpose is to model various changes in facial images such as facial expressions, individual variations, posture variations, and the like. It is possible to detect feature points with high accuracy, which can prevent the fitting of the above from falling into a local solution.
  • a feature point position estimation apparatus includes feature point position initial information input means for inputting feature point position initial information from the outside according to a target image, the feature point position initial information, and feature point position estimation dictionary information.
  • a feature point estimation position estimation means for estimating a feature point estimation position of a desired number of points in the target image; a model parameter calculation means for obtaining a search parameter for a feature point position search of the target image from the feature point estimation position; and the search Feature point search means for searching for and detecting the feature point position of the target image by performing parameter fitting of the model of the target image based on the parameter.
  • external feature point position initial information is input according to the target image, and a desired number of points in the target image is obtained from the feature point position initial information and the feature point position estimation dictionary information.
  • a feature point estimated position is estimated, a search parameter for searching for a feature point position of the target image is obtained from the feature point estimated position, and parameter fitting of the model of the target image is performed based on the search parameter. Search and detect feature point positions.
  • a feature point position estimation program includes a process of inputting feature point position initial information from the outside according to a target image to a feature point position detection device, the feature point position initial information, and feature point position estimation dictionary information, A process for estimating a feature point estimated position of a desired number of points in the target image from the process, a process for obtaining a search parameter for a feature point position search of the target image from the feature point estimated position, and the target image based on the search parameter The process of searching for and detecting the feature point position of the target image is performed by performing parameter fitting of the model.
  • a high-precision feature that prevents the fitting of a model from falling into a local solution against various changes such as facial expression fluctuations, individual fluctuations, and posture fluctuations of an image such as a target face. Point detection is possible.
  • FIG. 1 is a block diagram illustrating a configuration of a feature point position detection apparatus 1 that detects the position of a feature point of an image such as a face according to an embodiment of the present invention.
  • the feature point position detection apparatus 1 of the present embodiment includes a data processing device 100 and a storage device 200.
  • the data processing apparatus 100 includes a feature point position initial information input unit 110 that inputs feature point position initial information of an image such as a face, a feature point estimated position estimation unit 120 that estimates a feature point estimated position, and a model parameter calculation unit 130. And a face feature point position searching means 140 for searching for the feature point position.
  • the storage device 200 includes a feature point position estimation dictionary storage unit 210 that stores a feature point position estimation dictionary of an image such as a face.
  • Feature point position initial information input means 110 inputs initial information of feature point positions from the outside according to the image 300 such as a face.
  • the initial feature point position information is, for example, information on feature point positions such as eyes, nose, and mouth obtained by any external image feature point detection device.
  • the feature point estimated position estimation unit 120 uses the feature point position estimation dictionary stored in the feature point position estimation dictionary storage unit 210 from the initial feature point position information input by the feature point position initial information input unit 110. Thus, the feature point estimation position of a desired number of points in the target image 300 is estimated.
  • the model parameter calculation unit 130 obtains a search parameter in the search for the feature point position based on the feature point estimated position estimated by the feature point estimated position estimation unit 120.
  • the search parameter will be described in detail in the description of a more specific embodiment described later.
  • the feature point position search unit 140 performs model parameter fitting of the model such as the eyes, nose, and mouth of the image 300 based on the search parameter obtained by the model parameter calculation unit 130 as an initial value. A search is performed to detect the feature point position 310.
  • FIG. 2 is a flowchart showing the operation of the feature point position detection apparatus 1 shown in FIG.
  • the feature point position initial information input means 110 inputs the initial information of the feature point position from the outside according to the image 300 such as a face image (step S111).
  • the feature point estimated position estimation unit 120 uses the feature point position estimation dictionary stored in the feature point position estimation dictionary storage unit 210 from the initial information of the feature point position input in S111 to A feature point estimation position having a desired number of points in the image 300 to be estimated is estimated (step S112).
  • the model parameter calculation means 130 obtains a search parameter in the search for the feature point position based on the feature point estimated position estimated in S112 (step S113).
  • the feature point position searching unit 140 searches for the feature point position by performing model parameter fitting based on the search parameter obtained in S113 as an initial value, and detects the feature point position 310. (Step S114).
  • the initial value of an appropriate model parameter in the feature point position search unit 140 that is, the model parameter closer to the correct answer.
  • the feature point position search can be performed. As a result, it is possible to prevent a local solution from falling into a local solution when searching for feature point positions, and to detect feature point positions with high accuracy.
  • the storage device 200 is realized by, for example, a semiconductor memory or a hard disk.
  • Feature point position initial information input means 110, feature point estimated position estimation means 120, model parameter calculation means 130, and feature point position search means 140 are realized by, for example, a CPU (Central Processing Unit) that executes processing according to program control. Is done.
  • the feature point position estimation dictionary storage unit 210 is realized by, for example, a semiconductor memory or a hard disk.
  • Feature point position initial information input means 110 inputs initial feature point position information from the outside to feature point estimated position estimation means 120 according to image 300.
  • image 300 it is possible to specify a person of an image such as a face image in advance.
  • the initial information of the feature point position is, for example, the position (coordinates) of the feature points such as eyes, nose, and mouth, which can be obtained in advance from an external feature point detection device or the like.
  • the coordinate of the feature point position represents the position of the feature point on the image to be processed by the feature point position detection device 1 as a set of two numbers of x coordinate value and y coordinate value for each feature point position.
  • FIG. 3 is a diagram illustrating a face image 301 which is an example of an image 300 to be processed by the feature point position detection apparatus 1.
  • FIG. 4 is a diagram in which face feature point position initial information 302 input by the feature point position initial information input unit 110 is superimposed on the face image 301.
  • the face feature point position initial information 302 input by the feature point position initial information input means 110 is indicated by a cross.
  • x marks are attached to 14 points of both ends of the right and left eyebrows, the center and both ends of the left and right eyes, the lower part of the nose, and both the ends and the center of the mouth.
  • the feature point estimated position estimating means 120 is a feature point position estimation dictionary storage means 210 based on the face feature point position initial information 302 inputted from the feature point position initial information input means 110, here, the coordinate value information of the face feature point position. Is used to estimate the face feature point estimated position of a desired number of points according to the target face image 301. In FIG. 5, the face feature point estimated position 303 is shown by being overlapped with the face image 301 with a cross. The estimation of the desired number of face feature point estimation positions 303 can be performed by canonical correlation analysis, for example. The desired number of points can be individually specified.
  • the feature point estimated position estimation unit 120 performs 75 face features by canonical correlation analysis from the coordinate values of the 14 face feature point position initial information 302 input from the feature point position initial information input unit 110.
  • the case where the coordinate value of the point estimation position 303 is estimated is shown.
  • Canonical correlation analysis is a technique for analyzing the correlation between multivariate groups.
  • a 28-dimensional vector in which the two-dimensional coordinate values of the 14 face feature point position initial information 302 are vertically arranged is x
  • the two-dimensional coordinate values of the 75 face feature point estimated positions 303 are vertically aligned.
  • the arranged 150-dimensional vector y is (Equation 1)
  • T in Equation 1 represents transposition of a vector and a matrix.
  • U, V, and ⁇ are matrices obtained by canonical correlation analysis.
  • U is a matrix for obtaining a canonical variable of vector x
  • the size is 28 ⁇ r
  • V is a matrix for obtaining a canonical variable of vector y.
  • the size is 150 ⁇ r
  • ⁇ is a matrix having the square of the canonical correlation as a diagonal component
  • the size is r ⁇ r.
  • r is a positive integer less than or equal to the x and y dimensions, and is an arbitrary integer between 1 and 28 here.
  • x 0, y 0, respectively, x 0 is fourteen face 28 dimensional vector the mean value of the two-dimensional coordinate values are arranged in the vertical feature point position initial information 302, y 0 is 75 facial feature points It is a 150-dimensional vector in which average values of two-dimensional coordinate values of the estimated position 303 are vertically arranged.
  • ⁇ , U, V, x 0 , y 0 are stored in the feature point position estimation dictionary storage unit 210.
  • the model parameter calculation unit 130 obtains a search parameter in the search for the facial feature point position based on the facial feature point estimated position 303 estimated by the feature point estimated position estimation unit 120.
  • the feature point estimated position estimation means 120 estimates the coordinate values of 75 face feature point estimated positions 303 from the coordinate values of 14 face feature point position initial information 302.
  • the 150-dimensional vector in which the two-dimensional coordinate values of the 75 facial feature point estimated positions 303 are vertically arranged is y
  • the model relating to the facial shape of the facial feature point position searching means 140 is S
  • the model relating to the facial texture is T
  • the shape When the integrated model of the model S relating to and the model T relating to texture is A, the search parameter p is (Equation 2)
  • Is calculated by S (y) and T (y) in Equation 2 are functions that return y as an input and search parameters relating to each model according to the predefined models S and T, respectively, and A is S (y), T ( This is a function that takes y) as an input and returns search parameters according to a predefined model A.
  • AAM Active Appearance Model
  • the models S, T, and A are usually modeled as linear subspaces. Therefore, a matrix in which vectors constituting each subspace are arranged is set as S, T, and A.
  • the matrix sizes of S, T, and A are 150 ⁇ r s , (the number of dimensions of g (y)) ⁇ r t , and (r s + r t ) ⁇ r a , and r s , r t , r a denotes the rank of each model.
  • p s, p t the size of the p a, respectively, the r s ⁇ 1, r t ⁇ 1, r a ⁇ 1.
  • G (y) is the position and size of the face on the two-dimensional image from the 150-dimensional vector y in which the two-dimensional coordinate values of the 75 facial feature point estimation positions 303 are arranged vertically,
  • This is a function for extracting a face image with normalized rotation angle and face shape.
  • the output of the function g is a vector in which the values of the pixels of the normalized face image are arranged vertically. For example, when the size of the normalized face image is 100 pixels ⁇ 100 pixels, the output of the function g is a 10000-dimensional vector.
  • the function g is known as warp image.
  • G 0 is an average vector of g (y) obtained in advance from a plurality of face images and their feature point position information y.
  • the feature point position search means 140 searches for a feature point position by performing model parameter fitting using the search parameter p obtained by the model parameter calculation means 130 as an initial value, and detects a feature point position.
  • model parameter fitting for example, in the case of AAM, the method of Non-Patent Document 1 can be used.
  • the search parameter p and the model are first used in the first step by using the model S, model T, and model A learned in advance with AAM.
  • Request parameter p t about texture parameters p s and the face on the shape of the face from a.
  • a face image g m estimated from the search parameter p is obtained using the texture parameter p t and the model T.
  • R is a matrix learned in advance by AAM.
  • an initial value of an appropriate model parameter in the feature point search unit 140 that is, a model parameter that is closer to the correct answer, is searched for the feature point position.
  • the feature point position search can be performed based on the initial value of the means 140. As a result, it is possible to detect feature point positions with high accuracy even for facial expression variations, personal variations, posture variations, and the like.
  • the present invention enables not only high-precision specification of feature point positions in a face image but also high-precision specification of feature point positions in the entire image.
  • initial information such as the thumb, index finger or nail is detected in advance by another means as the feature point position of the hand instead of the face feature point position, and the feature point position initial information is input.
  • the means 110 it is possible to detect the contours of the fingers, nails, and the like.
  • the type of animal or plant can be specified using this, and an automobile, a ship, an airplane, an electronic device, a building, a painting as an artifact. It is also possible to specify the type.
  • the initial information of the headlight as a feature point position of a predetermined type of automobile is detected in advance by another means and input by the feature point position initial information input means 110, whereby the head of the predetermined automobile Light detection is possible.
  • the kind of automobile can be specified.
  • animals and plants and other artifacts are examples of the initial information of the headlight as a feature point position of a predetermined type of automobile.
  • Appendix 1 Feature point position initial information input means for inputting feature point position initial information from outside according to the target image, and feature points having a desired number of points in the target image from the feature point position initial information and feature point position estimation dictionary information
  • a feature point estimated position estimating means for estimating an estimated position; a model parameter calculating means for obtaining a search parameter for searching a feature point position of the target image from the feature point estimated position; and a model of the target image based on the search parameter
  • a feature point position detection device comprising: feature point position search means for searching and detecting a feature point position of the target image by performing parameter fitting.
  • Appendix 2 The feature point position detection apparatus according to appendix 1, wherein the estimated feature point position is greater than the initial feature point position information.
  • (Appendix 6) Input feature point position initial information from the outside according to the target image, estimate a feature point estimated position of a desired number of points in the target image from the feature point position initial information and the feature point position estimation dictionary information, and the feature A feature parameter position search search parameter of the target image is obtained from the point estimation position, and a feature point position of the target image is searched and detected by performing parameter fitting of the model of the target image based on the search parameter.
  • Point position detection method (Appendix 7) The feature point position detection method according to appendix 6, wherein the estimated feature point position is greater than the initial feature point position information. (Appendix 8) The feature point position detection method according to appendix 6 or 7, wherein the feature point position estimation dictionary information uses a stored feature point position estimation dictionary.
  • (Appendix 11) A feature of a desired number of points in the target image from the process of inputting external feature point position initial information to the feature point position detection device according to the target image, and the feature point position initial information and the feature point position estimation dictionary information
  • a feature point position detection program for executing a process for searching for and detecting a feature point position of a target image.
  • Appendix 13 13.
  • Appendix 14 14.
  • Appendix 15 15.
  • (Appendix 16) Feature point position initial information input means for inputting feature point position initial information from outside according to the target image, and feature points having a desired number of points in the target image from the feature point position initial information and feature point position estimation dictionary information
  • a feature point position detecting device comprising: a feature point estimated position estimating unit that estimates an estimated position; and a feature point position searching unit that starts searching for a feature point position from the desired number of feature point estimated positions.
  • (Appendix 17) Input feature point position initial information from the outside according to the target image, estimate a feature point estimated position of a desired number of points in the target image from the feature point position initial information and feature point position estimation dictionary information, and the desired
  • a feature point position detection method that starts searching for feature point positions from the estimated number of feature point positions.
  • Appendix 18 A feature of a desired number of points in the target image from the process of inputting external feature point position initial information to the feature point position detection device according to the target image, and the feature point position initial information and the feature point position estimation dictionary information
  • a feature point position detection program for executing a process for estimating a point estimation position and a process for starting a search for a feature point position from the feature point estimation positions of the desired number of points.
  • the present invention relates to a feature point position detection technique for detecting the position of a feature point such as an eye or nose from an image such as a face, and is used for face authentication or facial expression recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本発明の特徴点位置検出装置は、対象画像に応じて外部からの特徴点位置初期情報を入力し、特徴点位置初期情報と特徴点位置推定辞書情報とから対象画像の所望の点数の特徴点推定位置を推定し、特徴点推定位置から対象画像の特徴点位置探索の探索パラメータを求め、探索パラメータに基づいて対象画像のモデルのパラメータフィッティングを行うことで対象画像の特徴点位置を検出する。

Description

特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
　本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関する。
　特徴点位置検出とは、顔などの画像中から目、鼻、口などの器官の特徴点位置を検出することであり、高精度な顔認証や表情認識などのために重要な技術となっている。
　顔の特徴点位置を検出する技術として、例えばＡｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌ（ＡＡＭ）が知られている（非特許文献１）。ＡＡＭでは、複数の顔画像とそれらの画像に予め入力された特徴点位置の情報から、統計的手法により顔のテクスチャと形状に関するモデルを構築し、このモデルを検出対象の顔が含まれる画像にフィッティングする。そして、検出対象の顔画像とモデルから計算される顔画像が近くなるようにモデルのパラメータを繰り返し更新することで、特徴点位置を検出する。ＡＡＭは提案されて以来様々な拡張がなされており、横顔の検出に対応させるために複数のモデルを組み合わせる方法や、高速化、高精度化のための改良が提案されている。
　ＡＡＭではモデルのフィッティングを行う際の初期値（初期パラメータ）の影響を強く受けることが知られている。その問題に対処するため、例えば非特許文献２では、円柱型の頭部モデルを用いてＡＡＭのパラメータを推定することで特徴点検出の性能を改善している。また、特許文献１では、顔の向きの変化に対応するために、顔画像を回転させることにより、顔の向きの変化にロバストな識別手法を提供している。
特開２００９－１５７７６７号公報
Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ　ａｎｄ　Ｃ．Ｊ．Ｔａｙｌｏｒ．"Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌｓ"，ＩＥＥＥ　ＰＡＭＩ，Ｖｏｌ．２３，Ｎｏ．６，ｐｐ．６８１－６８５，２００１． Ｊａｅｗｏｎ　Ｓｕｎｇ，ｅｔ　ａｌ．，"Ｐｏｓｅ　Ｒｏｂｕｓｔ　Ｆａｃｅ　Ｔｒａｃｋｉｎｇ　ｂｙ　Ｃｏｍｂｉｎｉｎｇ　Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌｓ　ａｎｄ　Ｃｙｌｉｎｄｅｒ　Ｈｅａｄ　Ｍｏｄｅｌｓ，"ＩＪＣＶ，２００８． Ｄ．Ｃｒｉｓｔｉｎａｃｃｅ ａｎｄ　Ｔ．Ｆ．Ｃｏｏｔｅｓ，"Ａ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｓｈａｐｅ　Ｃｏｎｓｔｒａｉｎｅｄ　Ｆａｃｉａｌ　Ｆｅａｔｕｒｅ　Ｄｅｔｅｃｔｏｒｓ，"Ｉｎ　６ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　２００４，Ｋｏｒｅａ，ｐｐ．３５７－３８０，２００４．
　しかしながら、顔の表情変動や個人変動、姿勢変動により、様々に変化する顔画像に対して正確にＡＡＭをフィッティングするには、非特許文献２の頭部モデルを用いることや、特許文献１の顔画像を回転させるだけでは、情報量が少ないといった問題があった。その結果、表情変動や個人変動、姿勢変動による顔画像の変化があった場合、モデルのフィッティングが局所解に陥るなどの支障が生じ、高精度な顔特徴点位置の検出が困難であった。
　本発明は、上記の課題を解決するためになされたものであり、その目的は、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防ぐことのできる、高精度な特徴点検出を可能とすることである。
　本発明による特徴点位置推定装置は、対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段とを備えている。
　本発明による特徴点位置推定方法は、対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する。
　本発明による特徴点位置推定プログラムは、特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる。
　本発明によれば、対象とする顔などの画像の、表情変動や個人変動、姿勢変動などによる様々な変化に対しても、モデルのフィッティングが局所解に陥ることを防いだ、高精度な特徴点検出が可能となる。
本発明の実施形態の特徴点位置検出装置の構成を示すブロック図である。 本発明の実施形態の特徴点位置検出装置の動作を示すフローチャートである。 本発明の実施形態の特徴点位置検出装置が処理の対象とする顔画像の例を示す図である。 本発明の実施形態の特徴点位置検出装置の特徴点位置初期情報入力手段が入力する特徴点位置初期情報の例を示す図である。 本発明の実施形態の特徴点位置検出装置の特徴点推定位置推定手段が推定する特徴点推定位置の例を示す図である。
　以下、図を参照しながら、本発明の最良の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
　本発明の実施形態の特徴点位置検出装置について、図面を参照して説明する。図１は、本発明の実施形態の顔などの画像の特徴点の位置を検出する特徴点位置検出装置１の構成を示すブロック図である。
　図１に示すように、本実施形態の特徴点位置検出装置１は、データ処理装置１００と記憶装置２００とを有する。データ処理装置１００は、顔などの画像の特徴点位置初期情報を入力する特徴点位置初期情報入力手段１１０と、特徴点推定位置を推定する特徴点推定位置推定手段１２０と、モデルパラメータ計算手段１３０と、特徴点位置を探索する顔特徴点位置探索手段１４０とを有する。記憶装置２００は、顔などの画像の特徴点位置推定辞書を記憶する特徴点位置推定辞書記憶手段２１０を有する。
　特徴点位置初期情報入力手段１１０は、外部から特徴点位置の初期情報を顔などの画像３００に応じて入力する。特徴点位置の初期情報とは、例えば、外部の任意の、画像の特徴点の検出装置で得られる目、鼻、口などの特徴点位置の情報である。特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する。
　モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める。探索パラメータについては、後述のより具体的な実施形態の説明で詳しく述べる。特徴点位置探索手段１４０は、モデルパラメータ計算手段１３０で求めた探索パラメータを初期値とすることに基づいて、画像３００の目や鼻や口などのモデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する。
　次に、特徴点位置検出装置１の動作について、図面を参照して説明する。図２は、図１に示す特徴点位置検出装置１の動作を示すフローチャートである。
　まず、特徴点位置初期情報入力手段１１０が、外部から特徴点位置の初期情報を顔画像などの画像３００に応じて入力する（ステップＳ１１１）。次に、特徴点推定位置推定手段１２０が、Ｓ１１１で入力された特徴点位置の初期情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする画像３００における所望の点数の特徴点推定位置を推定する（ステップＳ１１２）。
　次に、モデルパラメータ計算手段１３０が、Ｓ１１２で推定した特徴点推定位置を基に、特徴点位置の探索における探索パラメータを求める（ステップＳ１１３）。次に、特徴点位置探索手段１４０が、Ｓ１１３で求めた探索パラメータを初期値とすることに基づいて、モデルのパラメータフィッティングを行うことによって特徴点位置の探索を行い、特徴点位置３１０を検出する（ステップＳ１１４）。
　本実施形態によれば、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点位置探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを特徴点位置探索手段１４０の初期値とすることに基づいて、特徴点位置探索を行うことができる。これにより、特徴点位置探索時に局所解に陥ることが防がれ、高精度な特徴点位置の検出が可能となる。
　次に、本実施形態の構成と動作とについて、さらに具体的に説明する。
　図１に示す実施形態の特徴点位置検出装置１において、記憶装置２００は、例えば、半導体メモリまたはハードディスクによって実現される。特徴点位置初期情報入力手段１１０、特徴点推定位置推定手段１２０、モデルパラメータ計算手段１３０、および、特徴点位置探索手段１４０は、例えば、プログラム制御に従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）によって実現される。また、特徴点位置推定辞書記憶手段２１０は、例えば、半導体メモリまたはハードディスクによって実現される。
　特徴点位置初期情報入力手段１１０は、外部からの特徴点位置の初期情報を、画像３００に応じて、特徴点推定位置推定手段１２０に入力する。画像３００に応じてとは、顔画像などの画像の人物を予め特定しておくことなどにより可能である。特徴点位置の初期情報とは、例えば、外部の任意の特徴点の検出装置などから予め得ることができる、目、鼻、口などの特徴点の位置（座標）である。
　特徴点位置の座標は、特徴点位置検出装置１が処理対象とする画像上の特徴点の位置を、特徴点位置ごとにそれぞれｘ座標値、ｙ座標値の二つの数字の組として表す。外部の特徴点位置の初期情報の入力には、例えば、外部の任意の特徴点の検出装置を繋ぐことや、非特許文献３の特徴点の検出技術を用いること、あるいは、人間の手による特徴点位置の入力などが可能である。
　図３は、特徴点位置検出装置１が処理の対象とする画像３００の例である顔画像３０１を示す図である。また、図４は、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２を、顔画像３０１に重ね合わせて示した図である。図４では、特徴点位置初期情報入力手段１１０で入力する顔特徴点位置初期情報３０２が×印で示されている。ここでは、左右の眉の両端部と、左右の目の中央部および両端部と、鼻の下部と、口の両端部および中央部との１４点に×印が付されている。
　特徴点推定位置推定手段１２０は、特徴点位置初期情報入力手段１１０から入力された顔特徴点位置初期情報３０２、ここでは顔特徴点位置の座標値の情報から、特徴点位置推定辞書記憶手段２１０に記憶されている特徴点位置の推定辞書を用いて、対象とする顔画像３０１に応じた所望の点数の顔特徴点推定位置を推定する。図５では、顔特徴点推定位置３０３を×印で、顔画像３０１に重ね合わせて示している。所望の点数の顔特徴点推定位置３０３の推定は、例えば、正準相関分析により行うことができる。また、所望の点数は、個別に指定することができる。
　ここでは、特徴点推定位置推定手段１２０が、特徴点位置初期情報入力手段１１０から入力された１４個の顔特徴点位置初期情報３０２の座標値から、正準相関分析により、７５個の顔特徴点推定位置３０３の座標値を推定する場合を示す。正準相関分析は多変量群間の相関関係を分析する手法である。ここで、１４個の顔特徴点位置初期情報３０２の二次元座標値を縦に並べた２８次元のベクトルをｘとおくと、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙは、
（数１）
Figure JPOXMLDOC01-appb-I000001
により計算される。ただし、数１のＴはベクトル及び行列の転置を表す。また、Ｕ、Ｖ、Λは正準相関分析により求まる行列であり、それぞれ、Ｕはベクトルｘの正準変量を求める行列で大きさは２８×ｒ、Ｖはベクトルｙの正準変量を求める行列で大きさは１５０×ｒ、Λは正準相関の２乗を対角成分に持つ行列で大きさはｒ×ｒ、を意味する。なお、ｒはｘとｙの次元以下の正の整数であり、ここでは１から２８までの間の任意の整数である。さらに、ｘ０、ｙ０は、それぞれ、ｘ０は１４個の顔特徴点位置初期情報３０２の二次元座標値の平均値を縦に並べた２８次元ベクトル、ｙ０は７５個の顔特徴点推定位置３０３の二次元座標値の平均値を縦に並べた１５０次元ベクトルである。Λ、Ｕ、Ｖ、ｘ０、ｙ０は、特徴点位置推定辞書記憶手段２１０に記憶される。
　モデルパラメータ計算手段１３０は、特徴点推定位置推定手段１２０で推定した顔特徴点推定位置３０３を基に、顔の特徴点位置の探索における探索パラメータを求める。ここでは、特徴点推定位置推定手段１２０において１４点の顔特徴点位置初期情報３０２の座標値から７５点の顔特徴点推定位置３０３の座標値を推定した場合の例を示す。７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルをｙ、顔特徴点位置探索手段１４０の顔の形状に関するモデルをＳ、顔のテクスチャに関するモデルをＴ、形状に関するモデルＳとテクスチャに関するモデルＴの統合モデルをＡとしたとき、探索パラメータｐは、
（数２）
Figure JPOXMLDOC01-appb-I000002
により計算される。数２のＳ（ｙ）、Ｔ（ｙ）はそれぞれ、ｙを入力として、予め定義されたモデルＳ、モデルＴに従って各モデルに関する探索パラメータを返す関数、またＡは、Ｓ（ｙ），Ｔ（ｙ）を入力として、予め定義されたモデルＡに従って探索パラメータを返す関数である。なお、Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌ（ＡＡＭ）では通常、モデルＳ、モデルＴ、モデルＡは線形の部分空間としてモデル化するため、それぞれの部分空間を構成するベクトルを並べた行列をＳ、Ｔ、Ａと置きなおすと、
（数３）
Figure JPOXMLDOC01-appb-I000003
により計算される。ただし、Ｓ、Ｔ、Ａの行列サイズは、それぞれ、１５０×ｒｓ、（ｇ（ｙ）の次元数）×ｒｔ、（ｒｓ＋ｒｔ）×ｒａであり、ｒｓ、ｒｔ、ｒａは各モデルのランクを示す。この場合、ｐｓ、ｐｔ、ｐａのサイズは、それぞれ、ｒｓ×１、ｒｔ×１、ｒａ×１となる。また、ｇ（ｙ）は、７５個の顔特徴点推定位置３０３の二次元座標値を縦に並べた１５０次元ベクトルｙから、顔の二次元画像上での位置および大きさ、二次元画像上での回転角度、および顔形状が正規化された顔画像を抽出する関数である。関数ｇの出力は、正規化された顔画像の各画素の値を縦に並べたベクトルである。例えば、正規化顔画像の大きさが１００画素×１００画素の場合、関数ｇの出力は１００００次元ベクトルとなる。非特許文献１のＡＡＭでは、関数ｇはｗａｒｐ　ｉｍａｇｅとして知られている。ｗａｒｐ　ｉｍａｇｅでは、複数の特徴点位置の座標値の任意の三点から構成される三角形を定義し、この三角形ごとにアフィン変換を行うことで顔画像の正規化を行う。また、ｇ０は、予め複数の顔画像およびその特徴点位置情報ｙから求めたｇ（ｙ）の平均ベクトルである。
　特徴点位置探索手段１４０では、モデルパラメータ計算手段１３０で求めた探索パラメータｐを初期値として、モデルのパラメータフィッティングを行うことで特徴点位置の探索を行い、特徴点位置の検出を行う。モデルのパラメータフィッティングには、例えばＡＡＭの場合、非特許文献１の手法を用いることができる。
　すなわち、探索パラメータｐを初期値としてＡＡＭでモデルのパラメータフィッティングを行う場合、予めＡＡＭで学習したモデルＳ、モデルＴ、モデルＡを利用して、まず、第一のステップにおいて、探索パラメータｐとモデルＡから顔の形状に関するパラメータｐｓと顔のテクスチャに関するパラメータｐｔを求める。次に、第二のステップにおいて、形状に関するパラメータｐｓとモデルＳを用いて顔の特徴点位置ｙを求め、正規化された顔画像ｇｓをｇｓ＝ｇ（ｙ＋ｙ０）により求める。次に、第三のステップにおいて、テクスチャに関するパラメータｐｔとモデルＴを用いて、探索パラメータｐから推定される顔画像ｇｍを求める。さらに、第四のステップにおいて、差分画像ｄをｄ＝ｇｓ－ｇｍにより計算し、探索パラメータを更新する値δｐをδｐ＝－Ｒ×ｄにより求め、ｐ＝ｐ＋δｐにより探索パラメータｐを更新する。ここで、Ｒは予めＡＡＭで学習した行列である。第一のステップから第四のステップまでを複数回繰り返すことにより、顔画像３０１の特徴点位置を確定することができる。
　以上により、顔画像の表情変動や個人変動、姿勢変動などに対して、少数の特徴点位置の初期情報を外部から入力することによって、所望の特徴点位置のおおよその位置を推定し、所望の特徴点位置のおおよその位置から特徴点位置の探索を開始することができる。これにより、正解とは異なる姿勢や表情などの顔形状を、入力画像に対して誤ってフィッティングする場合が抑制される。つまりは局所解に陥ることが防がれる。
　すなわち、特徴点位置初期情報入力手段１１０で入力された特徴点位置の初期情報から、特徴点探索手段１４０における適切なモデルパラメータの初期値、つまり、より正解に近いモデルパラメータを、特徴点位置探索手段１４０の初期値とすることに基づいて特徴点位置探索を行うことが可能となる。これにより、顔画像の表情変動や個人変動、姿勢変動などに対しても、高精度な特徴点位置の検出が可能となる。
　本発明は、顔の画像における特徴点位置の高精度な特定を可能とするにとどまらず、画像全般における特徴点位置の高精度な特定を可能とする。例えば、特徴点位置初期情報入力手段１１０において、顔の特徴点位置の代わりに手の特徴点位置として親指や人差し指あるいは爪等の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、手の指の輪郭や爪などの検出が可能である。
　また、医療画像における骨や臓器などの輪郭の特定なども可能である。すなわち、特徴点位置としての所定の骨や臓器の初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の骨や臓器の検出が可能である。また同様に、牛などの家畜の白黒などの模様の特定なども可能である。
　またさらに、本実施形態により特徴点位置の高精度な特定が可能となるので、これを用いて動物や植物の種類の特定、人工物としての自動車や船、飛行機、電子機器、建造物、絵画などの種類の特定も可能となる。例えば、自動車の場合、所定の種類の自動車の特徴点位置としてのヘッドライトの初期情報を、予め別の手段で検出し特徴点位置初期情報入力手段１１０で入力することで、所定の自動車のヘッドライトの検出が可能となる。これにより、逆に、自動車の種類を特定することができる。動植物や他の人工物に対しても同様である。
　本発明は上記実施形態に限定されることなく、請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　付記
（付記１）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１に記載の特徴点位置検出装置。
（付記３）
前記特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を備えた、付記１または２に記載の特徴点位置検出装置。
（付記４）
前記対象画像は人体を有する、付記１から３の内の１項記載の特徴点位置検出装置。
（付記５）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記４に記載の特徴点位置検出装置。
（付記６）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する、特徴点位置検出方法。
（付記７）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記６に記載の特徴点位置検出方法。
（付記８）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記６または７に記載の特徴点位置検出方法。
（付記９）
前記対象画像は人体を有する、付記６から８の内の１項記載の特徴点位置検出方法。
（付記１０）
前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、付記９に記載の特徴点位置検出方法。
（付記１１）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる特徴点位置検出プログラム。
（付記１２）
前記特徴点推定位置は前記特徴点位置初期情報よりも多い、付記１１に記載の特徴点位置検出プログラム。
（付記１３）
前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、付記１１または１２に記載の特徴点位置検出プログラム。
（付記１４）
前記対象画像は人体を有する、付記１１から１３の内の１項記載の特徴点位置検出プログラム。
（付記１５）
前記人体の前記特徴点情報は顔の目あるいは鼻あるいは口の情報を有する、付記１４に記載の特徴点位置検出プログラム。
（付記１６）
対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
（付記１７）
対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する、特徴点位置検出方法。
（付記１８）
特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する処理と、を実行させる特徴点位置検出プログラム。
　この出願は、２０１３年１月１５日に出願された日本出願特願２０１３－００４２２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、顔などの画像から目や鼻などの特徴点の位置を検出するための特徴点位置検出技術に関し、顔認証や表情認識などのために利用される。
　１　　特徴点位置検出装置
　１００　　データ処理装置
　１１０　　特徴点位置初期情報入力手段
　１２０　　特徴点推定位置推定手段
　１３０　　モデルパラメータ計算手段
　１４０　　特徴点位置探索手段
　２００　　記憶装置
　２１０　　特徴点位置推定辞書記憶手段
　３００　　画像
　３０１　　顔画像
　３０２　　顔特徴点位置初期情報
　３０３　　顔特徴点推定位置
　３１０　　顔特徴点位置

Claims (13)

  1. 対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求めるモデルパラメータ計算手段と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
  2. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項１に記載の特徴点位置検出装置。
  3. 前記特徴点位置推定辞書情報を格納する特徴点位置推定辞書記憶手段を備えた、請求項１または２に記載の特徴点位置検出装置。
  4. 前記対象画像は人体を有する、請求項１から３の内の１項記載の特徴点位置検出装置。
  5. 前記人体の前記特徴点位置は顔の目あるいは鼻あるいは口の情報を有する、請求項４に記載の特徴点位置検出装置。
  6. 対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求め、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する、特徴点位置検出方法。
  7. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項６に記載の特徴点位置検出方法。
  8. 前記特徴点位置推定辞書情報は格納された特徴点位置推定辞書を用いる、請求項６または７に記載の特徴点位置検出方法。
  9. 特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記特徴点推定位置から前記対象画像の特徴点位置探索の探索パラメータを求める処理と、前記探索パラメータに基づいて前記対象画像のモデルのパラメータフィッティングを行うことで前記対象画像の特徴点位置を探索し検出する処理と、を実行させる特徴点位置検出プログラム。
  10. 前記特徴点推定位置は前記特徴点位置初期情報よりも多い、請求項９に記載の特徴点位置検出プログラム。
  11. 対象画像に応じて外部からの特徴点位置初期情報を入力する特徴点位置初期情報入力手段と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する特徴点推定位置推定手段と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する特徴点位置探索手段と、を備えた、特徴点位置検出装置。
  12. 対象画像に応じて外部からの特徴点位置初期情報を入力し、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定し、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する、特徴点位置検出方法。
  13. 特徴点位置検出装置に、対象画像に応じて外部からの特徴点位置初期情報を入力する処理と、前記特徴点位置初期情報と特徴点位置推定辞書情報とから前記対象画像における所望の点数の特徴点推定位置を推定する処理と、前記所望の点数の特徴点推定位置から特徴点位置の探索を開始する処理と、を実行させる特徴点位置検出プログラム。
PCT/JP2014/000102 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム WO2014112346A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480004808.5A CN104919492A (zh) 2013-01-15 2014-01-14 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序
JP2014557390A JP6387831B2 (ja) 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
US14/759,155 US20150356346A1 (en) 2013-01-15 2014-01-14 Feature point position detecting appararus, feature point position detecting method and feature point position detecting program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-004228 2013-01-15
JP2013004228 2013-01-15

Publications (1)

Publication Number Publication Date
WO2014112346A1 true WO2014112346A1 (ja) 2014-07-24

Family

ID=51209443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000102 WO2014112346A1 (ja) 2013-01-15 2014-01-14 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム

Country Status (4)

Country Link
US (1) US20150356346A1 (ja)
JP (1) JP6387831B2 (ja)
CN (1) CN104919492A (ja)
WO (1) WO2014112346A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039403A1 (ja) * 2019-08-30 2021-03-04 オムロン株式会社 顔向き推定装置及び方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107194980A (zh) * 2017-05-18 2017-09-22 成都通甲优博科技有限责任公司 人脸模型构建方法、装置及电子设备
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN114627147B (zh) * 2022-05-16 2022-08-12 青岛大学附属医院 基于多阈值图像分割的颅面标志点自动识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745207B2 (ja) * 2006-12-08 2011-08-10 株式会社東芝 顔特徴点検出装置及びその方法
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
JP4951498B2 (ja) * 2007-12-27 2012-06-13 日本電信電話株式会社 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP2010231354A (ja) * 2009-03-26 2010-10-14 Kddi Corp 顔認識装置及び顔器官の特徴点特定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039403A1 (ja) * 2019-08-30 2021-03-04 オムロン株式会社 顔向き推定装置及び方法
JP2021039420A (ja) * 2019-08-30 2021-03-11 オムロン株式会社 顔向き推定装置及び方法
JP7259648B2 (ja) 2019-08-30 2023-04-18 オムロン株式会社 顔向き推定装置及び方法

Also Published As

Publication number Publication date
US20150356346A1 (en) 2015-12-10
JP6387831B2 (ja) 2018-09-12
CN104919492A (zh) 2015-09-16
JPWO2014112346A1 (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
Cristinacce et al. Boosted regression active shape models.
US20180365515A1 (en) Edge-based recognition, systems and methods
US11017210B2 (en) Image processing apparatus and method
US9275273B2 (en) Method and system for localizing parts of an object in an image for computer vision applications
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
US8971572B1 (en) Hand pointing estimation for human computer interaction
US7995805B2 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
WO2017088432A1 (zh) 图像识别方法和装置
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2017506379A5 (ja)
JP2007004767A (ja) 画像認識装置、方法およびプログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
US8971613B2 (en) Image processing learning device, image processing learning method, and image processing learning program
KR20150127381A (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
JP2012221061A (ja) 画像認識装置、画像認識方法、及びプログラム
Yang et al. Face sketch landmarks localization in the wild
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
Haase et al. Instance-weighted transfer learning of active appearance models
Quan et al. Statistical shape modelling for expression-invariant face analysis and recognition
Cong et al. Improved explicit shape regression face alignment algorithm
Lee et al. Style adaptive contour tracking of human gait using explicit manifold models
Fan et al. 3D hand skeleton model estimation from a depth image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14740739

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014557390

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14759155

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14740739

Country of ref document: EP

Kind code of ref document: A1