JP6287827B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6287827B2
JP6287827B2 JP2014507341A JP2014507341A JP6287827B2 JP 6287827 B2 JP6287827 B2 JP 6287827B2 JP 2014507341 A JP2014507341 A JP 2014507341A JP 2014507341 A JP2014507341 A JP 2014507341A JP 6287827 B2 JP6287827 B2 JP 6287827B2
Authority
JP
Japan
Prior art keywords
face
feature point
shape model
face shape
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507341A
Other languages
English (en)
Other versions
JPWO2013145496A1 (ja
Inventor
雄介 森下
雄介 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014507341A priority Critical patent/JP6287827B2/ja
Publication of JPWO2013145496A1 publication Critical patent/JPWO2013145496A1/ja
Application granted granted Critical
Publication of JP6287827B2 publication Critical patent/JP6287827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明に係るいくつかの態様は、情報処理装置、情報処理方法、及びプログラムに関する。
顔が撮影された画像(以下、「顔画像」ともいう。)から目や鼻等の顔の器官の特徴点(以下、「顔特徴点」ともいう。)の位置を検出して出力する技術は、顔の向きの推定や、顔の認証、表情の認識等の処理を高い精度で行うために重要であり、様々の方法が提案されている。
例えば、特許文献1は、顔特徴点を検出して顔特徴点位置を出力する方法として、顔特徴点の位置に関する同時確率密度関数を用いることで各顔特徴点の探索領域を削減し、検出精度を高める方法を開示している。この方法では、まず、顔特徴点の位置に対して確率密度関数を顔領域に適用し、顔特徴点ごとに顔特徴点らしさを表す評価値の値に基づいて、顔特徴点ごとに複数の顔特徴点候補を求めている。
特開2010−073138号公報
しかしながら、特許文献1に記載されている方法では、1つまたは複数の顔特徴点について信頼度の低い顔特徴点候補が入力された場合、すなわち真の顔特徴点位置を示す候補が抽出されない場合に、顔特徴点の候補に基づいて計算される事前確率および事前確率に従って計算される探索領域が正しく設定されず、顔特徴点検出に失敗する可能性が高いという課題があった。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、1つまたは複数の顔特徴点について信頼度の低い情報が入力された場合であっても、高い精度で顔特徴点位置の検出を行うことのできる情報処理装置及び情報処理方法を提供することを目的の1つとする。
本発明の情報処理装置は、顔画像の入力を受ける入力手段と、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成する信頼度算出手段と、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求める候補位置算出手段と、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出する適合度算出手段とを備える。
本発明の情報処理方法は、顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを備える。
本発明のプログラムは、情報処理装置に、顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを実行させる。
尚、本発明において、「部」や「手段」、「装置」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、1つまたは複数の顔特徴点について信頼度の低い情報が入力された場合であっても、高い精度で顔特徴点位置の検出を行うことのできる情報処理装置及び情報処理方法を提供することができる。
実施形態に係る顔特徴点検出装置の概略構成を示す機能ブロック図である。 図1に示した顔特徴点検出装置の処理の流れを示すフローチャートである。 顔画像の具体例を示す図である。 顔画像において、検出したい顔特徴点の具体例を示す図である。 右目の瞳中心の信頼度画像の具体例を示す図である。 図5に示した信頼度画像において、顔特徴点の候補位置の選択の具体例を説明するための図である。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
(1 機能構成)
図1を参照しながら、本実施形態に係る情報処理装置である顔特徴点検出装置10の機能構成を説明する。図1は、顔特徴点検出装置10の機能構成を示す機能ブロック図である。
顔特徴点検出装置10は、大きく分けてデータ処理装置100と記憶装置200とを含む。ここで、データ処理装置100は、例えば、プログラム制御に従って処理を実行する演算装置であるCPU(Central Processing Unit)により実現することが可能である。また、記憶装置200は、例えば半導体メモリやハードディスクドライブ(HDD)により実現することが可能である。
データ処理装置100は、顔画像入力手段101、顔特徴点識別器選択手段103、顔特徴点信頼度生成手段105、顔特徴点候補位置計算手段107、顔形状モデル選択手段109、顔形状モデル適合度計算手段111、及び顔形状モデル適合度判定手段113を含む。
顔画像入力手段101は、顔の映った画像(以下、「顔画像」ともいう。)の入力を受ける。顔画像入力手段101は、例えばデジタルカメラで撮影された画像を、記憶媒体や有線又は無線通信により入力を受ける。或いは、顔画像入力手段101は、顔特徴点検出装置10自身が有する図示しないカメラモジュールにより顔画像を撮影したものの入力を受けてもよい。
顔特徴点識別器選択手段103は、目、鼻、口といった顔の各器官の特徴点である各顔特徴点の特徴点らしさをそれぞれ計算する際に用いる顔特徴点識別器の情報を記憶する複数の顔特徴点識別器記憶手段201から、1つの顔特徴点識別器を選択する。
顔特徴点信頼度生成手段105は、顔画像入力手段101が入力した顔画像から、顔特徴点識別器選択手段103が選択した顔特徴点識別器を用いて、目や鼻などの顔特徴点の特徴点らしさを表す信頼度画像を生成する。
顔特徴点候補位置計算手段107は、顔特徴点信頼度生成手段105が生成した信頼度画像に基づいて、顔特徴点の候補の位置(候補位置)を計算する。以下、顔特徴点候補位置計算手段107によって算出された顔特徴点の候補位置を、顔特徴点候補ともいう。
顔形状モデル選択手段109は、顔形状モデル記憶手段203が記憶する複数の統計的な顔形状モデルの情報から1つの顔形状モデルを選択する。
顔形状モデル適合度計算手段111は、顔特徴点候補位置計算手段107が算出した顔特徴点候補の中から、統計的な顔形状モデルとの差異の小さい顔特徴点、つまり点の位置が顔形状として確からしい顔特徴点を決定し、決定した顔特徴点候補と顔形状モデルとの適合度を計算(算出)する。
顔形状モデル適合度判定手段113は、顔形状モデル適合度計算手段111が計算した顔形状モデル適合度が所定の閾値よりも小さいかどうかを判定し、適合度が閾値よりも小さい場合、再度、顔特徴点識別器選択手段103から顔形状モデル適合度計算手段111が処理を実行することにより、他の顔特徴点識別器及び他の顔形状モデルによる顔形状モデル適合度を計算する。
記憶装置200は、顔特徴点識別器記憶手段201及び顔形状モデル記憶手段203を含む。先述の通り、顔特徴点識別器記憶手段201は各顔特徴点の特徴点らしさをそれぞれ計算する際に用いる顔特徴点識別器の情報を記憶し、顔形状モデル記憶手段203は複数の統計的な顔形状モデルの情報を記憶する。
(2 処理の流れ)
次に、顔特徴点検出装置10の処理の流れを、図2を参照しながら説明する。図2は、本実施形態に係る顔特徴点検出装置10の処理の流れを示すフローチャートである。
尚、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
まず、顔画像入力手段101は、顔画像の入力を受ける(S301)。次に、顔特徴点識別器選択手段103は、顔特徴点識別器記憶手段201が記憶する、顔の各器官の特徴点である各顔特徴点の特徴点らしさを計算する複数の顔特徴点識別器の中から、1つの顔特徴点識別器を選択する(S303)。続いて顔特徴点信頼度生成手段105は、顔画像入力手段101により入力された顔画像から、顔特徴点識別器選択手段103が選択した顔特徴点識別器により、目や鼻などの顔特徴点の特徴点らしさを表す信頼度画像を生成する(S305)。顔特徴点候補位置計算手段107は、当該信頼度画像に基づいて、顔特徴点の候補位置を計算する(S307)。
この後、顔形状モデル選択手段109は、顔形状モデル記憶手段203が記憶する、複数の顔形状モデルの中から、1つの顔形状モデルを選択する(S309)。顔形状モデル適合度計算手段111は、顔特徴点候補位置計算手段107が算出した顔特徴点候補の中から、統計的な顔形状モデルとの差異の小さい顔特徴点、つまり点の位置が顔形状として確からしい顔特徴点を決定し、顔形状モデル適合度を計算する(S311)。
顔形状モデル適合度判定手段113は、当該顔形状モデル適合度が、所定の閾値よりも大きいか否かを判定(判別)する(S313)。適合度が閾値よりも小さい場合には(S313のNo)、データ処理装置100は、S303乃至S311の処理を再度実行することにより、他の顔特徴点識別器および他の顔形状モデルを用いて顔形状モデル適合度を計算する。
(3 処理の具体例)
以下、本実施形態に係る顔特徴点検出装置10の動作の具体例を、図3乃至図6を参照しながら説明する。
顔画像入力手段101は、先述の通り、例えばデジタルカメラ等により撮像された顔画像の入力を受ける。図3は、顔画像入力手段101により入力された顔画像の具体例を示す図である。尚ここで、顔画像入力手段101により入力される顔画像には、顔の他に背景が含まれていてもよい。更に、予め顔検出を行うことにより、顔の写った大きな画像から、顔が写っている領域のみを切り出した画像を顔画像としても良い。
顔特徴点識別器選択手段103は、顔特徴点識別器記憶手段201に記憶されている顔特徴点識別器の中から、特定の識別器を選択する。顔特徴点識別器記憶手段201には、顔特徴点毎に、様々な種類の顔特徴点識別器を記憶させることができる。この顔特徴点識別器の具体例としては、例えば、目の識別器について、正面顔用の目識別器、横顔用の目識別器、笑顔時の正面顔用の目識別器、メガネを掛けた正面顔用の目識別器、等が考えられる。また、口の識別器についても同様に、正面顔用の口識別器、横顔用の口識別器、笑顔時の正面顔用の口識別器、ヒゲのある正面顔用の口識別器、等が考えられる。顔特徴点識別器選択手段103が、これらの複数の識別器の中から特定の識別器を選ぶ手法としては、例えば、記録されている識別器を順番に1つずつ選択する方法や、予め顔の向き推定や表情推定を行った上で、その推定結果に応じて選択する方法等が考えられる。
顔特徴点信頼度生成手段105は、顔画像入力手段101により入力された顔画像から、目や鼻などの顔特徴点の特徴点らしさを表す信頼度画像を、顔特徴点識別器選択手段103により選択された識別器を用いて、顔特徴点毎に生成する。図4は、図3の顔画像に対して検出したい顔特徴点の具体例を示す図である。図4において、検出したい顔特徴点は、「×」で示されている。図4の例では、左右の眉の両端部、左右の目の中央部及び両端部、鼻の下部、口の両端部及び中央部の計14点を、検出対象の顔特徴点としている(図中「×」印)。顔特徴点信頼度生成手段105は、各点に対応する信頼度画像を生成する。つまり、顔特徴点信頼度生成手段105は、信頼度画像を計14個生成することとなる。
尚ここで、顔特徴点の特徴点らしさを表す信頼度を計算するための手法としては、従来から提案されている種々の手法を用いることができる。例えば、顔画像入力手段101により入力された画像領域全体に、ViolaとJonesによるHaar−like特徴に基づくAdaBoostを用いて構成した顔特徴点ごとの識別器を適用することにより、信頼度画像を生成することが考えられる。
図5は、右目の瞳中心の信頼度画像の具体例を示す図である。図5の例では、顔特徴点らしさを表す信頼度が高いほど、濃い黒で示されており、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、および鼻下付近の信頼度が高いことが示されている。
顔特徴点候補位置計算手段107は、顔特徴点信頼度生成手段105が生成した信頼度画像に基づいて顔特徴点の候補の位置(候補位置)を算出(計算)する。図5に例を示した14点の顔特徴点の位置を検出する場合には、14個の顔特徴点について、それぞれ複数個の候補位置が計算される。顔特徴点候補位置計算手段107は、例えば、顔特徴点信頼度生成手段105が生成した各信頼度画像において、信頼度が極大(局所領域で見た場合に、周囲と比べて信頼度の高い位置)で且つ所定の閾値以上となる位置を顔特徴点の候補位置とする。また、顔特徴点候補位置計算手段107は、信頼度画像における信頼度が極大でかつ所定の閾値以上となる位置を顔特徴点の候補位置として用いる以外に、顔特徴点位置の事前分布と顔特徴点信頼度との積が所定の閾値以上となる位置を、顔特徴点の候補位置として用いても良い。
図6は、図5で示した右目の瞳中心周辺の信頼度画像に対する顔特徴点の候補位置検出の具体例を示す図である。図6において、信頼度が極大で且つ閾値以上となる位置、すなわち顔特徴点の候補位置は「×」で示されている。図6の具体例では、図5を参照しながら説明した通り、右目の瞳中心以外に、左目の瞳中心付近、右眉付近、及び鼻下付近の信頼度も高い。しかしながら、右目の瞳中心の位置、及び左目の瞳中心の位置の信頼度が極大でかつ閾値以上であるため、右目の瞳中心及び左目の瞳中心の位置(図6中、「×」印)が、右目の瞳中心についての顔特徴点の候補位置として選ばれている。
顔形状モデル選択手段109は、顔形状モデル記憶手段203に記憶されている顔形状モデルの中から、特定の顔形状モデルを選択する。顔形状モデル記憶手段203には、例えば、正面顔用の顔形状モデルや横顔用の顔形状モデル、笑顔時の正面顔用の顔形状モデル、メガネをかけた正面顔用の顔形状モデル、ヒゲのある正面顔用の顔形状モデル等の、様々な種類の顔形状モデルを記憶させることができる。顔形状モデル選択手段109が、この各種顔形状モデルの中から特定の顔形状モデルを選ぶ方法としては、例えば、記録されている顔形状モデルを1つずつ順番に選んでいく方法や、予め顔向き推定や表情推定を行い、その推定結果に応じて顔形状モデルを選択する方法等が考えられる。或いは、顔特徴点識別器選択手段103が選択した顔特徴点識別器が笑顔時の正面顔用の識別器であれば、顔形状モデル選択手段109も笑顔時の正面顔用の顔形状モデルを選択するなど、顔特徴点識別器選択手段103が選択した識別器に併せて顔形状モデル選択手段109が顔形状モデルを選択するようにしても良い。
顔形状モデル適合度計算手段111は、顔特徴点候補位置計算手段107が計算した各顔特徴点の複数の候補の中から、各顔特徴点のそれぞれの候補位置と、顔形状モデル選択手段109が選択した顔形状モデルの各特徴点にそれぞれ対応する各対応点の位置とに基づく条件に合致する顔特徴点を決定すると共に、顔形状モデル適合度を計算する。条件に合致する顔特徴点は、例えば以下のように決定することができる。
まず、顔形状モデル適合度計算手段111は、顔特徴点候補の位置と、顔形状モデルの各特徴点にそれぞれ対応する各対応点の位置との間の、座標変換に関するパラメータをロバスト推定により求める。次に顔形状モデル適合度計算手段111は、ロバスト推定により求めた座標変換パラメータによって各顔特徴点のそれぞれの候補位置を顔形状モデルの座標系に変換した位置と、顔形状モデルの位置との差異が最も小さい候補を選択する。尚、ロバスト推定に関しては、従来から種々の手法が提案されており、上記処理においても、各種ロバスト推定を用いることが可能である。
顔形状モデル適合度は、顔特徴点信頼度生成手段105が計算した顔特徴点候補の信頼度や、ロバスト推定に基づいて計算された顔形状モデルとの差異から計算することができる。例えば、顔形状モデル適合度計算手段111が顔形状モデルとの差異に基づいて選択した顔特徴点候補の信頼度をS(iは顔特徴点の番号を表し、本具体例では、1〜14のいずれかの値をとり得る)、選択した顔特徴点候補と顔形状モデルとの差異をE、σをシグモイド関数としたとき、適合度Jは、以下の式で算出することができる。
ここで、λは適合度として顔特徴点候補の信頼度と顔形状モデルとの差異のどちらを重視するかを決定する係数である。
また、顔特徴点の中で顔形状モデルから大きく外れた特徴点の影響に対して頑健にするため、適合度Jを、以下の数式により算出することもできる。
ここで、Medは中央値を計算する関数である。
顔形状モデル適合度判定手段113は、顔形状モデル適合度計算手段111が計算した顔形状モデル適合度が所定の閾値よりも高い(大きい)かどうかを判定する。適合度が閾値よりも低い(小さい)場合には、再度、顔特徴点識別器選択手段103から顔形状モデル適合度計算手段111までの処理を行い、他の顔特徴点識別器及び他の顔形状モデルで、顔形状モデル適合度を計算する。当該処理の結果、適合度が閾値よりも高くなった場合には、顔形状モデル適合度判定手段113は、顔特徴点の位置を出力する。
(4 本実施形態に係る効果)
以上説明したように、本実施形態に係る顔特徴点検出装置10は、顔特徴点信頼度やロバスト推定に基づく顔形状モデルとの差異から計算される適合度を用いて、対象画像ごとに好適な顔特徴点識別器や顔形状モデルを選択することができる。そのため、顔画像撮影時の照明の変化や表情の変化、遮蔽等の要因によって、単一の識別器やモデルを用いた場合には顔特徴点検出に失敗する可能性の高い場合であっても、高精度に顔特徴点の位置を検出することが可能となる。
(5 付記事項)
尚、前述の各実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
顔画像の入力を受ける入力手段と、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成する信頼度算出手段と、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求める候補位置算出手段と、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出する適合度算出手段とを備える情報処理装置。
(付記2)
前記適合度が閾値よりも高い特徴点の位置情報を出力する、付記1記載の情報処理装置。
(付記3)
前記適合度算出手段は、ロバスト推定の手法により、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置との差異を計算し、当該差異に基づき前記適合度を算出する、付記1又は付記2記載の情報処理装置。
(付記4)
顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを備える情報処理方法。
(付記5)
情報処理装置に、顔画像の入力を受けるステップと、顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を求めるステップと、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の前記候補位置とに基づいて、条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップとを実行させるためのプログラム。
この出願は、2012年3月27日に出願された日本出願特願2012−72098を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10・・・顔特徴点検出装置、100・・・データ処理装置、101・・・顔画像入力手段、103・・・顔特徴点識別器選択手段、105・・・顔特徴点信頼度生成手段、107・・・顔特徴点候補位置計算手段、109・・・顔形状モデル選択手段、111・・・顔形状モデル適合度計算手段、113・・・顔形状モデル適合度判定手段

Claims (5)

  1. 顔画像の入力を受ける入力手段と、
    顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成する信頼度算出手段と、
    前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求める候補位置算出手段と、
    統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出する適合度算出手段と
    を備える情報処理装置。
  2. 前記適合度が閾値よりも高い特徴点の位置情報を出力する、
    請求項1記載の情報処理装置。
  3. 前記適合度算出手段は、ロバスト推定の手法により、統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、前記候補位置算出手段が算出した特徴点の前記候補位置との差異を計算し、当該差異に基づき前記適合度を算出する、
    請求項1又は請求項2記載の情報処理装置。
  4. 顔画像の入力を受けるステップと、
    顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、
    前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求めるステップと、
    統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置 の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップと
    を備える情報処理方法。
  5. 情報処理装置に、
    顔画像の入力を受けるステップと、
    顔の各特徴点の特徴点らしさを計算するための複数の識別器に基づき、前記顔画像から、特徴点らしさを表す信頼度画像を特徴点ごとに生成するステップと、
    前記信頼度画像に基づき、前記顔画像における特徴点の候補位置を複数求めるステップと、
    統計的に生成された複数の顔形状モデルの中から選択された1つの顔形状モデルの各特徴点に対応する位置と、特徴点の複数の前記候補位置とに基づいて、複数の前記候補位置 の中から条件に合致する特徴点を決定すると共に、顔形状モデルへの適合度を算出するステップと
    を実行させるためのプログラム。
JP2014507341A 2012-03-27 2012-12-28 情報処理装置、情報処理方法、及びプログラム Active JP6287827B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507341A JP6287827B2 (ja) 2012-03-27 2012-12-28 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012072098 2012-03-27
JP2012072098 2012-03-27
PCT/JP2012/084132 WO2013145496A1 (ja) 2012-03-27 2012-12-28 情報処理装置、情報処理方法、及びプログラム
JP2014507341A JP6287827B2 (ja) 2012-03-27 2012-12-28 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2013145496A1 JPWO2013145496A1 (ja) 2015-12-10
JP6287827B2 true JP6287827B2 (ja) 2018-03-07

Family

ID=49258825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507341A Active JP6287827B2 (ja) 2012-03-27 2012-12-28 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US9904843B2 (ja)
JP (1) JP6287827B2 (ja)
WO (1) WO2013145496A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101571241B1 (ko) * 2014-04-23 2015-11-23 한국 한의학 연구원 안면 표현형 결정 장치 및 방법
CN105069426B (zh) * 2015-07-31 2018-09-04 小米科技有限责任公司 相似图片判断方法以及装置
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US20220406094A1 (en) 2019-10-30 2022-12-22 Nec Corporation Authentication apparatus, authentication method and recording medium
WO2022024272A1 (ja) * 2020-07-29 2022-02-03 日本電気株式会社 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348851A (ja) 1993-04-12 1994-12-22 Sony Corp 対象物位置検出方法
WO2003027956A1 (fr) * 2001-09-25 2003-04-03 Matsushita Electric Industrial Co., Ltd. Appareils d'estimation et d'assemblage de donnees
JP2003308533A (ja) * 2002-04-17 2003-10-31 Mitsubishi Electric Corp ドライバの顔画像処理装置
EP1599830A1 (en) * 2003-03-06 2005-11-30 Animetrics, Inc. Generation of image databases for multifeatured objects
JP4348202B2 (ja) * 2004-01-21 2009-10-21 日本放送協会 顔画像認識装置及び顔画像認識プログラム
DE602005012672D1 (de) * 2005-02-21 2009-03-26 Mitsubishi Electric Corp Verfahren zum Detektieren von Gesichtsmerkmalen
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP4951498B2 (ja) * 2007-12-27 2012-06-13 日本電信電話株式会社 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2010073138A (ja) 2008-09-22 2010-04-02 Toshiba Corp 特徴点検出装置、特徴点検出方法及び特徴点検出プログラム
JP2010271955A (ja) 2009-05-21 2010-12-02 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
WO2011148596A1 (ja) * 2010-05-26 2011-12-01 日本電気株式会社 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
US8811726B2 (en) * 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications
JP6071002B2 (ja) * 2012-02-16 2017-02-01 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US12087130B2 (en) 2018-07-25 2024-09-10 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US12106630B2 (en) 2018-07-25 2024-10-01 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
JPWO2013145496A1 (ja) 2015-12-10
WO2013145496A1 (ja) 2013-10-03
US20150086121A1 (en) 2015-03-26
US9904843B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
JP6287827B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101725651B1 (ko) 식별 장치 및 식별 장치의 제어 방법
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
EP2182469B1 (en) System and method for sensing facial gesture
JP4991317B2 (ja) 顔特徴点検出装置及びその方法
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
JP5424819B2 (ja) 画像処理装置、画像処理方法
JP6760318B2 (ja) 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
JP6325405B2 (ja) 特徴点検出装置、方法及びプログラム
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN107851192B (zh) 用于检测人脸部分及人脸的设备和方法
US9779286B2 (en) Feature point location estimation device, feature point location estimation method, and feature point location estimation program
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
WO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
JP2019192009A (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JPWO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
WO2022083479A1 (zh) 采集人脸图像的方法、装置及电子设备
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
JP2012118927A (ja) 画像処理プログラムおよび画像処理装置
JP2011113464A (ja) 属性識別装置、属性識別方法およびプログラム
US20220309704A1 (en) Image processing apparatus, image processing method and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R150 Certificate of patent or registration of utility model

Ref document number: 6287827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150