JPWO2015146101A1 - 顔照合装置、方法、及び、記録媒体 - Google Patents

顔照合装置、方法、及び、記録媒体 Download PDF

Info

Publication number
JPWO2015146101A1
JPWO2015146101A1 JP2016510005A JP2016510005A JPWO2015146101A1 JP WO2015146101 A1 JPWO2015146101 A1 JP WO2015146101A1 JP 2016510005 A JP2016510005 A JP 2016510005A JP 2016510005 A JP2016510005 A JP 2016510005A JP WO2015146101 A1 JPWO2015146101 A1 JP WO2015146101A1
Authority
JP
Japan
Prior art keywords
face
feature point
image
input image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016510005A
Other languages
English (en)
Other versions
JP6528764B2 (ja
Inventor
昭裕 早坂
昭裕 早坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015146101A1 publication Critical patent/JPWO2015146101A1/ja
Application granted granted Critical
Publication of JP6528764B2 publication Critical patent/JP6528764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明の顔照合装置は、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力する疑似特徴点推定手段と、遮蔽特徴点と疑似特徴点との位置情報を用いて生成した入力画像の正規化画像から抽出した第１の顔の特徴量ベクトルを、照合画像の正規化画像から抽出した第２の顔の特徴量ベクトルとを照合する照合手段とを含む。

Description

本発明は、顔認識技術に関し、特に、入力画像中の顔の情報を利用して顔を照合する顔認識技術に関する。
顔認識技術は、人の顔画像から複数の特徴点を抽出し、特徴を数値化し、数値化した特徴点を他の画像に当てはめて本人を認証する技術である。顔認識装置は、抽出した複数の特徴点を基に、多少の変装された顔、又は、数十年前の写真における顔を認識することが可能である。そのため、顔認識装置は、すでに、個人識別などの分野で、幅広く実用化されている。
しかし、人の顔画像は、顔の角度、姿勢、明るさ、位置、又は、大きさなどに基づき、顔の見え方が変わる、又は、顔の一部が隠れる場合がある。顔の見えない部分の特徴点を抽出することは、難しい。そのため、顔画像に対する認識が、正確にできないという問題があった。
これに対して、最近、顔の見えない部分を考慮した正確さを達成するための３次元顔認識の技法が、提案されている。この技法は、３次元センサを使って顔の立体的情報を取得する。そして、この技法は、立体的情報から眼窩、鼻、又は、あごの輪郭などの際立った特徴点を抽出し、入力された顔画像とは異なる角度の顔画像を生成し、他の顔画像と照合することができる。
例えば、特許文献１に開示されている画像認識装置は、入力画像から検出された顔の特徴点情報と、予め登録された顔の３次元形状情報とを利用して、３次元顔モデルを生成する。次に、特許文献１の画像認識装置は、生成した３次元顔モデルを用いて幾何学的変換パラメータを算出する。このパラメータを基に、特許文献1の画像認識装置は、複数の異なる姿勢の顔パターン画像（２次元の顔画像）を生成し、生成した顔パターン画像から顔の特徴量ベクトルを抽出する。そして、特許文献1の画像認識装置は、予め登録された登録画像の顔の特徴量ベクトルと、生成した顔パターン画像の特徴ベクトルとの類似度を計算し、顔画像を認識する。上記のような手法を用いることで、特許文献１の画像認識装置は、顔画像の顔の位置又は大きさなどを、基準のデータに揃える（正規化する）ことが可能である。
しかし、特許文献１の方法は、入力画像から検出された顔の特徴点を、顔の角度、姿勢、又は、明るさに基づいて、正しく検出できない場合がある。特に、特許文献１の方法は、顔の姿勢の変化に基づいて（例えば、鼻の側面や輪郭などに発生する隠れ（セルフオクルージョン）に基づいて）、鼻の正しい位置の特徴点情報を誤って検出する場合がある。
図１３は、顔輪郭点を例として、本来の特徴点がオクルージョン（occlusion）に基づいて遮蔽された場合、画像上のそれらしい位置を特徴点として誤って検出する例を示す図である。
図１３に示すように、正面顔の画像１００において検出される顔輪郭点（黒点）と、斜め右向きの顔の画像２００において検出される顔輪郭点とは、厳密に、両者の位置が異なる。正面顔の画像１００における顔輪郭点が、３次元的に回転したときに本来存在する位置は、顔の画像３００に示すように、斜め右向きの顔の画像２００において検出される顔輪郭点よりも顔の内側に位置する。つまり、斜め右向きの顔の画像２００において検出された顔輪郭点は、正しくない特徴点である。
従って、右向きの顔の画像２００において検出されるような情報を用いて幾何学的変換パラメータを算出して生成した顔パターン画像からは、顔の正しい特徴量ベクトルを抽出することができない。つまり、特許文献１に記載の技術は、上記の問題点があった。
特許文献１に記載の技術の問題を解決するために、２つの方法が考えられる。第１の方法は、正しい位置に検出できなかった特徴点を利用しないで、幾何学的変換パラメータを推定する方法である。
第１の方法は、例えば、RANSAC (Random Sample Consensus)に代表されるロバスト推定法を利用することで実現できる。第１の方法において、顔の見えている部分は、正しく正規化される。しかし、画面奥側の隠れている領域は、正規化に基づいて、画像が破綻する。
具体的には、本来顔のテクスチャが存在する領域に背景のテクスチャが混ざりこんでしまう現象（欠損）が、発生する。つまり、第１の方法は、上記の問題点があった。
第２の方法は、正しい位置に検出できなかった特徴点を、正しい位置に補正する方法である。
第２の方法における特徴点の補正の方法として、例えば、特許文献２に開示されている方法がある。特許文献２の方法は、事前に特徴点位置の部分空間の変動分（例えば、正面、右向き及び左向きの３パターン）を生成して、それら部分空間への射影又は逆射影を基に補正後の特徴点位置を得る。
また、非特許文献１には、標準的な立体顔形状モデルを回転させたときの補正量を、予め角度ごとにテーブルとして保持しておき、２次元画像中の顔の角度に基づいてテーブル内の適切な補正量を選択する技術が開示されている。
なお、特許文献３には、発明を実施するための形態の説明に用いる方法が、記載されている。
特許第４６５３６０６号公報 特開２０１１−１３８３８８号公報 特開２０１１−２０９１１６号公報
高野博幸、金出武雄、山崎彬人、出口光一郎、「多様な顔の向きに対してフェイスアライメントする方法」、MIRU2012 第15回 画像の認識・理解シンポジウム論文集、IS1-66、2012年8月6日
しかしながら、特許文献２に記載の方法は、部分空間を生成する学習データが必要となる。しかも、特許文献２に記載の方法は、変動のパターン分の部分空間を生成しなければならない。そのため、特許文献２に記載の方法は、細かい角度ごとに特徴点を補正するためには、膨大な学習データが必要であり、多数の部分空間を生成しなければならないという問題点があった。
また、非特許文献１に記載の技術は、事前に顔の角度と特徴点の補正量の関係を示すテーブルを生成する必要がある。また、非特許文献１に記載の技術は、補正の対象となる隠れた特徴点に関しても、事前に角度ごとにビジビリティテーブルを生成しておかなくてはならない。また、非特許文献１に記載の技術は、上下方向（ピッチ角）の角度に対する対応や初期値を手動で入力しなければならない。このように、非特許文献１に記載の技術は、事前にテーブル及び初期値を生成する必要があるという問題点があった。
本発明の目的は、上記の問題点に鑑み、より精度の高い認証を実現する顔照合装置、方法、及び、記憶媒体を提供することにある。
上記目的を達成するために、本発明の一形態における顔照合装置は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力する疑似特徴点推定手段と、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段とを含む。
また、本発明の一形態における顔照合方法は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力し、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力し、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する。
さらに、本発明の一形態における記憶媒体は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力する処理と、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力する処理と、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理とをコンピューターに実行させるプログラムを記録する。
本発明に基づけば、より精度の高い認証を実現するとの効果を奏することができる。
図１は、本発明における第一の実施形態に係る顔照合装置の構成の一例を示すブロック図である。 図２は、第一の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。 図３は、第一の実施形態に係る顔照合装置における３次元立体形状モデルを、真上から見た３次元空間でのイメージの一例を示す図である。 図４は、第一の実施形態に係る顔照合装置における３次元立体形状モデルを所定の回転角度で回転させた３次元空間でのイメージの一例を示す図である。 図５は、第二の実施形態に係る顔照合装置の３次元立体形状モデルを回転角度θで回転させた３次元空間のイメージの一例を示す図である。 図６は、第二の実施形態に係る顔照合装置の構成の一例を示すブロック図である。 図７は、第二の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。 図８は、第三の実施形態に係る顔照合装置の構成の一例を示すブロック図である。 図９は、第三の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。 図１０は、第四の実施形態に係る顔照合装置の構成の一例を示すブロック図である。 図１１は、第四の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。 図１２は、第一ないし第四の実施形態に係る顔照合装置のハードウェアの構成の一例を示すブロック図である。 図１３は、顔輪郭点を例として、本来の特徴点がオクルージョンに基づいて遮蔽された場合、画像上のそれらしい位置を特徴点として誤って検出する例を示す図である。
以下、本発明における実施の形態に係る顔照合装置について、図面を参照して、詳細に説明する。
（第一の実施形態）
次に、本発明における第一の実施形態について、図面を参照して詳細に説明する。
図１は、本発明における第一の実施形態に係る顔照合装置１０の構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る顔照合装置１０は、遮蔽特徴点推定部１１と、疑似特徴点推定部１２と、照合部１３とを含む。
次に、図１に示す顔照合装置１０の各構成を説明する。
遮蔽特徴点推定部１１は、顔の正面ではない２次元画像（以下、「入力画像」と称する）の顔の向きを表す角度情報に基づいて、顔の３次元立体形状モデルと、そのモデル上のモデル特徴点とを回転させる。
そして、遮蔽特徴点推定部１１は、回転後の顔の３次元立体形状モデルとそのモデル上のモデル特徴点の位置情報とを用いて、顔の３次元立体形状モデル上における、入力画像上に写らない顔の特徴点に対応するモデル特徴点を推定する。即ち、遮蔽特徴点推定部１１は、オクルージョンのために遮蔽された入力画像に写らない顔の特徴点が、入力画像上において、本来存在する位置を推定する。そして、遮蔽特徴点推定部１１は、その位置の情報を出力する。
顔の３次元立体形状モデル上における入力画像上に写らない顔の特徴点に対応するモデル特徴点の位置は、後述される遮蔽特徴点が、本来存在する入力画像上の位置と同じ又は近似した位置である。
ここで、特徴点は、顔の部位、例えば、鼻穴、口端、又は、眼尻等に関する点である。また、特徴点の位置情報は、顔の部位の座標値である。勿論、特徴点の位置情報は、位置を推定できるデータであれば、他のデータでもよい。
そして、例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などは、入力画像の奥側に回転される。そのため、上記の特徴点は、オクルージョンの影響を受けて遮蔽され、入力画像上で見えなくなる。本実施形態では、このような遮蔽された特徴点の代わりに、顔の３次元立体形状モデル上に、これらの特徴点が本来ある位置のモデル特徴点を用いて定義される点を推定する。以下、このように遮蔽された特徴点を、「遮蔽特徴点」という。
疑似特徴点推定部１２は、入力画像の顔の角度情報に基づき、回転された顔の３次元立体形状モデルの位置情報を利用して、オクルージョンの影響で入力画像に写らない顔の特徴点として誤って検出される特徴点を推定する。以下、誤って検出される特徴点を、「疑似特徴点」という。
例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などは、入力画像の奥側に回転される。そのため、本来オクルージョンの影響で入力画像に見えないはずの顔の特徴点は、入力画像上で、本来存在する位置とは異なる位置に顔の特徴点として検出される。このように誤って検出される特徴点が、疑似特徴点である。
照合部１３は、遮蔽特徴点推定部１１において推定された遮蔽特徴点の位置情報と、疑似特徴点推定部１２おいて推定された疑似特徴点の位置情報とを受信すると、入力画像と入力画像中の顔の特徴点とを取得する。
そして、照合部１３は、遮蔽特徴点及び疑似特徴点の位置情報、並びに、入力画像における顔及び顔の３次元立体形状モデルのスケールなどの情報に基づいて、入力画像中の顔の特徴点を補正する補正量を算出する。そして、照合部１３は、算出した補正量を用いて、入力画像中の顔の特徴点を補正する。
次に、照合部１３は、補正した入力画像中の顔の特徴点、並びに、顔の３次元立体形状モデル及びそのモデル上に配置されたモデル特徴点を利用して、幾何学的変換パラメータを推定する。そして、照合部１３は、推定した幾何学的変換パラメータを用いて、入力画像の正規化顔画像を生成する。そして、照合部１３は、生成した正規化顔画像を基に、顔の特徴量ベクトルを抽出する。
そして、照合部１３は、照合用の顔の正面の２次元画像（以下は、「照合画像」と称する）を取得する。照合部１３は、取得した照合画像を正規化して、照合画像の正規化顔画像を生成する。次に、照合部１３は、照合画像の正規化画像を基に、顔の特徴量ベクトルを抽出する。
そして、照合部１３は、照合画像の正規化画像を基に抽出した顔の特徴量ベクトルと、入力画像の正規化顔画像を基に抽出した顔の特徴量ベクトルとを照合する。そして、照合部１３は、照合の結果を出力する。
次に、本発明の第一の実施形態に係る顔照合装置の動作を図面に基づいて説明する。
図２は、本発明の第一の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
先ず、遮蔽特徴点推定部１１は、入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点を取得する。そして、遮蔽特徴点推定部１１は、入力画像の顔の角度情報と同じ角度で、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点を回転させる（ステップＳ１０）。
例えば、入力画像の顔の角度情報が、顔が右向きにθ度（０＜θ＜９０度）回転している場合、遮蔽特徴点推定部１１は、顔の３次元立体形状モデルＭ及びモデル特徴点Ｐｍをθ度だけ右向きに回転させる。
入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点は、顔照合装置１０の外部の装置から入力されてもよい。あるいは、顔照合装置１０が、図示しない記憶部を備える。そして、顔照合装置１０は、予め、入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル、及び、モデル上に存在するモデル特徴点を、その記憶部に記憶する。そして、遮蔽特徴点推定部１１が、その記憶部から、上記の情報を取得して、使用してもよい。
また、顔照合装置１０が用いる顔の３次元立体形状モデルは、顔を３次元的に表現できる立体形状モデルであれば、特に制限はない。例えば、顔の３次元立体形状モデルは、画像に写った人物の３次元立体形状モデルでもよい。あるいは、顔の３次元立体形状モデルは、平均的な顔を基とする、３次元立体形状モデルでもよい。
顔照合装置１０は、入力画像中の顔の角度情報を、一般的な手法を用いて、事前に取得しておけばよい。例えば、顔照合装置１０は、特許文献３（特開２０１１−２０９１１６号公報）に記載の方法などを用いればよい。ただし、これは、あくまで一例である。顔照合装置１０は、入力画像中の顔の角度情報を取得することができれば、他の手法を用いてもよい。
図３は、第一の実施形態に係る顔照合装置１０における３次元立体形状モデル（Ｍ）を、真上から見た３次元空間でのイメージの一例を示す図である。
図３において、弧状の実線は、真上から見た状態の顔の３次元立体形状モデルＭを示す。図３に示されている弧状の実線は、顔の正面を真上から見たイメージを示す。弧状の実線上の黒点は、顔の３次元立体形状モデルＭの輪郭上の特徴点を示すモデル特徴点Ｐｍである。図３に示されているモデル特徴点Ｐｍは、顔の特徴点である。図３の下方に示されているカメラは、入力画像を生成する装置である。図３において、カメラは、顔の３次元立体形状モデルＭの正面の位置（奥行Ｚ＝０の位置）を想定している。また、カメラは、視線Ｇの方向の基準となる。
また、図３において、Ｘ（平行方向）とＺ（奥行）とは、破線を用いて示すように３次元空間の座標軸を示す。図３が、真上から見た状態のため、Ｙ（縦方向）軸は、図３に示されていない。
図４は、本発明の第一の実施形態に係る顔照合装置における３次元立体形状モデルＭを回転角度θで回転させた３次元空間でのイメージの一例を示す図である。
図４に示すように、遮蔽特徴点推定部１１は、顔の３次元立体顔形状モデルとそのモデル上の特徴点（モデル特徴点Ｐｍ）とを、入力画像中の顔の角度情報（回転角度θ）を用いて回転させる（ステップＳ１０）。
図４に示す場合、回転後の入力画像中の顔の３次元立体形状モデルは、顔の３次元立体形状モデルＭｒに相当する。また、回転後の入力画像中の顔の特徴点は、モデル特徴点Ｐｍｒに相当する。
ここで、回転後のモデル特徴点Ｐｍｒを通る視線Ｌと、モデル特徴点Ｐｍｒよりカメラ側に近い位置で回転後の顔の３次元立体形状モデルＭｒとが、交点Ｐｍｒ'で交差するとする。この場合、遮蔽特徴点推定部１１は、交点Ｐｍｒ'を、遮蔽特徴点Ｐｍｒ'として推定する。そして、遮蔽特徴点推定部１１は、推定した遮蔽特徴点Ｐｍｒ'の位置情報を出力する（ステップＳ１１）。
なお、回転させた３次元立体形状モデルを奥行方向（Ｚ方向）へ正射影することも、可能である。奥行方向への正射影の場合、遮蔽特徴点推定部１１は、回転させたモデル特徴点Ｐｍｒを含む奥行方向（Ｚ方向）に平行な直線（視線）Ｌと、回転後の顔の３次元立体形状モデルＭｒとの交点Ｐｍｒ'を用いる。すなわち、遮蔽特徴点推定部１１は、回転後のモデル特徴点Ｐｍｒよりカメラ側に近い位置で交点Ｐｍｒ'を持つ場合、交点Ｐｍｒ'を遮蔽特徴点Ｐｍｒ'として推定してもよい。
次に、疑似特徴点推定部１２は、遮蔽特徴点Ｐｍｒ'が入力画像上において検出されると想定される点（疑似特徴点）を推定する（ステップＳ１２）。
即ち、疑似特徴点推定部１２は、入力画像の顔の角度情報に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点（疑似特徴点）を推定する。そして、疑似特徴点推定部１２は、疑似特徴点の位置情報を出力する。
疑似特徴点は、既に説明したとおり、本来オクルージョンの影響で入力画像に見えないはずの顔の特徴点が入力画像上で顔の特徴点として誤って検出される特徴点である。疑似特徴点は、例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などである。
図５に示すように、回転させた３次元立体形状モデルを奥行方向（Ｚ方向）へ正射影を仮定する。そして、疑似特徴点推定部１２は、回転させた３次元立体形状モデルＭｒを奥行方向（Ｚ方向）に正射影する。この正射影を基に、疑似特徴点推定部１２は、視線Ｌを移動して、モデル特徴点Ｐｍｒより顔の外側において、３次元立体形状モデルＭｒと接する場合の接点Ｐｆを、疑似特徴点Ｐｆとして、推定する。そして、疑似特徴点推定部１２は、疑似特徴点Ｐｆの位置情報を出力する。
また、例えば、顔輪郭点を想定する場合、顔輪郭点は、顔と背景の境界線Ｑにおいて検出されると考えられる。そのため、疑似特徴点推定部１２は、入力画像中の顔の角度に合わせて回転された顔の３次元立体形状モデルＭｒを視点（カメラ）から見たときに、顔の３次元立体形状モデルＭｒと背景との境界線Ｑに対応する点Ｐｆを、疑似特徴点Ｐｆとして推定してもよい。そして、疑似特徴点推定部１２は、推定した疑似特徴点Ｐｆの位置情報を出力してもよい。
３次元立体形状モデルと背景との境界点を疑似特徴点として推定する場合、疑似特徴点推定部１２は、モデル特徴点Ｐｍｒよりカメラに近い（Ｚが小さい）位置において、最も顔の外側に位置する点Ｐｆを疑似特徴点Ｐｆとして推定する。そして、疑似特徴点推定部１２は、推定した疑似特徴点Ｐｆの位置情報を出力する。
次に、照合部１３は、入力画像の正規化画像の顔の特徴量ベクトルと、照合画像の正規化画像の顔の特徴量ベクトルとを抽出する。そして、照合部１３は、抽出した２つの顔の特徴量ベクトルを照合する。そして、照合部１３は、照合の結果を出力する（ステップＳ１３）。
即ち、照合部１３は、遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの位置情報を受信すると、入力画像と入力画像中の顔の特徴点とを取得する。ここで、照合部１３の取得方法は、特制限はない。例えば、照合部１３は、図示しない外部の装置から取得してもよい。あるいは、顔照合装置１０が図示しない記憶部を備える。そして、顔照合装置１０は、予め、入力画像と入力画像中の顔の特徴点とをその記憶部に記憶する。そして、照合部１３が、その記憶部から、上記の情報を取得してもよい。
続いて、照合部１３は、遮蔽特徴点Ｐｍｒ'及び疑似特徴点Ｐｆの位置情報、並びに、取得した入力画像の顔及び顔の３次元立体形状モデルとのスケール情報に基づいて、入力画像中の顔の特徴点を補正する補正量を算出する。そして、照合部１３は、入力画像中の顔の特徴点を補正する。
ここで求める補正量は、図５に示す疑似特徴点Ｐｆを、遮蔽特徴点Ｐｍｒ'に補正する補正量を基準として、入力画像中の顔の特徴点を本来の特徴点に補正する補正量である。
即ち、照合部１３は、取得した入力画像の顔と顔の３次元立体形状モデルＭとの比較を基に、顔の３次元立体形状モデルＭと入力画像中の顔とのスケールの差を求める。続いて、照合部１３は、回転させた３次元立体形状モデルＭｒ上の遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの位置情報の差分に、スケール差を乗じた値を、補正量とする。
本実施形態では、入力画像内には、Ｚ軸が、存在しない。そのため、ここで求める補正量は、疑似特徴点Ｐｆと、モデル特徴点Ｐｍｒが入力画像中に本来存在する遮蔽特徴点Ｐｍｒ'とのＸ座標上のずれの補正量である。そのため、照合部１３は、遮蔽特徴点Ｐｍｒ'と疑似特徴点ＰｆとのＸ軸上でのずれに基づいて、遮蔽特徴点Ｐｍｒ'の位置を補正する補正量を算出する。
具体的には、照合部１３は、補正量として、遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの２点のＸ座標の差分値に基づいて、顔の３次元立体形状モデルＭｒと入力画像中とにおけるスケールの違いに応じた倍率（スケール倍した量）を、補正量とすればよい。
ここまでの説明では、Ｘ方向の補正について説明したが、照合部１３は、Ｙ方向の補正量についても、同様に、ステップＳ１０からステップＳ１２までの一連の処理で用いて算出できる。
照合部１３は、算出した補正量に基づいて、入力画像中の顔の特徴点を補正する。
次に、照合部１３は、補正した特徴点を含む入力画像の顔の特徴点、並びに、顔の３次元立体形状モデル及びそのモデル上に配置されたモデル特徴点Ｐｍｒを利用して、幾何学的変換パラメータを推定する。そして、照合部１３は、推定した幾何学的変換パラメータを用いて、入力画像の正規化顔画像を生成する。
具体的には、照合部１３は、まず、補正した入力画像中の顔の特徴点「Ｐｉ＝(ｕ，ｖ)」とモデル特徴点「Ｐｍ＝(Ｘ，Ｙ，Ｚ)」との間の透視投影変換パラメータを推定する。ここで、Ｐｉは、２次元画像にある補正した顔の特徴点を意味する。また、ｕは、２次元座標の横軸を意味し、ｖは、２次元座標の縦軸を意味する。なお、照合部１３は、透視投影変換パラメータを、非線形最適化手法を用いて推定してもよいし、線形近似した線形最小二乗法を用いて推定してもよい。
そして、照合部１３は、推定した透視投影変換パラメータを用いて、顔の３次元立体形状モデルが２次元画像上に投影される位置を計算する。
照合部１３は、上記の計算結果を基に、顔の３次元立体形状モデルに、２次元画像上の色情報を貼り付けることができる。そして、照合部１３は、貼り付けた色情報を含む顔の３次元立体形状モデルを基に、顔の角度又は大きさを正規化した２次元顔画像を生成する。
続いて、照合部１３は、正規化した入力画像の顔の特徴量ベクトルを抽出する。照合部１３は、特徴量ベクトルの抽出に、一般的なGabor特徴又はLBP(Local Binary Pattern)などを利用すればよい。照合部１３が用いる手法は、特徴量ベクトルを抽出できる手法であれば、特に制限はない。
そして、照合部１３は、照合画像を取得し、取得した照合画像に対して同様の処理を適用して、照合画像の特徴ベクトルを抽出する。そして、照合部１３は、抽出した正規化画像における顔の特徴量ベクトルと、入力画像における顔の特徴量ベクトルとを照合する。そして、照合部１３は、照合結果を出力する。
本実施形態は、入力画像及び照合画像を、図示しない外部の装置から取得してもよい。あるいは、本実施形態は、顔照合装置１０に図示しない記憶部を備えてもよい。その場合、本実施形態は、予め、入力画像及び照合画像、又は、照合画像に対して正規化処理を適用して得られた正規化画像の顔の特徴量ベクトルを記憶部に記憶してもよい。そして、照合部１３は、記憶部から、上記の画像又は特徴量ベクトルなどの情報を取得して、使用してもよい。
ここまで説明した動作を終了すると、第一の実施形態に係る顔照合装置１０は、動作を終了する。
本発明の第一の実施形態は、顔の角度や補正量に関するテーブルを事前に生成する必要ないとの効果を奏する。その理由は、遮蔽特徴点推定部１１が、オクルージョンの影響で遮蔽された遮蔽特徴点の位置を推定する。また、疑似遮蔽特徴点推定部１２が、誤って検出される疑似特徴点を推定する。そして、照合部１３が、特徴点の補正量を算出し、特徴点を補正し、正規化後の特徴量ベクトルを基に入力画像と照合画像を照合するためである。また、第一の実施形態は、オクルージョンの影響で正しい位置に検出できない特徴点について、より正確な位置に補正し、入力画像の正規化画像を生成し、正規化画像の顔の特徴量ベクトルを利用して、照合画像と照合する。そのため、第一の実施形態は、より精度の高い認証を実現するとの効果を奏することができる。
（第二の実施形態）
本発明の第二の実施形態に係る顔照合装置２０について説明する。
図６は、第二の実施形態に係る顔照合装置２０の構成の一例を示すブロック図である。
図６に示すように、第二の実施形態に係る顔照合装置２０の照合部２６は、第一の実施形態に係る顔照合装置１０の照合部１３と異なり、照合機能を担当する。第二の実施形態は、補正量算出、特徴点補正、及び、正規化画像の生成の機能を、それぞれ、補正量算出部２３、特徴点補正部２４、及び、正規化部２５に分担させる。なお、補正量算出部２３と、特徴点補正部２４と、正規化部２５との処理の内容及び処理方法は、第一の実施形態に係る顔照合装置１０の照合部１３における機能と同じである。
本実施形態の顔照合装置２０は、さらに、記憶部２７を含む。記憶部２７は、予め、入力画像と、顔の３次元立体形状モデル上に配置されたモデル特徴点と、照合画像又は照合画像を正規化して正規化した照合画像の顔の特徴量ベクトルとを記憶する。第二の実施形態における上記以外の構成及び処理は、第一の実施形態と同様である。例えば、遮蔽特徴点推定部２１及び疑似特徴点推定部２２は、第一の実施形態における遮蔽特徴点推定部１１及び疑似特徴点推定部１２と同様である。
図７は、第二の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
図７に示すように、本実施形態に係る顔照合装置２０の遮蔽特徴点推定部２１は、入力画像と、顔の３次元立体形状モデル上に配置されたモデル特徴点を記憶部２７から取得する。それ以外の遮蔽特徴点推定部２１及び疑似特徴点推定部２２の処理は、第一の実施形態に係る顔照合装置の遮蔽特徴点推定部１１と疑似特徴点推定部１２と同じ処理を行うため、ここで詳細な説明を省略する（ステップＳ２１〜Ｓ２２）。
次に、補正量算出部２３は、入力画像の顔の特徴点を補正する補正値を算出する。その処理は、第一の実施形態に係る顔照合装置の照合部１３の補正値算出処理と同じであるため、ここで詳細な説明を省略する（ステップＳ２３）。
続いて、特徴点補正部２４は、補正量算出部２３から補正値を受け取り、入力画像の顔の特徴点を補正し、補正した特徴点を含む入力画像の顔の特徴点を出力する。特徴点補正部２４における補正処理は、第一の実施形態に係る顔照合装置の照合部１３の補正処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２４）。
次に、正規化部２５は、補正した遮蔽特徴点を含む入力画像の顔の特徴点を受け取り、入力画像の正規化を基に正規化画像を生成し、生成した正規化画像を出力する。正規化部２５における正規化処理は、第一の実施形態に係る顔照合装置の照合部１３の正規化処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２５）。
続いて、照合部２６は、入力画像の正規化画像から顔の特徴量ベクトルを抽出し、抽出した顔の特徴量ベクトルと、照合画像を正規化して生成した照合画像の正規化画像の顔の特徴量ベクトルとを照合する。そして、照合部２６は、照合結果を出力する。照合部２６における照合処理は、第一の実施形態に係る顔照合装置の照合部１３の照合処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２６）。
上記の処理をもって、第二の実施形態に係る顔照合装置２０は、動作（処理）を終了する。
第二の実施形態は、記憶部２７をさらに含む。また、第二の実施形態は、第一の実施形態に係る照合部１３における補正量算出、特徴点補正、及び、正規化画像の生成の機能を、それぞれ、補正量算出部２３、特徴点補正部２４、及び、正規化部２５に分担させる。そのため、複数の画像を処理する場合、補正量算出部２３、特徴点補正部２４、及び、正規化部２５は、それぞれの処理を並列に実行できる。つまり、第二の実施形態は、パイプライン処理を実現できる。このように、第二の実施形態は、複数の画像を処理する場合の処理の速度を高めることができる。なお、補正量算出部２３、特徴点補正部２４、及び、正規化部２５は、上記の動作を実現するために、図示しない記憶部（バッファ等）を含んでもよい。
（第三の実施形態）
本発明の第三の実施形態に係る顔照合装置３０について説明する。
図８は、第三の実施形態に係る顔照合装置３０の構成の一例を示すブロック図である。
図８に示すように、第三の実施形態に係る顔照合装置３０は、第二の実施形態の構成に加え、さらに、角度推定部３１を含む。角度推定部３１以外の構成、すなわち、遮蔽特徴点推定部３２、疑似特徴点推定部３３、補正量算出部３４、特徴点補正部３５、正規化部３６、及び、照合部３７の構成及び処理は、第二の実施形態における構成及び処置と同様である。個別に説明すると、次のとおりである。遮蔽特徴点推定部３２は、遮蔽特徴点推定部２１と同様である。疑似特徴点推定部３３は、疑似特徴点推定部２２と同様である。補正量算出部３４は、補正量算出部２３と同様である。特徴点補正部３５は、特徴点補正部２４と同様である。正規化部３６は、正規化部２５と同様である。照合部３７は、照合部２６と同様である。
図９は、第三の実施形態に係る顔照合装置３０の動作の一例を示すフローチャートである。
本実施形態に係る顔照合装置３０の角度推定部３１は、入力画像中の顔の特徴点と、顔の３次元立体形状モデル上に配置されたモデル特徴点とを利用して、入力画像中の顔の角度を推定する。角度推定部３１は、入力画像中の顔の特徴点と、顔の３次元立体形状モデル上に配置されたモデル特徴点とを、図示しない外部の装置から取得してもよい。あるいは、第三の実施形態の記憶部３８が、予め、これらの情報を記憶していてもよい。
より具体的には、角度推定部３１は、入力画像中の顔の特徴点「Ｐｉ＝(ｕ，ｖ)」と、モデル特徴点「Ｐｍ＝(Ｘ，Ｙ，Ｚ)」との間の透視投影変換パラメータを推定する。なお、第一の実施形態と同様に、Ｐｉは、２次元画像にある顔の特徴点を意味する。また、ｕは、２次元座標の横軸を意味し、ｖは、２次元座標の縦軸を意味する。角度推定部３１は、推定した透視投影変換パラメータを表す行列を、直交行列Ｑと上三角行列Ｒとに分解（ＱＲ分解）する。角度推定部３１は、ＱＲ分解して得た行列（カメラ外部パラメータの回転行列に相当）を、さらに分解する。角度推定部３１は、上記の分解処理を基に、Ｘ軸に関する顔の上下回転角度（ピッチ角）と、Ｙ軸に関する顔の左右回転角度（ヨー角）とを算出する。そして、角度推定部３１は、算出した角度を基に、入力画像の顔の角度情報を推定する。
なお、角度推定部３１は、透視投影変換パラメータを、非線形最適化手法を用いて推定してもよい。あるいは、角度推定部３１は、線形近似を想定し、線形最小二乗法を用いて、透視投影変換パラメータを推定してもよい。
角度推定部３１は、算出した入力画像中の顔の角度情報を遮蔽特徴点推定部３２に送信する（ステップＳ３１）。
以降の処理（ステップＳ３２〜Ｓ３５）は、それぞれ、第二の実施形態の処理（ステップＳ２１〜Ｓ２４）と同じ処理のため、詳細な説明を省略する。
そして、角度推定部３１は、特徴点補正部３５から補正した特徴点を含む顔の特徴点を取得し、補正された顔の特徴点と顔の３次元立体形状モデル上に配置されたモデル特徴点とを基に、入力画像中の顔の角度を再推定する。
第三の実施形態は、上記のステップＳ３２乃至ステップＳ３５の処理を繰り返す。そして、第三の実施形態は、特徴点補正部３５からの遮蔽特徴点の補正値が一定値以下、又は、繰り返し回数が所定の回数以上となった場合に、繰り返し処理を終了する。
角度推定部３１は、特徴点補正部３５が最終的に補正した特徴点を含む顔の特徴点と顔の３次元立体形状モデル上に配置されたモデル特徴点とを基に、入力画像中の顔の角度情報を推定する。そして、角度推定部３１は、推定した入力画像中の顔の角度情報を、遮蔽特徴点推定部３２に出力する。
以降、第三の実施形態は、第二の実施形態と同様の処理を実行し、実行後、処理を終了する。
本実施形態は、事前に入力画像中の顔の角度情報を取得しなくても、入力画像中の顔の特徴点の情報を用いて入力画像中の顔の角度情報を推定することが可能である。その理由は、角度推定部３１が、入力画像中の顔の角度情報を推定するためである。
（第四の実施形態）
本発明の第四の実施形態に係る顔照合装置４０について説明する。
図１０は、第四の実施形態に係る顔照合装置４０の構成の一例を示すブロック図である。
図１０に示すように、第四の実施形態に係る顔照合装置４０は、第三の実施形態の構成に加え、さらに、特徴点検出部４１を含む。特徴点検出部４１以外の構成、すなわち、角度推定部４２、遮蔽特徴点推定部４３、疑似特徴点推定部４４、補正量算出部４５、特徴点補正部４６、正規化部４７、及び、照合部４８の構成及び処理は、第三の実施形態の構成及び処理と同様である。個別に説明すると、次のとおりである。角度推定部４２は、角度推定部３１と同様である。遮蔽特徴点推定部４３は、遮蔽特徴点推定部３２と同様である。疑似特徴点推定部４４は、疑似特徴点推定部３３と同様である。補正量算出部４５は、補正量算出部３４と同様である。特徴点補正部４６は、特徴点補正部３５と同様である。正規化部４７は、正規化部３６と同様である。照合部４８は、照合部３７と同様である。
図１１は、第四の実施形態に係る顔照合装置４０の動作の一例を示すフローチャートである。
本実施形態では、図１１に示すように、特徴点検出部４１は、入力画像に存在する顔と、その顔内部に存在する顔の特徴点とを検出する（ステップＳ４１）。なお、第四の実施形態は、入力画像を、図示しない外部の装置から取得してもよい。あるいは、第四の実施形態は、予め、記憶部４９に、上記の情報を記憶していてもよい。
なお、顔照合装置４０は、検出する入力画像中の顔の特徴点に合わせて、モデル特徴点を設定してもよい。ここで、入力画像中から顔及び顔の特徴点を検出する手法は、任意であり、一般的なアルゴリズムを利用してもよい。例えば、顔照合装置４０は、顔検出に一般的に用いられているHaar-Like特徴量と、機械学習アルゴリズムであるAdaBoost（Adaptive Boosting）とを利用した顔検出アルゴリズムを用いてもよい。
特徴点検出部４１において検出された顔の特徴点は、記憶部４９に記憶する顔の３次元立体形状モデル上に配置されたモデル特徴点と同じ位置の特徴点である。
なお、入力画像及び顔の３次元立体形状モデル上に配置されたモデル特徴点は、予め、記憶部４９に記憶されていてもよい。あるいは、これらの情報は、図示しない外部の装置から取得されてもよい。
続くステップＳ４２からＳ４７は、第三の実施形態と同様である。より詳細には、顔の角度の推定（ステップＳ４２）、遮蔽特徴点の推定（ステップＳ４３）、疑似特徴点の推定（ステップＳ４４）、補正量の算出（ステップＳ４５）、特徴点の補正（ステップＳ４６）、及び、正規化（ステップＳ４７）の処理は、同様である。これらの処理は、第三の実施形態の処理（ステップＳ３１及びＳ３６）と同様の処理である。そのため、詳細な説明を省略する。
次に、照合部４８は、正規化部４７から、生成され正規化された２次元顔画像を受け取り、正規化画像の顔の特徴量ベクトルを抽出する。そして、照合部４８は、照合画像に対して同様の処理を用いて得られた、又は、記憶部４９に予め記憶された照合画像の顔の特徴量ベクトルと、正規化画像の顔の特徴量ベクトルとを照合する。そして、照合部４８は、照合結果を出力する（ステップＳ４８）。
この処理をもって、第四の実施形態に係る顔照合装置４０は、動作を終了する。
本実施形態は、事前に入力画像に存在する顔とその顔内部に存在する顔の特徴点を取得しなくても、入力画像を用いて入力画像中の顔の特徴点を検出するとの効果を奏することが可能となる。その理由は、特徴点検出部４１が、特徴点を検出するためである。
（ハードウェア構成）
次に、上述した各実施形態に係る顔認証装置１０ないし４０のハードウェアの構成について、図面を参照して、説明する。
上述した各実施形態において、各フローチャートを参照して説明した処理は、コンピューターを用いて、実現することができる。
コンピューターを用いる場合、顔照合装置１０ないし４０が含む機能の処理内容を記述したプログラムが、顔認証装置１０ないし４０に提供される。
図１２は、本発明の第一ないし第四の実施形態に係る顔照合装置１０ないし４０のハードウェアの構成の一例を示すブロック図である。
図１２に示すように、顔照合装置１０ないし４０は、ＣＰＵ（Central Processing Unit）８０１を含むコンピューターとして、上記の説明における各機能を実現する。そのため、ＣＰＵ８０１は、ＲＯＭ（Read Only Memory）８０３、又は、記憶装置８０４（ＨＤＤ： Hard Disk Drive）に記憶されたコンピューター・プログラムを、ＲＡＭ（Random Access Memory）８０２に読み込んで実行する。そして、この様な動作において、図１２に示すコンピューターは、外部機器接続インタフェース８０５、又は、ネットワークインタフェース８０６を介して受信しデータを処理する。
また、上記の処理内容を記述したプログラムは、コンピューターで読み取り可能な不揮発な記録媒体に、記録されてもよい。コンピューターで読み取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は、半導体メモリである。
上記プログラムを流通させる場合、例えば、そのプログラムが記録されたＤＶＤ、又は、ＣＤ−ＲＯＭなどの可搬型記録媒体が、販売される。また、プログラムの流通は、プログラムをサーバコンピューターに格納しておき、ネットワークを通じて、サーバコンピューターから他のコンピューターにそのプログラムを転送することを用いても実現できる。
上記プログラムを実行するコンピューターは、例えば、可搬型記録媒体に記録されたプログラム又はサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。
そして、コンピューターは、自己の記憶装置からプログラムを読み出し、プログラムに基づいた処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに基づいて、処理を実行してよい。
また、コンピューターは、サーバコンピューターからプログラムが転送されるごとに、受け取ったプログラムに基づいた処理を実行してもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１４年 ３月２８日に出願された日本出願特願２０１４−０６７５９８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
（付記１）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する疑似特徴点推定手段と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段と
を含む顔照合装置。
（付記２）
前記照合画像の取得に代えて、前記第２の顔の特徴量ベクトルを取得する
付記１に記載の顔照合装置。
（付記３）
前記遮蔽特徴点推定手段が、
前記入力画像中の顔の角度情報と同じ角度を用いて前記顔の３次元立体形状モデル及びその上に配置されるモデル特徴点を回転させ、回転後のモデル特徴点を通る視線と回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
付記１又は２に記載の顔照合装置。
（付記４）
前記遮蔽特徴点推定手段が、
前記顔の３次元立体形状モデルを正射影する場合において、前記入力画像中の顔の角度情報と同じ角度で回転させたモデル特徴点を通って奥行方向であるＺ方向に平行な直線と、回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
付記１ないし３のいずれか１項に記載の顔照合装置。
（付記５）
前記照合手段が、
前記遮蔽特徴点と前記疑似特徴点との位置情報の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を乗じた量を、補正量として用いて、前記入力画像中の顔の特徴点の位置情報を補正する
付記１ないし４のいずれか１項に記載の顔照合装置。
（付記６）
前記照合手段が、
少なくとも、前記遮蔽特徴点と前記疑似特徴点との水平方向であるＸ方向の座標値の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を掛け合わせ倍率であるスケール倍した量を、補正量とする
付記１ないし５のいずれか１項に記載の顔照合装置。
（付記７）
記憶手段をさらに含み、
前記記憶手段が、予め、前記入力画像、顔の３次元立体形状モデル、及び、その上に配置されたモデル特徴点、照合画像又は照合画像の正規化画像の顔の特徴量ベクトルを、記憶する
付記１ないし６のいずれか１項に記載の顔照合装置。
（付記８）
前記入力画像中の顔の特徴点に基づいて、前記入力画像中の顔の角度を算出する角度推定手段をさらに含む付記１ないし６のいずれか１項に記載の顔照合装置。
（付記９）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力し、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力し、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する
顔照合方法。
（付記１０）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
をコンピューターに実行させるプログラム。
（付記１１）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
をコンピューターに実行させるプログラムが記録された記録媒体。
本発明の顔照合装置は、例えば、顔認証技術を搭載する個人認証システム、又は、端末等の電子機器に、適用可能である。
１０、２０、３０、４０ 顔照合装置
１１、２１、３２、４３ 遮蔽特徴点推定部
１２、２２、３３、４４ 疑似特徴点推定部
１３、２６、３７、４８ 照合部
２３、３４、４５ 補正量算出部
２４、３５、４６ 特徴点補正部
２５、３６、４７ 正規化部
２７、３８、４９ 記憶部
３１、４２ 角度推定部
４１ 特徴点検出部
１００ 顔の画像
２００ 顔の画像
３００ 顔の画像
８０１ ＣＰＵ
８０２ ＲＡＭ
８０３ ＲＯＭ
８０４ 記憶装置
８０５ 外部機器接続インタフェース
８０６ ネットワークインタフェース

Claims (10)

  1. 入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、
    前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する疑似特徴点推定手段と、
    前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段と
    を含む顔照合装置。
  2. 前記照合画像の取得に代えて、前記第２の顔の特徴量ベクトルを取得する
    請求項１に記載の顔照合装置。
  3. 前記遮蔽特徴点推定手段が、
    前記入力画像中の顔の角度情報と同じ角度を用いて前記顔の３次元立体形状モデル及びその上に配置されるモデル特徴点を回転させ、回転後のモデル特徴点を通る視線と回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
    請求項１又は２に記載の顔照合装置。
  4. 前記遮蔽特徴点推定手段が、
    前記顔の３次元立体形状モデルを正射影する場合において、前記入力画像中の顔の角度情報と同じ角度で回転させたモデル特徴点を通って奥行方向であるＺ方向に平行な直線と、回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
    請求項１ないし３のいずれか１項に記載の顔照合装置。
  5. 前記照合手段が、
    前記遮蔽特徴点と前記疑似特徴点との位置情報の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を乗じた量を、補正量として用いて、前記入力画像中の顔の特徴点の位置情報を補正する
    請求項１ないし４のいずれか１項に記載の顔照合装置。
  6. 前記照合手段が、
    少なくとも、前記遮蔽特徴点と前記疑似特徴点との水平方向であるＸ方向の座標値の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を掛け合わせ倍率であるスケール倍した量を、補正量とする
    請求項１ないし５のいずれか１項に記載の顔照合装置。
  7. 記憶手段をさらに含み、
    前記記憶手段が、予め、前記入力画像、顔の３次元立体形状モデル、及び、その上に配置されたモデル特徴点、照合画像又は照合画像の正規化画像の顔の特徴量ベクトルを、記憶する
    請求項１ないし６のいずれか１項に記載の顔照合装置。
  8. 前記入力画像中の顔の特徴点に基づいて、前記入力画像中の顔の角度を算出する角度推定手段をさらに含む請求項１ないし６のいずれか１項に記載の顔照合装置。
  9. 入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力し、
    前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力し、
    前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する
    顔照合方法。
  10. 入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
    前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
    前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
    をコンピューターに実行させるプログラムが記録された記録媒体。
JP2016510005A 2014-03-28 2015-03-20 顔照合装置、方法、及び、記録媒体 Active JP6528764B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014067598 2014-03-28
JP2014067598 2014-03-28
PCT/JP2015/001566 WO2015146101A1 (ja) 2014-03-28 2015-03-20 顔照合装置、方法、及び、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2015146101A1 true JPWO2015146101A1 (ja) 2017-04-13
JP6528764B2 JP6528764B2 (ja) 2019-06-12

Family

ID=54194651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016510005A Active JP6528764B2 (ja) 2014-03-28 2015-03-20 顔照合装置、方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US9916495B2 (ja)
JP (1) JP6528764B2 (ja)
WO (1) WO2015146101A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546185B2 (en) * 2015-12-01 2020-01-28 Casio Computer Co., Ltd. Image processing apparatus for performing image processing according to privacy level
US10896318B2 (en) 2017-09-09 2021-01-19 Apple Inc. Occlusion detection for facial recognition processes
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109299658B (zh) * 2018-08-21 2022-07-08 腾讯科技（深圳）有限公司 脸部检测方法、脸部图像渲染方法、装置及存储介质
KR102238939B1 (ko) * 2018-11-29 2021-04-14 오지큐 주식회사 무선단말을 이용한 초상권 보호 방법
US11610414B1 (en) * 2019-03-04 2023-03-21 Apple Inc. Temporal and geometric consistency in physical setting understanding
CN110610127B (zh) * 2019-08-01 2023-10-27 平安科技（深圳）有限公司 人脸识别方法、装置、存储介质及电子设备
US11594074B2 (en) * 2019-09-10 2023-02-28 Amarjot Singh Continuously evolving and interactive Disguised Face Identification (DFI) with facial key points using ScatterNet Hybrid Deep Learning (SHDL) network
CN111709288B (zh) * 2020-05-15 2022-03-01 北京百度网讯科技有限公司 人脸关键点检测方法、装置以及电子设备
CN111914748B (zh) * 2020-07-31 2023-10-27 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
KR20230060901A (ko) * 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법
CN114093012B (zh) * 2022-01-18 2022-06-10 荣耀终端有限公司 人脸遮挡的检测方法和检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
WO2006051607A1 (ja) * 2004-11-12 2006-05-18 Omron Corporation 顔特徴点検出装置、特徴点検出装置
JP4653606B2 (ja) 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
CN102197412B (zh) * 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
JP2010231350A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 人物識別装置、そのプログラム、及び、その方法
JP5406705B2 (ja) 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP5346863B2 (ja) 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
US8811726B2 (en) * 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications
JP5795979B2 (ja) * 2012-03-15 2015-10-14 株式会社東芝 人物画像処理装置、及び人物画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
JP2008123216A (ja) * 2006-11-10 2008-05-29 Konica Minolta Holdings Inc 認証システム及び認証方法

Also Published As

Publication number Publication date
WO2015146101A1 (ja) 2015-10-01
US20170140211A1 (en) 2017-05-18
JP6528764B2 (ja) 2019-06-12
US9916495B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
JP6528764B2 (ja) 顔照合装置、方法、及び、記録媒体
KR101997500B1 (ko) 개인화된 3d 얼굴 모델 생성 방법 및 장치
US9747493B2 (en) Face pose rectification method and apparatus
Wang et al. Face liveness detection using 3D structure recovered from a single camera
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
JP5159950B2 (ja) 画像処理装置、方法、プログラム
US20120306874A1 (en) Method and system for single view image 3 d face synthesis
CN104246793A (zh) 移动设备的三维脸部识别
US9727776B2 (en) Object orientation estimation
JP2007004767A (ja) 画像認識装置、方法およびプログラム
US20150161435A1 (en) Frontal face detection apparatus and method using facial pose
Han et al. 3D face texture modeling from uncalibrated frontal and profile images
US11238271B2 (en) Detecting artificial facial images using facial landmarks
EP3198522A1 (en) A face pose rectification method and apparatus
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN111310512B (zh) 用户身份鉴权方法及装置
Tzimiropoulos et al. Active orientation models for face alignment in-the-wild
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
Nakajima et al. Depth-based gait feature representation
Choi et al. Real-time 3-D face tracking and modeling from awebcam
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
WO2021026281A1 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
JP2014032605A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP4589224B2 (ja) ３次元パターン照合装置
My et al. Real time face tracking and pose estimation using an adaptive correlation filter for human-robot interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R150 Certificate of patent or registration of utility model

Ref document number: 6528764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150