JP6526527B2 - 識別装置及び認証システム - Google Patents

Description

本発明の実施形態は、識別装置及び認証システムに関する。

自動的に人間の顔を認識する顔認証システムにおいては、顔領域を抽出する必要がある。そのため、鼻頂点及び鼻孔との位置関係を用いて顔領域を抽出する処理アルゴリズムが考えられる。

このような処理アルゴリズムにおいて、認証対象の顔とカメラとの距離に変動があったり、顔が斜めになったりすると、鼻頂点及び鼻孔の識別精度が低下することがあり、精度よく顔認証を行うことができない。

特開２００６−３８６８９号公報

そこで、本発明の実施形態は、このような点を考慮してなされたものであり、識別対象の位置や姿勢の変動による識別精度の低下を抑制可能な識別装置及び認証システムを提供することを目的とする。

一の実施形態による識別装置は、抽出部と、取得部と、識別部を備える。抽出部は、任意の物体を含む画像から、視差情報を用いて所定物の候補点を含む候補領域を抽出する。取得部は、候補領域内の画像情報を用いて特性値を取得する。識別部は、特性値と、基準特性値との類似性に基づき、候補領域が所定物に対応するか否かを識別する。

一実施形態による認証システムの構成を示すブロック図。 一実施形態による識別装置の構成を示すブロック図。 一実施形態による識別装置の処理を説明するフローチャート。 一実施形態による顔領域推定部の処理を説明するフローチャート。 一実施形態による前景領域の輪郭線を示す図。 一実施形態による鼻頂点候補検出部の処理を説明するフローチャート。 一実施形態による鼻頂点検出部の処理を説明するフローチャート。 一実施形態による第１鼻孔候補検出部の処理を説明するフローチャート。 一実施形態による円形分離度フィルタの一例を示す図。 一実施形態による第２鼻孔候補検出部の処理を説明するフローチャート。 一実施形態による鼻孔ペア処理部の処理を説明するフローチャート。 一実施形態による正面顔における２つの鼻孔候補と鼻頂点から構成する三角形を示す図。 一実施形態による斜め顔における２つの鼻孔候補と鼻頂点から構成する三角形を示す図。 一実施形態による鼻孔ペア検出部の識別処理を説明するフローチャート。 一実施形態による候補領域の正規化について説明する図。

以下、本発明の実施形態を、図面を参照して説明する。本実施形態は、本発明を限定するものではない。

本実施形態に係る識別装置は、特性値を取得する物体内の候補領域の大きさを、この物体に対応する視差情報を用いて定める。これにより、この物体の位置や姿勢の変動による候補領域の識別精度の低下を抑制する。

図１は、認証システム１の構成を示すブロック図である。認証システム１は、物体を撮像し、物体が予め登録されている物体であるか否かを認証する。認証システム１は、認証装置１００と、識別装置２００とを、備える。

認証装置１００は、カメラ１０２と、画像入力部１０４と、顔認証部１０６と、結果表示部１０８とを、備える。カメラ１０２は、２台のカメラで構成されており、認証対象の物体、すなわち被撮者の顔を撮影する。２台のカメラのレンズ間の距離は、基線長である。これらのカメラで撮像された２枚の輝度画像上における座標の視差、すなわちｄｉｓｐａｒｉｔｙに基づいて、対象物体、すなわち顔の３次元座標情報を得ることが可能である。なお、視差は、２枚の輝度画像に基づき、一般のアルゴリズムを用いて計算可能である。ここでは、画像入力部１０４は、いずれか１枚の輝度画像及びこの輝度画像に対応する視差画像を識別装置２００に入力する。視差画像は、輝度画像の画素毎の視差の値を、対応する視差画像の画素に割り振って構成される。

顔認証部１０６は、物体が予め登録されている物体であるか否かを認証する。具体的には、顔認証部１０６は、鼻頂点及び鼻孔ペアの位置情報に基づき、顔が予め登録されている顔であるか否かの認証を行う。

結果表示部１０８は、例えばモニタで構成され、顔認証部１０６の認証結果を表示する。

識別装置２００は、識別した所定物の情報を顔認証部１０６に出力する。図２は、識別装置２００の構成を示すブロック図である。識別装置２００は、鼻頂点検出部２０２と、鼻孔ペア検出部２０４とを、備える。

鼻頂点検出部２０２は、顔領域推定部２０６と、鼻頂点候補検出部２０８と、勾配辞書２１０と、鼻頂点識別部２１２とを、備える。鼻頂点検出部２０２は、鼻頂点の位置情報を出力する。

顔領域推定部２０６は、顔領域を推定する。具体的には、顔領域推定部２０６は、視差情報を用いて輝度画像或いは視差画像を前景と背景とに分け、視差の値（閾値）より大きな値を示す領域を、顔領域として推定する。ここでは、視差情報として、視差画像の画素値の値を用いる。顔領域は、視差画像自体から推定してもよいし、或いは、対応する視差情報を用いて輝度画像から推定してもよい。

鼻頂点候補検出部２０８は、輝度画像における物体領域内の２次元座標を３次元座標に視差情報を用いて変換し、３次元座標に基づき生成した３次元曲面の曲率の値に応じて候補点を検出する。具体的には、鼻頂点候補検出部２０８は、顔領域に対応する輝度画像の２次元座標を視差情報を用いて３次元座標に変換する。そして、鼻頂点候補検出部２０８は、３次元座標に基づく３次元曲面、すなわち顔表面に対応する３次元曲面を生成する。鼻頂点候補検出部２０８は、生成した３次元曲面に基づき曲率を計算し、所定条件を満たす曲率値を示す点を、鼻頂点の候補点として検出する。

勾配辞書２１０は、基準特性値を予め登録してしている。基準特性値は、例えば複数人の鼻頂点を含む領域内における勾配値に基づき計算される特徴量である。

鼻頂点識別部２１２は、候補点を含む領域（以下、候補領域）が鼻頂点に対応するか否かを識別する。鼻頂点識別部２１２は、第１抽出部２１４と、第１取得部２１６と、第１識別部２１８とを、備える。

第１抽出部２１４は、視差情報を用いて、輝度画像から候補領域を抽出する。すなわち、第１抽出部２１４は、顔領域に対応する視差情報を用いて候補領域の大きさを定め、顔領域内から候補領域を抽出する。この場合、候補領域の大きさは、顔領域の視差が大きくなるにしたがい、大きくなるように定められる。つまり、顔がカメラ１０２に近づくほど、候補領域がより大きくなるように定められる。なお、候補領域の大きさは、顔領域の視差に応じて正規化される。

第１取得部２１６は、候補領域の画像情報を用いて特徴量を求める。すなわち、第１取得部２１６は、候補領域の輝度情報を用いて特徴量を計算する。特徴量として、例えば輝度勾配特徴（Histogram of gradient）が計算される。

第１識別部２１８は、特徴量と、勾配辞書２１０に登録されている基準特性値と、の類似性に基づき、候補領域が所定物に対応するか否かを識別する。すなわち、第１識別部２１８は、第１取得部２１６で計算された特徴量と、基準特性値の類似性に基づき、候補領域が鼻頂点に対応するか識別する。

例えば、第１識別部２１８は、候補領域が複数ある場合、基準特性値と最も高い類似性を示した候補領域を、鼻頂点に対応する候補領域と識別する。つまり、第１識別部２１８は、識別された候補領域に対応する候補点を鼻頂点とする。そして、鼻頂点の位置情報を顔認証部１０６に出力する。

鼻孔ペア検出部２０４は、鼻孔ペアの位置情報を出力する。鼻孔ペア検出部２０４は、鼻孔候補検出部２２０と、パターン辞書２２２と、鼻孔ペア識別部２２４とを、備える。鼻孔候補検出部２２０は、鼻孔候補を検出する。鼻孔候補検出部２２０は、第１鼻孔候補検出部２２６と、第２鼻孔候補検出部２２８とを、備える。

第１鼻孔候補検出部２２６は、鼻頂点の位置に基づき定まる領域から、形状情報に基づき鼻孔候補を検出する。すなわち、第１鼻孔候補検出部２２６は、円形形状に基づく領域を鼻孔候補として検出する。

第２鼻孔候補検出部２２８は、鼻頂点の位置に基づき定まる領域から、輝度値が所定値以下であり視差が所定値以上の領域を鼻孔候補として抽出する。また、第２鼻孔候補検出部２２８は、例えば所定数Ｎになるように、鼻孔候補を検出する。すなわち、まず第１鼻孔候補検出部２２６が鼻孔候補を検出し、所定数Ｎとの差分数である鼻孔候補を第２鼻孔候補検出部２２８が検出する。

パターン辞書２２２は、基準パターンを予め登録している。基準パターンは、例えば複数人の鼻孔ペアを含む画像を加算平均したものである。

鼻孔ペア識別部２２４は、視差情報を用いて定められる候補領域が鼻孔ペアに対応するか否かを識別する。鼻孔ペア識別部２２４は、鼻孔ペア処理部２３０と、第２抽出部２３２と、第２取得部２３４と、第２識別部２３６とを、備える。

鼻孔ペア処理部２３０は、鼻孔候補検出部２２０で検出された鼻孔候補をペアにする。鼻孔ペア処理部２３０は、鼻孔候補間の距離、及び鼻頂点と鼻孔候補との距離が、所定の距離範囲にある２つの鼻孔を、鼻孔ペア候補とする。すなわち、画像上の鼻孔候補間の距離、及び鼻頂点と鼻孔候補との距離は、対応する視差情報が大きくなるにしたがい長くなる。これにより、３次元空間上での鼻孔候補間の距離、及び鼻頂点と鼻孔候補との距離は、対応する視差情報が変わっても被撮者の鼻の大きさに基いて一定値となる。所定の距離範囲は、視差情報に基づいて定まる。

第２抽出部２３２は、鼻孔ペア候補に基づく候補領域を抽出する。鼻孔ペア候補間の距離は視差情報を用いて定められるので、顔がカメラ１０２に近づくにしたがい、候補領域がより大きくなる。候補領域の大きさは顔領域の視差に応じて正規化されている。

第２取得部２３４は、候補領域の画像情報に基づく特性値を取得する。すなわち、第２取得部２３４は、候補領域の輝度画像をテンプレートとし、テンプレートを構成する画素値を特性値とする。

第２識別部２３６は、この特性値と、基準特性値との類似性に基づき候補領域が所定物に対応するか否かを識別する。すなわち、第２識別部２３６は、第２取得部２３４で得られたテンプレートとしての鼻孔ペア候補画像と、基準パターンの類似性に基づき、候補領域が鼻孔ペアに対応するか識別する。基準パターンは、予め鼻孔ペア画像に基づき計算された基準画像であり、パターン辞書２２２に登録されている。

例えば、第２識別部２３６は、候補領域が複数ある場合、基準特性値と最も高い類似性を示した候補領域を、鼻孔ペアに対応する候補領域として識別する。つまり、第２識別部２３６は、識別された候補領域に対応する鼻孔ペア候補を鼻孔ペアとする。そして、鼻孔ペアに対応する位置情報を顔認証部１０６に出力する。

次に、識別装置２００の動作を説明する。図３は、識別装置２００の処理を説明するフローチャートである。顔領域推定部２０６は、輝度画像から顔領域を推定する（Ｓ３０）。すなわち、顔領域推定部２０６は、視差情報を用いて、視差が所定の閾値以上の輝度画像における前景領域を顔領域として推定する。この場合、推定した顔領域の大きさ及び縦方向対横方向の比が所定範囲に乖離すると顔領域でないと判定し（Ｓ３２：Ｎｏ）、全体処理を終了する。すなわち、顔領域推定部２０６は、閾値を段階的に変更して推定した各前景領域のうち、大きさ及び縦方向対横方向の比が所定範囲内である前景領域が存在しない場合、顔領域は存在しないと判定して、全体処理を終了する。

一方、推定した前景領域の大きさ及び縦方向対横方向の比が所定範囲内であれば顔領域とする（Ｓ３２：Ｙｅｓ）。鼻頂点候補検出部２０８は、輝度画像における物体領域内、すなわち顔領域内における画像ピクセルの２次元座標を、顔点群である３次元座標に視差情報を用いて変換する（Ｓ３４）。続いて、鼻頂点候補検出部２０８は、顔点群にスムージング等の処理を行い、点群のノイズを除去する（Ｓ３６）。そして、鼻頂点候補検出部２０８は、顔点群における各３次元点の曲率を計算し、これらの３次元点における曲率値が所定範囲内であれば、これらの３次元点それぞれを鼻頂点候補として検出する（Ｓ３８）。各鼻頂点候補の３次元点の座標は、視差情報を用いて、２次元の輝度画像上の座標に逆変換され、輝度画像上における鼻頂点の候補点とされる。

次に、鼻頂点検出部２０２は、顔領域内から鼻頂点の候補点を含む候補領域を抽出し、候補領域が鼻頂点に対応するか否かを識別する（Ｓ４０）。場合、候補領域内の画像情報を用いて特徴量を計算し、この特徴量と、勾配辞書２１０に登録される基準特徴量との類似性に基づき、候補領域が鼻頂点に対応するか否かを識別する。すなわち、候補領域から得られる特徴量と、勾配辞書２１０に登録される基準特徴量と、の類似性、すなわち照合スコアが所定値以上であれば、候補領域を鼻頂点に対応すると識別する。候補領域の大きさは、例えば顔領域に対応する視差の平均値に基づき定められている。また、識別の結果、鼻頂点と識別される候補領域が複数ある場合、照合スコア、すなわち類似性が最も高かった候補領域に対応する候補点を鼻頂点とする。

次に、鼻頂点が存在するか否かを判定する（Ｓ４２）。鼻頂点が存在しないと判定された場合（Ｓ４２：Ｎｏ）、すなわち照合スコアが所定値以上を示す候補領域が存在しない場合、全体処理を終了する。一方、鼻頂点が存在すると判定された場合（Ｓ４２：Ｙｅｓ）、鼻孔候補検出部２２０は、輝度画像に円形分離度フィルタを適用し、鼻孔候補を検出する（Ｓ４４）。

また、鼻孔候補検出部２２０は、視差画像を用いて鼻頂点までの絶対距離を計算し、この絶対距離が一定範囲内の任意形状の鼻孔候補を追加する（Ｓ４６）。すなわち、鼻孔候補検出部２２０は、鼻頂点の位置に基づき定まる領域内から、輝度値が所定値以下であり視差が所定値以上の領域を鼻孔候補として抽出する。

次に、鼻孔ペア検出部２０４は、全ての鼻孔候補を組合せて鼻孔ペア候補とする（Ｓ４８）。この場合、鼻孔ペア検出部２０４は、鼻孔ペア候補の鼻孔間の絶対距離が一定範囲内であり、且つ鼻頂点と鼻孔それぞれの絶対距離が一定範囲内の鼻孔ペア候補を検出する。絶対距離は顔領域に対応する視差情報を用いて計算される。

次に、鼻孔ペア検出部２０４は、鼻孔ペアに基づく候補領域から得られた特性値と、パターン辞書２２２に登録される基準特性値との類似性に基づき、候補領域が鼻孔ペアに対応するか否かを識別する（Ｓ５０）。すなわち、鼻孔ペア検出部２０４は、鼻孔ペア候補を含む候補領域内の画像をテンプレートとして、パターン辞書２２２に登録される基準鼻孔ペアの画像と照合し、照合スコアが一番高い候補領域内の鼻孔ペア候補を鼻孔ペアとする処理を行い、全体処理を終了する。

このように、顔領域に対応する視差情報を用いて大きさが定められる鼻頂点の候補領域から特徴量を計算するので、カメラ１０２と顔の距離が変動しても安定して鼻頂点を識別することが可能である。また、顔領域に対応する視差情報を用いて、鼻孔ペア間の絶対距離が所定範囲内の鼻孔ペア候補に対応する領域をテンプレートとして取得するので、カメラ１０２と顔の距離が変動しても安定して鼻孔ペアを識別することが可能である。さらにまた、輝度値が所定値以下であり視差が所定値以上の領域を鼻孔候補として抽出するので、顔の向きが斜めになり鼻孔の形状が円形形状から乖離した場合でも鼻孔候補を抽出可能である。

次に、顔領域推定部２０６の動作を説明する。図４は、顔領域推定部２０６の処理を説明するフローチャートである。顔領域推定部２０６は、視差画像を縮小し、縮小視差画像を得る（Ｓ６０）。縮小の方法は、例えば最近傍補間やバイリニア補間若しくは平均値法等が用いられる。

次に、顔領域推定部２０６は、縮小視差画像のヒストグラムにより、分離用閾値を計算し、縮小視差画像の背景を除去する（Ｓ６２）。すなわち、顔領域推定部２０６は、縮小視差画像の各画素に対し、画素値、すなわち視差値が閾値より小さい場合、背景領域としてその画素の画素値をゼロに設定する。画素値がゼロでない領域が前景領域である。

次に、顔領域推定部２０６は、前景領域の大きさ、すなわちSizeを式（１）を用いて計算する（Ｓ６４）。式（１）では、Ｂはカメラ１０２のレンズ間の距離を示し、Rect_widthとRect_heightとは前景を囲む最小四角形、すなわち外接する四角形の横方向と縦方向のピクセルの数(pixel)を示す。また、depth_avgは、前景領域における全ての画素の視差平均値を示す。
Size=(B×(Rect_width+Rect_(height)))/(2×depth_avg) （１）
Sizew=(B×Rect_width)/(depth_avg) （２）
Sizeh =(B×Rect_height)/(depth_avg) （３）
式（１）で計算されるSizeと、人間の顔のサイズ、すなわち閾値Ｔと比較し、Sizeのほうが閾値Ｔより大きいか否かを判定する（Ｓ６６）。

Sizeのほうが閾値Ｔより大きい場合（Ｓ６６：Ｙｅｓ）、前景領域に顔以外別の物体が存在すると判定する。この場合、分離用閾値を変更して次の背景分離を実施する（Ｓ６８）。変更された分離用閾値には、depth_avgを使うことが可能である。Ｓ６８の実行結果は、分離前の前景領域を複数の連結領域に分割する。次に、顔領域推定部２０６は、連結領域の輪郭線を抽出する（Ｓ７０）。複数の連結領域が存在する場合、連結領域のそれぞれの輪郭線を抽出する。

図５は、前景領域の輪郭線を示す図である。図５（Ａ）に示すように、視差画像における視差の値は濃淡（視差値が濃いほど前景がカメラに近い）で表される。また、図５（Ｂ）では、連結領域は複数存在し、複数の連結領域における輪郭線が存在する。

顔領域推定部２０６は、輪郭線の中から顔候補領域を推定結果として選択する（Ｓ７２）。この場合、式（２）及び式（３）を用いて、輪郭線の領域における横方向Sizew及び縦方向Sizehの絶対長さを計算する。そして、大きさ及び縦方向対横方向の比が人間の顔に一番近いものを顔候補領域として選択する。図５（Ｃ）における四角形が選択された顔領域の例である。Ｓ７２の処理後、Ｓ６４に戻る。

Sizeのほうが閾値Ｔよりも小さい場合（Ｓ６６：Ｎｏ）、前景領域を囲む四角形が顔領域として推定され、顔領域推定部２０６における処理を終了する。このように、視差情報を用いて前景領域と背景領域を分離し、分離した前景領域の大きさに基づき顔領域を推定する。また、前景領域が複数存在する場合、領域の縦横比も用いて、最も顔らしい前景領域を顔領域として推定する。

次に、鼻頂点候補検出部２０８の動作を説明する。図６は、鼻頂点候補検出部２０８の処理を説明するフローチャートである。

ここでは、顔領域推定部２０６で検出された顔領域内から鼻頂点の候補点を検出する場合について説明する。また、鼻頂点候補検出部２０８が、顔領域推定部２０６で検出された顔領域を３次元（X,Y,Z）へ変換する場合について説明する。すなわち、鼻頂点候補検出部２０８は、顔領域（左上角の座標：（Lx,Ly）、右下角の座標：（Rx,Ry)）内の２次元の画像ピクセル（Ix,Iy）（Lx<=Ix<=Rx、Ly<=Iy<=Ry）を３次元(X,Y,Z）へ変換する。この変換で生成される３次元点の集合は、顔領域の３次元点群（ポイントクラウド）となる。この変換は、例えば式（４）を用いて実施可能である。

式（４）では、Ix(Iy)は顔領域内の画像ピクセルのX(Y）軸の座標、ｄisparity(Ix,Iy)はピクセル（Ix,Iy）に対応する視差、（X,Y,Z）は（Ix,Iy）に対応するワールド座標系下の３次元点の座標である。また、Ｗは、固定値であり、Ｑは、カメラ１０２の内部パラメータである焦点距離や歪み係数で決まる４ｘ４の透視変換行列である。左右２つのカメラ１０２を利用する場合、カメラ１０２間の回転行列及び並進ベクトルは、透視変換行列Ｑに含まれている。一般に、視変換行列Ｑは、公開されているカメラキャリブレーションのアルゴリズムを実施することで得ることが可能である。

ここでは、生成した点群をそのまま利用してもよい。或いは、生成した点群を処理したうえで利用してもよい。例えば点群をダウンサンプリング（down-sampling）、スムージングする処理を行ってもよい。点群をダウンサンプリングすると、点群を曲面近似することにかかる計算量を削減可能である。またスムージングすると、ノイズをより低減可能であり、曲面近似の精度をよりあげることが可能である。

まず、鼻頂点候補検出部２０８は、顔領域に対応する３次元点群を曲面にフィッテイングする窓の大きさ、すなわち曲面の範囲を決定する（Ｓ８０）。３次元点に対応する曲率は、３次元点を中心とする範囲の曲面を用いて計算される。ここでは、２次元画像における横幅がn、縦幅がnの四角形領域内のp個の画素に対応するｐ個の３次元点(x_i、y_i、z_i、)(1<=i<=p)を用いて曲面を近似することとする。

この場合、幅nは、実際の鼻の大きさに応じて設定される。すなわち、実際の鼻の大きさに対応する顔領域内の３次元曲面が近似される。nは、例えば式（５）を用いて計算される。
n=(fit_size×depth_avg)/B （５）
fit_sizeは固定値であり、人間の鼻の大きさとして、ここではfit_size＝３６ｍｍを用いる。また、depth_avgは、顔領域推定部２０６で推定された顔領域の平均視差である。なお、曲面をフィッテイングする場合に、高速化のため、横方向と縦方向にs(1≦s<n/2)の間隔で３次元点を用いてフィッテイングしてよい。この場合、曲面の生成に用いる点の数は(ｐ)/(s×s)である。

次に、顔領域内の全ての３次元点に対する処理が終了しているか判定する（Ｓ８２）。全ての３次元点に対する処理が終了していない場合（Ｓ８２：Ｎｏ）、次の３次元点(CX,CY,CZ)に対応する曲面から曲率を計算するための行列を生成する（Ｓ８４）。ｐ個の３次元点のそれぞれの座標(x_i、y_i、z_i、)(1<=i<=p)を式（６）へ代入すれば、式（７）により、曲面係数を計算するために必要な行列が生成される。すなわち、式（６）は、３次元点(CX,CY,CZ)に対応する曲面の式を示す。
係数ａは固定値であり、係数ｂ，ｃ，及びｄは、近似される曲面に対し、３次元座標で示す３次元点(CX,CY,CZ)の１次微分である。また、係数ｅとｆは３次元点(CX,CY,CZ)の２次微分である。上記係数を得るために、式（６）を式（７）の行列計算の形に変換する。このように、顔領域内の３次元点(CX,CY,CZ)に対応する曲面を生成し、曲率を計算する。
行列Ａは式（８）の左辺のマトリックスであり、列ベクトルＺは式（８）の右辺である。

次に、式（８）により、曲面係数を計算する（Ｓ８６）。これら各３次元点の座標(x_i、y_i、z_i、)(1<=i<=p)と中心である３次元点(CX,CY,CZ)の座標が既知のため、Ｘ＝ベクトル(a,b,c,d,e,f)^Tを計算可能である。

次に、曲面係数{a,b,c,d,e,f}を用いて３次元点(CX,CY,CZ)の平均曲率Ｈ及びガウス曲率Ｋを計算する（Ｓ８８）。平均曲率は式（９）、ガウス曲率は式（１０）により計算される。

次に、平均曲率Ｈ及びガウス曲率Ｋのそれぞれが所定値の範囲であるか、式（１１）を用いて判定する（Ｓ９０）。

平均曲率Ｈ及びガウス曲率Ｋのそれぞれが所定値の範囲内である場合（Ｓ９０：Ｙｅｓ）、３次元点(CX,CY,CZ)を鼻頂点の候補点として検出し（Ｓ９２）、Ｓ８２の処理にもどる。式（１１）によって検出される鼻頂点候補は、平均曲率値がゼロより小さく、且つガウス曲率が０より大きいため、鼻頂点は必ず凸領域となる。一方で、平均曲率Ｈ及びガウス曲率Ｋのそれぞれが所定値の範囲内でない場合（Ｓ９０：Ｎｏ）、Ｓ８２の処理にもどる。顔領域内の全ての３次元点に対する処理が終了した場合（Ｓ８２：Ｙｅｓ）、全体の処理を終了する。

このように、鼻頂点候補検出部２０８は、顔領域内の３次元点の全てに対して、平均曲率Ｈ及びガウス曲率Ｋを計算する。そして、平均曲率Ｈ及びガウス曲率Ｋが所定条件を満たす場合に、３次元点を鼻頂点の候補点として出力する。

次に、鼻頂点検出部２０２の動作を説明する。図７は、鼻頂点検出部２０２の処理を説明するフローチャートである。鼻頂点検出部２０２は、まず、鼻頂点候補検出部２０８で検出した候補点の座標を入力する（Ｓ１００）。

次に、鼻頂点検出部２０２は、入力した候補点に対する処理を全て終了したか判定する（Ｓ１０２）。候補点に対する処理を全て終了していない場合（Ｓ１０２：Ｎｏ）、第１抽出部２１４は、処理対象となる候補点の３次元座標を視差情報を用いて輝度画像上の２次元座標に変換する（Ｓ１０４）。すなわち、第１抽出部２１４は、鼻頂点の候補点(CX,CY,CZ)を画像平面上の座標へ変換する。この場合、候補点(CX,CY,CZ)の輝度画像上の２次元座標として鼻頂点の候補点(OX,OY)を、式（４）のＱ行列を用いて計算する。

次に、第１抽出部２１４は、鼻頂点候補点(OX,OY)を中心とし、式（５）を用いて輝度画像内の候補領域を抽出する（Ｓ１０６）。すなわち、候補領域の横と縦の長さは、 (OX,OY)座標における視差の値を式（５）のdepth_avgに代入することで計算される。

次に、第１抽出部２１４は、候補領域内の輝度画像を一定サイズへ正規化する（Ｓ１０８）。正規化は、例えばバイリニア補間を用いて処理可能である。ここで、正規化後の候補領域内における鼻の輝度画像のサイズは６０ｘ６０として処理を行う。

次に、第１取得部２１６は、正規化された候補領域内における鼻の輝度画像の輝度勾配ＨＯＧ（Histogram of gradient）特徴を計算する（Ｓ１１０）。ＨＯＧ特徴を計算する場合、例えば画像を６ｘ６のセルに分割して、一つのセルを３ｘ３のブロックに分割する。また、勾配の方向は０度から１８０度まで、２０度つづ計９方向の勾配のヒストグラムを統計処理する。このため、一つのブロックについて、３ｘ３ｘ９＝８１次元のベクトルを得る。これによって、候補領域内における１枚の鼻画像から６５６１次元のベクトルが特徴量として計算される。

次に、第１識別部２１８は、計算された特徴量と、予め勾配辞書２１０に登録された基準特徴量との類似性を示すスコアを計算する（Ｓ１１２）。すなわち、第１識別部２１８は、演算された特徴量と、基準特徴量の照合スコアを計算する。そして、Ｓ１０２の処理に戻り、全ての候補点に対する処理を終了した場合（Ｓ１０２：Ｙｅｓ）、照合スコアの一番高い候補領域に対応する候補点を鼻頂点として識別する（Ｓ１１４）。そして、この鼻頂点の座標を検出結果として出力し（Ｓ１１６）、全体処理を終了する。このように、視差情報を用いて大きさの定められた候補領域内の画像情報に基づき特徴量を計算し、基準特徴量との類似性から候補領域が鼻頂点に対応するか識別する。

ここでの特徴量の学習には、例えばサポートベクターマシン（ＳＶＭ：support vector machine）が用いられ、識別器が構成される（Ｓ１１８）。すなわち、識別結果の分かっている複数の候補点に対してＳ１０４〜Ｓ１１０の処理を行い、識別結果付きの輝度勾配ＨＯＧ特徴を特徴量として計算する。続いて、これらの特徴量に対してサポートベクターマシンを用いて識別器を構成する。これにより、未知のカテゴリの特徴量に対して識別スコアを付与することが可能である。つまり、この識別スコアは、鼻頂点を含む候補領域から得られた特徴量との類似性を示す。

例えば、この識別器は、鼻頂点を含む候補領域から得られた特徴量に対して１を、鼻頂点を含まない候補領域から得られた特徴量に対して−１を付与するように学習されている。この場合、未知の特徴量に対して１に近い値が付与される程、鼻頂点に対応する可能性が高くなる。一方、−１に近い値が付与される程、鼻頂点に対応する可能性が低くなる。すなわち、カテゴリーが未知の特徴量と、学習に用いた鼻頂点を含む候補領域から得られた特徴量との類似性が高いほど、未知の特徴量は１に近い値が付与される。

次に、第１鼻孔候補検出部２２６の動作を説明する。図８は、第１鼻孔候補検出部２２６の処理を説明するフローチャートである。視差画像が第１鼻孔候補検出部２２６に入力される（Ｓ１４０）。

次に、第１鼻孔候補検出部２２６は、鼻頂点(OX,OY)を中心とし、式（５）を用いて輝度画像内から候補領域を抽出し、候補領域を一定サイズへ正規化する（Ｓ１４２）。正規化は、例えばバイリニア補間を用いて処理可能である。ここでは、正規化後の候補領域のサイズは６０ｘ６０として処理を行う。すなわち、候補領域の横と縦の長さは、(OX,OY)座標における視差を式（５）のdepth_avgに代入することで計算される。正規化は鼻頂点位置の視差情報により実施するため、視差画像を固定サイズとして得ることが可能である。

ここで、円形分離度フィルについて説明する。図９は、円形分離度フィルタの一例を示す図である。円形分離度フィルタは２つの円領域を定めたフィルタである。すなわち、同じ中心位置を持ち、異なる半径ｒ１、ｒ２の円Region1、Region2から構成される。Region1とRegion2間の輝度値の分離度を計算する。分離度とは、ある集合を２つの領域に分割したときの、領域間の変動が全集合の変動に占める割合である。２つの領域が完全に分離されている場合には、最大値１．０をとり、分離できていない場合は、最小値０に近くなる。円形分離度フィルタは円形状の鼻孔付近で高い値を示し、照明変動やノイズの影響を受けにくい特性を有する。

第１鼻孔候補検出部２２６は、円形分離度フィルタを適用する探索領域を設定する（Ｓ１４４）。鼻孔は鼻頂点に対し、さまざまな位置に存在する可能性がある。このため、鼻頂点を中心とする輝度画像を全部探索してもよい。或いは、処理量を重視する場合、鼻頂点からの距離に依存して探索範囲を定めてもよい。すなわち、鼻頂点からの距離に基づき、鼻孔が存在する可能性が低い領域を探索領域から除いてもよい。

次に、第１鼻孔候補検出部２２６は、円形分離度フィルタの半径を設定する（Ｓ１４６）。フィルタの内外半径は、正規化された鼻画像のサイズによってそれぞれ設定することが可能である。

次に、第１鼻孔候補検出部２２６は、円形分離度フィルタ処理を正規化された鼻画像に対して行う（Ｓ１４８）。この処理により、円形分離度フィルタ処理を行った結果の値が正規化された鼻画像の各画素に対応して得られる。ここでは、円形分離度フィルタ処理の値を、正規化された鼻画像の各画素に割り振った画像を結果画像とする。

次に、第１鼻孔候補検出部２２６は、結果画像の中で所定値を超えている画素を鼻孔候補とする（Ｓ１５０）。この場合、所定値を超えている領域に対してラベリング処理などを行い、ラベルが付与された領域毎の代表点を鼻孔候補としてもよい。

次に、第２鼻孔候補検出部２２８の動作を説明する。図１０は、第２鼻孔候補検出部２２８の処理を説明するフローチャートである。ここでは、円形ではない鼻孔候補の抽出について説明する。顔が斜めに向いた場合に、円形と異なる形状の鼻孔候補の検出が必要になる。

視差画像が第２鼻孔候補検出部２２８に入力される（Ｓ１６０）。次に、第２鼻孔候補検出部２２８は、輝度画像における最小輝度値Ｋを計算し（Ｓ１６２）、続いて視差画像の平均視差を計算する（Ｓ１６４）。

次に、輝度画像内のピクセルを処理対象として読み込む（Ｓ１６６）。続いて、輝度画像内の全ピクセルに対し処理が終了したか判定する（Ｓ１６８）。輝度画像内の全ピクセルに対し処理が終了した場合（Ｓ１６６：Ｙｅｓ）、全体の処理を終了する。

一方、処理が全て終了していない場合（Ｓ１６８：Ｎｏ）、ピクセルの輝度値は最小輝度値Ｋのｒ倍未満であるか判定する（Ｓ１７０）。鼻孔の輝度値は鼻孔周りのピクセルより低い値を示すため、ｒは鼻孔の輝度値に対応するように設定可能である。ここでのｒは例えば１．０〜１．５間の値に設定する。

ピクセルの輝度値が輝度値Ｋ・ｒ未満でない場合（Ｓ１７０：Ｎｏ）、そのピクセルに対する処理を終了し、Ｓ１６６の処理に戻る。一方、ピクセルの輝度値が輝度値Ｋ・ｒ未満である場合（Ｓ１７０：Ｙｅｓ）、ピクセルの視差値は平均視差より高いか判定する（Ｓ１７２）。ピクセルの視差値が平均視差以下である場合（Ｓ１７２：Ｎｏ）、そのピクセルに対する処理を終了し、Ｓ１６６の処理に戻る。一方、ピクセルの視差値が平均視差より大きい場合（Ｓ１７２：Ｙｅｓ）、このピクセルと鼻頂点、すなわち画像中心との絶対距離（３次元空間上の距離）を式（１２）を用いて計算する（Ｓ１７４）。

式（１２）では、Ｌｅｎｇｈは鼻頂点とピクセル間の画像上の距離であり、ｄ１は鼻頂点の視差であり、ｄ２は処理対象とするピクセルの視差である。

次に、絶対距離Ｄが閾値Ｄ１より大きく、且つ閾値Ｄ２より小さいか判定する（Ｓ１７６）。ここでは、鼻頂点までの絶対距離で鼻孔候補の検出範囲を制限している。すなわち、Ｄ１及びＤ２の設定は、実際の人間の鼻孔と鼻頂点間の距離に基づき設定され、例えばＤ１＝０．６ｃｍ、Ｄ２＝２．０ｃｍの値を用いることが可能である。

絶対距離ＤがＤ１以下、或いはＤ２以上である場合（Ｓ１７６：Ｎｏ）、そのピクセルに対する処理を終了し、Ｓ１６６の処理に戻る。一方、絶対距離ＤがＤ１より大きく、且つＤ２より小さい場合（Ｓ１７６：Ｙｅｓ）、既に選択した候補数がＮを満たすか判定する（Ｓ１７８）。既に選択した候補数Ｎを満たさない場合（Ｓ１７８：Ｎｏ）、このピクセルを鼻候補に追加し（Ｓ１８０）、Ｓ１６６の処理に戻る。

一方、既に選択した候補数Ｎを満たす場合（Ｓ１７８：Ｙｅｓ）、鼻候補として追加せず、全体処理を終了する。処理量が重視する必要がない場合、候補数Ｎをピクセルの最大数に設定し、全てのピクセルを処理しても良い。

次に、鼻孔ペア検出部２０４の動作について説明する。図１１は、鼻孔ペア処理部２３０の処理を説明するフローチャートである。ここでは、２つの鼻孔の組み合わせが鼻孔ペア候補の条件を満たすか否かを判定する場合について説明する。鼻孔候補検出部２２０はＮ個の鼻孔候補を検出するため、鼻孔の組み合わせの数はＮｘ（Ｎ−１）／２である。すなわち、これら鼻孔の組み合わせが順に鼻孔ペア処理部２３０に入力され処理される場合について説明する。

鼻孔ペア処理部２３０は、鼻孔候補１と鼻孔候補２の組み合わせを入力する（Ｓ１９０）。続いて、鼻孔ペア処理部２３０は、鼻孔候補１と鼻頂点間の絶対距離を式（１２）を用いて計算する。同様に、鼻孔候補２と鼻頂点間の絶対距離を計算する（Ｓ１９２）。

次に、鼻孔候補１と鼻頂点間の距離、及び鼻孔候補２と鼻頂点間の距離のそれぞれがＤ１より大きく、且つＤ２未満であるか判定する（Ｓ１９４）。距離のそれぞれがＤ１以下、或いはＤ２以上である場合（Ｓ１９４：Ｎｏ）、この組み合わせの判定処理を終了する。一方、距離のそれぞれがＤ１以上であり、且つＤ２未満である場合（Ｓ１９４：Ｙｅｓ）、鼻孔候補１と鼻孔候補２間の絶対距離を式（１２）を用いて計算する（Ｓ１９６）。この場合、ｄ１を鼻孔候補１の視差とし、ｄ２を鼻孔候補２の視差とする。

次に、鼻孔候補１と鼻孔候補２間の距離が２＊Ｄ１より大きく，且つＤ２未満であるか判定する（Ｓ１９８）。鼻孔候補１と鼻孔候補２間の距離が２＊Ｄ１以下、或いは、Ｄ２以上である場合（Ｓ１９８：Ｎｏ）、この組み合わせの判定処理を終了する。一方、鼻孔候補１と鼻孔候補２間の距離が２＊Ｄ１より大きく，且つＤ２未満である場合（Ｓ１９８：Ｙｅｓ）、鼻孔候補１、鼻孔候補２及び鼻頂点で構成する三角形における余弦値を計算する（Ｓ２００）。

ここで、２つの鼻孔候補と鼻頂点から構成する三角形について説明する。図１２Ａは、正面顔における２つの鼻孔候補と鼻頂点から構成する三角形を示す図である。図１２Ｂは、斜め顔における２つの鼻孔候補と鼻頂点から構成する三角形を示す図である。人間の鼻頂点と左右鼻孔は、どうのような顔の向きであっても鼻孔候補に位置する角Ａ１とＡ２は０〜９０度である。

cos(A1)及びcos(A2)の値が０より大きいか判定する（Ｓ２０２）。ｃｏｓ（Ａ１）が０以下、或いはｃｏｓ（Ａ２）の値が０以下の場合（Ｓ２０２：Ｎｏ）、この組み合わせに対する処理を終了する。一方、cos(A1)及びcos(A2)の値が０より大きい場合（Ｓ２０２：Ｙｅｓ）、鼻孔候補１と鼻孔候補２とは鼻孔ペア候補とされ（Ｓ２０４）、この組み合わせに対する処理を終了する。このようにして、Ｎｘ（Ｎ−１）／２個の鼻孔の組み合わせの中から鼻孔ペア候補を選択する。

次に鼻孔ペア検出部２０４の動作を説明する。図１３は、鼻孔ペア検出部２０４の識別処理を説明するフローチャートである。ここでは、鼻孔ペア処理部２３０が選択した鼻孔ペア候補が鼻孔ペアであるか識別する処理について説明する。

鼻孔ペア検出部２０４は、鼻孔ペア候補を入力する（Ｓ２１０）。次に、第２抽出部２３２は、鼻孔ペア候補を囲む矩形領域を候補領域として抽出し、候補領域内の画像を正規化する（Ｓ２１２）。

ここでこの正規化について説明する。図１４は、候補領域の正規化について説明する図である。まず、鼻画像を回転して、鼻頂点と鼻孔ペア候補の中心点を結ぶ直線を垂直にする。この場合、鼻頂点を上に、鼻孔ペア候補を鼻頂点の下に位置するように回転する。次に、画像を再度回転して、鼻孔ペア候補を水平にする。そして、水平に配置される鼻孔ペア候補の中点を中心として、鼻孔ペア候補を囲む矩形領域を候補領域とする。続いて、第２取得部２３４は、候補領域内の画像を、固定サイズへリサイズし、正規化画像をテンプレートとして計算する。

第２識別部２３６は、テンプレートと、パターン辞書２２２に登録される基準画像との類似性を示す照合スコアを計算する（Ｓ２１４）。ここでは、例えばテンプレートと基準画像との正規化相関値を照合スコアとして計算する。

次に、鼻孔ペア検出部２０４は、全ての鼻孔ペア候補に対する処理を終了したか判定する（Ｓ２１６）。全ての鼻孔ペア候補に対する処理を終了していない場合（Ｓ２１６：Ｎｏ）、鼻孔ペア検出部２０４は、Ｓ２１０に戻る。

一方、全ての鼻孔ペア候補に対する処理を終了した場合（Ｓ２１６：Ｙｅｓ）、第２識別部２３６は、鼻孔ペアのＸ，Ｙ座標に基づいて、ＸとＹ座標が隣接する鼻孔ペア候補を一つにマージする（Ｓ２１８）。これにより、鼻孔ペア候補の数を減らすことが可能である。

次に、第２識別部２３６は、鼻孔ペア候補の照合スコアが一番高い鼻孔ペア候補を鼻孔ペアとして検出し（Ｓ２２２）、処理を終了する。パターン辞書２２２は、複数の学習用正規化画像を加算平均した画像を基準画像として登録している。すなわち、大きさを正規化した複数の鼻孔ペア画像の平均値を基準画像として登録している。

次に、認証装置１００の動作を説明する。顔認証部１０６は、識別装置２００で得られた鼻頂点及び鼻孔情報に基づいて顔領域を抽出する。この場合、鼻頂点と鼻孔の情報を用いて顔の傾き及び向きを類推できるので、顔領域をより精度よく抽出可能である。

続いて、顔認証部１０６は、顔領域から認証に用いる特徴量を計算し、辞書に登録されている特徴量と照合する。照合スコアが所定値を超えている場合に、認証対象の顔が予め登録された人物の顔であると判断する。一方で、照合スコアが所定値未満である場合に、認証対象の顔は、登録されていないと判断する。

このように、一実施形態によれば、候補領域の大きさを視差情報を用いて定めることで、物体の位置変動の影響を低減してより高精度に候補領域を識別することができる。また、３次元座標に基づき生成した３次元曲面の曲率の値に応じて鼻頂点の候補点を検出し、候補点に応じて候補領域を抽出するので、より安定して候補領域を抽出でき、鼻頂点の検出精度をより上げることができる。

さらにまた、鼻孔候補を形状情報に基づき検出し、更に、輝度情報及び視差情報に基づき鼻孔候補を検出するので、斜めの顔からも鼻孔候補を検出することができる。このため、より安定して鼻孔ペアを含む候補領域を抽出でき、鼻孔ペアの検出精度をより上げることができる。一実施形態によれば、物体の例として顔を用いて説明したが、例としてのみ提示したものであり、物体を顔に限定することを意図したものではない。

以上のように、一実施形態に係る識別装置２００によれば、第１抽出部２１４が顔領域における視差情報を用いて、鼻頂点の候補点に対応する候補領域の大きさを定めることとした。このため、顔領域の位置変動の影響を低減した状態で第１取得部２１６が特徴量を候補領域から取得でき、第１識別部２１８は、顔の位置変動による候補領域の識別精度の低下を抑制できる。

また、第２抽出部２３２が顔領域における視差情報を用いて、鼻孔ペア候補に対応する候補領域の大きさを定めることとした。このため、顔領域の位置変動の影響を低減した状態で第２取得部２３４がテンプレートを候補領域から取得でき、第２識別部２３６は、顔の位置変動による候補領域の識別精度の低下を抑制できる。

上述した実施形態で説明した識別装置および認証システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、識別装置および認証システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、識別装置および認証システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

以上、一実施形態を説明したが、一実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置及びシステムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置及びシステムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。

１：認証システム、１００：認証装置、１０２：カメラ、１０６：顔認証部、２００：識別装置、２０２：鼻頂点検出部、２０４：鼻孔ペア検出部、２０６：顔領域推定部、２０８：鼻頂点候補検出部、２１０：勾配辞書、２１２：鼻頂点識別部、２１４：第１抽出部、２１６：第１取得部、２１８：第１識別部、２２０：鼻孔候補検出部、２２２：パターン辞書、２２４：鼻孔ペア識別部、２２６：第１鼻孔候補検出部、２２８：第２鼻孔候補検出部、２３０：鼻孔ペア処理部、２３２：第２抽出部、２３４：第２取得部、２３６：第２識別部

Claims (5)

1. 所定の視差を有する２枚の輝度画像上における物体領域内の２次元座標を、視差情報に基づき変換した３次元座標を用いて所定物の候補点を取得し、当該候補点に基づく候補領域を抽出する抽出部と、
   前記２枚の輝度画像のうちの少なくとも一つの輝度画像における前記候補領域内の画像情報に基づく特性値を取得する取得部と、
   前記特性値と、基準特性値との類似性に基づき、前記候補領域を識別する識別部と、
   を備えることを特徴とする識別装置。
2. 前記候補点は鼻頂点であり、
   前記候補領域内から鼻孔候補を検出する鼻孔候補検出部と、
   前記鼻孔候補間の距離、及び前記鼻頂点と前記鼻孔候補との距離が、所定の距離範囲内にある２つの鼻孔を、鼻孔ペア候補とする鼻孔ペア処理部であって、前記距離範囲を対応する視差情報が大きくなるにしたがい大きくする鼻孔ペア処理部と、
   を更にそなえる請求項１に記載の識別装置。
3. 前記鼻孔候補検出部は、
   前記候補領域内から、円形状の前記鼻孔候補を検出する第１鼻孔候補検出部と、
   前記前記候補領域内の輝度値が所定値以下であり視差が所定値以上の領域を鼻孔候補として検出する第２鼻孔候補検出部と、
   を有する請求項２に記載の識別装置。
4. 前記視差情報を用いて前記２枚の輝度画像に基づき、閾値より大きな視差の値を示す領域を前記物体領域として推定する推定部を、
   更にそなえる請求項１乃至３のいずれか一項に記載の識別装置。
5. ２枚の輝度画像上における物体領域内の２次元座標を、視差情報に基づき変換した３次元座標を用いて所定物の候補点を取得し、当該候補点に基づく候補領域を抽出する抽出部と、
   前記２枚の輝度画像のうちの少なくとも一つの輝度画像における前記候補領域内の画像情報に基づく特性値を取得する取得部と、
   前記特性値と、基準特性値との類似性に基づき、前記候補領域を識別する識別部と、
   前記所定物を含む候補領域内の前記所定物の位置情報に基づき、認証に用いる情報を前記少なくとも一つの輝度画像から取得し、前記物体が予め登録されている物体であるか否かを認証する認証部と、
   を備える認証システム。