JP5554984B2 - パターン認識方法およびパターン認識装置 - Google Patents

Description

本発明は、顔や人物といった特定パターンを認識するためのパターン認識方法およびパターン認識装置に関するものである。

入力パターンから所定のパターンを検出、識別するパターン認識の技術がある。計算機の性能の向上とともにパターン認識技術も進展し、最近では、画像中の顔をリアルタイムで検出するシステムが出始めている。また画像中の顔領域を検出し、その顔領域の人物が誰であるのかを照合する顔認識技術が知られている。顔認識技術の精度は、斜光といった照明条件や、顔向き変動、表情の変動およびオクルージョンの影響により大きく左右される。更に、それぞれの変動は、おのおの独立して生じるわけではないため、これら変動に対するロバストな顔認識アルゴリズムの実現を困難なものとしている。

そこで、上記変動に対応する技術が提案されている。特許文献１は、入力画像に存在する変動要因を取り除く複数の逆変換器を構成に含めることで、変動ロバストな顔認識を行っている。この逆変換器は、顔向き、傾きおよび顔の位置ずれを除去する処理（変形の逆変換）を行っている。各逆変換器の後段には、各々識別器が存在し、各識別器は、逆変換器の出力と辞書データのマッチング処理を行って、識別結果を出力する。最終的に、複数ある識別結果のうち、出力最大な結果を抽出して、最終的な識別結果としている。また、変動を除去する処理の一例として、摂動法を挙げている。

また特許文献２は、入力画像と登録画像の画像１枚同士の対応する複数の局所領域間の類似度を求めて、これら類似度の上位数個から求められる統合類似度により認識する方法を提案している。上位類似度は、他の複数の類似度から動的に定められる閾値の閾値処理により求められる。よってこの閾値処理により、変動要因により不明瞭な領域間の類似度が取り除かれることになる。最終的に、この統合類似度を用いた識別結果を出力することで、変動に強い認識を達成している。

特開２０００−９０１９１号公報 特許第４１６１６５９号公報

しかしながら、特許文献１の逆変換処理は、個人差を示す特徴量を消してしまう恐れがあり、認識精度に影響を与える可能性がある。また、入力画像に対して、想定されるすべての変動要因を除去する逆変換処理を行うことは、処理コストが増加する。また、特許文献２にある局所領域の類似度は、入力画像と辞書画像が異なる人物であったとしても、表情や照明変動等の変動が似ている場合に局所領域単位の類似度が高くなる傾向がある。したがって、統合類似度が、変動が似ている局所領域の結果を統合することになり、認識精度の低下を招く可能性がある。

本発明は、上記の課題に鑑みてなされたものであり、照明や顔向きおよび表情等の変動の影響により生じる認識精度の低下を防止し、かつ処理コストの増加を抑えることを目的としている。

上記の目的を達成するための本発明の一態様によるパターン認識装置は以下の構成を備える。すなわち、
入力データのデータ属性を認識するパターン認識装置であって、
データ属性ごとに用意された複数の辞書データの各々について、前記入力データと辞書データとの間で対応する局所パターンの特徴量の相関値を算出して辞書データごとの相関値の集合を取得し、辞書データごとの相関値の集合をデータ属性ごとにまとめることによりデータ属性ごとの相関値の集合を取得する相関値算出手段と、
前記データ属性ごとの相関値の集合の各々において、対応する局所パターンの相関値ごとに統合して結合相関値の集合を取得し、取得された結合相関値を統合することにより、各データ属性に対する前記入力データの類似度を算出する類似度算出手段と、
前記類似度算出手段で算出された類似度に基づいて前記入力データの対応するデータ属性を識別する識別手段とを備える。

本発明によれば、照明や顔向きおよび表情等の変動の影響により生じる認識精度の低下を防止し、かつ処理コストの増加を抑えることができる。

パターン認識装置を示す図。 第１実施形態の基本処理フローチャート。 第１実施形態における顔検出枠を示す図。 第１実施形態における局所領域の設定方法を示す図。 第１実施形態における相関値算出方法を示すフロー図。 第１実施形態における辞書画像を示す図。 第１実施形態における統合方法を示すフロー図。 第１実施形態における統合方法の概要を示す図。 第１実施形態における相関値テーブルを示す図。 第２実施形態における統合方法を示す図。 第２実施形態における統合方法を示すフロー図。 第３実施形態における統合方法を示す図。 第３実施形態における統合方法を示すフロー図。 第３実施形態における変動パターンの例を示す図。

以下、添付の図面を参照して本発明の実施形態を説明する。なお、以下では画像情報ベースの個人認識を具体的な実施形態として説明する。すなわち、入力データとして画像データを扱い、データ属性として画像データ中の人物を表す固体識別情報が付加された辞書データを用いて、入力データ中の人物を識別する画像処理装置を説明する。但し、本発明は、入力データとして画像情報に限定されるものではなく、例えば、時系列の信号情報または周波数情報に対しても本発明を適用できることは当業者には明らかである。

（第１実施形態）
「パターン認識装置」
図１は、パターン認識装置の機能ブロック図である。以下、各ブロックの詳細について説明する。制御バス１０１は、各機能ブロックの入力または出力の制御を行う。領域設定部１０２は、外部から入力される入力画像を取得し、取得した入力画像に対して特徴量を抽出する局所領域を設定する。なお、局所領域の設定の仕方等の詳細は、後述する。また、画像を取得する方法としては、一般的な方法を用いることができる。たとえば、ＣＣＤのような撮像素子をパターン認識装置に組み込み、その撮像素子を介して画像を取得するといったものでよい。次に、相関値算出部１０３は、領域設定部１０２で設定された局所領域単位で、入力画像と予め取得されている辞書画像との間の相関値を算出する。相関値算出部１０３における相関値算出方法の詳細については、後述する。辞書画像記憶部１０４は、ＨＤＤ等の外部ストレージで構成され、辞書データとして上述の辞書画像に属性データを付加して記憶する。統合類似度算出部１０５は、相関値算出部１０３で求めた局所領域単位の複数の相関値を統合して、統合類似度を算出する。統合類似度算出部１０５による統合類似度の算出方法については、後述する。オブジェクト属性識別部１０６は、統合類似度算出部１０５で求めた統合類似度を基に、領域設定部１０２に入力された画像に含まれている物体のオブジェクト属性を識別する。オブジェクト属性識別部１０６の具体的な識別方法については、後述する。なお、領域設定部１０２、相関値算出部１０３、統合類似度算出部１０５、オブジェクト属性識別部１０６は、例えば、専用の演算回路またはファームウエアで構成されるものとする。

「パターン認識方法」
図２のフローチャートを参照して、第１実施形態によるパターン認識方法を詳細に説明する。まず、領域設定部１０２は、相関値を算出する局所領域の位置を入力画像に対して決定する局所領域設定処理を行う（Ｓ２０１）。局所領域の位置の決定には、一般的な方法を用いることができる。例えば、本実施形態では、一般的な検出方法、具体的には顔検出方法を用いて入力画像から顔を検出し、その検出結果に基づいた切り出し正規化画像に対して、局所領域を設定する。すなわち、切り出し正規化画像の原点座標を基準点として、局所領域の設定を行う。

ここで、切り出し正規化画像の作成は、一般的な方法を用いることができる。例えば、本実施形態では、図３で示すように、顔検出で出力される顔検出位置３０２に基づいた切り出しと、顔検出枠３０３の縦幅および横幅を基にその横幅が任意の値になるような、画像の拡大または縮小を行う。なお、顔検出の公知例としては、M. Matsugu, K. Mori, et.al, “Convolutional Spiking Neural Network Modelfor Robust Face Detection”,2002,Internatinal Conference On Neural Information Processing(ICONIP02)を参考とされたい。また、顔検出枠３０３の縦幅および横幅の決定は、目特徴点の位置検出結果を利用して行えばよい。具体的には、顔検出枠３０３の横幅および縦幅を両目間距離の２倍というように決定することが挙げられる。なお、目特徴点等の器官位置検出の公知例としては、金田、森、御手洗、真継「顔検出ConvolutionalNeural Network を用いた自動表情認識システム」第2回情報科学技術フォーラム、119−121（2003）を参考とされたい。

図４は、切り出し正規化画像４０１に局所領域を設定する様子を示している。切り出し正規化画像４０１の顔領域は、顔検出で出力される顔サイズが正確であるなら、どの顔画像に対しても、概ね同じような位置に存在する。局所領域は、前述の切り出し正規化画像の画像原点４０２を基準として定められる。すなわち、第ｉ局所領域４０３の位置は、画像原点４０２から、切り出し正規化画像４０１の水平方向と垂直方向の原点からの距離となる。以上が、図２の局所領域設定処理（Ｓ２０１）での処理内容である。

図２の説明に戻る。次に、相関値算出部１０３は、局所領域単位相関値算出処理（Ｓ２０２）において、Ｓ２０１で設定した第ｉ局所領域と、辞書画像データベース２００に記録されている辞書画像一枚の対応する第ｉ局所領域との間の相関値を算出する。辞書画像データベース２００は、辞書画像記憶部１０４に記憶されている辞書画像のデータベースである。ここで、相関値算出処理は、次式となる。

ここで、（数１）式においてＳ_ki ^pは、登録者ｐのｋ枚目の辞書画像における第ｉ局所領域と、入力画像の第ｉ局所領域との局所パターンの相関値である。また、Ｉ_iは、入力画像の第ｉ局所領域の画素の輝度値を並べたベクトルであり、Ｉ_ki ^pは、登録者ｐのｋ枚目の辞書画像における第ｉ局所領域の画素の輝度値を並べたベクトルである。ちなみに、（数１）式の相関値は、輝度値ベースで算出されるが、輝度値に限定されるものでない。つまり、所定フィルタ演算の出力結果に基づいて相関値を算出してかまわない。また、相関値は類似度を示すものであり、（数１）式以外の手法で求めてもよい。例えば、Ｉ_iとＩ_ki ^pのユークリッド距離を用いることができる。局所領域単位相関値算出処理（Ｓ２０２）では、（数１）式で表される相関値算出が全登録画像に対して実行される。その処理の詳細を図５の処理フローチャートを用いて説明する。

相関値算出部１０３は、まず、辞書画像データベース２００から登録者ｐに関するｋ枚目の辞書画像を選択する（Ｓ５０１）。ここで、辞書画像データベース２００の詳細について説明する。辞書画像データベース２００は、図６に示すように、別のタイミングで取得され、辞書画像記憶部１０４に記憶された複数の登録者の複数の画像を管理する。例えば、登録者ｐに関して、第k_p辞書正規化画像６０１および第k_p+1辞書正規化画像６０３が記録されている。もちろん、登録者ｐに関する辞書画像は、図６に示した２枚に限定されず、何枚でも構わない。なお、辞書正規化画像とは、図４の切り出し正規化画像のように、所定サイズに規格化されており、ある登録者の画像であることを指す。また、辞書正規化画像６０１と辞書正規化画像６０３は、まったく同じ画像ではなく、辞書正規化画像６０３には図に示してあるように陰影部がある等の差異が存在する。同じく、登録者p+1に関する第k_p+1辞書正規化画像６０５が辞書画像データベースに記録されている。登録者p+1に関しても、辞書正規化画像が１枚に限定されるものでなく、複数枚存在しても構わない。ちなみに、辞書画像データベースは、画像を記憶するのでなく、辞書正規化画像単位である各局所領域の特徴量を記録しておくものでも構わない。その際、データベースは、登録者ｐの第k_p辞書正規化画像の第i局所領域と、その輝度値に代表される特徴量との対応付けが必須である。辞書画像選択処理（Ｓ５０１）では、図６のような辞書画像データベース２００から、対象となる辞書正規化画像を選択する処理を行う。

次に、候補局所領域選択処理（Ｓ５０２）において、相関値算出部１０３は、Ｓ５０１で選択した正規化辞書画像の第ｉ局所領域を参照する処理を行う。局所領域の参照方法は、前述の局所領域設定処理（Ｓ２０１）の領域設定方法と同様であるので割愛する。次に、相関値算出処理（Ｓ５０３）において、相関値算出部１０３は、Ｓ５０２で参照した辞書画像の第ｉ局所領域内の輝度値と、入力画像の対応する第ｉ局所領域内の輝度値との相関値を算出する。相関値算出方法は、（数１）式を使って行う。算出した相関値は、相関値データベース５００に順次記録される。

次に、Ｓ５０４において、相関値算出部１０３は、Ｓ５０１で選択された辞書画像に設定されている局所領域がすべて参照されたかどうかのチェックを行う。局所領域がすべて参照されていない場合は、再度Ｓ５０２に移行し、局所領域がすべて参照された場合はＳ５０５に移行する。Ｓ５０５において、相関値算出部１０３は、辞書画像データベース２００に記録されている全画像に対して処理を完了したかの判断を行う。全画像の処理が完了した場合、図５に示す処理フローチャートの処理が終了する。終了していなければ処理はＳ５０１に戻り、次の辞書画像を選択して上述した処理を繰り返す。

図２の説明に戻る。統合類似度算出処理（Ｓ２０３）において、統合類似度算出部１０５は、統合類似度の算出処理を行う。統合類似度は、各登録者の複数ある局所領域単位の相関値をひとつに結合した値（統合相関値）である。統合類似度の算出方法を図７の概念図と図８の処理フローチャートを用いて説明する。

図７は、本実施形態による統合類似度算出処理の概念図である。データ属性が登録者Aである辞書画像７０１は、登録者Aに関する辞書画像で、図７では、２枚の辞書画像が存在すると仮定している。なお、図７は、登録者１名であるが、登録者A以外の人物がいても構わない。その場合、登録者A以外の登録画像に対しても図７に示したことと同様のことを行う。また、一人の登録者に３枚以上の辞書画像が登録されていてもよく、一人の登録者に多種多様な変動を有する複数の辞書画像を登録しておくことで、より識別精度を向上することができる。図５の処理（局所領域単位相関値算出処理）で説明したとおり、入力画像７０２と第１辞書画像７０３とにおいて、対応する局所領域の特徴量の相関値が算出される。より具体的には、相関値算出部１０３が、第１局所領域７０５の輝度値の相関値Ｓ₁₁ ^Aを、（数１）式により算出する。同様にして、第１辞書画像７０３および陰影を有する第２辞書画像から各対応する局所領域で相関値が算出され、データ属性（登録者）ごとの相関値の集合である相関値ベクトル７０６が求められる。そして、相関値ベクトル７０６から、統合類似度７０７が求められる。以下、統合類似度の算出方法について、図８の処理フローチャートを用いて説明する。

図８は、統合類似度算出方法の処理フローチャートを示している。まず、図８の登録者別相関値抽出処理（Ｓ８０１）において、統合類似度算出部１０５は、前述した図５の相関値データベース５００より、登録者ｐに関する相関値を全て抽出する。ちなみに、相関値データベース５００は、図９に示すように、登録者ｐに関する各辞書画像から求められた相関値Ｓ_kpi ^pを保持しているテーブル９０１である。すなわち、登録者別相関値抽出処理（Ｓ８０１）は、相関値テーブル９０１より、登録者ｐに関する相関値Ｓ_kpi ^pをｋ_p×ｉ個（「登録画像枚数」×「１枚あたりの局所領域数」）抽出することになる。

次に、統合処理（Ｓ８０３）において、統合類似度算出部１０５は、Ｓ８０１で取り出した相関値のソーティング結果に対して閾値処理を行う。そして、閾値以上の相関値の平均値を算出して、その平均値を登録者ｐに関する統合類似度とする。統合類似度は、次式となる。

ここで、（数２）式中のＩＳ^pは、登録者ｐに関する統合類似度を表している。また、Thは閾値であり、（数２）式は、Tｈより大きい相関値に対して平均値を求めるという意味である。なお、統合類似度の求め方は、本実施形態のものに限定されるものでなく、全相関値の平均値或いは加重平均値、または最大値を統合類似度として構わない。また、前述の閾値Thの算出方法は、一般的な方法でよく、例えば、開発者が任意に定めた固定値、または登録者単位の全相関値の平均値に所定バイアスを加えて、動的に求める値でもよい。

図８の説明に戻る。Ｓ８０３において、統合類似度算出部１０５は、上述のＳ８０１とＳ８０２によって算出される統合類似度をすべての登録者に対して算出したかどうかを判定する。全登録者の統合類似度算出処理が終了した場合、図８の処理フローチャートは終了する。以上が、統合類似度算出方法の概要である。

図２の説明に戻る。ＩＤ判定処理（Ｓ２０４）において、オブジェクト属性識別部１０６は、前述の統合類似度に基づいて入力画像がどの登録者であるのかを判定する。判定方法は、次式となる。

ここで、式（数３）のＩＳ^pは、登録者ｐに関する統合類似度である。本ステップの判定処理は、統合類似度ＩＳ^pの最大値探索を実施する。

以上のように、第１実施形態では、特定登録者の統合類似度を求める際に、入力画像と辞書画像の対応する各局所領域の相関値を多種多様な変動を有する複数の辞書画像から求める。その結果、入力画像の照明変動といった変動に影響されにくい個人認識が可能となるという効果がある。

（第２実施形態）
第２実施形態について説明する。第２実施形態の基本的な流れは、第１実施形態とほぼ同様であり、統合類似度算出処理（Ｓ２０３）における算出方法が異なる。以下、第２実施形態の統合類似度の算出方法について、図１０に示す概念図と、図１１に示す処理フローチャートを用いて説明する。

図１０の登録者Aの辞書画像１００１は、登録者Aに関する辞書画像で、図１０では、２枚辞書画像が存在すると仮定している。なお、図１０は、登録者が１名であるが、登録者A以外の人物がいても構わない。その場合、登録者A以外の登録画像に対しても、図１０に示したことと同様のことを行う。また、一人の登録者に対して３枚以上の辞書画像を登録してもよいことは上述したとおりである。本実施形態では、登録者Aの辞書画像１００１は、第１辞書画像１００３と陰影を有する第２辞書画像１００４から成る。第１辞書画像１００３は、顔向きや陰影といった変動がない画像である。一方、陰影有第２辞書画像１００４は、斜線で示される陰影成分が存在する画像である。また、入力画像１００２は、第１辞書画像と同じく、顔向きや陰影といった変動がない画像である。

第１実施形態（図７）で説明したように、相関値算出部１０３は、入力画像１００２と第１辞書画像１００３の対応する局所領域の特徴量の相関値と、入力画像１００２と第２辞書画像１００４の対応する局所領域の特徴量の相関値とを算出する。算出された相関値は、ベクトル表記された相関値ベクトル１００６のようになる。統合類似度算出部１０５（Ｓ２０３）は、この相関値ベクトル１００６より、局所領域別の結合相関値ベクトル１００７を求める。局所領域別の結合相関値ベクトル１００７は、例えば、第１辞書画像１００３及び第２辞書画像１００４と、入力画像１００２との間の第ｎ番目の局所領域の相関値Ｓ_1n ^AとＳ_2n ^Aの平均値から構成される。そして、この結合相関値ベクトル１００７より、統合類似度１００８を求め、この統合類似度に基づいて個人を識別する。以上が、統合類似度の算出方法の概要である。次に、第２実施形態による統合類似度の算出方法の詳細を図１１の処理フローチャートを用いて説明する。

まず、登録者別相関値抽出処理（Ｓ１１０１）において、統合類似度算出部１０５は、相関値データベース５００より、注目する登録者から算出した相関値を取得する。次に、局所領域選択処理（Ｓ１１０２）において、統合類似度算出部１０５は、ｉ個存在する局所領域から、注目する局所領域を１つ選択する。ここで、選択した局所領域は、第ｎ番目の局所領域であるとする。そして、局所領域別結合相関値算出処理（Ｓ１１０３）は、Ｓ１１０２で選択した注目局所領域の各辞書画像の相関値を基に、注目局所領域単位の結合相関値を算出する。局所領域単位の結合相関値は、次式となる。

ここで、ＣＳ_n ^pは、登録者ｐに関するＳ１１０２で選択された第ｎ局所領域の結合相関値である。この結合相関値は、登録者ｐに関する全辞書画像の中で第ｎ局所領域の相関値Ｓ_kpn ^pが所定閾値Tｈ以上であるものの平均値である。なお、Thを超えるものが存在しない場合、結合相関値は０となる。また、結合相関値の算出方法は上述した方法に限られず、第ｎ局所領域の全ての相関値の平均或いは加重平均、または最大値を用いてもよい。なお、k_pは登録者ｐの辞書画像枚数を表している。求めた局所領域単位の結合相関値は、図示しないデータベースにプールされる。

次に、Ｓ１１０４において、統合類似度算出部１０５は、候補となる局所領域すべてを選択したかどうかを判定する。すべての局所領域を網羅的に選択した場合は、Ｓ１１０５に進む。未選択の局所領域があれば、処理はＳ１１０２に戻り、未選択の局所領域の一つを選択してＳ１１０３の局所領域別結合相関値算出処理を行う。

次に、統合類似度算出処理（Ｓ１１０６）において、統合類似度算出部１０５は、Ｓ１１０３で算出した局所領域別の結合相関値、具体的には（数４）式のＣＳ_n ^pを登録者ｐについてまとめる処理を行う。具体的には、次式で示される。

ここで、(ＩＳ^p)'は局所領域別の結合相関値を登録者pについて統合した、統合類似度である。（数５）より、統合類似度(ＩＳ^p)'は、ある閾値Th以上の局所領域別の結合相関値の平均値となる。なお、統合類似度の求め方は（数５）式に限定されるものでなく、全ての結合相関値の平均値または最大値を統合類似度としても構わない。また、前述の閾値Thの算出方法は、一般的な方法でよく、例えば、開発者が任意に定めた固定値、または登録者単位の全相関値の平均値に所定バイアスを加えて動的に求める値でもよい。また、（数４）と（数５）におけるThは同じ値であっても異なる値であってもよい。

図１１の説明に戻る。Ｓ１１０６において、統合類似度算出部１０５は、Ｓ１１０５で説明した統合類似度算出処理をすべての登録者に対して算出したかどうかを判定する。全登録者について統合類似度算出処理が終了した場合、図１１のフローチャートで示される統合類似度算出処理は終了する。以上が、第２実施形態による統合類似度算出方法の概要である。

次に、図１１の処理フローチャートで算出した統合類似度を基に、登録者を判定する処理について説明する。処理の流れは、第１実施形態のＩＤ判定処理（Ｓ２０４）と同様であり、次式で示される。

ここで、（数６）式の(ＩＳ^p)'は、図１１に示した統合類似度算出処理により算出された登録者ｐに関する統合類似度である。（数６）より、判定処理は、統合類似度(ＩＳ^p)'の最大値探索で実行される。

以上のように、第２実施形態によれば、局所領域単位の類似度の結合処理を導入することで、例えば左目周辺にある、同じ位置情報を有する局所領域の相関値から統合類似度を算出することを防止するという効果がある。したがって、より顔全体一様に分布する局所領域の相関値から統合類似度を算出することが可能となり、相関値が大きいローカルな局所領域のみを用いた個人判定による、認識精度の不安定性をなくすことが出来る。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態の基本的な流れは、第１実施形態とほぼ同様である。異なる点は、入力画像と各登録画像の見え方の相違に基づいて、統合類似度を算出するのに用いる局所領域を動的に変更することである。以下、第３実施形態の詳細を図１２、図１３、図１４を用いて説明する。

図１２は、第３実施形態の概要を示す概念図であり、図１３は処理の詳細を示す処理フローチャートである。まず、図１２を用いて、本実施形態の概要について説明する。図１２の登録者Aの辞書画像１２０１は、登録者Aに関する辞書画像で、図１２では、２枚辞書画像が存在すると仮定している。なお、図１２は、登録者１名であるが、登録者A以外の人物がいても構わない。その場合、登録者A以外の登録画像に対しても図１２に示したことと同様のことを行う。また、一人の登録者に関する辞書画像の枚数も、２枚に限られるものではなく、３枚以上であってもよい。登録者Aの辞書画像１２０１は、第１辞書画像１２０３と、陰影の有る第２辞書画像１２０４から成る。第１辞書画像１２０３は、顔向きや陰影といった変動がない画像である。一方、第２辞書画像１２０４は、斜線で示される陰影成分が存在する画像である。第２辞書画像１２０４にある第１局所領域１２０６、第４局所領域１２０７および第７局所領域１２０８は、前述の陰影部分に設定される局所領域である。

また、入力画像１２０２は、第１辞書画像１２０３と同じく、顔向きや陰影といった変動がない画像であるとする。このとき、前述の図７で説明したように、相関値算出部１０３は、入力画像１２０２と第１辞書画像１２０３の対応する局所領域の特徴量の相関値と、入力画像１２０２と第２辞書画像１２０４の対応する局所領域の特徴量の相関値とを算出する。相関値ベクトル１２０９は、算出された相関値をベクトル表記したものである。この相関値ベクトル１２０９より、候補相関値ベクトル１２１０を求める。候補相関値ベクトル１２１０は、相関値ベクトル１２０９から、
・第２辞書画像１２０４の陰影部分に設定される第１局所領域１２０６、第４局所領域１２０７および第７局所領域１２０８から求められる相関値、Ｓ₂₁ ^A、Ｓ₂₄ ^AおよびＳ₂₇ ^Aと、
・第１辞書画像１２０３の第１局所領域、第４局所領域および第７局所領域から求められる相関値、Ｓ₁₁ ^A、Ｓ₁₄ ^AおよびＳ₁₇ ^Aとを省略することで求められる。

相関値ベクトル１２０９から省く相関値を選別する基準は、入力画像１２０２と第１辞書画像１２０３または第２辞書画像１２０４の見え方の相違である。第２辞書画像１２０４は、入力画像１２０２と比較して、陰影成分があるため見え方が異なる。したがって、陰影部分に設定される第１局所領域１２０６、第４局所領域１２０７および第７局所領域１２０８から求められる相関値は、陰影すなわち照明変動の影響を受け、信頼性の低い値となっている。よって相関値、Ｓ₂₁ ^A、Ｓ₂₄ ^AおよびＳ₂₇ ^Aは、相関値ベクトル１２０９から省かれる。また、相関値、Ｓ₁₁ ^A、Ｓ₁₄ ^AおよびＳ₁₇ ^Aを省くのは、特に理由がないが、便宜上そのようにしておく。もちろん、相関値、Ｓ₁₁ ^A、Ｓ₁₄ ^AおよびＳ₁₇ ^Aを残しておいても構わない。その場合、辞書画像間で対応する局所領域の最大値をとって結合相関値ベクトル１２１１を求める構成の場合、第１局所領域１２０６、第４局所領域１２０７および第７局所領域１２０８の結合相関値は、最大値を求める必要がない。そのため、それらの結合相関値は相関値Ｓ₁₁ ^A、Ｓ₁₄ ^AおよびＳ₁₇ ^Aになる。最終的に、統合類似度１２１２は、結合相関値ベクトル１２１１より求める。そして、オブジェクト属性識別部１０６は、その統合類似度に基づいて、入力画像が誰であるのか判定する。以上が、本実施形態の概要である。次に、第３実施形態による統合類似度算出処理（Ｓ２０３）の詳細を図１３の処理フローチャートを用いて説明する。

まず、登録者別相関値ベクトル抽出処理（Ｓ１３０１）において、統合類似度算出部１０５は、相関値データベース５００より、登録者ｐに対応する相関値ベクトル１２０９を抽出する（但し、相関値ベクトル１２０９において、Ａをｐとする）。次に、変動パターン推定処理（Ｓ１３０２）において、統合類似度算出部１０５は、入力画像と登録者ｐの各辞書画像の変動パターンを推定する。ここで、変動パターン（変動種別）とは、図１４に示すようなものである。

図１４は、画像中の被写体の変動の種別を示している。本実施形態では、変動種別として４種類、すなわち、（ａ）の照明変動、（ｂ）の顔向き変動、（ｃ）の表情変動および（ｄ）のオクルージョン１４０４、を用意する。照明変動は、顔の左半分または右半分が陰影部である照明パターン１および照明パターン４と、顔の左または右の４分の１が陰影部である照明パターン２および照明パターン３で構成される。また、向き変動は、左または右方向の横顔である向きパターン１および向きパターン４と、正面顔を０°とした場合において左または右方向に対して±４５°方向の向きパターン２および向きパターン３で構成される。また、表情変動は、笑顔、怒り顔および哀しみ顔で構成される。オクルージョンは、サングラス、眼鏡、マスクおよび帽子がある顔で構成される。変動パターン推定処理（Ｓ１３０２）は、入力画像と辞書画像を図１４で示した変動パターンにそれぞれ当てはめ、入力画像と辞書画像との間の変動の相違を判定する。なお、オクルージョンのサングラスと眼鏡のパターンは、眼鏡のレンズの濃さが異なる程度なので、同一の変動として扱ってもよい。ちなみに、変動パターンは、図１４に挙げたものに限定されない。以上が、変動パターンの種別の詳細である。

図１３の説明に戻る。上述のように、変動パターン推定処理（Ｓ１３０２）では、入力画像の変動と登録者ｐの各辞書画像の変動パターンを推定し、推定した変動パターンからその相違を判定する。変動パターン推定方法は、公知の技術を以って行う。具体的には、次の通りである。まず、向きパターンは、公知例として木下等「３Dモデル高速フィッティングによる顔特徴点検出・頭部姿勢推定」、pp.1324-pp.1329、MIRU（2008）にあるように、３Ｄモデルフィッティングの結果を用いて推定される。３Ｄモデルは、目頭といった器官等の複数器官位置の３次元座標ベクトルをＰＣＡ等の低次元化により求められる。そして、顔向きは、この３Ｄモデルと入力画像をマッチングし、マッチングにより入力画像の複数器官位置の３次元座標から推定される。また、照明変動パターンの推定は、例えば次のように行うことができる。すなわち、画像を低解像化して、鼻と口を結ぶ直線を分割線として、分割線の左顔領域および右顔領域のヒストグラムを作成し、入力画像のそれらヒストグラムと、予め取得されている様々な照明パターンのそれらヒストグラムとのマッチングにより行う。また、表情変動は、目または口といった特徴部位の形状を抽出し、その形状より表情を推定するといったものでよい。最後に、オクルージョンの推定は、メガネまたは帽子のモデルを統計学習から求め、求めたモデルに対する類似度を基に推定するといったものでよい。なお、変動パターン推定方法は、前述したものに限定されるものでなく、他の公知技術を用いてもよい。図１３の変動パターン推定処理（Ｓ１３０２）では、前述した変動パターン推定方法を用いて、入力画像と登録者ｐに関する各辞書画像の変動パターンを推定する。

次に、局所領域選抜処理（Ｓ１３０３）において、統合類似度算出部１０５は、Ｓ１３０２で推定された入力画像と辞書画像の変動パターンの組み合わせに応じて、Ｓ１３０１で抽出した相関値ベクトルから外す相関値を選択する処理を行う。つまり局所領域選抜処理は、図１２で説明した、候補相関値ベクトル１２１０を求める処理である。変動パターン推定処理（Ｓ１３０２）で、第２辞書画像１３０４には、陰影成分があると判定される。一方、入力画像には陰影がないため、陰影がある位置に設定される局所領域から求められる信頼性の低い相関値を省略する。

次に、局所領域選択処理（Ｓ１３０４）において、統合類似度算出部１０５は、最大ｉ個存在する局所領域から、注目する局所領域を１つ選択する。ここで、選択した局所領域は、第ｎ番目の局所領域であるとする。ただし、Ｓ１３０４で選抜された中から、注目する局所領域が選択される。従って、図１２で示した第１局所領域１２０６、第４局所領域１２０７および第７局所領域１２０８は、局所領域選択処理（Ｓ１３０４）において選択候補にならない。

次に、局所領域別結合相関値算出処理（Ｓ１３０５）において、統合類似度算出部１０５は、Ｓ１３０４で選択した注目局所領域の相関値（図１２の候補相関値ベクトル１２１０の各要素）を基に、注目局所領域単位の結合相関値を算出する。局所領域単位の結合相関値は、前述の（数４）式で表される。求めた局所領域単位の結合相関値は、図示しないデータベースにプールされる。なお、局所領域単位の結合相関値は、本ステップでは、前述の（数４）式で示される方法で算出するとしたが、加重平均値や最大値を用いても構わない。

次に、Ｓ１３０６において、統合類似度算出部１０５は、候補となる局所領域すべてを選択したかどうかを判定する。すべての局所領域を網羅的に選択した場合はＳ１３０７に進む。統合類似度算出処理（Ｓ１３０７）において、統合類似度算出部１０５は、Ｓ１３０５で算出した局所領域別の結合相関値、具体的には前述の（数４）式のＣＳ_n ^pを登録者ｐについてまとめる処理を行う。具体的には、次式で示される。

ここで、(ＩＳ^p)ⁿは局所領域別の結合相関値を登録者pについて統合した、統合類似度である。前述の（数５）式より、統合類似度(ＩＳ^p)ⁿは、ある閾値Th以上の局所領域別の結合相関値の平均値となる。なお、第３実施形態の統合類似度の求め方は、（数７）式に限定されるものでなく、全局所領域別の結合相関値の平均値または最大値を統合類似度として構わない。また、前述の閾値Thの算出方法は、一般的な方法でよく、例えば、開発者が任意に定めた固定値、または登録者単位の全相関値の平均値に所定バイアスを加えて動的に求める値でもよい。また、上記の処理では、全ての局所領域について相関値を算出し、推定された変動パターンに応じて結合相関値の算出に使用する相関値を選択したが、相関値を算出する局所領域を推定された変動パターンに応じて選択してもよい。この場合、例えば図１２において、相関値ベクトル１２０９における相関値Ｓ₂₁ ^A、Ｓ₂₄ ^A、Ｓ₂₇ ^Aは算出されないことになる。

図１３の説明に戻る。Ｓ１３０８において、統合類似度算出部１０５は、上述した統合類似度をすべての登録者に対して算出したかどうかの判定を行う。全登録者の統合類似度算出処理が終了していた場合、図１３のフローチャートに示される統合類似度算出処理は終了する。以上が、統合類似度算出方法の概要である。

次に、図１３の処理フローチャートで算出した統合類似度を基に、登録者を判定する処理について説明する。処理の流れは、第１実施形態のＩＤ判定処理（Ｓ２０４）と同様であり、次式で示される。

ここで、（数８）式の(ＩＳ^p)ⁿは、図１３の処理フローチャートで算出した登録者ｐに関する統合類似度である。（数８）式より、判定処理は、統合類似度(ＩＳ^p)ⁿの最大値探索で実行される。

以上が、第３実施形態の概要である。第３実施形態によれば、変動パターン推定を導入することで、その変動による相関値のばらつきを抑えることができ、変動に対して頑健な個人認識が可能となるという効果が得られる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 入力データのデータ属性を認識するパターン認識装置であって、
   データ属性ごとに用意された複数の辞書データの各々について、前記入力データと辞書データとの間で対応する局所パターンの特徴量の相関値を算出して辞書データごとの相関値の集合を取得し、辞書データごとの相関値の集合をデータ属性ごとにまとめることによりデータ属性ごとの相関値の集合を取得する相関値算出手段と、
   前記データ属性ごとの相関値の集合の各々において、対応する局所パターンの相関値ごとに統合して結合相関値の集合を取得し、取得された結合相関値を統合することにより、各データ属性に対する前記入力データの類似度を算出する類似度算出手段と、
   前記類似度算出手段で算出された類似度に基づいて前記入力データの対応するデータ属性を識別する識別手段とを備えることを特徴とするパターン認識装置。
2. 前記類似度算出手段では、前記データ属性ごとの相関値の集合の各々について、閾値を超える相関値のみによる平均値、相関値の加重平均値または最大値を算出して当該データ属性の類似度とすることを特徴とする請求項１に記載のパターン認識装置。
3. 前記入力データにおける変動パターンを推定する推定手段と、
   前記入力データの変動パターンと各辞書データの変動パターンとに基づいて、辞書データごとに用いる局所パターンを決定する決定手段とを更に有し、
   前記類似度算出手段では、前記データ属性ごとの相関値の集合の各々に含まれている、辞書データごとの前記決定手段で決定された用いるべき局所パターンに対応する相関値の集合を統合することにより、各データ属性に対する前記入力データの類似度を算出することを特徴とする請求項１に記載のパターン認識装置。
4. 前記類似度算出手段では、前記データ属性ごとの相関値の集合の各々において、用いるべき局所パターンごとに相関値を統合して結合相関値の集合を取得し、取得された結合相関値を統合することにより各データ属性に対する前記入力データの類似度を算出することを特徴とする請求項３に記載のパターン認識装置。
5. 前記結合相関値は、対応する局所パターンの相関値ごとの、閾値を超える相関値のみによる平均値、相関値の加重平均値または最大値であることを特徴とする請求項１に記載のパターン認識装置。
6. 前記類似度算出手段では、前記データ属性ごとの結合相関値の集合の各々について、閾値を超える結合相関値のみによる平均値、加重平均値または最大値を算出して当該データ属性の類似度とすることを特徴とする請求項１に記載のパターン認識装置。
7. 前記入力データは画像データであり、
   前記変動パターンは、画像に含まれている被写体の顔の向きの変動、照明の変動、表情の変動、及び顔に対するオクルージョンの少なくともいずれかであることを特徴とする請求項３に記載のパターン認識装置。
8. 前記データ属性は固体識別情報であることを特徴とする請求項１乃至７のいずれか１項に記載のパターン認識装置。
9. 入力データのデータ属性を認識するパターン認識装置によるパターン認識方法であって、
   相関値算出手段が、データ属性ごとに用意された複数の辞書データの各々について、前記入力データと辞書データとの間で対応する局所パターンの特徴量の相関値を算出して辞書データごとの相関値の集合を取得し、辞書データごとの相関値の集合をデータ属性ごとにまとめることによりデータ属性ごとの相関値の集合を取得する相関値算出工程と、
   類似度算出手段が、前記データ属性ごとの相関値の集合の各々において、対応する局所パターンの相関値ごとに統合して結合相関値の集合を取得し、取得された結合相関値を統合することにより、各データ属性に対する前記入力データの類似度を算出する類似度算出工程と、
   識別手段が、前記類似度算出手段で算出された類似度に基づいて前記入力データの対応するデータ属性を識別する識別工程とを有することを特徴とするパターン認識方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載されたパターン認識装置の各手段として機能させるためのコンピュータプログラム。

Images