JP4780198B2 - 認証システム及び認証方法 - Google Patents

Description

本発明は、顔の認証を行う認証システム及び認証方法に関するものである。

近年、情報機器のネットワーク化が進み、電子化された様々なサービスが普及してきた。これに伴い、人に頼らない非対面での個人認証（本人認証）を行う技術のニーズが高まりつつある。これに関し、人物の生体的特徴により自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つとして、顔による認証を行う顔認証技術が知られている。この顔認証技術は、非接触型の認証方法であり、オフィス等においてはその利便性からニーズが高いものとなっている。

ところで、上記顔認証において、撮影条件の変化がその認証性能に大きな影響を及ぼす。これは、撮影条件の変化がしばしば、顔画像に被撮影者の識別情報を上回るほどの画像変動をもたらすことによる。認証性能に大きく影響を及ぼす主な原因は、「姿勢変動」、「光源変動」及び「表情変化」である。顔は、３次元形状を有している（凹凸や奥行きがある）ため、顔の姿勢や顔に対する光源光の照射角度が変動することにより、或いは顔の表情が変化して顔の形状が変化することにより、例えば頬や鼻の急峻な傾斜部分など顔に部分的な隠れ（影の部分、暗部）が生じてしまう（これをオクリュージョンという）。顔認証の方法としては、３次元形状情報（３次元情報）を用いた認証（３次元顔認証）が挙げられる。一般的に、この３次元顔認証では顔全体を使用するため、当該部分的な隠れの問題が生じる。すなわち、認証処理においてこの隠れが生じた箇所のデータが欠落してしまい、認証精度が低下するという問題は、解決されない。また、密な３次元情報を用いた場合には、認証処理に時間がかかるという問題もある。

これに関し、例えば、特許文献１には、次のような技術が開示されている。まず、顔表面の曲率の変化を調べることによって顔の基準点が抽出される。顔の基準点は、曲率の絶対値が最大となる点（例えば鼻頂点）や、顔の側面の中央付近で曲率の絶対値が最大となる点（例えば耳穴点）等である。次に、これら顔の基準点に基づいて基準姿勢を算出することによって顔の向き（傾き）、つまり顔の姿勢の補正が行われる。次に、当該補正された顔の３次元形状データを任意の大きさで曲面が平面に近似され、この平面の単位法線ベクトルと面積とが求められる。次に、単位法線ベクトルの大きさをこの面積で表した法線分布が特徴量とされ、認証が行われる。

しかしながら、この特許文献１に開示の技術では、３次元形状全体、所謂大局的パッチ情報を用いることが前提とされている。このため、顔の基準方向の決定が必要とされることから、上記姿勢変動等によって顔に部分的な隠れが生じた場合（オクリュージョン）に、この基準方向を決定することができず、認証処理が実行できなくなってしまう。

また、例えば、特許文献２には、次のような技術が開示されている。まず、カラー情報を用いて人物の顔部分のみの３次元形状情報とカラー情報とが抽出され、当該３次元形状情報とカラー情報とをセットにした顔データが求められる。次に、この顔データ（照合顔データ）と、予め用意しておいた辞書顔データとの３次元形状全体の重心が求められ、これら重心の位置が一致するように平行移動されるとともに、この一致させた重心回りに微小回転させて回転顔データが求められる。そして、この回転顔データと辞書顔データとの間における誤差を計算することによって最小誤差が求められ、この最小誤差に基づいて判定（認証）が行われる。

しかしながら、この特許文献２に開示の技術では、３次元形状全体の重心を求め、平行移動及び重心回りに微小回転させて最小誤差を求める処理に時間がかかってしまう。ましてや密な３次元形状データを用いる場合は、処理時間が大幅にかかり、さらに認証速度が遅くなってしまう。また、上記顔に部分的な隠れが生じた場合（オクリュージョン）には、認証精度が低下してしまう。また、計測された３次元形状そのものを保持しなければならないため、データベースの記憶容量が膨大になってしまう。
特開平５−２１５５３１号公報 特開平９−２５９２７１号公報

本発明は、上記事情に鑑みてなされたもので、認証精度の低下を軽減することができ、また、認証速度を向上させることができる認証システム及び認証方法を提供することを目的とする。

本発明にかかる認証システムおよび認証方法では、認証対象者における複数の局所的な３次元局所領域が決定され、これら各３次元局所領域における顔の３次元的な特徴量が３次元顔特徴量として算出され、そして、この３次元顔特徴量と予め用意された比較用の顔特徴量とを比較するによって、認証対象者に対する認証動作が行われる。

このような認証システムおよび認証方法では、顔全体の情報をそのまま用いるのではなく、顔の局所的な複数の領域が抽出され、これら抽出した局所的な複数の領域に基づいて認証が行われる。したがって、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いることなく、この部分を除く局所領域の情報を用いて認証を行うことが可能となる。このため、認証精度の低下が軽減され、また認証速度を向上させることができる。

本発明の実施形態に係る認証システムの一例を示す概略構成図である。 上記認証システムにおけるコントローラの全体的な構成の一例を示す模式図である。 上記コントローラが備える顔認証の機能を説明するための機能ブロック図である。 顔の各特徴部位における特徴点の座標の一例を示す模式図である。 各特徴部位の３次元座標の算出について説明するための模式図である。 標準モデルの一例を示す模式図である。 Ｇａｂｏｒフィルタについて概念的に説明するための立体グラフ図である。 ３Ｄ顔部位形状データの各特徴点から矩形領域を設定する方法について説明するための模式図である。 図８において設定した矩形領域の情報を用いて、３Ｄ顔部位形状データから局所パッチ領域を抽出（決定）する方法について説明するための模式図である。 ３Ｄ顔部位形状データの各特徴点から矩形領域を設定する方法について説明するための模式図である。 ３Ｄ顔部位形状データにおける各３次元点及び各局所パッチ領域の一例を示す模式図である。 （Ａ）（Ｂ）及び（Ｃ）は交差判定を説明するための図である。 ３次元顔特徴量の抽出におけるベジェ曲面の一例を示す模式図である。 本実施形態に係る顔認証の動作の一例を示すフローチャートである。 図１４のステップＳ９における動作の一例を示すフローチャートである。 他のコントローラが備える顔認証の機能を説明するための機能ブロック図である。 図１６に示す認証システムの動作の一例を示すフローチャートである。

以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

図１は、本発明の実施形態に係る認証システム１の一例を示す概略構成図である。図２は、コントローラ１０の全体的な構成の一例を示す模式図である。図３は、コントローラ１０が備える顔認証の機能を説明するための機能ブロック図である。図４は、顔の各特徴部位における特徴点の座標の一例を示す模式図である。

図１に示すように認証システム１は、顔による個人認証（以下、顔認証という）を行うものであり、コントローラ１０と２台の撮影カメラ（２次元カメラ；２Ｄカメラ）（以下、単に「カメラ」ともいう）ＣＡ１及びＣＡ２とを備えている。

カメラＣＡ１及びＣＡ２は、認証対象者ＨＭの顔位置に対してそれぞれ異なる位置（角度）から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１及びＣＡ２によって認証対象者ＨＭの顔画像が撮影されると、この撮影により得られる認証対象者ＨＭの外観情報、すなわち２種類の顔画像が通信線を介してコントローラ１０に送信される。なお、各カメラＣＡ１、ＣＡ２とコントローラ１０との間における画像データの通信方式は、有線方式に限定されず、無線方式であってもよい。また、上記顔画像は、顔部分の画像だけでなく背景画像をも含む画像であってもよい。

コントローラ１０は、図２に示すように、例えばパーソナルコンピュータ（ＰＣ）等の情報処理装置によって具現化されており、ＣＰＵ２と、記憶部３と、メディアドライブ４と、例えば液晶ディスプレイ等の表示部５と、キーボード６ａおよび例えばポインティングデバイスであるマウス６ｂ等の入力部６と、例えばネットワークカードなどの通信部７とを備えている。記憶部３は、例えばハードディスクドライブ（ＨＤＤ）３ａ及びＲＡＭ（半導体メモリ）３ｂなどの複数の記憶媒体を備えている。また、メディアドライブ４は、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク及びメモリカードなどの可搬性の記憶媒体８からその中に記録されている情報を読み出すことができる例えばＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置、フレキシブルディスクドライブ装置及びメモリカードドライブ装置等のドライブ装置を備えている。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ（Local Area Network）やインターネットなどのネットワークを介して供給されてもよい。なお、コントローラ１０は、このシステム用に製作された専用のコントローラ（本体制御装置）であってもよく、以下に説明する機能を備えているものであればよい。

また、コントローラ１０は、図３に示すように、画像入力部１１と、顔領域検出部１２と、顔部位検出部１３と、顔部位３Ｄ計算部１４と、姿勢・光源補正部１５と、標準モデル記憶部１６と、２次元認証部１７と、顔領域３Ｄ計算部１８と、３次元認証部１９と、類似度計算部２０と、登録データ記憶部２１と、判定部２２とを備えている。

画像入力部１１は、カメラＣＡ１及びＣＡ２による撮影によって得られた認証対象者ＨＭの顔画像をカメラＣＡ１及びＣＡ２から本コントローラ１０に入力するものである。画像入力部１１は、カメラＣＡ１及びＣＡ２に対応して、第１画像入力部１１ａ及び第２画像入力部１１ｂを備えており、それぞれに対してカメラＣＡ１及びＣＡ２から送信されてきた顔画像が入力される。したがって、カメラＣＡ１及びＣＡ２から合計２枚の顔画像が入力される。ここで、本実施形態の認証システム１は、入力された顔画像を用いて２次元認証（２Ｄ認証）と３次元認証（３Ｄ認証）とを行い（このことを多重認証するという）、これらの結果に基づいて判定を行う構成である。このため、本実施形態の認証システム１では、２次元画像（２Ｄ画像）と３次元形状データ（３Ｄ形状データ）とが必要となる。当該２Ｄ画像及び３Ｄ形状データを取得するための入力装置（２Ｄ画像・３次元（３Ｄ）計測の入力装置）は、一般的な２Ｄカメラ（ステレオカメラ）を複数台（２〜Ｎ台）用いる方法がある。この場合、２枚以上の２Ｄ画像から顔の３次元形状（３Ｄ形状）が算出される。

ただし、これに限らず、他の３Ｄ形状データ取得方法が採用可能である。例えば、３Ｄ形状データを取得する方法は、光切断方式による非接触３次元デジタイザのような３次元計測装置（３Ｄ計測装置；３Ｄカメラ）が用いられてもよい。本実施形態では２台のカメラＣＡ１及びＣＡ２を用いる構成であるため、２枚の２Ｄ画像（顔画像）から顔の３Ｄ形状を算出する必要があるが、上記非接触３次元デジタイザなどの３Ｄ計測装置を用いる（１台のカメラと１台の３Ｄ計測装置を用いる）場合は、３Ｄ計測装置により３Ｄ形状データが直接取得可能であり、２Ｄ画像から算出する必要はない。さらに、３Ｄ形状データ取得用のカメラと２Ｄ画像取得用のカメラとを兼用しているタイプの３Ｄ計測装置では、上述のように２Ｄ画像取得のためのカメラを別途用意する必要もなくなる。

顔領域検出部１２は、画像入力部１１に入力された顔画像から顔領域を検出（特定、抽出）するものである。顔領域検出部１２は、画像入力部１１の第１画像入力部１１ａおよび第２画像入力部１１ｂに対応して、第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂを備えており、それぞれ第１画像入力部１１ａ及び第２画像入力部１１ｂから送信されてきた顔画像から顔領域（顔領域画像）を検出する。より具体的には、顔領域検出部１２は、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングを行うことによって、顔画像から顔の存在している領域を抽出する（切り出す）処理を行う。

なお、顔領域の検出手法は、以下１．〜３．に示す方法が採用可能であり、また、その他の手法が用いられてもよい。

１．顔画像に対して、所定サイズのウィンドウ領域（矩形領域）を走査しつつ、このウィンドウ領域内に人の顔を表した領域が含まれるか否かの判定を該ウィンドウ領域内の画素値と所定のしきい値とを比較することで行う方法（例えば、特開２００３−２２４４１号公報、特開平８−３３９４４５号公報）。なお、この方法によれば、動き情報や色情報を必要としない顔発見アルゴリズムによって、複雑背景の中から高速且つ高い認証率で顔領域を検出することができる。

２．複数人の顔部位の画像をトレーニングさせてその結果を学習辞書として記憶しておき、新たに入力された顔画像と比較することによって顔領域検出の判定を行う所謂ニューラルネットを用いた方法（例えば、H.Rowley,S.Baluja, and T.Kanade.“Newral Network-Based Face Detection” In IEEE Patt.Anal.Mach.Intell,.volume
20,pages 22-38,1998.）。

３．Ｖｉｏｌａらの提案した検出器（Ｖｉｏｌａ−Ｊｏｎｅｓ検出器）を用いた方法であって、様々な顔領域検出用の識別子を記憶しておき、これを段階的に用いてすなわち比較が進むにつれて使用する識別子の数を減少させていきながら顔領域検出の判定を行う方法（例えば、P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. Of IEEE conference on Computer Vision and Pattern Recognition, Kauai, HI, December 2001.）。なお、この方法によれば、顔と非顔との入り組んだ空間の識別関数を、簡単な画像特徴量を用いた単純な判別関数を複数組み合わせて構成することができる。

なお、顔領域検出部１２は、第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂが個別に顔領域をそれぞれ検出してもよいが、何れか一方のみが検出を行ってもよい。あるいは、顔領域検出部１２は、第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂが個別に顔領域をそれぞれ検出し、精度のよい検出結果を採用してもよい。顔領域の対応点探索処理によって精度のよい顔領域の検出が可能となる。顔部位検出部１３も同様である。

顔部位検出部１３は、顔領域検出部１２によって検出した顔領域の画像から顔の特徴的な部位（特徴部位という）を検出（抽出、算出）するものである。顔の特徴的な部位を検出することを「顔部位検出」という。顔部位検出部１３は、顔領域検出部１２の第１顔領域検出部１２ａおよび第２顔領域検出部１２ｂに対応して、第１顔部位検出部１３ａ及び第２顔部位検出部１３ｂを備えており、それぞれ第１顔領域検出部１２ａ及び第２顔領域検出部１２ｂから送信されてきた顔領域画像から上記特徴部位の位置（画像上の座標）を検出する。顔の特徴部位は、目（例えば瞳中心、目尻、目頭、瞳の上下部）、眉（例えば眉の両端部や中央部）、鼻（例えば小鼻の端、中央下部、或いは鼻孔）、口（例えば左右の口の端、唇中央部の上下部）又は下顎尖端部等の部位が挙げられる。本実施形態では、例えば、顔部位検出部１３によって、図４に示されるような各特徴部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴点Ｑ１、Ｑ３；Ｑ２、Ｑ４は、左右の目の両端部であり、特徴点Ｑ７、Ｑ５；Ｑ８，Ｑ６は、左右の瞳の上下部であり、特徴点Ｑ９、Ｑ１３；Ｑ１０，Ｑ１４は、左右の眉の両端部であり、特徴点Ｑ１１、Ｑ１２は、左右の眉の略中央部であり、特徴点Ｑ１５、Ｑ１６；Ｑ１７、Ｑ１８は、小鼻の端部であり、特徴点Ｑ１９は、鼻の中央下部であり、特徴点Ｑ２０、Ｑ２１は、口の両端部であり、そして、特徴点Ｑ２２、Ｑ２３は、唇中央の上下部である。なお、抽出する特徴点の部位は、適宜に設定すればよく、必要に応じて増減可能である。また、この特徴部位の検出は、特徴部位の標準的なテンプレートを用いたテンプレートマッチング等、種々の方法で行うことが可能である。

上記算出される特徴点Ｑ１〜Ｑ２３の座標は、上記カメラＣＡ１及びＣＡ２より入力された各画像上の２次元座標として表される。例えば、認証対象者ＨＭから見て口の右端に相当する特徴点Ｑ２０について言えば、２枚の画像Ｇ１、Ｇ２（後述の図５参照）それぞれにおいて当該特徴点Ｑ２０の座標値が求められる。より具体的には、画像Ｇ１及びＧ２の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１、ｙ１）が算出され、また、特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２、ｙ２）が算出される。

また、顔部位検出部１３は、上記顔領域の画像から、各特徴点の座標を算出するとともに、各特徴点を頂点とする領域（特徴領域という）内の各画素の輝度値を、この領域が有する情報（テクスチャ情報という）として取得する。例えば、本実施形態の場合、入力される画像は、２枚であるので、顔部位検出部１３は、これら各画像（画像Ｇ１、Ｇ２）における互いに対応する特徴領域内の対応する画素における例えば平均の輝度値を算出し、この各画素の平均輝度値を当該特徴領域におけるテクスチャ情報として用いる。

なお、上記顔部位検出の手法は、これに限定されるものではない。例えば、顔部位検出手法として、特開平９−１０２０４３号公報「画像内の要素の位置検出」に提案されているような方法が採用されてもよい。また例えば、顔部位検出手法として、補助光を使用することで顔部位の形状から検出するような方法や、上述と同様のニューラルネットによる学習を用いた方法、或いはＧａｂｏｒ（ガボール）ウェーブレット変換やＧａｂｏｒではない通常のウェーブレット変換による周波数解析を用いた方法が採用されてもよい。

顔部位３Ｄ計算部１４は、顔部位検出部１３において検出された顔の特徴部位の２次元座標から該各特徴部位の３次元における座標を算出するものである。より具体的には、顔部位３Ｄ計算部１４は、顔部位検出部１３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，・・・，Ｎ）における２次元座標（２Ｄ座標）Ｕｉ^（ｊ）と、各画像Ｇｉを撮影したカメラのカメラパラメータＰｉ（ｉ＝１，・・・，Ｎ）とに基づいて、三角測量の原理によって各特徴部位、すなわち各特徴点Ｑｊの３次元座標（３Ｄ座標）Ｍ^（ｊ）（ｊ＝１，・・・，Ｍ_ｆ）を算出する（所謂「３次元再構成」する）。ただし、記号「Ｎ」は、カメラの台数（ここではＮ＝２）を示し、また、記号「Ｍ_ｆ」は、計測点或いは特徴点の数（Ｍ_ｆ個）を示す。なお、各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ）を纏めてなる３次元的な顔のデータのことを「３Ｄ顔部位形状データ」という。

以下に、この３Ｄ座標Ｍ^（ｊ）を算出する方法の具体的な一例を説明する。空間のワールド座標（Ｘ，Ｙ，Ｚ）^Ｔと、画像上の座標（ｘ，ｙ）とは、以下の（１・１）式に示す関係が成り立っている。

但し、（１・１）式中の記号「ｗ」は、０（ゼロ）でない定数（ｗ≠０）であり、記号「Ｐ」は、透視投影行列（カメラパラメータＰｉ）を表す。

上記座標の表記には、以下の（１・２）式に示すように１次元多いベクトルが用いられている。この表記は、斉次座標と呼ばれる。斉次座標では、座標を表すベクトルの０（ゼロ）でない定数倍、つまり上記における（ｗｘ，ｗｙ，ｗ）^Ｔと（ｘ，ｙ，１）^Ｔと等が同じ点を表すものとする。空間の点の斉次座標をＭ＝（Ｘ，Ｙ，Ｚ，１）^Ｔとし、その空間点の画像における斉次座標をｕ＝（ｘ，ｙ，１）^Ｔとし、「＝」と「〜」とを組み合わせてなる記号を、定数倍であることを許せば等しいので左辺が右辺の０でない定数倍に等しい、ということを表す記号であるとすると、上記（１・１）式は、以下の（１・３）式で表される。

ここで、透視投影行列Ｐは、３×４の行列式であり、その各成分を以下の（１・４）式に示すものとすると、上記（１・１）式における「ｗ」を消去することによって、空間と画像との座標の関係は、以下の（１・５）及び（１・６）式に示すようになる。

ここで、注意点としては、（１・３）式によって定数倍の自由度を許していることから、Ｐの各成分は、各パラメータを用いて組み合わされたものであって独立ではない。

図５は、各特徴部位の３次元座標の算出について説明するための模式図である。例えば、図５に示すように、互いに異なる、自由な位置に配置された、カメラパラメータの異なる一般的な２台のカメラ（これらを第１カメラ、第２カメラという）を用いて構成されたシステムでは、ワールド座標（Ｘ，Ｙ，Ｚ）^Ｔと、その点（ワールド座標点）に対応する第１及び第２カメラそれぞれの画像Ｇ１、Ｇ２上の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）とは、それぞれのカメラパラメータＰ_１、Ｐ_２を用いて以下の（１・７）式で表される。

ただし、（１・７）式中の記号「ｕ_ｉ」及び記号「Ｍ」は、それぞれ以下の（１・８）式に示すものを表している。

したがって、透視投影行列Ｐ_１、Ｐ_２が分かっている場合では、その画像上での特徴点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）の組から上記（１・７）式及び（１・８）式をｗ_１、ｗ_２、Ｘ、Ｙ、Ｚの方程式と見なして解くことによって、当該特徴点の空間における座標を求め、これによって３次元再構成を行うことができる。すなわち、ｗ_１、ｗ_２、を消去することによって（１・５）式及び（１・６）式が得られるので、記号「Ｐ¹ _ｉｊ」は、Ｐ_１の（ｉ，ｊ）成分を表し、記号「Ｐ^２ _ｉｊ」は、Ｐ_２の（ｉ，ｊ）成分を表すものであるとすると、当該関係式を整理することによって以下の（１・９）式となる。この（１・９）式は、Ｘ、Ｙ、Ｚの連立一次方程式となるので、これら方程式を解くことって当該特徴点の３次元空間上の座標（Ｘ，Ｙ，Ｚ）を求めることができる。なお、（１・９）式では、３つの未知数Ｘ、Ｙ、Ｚに対して４つの方程式が与えられている。これは、（ｘ１，ｙ１）、（ｘ２，ｙ２）の４つの成分は、独立でないことを意味している。その他の特徴点も同様に空間上の座標が算出される。

図３に戻って、姿勢・光源補正部１５は、顔部位検出部１３によって算出されたテクスチャ情報に対する姿勢変動補正及び光源変動補正を行うものである。姿勢変動補正は、顔の姿勢つまり向き（傾き）の違いによるテクスチャへの影響を補正するものである。光源変動補正は、顔に対する光源の向き（傾き）の違いによるテクスチャへの影響を補正するものである。姿勢・光源補正部１５は、このテクスチャ情報に対する姿勢変動補正及び光源変動補正に際して、予め準備された一般的（標準的）な顔のモデルである標準モデル（標準立体モデル；後述の図７参照）を用いる。

＜姿勢変動補正＞
（形状情報補正）
テクスチャ情報に対する姿勢変動を補正する際に、先ず、上記３Ｄ顔部位形状データ（各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ））の形状が補正される。姿勢・光源補正部１５は、３Ｄ顔部位形状データすなわち３Ｄ形状が、上記標準モデルの３Ｄ形状に最も合致するように３次元的な位置の補正を行う（３Ｄ顔部位形状データの形状自体は変化しない）。要するに、姿勢・光源補正部１５は、３Ｄ顔部位形状データによる顔が横を向いていた場合、標準モデルを基準として所謂モデルフィッティングを行い、その横を向いた顔が標準モデルの顔の向き（基準方向）、例えば正面方向を向くように位置補正する。この位置の補正は、以下の（２）式に示す姿勢パラメータｔ（ポーズパラメータ）に基づいて行われる。

ｔ＝（ｓ，φ，θ，ψ，ｔｘ，ｔｙ，ｔｚ）^Ｔｔ ・・・（２）
ただし、記号「ｓ」は、スケール変換指数を表し、記号「φ，θ，ψ」は、回転変位（傾き）を示す変換パラメータを表し、そして、記号「ｔｘ，ｔｙ，ｔｚ」は、直交３軸方向における並進変位を示す変換パラメータを表す。また、右肩の記号「Ｔｔ」は、“転置”を表す。

（テクスチャ情報補正）
次に、上述において３Ｄ顔部位形状データの顔の向きを正面方向に補正することによって得られた位置補正情報に基づいて、顔部位検出部１３によって取得された各特徴領域の２次元テクスチャ（２Ｄテクスチャ）が正面方向（基準方向）を向いた状態となるようにテクスチャ情報が補正される。これによって顔が正面から撮影された場合に相当するテクスチャ情報（正面テクスチャ顔画像という）が再構成される。すなわち、正規化された適正なテクスチャ画像が作成される。このように再構成された正面テクスチャ顔画像を用いることによって、姿勢変動すなわち形状の違いに影響されない（依存しない）テクスチャ情報が扱えるようになる。

テクスチャ情報補正は、上記方法に限るものではない。例えば、テクスチャ情報補正は、顔部位検出部１３によって取得された各特徴領域のテクスチャ（テクスチャ画像）を、上記標準モデルの対応する領域（後述のポリゴン）に貼り付ける（マッピングする）ことによって、上記と同様、正面テクスチャ顔画像が得られるように補正する方法が採用されてもよい。これによって姿勢の違いに影響されないテクスチャ情報が扱えるようになる。当該補正によって得られた正面テクスチャ顔画像は、相互比較しやすいように、更に、標準モデル周囲に配置した円筒座標（円筒面）に投影するようにされてもよい。この投影により得られた投影画像のテクスチャ情報は、姿勢変動に影響されないばかりか、表情変化等による顔の形状変化にも影響されない純粋な顔のテクスチャ情報となるため、個人認証に用いる情報として非常に有用である。

＜光源変動補正＞
（テクスチャ情報補正）
テクスチャ情報に対する光源変動補正では、例えば、テクスチャの輝度情報が補正される。この場合、カメラによって撮影される画像には、一般的に光源の向きによるシェーディングの影響が含まれるため、入力された画像における各特徴領域のテクスチャにもその影響が残っている。このため、各特徴領域単位で輝度が補正される。より具体的には、例えば、顔部位検出部１３によって取得された各特徴領域における各画素（ノード）の輝度が、標準モデルに対応する画素の輝度に等しくなるように特徴領域内部で傾斜をかけることによって、すなわち傾斜角度（向き）のパラメータで輝度値を制御することによって輝度が補正される。

標準モデル記憶部１６は、上記顔の標準モデルの情報を予め記憶するものである。図６は、標準モデルの一例を示す模式図である。この標準モデルは、例えば、図６に示すように、頂点データとポリゴンデータとで構成される。頂点データは、標準モデルにおける特徴部位の頂点Ｕの座標の集合体であり、上記各特徴点Ｑｊの３Ｄ座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形、例えば３角形や４角形といった多角形のポリゴンに分割し、このポリゴンを数値データとして表現したものである。各ポリゴンには、上記光源変動補正において用いられる画素の輝度情報等が含まれる。なお、この標準モデルは、複数人の顔のデータを平均して求めた平均顔データであってもよい。また、標準モデルの各ポリゴンの頂点は、特徴点Ｑｊとともに、特徴点Ｑｊ以外の中間点を用いて構成されてもよい。この中間点は、補間によって算出される。

図３に戻って、２次元認証部（２Ｄ認証部）１７は、姿勢・光源補正部１５において姿勢変動補正及び光源変動補正されて成る各特徴領域のテクスチャ情報から２次元顔特徴量（２Ｄ顔特徴量：局所的な２Ｄ顔特徴量；局所２Ｄ顔特徴量）を算出するものである。２Ｄ認証部１７は、補正画像取得部１７ａ及び２Ｄ特徴量抽出部１７ｂを備えている。補正画像取得部１７ａは、姿勢・光源補正部１５においてテクスチャ画像が姿勢変動補正及び光源変動補正されてなる補正画像（補正テクスチャ画像という）を取得するものである。すなわち、姿勢・光源補正部１５からの補正画像が補正画像取得部１７ａに入力される。

２Ｄ特徴量抽出部１７ｂは、補正画像取得部１７ａにより取得された補正テクスチャ画像から２Ｄ顔特徴量を抽出するものである。この２Ｄ顔特徴量の抽出は、画像の局所的な濃淡情報（特定方向の輪郭線など）を特徴量として取り出す手法であるＧａｂｏｒウェーブレット変換を用いた方法により行う。このＧａｂｏｒウェーブレット変換は、上記顔部位の検出にも使用できるし、ここでの濃淡情報を取り出すことにも使用できる。より具体的には、補正テクスチャ画像が有する２Ｄ座標点を基準として、この補正テクスチャ画像に対してＧａｂｏｒフィルタによるフィルタ処理を施すことによって得られる濃淡情報が２Ｄ顔特徴量として抽出される。

図７は、Ｇａｂｏｒフィルタについて概念的に説明するための立体グラフ図である。ここで、Ｇａｂｏｒフィルタは、図７に示すように、ｓｉｎ関数（虚部）及びｃｏｓ関数（実部）をガウス関数で局在化したカーネルを用いた空間フィルタであって、画像の局所的な濃淡情報を取り出すことが可能な変換（Ｇａｂｏｒウェーブレット変換）を行うフィルタである。Ｇａｂｏｒフィルタによるフィルタ処理は、局所的な情報に対する処理であるので、画像の照明変動の影響を受けにくいという利点がある。Ｇａｂｏｒウェーブレット変換は、カーネルの形を固定しておき、このカーネルを伸び縮みさせて様々な周期のカーネルを作り出し、これに対応した空間周期の特徴量（Ｇａｂｏｒ特徴量；ここでの濃淡情報）を抽出する変換である。

上記空間周期の特徴量を表す特徴ベクトル（２次元特徴ベクトル；２Ｄ特徴ベクトル）は、サイズ、方向特性の異なるＧａｂｏｒウェーブレット係数の並びである。Ｇａｂｏｒウェーブレット変換は、位置及び周波数の不確定性を最小にする関数であって、以下の（３）式で表される。

上記（３）式中のｋベクトルは、波の波長と方向を決める定数であり、［ ］内の第２項は、ウェーブレットの再構成条件を満たすべく関数の直流成分が０（ゼロ）、すなわちそのフーリエ変換において以下の（４）式が得られるように加えられた項である。

このようなＧａｂｏｒウェーブレット変換を用いた手法は、顔画像に適用した場合、様々な方向と濃淡周期によって豊富な特徴情報を抽出することができるため、高精度な顔認証システムに採用される。

２Ｄ顔特徴量は、補正テクスチャ画像に対して、上記図７に示すＧａｂｏｒフィルタを畳み込むことによって算出することができる。例えば、方向が、方向｛０，π／８，２π／８，３π／８，４π／８，５π／８，６π／８，７π／８，８π／８｝の８方向、スケールが、スケール｛４，４√２，８，８√２，１６｝の５段での複数のＧａｂｏｒフィルタを畳み込むことによって、２Ｄ顔特徴量としての４０（＝５＊８（記号「＊」は乗算を表す））次元の特徴ベクトル（それぞれの濃淡の周期の情報）を得ることができる。なお、２Ｄ顔特徴量の抽出は、このＧａｂｏｒウェーブレット変換による方法に限るものではない。２Ｄ顔特徴量の抽出は、その他一般的なテクスチャ情報を使用した方法であれば何れの方法であってもよい。また、上記方向やスケールも８方向や５段に限らず、任意に定めることができる。

図３に戻って、顔領域３Ｄ計算部１８は、顔領域検出部１２によって検出された顔領域の画像から、すなわち本実施形態ではステレオカメラによるステレオ画像から、顔の高密度な３Ｄ形状（３Ｄ顔密形状データという）を算出するものである。ただし、ここで言う“高密度なデータ”とは、上記顔部位検出部１３によって検出された顔の目や鼻といった特徴部位（特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ））だけのデータ、つまりデータ取得点数が少ない“粗（低密度）”のデータに対して、この特徴部位のデータだけでなく、頬や額などの部分も含む顔全体のデータ、つまりデータ取得点数が多い“密”なデータであることを示している。なお、３Ｄ顔密形状データを構成する当該密なデータ取得点のことを「３次元点（３Ｄ点；又は３Ｄ計測点）」という。３Ｄ顔密形状データは、複数の３Ｄ点からなる顔の形状データである。

ステレオ画像からの顔の高密度な３Ｄ形状の算出は、例えば位相限定相関法（ＰＯＣ：Phase-Only Correlation）を用いて実行される。位相限定相関法は、フーリエ変換を使った相関計算方法の一つであり、２つのフーリエ画像をスペクトルごとに規格化した後に合成する。すなわち、位相限定相関法では、２枚の画像が与えられた場合に、それぞれの画像の２次元離散フーリエ変換が振幅成分で正規化され、これらの積を演算することによって合成位相スペクトルが求められ、そして、これに対して逆フーリエ変換が行われる。２枚の画像が類似している場合、ＰＯＣ関数は、極めて鋭いピークを有する。この相関ピークの高さは、画像の類似度の尺度として有用である。ピークの座標は、２枚の画像の相対的な位置ずれに対応する。位相限定相関法は、このような特性を有するため、輝度変動やノイズの影響を受けにくく、高精度に画像間の対応点を取得することができる。換言すれば、位相限定相関法は、高精度な異なる画像間の対応点検索つまりマッチングを行う処理である。また、取得した対応点に対して３次元再構成処理を行うことによって、高精度の３Ｄ顔密形状データが求められる。なお、上述のように、本実施形態では２Ｄカメラを複数台用いることを想定しているため、高密度な３Ｄ形状を位相限定相関法により算出しているが、３Ｄ計測装置を用いる場合には、複数枚の画像から算出することなく、高密度な３Ｄ形状を取得することが可能であるためこのような手法を用いなくともよい。

なお、ＰＯＣと多重解像度とによる対応点探索は、例えば、次の手法も挙げられる。まず、第１に、多重解像度の画像として縮小画像が作成される。第２に、この縮小画像において、ピクセルレベル（画素レベル）で対応点探索が実行される。第３に、対応点の候補を絞って縮小画像が所定の大きさだけ拡大される。第４に、この所定の大きさだけ拡大された縮小画像において、候補の周囲をピクセルレベルで対応点探索が実行される。第５に、第１で縮小画像とされる前の元の画像と同一の大きさになるまで、前記第３及び第４が繰り返される。そして、第６に、元の画像と同一の大きさでサブピクセルレベルの対応点探索が実行される。

３次元認証部（３Ｄ認証部）１９は、顔領域３Ｄ計算部１８によって算出した３Ｄ顔密形状データと、顔部位３Ｄ計算部１４によって算出した３Ｄ顔部位形状データとに基づいて、３Ｄ顔特徴量（局所的な３Ｄ顔特徴量；局所３Ｄ顔特徴量）を算出するものである。３Ｄ認証部１９は、３次元局所パッチ抽出部（３Ｄ局所パッチ抽出部）１９ａ及び３次元特徴量抽出部（３Ｄ特徴量抽出部）１９ｂを備えている。３Ｄ局所パッチ抽出部１９ａは、３Ｄ顔密形状データと、３Ｄ顔部位形状データ（特徴部位）とから３次元的な局所パッチ領域を抽出（算出）するものである。以下、３次元的な局所パッチ領域を単に「局所パッチ領域」という。

図８は、３Ｄ顔部位形状データの各特徴点から矩形領域を設定する方法について説明するための模式図である。図９は、図８において設定した矩形領域の情報を用いて、３Ｄ顔部位形状データから局所パッチ領域を抽出（決定）する方法について説明するための模式図である。図１０は、３Ｄ顔部位形状データの各特徴点から矩形領域を設定する方法について説明するための模式図である。図１１は、３Ｄ顔部位形状データにおける各３次元点及び各局所パッチ領域の一例を示す模式図である。

３Ｄ顔部位形状データの各特徴部位における各特徴点Ｑｊの３Ｄ座標Ｍ^（ｊ）（特徴点座標という）は、高密度な３Ｄ形状（３Ｄ顔部位形状データ）上に存在する。局所パッチ領域は、３Ｄ顔密形状データに対する、３Ｄ顔部位形状データの特徴点座標からの相対関係で定義される領域である。より具体的には、例えば、図８に示すように、特徴点Ｑｊである右目頭ａ、右目尻ｂ及び右小鼻ｃの３点により定まる平面（局所パッチ抽出用平面）Ｔ上に、例えばベクトルｃａ、ｃｂの線形和として定義される４点で囲まれた矩形領域Ｓが例えば右頬領域として定義される。そして、図９に示すように、３Ｄ顔部位形状データを構成する複数の３Ｄ点αのうち、これら３Ｄ点αから上記平面Ｔに仮想的に垂直に降ろした垂線が（垂線の足が）矩形領域Ｓの中に入っている３Ｄ点を纏めて成る領域（当該３Ｄ点の集合体として見たときの領域）が、当該右頬部分の局所パッチ領域Ｐとされる。局所パッチ領域Ｐは、例えば、この右頬の場合の局所パッチ領域Ｐのように、実際の顔（ここでは右頬）形状に略合致した曲面形状の領域となっている（矩形領域Ｓ或いは局所パッチ抽出用平面で定義される完全な平面形状ではない）。なお、図９は、３Ｄ顔密形状データを顔の上方から見下ろした場合の概念的な３Ｄ点が示されている。また、局所パッチ抽出用平面は、４点以上の複数の特徴点から求めてもよい。

このようにして、図１０に示すように、３Ｄ顔部位形状データの各特徴点座標２０１から各局所パッチ抽出用平面が設定されるとともに、この局所パッチ抽出用平面上に所定数の矩形領域、例えば矩形領域２１１（左頬の部分）や矩形領域２１２（額の部分）が設定される。この矩形領域は、これらの他にも、例えば、矩形領域２１３、２１４及び２１５に示すような目、鼻、口、眉などの顔の特徴部位を含む領域に任意に設定されてよい。この設定される顔の特徴部位は、より顕著に顔の特徴が表れる箇所が好ましい。このように各矩形領域を設定しておいて、図１１に示すように、これら矩形領域に対応する各局所パッチ領域３０１、３０２、３０３・・・が決定される。ただし、図１１において顔全体に配置された複数の点（プロット点）３１１は、３Ｄ顔密形状データにおける各３Ｄ点（α）を示しており、特に、符号３１２で示す場所の点（図中の色が濃い点）は、局所パッチ領域を構成する３Ｄ点を示している。局所パッチ領域３０２は、上記図９において説明した頬の箇所の局所パッチ領域Ｐに相当する。

なお、顔は、左右対称であることから、抽出する各局所パッチ領域は、顔における左右対称の位置に配置されていることが好ましい。また、目領域は、サングラスなどで隠される場合があり、口領域は、髭などの影響で３Ｄ計測できない場合があるため、抽出する局所パッチ領域は、少なくとも、隠れたり３Ｄ計測不能となりにくい部分である、鼻及び頬を含む（額は髪で隠れる可能性が高い）ことが望ましい。

局所パッチ領域の抽出方法は、これに限定されるものではない。局所パッチ領域の抽出方法は、例えば、右頬部分の形状が、このようなものであるという基準となる部分モデル形状（基準モデル形状）を予め用意しておき、この部分モデル形状が、３Ｄ顔密形状データのどこに当て嵌まるものであるのかを見つけ、その当て嵌まったところを右頬部分の局所パッチ領域とする方法であってもよい。より具体的には、抽出したい局所パッチの領域に対応する参照用の３次元（３Ｄ）パッチ形状（参照パッチ形状、参照用部分モデル形状）、すなわち局所パッチ自身の例えば平均顔（標準顔）データから求めたパッチモデルを予め記憶、保存しておき、このパッチモデルと３Ｄ顔密形状データとを比較し、例えば互いの形状の類似度を比較し、３Ｄ顔密形状データ上における最もこのパッチモデル形状に類似（近似）した形状を有する領域を、局所パッチ領域として決定する方法であってもよい。

また例えば、局所パッチ領域の抽出方法は、２次元画像上に予め定義された領域に含まれる３Ｄ顔密形状データの領域を局所パッチ領域として決定する方法であってもよい。より具体的には、図１０に示すように、顔部位検出部１３によって検出された特徴点Ｑｊを基に定義可能な領域を２次元画像上の選択領域として定義し、この定義された２次元画像上の選択領域の３Ｄ顔密形状データの領域を局所パッチ領域として決定する。この手法では、２次元画像上の領域を顔部位３Ｄ計算部１４の演算より事前に定義しておくことによって、全ての３Ｄ顔密形状データの計測を行うことなく、この定義された２次元画像上の領域のみの対応点探索および３次元再構成を行うことによって、局所パッチ領域のみの形状を計測することも可能であり、処理時間の短縮を図ることが可能となる。

また例えば、局所パッチ領域の抽出方法は、平均の顔より算出された標準モデルの形状と交差判定を行うことによって局所パッチ領域を決定する方法であってもよい。より具体的には、まず、予め標準モデルが用意されると共にこの標準モデルに切り出したい局所パッチ領域が定義され、これら標準モデルおよび標準モデル上の局所パッチ領域が記憶、保存される。次に、３Ｄ顔部位形状データが標準モデルの３次元形状に最も合致するように３次元的な位置が補正される。次に、この位置補正後において、標準モデル上の三角形の領域である三角パッチが、標準モデルの射影中心点を中心に、３Ｄ顔部位形状データの三角パッチ上に射影される。この３Ｄ顔部位形状データの三角パッチは、基準の計測点と隣接する計測点との２点で構成されたパッチとして与えられる。そして、この射影された標準モデル上の三角パッチと、３Ｄ顔部位形状データ上の三角パッチとが交差しているか否かが判定され、交差している場合に３Ｄ顔部位形状データ上の三角パッチが局所パッチ領域として決定される。この交差は、次の３つのケースがある。何れかのケースを満たす場合に、両三角パッチが交差していると判断される。図１２は、交差判定を説明するための図である。図１２（Ａ）は、交差と判定される第１のケースを示し、図１２（Ｂ）は、交差と判定される第２のケースを示し、そして、図１２（Ｃ）は、交差と判定される第３のケースを示す。なお、図１２において、網模様は、標準モデルを表し、斜線模様は、測定データを表す。

１．射影された標準モデル上の三角パッチが３Ｄ顔部位形状データ上の三角パッチに含まれる場合（図１２（Ａ））。
２．射影された標準モデル上の三角パッチに３Ｄ顔部位形状データ上の三角パッチが含まれる場合（図１２（Ｂ））。
３．射影された標準モデル上の三角パッチにおけるエッジ部分が３Ｄ顔部位形状データ上の三角パッチと交差する場合（図１２（Ｃ））。

また例えば、局所パッチ領域の抽出方法は、平均の顔より算出された標準モデルの形状と領域判定を行うことによって局所パッチ領域を決定する方法であってもよい。より具体的には、まず、予め標準モデルが用意され、標準モデルの点群からマップが作成される。すなわち、予め用意された標準モデルの点群における各３次元点が直交座標系（ｘ、ｙ、ｚ）から極座標系（球座標系）（ｒ、θ、φ）に変換される。次に、標準モデルの点群を変換した球座標（θ、φ）が変換式によってｕｖ平面座標に変換される。次に、標準モデルの点群で構成される切り出すべき局所パッチ領域ごとにラベル付けを行うことによって、マップが作成される。変換式は、（ｕ，ｖ）^Ｔ＝（θ_ｘ，ｙ×（ｗｉｄｔｈ−１）／（２π×ｗｉｄｔｈ），（π／２−φ_{ｘ，ｙ，ｚ}）（ｈｅｉｇｈｔ−１）／（π×ｈｅｉｇｈｔ））^Ｔである。ここで、θ_ｘ，ｙは、球座標上の点Ａ（ｒ、θ、φ）においてＯＡとｚ軸とがなす角度であり、φ_{ｘ，ｙ，ｚ}は、球座標上の点Ａ（ｒ、θ、φ）のｘｙ平面に降ろした垂線とｘｙ平面との交点をＢとするとＯＢとｘ軸とのなす角度である。そして、ｗｉｄｔｈおよびｈｅｉｇｈｔは。投影する画像の幅である。次に、３Ｄ顔部位形状データの点群も同様に処理され、マップ画像上に投影される。そして、ラベル付けされた領域に含まれる３Ｄ顔部位形状データ上の領域が局所パッチ領域として決定される。

図３に戻って、３Ｄ特徴量抽出部１９ｂは、３Ｄ局所パッチ抽出部１９ａによって抽出された局所パッチ領域の情報から３Ｄ顔特徴量を抽出するものである。より具体的には、各局所パッチ領域内の複数の３Ｄ点の情報に基づいて、局所パッチごとに曲面が計算される。この曲面の計算は、例えば曲率マップを用いた方法によって実行される。この場合、先ず局所パッチ領域の正規化が実行される。例えば、矩形の局所パッチ領域である場合は、その矩形領域の頂点が、予め定められた標準の矩形領域（標準矩形領域）の頂点となるように３次元アフィン変換することによって当該正規化が実行される。換言すれば、局所パッチ領域の３Ｄ点を示す座標値を、標準となる座標値に合わせる変換（３次元アフィン変換）が行われる。そして、正規化された局所パッチ領域が均等にサンプリングされ、各サンプリング点における曲率を局所パッチ領域の形状特徴（３Ｄ顔特徴量）とされる。このことから、曲率マップを用いた方法は、局所パッチ領域と標準矩形領域との曲率を比較するものであるとも言える。当該曲率は、例えば「３次元曲率を用いた顔の同定−顔の３次元形状特徴抽出−」電子情報通信学会論文誌Vol. J76-D2 No. 8（1993年8月）pp.1595-1603に開示されている手法を用いることで算出可能である。

３Ｄ顔特徴量の抽出は、上記方法に限定されるものではなく、例えば、面近似によって３Ｄ顔特徴量の抽出を行う方法であってもよい。この曲面近似は、ベジェ曲面、双３次曲面、有理ベジェ曲面、Ｂスプライン曲面、ＮＵＲＢＳ（Non Uniform Rational B-Spline）曲面など、種々の曲面を用いることができる。ここでは、ベジェ曲面を用いた場合について説明する。

図１３は、３次元顔特徴量の抽出におけるベジェ曲面の一例を示す模式図である。ベジェ曲面は、図１３に示すように、Ｐ００、Ｐ０１、・・・、Ｐ３３等と格子状に並んだ制御点Ｐ_ｉｊによって定義した曲面Ｆ（ベジェ曲面Ｆ）である。この場合に、制御点Ｐ_ｉｊは、曲面Ｆの四隅の点と概形とを定める。ベジェ曲面は、ｕ∈［０，１］、ｖ∈［０，１］なるパラメータ領域において定義される多項式曲面である。ｕに関してｎ次、ｖに関してｍ次の式であれば、ｎ×ｍ次曲面とよばれ、（ｎ＋１）＊（ｍ＋１）個の制御点によって表現される。ｎ＝ｍのときは、双ｎ次曲面とよばれる。このようなベジェ曲面は、以下の（５）式で与えられる。

図１３に示すベジェ曲面Ｆは、ｎ＝ｍ＝３の場合の双３次ベジェ曲面を示している。この制御点Ｐ_ｉｊ（の座標値）を制御することによってベジェ曲面Ｆの形状が変化し、ベジェ曲面Ｆは、上記局所パッチ領域の形状に近似される。当該近似させたベジェ曲面Ｆの形状情報（曲面情報）が局所パッチ領域のパッチ形状情報として求められる。同様に顔の各局所パッチ領域についてパッチ形状情報、すなわち各局所パッチ領域の３次元特徴ベクトル（３Ｄ特徴ベクトル）、すなわち３Ｄ顔特徴量が求められる。そして、この各局所パッチ領域に対して求められた各パッチ形状情報（３Ｄ顔特徴量）を１つに合わせてトータルの３Ｄ顔特徴量が求められる。ただし、これに限らず、このトータルの３Ｄ顔特徴量の情報に対して、さらに各局所パッチ領域（或いは各パッチ形状情報）間の相対位置関係の情報、つまり相互の距離や傾き等の情報を加えるようにしてもよい。この場合、顔の全体的な特徴を示す“大域形状情報”を扱うことができるようになるので、当該３Ｄ顔特徴量がより一層個人認証に適したものとなる。

なお、上記３Ｄ顔特徴量を抽出する局所パッチ領域は、少なくとも顔の特徴部位（上記目、眉、鼻、口など）以外の部位を含む３局所パッチ領域であることが好ましい。換言すれば、３Ｄ顔特徴量は、特徴が無い或いは少ない、つまり２Ｄ特徴量（特徴部位、２Ｄ画像）では特徴が出にくい部位である「額」や「頬」などの部位（表面の凹凸変化が少ない平坦な部位）を含む局所パッチ領域から抽出したものであることが好ましい。これにより、２Ｄ認証との多重照合の際に、すなわち後述の多重類似度による認証判定時において、特徴の有る部位から得た特徴量（２次元的に得た特徴量）はもちろんのこと、特徴が出にくい部位の特徴量（３次元的に得た特徴量）の情報も用いて、より高い精度での認証を行うことが可能となる。

なお、このように３Ｄ顔特徴量を３Ｄ特徴ベクトル（ベクトル量）として扱うことができるので、この算出した３Ｄ顔特徴量（３Ｄ特徴ベクトル）、或いは後述における予め用意する比較特徴量（上記３Ｄ顔特徴量の３Ｄ特徴ベクトルに対応する比較用の３Ｄ特徴ベクトル；比較用ベクトル量）を、例えばコントローラ１０の記憶部３などに登録（記憶）しておく場合、上記３Ｄ顔密形状データ（各３Ｄ点の座標情報）そのものを登録する場合と比べて、３Ｄ特徴ベクトルを登録する方が少ない登録データ量で済む。すなわちメモリ容量が小さくて済むなど、データの取り扱い性が良くなる。

類似度計算部２０は、予め登録された比較対象者の顔特徴量（比較用特徴量という）と、上述で算出された認証対象者ＨＭの顔特徴量、すなわち２Ｄ顔特徴量（２Ｄ特徴ベクトルの特徴量）及び３Ｄ顔特徴量（３Ｄ特徴ベクトルの特徴量）との類似性の評価を行うものである。より具体的には、類似度計算部２０は、上記比較用特徴量と２Ｄ顔特徴量及び３Ｄ顔特徴量とに基づいて類似度計算を行い、それぞれ２次元類似度（２Ｄ類似度；Ｌ）及び３次元類似度（３Ｄ類似度；Ｄｉｊ）を算出し、さらにこれら２Ｄ類似度及び３Ｄ類似度を用いて多重類似度を算出する。先ず、２Ｄ類似度の算出について説明する。

＜２Ｄ類似度の計算＞
認証対象者ＨＭと比較対象者との２Ｄ類似度Ｌは、以下の（６）式に示すように、上記２Ｄ特徴量抽出部１７ｂにおいてＧａｂｏｒフィルタによるフィルタ処理をＦ個の特徴点に対して行い、これにより抽出（生成）されたＦ個の特徴ベクトルの類似度ＳＤ（Ｊｉ，Ｊｉ’）を積算した値の平均値として与えられる。

ただし、上記（６）式において、２Ｄ類似度Ｌは、算出された特徴ベクトルの特徴量をＧ、登録されている特徴量をＧ’とすると、これらの類似度Ｌ（Ｇ，Ｇ’）として表現している。また、上記（６）式中の記号「ｉ」は、特徴点の個数を表し、ｉ＝１〜Ｆ（個）を示す。

上記（６）式における類似度Ｓ_Ｄ（Ｊ_ｉ，Ｊ_ｉ’）は、以下の（７）式で定義される。

ただし、上記（７）式中の記号「Ω」は、原点近傍（０変位近傍）の局所領域を表す。また、記号ｄベクトルは、位相差を表す。

また、上記（７）式中のＳ_Ｄ（Ｊ_ｉ，Ｊ_ｉ’，ｄベクトル）は、位相類似度に変位修正を考慮した以下の（８）式により与えられる。この（８）式は、振幅の相関を位相角の類似度で重み付けした形をしている。

ただし、上記（８）式中の記号「Ｊ」は、Ｊ＝（ａ_１，ａ_２，ａ_３，・・・，ａ_Ｎ，φ_１，φ_２，・・・，φ_Ｎ）であり、Ｎは、複素Ｇａｂｏｒフィルタ（上記虚部と実部とのＧａｂｏｒフィルタのセット）の数である。また、記号「ａ」は、振幅を、記号「φ」は、位相を表す。また、ｋ_ｊベクトルは、ｊ番目の２次元波の方向を向き、且つ周波数の大きさを有するベクトルであって、以下の（９）式により与えられる。

なお、Ｇａｂｏｒフィルタを使用しない場合には、２Ｄ類似度の計算は、後述する３Ｄ類似度算出と同様に、ユークリッド距離による算出でも可能である。

＜３Ｄ類似度の計算＞
認証対象者ＨＭと比較対象者との３Ｄ類似度、すなわち形状特徴量の類似度Ｄ_ｉｊは、以下の（１０）式で示されるように、互いに対応するベクトル（３Ｄ特徴ベクトルｄ^Ｓ）同士間のユークリッド距離の合計を算出することにより得ることができる。

＜多重類似度の計算＞
認証対象者ＨＭ（認証対象物）と比較対象者（比較対象者）との総合的な類似度である多重類似度は、以下の（１１）式に示すように、上記２Ｄ類似度及び３Ｄ類似度の各類似度に対しての重み付け和によって算出される。なお、多重類似度は、Ｒｅで示す。

但し、上記（１１）式中の記号「Ｗ」は、所定の重み付け係数を表す。ここでは、この重み付け係数Ｗは、予め決められた固定値として与える。

登録データ記憶部２１は、予め用意された比較対象者の顔特徴量（比較特徴量、比較用顔特徴量）の情報を記憶しておくものである。

判定部２２は、多重類似度Ｒｅに基づいて認証判定を行うものである。認証判定は、顔照合（Verification）の場合と顔識別（Identification）の場合とで、その手法が以下（ａ）、（ｂ）のように異なる。

（ａ）顔照合は、入力された顔（入力顔；認証対象者ＨＭの顔）が特定の登録者（特定登録者）であるか否かを判定するものである。この顔照合では、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者ＨＭの顔特徴量との類似度を所定の閾値と比較することによって、認証対象者ＨＭと比較対象者との同一性が判定される。より具体的には、多重類似度Ｒｅが所定の閾値ＴＨ１よりも小さいときに認証対象者ＨＭが比較対象者と同一人物（本人）であると判定される。なお、この場合の閾値ＴＨ１の情報は、判定部２２内に記憶されている。あるいは、この場合の閾値ＴＨ１の情報は、登録データ記憶部２１に記憶されていてもよい。

（ｂ）顔識別は、入力顔が誰のものであるかを判定するものである。この顔識別では、登録されている人物（比較対象者）の顔特徴量と認証対象者ＨＭの顔の特徴量との類似度を全て算出して、認証対象者ＨＭと各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうちの最も高い同一性を有する比較対象者を認証対象者ＨＭと同一人物であると判定する。より具体的には、認証対象者ＨＭと複数の比較対象者とのそれぞれの多重類似度Ｒｅのうち、最小の多重類似度Ｒｅ（Ｒｅｍｉｎ）に対応する比較対象者が、認証対象者ＨＭと同一人物であると判定される。

図１４は、本実施形態に係る顔認証の動作の一例を示すフローチャートである。先ず、カメラＣＡ１及びＣＡ２それぞれによる撮影によって認証対象者ＨＭの顔画像が取得される（ステップＳ１）。次に、当該撮影により得られた２枚の顔画像がコントローラ１０（画像入力部１１）に入力される（ステップＳ２）。次に、顔領域検出部１２によって、画像入力部１１に入力された各顔画像から顔領域画像が検出される（ステップＳ３）。この検出された顔領域画像から、顔部位検出部１３によって、顔の特徴部位すなわち特徴点の座標と特徴領域のテクスチャ情報とが検出される（ステップＳ４）。そして、顔部位３Ｄ計算部１４によって、顔部位検出部１３により検出された顔の特徴部位の座標（特徴点の座標）から該各特徴部位の３次元における座標（３Ｄ顔部位形状データ）が算出される（ステップＳ５）。また、姿勢・光源補正部１５によって、顔部位検出部１３により検出されたテクスチャ情報に対する姿勢変動補正及び光源変動補正が行われる（ステップＳ６）。そして、２Ｄ認証部１７によって、当該姿勢変動補正及び光源変動補正されてなる各特徴領域の補正テクスチャ画像から２Ｄ顔特徴量が算出される（ステップＳ７）。

一方、顔領域３Ｄ計算部１８によって、顔領域検出部１２により検出された顔領域画像（ステレオ画像）から、複数の２Ｄ点からなる３Ｄ顔密形状データが算出される（ステップＳ８）。次に、３Ｄ認証部１９において、３Ｄ局所パッチ抽出部１９ａによって、顔領域３Ｄ計算部１８により算出された３Ｄ顔密形状データと、上記ステップＳ５おいて顔部位３Ｄ計算部１４により算出された３Ｄ顔部位形状データとから３次元的な局所パッチ領域が算出される（ステップＳ９）。そして、３Ｄ特徴量抽出部１９ｂによって、当該３Ｄ局所パッチ抽出部１９ａによって算出された局所パッチ領域の情報から３Ｄ顔特徴量が算出される（ステップＳ１０）。次に、類似度計算部２０によって、予め登録された比較対象者の顔特徴量（比較用特徴量）と、上記ステップＳ７及びＳ１０において算出された局所２Ｄ顔特徴量及び３Ｄ顔特徴量との類似性の評価が行われる、すなわち、上記比較用特徴量と２Ｄ顔特徴量及び３Ｄ顔特徴量とに基づく類似度計算が行われて、２Ｄ類似度及び３Ｄ類似度、さらにこれら類似度から多重類似度が算出される（ステップＳ１１）。そして、当該多重類似度に基づいて、判定部２２によって、顔照合或いは顔識別の認証判定が行われる（ステップＳ１２）。

図１５は、図１４のステップＳ９における動作の一例を示すフローチャートである。ステップＳ９では、３Ｄ局所パッチ抽出部１９ａによって、先ず顔部位３Ｄ計算部１４により算出された各特徴部位における各特徴点（３Ｄ座標）（３Ｄ顔部位形状データ）から、局所パッチ抽出用平面Ｔが設定（算出）される（ステップＳ２１）。次に、この設定された局所パッチ抽出用平面Ｔ上に、矩形領域Ｓ（後述の部分領域）が設定される（ステップＳ２２）。そして、矩形領域Ｓに対応する局所パッチ領域Ｐが設定される、すなわち３Ｄ顔部位形状データを構成する複数の３Ｄ点αのうちの局所パッチ抽出用平面Ｔに垂直に降ろした垂線が矩形領域Ｓの中に入る３Ｄ点αが特定され、この特定された３Ｄ点αからなる領域が局所パッチ領域Ｐとして設定される（ステップＳ２３）。

以上のように、本実施形態に係る認証システム１によれば、３次元形状取得部（顔領域検出部１２、顔領域３Ｄ計算部１８）によって、認証対象者ＨＭの顔の全体的な３Ｄ形状である全体３次元形状（全体３Ｄ形状）の情報が取得され、局所領域決定部（３Ｄ局所パッチ抽出部１９ａ）によって、３次元形状取得部により取得された全体３Ｄ形状情報（３Ｄ顔密形状データ）から、該全体３Ｄ形状における局所的な領域である複数の３次元局所領域（３Ｄ局所領域；局所パッチ領域）が決定される。また、３次元特徴量算出部（３Ｄ特徴量抽出部１９ｂ）によって、局所領域決定部により決定された３Ｄ局所領域における局所３次元形状情報（局所３Ｄ形状情報）から、該３Ｄ局所領域の形状に関する局所領域形状情報であって、顔の３次元的な特徴量である３Ｄ顔特徴量が算出される。そして、特徴量比較部（類似度計算部２０、判定部２２）によって、認証対象者ＨＭに対する認証動作を行うべく３次元特徴量算出部により算出された３Ｄ顔特徴量と、予め用意された比較用顔特徴量とが比較される。

また、本実施形態に係る認証方法によれば、第１の工程において、認証対象者の顔の全体的な３Ｄ形状である全体３Ｄ形状の情報が取得され、第２の工程において、全体３Ｄ形状情報から、該全体３Ｄ形状における局所的な領域である複数の３Ｄ局所領域が決定される。第３の工程において、３Ｄ局所領域における局所３Ｄ形状情報から、該３Ｄ局所領域の形状に関する局所領域形状情報であって、顔の３次元的な特徴量である３Ｄ顔特徴量が算出される。そして、第４の工程において、認証対象者ＨＭに対する認証動作を行うべく３Ｄ顔特徴量と予め用意された比較用顔特徴量とが比較される。

このように認証システム又は認証方法において、認証対象者ＨＭの顔の全体３Ｄ形状から複数の３Ｄ局所領域が決定され、この３Ｄ局所領域における局所３Ｄ形状情報から３Ｄ顔特徴量が算出され、この３Ｄ顔特徴量と比較用顔特徴量との比較が行われることで認証対象者に対する認証動作が行われる。したがって、顔の全体３Ｄ形状の情報をそのまま用いるのではなく、顔全体の３Ｄ形状から局所的な領域（３Ｄ局所領域）を複数個抽出し、この抽出した３Ｄ局所領域に基づいて認証を行う構成であるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分以外の局所領域の情報を用いて認証を行うことができるから、認証精度の低下を軽減することができる。また、データ量の多い全体３Ｄ形状（３Ｄデータ）の情報をそのまま扱わなくてもよいため、つまり局所領域の部分的な３Ｄ形状データを扱えばよいため、処理時間が短縮され、認証速度を向上させることができる。

上記認証システムにおいて、３次元形状取得部が、顔の２Ｄ画像を取得する２次元画像取得部（カメラＣＡ１、ＣＡ２）を備えたものとされ、特徴部位抽出部（顔部位検出部１３）によって、２次元画像取得部により取得された２Ｄ画像から顔の特徴的な部位である特徴部位が抽出される。そして、３次元座標算出部（顔部位３Ｄ計算部１４）によって、特徴部位抽出部により抽出された特徴部位の３Ｄ座標（Ｍ^（ｊ））が算出され、局所領域決定部によって、３次元座標算出部により算出された特徴部位の３Ｄ座標に基づいて３次元局所領域が決定される。

上記認証方法において、第１の工程が、顔の２Ｄ画像を取得する第５の工程を含む工程とされ、第６の工程において、２Ｄ画像から顔の特徴的な部位である特徴部位が抽出される。また、第７の工程において、特徴部位の３Ｄ座標が算出される。そして、上記第２の工程において、特徴部位の３Ｄ座標に基づいて３Ｄ局所領域が決定される。

このように認証システム又は認証方法では、２Ｄ画像から顔の特徴的な部位である特徴部位が抽出されてこの特徴部位の３Ｄ座標が算出され、この３Ｄ座標に基づいて３Ｄ局所領域が決定されるので、３Ｄ局所領域を決定するに際して２次元的な特徴部位の情報と関連付けることができ、当該３Ｄ局所領域の情報と共に特徴部位の情報を用いた高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、局所領域決定部によって、３Ｄ座標から定まる平面（局所パッチ抽出用平面Ｔ）内に所定形状の部分領域（例えば矩形領域Ｓ）が設定されるとともに、全体３Ｄ形状における当該部分領域に対応する領域が３Ｄ局所領域として決定される。このように、特徴部位の３Ｄ座標から定まる平面内に所定形状の部分領域が設定され、全体３Ｄ形状におけるこの部分領域に対応する領域が３Ｄ局所領域として決定されるので、簡易な方法を用いて容易に特徴部位の３Ｄ座標から３Ｄ局所領域を決定することができる。

また、上記認証システムにおいて、全体３Ｄ形状情報が、複数の３Ｄ点（α）からなる顔の形状データとされ、局所領域決定部によって、３Ｄ点（α）から平面に仮想的に垂直に降ろされた垂線が部分領域に入っている３Ｄ点で構成される領域が３Ｄ局所領域（局所パッチ領域Ｐ）として決定される。このように、３Ｄ点から平面に仮想的に垂直に降ろされた垂線が部分領域に入っている３Ｄ点で構成される領域が３Ｄ局所領域として決定されるので、簡易な方法を用いて容易に部分領域に対応する３Ｄ局所領域を決定することができる。

また、上記認証システムにおいて、局所領域決定部によって、全体３Ｄ形状と、予め用意された参照用３次元部分モデル形状（参照用３Ｄ部分モデル形状；参照パッチ）とが比較され、該全体３Ｄ形状における参照用３Ｄ部分モデル形状に最も類似した形状である部分が３Ｄ局所領域として決定される。このように、全体３Ｄ形状と参照用３Ｄ部分モデル形状とが比較され、全体３Ｄ形状における当該参照用３Ｄ部分モデル形状に最も類似した形状の部分が３Ｄ局所領域として決定されるので、２Ｄ画像を取得したり、この２Ｄ画像から特徴部位（２Ｄ顔特徴量）を抽出したりする構成及び動作を必要とせず、容易に全体３Ｄ形状における３Ｄ局所領域を決定することができる。

また、上記認証システムにおいて、３次元特徴量算出部によって、３Ｄ局所領域における局所３Ｄ形状情報が（上記例えばベジェ曲面等を用いた方法により）所定の曲面情報に変換されたものが局所領域形状情報として算出される。このように、３Ｄ局所領域の局所領域形状情報として、３Ｄ局所領域における局所３Ｄ形状情報が所定の曲面情報に変換されたものが用いられるので、すなわち３Ｄ形状情報がそのまま用いられるのではなく、これを変換して曲面情報（例えば曲率）として扱う構成であるので、次元圧縮が可能となり、処理が高速となる。

また、上記認証システムにおいて、３次元特徴量算出部によって、３Ｄ顔特徴量として、各３Ｄ局所領域の相対位置関係の情報も含む３Ｄ顔特徴量が算出される。このように、３Ｄ顔特徴量が、各３Ｄ局所領域の相対位置関係の情報も含むものとされるので、この３Ｄ顔特徴量によって、各３Ｄ局所領域における個々の特徴だけでなく、顔全体に亘っての特徴を表すことが可能となり（顔の大域形状情報を扱うことができ）、より高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、局所領域決定部によって、複数の３Ｄ局所領域が顔の左右対称となる位置に配置されるように全体３Ｄ形状における３Ｄ局所領域が決定される。このように、３Ｄ局所領域が顔の左右対称の位置に配置されるので、全体３Ｄ形状における３Ｄ局所領域の（位置の）決定が効率良く行えるようになり処理時間が短縮されるとともに、データの取り扱い性が向上する。

また、上記認証システムにおいて、局所領域決定部によって、複数の３Ｄ局所領域が少なくとも顔の鼻及び頬の部位が含まれるように全体３Ｄ形状における該３Ｄ局所領域が決定される。このように、少なくとも顔の鼻及び頬の部位が含まれるように全体３Ｄ形状における３Ｄ局所領域が決定されるので、当該３Ｄ局所領域を、例えば髪で隠れてしまう部位（例えば額）や計測し難い部位（例えば口髭を有する場合の口）を避けて設定することができて、この３Ｄ局所領域から精度良く３Ｄ顔特徴量を算出することができ、ひいては高精度の認証を行うことが可能となる。

また、上記認証システムにおいて、２次元特徴量算出部（２Ｄ特徴量抽出部１７ｂ）によって、特徴部位抽出部により抽出された特徴部位の情報から顔の２次元的な特徴量である２Ｄ顔特徴量が算出される。そして、特徴量比較部によって、２次元特徴量算出部により算出された２Ｄ顔特徴量と３次元特徴量算出部により算出された３Ｄ顔特徴量とを例えば重み付け和により併せてなる総合的な顔特徴量（多重類似度）と、比較用顔特徴量とが比較される。

また、上記認証方法において、第８の工程において、特徴部位の情報から顔の２次元的な特徴量である２Ｄ顔特徴量が算出され、第４の工程において、２Ｄ顔特徴量と３Ｄ顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較される。

これらのように認証システム又は認証方法では、顔の２Ｄ顔特徴量が算出され、この２Ｄ顔特徴量と３Ｄ顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較されるので、２Ｄ顔特徴量と３Ｄ顔特徴量とを用いたより高精度な認証を行うことが可能となる。

また、上記認証システムにおいて、３次元特徴量算出部によって、少なくとも顔の特徴部位以外の部位を含む３Ｄ局所領域における局所３Ｄ形状情報から３Ｄ顔特徴量が算出される。このように、少なくとも顔の特徴部位以外の部位を含む３Ｄ局所領域における局所３Ｄ形状情報から３Ｄ顔特徴量が算出されるので、２Ｄ顔特徴量と３Ｄ顔特徴量とを用いた認証（多重認証）を行うに際して、２Ｄ顔特徴量として特徴を抽出し難い特徴部位以外の部位の特徴を、３Ｄ顔特徴量として含むことができ、すなわち２Ｄ顔特徴量でカバーすることができない特徴量を３Ｄ顔特徴量でカバーすることができ、ひいてはより高精度な認証を行うことができる。

また、上記認証システムにおいて、２Ｄ顔特徴量を算出するための特徴部位の情報はテクスチャ情報であって、補正部（姿勢・光源補正部１５）によって、当該テクスチャ情報に対して、顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正である光源変動補正が行われる。これによれば、２Ｄ顔特徴量を算出するための特徴部位のテクスチャ情報に対して、顔の姿勢に関する補正である姿勢変動補正及び顔に対する光源の向きに関する補正が行われるので、姿勢変動補正及び光源変動補正がなされた補正テクスチャ情報に基づいて適正な２Ｄ顔特徴量を得ることができ、ひいてはより高精度な認証を行うことができる。

また、上記認証システムにおいて、３次元形状取得部において、少なくとも２つの撮影装置（カメラＣＡ１、ＣＡ２）によって顔の２Ｄ画像が撮影され、３次元形状算出部によって、当該各撮影装置から得られた２枚の２Ｄ画像から位相限定相関法による演算処理で得た対応点に対して３次元再構成を行うことによって全体３Ｄ形状が算出される。これによれば、少なくとも２つの撮影装置から得られた２枚の２Ｄ画像から位相限定相関法による演算によって全体３Ｄ形状が算出されるので、高価な３次元撮影装置等を用いることなく低コストで、且つ位相限定相関法により精度良く全体３Ｄ形状を算出することができる。

また、上記認証システムにおいて、３次元特徴量算出部により算出される３Ｄ顔特徴量がベクトル量（３Ｄ特徴ベクトル）とされ、記憶部（記憶部３）によって、該ベクトル量に対応する比較用顔特徴量（比較用特徴量）としての比較用ベクトル量（比較用の３Ｄ特徴ベクトル）が記憶されるので、すなわち比較用顔特徴量として記憶されるデータが、計測された所謂密な３Ｄ形状データ（３Ｄ顔密形状データ）でなくベクトル量となるので、記憶するデータ量を小さくすることができる（メモリ容量が少なくて済む）とともに、データの扱いが容易となる。

なお、上述の実施形態における認証システムおよび認証方法は、２Ｄ顔特徴量および３Ｄ顔特徴量に基づいて多重類似度が算出され、この多重類似度に基づいて顔照合或いは顔識別の認証判定が行われるように構成されたが、局所領域形状情報および大域領域形状情報に基づいて類似度が算出され、この類似度に基づいて顔照合或いは顔識別の認証判定が行われるように構成されてもよい。

図１６は、他のコントローラが備える顔認証の機能を説明するための機能ブロック図である。図１７は、図１６に示す認証システムの動作の一例を示すフローチャートである。

本実施形態の認証システムは、図１ないし図３に示す認証システム１におけるコントローラ１０に代え、図１６に示すコントローラ３０を備える点で、図１ないし図３に示す認証システム１と異なる。したがって、図１に示すような認証システムの概略構成や図２に示すようなコントローラの全体的な構成については、その説明を省略し、以下、このコントローラ３０の機能ブロックについて説明する。

図１６において、コントローラ３０は、機能的に、画像入力部３１と、顔領域検出部３２と、顔部位検出部３３と、顔部位３Ｄ計算部３４と、顔領域３Ｄ計算部３５と、３次元局所領域抽出部（３Ｄ局所領域抽出部）３６と、局所領域情報計算部３８と、大域領域情報計算部３７と、類似度計算部３９と、登録データ記憶部４０と、総合判定部４１とを備えて構成されている。

これら画像入力部３１（第１および第２画像入力部３１ａ、３１ｂ）、顔領域検出部３２（第１および第２顔領域検出部３２ａ、３２ｂ）、顔部位検出部３３（第１および第２顔部位検出部３３ａ、３３ｂ）、顔部位３Ｄ計算部３４および顔領域３Ｄ計算部３５は、図３に示す画像入力部１１（第１および第２画像入力部１１ａ、１１ｂ）、顔領域検出部１２（第１および第２顔領域検出部１２ａ、１２ｂ）、顔部位検出部１３（第１および第２顔部位検出部１３ａ、１３ｂ）、顔部位３Ｄ計算部１４および顔領域３Ｄ計算部１８とそれぞれ同様であるので、その説明を省略する。

３Ｄ局所領域抽出部３６は、顔領域３Ｄ計算部３５によって算出された３Ｄ顔密形状データと顔部位３Ｄ計算部３４によって算出された３Ｄ顔部位形状データ（特徴部位）とから３次元局所領域を抽出（算出）するものである。すなわち、３Ｄ局所領域抽出部３６は、図３に示す３次元認証部１９の３Ｄ局所パッチ抽出部１９ａと同様であり、３Ｄ顔密形状データと、３Ｄ顔部位形状データ（特徴部位）とから３次元的な局所パッチ領域を抽出（算出）するものである。したがって、この３次元的な局所パッチ領域の抽出方法は、上述したように、例えば、平面内に設定された所定形状の部分領域に垂線を降ろすことによって対応する３Ｄ顔密形状データの領域を局所パッチ領域として抽出する方法、参照用のモデル形状に最も類似する３Ｄ顔密形状データの領域を局所パッチ領域として抽出する方法、２次元画像上に予め定義された領域に含まれる３Ｄ顔密形状データの領域を局所パッチ領域として決定する方法、平均の顔より算出された標準モデルの形状と交差判定を行うことによって局所パッチ領域を決定する方法、および、平均の顔より算出された標準モデルの形状と領域判定を行うことによって局所パッチ領域を決定する方法等を採用することができる。

局所領域情報計算部３７は、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）単体の情報から局所領域情報を抽出（算出）するものである。本実施形態では、局所領域情報計算部３７は、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）単体の情報から、顔の特徴部位における３次元特有な特徴量（局所３Ｄ顔特徴量）を抽出するものである。この局所３Ｄ顔特徴量の抽出方法は、例えば、上述の図３に示す３次元認証部１９の３Ｄ特徴量抽出部１９ｂにおける抽出方法と同様の抽出方法を採用することができる。すなわち、局所３Ｄ顔特徴量の抽出方法は、例えば、局所パッチ領域の曲面内に在る複数の点における曲率を局所３Ｄ顔特徴量として抽出する方法、および、局所パッチ領域の形状に近似された曲面の形状情報（曲面情報）を局所３Ｄ顔特徴量として抽出する方法を採用することができる。

また例えば、標準モデルを用いて局所パッチ領域ごとに位置合わせを行った後の標準モデルと局所パッチ領域との距離を局所３Ｄ顔特徴量として抽出する方法も採用することができる。より具体的には、まず、３Ｄ局所領域抽出部３６で用いた標準局所領域モデル上に予め定義してある複数（Ｎ_ｈ個）から成る標準局所モデルの定義点Ｈに対応する局所パッチ領域における対応点Ｓ’（Ｓ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））が取得される。次に、標準モデルの複数の点Ｈとこれらに対応する局所パッチ領域の複数の点Ｓ’との距離ｄ（ｈ_ｊ、ｓ_ｉ）がそれぞれ求められる。そして、それら複数の距離ｄ（ｈ_ｊ、ｓ_ｉ）を３Ｄ特徴ベクトルとして算出することによって局所３Ｄ顔特徴量として抽出することができる。

大域領域情報計算部３８は、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）の情報から大域領域形状情報を抽出（算出）するものである。本実施形態では、大域領域情報計算部３８は、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）の情報から、顔全体における３次元特有な特徴量（大域３Ｄ顔特徴量）を抽出（算出）するものである。

大域領域形状情報は、局所領域形状情報に対する語であって、認証対象者における顔全体の３次元的な形状の特徴量である。大域領域形状情報は、例えば、＜１＞顔の３次元局所領域に基づいて算出される。また例えば、大域領域形状情報は、＜２＞顔全体の形状に基づいて算出される。また例えば、大域領域形状情報は、＜３＞顔の３次元特徴点に基づいて算出される。以下、＜１＞〜＜３＞の各場合についてより具体的に説明する。

＜１＞顔の３次元局所領域に基づく算出方法
この顔の局所パッチ領域に基づいて大域３Ｄ顔特徴量を算出する算出方法としては、例えば、以下の＜１−１＞および＜１−２＞が挙げられる。

＜１−１＞
大域３Ｄ顔特徴量は、局所パッチ領域の重心に基づいて算出される。すなわち、まず、複数（Ｎｈ個）の局所パッチ領域のそれぞれについて重心が算出される。次に、これら算出された複数の重心Ｓ（Ｓ＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））と、登録されている複数の重心Ｔ（Ｔ＝（ｔ_１、ｔ_２、・・・、ｔ_Ｎｈ））とについて、対応する重心Ｓ、Ｔ間の距離ｄ（ｔ_ｊ、ｓ_ｊ）がそれぞれ算出される。そして、これら算出された複数の距離の平均が大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１２）。

＜１−２＞
また、大域３Ｄ顔特徴量は、局所パッチ領域の法線に基づいて算出される。より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、ＲＴレジストレーションによって、比較する局所パッチ領域同士の位置合わせがより高精度に行われる。これによって対応点が再度計算することによって求められる。この求められたＮ_Ｓ個の対応点ごとに法線が求められ、式１３によって大域３Ｄ顔特徴量ｄｉｓｔｂが求められる。

＜ＳＲＴフィッティング＞
ＳＲＴフィッティングは、測定データにおける特徴点を標準モデルの特徴点に位置合わせする処理である。ＳＲＴフィッティングは、標準モデルの特徴点と測定データの特徴点との距離エネルギーが最小になるように、式１４・１、式１４・２によって標準モデルデータをアフィン変換する処理である。

ここで、Ｐ_ｎｅｗは、変換後の３次元点であり、Ｍは、３行４列の変換行列であり、Ｐ_ｏｌｄは、変換前の３次元点である。また、Ｍ_ｋは、標準モデルの特徴点であり、Ｃ_ｋは、計測データの特徴点であり、ｋは、特徴点の個数であり、ｆ（Ｍ_ｋ、Ｃ_ｋ）は、標準モデルの特徴点と測定データの特徴点との距離エネルギーである。

ＳＲＴフィッティングでは、距離エネルギーを最小とする変換行列が例えば最小二乗法によって求められ、変換後の標準モデルデータの位置が求められる。また、標準モデルの射影中心点も位置変換される。

＜ＲＴレジストレーション＞
ＲＴレジストレーションは、複数（Ｎ_ｍ個）の点から成る第１測定データＴ（Ｔ＝｛ｔ_ｉ｜ｉ∈Ｎ_ｔ｝と、第１測定データＭの個数とは異なる複数（Ｎ_ｓ個）の点から成る第２測定データＳ（Ｓ＝｛ｓ_ｉ｜ｓ∈Ｎ_ｓ｝とにおいて、選択された標準モデルＮ_ｈ個から成る標準モデルの点群Ｈと対応する対応点群Ｓ’（Ｓ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））とＴ’（Ｔ’＝（ｔ_１、ｔ_２、・・・、ｔ_Ｎｈ））を求める。

２つの点群のレジストレーションは、ｍ_ｉ＝ＲＲｓ_ｉ＋ＴＴとなる回転行列ＲＲおよび並進ベクトルＲＴを求める。

まず、対応点群Ｓ’、Ｔ’を用いて共分散行列Ｂが算出される。共分散行列Ｂは、式１５・１によって与えられる。

ここで、行列Ａは、式１５・２である。

ここで、ｓ’は、ｓ’＝（ｓ_ｘ’、ｓ_ｙ’、ｓ_ｚ’）であり、測定点の３次元座標を表しており、ｔ’も同様である。

この共分散行列Ｂの対称行列から例えばヤコビ法によって固有値分解が行われ、固有値と固有ベクトルとが算出される。

この算出された固有値λ_ｊ（λ_１≧・・・≧λ_ｊ≧・・・≧λ_ｋ）の中から最小の固有値が求められ、この最小の固有値に対応する固有ベクトルが求められ、この求められた固有ベクトルによって構成される行列［φ_１、φ_２、・・・、φ_ｋ］が選択され、そして、回転行列ＲＲと並進ベクトルＲＴとが算出される。

＜２＞顔全体の形状に基づく算出方法
この顔全体に基づいて大域領域形状情報を算出する算出方法としては、例えば、以下の＜２−１＞〜＜２−６＞が挙げられる。

＜２−１＞
大域３Ｄ顔特徴量は、標準モデルに対して抽出した局所パッチ領域を用いることによってＳＲＴフィッティングが行われ、ＳＲＴフィッティングの変形Ｓ、移動Ｔおよび回転Ｒの各パラメータのうちの変形パラメータＳとされる。

変形パラメータＳは、局所パッチ領域の形状に標準モデル上の定義点と局所パッチ領域上の特徴点とをフィッティングするように標準モデルの形状を変形するためのパラメータである。変形パラメータＳは、ＳＲＴフィッティングに使用される特徴点が略正確に顔の特徴点と一致していれば、同一人物の顔の大きさ（横幅、縦幅および奥行き等）が不変であることから、個人を表していると考えられる。また、変形パラメータＳは、例えば、倍率や露出等の撮影条件が変わっても、同一値が算出される。また、変形パラメータＳは、全ての局所パッチ領域を用いなくてもよい。つまり安定して得られる鼻を含む複数の局所パッチ領域を纏めてＳＲＴフィッティングを行って求めるようにしてもよい。

＜２−２＞
大域３Ｄ顔特徴量は、各局所パッチ領域について、標準モデルにおける予め定義された複数の点とこれら標準モデルの複数の点にそれぞれ対応する局所パッチ領域上の複数の測定点とのそれぞれについて距離を求め、それらの距離の平均値を求めることによって与えられる。

より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、選択された標準モデル上に予め定義された複数（Ｎ_ｈ個）の点群Ｈ（Ｈ＝（ｈ_１、ｈ_２、・・・、ｈ_Ｎｈ））に対応する局所パッチ領域上の複数の測定点の点群Ｓ’（Ｓ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））が取得される。次に、標準モデルの複数の点群Ｈとこれらに対応する局所パッチ領域の複数の点群Ｓとの距離ｄ（ｈ_ｊ、ｓ_ｉ）がそれぞれ求められる。そして、それら複数の距離ｄ（ｈ_ｊ、ｓ_ｉ）の平均値が大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１２参照）。ＳＲＴフィッティングによって略正確に位置合わせされていれば、対応点Ｓ’は、対象者ごとに同じ点が与えられる。

＜２−３＞
大域３Ｄ顔特徴量は、各局所パッチ領域について、標準モデルにおける予め定義された複数の点が局所パッチ領域上にそれぞれ投影され、標準モデルより投影された投影点と同様に処理された登録データの投影点とのそれぞれについて距離を求め、それらの距離の平均値を求めることによって与えられる。

より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、選択された標準モデルにおける予め定義された複数（Ｎ_ｈ個）の点群Ｈ（Ｈ＝（ｈ_１、ｈ_２、・・・、ｈ_Ｎｈ））を局所パッチ領域上に投影することによって局所パッチ領域上の複数の投影点群Ｓ’（Ｓ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））が取得される。次に、選択された標準モデルに同様の処理を行った複数（Ｎ_ｈ個）の登録データの点Ｔとこれに対応する局所パッチ領域上の複数の投影点Ｓ’との距離ｄ（ｔ_ｊ、ｓ_ｉ）がそれぞれ求められる。そして、それら複数の距離ｄ（ｔ_ｊ、ｓ_ｉ）の平均値が大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１２参照）。ＳＲＴフィッティングによって略正確に位置合わせされていれば、対応点Ｓ’は、対象者ごとに同じ点が与えられる。

＜２−４＞
大域３Ｄ顔特徴量は、各局所パッチ領域について、比較する局所パッチ領域（測定データと登録データ）間における互いに対応する点間の距離の平均値を求めることによって与えられる。

より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、ＲＴレジストレーションによって、比較する局所パッチ領域間の位置合わせがより高精度に行われる。次に、このＲＴレジストレーションに用いたＮ_ｈ個から成る測定点群Ｓ’（Ｓ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））と登録点群Ｔ’（Ｔ’＝（ｓ_１、ｓ_２、・・・、ｓ_Ｎｈ））との間における互いに対応する点間の距離が求められる。次に、これら複数の距離ｄ（ｓ_ｊ、ｔ_ｊ）の平均値が大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１６）。

＜２−５＞
大域３Ｄ顔特徴量は、各局所パッチ領域について、比較する局所パッチ領域間における互いに対応する点間の平均値を求めることによって与えられる。

より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、ＲＴレジストレーションによって、比較する局所パッチ領域間の位置合わせがより高精度に行われる。そして、位置合わせ後のＮ_ｈ個の点から成る登録点群Ｔ＝｛ｔ_ｉ｜ｔ∈Ｎ_ｔ｝と、このＮ_ｈと異なるＮ_ｓ個の点から成る測定点群Ｓ＝｛ｓ_ｉ｜ｓ∈Ｎ_ｓ｝との対応点が再計算される。点群Ｓの各点ｓ_ｉにおいて点群Ｔとの距離は、ｄ（ｓ_ｉ，Ｔ）＝ｍｉｎｄ（ｓ_ｉ，ｔ_ｊ）＝ｄ（ｓ_ｉ，ｍ_ｉ）となる。ここで、「ｍｉｎｄ（ｓ_ｉ，ｔ_ｊ）」は、ｊ∈１、・・・、Ｎ_ｔにおけるｄ（ｓ_ｉ，ｔ_ｊ）について最小値を求めることである。ｓ_ｉに対応する点をｍ_ｉ∈Ｔとすると、ｓ_ｉの対応点集群Ｍは、Ｍ＝Ｃ（Ｓ、Ｔ）（Ｃは、最近傍点を求める関数）となる。すなわち、測定データの点群Ｓと測定データの点群Ｔにおいて、点群Ｓの点ｓ_ｉに対して点群Ｔの点ｔ_ｊの中から最近傍に存在する点を求め、対応点集群Ｍとする。次に、これら求めた対応点集群Ｍの点ｍ_ｉとこれに対応する点群Ｓの点ｓ_ｉとの間の距離ｄ（ｓ_ｉ、ｍ_ｉ）が求められる。次に、これら複数の距離ｄ（ｓ_ｉ、ｍ_ｉ）の平均値が大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１７）。

＜２−６＞
大域３Ｄ顔特徴量は、各局所パッチ領域について、比較する局所パッチ領域間における互いに対応する点間の分散値を求めることによって与えられる。

より具体的には、まず、ＳＲＴフィッティングによって標準モデルと局所パッチ領域との位置合わせが行われる。次に、ＲＴレジストレーションによって、比較する局所パッチ領域間の位置合わせがより高精度に行われる。そして、位置合わせ後のＮ_ｈ個の点から成る登録点群Ｔ＝｛ｔ_ｉ｜ｔ∈Ｎ_ｔ｝と、このＮ_ｈと異なるＮ_ｓ個の点から成る測定点群Ｓ＝｛ｓ_ｉ｜ｓ∈Ｎ_ｓ｝との対応点が再計算される。そして、点群Ｓの各点ｓ_ｉと点群Ｔの各点ｔ_ｊの分散値Ｓｉｇｍａが大域３Ｄ顔特徴量ｄｉｓｔｂとして求められる（式１８）。

なお、これら顔全体の形状に基づく算出方法において、局所パッチ領域においては、データ量を密なデータ群とし、それ以外の領域においては粗なデータ群として、大域領域形状情報の比較が行われてもよい。

＜３＞顔の３次元特徴点に基づく算出方法
大域３Ｄ顔特徴量は、局所パッチ領域に定義されたライン（特徴抽出ライン）に基づいて算出される。より具体的には、予め設定された所定の局所パッチ領域にライン（特徴抽出ライン）が定義される。特徴抽出ラインは、例えば、３Ｄ顔部位形状データにおける複数の特徴点から定義される。特徴抽出ラインは、認証精度をより高めるべく、顔の３Ｄ形状の特徴がよく現れる部分に定義されることが望ましい。例えば、特徴抽出ラインは、例えば鼻を横断するような顔の凹凸の起伏を含むラインである。次に、この局所パッチ領域に定義された特徴抽出ラインが３Ｄ顔密形状データへ投影され、この局所パッチ領域に定義された特徴抽出ライン上の複数の点に対応する３Ｄ顔密形状データ上の複数の点がそれぞれ求められ、これら点群が大域３Ｄ顔特徴量とされる。なお、この局所パッチ領域に定義された特徴抽出ライン上の点に対応する３Ｄ顔密形状データ上の点が存在しない場合には、３Ｄ顔密形状データ上におけるその近傍の複数の点より補間によって求められる。

なお、特徴抽出ラインは、認証精度をより高めるべく、局所パッチ領域から局所パッチ領域外へ延長されてもよい。また、特徴抽出ラインは、認証精度をより高めるべく、複数の局所パッチ領域のそれぞれに定義され、それぞれの特徴抽出ラインから３Ｄ顔密形状データ上の複数の点群が求められ、これら複数の点群が大域３Ｄ顔特徴量とされてもよい。また、特徴抽出ライン上の複数の点は、等間隔でもよく、不等間隔であってもよい。

類似度計算部３９は、図３に示す類似度計算部２０と同様に、予め登録された比較対象者の特徴量（比較用特徴量）と、上述で算出された認証対象者ＨＭの局所領域形状情報および大域領域形状情報に基づいて類似度を算出することによって類似性の評価を行うものである。類似度の算出は、局所領域形状情報および大域領域形状情報のそれぞれについて局所情報類似度Ｄ^ｓｌおよび大域情報類似度Ｄ^ｓｂとして算出され、類似度Ｄ_ｉｊは、互いに対応するベクトル（３Ｄ特徴ベクトルｄ^Ｓ）同士間のユークリッド距離の合計を算出することにより得ることができる（式１０参照）。

登録データ記憶部４０は、類似度計算部３９で局所情報類似度Ｄ^ｓｌおよび大域情報類似度Ｄ^ｓｂを計算するために、図３に示す登録データ記憶部２１と同様に、予め用意された比較対象者の特徴量（比較用顔特徴量）の情報を記憶しておくものである。

総合判定部４１は、局所情報類似度Ｄ^ｓｌと大域領域形状情報Ｄ^ｓｂとのそれぞれに重み付けＷ、１−Ｗを行って、その和を多重類似度Ｒｅとして求め（Ｒｅ＝ＷＤ^ｓｌ _ij＋（１−Ｗ）Ｄ^ｓｂ _ij）、この多重類似度Ｒｅに基づいて認証判定を行うものである。認証判定は、上述したように、顔照合の場合および顔識別の場合がある。

なお、総合判定部４１は、まず局所情報類似度Ｄ^ｓｌに基づいて判定を行って、その判定結果で類似度の差が閾値以上である場合には他人と判定し、類似度の差が閾値未満である場合のみに大域情報類似度Ｄ^ｓｂに基づいて判定を行ってもよい。

図１７において、大域領域形状情報を用いた顔認証では、先ず、カメラＣＡ１及びＣＡ２それぞれによる撮影によって認証対象者ＨＭの顔画像が取得される（ステップＳ３１）。次に、当該撮影により得られた２枚の顔画像がコントローラ３０（画像入力部３１）に入力される（ステップＳ３２）。次に、顔領域検出部３２によって、画像入力部３１に入力された各顔画像から顔領域画像が検出される（ステップＳ３３）。この検出された顔領域画像から、顔部位検出部３３によって、顔の特徴部位すなわち特徴点の座標が検出される（ステップＳ３４）。そして、顔部位３Ｄ計算部３４によって、顔部位検出部３３により検出された顔の特徴部位の座標（特徴点の座標）から該各特徴部位の３次元における座標（３Ｄ顔部位形状データ）が算出される（ステップＳ３５）。

一方、顔領域３Ｄ計算部３５によって、顔領域検出部３２により検出された顔領域画像（ステレオ画像）から、複数の２Ｄ点からなる３Ｄ顔密形状データが算出される（ステップＳ３６）。次に、３Ｄ局所領域抽出部３６によって、顔領域３Ｄ計算部３５により算出された３Ｄ顔密形状データと、上記ステップＳ３５おいて顔部位３Ｄ計算部３４により算出された３Ｄ顔部位形状データとから３次元的な局所領域（局所パッチ領域）が算出される（ステップＳ３７）。次に、局所領域情報計算部３７によって、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）単体の情報から局所領域情報、本実施形態では３Ｄ顔特徴量が算出される（ステップ３８）。次に、大域領域情報計算部３８によって、３Ｄ局所領域抽出部３６によって抽出された３次元局所領域（局所パッチ領域）の情報から大域領域形状情報、本実施形態では大域３Ｄ顔特徴量が算出される（ステップ３９）。次に、類似度計算部３９によって、予め登録された比較対象者の特徴量（比較用特徴量）と、上記ステップＳ３８及びＳ３９において算出された局所領域形状情報および大域領域形状情報との類似性の評価が行われる（ステップＳ４０）。そして、多重類似度Ｒｅに基づいて、総合判定部４１によって、顔照合或いは顔識別の認証判定が行われる（ステップＳ４１）。

局所領域単体ごとに位置合わせ等の手法によって形状の一致度を比較する場合では、局所領域間の形状が比較される。したがって、局所領域の形状一致精度が高ければ、局所領域間の相対的な位置関係が大きく異なっている場合でも誤差が小さくなるので、他人間の誤差も小さくなる結果、認証精度が低下することになる。そのため、複数の局所領域を１つの大域領域とし、位置合わせ等の手法によって形状の一致度を比較する場合では、局所領域ごとの形状比較に加えて、局所領域間の相対的な位置関係の情報も含まれることから認証精度の向上が見込まれる。ここで、例えば、特開２００７−１６４６７０号公報などのＩＣＰアルゴリズムによる３次元顔認証方法は、この点から有効な手法であるが、ＩＣＰアルゴリズムは、実際には、その処理時間と特徴量化との点で困難であった。上記本実施形態では、顔の大域領域の形状情報を局所領域に分割し、大域領域形状情報と局所領域形状情報とに分離しているため、データ量の削減と処理時間の短縮化が図られている。そして、大域領域形状情報も用いているため、より高精度に認証を行うことが可能となる。

なお、本実施形態は、以下の態様をとることができる。

（Ａ）局所パッチ抽出用平面Ｔ上に設定する領域は、矩形領域Ｓのように矩形でなくともよく、要は、局所パッチ抽出用平面Ｔにおける部分的な領域（部分領域）であれば、形状は、任意でよい。また、特徴部位の形状も矩形でなくともよく、任意な形状でよい。

（Ｂ）矩形領域Ｓから局所パッチ領域を決定する方法は、上述のように局所パッチ抽出用平面Ｔに垂直に降ろした垂線が（垂線の足が）矩形領域Ｓの中に入る３Ｄ点とする方法に限定されず、種々の方法が採用可能である。例えば３Ｄ点から局所パッチ抽出用平面Ｔに垂直に降ろさずに、該平面Ｔに対して所定の角度で降ろしてもよい。また例えば、矩形領域Ｓから所定の方向に仮想の例えば放射状の線を出して、この線と交差（当接）する３Ｄ形状上の範囲を局所パッチ領域とする方法であってもよい。

（Ｃ）認証システム１は、図１に示すようにコントローラ１０とカメラＣＡ１、ＣＡ２とに分離された構成でなくてもよい。例えばコントローラ１０内に直接、各カメラが内蔵された構成であってもよい。ただしこの場合、各カメラは、互いに異なる角度で認証対象者ＨＭを撮影できるような配置で内蔵されている。

本明細書は、上記のように様々な技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる認証システムは、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得部と、前記３次元形状取得部により取得された全体３次元形状情報と、予め用意された参照用３次元部分モデル形状上に定義された局所領域情報とを同一空間上に変換する同一空間変換部を備え、該同一空間変換部により変換された同一空間における前記全体３次元形状と、前記参照用３次元部分モデル形状との包含関係を比較することによって、前記全体３次元形状における局所的な領域である複数の３次元局所領域を決定する局所領域決定部と、前記局所領域決定部により決定された３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出部と、前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較部とを備える。

上記構成によれば、局所領域決定部によって、認証対象者の局所的な領域である複数の３次元局所領域が決定される。これら複数の３次元局所領域は、例えば、３次元形状取得部によって、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報が取得され、局所領域決定部によって、３次元形状取得部により取得された全体３次元形状情報から、該全体３次元形状における局所的な領域であるこれら複数の３次元局所領域が決定される。３次元特徴量算出部によって、局所領域決定部により決定された３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、顔の３次元的な特徴量である３次元顔特徴量が算出される。そして、特徴量比較部によって、認証対象者に対する認証動作を行うべく３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とが比較される。

したがって、この認証システムによれば、顔の全体３次元形状の情報をそのまま用いるのではなく、認証対象者の顔の全体３次元形状から選定された複数の３次元局所領域における局所３次元形状情報に基づいて認証動作が行われるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分を除く他の局所領域の情報を用いて認証を行うことができるから、認証精度の低下を軽減することができる。また、データ量の多い全体３次元形状の情報をそのまま扱わなくてもよく、局所領域の部分的な３次元形状データを扱えばよいので、処理に時間が短所され、認証速度の向上が可能となる。

また、他の態様にかかる認証システムでは、前記局所領域決定部は、前記参照用３次元部分モデル上の３次元面と、前記全体３次元形状の３次元面との包含関係を比較することによって、前記３次元局所領域として決定する。

また、他の態様にかかる認証システムでは、前記局所領域決定部は、前記参照用３次元部分モデル上の３次元面と、前記全体３次元形状の３次元座標点との包含関係を比較することによって、前記３次元局所領域として決定する。

また、他の態様にかかる認証システムでは、前記局所領域決定部は、前記参照用３次元部分モデル上の３次元座標点と、前記全体３次元形状の３次元面との包含関係を比較することによって、前記３次元局所領域として決定する。

また、他の態様にかかる認証システムは、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得部と、前記３次元形状取得部により取得された全体３次元形状情報から、該全体３次元形状における局所的な領域である複数の３次元局所領域を決定し、前記３次元局所領域を密なデータとし、前記３次元局所領域以外と決定された３次元局所外領域を疎なデータとして保持する局所領域決定部と、前記局所領域決定部により決定された３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出部と、前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較部とを備える。

上記構成にとれば、局所領域決定部が、全体３次元形状と、予め用意された参照用３次元部分モデル形状上に定義された局所領域情報を同一空間上に変換する同一空間変換部を備えるものとされ、この同一空間変換部によって、この変換された同一空間における全体３次元形状と参照用３次元部分モデル形状との包含関係が比較され、その比較結果に応じて３次元局所領域が決定される。したがって、この認証システムによれば、容易に全体３次元形状における３次元局所領域が決定され得る。

また、他の態様にかかる認証システムでは、前記３次元特徴量算出部は、前記３次元局所領域から局所３次元形状情報を算出したものを前記局所領域形状情報として算出する。

また、他の態様にかかる認証システムでは、前記３次元特徴量算出部は、前記３次元局所領域における局所３次元形状情報を所定の曲面情報に変換したものを前記局所領域形状情報として算出する。

また、他の態様にかかる認証システムでは、前記３次元特徴量算出部は、前記３次元局所領域における局所３次元形状情報を標準モデル上に定義された定義点と３次元局所領域の対応点の距離情報をベクトルに変換したものを前記局所領域形状情報として算出する。

上記構成によれば、３次元特徴量算出部によって、３次元局所領域から局所３次元形状情報を算出したものが局所領域形状情報として算出される。例えば、３次元特徴量算出部によって、３次元局所領域における局所３次元形状情報が所定の曲面情報に変換されたものが局所領域形状情報として算出される。また例えば、３次元特徴量算出部によって、３次元局所領域における局所３次元形状情報を標準モデル上に定義された定義点と３次元局所領域の対応点の距離情報をベクトルに変換したものが局所領域形状情報として算出される。

したがって、この認証システムによれば、３次元形状情報がそのまま用いられるのではなく、３次元局所領域から局所３次元形状情報を算出したもの、例えば、局所３次元形状情報を変換して曲面情報（例えば曲率）として扱う構成であるから、次元圧縮が可能となり、処理が高速となる。

また、他の態様にかかる認証システムでは、前記３次元特徴量算出部は、前記３次元顔特徴量として、３次元局所領域同士の位置関係の情報も含む３次元顔特徴量を算出する。

上記構成によれば、３次元特徴量算出部によって、３次元顔特徴量として、各３次元局所領域の相対位置関係の情報も含む３次元顔特徴量が算出される。

したがって、この認証システムによれば、この３次元顔特徴量によって、各３次元局所領域における個々の特徴だけでなく、顔全体に亘っての特徴を表すことが可能となり（顔の大域形状情報を扱うことができ）、より高精度の認証を行うことが可能となる。

また、他の態様にかかる認証システムでは、前記局所領域決定部は、前記複数の３次元局所領域が前記顔の左右対称となる位置に配置されるように前記全体３次元形状における３次元局所領域を決定する。

上記構成によれば、局所領域決定部によって、複数の３次元局所領域が顔の左右対称となる位置に配置されるように全体３次元形状における３次元局所領域が決定される。

したがって、この認証システムによれば、全体３次元形状における３次元局所領域の（位置の）決定が効率良く行えるようになって、処理時間が短縮されるとともに、データの取り扱い性が向上する。

また、他の態様にかかる認証システムでは、前記局所領域決定部は、前記複数の３次元局所領域が少なくとも前記顔の鼻及び頬の部位を含むように前記全体３次元形状における該３次元局所領域を決定する。

上記構成によれば、局所領域決定部によって、複数の３次元局所領域が少なくとも顔の鼻及び頬の部位が含まれるように全体３次元形状における該３次元局所領域が決定される。

したがって、この認証システムによれば、当該３次元局所領域を、例えば髪で隠れてしまう部位（例えば額）や計測し難い部位（例えば口髭を有する場合の口）を避けて設定することができるから、この３次元局所領域から精度良く３次元顔特徴量を算出することができ、ひいては高精度の認証を行うことが可能となる。

また、他の態様にかかる認証システムでは、前記３次元形状取得部は、前記顔の２次元画像を撮影する少なくとも２つの撮影装置と、当該各撮影装置から得られた２枚の２次元画像から、位相限定相関法による演算によって高精度な対応点検索処理を行い、３次元再構成を行うことで、前記全体３次元形状を算出する３次元形状算出部とを備える。

上記構成によれば、３次元形状取得部において、少なくとも２つの撮影装置によって顔の２次元画像が撮影され、３次元形状算出部によって、当該各撮影装置から得られた２枚の２次元画像から位相限定相関法による演算によって高精度な対応点検索処理が行われ、３次元再構成が行われることで、全体３次元形状が算出される。

したがって、この認証システムによれば、高価な３次元撮影装置等を用いることなく低コストで、且つ位相限定相関法によって精度良く全体３次元形状を算出することが可能となる。

また、他の態様にかかる認証システムでは、前記３次元特徴量算出部により算出される３次元顔特徴量はベクトル量であって、該ベクトル量に対応する前記比較用顔特徴量としての比較用ベクトル量を記憶する記憶部をさらに備える。

上記構成によれば、３次元特徴量算出部により算出される３次元顔特徴量は、ベクトル量であって、記憶部によって、該ベクトル量に対応する比較用顔特徴量としての比較用ベクトル量が記憶される。

したがって、この認証システムによれば、記憶部によって比較用顔特徴量として記憶されるデータが、計測された所謂密な３次元形状データでなく、ベクトル量となるから、記憶するデータ量を小さくすることができる（メモリ容量が少なくて済む）とともに、データの扱いが容易となる。

また、他の態様にかかる認証システムでは、前記局所領域決定部により決定された３次元局所領域に基づいて、前記全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出する大域３次元特徴量算出部をさらに備え、前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく前記大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較する。

上記構成によれば、大域３次元特徴量算出部によって、局所領域決定部により決定された３次元局所領域に基づいて、全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、顔の３次元的な特徴量である大域３次元顔特徴量が算出され、そして、特徴量比較部によって、認証対象者に対する認証動作を行うべく大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とが比較される。

また、他の態様にかかる認証システムでは、前記局所領域決定部により決定された３次元局所領域の情報に基づいて、前記全体３次元形状における大域的な情報である、前記顔の大域３次元顔特徴量を算出する大域３次元顔特徴量算出部をさらに備え、前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく前記大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較する。

上記構成によれば、大域３次元特徴量算出部によって、局所領域決定部により決定された３次元局所領域の情報に基づいて、全体３次元形状における大域的な情報である、顔の大域３次元顔特徴量が算出され、そして、特徴量比較部によって、認証対象者に対する認証動作を行うべく大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とが比較される。

また、他の態様にかかる認証システムは、前記大域３次元顔特徴量算出部は、前記局所領域決定部により決定された３次元局所領域上に定義した３次元特徴点情報に基づいて、前記全体３次元形状における大域的な情報である、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出する。

また、他の態様にかかる認証システムでは、前記大域３次元特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した標準モデルの変形パラメータの情報を抽出する。

また、他の態様にかかる認証システムでは、前記大域３次元特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した３次元局所標準モデルと３次元局所領域との距離情報を抽出する。

また、他の態様にかかる認証システムでは、前記大域３次元特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した前記３次元局所領域同士の距離情報を抽出する。

上記構成によれば、大域３次元特徴量算出部によって、局所領域決定部により決定された３次元局所領域上に定義した３次元特徴点情報に基づいて、全体３次元形状における大域的な情報である、顔の３次元的な特徴量である大域３次元顔特徴量が算出される。ここで、例えば、大域３次元特徴量算出部によって、３次元局所領域上に定義した３次元特徴点情報に基づいて算出した標準モデルの変形パラメータの情報が抽出される。また例えば、大域３次元特徴量算出部によって、３次元局所領域上に定義した３次元特徴点情報に基づいて算出した３次元局所標準モデルと３次元局所領域との距離情報が抽出される。また例えば、大域３次元特徴量算出部によって、３次元局所領域上に定義した３次元特徴点情報に基づいて算出した前記３次元局所領域同士の距離情報が抽出される。そして、特徴量比較部によって、認証対象者に対する認証動作を行うべく大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とが比較される。

また、他の態様にかかる認証システムでは、前記局所領域決定部により決定する３次元局所領域をライン状に抽出し、抽出されたライン状の３次元局所領域に基づいて、前記全体３次元形状における大域的な領域である、３次元大域領域の形状ベクトルとして大域３次元局顔特徴量を算出する大域３次元特徴量算出部をさらに備える。

上記構成によれば、大域３次元特徴量算出部によって、局所領域決定部により決定する３次元局所領域がライン状に抽出され、この抽出されたライン状の３次元局所領域に基づいて、全体３次元形状における大域的な領域である、３次元大域領域の形状ベクトルとして大域３次元局顔特徴量が算出される。そして、特徴量比較部によって、認証対象者に対する認証動作を行うべく大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とが比較される。

したがって、これら認証システムによれば、顔認証において、大域３次元顔特徴量を用いるので、認証精度がより向上させることが可能となる。また、大域領域形状情報は、いわゆるデータ圧縮技術によって圧縮することが可能であり、データ量を低減することが可能である。また、大域３次元顔特徴量が３次元局所領域に基づいて算出されるので、３次元局所領域特有の大域情報を算出することが可能となる。また、３次元局所領域のデータは、顔全体の３次元形状データより少なく、データ量が低減されている。また、特に、３次元局所領域が特徴部位の３次元座標に基づいて決定される場合では、全体の３次元形状データから顔部位の特徴点間における大域的な情報のみを選択することが可能となる。

また、他の態様にかかる認証システムでは、前記大域３次元特徴量算出部は、前記大域３次元顔特徴量として前記３次元局所領域に関する重心の情報を算出する。

したがって、この認証システムによれば、全体の３次元形状データから算出することが困難な重心の情報が算出され、３次元局所領域に特有な大域３次元顔特徴量を算出することが可能となる。

また、他の態様にかかる認証システムでは、前記大域３次元特徴量算出部は、前記大域３次元顔特徴量として前記３次元局所領域に関する法線の情報を算出する。

したがって、この認証システムによれば、全体の３次元形状データから算出することが困難な法線の情報が算出され、３次元局所領域に特有な大域３次元顔特徴量を算出することが可能となる。

また、他の態様にかかる認証システムでは、前記特徴量比較部は、前記大域３次元顔特徴量と前記比較用大域顔特徴量との比較結果に応じて、前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する。

したがって、この認証システムによれば、大域３次元顔特徴量と前記比較用大域顔特徴量との比較結果に応じて、例えば、比較結果が大域３次元顔特徴量と前記比較用大域顔特徴量とが異なることを示している場合に、３次元顔特徴量と比較用顔特徴量との比較が省略可能となり、認証の処理時間が短縮され、より高速に認証が可能となる。

また、他の態様にかかる認証システムでは、前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく、前記大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較した大域比較結果、および、前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較した局所比較結果を統合した総合比較結果を算出する。

したがって、この認証システムによれば、大域比較結果と局所比較結果とを統合した総合比較結果によって認証されるので、比較結果を互いに補間し合うことが可能であり、その結果、より高精度で認証が可能となる。

また、他の態様にかかる認証方法は、認証対象者の顔を認証するための方法であって、コンピュータに、前記認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する第１の工程と、前記全体３次元形状情報と、予め用意された参照用３次元部分モデル形状上に定義された局所領域情報とを同一空間上に変換する第２−１の工程と、前記同一空間に変換された前記全体３次元形状と、前記参照用３次元部分モデル形状との包含関係を比較することによって、前記全体３次元形状における局所的な領域である複数の３次元局所領域を決定する第２−２の工程と、前記３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する第３の工程と、前記認証対象者に対する認証動作を行うべく前記３次元顔特徴量と予め用意された比較用顔特徴量とを比較する第４の工程とを実行させる。

上記構成によれば、第１の工程において、認証対象者の顔の全体的な３次元形状である全体３次元形状の情報が取得される。第２の工程において、全体３次元形状情報から、該全体３次元形状における局所的な領域である複数の３次元局所領域が決定される。第３の工程において、３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、顔の３次元的な特徴量である３次元顔特徴量が算出される。そして、第４の工程において、認証対象者に対する認証動作を行うべく３次元顔特徴量と予め用意された比較用顔特徴量とが比較される。

したがって、この認証方法によれば、認証対象者の顔の全体３次元形状から複数の３次元局所領域が決定され、この各３次元局所領域における局所３次元形状情報から３次元顔特徴量が算出され、この３次元顔特徴量と比較用顔特徴量との比較が行われることで認証対象者に対する認証動作が行われるので、すなわち顔の全体３次元形状の情報をそのまま用いるのではなく、顔全体の３次元形状から局所的な領域（３次元局所領域）を複数個抽出し、この抽出した３次元局所領域に基づいて認証を行う構成であるので、顔に部分的な隠れ等が生じたとしても、必ずしもこの隠れ等が生じた部分を用いずともよく、この部分以外の局所領域の情報を用いて認証を行うことができ、認証精度の低下を軽減することができる。また、データ量の多い全体３次元形状（３次元データ）の情報をそのまま扱わなくてもよいため、つまり局所領域の部分的な３次元形状データを扱えばよいので、処理に時間がかかることなく認証速度を向上させることができる。

また、他の態様にかかる認証方法では、前記第１の工程は、前記顔の２次元画像を取得する第５の工程を含むものであり、前記２次元画像から前記顔の特徴的な部位である特徴部位を抽出する第６の工程と、前記特徴部位の３次元座標を算出する第７の工程とをさらに有し、前記第２−２の工程は、前記特徴部位の３次元座標に基づいて前記３次元局所領域を決定する工程である。

これによれば、第１の工程が、顔の２次元画像を取得する第５の工程を含む工程とされ、第６の工程において、２次元画像から顔の特徴的な部位である特徴部位が抽出される。また、第７の工程において、特徴部位の３次元座標が算出される。そして、上記第２の工程において、特徴部位の３次元座標に基づいて決定される。

したがって、この認証方法によれば、３次元局所領域を決定するに際して２次元的な特徴部位の情報と関連付けることができ、当該３次元局所領域の情報と共に特徴部位の情報を用いた高精度の認証を行うことが可能となる。

また、他の態様にかかる認証方法では、前記特徴部位の情報から前記顔の２次元的な特徴量である２次元顔特徴量を算出する第８の工程をさらに有し、前記第４の工程は、前記２次元顔特徴量と前記３次元顔特徴量とを併せてなる総合的な顔特徴量と、前記比較用顔特徴量とを比較する工程である。

上記構成によれば、第８の工程において、特徴部位の情報から顔の２次元的な特徴量である２次元顔特徴量が算出され、第４の工程において、２次元顔特徴量と３次元顔特徴量とを併せてなる総合的な顔特徴量と、比較用顔特徴量とが比較される。

したがって、この認証方法によれば、２次元顔特徴量と３次元顔特徴量とを用いた、より高精度な認証を行うことが可能となる。

また、他の態様にかかる認証方法では、前記第２−２の工程により決定された３次元局所領域に基づいて、前記全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出する第９の工程をさらに備え、前記第４の工程は、前記認証対象者に対する認証動作を行うべく前記第９の工程により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較する。

上記構成によれば、第９工程によって、第２工程により決定された３次元局所領域に基づいて、全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、顔の３次元的な特徴量である大域３次元顔特徴量が算出され、そして、第４工程によって、認証対象者に対する認証動作を行うべく第９工程により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とが比較される。

したがって、この認証システムによれば、顔認証において、大域３次元顔特徴量を用いるので、認証精度がより向上させることが可能となる。また、大域領域形状情報は、いわゆるデータ圧縮技術によって圧縮することが可能であり、データ量を低減することが可能である。また、大域３次元顔特徴量が３次元局所領域に基づいて算出されるので、３次元局所領域特有の大域情報を算出することが可能となる。また、３次元局所領域のデータは、顔全体の３次元形状データより少なく、データ量が低減されている。また、特に、３次元局所領域が特徴部位の３次元座標に基づいて決定される場合では、全体の３次元形状データから顔部位の特徴点間における大域的な情報のみを選択することが可能となる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、顔の認証を行う認証システム及び認証方法を提供することができる。

Claims (29)

1. 認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得部と、
   前記３次元形状取得部により取得された全体３次元形状情報と、予め用意された参照用３次元部分モデル形状上に定義された局所領域情報とを同一空間上に変換する同一空間変換部を備え、該同一空間変換部により変換された同一空間における前記全体３次元形状と、前記参照用３次元部分モデル形状との包含関係を比較することによって、前記全体３次元形状における局所的な領域である複数の３次元局所領域を決定する局所領域決定部と、
   前記局所領域決定部により決定された３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出部と、
   前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較部とを備えることを特徴とする認証システム。
2. 前記局所領域決定部は、前記参照用３次元部分モデル上の３次元面と、前記全体３次元形状の３次元面との包含関係を比較することによって、前記３次元局所領域として決定することを特徴とする請求項１に記載の認証システム。
3. 前記局所領域決定部は、前記参照用３次元部分モデル上の３次元面と、前記全体３次元形状の３次元座標点との包含関係を比較することによって、前記３次元局所領域として決定することを特徴とする請求項１に記載の認証システム。
4. 前記局所領域決定部は、前記参照用３次元部分モデル上の３次元座標点と、前記全体３次元形状の３次元面との包含関係を比較することによって、前記３次元局所領域として決定することを特徴とする請求項１に記載の認証システム。
5. 認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する３次元形状取得部と、
   前記３次元形状取得部により取得された全体３次元形状情報から、該全体３次元形状における局所的な領域である複数の３次元局所領域を決定し、前記３次元局所領域を密なデータとし、前記３次元局所領域以外と決定された３次元局所外領域を疎なデータとして保持する局所領域決定部と、
   前記局所領域決定部により決定された３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する３次元特徴量算出部と、
   前記認証対象者に対する認証動作を行うべく前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較する特徴量比較部とを備えることを特徴とする認証システム。
6. 前記３次元特徴量算出部は、前記３次元局所領域から局所３次元形状情報を算出したものを前記局所領域形状情報として算出することを特徴とする請求項１ないし５のいずれか１項に記載の認証システム。
7. 前記３次元特徴量算出部は、前記３次元局所領域における局所３次元形状情報を所定の曲面情報に変換したものを前記局所領域形状情報として算出することを特徴とする請求項６に記載の認証システム。
8. 前記３次元特徴量算出部は、前記３次元局所領域における局所３次元形状情報を標準モデル上に定義された定義点と３次元局所領域の対応点の距離情報をベクトルに変換したものを前記局所領域形状情報として算出することを特徴とする請求項６に記載の認証システム。
9. 前記３次元特徴量算出部は、前記３次元顔特徴量として、各３次元局所領域の相対位置関係の情報も含む３次元顔特徴量を算出することを特徴とする請求項１ないし８のいずれか１項に記載の認証システム。
10. 前記局所領域決定部は、前記複数の３次元局所領域が前記顔の左右対称となる位置に配置されるように前記全体３次元形状における３次元局所領域を決定することを特徴とする請求項１ないし９のいずれか１項に記載の認証システム。
11. 前記局所領域決定部は、前記複数の３次元局所領域が少なくとも前記顔の鼻及び頬の部位を含むように前記全体３次元形状における該３次元局所領域を決定することを特徴とする請求項１ないし１０のいずれか１項に記載の認証システム。
12. 前記３次元形状取得部は、
    前記顔の２次元画像を撮影する少なくとも２つの撮影装置と、
    当該各撮影装置から得られた２枚の２次元画像から、位相限定相関法による演算によって対応点検索処理を行い、３次元再構成を行うことで、前記全体３次元形状を算出する３次元形状算出部とを備えることを特徴とする請求項１ないし１１のいずれか１項に記載の認証システム。
13. 前記３次元特徴量算出部により算出される３次元顔特徴量は、ベクトル量であって、該ベクトル量に対応する前記比較用顔特徴量としての比較用ベクトル量を記憶する記憶部をさらに備えることを特徴とする請求項１ないし１２のいずれか１項に記載の認証システム。
14. 前記局所領域決定部により決定された３次元局所領域の情報に基づいて、前記全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出する大域３次元特徴量算出部をさらに備え、
    前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく前記大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較することを特徴とする請求項１ないし５の何れか１項に記載の認証システム。
15. 前記局所領域決定部により決定された３次元局所領域の情報に基づいて、前記全体３次元形状における大域的な情報である、前記顔の大域３次元顔特徴量を算出する大域３次元顔特徴量算出部をさらに備え、
    前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく前記大域３次元顔特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較することを特徴とする請求項１ないし５の何れか１項に記載の認証システム。
16. 前記大域３次元顔特徴量算出部は、前記局所領域決定部により決定された３次元局所領域上に定義した３次元特徴点情報に基づいて、前記全体３次元形状における大域的な情報である、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出することを特徴とする請求項１５に記載の認証システム。
17. 前記大域３次元顔特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した標準モデルの変形パラメータの情報を抽出することを特徴とする請求項１６に記載の認証システム。
18. 前記大域３次元顔特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した３次元局所標準モデルと３次元局所領域との距離情報を抽出することを特徴とする請求項１６に記載の認証システム。
19. 前記大域３次元顔特徴量算出部は、前記３次元局所領域上に定義した３次元特徴点情報に基づいて算出した前記３次元局所領域同士の距離情報を抽出することを特徴とする請求項１６に記載の認証システム。
20. 前記局所領域決定部により決定する３次元局所領域をライン状に抽出し、抽出されたライン状の３次元局所領域に基づいて、前記全体３次元形状における大域的な領域である、３次元大域領域の形状ベクトルとして大域３次元顔特徴量を算出する大域３次元特徴量算出部をさらに備えることを特徴とする請求項１５に記載の認証システム。
21. 前記大域３次元特徴量算出部は、前記大域３次元顔特徴量として前記３次元局所領域に関する重心の情報を算出することを特徴とする請求項１４に記載の認証システム。
22. 前記大域３次元特徴量算出部は、前記大域３次元顔特徴量として前記３次元局所領域に関する法線の情報を算出することを特徴とする請求項１４に記載の認証システム。
23. 前記特徴量比較部は、前記大域３次元顔特徴量と前記比較用大域顔特徴量との比較結果に応じて、前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較することを特徴とする請求項１４に記載の認証システム。
24. 前記特徴量比較部は、前記認証対象者に対する認証動作を行うべく、前記大域３次元特徴量算出部により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較した大域比較結果、および、前記３次元特徴量算出部により算出された３次元顔特徴量と、予め用意された比較用顔特徴量とを比較した局所比較結果を統合した総合比較結果を算出することを特徴とする請求項１４に記載の認証システム。
25. 認証対象者の顔を認証するための方法であって、コンピュータに、
    前記認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する第１の工程と、
    前記全体３次元形状情報と、予め用意された参照用３次元部分モデル形状上に定義された局所領域情報とを同一空間上に変換する第２−１の工程と、
    前記同一空間に変換された前記全体３次元形状と、前記参照用３次元部分モデル形状との包含関係を比較することによって、前記全体３次元形状における局所的な領域である複数の３次元局所領域を決定する第２−２の工程と、
    前記３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する第３の工程と、
    前記認証対象者に対する認証動作を行うべく前記３次元顔特徴量と予め用意された比較用顔特徴量とを比較する第４の工程とを実行させることを特徴とする認証方法。
26. 認証対象者の顔を認証するための方法であって、コンピュータに、
    前記認証対象者の顔の全体的な３次元形状である全体３次元形状の情報を取得する第１の工程と、
    前記全体３次元形状情報から、該全体３次元形状における局所的な領域である複数の３次元局所領域を決定し、前記３次元局所領域を密なデータとし、前記３次元局所領域以外と決定された３次元局所外領域を疎なデータとして保持する第２の工程と、
    前記３次元局所領域における局所３次元形状情報から、各３次元局所領域の形状に関する局所領域形状情報であって、前記顔の３次元的な特徴量である３次元顔特徴量を算出する第３の工程と、
    前記認証対象者に対する認証動作を行うべく前記３次元顔特徴量と予め用意された比較用顔特徴量とを比較する第４の工程とを実行させることを特徴とする認証方法。
27. 前記第１の工程は、前記顔の２次元画像を取得する第５の工程を含むものであり、
    前記２次元画像から前記顔の特徴的な部位である特徴部位を抽出する第６の工程と、
    前記特徴部位の３次元座標を算出する第７の工程とをさらに有し、
    前記第２−２の工程は、前記特徴部位の３次元座標に基づいて前記３次元局所領域を決定する工程であることを特徴とする請求項２５に記載の認証方法。
28. 前記特徴部位の情報から前記顔の２次元的な特徴量である２次元顔特徴量を算出する第８の工程をさらに有し、
    前記第４の工程は、前記２次元顔特徴量と前記３次元顔特徴量とを併せてなる総合的な顔特徴量と、前記比較用顔特徴量とを比較する工程であることを特徴とする請求項２７に記載の認証方法。
29. 前記第２−２の工程により決定された３次元局所領域に基づいて、前記全体３次元形状における大域的な領域である３次元大域領域の形状に関する大域領域形状情報であって、前記顔の３次元的な特徴量である大域３次元顔特徴量を算出する第９の工程をさらに備え、
    前記第４の工程は、前記認証対象者に対する認証動作を行うべく前記第９の工程により算出された大域３次元顔特徴量と、予め用意された比較用大域顔特徴量とを比較することを特徴とする請求項２５に記載の認証方法。

Images