JP4860472B2

JP4860472B2 - 画像認識

Info

Publication number: JP4860472B2
Application number: JP2006530286A
Authority: JP
Inventors: ジェームズオースティン，; ニコラスピアース，; トーマスヘーゼルタイン，
Original assignee: University of York
Current assignee: University of York
Priority date: 2003-10-09
Filing date: 2004-10-11
Publication date: 2012-01-25
Anticipated expiration: 2024-10-11
Also published as: GB2428325A; JP2007508609A; US7689043B2; KR101149931B1; WO2005038700A1; US20070122007A1; GB2408615A; GB2428325B; EP1673714A1; GB0422530D0; KR20070003759A; GB2408615B; GB0615820D0

Description

本発明は、画像の認識に関係し、自然画像及び合成画像両方の認識に関係する。
ここで、「自然画像」とは、たとえば、写真のような光学画像であるとか、別の波長の画像（たとえば、Ｘ線や赤外線）といったような、自然に発生する対象物の画像を意味する。自然画像は、デジタル手段によって記録したり、続いて処理したりすることができるが、コンピュータその他の人工的な手段によって生成または合成される画像、すなわち画像データとは対照的である。

自然画像を認識することは、多くの理由で望ましい。たとえば、特色のある景観や建物を認識して、地理的位置を確認することができる。また、人間の顔を認識することは、身元確認や安全対策に対して有効である。更に、競走馬といったような金銭的に高価な動物を認識することも身元確認の目的に対し非常に有用であり得る。
本願出願人は、この明細書において、本発明の好ましい実施の形態において、ヨーク大学(ＵｏｆＹ)／Ｃｙｂｕｌａ３次元顔データベースから生成した様々な３次元顔曲面表現を使用して、新しい顔認識法を提供する。

顔認識技術は著しく進歩したのではあるが、それでもなお、商業的及び産業的の多くの用途に対して要求される正確性のレベルを達成しなければならない。いくつかの顔認識システムでは、実験環境において極めて低い誤り率を公表しているが、これらの誤り率の数値は、現実世界のシナリオにさらされた場合、たいていは大きくなる。このように誤り率が高い理由は、完全には解決されていない数多くの周知の従属的問題に起因する。顔認識システムは、画像がとらえられる環境に非常に影響をうけ易い。照明状態の変動や、顔の表情や向きが、すべて誤り率を著しく増大させるので、システムが適切に機能するために、これは本当かどうかという照会画像と展示してあるギャラリー画像との間の一致する画像キャプチャ状態（画像がとらえられている状態）を維持する必要がある。しかしながら、このやり方では、顔認識によって提供される鍵となる重要な利点をいくつか排除してしまうことになり、被写体の協力を必要としないという意味において受動的な生体測定方法である。

本発明の好ましい実施形態は、前述の点で改良を行った顔認識方法を提供することを目的としている。

本発明の一態様によれば、三次元画像を認識する方法は、
ａ．前記画像を、各々三次元表面構造に関連する、異なる特徴抽出処理により処理して複数の異なった処理画像を含む画像セットを得る工程と、
ｂ．画像セット内の処理画像を組み合わせる工程と、
ｃ．画像セット内の処理画像によって占有されたデータスペースを、縮小されたデータスペースを創り出すために変換（transform）させる工程と、
ｄ．前記縮小されたデータスペース内に表示（represent）される組み合わされた画像セットから画像を代表する画像キーを生成する工程と、
ｅ．前記画像キーを既知画像の少なくとも１つの以前に記憶しておいた画像キーと比較する工程と、を含む。

工程ａは、エッジ、ライナ、ウェーブレット、グラジエント成分、曲率成分、およびカラー構成要素のうちの少なくとも１つを含む画像特徴を抽出する工程を含み得る。
工程ｂは、工程ｃの前に実施してもよい。あるいは、工程ｃを工程ｂの前に実施してもよい。
工程ｅは、画像キーを直ぐ１つ前に記憶させた画像キーと比較して画像の同一性を検証する工程を含み得る。
工程ｅは、画像キーを複数の以前に記憶させた画像キーと比較して画像を識別する。

上記の方法は、さらに、工程ｅにおける比較の結果をソートして、以前に記憶させておいた画像キーとの潜在的な一致のリストを作成する工程を含み得る。
工程ｅは、ユークリッド距離測定法（Ｌ２基準）、マハラノビス距離測定法またはコサイン距離測定法を使用して実施することができる。

上記の方法は、工程ａの前に、所定向きおよび／または位置および／または深さ正規化への画像の回転および／または位置決めを行う工程を含み得る。
上記の方法は、工程ｂに先立って組み合わせ前にデータを正規化する工程を含み得る。

前記画像はカメラから得たものであってもよい。
前記画像は３次元データに加えて２次元データを含むことができる。
前記画像は位置合わせした２次元−３次元画像対を含むことができる。

工程ｃは、主成分分析法によって実施することができる。
工程ｃは、フィッシャーの線形識別分析法によって実施することができる。

前記画像は顔の画像であってもよい。
前記画像は人間の顔の画像であってもよい。
前記画像は自然画像であってもよい。
前記画像セットはオリジナル画像を含んでいてもよい。

別の態様においては、本発明は、三次元画像を認識する装置であって、
ａ.プロセスに複数の異なった処理画像を得るべく前記画像を、各々三次元表面構造に関連する、異なった特徴抽出処理により処理するように配置した処理手段と、
ｂ．処理画像を組み合わせるように配置した組み合わせ手段と、
ｃ．処理画像の占有するデータスペースを縮小するように配置した縮小手段と、
ｄ．組み合わせ、縮小した処理画像から画像を代表する画像キーを生成するように配置した生成手段と、
ｅ．画像キーを既知画像の少なくとも１つの以前に記憶させておいた画像キーと比較するように配置した比較手段とを含む。

この装置は、本発明の先の態様のうちのいずれかによる方法を実施するように配置することができる。

別の態様においては、本発明は、３次元画像を認識する方法であって
ａ.フィッシャーの線形識別分析を使用して画像の占有するデータスペースを変換させる工程と、
ｂ．変換させたデータスペースから画像を代表する画像キーを生成する工程と、
ｃ．この画像キーを既知画像の少なくとも１つの以前に記憶しておいた画像キーと比較する工程と
を含む方法を提供する。

別の態様においては、本発明は、３次元画像を認識する装置であって、
ａ.フィッシャーの線形識別分析を使用して画像の占有するデータスペースを変換させる手段と、
ｂ．変換させたデータスペースから画像を代表する画像キーを生成する手段と、
ｃ．この画像キーを既知画像の少なくとも１つの以前に記憶しておいた画像キーと比較する手段と
を含む装置を提供する。

この明細書においては、「２次元画像(2D image)」とは、ピクセル値の２次元アレイからなる普通のデジタル画像を意味する。この画像は、ピクセル値が明暗度（輝度）を示すグレイスケール画像であってもよいし、ピクセルがそれと関連した色および明暗度の両方を持っていてもよい。この場合、いくつかの値は、各ピクセルと関連しており、たいていは代表的には赤（Ｒ）、緑（Ｇ）、青（Ｂ）のような三原色値（ピクセルのＲＧＢ色値と呼ばれることが多い）と関連しているが、ほかに沢山あるピクセルの色および明暗度の多値表現も可能である。

この明細書において、「３次元画像(3D image)」とは、顔であったり、さらに一般的には、顔とは別の対象物の、任意の３次元表現を意味する。たとえば、これは、３次元ポイント・クラウド(3D point cloud)、３次元メッシュ(3D mesh)、或いは３次元曲面の表現(3D surface representation)などである。好ましい実施態様では、使用される３次元画像は奥行きマップとなり、標準的な２次元画像と同じ矩形アレイ・ピクセル化構造を有するが、ただし、このとき、ピクセル値は、或る基準面に対する顔（対象物）の曲面の深さを表す。

この明細書において、「位置合わせされた２次元−３次元画像対」とは、同じ人間の顔（または、他の対象物）の２次元・３次元画像を意味する。ここで、２つの画像間の一致がわかる。すなわち、実際の顔（または対象物）の曲面上の同じ曲面ポイントの特性を表すという意味において、２次元画像におけるどのポイントが３次元画像のどのポイントに一致するかがわかる。

本発明をより良く理解して貰うべく、そして、本発明の実施形態が実際にどのように実施されるかを示すために、添付図面と共に、以下に例として説明を行なう。
これらの図において、同様の参照符号は、同様の部分または対応する部分を示している。

図１において、カメラＡは、顔の３次元画像をキャプチャ(capture)し、それをプロセッサＲに転送する。プロセッサＲは、２次元テクスチャ画像（カラー・データまたはグレイスケール・データ）と共に、３次元奥行き画像を生成する。好ましくは、３次元および２次元のデータは互いに位置合わせする。Ｎのところで、（必要に応じて）画像を回転させ、尺度変換し、再位置決めして確実に正面に向け、画像スペースに位置決めする（一般的には、画像を所定の回転角度に回転させ、所定の奥行きで尺度変換し、画像スペース内の所定位置に位置決めすることができる。）。

Ｃ、Ｄ、Ｅのところで、画像を３つのそれぞれ異なった方法で処理して顔の特徴を抽出する。多くの異なった画像プロセスを採用できる。たとえば、エッジ、ライン、ウェーブレットなどである。多くの画像プロセスが当業者に知られている。プロセスＣ、Ｄ、Ｅの１つはナルプロセスである。すなわち、生画像をＮから通過させるのである。特徴抽出プロセスまたは特徴分析プロセスは、入力画像と同じ次元であるかも知れないし、異なった次元であるかも知れない（普通は大きくなっている）新しい処理画像を多数創り出す。したがって、この時点で、大量のデータがあり、これを減らすことが望ましい。

Ｆ、Ｇ、Ｈのところで、変換工程を実施し、そのときに、Ｃ、Ｄ、Ｅからの処理画像出力を分析して、重要なデータを抽出し、重要性が低いかまたは重要性のないデータを不採用とする。多くの分析法が当業者に知られていることであろうが、たとえば、主成分分析法（ＰＣＡ）、主曲線分析法、情報最大化分析法などがある。最終結果は、オリジナルのデータ・セットのサブスペース、好ましくは最適サブスペースを占める、入力データよりも小さい次元のデータを創り出すことである。情報抽出方法は、Ｃ、ＤおよびＥからあらゆる画像出力に適用される。

プロセスＦ、Ｇ、Ｈの出力は一組のベクトルを含み、これらのベクトルをＯのところで組み合わせて画像キーＩと呼ぶ単一のベクトルを創り出す。多くの異なった組み合わせ法を使用することができる。たとえば、単純連結（エンドツーエンド型）、重畳などである。ベクトルは正規化してからＯのところで入力し、その結果、すべて同じレンジ内に位置する。Ｆ、Ｇ、Ｈからのベクトルの有意ビットを組み合わせ、意味をなさないビットを廃棄してもよい。

Ｊのところで、測定法によってＩからの画像キーをＫのところで先に記憶させたキーと比較し、記憶させたキーとの類似度を創り出す。多くの適切な測定法が当業者に知られていることであろうが、たとえば、ユークリッド測定法、マンハッタン測定法などがある。

Ｊから得た比較結果は、Ｋのところで記憶させ、Ｍのところで最終リストとして出力する。

図２は、どのようにしてＬのところでキーを記憶させるかを示している。この場合、既知の画像をカメラＡでキャプチャし、上記のプロセス工程を工程Ｉまで繰り返し、Ｌのところで既知の画像の画像キーを記憶させる。

図１および図２の方法の代替案が図３に示してある。ここでは、特徴抽出工程Ｃ、Ｄ、Ｅの後にベクトルを組み合わせてＩのところで単一のベクトルを創り出す。次に、Ｇのところでこの単一ベクトルに単一情報抽出工程（サブスペース法）をかけ、画像キーを創り出し、この画像キーをＪのところで先に述べたように比較する。

図４は、キー画像をＪのところでただ１つの記憶させた画像と比較する別の変形例を示している。Ｋのところで後続の閾値工程が出力として一致または非一致のいずれかを示す。
図４は、サブスペース変換プロセスＧより前のベクトルＯ、Ｉの組み合わせを示している。しかしながら、代わりに、図１と同様に、ベクトル組み合わせ変換Ｏ、Ｉの前にＦ、Ｇ、Ｈのようなサブスペース・プロセスを適用してもよいことは了解されたい。

一般的に、本発明の実施形態は、３次元画像データ、またはそれに加えて、２次元画像データを処理することができる。図１〜４にカメラＡが示してあるが、画像（単数または複数）は任意適当なソースからのものであってもよい。

以下、図５〜１２について説明すると、本発明では、主成分分析（ＰＣＡ）を３次元曲面構造に適用することによって、従来の２次元アプローチにとっては典型的な問題を呈する条件の下でキャプチャされた、３次元顔モデルの大きいデータベースにおいて認識を実施するときに、高レベルの精度が達成されることを示す実施形態を考えている。結果は、誤採択率および誤拒絶率として表わされ、イコール誤り率を単一の比較値として採用する。本発明は、警備、監視、データ圧縮、およびアーカイブ検索のような用途範囲に使用されるのに最も効果的な曲面表現および距離測定法を確定する。

これらの実施形態では、顔認識に共通して関連するいくつかの問題を排除する３次元顔モデルを使用することを含める。２次元画像で利用できる色情報およびテクスチャ情報よりもむしろ純粋に幾何学的形状に依存することによって、色データおよびテクスチャ・データでのみ利用できる識別特徴を失うという犠牲を払って、照明状態に対して変化しないシステムを提供する。さらに、３次元空間において顔構造を回転させることができるということにより、姿勢の変化の補正を可能にさせることで、認識に先立って位置合わせを必要とするような方法を支援することができる。とは言っても、３次元データに加えて、２次元データを使用することができることは了解されたい。

ここでは、今までのおなじみの２次元画像の代わりとして、３次元顔モデルから採用した顔曲面データを使用する。つまり、周知の顔認識法である、TurkおよびPentland [Turk, M., Pentland, A.: Eigenfaces for Recognition Journal of Cognitive Neuroscience, Vol. 3, (1991) 72-86]、[Turk, M., Pentland, A: Face Recognition Using Eigenfaces. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, (1991) 586-591]の発表した固有顔アプローチを採用し、これを新しい３次元データについて使用できるように改造した。本願発明者等は、３次元曲面構造を使用して顔を認識する最も効果的な方法を得た。

この顔認識法をテストするために、大きな３次元顔モデル・データベースを使用した。しかし最近までは、３次元モデル生成法は、通常、レーザ・スキャニング装置を使用していた。このようなシステムは、非常に精密ではあるが、しばしば速度が遅く、被写体が完全に静止した状態に留まる必要がある。立体視技術は、レーザを使用することなくより速い速度でキャプチャすることが可能であるが、特徴相関には、コントラストが強く且つ安定した局所的テクスチャの領域、すなわち、頬および額が明確に欠如しているものを必要とする。これらの理由により、３次元顔認識は、２次元顔認識に集中する研究の豊富さと比べたとき、相対的に研究されないままであった。いくつかの研究[Beumier, C., Acheroy, M.: Automatic 3D Face Authentication. Image and Vision Computing, Vol. 18, No. 4, (2000) 315-321] [Beumier, C., Acheroy, M.: Automatic Face Verification from 3D And Grey Level Clues. 11th Portuguese Conference on Pattern Recognition, 2000] [Gordon, G.: Face Recognition Based on Depth and Curvature Features. In Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Champaign, Illinois (1992) 108-110] [Chua, C., Han, F., Ho, T: 3D Human Face Recognition Using Point Signature. Proc. Fourth IEEE International Conference on Automatic Face and Gesture Recognition, (2000) 233-8] が３次元データで実験したが、これらの研究は、３次元顔モデルの小さい実験セットに依存しなければならなかったし、または、認識に先立って２次元画像を強調するために包括的な顔モデルを使用していた[Zhao, W., Chella, R: 3D Model Enhanced Face Recognition. In Proc. Of the International Conference on Image Processing, Vancouver (2000)], [Romdhani, S., Blanz V., Vetter, T.: Face Identification by Fitting a 3D Morphable Model using Linear Shape and Texture Error Functions. The European Conference on Computer Vision (2002)], [Blanz, V., Romdhani, S., Vetter, T. Face Identification across Different Poses and Illuminations with a 3D Morphable Model. In Proc. of the 5th IEEE Conference on AFGR (2002)]。しかしながら、この研究は、３次元情報の使用が現在の最高水準の技術を充分に超えて顔認識を向上させる潜在性を有することを示している。新しい３次元キャプチャ装置の出現により、大きい３次元顔データベース(large 3D face database)の数を増やすことが今や可能となり、３次元顔認識技術の研究を促進する、プロジェクトの一部としてのＵｏｆＹ／Ｃｙｂｕｌａにおいて、効果的に機能するようになった。

過去の研究では、顔認識を実施するために３次元幾何学的構造で行える可能性を探っていた。今までは、研究の焦点は２次元画像に当てられてきていて、顔構造についての演繹的知識を使用して現存の２次元アプローチを向上させる試みがいくつか行われてきた。たとえば、ZhaoおよびChellappa［既述］は、２次元画像における顔の向きおよび照明方向を正規化するために包括的な３次元顔モデルを使用している。照射方向および姿勢の推定を使用して、３次元顔モデルを２次元顔画像と位置合わせし、それを使用して正面を向いた姿勢に等しいプロトタイプ画像を投写した後に線形識別分析によって認識を行う。このアプローチでも、テスト・セットでの認識精度はほぼ８１％（２５のランクの内では正しい一致）から１００％まで向上する。同様の結果が顔認識ベンダ・テスト（FRVT）[Phillips, P. J., Grother, P., Micheals, R.J., Blackburn, D.M., Tabassi, E., Bone, J. M.: FRVT 2002: Overview and Summary. http://www.frvt.org/FRV2002/documents.htm, March (2003)]でも証明されている。これは、Romdhani、BlanzおよびVetterの３次元モーフィング可能モデル技術［既述］を使用する姿勢補正がFERETデータベース[Phillips, P. J., Wechsler, H., Huang, J., Rauss, P.: The FERET database and evaluation procedure for face recognition algorithms Image and Vision Computing. J, Vol. 16, No. 5, (1998) 295-306]に適用したときに誤り率を減らすことを示している。

Blanz、RomdhaniおよびVetter［既述］は類似のアプローチを採用し、３次元モーフィング可能顔モデルを使用して（２次元）顔画像の識別を支援している。照明方向および顔形状の初期評価で始めて、Romdhani等は、モーフィング可能な顔モデルの形状パラメータおよびテクスチャ・パラメータを繰り返し変え、２次元画像に対する差異を最小限に抑えている。これらのパラメータは、次いで、身元確認のための特徴として採用される。

今までに述べてきた方法は正規化を改善することによって３次元顔形状についての知識が２次元顔認識システムを改善することができることを示しているが、これまでに述べてきた方法は、いずれも、認識を実施するために実際の幾何学的構造を使用していない。BeumierおよびAcheroy［既述］はこのような情報を直接使用し、構造化した光変形に基づいたアプローチを使用して３次元顔モデルを生成しているが、BeumierおよびAcheroyは、３次元顔モデルを一致させる種々の方法をテストしている。そのうち２、３しか成功していなかった。

曲率分析は効果がないと判明し、特徴抽出は精密な認識を行うに充分に確固たるものではなかった。しかしながら、BeumierおよびAcheroyは、垂直面輪郭の曲率値を使用して適切な誤り率を達成することができた。３０人分のデータベースで実施した検証テストでは、自動的に整合した曲面について７.２５％〜９％のイコール誤り率が得られ、手動位置合わせを使用したときには６.２５％〜９.５％のイコール誤り率が得られた。

Chua等［既述］は、異なったアプローチを採用し、軟質曲面認識技術を顔構造に適用している。顔曲面の硬質領域を識別し、抽出して表情によって変化しないシステムを創り出す試みを行っている。これらの硬質領域を識別し、最終的に顔を区別するに使用される特性はポイント符号であり、これが顔曲面上の特定ポイント局所的領域を取り囲む奥行き値を表している。各顔についての一組の特有のポイント符号を識別し、比較することによって２つの顔モデルの類似性が計算される。識別テストは、６人分の３０個の奥行きマップのテスト・セットに適用したとき、すべての人々についてプローブ画像が正しく識別されることを示している。

Coombes等[A. M. Coombes, R. Richards, A. Linney, V. Bruce, R. Fright. Description and recognition of faces from 3D data. Proc. of The International Society for Optical Engineering. Vol. 1766, (1992) 307-19]が、微分幾何学に基いた方法を研究している。顔曲面の奥行きマップに曲率分析が適用されている。ここでは、曲面を、最高点、隆起、鞍型隆起、最低点、くぼみ、谷、鞍型谷、平坦部の、基本的な８つのタイプに区分化している。Coombes等は、どの曲線が相関している領域の種類を分類するかを比較することによって２つの顔を区別することができることを示唆している。平均的な男性および女性の顔構造の数量化分析は、異性間の顔におけるあご、鼻、額の形状および頬骨位置の差異を示す。

Gordon［既述］の提案した別の方法は特徴ローカライゼーション(localisation)を組み入れている。３次元顔モデルから抽出した奥行き情報および曲率情報の両方を使用して、Gordonは、多数の顔特徴を識別し、そこから顔の幅、多数の鼻の次元および曲率、眼間の距離ならびに眼幅を含む一組の測定値を採用している。これらの特徴は、フィッシャーの線形識別法を使用して評価され、個々の特徴の識別能力を決定している。Gordonの研究結果は、顔幅および鼻位置が認識のために特に重要な特徴であり、眼幅および鼻曲率はあまり役に立たないことを示している。認識は、特徴スペースにおける単純なユークリッド距離測定によって実施される。８人から採取した２４個の顔曲面のデータベースを使用していくつかの特徴組み合わせがテストされ、７０.８％〜１００％の範囲で正しく一致する結果を示している。

先に述べたように、現在のところ公に利用できる３次元顔データはほとんど無く、３次元顔認識システムの開発およびテストに対して必要とされるデータの重要性に対するものは皆無である。したがって、本願発明者等は、３次元顔モデルの新しいデータベースを集めた。このデータベースは、顔認識研究のために１０００人以上の公けに利用できる３次元顔データベースを得るべく進行中のプロジェクトの一部としてUofY/Cybulaで集めた。３次元顔モデルは、より高い特徴密度を得るために光投射によって拡張した立体視技術を使用して生成する。各々の顔モデルは、３次元カメラで撮影したワンショットが必要で、そのワンショットから、秒以下の処理時間でモデルが生成される。

この評価の目的のために、本発明者等は、予備データ収集セッション中に獲得した３次元顔データベースのサブセットを使用する。このセットは、図５に示す条件の下に１００人の人々から採取した３３０個の顔モデルからなる。

キャプチャ(capture)中には、照明状態を制御する努力はまったく行わなかった。種々の首の向きでの顔モデルを生成するために、被写体には、カメラの上下およそ４５度にある基準点に顔を向けるように頼んだが、精密な向き角度を得る努力はいっさい行わなかった。各人について生成した顔モデルの例が図５に示してある。

３次元顔モデルは、ＯＢＪファイル・フォーマット（３次元データの共通表現）で記憶させ、奥行きマップに変換する前に向き正規化アルゴリズム（ここでは説明しない）を使用して真っすぐ前に顔を向けるように方向を合わせている。ついで、このデータベースを２つの独立セットに分離する。トレーニング・セットは、タイプ０１（図５参照）の４０個の奥行きマップからなり、残りの２９０個の奥行きマップのテスト・セットは図５に示すすべてのキャプチャ条件からなる。トレーニング・セット、テスト・セットは、共に、種々の人種、年齢、性の被写体を含んでおり、トレーニングおよびテスト・セットの両方に存在しないひとは誰もいない。

周囲のキャプチャ状態によって生じた望ましくない特徴を除去することによって画像処理技術を使用して２次元顔認識法の誤り率をかなり減らすことができることはよく知られている。この環境的影響の多くは、３次元顔モデルには存在しないが、識別特徴をより明確にすることによって前処理がなお認識を向上させることができる。この説明では、本発明者等は、認識誤り率に影響を及ぼす可能性のある多数の曲面表現を説明する。これらの曲面は、図８に示すように、トレーニング手順およびテスト手順の両方に先立って奥行きマップの前処理によって導き出されている。

本発明のアプローチにおいては、TurkおよびPentland［既述］によって発表されていて過去の研究において使用されたものに対する同様のアプローチを採用して、主成分分析法を顔曲面のトレーニング・セットに適用することによって『３次元曲面スペース(3D surface space)』を定めている。

向きを正規化した６０×１０５の奥行きマップとして記憶させた本発明の顔曲面トレーニング・セットについて考察する。これら個々の奥行きマップは、６３００個の要素のベクトルとして表現することができ、すべての可能性のある奥行きマップの６３００次元スペース内のただ１つのポイントを表わしている。その上、類似した幾何学的構造を有する顔は、この高次元スペースの比較的局所的な領域におけるポイントを占めなければならない。この考えを継続させるべく、本発明者等は、同じ顔の異なった奥行きマップがスペース内の直ぐ近くのポイントに投影し、異なった顔の奥行きマップがはるかに離れたポイントに投影すると仮定する。理想的には、本発明者等は、顔曲面を含むこのスペースの領域を抽出し、次元の数を実際的な値まで減らすと共に奥行きマップ・サブスペース内の顔曲面の広がりを最大にすることを望んでいる。

前述の特性を有するスペースを定めるために、本発明では、Ｍ個の奥行きマップ（本実施形態ではＭ＝４０）｛Γ_１、Γ₂、Γ_３、...Γ_Ｍ｝のトレーニング・セットに主成分分析法を適用し、共分散行列を計算した。

ここで、Φ_ｎは、平均Ψからｎ番目の奥行きマップの差分である。共分散行列の固有ベクトルおよび固有値は標準的な線形法を使用して算出する。こうして得た固有ベクトルは、１セットの軸線を記載しており、これらの軸線に沿ったほとんどの変化がトレーニング・セット内で生じ、対応する固有値が各軸線に沿ったこの変化の程度を表す。M個の固有ベクトルが、固有値の降順にソートされ、Ｍ’の最大固有ベクトル（本発明のシステムでは、Ｍ’＝４０）が選ばれて曲面スペースを表す。その効果は、Ｍ’に対するスペースの次元数が減り、しかも奥行きマップ・サブスペースの全体にわたって顔曲面間の高い分散レベルを保ったということである。

本発明では、各固有ベクトルを固有曲面と呼ぶが、これは、図７に示す顔曲面主成分のレンジ画像として表示され得る６３００のエレメント（オリジナルの奥行きマップにおける奥行き値の数）を含む。

ひとたび曲面スペースを定めたならば、式１における共分散行列から算出した固有ベクトルを使用して単純行列乗算によって曲面スペースに任意の顔を投写する。
ここで、ｕ_ｋはｋ番目の固有ベクトルであり、ω_ｋはベクトルΩ^Ｔ＝[ω_１，ω_２，ω_３， ...ω_Ｍ]におけるｋ番目の重みである。Ｍ’係数は、投写された奥行きマップに対するそれぞれの固有曲面の寄与率を表している。ベクトルΩは、曲面スペースにおける個人の顔構造を表す『顔キー』として採用し、ユークリッド測定法またはコサイン距離測定法のいずれかによって比較する。

さらに、各顔キーをそのそれぞれの固有値によって除算してから距離計算を行い、任意固有の次元バイアスを除き、２つの補足距離、すなわち、マハラノビス距離(mahalanobis distance)と重み付きコサイン距離(weighted cosine match)を導入する。受忍(acceptance)（２つの顔曲面一致）するか、或いは拒絶(rejection)（２つの曲面が不一致）するかは、算出距離に閾値を適用することによって決定する。閾値を下回る距離を示す比較結果はいかなるものも受忍とみなされる。顔認識法の有効性を評価するために、本発明者等は、２９０の顔曲面からなるテスト・セットについて４１,９０５回の検証作業を実施し、誤り率を計算した（図８参照）。テスト・セット内の各曲面を他のすべての曲面と比較したが、それ自体の画像との比較は行わず、各対の比較は一度だけであった（関係は対称形であった）。

誤採択率および誤拒絶率は、閾値適用後の不適当な採択および不適当な拒絶のパーセンテージとして算出する。或る閾値範囲を適用することで一連のＦＡＲ対、ＦＲＲ対が生じ、これらを、図９に本発明者等のベンチマークシステムについて示すグラフにプロットした。イコール誤り率はＦＡＲがＦＲＲに等しいポイントとして確認できる。

以下、２９０の顔曲面からなるテスト・セットについての３次元顔認識法のテストから集めた結果を示す。これらの結果は、ＦＡＲ対ＦＲＲの誤差曲線およびＥＥＲのバーチャートによって表してある。図８は、先に説明した４つの距離測定法を使用してベースライン・システム（顔曲面奥行きマップ）について算出した誤差曲線を示している。

これらの結果は、固有値で除算してベクトル次元を正規化した後に距離値を計算することで、ユークリッド距離測定法およびコサイン距離測定法の両方に対する誤り率をかなり低下させ、マハラノビス距離が最も低いＥＥＲをもたらす、ということを明確に示している。図１１に示すように、同じ４つの曲線が、すべての曲面表現および単一比較値として採用されたＥＥＲに対して産出された。

図１１に示すＥＥＲから明らかなように、顔認識に対しては、曲面グラジエント表現が最も識別情報を与える。水平導関数は、重み付きコサイン距離測定法を用いてすべての最も低い誤り率をもたらす。実際には、重み付きコサイン距離が、重み付きコサインＥＥＲが特に高い２、３のケースを除いて、大多数の曲面表現に対して最も低い誤り率を返す。しかしながら、使用した距離測定法とは無関係に一般的にあまり特徴のない曲率表現の場合を除いては、どれが最も効果的な曲面表現かは、比較のために用いた距離測定法（図１０参照）次第であるように思える。

最も効果的な曲面表現（水平、垂直導関数）の直交性により、本発明者等は、これらの表現を組み合わせることで誤り率をさらに減らすことになると仮定した。したがって、図１１で使用した方法に加えて、多数の曲面スペースから投写した顔キーを連結することによって多数のシステム組み合わせをテストし、多数の曲面表現から識別特徴を利用することを試みた。表１に示す結果は、重み付きコサイン距離測定値を拡張顔キー組み合わせに適用することによって算出した。

これまで、周知の２次元顔認識法が３次元顔モデルで使用するのに適応できることを示してきた。テストは、認識を実施するときに典型的な問題点を与える条件の下にキャプチャした３次元顔曲面の大きいデータベースで実施した。ベースライン３次元システムで発生した誤り率は、２次元画像を使用する同様の実験で集めたよりもかなり低い。３次元顔認識が従来の２次元アプローチ以上の明確な利点を有することは明らかである。

多数の曲面表現で研究して、本願発明では、認識に対しては、顔曲面グラジエントが奥行き表現および曲率表現よりもより効果的であることを発見した。特に、水平グラジエントでの誤り率が最も低い。このことは、水平導関数が鉛直プロファイルよりも多くの識別情報を与えることを示しているように思える。別の利点としては、導関数がＺ軸に沿った並進に対して変化しないので、グラジエントがアライメント手順における不正確さに対して、より一層ロバスト（robust）でありそうだということがある。

曲率表現は、他の曲面表現ほど多くの識別情報を含んでいるようには思えない。二次導関数はＺ軸に沿った向きおよび並進の不正確さにあまり敏感でないはずなので、これは本発明者等にとって驚くべきことであった。しかしながら、これは、図１２におけるノイズが多い曲率画像の原因となる可能性のある不適切な３次元モデル解像度に影響を与える可能性がある。

３つの距離測定法をテストしたところ、顔キー比較のための方法の選択が、その方法で生じた誤り率にかなり影響することがわかった。それぞれの固有値によって各顔キーを除算し、次元分布を正規化することが、通常は、ユークリッド距離およびコサイン距離の両方に対する結果を改善することも明らかである。このことは、次元分布が必ずしも識別能力に比例するわけではなく、均一分布時に曲面スペースが全体としてより多くの差異を見分けられるようになるということを示している。しかしながら、このことは、もっとＥＥＲの高いような曲面表現に対しては当てはまらず、このような表現は優位で有用な成分をほんの僅かしか取り込むことができず、他の大多数の識別能力の低い成分で正規化されたときに、これらの成分は隠されてしまう、ということを示唆している。

重み付きコサイン距離（weighted cosine distance）は、最適システムをも含めて、大多数の曲面表現に対し最も低い誤り率をもたらす。また、この測定法では、多数の曲面表現によって得られた利点を利用しようという目的で、多数の顔キーを組み合わせる手段を提供しており、誤り率をさらに減らしている。

本発明では、最も効果的な曲面表現をシングルシステムに組み合わせたときに、初期奥行きマップを使用して得た１７.８％ＥＥＲから１２.１％のＥＥＲまで誤り率を減らすように管理を行った。これらの結果は、本発明者等が過去に行った研究におけると同様の環境の下にテストした最良の２次元システムよりもかなり低く、幾何学的な顔構造が色情報およびテクスチャ情報から独立して使用したときに認識のためには有用であり、高い精度を達成することができることを証明している。データ・キャプチャ法が照明状態に対して不変である顔モデルを生じさせ、姿勢と無関係に顔を認識できると想定すれば、このシステムは警備および監視の用途で使用するのに特に興味をそそる。

以下、図１３〜図１８の例に言及する。
過去の研究[Beumier, C., Acheroy, M.: Automatic 3D Face Authentication. Image and Vision Computing, Vol. 18, No. 4, (2000) 315-321], [Cordon, G.: Face Recognition Based on Depth and Curvature Features. In Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Champaign, Illinois (1992) 108-110], [Chua, C., Han, F., Ho, T.: 3D Human Face Recognition Using Point Signature. Proc. Fourth IEEE International Conference on Automatic Face and Gesture Recognition, (2000) 233-8], [Zhao, W., Chellaa, R: 3D Model Enhanced Face Recognition. In Proc: Of the International Conference on Image Processing, Vancouver (2000)], [Romdhani, S., Blanz, V., Vetter, T.: Face Identification by Fitting a 3D Morphable Model using Linear Shape and Texture Error Functions. The European Conference on Computer Vision (2002)], [Blanz, V., Romdhani, S., Vetter, T.: Face Identification across Different Poses and Illuminations with a 3D Morphable Model. In Proc. of the 5th IEEE Conference on AVGR (2002)], [Beumier, C., Acheroy, M.: Automatic Face Verification from 3D And Grey Level Clues. 11th Portuguese Conference on Pattern Recognition, 2000]は、３次元顔モデルの使用で２次元顔認識と関連したいくつかの問題を解決することができることを示している。まず、色情報およびテクスチャ情報よりも、むしろ幾何学的形状に依存することよって、システムは、照明状態に対して不変となる。次に、３次元スペースにおいて顔構造を回転させることができ、姿勢の変化を補整することができるということは、認識に先立って位置合わせを必要とする方法の助けとなる。最後に、２次元画像からは利用できない、顔曲面構造で利用できる付加的な識別情報は、認識に対し付加的なキューを与える。
しかし、２次元データを３次元データに加えて、または、３次元データの代わりに使用できるということは認識されたい。

トレーニングおよび認識の前に適用する前処理技術を使用することで、識別特徴をより明確にし、周囲の効果を正規化し、ノイズ含有量を減らし、認識精度を大幅に向上させることができることもわかった[Heseltine, T., Pears, N., Austin J.: Evaluation of image preprocessing techniques for eigenface-based face recognition. In Proc, of the 2nd International Conf. on Image and Graphics, SPIE Vol. 4875 (2002) 677-685]。しかしながら、過去の研究では、個々の曲面表現によって得られる利点とほとんど関係なく、最適曲面表現を識別することに焦点を当てていた。本発明者等は、認識全体についての一般的な弱点を有するにもかかわらず、異なった曲面表現が異なったキャプチャ条件または或る種の顔特性に特に適している可能性があることを示唆したい。たとえば、曲率表現は、システムを３次元向きにおける不正確さに対してよりロバストにし、しかもノイズに非常に敏感であるようにすることによって認識を助けることができる。別の表現は、鼻形状を強調することができるが、顔特徴の相対的な位置を失う可能性がある。多数の固有スペースを使用することの利点は、以前にPentland等によって検討されていた[A. Pentland, B. Moghaddom, T: Straner, "Vien-Based and Modular Eigenfaces for Face Recognition", Proc. Of IEEE Conf. on Computer Vision and Pattern Recognition, 1994]。そのとき、スペシャリスト固有スペースが種々の顔の向きおよび局所的顔領域について構成され、そこからの累積的なスナッチ・スコアが誤り率を減らすことができた。この例における本発明者等のアプローチは、個々の次元を抽出し、組み合わせ、単一の統合曲面スペースを創り出すという点で異なる。このアプローチは、２次元画像に適用したときに効果的に作用することを示している。

ここで、本発明では一連の３次元顔認識システムを分析して数値を求めることにする。各表現によって得られる利点を識別して区別する目的で、各システムは顔構造の異なった曲面表現を利用する。本発明では、顔認識フィッシャー曲面法に焦点を当てて、各システムによって生じた曲面サブスペースから成分を選択して抽出し、これらの曲面サブスペースを統合曲面スペースに組み合わせることができるようにする、という手段を提案する。

トレーニングおよびテストに先立って、３次元顔モデルは、図１３に示された曲面表現の１つに変換される。これは、まず最初に、３次元顔モデルを正面を向くように方向付けてから、奥行きマップに投写することによって行なわれる。次いで、奥行きマップの前処理によって、図１３の表にある曲面が導き出される。

ここで、Belhumeur等[Belhumenr, J. Hespanha, D. Kriegman, "Eigenfaces vs. Fisherfaces: Face Recognition using class specific linear projection", Proc of the European Conference on Computer Vision, pp. 45-58, 1196]によって記載されたような、顔認識フィッシャー顔方法について簡単な説明を行い、３次元顔曲面にどのように適用するかを説明する（これはフィッシャー曲面法と呼ぶ）。本発明では、３次元顔モデルの曲面表現に対して主成分分析法および線形識別分析法の両方を適用し、固有顔法[A. Pentland, B. Moghaddom, T. Starner, "View-Based and Modular Eigenfaces for Face Recognition", Proc. of IEEE: Conf. on Computer Vision and Pattern Recognition, 1994]および固有曲面法で使用されるのと同様に、サブスペース投写行列を作成した。しかしながら、フィッシャー曲面法は、『クラス内（within-class）』情報の利点を採用し、同じ人間の多数の顔モデル間の変化を最小限に抑え、しかもなおクラス分けを最大化することができる。これを達成するために、本発明では、各被写体の多数の例を含むようにトレーニング・セットを拡張した。ここで、式４に示すように、顔モデル毎の人間の顔構造の変化（表情や首の向きのような影響による）を説明する。

ここで、Γ_ｉは顔曲面であり、トレーニング・セットがｃクラス毎に区切ってあり、各クラスＸ_ｉにおける各曲面は同じ人間のものであり、２つ以上のクラスに１人の人間が存在することはない。それに続いて、３つの散乱行列を計算し、式５に示す、曲面スペースの全体にわたるトレーニング・セットのクラス内（Ｓ_W）分布、クラス間（Ｓ_Ｂ）分布および全体（Ｓ_Ｔ）分布を表した。

全体散乱行列ＳＴを使用してＰＣＡを実施し、トップＭ−ｃ主体成分を採用することよって、投写行列Ｕ_ｐｃａを作成し、これをクラス内散乱行列の次元数を減らすのに使用し、投写行列が確実に正則行列となるようにしてから、式６に示すように、縮小散乱行列比（Ｕ_ｆｌｄ）のトップｃ−１（この場合、４９）の固有ベクトルを計算した。

ここで、ｕ_ｋはｋ番目の固有ベクトルであり、ω_ｋはベクトルΩ^Ｔ＝［ω_１,ω_２,ω_３ ...ω_Ｍ］におけるｋ番目の重みである。c-１係数は、オリジナル顔曲面構造に対するそれぞれのフィッシャー曲面の寄与率を表している。ベクトルΩは、縮小次元数曲面スペースにおける人間の顔構造を表す『顔キー』として採用し、式９に示すようなユークリッド距離測定法またはコサイン距離測定法を使用して比較する。

受忍（acceptence;２つ顔曲面一致）あるいは拒絶（rejection:２つの曲面が一致しない）は、閾値を算出した距離に適用することによって決定される。閾値を下回る距離値をしめす比較結果はいかなるものも受忍とみなされる。

ここで、本発明では、種々の顔曲面表現をフィッシャー曲面法と共に使用したときに生じた曲面スペースを分析した。分析は、種々の曲面表現を使用したときに生じた誤り率の範囲を示す結果を得ることから開始した。図１４は、曲面表現の選択がフィッシャー曲面法の有効性について有意の効果を有し、水平グラジエント表現が最も低いイコール誤り率（ＥＥＲ、ＦＡＲがＦＲＲに等しいときの誤り率）を与えることを明確に示している。

しかしながら、水平グラジエント表現の優位性は、垂直グラジエント表現および曲率表現がまったく無益であることを示唆するものではなく、これらの表現によって得られる識別情報は強くも顕著でもないかも知れないけれども、情報に対する積極的な貢献が水平グラジエント表現において既に利用可能であるようにさせることはないとは言えない。ここで、３次元顔特徴を分析するのにGordon［既述］によって使用されたように、フィッシャーの線形識別法（ＦＬＤ）を各曲面スペースの個々の成分（単一次元）に適用することによって、各曲面スペースの識別能力の調査を更に行なう。単一の顔スペース次元に焦点を合わせて、本発明では、ｃの人々間で、識別力を記載している識別子ｄを計算した。

ここで、ｍは顔キーにおけるその次元の平均値であり、ｍ_ｉはクラスｉのクラス内平均であり、Φ_ｉはクラスｉの顔キーから採ったベクトル・エレメントのセットである。上記の式を各顔曲面表現を使用して生成した曲面スペース・システムの組合せに適用することで、本発明者等は、各曲面表現についてのトップ１０個の最も識別次元について、図１５に示すように、各個々の次元の識別能力を説明する広い判別値の範囲を確かめた。

いくつかの曲面表現は顔認識テストにおいてうまく機能せず、高いＥＥＲ（たとえば、min_curvature）を発生するが、それらの顔キー成分のいくつかは高い識別情報を含むことは明らかである。本発明者等は、特に無効なサブスペースにおけるこれらの高い識別の偏りの理由は、或る種の曲面表現が単一識別ファクタ（たとえば、鼻の形または顎の構造）に特に適しているかもしれないが、より一般的な分類子として使用したときには効果的でないと仮定した。したがって、もしこれらの少ない有用な特性をより特殊化したサブスペースから隔離することができるならば、これらの特性を使用して積極的な寄与率を一般的により効果的な曲面スペースに与え、さらに誤り率を減らすことができるであろう。

ここで、上記の分析法をどのように使用して多数の顔認識システムを組み合わせるかを説明する。まず、曲面空間次元に優先順位をつけることについての問題に対処する必要がある。或るシステム範囲からの顔キー・ベクトルの平均的大きさおよび導関数が或る大きさの順序によって異なりそうなので、或る種の次元は、たとえ識別能力を一様に一致させたとしても他よりも大きな影響を有することになる。この影響を補正するために、本発明者等は、各顔キー・エレメントをそのクラス内標準導関数で割ることによってモーメントを正規化した。しかしながら、これらの次元を正規化するに際して、本発明者等は、いかなる優先順位をも取り除き、すべての顔スペース成分が等しいと看做されるようにした。単一曲面スペースに適用したときには問題はないが、多数の次元を組み合わせたとき、理想的には、より信頼性が高い成分により大きな優先順位を与えたいと思う。さもなければ、この状況は、多数のあまり際立っていない（が、まだ有用である）次元がより少なくてより際立った次元を上回り始めたときに生じ、それらの検証作業についての影響を最小限に抑え、それ故、誤り率を高めそうである。本発明者等は、ＦＬＤをどのように使用して任意所与の顔スペースからの単一の次元の識別能力を測定することができるかを確かめた。そのとき、本発明者等は、この判別値ｄを各顔空間次元のための重み付けとして用いて、これらの次元に最も高い識別能力で優先順位を付けた。

この重み付け構成を各システムによって生じたすべての顔キーに適用することで、本発明者等は、単一の統合曲面スペースに次元を組み合わせ始めることができた。或る曲面スペース範囲からの多数の次元を組み合わせるためには、どの次元を組み合わせるべきか決定するのに或る種の基準が必要である。判別値そのものにのみ依存するだけでは不充分である。判別値はその次元の判別能を示すだけなので、この次元を含むことが現存の次元セットのためになるかどうかをなんら示すことなく。もし現存の曲面スペースがすでに或る量の判別能を与えるならば、現存のセット内にすでに存在する特徴を表現している付加的な次元を導入する場合にはこの判別能はほとんど利点とはならないであろうし（あるいは、有害ですらあるかもしれない）。

研究では、ＦＬＤを使用し、組み合わせた固有スペースに適用して認識のために使用したときのその有効性を予測した。次いで、より大きな判別値を生じるかどうか付加的な次元を導入した。この方法は、２次元顔認識における誤り率をかなり低下させることのできる２次元固有スペース組み合わせを生み出すことを示したが、処理時間が極めて長くなるけれども、ＥＥＲを使用することがおそらくより良い結果を与えるであろうことに注目されたい。しかしながら、ここで、本発明では、より効率的な組み合わせアルゴリズムと共に、このアプローチを採用し、新しい次元を或る現存の曲面スペースに導入するのに必要な基準が結果として生じたＦＥＲの増大であるようにした。実際には、任意の最適化方法を使用して最良の次元組み合わせ（たとえば、遺伝アルゴリズム、焼き鈍し法その他）を選ぶことができる。

図１６では、一方はユークリッド距離測定法を使用し、他方はコサイン距離測定法を使用している、というように組み合わせた２つのシステムに加えるために、上記のアルゴリズムを使用して、どの曲面スペースからどの次元を選んだかを示している。。
ここで、本発明では、コサイン距離測定値およびユークリッド距離測定値の両方を使って、組み合わせた曲面スペース・システムと、最適な個々のシステムとを比較した。

図１７及び図１８に示す誤差曲線は、コサイン距離測定法およびユークリッド距離測定法を使用して、最適な単一フィッシャー曲面システムおよび組み合わせたフィッシャー曲面システムを、テスト・セットＡ（組み合わせシステムを構成するのに使用される）、テスト・セットＢ（初見のテスト・セット）および完全テスト・セット（セットＡ及びセットＢからのすべての画像）に適用したときに得られた結果を示している。本発明者等は、組み合わせシステム（鎖線）がコサイン距離測定法、ユークリッド距離測定法の両方について単一システムよりも低い誤り率を生じることを確かめた。テスト・セットＡ、テスト・セットＢ、テスト・セット（Ａ及びＢ）のそれぞれについて、７.２％、９.３％、８.２％のＥＥＲを発生する、コサイン距離を使用したフィッシャー曲面組み合わせが最適システムであることがわかった。

これは次元を選択することのほんの一例であり、この場合には水平導関数成分のすべての選択であるという初期選択成分のセットの近くに、性能的に極大を決定するだけであることは承知されたい。本発明の他の実施形態では、一般的に、正確で信頼性の高いシステム性能を与えるために全次元セットからの次元のサブセットを選択するのに使用される任意の検索法または最適化法を含む。

ここに開示した種々の方法は互いに組み合わせることができる。
上記のように、本発明の図示実施形態を顔の認識のために使用しているが、これらの図示実施形態を使用したり修正したりして他の対象物を認識することもできる。

この明細書において、「含む（comprise）」という動詞は、通常の辞書的な意味を有し、非排他的な包含を意味している。すなわち、１つまたはそれ以上の特徴を包含するように「含む（comprise）」という単語を使用することであり、さらに別の特徴も包含する可能性を排除することはない。

本明細書の読者は、本出願と関連して特定されたすべての優先文献、および、本願と同時にあるいは、本願に関する明細書より以前に出願され、本願明細書で公開されている全ての文献に注意を向けて頂きたく、このような文献全ての内容は参照されることにより本明細書の一部を構成するものである。

本明細書に開示した特徴のすべておよび／またはそこに開示した任意の方法またはプロセスの工程のすべては、これらの特徴および／または工程の少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わせることができる。

本明細書に開示した各特徴は、特に明示しない限り、同じまたは均等または類似の目的を果す代替の特徴と置き換えることができる。したがって、特に明示しない限り、ここに開示した各特徴は包括的な一連の均等または類似の特徴のほんの一例である。

本発明は、前述の実施形態（単数または複数）の詳細に限定されることはない。本発明は、本明細書に開示した特徴のうちの任意の新規な１つまたは新規な特徴組み合わせに及ぶし、また、ここに開示した任意の方法またはプロセスの工程のうちの任意の１つまたは任意の新規な工程組み合わせにも及ぶ。

画像認識法の一例を説明するフローチャートである。トレーニング・モードを説明する、図１と同様のフローチャートである。図１の示す方法の変形例を示すフローチャートである。図３と同様のフローチャートであるが、或る特定の一致を探す変形例を示す図である。３次元顔データベースから採用した顔モデルの例を示している。正面を向いた姿勢（中央）および顔曲面奥行きマップ(右)に対する未処理３次元顔モデル(左)の向きを示している。平均奥行きマップ（最も左）と第１の８つの固有曲面を示している。顔曲面奥行きマップおよび或る距離測定法レンジを使用している代表的な３次元顔認識システムについての誤採択率と誤拒絶率とを示すグラフである。検証テスト手順の流れ図である。最適曲面表現および距離測定法を使用している３次元顔認識システムについての誤採択率および誤拒絶率を示すグラフである。種々の曲面表現および距離測定法を使用している３次元顔認識システムのイコール誤り率を示すチャートである。コンボリューションカーネルを使用した曲面表現の簡単な説明を示している。曲面表現の表である。異なった曲面表現についてのイコール誤り率を示すグラフである。異なった曲面表現についての判別値および次元を示すグラフである。ユークリッド距離測定法およびコサイン距離測定法を使用している２つの組み合わせシステムに内蔵させるための曲面スペースから選んだ次元を示す表である。コサイン距離測定法およびユークリッド距離測定法を使用しているフィッシャー曲面システムについての誤差曲線を示している。コサイン距離測定法およびユークリッド距離測定法を使用しているフィッシャー曲面システムについての誤差曲線を示している。

Claims

三次元画像を認識する方法であって、
ａ. 前記画像を、各々三次元表面構造に関連する、異なる特徴抽出処理により処理して複数の異なった処理画像を含む画像セットを得る工程と、
ｂ. 前記画像セット内の処理画像を組み合わせる工程と、
ｃ. 前記画像セット内の処理画像によって占有されたデータスペースを、縮小されたデータスペースを創り出すために変換（transform）する工程と、
ｄ. 前記縮小されたデータスペース内に表示（represent）される組み合わされた画像セットから画像を代表する画像キーを生成する工程と、
ｅ. 前記画像キーを既知画像の少なくとも１つの以前に記憶しておいた画像キーと比較する工程とを含み、
前記工程ｂは前記工程ｃに先立って実施され、又は前記工程ｃは前記工程ｂに先立って実施される、ことを特徴とする方法。
工程ａが、エッジ、ライン、ウェーブレット、グラジエント成分、曲率成分、および色成分の内の少なくとも１つを含む画像特徴を抽出する工程を含むことを特徴とする請求項１に記載の方法。
工程ｅが、画像キーをすぐ前に記憶させた画像キーと比較して画像の同一性を検証する工程を含むことを特徴とする請求項１に記載の方法。
工程ｅが、画像キーを複数の前に記憶させた画像キーと比較して画像を識別する工程を含むことを特徴とする請求項１に記載の方法。
工程ｅにおける比較の結果を記憶させ、前に記憶させた画像キーとの潜在的な一致リストを生成する工程をさらに含むことを特徴とする請求項４に記載の方法。
工程ｅが、ユークリッド距離測定法（Ｌ２基準）、マハラノビス距離測定法、またはコサイン距離測定法を使用して実施されることを特徴とする請求項４または５に記載の方法。
工程ａに先立って、画像を所定の向き及び／又は位置及び／又は奥行き正規化に回転及び／又は位置させる工程を含むことを特徴とする請求項１〜６のいずれか１つに記載の方法。
工程ｂに先立って、データを正規化してから組み合わせを行う工程を含むことを特徴とする請求項１〜７のいずれか１つに記載の方法。
前記画像がカメラから得たものであることを特徴とする請求項１〜８のいずれか１つに記載の方法。
前記画像が、重ね合わせた２次元−３次元画像対を含むことを特徴とする請求項１〜９のいずれかに記載の方法。
工程ｃが、主成分分析法によって実施されることを特徴とする請求項１〜１０のいずれか１つに記載の方法。
工程ｃが、フィッシャーの線形識別分析法(Fisher's Linear Discriminant Analysis)によって実施されることを特徴とする請求項１〜１１のいずれか１つに記載の方法。
前記画像が顔の画像であることを特徴とする請求項１〜１２のいずれか１つに記載の方法。
前記画像が人間の顔の画像であることを特徴とする請求項１〜１３のいずれか１つに記載の方法。
前記画像が自然画像であることを特徴とする請求項１〜１４のいずれか１つに記載の方法。
前記画像セットがオリジナルの画像を含むことを特徴とする請求項１〜１５のいずれか１つに記載の方法。
三次元画像を認識する装置であって、
ａ. プロセスに複数の異なった処理画像を得るべく前記画像を、各々三次元表面構造に関連する、異なった特徴抽出処理により処理するように配置した処理手段と、
ｂ. 処理画像を組み合わせるように配置した組み合わせ手段と、
ｃ. 処理画像の占有するデータスペースを縮小するように配置した縮小手段と、
ｄ. 組み合わせ、縮小した処理画像から画像を代表する画像キーを生成するように配置した生成手段と、
ｅ. 画像キーを既知の画像の少なくとも１つ前に記憶させた画像キーと比較するように配置した比較手段と、を含むことを特徴とする装置。
３次元画像を認識する方法であって、
ａ. フィッシャーの線形識別分析を使用して画像の占有するデータスペースを変換（transform）する工程と、
ｂ．変換されたデータスペースから画像を代表する画像キーを生成する工程と、
ｃ. 前記画像キーを既知画像の少なくとも１つの以前に記憶しておいた画像キーと比較する工程と、を含むことを特徴とする方法。
３次元画像を認識する装置であって、
ａ. フィッシャーの線形識別分析法を使用して画像の占有するデータスペースを変換（transform）する手段と、
ｂ. 変換されたデータスペースから画像を代表する画像キーを生成する手段と、
ｃ. 前記画像キーを既知画像の少なくとも１つの以前に記憶させておいた画像キーと比較する手段と、を含むことを特徴とする装置。