JP3986583B2

JP3986583B2 - 確率的固有空間解析を用いた複雑な対象物の検出、認識、及び符号化方法及び装置

Info

Publication number: JP3986583B2
Application number: JP10002396A
Authority: JP
Inventors: ババック・モグハダム; アレックス・ペントランド
Original assignee: マサチューセッツ・インスティテュート・オブ・テクノロジー
Priority date: 1995-04-20
Filing date: 1996-04-22
Publication date: 2007-10-03
Anticipated expiration: 2016-04-22
Also published as: JPH08339445A; US5710833A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動視覚学習に関し、特に、人間の顔のような、各種のタイプの複雑で多特徴のある実体を検出、認識、及び符号化するための、デジタル的に表された画像の解析に関する。
【０００２】
【従来の技術】
視覚学習システムは、観察された光景をデジタル表現へと符号化して、ある目的のために、これらの表現を解析する。１つの重要な目的には、特定のタイプ、又は類別の対象物の存在に対して、光景を走査し、次に、検出された対象物に基づいて、更なる解析を実行して、それらを識別、又は少なくとも更に分類することが必然的に含まれる。視覚学習システムのこの応用により、機密保護、法執行、国境管理、又は他の目的のために、顔を検出、及び識別するシステムにおける用途が、最近では見出されている。
【０００３】
この解析には、問題とするパターンを系統的に特徴付けて、比較的大きな集合のデータ内に弁別することが可能である、パターン認識技法が要求される。最も成功した技法の幾つかは、本質的に統計的なものである。しかし、生データ（すなわち、画素点、或いは「ピクセル」の格子として、デジタル的に表現される光景）に関してこれらの操作を実行することは、計算上桁外れなものとなる。その代わりに、通常、データは、請け負うべき解析に適した、系統的な表現にされる。予備解析データ処理の１つの技法は、Karhunen-Loeve変換(「ＫＬＴ」) であり、これは、統計的解析に馴染みのある表現を与えるために、データの分散行列の固有値、及び固有ベクトル解析を伴う（例えば、Kirby 他による、12 IEEE Transactions on Pattern Analysis and Machine Intelligence 103 (1990)を参照されたい）。更に詳細には、対象物は、非常に大きな座標空間内で表現され、そこにおいて、対象物の各ピクセルは、空間の次元に対応するので、対象物は、その空間におけるベクトル（又は、点）に対応する。ＫＬＴによれば、調査中の指向（training）集合の、或いは集団の実体画像は、指向画像を、集団の分散行列の固有ベクトルとして表現する、数学的変換を被る。元の指向画像の各々は、各種の固有ベクトルの総和として、正確に表現可能である。
【０００４】
かかる固有空間分解は、テンプレート整合、又は正規化相関のような、標準的な検出技法よりも強力であるが、推定技法を、画像の高次元空間に適用すべきである場合、手に負えない計算上の重荷を依然として呈示する。データを効率的に解析するためには、探索が、データ空間の最も顕著な領域に限定可能なように、分割せねばならない。かかる領域を識別する１つの方法は、「主成分解析」(「ＰＣＡ」) を必要とし、これは、多次元画像空間内の対象物の分布が、特徴領域内にグループ化される傾向を有することを認識して、この領域を規定するために、固有ベクトルの主成分を利用する。固有ベクトルは各々、指向集合の画像間における異なる量の変化の原因となり、画像間の変化のモードを共に特徴付ける、特徴集合と見なすことができる。各対象画像は、指向画像の集合内の最大分散量の原因となる、「最良の」、或いは主成分固有ベクトル（すなわち、それらは、最大固有値を有する）の一次結合により、近似的に表現することができる。米国特許第5,164,992 号（その開示全体を参照として、本明細書に取り入れる）において、例えば、上記の立案が、顔認識システムに使用され、そこでは、主成分が、主部分空間を、すなわち指向画像が群をなす高次元画像空間の「顔空間」領域を規定する。入力画像（又は、画像領域）が走査されて、その画像を顔空間上に数学的に投影することにより、顔の存在が検出される。顔空間からの入力画像（高次元画像空間における点として表現される）の距離を利用して、顔と顔でない間が弁別される。すなわち、計算された距離が、予め選択された閾値より下になった場合、入力画像はおそらく顔である。もう少し一般的には、米国特許第5,164,992 号に記載の技法は、「対象空間からの距離」(「ＤＦＯＳ」)の大きさを利用して、入力画像が、対象物の実体を含むか否かを判定する、ということが言える。
【０００５】
計算上は扱い易いが、米国特許第5,164,992 号の手法は、主成分以外の固有ベクトルが、対象空間を規定する際に廃除されるので、基本的には不完全なものである。結果としての局所密度関数は、対象空間を単一の完全体として扱う。すなわち、ＤＦＯＳ計量法は、内部変化がないと仮定した空間からの絶対距離を与える。しかし、対象空間における全パターンが、おそらく等しいと仮定することにおいて、この解析は、ある間違った結果となる傾向がある。例えば、人間の目は、対象物が実存しないと瞬時に認識するが、その指向画像との特定の類似点を共有するパターンは、ＰＣＡを用いると、対象分類の構成要素として、間違った類別化を容易になす可能性がある。
【０００６】
対象空間が、ＰＣＡを用いて規定される、この制限された手法は、対象空間の密度が変動する場合だけでなく、対象空間が多モードである場合にも制限を課す。例えば、指向画像が、異なる視野角で、又は異なる照明条件の下でとられた、顔の写真からなると想定してみる。顔空間における指向の視野の分布は、単一モードにはならず、実際、対象空間において、複雑、且つ分離不可能な多様体上に存在する傾向となる。ＰＣＡは、かかる空間配置内において、正確な推定を与えることができない。ＰＣＡをかかる多モード環境に適応させるためには、各々異なる視野に対応する、個別の固有空間においてＰＣＡが実行される、視野基準の（又は、対象物基準の）立案を構築すること、或いはスプライン、又は局所基準関数を用いて、普遍の、又は母集団の固有空間に、対象空間多様体の複雑性の捕捉を試行すること、といった方策に頼らねばならない。しかし、これらの適応の何れもが、複雑であり、且つ解析の精度を最終的に劣化させる可能性がある。
【０００７】
【発明が解決しようとする課題】
本発明は、推定を導出するために、主成分だけでなく、全ての固有ベクトルを利用する、対象物検出、及び認識に対する手法を提供する。対象空間内の全てのパターンが、ほぼ等しいと仮定する代わりに、対象空間内の確率分布を捕捉する。このようにして、本発明は、対象空間内に入る入力画像に対する、パターン間のより緻密な識別、推論、対象空間内のその代表値の測定を容易にする。換言すると、パターンが、対象空間内に存在するが、指向画像が、群をなす傾向を有する、対象空間の領域近傍のどこにも存在しない場合、本発明は、そのパターンを「代表値ではなく」、おそらく、対象物分類の構成要素ではないと識別する。本発明は、人間の顔、その特徴（例えば、目）といった、実質的に任意の多特徴のある実体だけでなく、また人間の手といった、柔軟で関節のある対象物の検出、及び認識に有益である。
【０００８】
本発明は、主固有ベクトル成分に対する解析に限定されないので、多モード分布に容易に適合する。実際、本発明により、異なる対象物視野を表す指向画像の集合が与えられる限り、本発明は、ある範囲の入力パターン配向にわたって、価値のある認識性能をもたらすことが可能である。換言すると、本発明は、内部分布が一様でないだけでなく、多モードでもある対象空間内の弁別が可能である。更に、本発明は、検出が、入力画像内の特徴的パターンの大きさにほとんど独立であるような、縮尺の範囲にわたって動作可能である。本発明により利用される表現は、基本的にはデータ圧縮形式の、高効率なモデル・ベース符号化、機能に向いている。対象物の分類を表す、基本固有ベクトルの集合が、基本ベクトルの重み付け一次結合として表現される、新しい対象物を符号化するための基準として使用され得る。このようにして、新しい対象物が、少数のバイトを用いて表現可能であり、最小限の必要記憶容量で、大画像データベースの効率的な符号化が容易になる。圧縮は、量子化により更に増強され得る。
【０００９】
【課題を解決するための手段】
従って、１つの態様において、本発明は、本明細書に記載する原理に従って、散乱した光景において、（顔といった）複雑で多特徴のある対象物、又は実体を検出するための設備である。走査モジュールが、ピクセルの矩形近傍を系統的に識別して、検出モジュールに、各ピクセルに関連した値（例えば、輝度レベル）を渡す。検出モジュールは、ピクセル値を、高次元画像空間（各空間軸に沿ったベクトル成分の長さに対応する、ピクセル値を備えた）におけるベクトルとして表現し、以下で説明するように、このベクトルを固有空間分解上に投影して、ベクトルが、検出すべき対象物のタイプのパターン特徴を含むか否かを判定し（すなわち、ベクトルが、対象空間内に入るかだけでなく、代表値であるか否かも）、もし含む場合、認識モジュールは、入力パターンが、指向画像の集合のうちのいずれの特定ものに対応するかを判定する。更に特定として、本発明は、入力画像が、指向画像集合の全ての固有ベクトル成分に対して考慮されるが、高次元画像空間を通して、明示的な解析を計算する必要のないような、ＰＣＡ手法に及ぶ。代わりに、本発明は、ＰＣＡの部分空間結果を、画像空間における対象物の確率密度の周辺成分の推定として取り扱い、ＰＣＡ部分空間結果を足場として、統計的に矛盾のない推定枠組みに、ＰＣＡ投影、及び残りの（主成分でない）固有ベクトル上への入力画像の投影を別個に取り込むことにより、確率密度の完全な推定を達成する。これは、主成分の、及び残りの固有ベクトル空間に関連した、確率密度は、互いと容易には相関しない、ということに関するので、本発明の重要な要素を表す。
【００１０】
全体の対象物検出に加えて、本発明は、対象特徴（例えば、顔全体の代わりに、顔の特徴）を自動的に検出、及び識別するように、実施可能である。この機能により、全体の対象物を基準にして、多モードの対象空間密度が何を表すかという、個性が表現される。説明の便宜上、「特徴」という用語は、対象物全体、又はその特徴を意味するために、本明細書において一般的に使用する。
【００１１】
他の態様において、本発明は、検出に付随して、又はその代替として、固有対象物、又は固有特徴テンプレート（例えば、固有の顔、固有の目、固有の鼻、固有の口、等）の一次結合に基づいて、対象物、又は特定の対象特徴のモデル・ベース符号化を提供する。固有特徴の表現において、特徴空間からの等価距離(「ＤＦＦＳ」)計量法を用いて、入力画像の各ピクセルの解析から、特徴距離マップが構築される。ｎ個の固有ベクトルを用いた場合、これには、ｎ個の畳み込み（これは、高速フーリエ変換(「ＦＦＴ」）を用いて、効率的に計算可能である）に加えて、付加的な局所エネルギー計算が必要とされる。次に、この距離マップの大域的最小値が、最良の特徴整合として選択される。この技法の性能は、最近、約８０００枚の「警察の記録用の顔（mugshot)」写真のデータベース上で試験され、それに伴い、９４％の検出率（標準のテンプレート整合よりも、ほぼ完全な程度の大きさの改善を表す）を達成した。
【００１２】
本発明は又、主成分空間内、及びその外側の確率を相関するための、統計的原理を与える、最大公算(「ＭＬ」)を用いて、対象物の自動視覚学習、特徴検出、及び識別のための装置を具体化する。好適な実施例において、この装置には、多数の縮尺で画像を走査し、各縮尺において、好適には並列に、ＭＬ解析（対象物、又は特徴レベル、或いはその両方での）を実施して、目標特徴の実体を検出する手段と、多次元画像空間における固有ベクトルの集合として、好適には配向、及び照度が一致する、指向画像集合を表現する手段と、指向画像集合と幾何形状、及びグレースケール・コントラストを一致させるために、入力画像の検出成分を調整する手段と、認識を目的として、指向集合の固有空間表現上に、検出された特徴を投影する手段と、固有ベクトル投影係数に関連して、元の画像を再構成するための任意の再構成モジュールと、量子化固有ベクトル投影係数の集合として、調整、及び／又は再構成画像を効率的に表現するための、符号化モジュールとが含まれる。
【００１３】
【発明の実施の形態】
以上の説明は、添付図面と関連してなされる、以下の詳細な説明から、更に容易に理解されるであろう。
【００１４】
１．画像解析
本発明の手法は、密度推定に基づくものであり、固有空間分解を利用して、高次元画像空間が、計算上で管理可能な部分空間に縮小される。各々が対象物分類Ωの構成要素である、指向画像の集合
【００１５】
【数１】

【００１６】
に関して、本発明は、分類メンバーシップ関数、又は公算関数Ｐ（ｘ｜Ω）を推定、すなわち入力画像ｘが、その分類の構成要素であることを推定する、という課題を提言することができる。
【００１７】
この課題に対するＰＣＡ手法は、以下の通りである。ｍ×ｎ画像の集合
【００１８】
【数２】

【００１９】
が与えられると、各画像Ｉ^tのピクセル要素の辞書的な順番により、ｘが次元ｍｎである（すなわち、ｘ∈Ｒ^N=mn）、指向集合のベクトル｛ｘ^t｝を形成することが可能である。ＫＬＴにおける基本関数は、固有値問題を解くことにより得られる。
【００２０】
【数３】

【００２１】
ここで、Σは、データの分散で、Φは、Σの固有ベクトル行列で、Λは、固有値の対応する対角行列である。ＰＣＡを用いて、局所ＫＬＴが、最大固有値の固有ベクトルを識別して、主成分の特徴ベクトル
【００２２】
【数４】

【００２３】
を得るために実行され、ここで
【００２４】
【数５】

【００２５】
は、平均正規化画像ベクトルであり、Φ_Mは、主固有ベクトルを含む、Φの部分行列である。ＰＣＡは、最大固有値（すなわち、主成分）に対応する、ＫＬの原理のより低い次元の部分空間を抽出する、一次変換ｙ＝Ｔ（ｘ）：Ｒ^N→Ｒ^Mとして説明できる。図１に示すように、説明目的のために、表現、及びその特徴（対象物とは反対である）レベルでの解析を仮定するが、これは、領域１０内に群をなす主成分を含む超平面である、主部分空間（又は、特徴空間）
【００２６】
【数６】

【００２７】
、及び図１に直交相補成分で示す残りの成分
【００２８】
【数７】

【００２９】
からなる、２つの相互に排他的で、且つ相補的な特徴空間への、ベクトル空間Ｒ^Nの直交分解に対応する。特徴空間からの距離(「ＤＦＦＳ」)の大きさは、入力画像ｘに対して、主特徴部分空間Ｆからのその画像空間ベクトルの距離を表し、米国特許第5,164,992 号に使用されるような技法は、ＤＦＦＳが、所定の誤差範囲内にあるか否かを判断し、もし範囲内にある場合、入力画像は、特徴の場合であると見なされる。換言すると、空間Ｆ／は、残留再構成誤差を計算するためにだけ用いられる。Ｆ／空間にある関連特徴ベクトルに対する、ｘの関係だけでなく、主ベクトルの群からの、主特徴空間Ｆにおけるｘの投影距離も無視され、すなわち、この後者の「特徴空間の距離」（「ＤＩＦＳ」）パラメータは、最も典型的な特徴が、領域１０内、又はその近くに入ることになるので、検討中の特徴タイプの典型的な構成要素として、ｘが見なせるかどうかの度合いを示す。
【００３０】
局所ＫＬを展開すると、残留再構成誤差は、以下のように定義される。
【００３１】
【数８】

【００３２】
ここで、各量ｙは、成分固有ベクトル上への投影係数を表し（すなわち、ｙ_iは、入力画像に対する、ｉ番目の固有ベクトルの相対分布を意味し、Ｆ空間におけるある点を表す）、残留誤差は、平均正規化画像ｘのＭ個の主成分、及びＬ₂ノルム（すなわち、長さを表す、２乗和）から、直接的に計算可能である。図１を参照すると、直交部分空間Ｆ／におけるＤＦＦＳ成分は、単純なユークリッド距離となり、この残留誤差に等しい。ＤＩＦＳ成分（すなわち、特徴空間Ｆ内にあるｘの成分）は、一般的には、距離に基づいたノルムではないが、Ｆにおけるｙの確率分布に関連して、解釈可能である。
【００３３】
与えられた指向集合｛ｘ^t｝から、分布の平均ｘ／、及び分散Σの推定値が与えられると、例えば、米国特許第5,164,992 号で概略示される統計的技法を用いて、公算関数Ｐ（ｘ｜Ω）は、以下のように表現可能となる。
【００３４】
【数９】

【００３５】
この関数を特徴付けるのに十分な統計量は、いわゆるMahalanobis 距離であり、これは、多次元の正規化、すなわち互いに、異なる値範囲を有する変数のノルムに関する統計的な縮尺係数を与え、このようにして、「代表値」が、異なる値に及ぶ変数に対し一貫して表現可能となる。Mahalanobis 距離は、以下で与えられる。
【００３６】
【数１０】

【００３７】
Σの固有ベクトル、及び固有値を用いると、以下の直交化形式でΣ^-1を書き直すことが可能である。
【００３８】
【数１１】

【００３９】
ここで、ｙ＝Φ^Tｘは、ＫＬＴにおける座標の変更により得られる、新しい変数である。直交化形式のために、Mahalanobis 距離は又、以下の総和の項で表現可能となる。
【００４０】
【数１２】

【００４１】
以下のように、Ｍ個の主投影のみを用いて、ｄ（ｘ）を推定可能である。
【００４２】
【数１３】

【００４３】
ここで、項
【００４４】
【数１４】

【００４５】
は、ＤＦＦＳ残留誤差ε²（ｘ）であり、最初のＭ個の主成分を用いて計算可能である。従って、Ｐ（ｘ｜Ω）は、２つの周辺、及び独立ガウス密度の積として、
【００４６】
【数１５】

【００４７】
から推定可能となる。
【００４８】
【数１６】

【００４９】
ここで、Ｐ_F（ｘ｜Ω）は、Ｆ空間における真の周辺密度で、
【００５０】
【数１７】

【００５１】
は、直交相補Ｆ／空間における推定される周辺密度である。
【００５２】
ρの最適値は、Kullback-Leibler発散、又は真の密度とその推定値間の「相対エントロピー」とすべきである、以下の適切な費用関数Ｊ（ρ）を最小化することにより決定できる。
【００５３】
【数１８】

【００５４】
【数１９】

【００５５】
最適な重みρ^*は、ρに関して上記関数を最小化することにより、見出し得る。式δＪ／δρ＝０を解くと、以下の結果が得られる。
【００５６】
【数２０】

【００５７】
これは、直交部分空間Ｆ／における固有値の単純な算術平均となる。その最適性に加えて、ρ^*は又、結果として以下のように、Mahalanobis 距離の不偏推定値となる。
【００５８】
【数２１】

【００５９】
従って、Ｍ次元の主部分空間が定義されると（例えば、ＰＣＡにより）、主部分空間だけでなく、全体の画像空間を包囲する、最適密度推定値
【００６０】
【数２２】

【００６１】
は、式１１で与えられるρを備えた、式８で与えられる形式を有する。
【００６２】
指向集合が、変化する照明条件の下での多数の視野、又は多数の対象物を表す場合、指向視野の分布は、もはや単一モードでなく、例えば、図２に示す任意の多モード密度に類似することになる。空間Ｆの単一領域１０を占有する代わりに、主ベクトルは、領域１２、１４、１６の群を占有する。このタイプの分布をモデル化する１つの手法は、各種の領域が、特定のタイプの画像変化（例えば、頭上、及び左右の輪郭視野）を系統的に反映すると仮定し、画像をグループ内に隔離することにより、解析を分割することである。
【００６３】
本発明は、分割といった方策を必要とすることなく、多モードの固有ベクトル空間における、入力画像の唯一の解析を容易にする。Ｆ／空間成分が、ガウス状で、Ｆ空間における主要特徴とは独立であると仮定すると（これは、例えば、ＣＣＤカメラに本質的な「ショット雑音」に起因した、純粋な観測雑音の場合には、真実であろう）、主成分ベクトルｙにおける任意の密度Ｐ（ｙ）として、Ｐ_F（ｘ｜Ω）を取り扱うことにより、式８の密度推定値
【００６４】
【数２３】

【００６５】
の分離可能形式を依然として利用することが可能になる。図２に示すように、ＤＦＦＳは、残留誤差ε²（ｘ）に依然として対応するが、ＤＩＦＳは、もはや単純なMahalanobis 距離として表現することはできない。しかしながら、ＤＩＦＳをＰ（ｙ）と関連させることにより、「距離」として、例えばＤＩＦＳ＝−ｌｏｇＰ（ｙ）として、ＤＩＦＳを表現することが可能である。
【００６６】
主成分ベクトルの密度Ｐ（ｙ）は、母数混合モデルを用いて推定可能である。特に、任意の複合密度は、ガウスの混合法を用いて、以下のようにモデル化可能である。
【００６７】
【数２４】

【００６８】
ここで、ｇ（ｙ；μ_i，Σ_i）は、平均ベクトルμ、及び分散Σを有する、Ｍ次元ガウス密度であり、π_i変数は、制約条件Σπ_i＝１を満足する、成分の混合母数である。この混合は、母数
【００６９】
【数２５】

【００７０】
により完全に指定される。画像の多モード指向集合
【００７１】
【数２６】

【００７２】
が与えられると、混合母数は、ＭＬ原理を用いて、以下のように推定可能となる。
【００７３】
【数２７】

【００７４】
この推定問題は、周知の期待値最大化（「ＥＭ」）アルゴリズム（例えば、Dempster他による、「ＥＭアルゴリズムによる不完全データからの最大公算（Maximum Likelihood from Incomplete Data via the EM Algorithm）」,Journal of the Royal Statistical Society B, vol.39, 1977、及び Render他による、「混合密度、最大公算、及びＥＭアルゴリズム（Mixture Densities, Maximum Likelihood and the EM Algorithm）」,26 SIAM Review 195 (1984)を参照されたい。これらの参考文献の各々の内容を参照として、本明細書に取り込む。）を使用して、直接に解かれる。ＥＭアルゴリズムは、公算において単一的収束性であり、従って指向集合の公算全体において、局所最大値を見つけるのが保証される。
【００７５】
指向データが、真にＭ次元（最大で）であり、白色ガウス測定雑音に起因した摂動を除いて、主部分空間Ｆに唯一属するという、すなわち等価的に、指向データのＦ／空間成分自体が、分離可能なガウス密度を表すという、動作仮定を与えると、完全公算関数Ｐ（ｘ｜Ω）の推定値が、以下により与えられる。
【００７６】
【数２８】

【００７７】
単一モード、及び多モードの両方の場合において、密度推定値
【００７８】
【数２９】

【００７９】
は、入力画像（画像空間のベクトルｘとして表現される）が、指向画像集合の事例を表すか否かの信頼性のある指示を与える。すなわち、推定値は、ＤＦＦＳから導出される残留再構成誤差、及びＤＩＦＳにより表現される分類代表値の両方を反映する。更に密度推定値
【００８０】
【数３０】

【００８１】
は又、縮小化に向いているので、確率推定値は、画像全体ではなく、画像成分に対して展開可能である。特に、密度推定値を用いて、以下のように、多縮尺の突出マップが形成され、ここで、線形縮小型の入力画像に関して、公算計算が（並列に）実行される。
【００８２】
【数３１】

【００８３】
ここで、ｘ^ijkは、多縮尺表現において、入力画像の局所的な部分画像から得られるベクトルである。対象物Ωの空間位置、及び縮尺のＭＬ推定値は、以下のように得られる。
【００８４】
【数３２】

【００８５】
ここで、ｉ、ｊは、画像成分を識別し、ｋは縮尺水準である。
【００８６】
対象物、又は特徴のグレースケール出現における多様性は、照明、及びコントラスト変化から生じる。以下で更に詳細に説明するように、各部分画像をその平均、及び標準偏差により正規化することによって、広域的な照度変化に対して（それと同時に、特定のカメラの線形応答特性に対しても）、正規化することが可能である。この照明の正規化は、指向、及び入力画像解析時に、通常実施される。
【００８７】
２．ハードウェア実施例
ここで、本発明を取り入れたハードウェア・システムを、ブロック図形式で示す図３を参照する。そこで示されるように、このシステムは、ビデオ源１５０（例えば、電荷結合素子、すなわち「ＣＣＤ」カメラ）を含み、それは、解析すべき静止入力画像を供給する。ビデオ源１５０の出力は、デジタイザ１５２により、ピクセルマップへとフレームとしてデジタル化される。デジタル化ビデオフレームは、それを介して全ての構成要素が通信を行う、システムバス１５５上に、ビットストリームとして送られて、大容量記憶装置（ハードディスク、又は光学式記憶ユニットといった）だけでなく、主システムメモリ１６０（特定として、一連の等サイズの入力画像バッファ１６２を規定する区分内の）にも格納される。
【００８８】
図示のシステムの動作は、中央処理ユニット（「ＣＰＵ」）１７０により指令される。以下で説明する、画像処理動作の高速実行を容易にするために、このシステムは、好適には、グラフィック、又は画像処理ボード１７２を含むが、これは、当業者には周知の標準的な構成要素である。
【００８９】
ユーザは、キーボード１８０、及び位置検知装置（例えば、マウス）１８２を用いて、システムと対話する。どちらかの装置の出力を用い、情報を指示、又はスクリーンディスプレイ１８４の特定区域を選択して、システムにより実施されるべき機能が指令される。
【００９０】
主メモリ１６０は、ＣＰＵ１７０の動作、及び他のハードウェア構成要素との対話を制御する、一群のモジュールを含む。オペレーティング・システム１９０が、メモリ割当て、ファイル管理、及び大容量記憶装置１５７の動作といった、低レベルの基本システム機能を指令する。より高レベルにおいては、一連の格納された命令として実施される、解析モジュール１９２が、以下で説明するように、本発明により遂行される主要機能の実行を指令し、ユーザインターフェース１９４を規定する命令が、スクリーンディスプレイ１８４を介して、直接の対話を可能にする。ユーザインターフェース１９４は、ユーザによる動作を促すために、言語を、又はディスプレイ上にグラフィック画像を生成して、キーボード１８０、及び／又は位置検知装置から、ユーザ・コマンドを受け取る。最後に、メモリ１６０は、大容量記憶装置１５７に格納されている、固有テンプレートに関して、以前に説明したように、符号化された対象物、又は特徴の画像データベースを格納するための区分１９６を含む。
【００９１】
各画像バッファ１６２の内容は、「ラスター」、すなわち集合的に１つの画像を表す、離散ピクセル位置の規則的な２次元パターンを規定し、その画像を表示するために、スクリーンディスプレイ１８４を駆動する（例えば、画像処理ボード１７２、又は画像サーバの手段により）ためにも使用できる。フレームバッファ内の各メモリ配置の内容は、ディスプレイ１８４上において、対応するピクセルの出現を直接支配する。
【００９２】
主メモリ１６０のモジュールを個別に説明したが、これは、呈示を明瞭にするためだけであり、システムが、全ての必要な機能を遂行する限り、それらが、システム、及びそのプログラミング・アーキテクチャー内で、如何に配分されるかは重要ではない、ということを理解されたい。同様に、格子として概念的に構成したが、ピクセルマップは、実際には、この様にして、デジタル的に格納される必要はない。むしろ、メモリ利用、及び転送を簡便にするために、ラスターパターンは、通常、ピクセルの順序アレーとして符号化される。
【００９３】
上記のように、本発明に関連した重要なタスクの実行は、ＣＰＵ１７０の動作を支配し、且つ対象物、又は特徴を検出、認識、及び符号化するのに必要なステップを遂行する際には、主メモリ１６０とのその対話を制御する、解析モジュール１９２により指令される。このモジュールの好適な実施例の構成要素は、図４に示されている。図示の解析モジュール１９２は、最大推定精度のために、対象物、及び特徴レベルの両方において動作する。しかしながら、これらの機能は、本発明の完全な可能性を明示するが、本発明は、代替として、その両方ではなく、対象物、又は特徴レベルのどちらかにおいても動作可能である（例えば、計算資源を保護するため、又は実時間動作を容易にするために）、ということを理解されたい。
【００９４】
図４に示すように、アテンション副システム２００、及び対象物中心の表現ステージ（「ＯＣＲＳ」）２０２が協働して、対象物の可能性のある事例を検出するために、入力画像に関する多縮尺の探索を遂行する。説明上の目的のために、この対象物は、顔であると想定する。本発明の重要な適用は、検出ステージにおいてもたらされる。すなわち、ＭＬ解析を用いて、入力画像が、とにかく顔を含むか否かが判定される。
【００９５】
副システム２００、及びＯＣＲＳ２０２の好適な動作モードが、図５に示されている。第１のステップ３００において、粗い固有ベクトル顔表現（例えば、１０次元の主部分空間、すなわち、最も高い関連性のある固有ベクトルを有する、「固有の顔」の１０個の固有ベクトルから構成される「顔空間」を備えた）、及び各種の顔特徴（例えば、目、鼻、及び口）の固有ベクトル表現が、一連の指向画像（好適には、単一の視野角で生成された）から確立される。適切なユーザ・コマンドに応答して、ステップ３０２において、入力画像が、第１のバッファ１６２内にロードされて、それを、解析モジュール１９２が利用可能となる。次に、入力画像は、入力画像よりも小さな複数のレベル（例えば、１／２×、１／４×、等）に、線形縮小されて、ｋ個の縮小画像の各々が、画像バッファ１６２のうちの異なるバッファに格納される。
【００９６】
ステップ３０４において、各縮小化された入力画像（例えば、２０×３０ピクセル）の矩形の「ウィンドウ」領域が、通常は画像の角部において規定される。ウィンドウ内のピクセルは、画像空間内の点としてベクトル化され、主部分空間Ｆ、及び直交部分空間Ｆ／上に投影されて、ステップ３０６において、式８及び１１に従って、確率推定値が得られる。画像の走査が、完全に完了していないならば（ステップ３０８）、ウィンドウは、同じウィンドウ寸法であるが、既に解析済みのウィンドウから、１ピクセルの距離だけ変移した、新しい領域を規定することにより、「移動」される（ステップ３１０）。入力画像の縁部に到達した場合、ウィンドウは、１ピクセルの距離だけ垂直に移動されて、走査は、反対方向に再開する。画像走査が完了すると、顔を含む確率の最も高いウィンドウが、式１６に従って識別される（ステップ３１２）。全ての縮尺ｋに対して、ステップ３０４−３１２が繰り返され、それによって、多縮尺の突出マップが生成される。
【００９７】
所望ならば、任意の数の適切な方法で、入力画像を予めフィルタリングするように、アテンション副システム２００を構成することも可能である。例えば、米国特許第5,164,992 号に記載されるように、動き検出を用いて、光景内の人の存在を識別することが可能であり、また突き止められる人の顔のテンプレート整合解析を用いて、顔がありそうな位置を予測することも可能である。
【００９８】
全ての縮小化画像の解析に続いて、最も高い関連性のある確率推定値、及びそれに関連した縮尺ｋを有する、ウィンドウｉ、ｊが、識別されて、翻訳、及び縮尺に対して正規化される（ステップ３１４）。標準的な画像加工技法を利用して、検出された顔が、束縛ボックスに配置される。ステップ３１６において、束縛ボックス内の画像が走査されて、顔の特徴（例えば、目、鼻、及び口）の位置が検出される。これは、もう一度、局所ウィンドウ移動、及び固有特徴ベクトルに対する確率推定を行うことにより達成される。束縛ボックス内のこれら特徴の位置を用いて、まず、検出された顔の幾何形状が有効化され、次に、ステップ３２０において、その顔が、「歪曲（warp）」、すなわち認識の目的のために、指向集合において利用された視野と、その顔が空間的に整合するように、幾何的に変形される。
【００９９】
最後に、ステップ３２２において、束縛画像が、顔の内部のみを含むようにマスキングされ、それにより、最も突出した顔の部位上に、ＫＬＴの記述力が集中される。指向ステップ３００は、特徴抽出モジュール（「ＦＥＭ」）２０４により遂行され、ステップ３１４−３２０は、ＯＣＲＳ２０２により実行され、主部分空間、及び直交部分空間上への入力画像の投影を含む、残りのステップは、アテンション副システム２００により実行される。
【０１００】
コントラスト正規化モジュール２０６は、中央化され、マスキングされた顔を処理して、広域的な照度変化、及び／又は特定のＣＣＤカメラの線形応答特性に起因した、入力画像における変動を補償する。というのは、これらの変動は、認識、及び符号化精度に影響を与えることになるためである。標準範囲（すなわち、それ自体が、モジュール２０６により固定標準に正規化される、指向画像に関連した範囲）に対して、入力画像のグレースケール範囲を正規化することにより、モジュール２０６は動作する。コントラスト調整に使用される正規化係数は、メモリ内に格納されて、後に、元のコントラストを有する画像の再構成が可能になる。
【０１０１】
コントラスト正規化に続いて、認識、すなわち指向画像の１つとの顔の整合の目的のために、固有の顔の集合上に顔ベクトルを投影するＦＥＭ２０４により、顔が処理される。このステップは、例えば、米国特許第5,164,992 号に従って実行可能であり、その場合には、固有の顔は、主成分を表し空間Ｆを規定する。認識、及び学習モジュール（「ＲＬＭ」）２０８が、結果としての投影係数を利用して、画像データベース１９６から顔を突き止め、ここで、顔は、それ自身の投影係数により表される。ＲＬＭ２０８は、データベース１９６から最も近い顔、及び整合のための信頼レベルを戻す。
【０１０２】
元の画像は、再構成モジュール２１０により、認識を目的として使用される調整された画像から再構成され、再構成モジュールは、ステップ３１４、及び３１８で使用される正規化、及び変形係数だけでなく、モジュール２０６により使用されるコントラスト調整値も累算して、反対にこれらを適用して、元の入力画像において表されるような顔に到達する。
【０１０３】
調整された顔画像（、及び／又は再構成された顔、及び／又はＦＥＭにより、投影係数へと処理された入力画像）は、表現効率を最大にするために、符号器モジュール２１２により符号化することができ、これは、例えば画像を転送すべき、又は放送すべき場合に、特に重要となる。投影係数は、それ自体、ピクセルマップのかなりの圧縮を表すが、符号器２１２は、その係数の標準偏差（ＫＬＴにより計算された固有値の平方根）により、係数を正規化して、その正規化された係数を量子化することによって、投影係数を尚も更に圧縮する。量子化は、例えば、正規化された係数を、離散範囲「容器（bin)」内に割当てる、ガウス源に対するLloyd-Max 量子化器を用いて達成可能であり、ここで、各容器は、対応する浮動小数点係数よりも、小さな量の情報により表すことができ、容器の数（すなわち、量子化レベル）は、量子化された符号化の精細度を決定する。当然ながら、より少ないレベルは、符号化された画像が、固有の顔から再構成された場合に、より貧弱な画像忠実度を意味する。しかしながら、関連した固有の顔が、画像に寄与する度合い、従って、投影係数の重要性を反映する、固有値に従って、投影係数をランク付けすることにより、異なる係数に対して、可変数の量子化レベルを利用する（例えば、所与の係数に割当てられたレベルの数を、その固有値に比例させる）ことで、最小限のメモリ費用と共に忠実度を保持することが可能となる。
【０１０４】
以前に説明したように、ここでも、本発明の手法は、対象物、又は特徴レベルにおいて有効であることを強調する。これら対象物、及び特徴レベルは、上述のように、特定の用途に依存して、組み合わせるか、又は別個に実施することが可能である。例えば、本発明は、顔により表される多特徴のある実体の「履歴調査」を行って、特定の顔特徴を突き止めることができ、探索された対象特徴が、特に識別可能な特性を具体化する場合、特徴指定の探索は、対象物全体の探索よりも、正確で、且つある場合には高速であることを実証可能である。
【０１０５】
本発明の固有空間の密度推定技法は、顔といった質感のある、又は細部の対象物には限定されない。例えば、その多様性が、質感ではなく形状から生じる、手といった、本質的に質感のない対象物に、本発明は首尾良く適用された。照度、コントラスト、及びシーン背景に関して不変である、手の形状のエッジに基づく表現を利用することにより、ジェスチャー形式で純粋に表現される、対象物の同一性に関して動作する本発明の能力が明示された。
【０１０６】
この実施例において、まず、手振りの指向集合が、黒の背景に対してデジタル的に捕捉された。次に、手の２次元輪郭が、Canny エッジ・オペレータを用いて、抽出された。しかし、結果としての２値のエッジ・マップは、その散在した分布に起因して、互いにほとんど相関がなく、それにより非常に高次元の主部分空間となった。本来の次元の数を縮小するために、空間相関を、２値のエッジ・マップ上で、拡散処理を介して導入した。この処理は、効果的にエッジを広げ、「ぼかし（smears）」て、それにより、エッジの空間分布に関連して、対象形状を表す、連続的な値のついた輪郭画像がもたらされる。この表現は、米国特許第5,164,992 号に開示されている認識手法が、１６次元の主部分空間の高精度で、手振り（それらは、生成された拡散エッジ・マップに対して、前処理されるが）を入力するために、ジェスチャー分類を割当てるように、計算上扱いやすいレベルにまで主部分空間を縮小した。
【０１０７】
本発明は、検出（アテンション、及び表現）ステージ、すなわち散乱したシーンにおいて、手（その関節状態の何れかにおける）を発見し、その縮尺を明らかにし、それを、認識の前に、基準フレームに対して整合させるためのステージにおいて、上記の環境に適用された。この局所化は、手の基礎をなす画像表現が、グレースケール画像ではなく、拡散エッジ・マップであったことを除いて、上記のシステムにより達成された。
【０１０８】
しかし、この場合、指向データの分布は、各ジェスチャーに対して、基本的に異なる手の形状に起因して、多モードであった。従って、アテンション副システムは、式８及び１１ではなく、式１３−１５と関連して説明した手法を利用した。この推定値のパラメータは、ＥＭアルゴリズムの２０の交互作用により得られた。各入力シーンは、まず、拡散エッジ・マップを生成するために前処理され、次に、多縮尺の突出計算を容易にするために、上記のように縮小化された。本発明は、散乱した背景シーンを含む画像において、手を十分な精度で、検出、及び局所化するために見出された。
【０１０９】
従って、以上のことは、対象物、及びその特徴の検出、認識、及び符号化に対して、非常に拡張性があり、且つ有利な手法を表すことが、理解されるであろう。本明細書において用いた用語、及び表現は、限定としてではなく、説明の用語として用いたものであり、また、かかる用語、及び表現を用いる際に、図示、及び記載した特徴の何れの等価物、及びその部分を包含しない、という意図はなく、各種の修正が、特許請求の範囲で規定される、本発明の範囲内で可能である、ということを認識されたい。例えば、本発明の各種のモジュールが、適切なソフトウェア命令を用いる汎用のコンピュータ上で、又はハードウェア回路として、或いはハードウェア・ソフトウェアを混合した組合せとして実施可能である（ここで、例えば、ピクセル加工、及びレンダリングは、専用ハードウェア構成要素により実行される）。
【０１１０】
【発明の効果】
本発明は上述のように、対象空間内の全てのパターンが、ほぼ等しいと仮定する代わりに、対象空間内の確率分布を捕捉する。このようにして、本発明は、対象空間内に入る入力画像に対する、パターン間のより緻密な識別、推論、対象空間内のその代表値の測定を容易にする。換言すると、パターンが、対象空間内に存在するが、指向画像が、群をなす傾向を有する、対象空間の領域近傍のどこにも存在しない場合、本発明は、そのパターンを「代表値ではなく」、おそらく、対象物分類の構成要素ではないと識別する。本発明は、人間の顔、その特徴（例えば、目）といった、実質的に任意の多特徴のある実体だけでなく、また人間の手といった、柔軟で関節のある対象物の検出、及び認識に有益である。
【０１１１】
本発明は、主固有ベクトル成分に対する解析に限定されないので、多モード分布に容易に適合する。実際、本発明により、異なる対象物視野を表す指向画像の集合が与えられる限り、本発明は、ある範囲の入力パターン配向にわたって、価値のある認識性能をもたらすことが可能である。換言すると、本発明は、内部分布が一様でないだけでなく、多モードでもある対象空間内の弁別が可能である。更に、本発明は、検出が、入力画像内の特徴的パターンの大きさにほとんど独立であるような、縮尺の範囲にわたって動作可能である。本発明により利用される表現は、基本的にはデータ圧縮形式の、高効率なモデル・ベース符号化、機能に向いている。対象物の分類を表す、基本固有ベクトルの集合が、基本ベクトルの重み付け一次結合として表現される、新しい対象物を符号化するための基準として使用され得る。このようにして、新しい対象物が、少数のバイトを用いて表現可能であり、最小限の必要記憶容量で、大画像データベースの効率的な符号化が容易になる。圧縮は、量子化により更に増強され得る。
【図面の簡単な説明】
【図１】単一モード分布における主成分を含む主部分空間、及び残りの成分を含む直交部分空間において、特徴、又は対象物を示す。
【図２】多モード分布における主成分を含む主部分空間、及び残りの成分を含む直交部分空間において、特徴、又は対象物を示す。
【図３】本発明のための代表的なハードウェア環境を概略的に示す。
【図４】ブロック図形式で、更に詳細な解析モジュールを示す。
【図５】解析モジュールのアテンション副システム、及び対象物中心の表現の構成要素の動作を示す、フローチャートである。
【符号の説明】

Claims

デジタル的に表現された入力画像において、選択された特徴を検出する方法であって、
a.多次元画像空間内における固有ベクトルの集合として、選択された特徴の事例の指向集合を表し、
b.前記画像空間内における入力ベクトルとして、前記入力画像の部分を表し、
c.前記選択された特徴の事例を含んでいる画像部分に前記入力ベクトルが対応する可能性を示す確率レベルを、各入力ベクトルごとに推定するために、公算関数を用いて、前記入力ベクトルについての密度推定解析を実行し、及び、
d.最も高い関連性のある確率レベルを有する画像部分を、前記密度推定解析によって得られた推定値からピーク確率を決定することによって識別する
といった各ステップを含み、
前記密度推定解析は、Ｍ個の主固有ベクトル成分と、残りのＮ個の固有ベクトル成分とを含めた全固有ベクトル成分を利用して、次式で表わされた前記公算関数によって実施され、

ここで、λ i は分散の固有値を表し、ｘは入力画像を表し、ｙ i は成分固有ベクトル上への投影係数を表し、及び、
ρは次式で表わされた最適な重み値を表し、

その結果、前記識別のために最適密度推定値が用いられることからなる、方法。
前記密度推定解析を実行するステップは、
a.前記画像空間を、主部分空間と、該主部分空間に直交した部分空間である直交部分空間とに分割し、該主部分空間は、主固有ベクトルの単一モード集合を含み、
b.１つの入力ベクトルにより識別された点と、前記主部分空間との間の距離を計算し、
c.前記入力ベクトルを、前記主部分空間上に投影し、
d.前記主固有ベクトルに関して、前記入力ベクトルの投影の確率分布を計算し、及び、
e.前記選択された特徴の事例を含んでいる画像部分に前記入力ベクトルが対応する可能性を示す確率レベルを、前記公算関数を用いて、計算された距離、及び計算された確率分布から、推定する
といった各ステップを含むことからなる、請求項１に記載の方法。
前記推定するステップは、前記主部分空間における第１の周辺確率密度と、及び前記直交部分空間における第２の周辺確率密度とを計算して、該第１及び第２の確率密度を乗算することを含み、前記第１の確率密度は、真の密度であり、前記第２の確率密度は、前記主部分空間とは相補的な前記直交部分空間において推定される密度であることからなる、請求項２に記載の方法。
前記密度推定解析を実行するステップは、
a.前記画像空間を、主部分空間と、該主部分空間に直交した部分空間である直交部分空間とに分割し、該主部分空間は、主固有ベクトルの多モード集合を含み、
b.１つの入力ベクトルにより識別された点と、前記主部分空間との間の距離を計算し、
c.前記入力ベクトルを、前記主部分空間上に投影し、
d.パラメータ混合モデルを用いて、前記主固有ベクトルに関して、前記入力ベクトルの投影の確率分布を計算し、及び、
e.前記選択された特徴の事例を含んでいる画像部分に前記入力ベクトルが対応する可能性を示す確率レベルを、前記公算関数を用いて、前記計算された距離、及び前記計算された確率分布から推定する
といった各ステップを含むことからなる、請求項１に記載の方法。
各識別された画像部分に対して、該識別された画像部分に含まれる事例が、もしあれば、前記選択された特徴のデジタル的に表現された事例の基準集合のうちの、何れのものに類似するかを認識モジュールが、画像データベース内に格納された画像データを用いて判定する認識ステップを更に含む、請求項１に記載の方法。
前記デジタル的に表現された事例の基準集合は、前記主部分空間内における複数のベクトルにより表現され、前記認識ステップは、前記入力ベクトルを、主部分空間上に投影することと、そこに最も近い事例ベクトルを突き止めることとを含むことからなる、請求項５に記載の方法。
各識別された画像部分を、量子化された投影係数の集合として、符号化するステップを更に含む、請求項１に記載の方法。
前記選択された特徴は、顔であることからなる、請求項１に記載の方法。
前記選択された特徴は、顔の特徴であることからなる、請求項１に記載の方法。
デジタル的に表現された入力画像において、選択された特徴を検出するための装置であって、
a.前記入力画像を格納するためのコンピュータ・メモリと、
b.多次元画像空間内における固有ベクトルの集合として、前記選択された特徴の事例の指向集合を表すための手段と、
c.前記格納された入力画像の少なくとも一部を分離して、それを、前記画像空間における入力ベクトルとして表すための手段と、
d.前記選択された特徴の事例を含んでいる画像部分に前記入力ベクトルが対応する可能性を示す確率レベルを推定するために、公算関数を用いて、前記入力ベクトルを解析するための画像処理手段
とを備え、
前記手段はいずれも、前記コンピュータ・メモリ内に格納された解析モジュール内に含まれ、該解析モジュールが、ＣＰＵの制御下において解析を実行し、
前記解析は、Ｍ個の主固有ベクトル成分と、残りのＮ個の固有ベクトル成分とを含めた全固有ベクトル成分を利用して、次式で表わされた前記公算関数によって実施され、

ここで、λ i は分散の固有値を表し、ｘは入力画像を表し、ｙ i は成分固有ベクトル上への投影係数を表し、及び、
ρは次式で表わされた最適な重み値を表し、

その結果、最適密度推定値が得られることからなる、装置。
各入力画像は、複数のピクセルとして表現されるものであり、
a.複数の縮尺率で、前記入力画像を表すための手段と、
b.各縮尺率の画像に対して、該画像の固定数のピクセルを含むウィンドウを画定して、各ウィンドウごとの確率レベルを生成するために、前記画像処理手段に各ウィンドウの内容を転送するための手段と、
c.最も高い関連性のある確率を有するウィンドウを、前記解析によって得られた推定値からピーク確率を決定することによって識別するための手段
とを前記解析モジュールが更に備えることからなる、請求項１０に記載の装置。
前記画像処理手段は、
a.前記画像空間を、主部分空間と、該主部分空間に直交した部分空間である直交部分空間とに分割する目的であって、該主部分空間は、主固有ベクトルの単一モード集合を含むことからなる、目的と、
b.１つの入力ベクトルにより識別された点と、前記主部分空間との間の距離を計算する目的と、
c.前記入力ベクトルを、前記主部分空間上に投影する目的と、
d.前記主固有ベクトルに関して、前記入力ベクトルの投影の確率分布を計算する目的と、
e.前記選択された特徴の事例を含んでいる画像部分に前記入力ベクトルが対応する可能性を示す確率レベルを、前記公算関数を用いて、前記計算された距離、及び前記計算された確率分布から推定する目的
とからなる目的のために構成されることからなる、請求項１０に記載の装置。
前記画像処理手段は、最大公算解析法（ＭＬ法）を用いて、確率レベルを推定する、請求項１２に記載の装置。
確率レベルに基づいて、前記選択された特徴の事例を含んでいる可能性のある少なくとも１つの入力ベクトルを前記公算関数によって得られた推定値から識別するための手段を前記解析モジュールが更に備える、請求項１０に記載の装置。
特徴事例の前記指向集合は、単一の視野角において生成されるものであり、
各識別された入力ベクトルに対応する、入力画像の部分を、分離して、処理するための手段であって、
a.翻訳及び縮尺に関連して、前記入力画像の部分を正規化するための手段と、
b.前記入力画像の部分内における、複数の部分特徴を識別するための手段と、
c.格納されているテンプレートとの幾何的一致について、識別された部分特徴を解析するための有効化手段と、
d.前記視野角との一致のために、有効化された入力画像の部分を空間的に整合させるための歪曲手段と、
e.前記整合された入力画像の部分のうち、前記特徴事例に対応しない部分をマスクするためのマスキング手段
とを含むことからなる手段を、前記解析モジュールが更に備えることからなる、請求項１４に記載の装置。
コントラストの変動を補償するために、マスキングされた画像を処理するための、コントラスト正規化手段を前記解析モジュールが更に備える、請求項１５に記載の装置。
a.指向画像の各々を、固有ベクトルの集合上への投影係数の集合として、格納するためのデータベースと、
b.識別手段であって、
(i) 入力投影係数の集合を得るために、固有ベクトルの集合上に、マスクされた画像を投影するための手段と、
(ii)投影係数が前記入力投影係数と最も近く整合する前記指向画像を突き止めるための手段
とを含むことからなる、識別手段
とを、前記解析モジュールが更に備えることからなる、請求項１５に記載の装置。
前記識別手段は、選択された指向画像の係数と、可能性を示す確率レベルの推定値に基づいて得られた前記入力投影係数とが整合する度合いを示す信頼レベルを、前記データベースに基づいて計算するための手段を含む、請求項１７に記載の装置。
前記分離して、処理された入力画像の部分から、前記解析によって得られた正規化係数、変形係数、及びコントラスト調整値を累積することによって、元の入力画像を再構成するための再構成モジュールを更に備える、請求項１５に記載の装置。
符号器モジュールであって、それ自体が、
a.入力投影係数の集合を得るために、固有ベクトルの集合上に、マスクされた画像を投影するための手段と、
b.前記入力投影係数を量子化するための手段
とを含む該符号器モジュールを、更に備えることからなる、請求項１５に記載の装置。