WO2007119870A1

WO2007119870A1 - 照合装置および照合方法

Info

Publication number: WO2007119870A1
Application number: PCT/JP2007/058477
Authority: WO
Inventors: Rui Ishiyama
Original assignee: Nec Corporation
Priority date: 2006-04-14
Filing date: 2007-04-12
Publication date: 2007-10-25
Also published as: JPWO2007119870A1; EP2012272A1; JP4957921B2; US20090180672A1; US8295614B2

Abstract

　２Ｄモデルフィッティング手段１２０１は、画像変動モデル１２０４によってプローブ画像に類似するプローブモデル画像およびギャラリ画像に類似するギャラリモデル画像を生成するために最適なパラメタの値を推定する。その際、画像変動モデル１２０４の複数のパラメタのうちプローブ画像とギャラリ画像間で同一かどうかを判定する対象となるパラメタの値を両画像で同じ値にする。モデル適合度評価手段１２０２は、推定されたパラメタの下でのプローブモデル画像およびギャラリモデル画像のプローブ画像およびギャラリ画像に対するモデル適合度を算出する。照合手段１２０３は、モデル適合度を閾値と比較し、プローブ画像とギャラリ画像の同一性を判定する。

Description

照合装置および照合方法

技術分野：

本発明は、変動する多様な環境下で撮影された画像や 3次元データを参照データと照合し、被写体が何であるか、または、被写体の状態、または、撮影時の環境などを認識する照合装置およぴ照合方法に関する。

明田

背景技術：

画像に含まれる被写体が何である力、その被写体の状態（姿勢、表情など）、撮影時の環境（照明条件、カメラの種類）などの要素を認識する方法がある。その一方法として、認識対象となる画像と比較対象の参照画像との類似度を評価し、両者の同一性を判定する方法が知られている。

しかし、認識対象画像と参照画像との間で、認識したい要素でないその他の要素が変動する場合、それらによって生じる画像の変動が認識目的の要素に起因する変動よりも大きくなると、認識したい要素が同一であってもそれが同一であると認識することが困難となり、認識性能が低下する問題があった。

—例として、人物の顔画像を入力として個人識別を行う顔照合システムにおいては、認識したい要素は顔の個人性であり、その他の画像変動要素として顔の姿勢、照明条件などがある。姿勢や照明の変化によって生じる画像輝度値の変化が、個人差によって生じる画像輝度値の変動より大きい場合、同一人物の画像データどうしであっても、他人であると判定してしまうといった誤照合が起こる原因となっていた。

このような問題を改善するために、画像変動を生じさせる多様な要素とその結果として生じる画像変動との関係をあらかじめ用意した学習データ群などからモデル化し、各要素をパラメタ (パラメ一タと同義) として与えると、その状況における画像を生成できる画像変動モデルを利用する方法が種々提案されている。すなわち、与えられた入力画像に対して画像変動モデ^/によって生成される画像ができるだけ近くなるようなパラメタの値を推定するモデルフィッティング処理を行い、得られたパラメタ値のうち認識対象のパラメタ値に基づいて認識を行う技術である。

以下の先行技術文献 2には、上記技術の一例が開示されている。同技術は、あらかじめ集めた多くの人物の 3次元顔モデルを元に、個人差の要素すなわち顔の

3次元形状とテクスチャとの個性を表すパラメタによって 3次元顔モデルを生成するモデルを作成する技術である。

さらに、顔の姿勢と照明条件とを表すパラメタによって、 3次元顔モデルデータからコンピュータグラフィクスを用いて前記姿勢おょぴ照明パラメタのあらわす状況下での顔画像が生成される。以上のモデルは、個人性、顔の姿勢、照明条件をパラメタとして与えると、それらの状況における顔画像を生成できる画像変動モデルの一例であり、顔のモーファブルモデル（以下 MMとも称す）と呼ばれる。

そして、先行技術文献 2では、参照画像（以下ギャラリ画像とも称す）と認識対象画像（以下プローブ画像とも称す）とのそれぞれの画像に対して MMをフィッティングして、個人性、姿勢、照明の各要素を表すパラメタを推定し、この推定したパラメタ群に基づいて両画像を照合する技術が示されている。具体的には、以下の 2つの技術が示されている。

( 1 ) 推定されたパラメタ群のうち、目的パラメタのみの類似度を計算して照合する。（2 ) 目的パラメタの値を認識対象画像から求めた値とし、その他のパラメタを登録画像から推定した値にしたときの画像を比較画像として MMから生成し、この生成した画像と登録画像との類似度を計算して照合する。

上記（1 ) の技術は、図 1に示されるように構成されている。図 1において、モデルフィッティング手段 1 0 0 1は、ギヤラリ画像 Igにできるだけ類似するように画像変動モデル 1 0 0 3のパラメタを決定する。このとき決定された一連のパラメタのうち、照合の目的に対応するパラメタが目的パラメタ ptg、それ以外のパラメタが外部パラメタ pegである。モデル画像 I' gはこのとき生成された画像である。例えば、個人の顔の照合を行う場合、目的パラメタ ptgは個人性パラメタ、外部パラメタ pegは姿勢や照明の各要素を表すパラメタとなる。同様に、モデルフイツティング手段 1 0 0 2によって、プローブ面像 Ipにできるだけ類似するようなモデル画像 Γ pが得られるように、画像変動モデル 1 0 0 3の目的パラメタ ptpおよび外部パラメタ pepが決定される。そして、パラメタ照合手段 1 0 0 4において、目的パラメタ ptg, ptp どうしの類似度が計算される。この計算結果を当該ギヤラリ画像 Igとプローブ画像 Ipの類似度とする。ギヤラリ画像 Ig が複数存在する場合、他のギャラリ画像について同様の計算を行い、最も類似度の高かったギャラリ画像 Igを照合結果とする。

上記（2 ) の技術では、目的パラメタの値をプローブ画像から求めた目的パラメタ ptpの値とし、その他のパラメタをギャラリ画像から推定した外部パラメタ peg の値としたときの画像が比較画像として、画像変動モデル 1 0 0 3から生成される。この比較画像と元のギャラリ画像 Igとの類似度が計算される。この類似度を当該ギヤラリ画像 Igとプローブ画像 Ipの類似度とする。ギヤラリ画像 Igが複数存在する場合、他のギャラリ画像についても同様の計算が行なわれ、最も類似度の高かったギャラリ画像 Igが照合結果となる。

•先行技術文献 1 ：特開 2 0 0 2 - 1 5 7 5 9 5号公報

•先行技 fe"乂献 2 ： Volker Blanz, Thomas Vetter, Face Recognition Based on Fitting a 3 D Morphable Model", IEEE Trans. PAMI, vol. 25, no. 9， pp. 1063-1074, 2003

•先行技文献 3 ： Sami Romdhani, Volker Blanz, Thomas Vetter, Face Identification by Fitting a 3 D Morphable Model using Linear Shape and Texture Error Functions", Proc. ECCV 2002, pp. 3 - 19， 2002

•先行技術文献 4 ： Andreas Lanitis, Chris J. Taylor, Timothy F. Cootes, "Automatic Interpretation and Coding of Face Images Using Flexible Models", IEEE Trans. PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 19, NO. 7， JULY 1997 発明の開示：

発明が解決しょうとする課題：

しかし、上記した先行技術文献 2に記載される技術のフィッティング処理の高速化技術を示している先行技術文献 3において指摘されているように、上記（1 ) および（2 ) のどちらの技術も推定されたパラメタの値の類似度に基づいて認識を行うため、照合性能がモデルフィッティング処理の絶対的な精度に強く影響される。これは、先行技術文献 3の技術を用いた場合も同様である。

モデルフィッティング処理は、多数のパラメタの非線形最適化処理であるため、状況によって推定が不安定になり、また局所解に陥りやすくなり、さらに、与える初期値によつて推定値の精度が影響されるなどの問題があり、絶対的な精度を高めるのは難しい。推定されるパラメタの値の精度が低下すると、上記（1 ) および（2 ) の技術では、プローブ画像とそれに正しく合致するギャラリ画像との間の類似度と、プロ一ブ画像とその他のギャラリ画像との間の類似度とに明確な差が現れないため、照合精度が大きく低下するという問題があった。

本発明の目的は、認識対象となる画像や 3次元データに対して画像変動モデルや 3次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング処理の絶対的な精度の低下による影響を軽減することにある。

課題を解決するための手段：

本発明の第 1の態様に係る照合装置は、物体の画像または 3次元データである対象データと参照データとを照合する装置であって、複数のパラメタの値を調整することにより物体の画像または 3次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段と、前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定するモデルフィッティング手段と、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段とを備えることを特徴とする。

本発明の第 2の態様に係る照合装置は、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する照合手段を備えることを特徴とする。本発明の第 3の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段おょぴモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。

本発明の第 4の態様に係る照合装置は、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする。

本発明の第 ₅の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。

本発明の第 6の態様に係る照合装置は、前記モデル適合度評価手段は、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。

本発明の第 7の態様に係る照合装置は、前記モデル適合度評価手段は、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。

本発明の第 8の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。

本発明の第 9の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。

本発明の第 1 0の態様に係る照合装置は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。

本発明の第 1 1の態様に係る照合装置は、前記モデルフイツティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値およぴ前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。

本発明の第 1 2の態様に係る照合装置は、前記モデルフイツティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。本発明の第 1 3の態様に係る照合装置は、前記変動モデルとして、様々な物体の 3次元モデルを含み、物体を指定するパラメタに応じて指定の物体の 3次元モデルを選択し、該選択した 3次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。

本発明の第 1 4の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の 3次元モデルを計算し、該計算した 3次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする。本発明の第 1 5の態様に係る照合装置は、前記変動モデルとして、様々な物体の 3次元モデルを含み、物体を指定するパラメタに応じて指定の物体の 3次元モデルを選択し、該選択した 3次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形する 3次元データ変動モデルを使用することを特徴とする。

本発明の第 1 6の態様に係る照合装置は、前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の 3次元モデルを計算し、該計算した 3次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形する 3次元データ変動モデルを使用することを特徴とする。

本発明の第 1 7の態様に係る照合装置は、前記目的パラメタが物体の種類を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの物体が同一であるかを判定する手段であることを特徴とする。

本発明の第 1 8の態様に係る照合装置は、前記変動モデルが顔の画像または 3 次元データを生成するモデルであり、前記目的パラメタが人物の個性を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの人物が同一であるかを照合する手段であることを特徴とする。

本発明の第 1 9の態様に係る照合装置は、前記目的パラメタが物体の位置または姿勢を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの物体の位置または姿勢が同一であるかを照合する手段であることを特徴とする。

本発明の第 2 0の態様に係る照合装置は、前記変動モデルが顔の画像または 3 次元データを生成するモデルであり、前記目的パラメタが人物の顔の表情を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの顔の表情が同一であるかを照合する手段であることを特徴とする。

本発明の第 1の態様に係る照合方法は、コンピュータを用いて物体の画像または 3次元データである対象データと参照データとを照合する方法であって、前記コンピュータが、複数のパラメタの値を調整することにより物体の画像または 3 次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象デ一タに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定する第 1 のステップと、前記コンピュータが、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおよぴ前記参照データに対するモデル適合度を算出する第 2のステップとを含むことを特徴とする。本発明の第 2の態様に係る照合方法は、前記コンピュータが、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する第 3のステップをさらに含むことを特徴とする。

本発明の第 3の態様に係る照合方法は、前記コンピュータ力複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第 1およぴ第 2のステツプを繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする第 3のステップをさらに含むことを特徴とする。

本発明の第 4の態様に係る照合方法は、前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第 1および第 2のステップを繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする第 3のステップをさらに含むことを特徴とする。

本発明の第 5の態様に係る照合方法は、前記第 2のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする。

本発明の第 6の態様に係る照合方法は、前記第 2のステップにおいては、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする。

本発明の第 7の態様に係る照合方法は、前記第 2のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差およぴ前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする。

本発明の第 8の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする。

本発明の第 9の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする。

本発明の第 1 0の態様に係る照合方法は、前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする。

本発明の第 1 1の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、該推定した対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることを特徴とする。

本発明の第 1 2の態様に係る照合方法は、前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする。

本発明では、プローブ画像とギャラリ画像との間での、認識目的とする画像変動要素の類似性判定には、その要素をあらわすパラメタの値自体を推定する必要はなく、両画像においてその要素が同一であるかどう力 \ すなわち、同一であることの確からしさだけが分かればよいことを利用する。さらに本発明では、ある画像変動要素が同じである複数の画像に対して、当該同じである要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフイツティングさせる処理はそれなりの精度で行えるのに対し、逆に、ある画像変動要素が異なっている画像群に対して、当該異なっている要素をあらわすパラメタを共通にして、画像変動モデルを両方の画像にフィッティングさせる処理は極端にその精度が低下する現象を利用する。プローブ画像とギャラリデータ、プローブデータとギャラリ画像、プローブデータとギャラリデータとの類似性判定についても同様である。すなわち本発明では、複数のパラメタの値を調整することにより物体の画像または 3次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデ一タとを前記変動モデルから生成するために最適な前記パラメタの値を推定し、前記推定されたパラメタの下での前記対象モデルデータおよび前記参照モデルデータの前記対象データおょぴ前記参照データに対するモデル適合度を算出し、該算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する。前記モデル適合度としては、一例として、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から導出される値を用いることができ、また、他の例として、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報（例えばパラメタの値の取り得る値域、パラメタの正解値、パラメタの値の確率分布など）を参照して計算し、該計算したパラメタ確信度から導出される値を用いることができ、さらにこれらを組み合わせて使用することもできる。また、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、この推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とすることもできる。また前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することもできる。

発明の効果：

本発明によれば、認識対象となる画像や 3次元データに対して画像変動モデルや 3次元データ変動モデルをフィッティングして変動要素を推定する際に、フィッティング処理の絶対的な精度の低下による影響を軽減することができる。その理由は、照合したい目的パラメタの値が対象データと参照データで異なる場合には、目的パラメタを共通にしたフィッティング処理では両データに類似したモデルデータが決して求まらないためにモデル適合度が極端に悪化し、逆に、照合したい目的パラメタの値が両データで同じである場合には、両データに類似したモデルデータが基本的には必ず求まるためにモデル適合度が良、値を示す点を利用し、照合したい目的パラメタが両データで同じであるときと異なるときのモデル適合度の値の隔たりを顕著化させているためである。図面の簡単な説明：

図 1は、従来技術の説明図である。

図 2は、本発明の第 1の実施の形態のプロック図である。

図 3は、本発明の第 1の実施の形態における処理の流れを示す図である。図 4は、本発明の第 1の実施の形態における 2 Dモデルフィッティング手段の構成とその処理の流れを示す図である。

図 5は、本発明の第 2の実施の形態のプロック図である。

図 6は、本発明の第 2の実施の形態における処理の流れを示す図である。図 7は、本発明の第 2の実施の形態における 3 Dモデルフィッティング手段の構成とその処理の流れを示す図である。

図 8は、本発明の第 3の実施の形態のプロック図である。

図 9は、本発明の第 3の実施の形態における処理の流れを示す図である。図 1 0は、本発明の第 3の実施の形態における 2 D 3 Dモデルフィッティング手段の構成とその処理の流れを示す図である。図 1 1は、本発明の第 4の実施の形態のブロック図である。

図 1 2は、本発明の第 4の実施の形態における処理の流れを示す図である。図 1 3は、本発明の第 4の実施の形態における 2 D 3 Dモデルフィッティング手段の構成とその処理の流れを示す図である。

図 1 4は、本発明の第 5の実施の形態のプロック図である。

図 1 5は、本発明の第 5の実施の形態における処理の流れを示す図である。図 1 6は、本発明の第 6の実施の形態のブロック図である。

図 1 7は、本発明の第 6の実施の形態における処理の流れを示す図である。図 1 8は、本発明の第 7の実施の形態のブロック図である。

図 1 9は、本発明の第 7の実施の形態における処理の流れを示す図である。発明を実施するための最良の形態：

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

(第 1の実施の形態）

図 2を参照すると、本実施の形態は、プログラム制御により動作する処理装置 1 2 0 0と、この処理装置 1 2 0 0に接続された画像入力装置 1 1 0 0、記憶装置 1 3 0 0、入力装置 1 5 0 0および出力装置 1 6 0 0とから構成される。認識対象であるプロ一ブ画像と参照画像であるギャラリ画像とが照合される。

画像入力装置 1 1 0 0は、プローブ画像を処理装置 1 2 0 0に入力する装置であり、カメラであってもよいし、図示しない記憶装置からプローブ画像を読み込んだり、ネットワークを通じてプローブ画像を受信する装置であっても良い。記憶装置 1 3 0 0は、処理装置 1 2 0 0で実行するプログラムおよび照合に用いる各種のデータを記憶する。各種データには、ギャラリ画像および画像変動モデルに関するデータが含まれる。ギャラリ画像は、あらかじめ記憶装置 1 3 0 0 に記憶しておいても良いし、プローブ画像と共に、その都度、読み込まれても良レ、。

画像変動モデルは、物体の種類、物体の状態、姿勢、照明条件、カメラなどの多様な画像変動要素によって、撮影される画像がどのように変動するかを記述したモデルである。画像変動モデルは、付与される多様な画像変動要素という条件の下におけるモデル画像を生成するために使用される。画像変動モデルに関するデータには、モデル画像を生成する過程で必要とされる一切のデータが含まれる。画像変動モデルの一例（モデル 1と称す）として、上記先行技術文献 2に記載されているようなモデルがある。このモデルは、多様な人物の顔画像を、 3 D形状の個性、テクスチャの個性、表情、顔の姿勢、照明条件、カメラの性質をそれぞれ現すパラメタを与えることによってコンピュータグラフィクスの技術により生成される画像変動モデルである。この場合、あらかじめ多数の人物の顔の 3 D データが集められ、形状およびテクスチャのそれぞれのデータが主成分分析され、基底 3 Dデータ群およぴ基底テクスチヤ群が計算され、記憶部に記憶される。画像変動モデルの別の例（モデル 2と称す）として、上記先行技術文献 1に記載されているモデルがある。このモデルは、照合したい人物のそれぞれの 3 D形状データと照明基底データを備え、人物を指定し、顔の姿勢、照明、カメラの性質をそれぞれあらわすパラメタを与えることによって、該条件での該人物の顏画像を生成するような画像変動モデルである。この場合、各人物の顔の 3 Dモデルそれぞれについて、多様な照明条件下でのテクスチャ輝度値が計算され、それらデータが主成分分析され、基底テクスチャ群が計算され、記憶部に記憶される。上記した例としてあげた画像変動モデルはあくまで一例である。このほかにも様々な画像変動モデルを利用することが可能である。 3次元データを用いない画像変動モデルの一例として、上記先行技術文献 4に記載された「Active Appearance Model J なども同様に利用可能である。

処理装置 1 2 0 0は、 2 Dモデルフィッティング手段 1 2 0 1と、モデル適合度評価手段 1 2 0 2と、照合手段 1 2 0 3とを備える。

2 Dモデルフィッティング手段 1 2 0 1は、図 3に示されるように、ギャラリ画像 Igおよびプローブ画像 IPの両者を入力して、認識目的の要素をあらわす目的パラメタ ptが両画像 Ig， IPで同一の値をとり、その他の変動要素をあらわすパラメタ peが両画像 Ig, IPで異なる値をとる場合があると仮定すると、前述したような画像変動モデル 1 2 0 4を用いてそれぞれの画像 Ig，IP にできるだけ近い

(以下に示したコスト関数の値が小さくなるような）モデル画像 _g，i' pを生成できるように、各パラメタ pt，peの値が計算される。この技術は、上記先行技術文献 1に記載の技術のように、プロープ画像 IPとギャラリ画像 Igのそれぞれに対して独立に目的パラメタ ptと外部パラメタ peの両者を推定するという技術とは異なる。すなわち、この目的パラメタ ptが両画像で同じ値を取ると仮定して、両画像に対して同時に目的パラメタ ptおよび外部パラメタ peが推定される。ここで、ギャラリ画像 Igについて推定された外部パラメタ peを peg、プローブ画像 IPについて推定された外部パラメタ peを pepとする。

一例として、顔画像によって人物を識別する個人認識システムを例にすると、目的パラメタ ptは個人性をあらわすパラメタ、外部パラメタ peは顔の姿勢、照明条件、カメラの性質に関するパラメタである。顔の姿勢のパラメタとして、顔の 3次元的な位置座標と、顔の 3次元的な向きを表す 3つの回転角度がある。照明条件のパラメタとしては、照明の方向と強度をあらわす 3次元べクトルを一例として利用できる。以上のパラメタの設定方法はあくまで一例であり、使用する画像変動モデルに合わせて様々に変更可能である。

別の例として、物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタ ptは姿勢パラメタであり、外部パラメタ peは物体の種類、照明条件、カメラの性質に関するパラメタである。ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよレ、。また、照明条件が同じである画像し力認識しない場合には、照明条件のパラメタはなくてもよレ、。このように、必要に応じてパラメタを設定することができる。

図 4を参照すると、 2 Dモデルフィッティング手段 1 2 0 1は、初期値推定手段 2 1 0 1と、モデル画像生成手段 2 1 0 2と、コスト評価手段 2 1 0 3と、パラメタ推定手段 2 1 0 4とを備える。これらの手段はそれぞれ概略つぎのように動作する。

初期値推定手段 2 1 0 1は、プローブ画像 IPおよびギヤラリ画像 Igのそれぞれについて、画像変動要素のパラメタ pt、 peg, pepの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、各画像 IP, Igに付与される情報として入力されるものでもよい。その一例として、顔画像認識の場合は、画像中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、該付与情報から顔の姿勢の概算値を初期値として計算することができる。

個人性のパラメタは平均値を初期値とすることができる。その他のパラメタも適時値をあらかじめ定めておいてもよい。両画像 IP, Igに対する目的パラメタ pt の初期値、プローブ画像 IPに対する外部パラメタ pep の初期値、ギャラリ画像 Igに対する外部パラメタ pegの初期値は、モデル画像生成手段 2 1 0 2へ出力される。

モデル画像生成手段 2 1 0 2では、初回のモデル画像の生成時は、初期値推定手段 2 1 0 1から初期値として出力された目的パラメタ pt および外部パラメタ pep, peg が使用され、以後の繰り返し時にはパラメタ推定手段 2 1 0 4によって更新された目的パラメタ ptおよび外部パラメタ pep， pegが使用される。

モデル画像生成手段 2 1 0 2は、画像変動モデル 1 2 0 4を用いて、これらパラメタ {pt， pep, peg}の表す状況下における画像をモデル画像として生成する。パラメタが複数ある場合、 {_Pt， pep, peg}はそれぞれべクトノレとなる。

画像変動モデル 1 2 0 4として前記先行技術文献 2に記載のモデルを用いた場合、個人性をあらわすパラメタを結合係数とした基底 3 Dデータおよび基底テクスチヤデータそれぞれの線形結合を計算することにより、特定人物の顔の 3 Dデータが計算される。次に、姿勢、照明、カメラ特性のパラメタにより、コンビュ一タグラフィタスの技術を用いてモデル画像が生成される。

モデル画像生成手段 2 1 0 2は、画像変動モデル 1 2 0 4として前記先行技術文献 1に記載のモデルを用いた場合、個人性をあらわすパラメタを元に、対応する 3 D形状データと基底テクスチャ群が選択する。モデル画像生成手段 2 1 0 2 は、次に、照明パラメタを結合係数として前記基底テクスチャ群の線形結合を計算することにより、該照明条件における 3 Dデータ表面の輝度値を計算する。次に、姿勢、カメラ特性などのパラメタにより、コンピュータグラフィクスの技術を用いて 3 Dデータ表面の各点と画像の各画素の位置の対応関係が計算され、対応する 3 Dデータ表面の輝度値を画素の輝度値とすることにより、モデル画像が生成される。

以上の処理を、プローブ画像 Ipおよびギャラリ画像 Igそれぞれに対して行うことにより、プロ一プモデル画像 Γ pおよびギャラリモデル画像 Γ gが生成される。ただし、各モデル画像の生成過程において、目的パラメタ ptは同一の値であると仮定し共通パラメタとする。外部パラメタ peは異なる値をとる可能性があるので異なるパラメタとする。

一例として、顔の画像から人物を特定する個人識別システムの場合は、顔の形状やテクスチャの個人性を現すパラメタが目的パラメタ pt、顔の姿勢、照明条件、カメラ特性などを記述するパラメタが外部パラメタ peとなる。また他の例として物体の向きを認識するシステムにおいては、物体の姿勢をあらわすパラメタが目的パラメタ ptであり、物体の種類や形状、表面色、照明条件、カメラの特性などをあらわすパラメタが外部パラメタ peとなる。

プローブ画像の外部パラメタを pep、ギャラリ画像の外部パラメタを pegとし、上述した画像変動モデルによる画像生成を関数 M(pt， pe)であらわすと、プローブモデル画像 Γ pおよびギヤラリモデル画像 gは次式で与えられる。

I p=M(pt, pep)

- (1)

I g=M、pt, peg)

コスト評価手段 2 1 0 3は、プローブモデル画像 Γ ρとプローブ画像 Ιρ、ギヤラリモデル画像 gとギャラリ画像 Igをそれぞれ比較し、モデルフイツティングのコスト関数を計算する。コスト関数は、一例として次式に示すように、比較する両画像の輝度値の二乗誤差和とすることができる。

C= | I一 I' | 2

I= [IpT, wglgTlT …②

= LI pT, wgi gT]T

ただし、式 2において、 Ipはプローブ画像の各画素の輝度値を並べたベタトル、 Igはギャラリ画像の各画素の輝度値を並べたベタトル、 ρはプローブモデル画像の各画素の輝度値を並べたベタトル、 I'g はギャラリ画像の各画素の輝度値を並べたベタトルであり、画像べクトル Iは Ipと wglgを並べたべクトル、モデル画像べクトノレ Γは Γρと Wgl' gを並べたべクトルとする。 Wgの値はあらかじめ適当な値を定めておけばよいが、一例として、プローブ画像の画素数をギャラリ画像の画素数で割った値としてもよい。

他の例として、前記先行技術文献 2の技術のように、各パラメタの値の事前確率を表すコスト項を、式 2のコスト関数値に加算することもできる。

パラメタ推定手段 2104は、式 2のコスト関数値を改良（式 2の場合は小さい値に）するように、目的パラメタ ptおよび外部パラメタ pep、 pegそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。

各パラメタ（pt， pep, peg)を並べた全パラメタべクトルを pとし、各要素 piの値をあらかじめ決めた微小な量 Ai だけ変化させて、モデル画像生成手段 2102 によりそれぞれの要素を微小変化させたときのモデル画像 (p+Ai)が生成される（Δίは要素 iが Ai、他の要素がゼロのベクトル)。次に、コスト評価手段 21 03によってコスト関数の値 C(p+Ai)が次式により計算される。

C(p+Ai) = |l-r (ρ+Δΐ)|2 -(3)

次に、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配べクトル VCの値が次式により計算される。

VC=[(C(p+Al)-C(p))/Al, ½(_Ρ+Δ2)_〇(ρ))ΖΔ2，···]Τ …（4) 最急降下法によって、パラメタ ρの値は次式で更新される。

p(t+l)=p(t)-a VC ---(5)

αは事前に決めたゲイン定数とする。一例として値は 1.0でもよレ、。また、状況に応じて適応的に変化させることもできる。

以上の方法はあくまで一例であり、他にも Gauss- Newton法などの様々な最適化手法を利用することが可能である。一例として Gauss - Newton法を用いる場合は、ャコビ行列 Jを次式で求めることができる。

J=[(I-I' (ρ+Δ1))/厶 1， (I一 I， (ρ+Δ2))ノ Δ2,…] …（6) パラメタ pは次式で更新される。

p (t+1) =p (t) - a (JTJ)— 1 J (Ι-Ι' (p) ) · · · (7)

この他にも、様々な最適化手法を適用して、コスト関数 Cの値を最小にするようなパラメタの値を求めることももちろん可能である。

なお、画像変動モデル 1 2 0 4として前記モデル 2を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物の顔のそれぞれについて）、モデル画像生成手段 2 1 0 2とコスト評価手段 2 1 0 3 の処理を線り返し行ってコスト関数の値を計算し、最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。

再び図 2およぴ図 3を参照すると、モデル適合度評価手段 1 2 0 2は、モデルフィッティング手段 1 2 0 1の処理によってパラメタ推定が適正に行われたかどうかを評価する。すなわち、モデルフィッティング処理においては、目的パラメタ ptがギャラリ画像とプローブ画像で同じ値であると仮定して処理を行ったが、この仮定が事実と適合したかどうかをはかる尺度であるモデル適合度が計算される。

本実施の形態におけるモデル適合度評価手段 1 2 0 2は、 2 Dモデルフイツテイング手段 1 2 0 1によって生成されたギャラリモデル画像 I' gとギャラリ画像 Ig、プローブモデル画像 Γ pとプローブ画像 Ipの誤差をそれぞれ計算し、両者を合算した値をモデル適合度 Vとして出力する。誤差としては様々な画像特徴量を用いることができるが、一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。

V=vp | lp-I' p | 2+vg | lg-I' g | 2 …（8)

式 8において、 vp，vg はプローブ画像とギャラリ画像それぞれに対する重みを調整する係数であり、あらかじめ適当な値を定めておく。一例として、 vp= 1， vg=wg としてもよい。また各画像の画素数の逆数としてもよいし、状況によって適応的に変更することも可能である。モデル適合度 Vは誤差を表しているので、 Vの値が小さいほど良いという点に注意する。

さらに、プローブ画像を複数のギャラリ画像と照合するシステムにおいて、それぞれのギヤラリ画像でモデルフイツティングの精度が大きく変動する（ギヤラリ画像とギャラリモデル画像の差分が変動する）場合には、 vgを小さくすることで認識性能を向上することができる。その一例として、プローブ画像とそれぞれのギャラリ画像の組に対してモデルフィッティング手段 1 2 0 1の処理を行った結果のギャラリ画像とギャラリモデル画像の誤差（| lg— Ig | 2)の分散、プローブ画像とプローブモデル画像の誤差（| lp— Ip' | 2)の分散がそれぞれ計算される。前記各分散の逆数がそれぞれ vg, vpの値となる。

以上に示したモデル適合度 Vの計算方法はあくまで一例であり、このほかにもェッジ画像を生成してその輝度誤差を用いる、輝度値の正規化相関値を用いるなど、様々な画像特徴量を用いることが可能である。すなわち、プローブモデル画像とプローブ画像との間の何らかの画像特徴量の誤差と、ギャラリモデル画像とギヤラリ画像との間の何らかの画像特徴量の誤差とを足した量を、モデル適合度 Vとすることができる。

照合手段 1 2 0 3は、モデル適合度評価手段 1 2 0 2によって計算されたモデル適合度 Vを用いて、ギャラリ画像 Igとプローブ画像 Ipの照合判定を行う。 1 セットのギャラリ画像 Igとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度 Vが良い（式 8の場合は値が小さレ、）場合に、プローブ画像 Ipの目的パラメタ ptがギャラリ画像 Igの目的パラメタ ptと同じであると判定する方法がある。

他方、プローブ画像 Ipを複数セットのギャラリ画像 Igと照合する場合には、それぞれのギャラリ画像 Igとプローブ画像 Ipの組み合わせに対して、 2 Dモデルブイッティング手段 1 2 0 1とモデル適合度評価手段 1 2 0 2との処理を行つて、モデル適合度 Vが計算される。もっとも良いモデル適合度（式 8を用いる場合にはもつとも小さい値）を得たギャラリ画像 Igの目的パラメタ pt力 S、プロ一プ画像の目的パラメタ ptにもつとも近い値であると判定される。一例として、顔画像による個人識別システムを例に説明する。 3人の人物 A, B， Cの顔を撮影したギャラリ画像 3枚に対してプローブ画像を照合し、人物 B のギャラリ画像がもっとも良レ、モデル適合度を得たとすると、プロープ画像に写つている人物は人物 Bであると認識される。このとき、ギャラリ画像の 3枚それぞれで、顔の向きや照明条件などの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。

さらに別の例として、物体の姿勢を認識するシステムを例に説明する。一例として物体を左 9 0度から正面、右 9 0度まで 1 0度間隔の向きに置いて撮影した 1 9枚のギャラリ画像に対してプローブ画像を照合し、右 7 0度の向きのギャラリ画像がもっとも良いモデル適合度を得たとすると、プローブ画像に写つている物体の向きは右 7 0度である、と認識される。このとき、ギャラリ画像の 1 9枚それぞれで、照明条件やカメラの特性といった外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく物体の姿勢を認識することができる。

次に本実施の形態の効果を説明する。

本実施の形態では、プローブ画像 Ipとギャラリ画像 Igの双方の画像を入力とし、照合したい目的パラメタ ptが両画像 Ip， Igで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度 Vを計算し、このモデル適合度 Vを持つて照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。

照合したい目的パラメタ ptの値が両画像 Ip， Igで異なる場合には、画像 Ip, Ig に類似したモデル画像 Γ p, gが決して求まらないため、モデル適合度 Vは極端に悪化する。他方、照合したい目的パラメタ ptの値が両画像 Ip, Igで同じである場合には、画像 I_P， Igに類似したモデル画像 Γ p, gが基本的には必ず求まるため、モデル適合度 Vは良い値を示す。したがって、照合したい目的パラメタ ptが両画像 Ip, Igで同じであるときと異なるときのモデル適合度 Vの値の隔たりが顕著になる。このため、 1セットのギャラリ画像 Igとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタ pt がプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギヤラリ画像 Igとの照合判定では、目的パラメタ ptがプローブ画像と同じであるギャラリ画像 Ig とプローブ画像 _Ipの組み合わせについて計算されたモデル適合度 V 、それ以外の組み合わせについて計算されたモデル適合度 Vより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、その影響を受けずに、目的パラメタ ptがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。

これに対して、従来技術においては、プローブ画像 Ip からその目的パラメタ ptpと外部パラメタ pepと、ギャラリ画像 Igからその目的パラメタ ptgと外部パラメタ pegとがそれぞれ独立にフィッティング処理で推定され、 ptp と ptgの類似度が比較される。このため照合したい目的パラメタ ptp と ptgが両画像 Ip， Ig で同じであるときと異なるときの ptpと ptgの類似度の隔たりが、本実施の形態におけるモデル適合度 Vの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。

以上の説明においては、プ口ーブ画像が 1枚の画像である場合について説明したが、複数枚の画像を認識する場合についてもまったく同様である。また、ギヤラリ画像が複数枚の画像を 1セットとしている場合についても同様である。

(第 2の実施の形態）

次に、本発明の第 2の実施の形態について説明する。前述した第 1の実施形態は画像どうしを照合したが、本実施の形態は 3次元データどうしを照合する。図 5に示される本実施の形態と図 2に示される第 1の実施の形態とを比較すると、画像入力装置 1 1 0 0の代わりに 3次元データ入力装置 1 4 0 0を備えている点、処理装置 1 2 0 0が 2 Dモデルフィッティング手段 1 2 0 1およびモデル適合度評価手段 1 2 0 2の代わりに 3 Dモデルフィッティング手段 1 2 2 1およびモデル適合度評価手段 1 2 2 2を有する点で相違する。 3次元データ入力装置 1 4 0 0は、 3次元データであるプローブデータを処理装置 1 2 0 0に入力する装置であり、 3次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。

記憶装置 1 3 0 0には、処理装置 1 2 0 0で実行するプログラムおょぴ照合に用いる各種のデータが記憶されている。各種データのうちには、 3次元データであるギャラリデータおよび 3次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置 1 3 0 0に記憶しておいても良いし、プローブデータと共に、その都度、読み込まれても良い。

3次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される 3次元データがどのように変動するかを記述したモデルであり、前記多様な変動要素のパラメタを与えると、該条件における 3 Dデータが生成されうる。この処理過程で必要とされるデータ群は記憶装置 1 3 0 0に記憶される。

前記 3 Dデータ変動モデルの一例 (モデル 3と称す）としては、多様な人物のそれぞれの 3 D形状データをあらかじめ集めておき、人物を指定するパラメタを与えることによってその人物の 3 Dデータを出力するというモデルが用いられても良い。さらに、姿勢のパラメタを与えられた場合には、該 3 Dデータの 3次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢の 3 Dデータを生成することができる。

前記 3 Dデータ変動モデルの別の例（モデル 4 ) としては、前記先行技術文献 2に記載されているような、多様な人物の顔の 3 Dデータを、 3 D形状の個性、テクスチャの個性、表情、年齢、などをそれぞれあらわすパラメタを与えることによって計算する 3 Dデータ変動モデルがある。このモデルの場合、あらかじめ多数の人物の顔の 3 Dデータを集め、形状おょぴテクスチャのそれぞれのデータを主成分分析し、基底 3 Dデータ群および基底テクスチャ群を計算し、記憶するという処理ステップが実行される。

さらに、姿勢のパラメタを与えられた場合には、計算された 3 Dデータの 3次元座標に対し、その姿勢に回転する回転行列をかけることにより、指定された姿勢のモデル 3 Dデータを生成することができる。

該モデルでは、基準 3D形状データを SO、基準テクスチャデータを TO、 3D 形状の個人性をあらわす 100個のパラメタを al, ·'·，&100、各パラメタに対応した基底形状データを Sl， "'，S100、表情の変化を表す 10個のパラメタを cl, ---,010、表情変化による変形を表す基底形状データを S101, -,S1 10、個人性をあらわす 100個のパラメタを bl, 00、各パラメタに対応した基底テクスチャデータを Τ1，···，Τ100、表情変化によるテクスチャの変化を表す基底テクスチャデータを T101， '··，Τ1 10、姿勢をあらわすパラメタを x， y， ζ軸それぞれの軸周りの回転角度 rx， ry， rz と平行移動量 tx, ty, tzとすると、モデル 3 Dデータの形状データ S'の点 iの 3次元座標 S， (i)、テクスチャデータ T'は次式で与えられる。

ここで Rは回転行列、 t=[tx， ty, tz]とする。記憶手段 1300には、 S 0， S 1， ···, S1 10，Τ0，Τ1,···，Τ1 10のデータが記憶される。ここで、個人性のパラメタを 100個、表情変化のパラメタを 10個としたのはあくまで一例であり、様々に変更可能である。

以上にあげた 3 Dデータ変動モデルはあくまで一例であり、このほかにも様々な 3 Dデータ変動モデルを利用可能である。

図 6を参照すると、 3 Dモデルフイツティング手段 1 221は、ギャラリデータ Dgおよびプローブデータ Dpの両 3Dデータを入力し、認識目的の要素をあらわす目的パラメタ ptが両データで同一の値をとると仮定し、その他の変動要素をあらわすパラメタ peは各データで個別に異なる可能性があると仮定した場合、前述したような 3 Dデータ変動モデル 1 224を用いてそれぞれの 3 Dデータ Dg, Dp にできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータ D'g，D'pを生成できるように、各パラメタ pt，peの値を計算する。すなわち、 3 Dモデルフィッティング手段 1221は、プローブデータ Dpとギヤラリデータ Dgのそれぞれに対して独立にパラメタを推定し、目的パラメタの推定結果を比較するのではなく、目的パラメタ ptが両データで同じ値であると仮定し、両データに対して同時に目的パラメタ ptおよび外部パラメタ peを推定する。顔の 3 Dデータを入力として人物を識別する個人認識システムを例にすると、目的パラメタ ptは個人性をあらわすパラメタ（前記 al, '，al 0◦および bl， •••，bl O O)、外部パラメタ peは表情および顔の姿勢に関するパラメタ（前記 c 1 , ··-, c 10 , rx, ry, rz, tx, ty, tz) となる。

物体の位置や向きを推定する位置姿勢推定システムを例にすると、目的パラメタ ptは姿勢パラメタ（前記 rx, ry, rz, tx, ty, tz) であり、外部パラメタ peは物体の種類と状態（前記 al， "''al 00，bl,… ：！ 00，cl， ·'·，ο10)、 3次元形状計測装置の性質に関するパラメタである。

ある特定の物体しか認識対象としない場合には、物体の種類のパラメタはなくてもよいし、同じ計測装置を用いるなら装置の特性パラメタは不要である。このように、必要に応じてパラメタを設定し、その要素による 3Dデータの変形を記述する 3 Dデータ変動モデルを用意することができる。

図 Ίを参照すると、 3 Dモデルフイツティング手段 1221は、初期値推定手段 2121と、 3 Dモデルデータ生成手段 21 22と、コスト評価手段 2123 と、パラメタ推定手段 2124とを備える。

初期値推定手段 2121は、プローブデータ Dpおよびギャラリデータ Dgのそれぞれについて、 3 Dデータの変動要素の各パラメタ Pt，Pep,P_egの初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、 3Dデータに付与される情報として入力されるものでもよレ、。

その一例として、顔認識システムの場合は、 3Dデータ中の顔の目や鼻、口の位置などを示す基準点位置データを付与情報としておくことにより、この情報から顔の位置と姿勢 (前記 rx, ry， rz, tx, ty, tz)や形状 (前記 a 1 ,…， a 1 0 0 )の概算値を初期値として計算することができる。 3 D形状やテクスチャの個人性のパラメタ、表情のパラメタなどは多数の人物のデータに対する平均値 (一例としては a l ~a 1 0 0 = 0 , b l ~b 1 0 0 = 0 , c l ~c l 0 = 0 )を初期値としてもよいし、特定の人物の値を初期値としても良い。その他のパラメタも適当な値をあらかじめ定めておいてもよい。プローブデータ Dpとギャラリデータ Dgの両 3 Dデータに対する目的パラメタ Ptの初期値、プローブデータ Dpに対する外部パラメタ Pepの初期値、およびギャラリデータ Dgに対する外部パラメタ Pegの初期値は、 3 Dモデルデータ生成手段 2 1 2 2へ出力される。

3 Dモデルデータ生成手段 2 1 2 2は、初回のモデルデータの生成時は、初期値推定手段 2 1 2 1から初期値として出力された目的パラメタ pt および外部パラメタ Pep，Pegを使用し、以後の繰り返し時にはパラメタ推定手段 2 1 2 4によつて更新された目的パラメタ ptおよび外部パラメタ Pep， Pegを使用し、それぞれ 3 Dデータ変動モデル 1 2 2 4を用いて、パラメタ Pt， Pep, Pegの表す状況下におけるプローブモデルデータ D' pおよびギャラリモデルデータ D' gを生成し、出力する。

3 Dデータ変動モデル 1 2 2 4として前記モデル 3を用いた場合、個人性をあらわすパラメタは人物の番号などであり、対応する人物の 3 Dデータを読み出すことによってモデル 3 Dデータを生成できる。さらに、姿勢パラメタを用いる場合には、回転行列を適用することで、該姿勢におけるモデル 3 Dデータを生成できる。このほかにも、表情による変形モデルとそれを記述するパラメタを追加して、 3 Dデータをさらに変形して表情変化を加味したモデル 3 Dデータを生成することもできる。

3 Dデータ変動モデルとして前記モデル 4を用いた場合、個人性、年齢、体型などをあらわすパラメタを結合係数とした基底 3 Dデータおよび基底テクスチヤデータそれぞれの線形結合を計算することにより、特定人物の顔の 3 Dデータが計算される。次に、姿勢のパラメタにより、前記計算された 3 Dデータに回転行列を適用することで、該姿勢におけるモデル 3Dデータが生成される。

前述したモデル 4の一例では、式 9によってモデル 3 Dデータの形状データ S' およびテクスチャデータ T'が計算される。両者をまとめてモデルデータ D'とする。これらのパラメタの設定はあくまで一例であり、このほかにも、表情による変形などのパラメタを追加して、 3Dデータをさらに変形してモデル 3 Dデータを生成することもできる。

以上の処理を、プローブデータ Dpおよびギャラリデータ Dgのそれぞれの変動パラメタを用いて行うことにより、プローブモデルデータ D'pおよびギャラリモデルデータ D'gが生成される。ただし、各モデルデータの生成過程において、目的パラメタ ptは同一の値であるが、外部パラメタ pep，_pegは異なる値とする。前述した個人識別システムの例では、 pt=[al, ·'·，3ΐ 00，bl， '··，ΐ3ΐ 00]、 pe=[c 1 , ···, c 10 , rx, ry, rz, tx, ty, tz]となる。プローブデータの外部パラメタの値を pep, ギャラリデータの外部パラメタの値を pegとし、上述した 3 Dデータ変動モデルによる式 9を用いた 3D形状データおよびテクスチャデータの生成過程をまとめて関数 N(pt，pe)であらわすと、プローブデータ Dpとギャラリデータ Dgそれぞれに対するモデルデータ D， p, D， gは次式で与えられる。

D， ρ=Ν ΐ, pep)

，，ヽ … 。）

D g=N(pt，peg)

コスト評価手段 21 23は、プローブおよびギャラリそれぞれのデータ Dp, Dg と生成されたモデルデータ D'p, D'gを比較し、フイツティングのコスト関数を計算する。このコスト関数は一例として、次式に示すように比較する両データの 3 次元座標およぴ輝度値の重みつき二乗誤差和とすることができる。

ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。

たとえば pt， pep, pegの各値が ptO, pepO, pegOに近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。

C=|Sp-Sp' |2+wt|Tp-Tp' |2+wg(|Sg-Sg' |2+wt|Tg-Tg' |2)

+wpt (pt— pt0)2+ pep (pep— pepO) 2+ peg (peg— pegO) 2 … (12) ここで、 wpt， wpep， wpegの値はあらかじめ適当な値を定めておく。

パラメタ推定手段 2124は、コスト関数値を改良するように、目的パラメタ ptおよび外部パラメタ pep, pegそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。

各パラメタ（pt, pep, peg)を並べた全パラメタべクトルを pとし、その各要素 pi の値をひとつずつあらかじめ決めた微小な量 Δί だけ変化させ、モデルデータ生成手段 2122によりそれぞれの要素を微小変化させたときのプローブモデルデータ D，p(p+Ai)の形状データ Sp' (p+厶 i)とテクスチャデータ Τρ' (ρ+Δί)、およぴ、ギャラリモデルデータ D，g (ρ+ Δ i)の形状データ Sg (p+ Δ i)とテクスチャデータ Tg (p+Ai)が生成される（Aiは要素 iが Δί、他の要素がゼロのベタトルとする）。次に、コスト評価手段 21 23によって、コスト関数の値 C(_P+Ai)が次式により計算される。

C(p+Ai) = |Sp-Sp' (ρ+Δί) |2+wt|Tp-Tp' (ρ+Δϊ) |2

+wg(|Sg-Sg' (ρ+Δί) |2+wt|Tg-Tg' (ρ+Δΐ) |2) …（13) 次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配べクトル VC の値が計算される。

▽ C=[(C(p+Al)— C(_P))/厶 1， (C(p+A2)— C(p))/厶 2，···]Τ ·'·(14) 最急降下法によって、パラメタ ρの値は次式で更新される。

p(t+l)=p(t)—ひ VC ---(15)

αは事前に決めたゲイン定数とする。一例として値は 1.0でもよい。また、状況に応じて適応的に変化することもできる。

以上の方法はあくまで一例であり、他にも第 1の実施の形態と同様に Gauss-Newton法などの様々な最適化手法を利用して、コスト関数 Cの値を最小にするようなパラメタの値を求めることも可能である。

なお、 3Dデータ変動モデルとして前記モデル 3を用いた場合、個人性をあらわすパラメタは人物の番号であり連続的な値を取らない。このような場合は、微分値を計算せずに、取りえる値のそれぞれについて（すなわち、個々の人物それぞれ個別の 3 Dデータについて）、 3 Dモデルデータ生成手段 2122とコスト評価手段 2123の処理を繰り返し行うことによって、コスト関数の値が計算される。このため最良のコスト値を得た値を推定値とすることができる。このとき、他の連続的な値を取るパラメタについては、上述した方法や様々な最適化手法を適用してコスト関数値を最小にするパラメタの値が求められる。

再び図 5およぴ図 6を参照すると、モデル適合度評価手段 1222は、 3 Dモデルフィッティング手段 1 221のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理においては、目的パラメタ ptが同一であると仮定して処理を行ったが、この仮定の上で、 3Dデータ変動モデル 1224がプローブデータ Dpおよびギヤラリデータ Dgに適合したかどうかを表すモデル適合度 Vを計算する処理が行なわれる。

本実施の形態の場合、モデル適合度評価手段 1222は、 3Dモデルフィッティング手段 1221によって生成されたギャラリモデルデータ D'gとギャラリデータ Dg、プローブモデルデータ D，p とプローブデータ Dpの誤差をそれぞれ計算し、両者を合算してモデル適合度 Vとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、次式に示すような 3次元座標とテクスチヤ輝度値の重みつき二乗誤差和を用いることができる。

V=vp(|Sp-Sp' |2 + vt|Tp-Tp' |2) +vg(|Sg— Sg， |2+vt|Tg— Tg， |2) …（16) ここで、 vt，vp，vgは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、 vp= 1， vg=wg, vt=wt としてもよい。ここでは一例として 3次元座標とテクスチャ輝度値の誤差を用いたが、このほかにも、法線ベクトルの誤差やテクスチャのエッジなどの特徴量の誤差を用いることももちろん可能である。このモデル適合度 Vは誤差を表しているので、 Vの値が小さいほど良いという点に注意する。

プローブデータ DPを複数のギャラリデータ Dgと照合するシステムにおいて、各ギャラリデータ Dgでモデルフイツティングの精度が大きく変動する (ギャラリデータ Dg とギャラリモデルデータ D'gの差分が変動する）場合には、 vgを小さくすることで認識性能を向上することができる。その一例として、プローブデータ DPとそれぞれのギャラリデータ Dgの組に対して、 3 Dモデルフィッティング手段 1 221の処理を行った結果のギヤラリデータ Dg とギャラリモデルデータ 0'_§の誤差（|3_§—3^ |2+vt|Tg-Tg' |2)の分散、プローブデータ Dpとプローブモデルデータ D'pの誤差（|Sp— Sp' |2+vt|Tp-Tp' 1²)の分散をそれぞれ計算する処理が実行され、その結果それぞれの逆数を vp， vgの値とすることができる。以上に示したモデル適合度 Vの計算方法はあくまで一例であり、式 1 1のコスト関数 Cの値を用いてもよい。この他にも、 3次元座標の代わりに 3次元形状表面の法線べクトルを計算してその誤差を用いる方法や、 3次元座標の正規化相関値を用いる方法、テクスチャのエッジなどの特徴量を用いる方法など、様々な計算方法を用いることができる。

照合手段 1 203は、第 1の実施の形態と同じであり、モデル適合度評価手段 1222によって計算されたモデル適合度 Vの値を用いて、ギャラリデータ Dgとプローブデータ Dpの照合判定を行う。 1セットのギャラリデータ D' pとの照合判定を行う場合の一例として、あらかじめ閾値を定めておき、その閾値よりモデル適合度 Vが良い（式 16の場合は小さい値）場合に、プローブデータ Dpの目的パラメタ ptがギャラリデータ Dgの目的パラメタ ptと同じであると認識する処理があげられる。

ギャラリデータ Dgが複数セットある場合には、それぞれのギャラリデータ Dg とプローブデータ Dpとの組に対して、 3 Dモデルフィッティング手段 1 2 2 1とモデル適合度評価手段 1 2 2 2における処理が行なわれ、モデル適合度 Vを計算する処理が実行される。そして、もっとも良いモデル適合度（式 8を用いる場合にはもつとも小さい値）を得た組のギャラリデータ Dgの目的パラメタ pt力プローブデータ Dpの目的パラメタ ptにもつとも近い値であると判定される。または、ある閾値より良いモデル適合度を得た複数のギャラリデータ Dgの目的パラメタ ptの値を用いて、内挿や捕間によつてプローブデータ Dpの目的パラメタ ptの値を推定しても良い。

顔の 3 Dデータによる個人識別システムをあげて説明すると、一例として 3人の人物 A, B , Cのギャラリデータ 3個に対してプローブデータを照合し、人物 Bのギャラリデータがもっとも良いモデル適合度を得たとすると、プロ一ブデータは人物 Bの 3 Dデータであると認識される。このとき、ギャラリデータの 3枚それぞれで、顔の向きなどの外部パラメタが異なっていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。

また別の例として、物体の姿勢を認識するシステムをあげて説明すると、一例として物体を左 9 0度から正面、右 9 0度まで 1 0度間隔の向きに置いて計測した 1 9個のギャラリ 3 Dデータに対してプローブ 3 Dデータを照合し、右 7 0度の向きのギャラリデータがもっとも良いモデル適合度を得たとする。この場合、プローブデータを計測したときの物体の向きは右 7 0度であると認識される。このとき、ギャラリデータ 1 9個それぞれで、 3次元計測装置の特性などの外部パラメタが異なっていても、外部パラメタはモデノレ適合度に影響しないため、正しく物体の姿勢を認識することができる。

以上の説明においては、 3 Dデータとして 3 D形状データおょぴテクスチャデータの両者が含まれるものとして説明したが、テクスチャデータが存在しない 3 D形状データのみから構成される 3 Dデータについてもまったく同様に処理を行うことが可能である。次に本実施の形態の効果を説明する。

本実施の形態では、プローブデータ Dpとギャラリデータ Dgの双方の 3次元データを入力とし、照合したい目的パラメタ ptが両データ Dp, Dgで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度 Vを計算し、このモデル適合度 Vを持って照合を行うため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプロ一プデータとギャラリデータとの照合を行うことができる。その理由は以下の通りである。

照合したい目的パラメタ pt の値が両データ Dp，Dgで異なる場合には、データ Dp, Dgに類似したモデルデータ D， p, D' gが決して求まらないため、モデル適合度 V は極端に悪化する。他方、照合したい目的パラメタ ptの値が両データ Dp，D_gで同じである場合には、データ Dp， Dgに類似したモデルデータ D' p, D' gが基本的には必ず求まるため、モデル適合度 Vも良い値を示す。したがって、照合したい目的パラメタ ptが両データ Dp， Dgで同じであるときと異なるときのモデル適合度 Vの値の隔たりが顕著になる。このため、 1セットのギャラリデータ Dgとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタ ptがプローブデータと同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギャラリデータ Dgとの照合判定では、目的パラメタ ptがプローブデータと同じであるギャラリデータ Dgとプローブデータ Dpの組み合わせについて計算されたモデル適合度 V力 S、それ以外の組み合わせについて計算されたモデル適合度 Vより頭一つ抜きん出て良好な値を示すため、フィッティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、その影響を受けずに、目的パラメタ pt がプローブデータと一番良く合致しているギャラリデータを特定することができる。

これに対して、従来技術においては、プローブデータ D からその目的パラメタ ptpと外部パラメタ pepを、ギャラリデータ Dgからその目的パラメタ ptgと外部パラメタ pegをそれぞれ独立にフィッティング処理で推定し、 ptp と ptgの類似度を比較する処理が実行される。

したがって、照合したい目的パラメタ ptpと ptgが両データ Dp, Dgで同じであるときと異なるときの ptpと ptgの類似度の隔たりが、本実施の形態におけるモデル適合度 Vの値の隔たりのように顕著にならない。このため、フィッティング処理の絶対的な精度の影響を強く受けることになる。

(第 3の実施の形態）

次に、本発明の第 3の実施の形態について説明する。前述した第 1の実施形態は画像どうしを照合しているのに対し、本実施の形態に係る照合装置は、プロ一ブ画像を入力し、 3次元データであるギャラリデータと照合する。

図 8に示される本実施の形態と図 2に示される第 1の実施の形態とを比較すると、処理装置 1 2 0 0が 2 Dモデルフィッティング手段 1 2 0 1およびモデル適合度評価手段 1 2 0 2の代わりに 2 D 3 Dモデルフィッティング手段 1 2 3 1おょぴモデル適合度評価手段 1 2 3 2を有する点で相違する。

記憶装置 1 3 0 0には、処理装置 1 2 0 0で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、 3次元データであるギャラリデータ、画像変動モデルおょぴ 3次元データ変動モデルに関するデータが含まれる。ギャラリデータは、あらかじめ記憶装置 1 3 0 0に記憶しておいても良いし、プローブ画像と共に、その都度、図示しない 3次元データ入力装置から読み込まれても良い。

3次元データ変動モデルは、物体の種類、物体の状態、姿勢などの多様な変動要素によって、計測される 3 Dデータがどのように変動するかを記述したモデルである。多様な変動要素のパラメタを与えると、その条件下における 3 Dデータが生成される。この処理過程で必要とされるデータ群が記憶装置 1 3 0 0に記憶されている。 3 Dデータ変動モデルの一例としては、第 2の実施の形態で説明したモデル 3およぴモデル 4が挙げられるが、これらはあくまで一例であり、このほかにも様々な 3 Dデータ変動モデルを利用可能である。

画像変動モデルは、 3 Dデータ変動モデルによって生成される 3 Dデータから、カメラの向きや位置、照明条件、カメラ特性などをあらわすパラメタによって、その状況下における画像を生成する画像変動モデルである。この画像変動モデルには、様々なカメラのモデル（ピンホールカメラ、平行投影モデルなど）、照明のモデル（完全散乱モデル、 P h o n gのモデルなどのコンピュータグラフィクスの標準技術、または、特許文献 1に記載の照明基底を用いる技術など）などを組み合わせて利用することが可能である。

以上にあげた 3 Dデータ変動モデルと画像変動モデルはあくまで一例であり、このほかにも様々な画像変動モデルを利用可能である。

図 9を参照すると、 2 D 3 Dモデルフィッティング手段 1 2 3 1は、プローブ画像 Ipとギャラリデータ Dgを入力し、認識目的の変動要素をあらわす目的パラメタ ptが両データ Ip, Dgで同一の値をとり、その他の変動要素をあらわすパラメタ peは両データ Ip，Dgで個別に異なる可能性があると仮定する場合、前述した 3 Dデータ変動モデル 1 2 3 4を用いてギャラリデータ Dgにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータ D' gを生成し、かつ、前述した画像変動モデル 1 2 3 5を用いてプロープ画像 Ip にできるだけ近いモデル画像 pを生成するような、各パラメタ pt，peの値を計算する。ここで、プローブ画像 Ipの外部パラメタを pep、ギヤラリデータ Dgの外部パラメタを peg とする。

顔画像を 3 D顔データと照合し、個人識別を行うシステムを例にすれば、 ptは顔の形状やテクスチャの個人性を表すパラメタであり、 pep は表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、 peg は表情、顔の姿勢などのパラメタになる。また、顔画像を 3 D顔データと照合し、顔の姿勢を認識するシステムを例にすれば、 ptは顔の姿勢を表すパラメタであり、 pepは個人性、表情、照明条件、カメラの位置、向き、焦点距離などのパラメタであり、 peg は個人 1"生、表情などのパラメタになる。ここに示したのはあくまで一例であり、パラメタの数や種類はモデルに応じて様々に変更可能である。

図 1 0を参照すると、 2 D 3 Dモデルフィッティング手段 1 2 3 1は、初期値推定手段 2 1 3 1と、 2 D 3 Dモデルデータ生成手段 2 1 3 2と、コスト評価手段 2 1 3 3と、パラメタ推定手段 2 1 3 4とを備える。

初期値推定手段 2 1 3 1は、プローブ画像 Ipの画像変動要素パラメタ、および、ギャラリデータ Dg の 3 Dデータ変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、プローブ画像 Ipやギャラリデータ Dg に付与される情報として入力されるものでもよレ、。プローブ画像 Ipに対する初期値は第 1の実施の形態における初期値推定手段 2 1 0 1と同様な処理で行うことができ、ギャラリデータ Dgに対する初期値は第 2の実施の形態における初期値推定手段 2 1 2 1と同様な処理で行うことができる。以上に述べた初期値の計算方法はあくまで一例であり、様々に変更可能である。

プローブ画像 I_Pとギャラリデータ Dgの両データに対する目的パラメタ ptの初期値、プローブ画像 Ipに対する外部パラメタ pepの初期値、ギャラリデータ Dg に対する外部パラメタ pegの初期値は、 2 D 3 Dモデルデータ生成手段 2 1 3 2 へ出力される。

2 D 3 Dモデルデータ生成手段 2 1 3 2は、初回のモデルデータの生成時は、初期値推定手段 2 1 3 1から初期値として出力された目的パラメタ pt および外部パラメタ Pep，Pegを使用し、以後の繰り返し時にはパラメタ推定手段 2 1 3 4 によつて更新された目的パラメタ ptおよぴ外部パラメタ Pep, Pegを使用し、それぞれ 3 Dデータ変動モデル 1 2 3 4および画像変動モデル 1 2 3 5を用いて、パラメタ Pt, Pep, Pegの表す状況下におけるプローブモデル画像 Γ ρおよびギャラリモデルデータ D' gを生成し、出力する。

画像変動モデル 1 2 3 5を用いて、目的パラメタ ptおよび外部パラメタ pepの現在の値の表す状況下における画像をプローブモデル画像 ρとして生成する処理は、第 1の実施の形態におけるモデル画像生成手段 2 1 0 2とまったく同様に行える。また、 3 Dデータ変動モデル 1 2 3 4を用いて、目的パラメタ ptおよびギャラリ外部パラメタ pegの現在の値の表す状況下における 3 Dデータをギャラリモデルデータ D' gとして生成する処理は、第 2の実施の形態における 3 Dモデルデータ生成手段 2 1 2 2とまったく同様に行える。両処理を式で表すと次式のようになる。

p=M(pt, pep)

, …ひ?）

D' g=N(pt, peg)

コスト評価手段 2133は、プローブ画像 Ipとプローブモデル画像 ρ、ギヤラリデータ Dgとギャラリモデルデータ D' gを比較し、フィッティングのコスト関数 Cを計算する。このコスト関数 Cは一例として、次式に示すように比較する両データの重みつき二乗誤差和とすることができる。

|2+wt|Tg-Tg' 12) …（18)

ここで、 Sg， Tgはギャラリデータの 3 D形状およびテクスチャデータ、 S， g, T， g はギャラリモデルデータの 3 D形状およびテクスチャデータ、 wtは 3次元座標とテクスチャの重みを調整する係数である。また、 wgは画像と 3Dデータの重みを調整する係数であり、あらかじめ適当な値を定めておく。

wtの値の決定方法はさまざまな方法が利用可能であるが、一例として、 Cを最初に計算する時の（|Sg_Sg |2/|Τρ-Τρ' |2)の値としてもよい。

wgの値の決定方法はさまざまな方法が利用可能であるが、一例として、 Cを最初に計算する時の（（はー1 1²)/(|3 ー3_§' |2+wt|Tg-Tg' 12))の値としてもよい。

また、繰り返し処理の過程でこれらの値を更新していくことも可能である。ここに示したコスト関数はあくまで一例であり、このほかにも様々なコスト関数を利用可能である。その一例として、各パラメタの事前確率を表すコスト項をコスト関数値に加算することもできる。たとえば pt， pep， peg の各値が ptO, pepO, pegO に近い値になることがわかっている場合には、次のようなコスト関数を用いることも可能である。

C=|lp-I'p|2+wg(|Sg-Sg' |2+wt|Tg-Tg' |2)

+wpt (pt— ptO) 2+wpep pep— pepO 2+wpeg (peg— pegO) 2 … (19) wpt, pep, wpegの値はあらかじめ適当な値を定めておく。

パラメタ推定手段 2134は、コスト関数 Cの値を改良するように、目的パラメタ Ptおよび外部パラメタ Pep， Pegそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として最急降下法がある。

各パラメタ（pt， pep, peg)を並べた全パラメタべクトルを pとし、その各要素 pi の値をひとつずつあらかじめ決めた微小な量 Ai だけ変化させたとき、およぴモデルデータ生成手段 2 1 3 2によりそれぞれの要素を微小変化させたときの、プローブモデル画像データ I'p(p+Ai)、ギャラリモデルデータ D'g(p+Ai)の形状データ Sg' (ρ+Δί)、およびテクスチャデータ Tg (p+Ai)が生成される（Δί は要素 iが Ai、他の要素がゼロのべクトルとする）。次に、コスト評価手段 2 1 3 3 によって、コスト関数の値 C(p+Ai)を次式により計算する処理が実行される。

C(p+Ai) = |lp-Ip' (ρ+Δί) 12

+wg(|Sg-Sg' (p+Ai) |2+wt|Tg— Tg， (ρ+Δί) |2) …（20) 次に、次式に示すように、変化後のコスト関数値と元のコスト関数値の差分を前記微小変化量で割ることによって、コスト関数の勾配べクトル VC の値を計算する処理が実行される。

▽ C=[(C(p+厶 1)— C(p))/Al， (C(p+A2)—C(p))/厶 2， -] Ί …（21) 最急降下法によって、パラメタ pの値は次式で更新される。

p(t+l)=p(t)- a VC ー（22)

αは事前に決めたゲイン定数とする。一例として値は 1. 0でもよい。また、状況に応じて適応的に変化することもできる。

再び図 8および図 9を参照すると、モデル適合度評価手段 1 23 2は、 2 D 3 Dモデルフィッティング手段 1 2 3 1のモデルフィッティング処理の精度を評価する。すなわち、モデルフィッティング処理において、目的パラメタ ptが同一であると仮定して処理を行っていた。モデル適合度評価手段 1 2 3 2は、この仮定の上で、画像変動モデ^ 2 3 5および 3Dデータ変動モデル 1 2 34がプロ一ブ画像 Ipおよびギヤラリデータ Dgに適合したかどうかを表すモデル適合度 Vを計算する。本実施の形態のモデル適合度評価手段 1 2 3 2は、プローブモデル画像 pとプローブ画像 Ip、ギャラリモデルデータ D' gとギヤラリデータ D gを入力とし、それぞれの誤差を合算してモデル適合度 Vとして出力する。

誤差の計算には様々な特徴量を用いることができるが、一例として、次式のような 3次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。

V=vp | lp-Ip' | 2+vg ( | Sg-Sg' | 2 + vt | Tg-Tg' | 2) …（23)

ここで、 vt，vp, vgは重み定数であり、適当な値をあらかじめ決めておく。値の一例としては、 vp= 1， vg=wg, vt=wt としてもよい。ここでは一例として画像輝度値、 3次元座標、テクスチャ輝度値のそれぞれの誤差の重み付き和を用いたが、このほ力こも、法線べクトルの誤差や画像 ·テクスチャのエッジなどの特徴量の誤差などを用いることももちろん可能である。また、式 1 8または式 2 0のコスト関数 Cの値をモデル適合度 Vとして用いてもよい。モデル適合度 Vは誤差を表しているので、 Vの値が小さいほど良いという点に注意する。

照合手段 1 2 0 3は、第 1の実施の形態と同じであり、モデル適合度評価手段 1 2 3 2によって計算されたモデル適合度 Vの値を用いて、ギャラリデータ Dgとプローブ画像 Ipの照合判定を行う。一例として、照合手段 1 2 0 3は、あらかじめ閾値を定めておき、その閾値よりモデル適合度 Vが良い（式 1 6の場合は小さい値）場合に、プローブ画像 Ipの目的パラメタ ptがギヤラリデータ Dgの目的パラメタ ptと同じであると認識する。

ギャラリデータ Dgが複数セットある場合には、それぞれのギャラリデータに対してプローブ画像 Ipを組み合わせて、 2 D 3 Dモデルフィッティング手段 1 2 3 1とモデル適合度評価手段 1 2 3 2の処理が行なわれ、それぞれの組についてのモデル適合度 Vが計算される。照合手段 1 2 0 3は、もっとも良いモデル適合度を得た組のギャラリデータ Dgの目的パラメタ ptの値が、プローブ画像 Ipの目的パラメタ ptの値であると認識する。

または、ある閾値より良いモデル適合度 Vを得た複数のギャラリデータ Dgの目的パラメタ ptの値を用いて、内揷ゃ補間によってプローブ画像 Ipの目的パラメタ ptの値を推定しても良い。

より具体的な例を持って説明する。顔の 3 Dデータによる個人識別システムを例にすると、一例として 3人の人物 A, B， Cのギャラリデータ 3個に対してプロープデータを照合し、人物 Bのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータは人物 Bの 3 Dデータであると認識される。このとき、ギャラリデータの 3枚それぞれで、顔の向きなどの外部パラメタが異なつていても、外部パラメタはモデル適合度に影響しないため正しく個人識別を行うことができる。

さらに別の例として、物体の姿勢を認識するシステムを例にすると、一例として物体を左 9 0度から正面、右 9 0度まで 1 0度間隔の向きに置いて計測した 1 9個のギャラリ 3 Dデータに対してプローブ 3 Dデータを照合し、右 7 0度の向きのギャラリデータがもっとも良いモデル適合度を得たとすると、プローブデータを計測したときの物体の向きは右 7 0度である、と認識される。

本実施の形態においては、ギャラリデータである 3 Dデータとして 3 D形状データおよびテクスチャデータの両者が含まれるものとして説明したが、 3 D形状データのみから構成されるギャラリデータについてもまったく同様に処理を行うことが可能である。また、プローブ画像とギャラリデータが 1つであるとして説明したが、一方または双方が複数である場合にも、外部パラメタ peや式 1 8、式 2 3における重み係数の数が画像または 3 Dデータの数だけ増えるだけであり、まったく同様に処理可能である。

次に本実施の形態の効果を説明する。

本実施の形態では、プローブ画像 Ipとギャラリデータ Dgを入力とし、照合したい目的パラメタ ptが両データ Ip, Dgで同じであると仮定してモデルフィッティング処理が行なわれ、そのモデルフィッティング処理の精度の尺度であるモデル適合度 Vが計算され、このモデル適合度 Vを持って照合が行なわれる。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリデータとの照合を行うことができる。その理由は以下の通りである。照合したい目的パラメタ ptの値が両データ Ip, Dgで異なる場合には、データ Ip, Dgに類似したモデルデータ Γ p, D' gが決して求まらないため、モデル適合度 V は極端に悪ィ匕する。他方、照合したい目的パラメタ ptの値が両データ Ip，Dgで同じである場合には、データ Ip，Dgに類似したモデルデータ I' p，D' gが基本的には必ず求まるため、モデル適合度 Vも良い値を示す。したがって、照合したい目的パラメタ ptが両データ Ip， Dgで同じであるときと異なるときのモデル適合度 Vの値の隔たりが顕著になる。このため、 1セットのギャラリデータ Dgとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタ ptがプローブ画像と同じであるギャラリデータとそうでないギャラリデータとを明確に区別することができる。また、複数セットのギヤラリデータ Dgとの照合判定では、目的パラメタ ptがプローブ画像と同じであるギャラリデータ Dgとプローブ画像 Ipの組み合わせについて計算されたモデル適合度 Vが、それ以外の組み合わせについて計算されたモデル適合度 Vより頭一つ抜きん出て良好な値を示すため、フイツティング処理の精度が多少低下してモデル適合度 Vの値が多少上下しても、その影響を受けずに、目的パラメタ ptがプローブ画像と一番良く合致しているギャラリデータを特定することができる。

これに対して、プローブ画像 Ipからその目的パラメタ ptpと外部パラメタ pep を、ギャラリデータ Dgからその目的パラメタ ptgと外部パラメタ pegをそれぞれ独立にフィッティング処理で推定し、 ptp と ptgの類似度を比較する従来技術においては、照合したい目的パラメタ ptpと ptgが両データ Ip, D_gで同じであるときと異なるときの ptpと ptgの類似度の隔たり 1 本実施の形態におけるモデル適合度 Vの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。

(第 4の実施の形態）

第 3の実施の形態では、プローブ画像 Ipを入力して 3次元データのギヤラリデータ Dgと照合したが、本実施の形態に係る照合装置は、 3次元のプローブデータ Dpを入力してギヤラリ画像 Igと照合する。

図 1 1に示される本実施の形態と図 8に示される第 3の実施の形態とを比較すると、画像入力装置 1 1 0 0の代わりに 3次元データ入力装置 1 4 0 0を備えている点で両者は相違する。

3次元データ入力装置 1 4 0 0は、 3次元データであるプローブデータを処理装置 1 2 0 0に入力する装置であり、 3次元形状計測装置であってもよいし、図示しない記憶装置からプローブデータを読み込んだり、ネットワークを通じてプローブデータを受信する装置であってもよい。記憶装置 1 3 0 0には、処理装置 1 2 0 0で実行するプログラムおよび照合に用いる各種のデータが記憶されている。各種データのうちには、ギャラリ画像、画像変動モデルおょぴ 3次元データ変動モデルに関するデータが含まれる。ギヤラリ画像をあらかじめ記憶装置 1 3 0 0に記憶しておいても良い。当該ギャラリ画像はプローブデータと共に、その都度、図示しない画像入力装置から読み込まれても良い。画像変動モデルおょぴ 3次元データ変動モデルは、第 3の実施の形態における画像変動モデル 1 2 3 5および 3 Dデータ変動モデル 1 2 3 4と同じである。

図 1 2を参照すると、 2 D 3 Dモデルフィッティング手段 1 2 3 1は、プロ一ブデータ Dpとギャラリ画像 Igを入力し、認識目的の変動要素をあらわす目的パラメタ ptが両データ Dp， Igで同一の値をとり、その他の変動要素をあらわすパラメタ peは両データ Dp, Igで個別に異なる可能性があると仮定した場合、前述した 3 Dデータ変動モデル 1 2 3 4を用いてプローブデータ Dpにできるだけ近い（以下に示したコスト関数の値が小さくなるような）モデルデータ pを生成し、かつ、前述した画像変動モデル 1 2 3 5を用いてギャラリ画像 Igにできるだけ近いモデル画像 I' を生成するような、各パラメタ pt，peの値を計算する。ここで、プローブデータ Dpの外部パラメタを pep、ギャラリ画像 Igの外部パラメタを peg とする。

図 1 3を参照すると、 2 D 3 Dモデルフィッティング手段 1 2 3 1は、第 3の実施の形態と同様に、初期値推定手段 2 1 3 1と、 2 D 3 Dモデルデータ生成手段 2 1 3 2と、コスト評価手段 2 1 3 3と、パラメタ推定手段 2 1 3 4とを備える。

初期値推定手段 2 1 3 1は、プローブデータ Dpの 3 Dデータ変動要素パラメタ、および、ギャラリ画像 Igの画像変動要素パラメタのそれぞれについて初期値を求める。これは、あらかじめ与えられた既知の値でもよいし、別途のセンサーなどによって計測される値でもよく、また、画像 Igや 3 Dデータ Dpに付与される情報として入力されるものでもよレ、。ギャラリ画像 Igに対する初期値は第 1の実施の形態における初期値推定手段 2 1 0 1と同様な処理で行うことができ、プロ一ブデータ Dp に対する初期値は第 2の実施の形態における初期値推定手段 2 1 2 1と同様な処理で行うことができる。

プローブデータ Dpとギャラリ画像 Igの両データに対する目的パラメタ ptの初期値、プローブデータ Dpに対する外部パラメタ p印の初期値、ギャラリ画像 Ig に対する外部パラメタ pegの初期値は、 2 D 3 Dモデルデータ生成手段 2 1 3 2 へ出力される。

2 D 3 Dモデルデータ生成手段 2 1 3 2は、初回のモデルデータの生成時は、初期値推定手段 2 1 3 1から初期値として出力された目的パラメタ pt および外部パラメタ Pep, Pegを使用し、以後の繰り返し時にはパラメタ推定手段 2 1 3 4 によって更新された目的パラメタ ptおよび外部パラメタ Pep, Pegを使用し、それぞれ 3 Dデータ変動モデル 1 2 3 4および画像変動モデル 1 2 3 5を用いて、パラメタ Pt， Pep, Pegの表す状況下におけるプローブモデルデータ D' pおよびギヤラリモデル画像 I' gを生成し、出力する。

コスト評価手段 2 1 3 3は、プローブデータ Dp とプローブモデルデータ D，p、ギャラリ画像 Igとギャラリモデル画像 I' gを比較し、フィッティングのコスト関数を計算する。このコスト関数は一例として、第 3の実施の形態と同様に、比較する両データの重みつき二乗誤差和とすることができる。

パラメタ推定手段 2 1 3 4は、コスト関数 Cの値を改良するように、目的パラメタ Ptおよび外部パラメタ Pep， Pegそれぞれの値を更新する。これには様々な最適化手法が利用可能であるが、一例として第 3の実施の形態と同様に、最急降下法が利用可能である。

モデル適合度評価手段 1 2 3 2は、 2 D 3 Dモデルフイツティング手段 1 2 3 1のモデノレフィッティング処理の精度を評価する。すなわち、モデルフイツティング処理において、目的パラメタ ptが同一であると仮定して処理を行っていた。モデル適合度評価手段 1 2 3 2は、この仮定の上で、画像変動モデル 1 2 3 5および 3 Dデータ変動モデル 1 2 3 4がギャラリ画像 Igおよぴプロープデータ Dp に適合したかどうかを表すモデル適合度 Vを計算する。本実施の形態のモデル適合度評価手段 1 2 3 2は、プローブモデルデータ D' pとプローブデータ Dp、ギヤラリモデル画像 gとギャラリ画像 Igを入力し、それぞれの誤差を合算してモデル適合度 Vとして出力する。誤差の計算には様々な特徴量を用いることができるが、一例として、第 3の実施の形態と同様に、 3次元座標とテクスチャ輝度値の重みつき二乗誤差和を用いることができる。

照合手段 1 2 0 3は、第 3の実施の形態と同様に、モデル適合度評価手段 1 2 3 2によって計算されたモデル適合度 Vの値を用いて、ギャラリ画像 Igとプロ一ブデータ Dpの照合判定を行う。

次に本実施の形態の効果を説明する。

本実施の形態では、プローブデータ Dpとギャラリ画像 Igを入力し、照合したい目的パラメタ ptが両データ Dp， Igで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度 Vを計算し、このモデル適合度 Vを持って照合を行う。このため、モデルフイツティング処理の絶対的な精度にあまり影響を受けずにプローブデータとギャラリ画像との照合を行うことができる。その理由は以下の通りである。

照合したい目的パラメタ pt の値が両データ Dp, Igで異なる場合には、データ Dp, Igに類似したモデルデータ D' p, Γ gが決して求まらないため、モデル適合度 V は極端に悪化する。他方、照合したい目的パラメタ ptの値が両データ Dp, I で同じである場合には、データ Dp, Igに類似したモデルデータ D' p, I' gが基本的には必ず求まるため、モデル適合度 Vも良い値を示す。したがって、照合したい目的パラメタ ptが両データ Dp， Igで同じであるときと異なるときのモデル適合度 Vの値の隔たりが顕著になる。このため、 1セットのギヤラリ画像 Igとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデノレ適合度 Vの値が多少上下しても、閾値との距離が大きいためにその影響を受けずに、目的パラメタ ptがプローブデータと同じであるギヤラリ画像とそうでないギャラリ画像とを明確に区別することができる。また、複数セットのギャラリ画像 Igとの照合判定では、目的パラメタ ptがプローブデータと同じであるギャラリ画像 Igとプローブデータ Dpの組み合わせについて計算されたモデル適合度 Vが、それ以外の組み合わせについて計算されたモデル適合度 Vより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデノレ適合度 Vの値が多少上下しても、その影響を受けずに、目的パラメタ pt がプローブデータと一番良く合致しているギャラリ画像を特定することができる。

これに対して、従来技術では、プローブデータ Dpからその目的パラメタ ptpと外部パラメタ pepを、ギャラリ画像 Igからその目的パラメタ ptgと外部パラメタ pegをそれぞれ独立にフィッティング処理で推定し、 ptpと ptgの類似度を比較している。このため、照合したい目的パラメタ ptpと ptgが両データ Dp, Igで同じであるときと異なるときの ptpと ptgの類似度の隔たりが、本実施の形態におけるモデル適合度 Vの値の隔たりのように顕著にならないため、フィッティング処理の絶対的な精度の影響を強く受けることになる。

(第 5の実施の形態）

次に、本発明の第 5の実施の形態について説明する。

図 1 4に示される本実施の形態と図 2に示した第 1の実施の形態とを比較すると、処理装置 1 2 0 0が、モデル適合度評価手段 1 2 0 2の代わりにモデル適合度評価手段 1 2 4 2を備えている点、記憶装置 1 3 0 0に、モデル適合度評価手段 1 2 4 2におけるモデル適合度の計算に使用するギャラリ画像とプローブ画像のパラメタに関する基準情報が格納されている点で両者は相違する。

ギャラリ画像のパラメタに関する基準情報としては様々なものが利用できるが、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。同様に、プローブ画像のパラメタに関する基準情報としては、一例として、各パラメタの取りえる値の範囲、値を取る確率分布、別途推定されたまたは既知の正しい値、などが挙げられる。図 1 5を参照すると、モデル適合度評価手段 1 2 4 2は、第 1の実施の形態におけるものと同様な動作を行う 2 Dモデルフィッティング手段 1 2 0 1により推定されたパラメタ群 p (目的パラメタ pt、プローブ外部パラメタ pep、ギャラリ外部パラメタ pegを並べたベタトルとする）の値の確からしさ（パラメタ確信度）を、記憶装置 1 3 0 0に記憶されたギャラリ画像パラメタ基準情報 1 2 4 5およぴプローブ画像パラメタ基準情報 1 2 4 6を参照して評価し、そのパラメタ確信度をモデル適合度 Uとして出力する。以下、モデル適合度 Uの計算方法を幾つか説明する。

1 ) モデル適合度 Uの第 1の計算方法

この方法の場合、モデル適合度評価手段 1 2 4 2は、 2 Dモデルフィッティング手段 1 2 0 1により推定されたパラメタ pt， pep, peg力 S、取りえる範囲に入っているかどうかを評価する。この場合、ギャラリ画像パラメタ基準情報 1 2 4 5およびプローブ画像パラメタ基準情報 1 2 4 6として、推定された i番目のパラメタの値 pi の取りえる値域を示すデータをあらかじめ記憶装置 1 3 0 0に記憶する処理が実行される。そして、一例として、値域が上下限の値 (piO, pil)として与えられ、 piO≤pi≤pilであるとすると、モデル適合度 Uを次式で計算し、出力する処理が実行される。

U= z, iwiui

ui = | pi— ρϊθ | 2 uf piく piO)

= 0 (if piO≤pi≤pil) …（²⁴)

= | pi -pil | 2 (if pi >pil)

ここで、 wiは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て 1でもよい。

ここでは全てのパラメタ (pt, pep, peg) について値域が与えられている場合を説明したが、一部のパラメタについてしか情報がない場合には、情報のないパラメタは除外して式 2 4を計算すればよレ、。

2 ) モデル適合度 Uの第 2の計算方法

この方法の場合、モデル適合度評価手段 1 2 4 2は、 2 Dモデルフィッティング手段 1 2 0 1により推定されたパラメタ pt, pep， pegの値と、事前にわかっているパラメタの値との誤差を用いてモデル適合度 Uを計算する処理が実行される。ギャラリ画像パラメタ基準情報 1 2 4 5およびプロ一プ画像パラメタ基準情報 1 2 4 6によって、 piの正しい値が piOであることが知られている場合、次式でモデル適合度 Uを訐算する処理が実行される。

U=∑iwi | pi -pi0 | 2 …（25)

ただし、一部のパラメタについてしか値がわからなレ、場合、不明なパラメタは除外して計算される。 wiは各パラメタの重要度を決める重みであり、適当な値を事前に決めておく。一例としては全て 1でもよい。

3 ) モデル適合度 Uの第 3の計算方法

この方法では、各パラメタの値の確率分布が与えられており、モデル適合度評価手段 1 2 4 2は、 2 Dモデルフィッティング手段 1 2 0 1により推定されたパラメタ pt， pep, pegの値をとる確率を計算し、モデル適合度 Uを計算する。ギャラリ画像パラメタ基準情報 1 2 4 5およびプローブ画像パラメタ基準情報 1 2 4 6 によって、パラメタ pi力 S、分散 σ ί、平均値 pimの正規分布に従うと指定されている場合、次式でモデル適合度 Uが計算される。ただし、確率分布の不明であるパラメタは除外して計算される。

U= -∑i (pi -pim) 2/ o x …（26)

以上の第 1乃至第 3の方法で計算されるモデル適合度 Uは、値が小さいほど良いことに注意する。また、ここに説明したモデル適合度 Uの値の計算方法はあくまで一例であり、様々に変更可能である。

照合手段 1 2 0 3は第 1の実施形態と同じであり、モデル適合度 Vの値のかわりにモデル適合度 Uの値を用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかどうかを判定し、または、良いモデル適合度を得たギャラリ画像の目的パラメタの値を用いてプローブ画像の目的パラメタの値を推定する。

次に本実施の形態の効果を説明する。

本実施の形態では、プローブ画像 Ipとギャラリ画像 Igの双方の画像を入力とし、照合したい目的パラメタ ptが両画像 Ip, Igで同じであると仮定してモデルフィッティング処理を行い、そのモデルフィッティング処理の精度の尺度であるモデル適合度 Uを計算し、このモデル適合度 Uを持って照合を行う処理が実行される。このため、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。その理由は以下の通りである。

照合したい目的パラメタ ptの値が両画像 Ip, Igで異なる場合には、画像 Ip, Ig に類似したモデル画像 I' P，I' gが決して求まらない。このため、推定されるパラメタ pt, pep, pegの値が異常な値となり、モデル適合度 Uは極端に悪化する。

他方、照合したい目的パラメタ ptの値が両画像 Ip， Igで同じである場合には、画像 Ip, Igに類似したモデル画像 Γ p, Γ gが基本的には必ず求まる。このため、推定されるパラメタ pt， pep, pegの値も正常な値となり、モデル適合度 Uも良い値を示す。したがって、照合したい目的パラメタ ptが両画像 Ip，Igで同じであるときと異なるときのモデル適合度 Uの値の隔たりが顕著になる。このため、 1セットのギャラリ画像 Igとの照合判定では、その中間の値に閾値を設定しておけば、フィッティング処理の精度が多少低下してモデル適合度 Uの値が多少上下しても. 閾値との距離が大きいためにその影響を受けずに、目的パラメタ ptがプローブ画像と同じであるギャラリ画像とそうでないギャラリ画像とを明確に区別することができる。

また、複数セットのギャラリ画像 Igとの照合判定では、目的パラメタ ptがプロープ画像と同じであるギャラリ画像 Igとプローブ画像 Ipの組み合わせについて計算されたモデル適合度 Uが、それ以外の組み合わせについて訐算されたモデル適合度 Uより頭一つ抜きん出て良好な値を示す。このため、フィッティング処理の精度が多少低下してモデル適合度 Uの値が多少上下しても、その影響を受けずに、目的パラメタ ptがプローブ画像と一番良く合致しているギャラリ画像を特定することができる。

これに対して、従来技術では、プローブ画像 Ipからその目的パラメタ ptpと外部パラメタ pepを、ギャラリ画像 Igからその目的パラメタ ptg と外部パラメタ pegをそれぞれ独立にフィッティング処理で推定し、 ptpと ptgの類似度を比較している。このため、照合したい目的パラメタ ptpと ptgが両画像 Ip, Igで同じであるときと異なるときの ptpと ptgの類似度の隔たりが、本実施の形態におけるモデル適合度 Uの値の隔たりのように顕著にならない。したがって、フイツティング処理の絶対的な精度の影響を強く受けることになる。

なお、本実施の形態は画像と画像を照合するシステムであり、第 1の実施の形態との比較によって説明したが、第 2の実施の形態において、モデル適合度評価手段 1 2 2 2を本実施の形態のモデル適合度評価手段 1 2 4 2に置き換えた実施の形態も考えられる。また、第 3または第 4の実施形態において、モデル適合度評価手段 1 2 3 2を本実施の形態のモデル適合度評価手段 1 2 4 2に置き換えた実施の形態も考えられる。

(第 6の実施の形態）

― 次に本発明の第 6の実施の形態について説明する。

図 1 6に示される本実施の形態と図 1 4に示した第 5の実施の形態とを比較すると、処理装置 1 2 0 0が、モデル適合度評価手段 1 2 4 2に代えてモデル適合度評価手段 1 2 5 2を備えている点で両者は相違する。

図 1 7を参照すると、モデル適合度評価手段 1 2 5 2は、ギャラリ画像 Ig、ギャラリモデル画像 Γ g、プローブ画像 Ip、プローブモデル画像 Γ p、目的パラメタ pt、ギャラリ外部パラメタ peg、プローブ外部パラメタ pep、ギャラリ画像パラメタ基準情報 1 2 4 5およびプローブ画像パラメタ基準情報 1 2 4 6を入力し、モデル適合度 Vとモデル適合度 Uを併用してモデル適合度 Wを計算し出力する。モデル適合度評価手段 1 2 5 2は、二つの評価部 1 2 5 3および評価部 1 2 5 4と、統合部 1 2 5 5とを備える。

評価部 1 2 5 3は、第 1の実施の形態における図 2のモデル適合度評価手段 1 2 0 2に相当し、ギヤラリ画像 Ig、ギャラリモデル画像 Γ g、プローブ画像 Ip、プローブモデル画像 Γ pを入力とし、それらの誤差を評価してモデル適合度 Vを計算して出力する。

評価部 1 2 5 4は、第 5の実施形態における図 1 4のモデル適合度評価手段 1 2 4 2に相当し、ギャラリ画像パラメタ基準情報 1 2 4 5とプローブ画像パラメタ基準情報 1 2 4 6を参照し、モデルフィッティング手段 1 2 0 1の推定した各パラメタ pt，peg，pepの確信度を計算し、モデル適合度 Uを出力する。

統合部 1 2 5 5は、モデル適合度 Vとモデル適合度 Uを統合したモデル適合度 Wを計算して出力する。モデル適合度 Wの計算には様々な方法が利用可能である。モデル適合度 Wは次式で計算される。

W=V+wuU ·'· (27)

ここで、はモデル適合度 Vとモデル適合度 Uの重視度を決める重み係数であり、事前に適当な値を決めておく。

照合手段 1 2 0 3は、第 1の実施の形態とほぼ同じである。ただし、モデル適合度 Vの値の代わりに、モデル適合度 Wを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるかの照合、または、目的パラメタの値の推定を行う点が相違する。この際、第 1の実施の形態おょぴ第 5の実施の形態と同様の理由により、モデルフイツティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギャラリ画像との照合を行うことができる。

なお、本実施の形態は画像と画像を照合するシステムであり、第 5の実施の形態との比較によって説明したが、第 2の実施の形態において、モデル適合度評価手段 1 2 2 2を本実施の形態のモデル適合度評価手段 1 2 5 2に置き換えた実施の形態も考えられる。また、第 3または第 4の実施形態において、モデル適合度評価手段 1 2 3 2を本実施の形態のモデル適合度評価手段 1 2 5 2に置き換えた実施の形態も考えられる。

(第 7の実施の形態）

次に本発明の第 7の実施の形態について説明する。

図 1 8に示される本実施の形態と図 1 6に示した第 6の実施の形態を比較すると、処理装置 1 2 0 0力 2 Dモデルフィッティング手段 1 2 0 1を複数備えている点、モデル適合度評価手段 1 2 5 2に代えてモデル適合度評価手段 1 2 6 2 を備えている点で両者は相違する。

複数の 2 Dモデルフィッティング手段 1 2 0 1のうち、第 1の 2 Dモデルフィッティング手段は、第 6の実施の形態の 2 Dモデルフイツティング手段 1 2 0 1 と同様にギャラリ画像とプロープ画像との同時フィッティングを行うために使用され、残りの第 2の 2 Dモデルフィッティング手段 1 2 0 1は、ギャラリ画像とプローブ画像の一方のみを入力し、この単一の画像のみに対して画像変動モデルをフィッティングしてモデル画像の生成おょぴパラメタ推定を行うために使用される。

モデル適合度評価手段 1 2 6 2は、単一画像へのモデルフィッティング結果と、両画像へのモデルフィッティング結果との誤差を、モデル適合度 Wとして計算する。

図 1 9を参照すると、第 1のモデルフイツティング手段 1 2 0 1は、認識対象であるプローブ画像 Ipおよびそれと照合されるギャラリ画像 Igの両者を入力とし、画像変動モデルを用い、照合目的となる変動要素を共通のパラメタとしてモデルフィッティング処理を行い、両画像 Ip， Igにできるだけ近い画像を生成できるようなパラメタの値を求める。生成されたプローブモデル画像 Γ ρ、ギャラリモデル画像 I' g、推定された目的パラメタ pt、プローブ外部パラメタ pep、ギヤラリ外部パラメタ pegは、モデル適合度評価手段 1 2 6 2に出力される。

1つ目の第 2のモデルフィッティング手段 1 2 0 1は、プローブ面像 Ipのみを入力とし、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。これには画像変動モデルに対応した様々な方法が利用可能であり、一例として、先行技術文献 1の技術や先行技術文献 2の技術を利用することは可能である。推定された目的パラメタをプロープ個別目的パラメタ qtp、外部パラメタをプローブ個別外部パラメタ qep とし、これらを合わせてプローブ画像パラメタ情報 qpとする。これらと共に、生成されたプローブ個別モデル画像 I' psが出力される。

2つ目の第 2のモデルフィッティング手段 1 2 0 1は、ギャラリ画像 Igのみを入力し、画像変動モデルを用いてできるだけそれに近い画像を生成できるようなパラメタの値を求める。画像変動モデルに対応した様々な方法が利用可能である。一例として、先行技術文献 1の技術や先行技術文献 2の技術が利用できる。推定された目的パラメタをギャラリ個別目的パラメタ qtg、外部パラメタをギャラリ個別外部パラメタ qegとし、これらを合わせてギャラリ画像パラメタ情報 qgとして、これらパラメタとともに、生成されたギャラリ個別モデル画像 I'gsが出力される。

モデル適合度評価手段 1 262は、ギャラリ画像 Ig、ギャラリモデル画像 I' g、ギャラリ個別モデル画像 gs、プローブ画像 Ip、プローブモデル画像 Γ p、プロープ個別モデル画像 ps、目的パラメタ pt、ギャラリ外部パラメタ peg、プロ一プ外部パラメタ pep、ギャラリ画像パラメタ情報 qgおよびプロ一ブ画像パラメタ情報 qpを入力し、モデル適合度 Vとモデル適合度 Uを併用してモデル適合度 Wを計算し出力する。

モデル適合度評価手段 1262は、二つの評価部 1263および評価部 1 26 4と、統合部 1265とを備える。

評価部 1264と第 6の実施の形態における評価部 1254とは以下の点を除いて同じである。ギャラリ画像パラメタ基準情報 1 254およびプローブ画像パラメタ基準情報 1 246の代わりに第 2のモデルフイツティング手段 1201の出力したプローブ画像パラメタ情報 q_gおよびギヤラリ画像パラメタ情報 qgを参照し、第 1のモデルフィッティング手段 1201の出力した目的パラメタ pt、プローブ外部パラメタ pep、ギャラリ外部パラメタ pegの値との誤差に基づいてパラメタ確信度を計算し、モデル適合度 Uとして出力する点が相違する。

このモデル適合度 Uの計算方法は様々あるが、次式でモデル適合度 Uを計算してもよい。

U=wl|pt-qtp|2+w2|pt-qtg|2

+w3| pep— qep |2+w4|peg-qeg|2 "- (28)

ここで、 wl,w2,w3，w4は重み係数であり、あらかじめ適当な値を設定しておく。なお、ここで説明したモデル適合度 Uの計算方法はあくまで一例であり、様々な計算方法に変更可能である。

評価部 1263は、第 6の実施の形態における評価部 1253に相当する。評価部 1263は、プローブ画像 Ip、ギヤラリ画像 Ig、第 1のモデルフィッティング手段 1 201の出力するプローブモデル画像 Γ p、ギャラリモデル画像 Γ g、第 2のモデルフィッティング手段 1 2 0 1の出力するプローブ個別モデル画像 I' ps 及ぴギャラリ個別モデル画像 Γ gs を入力し、この個別に生成されたモデル画像

I' PS, r g_S と、プローブおよびギャラリ両画像を併用して生成されたモデル画像 r_P，r _gとの誤差をも加味して、モデル適合度 Vを計算する。

その計算方法は様々な方法が利用可能である。一例として、次式に示すように画像の輝度値の二乗誤差和を用いることができる。

V=vp | lp— Ip | 2+vg| Ig— Ig | 2 + vps | l p— I ps | 2+vgs |丄 g— I，gs | 2

- (29)

ここで、 vp， vg， vps， vgs は、重みを調整する係数であり、あらかじめ適当な値に定められている。一例として、各画像の画素数の逆数としてもよい。また、状況によって適応的に変更することも可能である。このほかにも、式 2 9にさらに Ipと I' ps、 Igと I' gsの誤差を加算するなど様々な計算方法が利用可能である。また、ここでは画像の輝度値の差分を用いたが、エッジや周波数成分など様々な画像特徴量の誤差を用いることも可能である。

統合部 1 2 6 5は、モデル適合度 Vとモデル適合度 Uを統合したモデル適合度 Wを計算して出力する。モデル適合度 Wの計算には様々な方法が利用可能であるが、一例として前記式 2: 7を使用することができる。

照合手段 1 2 0 3は、モデル適合度 Vの値の代わりに、モデル適合度 Wを用いて、プローブ画像とギャラリ画像の目的パラメタが同一であるか否かの照合、または、目的パラメタの値の推定を行う点以外は第 1の実施の形態と同じである。この際、第 1の実施の形態および第 5の実施の形態と同様の理由により、モデルフィッティング処理の絶対的な精度にあまり影響を受けずにプローブ画像とギヤラリ画像との照合を行うことができる。

なお、本実施の形態は画像と画像を照合するシステムであり、第 6の実施の形態との比較によって説明した。なお、第 2の実施の形態において、モデル適合度評価手段 1 2 2 2を本実施の形態のモデル適合度評価手段 1 2 6 2に置き換えた実施の形態も考えられる。また、第 3または第 4の実施形態において、モデル適合度評価手段 1 2 3 2を本実施の形態のモデル適合度評価手段 1 2 6 2に置き換えた実施の形態も考えられる。

以上本発明の実施の形態について説明したが、本発明は以上の例に限定されず、その他各種の付加変更が可能である。また、本発明の照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンビユータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンビユータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における照合装置として機能させ、前述した処理を実行させる。

産業上の利用可能性：

本発明は、認識対象となる画像や 3次元データに対して画像変動モデルや 3次元データ変動モデルをフィッティングして変動要素を推定する際に、ブイッティング精度が低下して推定されるパラメタの精度が低下する状況においても、高い認識性能を得ることができる物体認識システム、方法、およぴプログラムに利用できる。特に、多様な変動環境において撮影された認識対象画像や 3次元データと、登録されている画像や 3次元データを比較し、写っている物体が同一であるか、物体の状態、姿勢、照明条件、撮影したカメラなどの状況が同一であるかなどを高精度で認識できる物体認識システム、方法、およびプログラムに利用できる。

Claims

請求の範囲

1 . 物体の画像または 3次元データである対象データと参照データとを照合する装置であって、

複数のパラメタの値を調整することにより物体の画像または 3次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段と、

前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定するモデルフィッティング手段と、

前記推定されたパラメタの下での前記対象モデルデータおよぴ前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段

を備えることを特徴とする照合装置。

2 . 前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する照合手段を備えることを特徴とする請求項 1記載の照合装置。

3 . 複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフイツティング手段およびモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする請求項 1記載の照合装置。

4 . 複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフイツティング手段およびモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段を備えることを特徴とする請求項 1記載の照合装置。

5 . 前記モデル適合度評価手段は、

前記生成された前記対象モデルデータと前記対象データとの間の誤差おょぴ前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出する

ことを特徴とする請求項 1記載の照合装置。

6 . 前記モデル適合度評価手段は、

前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、

該計算したパラメタ確信度から前記モデル適合度を算出する

ことを特徴とする請求項 1記載の照合装置。

7 . 前記モデル適合度評価手段は、

前記生成された前記対象モデルデータと前記対象データとの間の誤差およぴ前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、

前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項 1記載の照合装置。

8 . 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項 6または 7記載の照合装置。

9 . 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項 6または 7記載の照合装置。

1 0 . 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項 6または 7記載の照合装置。

1 1 . 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値おょぴ前記参照個別モデルデータの前記パラメタの^ tを、前記パラメタ基準情報とすることを特徴とする請求項 6または 7記載の照合装置。

1 2 . 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出することを特徴とする請求項 5または 7記載の照合装置。

1 3 . 前記変動モデルとして、様々な物体の 3次元モデルを含み、物体を指定するパラメタに応じて指定の物体の 3次元モデルを選択し、該選択した 3次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフィクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする請求項 1記載の照合装置。

1 4 . 前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の 3次元モデルを計算し、該計算した 3次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形し、さらに、コンピュータグラフイクスを用いて前記パラメタの表す状況下での画像を生成する画像変動モデルを使用することを特徴とする請求項 1記載の照合装置。

1 5 . 前記変動モデルとして、様々な物体の 3次元モデルを含み、物体を指定するパラメタに応じて指定の物体の 3次元モデルを選択し、該選択した 3次元モデルを、物体の状態、姿勢、照明条件、カメラの特性などのパラメタに応じて変形する 3次元データ変動モデルを使用することを特徴とする請求項 1記載の照合装置。

1 6 . 前記変動モデルとして、物体の個性や状態を指定するパラメタに応じて該状態における物体の 3次元モデルを計算し、該計算した 3次元モデルを、物体の姿勢、照明条件、カメラの特性などのパラメタに応じて変形する 3次元データ変動モデルを使用することを特徴とする請求項 1記載の照合装置。

1 7 . 前記目的パラメタが物体の種類を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの物体が同一であるかを判定する手段であることを特徴とする請求項 2または 3記載の照合装置。

1 8 . 前記変動モデルが顔の画像または 3次元データを生成するモデルであり、前記目的パラメタが人物の個性を記述するパラメタであり、前記照合手段が前記対象データと前記参照データの人物が同一であるかを照合する手段であることを特徴とする請求項 2または 3記載の照合装置。

1 9 . 前記目的パラメタが物体の位置または姿勢を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの物体の位置または姿勢が同一であるかを照合する手段であることを特徴とする請求項 2または 3記載の照合装置。

2 0 . 前記変動モデルが顔の画像または 3次元データを生成するモデルであり、前記目的パラメタが人物の顔の表情を特定するパラメタであり、前記照合手段が前記対象データと前記参照データの顔の表情が同一であるかを照合する手段であることを特徴とする請求項 2または 3記載の照合装置。

2 1 . コンピュータを用いて物体の画像または 3次元データである対象データと参照データとを照合する方法であって、

前記コンピュータが、複数のパラメタの値を調整することにより物体の画像または 3次元データであるモデルデータを生成できる変動モデルを用い、前記複数のパラメタのうち、前記対象デ一タと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定する第 1のステップと、

前記コンピュータが、前記推定されたパラメタの下での前記対象モデルデータおよぴ前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出する第 2のステップ

を含むことを特 ί敷とする照合方法。

2 2 . 前記コンピュータが、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する第 3のステップをさらに含むことを特徴とする請求項 2 1記載の照合方法。

2 3 . 前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第 1およぴ第 2のステップを繰り返し、最も良レヽモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする第 3のステップをさらに含むことを特徴とする請求項 2 1記載の照合方法。

2 4 . 前記コンピュータが、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記第 1および第 2のステップを繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする第 3のステツプをさらに含むことを特徴とする請求項 2 1記載の照合方法。

2 5 . 前記第 2のステツプにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出することを特徴とする請求項 2 1記載の照合方法。

2 6 . 前記第 2のステップにおいては、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項 2 1記載の照合方法。

2 7 . 前記第 2のステップにおいては、前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項 2 1記載の照合方法。

2 8 . 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項 2 6または 2 7記載の照合方法。

2 9 . 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項 2 6または 2 7記載の照合方法。

3 0 . 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項 2 6または 2 7記載の照合方法。

3 1 . 前記コンピュータが、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

該推定した対象個別モデルデータの前記パラメタの値およぴ前記参照個別モデルデータの前記パラメタの値が前記パラメタ基準情報となる

ことを特徴とする請求項 2 6または 2 7記載の照合方法。

3 2 . 前記コンピュータが、

前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出する

ことを特徴とする請求項 2 5または 2 7記載の照合方法。

3 3 . 複数のパラメタの値を調整することにより物体の画像または 3次元データであるモデルデータを生成できる変動モデルを記憶する記憶手段を有し、物体の画像または 3次元データである対象データと参照データとを照合するコンビュ¹ ~~タを- 前記記憶手段に記憶された変動モデルを用い、前記複数のパラメタのうち、前記対象データと前記参照データ間で同一かどうかを判定する対象となるパラメタを目的パラメタ、それ以外のパラメタを外部パラメタとし、対象データと参照データとで目的パラメタを同一の値にした条件の下で、前記対象データに類似する対象モデルデータと前記参照データに類似する参照モデルデータとを前記変動モデルから生成するために最適な前記パラメタの値を推定するモデルフィッティング手段として機能させ、

前記推定されたパラメタの下での前記対象モデルデータおよぴ前記参照モデルデータの前記対象データおよび前記参照データに対するモデル適合度を算出するモデル適合度評価手段として機能させるためのプログラム。

3 4 . 前記コンピュータを、さらに、前記算出されたモデル適合度と予め定められた閾値とを比較することにより、前記対象データと前記参照データ間における前記目的パラメタの同一性を判定する照合手段として機能させるための請求項 3 3記載のプログラム。

3 5 . 前記コンピュータを、さらに、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段おょぴモデル適合度評価手段による処理を繰り返し、最も良いモデル適合度が得られた組み合わせにおける目的パラメタの値を前記対象データの目的パラメタの推定値とする照合手段として機能させるための請求項 3 3記載のプログラム。

3 6 . 前記コンピュータを、さらに、複数の参照データのそれぞれと前記対象データとの組み合わせについて前記モデルフィッティング手段おょぴモデル適合度評価手段による処理を繰り返し、予め定められた閾値以上のモデル適合度が得られた複数の組み合わせにおける目的パラメタから計算した値を、前記対象データの目的パラメタの推定値とする照合手段として機能させるための請求項 3 3 記載のプログラム。

3 7 . 前記モデル適合度評価手段は、

前記生成された前記対象モデルデータと前記対象データとの間の誤差および前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算し、該計算した誤差から前記モデル適合度を算出する

ことを特徴とする請求項 3 3記載のプログラム。

3 8 . 前記モデル適合度評価手段は、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、該計算したパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項 3 3記載のプログラム。

3 9 . 前記モデル適合度評価手段は、

前記生成された前記対象モデルデータと前記対象データとの間の誤差おょぴ前記生成された前記参照モデルデータと前記参照データとの間の誤差を計算すると共に、前記推定されたパラメタの値の確からしさを示すパラメタ確信度を予め定められたパラメタ基準情報を参照して計算し、

前記計算した誤差およびパラメタ確信度から前記モデル適合度を算出することを特徴とする請求項 3 3記載のプログラム。

4 0 . 前記パラメタ基準情報が、前記パラメタの値の取り得る値域であることを特徴とする請求項 3 8または 3 9記載のプログラム。

4 1 . 前記パラメタ基準情報が、前記パラメタの正解値であることを特徴とする請求項 3 8または 3 9記載のプログラム。

4 2 . 前記パラメタ基準情報が、前記パラメタの値の確率分布であることを特徴とする請求項 3 8または 3 9記載のプログラム。

4 3 . 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

前記モデル適合度評価手段は、前記推定された対象個別モデルデータの前記パラメタの値および前記参照個別モデルデータの前記パラメタの値を、前記パラメタ基準情報とする

ことを特徴とする請求項 3 8または 3 9記載のプログラム。

4 4 . 前記モデルフィッティング手段は、前記対象データに類似する対象個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値、および、前記参照データに類似する参照個別モデルデータを前記変動モデルから生成するための最適な前記パラメタの値を、前記対象データと前記参照データとで目的パラメタの値が必ずしも同一でないとの条件の下に推定し、

前記モデル適合度評価手段は、前記対象個別モデルデータと前記対象データとの間の誤差、前記参照個別モデルデータと前記参照データとの間の誤差、前記対象モデルデータと前記対象個別モデルデータとの間の誤差、前記参照モデルデータと前記参照個別モデルデータとの間の誤差の少なくとも一つの誤差をさらに考慮に入れて前記モデル適合度を算出する

ことを特徴とする請求項 3 7または 3 9記載のプログラム。