JPWO2004008392A1 - ３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラム - Google Patents

Abstract

本発明は、物体毎に少数の参照画像しか存在しない場合でも、姿勢や照明の異なる条件で撮影された物体の画像に対し、入力画像からデータベースに記憶されている参照画像を高速に検索することを目的とする。参照画像照合結果記憶部（５０）は、参照画像記憶部（７０）の各参照画像を入力画像として、代表３次元物体モデル記憶部（２０）の各代表３次元物体モデルと照合した結果を予め記憶し、画像生成手段（３０）は、各代表３次元物体モデルを基に、画像入力手段（１０）より得られる入力画像と入力条件の近い比較画像を生成し、画像照合手段（４０）は、入力画像と生成された各画像との類似度を計算し、結果照合手段（６０）は、前記画像照合手段（４０）の照合結果と、前記参照画像照合結果記憶部（５０）に記憶された各参照画像の照合結果との類似度を計算し、照合結果の類似する参照画像を類似度の高い順に抽出し、結果表示手段（８０）に表示する。

Description

本発明は、３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラムに関し、特に姿勢や照明の異なる条件で撮影された物体（人物の顔）の入力画像に対し、当該入力画像からデータベース（ＤＢ）にある参照画像を検索できる画像照合システム、画像照合方法及び画像照合プログラムに関する。

従来の画像照合システムの一例が、１９９５年、電子情報通信学会論文誌Ｄ−ＩＩ、第Ｊ７８−Ｄ−ＩＩ巻、第１１号、１６３９頁〜１６４９頁、嶌田ら、「顔の向きによらない人物識別のための辞書構成法」に記載されている（以下、第１の従来技術と称する）。第２６図に示すように、この第１の従来技術の画像照合システムは、画像入力部１０と、画像照合部４０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５とを備える。
このような構成を有する従来の画像照合システムは、以下のように動作する。
参照画像記憶部７０には、予め参照画像登録部７５より撮影された様々な物体の参照画像（人物の参照顔画像等）が記憶されている。ただし、参照画像については、撮影するときの条件（姿勢や照明等の条件）によって大きく変化するため、一つの物体に対して様々な条件で撮影した複数（多数）の画像が記憶されている。
画像入力部１０は、カメラ等により実現され、撮影した入力画像をメモリ（図示せず）に記憶する。画像照合部４０は、画像入力部１０より得られる入力画像と、参照画像記憶部７０より得られる各参照画像とを比較し、それぞれ特徴の類似度（又は距離値）を計算し、各物体で最も類似度の大きい（又は距離の小さい）参照画像を選出する。各画像は濃淡特徴で表現され、特徴間の類似度計算や距離値計算には例えば正規化相関やユークリッド距離などが使用される。結果表示部８０は、当該参照画像のうち選出された類似度の最も大きい物体の参照画像を照合結果として表示する（又は類似度の大きい順に候補となる参照画像を表示する）。
従来の画像照合システムの他の一例が、特開２０００−３２２５７７号に記載されている（以下、第２の従来技術と称する）。第２８図に示すように、この従来の画像照合システムは、画像入力部１０と、画像変換部３５と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５とを備える。
このような構成を有する従来の画像照合システムは、以下のように動作する。
代表３次元物体モデル記憶部２０には、予め３次元物体モデル登録部２５より得られる代表的な１つ又は複数の３次元物体モデルが記憶されている。画像変換部３５は、画像入力部１０より得られる入力画像と参照画像記憶部７０より得られる各参照画像の共通する部分領域に関して、代表３次元物体モデル記憶部２０より得られる３次元物体モデルを用いて、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。
部分領域とは、例えば第２９図に示すように、目・鼻・口のような特徴的な部分であり、予め各画像と３次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。部分画像照合部４５は、画像変換部３５より得られる変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する。結果表示部８０は、当該参照画像の類似度の最も大きい物体を照合結果として表示する。

上述した従来技術においては、次に述べるような種々の問題点を有している。
第１に、上述した第１及び第２の従来技術においては、登録される物体に対して様々な条件で撮影された多数の参照画像が必要になるという問題点があった。
その理由は、入力画像と参照画像を直接比較するため、入力画像の撮影条件が限定されない場合、多数の姿勢や照明条件に対応するためには、予め入力画像の撮影条件に近い参照画像が用意されている必要があるためである。しかし、実際には姿勢や照明条件には無限の可能性が存在し、様々な条件に対応した多数の画像を予め用意することは現実的に不可能である。
第２に、第２の従来技術では、入力画像又は参照画像を姿勢が合うように変換して比較するため、３次元物体モデルの参照画像の数が十分になかったり、姿勢が大きく異なると、変換による歪みが大きくなり正しく照合できないという問題を有していた。また、変換により照明条件を合わせるのが非常に困難であると共に、共通する領域で画像を比較するため、必ず共通する領域が存在する必要があるという問題があった。
第３に、各従来技術では照合に時間がかかるという問題点があった。
その理由は、従来技術では、入力画像と各物体の複数の参照画像を比較するため、物体数がＭ個、各物体の参照画像数がＬ個の場合、少なくともＬ×Ｍ回の画像の比較が必要であるためである。
本発明の目的は、少数の参照画像しか存在しない場合でも、物体毎に姿勢や照明の異なる条件で撮影された画像に対し、入力画像からデータベースに登録してある参照画像を検索できる画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
本発明の他の目的は、入力画像又は参照画像を姿勢が合うように変換するといった処理を行うことなく、少ない３次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
本発明の他の目的は、全ての物体に対して必ずしもある必要な数の３次元物体モデルを生成しなくとも画像の照合が可能な画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
本発明の更に他の目的は、多数の物体に関する参照画像がデータベースに登録されている場合でも、高速に検索できる画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。
本発明によれば、入力画像に類似する参照画像を検索する画像照合システムにおいて、前記入力画像と複数の代表３次元物体モデルとを照合する手段と、前記参照画像と複数の前記代表３次元物体モデルとを照合する手段と、前記入力画像と複数の前記代表３次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表３次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索する手段と、を備えることを特徴とする画像照合システムが提供される。
上記の画像照合システムは、前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求める手段と、前記参照３次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索する手段と、を更に備えていてもよい。
上記の画像照合システムは、前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求める手段と、前記参照３次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換手段と、前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索する手段と、を更に備えていてもよい。
上記の画像照合システムにおいて、前記変換手段は、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせてもよい。
上記の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、を備えていてもよい。
上記の画像照合システムは、前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、を更に備えていてもよい。
上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。
上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをしてもよい。
上記の記載の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを記憶する参照３次元物体モデル記憶部と、前記結果照合手段より抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、入力画像と入力条件の近い第２の比較画像を各参照３次元物体モデルにつき少なくとも１つ生成する第２の画像生成手段と、前記入力画像と、前記第２の画像生成手段により生成された各第２の比較画像との間の類似度を計算し、各参照３次元物体モデルに対応する第２の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照３次元物体モデルとの間の類似度とする第２の画像照合手段と、を備えていてもよい。
上記の画像照合システムは、前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成手段と、を更に備えていてもよい。
上記の画像照合システムにおいて、前記３次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の部分領域毎の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録してもよい。
上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。
上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをしてもよい。
上記の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを記憶する参照３次元物体モデル記憶部と、前記結果照合手段より抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、前記入力画像と前記結果照合手段により抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合手段により抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換手段と、前記画像変換手段により生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合手段と、を備えていてもよい。
上記の画像照合システムは、前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成手段と、を更に備えていてもよい。
上記の画像照合システムにおいて、前記３次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の部分領域毎の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録してもよい。
上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。
上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをしてもよい。
上記の画像照合システムにおいて、前記物体が、人間の顔であってもよい。
本発明によれば、次に述べるような効果が達成される。
第１の効果は、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件等の異なる入力条件で撮影された物体の入力画像に対し、同一物体の参照画像を検索できることである。また、入力画像又は参照画像を姿勢が合うように変換するといった処理を行うことなく、少ない３次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える。さらに、全ての物体に対して必ずしも所定数の３次元物体モデルを生成しなくとも画像の照合が可能となる。
その理由は、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するというように構成されているためである。また、代表３次元物体モデルの合成により参照３次元物体モデルを生成し照合するというように構成されているためである。
第２の効果は、入力画像から高速に参照画像を検索できることにある。
その理由は、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するというように構成されているためである。また、参照３次元物体モデルとの照合を行う場合も、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているためである。

第１図は、本発明の第１の実施の形態による画像照合システムの構成を示すブロック図である。
第２図は、第１の実施の形態における照合時の動作を示すフローチャートである。
第３図は、第１の実施の形態における代表３次元物体モデルの具体例を示す図である。
第４図は、第１の実施の形態における参照画像の具体例を示す図である。
第５図は、第１の実施の形態における参照画像照合結果の具体例を示す図である。
第６図は、第１の実施の形態における入力画像の具体例を示す図である。
第７図は、第１の実施の形態における入力画像照合結果の具体例を示す図である。
第８図は、第１の実施の形態における結果照合の具体例を示す図である。
第９図は、本発明の第２の実施の形態による画像照合システムの構成を示すブロック図である。
第１０図は、第２の実施の形態における３次元物体モデル登録時の動作を示すフローチャートである。
第１１図は、第２の実施の形態における参照画像登録時の動作を示すフローチャートである。
第１２図は、第２の実施の形態における登録された３次元物体モデルの照合結果の具体例を示す図である。
第１３図は、第２の実施の形態における参照画像照合結果の更新の具体例を示す図である。
第１４図は、第２の実施の形態における登録された参照画像の照合結果の具体例を示す図である。
第１５図は、第２の実施の形態における参照画像照合結果の更新の具体例を示す図である。
第１６図は、本発明の第３の実施の形態による画像照合システムの構成を示すプロック図である。
第１７図は、第３の実施の形態の照合時の動作を示すフローチャートである。
第１８図は、第３の実施の形態の参照３次元物体モデルの具体例を示す図である。
第１９図は、第３の実施の形態の参照画像照合結果の具体例を示す図である。
第２０図は、本発明の第４の実施の形態による画像照合システムの構成を示すプロック図である。
第２１図は、第４の実施の形態の３次元物体モデル登録時の動作を示すフローチャートである。
第２２図は、第４の実施の形態の参照画像登録時の動作を示すフローチャートである。
第２３図は、本発明の第５の実施の形態による画像照合システムの構成を示すブロック図である。
第２４図は、第５の実施の形態の照合時の動作を示すフローチャートである。
第２５図は、本発明の第６の実施の形態による画像照合システムの構成を示すブロック図である。
第２６図は、第１の従来技術による画像照合システムの構成を示すブロック図である。
第２７図は、３次元物体モデルの座標の具体例を示す図である。
第２８図は、第２の従来技術による画像照合システムの構成を示すブロック図である。
第２９図は、第２の従来技術の部分領域の具体例を示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
第１図を参照すると、本発明の第１の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０とを備えている。
代表３次元物体モデル記憶部２０には、代表的な３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）が登録されている。３次元物体モデルについては、例えば特開２００１−１２９２５号記載の３次元形状測定装置を用いたり、特開平９−９１４３６号記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。
３次元物体モデルは、第２７図に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状Ｐ_Ｑ（ｘ，ｙ，ｚ）とテクスチャＴ_Ｑ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合のために、予め各３次元物体モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。
画像生成部３０は、代表３次元物体モデル記憶部２０より得られる代表３次元物体モデルを基に、姿勢条件を仮定しながら画像入力部１０より得られる入力画像と照明条件が近い比較画像を複数生成する。ここで、入力画像と照明条件が近い比較画像の生成は、予め求めておいた基底画像群を仮定した姿勢条件に基づき座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法により求めることにより実現できる。
この３次元物体モデルから入力画像に近い比較画像を生成する技術については、例えば、２００１年、電子情報通信学会技術研究報告 Ｖｏｌ．１０１ Ｎｏ．５２４ ＰＲＭＵ２００１−１５３〜１７５、５９頁〜６４頁「照明条件と姿勢の両者の自動補正による顔照合」に記載されている。
画像照合部４０は、画像入力部１０より得られる入力画像と、画像生成部３０より得られる各比較画像とを比較し、入力画像と各比較画像との間の類似度を計算し、各物体で最も類似度の大きい比較画像を選出することにより姿勢を推定する。
参照画像照合結果記憶部５０には、参照画像を記憶するデータベース（ＤＢ）である参照画像記憶部７０の各参照画像を入力画像として、画像生成部３０及び画像照合部４０により、代表３次元物体モデル記憶部２０の各代表３次元物体モデルと各参照画像とを照合した結果が予め記憶されている。
結果照合部６０は、画像入力部１０より得られる入力画像に対して画像生成部３０及び画像照合部４０により照合を行った結果と、参照画像照合結果記憶部５０における各参照画像の照合結果とを比較し、照合結果の類似する参照画像を類似度の高い順に抽出する。結果表示部８０は、当該類似度の最も大きい物体を照合結果として表示する。
参照画像記憶部７０には、検索対象である物体の２次元の画像である参照画像が登録される。この参照画像は、その照明や姿勢を含む入力条件に制限がなく、１つの物体（検索対象）について少なくとも１つの画像が登録されている。
代表３次元物体モデル記憶部２０には、代表的な複数の代表３次元物体モデルが記憶されている。
次に、第１図と、第２図のフローチャートを参照して第１の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時においては、まず、画像入力部１０により入力画像が得られる（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ１０１）。
更に、画像照合部４０は、当該入力画像と当該各比較画像との類似度を求める（ステップ１０２）。結果照合部６０は、当該照合結果と参照画像照合結果記憶部５０における各参照画像の照合結果との類似度を計算し、照合結果が類似する参照画像を類似度の高い順に抽出する（ステップ１０３）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
次に、上記のように構成され動作する第１の実施の形態の効果について説明する。
第１の実施の形態では、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。
また、本実施の形態では、更に、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表３次元物体モデルの数Ｎが物体数（参照画像数）Ｍに対してＮ＝Ｍ／１００の場合、画像生成部３０において生成される各代表３次元物体モデルの比較画像がＬ個とすると、Ｌ×Ｎ＝Ｌ×Ｍ／１００回の画像照合で済み、従来の１／１００の照合回数で検索できる。
更に、具体的な実施例を示す第３図〜第８図を用いて第１の実施の形態の動作を説明する。
第３図に示すように、代表３次元物体モデル記憶部２０には、代表的な代表３次元物体モデルＣ_ｊ（ｊ＝１，２，…，Ｎ）がＮ個記憶されている。また、第４図に示すように、参照画像記憶部７０には、各物体の参照画像Ｒ_ｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている（物体毎に複数の参照画像が存在しても構わないが、ここでは１個として説明する）。
更に、第５図に示すように、参照画像照合結果記憶部５０には、参照画像の登録時の処理により、各参照画像Ｒ_ｉの代表３次元物体モデルＣ_ｊに対する照合結果（類似度）Ｓ_ｉｊが記憶されている（第５図では類似度の高い順に表示しているが、実際はモデルの順番に記憶するようにしてもよい）。
入力画像の照合時においては、第６図に示すような入力画像Ｉ（ｕ，ｖ）が画像入力部１０により得られたとする（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣ_ｊ（ｊ＝１，…，Ｎ）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｇ_ｊｋ（ｕ，ｖ）（ｊ＝１，…，Ｎ、ｋ＝１，…，Ｌ）をＬ個生成する（ステップ１０１）。
更に、画像照合部４０は、当該入力画像Ｉ（ｕ，ｖ）と当該各比較画像Ｇ_ｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇ_ｊｋ）を求め、代表３次元物体モデル毎に類似度の最大となる類似度Ｓ_０ｊ＝ｍａｘ_ｋＳ（Ｉ，Ｇ_ｊｋ）を求める（ステップ１０２）。照合結果（類似度）Ｓ_０ｊは、例えば第７図のようになる。
結果照合部６０は、当該照合結果Ｓ_０ｊと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓ_ｉｊとの類似度Ｄ_ｉ＝Ｄ（Ｓ_０ｊ，Ｓ_ｉｊ）を計算し、当該照合結果の類似度Ｄ_ｉの高い参照画像を順に抽出する（ステップ１０３）。抽出結果は、例えば第８図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ_１，Ｒ_５，Ｒ_２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
ここで、照合結果の類似度Ｄ_ｉ（Ｓ_０ｊ，Ｓ_ｉｊ）の計算方法としては、正規化相関や順位相関などが利用できる。順位相関とは、照合結果の候補順位の相関である。入力画像の照合結果Ｓ_０ｊの候補順位をＡ_０ｏｊとすると、第７図の照合結果の場合は、Ａ_０，２＝１，Ａ_０，６＝２，Ａ_０，３＝３などとなる。各参照画像の照合結果Ｓ_ｉｊの候補順位をＡ_ｉｊとすると、例えばスピアマンの順位相関は、１−６Σ_ｊ（Ａ_０ｊ−Ａ_ｉｊ）^２／｛Ｎ（Ｎ^２−１）｝により求められる。
また、類似度計算においては、各変数（Ｓ_０ｊ，Ｓ_ｉｊやＡ_０ｊ，Ａ_ｉｊ）を変数変換してから類似度を計算してもよい。また、候補順位Ａ_ｏｊ，Ａ_ｉｊのいずれかまたは両方に基づいた重みｇ（Ａ_０ｊ，Ａ_ｉｊ）を用いて、各変数に重み付けをして類似度を計算してもよい。例えば、ｇ（Ａ_０ｊ，Ａ_ｉｊ）＝１／（Ａ_０ｊ＋Ａ_ｉｊ）とし、類似度Ｓ_０ｊ，Ｓ_ｉｊをＳ_０ｊ／（Ａ_０ｊ＋Ａ_ｉｊ），Ｓ_ｉｊ／（Ａ_０ｊ＋Ａ_ｉｊ）に変換すると、上位候補の比重が高くなる。更に、下位候補を除外して類似度計算してもよい。
本発明の第２の実施の形態による画像照合システムについて第９図以下を参照して説明する。
本発明の第２の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５とを備えており、第１の実施の形態の構成に、参照画像登録部７５と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５を加えた構成となっている。
第２の実施の形態による画像照合システムの第１の実施の形態と同じ構成要素については説明を省略し、本実施の形態で追加された構成要素について説明を進める。
３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に新しい代表３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）を登録する。
参照画像照合結果更新部５５は、登録時において、３次元物体モデル登録部２５により代表３次元物体モデル記憶部２０に代表３次元物体モデルが登録された時、及び参照画像登録部７５により参照画像記憶部７０に参照画像が登録された時、新しい参照画像と代表３次元物体モデルの組み合わせに対して、画像生成部３０及び画像照合部４０により照合を行い、当該照合結果を参照画像照合結果記憶部５０に追加する。
参照画像登録部７５は、検索対象である物体の２次元の画像である参照画像を、参照画像記憶部７０に対して登録する。この登録する参照画像は、その照明や姿勢を含む入力条件に制限がなく、１つの物体（検索対象）について少なくとも１つの画像が登録される。
なお、３次元物体モデル登録部２５は、第２８図に示した第２の従来技術における３次元物体モデル登録部２５と同一であり、代表３次元物体モデル記憶部２０には、予め３次元物体モデル登録部２５より得られる代表３次元物体モデルが記憶される。
次に、第９図と、第２図、第１０図、第１１図のフローチャートを参照して第２の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時における動作については、第１の実施の形態の第２図に示す動作と全く同じである。
入力画像の照合時においては、まず、画像入力部１０により入力画像が得られる（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ１０１）。
更に、画像照合部４０は、当該入力画像と当該各比較画像との類似度を求める（ステップ１０２）。結果照合部６０は、当該照合結果と参照画像照合結果記憶部５０における各参照画像の照合結果との類似度を計算し、照合結果が類似する参照画像を類似度の高い順に抽出する（ステップ１０３）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
ここで、代表３次元物体モデルの登録時と、参照画像の登録時における動作について説明する。
代表３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）の登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に新しい代表３次元物体モデルを登録する（第１０図のステップ２００）。
次に、参照画像照合結果更新部５５は、参照画像記憶部７０における各参照画像を入力画像として画像入力部１０に送り、当該各参照画像と登録された当該代表３次元物体モデルに基づく画像生成部３０による比較画像とを画像照合部４０で照合し、各類似度を求める（ステップ２０１）。最後に、当該照合結果を参照画像照合結果記憶部５０における各参照画像の照合結果に追加する（ステップ２０２）。
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に新しい参照画像を登録する（第１１図のステップ２１０）。
次に、参照画像照合結果更新部５５は、参照画像記憶部７０に登録された当該参照画像を入力画像として画像入力部１０に送り、当該参照画像と代表３次元物体モデル記憶部２０における代表３次元物体モデルに基づく画像生成部３０による比較画像とを画像照合部４０により照合し、各類似度を求める（ステップ２１１）。最後に、当該照合結果を参照画像照合結果記憶部５０に追加する（ステップ２１２）。
次に、上記のように構成され動作する第２の実施の形態の効果について説明する。
第２の実施の形態では、入力画像と代表３次元物体モデルとの照合結果と、参照画像と代表３次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に１つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。
また、本実施の形態では、更に、物体数に比べて少数の代表３次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表３次元物体モデルの数Ｎが物体数（参照画像数）Ｍに対してＮ＝Ｍ／１００の場合、画像生成部３０において生成される各代表３次元物体モデルの比較画像がＬ個とすると、Ｌ×Ｎ＝Ｌ×Ｍ／１００回の画像照合で済み、従来の１／１００の照合回数で検索できる。
更に、具体的な実施例を用いて第２の実施の形態の動作を説明する。
ここでは、第１の実施の形態と同様に、第３図に示すように、代表３次元物体モデル記憶部２０には、代表的な代表３次元物体モデルＣ_ｊ（ｊ＝１，２，…，Ｎ）がＮ個記憶され、第４図に示すように、参照画像記憶部７０には、各物体の参照画像Ｒ_ｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されているとする。第５図に示すように、参照画像照合結果記憶部５０には、参照画像の登録時の処理により、各参照画像Ｒ_ｉの代表３次元物体モデルＣ_ｊに対する照合結果（類似度）Ｓ_ｉｊが記憶されている。
入力画像の照合時において、第６図に示すような入力画像Ｉ（ｕ，ｖ）が画像入力部１０により得られたとする（第２図のステップ１００）。次に、画像生成部３０は、代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣ_ｊ（ｊ＝１，…，Ｎ）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｇ_ｊｋ（ｕ，ｖ）（ｊ＝１，…，Ｎ、ｋ＝１，…，Ｌ）をＬ個生成する（ステップ１０１）。
更に、画像照合部４０は、当該入力画像Ｉ（ｕ，ｖ）と当該各比較画像Ｇ_ｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇ_ｊｋ）を求め、代表３次元物体モデル毎に類似度の最大となる類似度Ｓ_０ｊ＝ｍａｘ_ｋＳ（Ｉ，Ｇ_ｊｋ）を求める（ステップ１０２）。照合結果（類似度）Ｓ_０ｊは、例えば第７図のようになる。
結果照合部６０は、当該照合結果Ｓ_０ｊと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓ_ｉｊとの類似度Ｄ_ｉ＝Ｄ（Ｓ_０ｊ，Ｓ_ｉｊ）を計算し、当該照合結果の類似度Ｄ_ｉの高い参照画像を順に抽出する（ステップ１０３）。抽出結果は、例えば第８図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ_１，Ｒ_５，Ｒ_２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
代表３次元物体モデルの登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に既にＮ＝５０個の代表３次元物体モデルが登録されている時、５１番目の新しい代表３次元物体モデルＣ_５１を登録する（第１０図のステップ２００）。
次に、参照画像照合結果更新部５５は、参照画像記憶部７０における各参照画像Ｒ_ｉを入力画像として画像入力部１０に送り、当該各参照画像Ｒ_ｉと登録された当該代表３次元物体モデルＣ_５１を画像生成部３０及び画像照合部４０により照合し、各類似度Ｓ_ｉ，５１＝ｍａｘ_ｋＳ（Ｒ_ｉ，Ｇ_５１，ｋ）を求める（ステップ２０１）。
照合結果（類似度）Ｓ_ｉ，５１は、例えば第１２図のようになる。最後に、第１３図に示すように、当該照合結果を参照画像照合結果記憶部５０における各参照画像の照合結果に追加する（ステップ２０２）。
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に既にＭ＝１００個の参照画像が記憶されている時、１０１番目の新しい参照画像Ｒ_１０１を登録する（第１１図のステップ２１０）。
次に、参照画像照合結果更新部５５は、参照画像記憶部７０に登録された当該参照画像Ｒ_１０１を入力画像として画像入力部１０に送り、当該参照画像Ｒ_１０１と代表３次元物体モデル記憶部２０における各代表３次元物体モデルＣ_ｊを画像生成部３０及び画像照合部４０により照合し、各類似度Ｓ_{１０１，ｊ}＝ｍａｘ_ｋＳ（Ｒ_１０１，Ｇ_ｊｋ）を求める（ステップ２１１）。
照合結果（類似度）Ｓ_{１０１，ｊ}は、例えば第１４図のようになる。最後に、第１５図のように、当該照合結果を参照画像照合結果記憶部５０に追加する（ステップ２１２）
次に、本発明の第３の実施の形態による画像照合システムについて第１６図以下を参照して詳細に説明する。
第１６図を参照すると、本発明の第３の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、第２の画像生成部３１と、第２の画像照合部４１と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０と、参照３次元物体モデル記憶部２１とを備えている。
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０は、第１図に示した本発明の第１の実施の形態における処理と同一の処理を行う。
参照３次元物体モデル記憶部２１には、当該参照画像に対応する参照３次元物体モデルが登録されている。当該参照３次元物体モデルは、参照画像照合結果記憶部５０に登録されている参照画像照合結果の情報を基に、代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成することができる。または、前述の代表３次元物体モデルの登録と同様に、３次元形状測定装置により、参照画像と同じ物体の３次元物体モデルが生成されている場合は、当該３次元物体モデルを使用してもよい。
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する。
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する。
次に、第１６図と、第１７図のフローチャートを参照して第３の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時においては、第１７図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ１１１）。
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステップ１１２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
次に、上記のように構成され動作する第３の実施の形態の効果について説明する。
この第３の実施の形態では、代表３次元物体モデルの合成により生成した参照３次元物体モデルを照合するように構成されているため、参照画像が物体毎に１つしか存在しない場合でも、参照３次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。
また、本実施の形態では、更に、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。
次に、具体的な実施例を用いて第３の実施の形態の動作を説明する。
第１の実施の形態の動作と同様、代表３次元物体モデル記憶部２０には、第３図に示すような代表３次元物体モデルＣ_ｊ（ｊ＝１，２，…，Ｎ）が、参照画像記憶部７０には、第４図に示すような各物体の参照画像Ｒ_ｉ（ｉ＝１，２，…，Ｍ）が、参照画像照合結果記憶部５０には、第５図に示すような各参照画像Ｒ_ｉの代表３次元物体モデルＣ_ｊに対する照合結果（類似度）Ｓ_ｉｊが記憶されている。
更に、第１８図に示すように、参照３次元物体モデル記憶部２１には、当該参照画像Ｒ_ｉに対応する参照３次元物体モデルＢ_ｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている。
入力画像の照合時においては、第６図に示すような入力画像Ｉ（ｕ，ｖ）が画像入力部１０により得られたとする（第１６図のステップ１００）。第１の実施の形態の動作と同じ処理により、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果照合部６０により、入力画像と同一物体の画像である可能性が高い参照画像として、第８図のように、Ｒ_１，Ｒ_５，Ｒ_２が順に求まる（ステップ１０１，１０２，１０３）。
第２の画像生成部３１は、結果照合部６０より得られる照合結果から、例えば上位３候補であるＲ_１，Ｒ_５，Ｒ_２の参照画像に対して、参照３次元物体モデル記憶部２１より対応する各参照３次元物体モデルＢ_１，Ｂ_５，Ｂ_２を取得し、画像入力部１０より得られる入力画像と姿勢や照明条件の近い比較画像Ｈ_ｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）を生成する（ステップ１１１）。比較画像Ｈ_ｊｋ（ｕ，ｖ）の生成は、ステップＳ１０１と同様の方法により行う。すなわち、参照３次元物体モデル記憶部２１における各参照３次元物体モデルＢ_ｊ（ｊ＝１，５，２）に対して、入力画像の姿勢や照明等の入力条件に近い比較画像Ｈ_ｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）をＬ個生成する。第２の画像照合部４１は、当該入力画像Ｉ（ｕ，ｖ）と当該各比較画像Ｈ_ｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｈ_ｊｋ）を求め、モデル毎に類似度の最大となる類似度Ｓ_ｏｊ＝ｍａｘ_ｋＳ（Ｉ，Ｈ_ｊｋ）を求める（ステップ１１２）。
照合結果は、例えば第１９図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｓ_０５＞Ｓ_０１＞Ｓ_０２の場合、Ｒ_５，Ｒ_１，Ｒ_２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
次に、本発明の第４の実施の形態による画像照合システムについて第２０図以下を参照して詳細に説明する。
第２０図を参照すると、本発明の第４の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、第２の画像生成部３１と、第２の画像照合部４１と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５と、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７とを備えている。
この第４の実施の形態においては、第３の実施の形態の構成に、参照画像登録部７５と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５と、３次元物体モデル生成部２７を加えた構成となっている。
第４の実施の形態による画像照合システムの第３の実施の形態と同じ構成要素については説明を省略し、本実施の形態で追加された構成要素について説明を進める。
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５は、第１図に示した本発明の第１の実施の形態と第９図に示した第２の実施の形態における処理と同一の処理を行う。
また、参照３次元物体モデル記憶部２１、第２の画像生成部３１、第２の画像照合部４１については、第１６図に示した第３の実施の形態における処理と同一の処理を行う。
３次元物体モデル生成部２７は、登録時において、参照画像照合結果更新部５５により参照画像照合結果記憶部５０に参照画像照合結果が登録された時、参照画像照合結果の情報を基に、当該参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に登録し又は参照３次元物体モデル記憶部２１の参照３次元物体モデルを更新する。
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する。
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する。
次に、第２０図と、第１７図、第２１図、第２２図のフローチャートを参照して第４の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時においては、第１７図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。
第２の画像生成部３１は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、画像入力部１０より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ１１１）。
第２の画像照合部４１は、画像入力部１０より得られる入力画像と、第２の画像生成部３１より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステップ１１２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
３次元物体モデルの登録時においては、第２１図を参照すると、まず、ステップ２００と、２０１と、２０２は、第１０図に示した第２の実施の形態における動作と同一である。最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における各参照画像照合結果の情報を基に、各参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により再生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に登録し又は記憶されている参照３次元物体モデルと置換する（ステップ２２０）。
参照画像の登録時においては、第２２図を参照すると、まず、ステップ２１０と、２１１と、２１２は、第１１図に示した第２の実施の形態における動作と同一である。最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０に新しく登録された当該参照画像照合結果の情報を基に、当該参照画像に対応する参照３次元物体モデルを代表３次元物体モデル記憶部２０における代表３次元物体モデルの合成により生成し、当該参照３次元物体モデルを参照３次元物体モデル記憶部２１に追加登録する（ステップ２２１）。
次に、上記のように構成され動作する第４の実施の形態の効果について説明する。
この第４の実施の形態では、代表３次元物体モデルの合成により参照３次元物体モデルを生成し照合するように構成されているため、参照画像が物体毎に１つしか存在しない場合でも、参照３次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。
また、本実施の形態では、更に、代表３次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照３次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。
次に、具体的な実施例を用いて第４の実施の形態の動作を説明する。
第１の実施の形態の動作と同様、代表３次元物体モデル記憶部２０には、第３図に示すような代表３次元物体モデルＣ_ｊ（ｊ＝１，２，…，Ｎ）が、参照画像記憶部７０には、第４図に示すような各物体の参照画像Ｒ_ｉ（ｉ＝１，２，…，Ｍ）が、参照画像照合結果記憶部５０には、第５図に示すような各参照画像Ｒ_ｉの代表３次元物体モデルＣ_ｊに対する照合結果（類似度）Ｓ_ｉｊが記憶されている。
更に、第１８図に示すように、参照３次元物体モデル記憶部２１には、参照画像の登録時の処理により、当該参照画像Ｒ_ｉに対応する参照３次元物体モデルＢ_ｉ（ｉ＝１，２，…，Ｍ）がＭ個記憶されている。
入力画像の照合時においては、第６図に示すような入力画像Ｉ（ｕ，ｖ）が画像入力部１０により得られたとする（第１６図のステップ１００）。第１の実施の形態の動作と同じ処理により、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果照合部６０により、入力画像と同一物体の画像である可能性が高い参照画像として、第８図のように、Ｒ_１，Ｒ_５，Ｒ_２が順に求まる（ステップ１０１，１０２，１０３）。
第２の画像生成部３１は、結果照合部６０より得られる照合結果から、例えば上位３候補であるＲ_１，Ｒ_５，Ｒ_２の参照画像に対して、参照３次元物体モデル記憶部２１より対応する各参照３次元物体モデルＢ_１，Ｂ_５，Ｂ_２を取得し、画像入力部１０より得られる入力画像と姿勢や照明条件の近い比較画像Ｈ_ｊｋ（ｕ，ｖ）（ｊ＝１，５，２、ｋ＝１，…，Ｌ）を生成する（ステップ１１１）。第２の画像照合部４１は、当該入力画像Ｉ（ｕ，ｖ）と当該各比較画像Ｈ_ｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｈ_ｊｋ）を求め、モデル毎に類似度の最大となる類似度Ｓ_ｏｊ＝ｍａｘ_ｋＳ（Ｉ，Ｈ_ｊｋ）を求める（ステップ１１２）。
照合結果は、例えば第１９図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、Ｒ_５，Ｒ_１，Ｒ_２が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
３次元物体モデルの登録時においては、まず、３次元物体モデル登録部２５は、代表３次元物体モデル記憶部２０に既にＮ＝５０個の３次元物体モデルが登録されている時、５１番目の新しい代表３次元物体モデルＣ_５１を登録する（第２１図のステップ２００）。
次に、第２の実施の形態の動作と同じ処理により、参照画像照合結果更新部５５は、参照画像照合結果記憶部５０における各参照画像の照合結果Ｓ_ｉｊを更新する（ステップ２０１，２０２）。
最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における各参照画像照合結果Ｓ_ｉｊの情報を基に、各参照画像Ｒ_ｉ（ｉ＝１，２，…，Ｍ）に対応する参照３次元物体モデルＢ_ｉを代表３次元物体モデル記憶部２０における代表３次元物体モデルＣ_ｊの合成により再生成し、当該参照３次元物体モデルＢ_ｉを参照３次元物体モデル記憶部２１に既に記憶されている参照３次元物体モデルと置換する（ステップ２２０）。
ここで、代表３次元物体モデルＣ_ｊ（ｊ＝１，２，…，Ｎ）の形状とテクスチャをそれぞれＰ_Ｑｊ（ｘ，ｙ，ｚ）、Ｔ_Ｑｊ（Ｒ，Ｇ，Ｂ）とし、参照３次元物体モデルＢ_ｉ（ｉ＝１，２，…，Ｍ）の形状とテクスチャをそれぞれＰ_Ｑｉ（ｘ，ｙ，ｚ）、Ｔ_Ｑｉ（Ｒ，Ｇ，Ｂ）とすると、参照３次元物体モデルは例えば下式により計算される。
Ｐ_Ｑｉ（ｘ，ｙ，ｚ）＝Σ_ｊｆ（Ｓ_ｉｊ）Ｐ_Ｑｊ（ｘ，ｙ，ｚ）
Ｔ_Ｑｉ（Ｒ，Ｇ，Ｂ）＝Σ_ｊｆ（Ｓ_ｉｊ）Ｔ_Ｑｊ（Ｒ，Ｇ，Ｂ）
ここで、ｆはＳ_ｉｊの増加に対して単調増加し、Σ_ｊｆ（Ｓ_ｉｊ）＝１を満たす関数で、最も単純な例としてはｆ（Ｓ_ｉｊ）＝Ｓ_ｉｊ／Σ_ｊＳ_ｉｊにより実現できる。
参照画像の登録時においては、まず、参照画像登録部７５は、参照画像記憶部７０に既にＭ＝１００個の参照画像が記憶されている時、１０１番目の新しい参照画像Ｒ_１０１を登録する（第２２図のステップ２１０）。
次に、第２の実施の形態の動作と同じ処理により、参照画像照合結果更新部５５は、参照画像Ｒ_１０１に対応する照合結果Ｓ_{１０１，ｊ}を参照画像照合結果記憶部５０に追加する（ステップ２１１，２１２）。
最後に、３次元物体モデル生成部２７は、参照画像照合結果記憶部５０における当該参照画像照合結果Ｓ_{１０１，ｊ}の情報を基に、当該参照画像Ｒ_１０１に対応する参照３次元物体モデルＢ_１０１を代表３次元物体モデル記憶部２０における代表３次元物体モデルＣ_ｊの合成により生成し、当該参照３次元物体モデルＢ_１０１を参照３次元物体モデル記憶部２１に追加する（ステップ２２１）。
次に、本発明の第５の実施の形態による画像照合システムについて第２３図以下を参照して詳細に説明する。
第２３図を参照すると、本発明の第５の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、画像変換部３６と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０と、参照画像照合結果記憶部５０と、参照３次元物体モデル記憶部２１とを備えている。
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、代表３次元物体モデル記憶部２０は、第１図に示した本発明の第１の実施の形態における処理と同一の処理を行う。
画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。画像変換部３６は、図２８に示す第２の従来技術の画像変換部３５と同様なものである。
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。類似度の計算は上述のステップＳ１０２と同様に行う。
次に、第２３図及び第２４図のフローチャートを参照して第５の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時においては、第２４図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ１２１）。
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する（ステップ１２２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
本発明の第５の実施の形態では、画像変換部３６において、入力画像と参照画像の両方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部３６において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。こうすることにより、照合の度に参照画像を変換する必要が無くなり、照合時間を短縮させることができる。
次に、本発明の第６の実施の形態による画像照合システムについて第２５図を参照して詳細に説明する。
第２５図を参照すると、本発明の第６の実施の形態による画像照合システムは、画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、画像変換部３６と、部分画像照合部４５と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果記憶部５０と、参照画像照合結果更新部５５と、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７とを備えている。
これらの部分はそれぞれ概略次のように動作する。画像入力部１０と、画像生成部３０と、画像照合部４０と、結果照合部６０と、結果表示部８０と、参照画像記憶部７０と、参照画像登録部７５と、代表３次元物体モデル記憶部２０と、３次元物体モデル登録部２５と、参照画像照合結果更新部５５は、第１図に示した本発明の第１の実施の形態と第９図に示した第２の実施の形態における処理と同一の処理を行う。
また、参照３次元物体モデル記憶部２１と、３次元物体モデル生成部２７は、第１６図に示した第３の実施の形態と第２０図に示した本発明の第４の実施の形態における処理と同一の処理を行う。
画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。
次に、第２５図及び第２４図のフローチャートを参照して第６の実施の形態の全体の動作について詳細に説明する。
入力画像の照合時においては、第２４図を参照すると、まず、ステップ１００と、１０１と、１０２と、１０３は、第２図に示した第１の実施の形態における動作と同一である。画像変換部３６は、結果照合部６０より得られる照合結果の上位候補の参照画像に対して、参照３次元物体モデル記憶部２１より得られる当該参照画像に対応する各参照３次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ１２１）。
部分画像照合部４５は、前記画像変換部３６より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する（ステップ１２２）。最後に、類似度の高い当該参照画像を表示する（ステップ１０４）。
本発明の第６の実施の形態では、画像変換部３６において、入力画像と参照画像の両方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部３６において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。
本発明の第１から第６の実施の形態では、画像照合部４０において、入力画像Ｉ（ｕ，ｖ）と各比較画像Ｇ_ｊｋ（ｕ，ｖ）との類似度Ｓ（Ｉ，Ｇ_ｊｋ）を求める際、全体で一つの類似度Ｓ（Ｉ，Ｇ_ｊｋ）を求めているが、部分領域ｍ毎に類似度Ｓ（Ｉ，Ｇ’_ｊｋｍ）を求め、モデル毎に類似度の最大となる類似度Ｓ’_０ｊｍ＝ｍａｘ_ｋＳ（Ｉ，Ｇ’_ｊｋｍ）を求めてもよい。
部分領域は、例えば第２９図に示すような領域である。この場合、参照画像照合結果記憶部５０にも、部分領域ｍ毎の類似度Ｓ’_ｉｊｍ＝ｍａｘ_ｋＳ（Ｒ_ｉ，Ｇ’_ｊｋｍ）を記憶しておく。結果照合部６０は、当該照合結果Ｓ’_０ｊｍと参照画像照合結果記憶部５０における各参照画像の照合結果Ｓ’_ｉｊｍとの類似度Ｄ_ｉ＝Σ_ｍＤ（Ｓ’_０ｊｍ，Ｓ’_ｉｊｍ）を計算し、当該照合結果の類似度Ｄ_ｉの高い参照画像を順に抽出する。また、第４及び第６の実施の形態における３次元物体モデル生成部２７においても、各部分領域毎に代表３次元物体モデルを合成すればよい。
また、本発明の第１から第６の実施の形態では、多数の参照画像の中から入力画像と同一の物体の画像を検索する動作について説明したが、特定の参照画像に対して入力画像と同一の物体であるかを判定する一対一照合に適用することも可能である。
第１、２の実施の形態では、例えば特定の参照画像をＲ_１とすると、結果照合部６０は、入力画像の照合結果Ｓ_０ｊと参照画像Ｒ_１の照合結果Ｓ_１ｊとの類似度Ｄ_１＝Ｄ（Ｓ_０ｊ，Ｓ_１ｊ）を計算し、この類似度Ｄ_１があるしきい値より大きければ、Ｒ_１は入力画像と同一物体と判定できる。また、第３、４及び第５、６の実施の形態では、第２の画像照合部４１及び部分画像照合部４５における入力画像と特定の参照画像の類似度があるしきい値より大きいかどうかで判定できる。
本発明の画像照合システムは、構成要素である各部分の機能をハードウェア的に実現することは勿論として、上記した各部分の機能をコンピュータに実現させるための画像照合プログラム５００をコンピュータが読み込んで実行することによっても実現することができる。この画像照合プログラム５００は、磁気ディスク、半導体メモリその他の記録媒体に格納され、コンピュータはその記録媒体から画像照合プログラム５００を読み込む。

本発明は、顔等の画像を用いた人物特定、個人認証等に利用することができる。

Claims (57)

1. 入力画像に類似する参照画像を検索する画像照合システムにおいて、
   前記入力画像と複数の代表３次元物体モデルとを照合する手段と、
   前記参照画像と複数の前記代表３次元物体モデルとを照合する手段と、
   前記入力画像と複数の前記代表３次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表３次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索する手段と、
   を備えることを特徴とする画像照合システム。
2. 請求項１に記載の画像照合システムにおいて、
   前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求める手段と、
   前記参照３次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索する手段と、
   を更に備えることを特徴とする画像照合システム。
3. 請求項１に記載の画像照合システムにおいて、
   前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求める手段と、
   前記参照３次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換手段と、
   前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索する手段と、
   を更に備えることを特徴とする画像照合システム。
4. 請求項３に記載の画像照合システムにおいて、
   前記変換手段は、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合システム。
5. 請求項１に記載の画像照合システムにおいて、
   前記入力画像を入力する画像入力手段と、
   複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、
   前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、
   前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、
   各物体の前記参照画像を記憶する参照画像記憶部と、
   前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、
   前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、
   を備えることを特徴とする画像照合システム。
6. 請求項５に記載の画像照合システムにおいて、
   前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、
   前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、
   前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、
   を更に備えることを特徴とする画像照合システム。
7. 請求項５に記載の画像照合システムにおいて、
   前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
   前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
   前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合システム。
8. 請求項５に記載の画像照合システムにおいて、
   前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。
9. 請求項２に記載の画像照合システムにおいて、
   前記入力画像を入力する画像入力手段と、
   複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、
   前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、
   前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、
   各物体の前記参照画像を記憶する参照画像記憶部と、
   前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、
   前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、
   前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを記憶する参照３次元物体モデル記憶部と、
   前記結果照合手段より抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、入力画像と入力条件の近い第２の比較画像を各参照３次元物体モデルにつき少なくとも１つ生成する第２の画像生成手段と、
   前記入力画像と、前記第２の画像生成手段により生成された各第２の比較画像との間の類似度を計算し、各参照３次元物体モデルに対応する第２の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照３次元物体モデルとの間の類似度とする第２の画像照合手段と、
   を備えることを特徴とする画像照合システム。
10. 請求項９に記載の画像照合システムにおいて、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、
    前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、
    前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、
    前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成手段と、
    を更に備えることを特徴とする画像照合システム。
11. 請求項１０に記載の画像照合システムにおいて、
    前記３次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の部分領域毎の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合システム。
12. 請求項９に記載の画像照合システムにおいて、
    前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合システム。
13. 請求項９に記載の画像照合システムにおいて、
    前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。
14. 請求項３に記載の画像照合システムにおいて、
    前記入力画像を入力する画像入力手段と、
    複数の前記代表３次元物体モデルを記憶する代表３次元物体モデル記憶部と、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成手段と、
    前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合手段と、
    各物体の前記参照画像を記憶する参照画像記憶部と、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、
    前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、
    前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを記憶する参照３次元物体モデル記憶部と、
    前記結果照合手段より抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、前記入力画像と前記結果照合手段により抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合手段により抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換手段と、
    前記画像変換手段により生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合手段と、
    を備えることを特徴とする画像照合システム。
15. 請求項１４に記載の画像照合システムにおいて、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録手段と、
    前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、
    前記３次元物体モデル登録手段により前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、
    前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成手段と、
    を更に備えることを特徴とする画像照合システム。
16. 請求項１５に記載の画像照合システムにおいて、
    前記３次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の部分領域毎の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合システム。
17. 請求項１４に記載の画像照合システムにおいて、
    前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合システム。
18. 請求項１４に記載の画像照合システムにおいて、
    前記結果照合手段は、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。
19. 請求項１に記載の画像照合システムにおいて、前記物体が、人間の顔であることを特徴とする画像照合システム。
20. 入力画像に類似する参照画像を検索する画像照合方法において、
    前記入力画像と複数の代表３次元物体モデルとを照合するステップと、
    前記参照画像と複数の前記代表３次元物体モデルとを照合するステップと、
    前記入力画像と複数の前記代表３次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表３次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索するステップと、
    を備えることを特徴とする画像照合方法。
21. 請求項２０に記載の画像照合方法において、
    前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求めるステップと、
    前記参照３次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索するステップと、
    を更に備えることを特徴とする画像照合方法。
22. 請求項２０に記載の画像照合方法において、
    前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求めるステップと、
    前記参照３次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換ステップと、
    前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索するステップと、
    を更に備えることを特徴とする画像照合方法。
23. 請求項２２に記載の画像照合方法において、
    前記変換ステップは、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合方法。
24. 請求項２０に記載の画像照合方法において、
    前記入力画像を入力する画像入力ステップと、
    複数の前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    を備えることを特徴とする画像照合方法。
25. 請求項２４に記載の画像照合方法において、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    を更に備えることを特徴とする画像照合方法。
26. 請求項２４に記載の画像照合方法において、
    前記画像照合ステップは、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合方法。
27. 請求項２４に記載の画像照合方法において、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。
28. 請求項２１に記載の画像照合方法において、
    前記入力画像を入力する画像入力ステップと、
    複数の前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを参照３次元物体モデル記憶部に記憶するステップと、
    前記結果照合ステップより抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、入力画像と入力条件の近い第２の比較画像を各参照３次元物体モデルにつき少なくとも１つ生成する第２の画像生成ステップと、
    前記入力画像と、前記第２の画像生成ステップにより生成された各第２の比較画像との間の類似度を計算し、各参照３次元物体モデルに対応する第２の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照３次元物体モデルとの間の類似度とする第２の画像照合ステップと、
    を備えることを特徴とする画像照合方法。
29. 請求項２８に記載の画像照合方法において、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    前記参照画像照合結果更新ステップにより参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成ステップと、
    を更に備えることを特徴とする画像照合方法。
30. 請求項２９に記載の画像照合方法において、
    前記３次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合方法。
31. 請求項２８に記載の画像照合方法において、
    前記画像照合ステップは、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合方法。
32. 請求項２８に記載の画像照合方法において、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。
33. 請求項２２に記載の画像照合方法において、
    前記入力画像を入力する画像入力ステップと、
    複数の前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを参照３次元物体モデル記憶部に記憶するステップと、
    前記結果照合ステップより抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、前記入力画像と前記結果照合ステップにより抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合ステップにより抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換ステップと、
    前記画像変換ステップにより生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合ステップと、
    を備えることを特徴とする画像照合方法。
34. 請求項３３に記載の画像照合方法において、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    前記参照画像照合結果更新ステップにより参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成ステップと、
    を更に備えることを特徴とする画像照合方法。
35. 請求項３４に記載の画像照合方法において、
    前記３次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合方法。
36. 請求項３３に記載の画像照合方法において、
    前記画像照合ステップは、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合ステップは、前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合方法。
37. 請求項３３に記載の画像照合方法において、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。
38. 請求項２０に記載の画像照合方法において、前記物体が、人間の顔であることを特徴とする画像照合方法。
39. 入力画像に類似する参照画像を検索する画像照合方法をコンピュータに実行させるための画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像と複数の代表３次元物体モデルとを照合するステップと、
    前記参照画像と複数の前記代表３次元物体モデルとを照合するステップと、
    前記入力画像と複数の前記代表３次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表３次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索するステップと、
    を備えることを特徴とする画像照合プログラム。
40. 請求項３９に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求めるステップと、
    前記参照３次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索するステップと、
    を更に備えることを特徴とする画像照合プログラム。
41. 請求項３９に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像に類似する前記参照画像に対応する参照３次元物体モデルを求めるステップと、
    前記参照３次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換ステップと、
    前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索するステップと、
    を更に備えることを特徴とする画像照合プログラム。
42. 請求項４１に記載の画像照合プログラムにおいて、
    前記変換ステップは、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合プログラム。
43. 請求項３９に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像を入力する画像入力ステップと、
    複数の前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    を備えることを特徴とする画像照合プログラム。
44. 請求項４３に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    を更に備えることを特徴とする画像照合プログラム。
45. 請求項４３に記載の画像照合プログラムにおいて、
    前記画像照合ステップは、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。
46. 請求項４３に記載の画像照合プログラムにおいて、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合プログラム。
47. 請求項４０に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像を入力する画像入力ステップと、
    複数の前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを参照３次元物体モデル記憶部に記憶するステップと、
    前記結果照合ステップより抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、入力画像と入力条件の近い第２の比較画像を各参照３次元物体モデルにつき少なくとも１つ生成する第２の画像生成ステップと、
    前記入力画像と、前記第２の画像生成ステップにより生成された各第２の比較画像との間の類似度を計算し、各参照３次元物体モデルに対応する第２の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照３次元物体モデルとの間の類似度とする第２の画像照合ステップと、
    を備えることを特徴とする画像照合プログラム。
48. 請求項４７に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    前記参照画像照合結果更新ステップにより参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成ステップと、
    を更に備えることを特徴とする画像照合プログラム。
49. 請求項４８に記載の画像照合プログラムにおいて、
    前記３次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合プログラム。
50. 請求項４７に記載の画像照合プログラムにおいて、
    前記画像照合ステップは、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。
51. 請求項４７に記載の画像照合プログラムにおいて、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合プログラム。
52. 請求項４１に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記入力画像を入力する画像入力ステップと、
    複数の少なくとも１つの前記代表３次元物体モデルを代表３次元物体モデル記憶部に記憶するステップと、
    前記代表３次元物体モデル記憶部に記憶されている複数の前記代表３次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表３次元物体モデルにつき少なくとも１つ生成する画像生成ステップと、
    前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表３次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表３次元物体モデルとの間の類似度とする画像照合ステップと、
    各物体の前記参照画像を参照画像記憶部に記憶するステップと、
    前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、
    前記画像照合ステップにより計算された前記入力画像と各代表３次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、
    前記参照画像記憶部に記憶されている各参照画像に対応する参照３次元物体モデルを参照３次元物体モデル記憶部に記憶するステップと、
    前記結果照合ステップより抽出された各参照画像に対応する各参照３次元物体モデルを前記参照３次元物体モデル記憶部より得て、得られた各参照３次元物体モデルを基に、前記入力画像と前記結果照合ステップにより抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合ステップにより抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換ステップと、
    前記画像変換ステップにより生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合ステップと、
    を備えることを特徴とする画像照合プログラム。
53. 請求項５２に記載の画像照合プログラムにおいて、
    前記画像照合方法は、
    前記代表３次元物体モデル記憶部に各代表３次元物体モデルを登録する３次元物体モデル登録ステップと、
    前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、
    前記３次元物体モデル登録ステップにより前記代表３次元物体モデル記憶部に新たな代表３次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表３次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、
    前記参照画像照合結果更新ステップにより参照画像照合結果記憶部に前記参照画像と前記代表３次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照３次元物体モデルを前記代表３次元物体モデル記憶部に記憶されている前記代表３次元物体モデルを合成することにより生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録する３次元物体モデル生成ステップと、
    を更に備えることを特徴とする画像照合プログラム。
54. 請求項５３に記載の画像照合プログラムにおいて、
    前記３次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を基に、前記代表３次元物体モデル記憶部に記憶されている代表３次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照３次元物体モデルを生成し、生成された参照３次元物体モデルを前記参照３次元物体モデル記憶部に登録することを特徴とする画像照合プログラム。
55. 請求項５２に記載の画像照合プログラムにおいて、
    前記画像照合手段は、前記入力画像と代表３次元物体モデルとの間の類似度を部分領域毎に計算し、
    前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表３次元物体モデル記憶部に記憶されている各代表３次元物体モデルとの間の類似度を部分領域毎に記憶し、
    前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表３次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表３次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。
56. 請求項５２に記載の画像照合プログラムにおいて、
    前記結果照合ステップは、前記入力画像と各代表３次元物体モデルとの間の類似度と、各参照画像と各代表３次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表３次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合プログラム。
57. 請求項３９に記載の画像照合プログラムにおいて、前記物体が、人間の顔であることを特徴とする画像照合プログラム。

Images