WO2004008392A1

WO2004008392A1 - ３次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラム

Info

Publication number: WO2004008392A1
Application number: PCT/JP2003/008642
Authority: WO
Inventors: Masahiko Hamanaka
Original assignee: Nec Corporation
Priority date: 2002-07-10
Filing date: 2003-07-08
Publication date: 2004-01-22
Also published as: JPWO2004008392A1; AU2003281007A1; CN1669052A; ATE374978T1; EP1530157B1; KR100651010B1; KR20050017117A; JP4560832B2; US7545973B2; US20060120589A1; CN1669052B; EP1530157A4; AU2003281007B2; DE60316690T2; US20090245624A1; CA2491727A1; US7873208B2; DE60316690D1; EP1530157A1

Description

3次元物体モデルを用いた画像照合システム、画像照合方法

及び画像照合プログラム技術分野本発明は、 3次元物体モデルを用いた画像照合システム、画像照合方法及び画像照合プログラムに関し、特に姿勢や照明の異なる条件で撮影された物体（人物の顔）の入力画像に対し、当該入力画後からデータベース（D B ) にある参照画像を検索できる画像照合システム、画像照合方法及び画像照合プログラムに関する。背景技術従来の画像照合システムの一例が、 1 9 9 5年、電子情報通信学会論文誌 D— I I、第 J 7 8— D— II卷、第 1 1号、 1 6 3 9頁〜 1 6 4 9頁、窵田ら、「顔の向きによらない人物識別のための辞書構成法」に記載されている（以下、第 1 の従来技術と称する）。第 2 6図に示すように、この第 1の従来技術の画像照合システムは、画像入力部 1 0と、画像照合部 4 0と、結果表示部 8 0と、参照画像記憶部 7 0と、参照画像登録部 7 5とを備える。

このような構成を有する従来の画像照合システムは、以下のように動作する。参照画像記憶部 7 0には、予め参照画像登録部 7 5より撮影された様々な物体の参照画像（人物の参照顔画像等）が記憶されている。ただし、参照画像については、撮影するときの条件（姿勢や照明等の条件）によって大きく変化するため、一つの物体に対して様々な条件で撮影した複数 (多数)の画像が記憶されている。画像入力部 1 0は、カメラ等により実現され、撮影した入力画像をメモリ（図示せず）に記憶する。画像照合部 4 0は、画像入力部 1 0より得られる入力画像と、参照画像記憶部 7 0より得られる各参照画像とを比較し、それぞれ特徴の類似度（又は距離値）を計算し、各物体で最も類似度の大きい（又は距離の小さレ、）参照画像を選出する。各画像は濃淡特徴で表現され、特徴間の類似度計算や距離値計算には例えば正規化相関やユークリッド距離などが使用される。結果表示部 8 0は、当該参照画像のうち選出された類似度の最も大きい物体の参照画像を照' 合結果として表示する（又は類似度の大きい順に候補となる参照画像を表示する）。従来の画像照合システムの他の一例が、特開 2 0 0 0— 3 2 2 5 7 7号に記载されている（以下、第 2の従来技術と称する）。第 2 8図に示すように、この従来の画像照合システムは、画像入力部 1 0と、画像変換部 3 5と、部分画像照合部 4 5と、結果表示部 8 0と、参照画像記憶部 7 0と、参照画像登録部 7 5と、代表 3次元物体モデル記憶部 2 0と、 3次元物体モデル登録部 2 5とを備える。このような構成を有する従来の画像照合システムは、以下のように動作する。代表 3次元物体モデル記憶部 2 0には、予め 3次元物体モデル登録部 2 5より得られる代表的な 1つ又は複数の 3次元物体モデルが記憶されている。画像変換部 3 5は、画像入力部 1 0より得られる入力画像と参照画像記憶部 7 0より得られる各参照画像の共通する部分領域に関して、代表 3次元物体モデル記憶部 2 0 より得られる 3次元物体モデルを用いて、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。

部分領域とは、例えば第 2 9図に示すように、目 ■鼻 ·口のような特徴的な部分であり、予め各画像と 3次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。部分画像照合部 4 5は、画像変換部 3 5より得られる変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する。結果表示部 8 0は、当該参照画像の類似度の最も大きい物体を照合結果として表示する。発明の開示上述した従来技術においては、次に述べるような種々の問題点を有している。第 1に、上述した第 1及び第 2の従来技術においては、登録される物体に対して様々な条件で撮影された多数の参照画像が必要になるという問題点があった。その理由は、入力画像と参照面像を直接比較するため、入力画像の撮影条件が限定されない場合、多数の姿勢や照明条件に対応するためには、予め入力画像の撮影条件に近い参照画像が用意されている必要があるためである。し力し、実際には姿勢や照明条件には無限の可能性が存在し、様々な条件に対応した多数の画像を予め用意することは現実的に不可能である。

第 2に、第 2の従来技術では、入力画像又は参照画像を姿勢が合うように変換して比較するため、 3次元物体モデルの参照画像の数が十分になかったり、姿勢が大きく異なると、変換による歪みが大きくなり正しく照合できないという問題を有していた。また、変換により照明条件を合わせるのが非常に困難であると共に、共通する領域で画像を比較するため、必ず共通する領域が存在する必要があるという問題があった。

第 3に、各従来技術では照合に時間がかかるという問題点があった。

その理由は、従来技術では、入力画像と各物体の複数の参照画像を比較するため、物体数が M個、各物体の参照画像数が L個の場合、少なくとも L X M回の画像の比較が必要であるためである。

本発明の目的は、少数の参照画像しか存在しない場合でも、物体毎に姿勢や照明の異なる条件で撮影された画像に対し、入力画像からデータベースに登録してある参照画像を検索できる画像照合システム、画像照合方法及ぴ画像照合プログラムを提供することにある。

本発明の他の目的は、入力画像又は参照画像を姿勢が合うように変換するといつた処理を行うことなく、少ない 3次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。

本発明の他の目的は、全ての物体に対して必ずしもある必要な数の 3次元物体モデルを生成しなくとも画像の照合が可能な画像照合システム、画像照合方法及ぴ画像照合プログラムを提供することにある。

本発明の更に他の目的は、多数の物体に関する参照画像がデータベースに登録されている場合でも、高速に検索できる画像照合システム、画像照合方法及び画像照合プログラムを提供することにある。

本発明によれば、入力画像に類似する参照画像を検索する画像照合システムにおいて、前記入力画像と複数の代表 3次元物体モデルとを照合する手段と、前記参照画像と複数の前記代表 3次元物体モデルとを照合する手段と、前記入力画像と複数の前記代表 3次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表 3次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索する手段と、を備えることを特徴とする画像照合システムが提供される。

上記の画像照合システムは、前記入力画像に類似する前記参照画像に対応する参照 3次元物体モデルを求める手段と、前記参照 3次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索する手段と、を更に備えていてもよい。

上記の画像照合システムは、前記入力画像に類似する前記参照画像に対応する参照 3次元物体モデルを求める手段と、前記参照 3次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換手段と、前記入力条件が揃つた前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索する手段と、を更に備えていてもよい。

上記の画像照合システムにおいて、前記変換手段は、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせてもよレ、。上記の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表 3次元物体モデルを記憶する代表 3次元物体モデル記憶部と、前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにつき少なくとも 1つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類俊度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、を備えていてもよい。

上記の画像照合システムは、前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記 3次元物体モデル登録手段により前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、を更に備えていてもよい。

上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体キデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部^ ^域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。

上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候捕順位に基づき各類似度に重み付けをしてもよい。上記の記載の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表 3次元物体モデルを記憶する代表 3次元物体モデル記憶部と、前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにつき少なくとも 1つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、前記参照画像記憶部に記憶されている各参照画像に対応する参照 3次元物体モデルを記憶する参照 3次元物体モデル記憶部と、前記結果照合手段より抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、入力画像と入力条件の近い第 2の比較画像を各参照 3次元物体モデルにつき少なくとも 1つ生成する第 2の画像生成手段と、前記入力画像と、前記第 2の画像生成手段により生成された各第 2の比較画像との間の類似度を計算し、各参照 3次元物体モデルに対応する第 2の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照 3次元物体モデルとの間の類似度とする第 2の画像照合手段と、を備えていてもよい。

上記の画像照合システムは、前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記 3次元物体モデル登録手段により前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部にする参照画像照合結果更新手段と、前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表 3 次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデル生成手段と、を更に備えていてもよい。

上記の画像照合システムにおいて、前記 3+次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の部分領域毎の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録してもよい。

上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデノレ記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデ /レとの間の部: 9 ^域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。

上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをしてもよレ、。

上記の画像照合システムは、前記入力画像を入力する画像入力手段と、複数の前記代表 3次元物体モデルを記憶する代表 3次元物体モデル記憶部と、前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにつき少なくとも 1つ生成する画像生成手段と、前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合手段と、各物体の前記参照画像を記憶する参照画像記憶部と、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、前記参照画像記憶部に記憶されている各参照画像に対応する参照 3 次元物体モデルを記憶する参照 3次元物体モデル記憶部と、前記結果照合手段より抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、前記入力画像と前記結果照合手段により抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合手段により抽出された前記参照画像の入力条件を揃え、入力条件の揃つた前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換手段と、前記画像変換手段により生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合手段と、を備えていてもよい。

上記の画像照合システムは、前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録手段と、前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、前記 3次元物体モデノレ登録手段により前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に ϋ¾ιする参照画像照合結果更新手段と、前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表 3 次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデノレ生成手段と、を更に備えていてもよい。

上記の画像照合システムにおいて、前記 3次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の部分領域毎の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録してもよい。

上記の画像照合システムにおいて、前記画像照合手段は、前記入力画像と代表 3次元物体モデ /レとの間の類似度を部分領域毎に計算し、前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部分領域毎に記憶し、前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出してもよい。

上記の画像照合システムにおいて、前記結果照合手段は、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像おょぴ各比較画像と各代表 3次元物体モデルとの間の類似度の候捕順位に基づき各類似度に重み付けをしてもよい。

上記の画像照合システムにおいて、前記物体が、人間の顔であってもよい。本発明によれば、次に述べるような効果が達成される。

第 1の効果は、参照画像が物体毎に 1つ乃至少数しか存在しない場合でも、姿勢や照明条件等の異なる入力条件で撮影された物体の入力画像に対し、同一物体の参照画像を検索できることである。また、入力画像又は参照画像を姿勢が合うように変換するといった処理を行うことなく、少ない' 3次元物体モデルの参照画像で照合が行えると共に、各画像に共通する領域が必ずしも存在しなくとも照合が行える。さらに、全ての物体に対して必ずしも所定数の 3次元物体モデルを生成しなくとも画像の照合が可能となる。

その理由は、入力画像と代表 3次元物体モデルとの照合結果と、参照画像と代表 3次元物体モデルとの照合結果の比較により、参照画像を検索するというように構成されているためである。また、代表 3次元物体モデルの合成により参照 3 次元物体モデルを生成し照合するというように構成されているためである。第 2の効果は、入力画像から高速に参照画像を検索できることにある。

その理由は、物体数に比べて少数の代表 3次元物体モデルとの照合と、照合結果の類似度計算により画像照合するというように構成されているためである。また、参照 3次元物体モデルとの照合を行う場合も、代表 3次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照 3次元物体モデルとの照合を行うとレヽうように構成されているためである。図面の簡単な説明第 1図は、本発明の第 1の実施の形態による画像照合システムの構成を示すブ口ック図である。

第 2図は、第 1の実施の形態における照合時の動作を示すフローチヤ一トである。

第 3図は、第 1の実施の形態における代表 3次元物体モデルの具体例を示す図である。

第 4図は、第 1の実施の形態における参照画像の具体例を示す図である。第 5図は、第 1の実施の形態における参照画像照合結果の具体例を示す図である。

第 6図は、第 1の実施の形態における入力画像の具体例を示す図である。第 7図は、第 1の実施の形態における入力画像照合結果の具体例を示す図である。

第 8図は、第 1の実施の形態における結果照合の具体例を示す図である。第 9図は、本発明の第 2の実施の形態による画像照合システムの構成を示すブロック図である。

第 1 0図は、第 2の実施の形態における 3次元物体モデル登録時の動作を示すフローチヤ一トである。

第 1 1図は、第 2の実施の形態における参照画像登録時の動作を示すフローチヤートである。

第 1 2図は、第 2の実施の形態における登録された 3次元物体モデルの照合結果の具体例を示す図である。

第 1 3図は、第 2の実施の形態における参照画像照合結果の更新の具体例を示す図である。

第 1 4図は、第 2の実施の形態における登録された参照画像の照合結果の具体例を示す図である。

第 1 5図は、第 2の実施の形態における参照画像照合結果の更新の具体例を示す図である。

第 1 6図は、本発明の第 3の実施の形態による画像照合システムの構成を示すプロック図である。

第 1 7図は、第 3の実施の形態の照合時の動作を示すフローチャートである。第 1 8図は、第 3の実施の形態の参照 3次元物体モデルの具体例を示す図である。

第 1 9図は、第 3の実施の形態の参照画像照合結果の具体例を示す図である。第 2 0図は、本発明の第 4の実施の形態による画像照合システムの構成を示すプロック図である。

第 2 1図は、第 4の実施の形態の 3次元物体モデル登録時の動作を示すフ口一チヤ一トである。

第 2 2図は、第 4の実施の形態の参照画像登録時の動作を示すフローチャートである。

第 2 3図は、本発明の第 5の実施の形態による画像照合システムの構成を示すブロック図である。

第 2 4図は、第 5の実施の形態の照合時の動作を示すフローチャートである。第 2 5図は、本発明の第 6の実施の形態による画像照合システムの構成を示すブロック図である。

第 2 6図は、第 1の従来技術による画像照合システムの構成を示すブロック図である。

第 2 7図は、 3次元物体モデルの座標の具体例を示す図である。

第 2 8図は、第 2の従来技術による画像照合システムの構成を示すブロック図である。

第 2· 9図は、第 2の従来技術の部分領域の具体例を示す図である。発明を実施するための最良の形態以下、本発明の実施の形態について図面を参照して詳細に説明する。

第 1図を参照すると、本発明の第 1の実施の形態による画像照合システムは、画像入力部 1 0と、画像生成部 3 0と、画像照合部 4 0と、結果照合部 6 0と、結果表示部 8 0と、参照画像記憶部 7 0と、代表 3次元物体モデノレ記憶部 2 0と、参照画像照合結果記憶部 5 0とを備えている。

代表 3次元物体モデル記憶部 2 0には、代表的な 3次元物体モデル（物体の 3 次元形状と物体表面のテクスチャ）が登録されている。 3次元物体モデルについては、例えば特開 2 0 0 1— 1 2 9 2 5号記載の 3次元形状測定装置を用いたり、特開平 9— 9 1 4 3 6号記載の多数のカメラで撮影された複数画像から 3次元形状を復元する装置を用いることにより生成することができる。 3次元物体モデルは、第 2 7図に示すように、物体表面の 3次元空間（ X， y， z ) 内での形状 P _Q ， y , z ) とテクスチャ T_Q (R， G, B) を情報として持っている。 Qは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点 Q ( s， t ) の座標に対応している。照合のために、予め各 3次元物体モデルを使用して、様々な照明条件による学習用 C G画像をコンピュータグラフィックスにより生成し、当該学習用 C G画像を主成分分析することにより基底画像群を求めておく。

画像生成部 3 0は、代表 3次元物体モデル記憶部 2 0より得られる代表 3次元物体モデルを基に、姿勢条件を仮定しながら画像入力部 1 0より得られる入力画像と照明条件が近い比較画像を複数生成する。ここで、入力画像と照明条件が近い比較画像の生成は、予め求めておいた基底画像群を仮定した姿勢条件に基づき座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法により求めることにより実現できる。

この 3次元物体モデルから入力画像に近レ、比較画像を生成する技術については、例えば、 2 0 0 1年、電子情報通信学会技術研究報告 Vol. 101 No. 524 PRMU200 1- 153〜175、 5 9頁〜 6 4頁「照明条件と姿勢の両者の自動補正による顔照合 J に記載されている。

画像照合部 4 0は、画像入力部 1 0より得られる入力画像と、画像生成部 3 0 より得られる各比較画像とを比較し、入力画像と各比較画像との間の類似度を計算し、各物体で最も類似度の大きい比較画像を選出することにより姿勢を推定する。

参照画像照合結果記憶部 5 0には、参照画像を記憶するデータベース（D B ) である参照画像記憶部 7 0の各参照画像を入力画像として、画像生成部 3 0及ぴ画像照合部 4 0により、代表 3次元物体モデル記憶部 2 0の各代表 3次元物体モデルと各参照画像とを照合した結果が予め記憶されている。

結果照合部 6 0は、画像入力部 1 0より得られる入力画像に対して画像生成部 3 0及び画像照合部 4 0により照合を行つた結果と、参照画像照合結果記憶部 5 0における各参照画像の照合結果とを比較し、照合結果の類似する参照画像を類似度の高い順に抽出する。結果表示部 8 0は、当該類似度の最も大きい物体を照合結果として表示する。

参照画像記憶部 7 0には、検索対象である物体の 2次元の画像である参照画像が登録される。この参照画像は、その照明や姿勢を含む入力条件に制限がなく、 1つの物体（検索対象）について少なくとも 1つの画像が登録されている。代表 3次元物体モデル記憶部 2 0には、代表的な複数の代表 3次元物体モデルが記憶されている。

次に、第 1図と、第 2図のフローチャートを参照して第 1の実施の形態の全体の動作について詳細に説明する。

入力画像の照合時においては、まず、画像入力部 1 0により入力画像が得られる（第 2図のステップ 1 0 0 )。次に、画像生成部 3 0は、代表 3次元物体モデル記憶部 2 0における各代表 3次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ 1 0 1 )。

更に、画像照合部 4 0は、当該入力画像と当該各比較画像との類似度を求める (ステップ 1 0 2 )。結果照合部 6 0は、当該照合結果と参照画像照合結果記憶部 5 0における各参照画像の照合結果との類似度を計算し、照合結果が類似する参照画像を類似度の高い順に抽出する（ステップ 1 0 3 )。最後に、類似度の高い当該参照画像を表示する（ステップ 1 0 4 )。

次に、上記のように構成され動作する第 1の実施の形態の効果について説明する。

第 1の実施の形態では、入力画像と代表 3次元物体モデルとの照合結果と、参照画像と代表 3次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に 1つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。

また、本実施の形態では、更に、物体数に比べて少数の代表 3次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表 3次元物体モデルの数 Nが物体数（参照画像数） Mに対して N=M 1 00の場合、画像生成部 30において生成される各代表 3次元物体モデルの比較画像が L個とすると、 L X N = L XM/ 1 00回の画像照合で済み、従来の 1 Z 1 00の照合回数で検索できる。

更に、具体的な実施例を示す第 3図〜第 8図を用いて第 1の実施の形態の動作を説明する。

第 3図に示すように、代表 3次元物体モデル記憶部 20には、代表的な代表 3 次元物体モデル Cj ( j - 1, 2， …， N) が N個記憶されている。また、第 4図に示すように、参照画像記憶部 70には、各物体の参照画像 Ri ( i = l, 2， …， M) が M個記憶されている（物体毎に複数の参照画像が存在しても構わない力ここでは 1個として説明する）。

更に、第 5図に示すように、参照画像照合結果記憶部 50には、参照画像の登録時の処理により、各参照画像 Riの代表 3次元物体モデル C _jに対する照合結果 (類似度） S _{i 3}が記憶されている（第 5図では類似度の高い順に表示しているが、実際はモデルの順番に記憶するようにしてもよレ、；)。

入力画像の照合時においては、第 6図に示すような入力画像 I (u， V) が画像入力部 1 0により得られたとする（第 2図のステップ 1 00)。次に、画像生成部 30は、代表 3次元物体モデル記憶部 20における各代表 3次元物体モデル C , ( j = 1, …， N) に対して、入力画像の姿勢や照明等の入力条件に近い比較画像 G_{j k} (u, v) ( j = 1, …， N、 k = l, …， L) を L個生成する（ステップ 1 01)。

更に、画像照合部 40は、当該入力画像 I ( u， V ) と当該各比較画像 G _{j k} (u, v) との類似度 S (I, G_{j k}) を求め、代表 3次元物体モデル毎に類似度の最大となる類度 S_{o j}=ma_XkS (1， G_{j k}) を求める（ステップ 1 0 2)。照合結果 (類似度） S_{0 j}は、例えば第 7図のようになる。

結果照合部 60は、当該照合結果 S。 jと参照画像照合結果記憶部 50における各参照画像の照合結果 S i jと

(S_{o j}， S _H) を計算し、当該照合結果の類似度 Diの高い参照画像を順に抽出する（ステップ 103)。抽出結果は、例えば第 8図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、 R₅， R₂が順に求まる。最後に、 .類似度の高い当該参照画像を表示する（ステップ 104)。

ここで、照合結果の類似度 Di (S。j， S _n) の計算方法としては、正規化相関や順位相関などが利用できる。順位相関とは、照合結果の候捕順位の相関である。入力画像の照合結果 S。 jの候補順位を A₀ jとすると、第 7図の照合結果の場合は、 A。,₂=l， A。,₆=2， A。, ₃=3などとなる。各参照画像の照合結果 S _{; 3} の侯捕順位を A とすると、例えばスピアマンの順位相関は、 1一⁶∑j (A_0j — Aij) V {N (N²-l)} により求められる。

また、類似度計算においては、各変数（S。 3_{; ]}.ゃ ₀ を変数変換してから類似度を計算してもよい。また、侯補順位 A_oj， A_i3のいずれかまたは両方に基づいた重み g (A_Qj，を用いて、各変数に重み付けをして類似度を計算してもよい。例えば、 g (A_oj， A_u) =1/ (A_oj+A ) とし、類似度 S_oj， S を S_ojZ (A_oj+A_i3)， S Z (A_0j+A ) に変換すると、上位侯補の比重が高くなる。更に、下位候補を除外して類似度計算してもよい。本発明の第 2の実施の形態による画像照合システムについて第 9図以下を参照して説明する。

本発明の第 2の実施の形態による画像照合システムは、画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、結果表示部 80と、参照画像記憶部 70と、参照画像登録部 75と、代表 3次元物体モデル記憶部 20 と、 3次元物体モデル登録部 25と、参照画像照合結果記憶部 50と、参照画像照合結果更新部 55とを備えており、第 1の実施の形態の構成に、参照画像登録部 75と、 3次元物体モデル登録部 25と、参照画像照合結果更新部 55を加えた構成となっている。

第 2の実施の形態による画像照合システムの第 1の実施の形態と同じ構成要素については説明を省略し、本実施の形態で追加された構成要素について説明を進める。

3次元物体モデル登録部 25は、代表 3次元物体モデル記憶部 20に新しレ、代表 3次元物体モデル（物体の 3次元形状と物体表面のテクスチャ）を登録する。参照画像照合結果更新部 55は、登録時において、 3次元物体モデル登録部 2 5により代表 3次元物体モデル記憶部 2 0に代表 3次元物体モデルが登録された時、及び参照画像登録部 7 5により参照画像記憶部 7 0に参照画像が登録された時、新しい参照画像と代表 3次元物体モデルの組み合わせに対して、画像生成部 3 0及び画像照合部 4 0により照合を行い、当該照合結果を参照画像照合結果記憶部 5 0に追加する。

参照画像登録部 7 5は、検索対象である物体の 2次元の画像である参照画像を、参照画像記憶部 7 0に対して登録する。この登録する参照画像は、その照明や姿勢を含む入力条件に制限がなく、 1つの物体（検索対象）について少なくとも 1 つの画像が登録される。

なお、 3次元物体モデル登録部 2 5は、第 2 8図に示した第 2の従来技術における 3次元物体モデル登録部 2 5と同一であり、代表 3次元物体モデル記憶部 2 0には、予め 3次元物体モデル登録部 2 5より得られる代表 3次元物体モデルが記憶される。

次に、第 9図と、第 2図、第 1 0図、第 1 1図のフローチャートを参照して第 2の実施の形態の全体の動作について詳細に説明する。

入力画像の照合時における動作については、第 1の実施の形態の第 2図に示す動作と全く同じである。

入力画像の照合時においては、まず、画像入力部 1 0により入力画像が得られる（第 2図のステップ 1 0 0 )。次に、画像生成部 3 0は、代表 3次元物体モデノレ記憶部 2 0における各代表 3次元物体モデルに対して、入力画像と姿勢や照明等の入力条件の近い、すなわち比較を行い易い比較画像を生成する（ステップ 1 0 1 )。

ここで、代表 3次元物体モデルの登録時と、参照画像の登録時における動作について説明する。代表 3次元物体モデル（物体の 3次元形状と物体表面のテクスチャ）の登録時においては、まず、 3次元物体モデル登録部 2 5は、代表 3次元物体モデル記憶部 2 0に新しい代表 3次元物体モデルを登録する（第 1 0図のステップ 2 0 0 )。次に、参照画像照合結果更新部 5 5は、参照画像記憶部 7 0における各参照画像を入力画像として画像入力部 1 0に送り、当該各参照画像と登録された当該代表 3次元物体モデルに基づく画像生成部 3 0による比較画像とを画像照合部 4 0 で照合し、各類似度を求める（ステップ 2 0 1 )。最後に、当該照合結果を参照画像照合結果記憶部 5 0における各参照画像の照合結果に追加する（ステップ 2 0 2 )。

参照画像の登録時においては、まず、参照画像登録部 7 5は、参照画像記憶部 7 0に新しい参照画像を登録する（第 1 1図のステップ 2 1 0 )。

次に、参照画像照合結果更新部 5 5は、参照画像記憶部 7 0に登録された当該参照画像を入力画像として画像入力部 1 0に送り、当該参照画像と代表 3次元物体モデ/レ記憶部 2 0における代表 3次元物体モデルに基づく画像生成部 3 0による比較画像とを画像照合部 4 0により照合し、各類似度を求める（ステップ 2 1 1 )。最後に、当該照合結果を参照画像照合結果記憶部 5 0に追加する（ステップ 2 1 2 ) o

次に、上記のように構成され動作する第 2の実施の形態の効果について説明する。

第 2の実施の形態では、入力画像と代表 3次元物体モデルとの照合結果と、参照画像と代表 3次元物体モデルとの照合結果の比較により、参照画像を検索するように構成されているため、参照画像が物体毎に 1つ乃至少数しか存在しない場合でも、姿勢や照明条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索することができる。

また、本実施の形態では、更に、物体数に比べて少数の代表 3次元物体モデルとの照合と、照合結果の類似度計算により画像照合するという構成としているため、高速に検索できる。照合結果の類似度計算にかかる時間は、画像照合に比べて短いので、検索時間は画像照合に数に依存する。例えば、代表 3次元物体モデルの数 Nが物体数（参照画像数） Mに対して Ν=ΜΖ 1 0 0の場合、画像生成部 30において生成される各代表 3次元物体モデルの比較画像が L個とすると、 L XN=L XM/ 100回の画像照合で済み、従来の 1/1 00の照合回数で検索できる。

更に、具体的な実施例を用いて第 2の実施の形態の動作を説明する。

ここでは、第 1の実施の形態と同様に、第 3図に示すように、代表 3次元物体モデル記憶部 20には、代表的な代表 3次元物体モデル Cj ( j = 1, 2， …， N) が N個記憶され、第 4図に示すように、参照画像記憶部 70には、各物体の参照画像 Ri ( i = 1, 2， …， M) が M個記憶されているとする。第 5図に示すように、参照画像照合結果記憶部 50には、参照画像の登録時の処理により、各参照画像 1^の代表 3次元物体モデル C jに対する照合結果（類似度） S！ jが記憶されている。

入力画像の照合時において、第 6図に示すような入力画像 I (u， v) が画像入力部 10により得られたとする（第 2図のステップ 1 00)。次に、画像生成部 30は、代表 3次元物体モデル記憶部 20における各代表 3次元物体モデル C _j (j = 1, …， N) に対して、入力画像の姿勢や照明等の入力条件に近い比較画像 G （u， v) ( j = 1, …， N、 k= l, ···, L) を L個生成する（ステツプ 10 1)。

更に、画像照合部 40は、当該入力画像 I (u， V)と当該各比較画像 G_{j k} (u， v) との類似度 S (1， G_{j k}) を求め、代表 3次元物体モデル毎に類似度の最大となる類似度 S_{0 j}=m_ax_kS (1， G_{j k}) を求める（ステップ 1 02)。照合結果 (類似度） S_{o j}は、例えば第 7図のようになる。

結果照合部 60は、当該照合結果 S_{o j}と参照画像照合結果記憶部 50における各参照画像の照合結果 S i』との類似度 Di = D (S_{o j}， S _n) を計算し、当該照合結果の類似度 Diの高い参照画像を順に抽出する（ステップ 1 03)。抽出結果は、例えば第 8図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、 R₅， R₂が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ 1 04)。

代表 3次元物体モデ/レの登録時においては、まず、 3次元物体モデル登録部 2 5は、代表 3次元物体モデル記憶部 20に既に N= 50個の代表 3次元物体モデルが登録されている時、 51番目の新しい代表 3次元物体モデル C ₅ iを登録する (第 10図のステップ 200)。

次に、参照画像照合結果更新部 55は、参照画像記憶部 70における各参照画像 R iを入力画像として画像入力部 10に送り、当該各参照画像 R iと登録された当該代表 3次元物体モデル C ₅ ,を画像生成部 30及び画像照合部 40により照合し、各類似度3₁, ₅₁

(R_i5 G_{51> k}) を求める（ステップ 201)。照合結果（類似度） Si，₅₁は、例えば第 12図のようになる。最後に、第 13 図に示すように、当該照合結果を参照画像照合結果記憶部 50における各参照画像の照合結果に追加する（ステップ 202)。

参照画像の登録時においては、まず、参照画像登録部 75は、参照画像記憶部 70に既に M=l 00個の参照画像が記憶されている時、 101番目の新しい参照画像 R₁₀₁を登録する（第 11図のステップ 210)。

次に、参照画像照合結果更新部 55は、参照画像記憶部 70に登録された当該参照画像 R ₁。 iを入力画像として画像入力部 10に送り、当該参照画像 R 。 iと代表 3次元物体モデル記憶部 20における各代表 3次元物体モデル C jを画像生成部 30及び画像照合部 40により照合し、各類似度

(R₁₀₁, G _{j k}) を求める（ステップ 21 l)o

照合結果（類似度）は、例えば第 14図のようになる。最後に、第 1 5図のように、当該照合結果を参照画像照合結果記憶部 50に追加する（ステツプ 212)

次に、本発明の第 3の実施の形態による画像照合システムについて第 16図以下を参照して詳細に説明する。

第 16図を参照すると、本発明の第 3の実施の形態による画像照合システムは、画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、第 2の画像生成部 31と、第 2の画像照合部 41と、結果表示部 80と、参照画像記憶部 70と、代表 3次元物体モデル記憶部 20と、参照画像照合結果記憶部 50と、参照 3次元物体モデル記憶部 21とを備えている。

これらの部分はそれぞ； M略次のように動作する。画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、結果表示部 80と、参照画像記憶部 7 0と、代表 3次元物体モデル記憶部 2 0は、第 1図に示した本発明の第 1の実施の形態における処理と同一の処理を行う。

参照 3次元物体モデル記憶部 2 1には、当該参照画像に対応する参照 3次元物体モデノレが登録されている。当該参照 3次元物体モデルは、参照画像照合結果記憶部 5 0に登録されている参照画像照合結果の情報を基に、代表 3次元物体モデル記憶部 2 0における代表 3次元物体モデルの合成により生成することができる。または、前述の代表 3次元物体モデルの登録と同様に、 3次元形状測定装置により、参照画像と同じ物体の 3次元物体モデルが生成されている場合は、当該 3次元物体モデルを使用してもよい。

第 2の画像生成部 3 1は、結果照合部 6 0より得られる照合結果の上位候補の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、画像入力部 1 0より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する。

第 2の画像照合部 4 1は、画像入力部 1 0より得られる入力画像と、第 2の画像生成部 3 1より得られる各比較画像とを比較し、それぞれ類似度を計算する。次に、第 1 6図と、第 1 7図のフローチャートを参照して第 3の実施の形態の全体の動作について詳細に説明する。

入力画像の照合時においては、第 1 7図を参照すると、まず、ステップ 1 0 0 と、 1 0 1と、 1 0 2と、 1 0 3は、第 2図に示した第 1の実施の形態における動作と同一である。

第 2の画像生成部 3 1は、結果照合部 6 0より得られる照合結果の上位候補の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、画像入力部 1 0より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ 1 1 1 )。第 2の画像照合部 4 1は、画像入力部 1 0より得られる入力画像と、第 2の画像生成部 3 1より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステツプ 1 1 2 )。最後に、類似度の高い当該参照画像を表示する（ステップ 1 0 4 )。次に、上記のように構成され動作する第 3の実施の形態の効果について説明する。この第 3の実施の形態では、代表 3次元物体モデルの合成により生成した参照 3次元物体モデルを照合するように構成されているため、参照画像が物体毎に 1 つしか存在しない場合でも、参照 3次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。また、本実施の形態では、更に、代表 3次元物体モデルにより類似性の高い参照画像を抽出した後、上位候補に対して参照 3次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。

次に、具体的な実施例を用いて第 3の実施の形態の動作を説明する。

第 1の実施の形態の動作と同様、代表 3次元物体モデル記憶部 20には、第 3 図に示すような代表 3次元物体モデル Cj (j =l， 2， …， N) ί 参照画像記憶部 70には、第 4図に示すような各物体の参照画像 Ri ( i = 1, 2, ···, M) 1 参照画像照合結果記憶部 50には、第 5図に示すような各参照画像 1^の代表 3次元物体モデル Cjに対する照合結果（類似度）が記憶されている。

更に、第 18図に示すように、参照 3次元物体モデル記憶部 21には、当該参照画像に対応する参照 3次元物体モデル B； (i = l, 2， ···, M) が M個記憶されている。

入力画像の照合時においては、第 6図に示すような入力画像 I (u， v) が画像入力部 10により得られたとする. (第 16図のステップ 100)。第 1の実施の形態の動作と同じ処理により、画像生成部 30と、画像照合部 40と、結果照合部 60と、結果照合部 60により、入力画像と同一物体の画像である可能性が高い参照画像として、第 8図のように、 R₅, R₂が順に求まる（ステップ 1 01, 102, 103)。

第 2の画像生成部 31は、結果照合部 60より得られる照合結果から、例えば上位 3侯捕である R₁ R₅， R₂の参照画像に対して、参照 3次元物体モデル記憶部 21より対応する各参照 3次元物体モデル B ₁₅ B ₅， B ₂を取得し、画像入力部 10より得られる入力画像と姿勢や照明条件の近い比較画像 H_{j k} (u, v) (j =l， 5, 2、 k = l， ···, L) を生成する（ステップ 111)。比較画像 H _jk (u, v) の生成は、ステップ S 101と同様の方法により行う。すなわち、参照 3次元物体モデル記憶部 21における各参照 3次元物体モデル B _i ( j = 1, 5， 2)に対して、入力画像の姿勢や照明等の入力条件に近い比較画像 H_{j k} (u, v) (j =l， 5， 2、 k = l, ···, L) を L個生成する。第 2の画像照合部 41 は、当該入力画像 I (u， v) と当該各比較画像 H_{j k} (u, v) との類似度 S (1， H_{j k}) を求め、モデル毎に類似度の最大となる類似度 S_0j=_maXkS (1， H_{j k}) を求める（ステップ 112)。

照合結果は、例えば第 19図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、 S₀₅>S₀₁>S₀₂の場合、 R₅， R,, R₂が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ 104)。次に、本発明の第 4の実施の形態による画像照合システムについて第 20図以下を参照して詳細に説明する。

第 20図を参照すると、本努明の第 4の実施の形態による画像照合システムは、画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、第 2の画像生成部 31と、第 2の画像照合部 41と、結果表示部 80と、参照画像記憶部 70と、参照画像登録部 75と、代表 3次元物体モデル記憶部 20と、 3次元物体モデル登録部 25と、参照画像照合結果記憶部 50と、参照画像照合結果更新部 55と、参照 3次元物体モデル記憶部 21と、 3次元物体モデル生成部 27とを備えている。

この第 4の実施の形態においては、第 3の実施の形態の構成に、参照画像登録部 75と、 3次元物体モデル登録部 25と、参照画像照合結果更新部 55と、 3 次元物体モデル生成部 27を加えた構成となっている。

第 4の実施の形態による画像照合システムの第 3の実施の形態と同じ構成要素については説阴を省略し、本実施の形態で追加された構成要素について説明を進める。

これらの部分はそれぞ; W略次のように動作する。画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、結果表示部 80と、参照画像記憶部 70と、参照画像登録部 75と、代表 3次元物体モデル記憶部 20と、 3次元物体モデノレ登録部 25と、参照画像照合結果更新部 55は、第 1図に示した本努明の第 1の実施の形態と第 9図に示した第 2の実施の形態における処理と同一の処理を行う。また、参照 3次元物体モデル記憶部 2 1、第 2の画像生成部 3 1、第 2の画像照合部 4 1については、第 1 6図に示した第 3の実施の形態における処理と同一の処理を行う。

3次元物体モデル生成部 2 7は、登録時において、参照画像照合結果更新部 5 5により参照画像照合結果記憶部 5 0に参照画像照合結果が登録された時、参照画像照合結果の情報を基に、当該参照画像に対応する参照 3次元物体モデルを代表 3次元物体モデル記憶部 2 0における代表 3次元物体モデルの合成により生成し、当該参照 3次元物体モデルを参照 3次元物体モデル記憶部 2 1に登録し又は参照 3次元物体モデル記憶部 2 1の参照 3次元物体モデルを更新する。

第 2の画像照合部 4 1は、画像入力部 1 0より得られる入力画像と、第 2の画像生成部 3 1より得られる各比較画像とを比較し、それぞれ類似度を計算する。次に、第 2 0図と、第 1 7図、第 2 1図、第 2 2図のフローチャートを参照して第 4の実施の形態の全体の動作について詳細に説明する。

第 2の画像生成部 3 1は、結果照合部 6 0より得られる照合結果の上位侯補の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、画像入力部 1 0より得られる入力画像と姿勢や照明条件等の入力条件の近い比較画像を生成する（ステップ 1 1 1 )。第 2の画像照合部 4 1は、画像入力部 1 0より得られる入力画像と、第 2の画像生成部 3 1より得られる各比較画像とを比較し、それぞれ類似度を計算する（ステツプ 1 1 2 )。最後に、類似度の高い当該参照画像を表示する（ステップ 1 0 4 )。

3次元物体モデルの登録時においては、第 2 1図を参照すると、まず、ステツプ 2 0 0と、 2 0 1と、 2 0 2は、第 1 0図に示した第 2の実施の形態における動作と同一である。最後に、 3次元物体モデル生成部 2 7は、参照画像照合結果記憶部 5 0における各参照画像照合結果の情報を基に、各参照画像に対応する参照 3次元物体モデルを代表 3次元物体モデル記憶部 2 0における代表 3次元物体モデルの合成により再生成し、当該参照 3次元物体モデルを参照 3次元物体モデル記憶部 2 1に登録し又は記憶されている参照 3次元物体モデルと置換する（ステツプ 2 2 0 )。

参照画像の登録時においては、第 2 2図を参照すると、まず、ステップ 2 1 0 と、 2 1 1と、 2 1 2は、第 1 1図に示した第 2の実施の形態における動作と同 —である。最後に、 3次元物体モデル生成部 2 7は、参照画像照合結果記憶部 5 0に新しく登録された当該参照画像照合結果の情報を基に、当該参照画像に対応する参照 3次元物体モデルを代表 3次元物体モデル記憶部 2 0における代表 3次元物体モデルの合成により生成し、当該参照 3次元物体モデルを参照 3次元物体モデル記憶部 2 1に追加登録する（ステップ 2 2 1 )。

次に、上記のように構成され動作する第 4の実施の形態の効果について説明する。

この第 4の実施の形態では、代表 3次元物体モデルの合成により参照 3次元物体モデルを生成し照合するように構成されているため、参照画像が物体毎に 1つしか存在しない場合でも、参照 3次元物体モデルにより姿勢や照明条件等の入力条件の異なる条件で撮影された物体の入力画像に対し、参照画像を検索できる。また、本実施の形態では、更に、代表 3次元物体モデ /レにより類似性の高レ、参照画像を抽出した後、上位候補に対して参照 3次元物体モデルとの照合を行うというように構成されているため、高速に参照画像を検索できる。

次に、具体的な実施例を用いて第 4の実施の形態の動作を説明する。

第 1の実施の形態の動作と同様、代表 3次元物体モデル記憶部 2 0には、第 3 図に示すような代表 3次元物体モデル Cj ( j = 1 , 2 , ···, N) I 参照画像記憶部 7 0には、第 4図に示すような各物体の参照画像 R i ( i = l， 2 , …， M) 力参照画像照合結果記憶部 5 0には、第 5図に示すような各参照画像の代表 3次元物体モデル C jに対する照合結果（類似度） S が記憶されている。

更に、第 1 8図に示すように、参照 3次元物体モデル記憶部 2 1には、参照画像の登録時の処理により、当該参照画像 R；に対応する参照 3次元物体モデル B i (i = l， 2， …， M) が M個記憶されている。

入力画像の照合時においては、第 6図に示すような入力画像 I (u, v) が画像入力部 10により得られたとする（第 16図のステップ 100)。第 1の実施の形態の動作と同じ処理により、画像生成部 30と、画像照合部 40と、結果照合部 60と、結果照合部 60により、入力画像と同一物体の画像である可能性が高い参照画像として、第 8図のように、 R₅, R₂が順に求まる（ステップ 1 01， 102， 103)。

第 2の画像生成部 31は、結果照合部 60より得られる照合結果から、例えば上位 3候補である Rい R₅，. R₂の参照画像に対して、参照 3次元物体モデル記憶部 21より対応する各参照 3次元物体モデル B B₅， B₂を取得し、画像入力部 10より得られる入力画像と姿勢や照明条件の近い比較画像 H_{3 k} (u, v)

( j =1， 5， 2、 k= 1, ···, L) を生成する（ステップ 1 11)。第 2の画像照合部 41は、当該入力画像 I (u, v) と当該各比較画像 H_{j k} (u, v) との類似度 S (1， H_{j k}) を求め、モデル毎に類似度の最大となる類似度 S_0j=max _kS (1， H_{j k}) を求める（ステップ 1 12)。

照合結果は、例えば第 1 9図のようになり、入力画像と同一物体の画像である可能性が高い参照画像として、 R₅， R_t, R₂が順に求まる。最後に、類似度の高い当該参照画像を表示する（ステップ 104)。

3次元物体モデルの登録時においては、まず、 3次元物体モデル登録部 25は、代表 3次元物体モデル記憶部 20に既に N= 50個の 3次元物体モデルが登録されている時、 51番目の新しい代表 3次元物体モデル C ₅1を登録する（第 21図のステップ 200)。

次に、第 2の実施の形態の動作と同じ処理により、参照画像照合結果更新部 5 5は、参照画像照合結果記憶部 50における各参照画像の照合結果 S j _iを更新する（ステップ 20 1， 202)。

最後に、 3次元物体モデル生成部 27は、参照画像照合結果記憶部 50における各参照画像照合結果 Si jの情報を基に、各参照画像（i =l， 2， ···， M) に対応する参照 3次元物体モデル B；を代表 3次元物体モデル記憶部 20における代表 3次元物体モデル Cjの合成により再生成し、当該参照 3次元物体モデル B iを参照 3次元物体モデル記憶部 21に既に記憶されている参照 3次元物体モデルと置換する（ステップ 220)。

ここで、代表 3次元物体モデル Cj ( j = 1, 2， …， N) の形状とテクスチャをそれぞれ P_Qj (x, y, _Z)、 T_Qj (R， G, B) とし、参照 3次元物体モデル ( i = 1, 2， ···, M) の形状とテクスチャをそれぞれ P_Qi (x， y, z)、 T_Qi (R， G， B) とすると、参照 3次元物体モデルは例えば下式により計算される。

P_Qi (x， y, z) =∑」 f (S_u) P_Qj (x, y, z)

T_Qi (R， G， B) =∑j f (S T_Qj (R， G， B)

ここで、 f は S i ₃の増加に対して単調増加し、 f (Sij) = 1を満たす関数で、最も単純な例としては f (Sij) =S_i5/∑₅ により実現できる。

参照画像の登録時においては、まず、参照画像登録部 75は、参照画像記憶部 70に既に M= l 00個の参照画像が記憶されている時、 1 0 1番目の新しレヽ参照画像 R₁₀₁を登録する（第 22図のステップ 2 1 0)。

次に、第 2の実施の形態の動作と同じ処理により、参照画像照合結果更新部 5 5は、参照画像 R！。丄に対応する照合結果 S ₁₀₁,₃.を参照画像照合結果記憶部 50 に追加する（ステップ 21 1， 2 1 2)。

最後に、 3次元物体モデル生成部 27は、参照画像照合結果記憶部 5 0における当該参照画像照合結果 S_{101i j}の情報を基に、当該参照画像 R 。 iに対応する参照 3次元物体モデル B！。を代表 3次元物体モデル記憶部 20における代表 3次元物体モデル Cjの合成により生成し、当該参照 3次元物体モデル B ₁。を参照 3 次元物体モデル記憶部 2 1に追加する（ステップ 22 1)。

次に、本発明の第 5の実施の形態による画像照合システムについて第 23図以下を参照して詳細に説明する。

第 23図を参照すると、本発明の第 5の実施の形態による画像照合システムは、画像入力部 10と、画像生成部 30と、画像照合部 40と、結果照合部 60と、画像変換部 36と、部分画像照合部 45と、結果表示部 80と、参照画像記憶部 70と、代表 3次元物体モデル記憶部 20と、参照画像照合結果記憶部 50と、参照 3次元物体モデル記憶部 2 1とを備えている。

これらの部分はそれぞれ概略次のように動作する。画像入力部 1 0と、画像生成部 3 0と、画像照合部 4 0と、結果照合部 6 0と、結果表示部 8 0と、参照画像記憶部 7 0と、代表 3次元物体モデル記憶部 2 0は、第 1図に示した本発明の第 1の実施の形態における処理と同一の処理を行う。

画像変換部 3 6は、結果照合部 6 0より得られる照合結果の上位侯捕の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。画像変換部 3 6は、図 2 8に示す第 2の従来技術の画像変換部 3 5と同様なものである。

部分画像照合部 4 5は、前記画像変換部 3 6より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。類似度の計算は上述のステップ S 1 0 2と同様に行う。

次に、第 2 3図及び第 2 4図のフローチャートを参照して第 5の実施の形態の全体の動作について詳細に説明する。

入力画像の照合時においては、第 2 4図を参照すると、まず、ステップ 1 0 0 と、 1 0 1と、 1 0 2と、 1 0 3は、第 2図に示した第 1の実施の形態における動作と同一である。画像変換部 3 6は、結果照合部 6 0より得られる照合結果の上位候補の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ 1 2 1 )。

部分画像照合部 4 5は、前記画像変換部 3 6より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類 iJ¾度を計算する（ステップ 1 2 2 )。最後に、類似度の高い当該参照画像を表示する（ステップ 1 0 4 )。

本発明の第 5の実施の形態では、画像変換部 3 6において、入力画像と参照画像の两方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部 3 6において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。こうすることにより、照合の度に参照画像を変換する必要が無くなり、照合時間を短縮させることができる。

次に、本発明の第 6の実施の形態による画像照合システムについて第 2 5図を参照して詳細に説明する。

第 2 5図を参照すると、本発明の第 6の実施の形態による画像照合システムは、画像入力部 1 0と、画像生成部 3 0と、画像照合部 4 0と、結果照合部 6 0と、画像変換部 3 6と、部分画像照合部 4 5と、結果表示部 8 0と、参照画像記憶部 7 0と、参照画像登録部 7 5と、代表 3次元物体モデル記憶部 2 0と、 3次元物体モデル登録部 2 5と、参照画像照合結果記憶部 5 0と、参照画像照合結果更新部 5 5と、参照 3次元物体モデル記憶部 2 1と、 3次元物体モデル生成部 2 7とを備えている。

これらの部分はそれぞれ概略次のように動作する。画像入力部 1 0と、画像生成部 3 0と、画像照合部 4 0と、結果照合部 6 0と、結果表示部 8 0と、参照画像記憶部 7 0と、参照画像登録部 7 5と、代表 3次元物体モデノレ記憶部 2 0と、 3次元物体モデル登録部 2 5と、参照画像照合結果更新部 5 5は、第 1図に示した本発明の第 1の実施の形態と第 9図に示した第 2の実施の形態における処理と同一の処理を行う。

また、参照 3次元物体モデル記憶部 2 1と、 3次元物体モデ/レ生成部 2 7は、第 1 6図に示した第 3の実施の形態と第 2 0図に示した本発明の第 4の実施の形態における処理と同一の処理を行う。

画像変換部 3 6は、結果照合部 6 0より得られる照合結果の上位候補の参照画像に対して、参照 3次元物体モデル記憶部 2 1より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換することで部分画像を生成する。部分画像照合部 4 5は、前記画像変換部 3 6より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する。次に、第 2 5図及ぴ第 2 4図のフローチャートを参照して第 6の実施の形態の全体の動作について詳細に説明する。入力画像の照合時においては、第 24図を参照すると、まず、ステップ 100 と、 101と、 102と、 103は、第 2図に示した第 1の実施の形態における動作と同一である。画像変換部 36は、結果照合部 60より得られる照合結果の上位侯補の参照画像に対して、参照 3次元物体モデル記憶部 21より得られる当該参照画像に対応する各参照 3次元物体モデルを基に、入力条件（例えば姿勢条件）が同じになるように、当該入力画像と当該参照画像の両方又はいずれかを変換し部分画像を生成する。（ステップ 121)。

部分画像照合部 45は、前記画像変換部 36より得られる変換された入力画像と参照画像との部分画像を比較し、それぞれ類似度を計算する（ステップ 122)。最後に、類似度の高い当該参照画像を表示する（ステップ 104)。

本発明の第 6の実施の形態では、画像変換部 36において、入力画像と参照画像の両方又はいずれかを変換するとしているが、参照画像を予め標準的な入力条件（例えば姿勢条件）に変換し記憶しておき、画像変換部 36において入力画像を標準的な入力条件（例えば姿勢条件）に変換するようにしてもよい。

本発明の第 1から第 6の実施の形態では、画像照合部 40において、入力画像 I (u, v) と各比較画像 G_jk (u, v) との類似度 S (1， G_jk) を求める際、全体で一つの類似度 S (1， G_ik)を求めているが、部分領域 m毎に類似度 S (1， G' _jkm) を求め、モデル毎に類似度の最大となる類似度 S'_0jB=ni_aXkS (1， G ， _{j km}) を求めてもよい。

部分領域は、例えば第 29図に示すような領域である。この場合、参照画像照合結果記憶部 50にも、部分領域 m毎の類似度 S'_ijn=max_kS (R_i5 G' _{i k} を記憶しておく。結果照合部 60は、当該照合結果 S '。 ^ _mと参照画像照合結果記憶部 50における各参照画像の照合結果 S'； _jBとの類似度 D^SJD (S'_0jm， S' i . を計算し、当該照合結果の類似度 Diの高い参照画像を順に抽出する。また、第 4及び第 6の施の形態における 3次元物体モデル生成部 27においても、各部分領域毎に代表 3次元物体モデルを合成すればよい。

また、本発明の第 1から第 6の実施の形態では、多数の参照画像の中から入力画像と同一の物体の画像を検索する動作について説明したが、特定の参照画像に対して入力画像と同一の物体であるかを判定する一対一照合に適用することも可能である。

第 1 、 2の実施の形態では、例えば特定の参照画像を 1^とすると、結果照合部 6 0は、入力画像の照合結果 S。 jと参照画像の照合結果 Sェ _:-との類似度 D ₁ =D ( S。j， S _{x j} ) を計算し、この類似度があるしきい値より大きければ、は入力画像と同一物体と判定できる。また、第 3、 4及ぴ第 5、 6の実施の形態では、第 2の画像照合部 4 1及び部分画像照合部 4 5における入力画像と特定の参照画像の類似度があるしきい値より大きいかどうかで判定できる。

本発明の画像照合システムは、構成要素である各部分の機能をハードウエア的に実現することは勿論として、上記した各部分の機能をコンピュータに実現させるための画像照合プログラム 5 0 0をコンピュータが読み込んで実行することによっても実現することができる。この画像照合プログラム 5 0 0は、磁気ディスク、半導体メモリその他の記録媒体に格納され、コンピュータはその記録媒体から画像照合プログラム 5 0 0を読み込む。産業上の利用可能性本発明は、顔等の画像を用いた人物特定、個人認証等に利用することができる。

Claims

請求の範囲

1 . 入力画像に類似する参照画像を検索する画像照合システムにおいて、前記入力画像と複数の代表 3次元物体モデルとを照合する手段と、

前記参照画像と複数の前記代表 3次元物体モデルとを照合する手段と、前記入力画像と複数の前記代表 3次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表 3次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索する手段と、

を備えることを特徴とする画像照合システム。

2 . 請求項 1に記載の画像照合システムにおいて、

前記入力画像に類俊する前記参照画像に対応する参照 3次元物体モデルを求める手段と、

前記参照 3次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索する手段と、

を更に備えることを特徴とする画像照合システム。

3 . 請求項 1に記載の画像照合システムにおいて、

前記入力画像に類似する前記参照画像に対応する参照 3次元物体モデルを求める手段と、

前記参照 3次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換手段と、

前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索する手段と、

を更に備えることを特徴とする画像照合システム。

4 . 請求項 3に記載の画像照合システムにおいて、

前記変換手段は、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合システム。

5 . 請求項 1に記載の画像照合システムにおいて、

前記入力画像を入力する画像入力手段と、

複数の前記代表 3次元物体モデルを記憶する代表 3次元物体モデル記憶部と、前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデノレを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにっき少なくとも 1つ生成する画像生成手段と、

前記入力画像と、前記画像生成手段により生成された各比較画像との間の類俊度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類俊度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合手段と、

各物体の前記参照画像を記憶する参照画像記憶部と、

前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、

前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、

を備えることを特徴とする画像照合システム。

6 . 請求項 5に記載の画像照合システムにおいて、

前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録手段と、

前記参照画像記憶部に各参照画像を登録する参照画像登録手段と、

前記 3次元物体モデル登録手段により前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、

を更に備えることを特徴とする画像照合システム。

7 . 請求項 5に記載の画像照合システムにおいて、

前記画像照合手段は、 tins入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部^ B域毎に記憶し、

前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部^域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合システム。

8 . 請求項 5に記載の画像照合システムにおいて、

前記結果照合手段は、前記入力画像と各代表 3次元物体モデノレとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。

9 . 請求項 2に記載の画像照合システムにおいて、

前記入力画像を入力する画像入力手段と、

複数の前記代表 3次元物体モデルを記憶する代表 3次元物体モデル記憶部と、前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにっき少なくとも 1つ生成する画像生成手段と、

前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合手段と、

各物体の前記参照画像を記憶する参照画像記憶部と、

前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を記憶する参照画像照合結果記憶部と、 tin己画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合手段と、

前記参照画像記憶部に記憶されている各参照画像に対応する参照 3次元物体モデルを記憶する参照 3次元物体モデル記憶部と、

前記結果照合手段より抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、入力画像と入力条件の近い第 2の比較画像を各参照 3次元物体モデルにっき少なくとも 1つ生成する第 2の画像生成手段と、

前記入力画像と、前記第 2の画像生成手段により生成された各第 2の比較画像との間の類似度を計算し、各参照 3次元物体モデルに対応する第 2の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照 3次元物体モデルとの間の類似度とする第 2の画像照合手段と、

を備えることを特徴とする画像照合システム。

1 0 . 請求項 9に記載の画像照合システムにおいて、

前記 3次元物体モデル登録手段により前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、

前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表 3次元物体モデルとの間の類似度が登録された時、該類度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデル生成手段と、

を更に備えることを特徴とする画像照合システム。

1 1 . 請求項 1 0に記載の画像照合システムにおいて、 .

前記 3次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の部分領域毎の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部^ 1g域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録することを特徴とする画像照合システム。

1 2 . 請求項 9に記載の画像照合システムにおいて、

前記画像照合手段は、前記入力画像と代表 3次元物体モデルとの間の類似度を部^ 域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部分領域毎に記憶し、

前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照面像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合システム。

1 3 . 請求項 9に記載の画像照合システムにおいて、

前記結果照合手段は、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と备代表 3次元物体モデルとの間の類似度との間の類度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の侯補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。

1 4 . 請求項 3に記载の画像照合システムにおいて、前記入力画像を入力する画像入力手段と、

各物体の前記参照画像を記憶する参照画像記憶部と、

前記結果照合手段より抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、前記入力画像と前記結果照合手段により抽出された参照画像の両方又はレ、ずれかを変換することにより前記入力画像と前記結果照合手段により抽出された前記参照画像の入力条件を揃え、入力条件の揃つた前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換手段と、

前記画像変換手段により生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合手段と、

を備えることを特徴とする画像照合システム。

1 5 . 請求項 1 4に記載の画像照合システムにおいて、前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録手段と、

前記 3次元物体モデル登録手段により前記代表 3次元物体モデル記憶部に新たな.代表 3次元物体モデルが登録された時、又は、前記参照画像登録手段により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合手段により前記類似度の計算を行い、該計算の結果'を前記参照画像照合結果記憶部に追加する参照画像照合結果更新手段と、 '

前記参照画像照合結果更新手段により参照画像照合結果記憶部に前記参照画像と前記代表 3次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録十る 3次元物体モデル生成手段と、

を更に備えることを特徴とする画像照合システム。

1 6 . 請求項 1 5に記載の画像照合システムにおいて、

前記 3次元物体モデル生成手段は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の部分領域毎の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部^ S域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録することを特徴とする画像照合システム。

1 7 . 請求項 1 4に記載の画像照合システムにおいて、

前記画像照合手段は、前記入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部: 9ϋ域毎に記憶し、

前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部貝域毎の類似度とを基に、前記入力画像に類 {Κする前記参照画像を抽出することを特徴とする画像照合システム。

1 8. 請求項 1 4に記載の画像照合システムにおいて、

前記結果照合手段は、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合システム。

1 9. 請求項 1に記載の画像照合システムにおいて、前記物体が、人間の顏であることを特徴とする画像照合システム。

2 0 . 入力画像に類似する参照画像を検索する画像照合方法において、

前記入力画像と複数の代表 3次元物体モデルとを照合するステツプと、：前記参照画像と複数の前記代表 3次元物体モデルとを照合するステップと、前記入力画像と複数の前記代表 3次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表 3次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索するステップと、

を備えることを特徴とする画像照合方法。

2 1 . 請求項 2 0に記載の画像照合方法において、

前記入力画像に類似する前記参照画像に対応する参照 3次元物体モデルを求めるステップと、

前記参照 3次元物体モデルと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索するステップと、

を更に備えることを特徴とする画像照合方法。

2 2. 請求項 2 0に記載の画像照合方法において、

前記参照 3次元物体モデルに基づいて、前記入力画像と前記参照画像の両方又はレヽずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換ステップと、

前記入力条件が揃つた前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索するステップと、

を更に備えることを特徴とする画像照合方法。

2 3 . 請求項 2 2に記載の画像照合方法において、

前記変換ステップは、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合方法。

2 4 . 請求項 2 0に記載の画像照合方法において、

前記入力画像を入力する画像入力ステップと、

複数の前記代表 3次元物体モデルを代表 3次元物体モデル記憶部に記憶するステツプと、

前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにっき少なくとも 1つ生成する画像生成ステップと、

前記入力画像と、前記画像生成ステツプにより生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合ステツプと、

各物体の前記参照画像を参照画像記憶部に記憶するステップと、

前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を参照画像照合結果記憶部に記憶するステップと、

前記画像照合ステツプにより計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、を備えることを特徴とする画像照合方法。

2 5 . 請求項 2 4に記載の画像照合方法において、

前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデル登録ステツプと、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステツプと、前記 3次元物体モデル登録ステツプにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステツプと、

を更に備えることを特徴とする画像照合方法。

2 6 . 請求項 2 4に記載の画像照合方法において、

前記画像照合ステツプは、前記入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類度を部分領域毎に記憶し、

前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデ /レとの間の部 ¾U域毎の類 ί以度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合方法。

2 7 . 請求項 2 4に記載の画像照合方法において、

前記結果照合ステツプは、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像おょぴ各比較画像と各代表 3次元物体モデルとの間の類似度の侯補順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。

2 8 . 請求項 2 1に記載の画像照合方法において、

前記入力画像を入力する画像入力ステップと、

前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにっき少なくとも 1つ生成する画像生成ステツプと、

前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合ステップと、

各物体の前記参照画像を参照画像記憶部に記憶するステツプと、

前記画像照合ステツプにより計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、

前記参照画像記憶部に記憶されている各参照画像に対応する参照 3次元物体モデルを参照 3次元物体モデル記憶部に記憶するステップと、

前記結果照合ステップより抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデノレを基に、入力画像と入力条件の近い第 2の比較画像を各参照 3次元物体モデルにつき少なくとも 1つ生成する第 2の画像生成ステップと、

前記入力画像と、前記第 2の画像生成ステップにより生成された各第 2の比較画像との間の類似度を計算し、各参照 3次元物体モデルに対応する第 2の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照 3次元物体モデルとの間の類似度とする第 2の画像照合ステップと、を備えることを特徴とする画像照合方法。

2 9 . 請求項 2 8に記載の画像照合方法において、

前記代表 3次元物体モデル記憶部に各代表 3次元物体モデルを登録する 3次元物体モデノレ登録ステツプと、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステツプと、前記 3次元物体モデル登録ステップにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステツプと、

前記参照画像照合結果更新ステップにより参照画像照合結果記憶部に前記参照画像と前記代表 3次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデル生成ステップと、

を更に備えることを特徴とする画像照合方法。 .

3 0 . 請求項 2 9に記載の画像照合方法において、

前記 3次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録することを特徴とする画像照合方法。

3 1 . 請求項 2 8に記載の画像照合方法において、

前記画像照合ステップは、前記入力画像と代表 3次元物体モデルとの間の類似度を部分領域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部^ S域毎に記憶し、

前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部^ g域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部: 域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合方法。

3 2 . 請求項 2 8に記載の画像照合方法において、

前記結果照合ステップは、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候捕順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。

3 3 . 請求項 2 2に記載の画像照合方法において、

前記入力画像を入力する画像入力ステップと、

前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデルを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにつき少なくとも 1つ生成する画像生成ステツプと、

前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデノレに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合ステップと、

前記画像照合ステツプにより計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデノレとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、

前記結果照合ステップより抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデ /レを基に、前記入力画像と前記結果照合ステップにより抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合ステップにより抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換ステツプと、

前記画像変換ステップにより生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合ステツプと、

を備えることを特徴とする画像照合方法。

3 4. 請求項 3 3に記載の画像照合方法において、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステツプと、前記 3次元物体モデル登録ステツプにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステツプと、

前記参照画像照合結果更新ステツプにより参照画像照合結果記憶部に前記参照画像と前記代表 3次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデル生成ステップと、

を更に備えることを特徴とする画像照合方法。

3 5 . 請求項 3 4に記載の画像照合方法において、

前記 3次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部: ¾1S域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録することを特徵とする画像照合方法。

3 6 . 請求項 3 3に記載の画像照合方法において、

前記結果照合ステップは、前記画像照合ステップにより計算された前記入力画像と各代表 3次元物体モデルとの間の部; 9 ^域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類 ί¾する前記参照画像を抽出することを特徴とする画像照合方法。

3 7 . 請求項 3 3に記載の画像照合方法において、

前記結果照合ステップは、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合方法。

3 8 . 請求項 2 0に記載の画像照合方法において、前記物体が、人間の顔であることを特徴とする画像照合方法。

3 9 . 入力画像に類似する参照画像を検索する画像照合方法をコンピュータに実行させるための画像照合プログラムにおいて、

前記画像照合方法は、

前記入力画像と複数の代表 3次元物体モデルとを照合するステップと、前記参照画像と複数の前記代表 3次元物体モデルとを照合するステップと、前記入力画像と複数の前記代表 3次元物体モデルとを照合した結果と、前記参照画像と複数の前記代表 3次元物体モデルとを照合した結果とを用いて、前記入力画像に類似する前記参照画像を検索するステップと、

を備えることを特徴とする画像照合プログラム。

4 0 . 請求項 3 9に記載の画像照合プログラムにおレヽて、

前記画像照合方法は、

前記参照 3次元物体モデノレと前記入力画像とを用いて、前記入力画像に類似する前記参照画像を新たに検索するステップと、

を更に備えることを特徴とする画像照合プロダラム。

4 1 . 請求項 3 9に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記参照 3次元物体モデノレに基づいて、前記入力画像と前記参照画像の両方又はいずれかを変換することにより前記入力画像と前記参照画像の入力条件を揃える変換ステップと、

前記入力条件が揃った前記入力画像と前記参照画像とを照合することにより、前記入力画像に対応する前記参照画像を検索するステップと、

を更に備えることを特徴とする画像照合プログラム。

4 2. 請求項 4 1に記載の画像照合プログラムにおいて、

前記変換ステップは、前記参照画像を予め変換しておき、前記入力画像の入力条件を前記参照画像の入力条件に合わせることを特徴とする画像照合プログラム。

4 3 . 請求項 3 9に記載の画像照合プログラムにおいて、前記画像照合方法は、

ΙΐΠ己入力画像を入力する画像入力ステップと、

前記代表 3次元物体モデル記憶部に記憶されている複数の前記代表 3次元物体モデ /レを基に、前記入力画像と入力条件が近い比較画像を各代表 3次元物体モデルにっき少なくとも 1つ生成する画像生成ステップと、

前記画像照合ステツプにより計算された前記入力画像と各代表 3次元物体モデルとの間の類俊度と、前記参照画像照合結果記憶部に記憶されてレヽる各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステツプと、

を備えることを特徴とする画像照合プログラム。

4 4 . 請求項 4 3に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステツプと、前記 3次元物体モデル登録ステツプにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に新たな参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に口する参照画像照合結果更新ステップと、

を更に備えることを特徴とする画像照合プログラム。

4 5. 請求項 4 3に記載の画像照合プログラムにおいて、

前記画像照合ステツプは、前記入力画像と代表 3次元物体モデルとの間の類似度を部域毎に計算し、

前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部 ϋ域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部: 域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。

4 6 . 請求項 4 3に記載の画像照合プログラムにおいて、

前記結果照合ステップは、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合プログラム。

4 7 . 請求項 4 0に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記入力画像を入力する画像入力ステップと、

前記入力画像と、前記画像生成ステップにより生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合ステップと、，

前記画像照合ステップにより計算された前記入力画像と各代表 3次元物体モデルとの間の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の類似度とを基に、前記入力画像に類似する前記参照画像を抽出する結果照合ステップと、

前記結果照合ステップより抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、入力画像と入力条件の近い第 2の比較画像を各参照 3次元物体モデルにつき少なくとも 1つ生成する第 2の画像生成ステップと、

前記入力画像と、前記第 2の画像生成ステップにより生成された各第 2の比較画像との間の類似度を計算し、各参照 3次元物体モデルに対応する第 2の比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と参照 3次元物体モデルとの間の類似度とする第 2の画像照合ステツプと、

を備えることを特徴とする画像照合プログラム。

4 8 . 請求項 4 7に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、前記 3次元物体モデル登録ステツプにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録により前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステツプと、

を更に備えることを特徴とする画像照合プログラム。

4 9 . 請求項 4 8に記載の画像照合プログラムにおいて、

前記 3次元物体モデル生成ステップは、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を基に、前記代表 3次元物体モデル記憶部に記憶されている代表 3次元物体モデルを部分領域毎に合成することにより各参照画像に対応する参照 3次元物体モデルを生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録することを特徴とする画像照合プログラム。

5 0 . 請求項 4 7に記載の画像照合プログラムにおいて、

前記画像照合ステップは、前記入力画像と代表 3次元物体モデルとの間の類似度を部： ^貝域毎に計算し、

前記結果照合ステップは、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデルとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部^域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。

5 1 . 請求項 4 7に記載の画像照合プログラムにおいて、

5 2. 請求項 4 1に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記入力画像を入力する画像入力ステップと、

複数の少なくとも 1つの前記代表 3次元物体モデルを代表 3次元物体モデル記憶部に記憶するステップと、

前記入力画像と、前記画像生成手段により生成された各比較画像との間の類似度を計算し、各代表 3次元物体モデルに対応する比較画像について最大類似度を選出し、当該最大類似度を前記入力画像と代表 3次元物体モデルとの間の類似度とする画像照合ステップと、

前記結果照合ステップより抽出された各参照画像に対応する各参照 3次元物体モデルを前記参照 3次元物体モデル記憶部より得て、得られた各参照 3次元物体モデルを基に、前記入力画像と前記結果照合ステップにより抽出された参照画像の両方又はいずれかを変換することにより前記入力画像と前記結果照合ステップにより抽出された前記参照画像の入力条件を揃え、入力条件の揃った前記入力画像と前記参照画像の部分画像をそれぞれ生成する画像変換ステツプと、

前記画像変換ステツプにより生成された前記入力画像の部分画像と前記参照画像の部分画像との間の類似度を計算する部分画像照合ステップと、

を備えることを特徴とする画像照合プログラム。

5 3 . 請求項 5 2に記載の画像照合プログラムにおいて、

前記画像照合方法は、

前記参照画像記憶部に各参照画像を登録する参照画像登録ステップと、前記 3次元物体モデル登録ステツプにより前記代表 3次元物体モデル記憶部に新たな代表 3次元物体モデルが登録された時、又は、前記参照画像登録ステップにより前記参照画像記憶部に参照画像が登録された時に、登録により新たに生じた参照画像と代表 3次元物体モデルとの組み合わせに対して、前記画像照合ステップにより前記類似度の計算を行い、該計算の結果を前記参照画像照合結果記憶部に追加する参照画像照合結果更新ステップと、

前記参照画像照合結果更新ステツプにより参照画像照合結果記憶部に前記参照画像と前記代表 3次元物体モデルとの間の類似度が登録された時、該類似度を基に、当該参照画像に対応する前記参照 3次元物体モデルを前記代表 3次元物体モデル記憶部に記憶されている前記代表 3次元物体モデルを合成することにより生成し、生成された参照 3次元物体モデルを前記参照 3次元物体モデル記憶部に登録する 3次元物体モデル生成ステツプと、

を更に備えることを特徴とする画像照合プログラム。

5 4 . 請求項 5 3に記載の画像照合プログラムにおいて、

5 5 . 請求項 5 2に記載の画像照合プログラムにおいて、

前記画像照合手段は、前記入力画像と代表 3次元物体モデルとの間の類似度を部域毎に計算し、

前記参照画像照合結果記憶部は、前記参照画像記憶部に記憶されている各参照画像と、前記代表 3次元物体モデル記憶部に記憶されている各代表 3次元物体モデルとの間の類似度を部貝域毎に記憶し、

前記結果照合手段は、前記画像照合手段により計算された前記入力画像と各代表 3次元物体モデ/レとの間の部分領域毎の類似度と、前記参照画像照合結果記憶部に記憶されている各参照画像と各代表 3次元物体モデルとの間の部分領域毎の類似度とを基に、前記入力画像に類似する前記参照画像を抽出することを特徴とする画像照合プログラム。

5 6 . 請求項 5 2に記載の画像照合プログラムにおいて、

前記結果照合ステツプは、前記入力画像と各代表 3次元物体モデルとの間の類似度と、各参照画像と各代表 3次元物体モデルとの間の類似度との間の類似度を計算し、該計算において、前記入力画像および各比較画像と各代表 3次元物体モデルとの間の類似度の候補順位に基づき各類似度に重み付けをすることを特徴とする画像照合プログラム。

5 7 · 請求項 3 9に記載の画像照合プログラムにおいて、前記物体が、人間の顔であることを特徴とする画像照合プロダラム。