JPWO2005038716A1 - 画像照合システム及び画像照合方法 - Google Patents

画像照合システム及び画像照合方法 Download PDF

Info

Publication number
JPWO2005038716A1
JPWO2005038716A1 JP2005514861A JP2005514861A JPWO2005038716A1 JP WO2005038716 A1 JPWO2005038716 A1 JP WO2005038716A1 JP 2005514861 A JP2005514861 A JP 2005514861A JP 2005514861 A JP2005514861 A JP 2005514861A JP WO2005038716 A1 JPWO2005038716 A1 JP WO2005038716A1
Authority
JP
Japan
Prior art keywords
image
reference image
dimensional
distance value
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005514861A
Other languages
English (en)
Other versions
JP4556873B2 (ja
Inventor
濱中　雅彦
雅彦 濱中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2005038716A1 publication Critical patent/JPWO2005038716A1/ja
Application granted granted Critical
Publication of JP4556873B2 publication Critical patent/JP4556873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

物体の３次元データを入力する３次元データ入力手段（１０）と、少なくとも１つの物体の参照画像を記憶する参照画像記憶部（３０）と、物体の姿勢の候補である姿勢候補を生成する姿勢候補決定手段（２０）と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する比較画像生成手段（４０）と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段（５５）とを備える。これにより、物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合や検索ができる。また、物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至少数しか存在しない場合にも、高精度に照合や検索ができる。

Description

本発明は、画像照合システム、画像照合方法及び画像照合用プログラムに関し、特に、物体の３次元モデルを事前に登録することができず、システム内のデータベースやネットワークにある各物体の参照画像が１枚乃至少数しか存在せず、且つ、姿勢や照明等異なる条件で撮影されている場合にも高精度に照合・検索ができる画像照合システム、画像照合方法及び画像照合用プログラムに関するものである。
図２５は従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、画像変換手段１１７と、画像照合手段１５７と、参照画像記憶部１３０と、標準３次元物体モデル記憶部１３５とから構成されている。
参照画像記憶部１３０には、物体を撮影した参照画像が予め記憶されている。標準３次元物体モデル記憶部１３５には、標準的な３次元物体モデルが予め記憶されている。画像変換手段１１７は画像入力手段１１５より入力された入力画像と参照画像記憶部１３０より得られる各参照画像の共通する部分領域に関して、標準３次元物体モデル記憶部１３５より得られる３次元物体モデルを用いて、姿勢条件を同じにするように当該入力画像と当該参照画像の両方またはいずれかを変換し部分画像を生成する。
部分領域とは、例えば、目・鼻・口のような特徴的な部分であり、予め各画像と３次元物体モデルに対して特徴点を指定しておくことにより対応をとることができる。画像照合手段１５７は画像変換手段１１７より変換された入力画像と各参照画像の部分画像を比較し、それぞれ平均類似度を計算し、各物体で最も類似度の大きい参照画像を選出する（例えば、特開２０００−３２２５７７号公報（特許文献１）を参照）。
図２６は他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、照明変動補正手段１２２と、画像変換手段１１８と、画像照合手段１５８と、参照画像記憶部１３０と、標準３次元物体モデル記憶部１３５とから構成されている。
参照画像記憶部１３０には、物体を撮影した参照画像が予め記憶されている。標準３次元物体モデル記憶部１３５には、標準的な３次元物体モデルが予め記憶されている。照明変動補正手段１２２は、標準３次元物体モデル記憶部１３５より得られる３次元物体モデルを用いて、画像入力手段１１５より入力された入力画像の照明条件（表面反射率）を推定する。画像変換手段１１８は参照画像の照明条件に合うように３次元物体モデルを用いて入力画像を変換した画像を生成する。画像照合手段１５８は画像変換手段１１８より変換された入力画像と各参照画像を比較し、それぞれ類似度を計算し、各物体で最も類似度の大きい参照画像を選出する（例えば、特開２００２−０２４８３０号公報（特許文献２）を参照）。
図２７は更に他の従来の画像照合システムを示すブロック図である。この従来の画像照合システムは、画像入力手段１１５と、参照３次元物体モデル記憶部１３７と、姿勢推定・照合手段１５０とから構成されている。姿勢推定・照合手段１５０は、姿勢候補決定手段１２０と、比較画像生成手段１４０と、画像照合手段１５５とを含んでいる。
参照３次元物体モデル記憶部１３７には、物体を計測して生成した参照３次元物体モデルが予め記憶されている。姿勢推定・照合手段１５０は、画像入力手段１１５より得られる入力画像と、参照３次元物体モデル記憶部１３７より得られる参照３次元物体モデルとの最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さいモデルを選出する。
より具体的には、姿勢候補決定手段１２０は少なくとも１つの姿勢候補を生成する。次に、比較画像生成手段１４０は、姿勢候補に応じて参照３次元物体モデルを２次元の画像に射影しつつ入力画像に近い比較画像を生成する。画像照合手段１５５は、当該比較画像と当該入力画像との距離値を求め、各モデルに対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に入力画像と参照３次元物体モデルとの最小距離値を求める。更に、当該最小距離値の最も小さいモデルを選出する（例えば、特開２００３−０５８８９６号公報（特許文献３）を参照）。
特許文献１、２の画像照合システムでは、入力画像と参照画像の姿勢や照明条件が異なると、十分精度良く照合できなかった。
その理由は、特許文献１のものでは、画像に対して姿勢を推定し姿勢条件を合わせるように画像変換しているが、画像に対して正確に姿勢を推定することは難しいため、正しく画像を合わせることができないためである。また、観測する物体の３次元形状とは異なる標準的な３次元物体モデルを用いて画像変換しているため、形状が複雑な部分や姿勢条件が大きく異なった場合に画像変換による歪みが大きくなるためである。
また、特許文献２のものでは、観測する物体の３次元形状とは異なる標準的な３次元物体モデルを用いて照明条件を推定し画像変換しているため、大まかには補正できても細部では誤った補正をしている場合があるためである。
更に、特許文献３のものでは、各物体の３次元物体モデルが予め登録されていなかったり、参照画像が少ない場合には、照合できなかった。
その理由は、特許文献３の技術は、予め３次元物体モデルを登録し入力画像と照合するためである。また、予め３次元物体モデルを登録するためには、照合する以前に各物体を３次元形状計測装置で計測しておく必要があるが、通常困難な場合が多い。また、複数の画像から３次元物体モデルを生成することも可能であるが、参照画像が少ないと３次元物体モデルを生成することが困難なためであった。
本発明は、上記従来の問題点に鑑みなされたもので、その目的は、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度な照合や検索を可能にすることにある。
また、本発明の他の目的は、各物体の３次元物体モデルが予め得られない場合にも、高精度な照合や検索を可能にすることにある。
また、本発明の他の目的は、各物体の参照画像が１枚乃至少数しか存在しない場合にも、高精度な照合や検索を可能にすることにある。
このような目的を達成するために、本発明に係る画像照合システムは、物体の３次元データを入力する入力手段と、少なくとも１つの物体の参照画像を記憶する参照画像記憶手段と、物体の姿勢の候補である姿勢候補を生成する姿勢候補生成手段と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する比較画像生成手段と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段とを備えることを特徴とする。
また、本発明に係る画像照合システムは、物体の３次元データを入力するステップと、物体の姿勢の候補である姿勢候補を生成するステップと、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成するステップと、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行うステップとを備えることを特徴とする。
また、本発明に係る画像照合用プログラムは、物体の３次元データを入力する手順と、物体の姿勢の候補である姿勢候補を生成する手順と、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する手順と、参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う手順とをコンピュータに実行させることを特徴とする。
本発明の第１の効果は、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合や検索ができることである。その理由は、物体の３次元データを計測し、各参照画像の姿勢や照明等の撮影条件に合った比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。
また、第２の効果は、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至少数しか存在しない場合にも、高精度に照合や検索ができることである。その理由は、照合時に物体の３次元データを計測し、予め存在する参照画像に合った比較画像を生成し、当該比較画像と参照画像を比較することにより照合するためである。
図１は、本発明による画像照合システムの第１の実施例の構成を示すブロック図である。 図２は、第１の実施例の画像照合手段の構成を示すブロック図である。 図３は、第１の実施例の１対１照合における動作を示す流れ図である。 図４は、第１の実施例の１対Ｎ照合における動作を示す流れ図である。 図５は、第１の実施例の参照画像の具体例を示す図である。 図６は、第１の実施例の３次元データの具体例を示す図である。 図７は、第１の実施例の比較画像の具体例を示す図である。 図８は、本発明の第２の実施例の構成を示すプロック図である。 図９は、第２の実施例の１対Ｎ照合における動作を示す流れ図である。 図１０は、本発明の第３の実施例の構成を示すブロック図である。 図１１は、第３の実施例の画像照合手段の構成を示すブロック図である。 図１２は、第３の実施例の１対Ｎ照合における動作を示す流れ図である。 図１３は、第３の実施例の標準３次元基準点の具体例を示す図である。 図１４は、第３の実施例の標準３次元重み係数の具体例を示す図である。 図１５は、第３の実施例の参照重み係数の具体例を示す図である。 図１６は、第３の実施例の入力３次元基準点の具体例を示す図である。 図１７は、第３の実施例の２次元重み係数の具体例を示す図である。 図１８は、本発明の第４の実施例の構成を示すブロック図である。 図１９は、第４の実施例の動作を示す流れ図である。 図２０は、第４の実施例の動作を示す流れ図である。 図２１は、第４の実施例の代表３次元物体モデルの具体例を示す図である。 図２２は、本発明の第５の実施例の構成を示すブロック図である。 図２３は、第５の実施例の動作を示す流れ図である。 図２４は、第５の実施例の代表画像の具体例を示す図である。 図２５は、従来例の画像照合システムを示すブロック図である。 図２６は、他の従来例の画像照合システムを示すブロック図である。 図２７は、更に他の従来例の画像照合システムを示すブロック図である。
以下、図面を参照し、本発明の実施例について詳細に説明する。
（第１の実施例）
図１は本発明による画像照合システムの第１の実施例を示すブロック図である。図１において、１０は物体の３次元データを入力する３次元データ入力手段、３０は参照画像記憶部、５０は姿勢推定・照合手段である。姿勢推定・照合手段５０は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。
これらの手段はそれぞれ概略次のように動作する。まず、参照画像記憶部３０には、少なくとも１つの物体をそれぞれ撮影した参照画像が予め記憶されている。参照画像の姿勢や照明等の撮影条件は限定されない。また、参照画像記憶部３０は、システム内にあっても良いし、システム外にあってネットワークで接続して使用しても良い。
３次元データ入力手段１０は照合すべき物体（又は検索すべき物体等）の３次元データを入力する。３次元データは、例えば、特開２００１−１２９２５号公報に記載された３次元形状測定装置を用いたり、或いは特開平９−９１４３６号公報に記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。
姿勢推定・照合手段５０は、３次元データ入力手段１０より入力された３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求める。より具体的には、姿勢候補決定手段２０は少なくとも１つの物体の姿勢の候補である姿勢候補を生成する（物体の姿勢は物体の位置と向きで表される）。比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。
画像照合手段５５は、図２に示す演算部５５ａと、選出部５５ｂと、照合部５５ｃとを含んでいる。画像照合手段５５は、演算部５５ａにおいて当該比較画像と当該参照画像との距離値を求め、選出部５５ｂにおいて各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、照合部５５ｃにおいて当該最小距離値としきい値を比較して同一物体であるか否かを判定する。即ち、しきい値以下であれば同一物体、しきい値以上の場合は同一物体ではないと判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、照合部５５ｃにおいて当該最小距離値の最も小さい参照画像を選出する。なお、比較画像と参照画像との類似度を用いて判定する場合には、類似度がしきい値以上の場合に同一物体と判定し、しきい値以下の場合には同一物体ではないと判定する。
次に、図１及び図３のフローチャートを参照して本実施例の１対１照合の場合の全体動作について詳細に説明する。ここで、入力３次元データと参照画像Ｒkとを照合する場合について説明する。
図３において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。次に、比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像を生成する（ステップ１２０）。画像照合手段５５は当該比較画像と当該参照画像との距離値を求める（ステップ１３０）。更に、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１４０）。
ここで、予め決定した姿勢候補群の中から距離値の最も小さい姿勢候補を選択するとしたが、姿勢候補決定手段２０に戻って順次姿勢候補を変動させながら、距離値の最も小さい姿勢候補を探索しても良い。次に、姿勢推定・照合手段５０は最小距離値としきい値を比較して同一物体であるか否かを判定する（ステップ１５５）。
次に、図１及び図４のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。図４において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢推定・照合手段５０は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。その後、ステップ１１０〜１４０の処理を行うが、これは、図３のステップ１１０〜１４０と同一処理である。
次に、姿勢推定・照合手段５０は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍ（参照画像の数）との比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２において画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。なお、ここでは照合対象として人物の顔を例に挙げて説明するが、本発明は他の物体の照合にも適用できることは勿論である。まず、図５に示すように参照画像記憶部３０には、物体ｋの参照画像Ｒk（ｒ）が記憶されている（ｒは画素または特徴のインデックス）。ここで、各画像の姿勢条件は同じとは限らない（照明条件に関する違いは図示していない）。また、参照画像は各物体に１枚としているが、複数枚あっても良い。
ここで、１対Ｎ照合の場合について説明する。まず、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図４のステップ１００）。３次元データは図６に示すように物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰQ（ｘ，ｙ，ｚ）とテクスチャＴQ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば、物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合の効率化のために、予め３次元データから様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。
次に、姿勢推定・照合手段５０は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。次に、姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。姿勢候補群は参照画像に関係なく予め設定しておいても良いが、例えば、参照画像及び３次元データから目・鼻・口等の基準点を手動または自動で抽出し、特開２００１−２８３２２９号公報に記載された物体の位置及び向きを計算する方法を用いることにより、おおよその姿勢を推定し、当該姿勢の近辺で姿勢候補群を生成することもできる。また、入力された３次元データを用いるのではなく、予め用意した代表３次元データ（モデル）を使用して参照画像と照合することにより、予めおおよその姿勢を推定し記憶しておいても良い。
次に、比較画像生成手段４０は姿勢候補ｅjに応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkの照明条件に近い比較画像Ｇkj（ｒ）を生成する（ステップ１２０）。ここで、参照画像の照明条件に近い比較画像を生成するためには、予め求めておいた基底画像群を各姿勢候補に基づいて座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように線形和の係数を最小二乗法により求めることにより実現できる。参照画像Ｒ1に対して生成した比較画像の例を図７に示す（濃淡情報は図示していない）。
次に、画像照合手段５５は当該比較画像と当該参照画像との距離値を求める（ステップ１３０）。例えば、ユークリッド距離を用いる場合には、
Ｄkj＝Σr｛Ｒk（ｒ）−Ｇkj（ｒ）｝2
により計算できる。類似度Ｓkjを用いる場合には、例えば、
Ｓkj＝ｅｘｐ（−Ｄkj）
により計算できる。この際、姿勢推定・照合手段５０は距離値の最も小さい比較画像を選出することにより最適な姿勢を推定すると共に、３次元データと参照画像Ｒkとの最小距離値Ｄkを、
最小距離値Ｄk＝ｍｉｎjＤkj
により求める（ステップ１４０）。図７の場合、例えば、Ｇ11が選出される。
次に、画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行う（ステップ１５２）。この時、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。図６の３次元データの場合には、例えば、参照画像Ｒkに対する最小距離値が｛２０，５０，２５｝と求まったとすると、図５の参照画像Ｒ1が最小距離値の最も小さい参照画像として選出される。
なお、本実施例では、比較画像と参照画像との距離値を求めるとしたが、距離値の代わりに類似度を用いても良い。類似度は一例として上述のような計算方法で求めることができる。類似度を用いる場合には、最大類似度が最も大きい参照画像を照合結果とする。
これは、以下の全ての実施例において同様である。
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するという構成であるため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。
（第２の実施例）
図８は本発明の第２の実施例を示すブロック図である。図８では図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５１と、参照補正係数記憶部６５とから構成されている。姿勢推定・照合手段５１は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５と、スコア補正手段６０とを含んでいる。図１との違いは、スコア補正手段６０、参照補正係数記憶部６５が追加されている点である。
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。
また、参照補正係数記憶部６５には、参照画像に対応して照合スコア（距離値や類似度）を補正するための係数が予め記憶されている。姿勢推定・照合手段５１は、３次元データ入力手段１０より入力された３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、更に参照補正係数記憶部６５より得られる補正係数を用いて当該最小距離値を補正する。
より具体的には、姿勢候補決定手段２０は少なくとも１つの姿勢候補を生成する。比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。画像照合手段５５は当該比較画像と当該参照画像との距離値を求め、各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。
スコア補正手段６０は参照画像に対応した補正係数を用い、当該最小距離値を補正する。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、当該補正された最小距離としきい値を比較して、同一物体であるか否かを判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、当該補正された最小距離値の最も小さい参照画像を選出する。
次に、図８及び図９のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。
図９において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、姿勢推定・照合手段５１は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。また、第１の実施例と同様の処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。
次いで、スコア補正手段６０は参照画像Ｒkに対応した補正係数を用い、当該最小距離値を補正する（ステップ１６０）。次に、姿勢推定・照合手段５１は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、その参照画像に対応する補正係数を用いて最小距離値の補正を行う。ステップ１５２で画像番号ｋが画像数Ｍ以上になると、補正された最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
また、１対１照合の場合には、第１の実施例と同様に図９のステップ１００、１１０、１２０、１３０、１４０、１６０の処理を行い、その後、図３のステップ１５５の処理を行う。図３のステップ１５５では、上述のように距離値としきい値とを比較して同一物体であるか否かを判定する。
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、参照補正係数記憶部６５には、表１に示すような補正係数が記憶されている。補正係数Ａkは、例えば、予め用意した代表３次元データ(代表的な３次元物体モデル)Ｃh（ｈ＝１，…，Ｈ）を使用して、第１の実施例の画像照合システムにより、各モデルＣhと参照画像Ｒkとの最小距離値Ｄk hを求め、当該最小距離値の平均値Ｅk＝ΣhＤk h／Ｈ（または最小距離値の小さい上位候補に関する平均値）を用い、Ａk＝Ａ／Ｅk（Ａは予め設定された定数）により求める。例えば、Ａ＝２０とし、各参照画像に対する最小距離値の平均値Ｅkが｛５０，４０，２０｝となった場合には、補正係数Ａkは表１のようになる。これは、例えば、参照画像Ｒ1は撮影条件が悪く平均的に距離値が大きくなる傾向があることを示している。
Figure 2005038716
ここで、３次元データ入力手段１０から図６に示すような３次元データを入力されたとする（図９のステップ１００）。姿勢推定・照合手段５１は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。次に、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。
次に、スコア補正手段６０は参照画像Ｒkに対応した補正係数を用いて、当該最小距離値を補正する（ステップ１６０）。例えば、補正係数Ａkを用い、最小距離値ＤkはＤk'＝ＡkＤkにより補正できる。また、姿勢推定・照合手段５１は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行う（ステップ１５２）。この時、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算し、且つ、同様に参照画像に対応する補正係数を用いて得られた最小距離値の補正を行う。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、補正された最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。例えば、参照画像Ｒkに対する最小距離値が｛４０，６０，２５｝と求まったとし、表１に示す補正係数を用いると、補正された最小距離値は｛１６，３０，２５｝となり、参照画像Ｒ1が最小距離値の最も小さい参照画像として選出される。
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するという構成であるため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するという構成であるため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、参照画像の撮影条件に起因する照合スコア変動を補正して照合するため、各参照画像の撮影条件が異なったり画質の悪い参照画像が存在する場合にも、高精度に照合・検索ができる。
なお、第２の実施例では、補正係数Ａkを記憶し、距離値に補正係数Ａkをかけて補正したが、これに限るものではない。例えば、代表３次元モデルＣhと参照画像Ｒkとの最小距離値Ｄk hを全て記憶しておいても良いし、また分布関数を仮定してその関数パラメータを記憶しておいても良い。例えば、正規分布を仮定した場合、平均値Ｅkと標準偏差σkを記憶し、分布を標準正規分布に正規化するようにＤk'＝（Ｄk−Ｅk）／σkにより補正することもできる。
（第３の実施例）
図１０は本発明の第３の実施例を示すブロック図である。図１０では図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５２と、３次元基準点抽出手段１２と、標準３次元基準点記憶部７２と、標準３次元重み係数記憶部７５と、参照重み係数記憶部７７とから構成されている。姿勢推定・照合手段５２は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５６と、入力重み係数変換手段７０とを含んでいる。
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０は、第１の実施例のものと同様の処理を行う。
標準３次元基準点記憶部７２には、標準３次元物体モデルに対応した標準３次元基準点が記憶されている。標準３次元重み係数記憶部７５には、標準３次元重み係数が記憶されている。参照重み係数記憶部７７には、参照画像に対応した重み係数が記憶されている。
３次元基準点抽出手段１２は、３次元データ入力手段１０より得られる３次元データに対して、手動または自動的に３次元基準点を抽出する。
姿勢推定・照合手段５２は、３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を、入力重み係数変換手段７０より得られる入力データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求める。
より具体的には、姿勢候補決定手段２０は少なくとも１つの姿勢候補を生成する。比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を生成する。入力重み係数変換手段７０は標準３次元基準点記憶部７２より得られる標準３次元基準点と３次元基準点抽出手段１２より得られる３次元データの３次元基準点を用い、標準３次元重み係数記憶部７５より得られる標準３次元重み係数と３次元データ入力手段１０より得られる３次元データとの座標の対応を求め、更に姿勢候補決定手段２０より得られる姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する。
画像照合手段５６は、図１１に示す演算部５６ａと、選出部５６ｂと、照合部５６ｃとを含んでいる。画像照合手段５６は、演算部５６ａにおいて当該比較画像と当該参照画像との距離値を、入力重み係数変換手段７０より得られる入力３次元データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求め、選出部５６ｂにおいて各参照画像に対して、距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める。更に、１つの物体（参照画像）との照合処理（１対１照合）の場合には、照合部５６ｃにおいて当該最小距離としきい値を比較して同一物体であるか否かを判定する。また、複数の物体から入力３次元データに最も近い物体（参照画像）を検索する処理（１対Ｎ照合）の場合には、照合部５６ｃにおいて当該最小距離値の最も小さい参照画像を選出する。
次に、図１０及び図１２のフローチャートを参照して本実施例の１対Ｎ照合の場合の全体動作について詳細に説明する。
図１２において、まず、３次元データ入力手段１０により３次元データを入力する（ステップ１００）。次に、３次元基準点抽出手段１２は３次元データに対して手動または自動的に３次元基準点を抽出する（ステップ１７０）。次に、姿勢推定・照合手段５２は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。
次に、比較画像生成手段４０は姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像を生成する（ステップ１２０）。次に、入力重み係数変換手段７０は標準３次元基準点と３次元データの３次元基準点を用い、標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する（ステップ１８０）。
次に、画像照合手段５６は当該比較画像と当該参照画像との距離値を、入力重み係数変換手段７０より得られる入力３次元データに対応した重み係数や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数を使用して求め（ステップ１３１）、更に、各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める（ステップ１４０）。また、姿勢推定・照合手段５２は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
また、１対１照合の場合には、第１の実施例と同様に図１２のステップ１００、１７０、１１０、１２０、１８０、１３１、１４０の処理を行い、その後、図３のステップ１５５の処理を行う。図３のステップ１５５では、上述のように距離値としきい値を比較して同一物体であるか否かを判定する。
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、標準３次元基準点記憶部７２には、図１３に示すような標準３次元物体モデルに対応した標準３次元基準点Ｎi 0（ｉは基準点のインデックス）が記憶されている。３次元基準点とは、位置合わせを行うための点であり、図１３の例では、例えば、左目中点、右目中点、鼻頂点、左口角点、右口角点の５点を示している。
３次元基準点は、予め手動で設定しても良いが、例えば、２００２年９月、ＦＩＴ（情報科学技術フォーラム）２００２、Ｉ−１００、１９９頁〜２００頁、丸亀ら、「形状情報と色情報を併用した顔三次元データからの特徴部位の抽出」に記載の顔特徴抽出方法を用いて自動的に設定しても良い。標準３次元基準点は予め用意した学習用３次元物体モデルの３次元基準点の各点の平均座標、または学習用３次元物体モデルを平均した標準３次元物体モデルから求めた３次元基準点により求めることができる。
また、標準３次元重み係数記憶部７５には、図１４に示すような標準３次元重み係数ＶQ 0が記憶されている。ここで、図１４の例では、例えば、黒い領域がＶQ 0＝１、白い領域がＶQ 0＝０、斜線で示す領域は０＜ＶQ 0＜１の値を持つとする。標準３次元重み係数は予め用意した学習用３次元物体モデルの３次元重み係数を用い、各学習用３次元物体モデルの３次元基準点が標準３次元基準点に一致するように３次元重み係数の位置合わせを行ってから平均することにより求めることができる。
基準点以外の各点の位置合わせは、基準点の対応を内挿または外挿して決めることにより、３次元重み係数の座標値｛ｓ，ｔ｝と標準３次元重み係数の座標値｛ｓ0，ｔ0｝の変換式ｓ0＝Ｈｓ（ｓ，ｔ）、ｔ0＝Ｈｔ（ｓ，ｔ）を設定できる。学習用３次元物体モデルの３次元重み係数は学習用３次元物体モデルの物体を様々な条件で撮影した学習用画像を用いて予め学習できる。具体的には、第１の実施例の画像照合システムを使用し、学習用３次元物体モデルを入力の３次元データとし、学習用画像を参照画像として最適姿勢を求めた際の３次元データから生成された比較画像と参照画像の各画素の誤差を求める。
重み係数は照合における画素の重要度を表す量で、例えば、平均誤差の小さい画素は重みを大きく設定できる。３次元重み係数は前記比較画像と３次元物体モデルとの画素の対応に基づいて比較画像と参照画像の各画素の誤差を３次元物体モデル上で平均して平均誤差を求めることにより設定できる。
また、参照重み係数記憶部７７には、図１５に示すような参照画像に対応した重み係数Ｕk（ｒ）が記憶されている。図１５の例では、例えば、黒い領域がＵk（ｒ）＝１、白い領域がＵk（ｒ）＝０、斜線で示す領域は０＜Ｕk（ｒ）＜１の値を持つとする。参照画像に対応した重み係数は、例えば、顔領域以外の領域の重みを０に設定したり、輝度値の大きい領域や小さい領域の重みを小さく設定する等し、予め手動または自動的に設定しておく。
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図１２のステップ１００）。３次元基準点抽出手段１２は３次元データに対して手動または自動的に３次元基準点を抽出する（ステップ１７０）。図６の３次元データに対して抽出した３次元基準点の例を図１６に示す。
次に、姿勢推定・照合手段５２は初めに参照画像の画像番号をｋ＝１とする（ステップ１５０）。姿勢候補決定手段２０において姿勢候補群｛ｅj｝を決定する（ステップ１１０）。次に、比較画像生成手段４０は、姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像Ｒkに近い比較画像Ｇkj（ｒ）を生成する（ステップ１２０）。参照画像Ｒ1に対して生成した比較画像の例を図７に示す。
次に、入力重み係数変換手段７０は標準３次元基準点と３次元データの３次元基準点を用い、標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数ＶQ 0を２次元の重み係数Ｗkj（ｒ）に変換する（ステップ１８０）。図７の比較画像に対応して生成された２次元の重み係数の例を図１７に示す。
次に、画像照合手段５６は当該比較画像と当該参照画像との距離値Ｄkj'を、入力重み係数変換手段７０より得られる入力データに対応した重み係数Ｗkj（ｒ）や、参照重み係数記憶部７７より得られる参照画像に対応した重み係数Ｕk（ｒ）を使用して求め（ステップ１３１）、更に各参照画像に対して距離値の最も小さい比較画像を選出することにより、最適な姿勢を推定すると共に３次元データと参照画像との最小距離値を求める（ステップ１４０）。
例えば、重み付きユークリッド距離を用いる場合には、
Ｄkj'＝ΣrＷkj（ｒ）Ｕk（ｒ）｛Ｒk（ｒ）−Ｇkj（ｒ）｝2
により計算する。ここで、重み係数Ｗkj（ｒ）、Ｕk（ｒ）は、いずれかのみ使用しても良い。次に、姿勢推定・照合手段５２は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ１１０に戻って同様の処理を行い、次の参照画像の最小距離値を計算する。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、部位による重み係数を使用した重み付け照合により画像照合するという構成であるため、更に高精度な照合・検索ができる。
なお、第３の実施例では、標準３次元重み係数（及び標準３次元基準点）は１つと説明したが、複数あっても良い。この際、各参照画像に対応してどの標準３次元重み係数を用いるかの情報を予め記憶しておく。また、標準３次元重み係数は、学習用３次元物体モデルから生成された比較画像と学習用画像との画素の誤差平均により求めるとしたが、これに限るものではない。更に、姿勢推定において重み係数を使用し、重み付け距離を計算すると説明したが、姿勢推定においては重み係数を用いない距離計算を使用し、最適姿勢を求めてから再度重み付け距離を計算しても良い。
（第４の実施例）
図１８は本発明の第４の実施例を示すブロック図である。図１８では第１の実施例の図１と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５３と、代表３次元物体モデル記憶部３６と、３次元照合手段８０と、グループ記憶部８５と、参照画像選出手段８２とから構成されている。更に、姿勢推定・照合手段５３は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。
また、代表３次元物体モデル記憶部３６には、予め用意された代表的な３次元物体モデルが記憶されている。グループ記憶部８５には、代表３次元物体モデルと参照画像の関連情報（代表３次元物体モデルと参照画像とを対応付ける情報）が予め記憶されている。
３次元照合手段８０は３次元データ入力手段１０より得られる３次元データと、代表３次元物体モデル記憶部３６より得られる各代表３次元物体モデルとの照合を行い、最も類似した代表３次元物体モデルを選択する。参照画像選出手段８２は、グループ記憶部８５より得られる関連情報から、３次元照合手段８０より得られる選択された代表３次元物体モデルに対応する参照画像群を選出する。
姿勢推定・照合手段５３は、３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段８２より得られる参照画像群とする。
次に、図１８、図１９及び図２０のフローチャートを参照して本実施例の全体の動作について詳細に説明する。まず、３次元データ入力手段１０により３次元データを入力する（図１９のステップ１００）。次に、３次元照合手段８０は初めに代表３次元物体モデルのモデル番号をｈ＝１とする（ステップ２１０）。次に、３次元照合手段８０は３次元データと各代表３次元物体モデルＣhとの類似度Ｓhを求める（ステップ２２０）。次に、モデル番号ｈを１増やし（ステップ２１１）、モデル番号ｈとモデル数Ｈとの比較を行い（ステップ２１２）、モデル番号ｈがモデル数Ｈ以下の場合には、ステップ２１０に戻って同様の処理を行い、次の代表３次元物体モデルとの類似度を計算する。
ステップ２１２において全ての代表３次元物体モデルとの照合が終わったら、類似度の最も大きいモデルＣhを選択する（ステップ２２１）。次に、参照画像選出手段８２はグループ記憶部８５より得られる関連情報から、選択された代表３次元物体モデルに対応する参照画像群を選出する（ステップ２３０）。なお、図１９のステップ２３０は図２０のステップ１５０に続いている。
次に、姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群Ｌに含まれるか否かを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合には、ステップ１５１に進む。
ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ２４０に戻って同様の処理を行う。最後に、画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、代表３次元物体モデル記憶部３６には、図２１に示すような代表３次元物体モデルＣhが記憶されている。グループ記憶部８５には、表２に示すような代表３次元物体モデルに対応して、当該代表３次元物体モデルを使用して参照画像を照合した際の上位候補（参照画像群）の画像番号が記憶されている。これは、各代表３次元物体モデルＣhを第１の実施例の画像照合システムの入力とした際の照合結果が、例えば、表３のようになった場合、距離値４０以下の参照画像候補を残すと、表２のようなリストが得られる。
Figure 2005038716
Figure 2005038716
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図１９のステップ１００）。３次元照合手段８０は初めに代表３次元物体モデルのモデル番号をｈ＝１とする（ステップ２１０）。次に、３次元データと各代表３次元物体モデルＣhとの類似度Ｓhを求める（ステップ２２０）。この３次元データ同士を照合する手段としては、例えば、特開平４−１１９４７５号公報に記載された三次元形状識別装置等の既存の技術を利用することができる。
次に、モデル番号ｈを１増やし（ステップ２１１）、モデル番号ｈとモデル数Ｈとの比較を行い（ステップ２１２）、モデル番号ｈがモデル数Ｈ以下の場合には、ステップ２１０に戻って同様の処理を行い、次の代表３次元物体モデルとの類似度を計算する。ステップ２１２において全ての代表３次元物体モデルとの照合が終わったら、類似度の最も大きいモデルＣhを選択する（ステップ２２１）。
例えば、モデルＣhとの類似度が｛０．７，０．９｝となったとすると、モデルＣ2が選択される。次に、参照画像選出手段８２は表２に示すグループ記憶部８５より得られるリストから、選択された代表３次元物体モデルＣ2に対応する参照画像群｛Ｒ1，Ｒ3｝を選出する（ステップ２３０）。この後、図２０の処理に移行する。
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群Ｌに含まれるか否かを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。
ここでは、Ｒ1，Ｒ3の場合にはステップ１１０に進み、Ｒ2の場合にはステップ１５１に進む。ステップ１１０に進んだ場合には、第１の実施例と同様の処理を行うことにより姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｈ以下の場合には、ステップ２４０に戻って同様の処理を行う。ここでは、Ｒ1，Ｒ3の場合には最小距離値が計算される。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、代表３次元物体モデルとの照合により参照画像を選出するように構成されているため、高速な検索ができる。
なお、第４の実施例では、選択する代表３次元物体モデルは１つと説明したが、複数選択しても良い。この場合、各代表３次元物体モデルに対応する参照画像群の合併集合を参照画像群とする。
（第５の実施例）
図２２は本発明の第５の実施例の構成を示すブロック図である。図２２では図１や図１８と同一部分は同一符号を付している。本実施例では、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢推定・照合手段５３と、代表画像記憶部３１と、第２の姿勢推定・照合手段（代表画像選択手段）５４と、グループ記憶部８６と、参照画像選出手段８２とから構成されている。姿勢推定・照合手段５０，５３は、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５とを含んでいる。
これらの手段はそれぞれ概略次のように動作する。まず、３次元データ入力手段１０と、参照画像記憶部３０と、姿勢候補決定手段２０と、比較画像生成手段４０と、画像照合手段５５は、図１に示す第１の実施例のものと同一の処理を行う。
また、代表画像記憶部３１には、予め用意された代表的な画像が記憶されている。これは、参照画像記憶部３０における参照画像の一部であっても良いし、当該参照画像の平均等により生成された新たな画像であっても良い。また、参照画像記憶部３０における参照画像の一部である場合には、画像番号のみを記憶し、参照画像記憶部３０における参照画像を参照するようにしても良い。
グループ記憶部８６には、代表画像と参照画像の関連情報（代表画像と参照画像とを対応付ける情報）が予め記憶されている。第２の姿勢推定・照合手段５４は３次元データ入力手段１０より得られる３次元データと、代表画像記憶部３１より得られる各代表画像との照合を行い、最も類似した代表画像を選択する。参照画像選出手段８２はグループ記憶部８６より得られる関連情報から、第２の姿勢推定・照合手段５４より得られる選択された代表画像に対応する参照画像群を選出する。
姿勢推定・照合手段５３は３次元データ入力手段１０より得られる３次元データと、参照画像記憶部３０より得られる参照画像との最小距離値（もしくは最大類似度）を求め、当該最小距離値の最も小さい参照画像を選出する。ここで、対象とする参照画像は参照画像選出手段８２より得られる参照画像群とする。
次に、図２２、図２３及び図２０のフローチャートを参照して本実施例の全体動作について詳細に説明する。まず、図２３に示すように３次元データ入力手段１０により３次元データを入力する（図２３のステップ１００）。第２の姿勢推定・照合手段５４は初めに代表画像の画像番号をｈ＝１とする（ステップ２１５）。次に、３次元データと各代表画像Ｒ’hとの類似度Ｓhを求める（ステップ２２５）。
次に、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈと画像数Ｈとの比較を行い（ステップ２１７）、画像番号ｈが画像数Ｈ以下の場合には、ステップ２２５に戻って同様の処理を行い、次の代表画像との類似度を計算する。ステップ２１７で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像Ｒ’hを選択する（ステップ２２６）。次に、参照画像選出手段８２はグループ記憶部８６より得られる関連情報から、選択された代表画像に対応する参照画像群を選出する（ステップ２３５）。図２３のステップ２３５は図２０のステップ１５０に続いている。
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群に含まれるかどうかを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。
ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜１４０）。次に、姿勢推定・照合手段５３は、画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｈ以下の場合には、ステップ２４０に戻って同様の処理を行い、次の参照画像との最小距離値を求める。最後に、ステップ１５２で画像数ｋが画像数Ｍ以上になった場合には、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
次に、具体的な例を用いて本実施例の動作を更に詳細に説明する。まず、第１の実施例の説明と同様に参照画像記憶部３０には、図５に示すような参照画像Ｒk（ｒ）が記憶されている。また、代表画像記憶部３１には、図２４に示すような代表画像Ｒ’hが記憶されている。グループ記憶部８６には、表４に示すような代表画像に対応して当該代表画像を使用し参照画像を照合した際の上位候補（参照画像群）の画像番号が記憶されている。この照合には、上述の特許文献１、２等に記載の既存の画像照合システムを用いることができる。
Figure 2005038716
ここで、３次元データ入力手段１０から図６に示すような３次元データが入力されたとする（図２３のステップ１００）。第２の姿勢推定・照合手段５４は初めに代表画像の画像番号をｈ＝１とする（ステップ２１５）。次に、３次元データと各代表画像Ｒ’hとの類似度Ｓhを求める（ステップ２２５）。次に、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈと画像数Ｈとの比較を行い（ステップ２１７）、画像番号ｈが画像数Ｈ以下の場合には、ステップ２１５に戻って同様の処理を行い、次の代表画像との類似度を計算する。
ステップ２１７で全ての代表画像との照合が終わったら、類似度の最も大きい代表画像Ｒ’hを選択する（ステップ２２６）。例えば、代表画像Ｒ’hとの類似度が｛０．７，０．９｝となったとすると、代表画像Ｒ’2が選択される。次に、参照画像選出手段８２は表４に示すグループ記憶部８６より得られるリストから、選択された代表画像Ｒ’2に対応する参照画像群｛Ｒ1，Ｒ3｝を選出する（ステップ２３５）。この後、図２０の処理を行う。
姿勢推定・照合手段５３は初めに参照画像の画像番号をｋ＝１とする（図２０のステップ１５０）。次に、参照画像Ｒkが選出された参照画像群に含まれるかどうかを判断し（ステップ２４０）、参照画像Ｒkが選出された参照画像群に含まれる場合には、次のステップ１１０に進み、含まれない場合にはステップ１５１に進む。
ここでは、Ｒ1，Ｒ3の場合にはステップ１１０に進み、Ｒ2の場合にはステップ１５１に進む。ステップ１１０に進んだ場合には、第１の実施例と同じ処理により姿勢候補決定手段２０、比較画像生成手段４０、画像照合手段５５は、最適な姿勢を推定すると共に３次元データと参照画像Ｒkとの最小距離値を求める（ステップ１１０〜ステップ１４０）。次に、姿勢推定・照合手段５３は画像番号ｋを１増やし（ステップ１５１）、画像番号ｋと画像数Ｍとの比較を行い（ステップ１５２）、画像番号ｋが画像数Ｍ以下の場合には、ステップ２４０に戻って同様の処理を行う。ここでは、Ｒ1，Ｒ3の場合に最小距離値が計算される。最後に、ステップ１５２で画像番号ｋが画像数Ｍ以上になると、最小距離値の最も小さい参照画像Ｒkを照合結果とする（ステップ１５３）。
なお、第５の実施例では、選択する代表画像は１つとしたが、複数選択しても良い。
この場合、各代表画像に対応する参照画像群の合併集合を参照画像群とする。
本実施例では、物体の３次元データを計測し、姿勢や照明条件を補正しながら３次元データと参照画像を比較し照合するため、各物体の参照画像が姿勢や照明等異なる条件で撮影されている場合にも、高精度に照合・検索ができる。また、照合時に物体の３次元データを計測し、３次元データと参照画像を比較し照合するため、各物体の３次元物体モデルが予め得られなかったり、参照画像が１枚乃至数枚しか存在しない場合にも、高精度に照合・検索ができる。更に、代表画像との照合により参照画像を選出するため、高速な検索ができる。
なお、第１〜第５の実施例では、３次元データ（モデル）は物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状とテクスチャを情報として持っているとしたが、同等の情報が得られればこれに限るものではない。例えば、ある方向からの物体表面への距離を画像として表現した距離画像と当該方向から撮影したテクスチャ画像等でも良い。
ここで、本発明の画像照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記第１〜第５の実施例の各手段の機能を実行する画像照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしてコンピュータ処理装置を制御することで実現することができる。この画像照合プログラムは磁気ディスク、半導体メモリ、その他の記録媒体に格納し、その記録媒体からコンピュータ処理装置にロードし、コンピュータ処理装置の動作を制御することにより上述した各機能を実現する。
本発明は、データベースから人の顔等の物体の画像を検索する画像照合システムや、画像照合システムをコンピュータで実現するためのプログラムといった用途に適用できる。
また、ネットワークやインターネット上に存在する人の顔等の物体の画像を検索するといった用途にも適用可能である。更に、身分証明写真等の画像とそれを保持する人物が同一人物であるかを判定するといった用途にも好適に使用することが可能である。

Claims (27)

  1. 物体の３次元データを入力する３次元データ入力手段と、
    少なくとも１つの物体の参照画像を記憶する参照画像記憶手段と、
    物体の姿勢の候補である姿勢候補を少なくとも１つ生成する姿勢候補決定手段と、
    姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成する比較画像生成手段と、
    参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う画像照合手段と
    を備えることを特徴とする画像照合システム。
  2. 請求項１に記載の画像照合システムにおいて、
    前記画像照合手段は、
    参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、
    距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する選出手段と、
    最小距離値としきい値との比較結果及び最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行う照合手段と
    を備えることを特徴とする画像照合システム。
  3. 請求項１に記載の画像照合システムにおいて、
    前記比較画像生成手段は、参照画像毎に参照画像に近い比較画像を生成し、
    前記画像照合手段は、
    参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段と、
    参照画像毎に距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する選出手段と、
    最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする照合手段と
    を備えることを特徴とする画像照合システム。
  4. 請求項１に記載の画像照合システムにおいて、
    参照画像に対応する補正係数を記憶する参照補正係数記憶手段と、
    補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正する補正手段と
    を更に備えることを特徴とする画像照合システム。
  5. 請求項１に記載の画像照合システムにおいて、
    参照画像に対応する重み係数を記憶する参照重み係数記憶手段を更に備え、
    前記画像照合手段は、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。
  6. 請求項１に記載の画像照合システムにおいて、
    標準３次元物体モデルに対応する標準３次元基準点を記憶する標準３次元基準点記憶手段と、
    標準３次元重み係数を記憶する標準３次元重み係数記憶手段と、
    入力された３次元データから３次元基準点を抽出する３次元基準点抽出手段と、
    標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する入力重み係数手段とを更に備え、
    前記画像照合手段は、変換された２次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する演算手段を備えることを特徴とする画像照合システム。
  7. 請求項１に記載の画像照合システムにおいて、
    代表的な３次元物体モデルを代表３次元物体モデルとして記憶する代表３次元物体モデル記憶手段と、
    代表３次元物体モデルと参照画像との関連情報を記憶するグループ記憶手段と、
    入力された３次元データと代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択する３次元照合手段と、
    関連情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出する参照画像選出手段とを更に備え、
    前記画像照合手段は、選出された参照画像に関して、入力された３次元データとの照合を行うことを特徴とする画像照合システム。
  8. 請求項１に記載の画像照合システムにおいて、
    代表的な画像を代表画像として記憶する代表画像記憶手段と、
    代表画像と参照画像との関連情報を記憶するグループ記憶手段と、
    入力された３次元データと代表画像との照合を行い、３次元データに類似した代表画像を選択する代表画像選択手段と、
    関連情報を参照し、選択された代表画像に対応する参照画像を選出する参照画像選出手段とを更に備え、
    前記画像照合手段は、選出された参照画像に関して、入力された３次元データとの照合を行うことを特徴とする画像照合システム。
  9. 請求項４に記載の画像照合システムにおいて、
    補正係数は、代表的な３次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて決定されることを特徴とする画像照合システム。
  10. 物体の３次元データを入力するステップと、
    物体の姿勢の候補である姿勢候補を少なくとも１つ生成するステップと、
    姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成するステップと、
    参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行うステップと
    を備えることを特徴とする画像照合方法。
  11. 請求項１０に記載の画像照合方法において、
    前記照合を行うステップは、
    参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップと、
    距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出するステップと、
    最小距離値としきい値との比較結果及び最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行うステップと
    を備えることを特徴とする画像照合方法。
  12. 請求項１０に記載の画像照合方法において、
    前記比較画像を生成するステップは、参照画像毎に参照画像に近い比較画像を生成するステップを備え、
    前記照合を行うステップは、
    参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップと、
    参照画像毎に距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出するステップと、
    最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とするステップと
    を備えることを特徴とする画像照合方法。
  13. 請求項１０に記載の画像照合方法において、
    参照画像に対応する補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正するステップを更に備えることを特徴とする画像照合方法。
  14. 請求項１０に記載の画像照合方法において、
    前記照合を行うステップは、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップを備えることを特徴とする画像照合方法。
  15. 請求項１０に記載の画像照合方法において、
    入力された３次元データから３次元基準点を抽出するステップと、
    標準３次元物体モデルに対応する標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換するステップとを更に備え、
    前記照合を行うステップは、変換された２次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算するステップを備えることを特徴とする画像照合方法。
  16. 請求項１０に記載の画像照合方法において、
    入力された３次元データと代表的な３次元物体モデルである代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択するステップと、
    代表３次元物体モデルと参照画像との関連を示す情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出するステップとを更に備え、
    前記照合を行うステップは、選出された参照画像に関して、入力された３次元データとの照合を行うステップを備えることを特徴とする画像照合方法。
  17. 請求項１０に記載の画像照合方法において、
    入力された３次元データと代表的な画像である代表画像との照合を行い、３次元データに類似した代表画像を選択するステップと、
    代表画像と参照画像との関連を示す情報を参照し、選択された代表画像に対応する参照画像を選出するステップとを更に備え、
    前記照合を行うステップは、選出された参照画像に関して、入力された３次元データとの照合を行うステップを備えることを特徴とする画像照合方法。
  18. 請求項１３に記載の画像照合方法において、
    代表的な３次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて補正係数を決定するステップを更に備えることを特徴とする画像照合方法。
  19. 物体の３次元データを入力する手順と、
    物体の姿勢の候補である姿勢候補を少なくとも１つ生成する手順と、
    姿勢候補に応じて３次元データを２次元の画像に射影しつつ参照画像に近い比較画像を少なくとも１つ生成する手順と、
    参照画像と比較画像との距離値及び類似度のいずれか一方に基づいて照合を行う手順と
    をコンピュータに実行させるためのプログラム。
  20. 請求項１９に記載のプログラムにおいて、
    前記照合を行う手順の中で、
    参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、
    距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する手順と、
    最小距離値としきい値との比較結果及び最大類似度としきい値との比較結果のいずれか一方に基づいて照合を行う手順と
    をコンピュータに実行させるためのプログラム。
  21. 請求項１９に記載のプログラムにおいて、
    前記比較画像を生成する手順の中で、参照画像毎に参照画像に近い比較画像を生成する手順をコンピュータに実行させ、
    前記照合を行う手順の中で、
    参照画像毎に参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順と、
    参照画像毎に距離値が最も小さい最小距離値及び類似度が最も大きい最大類似度のいずれか一方を選出する手順と、
    最小距離値のうち距離値の最も小さい最小距離値の参照画像及び最大類似度のうち類似度が最も大きい最大類似度の参照画像のいずれか一方を照合結果とする手順と
    をコンピュータに実行させるためのプログラム。
  22. 請求項１９に記載のプログラムにおいて、
    参照画像に対応する補正係数を用いて最小距離値及び最大類似度のいずれか一方を補正する手順を更にコンピュータに実行させるためのプログラム。
  23. 請求項１９に記載のプログラムにおいて、
    前記照合を行う手順の中で、参照画像に対応する重み係数を用いて、その参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。
  24. 請求項１９に記載のプログラムにおいて、
    入力された３次元データから３次元基準点を抽出する手順と、
    標準３次元物体モデルに対応する標準３次元基準点と３次元データの３次元基準点を用いて標準３次元重み係数と３次元データとの座標の対応を求め、姿勢候補に応じて標準３次元重み係数を２次元の重み係数に変換する手順とを更にコンピュータに実行させ、
    前記照合を行う手順の中で、変換された２次元の重み係数を用いて参照画像と比較画像との距離値及び類似度のいずれか一方を演算する手順をコンピュータに実行させるためのプログラム。
  25. 請求項１９に記載のプログラムにおいて、
    入力された３次元データと代表的な３次元物体モデルである代表３次元物体モデルとの照合を行い、３次元データに類似した代表３次元物体モデルを選択する手順と、
    代表３次元物体モデルと参照画像との関連を示す情報を参照し、選択された代表３次元物体モデルに対応する参照画像を選出する手順とを更にコンピュータに実行させ、
    前記照合を行う手順の中で、選出された参照画像に関して、入力された３次元データとの照合を行う手順をコンピュータに実行させるためのプログラム。
  26. 請求項１９に記載のプログラムにおいて、
    入力された３次元データと代表的な画像である代表画像との照合を行い、３次元データに類似した代表画像を選択する手順と、
    代表画像と参照画像との関連を示す情報を参照し、選択された代表画像に対応する参照画像を選出する手順とを更にコンピュータに実行させ、
    前記照合を行う手順の中で、選出された参照画像に関して、入力された３次元データとの照合を行う手順をコンピュータに実行させるためのプログラム。
  27. 請求項２２に記載のプログラムにおいて、
    代表的な３次元物体モデルと参照画像との距離値及び類似度のいずれか一方に基づいて補正係数を決定する手順を更にコンピュータに実行させるためのプログラム。
JP2005514861A 2003-10-21 2004-10-21 画像照合システム及び画像照合方法 Active JP4556873B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003360713 2003-10-21
JP2003360713 2003-10-21
PCT/JP2004/015612 WO2005038716A1 (ja) 2003-10-21 2004-10-21 画像照合システム及び画像照合方法

Publications (2)

Publication Number Publication Date
JPWO2005038716A1 true JPWO2005038716A1 (ja) 2007-01-25
JP4556873B2 JP4556873B2 (ja) 2010-10-06

Family

ID=34463419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005514861A Active JP4556873B2 (ja) 2003-10-21 2004-10-21 画像照合システム及び画像照合方法

Country Status (7)

Country Link
US (1) US7715619B2 (ja)
EP (2) EP2479726B9 (ja)
JP (1) JP4556873B2 (ja)
KR (1) KR100816607B1 (ja)
CN (1) CN1871622B (ja)
AU (1) AU2004282790A1 (ja)
WO (1) WO2005038716A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60316690T2 (de) * 2002-07-10 2008-07-17 Nec Corp. System zur bildvergleichung mit verwendung eines dreidimensionalen objectmodelles, bildvergleichverfahren und bildvergleichprogramm
US7706601B2 (en) * 2003-08-29 2010-04-27 Nec Corporation Object posture estimation/correlation system using weight information
AU2004212605A1 (en) * 2003-09-26 2005-04-14 Nec Australia Pty Ltd Computation of soft bits for a turbo decoder in a communication receiver
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7991232B2 (en) * 2004-03-03 2011-08-02 Nec Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
JP4216824B2 (ja) * 2005-03-07 2009-01-28 株式会社東芝 ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム
JP4545641B2 (ja) * 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
JP4840018B2 (ja) * 2006-08-07 2011-12-21 富士通株式会社 形状データ検索プロブラム及び方法
US7720316B2 (en) * 2006-09-05 2010-05-18 Microsoft Corporation Constraint-based correction of handwriting recognition errors
CA2693666A1 (en) * 2007-07-12 2009-01-15 Izzat H. Izzat System and method for three-dimensional object reconstruction from two-dimensional images
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
JP2009054018A (ja) * 2007-08-28 2009-03-12 Ricoh Co Ltd 画像検索装置、画像検索方法及びプログラム
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
US7721209B2 (en) * 2008-09-08 2010-05-18 Apple Inc. Object-aware transitions
US20100118037A1 (en) * 2008-09-08 2010-05-13 Apple Inc. Object-aware transitions
JP4963306B2 (ja) 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
WO2010122721A1 (ja) * 2009-04-22 2010-10-28 日本電気株式会社 照合装置、照合方法および照合プログラム
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
KR101068465B1 (ko) * 2009-11-09 2011-09-28 한국과학기술원 삼차원 물체 인식 시스템 및 방법
JP5560722B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、および画像処理方法
JP5434708B2 (ja) * 2010-03-15 2014-03-05 オムロン株式会社 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
JP5045827B2 (ja) * 2011-02-01 2012-10-10 カシオ計算機株式会社 画像処理装置、画像処理方法、及び、プログラム
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
AU2012247147A1 (en) * 2011-04-28 2013-12-12 Koninklijke Philips Electronics N.V. Face location detection
ES2684610T3 (es) * 2011-05-31 2018-10-03 Rakuten, Inc. Dispositivo de suministro de información, método de suministro de información, programa de procesamiento de suministro de información, medio de registro que registra un programa de procesamiento de suministro de información, y sistema de suministro de información
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
US9644942B2 (en) * 2012-11-29 2017-05-09 Mitsubishi Hitachi Power Systems, Ltd. Method and apparatus for laser projection, and machining method
DE102012113009A1 (de) * 2012-12-21 2014-06-26 Jenoptik Robot Gmbh Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
GB2536493B (en) * 2015-03-20 2020-11-18 Toshiba Europe Ltd Object pose recognition
JP6869023B2 (ja) * 2015-12-30 2021-05-12 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 探索のための３ｄから２ｄへの再画像化
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
WO2017149755A1 (ja) * 2016-03-04 2017-09-08 楽天株式会社 検索装置、検索方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN107305556A (zh) * 2016-04-20 2017-10-31 索尼公司 用于3d打印的装置及方法
CN106017420B (zh) * 2016-05-24 2019-03-29 武汉轻工大学 焊接衬垫片的姿态识别方法及识别装置
US10089756B2 (en) * 2016-06-30 2018-10-02 Zhiping Mu Systems and methods for generating 2D projection from previously generated 3D dataset
WO2018155412A1 (ja) * 2017-02-21 2018-08-30 日本電気株式会社 分類装置と分類方法並びにプログラム
EP3460756B1 (en) * 2017-07-24 2021-02-17 HTC Corporation Tracking system and method thereof
CN108062390B (zh) * 2017-12-15 2021-07-23 广州酷狗计算机科技有限公司 推荐用户的方法、装置和可读存储介质
US11681303B2 (en) * 2018-07-06 2023-06-20 Verity Ag Methods and systems for estimating the orientation of an object
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109708649B (zh) * 2018-12-07 2021-02-09 中国空间技术研究院 一种遥感卫星的姿态确定方法及系统
US11803585B2 (en) * 2019-09-27 2023-10-31 Boe Technology Group Co., Ltd. Method and apparatus for searching for an image and related storage medium
CN112135121B (zh) * 2020-09-17 2023-04-28 中国信息通信研究院 智能视频监控识别性能评价系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232934A (ja) * 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11238135A (ja) * 1998-02-23 1999-08-31 Sony Corp イメージ認識方法およびイメージ認識装置
JP2000306106A (ja) * 1999-02-15 2000-11-02 Medeikku Engineering:Kk ３次元有向体の定位方法及び画像処理装置
JP2001134765A (ja) * 1999-11-09 2001-05-18 Canon Inc 画像検索方法及び装置
JP2001222716A (ja) * 2000-02-08 2001-08-17 Minolta Co Ltd 人物認証方法および同装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119475A (ja) 1990-09-10 1992-04-20 Nippon Telegr & Teleph Corp <Ntt> 三次元形状識別装置
US5555316A (en) * 1992-06-30 1996-09-10 Matsushita Electric Industrial Co., Ltd. Inspecting apparatus of mounting state of component or printing state of cream solder in mounting line of electronic component
DE69624980T2 (de) * 1995-05-18 2003-07-17 Omron Tateisi Electronics Co Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP3926059B2 (ja) 1999-05-12 2007-06-06 日本電気株式会社 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP4341135B2 (ja) * 2000-03-10 2009-10-07 コニカミノルタホールディングス株式会社 物体認識装置
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2002024830A (ja) 2000-07-05 2002-01-25 Nec Corp 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP3880818B2 (ja) 2001-08-30 2007-02-14 シャープ株式会社 メモリ膜、メモリ素子、半導体記憶装置、半導体集積回路および携帯電子機器
WO2004081854A1 (en) * 2003-03-06 2004-09-23 Animetrics, Inc. Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232934A (ja) * 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11238135A (ja) * 1998-02-23 1999-08-31 Sony Corp イメージ認識方法およびイメージ認識装置
JP2000306106A (ja) * 1999-02-15 2000-11-02 Medeikku Engineering:Kk ３次元有向体の定位方法及び画像処理装置
JP2001134765A (ja) * 1999-11-09 2001-05-18 Canon Inc 画像検索方法及び装置
JP2001222716A (ja) * 2000-02-08 2001-08-17 Minolta Co Ltd 人物認証方法および同装置

Also Published As

Publication number Publication date
JP4556873B2 (ja) 2010-10-06
EP1677250A4 (en) 2011-03-16
EP1677250B1 (en) 2012-07-25
EP1677250B9 (en) 2012-10-24
CN1871622A (zh) 2006-11-29
WO2005038716A1 (ja) 2005-04-28
KR100816607B1 (ko) 2008-03-24
CN1871622B (zh) 2010-07-14
EP2479726B1 (en) 2013-07-10
EP2479726B9 (en) 2013-10-23
US20070031001A1 (en) 2007-02-08
KR20060058147A (ko) 2006-05-29
AU2004282790A1 (en) 2005-04-28
US7715619B2 (en) 2010-05-11
EP2479726A1 (en) 2012-07-25
EP1677250A1 (en) 2006-07-05

Similar Documents

Publication Publication Date Title
JP4556873B2 (ja) 画像照合システム及び画像照合方法
JP4692773B2 (ja) 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム
JP4553141B2 (ja) 重み情報を用いた物体姿勢推定・照合システム
JP4443722B2 (ja) 画像認識装置及び方法
JP4957921B2 (ja) 照合装置および照合方法
US9818034B1 (en) System and method for pattern detection and camera calibration
US20090262989A1 (en) Image processing apparatus and method
JP2006520055A (ja) ２次元画像からの３次元オブジェクトの不変視点検出および識別
JPWO2005043466A1 (ja) 物体の状態を推定する推定システム、推定方法および推定プログラム
JP2004094491A (ja) 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
JPWO2010122721A1 (ja) 照合装置、照合方法および照合プログラム
JP3926059B2 (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP2017123087A (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
JP2004054947A (ja) 物体照合システム、物体照合方法および物体照合プログラム
CN110990604A (zh) 图像底库生成方法、人脸识别方法和智能门禁系统
JP2004288222A (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100712

R150 Certificate of patent or registration of utility model

Ref document number: 4556873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3