JP4553141B2 - 重み情報を用いた物体姿勢推定・照合システム - Google Patents

Description

本発明は、姿勢、照明等の異なる条件で撮影された物体（人物の顔を含む）の入力画像を、データベース（ＤＢ）にある参照画像や３次元物体モデルと照合し、物体の姿勢の推定や照合を行う物体姿勢推定・照合システムに関する。

従来の物体姿勢推定・照合システムの一例が、１９９５年、電子情報通信学会論文誌Ｄ−ＩＩ、第Ｊ７８−Ｄ−ＩＩ巻、第１１号、１６３９頁〜１６４９頁、嶌田ら、「顔の向きによらない人物識別のための辞書構成法」（以下、第１の従来技術と称する）に記載されている。図１に示すように、第１の従来技術の物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、照合・姿勢選択部４１と、姿勢別参照画像記憶部８５とを備える。

このような構成を有する従来の物体姿勢推定・照合システムは、以下のように動作する。姿勢別参照画像記憶部８５には、各物体を様々な姿勢条件で撮影した少なくとも１つの姿勢別参照画像が記憶されている。各姿勢別参照画像は、姿勢毎に撮影した１つの画像または複数の画像の平均から生成される。画像入力部１０は、カメラ等により実現され、撮影した入力画像をメモリ（図示せず）に記憶する。入力画像は、記録されたファイルから読み込まれたり、ネットワークを介して取得してもよい。正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する。ここでは、特徴点として例えば目や口のような特徴的な部分の位置を検出して位置合わせを行う。前記姿勢別参照画像も、正規化処理が実行され記憶されている。正規化画像は、特徴抽出処理を行った特徴を用いることも多い。照合・姿勢選択部４１は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との距離値（類似度）を計算し、当該物体に対して最も距離値の小さい（類似度の大きい）参照画像を選択することにより、最適姿勢を推定する。距離値の計算には、例えば正規化相関やユークリッド距離などが使用される。また、１つの物体との照合処理（１対１照合）の場合は、最小距離値をしきい値と比較して、同一物体であるか否かを判定する。また、複数の物体（参照画像）から入力画像に最も近い物体を検索する処理（１対Ｎ照合）の場合は、各物体に対して求めた最小距離値のうち、距離値の最も小さい物体を抽出する。

従来の物体姿勢推定・照合システムの他の一例が、特開２００３−５８８９６号（以下、第２の従来技術と称する）に記載されている。図２に示すように、第２の従来技術の物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、照合・姿勢選択部４１と、参照３次元物体モデル記憶部５５とを備える。

このような構成を有する従来の物体姿勢推定・照合システムは、以下のように動作する。参照３次元物体モデル記憶部５５には、各物体の参照３次元物体モデル（物体の３次元形状と物体表面のテクスチャ）が登録されている。姿勢候補決定部３０は、少なくとも１つの姿勢候補を決定する。比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを基に、入力画像の照明条件に近い比較画像を姿勢候補毎に生成する。照合・姿勢選択部４１は、入力画像と各比較画像との距離値（類似度）を計算し、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより最適姿勢を推定する。

従来の物体照合システムの他の一例が、２００３年、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ、第２４巻、４９９頁〜５０７頁、Ｇｕｏら、「Ｈｕｍａｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｐａｔｉａｌｌｙ ｗｅｉｇｈｔｅｄ Ｈａｕｓｄｏｒｆｆ ｄｉｓｔａｎｃｅ」（以下、第３の従来技術と称する）に記載されている。図３に示すように、第３の従来技術の物体照合システムは、画像入力部１０と、正規化部１５と、加重照合部４５と、参照画像記憶部８９と、重み係数記憶部９９とを備える。

このような構成を有する従来の物体照合システムは、以下のように動作する。画像入力部１０と正規化部１５は、図１に示した第１の従来技術における同じ参照番号の構成要素の処理と同じ処理を行う。参照画像記憶部８９には、各物体に対して少なくとも１つの参照画像が記憶されている。重み係数記憶部９９には、正規化画像と参照画像を比較する際の各画素（または特徴）の重み係数が記憶されている。加重照合部４５は、前記正規化画像と、参照画像記憶部８９より得られる各物体の参照画像との距離値（類似度）を計算し、最も距離値の小さい参照画像を選択することにより照合を行う。例えば、距離計算にユークリッド距離を使用する場合、正規化画像をｘ（ｒ）、参照画像をｍ（ｒ）、重み係数をｗ（ｒ）とすると（ｒは画素または特徴のインデックス）、重み付きユークリッド距離は、Ｄ＝Σ_ｒｗ（ｒ）｛ｘ（ｒ）−ｍ（ｒ）｝^２により計算される。

上述した従来の物体照合システムは、以下に述べるような問題点を有している。

第１および第２の従来技術では、姿勢推定や照合はできるものの、物体の局所的な変形や撮影条件の違い等により、入力画像とＤＢの参照画像または比較画像に局所的に大きな差異が生じるような場合に、姿勢推定や照合の精度が低下するという問題点がある。

その理由は、物体が変形していると、大局的に姿勢を合わせても局所的に部位の対応が合わなくなり、当該部位での画素値（または特徴）に差異が生じるためである。また、物体に変形がなく部位が正しく対応している場合でも、第１の従来技術では、入力画像と参照画像の撮影条件が異なると、局所的に大きな差異が生じる部位が発生するためである。例えば、照明条件が異なると、影の発生する部位が異なる。また、第２の従来技術では、３次元物体計測における観測誤差や比較画像生成における生成手法の簡略化などにより、入力画像に最も近い比較画像を生成しても、部分的には差異が生じてしまう場合があるためである。

第３の従来技術では、入力画像と参照画像における物体の姿勢や照明条件が異なると、照合精度が低下するという問題点がある。

その理由は、重み係数は物体の部位に対応して設定されているが、姿勢条件が異なると、部位の対応が合わなくなり、正しく重み付け照合ができなくなるためである。また、照明条件が異なると、照合に重要な部位は変化することが多いが、重み係数は同じであるため、適切な重み付け照合ができないためである。

本発明の目的は、入力画像とＤＢとの比較に局所的に大きな差異が生じるような場合でも、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる物体姿勢推定・照合システムを提供することにある。

本発明の他の目的は、変形や照明条件等の変動が生じる場合でも、変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる物体姿勢推定・照合システムを提供することにある。

本発明の第１の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶している参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。

３次元物体モデルに対応させて３次元重み係数を生成して記憶し、照合の際は姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

本発明の第２の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶している標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。

姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

本発明の第３の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶している変動別参照３次元重み係数記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記参照３次元物体モデルを用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。

姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

本発明の第４の態様によれば、物体姿勢推定・照合システムは、
物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶している変動別標準３次元重み係数記憶手段と、
前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
物体の姿勢候補を決定する姿勢候補決定手段と、
前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段
を有している。

姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

本発明の第５の態様によれば、物体姿勢推定・照合システムは、
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶している姿勢・変動別参照重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。
姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。また、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

本発明の第６の態様によれば、物体姿勢推定・照合システムは、
物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶している姿勢・変動別標準重み係数記憶手段と、
標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
入力画像を正規化し、正規化画像を生成する正規化手段と、
前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
を有している。

姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算する。したがって、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。また、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いる。したがって、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定および照合ができる。

図１は第１の従来技術の構成を示すブロック図； 図２は第２の従来技術の構成を示すブロック図； 図３は第３の従来技術の構成を示すブロック図； 図４は本発明の第１の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図５は第１の実施例の動作（姿勢推定）を示すフローチャート； 図６は第１の実施例の動作（１対１照合）を示すフローチャート； 図７は第１の実施例の動作（１対Ｎ照合）を示すフローチャート； 図８は第１の実施例の動作（登録）を示すフローチャート； 図９は第１の実施例における３次元物体モデルの座標の具体例を示す図； 図１０は第１の実施例における参照３次元物体モデルの具体例を示す図； 図１１は第１の実施例における参照３次元重み係数の具体例を示す図； 図１２は第１の実施例における入力画像の具体例を示す図； 図１３は第１の実施例における比較画像の具体例を示す図； 図１４は第１の実施例における２次元重み係数の具体例を示す図； 図１５は第１の実施例における学習用画像の具体例を示す図； 図１６は第１の実施例における比較画像の具体例を示す図； 図１７は本発明の第２の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図１８は第２の実施例の動作（姿勢推定）を示すフローチャート； 図１９は第２の実施例における標準３次元重み係数の具体例を示す図； 図２０は第２の実施例における標準３次元基準点の具体例を示す図； 図２１は第２の実施例における参照３次元基準点の具体例を示す図； 図２２は第２の実施例における２次元重み係数の具体例を示す図； 図２３は本発明の第３の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図２４は第３の実施例の動作（姿勢推定）を示すフローチャート； 図２５は第３の実施例の動作（登録）を示すフローチャート； 図２６は第３の実施例における変動（照明条件）の具体例を示す図； 図２７は第３の実施例における変動別参照３次元重み係数の具体例を示す図； 図２８は３の実施例における入力画像の具体例を示す図； 図２９は第３の実施例における比較画像の具体例を示す図； 図３０は第３の実施例における２次元重み係数の具体例を示す図； 図３１は本発明の第４の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図３２は第４の実施例の動作（姿勢推定）を示すフローチャート； 図３３は第４の実施例における変動別標準３次元重み係数の具体例を示す図； 図３４は第４の実施例における２次元重み係数の具体例を示す図； 図３５は本発明の第５の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図３６は第５の実施例の動作（姿勢推定）を示すフローチャート； 図３７は第５の実施例の動作（登録）を示すフローチャート； 図３８は第５の実施例における姿勢別参照画像の具体例を示す図； 図３９は第５の実施例における姿勢別参照重み係数の具体例を示す図； 図４０は第５の実施例における正規化画像の具体例を示す図； 図４１は本発明の第６の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図４２は第６の実施例の動作（姿勢推定）を示すフローチャート； 図４３は第６の実施例における姿勢別標準重み係数の具体例を示す図； 図４４は本発明の第７の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図４５は第７の実施例の動作（姿勢推定）を示すフローチャート； 図４６は第７の実施例の動作（登録）を示すフローチャート； 図４７は第７の実施例における姿勢・変動別参照重み係数の具体例を示す図； 図４８は本発明の第８の実施例による物体姿勢推定・照合システムの構成を示すブロック図； 図４９は第８の実施例の動作（姿勢推定）を示すフローチャート； 図５０は第８の実施例における姿勢・変動別標準重み係数の具体例を示す図である。

［第１の実施例］
図４を参照すると、本発明の第１の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、参照３次元重み係数記憶部６５と、登録部２とから構成されている。登録部２は、３次元物体モデル登録部５０と、照合・姿勢選択部４１と、３次元重み係数生成部６２から構成されている。

画像入力手段部１０と、比較画像生成部２０と、姿勢候補決定部３０と、参照３次元物体モデル記憶部５５と、照合・姿勢選択部４１については、図２に示した第２の従来技術における同じ参照番号が付された構成要素の処理と同じ処理を行う。

参照３次元重み係数記憶部６５には、各物体の参照３次元物体モデルに対応した参照３次元重み係数が記憶されている。

重み係数変換部６０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数を、姿勢候補決定部３０より得られる姿勢候補に応じて２次元重み係数に変換する。

加重照合・姿勢選択部４０は、画像入力部１０より得られる入力画像と比較画像生成部２０より得られる各姿勢候補に応じた比較画像との重み付き距離（類似度）を、重み係数変換部６０より得られる２次元重み係数を用いて計算し、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより最適姿勢を推定する。

ここで、従来技術と同様に、１つの物体との照合処理（１対１照合）の場合は、更に最小距離値をしきい値を比較することにより、同一物体であるか否かを判定する。また、複数の物体から入力画像に最も近い物体を検索する処理（１対Ｎ照合）の場合は、各物体に対して求めた最小距離値のうち、距離値の最も小さい物体を抽出する。

３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に参照３次元物体モデルを登録する。

３次元重み係数生成部６２は、照合・姿勢選択部４１より得られた最適姿勢の比較画像と入力画像を用い、参照３次元物体モデル記憶部５５より得られた参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成し、参照３次元重み係数記憶部６５に登録する。

次に、図４と図５のフローチャートを参照して本実施例の姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０によりモデル（物体）の入力画像が得られる（図５のステップ１００）。次に、姿勢候補決定部３０において姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。次に、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られた参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。重み係数変換部６０は、上記参照３次元物体モデルを用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数を、姿勢候補に応じて２次元重み係数に変換する（ステップ１３０）。最後に、加重照合・姿勢選択部４０は、入力画像と各比較画像との重み付き距離Ｄ_ｋｊ（類似度）を、２次元重み係数を用いて計算し（ステップ１４０）、入力画像の当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。

ここで、予め決定した姿勢候補群の中から距離値の最も小さい姿勢候補を選択するとしたが、姿勢候補決定部３０に戻って順次姿勢候補を変動させながら、距離値の最も小さい姿勢候補を探索してもよい。

次に、図４と図６のフローチャートを参照して本実施例の１対１照合における全体の動作について詳細に説明する。

図６のステップ１００からステップ１５０は、図５の姿勢推定におけるステップ１００からステップ１５０による処理と同じの処理を行う。最後に、加重照合・姿勢選択部４０は、更に最小距離値としきい値を比較して、同一物体であるか否かを判定する（ステップ１６０）。

次に、図４と図７のフローチャートを参照して本実施例による１対Ｎ照合における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図７のステップ１００）。次に、加重照合・姿勢選択部４０は、初めにモデル番号ｋ＝１とする（ステップ１７０）。その後、モデルＣ_ｋ毎に、図６に示した姿勢推定におけるステップ１１０からステップ１５０の処理と同一の処理を行い、モデルＣ_ｋ毎に最適な姿勢による最小距離値を求める。次に、モデル番号ｋを１増やし（ステップ１７１）、ｋがモデル数以下の場合は、ステップ１１０に戻り（ステップ１７２）、次のモデルの最小距離値を計算する。最後に、最小距離値の最も小さいモデルＣ_ｋを照合結果とする（ステップ１７５）。

次に、図４と図８のフローチャートを参照して本実施例による登録時における全体の動作について詳細に説明する。

まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃ_ｋの参照３次元物体モデルを登録する（図８のステップ３００）。次に、３次元重み係数生成部６２は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。照合・姿勢選択部４１は、入力画像と前記各比較画像との距離Ｄ_ｋｊ’（類似度）を計算し（ステップ１４１）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。次に、３次元重み係数生成部６２は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の比較画像を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成する（ステップ２２０）。最後に、当該参照３次元重み係数を参照３次元重み係数記憶部６５に登録する（ステップ２３０）。

ここで、第１の実施例の効果について説明する。

本実施例は、３次元物体モデルに対応させて３次元重み係数を生成して記憶し、照合の際は姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例は、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。

さらに、本実施例は、各画素の照合における重要度を３次元モデル上で学習するというように構成されているため、全ての姿勢に対応した学習用画像がなくても、少ない学習用画像で任意の姿勢に対して適切な重み係数を求めることができる。

次に、具体例を用いて第１の実施例の動作を説明する。なお、以下の具体例では、人物の顔を例として説明するが、第１の実施例は他の物体にも適用できるのは言うまでもない。

図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃ_ｋの参照３次元物体モデル（３次元形状とテクスチャ）が記憶されている。３次元物体モデルについては、例えば特開２００１−１２９２５号公報に記載の３次元形状測定装置を用いたり、特開平９−９１４３６号公報に記載の多数のカメラで撮影された複数画像から３次元形状を復元する装置を用いることにより生成することができる。

３次元物体モデルは、図９に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状Ｐ_Ｑ（ｘ，ｙ，ｚ）とテクスチャＴ_Ｑ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応している。照合のために、予め各３次元物体モデルを使用して、様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより基底画像群を求めておく。

また、図１１に示すように、参照３次元重み係数記憶部６５には、各物体の参照３次元重み係数Ｖ_Ｑ ^ｋが記憶されている。例えば、黒い領域がＶ_Ｑ ^ｋ＝１、白い領域がＶ_Ｑ ^ｋ＝０、グレーの領域は０＜Ｖ_Ｑ ^ｋ＜１の値を持つとする。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図１２に示すような入力画像Ｉ（ｒ）が得られたとする（図５のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。

姿勢候補群については、入力画像に関係なく予め設定しておいてもよいが、例えば、入力画像および３次元モデルから目・鼻・口などの基準点を手動また自動で抽出し、特開２００１−２８３２２９号公報に記載の物体の位置および向きを計算する方法によりおおよその姿勢を推定し、当該姿勢の近辺で姿勢候補群を生成すると効率的である。

比較画像生成部２０は、参照３次元物体モデルＣ_１を基に、入力画像の照明条件に近い比較画像Ｇ_１ｊ（ｒ）を前記姿勢候補ｅ_ｊ毎に生成する（ステップ１２０）。

ここで、入力画像の照明条件に近い比較画像を生成するために、予め求めておいた基底画像群を各姿勢候補に基づき座標変換し、当該座標変換した基底画像の線形和が当該入力画像に近くなるように、線形和の係数を最小二乗法により求めることにより実現できる。物体Ｃ_１に対して生成した比較画像の例を図１３に示す。

また、重み係数変換部６０は、前記参照３次元物体モデルＣ１を用い、参照３次元重み係数記憶部６５より得られる参照３次元重み係数Ｖ_Ｑ ^１を、前記姿勢候補ｅ_ｊに応じて２次元重み係数Ｗ_１ｊ（ｒ）に変換する（ステップ１３０）。物体Ｃ_１に対して生成した２次元重み係数の例を図１４に示す。

更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ_１ｊ（ｒ）との重み付き距離Ｄ_１ｊを、前記２次元重み係数Ｗ_１ｊ（ｒ）を用いて計算する（ステップ１４０）。例えば、重み付きはユークリッド距離を用いる場合、Ｄ_ｋｊ＝Σ_ｒＷ_ｋｊ（ｒ）｛Ｉ（ｒ）−Ｇ_ｋｊ（ｒ）｝^２により計算される。類似度Ｓ_ｋｊを用いる場合は、例えばＳ_ｋｊ＝ｅｘｐ（−Ｄ_ｋｊ）により計算できる。

最後に、当該モデルＣ_１に対して最も距離値の小さい比較画像（姿勢候補）をＤ_１＝_ｍｉｎｊＤ_１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。図１３の比較画像の場合、例えば姿勢ｅ_３が最も距離値の小さい比較画像として選択される。

次に、具体例を用いて第１の実施例による登録時における動作を説明する。ここで、物体Ｃ１の参照３次元物体モデルを登録する場合について説明する。

まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃ_１の参照３次元物体モデルを登録する（図８のステップ３００）。また、学習用画像として、図１５に示すような３個の画像が得られたとする（ここでは、学習用画像は物体Ｃ_１を様々な姿勢条件で撮影した画像とする）。

次に、３次元重み係数生成部６２は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像Ｉｈ（ｒ）を入力する（ステップ２００）。

次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_１を基に、入力画像の照明条件に近い比較画像Ｇ_１ｊ ^ｈ（ｒ）を前記姿勢候補ｅ_ｊ毎に生成する（ステップ１２０）。

照合・姿勢選択部４１は、入力画像Ｉ^ｈ（ｒ）と前記各比較画像Ｇ_１ｊ ^ｈ（ｒ）との距離Ｄ_１ｊ ^ｈ’（類似度）を計算する（ステップ１４１）。例えば、ユークリッド距離を用いる場合、Ｄ_ｋｊ ^ｈ’＝Σ_ｒ｛Ｉ^ｈ（ｒ）−Ｇ_ｋｊ ^ｈ（ｒ）｝^２により計算される。

さらに、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。次に、３次元重み係数生成部６２は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ＝３以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。図１５に示す各学習用画像Ｉ^ｈ（ｒ）に対応して求められた最適姿勢の比較画像の例を図１６に示す。

画像番号ｈが学習用画像数Ｎ＝３より大きい場合は、全ての学習用画像Ｉ^ｈ（ｒ）と対応する最適姿勢の比較画像Ｇ_１ｊ ^ｈ（ｒ）を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより参照３次元重み係数を生成する（ステップ２２０）。例えば、学習用画像と比較画像の誤差が小さい部位は照合において重要な部位であるとすると、重み係数は平均誤差の逆数で定義できる。２次元画像における学習用画像Ｉ^ｈ（ｒ）と比較画像Ｇ_ｋｊ ^ｈ（ｒ）の誤差はｄ_ｋｊ ^ｈ（ｒ）＝｜Ｉ^ｈ（ｒ）−Ｇ_ｋｊ ^ｈ（ｒ）｜により計算される。

３次元物体モデルから姿勢ｅ_ｊに基づき比較画像を生成した際の３次元モデル上の座標（ｓ，ｔ）と２次元画像上の座標ｒとの関係をｒ＝Ｆ（ｓ，ｔ）とすると、この逆変換により、２次元画像上の画素ｒに対応する３次元モデル上の点の座標は｛ｓ，ｔ｝＝Ｆ^−１（ｒ）により求まる。そこで、各画素の誤差ｄ_ｋｊ ^ｈ（ｒ）を当該逆変換により３次元モデル上の点｛ｓ，ｔ｝に写像し、全学習用画像で平均した平均誤差をＥＱｋとすると、３次元重み係数は例えばＶ_Ｑ ^ｋ＝Ａ／Ｅ_Ｑ ^ｋ（Ａは正規化係数）により計算される。なお、参照３次元重み係数Ｖ_Ｑ ^ｋは姿勢候補ｅ_ｊ毎に得られる変換ｒ＝Ｆ（ｓ，ｔ）により２次元重み計数Ｗ_ｋｊ（ｒ）に変換される。最後に、物体Ｃ_１の参照３次元重み係数Ｖ_Ｑ ^１を参照３次元重み係数記憶部６５に登録する（ステップ２３０）。

［第２の実施例］
図１７を参照すると、本発明の第２の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、標準３次元重み係数記憶部６６と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、登録部４とから構成されている。登録部４は、３次元物体モデル登録部５０と、３次元基準点登録部７０とから構成されている。

画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、参照３次元物体モデル記憶部５５と、３次元物体モデル登録部５０は、図４に示した第１の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。

標準３次元重み係数記憶部６６には、標準３次元重み係数が記憶されている。参照３次元基準点記憶部７５には、各物体の参照３次元物体モデルに対応した参照３次元基準点が記憶されている。標準３次元基準点記憶部７６には、標準３次元物体モデルに対応した標準３次元基準点が記憶されている。

重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、標準３次元重み係数記憶部６６より得られる標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、更に姿勢候補決定部３０より得られる姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する。

３次元基準点登録部７０は、３次元物体モデル登録部５０より得られる参照３次元物体モデルに対して参照３次元基準点を求め、参照３次元基準点記憶部７５に登録する。

次に、図１７と図１８のフローチャートを参照して第２の実施例による姿勢推定における全体の動作について詳細に説明する。１対１照合および１対Ｎ照合における動作については、第１の実施例と同様に、姿勢推定の動作に判定する処理（図６のステップ１６０）および最小距離値のモデルを求める処理（図７のステップ１７０から１７５）を追加した場合になるので、以下説明を省略する。

まず、画像入力部１０により入力画像が得られる（図１８のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。

重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、標準３次元重み係数記憶部６６より得られる標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、更に前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する（ステップ１３１）。

最後に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄ_ｋｊ（類似度）を、前記２次元重み係数を用い計算し（ステップ１４０）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。

次に、本実施例の登録時における全体の動作について説明する。まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃ_ｋの参照３次元物体モデルを登録する。次に、３次元基準点登録部７０は、３次元物体モデル登録部５０より得られる参照３次元物体モデルに対して参照３次元基準点を求め、参照３次元基準点記憶部７５に登録する。

次に、第２の実施例の効果について説明する。

本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。

さらに、本実施例は、複数の物体の３次元重み係数を平均化した標準３次元重み係数を保持するように構成されているため、各物体に対して参照３次元重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照３次元物体モデルに対応した学習用画像を撮影する必要がない。

次に、具体例を用いて第２の実施例の動作について説明する。

図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃ_ｋの参照３次元物体モデル（３次元形状Ｐ_Ｑ ^ｋ（ｘ，ｙ，ｚ）とテクスチャＴ_Ｑ ^ｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図１９に示すように、標準３次元重み係数記憶部６６には、標準３次元重み係数Ｖ_Ｑ ^０が記憶されている。

更に、図２０に示すように、標準３次元基準点記憶部７６には、標準３次元基準点Ｎｉ０の座標値が記憶されており、図２１に示すように、参照３次元基準点記憶部７５には、各参照３次元基準点Ｎ_ｉ ^ｋの座標値が記憶されている。基準点とは、位置合わせを行うための点であり、図では例えば左目中点、右目中点、鼻頂点、左口角点、右口角点の５点を示している。

参照３次元基準点は、予め手動で設定してもよいが、例えば、丸亀、坂本による「形状情報と色情報を併用した顔三次元データからの特徴部位の抽出」、ＦＩＴ（情報科学技術フォーラム）２００２、Ｉ−１００、ｐ．１９９−２００、２００２．記載の顔特徴抽出方法を用いて自動的に設定してもよい。標準３次元基準点は、参照３次元基準点または予め用意した学習用３次元物体モデルの３次元基準点の各点の平均座標により求めることができる。標準３次元重み係数は、参照３次元重み係数または予め用意した学習用３次元物体モデルの３次元重み係数を用い、各３次元基準点が標準３次元基準点に一致するように３次元重み係数の位置合わせを行ってから平均することにより求めることができる。

基準点以外の各点の位置合わせは、基準点の対応を内挿または外挿して決めることにより、３次元重み係数の座標値｛ｓ，ｔ｝と標準３次元重み係数の座標値｛ｓ_０，ｔ_０｝の変換式ｓ_０＝Ｈｓ（ｓ，ｔ）、ｔ_０＝Ｈｔ（ｓ，ｔ）を設定できる。また、学習用画像を使用して、各画素の誤差を標準３次元モデル上に直接写像して標準３次元重み係数を生成こともできる。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図１２に示すような入力画像Ｉ（ｒ）が得られたとする（図１８のステップ１００）。姿勢候補決定部３０は、姿勢候補群｛ｅ_ｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ_１を基に、入力画像の照明条件に近い比較画像Ｇ_１ｊ（ｒ）を前記姿勢候補ｅ_ｊ毎に生成する（ステップ１２０）。物体Ｃ_１に対して生成した比較画像の例を図１３に示す。

また、重み係数変換部６１は、標準３次元基準点Ｎ_ｉ ^０と各参照３次元基準点Ｎ_ｉ ^ｋを用い、標準３次元重み係数Ｖ_Ｑ ^０と前記参照３次元物体モデルＰ_Ｑ ^ｋとの座標の対応を求め、更に前記姿勢候補ｅ_ｊに応じて前記標準３次元重み係数Ｖ_Ｑ ^０を２次元重み係数Ｗ_１ｊ（ｒ）に変換する（ステップ１３１）。標準３次元重み係数Ｖ_Ｑ ^０と物体Ｃ_ｋの参照３次元物体モデルＰ_Ｑ ^ｋ（正確にはテクスチャＴ_Ｑ ^ｋ）との座標の対応をとることにより、仮想的に参照３次元重み係数Ｖ_Ｑ ^ｋを生成できる（実際には生成せずに標準３次元重み係数から２次元重み係数を直接生成する）。標準３次元重み係数Ｖ_Ｑ ^０と参照３次元物体モデルのテクスチャＴ_Ｑ ^ｋとの座標の対応をとるために、標準３次元基準点Ｎ_ｉ ^０と各参照３次元基準点Ｎ_ｉ ^ｋが用いられる。ここで、２次元画像中の座標値ｒに対応する標準３次元重み係数の座標値｛ｓ_０，ｔ_０｝は、ｓ_０＝Ｈｓ（Ｆ^−１（ｒ））、ｔ_０＝Ｈｔ（Ｆ^−１（ｒ））により求まる。物体Ｃ_１に対して生成した２次元重み係数の例を図１８に示す。

更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ_１ｊ（ｒ）との重み付き距離Ｄ_１ｊを、前記２次元重み係数Ｗ１_ｊ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ_１に対して最も距離値の小さい比較画像（姿勢候補）をＤ_１＝_ｍｉｎｊＤ_１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。

［第３の実施例］
図２３を参照すると、本発明の第３の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、変動推定部３５と、変動別参照３次元重み係数記憶部６７と、登録部３とから構成されている。登録部３は、３次元物体モデル登録部５０と、照合・姿勢選択部４１と、変動別３次元重み係数生成部６３とから構成されている。

画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６０と、参照３次元物体モデル記憶部５５と、３次元物体モデル登録部５０と、照合・姿勢選択部４１は、図４に示した第１の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。

変動別参照３次元重み係数記憶部６７には、参照３次元物体モデルおよび画像変動に対応した参照３次元重み係数が予め記憶されている。変動推定部３５は、画像入力部１０より得られる入力画像に対して、姿勢候補決定部３０より得られる姿勢候補と参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動を推定する。更に、推定された変動に基づき、変動別参照３次元重み係数記憶部６７における変動別参照重み係数のうち、対応する変動の参照重み係数を重み係数変換部６１に送る。

変動別３次元重み係数生成部６３は、照合・姿勢選択部４１より得られる最適姿勢の比較画像と入力画像を用い、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、変動推定部３５より得られる画像変動毎に、３次元モデル上で各画素の照合における重要度を学習することにより変動別の参照３次元重み係数を生成し、変動別参照３次元重み係数記憶部６７に登録する。

次に、図２３と図２４のフローチャートを参照して第３の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図２４のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。

変動推定部３５は、入力画像に対して、前記姿勢候補ｅ_ｊと前記参照３次元物体モデルＣ_ｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６７における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。

重み係数変換部６０は、前記参照３次元物体モデルを用い、変動別参照３次元重み係数記憶部６７より得られる変動ｂの参照３次元重み係数を、前記姿勢候補に応じて２次元重み係数に変換する（ステップ１３２）。最後に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄ_ｋｊ（または類似度）を、前記２次元重み係数を用い計算し（ステップ１４０）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。

次に、図２３と図２５のフローチャートを参照して第３の実施例による登録時における全体の動作について詳細に説明する。

まず、３次元物体モデル登録部５０は、参照３次元物体モデル記憶部５５に物体Ｃｋの参照３次元物体モデルを登録する（図２５のステップ３００）。

次に、変動別３次元重み係数生成部６３は、学習用画像と前記参照３次元物体モデルを用いて参照３次元重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。

次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。

照合・姿勢選択部４１は、入力画像と前記各比較画像との距離Ｄ_ｋｊ’（または類似度）を計算し（ステップ１４１）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。

次に、変動推定部３５は、入力画像に対して、前記姿勢候補ｅ_ｊと前記参照３次元物体モデルＣ_ｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定する（ステップ１８０）。

次に、変動別３次元重み係数生成部６３は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ１２０）。

画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の比較画像を用いて、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、変動推定部３５より得られる画像変動ｂ毎に、３次元モデル上で各画素の照合における重要度を学習することにより変動別の参照３次元重み係数を生成する（ステップ２２１）。

最後に、当該参照３次元重み係数を変動別参照３次元重み係数記憶部６７に登録する（ステップ２３１）。

次に、第３の実施例の効果について説明する。

本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。

また、本実施例は、さらに、各画素の照合における重要度を３次元モデル上で学習するというように構成されているため、全ての姿勢に対応した学習用画像がなくても、少ない学習用画像で任意の姿勢に対して適切な重み係数を求めることができる。

さらに、本実施例は、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

次に、具体例を用いて第３の実施例の動作を説明する。

画像変動としては、例えば物体の変形や照明条件などが挙げられる。照明条件の場合、例えば図２６に示すように、照明の方向が右（ｂ＝１）・正面（ｂ＝２）・左（ｂ＝３）の３通りの変動が設定できる。

図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃ_ｋの参照３次元物体モデル（３次元形状Ｐ_Ｑ ^ｋ（ｘ，ｙ，ｚ）とテクスチャＴ_Ｑ ^ｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図２７に示すように、変動別参照３次元重み係数記憶部６７には、変動別の参照３次元重み係数Ｖ_Ｑ ^ｋｂが記憶されている。変動別参照３次元重み係数は、学習用画像を手動で、または変動推定部３５を用いて自動的に変動毎にグループ分けし、グループ毎に参照３次元重み係数を学習することにより生成できる。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図２４のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅ_ｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ_１を基に、入力画像の照明条件に近い比較画像Ｇ_１ｊ（ｒ）を前記姿勢候補ｅ_ｊ毎に生成する（ステップ１２０）。物体Ｃ_１に対して生成した比較画像の例を図２９に示す。

変動推定部３５は、入力画像に対して、前記姿勢候補ｅ_ｊと前記参照３次元物体モデルＣｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６７における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６０に送る（ステップ１８０）。

照明変動を推定する場合は、例えば、顔の右半分・左半分の平均輝度値をそれぞれＬ_１，Ｌ_２とすると、｜Ｌ_１−Ｌ_２｜≦Ｔｈ（Ｔｈはしきい値）の時は正面（ｂ＝２）、Ｌ_１＞Ｌ_２＋Ｔｈの時は右（ｂ＝１）、Ｌ_２＞Ｌ１＋Ｔｈの時は左（ｂ＝３）により推定できる。

図２８の入力画像の場合、姿勢候補をｅ_１と仮定すると、姿勢が合っていないため、例えば顔の左半分における陰はさほど大きくないと解釈され、平均輝度値の差は｜Ｌ_１−Ｌ_２｜≦Ｔｈを満たし正面（ｂ＝２）と判定される。姿勢候補ｅ_２の場合も同様に正面（ｂ＝２）と判定され、姿勢候補ｅ_３の場合は正しく右（ｂ＝１）と判定されたとする。また、例えば、特開２００２−２４８３０号公報記載の画像照合方法の光源方向推定手段を使用すれば、より正確な推定も可能である。重み係数変換部６０は、前記姿勢候補ｅｊに応じて、変動ｂの前記参照３次元重み係数Ｖ_Ｑ ^１ｂを２次元重み係数Ｗ_１ｊｂ（ｒ）に変換する（ステップ１３２）。前記変動推定結果に基づき生成された２次元重み係数の例を図３０に示す。

更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ_１ｊ（ｒ）との重み付き距離Ｄ_１ｊを、前記２次元重み係数Ｗ_１ｊｂ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ_１に対して最も距離値の小さい比較画像（姿勢候補）をＤ_１＝_ｍｉｎｊＤ_１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。

［第４の実施例］
図３１を参照すると、本発明の第４の実施例による物体姿勢推定・照合システムは、画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、変動推定部３５と、変動別標準３次元重み係数記憶部６８と、登録部４とから構成されている。登録部４は、３次元物体モデル登録部５０と、３次元基準点登録部７０とから構成されている。

画像入力部１０と、比較画像生成部２０と、姿勢候補決定部３０と、加重照合・姿勢選択部４０と、重み係数変換部６１と、参照３次元物体モデル記憶部５５と、参照３次元基準点記憶部７５と、標準３次元基準点記憶部７６と、３次元物体モデル登録手段５０と、３次元基準点登録部７０は、図１７に示した第２の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。また、変動推定部３５は、図２３に示した第３の実施例における変動推定部３５と同じ処理を行う。変動別標準３次元重み係数記憶部６８には、画像変動に対応した標準３次元重み係数が記憶されている。

次に、図３１と図３２のフローチャートを参照して第４の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図３２のステップ１００）。次に、姿勢候補決定部３０において、姿勢候補群｛ｅ_ｊ｝を決定する（ステップ１１０）。さらに、比較画像生成部２０は、参照３次元物体モデル記憶部５５より得られる参照３次元物体モデルＣ_ｋを基に、入力画像の照明条件に近い比較画像を前記姿勢候補毎に生成する（ステップ１２０）。

変動推定部３５は、入力画像に対して、前記姿勢候補ｅ_ｊと前記参照３次元物体モデルＣ_ｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６８における変動別標準３次元重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。

重み係数変換部６１は、標準３次元基準点記憶部７６より得られる標準３次元基準点と参照３次元基準点記憶部７５より得られる各物体の参照３次元基準点を用い、前記姿勢候補に応じて、変動別標準３次元重み係数記憶部６８より得られる変動ｂの標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記標準３次元重み係数を２次元重み係数に変換する（ステップ１３３）。

最後に、加重照合・姿勢選択部４０は、入力画像と前記各比較画像との重み付き距離Ｄ_ｋｊ（類似度）を、前記２次元重み係数を用いて計算し（ステップ１４０）、当該モデル（物体）に対して最も距離値の小さい比較画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５０）。

次に、第４の実施例の効果について説明する。

本実施例は、姿勢候補に応じて参照３次元物体モデルから比較画像を生成すると共に、３次元重み係数も２次元重み係数に変換し、重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例では、さらに、全ての姿勢に対して１つの３次元重み係数のみを用いるようにしたため、姿勢毎に２次元の重み係数を保持する場合より少ない記憶容量で、任意の姿勢に応じた適切な重み係数設定ができる。

また、本実施例は、さらに、複数の物体の３次元重み係数を平均化した標準３次元重み係数を保持するように構成されているため、各物体に対して参照３次元重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照３次元物体モデルに対応した学習用画像を必要としない。

さらに、本実施例は、入力画像に起こりうる変動に対応した変動別３次元重み係数を保持し、入力画像から変動を推定し、対応する３次元重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

次に、具体例を用いて第４の実施例の動作を説明する。

図１０に示すように、参照３次元物体モデル記憶部５５には、物体Ｃ_ｋの参照３次元物体モデル（３次元形状Ｐ_Ｑ ^ｋ（ｘ，ｙ，ｚ）とテクスチャＴ_Ｑ ^ｋ（Ｒ，Ｇ，Ｂ））が記憶されている。また、図２０に示すように、標準３次元基準点記憶部７６には、標準３次元基準点Ｎ_ｉ ^０の座標値が記憶されており、図２１に示すように、参照３次元基準点記憶部７５には、各参照３次元基準点Ｎ_ｉ ^ｋの座標値が記憶されている。更に、図３３に示すように、変動別標準３次元重み係数記憶部６８には、変動別の標準３次元重み係数Ｖ_Ｑ ^０ｂが記憶されている。変動別３次元標準重み係数は、学習用画像を手動で、または変動推定手段３５を用いて自動的に変動毎にグループ分けし、グループ毎に標準３次元重み係数を学習することにより生成できる。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図３３のステップ１００）。姿勢候補決定部３０は姿勢候補群｛ｅ_ｊ｝を決定し（ステップ１１０）、比較画像生成部２０は、参照３次元物体モデルＣ_１を基に、入力画像の照明条件に近い比較画像Ｇ_１ｊ（ｒ）を前記姿勢候補ｅ_ｊ毎に生成する（ステップ１２０）。物体Ｃ_１に対して生成した比較画像の例を図２９に示す。

変動推定部３５は、入力画像に対して、前記姿勢候補ｅ_ｊと前記参照３次元物体モデルＣ_ｋを用いて３次元物体モデル上の部位と入力画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、変動別標準３次元重み係数記憶部６８における変動別標準重み係数のうち、対応する変動ｂの標準重み係数を重み係数変換部６１に送る（ステップ１８０）。

重み係数変換部６１は、標準３次元基準点Ｎ_ｉ ^０と各参照３次元基準点Ｎ_ｉ ^ｋを用い、前記姿勢候補ｅ_ｊに応じて、変動ｂの標準３次元重み係数Ｖ_Ｑ ^０ｂと前記参照３次元物体モデルＰＱ_ｋとの座標の対応を求め、前記標準３次元重み係数Ｖ_Ｑ ^０ｂを２次元重み係数Ｗ_１ｊｂ（ｒ）に変換する（ステップ１３３）。前記変動推定結果に基づき生成された２次元重み係数の例を図３４に示す。

更に、加重照合・姿勢選択部４０は、入力画像Ｉ（ｒ）と前記各比較画像Ｇ_１ｊ（ｒ）との重み付き距離Ｄ_１ｊを、前記２次元重み係数Ｗ_１ｊｂ（ｒ）を用いて計算する（ステップ１４０）。最後に、当該モデルＣ_１に対して最も距離値の小さい比較画像（姿勢候補）をＤ_１＝_ｍｉｎｊＤ_１ｊにより選択することにより、最適姿勢を推定する（ステップ１５０）。

［第５の実施例］
図３５を参照すると、本発明の第５の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別参照重み係数記憶部９５と、登録部７とから構成されている。登録部７は、姿勢別参照画像登録部８０と、照合・姿勢選択部４１と、姿勢別重み係数生成部９０とから構成されている。

画像入力部１０と、正規化部１５と、照合・姿勢選択部４１と、姿勢別参照画像記憶部８５は、図１に示した第１の従来技術における同じ参照番号の構成要素の処理と同一の処理を行う。加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢別参照重み係数記憶部９５より得られる姿勢別の重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に参照画像を登録する。姿勢別重み係数生成部９０は、照合・姿勢選択部４１より得られる最適姿勢の参照画像と入力画像を用い、各画素の照合における重要度を姿勢別に学習することにより姿勢別の参照重み係数を生成し、姿勢別参照重み係数記憶部９５に登録する。

次に、図３５と図３６のフローチャートを参照して第５の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図３６のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。

最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢別参照重み係数記憶部９５より得られる姿勢別の参照重み係数を用いて計算し（ステップ１４５）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、図３５と図３７のフローチャートを参照して第５の実施例による登録時における全体の動作について詳細に説明する。

まず、姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に物体Ｃ_ｋの参照画像を登録する（図３７のステップ３１０）。次に、姿勢別重み係数生成部９０は、学習用画像と前記参照画像を用いて参照重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。

次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。照合・姿勢選択部４１は、入力画像と前記各参照画像との距離Ｄ_ｋｊ’（類似度）を計算し（ステップ１４５）、当該モデル（物体）に対して最も距離値の小さい参照画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、姿勢別重み係数生成部９０は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の参照画像を用いて、各画素の照合における重要度を姿勢別に学習することにより姿勢別参照重み係数を生成する（ステップ２２５）。第５の実施例は第１の実施例とは、１つの参照３次元物体モデルと参照３次元重み係数の代わりに、姿勢別の参照画像と参照重み係数をもつことのみが異なります。つまり、第１の実施例における姿勢候補毎の比較画像、２次元重みが、第５の実施例における参照画像、参照重み係数に対応する。したがって、重要度の学習は第１の実施例における誤差ｄ_ｋｊ ^ｈ（ｒ）の計算を、比較画像Ｇから参照画像に置き換えて計算し、その（２次元上での）平均誤差をＥ^ｋｊすると、第１の実施例と同様に参照重み係数はＷ_ｋｊ＝Ａ／Ｅ^ｋｊにより計算できる。

最後に、当該姿勢別参照重み係数を姿勢別参照重み係数記憶部９５に登録する（ステップ２３５）。

次に、第５の実施例の効果について説明する。

本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

次に、具体例を用いて第５の実施例の動作を説明する。

図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃ_ｋの姿勢別の参照画像Ｒ_ｋｊが記憶されている。また、図３９に示すように、姿勢別参照重み係数記憶部９５には、姿勢別の参照重み係数Ｗ_ｋｊが記憶されている。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図１０に示すような入力画像Ｉ（ｒ）が得られたとする（図３６のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。図１０の入力画像に対する正規化画像の例を図４０に示す。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像Ｒ_１ｊ（ｒ）との重み付き距離値Ｄ_１ｊ（類似度）を、姿勢別参照重み係数記憶部９５より得られる姿勢別の参照重み係数Ｗ_１ｊを用いて計算し（ステップ１４５）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。重み付きはユークリッド距離を用いる場合、Ｄ_ｋｊ＝Σ_ｒＷ_ｋｊ（ｒ）｛Ｉ’（ｒ）−Ｒ_ｋｊ（ｒ）｝^２により計算される。図４０の正規化画像の場合、例えば姿勢ｅ_３のＲ_１３が最も距離値の小さい比較画像として選択される。

［第６の実施例］
図４１を参照すると、本発明の第６の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別標準重み係数記憶部９６と、登録部９とから構成されている。登録部９は、姿勢別参照画像登録部８０から構成されている。

画像入力部１０と、正規化部１５と、姿勢別参照画像記憶部８５は、図３５に示した第５の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。姿勢別標準重み係数記憶部９６には、姿勢別の標準重み係数が記憶されている。加重照合・姿勢選択部４０は、正規化部１５より得られる正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。

次に、図４１と図４２のフローチャートを参照して第６の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図４２のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数を用いて計算し（ステップ１４６）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、第６の実施例の効果について説明する。

本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例は、複数の物体の重み係数を平均化した標準重み係数を保持するように構成されているため、各物体に対して参照重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照画像に対応した学習用画像を撮影する必要がない。

次に、具体例を用いて第６の実施例の動作を説明する。

図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃ_ｋの姿勢別の参照画像Ｒ_ｋｊが記憶されている。また、図４３に示すように、姿勢別標準重み係数記憶部９６には、姿勢別の標準重み係数Ｗ_０ｊが記憶されている。姿勢別の標準重み係数は、姿勢別参照重み係数を姿勢毎に平均することにより、または予め用意した学習用参照画像を用い、姿勢別に学習することにより求めることができる。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図１０に示すような入力画像Ｉ（ｒ）が得られたとする（図４２のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。図１０の入力画像に対する正規化画像の例を図４０に示す。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像Ｒ_１ｊ（ｒ）との重み付き距離値Ｄ_１ｊ（類似度）を、姿勢別標準重み係数記憶部９６より得られる姿勢別の標準重み係数Ｗ_０ｊを用いて計算し（ステップ１４６）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。

［第７の実施例］
図４４を参照すると、本発明の第７の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢・変動別参照重み係数記憶部９７と、変動推定部３６と、標準３次元物体モデル５６と、登録部８とから構成されている。登録部８は、姿勢別参照画像登録部８０と、照合・姿勢選択部４１と、姿勢・変動別重み係数生成部９１とから構成されている。

画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢別参照画像登録部８０と、照合・姿勢選択部４１は、図３５に示した第５の実施例における同じ参照番号の構成要素の処理と同じ処理を行う。

姿勢・変動別重み係数記憶部９７には、姿勢および変動別の重み係数が記憶されている。標準３次元物体モデル記憶部５６には、標準的な３次元物体モデルが記憶されている。

変動推定部３６は、正規化部１５より得られる正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動を推定する。更に、推定された変動に基づき、姿勢・変動別参照重み係数記憶部９７における姿勢・変動別重み係数のうち、対応する姿勢および変動の重み係数を加重照合・姿勢選択部４０に送る。

姿勢・変動別重み係数生成部９１は、照合・姿勢選択部４１より得られる最適姿勢の参照画像と入力画像を用い、変動推定部３６より得られる画像変動毎に、各画素の照合における重要度を姿勢別に学習することにより姿勢・変動別の参照重み係数を生成し、姿勢・変動別参照重み係数記憶部９７に登録する。

次に、図４４と図４５のフローチャートを参照して第７の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図４５のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。

変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別参照重み係数記憶部９７における姿勢・変動別参照重み係数のうち、対応する姿勢ｂおよび変動の重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。

最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢・変動別参照重み係数記憶部９７より得られる姿勢および変動別の参照重み係数を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、図４４と図４６のフローチャートを参照して第７の実施例による登録時における全体の動作について詳細に説明する。

まず、姿勢別参照画像登録部８０は、姿勢別参照画像記憶部８５に物体Ｃ_ｋの参照画像を登録する（図４６のステップ３１０）。

次に、姿勢・変動別重み係数生成部９１は、学習用画像と前記参照画像を用いて参照重み係数を学習するため、初めに画像番号ｈ＝１とし（ステップ２１０）、画像入力部１０より画像番号ｈの学習用画像を入力する（ステップ２００）。

次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。照合・姿勢選択部４１は、入力画像と前記各参照画像との距離Ｄ_ｋｊ’（または類似度）を計算し（ステップ１４５）、当該モデル（物体）に対して最も距離値の小さい参照画像（姿勢候補）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定する（ステップ１８１）。

次に、姿勢・変動別重み係数生成部９１は、画像番号ｈを１増やし（ステップ２１１）、画像番号ｈが学習用画像数Ｎ以下の場合は、ステップ２００に戻り、次の学習用画像に対応する最適姿勢の比較画像を求める（ステップ２１２）。

画像番号ｈが学習用画像数Ｎより大きい場合は、全ての学習用画像と対応する最適姿勢の参照画像を用いて、各画素の照合における重要度を姿勢および変動ｂ別に学習することにより姿勢・変動別参照重み係数を生成する（ステップ２２６）。

最後に、当該姿勢・変動別参照重み係数を姿勢・変動別参照重み係数記憶部９７に登録する（ステップ２３６）。

次に、第７の実施例の効果について説明する。

本実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するというように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例は、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

次に、具体例を用いて第７の実施例の動作を説明する。

図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃ_ｋの姿勢別の参照画像Ｒ_ｋｊが記憶されている。また、図４７に示すように、姿勢・変動別参照重み係数記憶部９７には、姿勢および変動別の参照重み係数Ｗ_ｋｊｂが記憶されている。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図２８に示すような入力画像Ｉ（ｒ）が得られたとする（図４５のステップ１００）。

次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。

変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像Ｒ_１ｊの姿勢情報ｅ_ｊと標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別重み係数記憶部９７における姿勢・変動別参照重み係数Ｗ_ｋｊｂのうち、対応する姿勢および変動ｂの重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。参照画像の姿勢情報と標準３次元物体モデルから、まず参照画像の各画素が標準３次元物体モデル上のどの部位に対応するかを求める。正規化画像は姿勢を仮定して参照画像と照合されているので、正規化画像と参照画像の画素の対応を用いて、正規画像の各画素が標準３次元物体モデル上のどの部位に対応するかを求める。所定の部位の画像情報に基づき変動を推定する手法は第３の実施例における手法と同じであり、例えば顔の右半分と左半分の平均輝度値により変動が推定される。上述の正規化画像の各画素が標準３次元物体モデルのどの部位に対応するかが求められているので、正規化画像の画素の輝度値を用いて、顔の右半分と左半分の平均輝度値が計算でき、変動が推定される。

照明変動を推定する場合、姿勢情報ｅ_１，ｅ_２，ｅ_３に対応して、正面（ｂ＝２）、正面（ｂ＝２）、右（ｂ＝１）と判定された場合、姿勢・変動別重み係数はＷ_１１２，Ｗ_１２２，Ｗ_１３１が選択される。最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、前記姿勢別参照画像Ｒ_１ｊとの重み付き距離値Ｄ_１ｊを、姿勢・変動別重み係数記憶部９７より得られる選択された姿勢・変動別参照重み係数Ｗ_１ｊｂ（ｒ）を用いて計算し（ステップ１４７）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。図４０の正規化画像の場合、例えば姿勢ｅ_３，変動（照明条件）ｂ＝１のＷ_１３１の時に最も距離値が小さくなり、最も距離値の小さい比較画像Ｒ_１３が選択される。

［第８の実施例］
図４８を参照すると、本発明の第８の実施例による物体姿勢推定・照合システムは、画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、姿勢・変動別標準重み係数記憶部９８と、変動推定部３６と、標準３次元物体モデル５６と、登録部９とを備える。登録部９は姿勢別参照画像登録部８０から構成されている。

画像入力部１０と、正規化部１５と、加重照合・姿勢選択部４０と、姿勢別参照画像記憶部８５と、変動推定部３６と、標準３次元物体モデル５６と、姿勢別参照画像登録部８０は、図４４に示した第７の実施例における同じ参照番号の構成要素処理と同じ処理を行う。姿勢・変動別標準重み係数記憶部９８には、姿勢および変動別の標準重み係数が記憶されている。加重照合・姿勢選択部４０は、正規化部１５より得られる正規化画像と、姿勢別参照画像記憶部８５より得られる姿勢別の参照画像との重み付き距離を、姿勢・変動別標準重み係数記憶部９８より得られる姿勢・変動別の標準重み係数を用いて計算し、最も距離値の小さい参照画像を選択することにより姿勢推定を行う。

次に、図４４と図４９のフローチャートを参照して第８の実施例による姿勢推定における全体の動作について詳細に説明する。

まず、画像入力部１０により入力画像が得られる（図４９のステップ１００）。次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像を生成する（ステップ１０１）。

変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像の姿勢情報と標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別標準重み係数記憶部９８における姿勢・変動別標準重み係数のうち、対応する姿勢ｂおよび変動の標準重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。

最後に、加重照合・姿勢選択部４０は、前記正規化画像と、姿勢別参照画像記憶部８５より得られる各物体の姿勢別参照画像との重み付き距離値（類似度）を、姿勢・変動別標準重み係数記憶部９８より得られる姿勢および変動別の標準重み係数を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより、最適姿勢を推定する（ステップ１５５）。

次に、第８の実施例の効果について説明する。

第８の実施例は、姿勢別参照画像に対応した姿勢別重み係数を用いて重み付き距離を計算するように構成されているため、姿勢に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

また、本実施例は、さらに、複数の物体の重み係数を平均化した標準重み係数を保持するように構成されているため、各物体に対して参照重み係数を保持する場合に比べて、記憶容量を大きく低減できる。また、登録時に参照画像に対応した学習用画像を撮影する必要がない。

また、本実施例は、入力画像に起こりうる変動に対応した姿勢・変動別重み係数を保持し、正規化画像から変動を推定し、対応する重み係数を用いるように構成されているため、物体の変形や照明条件などの変動に応じた適切な重み係数設定により高精度な姿勢推定や照合ができる。

次に、具体例を用いて第８の実施例の動作を説明する。

図３８に示すように、姿勢別参照画像記憶部８５には、物体Ｃ_ｋの姿勢別の参照画像Ｒ_ｋｊが記憶されている。また、図４３に示すように、姿勢・変動別標準重み係数記憶部９８には、姿勢および変動別の標準重み係数Ｗ_０ｊｂが記憶されている。姿勢・変動別の標準重み係数は、姿勢・変動別参照重み係数を姿勢・変動毎に平均することにより、または予め用意した学習用参照画像を用い、姿勢・変動別に学習することにより求めることができる。

ここで、モデルＣ_１に対する姿勢推定の場合について説明する。画像入力部１０より、図２６に示すような入力画像Ｉ（ｒ）が得られたとする（図４９のステップ１００）。

次に、正規化部１５は、物体から抽出される特徴点を用いて入力画像の位置合わせを行い、正規化画像Ｉ’（ｒ）を生成する（ステップ１０１）。変動推定部３６は、前記正規化画像に対して、姿勢別参照画像記憶部８５より得られる参照画像Ｒ_１ｊの姿勢情報ｅ_ｊと標準３次元物体モデル記憶部５６より得られる標準３次元物体モデルを用いて３次元物体モデル上の部位と正規化画像の対応をとり、所定の部位の画像情報に基づき変動ｂを推定し、推定された変動に基づき、姿勢・変動別重み係数記憶部９８における姿勢・変動別重み係数Ｗ_０ｊｂのうち、対応する姿勢および変動ｂの重み係数を加重照合・姿勢選択部４０に送る（ステップ１８１）。

照明変動を推定する場合、姿勢情報ｅ_１，ｅ_２，ｅ_３に対応して、正面（ｂ＝２）、正面（ｂ＝２）、右（ｂ＝１）と判定された場合、姿勢・変動別重み係数はＷ_０１２，Ｗ_０２２，Ｗ_０３１が選択される。

最後に、加重照合・姿勢選択部４０は、前記正規化画像Ｉ’（ｒ）と、前記姿勢別参照画像Ｒ_１ｊとの重み付き距離値Ｄ_１ｊを、姿勢・変動別標準重み係数記憶部９８より得られる選出された姿勢・変動別の標準重み係数Ｗ_０ｊｂ（ｒ）を用いて計算し（ステップ１４８）、当該物体に対して最も距離値の小さい参照画像（姿勢）を選択することにより最適姿勢を推定する（ステップ１５５）。

本発明の第２および第４の実施例では、基準点を用いて標準３次元重み係数と参照３次元モデルとの対応をとって２次元重み係数を生成したが、予め当該対応を計算し標準３次元重み係数を参照３次元重み係数に変換し記憶しておいてもよい。

本発明の第５から第８の実施例では、姿勢別参照重み係数、姿勢別標準重み係数、姿勢・変動別参照重み係数、姿勢・変動別標準重み係数は、元々姿勢別の学習用参照画像を用い、姿勢別（および変動別）に学習するとしたが、本発明の第１から第４の実施例のように、参照３次元物体モデルを用い、入力画像と参照画像の誤差を３次元物体モデル上に逆変換して各３次元重み係数を学習してから、姿勢に応じて変換することにより各重み係数を生成してもよい。この場合、参照３次元物体モデルは学習用参照画像から生成してもよいし、または３次元形状測定装置を用いて生成してもよい。また、学習用参照画像は、必ずしも各姿勢に応じて用意される必要はない。

本発明の第３、第４、第７および第８の実施例では、変動を照明条件として説明したが、これに限るものではない。例えば、物体の形状変形（人物の顔の場合は表情変動）の場合でも、所定の部位の画像情報を用いて変動を推定することは可能である。例えば、目の開閉や口の開閉などは、それぞれの画像テンプレートを用意し照合することにより推定できる。また、変動推定を行わず、全ての変動別３次元重み係数または姿勢・変動別重み係数を使用し重み付け照合を行い、最も距離値の小さい（類似度の大きい）変動を選択してもよい。

本発明の各実施例では、姿勢推定において重み係数を使用し重み付け距離を計算するとしていたが、照合を目的とする場合は、姿勢推定においては重み係数を用いない距離計算を使用し、最適姿勢に求めてから再度重み付け距離を計算してもよい。

本発明の各実施例では、重み係数は入力画像（または正規化画像）と参照画像（または比較画像）との画素の誤差平均の逆数により求まるとしたが、これに限るものではない。例えば、参照画像と同一の物体の入力画像だけでなく、違う物体の入力画像も使用し学習してもよい。この時、物体Ｃ_ｋの学習用画像で平均した平均誤差をＥ_Ｑ ^ｋ、他の物体の学習用画像で平均した平均誤差をＥ_Ｑ ^ｋ−とすると、参照３次元重み係数は例えばＶ_Ｑ ^ｋ＝Ａ’・Ｅ_Ｑ ^ｋ−／Ｅ_Ｑ ^ｋ（Ａ’は正規化係数）により設定できる。

また、本発明の物体姿勢推定・照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記の各手段の機能を実行する物体姿勢推定・照合プログラム（アプリケーション）をコンピュータのメモリにロードしてコンピュータを制御することで実現することができる。この物体姿勢推定・照合プログラムは、磁気ディスク、半導体メモリ等の記録媒体に格納され、その記録媒体からコンピュータにロードされる。

以上好ましい実施例をあげて本発明を説明したが、本発明は必ずしも上記実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。

Claims (28)

1. 物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
   前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶している参照３次元重み係数記憶手段と、
   物体の姿勢候補を決定する姿勢候補決定手段と、
   前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
   前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
   前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
2. 物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
   複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶している標準３次元重み係数記憶手段と、
   前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
   標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
   物体の姿勢候補を決定する姿勢候補決定手段と、
   前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
   前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
   前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
3. 物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
   前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶している変動別参照３次元重み係数記憶手段と、
   物体の姿勢候補を決定する姿勢候補決定手段と、
   前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
   前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
   前記参照３次元物体モデルを用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換手段と、
   前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
4. 物体の参照３次元物体モデルを予め記憶している参照３次元物体モデル記憶手段と、
   複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶している変動別標準３次元重み係数記憶手段と、
   前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶している参照３次元基準点記憶手段と、
   標準３次元物体モデルに対応した標準３次元基準点を予め記憶している標準３次元基準点記憶手段と、
   物体の姿勢候補を決定する姿勢候補決定手段と、
   前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、前記入力画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
   前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成手段と、
   前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換手段と、
   前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
5. 前記参照３次元物体モデル記憶部に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
   学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
   入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより前記参照３次元重み係数を生成し、前記参照３次元重み係数記憶手段に登録する３次元重み係数生成手段と、
   をさらに有する、請求項１記載のシステム。
6. 前記参照３次元物体モデル記憶手段に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
   学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
   入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を入力画像の画像変動別に学習することにより変動別の前記参照３次元重み係数を生成し、前記変動別参照３次元重み係数記憶手段に登録する３次元重み係数生成手段と、
   をさらに有する、請求項３記載のシステム。
7. 前記参照３次元物体モデル記憶手段に参照３次元物体モデルを登録する３次元物体モデル登録手段と、
   前記参照３次元物体モデルに対して参照３次元基準点を求め、前記参照３次元基準点記憶手段に登録する３次元基準点登録手段と、
   をさらに有する、請求項２または４記載の照合システム。
8. 物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
   前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶している姿勢・変動別参照重み係数記憶手段と、
   標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
   入力画像を正規化し、正規化画像を生成する正規化手段と、
   前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
   前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
9. 物体の姿勢別の参照画像を予め記憶している姿勢別参照画像記憶手段と、
   画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶している姿勢・変動別標準重み係数記憶手段と、
   標準３次元物体モデルを予め記憶している標準３次元物体モデル記憶手段と、
   入力画像を正規化し、正規化画像を生成する正規化手段と、
   前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定手段と、
   前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択手段と、
   を有する物体姿勢推定・照合システム。
10. 前記姿勢別参照画像記憶手段に姿勢別の参照画像を登録する姿勢別参照画像登録手段と、
    学習用の入力画像と前記参照画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択手段と、
    前記入力画像と最適姿勢の参照画像を用い、各画素の照合における重要度を姿勢別および前記入力画像の画像変動別に学習することにより姿勢・変動別参照重み係数を生成し、前記姿勢・変動別参照重み係数記憶手段に登録する姿勢・変動別重み係数生成手段と、
    をさらに有する請求項８記載のシステム。
11. 前記姿勢別参照画像記憶手段に姿勢別の参照画像を登録する姿勢別参照画像登録手段をさらに有する、請求項９記載のシステム。
12. 前記画像変動は照明条件である、請求項３、４、６、７、８、９、１０、１１のいずれか１項に記載のシステム。
13. 前記画像変動は形状変形である、請求項３、４、６、７、８、９、１０、１１のいずれか１項に記載のシステム。
14. 前記物体は顔である、請求項１から請求項１１のいずれか１項に記載の物体姿勢推定・照合システム。
15. 物体の参照３次元物体モデルを予め記憶する処理と、
    前記参照３次元物体モデルに対応し、照合における重要度に関する参照３次元重み係数を予め記憶する処理と、
    物体の姿勢候補を決定する姿勢候補決定処理と、
    前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
    前記参照３次元物体モデルを用い、前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換処理と、
    前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
16. 物体の参照３次元物体モデルを予め記憶する処理と、
    複数の物体の３次元重み係数を平均化した標準３次元重み係数を予め記憶する処理と、
    前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶する処理と、
    標準３次元物体モデルに対応した標準３次元基準点を予め記憶する処理と、
    物体の姿勢候補を決定する姿勢候補決定処理と、
    前記参照３次元物体モデルを基に、入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
    前記標準３次元基準点と前記参照３次元基準点を用い、前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換処理と、
    前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
17. 物体の参照３次元物体モデルを予め記憶する処理と、
    前記参照３次元物体モデルおよび画像変動に対応し、照合における重要度に関する参照３次元重み係数を予め記憶する処理と、
    物体の姿勢候補を決定する姿勢候補決定処理と、
    前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、該入力画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
    前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
    前記参照３次元物体モデル用い、推定された前記変動に対応する前記参照３次元重み係数を前記姿勢候補に応じて２次元重み係数に変換する重み係数変換処理と、
    前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
18. 物体の参照３次元物体モデルを予め記憶する処理と、
    複数の物体の３次元重み係数を平均化し、画像変動に対応した標準３次元重み係数を予め記憶する処理と、
    前記参照３次元物体モデルに対応した参照３次元基準点を予め記憶する処理と、
    標準３次元物体モデルに対応した標準３次元基準点を予め記憶する処理と、
    物体の姿勢候補を決定する姿勢候補決定処理と、
    前記姿勢候補と前記参照３次元物体モデルを用い、３次元物体モデル上の部位と入力画像の対応をとり、入力画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
    前記参照３次元物体モデルを基に、前記入力画像に近い比較画像を前記姿勢候補に応じて生成する比較画像生成処理と、
    前記標準３次元基準点と前記参照３次元基準点を用い、推定された前記変動に対応する前記標準３次元重み係数と前記参照３次元物体モデルとの座標の対応を求め、前記姿勢候補に応じて前記標準３次元重み係数を２次元重み係数に変換する重み係数変換処理と、
    前記２次元重み係数を用い、前記入力画像と前記比較画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
19. 参照３次元物体モデルを登録する３次元物体モデル登録処理と、
    学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
    入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を学習することにより前記参照３次元重み係数を生成し、登録する３次元重み係数生成処理と、
    をコンピュータにさらに実行させる、請求項１５記載の物体姿勢推定・照合プログラム。
20. 参照３次元物体モデルを登録する３次元物体モデル登録処理と、
    学習用の入力画像と前記参照３次元物体モデルから姿勢候補に応じて生成された比較画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い比較画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
    前記入力画像と最適姿勢の比較画像を用い、前記参照３次元物体モデルと前記最適姿勢により求まる２次元画像と３次元モデルとの画素の対応に基づき、３次元モデル上で各画素の照合における重要度を入力画像の画像変動別に学習することにより変動別の前記参照３次元重み係数を生成し、登録する３次元重み係数生成処理と、
    をコンピュータにさらに実行させる、請求項１７記載の物体姿勢推定・照合プログラム。
21. 参照３次元物体モデルを登録する３次元物体モデル登録処理と、
    前記参照３次元物体モデルに対して参照３次元基準点を求め、登録する３次元基準点登録処理と、
    をコンピュータにさらに実行させる、請求項１６または１８記載の物体姿勢推定・照合プログラム。
22. 物体の姿勢別の参照画像を予め記憶する処理と、
    前記参照画像および画像変動に対応し、照合における重要度に関する、姿勢・変動別の参照重み係数を予め記憶する処理と、
    標準３次元物体モデルを予め記憶する処理と、
    入力画像を正規化し、正規化画像を生成する正規化処理と、
    前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
    前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
23. 物体の姿勢別の参照画像を予め記憶する処理と、
    画像変動に対応し、複数の物体の重み係数を平均化した、姿勢・変動別の標準重み係数を予め記憶する処理と、
    標準３次元物体モデルを予め記憶する処理と、
    入力画像を正規化し、正規化画像を生成する正規化処理と、
    前記参照画像の姿勢情報と前記標準３次元物体モデルを用い、３次元物体モデル上の部位と正規化画像の対応をとり、正規化画像の所定の部位の画像情報に基づき変動を推定する変動推定処理と、
    前記参照画像の姿勢情報と推定された前記変動に対応する前記姿勢・変動別の重み係数を用い、前記正規化画像と前記参照画像との重み付き距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う加重照合・姿勢選択処理と、
    をコンピュータに実行させる物体姿勢推定・照合プログラム。
24. 姿勢別の参照画像を登録する姿勢別参照画像登録処理と、
    学習用の入力画像と前記参照画像との距離または類似度を計算し、当該物体に対して距離値の最も小さいまたは類似度の最も高い参照画像を選択することにより当該物体の姿勢推定および照合を行う照合・姿勢選択処理と、
    前記入力画像と最適姿勢の参照画像を用い、各画素の照合における重要度を姿勢別および前記入力画像の画像変動別に学習することにより姿勢・変動別参照重み係数を生成し、登録する姿勢・変動別重み係数生成処理と、
    をコンピュータにさらに実行させる、請求項２２記載の物体姿勢推定・照合プログラム。
25. 姿勢別の参照画像を登録する姿勢別参照画像登録処理をコンピュータにさらに実行させる、請求項２３記載の物体姿勢推定・照合プログラム。
26. 前記画像変動は照明条件である、請求項１７、１８、２０、２１、２２、２３、２４、２５のいずれか１項に記載の物体姿勢推定・照合プログラム。
27. 前記画像変動は形状変形である、請求項１７、１８、２０、２１、２２、２３、２４、２５のいずれか１項に記載の物体姿勢推定・照合プログラム。
28. 前記物体は顔である、請求項１５から請求項２５のいずれか１項に記載の物体姿勢推定・照合プログラム。

Images