JP4573085B2 - 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム - Google Patents
位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム Download PDFInfo
- Publication number
- JP4573085B2 JP4573085B2 JP2001244473A JP2001244473A JP4573085B2 JP 4573085 B2 JP4573085 B2 JP 4573085B2 JP 2001244473 A JP2001244473 A JP 2001244473A JP 2001244473 A JP2001244473 A JP 2001244473A JP 4573085 B2 JP4573085 B2 JP 4573085B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- image
- feature point
- orientation
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Description
【０００１】
【発明の属する技術分野】
本発明は、画像中に示される物体の認識に関し、特に、認識対象の物体の３次元形状や、表面反射率や色情報等の情報を用いて、画像に写っている物体の位置や姿勢を高精度に認識する位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムに関する。
【０００２】
【従来の技術】
本発明の属する技術である画像中に示される物体の位置姿勢の認識技術とは、カメラなどの撮影装置を用いて３次元物体を撮影した２次元画像を入力として、その画像に写っている物体の位置や姿勢を認識する技術である。
【０００３】
従来より、物体上の特定のｎ個の点の３次元空間における位置と画像上の位置の対応が与えられたときに、物体のカメラに対する位置姿勢を計算する問題は、「透視ｎ点問題」と呼ばれており、数多くの公知の手法が存在する。これらの手法は例えば文献１（「An Analytic Solution for the Perspective 4-Point Problem」、Radu Horaud et al.、 Computer Vision、 Graphics and Image Processing、47、pp.33-44（1989））や、文献２（「Linear N≧4-Point Pose Determination」、Long Quan and Zhongdan Lan、 Proc. IEEE Int. Conf. Computer Vision、6、pp.778-783（1998））などにもまとめられている。
【０００４】
これら従来の透視ｎ点問題の手法では、いずれも図１９のフローチャートに示すように、まず予め処理対象の物体の特徴点の３次元位置情報を登録しておく（ステップ１９０１）。そして、処理対象の物体の画像の入力を受け付けて（ステップ１９０２）、その入力画像に写っている物体特徴点の位置を抽出する（ステップ１９０３）。その入力画像から抽出された特徴点の位置に、登録されている処理対象の物体の特徴点の３次元位置が該当する物体の位置と姿勢を計算し（ステップ１９０４、１９０５）、最適の姿勢候補を選択して出力する（ステップ１９０６）。
【０００５】
まず、最低３点以上について前記対応が与えられれば、最大４つの姿勢候補を計算することができる。しかし、３点の特徴点位置情報だけでは該姿勢候補群から正しい姿勢候補を一意に定めることができないため、通常４点以上の対応を用いる。すなわち、４点以上の内から３点を選んで計算した各姿勢候補の中から、残りの点の位置を計算した際に最も近くなる姿勢候補を選択すればよい。
【０００６】
ところが逆に、３点より多くの対応が与えられた場合、与えられた特徴点位置情報の誤差がゼロでない限り、全ての点が一致する姿勢パラメタは存在しない。
しかし現実には、特徴点位置の抽出を手動で入念に行った場合でさえも、必ず誤差が伴う。したがって、最小二乗などの方法を用いることにより与えられた特徴点群全体に対するモデル当てはめ誤差が最小となる解を求めるか、誤差が大きいと思われる点を捨てて姿勢を計算する、などの手法が利用されている。
【０００７】
このように、透視ｎ点問題の技術は、いずれも与えられた特徴点群全体に対するモデルの当てはめ誤差を最小化するような姿勢解を求める技術である。また、ここに示されたようにいずれも特徴点の位置情報のみを用いており、画像の濃淡情報自体は用いていない。
【０００８】
他の従来の手法としての文献３（特願２０００−２５７３０４号「３次元空間内の物体の位置及び向きを計算する方法」）記載の手法は、図２０のフローチャートに示されるように、与えられた特徴点位置に誤差が含まれていることを考慮し、誤差の少ない特徴点だけを選択して姿勢計算に使おうとする技術である。
【０００９】
文献３の手法では、与えられた特徴点群の中から任意の組み合わせで３点を選んで抜き出し、抜き出したそれぞれの３点の位置を修正しながら多数の姿勢候補を計算し、該姿勢候補群から与えられた特徴点群全体に対する当てはめ誤差が最小となる姿勢解を選び出す。
【００１０】
他の従来の手法としての文献４（特開２０００−３３９４６８号「３次元データの位置合わせ方法及び装置」）記載の技術も、２次元画像中に写っている物体の位置姿勢の認識に利用可能である。
【００１１】
文献４記載の手法は、同じ物体を異なる向きから測定した２つの３次元物体形状データの位置姿勢の微小なずれを推定する手法であり、設定したある視点から見た２つの形状データの画像をそれぞれ生成し、該生成した画像上で２つの形状データの対応する特徴点の位置を探索し、姿勢のずれを計算する。一方の形状データから生成した画像を入力画像であると考えれば、２次元画像中の物体の位置姿勢に応用可能である。
【００１２】
さらに他の従来の手法としての文献５（特開平１１−０５１６１１号「認識対象物体の位置姿勢認識装置及び位置姿勢認識方法」）記載の技術は、円柱など特定形状の対象物体を対象とし、画像から該輪郭線のエッジを抽出し、記憶している３次元形状モデルから生成した該輪郭エッジ画像と比較し、計算された姿勢パラメタの値を修正する。
【００１３】
さらに他の従来の手法としての文献６（特願２０００−２５１７７２号「物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法」）記載の技術は、与えられた初期姿勢データを用いて生成した物体の比較画像を用いて、特徴点の位置周辺の部分画像を切り出してテンプレートとし、その周辺でテンプレートに最も似ている位置を探すことで特徴点の位置を修正し、姿勢を再計算する。
【００１４】
【発明が解決しようとする課題】
以下、上述した従来の技術における問題点について述べる。
【００１５】
一般に、認識対象の画像（入力画像）における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合などに特徴点の位置を正確に抽出することは極めて困難であり、認識対象の画像から抽出された特徴点の位置は誤差を含んでいる。
【００１６】
特に、対象物体がエッジや角が明確でその検出が容易な多角形のような形状でない場合や、表面の模様に特徴的な点がない場合には抽出誤差が大きくなり、更に、特徴点として使える点の数が少なくなる。
【００１７】
しかし、前記透視ｎ点問題、文献３、文献４、文献５のいずれの手法も、モデルを当てはめたときの計算上の特徴点位置と、認識対象の画像から抽出された画像上の特徴点位置が近くなる姿勢が正しい姿勢であるとして最適解を決定している。したがって、誤差を含んだ特徴点位置情報を元に最適な解を決定しているため、正しい姿勢が求められないという問題があった。
【００１８】
透視ｎ点問題の技術では、入力された各特徴点位置に対する誤差の総和が最小である姿勢を計算するが、それは必ずしも正しい姿勢ではないという問題があった。例えば、一点だけ誤差の大きい点があり、その他の点の誤差がゼロであった場合を考えても、これらの手法では正しい姿勢解を求めることはできない。
【００１９】
また、特徴点が３点しか抽出できなかった場合や、４点以上抽出できてもそれらの特徴点が同一平面上にあるなど特別な配置にあった場合には、複数の姿勢候補を計算することはできても、その中から正しい姿勢を一意に決定することができない場合があるという問題があった。
【００２０】
文献３の技術では、原理的に、どの特徴点が誤差の小さい点であり、どの点が誤差の大きい点であるかは入力された特徴点位置データだけからは判別不能であるため、この手法で本当に誤差が少ない特徴点だけを選択することは不可能であるという問題があった。
【００２１】
また、最適な姿勢であるかどうかの判定を、誤差の伴った特徴点情報に基づいて決定している以上、正しい判別ができずに誤った姿勢候補を正しいものとして選んだり、誤った位置へと特徴点位置を修正した場合に、偶然、当てはめ誤差が最小となって誤った姿勢が求まってしまう場合がある。
【００２２】
文献４の手法も、認識対象の画像からの特徴点位置の抽出を行い、抽出された特徴点位置を元に姿勢を計算するので、前記文献１、文献２、文献３の手法と同様に正確な姿勢が計算できないことや、特徴点の数が少ない場合には一意に姿勢を決定できないという問題があった。
【００２３】
文献５の手法は、回転体のように特定の形状の物体のみに適用可能であって複雑な形状の物体には適用できないことや、認識対象の画像から外輪郭線が正確に抽出できなければ誤差を含んだ特徴位置情報に基づいて姿勢を計算することになるため正しい姿勢を求められないという問題があった。
【００２４】
文献６の手法は、認識対象の画像の撮影時の照明条件が大きく変動し、特徴点周辺の陰影が変化した場合、比較画像の対応する部位との類似度が低下するため、正しい特徴点位置を探索し特徴点位置を修正することが困難であるという問題があった。
【００２５】
以上をまとめると、従来の手法には次のような問題があった。
【００２６】
第１の問題として、物体形状又は表面の文様に、位置姿勢や照明条件が変動してもその画像上での位置の特定が容易な、特徴的な部位がない場合、特徴点の抽出が行えないために姿勢を計算できなかった。
【００２７】
第２の問題として、特徴点の数が３点しかない場合、又は、特徴点が４点以上あってもそれらが３次元的に特別な配置にある場合に、位置姿勢を一意に決定することができなかった。
【００２８】
第３の問題として、一般には認識対象の画像から抽出された特徴点位置に誤差が含まれる。したがって、誤差を含む特徴点群データから、誤差の少ない（又は誤差がない）点を選別することは、正しい特徴点位置が不明である限り不可能であるため正しい姿勢パラメタを求められなかった。誤差を含む特徴点群に対しての当てはめ誤差が最小となる解を求めても、一般には、その解は正しい姿勢パラメタとは一致しなかった。特徴点の位置を修正しながら多数の解を求め、その中から最適な解を選ぶ手法もあるが、誤差を含んだ特徴点の位置情報に基づいて最適解を選択する限り、正しい姿勢解を選び出すことができなかった。
【００２９】
本発明の目的は、上記従来技術の欠点を解決し、認識対象の画像における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合等における、認識対象の画像から十分な数の特徴点を抽出できなかったり、特徴点の位置を正確に抽出することができない場合においても、正しい位置姿勢を認識することができる位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムを提供することである。
【００３０】
【課題を解決するための手段】
上記目的を達成するため本発明の位置姿勢認識装置は、認識対象の画像から物体の位置姿勢を認識する位置姿勢認識装置において、前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする。
【００３１】
請求項２の本発明の位置姿勢認識装置は、前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成手段と、前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成手段と、複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択手段を備えることを特徴とする。
【００３２】
請求項３の本発明の位置姿勢認識装置は、前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００３３】
請求項４の本発明の位置姿勢認識装置は、前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００３４】
請求項５の本発明の位置姿勢認識装置は、認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出手段を備え、前記姿勢候補群決定手段は、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする。
【００３５】
請求項６の本発明の位置姿勢認識装置は、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、前記姿勢候補群決定手段は、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００３６】
請求項７の本発明の位置姿勢認識装置は、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする。
【００３７】
請求項８の本発明の位置姿勢認識装置は、前記姿勢候補群決定手段は、定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００３８】
請求項９の本発明の位置姿勢認識装置は、（１）前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢候補群決定手段が、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択手段が前記認識対象の画像に最も近い前記比較画像を判定する上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定手段を備え、前記繰り返しの終了後、前記姿勢選択手段が、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００３９】
請求項１０の本発明の位置姿勢認識装置は、前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００４０】
請求項１１の本発明の位置姿勢認識装置は、前記物体の３次元物体モデルを登録する登録部を備えることを特徴とする。
【００４１】
請求項１２の本発明の位置姿勢認識装置は、前記登録部は、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００４２】
請求項１３の本発明の位置姿勢認識装置は、前記登録部は、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００４３】
請求項１４の本発明の３次元物体モデル登録装置は、物体の位置姿勢を登録する３次元物体モデル登録装置において、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００４４】
請求項１５の本発明の３次元物体モデル登録装置は、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００４５】
請求項１６の本発明の位置姿勢認識方法は、認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識方法において、前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする。
【００４６】
請求項１７の本発明の位置姿勢認識方法は、前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成ステップと、前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成ステップと、複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択ステップを備えることを特徴とする。
【００４７】
請求項１８の本発明の位置姿勢認識方法は、前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００４８】
請求項１９の本発明の位置姿勢認識方法は、前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００４９】
請求項２０の本発明の位置姿勢認識方法は、認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出ステップを備え、前記姿勢候補群決定ステップは、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする。
【００５０】
請求項２１の本発明の位置姿勢認識方法は、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、前記姿勢候補群決定ステップは、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００５１】
請求項２２の本発明の位置姿勢認識方法は、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする。
【００５２】
請求項２３の本発明の位置姿勢認識方法は、前記姿勢候補群決定ステップは、定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００５３】
請求項２４の本発明の位置姿勢認識方法は、（１）前記姿勢選択ステップにおいて、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢候補群決定ステップにより、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択ステップにより、前記認識対象の画像に最も近い前記比較画像を判定する上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定ステップを備え、前記繰り返しの終了後、前記姿勢選択ステップが、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００５４】
請求項２５の本発明の位置姿勢認識方法は、前記姿勢選択ステップが、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００５５】
請求項２６の本発明の位置姿勢認識方法は、前記物体の３次元物体モデルの情報を登録する登録ステップを備えることを特徴とする。
【００５６】
請求項２７の本発明の位置姿勢認識方法は、前記登録ステップでは、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定ステップと、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成ステップと、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算ステップを備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００５７】
請求項２８の本発明の位置姿勢認識方法は、前記登録ステップでは、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００５８】
請求項２９の本発明の位置姿勢認識プログラムは、コンピュータを制御することにより、認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識プログラムであって、コンピュータに、物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、３次元物体モデルの基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、認識対象の画像中における物体の位置姿勢を認識する処理を実行させることを特徴とする。
【００５９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００６０】
従来の技術では、認識対象の画像（入力画像）から、特徴的な文様や物体形状のエッジその交点といった画像中の物体の特徴点の位置情報（入力画像特徴点位置）を抽出し、３次元物体モデルから計算した特徴点の位置が前記入力画像特徴点位置に最も近くなるような姿勢パラメタを最適な姿勢として求めていた。
【００６１】
これに対し、本発明では、対象物体が剛体又は準剛体とみなすことができて変形がない場合には、物体の画像の変動要因は姿勢と照明条件の変動だけであり、正しい姿勢パラメタを用いて照明条件による陰影の変動の補正を行って生成した比較画像は、その輝度値が認識対象の画像に一致することを利用する。
【００６２】
すなわち、従来の技術と比べて本発明は、複数の姿勢候補の中から最適の姿勢を選ぶときに、認識対象の画像から抽出された特徴点の位置情報を基準にするのではなく、画像の輝度値を直接比較する点、及び、それを可能にするために認識対象の画像の撮影時の照明条件の変化による陰影の変動を補正する点、が大きく異なっている。
【００６３】
本発明では、特徴抽出を行わずに画像の輝度情報を直接比較して、姿勢候補から最適の姿勢を選択することにより、従来の技術のように特徴点位置の抽出誤差に影響されることなく、正しい位置姿勢を認識することができる。
【００６４】
第１の実施の形態
図１は、本発明の第１の実施の形態による位置姿勢認識装置１００の構成を示すブロック図であり、図２は、本実施の形態による位置姿勢認識装置１００の処理の概略を示す図であり、図３は、本実施の形態による位置姿勢認識装置１００の構成の概略を示すブロック図であり、図４は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００６５】
本実施の形態の位置姿勢認識装置１００は、プログラム制御されるＣＰＵ等で実現され、図１、図３に示すように、位置や姿勢を認識しようとする対象物体に関するデータを予め記憶しておくための登録部１０と、実際に撮影された画像から物体の位置や姿勢を認識する認識部２０を備える。
【００６６】
登録部１０は、物体の３次元形状、及び、物体表面の色や反射率を測定する３次元形状・反射率測定部１１と、照明条件の変動による物体表面各位置の陰影を表す照明変動テクスチャを生成する照明変動テクスチャ生成部１２と、テクスチャの照明変動全体を縮約表現するための基底テクスチャ群を計算する基底テクスチャ計算部１３と、前記物体の３次元形状と前記基底テクスチャ群をまとめて３次元物体モデルとして記憶する物体モデル記憶部１４を備える。
【００６７】
３次元形状・反射率測定部１１は、物体の３次元形状と、物体の表面の反射率を測定する（ステップ１１０）。
【００６８】
３次元形状・反射率測定部１１による物体の３次元形状と、物体の表面の反射率の測定方法には、様々な測定装置や手法を用いることができる。例えば一例として、物体の３次元形状を、文献７（特願平１１−１２３６８７号）記載の３次元形状測定装置の技術を用いて測定することができ、またこの他にも様々な３次元形状測定装置や手法を適用することができる。また、物体表面の反射率においては、前記文献７の３次元形状測定装置が測定するテクスチャ画像をそのまま代用することができる。
【００６９】
照明変動テクスチャ生成部１２は、前記３次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に対応するテクスチャ座標系（ｓ，ｔ）を定義する（ステップ１２０）。照明変動テクスチャ生成部１２による、該テクスチャ座標系の設定方法には様々な手法が利用可能である。その一例として本実施の形態においては、図１６に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを、重心を中心として前記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）をテクスチャ座標とする手法を利用する。しかし、この他にも様々な装置や手法が利用可能である。
【００７０】
ここで、本実施の形態の照明変動テクスチャ生成部１２の、テクスチャ座標系の設定処理を詳細に説明する。
【００７１】
本実施の形態の照明変動テクスチャ生成部１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ（ｓ，ｔ）を、照明条件ｊを様々に変化させながら多数生成し、これを照明変動テクスチャ群｛Ｔｊ（ｓ，ｔ）｝として出力する。ここで、輝度値の計算には様々なコンピュータグラフィックスの手法を応用して適用することが可能であるが、一例として物体表面の反射特性をLambertianモデルで近似し、照明が無限に遠くにあると仮定した以下のような手法を用いる。
【００７２】
まず、前記３次元形状データを用い、物体表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そして、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度値Ｔ（ｓ，ｔ）を次の数１の式により求める。
【数１】
ここで、ｅ（ｓ，ｔ）は、点Ｐ（ｓ，ｔ）が影になるかどうかで０か１の値をとる関数とする。影の判定は、点Ｐから光源ベクトルの方向への半直線が物体と交差するかどうかを、光線追跡法の技術などを用いて判定すればよい。
【００７３】
基底テクスチャ計算部１３は、前記照明変動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件でのテクスチャを包含する部分空間の基底である基底テクスチャ群｛Ｇｉ｝を計算する（ステップ１３０）。
【００７４】
各基底テクスチャＧｉの計算は、数２に示すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並べた行列の共分散行列の、固有ベクトルと固有値を求める。
【数２】
ここで、固有値｛λｉ｝は、その値の大きい順にｉ＝１，２，３，…，Ｎとする。
【００７５】
そして、求められた固有ベクトルの内で必要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝（ｉ＝１，２，３，…，ｎ）として出力する。取り出す個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒとして０．９９（９９％）などの値を設定して、次の数３の式を満たすようにｎを設定する等の方法を用いることができる。
【数３】
【００７６】
物体モデル記憶部１４では、前記３次元形状と、前記基底テクスチャ群｛Ｇｉ｝を記憶しておく（ステップ１４０）。
【００７７】
認識部２０では、カメラ等の撮像装置を用いて撮影された位置や姿勢を認識しようとする物体の２次元画像である入力画像と、物体の位置姿勢の候補として与えられる姿勢候補群を入力とし、前記入力画像中に写っている物体の位置として最も正しい姿勢候補である最適姿勢候補を、位置姿勢の認識結果として出力する。
【００７８】
認識部２０は、前記姿勢候補群を入力とし、物体モデル記憶部１４から物体の３次元物体モデルを読み込み、与えられた姿勢候補の位置姿勢に物体があるときの画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成部２１と、各照明変動空間を用いて入力画像に最も近い画像として比較画像を生成する比較画像生成部２２と、前記比較画像群の中で最も入力画像に近い比較画像を選択し該画像を生成する姿勢候補を最適姿勢候補として出力する姿勢選択部２３を備える。
【００７９】
まず、与えられた姿勢候補群のそれぞれの姿勢候補に対して、照明変動空間生成部２１、及び比較画像生成部２２が処理を行う（ステップ２１０、２２０）。
【００８０】
図５は、本実施の形態の照明変動空間生成部２１の構成を示すブロック図であり、図６は、本実施の形態の照明変動空間生成の処理を説明するためのフローチャートである。本実施の形態の照明変動空間生成部２１は、図５に示すように投影変換決定部２１−１と、基底テクスチャ投影部２１−２を備えている。
【００８１】
投影変換決定部２１−１は、前記姿勢候補の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力する（ステップ６０３）。当然ながら、この変換は画像の画素の内物体の領域である画素についてのみ求めればよい。
【００８２】
この処理には様々な手法を用いることができるが、一例として次のような手法を用いることができる。物体の３次元形状データと、表面の色情報、及び位置姿勢が決まれば、一般的なコンピュータのグラフィクス標準機能を用いて該位置姿勢での物体の画像を描画することができる。
【００８３】
ここで、物体表面各点の色を、その点のテクスチャ座標（ｓ，ｔ）と１対１で対応するように設定し、描画を行えば、描画された画像の各画素（ｕ，ｖ）の色から（ｕ，ｖ）→（ｓ，ｔ）対応関係を求めることができる。この方法はあくまで一例であり、その他様々な手法が適用可能であることはいうまでもない。
【００８４】
基底テクスチャ投影部２１−２は、前記座標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を次式によって計算する（ステップ６０４）。
Ｂｉ（ｕ，ｖ）＝Ｇｉ（ｆ（ｕ，ｖ））、 （ｉ＝１，２，３，…，ｎ）
計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間Ｓとして出力する。
【００８５】
比較画像生成部２２は、前記照明変動空間Ｓを用いて、比較画像を、照明変動空間Ｓ内にありかつ入力画像に最も近い画像として生成する（ステップ２２０）。この照明変動空間Ｓ内にある入力画像に最も近い比較画像を生成する方法には、例えば数４に示すように、比較画像を示す係数｛ａｉ｝の値を最小二乗法によって求める等の方法を用いることができる。
【数４】
【００８６】
姿勢選択部２３は、前記姿勢候補群の中の各姿勢候補ｊについて生成した前記比較画像の中で、最も入力画像との類似度の高い比較画像Ｃｊに対応する姿勢候補ｊを、最適姿勢候補として出力する（ステップ２３０）。
【００８７】
入力画像Ｉｑと各比較画像との類似度は、画像の輝度値を比較することにより数５で計算するｄｊの値を用いて、判定することができる。数５の場合においては、ｄｊの値が小さいほど類似度が高いことになるので、ｄｊの値の最も値の小さい比較画像を生成する姿勢候補ｊを最適姿勢候補とする。
【数５】
【００８８】
この類似度の計算方法はあくまで一例であり、この他に、類似度として画像の相関値を用いたり、比較画像と入力画像をそれぞれぼかしたりエッジを強調するなどの特徴抽出や画像処理を加えた後で類似度を計算するなど、様々な方法が適用可能である。
【００８９】
そして、本実施の形態においては、姿勢選択部２３において最適姿勢候補として選択された姿勢を、入力画像中の物体の姿勢の認識結果として出力する（ステップ２９０）。
【００９０】
以上説明したように、本実施の形態によれば、画像の輝度値を直接比較して物体の正しい位置姿勢を判定することができる。このため、入力画像における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合等における、入力画像から十分な数の特徴点を抽出できなかったり、特徴点の位置を正確に抽出することができない場合においても、正しい位置姿勢を認識することができる。
【００９１】
第２の実施の形態
図７は、本発明の第２の実施の形態による位置姿勢認識装置１００ａの構成を示すブロック図であり、図８は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００９２】
本実施の形態は、姿勢候補が複数の候補として離散的に与えられるのではなく、与えられた姿勢とその誤差あるいは変動の範囲として指定されたり、あるいは位置と姿勢の各パラメタの指定された範囲として指定するように、一つ又は複数の連続的な領域として姿勢候補が与えられた場合に、その該姿勢候補領域内で最適な姿勢を求める実施の形態である。
【００９３】
このため本実施の形態では、第１の実施の形態の位置姿勢認識装置１００の構成に加えて、認識部２０ａに姿勢候補群決定部２６を備えている。
【００９４】
姿勢候補群決定部２６は、姿勢候補として、位置姿勢を示すパラメタの値とその位置姿勢からの誤差あるいは変動の範囲が与えられた場合には、その指定された範囲内で、姿勢候補の各パラメタを変動させることにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する（ステップ２６０）。
【００９５】
また、姿勢候補として、位置姿勢を示すパラメタの範囲が与えられた場合には、その指定された範囲内で、位置姿勢の各パラメタをランダムに、又は、適当な間隔で標本化することにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する（ステップ２６０）。
【００９６】
本実施の形態の他の処理は、全て第１の実施の形態と同様である。
【００９７】
以上説明したように、本実施の形態によれば、第１の実施の形態の効果に加えて、連続的な領域として姿勢候補が与えられた場合にも対応し、その指定された姿勢候補の範囲の中から、最適の姿勢候補を選択し、入力画像中の物体の姿勢の認識結果として出力することができる。
【００９８】
第３の実施の形態
図９は、本発明の第３の実施の形態による位置姿勢認識装置１００ｂの構成を示すブロック図であり、図１０は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００９９】
本実施の形態は、第２の実施の形態と同様に、一つの姿勢候補とその誤差あるいは変動の範囲、あるいは、位置姿勢を示す各パラメタの範囲というように一つ又は複数の連続的な領域として与えられた場合に、該姿勢候補領域内で最適な姿勢を求める実施の形態である。
【０１００】
しかし、第２の実施の形態では、正確な姿勢パラメタを求めるためには、誤差範囲全体をできるだけ細かく区切って標本化したり、多数の候補を計算する必要があった。これは、与えられた誤差範囲が大きい場合には、計算量が多くなるという問題がある。
【０１０１】
そこで、本実施の形態では、姿勢候補の各パラメタを予め決めた少しの量ずつ変動させて複数の姿勢候補を生成し、その中から最適な候補を選択し、その最適姿勢候補を再び姿勢候補として認識処理を繰り返すことにより、徐々により最適な姿勢候補を求めていくことを特徴とする。
【０１０２】
この最適な姿勢候補を繰り返し求めていく処理は、予め定められた適当な回数の繰り返しを終えた段階や、どのパラメタを変動させても姿勢候補より良い姿勢パラメタが得られなくなった時点等において、その処理を打ち切ることとする。
【０１０３】
本実施の形態では、第２の実施の形態の認識部２０が、始めに与えられた初期の姿勢候補を基に認識結果として出力する最適姿勢候補を、これを再び初期の姿勢候補に置き換えて認識処理を繰り返すことを特徴とする。このため、第２の実施の形態の構成に加えて、認識処理の繰り返しの終了を判定する終了判定部２８を備えている。
【０１０４】
終了判定部２８は、適当な回数の繰り返しを終えた段階、あるいいは、どのパラメタを変動させても姿勢候補より良い姿勢パラメタが得られなくなった時点で認識処理の繰り返しを打ち切る（ステップ２８０）。また、それ以外の場合には、最適姿勢候補を姿勢候補として置き換えて、姿勢候補群決定部２６以下の処理を繰り返し行う。
【０１０５】
この他の処理は全て第２の実施の形態と同様である。
【０１０６】
以上説明したように、本実施の形態によれば、第２の実施の形態の効果に加えて、認識結果として出力する最適姿勢候補を再び姿勢候補に置き換えて認識処理を繰り返すことができるため、より精度の高い認識結果を得ることができる。
【０１０７】
第４の実施の形態
図１１は、本発明の第４の実施の形態による位置姿勢認識装置１００ｃの構成を示すブロック図であり、図１２は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【０１０８】
本実施の形態では、画像の濃淡等の輝度値の情報のみではなく、位置や姿勢を物体の特徴的な見え方をする部位（特徴点）の位置情報も、参照する。しかし、従来の技術とは異なり、最適な姿勢解の選択・決定は、特徴点位置ではなく、画像の濃淡情報をそのまま比較することにより行う。
【０１０９】
本実施の形態では、第１の実施の形態の構成に加えて、登録部１０ｃに、物体の特徴的な部位である物体特徴点の３次元位置を入力する特徴点３次元位置入力部１５と、該特徴点３次元位置を記憶する特徴点３次元位置記憶部１６を備えている。
【０１１０】
なお、３次元形状・反射率測定部１１、照明変動テクスチャ生成部１２、基底テクスチャ計算部１３、物体モデル記憶部１４の処理は、第１の実施の形態と全く同様である。
【０１１１】
特徴点３次元位置入力部１５では、測定した前記３次元形状と反射率を参照し、物体表面上で形状や表面の反射率が急激に変化している部位や、特徴的な形状・文様がある部位を特徴点とし、その３次元の位置座標を入力する（ステップ１５０）。
【０１１２】
この特徴点としては、エッジの交点や曲率の最大点、円弧の中心などの位置はもちろん、直線の傾きと位置など様々な位置特徴量を用いることが可能である。
この特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された物体を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な手法を利用することももちろん可能である。
【０１１３】
特徴点３次元位置記憶部１６は、前記入力された特徴点３次元位置を記憶する（ステップ１６０）。
【０１１４】
本実施の形態の認識部２０ｃは、第１の実施の形態の構成に加えて、入力画像における前記物体特徴点の位置を抽出する特徴点位置抽出部２４と、該入力画像特徴点位置と前記特徴点３次元位置を用いて物体の姿勢の候補を計算する姿勢計算部２５を備えている。
【０１１５】
なお、照明変動空間生成部２１、比較画像生成部２２、姿勢選択部２３の処理は、第１の実施の形態と全く同様である。
【０１１６】
特徴点位置抽出部２４では、特徴点３次元位置記憶部１６に記憶されている各物体特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する（ステップ２４０）。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。
【０１１７】
姿勢計算部２５では、特徴点３次元位置記憶部１６から特徴点３次元位置を読み込み、前記入力画像特徴点位置に前記特徴点３次元位置にある物体特徴点が投影されるような、位置姿勢のパラメタを計算し、計算された位置姿勢パラメタ群を姿勢候補群として出力する（ステップ２５０）。
【０１１８】
この処理には、前記透視ｎ点問題の様々な技術を利用することが可能である。
物体特徴点の位置が、３点について抽出できた場合、また、４点以上抽出できる場合でも同一平面上にあったり３次元的に特別な配置にある場合、最大４つの姿勢候補が計算される。そこで、この最大４つの姿勢候補を姿勢候補群として出力する。
【０１１９】
上述したように、本実施の形態によれば、特徴点の位置情報だけではこれらの解の内どれが正解であるかを判定できない場合においても、本発明を用いることでどれが正解であるかを決定することができる。また、第１の実施の形態の効果に加えて、更に特徴点の位置情報をも位置姿勢の認識のために用いることにより、より精度の高い認識結果を得ることができる。
【０１２０】
第５の実施の形態
図１３は、本発明の第５の実施の形態による位置姿勢認識装置１００ｄの構成を示すブロック図であり、図１４は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【０１２１】
本発明の第５の実施の形態は、第２の実施の形態において更に、姿勢候補の計算を入力画像の特徴点の位置に基づいて行う点と、及び姿勢候補の誤差の範囲を、入力画像からの特徴点位置の抽出誤差に基づいて決定する点を特徴とする。
【０１２２】
登録部１０ｄには、第２の実施の形態の構成に加えて、物体の特徴的な部位である物体特徴点の３次元位置を入力する特徴点３次元位置入力部１５と、該特徴点３次元位置を記憶する特徴点３次元位置記憶部１６を備えている。また、本実施の形態の登録部１０ｄの構成とその処理は、第４の実施の形態と全く同様である。
【０１２３】
本実施の形態の位置姿勢認識装置１００ｄは、第２の実施の形態の構成に加えて、認識部２０ｄに、入力画像における前記物体特徴点の位置を抽出すると共にその抽出誤差の範囲を出力する特徴点位置抽出部２４と、前記特徴点位置と抽出誤差を用いて計算される姿勢の誤差範囲を決定する姿勢範囲決定部２７を備えることを特徴とする。
【０１２４】
特徴点位置抽出部２４は、特徴点３次元位置記憶部１６に記憶されている各物体特徴点の入力画像における位置又はその存在範囲を抽出し、入力画像特徴点位置として出力する（ステップ２４０）。また同時に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範囲として出力する
ここで、物体特徴点の位置の入力処理は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置又は範囲を指示して行う方式や、自動的に特徴点を検出する様々な技術を適用することが可能である。これにも様々な手法が適用可能であるが、前記の手動による入力作業を繰り返し行って誤差の範囲を求めたり、事前に評価実験を行ってどの程度の誤差が生じるかを予め求めておいたり、入力画像のノイズやぼけの量、各物体特徴点のエッジの明確さや特徴として用いている形状の大きさなどから決定することもできる。
【０１２５】
姿勢範囲決定部２７は、前記特徴点誤差範囲を用いて、前記姿勢計算部２５で用いたのと同様に透視ｎ点問題の技術などを利用して計算される姿勢候補のパラメタが、誤差として変動する可能性のある範囲を推定し、姿勢候補範囲として出力する（ステップ２７０）。
【０１２６】
この処理には様々な手法が適用可能であるが、一例として数値シミュレーションを用いる手法が利用可能である。これは、前記特徴点誤差範囲内で前記入力画像特徴点位置を変化させながら多数の姿勢候補を計算し、その存在範囲を求めるものである。この他にも、姿勢の計算に用いる計算式を解析して誤差範囲を求めたり、様々な手法が適用可能である。
【０１２７】
また、姿勢候補群決定部２６以下の処理（ステップ２６０〜２９０）は、全て第２の実施の形態と同様である。
【０１２８】
次に、本発明の様々な実施例を説明する。
【０１２９】
第１の実施例
図１に示した第１の実施の形態を適応した第１の実施例について、その処理例である図１６、図１７を参照して説明する。なお、本実施例では、姿勢を認識する対象物体として人間の顔を対象とする例について説明するが、任意の物体に適用可能であることはいうまでもない。
【０１３０】
図１に示されるように、登録部１０には、予め物体の３次元形状と基底テクスチャ群を３次元モデルとして記憶しておく。登録部１０では、例えば、ビデオカメラ等の撮像装置を用いて２次元の画像を撮影し、姿勢認識処理を行う処理装置に取り込む。
【０１３１】
本実施例の登録部１０は、前述のように３次元形状・反射率測定部１１と、照明変動テクスチャ生成部１２と、基底テクスチャ計算部１３と、物体モデル記憶部１４を備えており、本実施例では、特に照明変動テクスチャ生成部１２と、基底テクスチャ計算部１３の処理の実施例を説明する。
【０１３２】
照明変動テクスチャ生成部１２は、前記３次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に対応するテクスチャ座標系（ｓ，ｔ）を定義する。
【０１３３】
本実施例では、テクスチャ座標系の設定方法として、図１６に示すように、顔の３次元形状データの重心を中心として顔全体を覆う適当な大きさの球を考え、物体表面上の各点Ｐを、重心を中心として前記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）をテクスチャ座標とする手法を用いる。
【０１３４】
本実施例の場合においては、顔の後ろ側の頭部の形状データを利用しないこととし、（ｓ，ｔ）＝（０，０）を顔の正面の方向であるように設定し、ｓ、ｔはそれぞれ−９０°から９０°までの範囲であるとする。
【０１３５】
照明変動テクスチャ生成部１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ（ｓ，ｔ）を、照明条件を様々に変化させながらＮ枚生成し、照明変動テクスチャ群Ｔｋ（ｓ，ｔ）として出力する。例えば、無限遠にある一つの点光源を考え、図１７に示すような物体を中心とした球面の経度、緯度をあらわす（θ，φ）の角度で光源の方向を示すとし、θとφを１０°おきに−９０°から９０°まで変化させ、Ｎ＝３６１種類の照明条件群を設定する。この光源の種類、照明方向の設定間隔や範囲の決め方は一例であり、より均一に方向を決めるために種々変更することも可能である。
【０１３６】
輝度値の計算には、様々なコンピュータグラフィックスの手法を応用して適用することが可能であり、本実施例では、物体表面の反射特性をLambertianモデルで近似し、照明が無限に遠くにあると仮定した以下のような手法を用いる。
【０１３７】
まず、前記３次元形状データを用い、物体表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そして、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度値Ｔｋ（ｓ，ｔ）を、数１の式と同様にして、次の数６の式により求める。数６では、Ｎ種類（ｋ＝１，２，…，Ｎ）の、球の中心から各方向への方向を表すベクトルを用いている。
【数６】
ここで、ｅｋ（ｓ，ｔ）は、点Ｐ（ｓ，ｔ）が影になるかどうかで０か１の値をとる関数とする。
【０１３８】
基底テクスチャ計算部１３は、前記照明変動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件でのテクスチャを包含する部分空間の基底である基底テクスチャ群｛Ｇｉ｝を計算する。各基底テクスチャＧｉの計算は、数７に示すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並べた行列の共分散行列の、固有ベクトルと固有値を求める。
【数７】
ここで、固有値｛λｉ｝は、その値の大きい順にｉ＝１，２，３，…，Ｎとする。
【０１３９】
そして、求められた固有ベクトルの内で必要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝（ｉ＝１，２，３，…，ｎ）として出力する。取り出す個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒとして０．９９（９９％）などの値を設定して、（数３の式と同様にして）次の数８の式を満たすようにｎを設定する。
【数８】
【０１４０】
このように、取り出された固有ベクトルの各要素の値を、その要素と対応する画素の輝度値として持つテクスチャを基底テクスチャＧｉとして出力する。
【０１４１】
次に、認識部２０の実施例を説明する。認識部２０は、前述のように照明変動空間生成部２１と、比較画像生成部２２と、姿勢選択部２３を備えており、本実施例では、特に、照明変動空間生成部２１の処理の実施例を説明する。
【０１４２】
本実施例では、位置と姿勢のパラメタとしては、平行移動量を表すＴｘ，Ｔｙ，Ｔｚ及び、回転を表すＲｘ，Ｒｙ，Ｒｚを用いることとする。
【０１４３】
照明変動空間生成部２１は、前述のように投影変換決定部２１−１と、基底テクスチャ投影部２１−２を備えている。
【０１４４】
投影変換決定部２１−１は、前記姿勢候補の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力する。
【０１４５】
本実施例では、変換ｆを求める処理として次の手法を用いる。
【０１４６】
ここで、物体表面各点の色を、その点のテクスチャ座標（ｓ，ｔ）と１対１で対応するように設定し、描画を行えば、描画された画像の各画素（ｕ，ｖ）の色から（ｕ，ｖ）→（ｓ，ｔ）の対応関係を求める。例えば、色の赤、緑、青成分を表すＲＧＢ値はフルカラー表示が可能なコンピュータでは０から２５５の値が設定でき、テクスチャ座標（ｓ，ｔ）は，本実施例では−９０から９０の範囲の値である。
【０１４７】
そこで、テクスチャ座標が（ｓ，ｔ）である点に次の色を設定する。
Ｒ＝（ｓ＋９０）＊２５５／１８０
Ｇ＝（ｔ＋９０）＊２５５／１８０
このようにして生成された画像の各画素（ｕ，ｖ）の色から、上式を逆に用いてテクスチャ座標（ｓ，ｔ）を計算する。
【０１４８】
この方法はあくまで一例であり、その他様々な手法が適用可能であることはいうまでもない。
【０１４９】
そして、基底テクスチャ投影部２１−２は、前記座標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を計算し、計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間Ｓとして出力する。
【０１５０】
第２の実施例
図７に示した第２の実施の形態を適応した第２の実施例について説明する。本実施例は、姿勢候補が複数の候補として離散的に与えられるのではなく、ある姿勢とその誤差あるいは変動の指定された範囲、あるいは位置と姿勢を示すの各パラメタの指定された範囲というように、一つ又は複数の連続的な領域として与えられた場合に、該姿勢候補領域内で最適な姿勢を求める実施例である。
【０１５１】
本実施例では、物体の概略の位置と向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわかっており、その誤差が平行移動量で１０ｍｍ、回転で５°以下であるとわかっている場合を例に説明する。
【０１５２】
認識部２０の姿勢候補群決定部２６は、入力された誤差範囲内で、姿勢候補の各パラメタを変動させることにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する。
【０１５３】
本実施例では、例えば一例として、ｘが−１０から１０、ｙが４０から６０、ｚが９０から１１０、Ｒｘが−５から５、Ｒｙが１５から２５、Ｒｚが３５から４５の範囲で、各Ｔｘ，Ｔｙ，Ｔｚは５ｍｍ、Ｒｘ，Ｒｙ，Ｒｚは５°間隔に値を設定して、合計５３×３３＝３３７５個の姿勢候補を生成する。この他の処理は、全て第１の実施例と同様である。
【０１５４】
第３の実施例
図９に示した第３の実施の形態を適応した第３の実施例について説明する。本実施例では、第２の実施例の認識部の認識結果である最適姿勢候補を初期の姿勢候補に置き換えて認識処理を繰り返すことを特徴とする。
【０１５５】
また、本実施例の姿勢候補群決定部２６は、姿勢候補の各パラメタを予め決めた少しの量ずつ変動させて複数の姿勢候補を生成し、その中から最適な候補を選択し、最適姿勢候補を再び姿勢候補として処理を繰り返していくことにより、徐々に最適な姿勢候補を求めていく。これにより、より計算量を減らして効率よく最適姿勢候補を求めることができる。
【０１５６】
ここでは一例として、物体の概略の位置と向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわかっており、ｘ，ｙ，ｚの変化量を１ｍｍ、Ｒｘ，Ｒｙ，Ｒｚの変化量を１°とする。
【０１５７】
まず、姿勢候補群決定部２６ｂは、Ｔｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの６つのパラメタの中からそれぞれ一つを選んでＴｘ，Ｔｙ，Ｔｚなら１ｍｍを、Ｒｘ，Ｒｙ，Ｒｚなら１°を増加又は減少させた姿勢候補をそれぞれ生成する。すなわち、合計で２×６＝１２個の姿勢候補を生成し、姿勢候補群として出力する。
【０１５８】
照明変動空間生成部２１から姿勢選択部２３の処理（ステップ２１０〜２３０）は、全て第２の実施の形態と同様である。１２個の各姿勢候補に対し、比較画像を生成し、最も入力画像に近い画像を生成した姿勢候補を選択して最適姿勢候補として出力する。
【０１５９】
終了判定部２８は、前回の最適姿勢候補から生成された比較画像と、入力画像の類似度を記憶しておき、現在の最適姿勢候補から生成された比較画像と入力画像の類似度と比較する。この類似度が高くなっていない場合、処理を打ち切る。
類似度が高くなっている場合には、現在の最適姿勢候補を姿勢候補として置き換え、姿勢候補群決定部２６以下の処理（ステップ２６０〜ステップ２８０）を繰り返し行う。この他の処理は、全て第２の実施例と同様である。
【０１６０】
第４の実施例
図１１に示した第４の実施の形態を適応した第４の実施例について、その処理例である図１８を参照して説明する。本実施例は、位置や姿勢を物体の特徴的な見え方をする部位の位置情報に基づいて決定するが、従来の技術と異なり、最適な姿勢解の選択・決定は、特徴点位置ではなく、入力画像と比較画像の濃淡情報をそのまま比較することにより行う。本実施例では、一例として人間の顔を対象物体として用い、図１８の１２個の特徴点を用いる場合について述べる。
【０１６１】
本実施例の登録部１０ｃは、前述のように第１の実施の形態の構成に加えて、特徴点３次元位置入力部１５と、特徴点３次元位置記憶部１６を備えている。
【０１６２】
特徴点３次元位置入力部１５は、測定した前記３次元形状と反射率を参照し、目尻の位置など図１８に示す１２個の特徴点の位置を入力する。この特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された物体を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な手法を利用することももちろん可能である。一例として、図１６の右図に示したようなテクスチャ画像をコンピュータの画面に表示し、ユーザが各特徴点の位置を画面上で指示していくという方法が利用可能である。
【０１６３】
特徴点３次元位置記憶部１６は、前記入力された１２個の特徴点の、３次元座標を記憶する。
【０１６４】
また本実施例の認識部２０ｃは、前述のように第１の実施の形態の構成に加えて、特徴点位置抽出部２４と、姿勢計算部２５を備えている。
【０１６５】
特徴点位置抽出部２４は、図１８の１２個の特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。本実施例では、一例として、入力画像が不鮮明であったために、１２個の特徴点の内、両目と口中央の位置である図１８の１、４、１０の３点の位置しか入力できなかった例を説明する。
【０１６６】
姿勢計算部２５は、特徴点３次元位置記憶部１６から特徴点３次元位置を読み込み、前記入力画像特徴点位置に前記特徴点３次元位置にある物体特徴点が投影されるような、位置姿勢のパラメタを計算し、計算された位置姿勢パラメタ群を姿勢候補群として出力する。
【０１６７】
例えば、従来の透視ｎ点問題の技術を用いることにより、３点の特徴点の入力画像上の位置と３次元座標が得られているので、最大４つの姿勢候補が計算できる。これらの姿勢候補を姿勢候補群として出力する。
【０１６８】
この他の処理は、全て第１の実施例と同様である。
【０１６９】
第５の実施例
図１２に示した第５の実施の形態を適応した第５の実施例について、その処理例である図１２、図１３を参照して説明する。本実施例は、第２の実施例において更に、姿勢候補の計算を入力画像の特徴点の位置に基づいて行う点、及び、姿勢候補の誤差の範囲を、入力画像からの特徴点位置の抽出誤差に基づいて決定する点が異なる。また、本実施例でも、第４の実施例と同様に人間の顔を対象物体とする例を説明する。
【０１７０】
本実施例では、前述のように第２の実施の形態の構成に加えて、認識部２０ｄに、特徴点位置抽出部２４と、姿勢範囲決定部２７を備えている。
【０１７１】
特徴点位置抽出部２４は、図１８の１２の物体特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置又は範囲を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。また同時に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範囲として出力する。一例として、図１８の１２個の特徴点の内１、４、１０の３つの特徴点のみが入力されており、それぞれの特徴点誤差範囲が５画素以下であると推定されている場合を説明する。
【０１７２】
姿勢範囲決定部２７は、前記特徴点誤差範囲を用いて、前記姿勢計算部２５で用いたのと同様に透視ｎ点問題の技術などを利用して計算される姿勢候補のパラメタが、誤差として変動する可能性のある範囲を推定し、姿勢候補範囲として出力する。これには様々な手法が適用可能であるが、一例として数値シミュレーションを用いる次のような手法が利用可能である。
【０１７３】
本実施例では図１８の特徴点１、４、１０が入力されており、それぞれ誤差が５画素以内と推定されている。したがって、各特徴点の位置を入力された位置を中心とする半径５画素の円内でランダムに変動させて、多数の姿勢候補を計算する。例えば、１００回の特徴点位置を変動させる試行を繰り返し、１００個の姿勢候補を計算する。そして、各姿勢候補の姿勢パラメタＴｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの値を調べ、それぞれのパラメタの分布領域を調べる。該分布領域を姿勢解候補範囲として出力する。
【０１７４】
上記の姿勢候補範囲の推定方法は一例であり、この他にも姿勢の計算に用いる計算式を解析して誤差範囲を求めたり、様々な手法が適用可能である。
【０１７５】
姿勢候補群決定部２６以下の処理は、全て第２の実施の形態と同様である。
【０１７６】
また、本発明の位置姿勢認識装置は、上述の各実施の形態及び実施例のように装置内に登録部と認識部の双方を備える方式に限らず、図１５に示すように、位置姿勢認識装置１００ｅ内には認識部２０のみを備えて、登録部１０を備える外部の３次元物体モデル登録装置３００から、物体の３次元モデルのデータの入力を受け付ける方式も同様にして実施することができる。
【０１７７】
また、上記各実施の形態及び実施例は、互いに様々に組み合わせて実施することができる。
【０１７８】
なお、本実施の形態の位置姿勢認識装置１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅや、３次元物体モデル登録装置３００は、登録部１０、１０ｃ、１０ｄにおける形状・反射率測定部１１、照明変動テクスチャ生成部１２、基底テクスチャ計算部１３、特徴点３次元位置入力部１５の機能や、認識部２０、２０ａ、２０ｂ、２０ｃ、２０ｄにおける照明変動空間生成部２１、投影変換決定部２１−１、基底テクスチャ投影部２１−２、比較画像生成部２２、姿勢選択部２３、特徴点位置抽出部２４、姿勢計算部２５、姿勢候補群決定部２６、姿勢範囲決定部２７、終了判定部２８の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムである位置姿勢認識プログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。この位置姿勢認識プログラムは、磁気ディスク、半導体メモリその他の記録媒体９０、９１、９２、９３、９４、９５、９９に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１７９】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１８０】
【発明の効果】
以上説明したように本発明の位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムによれば、以下のような効果が達成される。
【０１８１】
第１に、本発明によれば、様々な位置姿勢、照明条件の下で撮影された認識対象の画像に対して、正しい物体の位置姿勢を決定することができる。特に、認識対象の画像と物体の３次元モデルの間の特徴点の対応が利用できない場合にも、正しい物体の位置姿勢を決定することができる。
【０１８２】
第２に、本発明によれば、認識対象の画像から特徴点の位置を抽出して画像中の物体の位置姿勢を計算する場合に、入力された特徴点位置が誤差を含んでいても、正しい位置姿勢を認識することができる。
【０１８３】
第３に、本発明によれば、特徴点が３点しか抽出できなかったり、特徴点が特別な配置にあって位置姿勢が一意に計算できない場合にも、本発明の技術を用いることで正しい位置姿勢を認識することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態による位置姿勢認識装置の処理の概略を示す図である。
【図３】本発明の第１の実施の形態による位置姿勢認識装置の構成の概略を示すブロック図である。
【図４】本発明の第１の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図５】本発明の第１の実施の形態の照明変動空間生成部の構成を示すブロック図である。
【図６】本発明の第１の実施の形態の照明変動空間生成の処理を説明するためのフローチャートである。
【図７】本発明の第２の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１０】本発明の第３の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１１】本発明の第４の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１２】本発明の第４の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１３】本発明の第５の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１４】本発明の第５の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１５】本発明のその他の実施の形態による位置姿勢認識装置と３次元物体モデル登録装置の構成を示すブロック図である。
【図１６】テクスチャ座標の定義方法の一例を説明する図である。
【図１７】物体に対する光源の方向の定義の一例を説明する図である。
【図１８】顔を対象物体にするときに用いる特徴点の位置の一例を説明する図である。
【図１９】従来の技術の、透視ｎ点問題を解く技術の処理の流れを説明する図である。
【図２０】従来の技術の、文献３の技術の処理の流れを説明する図である。
【符号の説明】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ 位置姿勢認識装置
３００ ３次元物体モデル登録装置
１０、１０ｃ、１０ｄ 登録部
１１ 形状・反射率測定部
１２ 照明変動テクスチャ生成部
１３ 基底テクスチャ計算部
１４ 物体モデル記憶部
１５ 特徴点３次元位置入力部
１６ 特徴点３次元位置記憶部
２０、２０ａ、２０ｂ、２０ｃ、２０ｄ 認識部
２１ 照明変動空間生成部
２１−１ 投影変換決定部
２１−２ 基底テクスチャ投影部
２２ 比較画像生成部
２３ 姿勢選択部
２４ 特徴点位置抽出部
２５ 姿勢計算部
２６ 姿勢候補群決定部
２７ 姿勢範囲決定部
２８ 終了判定部
９０、９１、９２、９３、９４、９５、９９ 記録媒体
【発明の属する技術分野】
本発明は、画像中に示される物体の認識に関し、特に、認識対象の物体の３次元形状や、表面反射率や色情報等の情報を用いて、画像に写っている物体の位置や姿勢を高精度に認識する位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムに関する。
【０００２】
【従来の技術】
本発明の属する技術である画像中に示される物体の位置姿勢の認識技術とは、カメラなどの撮影装置を用いて３次元物体を撮影した２次元画像を入力として、その画像に写っている物体の位置や姿勢を認識する技術である。
【０００３】
従来より、物体上の特定のｎ個の点の３次元空間における位置と画像上の位置の対応が与えられたときに、物体のカメラに対する位置姿勢を計算する問題は、「透視ｎ点問題」と呼ばれており、数多くの公知の手法が存在する。これらの手法は例えば文献１（「An Analytic Solution for the Perspective 4-Point Problem」、Radu Horaud et al.、 Computer Vision、 Graphics and Image Processing、47、pp.33-44（1989））や、文献２（「Linear N≧4-Point Pose Determination」、Long Quan and Zhongdan Lan、 Proc. IEEE Int. Conf. Computer Vision、6、pp.778-783（1998））などにもまとめられている。
【０００４】
これら従来の透視ｎ点問題の手法では、いずれも図１９のフローチャートに示すように、まず予め処理対象の物体の特徴点の３次元位置情報を登録しておく（ステップ１９０１）。そして、処理対象の物体の画像の入力を受け付けて（ステップ１９０２）、その入力画像に写っている物体特徴点の位置を抽出する（ステップ１９０３）。その入力画像から抽出された特徴点の位置に、登録されている処理対象の物体の特徴点の３次元位置が該当する物体の位置と姿勢を計算し（ステップ１９０４、１９０５）、最適の姿勢候補を選択して出力する（ステップ１９０６）。
【０００５】
まず、最低３点以上について前記対応が与えられれば、最大４つの姿勢候補を計算することができる。しかし、３点の特徴点位置情報だけでは該姿勢候補群から正しい姿勢候補を一意に定めることができないため、通常４点以上の対応を用いる。すなわち、４点以上の内から３点を選んで計算した各姿勢候補の中から、残りの点の位置を計算した際に最も近くなる姿勢候補を選択すればよい。
【０００６】
ところが逆に、３点より多くの対応が与えられた場合、与えられた特徴点位置情報の誤差がゼロでない限り、全ての点が一致する姿勢パラメタは存在しない。
しかし現実には、特徴点位置の抽出を手動で入念に行った場合でさえも、必ず誤差が伴う。したがって、最小二乗などの方法を用いることにより与えられた特徴点群全体に対するモデル当てはめ誤差が最小となる解を求めるか、誤差が大きいと思われる点を捨てて姿勢を計算する、などの手法が利用されている。
【０００７】
このように、透視ｎ点問題の技術は、いずれも与えられた特徴点群全体に対するモデルの当てはめ誤差を最小化するような姿勢解を求める技術である。また、ここに示されたようにいずれも特徴点の位置情報のみを用いており、画像の濃淡情報自体は用いていない。
【０００８】
他の従来の手法としての文献３（特願２０００−２５７３０４号「３次元空間内の物体の位置及び向きを計算する方法」）記載の手法は、図２０のフローチャートに示されるように、与えられた特徴点位置に誤差が含まれていることを考慮し、誤差の少ない特徴点だけを選択して姿勢計算に使おうとする技術である。
【０００９】
文献３の手法では、与えられた特徴点群の中から任意の組み合わせで３点を選んで抜き出し、抜き出したそれぞれの３点の位置を修正しながら多数の姿勢候補を計算し、該姿勢候補群から与えられた特徴点群全体に対する当てはめ誤差が最小となる姿勢解を選び出す。
【００１０】
他の従来の手法としての文献４（特開２０００−３３９４６８号「３次元データの位置合わせ方法及び装置」）記載の技術も、２次元画像中に写っている物体の位置姿勢の認識に利用可能である。
【００１１】
文献４記載の手法は、同じ物体を異なる向きから測定した２つの３次元物体形状データの位置姿勢の微小なずれを推定する手法であり、設定したある視点から見た２つの形状データの画像をそれぞれ生成し、該生成した画像上で２つの形状データの対応する特徴点の位置を探索し、姿勢のずれを計算する。一方の形状データから生成した画像を入力画像であると考えれば、２次元画像中の物体の位置姿勢に応用可能である。
【００１２】
さらに他の従来の手法としての文献５（特開平１１−０５１６１１号「認識対象物体の位置姿勢認識装置及び位置姿勢認識方法」）記載の技術は、円柱など特定形状の対象物体を対象とし、画像から該輪郭線のエッジを抽出し、記憶している３次元形状モデルから生成した該輪郭エッジ画像と比較し、計算された姿勢パラメタの値を修正する。
【００１３】
さらに他の従来の手法としての文献６（特願２０００−２５１７７２号「物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法」）記載の技術は、与えられた初期姿勢データを用いて生成した物体の比較画像を用いて、特徴点の位置周辺の部分画像を切り出してテンプレートとし、その周辺でテンプレートに最も似ている位置を探すことで特徴点の位置を修正し、姿勢を再計算する。
【００１４】
【発明が解決しようとする課題】
以下、上述した従来の技術における問題点について述べる。
【００１５】
一般に、認識対象の画像（入力画像）における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合などに特徴点の位置を正確に抽出することは極めて困難であり、認識対象の画像から抽出された特徴点の位置は誤差を含んでいる。
【００１６】
特に、対象物体がエッジや角が明確でその検出が容易な多角形のような形状でない場合や、表面の模様に特徴的な点がない場合には抽出誤差が大きくなり、更に、特徴点として使える点の数が少なくなる。
【００１７】
しかし、前記透視ｎ点問題、文献３、文献４、文献５のいずれの手法も、モデルを当てはめたときの計算上の特徴点位置と、認識対象の画像から抽出された画像上の特徴点位置が近くなる姿勢が正しい姿勢であるとして最適解を決定している。したがって、誤差を含んだ特徴点位置情報を元に最適な解を決定しているため、正しい姿勢が求められないという問題があった。
【００１８】
透視ｎ点問題の技術では、入力された各特徴点位置に対する誤差の総和が最小である姿勢を計算するが、それは必ずしも正しい姿勢ではないという問題があった。例えば、一点だけ誤差の大きい点があり、その他の点の誤差がゼロであった場合を考えても、これらの手法では正しい姿勢解を求めることはできない。
【００１９】
また、特徴点が３点しか抽出できなかった場合や、４点以上抽出できてもそれらの特徴点が同一平面上にあるなど特別な配置にあった場合には、複数の姿勢候補を計算することはできても、その中から正しい姿勢を一意に決定することができない場合があるという問題があった。
【００２０】
文献３の技術では、原理的に、どの特徴点が誤差の小さい点であり、どの点が誤差の大きい点であるかは入力された特徴点位置データだけからは判別不能であるため、この手法で本当に誤差が少ない特徴点だけを選択することは不可能であるという問題があった。
【００２１】
また、最適な姿勢であるかどうかの判定を、誤差の伴った特徴点情報に基づいて決定している以上、正しい判別ができずに誤った姿勢候補を正しいものとして選んだり、誤った位置へと特徴点位置を修正した場合に、偶然、当てはめ誤差が最小となって誤った姿勢が求まってしまう場合がある。
【００２２】
文献４の手法も、認識対象の画像からの特徴点位置の抽出を行い、抽出された特徴点位置を元に姿勢を計算するので、前記文献１、文献２、文献３の手法と同様に正確な姿勢が計算できないことや、特徴点の数が少ない場合には一意に姿勢を決定できないという問題があった。
【００２３】
文献５の手法は、回転体のように特定の形状の物体のみに適用可能であって複雑な形状の物体には適用できないことや、認識対象の画像から外輪郭線が正確に抽出できなければ誤差を含んだ特徴位置情報に基づいて姿勢を計算することになるため正しい姿勢を求められないという問題があった。
【００２４】
文献６の手法は、認識対象の画像の撮影時の照明条件が大きく変動し、特徴点周辺の陰影が変化した場合、比較画像の対応する部位との類似度が低下するため、正しい特徴点位置を探索し特徴点位置を修正することが困難であるという問題があった。
【００２５】
以上をまとめると、従来の手法には次のような問題があった。
【００２６】
第１の問題として、物体形状又は表面の文様に、位置姿勢や照明条件が変動してもその画像上での位置の特定が容易な、特徴的な部位がない場合、特徴点の抽出が行えないために姿勢を計算できなかった。
【００２７】
第２の問題として、特徴点の数が３点しかない場合、又は、特徴点が４点以上あってもそれらが３次元的に特別な配置にある場合に、位置姿勢を一意に決定することができなかった。
【００２８】
第３の問題として、一般には認識対象の画像から抽出された特徴点位置に誤差が含まれる。したがって、誤差を含む特徴点群データから、誤差の少ない（又は誤差がない）点を選別することは、正しい特徴点位置が不明である限り不可能であるため正しい姿勢パラメタを求められなかった。誤差を含む特徴点群に対しての当てはめ誤差が最小となる解を求めても、一般には、その解は正しい姿勢パラメタとは一致しなかった。特徴点の位置を修正しながら多数の解を求め、その中から最適な解を選ぶ手法もあるが、誤差を含んだ特徴点の位置情報に基づいて最適解を選択する限り、正しい姿勢解を選び出すことができなかった。
【００２９】
本発明の目的は、上記従来技術の欠点を解決し、認識対象の画像における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合等における、認識対象の画像から十分な数の特徴点を抽出できなかったり、特徴点の位置を正確に抽出することができない場合においても、正しい位置姿勢を認識することができる位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムを提供することである。
【００３０】
【課題を解決するための手段】
上記目的を達成するため本発明の位置姿勢認識装置は、認識対象の画像から物体の位置姿勢を認識する位置姿勢認識装置において、前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする。
【００３１】
請求項２の本発明の位置姿勢認識装置は、前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成手段と、前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成手段と、複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択手段を備えることを特徴とする。
【００３２】
請求項３の本発明の位置姿勢認識装置は、前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００３３】
請求項４の本発明の位置姿勢認識装置は、前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００３４】
請求項５の本発明の位置姿勢認識装置は、認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出手段を備え、前記姿勢候補群決定手段は、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする。
【００３５】
請求項６の本発明の位置姿勢認識装置は、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、前記姿勢候補群決定手段は、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００３６】
請求項７の本発明の位置姿勢認識装置は、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする。
【００３７】
請求項８の本発明の位置姿勢認識装置は、前記姿勢候補群決定手段は、定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００３８】
請求項９の本発明の位置姿勢認識装置は、（１）前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢候補群決定手段が、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択手段が前記認識対象の画像に最も近い前記比較画像を判定する上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定手段を備え、前記繰り返しの終了後、前記姿勢選択手段が、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００３９】
請求項１０の本発明の位置姿勢認識装置は、前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００４０】
請求項１１の本発明の位置姿勢認識装置は、前記物体の３次元物体モデルを登録する登録部を備えることを特徴とする。
【００４１】
請求項１２の本発明の位置姿勢認識装置は、前記登録部は、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００４２】
請求項１３の本発明の位置姿勢認識装置は、前記登録部は、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００４３】
請求項１４の本発明の３次元物体モデル登録装置は、物体の位置姿勢を登録する３次元物体モデル登録装置において、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００４４】
請求項１５の本発明の３次元物体モデル登録装置は、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００４５】
請求項１６の本発明の位置姿勢認識方法は、認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識方法において、前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする。
【００４６】
請求項１７の本発明の位置姿勢認識方法は、前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成ステップと、前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成ステップと、複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択ステップを備えることを特徴とする。
【００４７】
請求項１８の本発明の位置姿勢認識方法は、前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００４８】
請求項１９の本発明の位置姿勢認識方法は、前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする。
【００４９】
請求項２０の本発明の位置姿勢認識方法は、認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出ステップを備え、前記姿勢候補群決定ステップは、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする。
【００５０】
請求項２１の本発明の位置姿勢認識方法は、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、前記姿勢候補群決定ステップは、前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００５１】
請求項２２の本発明の位置姿勢認識方法は、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする。
【００５２】
請求項２３の本発明の位置姿勢認識方法は、前記姿勢候補群決定ステップは、定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする。
【００５３】
請求項２４の本発明の位置姿勢認識方法は、（１）前記姿勢選択ステップにおいて、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢候補群決定ステップにより、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択ステップにより、前記認識対象の画像に最も近い前記比較画像を判定する上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定ステップを備え、前記繰り返しの終了後、前記姿勢選択ステップが、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００５４】
請求項２５の本発明の位置姿勢認識方法は、前記姿勢選択ステップが、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする。
【００５５】
請求項２６の本発明の位置姿勢認識方法は、前記物体の３次元物体モデルの情報を登録する登録ステップを備えることを特徴とする。
【００５６】
請求項２７の本発明の位置姿勢認識方法は、前記登録ステップでは、前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定ステップと、前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成ステップと、前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算ステップを備え、前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする。
【００５７】
請求項２８の本発明の位置姿勢認識方法は、前記登録ステップでは、前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする。
【００５８】
請求項２９の本発明の位置姿勢認識プログラムは、コンピュータを制御することにより、認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識プログラムであって、コンピュータに、物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、３次元物体モデルの基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、認識対象の画像中における物体の位置姿勢を認識する処理を実行させることを特徴とする。
【００５９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００６０】
従来の技術では、認識対象の画像（入力画像）から、特徴的な文様や物体形状のエッジその交点といった画像中の物体の特徴点の位置情報（入力画像特徴点位置）を抽出し、３次元物体モデルから計算した特徴点の位置が前記入力画像特徴点位置に最も近くなるような姿勢パラメタを最適な姿勢として求めていた。
【００６１】
これに対し、本発明では、対象物体が剛体又は準剛体とみなすことができて変形がない場合には、物体の画像の変動要因は姿勢と照明条件の変動だけであり、正しい姿勢パラメタを用いて照明条件による陰影の変動の補正を行って生成した比較画像は、その輝度値が認識対象の画像に一致することを利用する。
【００６２】
すなわち、従来の技術と比べて本発明は、複数の姿勢候補の中から最適の姿勢を選ぶときに、認識対象の画像から抽出された特徴点の位置情報を基準にするのではなく、画像の輝度値を直接比較する点、及び、それを可能にするために認識対象の画像の撮影時の照明条件の変化による陰影の変動を補正する点、が大きく異なっている。
【００６３】
本発明では、特徴抽出を行わずに画像の輝度情報を直接比較して、姿勢候補から最適の姿勢を選択することにより、従来の技術のように特徴点位置の抽出誤差に影響されることなく、正しい位置姿勢を認識することができる。
【００６４】
第１の実施の形態
図１は、本発明の第１の実施の形態による位置姿勢認識装置１００の構成を示すブロック図であり、図２は、本実施の形態による位置姿勢認識装置１００の処理の概略を示す図であり、図３は、本実施の形態による位置姿勢認識装置１００の構成の概略を示すブロック図であり、図４は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００６５】
本実施の形態の位置姿勢認識装置１００は、プログラム制御されるＣＰＵ等で実現され、図１、図３に示すように、位置や姿勢を認識しようとする対象物体に関するデータを予め記憶しておくための登録部１０と、実際に撮影された画像から物体の位置や姿勢を認識する認識部２０を備える。
【００６６】
登録部１０は、物体の３次元形状、及び、物体表面の色や反射率を測定する３次元形状・反射率測定部１１と、照明条件の変動による物体表面各位置の陰影を表す照明変動テクスチャを生成する照明変動テクスチャ生成部１２と、テクスチャの照明変動全体を縮約表現するための基底テクスチャ群を計算する基底テクスチャ計算部１３と、前記物体の３次元形状と前記基底テクスチャ群をまとめて３次元物体モデルとして記憶する物体モデル記憶部１４を備える。
【００６７】
３次元形状・反射率測定部１１は、物体の３次元形状と、物体の表面の反射率を測定する（ステップ１１０）。
【００６８】
３次元形状・反射率測定部１１による物体の３次元形状と、物体の表面の反射率の測定方法には、様々な測定装置や手法を用いることができる。例えば一例として、物体の３次元形状を、文献７（特願平１１−１２３６８７号）記載の３次元形状測定装置の技術を用いて測定することができ、またこの他にも様々な３次元形状測定装置や手法を適用することができる。また、物体表面の反射率においては、前記文献７の３次元形状測定装置が測定するテクスチャ画像をそのまま代用することができる。
【００６９】
照明変動テクスチャ生成部１２は、前記３次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に対応するテクスチャ座標系（ｓ，ｔ）を定義する（ステップ１２０）。照明変動テクスチャ生成部１２による、該テクスチャ座標系の設定方法には様々な手法が利用可能である。その一例として本実施の形態においては、図１６に示すように、物体の重心を中心として物体を覆う球を考え、物体表面上の各点Ｐを、重心を中心として前記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）をテクスチャ座標とする手法を利用する。しかし、この他にも様々な装置や手法が利用可能である。
【００７０】
ここで、本実施の形態の照明変動テクスチャ生成部１２の、テクスチャ座標系の設定処理を詳細に説明する。
【００７１】
本実施の形態の照明変動テクスチャ生成部１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ（ｓ，ｔ）を、照明条件ｊを様々に変化させながら多数生成し、これを照明変動テクスチャ群｛Ｔｊ（ｓ，ｔ）｝として出力する。ここで、輝度値の計算には様々なコンピュータグラフィックスの手法を応用して適用することが可能であるが、一例として物体表面の反射特性をLambertianモデルで近似し、照明が無限に遠くにあると仮定した以下のような手法を用いる。
【００７２】
まず、前記３次元形状データを用い、物体表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そして、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度値Ｔ（ｓ，ｔ）を次の数１の式により求める。
【数１】
【００７３】
基底テクスチャ計算部１３は、前記照明変動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件でのテクスチャを包含する部分空間の基底である基底テクスチャ群｛Ｇｉ｝を計算する（ステップ１３０）。
【００７４】
各基底テクスチャＧｉの計算は、数２に示すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並べた行列の共分散行列の、固有ベクトルと固有値を求める。
【数２】
【００７５】
そして、求められた固有ベクトルの内で必要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝（ｉ＝１，２，３，…，ｎ）として出力する。取り出す個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒとして０．９９（９９％）などの値を設定して、次の数３の式を満たすようにｎを設定する等の方法を用いることができる。
【数３】
物体モデル記憶部１４では、前記３次元形状と、前記基底テクスチャ群｛Ｇｉ｝を記憶しておく（ステップ１４０）。
【００７７】
認識部２０では、カメラ等の撮像装置を用いて撮影された位置や姿勢を認識しようとする物体の２次元画像である入力画像と、物体の位置姿勢の候補として与えられる姿勢候補群を入力とし、前記入力画像中に写っている物体の位置として最も正しい姿勢候補である最適姿勢候補を、位置姿勢の認識結果として出力する。
【００７８】
認識部２０は、前記姿勢候補群を入力とし、物体モデル記憶部１４から物体の３次元物体モデルを読み込み、与えられた姿勢候補の位置姿勢に物体があるときの画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成部２１と、各照明変動空間を用いて入力画像に最も近い画像として比較画像を生成する比較画像生成部２２と、前記比較画像群の中で最も入力画像に近い比較画像を選択し該画像を生成する姿勢候補を最適姿勢候補として出力する姿勢選択部２３を備える。
【００７９】
まず、与えられた姿勢候補群のそれぞれの姿勢候補に対して、照明変動空間生成部２１、及び比較画像生成部２２が処理を行う（ステップ２１０、２２０）。
【００８０】
図５は、本実施の形態の照明変動空間生成部２１の構成を示すブロック図であり、図６は、本実施の形態の照明変動空間生成の処理を説明するためのフローチャートである。本実施の形態の照明変動空間生成部２１は、図５に示すように投影変換決定部２１−１と、基底テクスチャ投影部２１−２を備えている。
【００８１】
投影変換決定部２１−１は、前記姿勢候補の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力する（ステップ６０３）。当然ながら、この変換は画像の画素の内物体の領域である画素についてのみ求めればよい。
【００８２】
この処理には様々な手法を用いることができるが、一例として次のような手法を用いることができる。物体の３次元形状データと、表面の色情報、及び位置姿勢が決まれば、一般的なコンピュータのグラフィクス標準機能を用いて該位置姿勢での物体の画像を描画することができる。
【００８３】
ここで、物体表面各点の色を、その点のテクスチャ座標（ｓ，ｔ）と１対１で対応するように設定し、描画を行えば、描画された画像の各画素（ｕ，ｖ）の色から（ｕ，ｖ）→（ｓ，ｔ）対応関係を求めることができる。この方法はあくまで一例であり、その他様々な手法が適用可能であることはいうまでもない。
【００８４】
基底テクスチャ投影部２１−２は、前記座標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を次式によって計算する（ステップ６０４）。
Ｂｉ（ｕ，ｖ）＝Ｇｉ（ｆ（ｕ，ｖ））、 （ｉ＝１，２，３，…，ｎ）
計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間Ｓとして出力する。
【００８５】
比較画像生成部２２は、前記照明変動空間Ｓを用いて、比較画像を、照明変動空間Ｓ内にありかつ入力画像に最も近い画像として生成する（ステップ２２０）。この照明変動空間Ｓ内にある入力画像に最も近い比較画像を生成する方法には、例えば数４に示すように、比較画像を示す係数｛ａｉ｝の値を最小二乗法によって求める等の方法を用いることができる。
【数４】
姿勢選択部２３は、前記姿勢候補群の中の各姿勢候補ｊについて生成した前記比較画像の中で、最も入力画像との類似度の高い比較画像Ｃｊに対応する姿勢候補ｊを、最適姿勢候補として出力する（ステップ２３０）。
【００８７】
入力画像Ｉｑと各比較画像との類似度は、画像の輝度値を比較することにより数５で計算するｄｊの値を用いて、判定することができる。数５の場合においては、ｄｊの値が小さいほど類似度が高いことになるので、ｄｊの値の最も値の小さい比較画像を生成する姿勢候補ｊを最適姿勢候補とする。
【数５】
この類似度の計算方法はあくまで一例であり、この他に、類似度として画像の相関値を用いたり、比較画像と入力画像をそれぞれぼかしたりエッジを強調するなどの特徴抽出や画像処理を加えた後で類似度を計算するなど、様々な方法が適用可能である。
【００８９】
そして、本実施の形態においては、姿勢選択部２３において最適姿勢候補として選択された姿勢を、入力画像中の物体の姿勢の認識結果として出力する（ステップ２９０）。
【００９０】
以上説明したように、本実施の形態によれば、画像の輝度値を直接比較して物体の正しい位置姿勢を判定することができる。このため、入力画像における物体の位置姿勢や照明条件が大きく変動したり、物体の形状や色に明確な特徴がない場合等における、入力画像から十分な数の特徴点を抽出できなかったり、特徴点の位置を正確に抽出することができない場合においても、正しい位置姿勢を認識することができる。
【００９１】
第２の実施の形態
図７は、本発明の第２の実施の形態による位置姿勢認識装置１００ａの構成を示すブロック図であり、図８は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００９２】
本実施の形態は、姿勢候補が複数の候補として離散的に与えられるのではなく、与えられた姿勢とその誤差あるいは変動の範囲として指定されたり、あるいは位置と姿勢の各パラメタの指定された範囲として指定するように、一つ又は複数の連続的な領域として姿勢候補が与えられた場合に、その該姿勢候補領域内で最適な姿勢を求める実施の形態である。
【００９３】
このため本実施の形態では、第１の実施の形態の位置姿勢認識装置１００の構成に加えて、認識部２０ａに姿勢候補群決定部２６を備えている。
【００９４】
姿勢候補群決定部２６は、姿勢候補として、位置姿勢を示すパラメタの値とその位置姿勢からの誤差あるいは変動の範囲が与えられた場合には、その指定された範囲内で、姿勢候補の各パラメタを変動させることにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する（ステップ２６０）。
【００９５】
また、姿勢候補として、位置姿勢を示すパラメタの範囲が与えられた場合には、その指定された範囲内で、位置姿勢の各パラメタをランダムに、又は、適当な間隔で標本化することにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する（ステップ２６０）。
【００９６】
本実施の形態の他の処理は、全て第１の実施の形態と同様である。
【００９７】
以上説明したように、本実施の形態によれば、第１の実施の形態の効果に加えて、連続的な領域として姿勢候補が与えられた場合にも対応し、その指定された姿勢候補の範囲の中から、最適の姿勢候補を選択し、入力画像中の物体の姿勢の認識結果として出力することができる。
【００９８】
第３の実施の形態
図９は、本発明の第３の実施の形態による位置姿勢認識装置１００ｂの構成を示すブロック図であり、図１０は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【００９９】
本実施の形態は、第２の実施の形態と同様に、一つの姿勢候補とその誤差あるいは変動の範囲、あるいは、位置姿勢を示す各パラメタの範囲というように一つ又は複数の連続的な領域として与えられた場合に、該姿勢候補領域内で最適な姿勢を求める実施の形態である。
【０１００】
しかし、第２の実施の形態では、正確な姿勢パラメタを求めるためには、誤差範囲全体をできるだけ細かく区切って標本化したり、多数の候補を計算する必要があった。これは、与えられた誤差範囲が大きい場合には、計算量が多くなるという問題がある。
【０１０１】
そこで、本実施の形態では、姿勢候補の各パラメタを予め決めた少しの量ずつ変動させて複数の姿勢候補を生成し、その中から最適な候補を選択し、その最適姿勢候補を再び姿勢候補として認識処理を繰り返すことにより、徐々により最適な姿勢候補を求めていくことを特徴とする。
【０１０２】
この最適な姿勢候補を繰り返し求めていく処理は、予め定められた適当な回数の繰り返しを終えた段階や、どのパラメタを変動させても姿勢候補より良い姿勢パラメタが得られなくなった時点等において、その処理を打ち切ることとする。
【０１０３】
本実施の形態では、第２の実施の形態の認識部２０が、始めに与えられた初期の姿勢候補を基に認識結果として出力する最適姿勢候補を、これを再び初期の姿勢候補に置き換えて認識処理を繰り返すことを特徴とする。このため、第２の実施の形態の構成に加えて、認識処理の繰り返しの終了を判定する終了判定部２８を備えている。
【０１０４】
終了判定部２８は、適当な回数の繰り返しを終えた段階、あるいいは、どのパラメタを変動させても姿勢候補より良い姿勢パラメタが得られなくなった時点で認識処理の繰り返しを打ち切る（ステップ２８０）。また、それ以外の場合には、最適姿勢候補を姿勢候補として置き換えて、姿勢候補群決定部２６以下の処理を繰り返し行う。
【０１０５】
この他の処理は全て第２の実施の形態と同様である。
【０１０６】
以上説明したように、本実施の形態によれば、第２の実施の形態の効果に加えて、認識結果として出力する最適姿勢候補を再び姿勢候補に置き換えて認識処理を繰り返すことができるため、より精度の高い認識結果を得ることができる。
【０１０７】
第４の実施の形態
図１１は、本発明の第４の実施の形態による位置姿勢認識装置１００ｃの構成を示すブロック図であり、図１２は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【０１０８】
本実施の形態では、画像の濃淡等の輝度値の情報のみではなく、位置や姿勢を物体の特徴的な見え方をする部位（特徴点）の位置情報も、参照する。しかし、従来の技術とは異なり、最適な姿勢解の選択・決定は、特徴点位置ではなく、画像の濃淡情報をそのまま比較することにより行う。
【０１０９】
本実施の形態では、第１の実施の形態の構成に加えて、登録部１０ｃに、物体の特徴的な部位である物体特徴点の３次元位置を入力する特徴点３次元位置入力部１５と、該特徴点３次元位置を記憶する特徴点３次元位置記憶部１６を備えている。
【０１１０】
なお、３次元形状・反射率測定部１１、照明変動テクスチャ生成部１２、基底テクスチャ計算部１３、物体モデル記憶部１４の処理は、第１の実施の形態と全く同様である。
【０１１１】
特徴点３次元位置入力部１５では、測定した前記３次元形状と反射率を参照し、物体表面上で形状や表面の反射率が急激に変化している部位や、特徴的な形状・文様がある部位を特徴点とし、その３次元の位置座標を入力する（ステップ１５０）。
【０１１２】
この特徴点としては、エッジの交点や曲率の最大点、円弧の中心などの位置はもちろん、直線の傾きと位置など様々な位置特徴量を用いることが可能である。
この特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された物体を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な手法を利用することももちろん可能である。
【０１１３】
特徴点３次元位置記憶部１６は、前記入力された特徴点３次元位置を記憶する（ステップ１６０）。
【０１１４】
本実施の形態の認識部２０ｃは、第１の実施の形態の構成に加えて、入力画像における前記物体特徴点の位置を抽出する特徴点位置抽出部２４と、該入力画像特徴点位置と前記特徴点３次元位置を用いて物体の姿勢の候補を計算する姿勢計算部２５を備えている。
【０１１５】
なお、照明変動空間生成部２１、比較画像生成部２２、姿勢選択部２３の処理は、第１の実施の形態と全く同様である。
【０１１６】
特徴点位置抽出部２４では、特徴点３次元位置記憶部１６に記憶されている各物体特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する（ステップ２４０）。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。
【０１１７】
姿勢計算部２５では、特徴点３次元位置記憶部１６から特徴点３次元位置を読み込み、前記入力画像特徴点位置に前記特徴点３次元位置にある物体特徴点が投影されるような、位置姿勢のパラメタを計算し、計算された位置姿勢パラメタ群を姿勢候補群として出力する（ステップ２５０）。
【０１１８】
この処理には、前記透視ｎ点問題の様々な技術を利用することが可能である。
物体特徴点の位置が、３点について抽出できた場合、また、４点以上抽出できる場合でも同一平面上にあったり３次元的に特別な配置にある場合、最大４つの姿勢候補が計算される。そこで、この最大４つの姿勢候補を姿勢候補群として出力する。
【０１１９】
上述したように、本実施の形態によれば、特徴点の位置情報だけではこれらの解の内どれが正解であるかを判定できない場合においても、本発明を用いることでどれが正解であるかを決定することができる。また、第１の実施の形態の効果に加えて、更に特徴点の位置情報をも位置姿勢の認識のために用いることにより、より精度の高い認識結果を得ることができる。
【０１２０】
第５の実施の形態
図１３は、本発明の第５の実施の形態による位置姿勢認識装置１００ｄの構成を示すブロック図であり、図１４は、本実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【０１２１】
本発明の第５の実施の形態は、第２の実施の形態において更に、姿勢候補の計算を入力画像の特徴点の位置に基づいて行う点と、及び姿勢候補の誤差の範囲を、入力画像からの特徴点位置の抽出誤差に基づいて決定する点を特徴とする。
【０１２２】
登録部１０ｄには、第２の実施の形態の構成に加えて、物体の特徴的な部位である物体特徴点の３次元位置を入力する特徴点３次元位置入力部１５と、該特徴点３次元位置を記憶する特徴点３次元位置記憶部１６を備えている。また、本実施の形態の登録部１０ｄの構成とその処理は、第４の実施の形態と全く同様である。
【０１２３】
本実施の形態の位置姿勢認識装置１００ｄは、第２の実施の形態の構成に加えて、認識部２０ｄに、入力画像における前記物体特徴点の位置を抽出すると共にその抽出誤差の範囲を出力する特徴点位置抽出部２４と、前記特徴点位置と抽出誤差を用いて計算される姿勢の誤差範囲を決定する姿勢範囲決定部２７を備えることを特徴とする。
【０１２４】
特徴点位置抽出部２４は、特徴点３次元位置記憶部１６に記憶されている各物体特徴点の入力画像における位置又はその存在範囲を抽出し、入力画像特徴点位置として出力する（ステップ２４０）。また同時に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範囲として出力する
ここで、物体特徴点の位置の入力処理は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置又は範囲を指示して行う方式や、自動的に特徴点を検出する様々な技術を適用することが可能である。これにも様々な手法が適用可能であるが、前記の手動による入力作業を繰り返し行って誤差の範囲を求めたり、事前に評価実験を行ってどの程度の誤差が生じるかを予め求めておいたり、入力画像のノイズやぼけの量、各物体特徴点のエッジの明確さや特徴として用いている形状の大きさなどから決定することもできる。
【０１２５】
姿勢範囲決定部２７は、前記特徴点誤差範囲を用いて、前記姿勢計算部２５で用いたのと同様に透視ｎ点問題の技術などを利用して計算される姿勢候補のパラメタが、誤差として変動する可能性のある範囲を推定し、姿勢候補範囲として出力する（ステップ２７０）。
【０１２６】
この処理には様々な手法が適用可能であるが、一例として数値シミュレーションを用いる手法が利用可能である。これは、前記特徴点誤差範囲内で前記入力画像特徴点位置を変化させながら多数の姿勢候補を計算し、その存在範囲を求めるものである。この他にも、姿勢の計算に用いる計算式を解析して誤差範囲を求めたり、様々な手法が適用可能である。
【０１２７】
また、姿勢候補群決定部２６以下の処理（ステップ２６０〜２９０）は、全て第２の実施の形態と同様である。
【０１２８】
次に、本発明の様々な実施例を説明する。
【０１２９】
第１の実施例
図１に示した第１の実施の形態を適応した第１の実施例について、その処理例である図１６、図１７を参照して説明する。なお、本実施例では、姿勢を認識する対象物体として人間の顔を対象とする例について説明するが、任意の物体に適用可能であることはいうまでもない。
【０１３０】
図１に示されるように、登録部１０には、予め物体の３次元形状と基底テクスチャ群を３次元モデルとして記憶しておく。登録部１０では、例えば、ビデオカメラ等の撮像装置を用いて２次元の画像を撮影し、姿勢認識処理を行う処理装置に取り込む。
【０１３１】
本実施例の登録部１０は、前述のように３次元形状・反射率測定部１１と、照明変動テクスチャ生成部１２と、基底テクスチャ計算部１３と、物体モデル記憶部１４を備えており、本実施例では、特に照明変動テクスチャ生成部１２と、基底テクスチャ計算部１３の処理の実施例を説明する。
【０１３２】
照明変動テクスチャ生成部１２は、前記３次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に対応するテクスチャ座標系（ｓ，ｔ）を定義する。
【０１３３】
本実施例では、テクスチャ座標系の設定方法として、図１６に示すように、顔の３次元形状データの重心を中心として顔全体を覆う適当な大きさの球を考え、物体表面上の各点Ｐを、重心を中心として前記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）をテクスチャ座標とする手法を用いる。
【０１３４】
本実施例の場合においては、顔の後ろ側の頭部の形状データを利用しないこととし、（ｓ，ｔ）＝（０，０）を顔の正面の方向であるように設定し、ｓ、ｔはそれぞれ−９０°から９０°までの範囲であるとする。
【０１３５】
照明変動テクスチャ生成部１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ（ｓ，ｔ）を、照明条件を様々に変化させながらＮ枚生成し、照明変動テクスチャ群Ｔｋ（ｓ，ｔ）として出力する。例えば、無限遠にある一つの点光源を考え、図１７に示すような物体を中心とした球面の経度、緯度をあらわす（θ，φ）の角度で光源の方向を示すとし、θとφを１０°おきに−９０°から９０°まで変化させ、Ｎ＝３６１種類の照明条件群を設定する。この光源の種類、照明方向の設定間隔や範囲の決め方は一例であり、より均一に方向を決めるために種々変更することも可能である。
【０１３６】
輝度値の計算には、様々なコンピュータグラフィックスの手法を応用して適用することが可能であり、本実施例では、物体表面の反射特性をLambertianモデルで近似し、照明が無限に遠くにあると仮定した以下のような手法を用いる。
【０１３７】
まず、前記３次元形状データを用い、物体表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そして、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度値Ｔｋ（ｓ，ｔ）を、数１の式と同様にして、次の数６の式により求める。数６では、Ｎ種類（ｋ＝１，２，…，Ｎ）の、球の中心から各方向への方向を表すベクトルを用いている。
【数６】
【０１３８】
基底テクスチャ計算部１３は、前記照明変動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件でのテクスチャを包含する部分空間の基底である基底テクスチャ群｛Ｇｉ｝を計算する。各基底テクスチャＧｉの計算は、数７に示すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並べた行列の共分散行列の、固有ベクトルと固有値を求める。
【数７】
【０１３９】
そして、求められた固有ベクトルの内で必要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝（ｉ＝１，２，３，…，ｎ）として出力する。取り出す個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒとして０．９９（９９％）などの値を設定して、（数３の式と同様にして）次の数８の式を満たすようにｎを設定する。
【数８】
このように、取り出された固有ベクトルの各要素の値を、その要素と対応する画素の輝度値として持つテクスチャを基底テクスチャＧｉとして出力する。
【０１４１】
次に、認識部２０の実施例を説明する。認識部２０は、前述のように照明変動空間生成部２１と、比較画像生成部２２と、姿勢選択部２３を備えており、本実施例では、特に、照明変動空間生成部２１の処理の実施例を説明する。
【０１４２】
本実施例では、位置と姿勢のパラメタとしては、平行移動量を表すＴｘ，Ｔｙ，Ｔｚ及び、回転を表すＲｘ，Ｒｙ，Ｒｚを用いることとする。
【０１４３】
照明変動空間生成部２１は、前述のように投影変換決定部２１−１と、基底テクスチャ投影部２１−２を備えている。
【０１４４】
投影変換決定部２１−１は、前記姿勢候補の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力する。
【０１４５】
本実施例では、変換ｆを求める処理として次の手法を用いる。
【０１４６】
ここで、物体表面各点の色を、その点のテクスチャ座標（ｓ，ｔ）と１対１で対応するように設定し、描画を行えば、描画された画像の各画素（ｕ，ｖ）の色から（ｕ，ｖ）→（ｓ，ｔ）の対応関係を求める。例えば、色の赤、緑、青成分を表すＲＧＢ値はフルカラー表示が可能なコンピュータでは０から２５５の値が設定でき、テクスチャ座標（ｓ，ｔ）は，本実施例では−９０から９０の範囲の値である。
【０１４７】
そこで、テクスチャ座標が（ｓ，ｔ）である点に次の色を設定する。
Ｒ＝（ｓ＋９０）＊２５５／１８０
Ｇ＝（ｔ＋９０）＊２５５／１８０
このようにして生成された画像の各画素（ｕ，ｖ）の色から、上式を逆に用いてテクスチャ座標（ｓ，ｔ）を計算する。
【０１４８】
この方法はあくまで一例であり、その他様々な手法が適用可能であることはいうまでもない。
【０１４９】
そして、基底テクスチャ投影部２１−２は、前記座標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を計算し、計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間Ｓとして出力する。
【０１５０】
第２の実施例
図７に示した第２の実施の形態を適応した第２の実施例について説明する。本実施例は、姿勢候補が複数の候補として離散的に与えられるのではなく、ある姿勢とその誤差あるいは変動の指定された範囲、あるいは位置と姿勢を示すの各パラメタの指定された範囲というように、一つ又は複数の連続的な領域として与えられた場合に、該姿勢候補領域内で最適な姿勢を求める実施例である。
【０１５１】
本実施例では、物体の概略の位置と向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわかっており、その誤差が平行移動量で１０ｍｍ、回転で５°以下であるとわかっている場合を例に説明する。
【０１５２】
認識部２０の姿勢候補群決定部２６は、入力された誤差範囲内で、姿勢候補の各パラメタを変動させることにより得られる複数の姿勢候補を生成し、姿勢候補群として出力する。
【０１５３】
本実施例では、例えば一例として、ｘが−１０から１０、ｙが４０から６０、ｚが９０から１１０、Ｒｘが−５から５、Ｒｙが１５から２５、Ｒｚが３５から４５の範囲で、各Ｔｘ，Ｔｙ，Ｔｚは５ｍｍ、Ｒｘ，Ｒｙ，Ｒｚは５°間隔に値を設定して、合計５３×３３＝３３７５個の姿勢候補を生成する。この他の処理は、全て第１の実施例と同様である。
【０１５４】
第３の実施例
図９に示した第３の実施の形態を適応した第３の実施例について説明する。本実施例では、第２の実施例の認識部の認識結果である最適姿勢候補を初期の姿勢候補に置き換えて認識処理を繰り返すことを特徴とする。
【０１５５】
また、本実施例の姿勢候補群決定部２６は、姿勢候補の各パラメタを予め決めた少しの量ずつ変動させて複数の姿勢候補を生成し、その中から最適な候補を選択し、最適姿勢候補を再び姿勢候補として処理を繰り返していくことにより、徐々に最適な姿勢候補を求めていく。これにより、より計算量を減らして効率よく最適姿勢候補を求めることができる。
【０１５６】
ここでは一例として、物体の概略の位置と向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわかっており、ｘ，ｙ，ｚの変化量を１ｍｍ、Ｒｘ，Ｒｙ，Ｒｚの変化量を１°とする。
【０１５７】
まず、姿勢候補群決定部２６ｂは、Ｔｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの６つのパラメタの中からそれぞれ一つを選んでＴｘ，Ｔｙ，Ｔｚなら１ｍｍを、Ｒｘ，Ｒｙ，Ｒｚなら１°を増加又は減少させた姿勢候補をそれぞれ生成する。すなわち、合計で２×６＝１２個の姿勢候補を生成し、姿勢候補群として出力する。
【０１５８】
照明変動空間生成部２１から姿勢選択部２３の処理（ステップ２１０〜２３０）は、全て第２の実施の形態と同様である。１２個の各姿勢候補に対し、比較画像を生成し、最も入力画像に近い画像を生成した姿勢候補を選択して最適姿勢候補として出力する。
【０１５９】
終了判定部２８は、前回の最適姿勢候補から生成された比較画像と、入力画像の類似度を記憶しておき、現在の最適姿勢候補から生成された比較画像と入力画像の類似度と比較する。この類似度が高くなっていない場合、処理を打ち切る。
類似度が高くなっている場合には、現在の最適姿勢候補を姿勢候補として置き換え、姿勢候補群決定部２６以下の処理（ステップ２６０〜ステップ２８０）を繰り返し行う。この他の処理は、全て第２の実施例と同様である。
【０１６０】
第４の実施例
図１１に示した第４の実施の形態を適応した第４の実施例について、その処理例である図１８を参照して説明する。本実施例は、位置や姿勢を物体の特徴的な見え方をする部位の位置情報に基づいて決定するが、従来の技術と異なり、最適な姿勢解の選択・決定は、特徴点位置ではなく、入力画像と比較画像の濃淡情報をそのまま比較することにより行う。本実施例では、一例として人間の顔を対象物体として用い、図１８の１２個の特徴点を用いる場合について述べる。
【０１６１】
本実施例の登録部１０ｃは、前述のように第１の実施の形態の構成に加えて、特徴点３次元位置入力部１５と、特徴点３次元位置記憶部１６を備えている。
【０１６２】
特徴点３次元位置入力部１５は、測定した前記３次元形状と反射率を参照し、目尻の位置など図１８に示す１２個の特徴点の位置を入力する。この特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された物体を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な手法を利用することももちろん可能である。一例として、図１６の右図に示したようなテクスチャ画像をコンピュータの画面に表示し、ユーザが各特徴点の位置を画面上で指示していくという方法が利用可能である。
【０１６３】
特徴点３次元位置記憶部１６は、前記入力された１２個の特徴点の、３次元座標を記憶する。
【０１６４】
また本実施例の認識部２０ｃは、前述のように第１の実施の形態の構成に加えて、特徴点位置抽出部２４と、姿勢計算部２５を備えている。
【０１６５】
特徴点位置抽出部２４は、図１８の１２個の特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。本実施例では、一例として、入力画像が不鮮明であったために、１２個の特徴点の内、両目と口中央の位置である図１８の１、４、１０の３点の位置しか入力できなかった例を説明する。
【０１６６】
姿勢計算部２５は、特徴点３次元位置記憶部１６から特徴点３次元位置を読み込み、前記入力画像特徴点位置に前記特徴点３次元位置にある物体特徴点が投影されるような、位置姿勢のパラメタを計算し、計算された位置姿勢パラメタ群を姿勢候補群として出力する。
【０１６７】
例えば、従来の透視ｎ点問題の技術を用いることにより、３点の特徴点の入力画像上の位置と３次元座標が得られているので、最大４つの姿勢候補が計算できる。これらの姿勢候補を姿勢候補群として出力する。
【０１６８】
この他の処理は、全て第１の実施例と同様である。
【０１６９】
第５の実施例
図１２に示した第５の実施の形態を適応した第５の実施例について、その処理例である図１２、図１３を参照して説明する。本実施例は、第２の実施例において更に、姿勢候補の計算を入力画像の特徴点の位置に基づいて行う点、及び、姿勢候補の誤差の範囲を、入力画像からの特徴点位置の抽出誤差に基づいて決定する点が異なる。また、本実施例でも、第４の実施例と同様に人間の顔を対象物体とする例を説明する。
【０１７０】
本実施例では、前述のように第２の実施の形態の構成に加えて、認識部２０ｄに、特徴点位置抽出部２４と、姿勢範囲決定部２７を備えている。
【０１７１】
特徴点位置抽出部２４は、図１８の１２の物体特徴点の入力画像における位置を抽出し、入力画像特徴点位置として出力する。この物体特徴点の位置の入力は、ユーザがコンピュータを用いて画面に表示された入力画像を見ながら手動で位置又は範囲を指示して行うこともできるし、自動的に行う様々な技術を適用可能である。また同時に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範囲として出力する。一例として、図１８の１２個の特徴点の内１、４、１０の３つの特徴点のみが入力されており、それぞれの特徴点誤差範囲が５画素以下であると推定されている場合を説明する。
【０１７２】
姿勢範囲決定部２７は、前記特徴点誤差範囲を用いて、前記姿勢計算部２５で用いたのと同様に透視ｎ点問題の技術などを利用して計算される姿勢候補のパラメタが、誤差として変動する可能性のある範囲を推定し、姿勢候補範囲として出力する。これには様々な手法が適用可能であるが、一例として数値シミュレーションを用いる次のような手法が利用可能である。
【０１７３】
本実施例では図１８の特徴点１、４、１０が入力されており、それぞれ誤差が５画素以内と推定されている。したがって、各特徴点の位置を入力された位置を中心とする半径５画素の円内でランダムに変動させて、多数の姿勢候補を計算する。例えば、１００回の特徴点位置を変動させる試行を繰り返し、１００個の姿勢候補を計算する。そして、各姿勢候補の姿勢パラメタＴｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの値を調べ、それぞれのパラメタの分布領域を調べる。該分布領域を姿勢解候補範囲として出力する。
【０１７４】
上記の姿勢候補範囲の推定方法は一例であり、この他にも姿勢の計算に用いる計算式を解析して誤差範囲を求めたり、様々な手法が適用可能である。
【０１７５】
姿勢候補群決定部２６以下の処理は、全て第２の実施の形態と同様である。
【０１７６】
また、本発明の位置姿勢認識装置は、上述の各実施の形態及び実施例のように装置内に登録部と認識部の双方を備える方式に限らず、図１５に示すように、位置姿勢認識装置１００ｅ内には認識部２０のみを備えて、登録部１０を備える外部の３次元物体モデル登録装置３００から、物体の３次元モデルのデータの入力を受け付ける方式も同様にして実施することができる。
【０１７７】
また、上記各実施の形態及び実施例は、互いに様々に組み合わせて実施することができる。
【０１７８】
なお、本実施の形態の位置姿勢認識装置１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅや、３次元物体モデル登録装置３００は、登録部１０、１０ｃ、１０ｄにおける形状・反射率測定部１１、照明変動テクスチャ生成部１２、基底テクスチャ計算部１３、特徴点３次元位置入力部１５の機能や、認識部２０、２０ａ、２０ｂ、２０ｃ、２０ｄにおける照明変動空間生成部２１、投影変換決定部２１−１、基底テクスチャ投影部２１−２、比較画像生成部２２、姿勢選択部２３、特徴点位置抽出部２４、姿勢計算部２５、姿勢候補群決定部２６、姿勢範囲決定部２７、終了判定部２８の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムである位置姿勢認識プログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。この位置姿勢認識プログラムは、磁気ディスク、半導体メモリその他の記録媒体９０、９１、９２、９３、９４、９５、９９に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１７９】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１８０】
【発明の効果】
以上説明したように本発明の位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムによれば、以下のような効果が達成される。
【０１８１】
第１に、本発明によれば、様々な位置姿勢、照明条件の下で撮影された認識対象の画像に対して、正しい物体の位置姿勢を決定することができる。特に、認識対象の画像と物体の３次元モデルの間の特徴点の対応が利用できない場合にも、正しい物体の位置姿勢を決定することができる。
【０１８２】
第２に、本発明によれば、認識対象の画像から特徴点の位置を抽出して画像中の物体の位置姿勢を計算する場合に、入力された特徴点位置が誤差を含んでいても、正しい位置姿勢を認識することができる。
【０１８３】
第３に、本発明によれば、特徴点が３点しか抽出できなかったり、特徴点が特別な配置にあって位置姿勢が一意に計算できない場合にも、本発明の技術を用いることで正しい位置姿勢を認識することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態による位置姿勢認識装置の処理の概略を示す図である。
【図３】本発明の第１の実施の形態による位置姿勢認識装置の構成の概略を示すブロック図である。
【図４】本発明の第１の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図５】本発明の第１の実施の形態の照明変動空間生成部の構成を示すブロック図である。
【図６】本発明の第１の実施の形態の照明変動空間生成の処理を説明するためのフローチャートである。
【図７】本発明の第２の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図９】本発明の第３の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１０】本発明の第３の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１１】本発明の第４の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１２】本発明の第４の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１３】本発明の第５の実施の形態による位置姿勢認識装置の構成を示すブロック図である。
【図１４】本発明の第５の実施の形態の位置姿勢認識の処理を説明するためのフローチャートである。
【図１５】本発明のその他の実施の形態による位置姿勢認識装置と３次元物体モデル登録装置の構成を示すブロック図である。
【図１６】テクスチャ座標の定義方法の一例を説明する図である。
【図１７】物体に対する光源の方向の定義の一例を説明する図である。
【図１８】顔を対象物体にするときに用いる特徴点の位置の一例を説明する図である。
【図１９】従来の技術の、透視ｎ点問題を解く技術の処理の流れを説明する図である。
【図２０】従来の技術の、文献３の技術の処理の流れを説明する図である。
【符号の説明】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ 位置姿勢認識装置
３００ ３次元物体モデル登録装置
１０、１０ｃ、１０ｄ 登録部
１１ 形状・反射率測定部
１２ 照明変動テクスチャ生成部
１３ 基底テクスチャ計算部
１４ 物体モデル記憶部
１５ 特徴点３次元位置入力部
１６ 特徴点３次元位置記憶部
２０、２０ａ、２０ｂ、２０ｃ、２０ｄ 認識部
２１ 照明変動空間生成部
２１−１ 投影変換決定部
２１−２ 基底テクスチャ投影部
２２ 比較画像生成部
２３ 姿勢選択部
２４ 特徴点位置抽出部
２５ 姿勢計算部
２６ 姿勢候補群決定部
２７ 姿勢範囲決定部
２８ 終了判定部
９０、９１、９２、９３、９４、９５、９９ 記録媒体
Claims (41)
- 認識対象の画像から物体の位置姿勢を認識する位置姿勢認識装置において、
前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする位置姿勢認識装置。 - 前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成手段と、
前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成手段と、
複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択手段を備えることを特徴とする請求項１に記載の位置姿勢認識装置。 - 前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、
前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする請求項２に記載の位置姿勢認識装置。 - 前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定手段を備え、
前記姿勢候補群決定手段が生成した複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする請求項２に記載の位置姿勢認識装置。 - 認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出手段を備え、
前記姿勢候補群決定手段は、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする請求項３又は請求項４に記載の位置姿勢認識装置。 - 前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、
前記姿勢候補群決定手段は、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする請求項５に記載の位置姿勢認識装置。 - 前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする請求項５又は請求項６に記載の位置姿勢認識装置。
- 前記姿勢候補群決定手段は、
定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出手段が抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする請求項３から請求項７のいずれか１つに記載の位置姿勢認識装置。 - （１）前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める
（２）前記姿勢候補群決定手段が、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する
（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択手段が前記認識対象の画像に最も近い前記比較画像を判定する
上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定手段を備え、
前記繰り返しの終了後、前記姿勢選択手段が、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする請求項３から請求項８のいずれか１つに記載の位置姿勢認識装置。 - 前記姿勢選択手段が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする請求項２から請求項８のいずれか１つに記載の位置姿勢認識装置。
- 前記物体の３次元物体モデルを登録する登録部を備えることを特徴とする請求項１から請求項１０のいずれか１つに記載の位置姿勢認識装置。
- 前記登録部は、
前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、
前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、
前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、
前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする請求項１１に記載の位置姿勢認識装置。 - 前記登録部は、
前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする請求項１２に記載の位置姿勢認識装置。 - 物体の位置姿勢を登録する３次元物体モデル登録装置において、
前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定手段と、
前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成手段と、
前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算手段を備え、
前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする３次元物体モデル登録装置。 - 前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする請求項１４に記載の３次元物体モデル登録装置。
- 認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識方法において、
前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする位置姿勢認識方法。 - 前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成ステップと、
前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成ステップと、
複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択ステップを備えることを特徴とする請求項１６に記載の位置姿勢認識方法。 - 前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、
生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする請求項１７に記載の位置姿勢認識方法。 - 前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定ステップを備え、
生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定することを特徴とする請求項１７に記載の位置姿勢認識方法。 - 認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出ステップを備え、
前記姿勢候補群決定ステップは、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成することを特徴とする請求項１８又は請求項１９に記載の位置姿勢認識方法。 - 前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成し、
前記姿勢候補群決定ステップは、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成することを特徴とする請求項２０に記載の位置姿勢認識方法。 - 前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成することを特徴とする請求項２０又は請求項２１に記載の位置姿勢認識方法。
- 前記姿勢候補群決定ステップは、
定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出ステップにおいて抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする請求項１８から請求項２２のいずれか１つに記載の位置姿勢認識方法。 - （１）前記姿勢選択ステップにおいて、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める
（２）前記姿勢候補群決定ステップにより、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する
（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択ステップにより、前記認識対象の画像に最も近い前記比較画像を判定する
上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定ステップを備え、
前記繰り返しの終了後、前記姿勢選択ステップが、その最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする請求項１８から請求項２３のいずれか１つに記載の位置姿勢認識方法。 - 前記姿勢選択ステップが、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする請求項１７から請求項２３のいずれか１つに記載の位置姿勢認識方法。
- 前記物体の３次元物体モデルの情報を登録する登録ステップを備えることを特徴とする請求項２６から請求項２５のいずれか１つに記載の位置姿勢認識方法。
- 前記登録ステップでは、
前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定ステップと、
前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成ステップと、
前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算ステップを備え、
前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録することを特徴とする請求項２６に記載の位置姿勢認識方法。 - 前記登録ステップでは、
前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶することを特徴とする請求項２７に記載の位置姿勢認識方法。 - コンピュータを制御することにより、認識対象の画像中から物体の位置姿勢を認識する位置姿勢認識プログラムであって、
前記コンピュータに、
前記物体の３次元形状と、当該物体表面の各位置の輝度を表すテクスチャの各要素を並べてベクトルとし、様々な照明条件の下でのテクスチャ群をベクトル群とし、前記ベクトル群の張る高次元線形空間の基底ベクトルとして算出された基底ベクトル群である基底テクスチャ群とから成る３次元物体モデルを生成し、前記３次元物体モデルの前記基底テクスチャ群に基づいて照明条件を再現した画像を生成する際に、当該再現画像と認識対象画像が合致するような姿勢を求めることにより、前記認識対象の画像中における前記物体の位置姿勢を認識する処理を実行させることを特徴とする位置姿勢認識プログラム。 - 前記コンピュータに、
前記認識対象の画像中における前記物体の位置姿勢の候補である姿勢候補に基づいて、前記姿勢候補の位置姿勢に当該物体がある場合の画像の輝度値の照明条件による変動を表す照明変動空間を生成する照明変動空間生成処理と、
前記姿勢候補の位置姿勢に当該物体がありかつ照明条件が前記認識対象の画像と同等である場合に得られる画像である比較画像を、前記３次元物体モデル及び前記照明変動空間に基づいて生成する比較画像生成処理と、
複数の前記姿勢候補のそれぞれに基づいて生成された各前記比較画像を、前記認識対象の画像と比較して、前記認識対象の画像に最も近い前記比較画像を判定する姿勢選択処理を実行させることを特徴とする請求項２９に記載の位置姿勢認識プログラム。 - 前記コンピュータに、
前記物体の位置姿勢を示すパラメタの各値を、指定された範囲内において標本化することにより、複数の前記姿勢候補を生成する姿勢候補群決定処理と、
生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定する処理を実行させることを特徴とする請求項３０に記載の位置姿勢認識プログラム。 - 前記コンピュータに、
前記物体の位置姿勢を示す与えられたパラメタの各値を、指定された増減を行なうことにより、複数の前記姿勢候補を生成する姿勢候補群決定処理と、
生成された複数の前記姿勢候補の中から、前記認識対象の画像に最も近い前記比較画像を判定する処理を実行させることを特徴とする請求項３０に記載の位置姿勢認識プログラム。 - 前記コンピュータに、
認識対象の画像中の特徴点の位置を入力画像特徴点位置として抽出する特徴点位置抽出処理を実行させ、
前記姿勢候補群決定処理においては、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の情報とに基づいて、複数の前記姿勢候補を生成する処理を実行させることを特徴とする請求項３１又は請求項３２に記載の位置姿勢認識プログラム。 - 前記コンピュータに、
前記特徴点位置抽出処理において抽出した前記入力画像特徴点位置の一部の特徴点を選択した組を、特徴点群として一つ又は複数生成する処理を実行させ、
前記姿勢候補群決定処理においては、
前記物体の前記特徴点の位置の情報と、前記入力画像特徴点位置の当該特徴点組群において選択された前記特徴点とに基づいて、一つ又は複数の前記姿勢候補を生成する処理を実行させることを特徴とする請求項３３に記載の位置姿勢認識プログラム。 - 前記コンピュータに、
前記特徴点位置抽出処理において抽出した前記入力画像特徴点位置のデータを、指定された増減を行なうことにより一つ又は複数の新たな前記入力画像特徴点位置を生成する処理を実行させることを特徴とする請求項３３又は請求項３４に記載の位置姿勢認識プログラム。 - 前記姿勢候補群決定処理は、
定められた前記入力画像特徴点位置に含まれる誤差の範囲である特徴点誤差範囲に基づいて、前記特徴点位置抽出処理において抽出した前記入力画像特徴点位置のデータを、前記特徴点誤差範囲内において標本化することにより、一つ又は複数の前記姿勢候補を生成することを特徴とする請求項３１から請求項３５のいずれか１つに記載の位置姿勢認識プログラム。 - （１）前記姿勢選択処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた姿勢候補を、最適姿勢候補と定める
（２）前記姿勢候補群決定処理により、前記最適姿勢候補を基に新たな複数の前記姿勢候補を生成する
（３）新たに生成された複数の前記姿勢候補を基に、前記姿勢選択処理により、前記認識対象の画像に最も近い前記比較画像を判定する
前記コンピュータに、
上記（１）、（２）、（３）の一連の処理を順次繰り返し実行し、かつ定められた時点において前記繰り返しを終了させる終了判定処理を実行させ、
前記繰り返しの終了後、前記姿勢選択処理の最終の処理において、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力する処理を実行させることを特徴とする請求項３１から請求項３６のいずれか１つに記載の位置姿勢認識プログラム。 - 前記姿勢選択処理が、前記認識対象の画像に最も近いと判定した前記比較画像の生成に用いた前記姿勢候補を、前記認識対象の画像中における前記物体の位置姿勢の認識結果として出力することを特徴とする請求項３０から請求項３６のいずれか１つに記載の位置姿勢認識プログラム。
- 前記コンピュータに、
前記物体の３次元物体モデルの情報を登録する登録処理を実行させることを特徴とする請求項２９から請求項３８のいずれか１つに記載の位置姿勢認識プログラム。 - 前記登録処理においては、
前記物体の３次元形状と、当該物体表面上の各位置の色又は反射率に相当する画像データを測定する３次元形状・反射率測定処理と、
前記物体の表面各位置の、様々な照明条件の下での輝度値をあらわす照明変動テクスチャ群を生成する照明変動テクスチャ生成処理と、
前記照明変動テクスチャ群全体を近似する基底テクスチャ群を計算する基底テクスチャ計算処理と、
前記物体の３次元形状及び前記基底テクスチャ群を、当該物体の３次元物体モデルとして登録する処理を実行させることを特徴とする請求項３９に記載の位置姿勢認識プログラム。 - 前記登録処理においては、
前記物体表面上の特徴点の３次元位置情報を登録特徴点位置として記憶する処理を実行させることを特徴とする請求項４０に記載の位置姿勢認識プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001244473A JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| US10/209,860 US7218773B2 (en) | 2001-08-10 | 2002-08-02 | Pose estimation method and apparatus |
| GB0218591A GB2380383B (en) | 2001-08-10 | 2002-08-09 | Pose estimation method and apparatus |
| CA002397237A CA2397237C (en) | 2001-08-10 | 2002-08-09 | Pose estimation method and apparatus |
| US11/730,314 US7313266B2 (en) | 2001-08-10 | 2007-03-30 | Pose estimation method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001244473A JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003058896A JP2003058896A (ja) | 2003-02-28 |
| JP4573085B2 true JP4573085B2 (ja) | 2010-11-04 |
Family
ID=19074392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001244473A Expired - Lifetime JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7218773B2 (ja) |
| JP (1) | JP4573085B2 (ja) |
| CA (1) | CA2397237C (ja) |
| GB (1) | GB2380383B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003298491A1 (en) * | 2002-10-22 | 2004-05-13 | Artoolworks | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
| US7620202B2 (en) * | 2003-06-12 | 2009-11-17 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| GB0319697D0 (en) | 2003-08-21 | 2003-09-24 | Falanx Microsystems As | Method of and apparatus for differential encoding and decoding |
| CN1846232A (zh) * | 2003-08-29 | 2006-10-11 | 日本电气株式会社 | 使用加权信息的对象姿态估计和匹配系统 |
| EP2479726B9 (en) | 2003-10-21 | 2013-10-23 | Nec Corporation | Image comparison system and image comparison method |
| CN1864176A (zh) | 2003-10-30 | 2006-11-15 | 日本电气株式会社 | 用于估计对象状态的估计系统、估计方法和估计程序 |
| GB0326186D0 (en) * | 2003-11-10 | 2003-12-17 | Omniperception Ltd | 2d face authentication system |
| AU2005218408A1 (en) | 2004-03-03 | 2005-09-15 | Nec Corporation | Object posture estimation/correlation system, object posture estimation/correlation method, and program for the same |
| CN100410622C (zh) * | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| WO2006092961A1 (ja) | 2005-03-02 | 2006-09-08 | Matsushita Electric Industrial Co., Ltd. | 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム |
| JP4774818B2 (ja) * | 2005-06-07 | 2011-09-14 | トヨタ自動車株式会社 | 画像処理装置及び画像処理方法 |
| JP4956967B2 (ja) * | 2005-11-17 | 2012-06-20 | コニカミノルタホールディングス株式会社 | 認証システム、認証方法およびプログラム |
| JP4589224B2 (ja) * | 2005-12-16 | 2010-12-01 | 株式会社山武 | ３次元パターン照合装置 |
| JP2007293558A (ja) * | 2006-04-25 | 2007-11-08 | Hitachi Ltd | 目標物認識プログラム及び目標物認識装置 |
| JP2007304721A (ja) * | 2006-05-09 | 2007-11-22 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| US20090322860A1 (en) * | 2006-11-17 | 2009-12-31 | Dong-Qing Zhang | System and method for model fitting and registration of objects for 2d-to-3d conversion |
| FR2913128B1 (fr) * | 2007-02-23 | 2009-08-28 | Total Immersion Sa | Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle |
| EP2130178A1 (en) * | 2007-03-23 | 2009-12-09 | Thomson Licensing | System and method for region classification of 2d images for 2d-to-3d conversion |
| JP5013961B2 (ja) * | 2007-05-21 | 2012-08-29 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
| JP5181704B2 (ja) * | 2008-02-07 | 2013-04-10 | 日本電気株式会社 | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| US8649555B1 (en) * | 2009-02-18 | 2014-02-11 | Lucasfilm Entertainment Company Ltd. | Visual tracking framework |
| JP5206517B2 (ja) * | 2009-03-13 | 2013-06-12 | 日本電気株式会社 | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
| US8217961B2 (en) * | 2009-03-27 | 2012-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating 3D pose of specular objects |
| JP5393318B2 (ja) * | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
| US8306314B2 (en) * | 2009-12-28 | 2012-11-06 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of objects |
| JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
| JP5839971B2 (ja) | 2010-12-14 | 2016-01-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP2012128638A (ja) * | 2010-12-15 | 2012-07-05 | Canon Inc | 画像処理装置、位置合わせ方法及びプログラム |
| KR101074678B1 (ko) * | 2011-03-03 | 2011-10-18 | 배상모 | 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법 |
| CN102261908B (zh) * | 2011-04-25 | 2013-06-19 | 天津大学 | 基于几何约束的物体三维姿态测量方法 |
| GB2492779B (en) * | 2011-07-11 | 2016-03-16 | Toshiba Res Europ Ltd | An image processing method and system |
| US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
| GB2536493B (en) | 2015-03-20 | 2020-11-18 | Toshiba Europe Ltd | Object pose recognition |
| JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
| JP6528723B2 (ja) | 2016-05-25 | 2019-06-12 | トヨタ自動車株式会社 | 物体認識装置、物体認識方法及びプログラム |
| WO2018216342A1 (ja) * | 2017-05-24 | 2018-11-29 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10621751B2 (en) | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
| JP2019087008A (ja) | 2017-11-07 | 2019-06-06 | 東芝テック株式会社 | 画像処理システム及び画像処理方法 |
| US10970425B2 (en) | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
| CN111788533A (zh) * | 2017-12-29 | 2020-10-16 | 智加科技公司 | 基于立体视觉的车辆姿态估计的方法和系统 |
| US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
| US10679376B2 (en) * | 2018-04-24 | 2020-06-09 | Microsoft Technology Licensing, Llc | Determining a pose of a handheld object |
| JP2020021105A (ja) * | 2018-07-30 | 2020-02-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| TWI732506B (zh) * | 2019-04-22 | 2021-07-01 | 日商新川股份有限公司 | 線形狀測量裝置、線三維圖像產生方法以及線形狀測量方法 |
| JP7362453B2 (ja) | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
| JP2004086929A (ja) * | 2003-12-08 | 2004-03-18 | Nec Corp | 画像照合装置 |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| JP4379459B2 (ja) * | 2006-10-16 | 2009-12-09 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2553912B1 (fr) | 1983-10-21 | 1985-12-20 | Onera (Off Nat Aerospatiale) | Procede et appareillage pour determiner l'attitude d'un objet dans l'espace par rapport a un poste d'observation |
| US5208763A (en) | 1990-09-14 | 1993-05-04 | New York University | Method and apparatus for determining position and orientation of mechanical objects |
| JP2532985B2 (ja) * | 1990-09-20 | 1996-09-11 | 工業技術院長 | ３次元画像評価装置 |
| JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
| US5710876A (en) * | 1995-05-25 | 1998-01-20 | Silicon Graphics, Inc. | Computer graphics system for rendering images using full spectral illumination data |
| US5850469A (en) | 1996-07-09 | 1998-12-15 | General Electric Company | Real time tracking of camera pose |
| US6526156B1 (en) * | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
| JPH1151611A (ja) | 1997-07-31 | 1999-02-26 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
| US6002782A (en) * | 1997-11-12 | 1999-12-14 | Unisys Corporation | System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model |
| JP4146027B2 (ja) * | 1999-04-05 | 2008-09-03 | 株式会社岩根研究所 | 情報変換システム |
| JP2000339468A (ja) | 1999-05-31 | 2000-12-08 | Minolta Co Ltd | ３次元データの位置合わせ方法及び装置 |
| US20010030173A1 (en) * | 2000-01-20 | 2001-10-18 | Eduard Ulanovsky | Contact arc-quenching system for power switchgear |
| US6985620B2 (en) * | 2000-03-07 | 2006-01-10 | Sarnoff Corporation | Method of pose estimation and model refinement for video representation of a three dimensional scene |
| US6580821B1 (en) * | 2000-03-30 | 2003-06-17 | Nec Corporation | Method for computing the location and orientation of an object in three dimensional space |
| US6956569B1 (en) | 2000-03-30 | 2005-10-18 | Nec Corporation | Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database |
| JP3575679B2 (ja) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
| AU2002239328A1 (en) * | 2000-11-08 | 2002-05-27 | Yale University | Illumination based image synthesis |
| US6888960B2 (en) * | 2001-03-28 | 2005-05-03 | Nec Corporation | Fast optimal linear approximation of the images of variably illuminated solid objects for recognition |
-
2001
- 2001-08-10 JP JP2001244473A patent/JP4573085B2/ja not_active Expired - Lifetime
-
2002
- 2002-08-02 US US10/209,860 patent/US7218773B2/en not_active Expired - Fee Related
- 2002-08-09 CA CA002397237A patent/CA2397237C/en not_active Expired - Fee Related
- 2002-08-09 GB GB0218591A patent/GB2380383B/en not_active Expired - Fee Related
-
2007
- 2007-03-30 US US11/730,314 patent/US7313266B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| JP2004086929A (ja) * | 2003-12-08 | 2004-03-18 | Nec Corp | 画像照合装置 |
| JP4379459B2 (ja) * | 2006-10-16 | 2009-12-09 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11455864B2 (en) | 2018-07-25 | 2022-09-27 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2397237C (en) | 2009-06-09 |
| US20070172127A1 (en) | 2007-07-26 |
| US20030035098A1 (en) | 2003-02-20 |
| CA2397237A1 (en) | 2003-02-10 |
| US7218773B2 (en) | 2007-05-15 |
| US7313266B2 (en) | 2007-12-25 |
| GB0218591D0 (en) | 2002-09-18 |
| GB2380383B (en) | 2005-09-21 |
| JP2003058896A (ja) | 2003-02-28 |
| GB2380383A (en) | 2003-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4573085B2 (ja) | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム | |
| EP1677250B9 (en) | Image collation system and image collation method | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| JP4793698B2 (ja) | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム | |
| JP4723834B2 (ja) | 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置 | |
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| US20060018539A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| EP2234064B1 (en) | Method for estimating 3D pose of specular objects | |
| Wu et al. | Full body performance capture under uncontrolled and varying illumination: A shading-based approach | |
| JP2000227309A (ja) | ３次元位置姿勢センシング装置 | |
| KR20170092533A (ko) | 얼굴 포즈 교정 방법 및 장치 | |
| CN112529999A (zh) | 一种参数估算模型的训练方法、装置、设备和存储介质 | |
| JP4552431B2 (ja) | 画像照合装置、画像照合方法及び画像照合プログラム | |
| US20100246905A1 (en) | Person identifying apparatus, program therefor, and method thereof | |
| JP2004086929A5 (ja) | ||
| Williams et al. | Automatic image alignment for 3D environment modeling | |
| CN111445540B (zh) | 一种用于rgb有色三维点云的自动配准方法 | |
| JP2004054947A (ja) | 物体照合システム、物体照合方法および物体照合プログラム | |
| Grochulla et al. | Combining photometric normals and multi-view stereo for 3d reconstruction | |
| Paudel et al. | Localization of 2D cameras in a known environment using direct 2D-3D registration | |
| Thomas et al. | Robustly registering range images using local distribution of albedo | |
| Li et al. | Photometric stereo for general isotropic reflectances by spherical linear interpolation | |
| Li et al. | Two-phase approach—Calibration and iris contour estimation—For gaze tracking of head-mounted eye camera | |
| Wang et al. | Automatic landmark placement for large 3D facial image dataset | |
| JP2018036884A (ja) | 光源推定装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100506 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100722 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4573085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |