JP4194316B2 - Position / orientation estimation apparatus, position / orientation estimation method, and program - Google Patents

Description

とすると、位置ｔは（Ｍ_１４，Ｍ_２４，Ｍ_３４）のベクトルで得られ、回転Ｒは
【外２】

の行列によって得られる。つまり、撮像部１１０の位置姿勢を求めるためには、撮像部のビューイング変換行列Ｍ_Ｃ´が求められればよい。
【００１３】
このように、６自由度センサ１４０の出力を基本とし、さらに現実空間の絶対位置基準により位置合わせされた位置姿勢は、６自由度センサ１４０のみで計測する位置姿勢よりも、実際の撮像部１１０の位置姿勢に対するずれ量は安定して減少する。
【００１４】
しかし、ランドマーク１００の位置が後述する位置姿勢補正部において絶対位置基準として利用されるため、この基準が正確でないと、撮像部の位置姿勢は正確に推定できない。このことから、いかにして撮像画像に映ったランドマーク１００を最適な検出パラメータによって検出するかが解決するべき課題である。
【００１５】
＜特開平１１−１３６７０６号公報の手法に本発明を適応した例＞
前述の特開平１１−１３６７０６号公報の手法に本発明を適応することにより、撮像部で得られる撮像画像の明度、色変化に伴い、検出パラメータを自動的に最適化することで、ランドマークの検出性能を向上させることが可能となる。ここで、最適化とは、「最適な状態に変化させること」と定義する。よって、１回の最適化処理を行った検出パラメータは、必ずしも撮像画像において、ランドマークを検出するのに最適な状態になるのではない。複数回の最適化処理によって、最適な状態に成り得る。
【００１６】
図１は、特開平１１−１３６７０６号で述べられているような、６自由度センサと画像のハイブリッドな位置合わせ手法に、本発明を適用する場合における撮像部位置姿勢推定装置の構成図を表す。図１に従って撮像部位置姿勢の推定処理手順を示す。
【００１７】
図５は装置全体の処理の流れを示すフローチャートを表している。まず、ステップＳ５００撮像部により、ランドマークを配置している現実空間を撮像する。次にステップＳ５１０において、後述するランドマーク検出処理を行う。次にステップＳ５２０に移り、６自由度センサによる計測を行う。さらに、ステップＳ５３０で、計測値と撮像画像から検出されたランドマーク位置を用いて撮像部の位置姿勢を推定する。次に、ステップＳ５４０において、検出パラメータの最適化を行う。検出パラメータの最適化が終了した時点で、ステップＳ５５０に移り、終了命令があれば終了し、なければステップＳ５００に戻り、更新された撮像画像を基に再度処理を行う。
【００１８】
以下にステップＳ５１０からステップＳ５４０までの各処理の詳細を述べる。
【００１９】
＜１．ランドマーク検出処理＞
まず、現実空間の既知の位置に配置されているランドマーク１００を撮像部１１０で撮像し、撮像画像の取得部１２０に格納する。その撮像画像からランドマーク１００の検出を行い、観測座標での２次元位置Ｑ（ｘ_ｑ，ｙ_ｑ）を得る。
【００２０】
ここで、撮像部１１０から得られた画像におけるランドマーク１００の検出方法については特に限らないが、例えば以下のような例が挙げられる。現実空間に図２中で示すような赤色ランドマーク１００を配置している場合は、撮像画像中の注目画素値（Ｒ，Ｇ，Ｂ）の特徴量Ｉ_ｓを
Ｉ_ｓ＝Ｒ／（（Ｇ＋Ｂ）／２） （式３）
の計算式を用いて算出する。また、緑色のランドマーク１００の場合は、
Ｉ_ｓ＝Ｇ／（（Ｒ＋Ｂ）／２） （式４）
であり、青色のランドマークの場合は、
Ｉ_ｓ＝Ｂ／（（Ｒ＋Ｇ）／２） （式５）
の計算式で算出する。本発明では、ランドマークの色を前述の３色に限るものではなく、任意の色を検出する場合においても適応可能である。例えば、任意の色の検出において、画素値Ｒ，Ｇ，ＢをＹＣｂＣｒフォーマットの画素に変換し、Ｃｂ、Ｃｒの色領域に対応するランドマーク検出を行い、Ｃｂ、Ｃｒの指定領域に関するパラメータに対して最適化を行う処理にも適応可能である。この場合、領域を指定するパラメータは、ＣｂＣｒ空間中における、楕円の領域を指し、中心位置を表すθ、ｒと、各軸を表すＲａ、Ｒｂから構成される。
【００２１】
このランドマーク検出処理においては、検出パラメータ調整部１９５により調整された検出パラメータである閾値Ｔ_ｃを入力し、特徴量Ｉ_ｓがＴ_ｃを超えた場合は、注目画素がマーカ領域内であると判定する。これを、撮像画像の全ての画素に対して適応し、検出された特徴領域は、個々にラベル付けされる。さらに、ラベル付けされた領域のうち、ラベルを構成する画素が、ランドマーク画素数閾値Ｎを越えたものをランドマーク領域の候補とする。ランドマーク画素数閾値Ｎは、検出時のノイズがラベル付けされていた場合、ほとんどのノイズの画素数が微小であるを利用して、ある閾値以下のものをランドマークとして認識しないようにしておく。この処理により、検出ノイズを減少させ、位置姿勢補正部１６０の処理において検出ノイズをランドマークと誤認識することをある程度防ぐことが可能である。このランドマーク領域の重心位置をランドマーク１００の２次元位置とし、観測座標のランドマーク位置Ｑ（ｘ_ｑ，ｙ_ｑ）とする。ここで、ランドマーク１００が撮像画像に複数含まれる場合は、個々のランドマークに対して上述の処理を１回ずつ行う。このときの特徴量Ｉ_ｓとランドマーク画素数閾値Ｎも個々のランドマーク毎に記憶しておく。例えばランドマークが３つ撮像されている場合は、Ｔ_ｃ＝（Ｔ_ｃ１，Ｔ_ｃ２，Ｔ_ｃ３）Ｎ＝（Ｎ_１，Ｎ_２，Ｎ_３）のようにランドマーク毎の値を格納する。ここで撮像画像からランドマークを検出した検出画像Ｕ_ｄ（例えば、本実施形態においては、対応画素の特徴量Ｉ_ｓを画素値として格納した画像）と、検出パラメータ（本実施形態においては閾値Ｔ_ｃ、ランドマーク画素数閾値Ｎから構成される）を状態記憶部１９０に保存する。
【００２２】
＜２．６自由度センサによる計測処理＞
一方で、６自由度センサ１４０により、撮像部１１０の位置姿勢を検出する。本実施形態では、６自由度センサとしてＰｏｌｈｅｍｕｓ社の３ＳＰＣＡＣＥ ＦＡＳＴＲＡＫ（以下、ＦＡＳＴＲＡＫ）を用いている。ＦＡＳＴＲＡＫセンサのレシーバ１４０Ａが撮像部１１０の位置姿勢の動きに追従するように固定する。例えば、図２は本実施形態の処理を実行中時の状態を表す図であるが、図２中の撮像部１１０とＦＡＳＴＲＡＫレシーバ１４０Ａのように、金属以外の棒状のもので２つを固定し、ＦＡＳＴＲＡＫレシーバ１４０付近のの交流磁界になるべく影響を与えない方法で固定する。ＦＡＳＴＲＡＫセンサのトランスミッタ１４０Ｂから発生される交流磁界をレシーバ１４０Ａが受ける。位置姿勢計測部１５０によりレシーバ１４０Ａが受けた交流磁界の変化から、撮像部１１０の位置姿勢を計測する。
【００２３】
＜３．撮像部位置姿勢の推定処理＞
このようにして得られた撮像部１１０の位置姿勢計測値と、ランドマーク１００の撮像部１１０で撮像した画像上の２次元位置とを位置姿勢補正部１６０に入力する。図３は位置姿勢補正部１６０の処理を示す図である。まず、位置姿勢計測部１５０より入力された計測値から撮像部のビューイング変換行列Ｍ_Ｃを生成する（ステップＳ３００）。さらに、ビューイング変換座標Ｍ_Ｃとランドマーク配置・形状記憶部１７０に保存されている世界座標系上での各ランドマークの３次元位置と、既知である撮像部１１０の理想的透視変換行列から、各ランドマークの観測座標予測値Ｐ_ｉ（ｘ_ｐｉ，ｙ_ｐｉ）を算出する（ステップＳ３１０）。次に、ステップＳ３２０において、渡されたランドマーク観測予測座標値Ｐに基づいて、現在観測しているランドマーク、すなわち補正の基準となるランドマークを判別する。本実施形態における判別方法は、注目観測予測座標値Ｐ_ｊ（ｘ_ｐｊ，ｙ_ｐｊ）から、観測しているランドマークの観測座標値Ｑ_ｉ（ｘ_ｑｉ，ｙ_ｑｉ）との距離が近いものを対応付けする方法を採用している。すなわち、各ランドマークの観測予測座標Ｐと観測座標Ｑの組み合わせのうち、（ｘ_ｑｉ−ｘ_ｐｊ）^２＋（ｙ_ｑｉ−ｙ_ｐｊ）^２が最小になるランドマーク同士を対応付けする。ただし、本発明においては、この判別方法を限定するものではなく、６自由度センサから得られる観測予測座標のランドマークを撮像画像中のランドマークと正しく対応付けが可能な方法であれば適応可能である。ランドマークの対応付け処理において１点でも対応付けが成功していれば、ステップＳ３３０では、ステップＳ３１０で演算されたランドマークの観測予測座標値Ｐ（ｘ_ｐ，ｙ_ｐ）とランドマーク検出部１３０が検出したランドマークの観測座標値Ｑ（ｘ_ｑ，ｙ_ｑ）との差異に基づいて、位置姿勢計測部１５０によって得られた撮像部１１０の位置姿勢を表すビューイング変換行列Ｍ_Ｃを補正するためのΔＭ_Ｃを求める。さらに、ステップＳ３４０において、ステップＳ３３０で求めたΔＭ_ＣとステップＳ３００で求めた計測値からのカメラのビューイング変換行列Ｍ_Ｃを積算することにより補正後の撮像部視点のビューイング変換行列Ｍ_Ｃ´を得ることができる。
【００２４】
Ｍ_Ｃ´＝ΔＭ_Ｃ・Ｍ_Ｃ （式６）
ステップＳ３２０において、もし、ランドマークの対応付けができない場合は、例えば、ΔＭ_Ｃを単位行列に設定することにより、ＦＡＳＴＲＡＫセンサ出力から得たＭ_Ｃを最終的に出力する視点のビューイング変換行列Ｍ_Ｃ´としてもよい。
【００２５】
＜４．ランドマーク領域生成処理＞
位置姿勢補正部１６０を通して、ランドマーク配置・形状記憶部１７０から各ランドマークの配置情報と形状情報をランドマーク領域生成部１８０に入力する。
【００２６】
まず、形状情報とは、例えば，図２で示すような円形の赤色ランドマーク１００（図８Ａ）を用いている場合は，図８Ｂのように、あらかじめ３Ｄモデル化しておき、複数の頂点８００から構成され擬似的にランドマークの形状を表現するものである。本発明は、円形のランドマークに制限するものではなく、画像処理によって検出しやすい特定の色や形状を有する物体であれば適応可能である。また、ランドマーク１００としては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。さらに、複数のランドマークが個々に違う形状をしていても適応可能である。ここで、３次元空間中のモデル座標系での頂点８００の座標値（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）とする。ここで、この頂点情報は各頂点の結合情報を持つ。本発明においては、３次元モデルが結合情報を持つことに限定するものではなく、後述するランドマーク領域生成部１８０において、適切なランドマーク領域情報を再構築できる方法であれば適応可能である。
【００２７】
さらに、配置情報とは、現実空間に配置されたランドマークの重心位置を表す頂点８１０の世界座標系における位置姿勢を表す行列Ｌを格納している。この頂点８００とランドマークの重心位置８１０における位置姿勢情報Ｌは、それぞれランドマーク配置・形状記憶部１７０に記憶されている。ランドマーク領域生成部１８０では、このランドマーク形状情報８００を、配置情報Ｌと補正された撮像部視点のビューイング変換行列Ｍ_Ｃ´によって変換することにより、各頂点８００の視点座標系上での位置（ｘ_ｍ’，ｙ_ｍ’，ｚ_ｍ’）を得る。
【００２８】
【外３】

【００２９】
さらに、既知である視点座標系から観測座標系へのプロジェクション行列Ｃによって、撮像面上での２次元位置Ｖ（ｘ_ｖ，ｙ_ｖ）を得る。
【００３０】
【外４】

【００３１】
【外５】

【００３２】
次に、各頂点８００の２次元位置Ｖから、ランドマーク形状情報が持つ頂点の結合情報を基にランドマーク形状の各辺に対して２次元直線の式を算出し、アウトライン９００を生成する。このアウトライン９００は、観測座標において各頂点を結ぶ直線式群によって構成される。ランドマーク領域９１０はこのアウトライン９００とランドマーク領域内の点Ｇから構成される。領域内の点Ｇは、例えば、円形のランドマーク１００であれば、ランドマークの重心位置８１０を領域内の点とすればよい。生成されたランドマーク領域９１０は状態記憶部１９０に記憶される。図９は、図２の撮像部位置姿勢において、ランドマーク１００のうちの一つを撮像したときの撮像画像に、アウトライン９００と各頂点８００を重ねて表示した画像を表す。この図中におけるアウトライン９００は、位置姿勢補正部１６０により推定された撮像部１１０の位置姿勢を基に位置と形状が決定されるので、位置姿勢補正部１６０において、ランドマークの対応が取れている状態であれば、撮像画像におけるランドマーク１００の位置に表示される。
【００３３】
＜５．検出パラメータの調整処理＞
図４は、検出パラメータ調整部１９５の処理の詳細手順を表す図である。検出パラメータ調整部１９５は、状態記憶部１９０から、ランドマーク領域９１０、検出画像Ｕ_ｄ、検出パラメータである閾値Ｔ_ｃと、ランドマーク画素数閾値Ｎを受ける。
【００３４】
まず、ステップＳ４１０において、ランドマーク領域９１０を完全に含む処理領域１０００を生成する。この処理領域１０００は、例えば、ランドマーク領域内の点８１０を重心とし、全てのランドマーク領域を含む矩形領域でもよい。図１０はこの処理領域を表す。この処理領域１０００は、撮像されているランドマーク毎に生成する。例えば、図１４に示すように、３つのランドマークが撮像されている場合の処理領域１０００は、個々のランドマーク周辺にそれぞれ生成される。本発明は、この処理領域１０００の生成方法を制限するものではなく、ランドマーク領域９１０と検出画像上の検出画素の形状を比較できるものであれば適応可能である。
【００３５】
次に、ステップＳ４２０において、検出画像Ｕ_ｄ内のランドマーク検出画像とランドマーク領域を比較するための理想検出画素パターン１１１０を作成する。まず、処理領域と同画素で、全ての画素が０で初期化されている画像バッファ領域１１００を作成する。次に、このバッファ領域１１００でランドマーク領域内に含まれる画素にマーキングを行う。このマーキングは例えば、領域内の全ての画素値１に設定する方法でもよい。この様子を図１１中のＡ，Ｂに表す。図１１Ａに表されるようなランドマーク領域９１０がバッファ領域１１００上にあったとすると、マーキング処理によって図１１Ｂのように、ランドマーク領域内の画素がマーキングされる。ここで、図１１Ｂの図では黒色の画素がマーキングされていることを表す。本実施形態では、画素上に領域を含む場合であっても、この領域が画素面積の半分以上を占めない限りマーキングしない。ただし、本発明は、このマーキング処理に制限するものではなく、検出画素パターンと比較して適切な検出パラメータを設定できる方法であれば適応可能である。ここで、マーキングされている領域を理想検出画素パターン１１１０と呼ぶ。
【００３６】
次に、ステップＳ４３０において、後述するランドマークの検出画素パターン１２００と理想検出画素パターン１１１０を比較する。
【００３７】
まず、検出画像Ｕ_ｄ内の処理領域に含まれるランドマークの検出画素パターン１２００を生成する。ここで、画像バッファ領域１１００と同じ画像サイズで、画素値が０で初期化されているバッファ領域１２２０を別に用意する。このバッファ領域１２２０の画素値には、対応する検出画像Ｕ_ｄの画素値である特徴量Ｉ_ｓが検出パラメータの閾値Ｔ_ｄよりも大きい場合に１が入力される。このようにして、生成したパターンを検出画素パターン１２００とする。図１２は、ある時点において同一ランドマークを注視している場合の、検出画像Ｕ_ｄに含まれるランドマークの検出画素パターン例を表す。さらに、図１２Ａ、Ｂは検出パラメータが最適でないために、ランドマークの検出画素パターン１２００が理想検出画素パターン１１１０と異なっている状態を表す。図１２Ａに関しては、ランドマークの領域上の画素特徴量Ｉ_ｓに対して、閾値Ｔ_ｃが大きすぎるため、本来はランドマーク領域内であるはずの画素が検出できていない状態を表す。逆に、図１２Ｂでは、閾値Ｔ_ｃがランドマークの領域上の画素特徴量Ｉ_ｓに対して小さすぎるため、ランドマーク領域外の画素までランドマークとして検出している状態を表している。ここで、図１２Ｂにおいて理想検出画素パターン１１１０の内側に含まれない検出画素で、かつ、検出画素パターン１２００以外の画素を検出ノイズ１２１０と呼ぶ。この検出ノイズ１２１０は、ランドマーク検出処理において、ランドマーク画素数閾値Ｎよりもラベル画素数が多く、ランドマーク領域の候補だと判断された領域である。このステップＳ４３０における比較方法は、理想検出画素パターン１１１０と検出画素パターン１２００の検出画素数を利用する。まず、理想検出画素パターン内に含まれる検出画素パターン１２００の画素数ｇを認識し、理想検出画素パターンが内包する画素数ｉとの差分ｄを計算する。
【００３８】
ｄ＝ｇ−ｉ （式１０）
さらに、処理領域１０００内の理想検出画素パターン１１１０に含まれない検出画素パターン１２００の画素（はみ出し画素）の合計数をｅ，検出ノイズ１２１０の画素の合計数をｎとする。
【００３９】
図１２の例であれば、図１２Ａはｄ＝１２、ｅ＝０、ｎ＝０、図１２Ｂはｄ＝０、ｅ＝１０、ｎ＝７となる。
【００４０】
次に、ステップＳ４４０において、検出パラメータの最適化を行う。この処理の詳細を図６のフローチャートを用いて説明する。まず、ステップＳ６００において、ｄとｅが０であるかを検査する。両方とも０であれば、理想検出画素パターンと検出画素パターンが一致していることになるので、検出パラメータは最適な状態であると判断し、この処理を終了してランドマーク検出処理に戻る。ランドマーク検出処理においては、現在の検出パラメータによって新たな撮像画像のランドマーク検出を行う。ｄまたはｅのどちらかが正の場合は、ステップＳ６１０に移る。
【００４１】
ステップＳ６１０においては、理想検出画素パターン１１１０と検出画素パターン１２００の画素数の差分であるｄが正の場合は、ステップＳ６２０へ移る。もし、ｄが０である場合は、ステップＳ６５０に移る。
【００４２】
ステップ６２０では、現在のランドマーク画素数閾値Ｎが現在の理想検出画素数ｉよりも小さいことを判定する。この判定は、本来ランドマーク上にある画素をランドマーク画素数閾値Ｎによって除去しないように、Ｎの値を理想検出画素数ｉよりも必ず小さくする処理である。本実施形態においては、常にＮとｉの間に３画素分の閾を設けており、Ｎが必ずｉよりも３画素分小さくなるように設定される。もし、Ｎがｉ＋３よりも小さい場合は、ステップ６３０に移る。もし、Ｎがｉ＋３よりも大きい場合は、ステップＳ６４０に移る。
【００４３】
ステップ６３０では、ｄが正であることから、理想検出画素パターン内のランドマーク領域に未検出の画素があるので、未検出であった画素が検出できるように検出閾値Ｔ_ｃを１減少させる。
【００４４】
ステップＳ６４０では、ランドマーク画素数閾値Ｎがｉ＋３よりも大きいので、Ｎにｉ−４を代入し、ランドマークを的確に検出できるように設定する。また、同時に未検出であった理想検出画素パターン上の画素が検出できるように検出閾値Ｔ_ｃを１減少させる。
【００４５】
ステップＳ６５０ではｄが０であるので、理想検出画素パターン内の検出画素パターンは全て検出さていることになるが、ｅが正であることから、理想検出画素画素１１１０外の画素がランドマーク１００内の画素として検出されている状態である。ここでは、まず検出ノイズ１２１０の画素数ｎが正であるかどうかを判定し、検出ノイズ１２１０の有無を調べる。検出ノイズ１２１０がない場合は、ステップＳ６６０に移る。もし検出ノイズがある場合は、ステップＳ６７０に移り、検出ノイズを減少させる処理を行う。
【００４６】
ステップＳ６６０では、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させる。
【００４７】
ステップＳ６７０においては、ステップＳ６２０と同様に、ランドマーク画素数閾値Ｎが現在の理想検出画素数ｉよりも小さいことを判定する。もし、Ｎがｉ＋３よりも小さい場合は、ステップＳ６８０に移り、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させる。また、Ｎがｉ＋３よりも大きい場合は、ステップＳ６７０に移り、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させると共に、ランドマーク画素数閾値Ｎを１増加させ、検出ノイズ画素数ｎを減少させる。これらの処理が終了した場合は、個々の検出パラメータを保存し、ランドマーク検出処理部に戻り、更新された検出パラメータによって新たな撮像画像からランドマーク検出を行う。
【００４８】
本発明は、図６で示した検出パラメータの最適化処理に制限するものではなく、ランドマークが的確に検出できるような最適化処理であれば適応可能である。
【００４９】
＜変形例１＞
本発明は、上述の実施形態にのみ適用されるものではない。上述の実施形態においては、検出パラメータの最適化処理は、１つの撮像画像に対して、撮像されているランドマークの数と同じ回数だけ行われるが、図１３が示す処理のように、検出パラメータをランドマークの数だけ最適化処理を行ったあと、さらに、同一の撮像画像を用いて同様の最適化処理を行うことで、前述した実施形態の最適化処理に比べて、より最適な状態に早く到達する。
【００５０】
この例の処理の流れを図１３を用いて説明する。
【００５１】
まず、ステップＳ５００において、ランドマークが配置されている現実空間を撮像する。次にステップＳ５１０において、配置されたランドマークを撮像画像中から抽出する。次にステップＳ５２０において、撮像部１１０の位置姿勢を６自由度センサによって計測する。次にステップＳ５３０では、６自由度センサによる計測値と撮像画像から検出されたランドマークの画像上での位置を用いて、撮像部１１０の位置姿勢を推定する。次にステップＳ５４０においては、ステップＳ５１０において使用した検出パラメータを、画像上にあるランドマーク領域９１０毎に、それぞれ最適化処理を行う。次にステップＳ１３００に移るが、同一の撮像画像に対して、１回の最適化処理を終了した時点では必ずステップＳ５１０に戻り、前回と同じ撮像画像に対して、最適化処理を施された検出パラメータでランドマーク検出を行う。さらに、前回と同様にＳ５２０、Ｓ５３０、Ｓ５４０を実行する。次に、ステップＳ１３００において、同一の撮像画像に対して、２回以上の最適化処理が終了していることを確認した場合はステップＳ１３１０に移る。ステップＳ１３１０において、最適化処理中で算出したｄ、ｅ、ｎの減少率Ｃを判定する。例えば、減少率Ｃが予め定めた閾値Ｃ_Ｔを越えた時点でステップＳ５５０に移ってもよいし、減少率の微分値が予め定めた閾値Ｄ_Ｔを下回った場合にステップＳ５５０へ移ってもよい。ステップＳ５５０において、終了命令が発せられなければ、ステップＳ５００に移り、撮像画像の更新を行う。終了命令が発せられれば一連の処理を終了する。
【００５２】
＜変形例２＞
上述の実施形態においては、Ｒ、Ｇ、Ｂの３色に対して、マーカの検出を行っている。しかし、本発明は、上述の実施形態にのみ適用されるものではない。例えば、輝度を特徴とするランドマークに対しても本発明を適応可能である。以下に、この輝度を特徴とするランドマークに対して、本発明を適応した例を挙げる。上述の実施形態における＜２．ランドマーク検出処理＞において、ＲＧＢの画素値から輝度Ｙを検出し、この輝度Ｙに対してマーカ検出を行い、この輝度Ｙに対する閾値を検出パラメータとして最適化を行う。
【００５３】
ここで、輝度Ｙの算出方法を以下に示す。
【００５４】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （式１０）
このＹから特徴量Ｉ_ｓを算出し、閾値Ｔ_ｃが特徴量Ｉ_ｓを越えた場合は、注目画素がマーカ領域内であると判定する。例えば、ランドマークが黒い物体の場合は、
Ｉ_ｓ＝Ｙ_ｍａｘ−Ｙ （式１１）
として、特徴量Ｉ_ｓを算出する。ここでＹ_ｍａｘは輝度Ｙの最大値とする。さらに、閾値Ｔ_ｃは輝度の特徴量に関する閾値である。
【００５５】
この処理により、輝度を特徴としたランドマークに対して、検出パラメータの最適化処理を行うことが可能である。
【００５６】
（他の実施形態）
前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００５７】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００５８】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００５９】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６０】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、特徴部を検出するための検出条件を、撮影画像から自動的に最適化することができ、撮像環境が変化した場合でも、特徴部の検出精度の低下を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図２】図１の撮像部位置姿勢推定装置の使用時の状態を説明する図である。
【図３】第１の実施形態における、位置姿勢補正部１６０の構成例を示すブロック図である。
【図４】第１の実施形態における、検出パラメータ調整部１９５の構成例を示すブロック図である。
【図５】第１の実施形態における、撮像部位置姿勢推定装置の処理を説明するフローチャートである。
【図６】図５における、検出パラメータの最適化の処理を説明するフローチャートである。
【図７】従来の方法における、撮像部位置姿勢の補正方法を説明する模式図である。
【図８】第１の実施形態における、ランドマークの形状を示す図である。
【図９】図２の状態において、ランドマーク１点を撮像した時の撮像画像に、ランドマークの各頂点８００とアウトライン９００を重畳した模式図である。
【図１０】第１の実施形態における、処理領域１０００を示す模式図である。
【図１１】第１の実施形態における、理想検出画素パターン生成の処理の過程を示す模式図である。
【図１２】第１の実施形態における、ランドマークの検出画素パターン例を示す模式図である。
【図１３】変形例を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図１４】第１の実施形態における、複数のランドマークを撮像したときの、処理領域を示す模式図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus that automatically adjusts a detection condition of a characteristic portion in a captured image from a captured image.
[0002]
[Prior art]
In a method of measuring and determining an external parameter (position and orientation) of an imaging unit that captures an image of real space, feature points (landmarks) having a known three-dimensional position and orientation are arranged in the real space and captured by the imaging unit. In addition, there is a method for obtaining the position and orientation of the imaging unit on the basis of image information of several landmarks on the imaging surface. For example, in a method for measuring and determining an external parameter (position and orientation) of an imaging unit (such as a video camera) that images a real space,
(1) Estimation method based only on image information
(For example, Kato, Mark, Asano, Tachibana: "Augmented reality system based on marker tracking and its calibration", Transactions of the Virtual Reality Society of Japan Vol.4 No.4, pp.607-616, 1999) ,
(2) Hybrid estimation method of 6-DOF position and orientation sensor and image
(For example, it describes in Unexamined-Japanese-Patent No. 11-136706, Unexamined-Japanese-Patent No. 2000-347128)
(3) Hybrid estimation method of image and acceleration sensor
(For example, Yokokoji, Sugawara, Yoshikawa: “Precise superposition of images and images on HMD using accelerometer”, Transactions of the Virtual Reality Society of Japan Vol.4 No.4, pp.589-598, 1999 )
(4) Estimation method such as hybrid positioning of gyro sensor and image
(For example, Fujii, Kanbara, Iwasa, Takemura, Yokoya: “Positioning with a stereo camera combined with a gyro sensor for augmented reality”, IEICE Technical Report PRMU99-192, January 2000)
Etc. are known. In addition, there are various methods with different methods for image alignment and a 6-DOF sensor / image hybrid method.
[0003]
[Problems to be solved by the invention]
However, the position / orientation estimation apparatus of the conventional imaging unit greatly depends on the detection accuracy of the landmark, and depending on the situation, the detection accuracy of the landmark is significantly reduced, and the position / orientation of the imaging unit in the real space In some cases, the magnitude of the deviation from the position and orientation of the imaging unit output by the position and orientation estimation apparatus becomes a problem. Factors that reduce the detection accuracy of the landmark include, for example, changes in illumination conditions, changes in the shutter speed, white balance, gain, and the like of the imaging unit, or automatic adjustment functions thereof. In the conventional position / orientation estimation apparatus, since the detection parameters in the landmark detection process are fixed, the inability to cope with the above-described change in the image is the main cause of the deterioration in landmark detection accuracy. .
[0004]
To deal with this decrease in detection accuracy, the conventional position and orientation estimation device devised so that the illumination conditions of the space to be imaged do not change as much as possible, and manually set optimal detection parameters for each time and place. There was a need to do.
[0005]
The present invention has been invented in view of such a problem, and by automatically adjusting the detection condition of the feature portion in the captured image, Even if the imaging environment changes, it is necessary to prevent a decrease in the detection accuracy of features. Objective.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the present invention has the following structure.
[0007]
The invention described in claim 1 is a position / orientation estimation apparatus for estimating the position and / or orientation of an image pickup means, wherein the image pickup means images a space in which a landmark having a known position and orientation exists. A detection unit that detects a region of the landmark using a detection parameter for detecting the landmark, and a position and / or orientation of the imaging unit when the landmark is imaged. Based on the comparison between the region generated by the region generating unit for generating the landmark region in the image captured by the imaging unit, the region generated by the region generating unit and the region detected by the detecting unit, And a parameter adjusting means for adjusting the detection parameter.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
<First Embodiment>
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, exemplary embodiments according to the invention will be described in detail with reference to the accompanying drawings.
In this embodiment, an example in which the present invention is applied to the conventional (2) hybrid estimation method of a 6-DOF position and orientation sensor and an image will be described.
[0010]
<Error of 6-DOF position and orientation sensor>
Here, the six-degree-of-freedom position and orientation sensor measures the position and orientation of a measurement target, such as a magnetic sensor such as Polhemus 3SPCACEFASTRAK and Association Technology Flockof Birds, or an optical sensor such as Northern Digital OPTOTRAK. Refers to the equipment to be used. Since the six-degree-of-freedom position / orientation sensor 140 is fixed to the imaging unit 110, the position / orientation of the imaging unit can be acquired from the measurement value of the six-degree-of-freedom sensor 140. However, there is an error in the sensor, and the position and orientation of the imaging unit 110 cannot be obtained with high accuracy depending on the situation. For example, since a measurement value of a 6-DOF position / orientation sensor using a magnetic sensor is affected by a surrounding magnetic field, if there is a metal material in the vicinity of the measurement unit, an error increases, and as a result, the position / orientation of the imaging unit 110 and The output deviation amount (error) by the 6-DOF sensor increases.
[0011]
<Solution in Japanese Patent Application Laid-Open No. 11-136706>
In view of such a situation, Japanese Patent Application Laid-Open No. 11-136706 describes a method of correcting a 6-degree-of-freedom sensor error using image information. FIG. 7 is a schematic diagram for explaining the above-described conventional method. In this method, an object called a marker in the real space, which has a specific color or shape that is easy to detect by image processing, such as a sticker, is attached to the object in the real space and used as a landmark (absolute position reference). In addition to the specially arranged landmarks 100, it is also possible to use characteristic objects and points in the real space. Point A indicates the position of the landmark 100 predicted based on the position and orientation of the imaging unit 110, point B indicates the actual position of the landmark 100, and point C indicates the viewpoint position of the imaging unit 110. Note that the positions indicated by points A and B are positions in the camera coordinate system, and point C is the origin of the camera coordinate system. Point P indicates the position of point A on the imaging surface, and point Q indicates the position of point B on the imaging surface.
[0012]
At this time, there is a deviation (error) between the landmark position A predicted by the position and orientation of the camera on the imaging surface and the actual position B as described above. A conversion matrix ΔM that superimposes this deviation on the predicted landmark position P on the imaging surface with the position Q of the landmark 100 imaged by the imaging unit on the imaging surface as a reference in the real space. _C Ask for. This transformation matrix ΔM _C Imaging transformation matrix M obtained from the six-degree-of-freedom sensor 140 _C To the viewing matrix M of the imaging unit that has been subjected to error correction. _C 'Is obtained. Where M _C The inverse matrix of ′ includes the position and orientation component of the imaging unit. Where M _C ´
[Outside 1]

Then the position t is (M _14, M _24, M ₃₄ ), And the rotation R is
[Outside 2]

Is obtained by the matrix. That is, in order to obtain the position and orientation of the imaging unit 110, the viewing transformation matrix M of the imaging unit is obtained. _C It suffices if 'is required.
[0013]
As described above, the position and orientation that is based on the output of the six-degree-of-freedom sensor 140 and is further aligned based on the absolute position reference in the real space is more actual than the position and orientation that is measured only by the six-degree-of-freedom sensor 140 The amount of deviation with respect to the position and orientation is stably reduced.
[0014]
However, since the position of the landmark 100 is used as an absolute position reference in a position / orientation correction unit to be described later, the position / orientation of the imaging unit cannot be estimated accurately unless this reference is accurate. From this, it is a problem to be solved how to detect the landmark 100 reflected in the captured image by the optimum detection parameter.
[0015]
<Example in which the present invention is applied to the technique of Japanese Patent Application Laid-Open No. 11-136706>
By applying the present invention to the technique disclosed in Japanese Patent Application Laid-Open No. 11-136706, the detection parameters are automatically optimized in accordance with the brightness and color change of the captured image obtained by the imaging unit. Detection performance can be improved. Here, the optimization is defined as “changing to an optimal state”. Therefore, a detection parameter that has been subjected to one optimization process is not necessarily in an optimal state for detecting a landmark in a captured image. An optimal state can be achieved by a plurality of optimization processes.
[0016]
FIG. 1 shows a configuration diagram of an imaging unit position / orientation estimation apparatus when the present invention is applied to a hybrid alignment method of a six-degree-of-freedom sensor and an image as described in JP-A-11-136706. . An imaging unit position / posture estimation processing procedure will be described with reference to FIG.
[0017]
FIG. 5 shows a flowchart showing the processing flow of the entire apparatus. First, the real space where the landmark is arranged is imaged by the imaging unit in step S500. In step S510, a landmark detection process described later is performed. Next, the process proceeds to step S520, and measurement is performed using a 6-degree-of-freedom sensor. In step S530, the position and orientation of the imaging unit are estimated using the measured value and the landmark position detected from the captured image. Next, in step S540, the detection parameters are optimized. When the optimization of the detection parameters is completed, the process proceeds to step S550, and if there is an end command, the process ends. If not, the process returns to step S500, and the process is performed again based on the updated captured image.
[0018]
Details of each process from step S510 to step S540 will be described below.
[0019]
<1. Landmark detection processing>
First, the landmark 100 arranged at a known position in the real space is imaged by the imaging unit 110 and stored in the captured image acquisition unit 120. The landmark 100 is detected from the captured image, and the two-dimensional position Q (x _q , Y _q )
[0020]
Here, the method for detecting the landmark 100 in the image obtained from the imaging unit 110 is not particularly limited, and examples thereof include the following. When the red landmark 100 as shown in FIG. 2 is arranged in the real space, the feature amount I of the target pixel value (R, G, B) in the captured image is displayed. _s The
I _s = R / ((G + B) / 2) (Formula 3)
It is calculated using the following formula. In the case of the green landmark 100,
I _s = G / ((R + B) / 2) (Formula 4)
And for blue landmarks,
I _s = B / ((R + G) / 2) (Formula 5)
Calculate with the following formula. In the present invention, the color of the landmark is not limited to the above-described three colors, and can be applied to the case where an arbitrary color is detected. For example, in the detection of an arbitrary color, pixel values R, G, and B are converted into YCbCr format pixels, landmarks corresponding to the Cb and Cr color regions are detected, and parameters related to the Cb and Cr specified regions are detected. Therefore, the present invention can be applied to a process for performing optimization. In this case, the parameter for designating the region indicates an elliptical region in the CbCr space, and is composed of θ and r representing the center position, and Ra and Rb representing each axis.
[0021]
In this landmark detection process, a threshold T that is a detection parameter adjusted by the detection parameter adjustment unit 195 is used. _c To input feature I _s Is T _c Is exceeded, it is determined that the target pixel is within the marker area. This is applied to all the pixels of the captured image, and the detected feature regions are individually labeled. Further, among the labeled regions, those in which the pixels constituting the label exceed the landmark pixel number threshold N are determined as landmark region candidates. When the noise at the time of detection is labeled, the landmark pixel number threshold N is set so that most of the noise pixels are not recognized as landmarks by using the minute number of pixels of noise. . By this process, it is possible to reduce the detection noise and prevent the detection noise from being erroneously recognized as a landmark in the process of the position / orientation correction unit 160 to some extent. The center of gravity of the landmark area is set as a two-dimensional position of the landmark 100, and the landmark position Q (x _q , Y _q ). Here, when a plurality of landmarks 100 are included in the captured image, the above-described processing is performed once for each landmark. Feature amount I at this time _s The landmark pixel number threshold N is also stored for each individual landmark. For example, if three landmarks are captured, T _c = (T _c1 , T _c2 , T _c3 ) N = (N ₁ , N ₂ , N ₃ The value for each landmark is stored as shown in FIG. Here, a detected image U in which a landmark is detected from the captured image. _d (For example, in this embodiment, the feature amount I of the corresponding pixel _s And a detection parameter (in this embodiment, a threshold value T). _c , Which is composed of the landmark pixel number threshold N) is stored in the state storage unit 190.
[0022]
<Measurement process by 2.6-degree-of-freedom sensor>
On the other hand, the position and orientation of the imaging unit 110 are detected by the six degree of freedom sensor 140. In the present embodiment, 3SPCACE FASTRAK (hereinafter referred to as FASTRAK) manufactured by Polhemus is used as the 6-DOF sensor. The receiver 140A of the FASTRAK sensor is fixed so as to follow the movement of the position and orientation of the imaging unit 110. For example, FIG. 2 is a diagram showing a state when the processing of the present embodiment is being executed. However, like the imaging unit 110 and the FASTRAK receiver 140A in FIG. The AC magnetic field in the vicinity of the FASTRAK receiver 140 is fixed by a method that does not affect as much as possible. The receiver 140A receives an alternating magnetic field generated from the transmitter 140B of the FASTRAK sensor. The position / orientation of the imaging unit 110 is measured from the change in the alternating magnetic field received by the receiver 140 </ b> A by the position / orientation measurement unit 150.
[0023]
<3. Imaging unit position and orientation estimation process>
The position / orientation measurement value of the imaging unit 110 obtained in this way and the two-dimensional position of the landmark 100 on the image captured by the imaging unit 110 are input to the position / orientation correction unit 160. FIG. 3 is a diagram illustrating processing of the position / orientation correction unit 160. First, the viewing transformation matrix M of the imaging unit is calculated from the measurement values input from the position / orientation measurement unit 150. _C Is generated (step S300). Furthermore, viewing transformation coordinates M _C And the observed coordinate prediction of each landmark from the three-dimensional position of each landmark in the world coordinate system stored in the landmark arrangement / shape storage unit 170 and the known ideal perspective transformation matrix of the imaging unit 110. Value P _i (X _pi , Y _pi ) Is calculated (step S310). Next, in step S320, based on the received landmark observation predicted coordinate value P, a currently observed landmark, that is, a landmark serving as a correction reference is determined. The discrimination method in the present embodiment is the predicted observation coordinate value P _j (X _pj , Y _pj ), The observed coordinate value Q of the landmark being observed _i (X _qi , Y _qi ) Is used. That is, among the combinations of the observation predicted coordinates P and the observation coordinates Q of each landmark, (x _qi -X _pj ) ² + (Y _qi -Y _pj ) ² The landmarks with the smallest are associated with each other. However, in the present invention, this determination method is not limited, and any method can be applied as long as it can correctly associate the landmark of the observation prediction coordinates obtained from the six-degree-of-freedom sensor with the landmark in the captured image. It is. If at least one point of association is successful in the landmark association process, in step S330, the observed observation coordinate value P (x of the landmark calculated in step S310 is displayed. _p , Y _p ) And the observed coordinate value Q (x of the landmark detected by the landmark detection unit 130 _q , Y _q The viewing transformation matrix M representing the position and orientation of the imaging unit 110 obtained by the position and orientation measurement unit 150 based on the difference between _C ΔM to correct _C Ask for. Further, in step S340, ΔM obtained in step S330. _C And the camera viewing transformation matrix M from the measured values obtained in step S300. _C The viewing conversion matrix M of the imaging unit viewpoint after correction _C 'Can be obtained.
[0024]
M _C '= ΔM _C ・ M _C (Formula 6)
In step S320, if the landmark cannot be associated, for example, ΔM _C Is obtained from the FASTRAK sensor output by setting to the unit matrix _C Viewing transformation matrix M for finally outputting _C It may be '.
[0025]
<4. Landmark area generation processing>
Through the position / orientation correction unit 160, the arrangement information and shape information of each landmark are input from the landmark arrangement / shape storage unit 170 to the landmark area generation unit 180.
[0026]
First, as the shape information, for example, when a circular red landmark 100 (FIG. 8A) as shown in FIG. 2 is used, a 3D model is created in advance as shown in FIG. It is constructed and expresses the shape of a landmark in a pseudo manner. The present invention is not limited to circular landmarks, and can be applied to any object having a specific color or shape that can be easily detected by image processing. In addition to the specially arranged landmarks 100, it is also possible to use characteristic objects and points in the real space. Furthermore, the present invention can be applied even if a plurality of landmarks have different shapes. Here, the coordinate value of the vertex 800 in the model coordinate system in the three-dimensional space (x _m , Y _m , Z _m ). Here, this vertex information has connection information of each vertex. In the present invention, the three-dimensional model is not limited to having combined information, and any method that can reconstruct appropriate landmark area information in a landmark area generation unit 180 described later can be applied.
[0027]
Furthermore, the arrangement information stores a matrix L representing the position and orientation of the vertex 810 representing the center of gravity of the landmark arranged in the real space in the world coordinate system. The position and orientation information L at the vertex 800 and the center of gravity position 810 of the landmark is stored in the landmark arrangement / shape storage unit 170, respectively. In the landmark area generation unit 180, the landmark shape information 800 is converted into the arrangement information L and the viewing conversion matrix M of the imaging unit viewpoint corrected. _C By converting with ′, the position of each vertex 800 on the viewpoint coordinate system (x _m ', Y _m ', Z _m ') Get.
[0028]
[Outside 3]

[0029]
Further, the two-dimensional position V (x on the imaging surface is projected by the projection matrix C from the known viewpoint coordinate system to the observation coordinate system. _v , Y _v )
[0030]
[Outside 4]

[0031]
[Outside 5]

[0032]
Next, from the two-dimensional position V of each vertex 800, a two-dimensional straight line expression is calculated for each side of the landmark shape based on vertex connection information included in the landmark shape information, and an outline 900 is generated. The outline 900 is constituted by a linear group connecting the vertices in the observation coordinates. The landmark area 910 includes the outline 900 and a point G in the landmark area. For example, if the point G in the region is a circular landmark 100, the center of gravity position 810 of the landmark may be set as a point in the region. The generated landmark area 910 is stored in the state storage unit 190. FIG. 9 shows an image in which the outline 900 and the vertices 800 are superimposed and displayed on the captured image when one of the landmarks 100 is captured in the position and orientation of the imaging unit in FIG. Since the position and shape of the outline 900 in this figure are determined based on the position and orientation of the imaging unit 110 estimated by the position and orientation correction unit 160, the position and orientation correction unit 160 can cope with landmarks. If it is in the state, it is displayed at the position of the landmark 100 in the captured image.
[0033]
<5. Detection parameter adjustment processing>
FIG. 4 is a diagram illustrating a detailed procedure of processing of the detection parameter adjustment unit 195. The detection parameter adjustment unit 195 receives the landmark area 910, the detection image U from the state storage unit 190. _d , Threshold T which is a detection parameter _c The landmark pixel number threshold value N is received.
[0034]
First, in step S410, a processing area 1000 that completely includes the landmark area 910 is generated. The processing area 1000 may be, for example, a rectangular area including all landmark areas with the point 810 in the landmark area as the center of gravity. FIG. 10 shows this processing area. This processing area 1000 is generated for each landmark that is being imaged. For example, as shown in FIG. 14, the processing area 1000 when three landmarks are imaged is generated around each landmark. The present invention does not limit the method of generating the processing region 1000, and can be applied as long as the shape of the detection pixel on the detection image can be compared with the landmark region 910.
[0035]
Next, in step S420, the detected image U _d An ideal detection pixel pattern 1110 for comparing the landmark detection image and the landmark area is created. First, an image buffer area 1100 that has the same pixels as the processing area and is initialized with all pixels being 0 is created. Next, the pixels included in the landmark area are marked in the buffer area 1100. This marking may be, for example, a method of setting all pixel values 1 in the region. This state is represented by A and B in FIG. If the landmark area 910 as shown in FIG. 11A is on the buffer area 1100, the marking process marks the pixels in the landmark area as shown in FIG. 11B. Here, in the figure of FIG. 11B, it represents that the black pixel is marked. In this embodiment, even if a region is included on a pixel, marking is not performed unless the region occupies half or more of the pixel area. However, the present invention is not limited to this marking process, and can be applied as long as an appropriate detection parameter can be set in comparison with the detection pixel pattern. Here, the marked area is referred to as an ideal detection pixel pattern 1110.
[0036]
In step S430, a landmark detection pixel pattern 1200, which will be described later, is compared with an ideal detection pixel pattern 1110.
[0037]
First, the detected image U _d A landmark detection pixel pattern 1200 included in the processing area is generated. Here, a buffer area 1220 having the same image size as that of the image buffer area 1100 and initialized with a pixel value of 0 is prepared separately. The pixel value of this buffer area 1220 has a corresponding detected image U _d Feature value I which is the pixel value of _s Is the detection parameter threshold T _d If greater than 1, 1 is input. The generated pattern is set as a detection pixel pattern 1200. FIG. 12 shows the detected image U when the same landmark is being watched at a certain point in time. _d Represents an example of a detected pixel pattern of a landmark included in the. Further, FIGS. 12A and 12B show a state where the landmark detection pixel pattern 1200 is different from the ideal detection pixel pattern 1110 because the detection parameters are not optimal. Regarding FIG. 12A, the pixel feature I on the landmark area I _s For threshold T _c Represents a state in which pixels that are supposed to be in the landmark area cannot be detected. Conversely, in FIG. 12B, the threshold T _c Is the pixel feature I on the landmark area _s Therefore, the pixel outside the landmark area is detected as a landmark. Here, detection pixels that are not included in the ideal detection pixel pattern 1110 in FIG. 12B and that are other than the detection pixel pattern 1200 are referred to as detection noise 1210. This detection noise 1210 is an area that is determined to be a landmark area candidate because the number of label pixels is larger than the landmark pixel number threshold N in the landmark detection process. The comparison method in step S430 uses the number of detection pixels of the ideal detection pixel pattern 1110 and the detection pixel pattern 1200. First, the number of pixels g of the detection pixel pattern 1200 included in the ideal detection pixel pattern is recognized, and a difference d from the number of pixels i included in the ideal detection pixel pattern is calculated.
[0038]
d = gi (Formula 10)
Furthermore, the total number of pixels (excess pixels) of the detection pixel pattern 1200 not included in the ideal detection pixel pattern 1110 in the processing region 1000 is e, and the total number of pixels of the detection noise 1210 is n.
[0039]
In the example of FIG. 12, d = 12, e = 0, n = 0 in FIG. 12A, and d = 0, e = 10, n = 7 in FIG. 12B.
[0040]
Next, in step S440, the detection parameters are optimized. Details of this processing will be described with reference to the flowchart of FIG. First, in step S600, it is checked whether d and e are zero. If both are 0, the ideal detection pixel pattern and the detection pixel pattern match, so it is determined that the detection parameter is in an optimal state, and this process ends and returns to the landmark detection process. In the landmark detection process, a new detected landmark is detected based on the current detection parameters. If either d or e is positive, the process moves to step S610.
[0041]
In step S610, if d, which is the difference in the number of pixels between the ideal detection pixel pattern 1110 and the detection pixel pattern 1200, is positive, the process proceeds to step S620. If d is 0, the process moves to step S650.
[0042]
In step 620, it is determined that the current landmark pixel number threshold N is smaller than the current ideal detected pixel number i. This determination is a process in which the value of N is necessarily made smaller than the ideal detection pixel number i so that pixels originally on the landmark are not removed by the landmark pixel number threshold N. In this embodiment, a threshold for three pixels is always provided between N and i, and N is always set to be smaller than i by three pixels. If N is smaller than i + 3, the process proceeds to step 630. If N is larger than i + 3, the process proceeds to step S640.
[0043]
In step 630, since d is positive, there is an undetected pixel in the landmark area in the ideal detection pixel pattern. Therefore, the detection threshold T is set so that the undetected pixel can be detected. _c Is reduced by one.
[0044]
In step S640, since the landmark pixel number threshold value N is larger than i + 3, i-4 is substituted for N, and the landmark is set to be detected accurately. Further, a detection threshold T is set so that pixels on the ideal detection pixel pattern that have not been detected at the same time can be detected. _c Is reduced by one.
[0045]
Since d is 0 in step S650, all the detection pixel patterns in the ideal detection pixel pattern are detected. However, since e is positive, pixels outside the ideal detection pixel pixel 1110 are in the landmark 100. It is in a state where it is detected as a pixel. Here, it is first determined whether or not the number n of pixels of the detection noise 1210 is positive, and the presence or absence of the detection noise 1210 is examined. If there is no detected noise 1210, the process proceeds to step S660. If there is detected noise, the process moves to step S670, and processing for reducing the detected noise is performed.
[0046]
In step S660, a detection threshold T is set so that no protruding pixel is detected. _c Increase by one.
[0047]
In step S670, as in step S620, it is determined that the landmark pixel number threshold N is smaller than the current ideal detected pixel number i. If N is smaller than i + 3, the process proceeds to step S680 and the detection threshold T is set so that no protruding pixel is detected. _c Increase by one. If N is larger than i + 3, the process proceeds to step S670, and the detection threshold T is set so that no protruding pixel is detected. _c , The landmark pixel number threshold N is increased by 1, and the detected noise pixel number n is decreased. When these processes are completed, the individual detection parameters are stored, the process returns to the landmark detection processing unit, and landmark detection is performed from a new captured image using the updated detection parameters.
[0048]
The present invention is not limited to the detection parameter optimization process shown in FIG. 6, and can be applied to any optimization process that can accurately detect a landmark.
[0049]
<Modification 1>
The present invention is not applied only to the above-described embodiment. In the above-described embodiment, the detection parameter optimization process is performed on a single captured image as many times as the number of landmarks being captured. However, as in the process illustrated in FIG. After performing the optimization process for the number of landmarks, the same optimization process is further performed using the same captured image, thereby achieving a more optimal state than the optimization process of the above-described embodiment. Reach early.
[0050]
The processing flow of this example will be described with reference to FIG.
[0051]
First, in step S500, the real space where the landmark is arranged is imaged. Next, in step S510, the arranged landmarks are extracted from the captured image. Next, in step S520, the position and orientation of the imaging unit 110 are measured by a six-degree-of-freedom sensor. Next, in step S530, the position and orientation of the imaging unit 110 are estimated using the measurement value obtained by the six-degree-of-freedom sensor and the position of the landmark detected from the captured image. In step S540, the detection parameters used in step S510 are optimized for each landmark area 910 on the image. Next, the process proceeds to step S1300. When one optimization process is completed for the same captured image, the process always returns to step S510, and the same captured image as the previous detection is detected. Detect landmarks with parameters. Further, S520, S530, and S540 are executed as in the previous time. Next, in step S1300, when it is confirmed that two or more optimization processes have been completed for the same captured image, the process proceeds to step S1310. In step S1310, the reduction rate C of d, e, n calculated during the optimization process is determined. For example, the reduction rate C is a predetermined threshold C _T May be shifted to step S550 when the value exceeds the threshold value, or the differential value of the decrease rate is a predetermined threshold value D. _T If the value is less than, step S550 may be performed. If an end command is not issued in step S550, the process proceeds to step S500, and the captured image is updated. If an end command is issued, a series of processing ends.
[0052]
<Modification 2>
In the above-described embodiment, marker detection is performed for the three colors R, G, and B. However, the present invention is not applied only to the above-described embodiment. For example, the present invention can be applied to landmarks characterized by luminance. The following is an example in which the present invention is applied to a landmark characterized by this luminance. In the above-described embodiment, <2. In the landmark detection process>, luminance Y is detected from RGB pixel values, marker detection is performed on the luminance Y, and optimization is performed using the threshold for the luminance Y as a detection parameter.
[0053]
Here, the calculation method of the brightness | luminance Y is shown below.
[0054]
Y = 0.299 × R + 0.587 × G + 0.114 × B (Formula 10)
From this Y, feature quantity I _s And the threshold T _c Is feature I _s Is exceeded, it is determined that the target pixel is within the marker area. For example, if the landmark is a black object,
I _s = Y _max -Y (Formula 11)
As feature I _s Is calculated. Where Y _max Is the maximum value of luminance Y. Furthermore, the threshold T _c Is a threshold relating to the feature quantity of luminance.
[0055]
By this processing, it is possible to perform the detection parameter optimization processing on the landmarks characterized by luminance.
[0056]
(Other embodiments)
Software program code for realizing the functions of the above-described embodiment in an apparatus or a computer in the system connected to the various devices so as to operate the various devices so as to realize the functions of the above-described embodiments. Is implemented by operating the various devices according to a program stored in a computer (CPU or MPU) of the system or apparatus.
[0057]
In this case, the program code of the software itself realizes the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, for example, the program code is stored. The storage medium constitutes the present invention.
[0058]
As a storage medium for storing the program code, for example, a floppy (R) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0059]
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) in which the program code is running on the computer, or other application software, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
[0060]
Further, the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, and then the CPU provided in the function expansion board or function storage unit based on the instruction of the program code However, it is needless to say that the present invention also includes a case where the function of the above-described embodiment is realized by performing part or all of the actual processing.
[0061]
【The invention's effect】
As described above, according to the present invention, the detection condition for detecting the characteristic portion can be automatically optimized from the captured image, Prevent deterioration in detection accuracy of features even when the imaging environment changes Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an imaging unit position and orientation estimation apparatus to which a first embodiment of the present invention is applied.
FIG. 2 is a diagram illustrating a state when the imaging unit position / orientation estimation apparatus in FIG. 1 is used;
FIG. 3 is a block diagram illustrating a configuration example of a position / orientation correction unit 160 according to the first embodiment.
FIG. 4 is a block diagram illustrating a configuration example of a detection parameter adjustment unit 195 in the first embodiment.
FIG. 5 is a flowchart illustrating processing of the imaging unit position / orientation estimation apparatus according to the first embodiment.
FIG. 6 is a flowchart illustrating detection parameter optimization processing in FIG. 5;
FIG. 7 is a schematic diagram illustrating a method for correcting an imaging unit position and orientation in a conventional method.
FIG. 8 is a diagram illustrating a shape of a landmark in the first embodiment.
9 is a schematic diagram in which each vertex 800 and outline 900 of a landmark are superimposed on a captured image when one landmark is captured in the state of FIG.
FIG. 10 is a schematic diagram showing a processing region 1000 in the first embodiment.
FIG. 11 is a schematic diagram illustrating a process of ideal detection pixel pattern generation in the first embodiment.
FIG. 12 is a schematic diagram illustrating an example of a detected pixel pattern of a landmark in the first embodiment.
FIG. 13 is a block diagram illustrating a configuration example of an imaging unit position and orientation estimation apparatus to which a modification is applied.
FIG. 14 is a schematic diagram showing a processing area when a plurality of landmarks are imaged in the first embodiment.

Claims (11)

A position and orientation estimation apparatus for estimating the position and / or orientation of an imaging means,
Detection means for detecting the area of the landmark from the image obtained by imaging the space in which the landmark having a known position and orientation exists with the imaging means, using a detection parameter for detecting the landmark. When,
An area generating means for generating an area of the landmark in an image captured by the imaging means based on the position and / or orientation of the imaging means when the landmark is imaged;
A position and orientation estimation apparatus comprising: a parameter adjustment unit that adjusts the detection parameter based on a comparison between the region generated by the region generation unit and the region detected by the detection unit.   The area generation means projects the landmark three-dimensional model onto the image pickup surface of the image pickup apparatus at the position and / or posture of the image pickup means when the landmark is picked up. The position / orientation estimation apparatus according to claim 1, wherein: The region generation means determines the position and / or orientation of the imaging means from the measurement result of the position and / or orientation of the imaging means measured by a magnetic sensor or an optical sensor and the area detected by the detection means. Estimate
The position / orientation estimation apparatus according to claim 1, wherein the landmark area in an image captured by the imaging apparatus is generated based on the estimated position and / or attitude. The parameter adjustment unit generates an ideal detection pixel pattern from the region generated by the region generation unit,
It generates a region into a detection pixel pattern detected by the detecting means,
Based on the degree of coincidence between the detection pixel pattern and the ideal detection pixel pattern, position and orientation estimation apparatus according to claim 1, characterized in that adjusting the detection parameters. The parameter adjusting unit, as the area detected by the detecting means and generating area by said area generating means coincide, the position and orientation of claim 1, characterized in that adjusting the detection parameters Estimating device. The position and orientation estimation apparatus according to claim 1, wherein the detection parameter includes a threshold value of a pixel value and a threshold value of the number of pixels for detecting the landmark . The detection means detects the area of the landmark from an image obtained by imaging the space where the landmark exists by the imaging means, using the detection parameter adjusted by the parameter adjustment means. 6. The position and orientation estimation apparatus according to claim 1, wherein The position and orientation estimation apparatus according to claim 1, wherein the detection unit detects a plurality of the landmarks using a plurality of the detection parameters. A position and orientation estimation method for estimating the position and / or orientation of an imaging means,
The detection means detects the area of the landmark using a detection parameter for detecting the landmark from an image obtained by imaging the space where the landmark having a known position and orientation exists with the imaging means. A detection process to detect;
Area generating means, based on said position and / or orientation of the imaging means, the area generation step of generating a region of landmarks in the images captured by the image pickup device at the time of imaging the landmark,
Parameter adjustment means, based on a comparison of the detected region by said detecting means and generating area by the area generation unit, the position and orientation estimation method, characterized in that it comprises a parameter adjustment step of adjusting the detection parameters . Computer
Detection means for detecting the area of the landmark from the image obtained by imaging the space in which the landmark having a known position and orientation exists with the imaging means, using a detection parameter for detecting the landmark. When,
Based on the position and / or orientation of the imaging unit when imaging the landmark, and area generation unit for generating a region of the landmark in the images that are imaged by the imaging device,
Program for functioning as a parameter adjustment means based on said comparison of the detected region by said detecting means and generating area by area generation unit, for adjusting the detection parameters. Computer
Detection means for detecting a region of the landmark using a detection parameter from an image obtained by imaging a space where a landmark having a known position and orientation is present by the imaging means;
Based on the position and / or orientation of the imaging unit when imaging the landmark, and area generation unit for generating a region of the landmark in the images that are imaged by the imaging device,
Based on said comparison of the generated region by region generating means and said detected by the detecting unit area, the detection parameter computer-readable recording medium which stores a program to function as a parameter adjusting means for adjusting the.

Images