JP6240320B2 - ４つのｌｅｄのパターンによるポーズの決定 - Google Patents

Description

本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との１対１のマッピングを探し出す方法をカバーする。

ある環境において三次元のオブジェクトを追跡し、所定の座標系に対する位置と方向（ポーズ）を計算する方法及びモデルがあることが知られている。これらの種類のトラッカーシステムは、例えば、航空機において、パイロットの頭の方向を判定するのに使用されている。例えば表示装置の座標系に関して、方向が取得されると、それに応じて、表示装置上でグラフィックスを生成することが可能になる。磁気的な、機械的な、又は光学的な手段を使用して、その場のオブジェクトを追跡する別の方法がある。現在、オブジェクトの空間関係は、磁気センサ又はレーザビームを使用して判定されているけれども、本発明は、特に、カメラベース（日中のテレビカメラ、熱、赤外線（ＩＲ）、ＴＯＦ（Time-of-Flight）など）の追跡機を使用したシステムに関する。

光学的カメラベースのシステムの一つにおいて、パイロットは模様（基準マーカー）が付いたヘルメットを着用し、少なくとも１つのトラッカーカメラがこれらの模様に基づいた幾何学的計算を使用して、ヘルメットの位置と方向を判定する。カメラベースのトラッカーシステムにおいて使用される模様は、可視光カメラによって追跡されるグラフィカルな（一般的に、黒と白の）模様（パッシブ・マーカー）、又は光源アレイ（例えば、発光ダイオード、すなわちＬＥＤ）（アクティブ・マーカー）である。これらの光源は、電磁スペクトルの赤外領域内になるように、カメラセンサとフィルタのセットの適当な選択により、選ばれる。他の配置も可能であるけれども、これらのシステムは不適当な照明条件下であっても動作できるため、赤外線ＬＥＤを使用したものが、それらの配置の中で最も便利である。それ故、追跡模様を持つオブジェクトとカメラとの空間関係の計算が、最先端において周知である。文書全体にわたって空間関係について述べているときはいつでも、エンティティの所定の基準系と他のものとの関係を意味していることが、理解されるべきである。目的は、カメラと３Ｄオブジェクトの回転と移動を探し出して、オブジェクトの３Ｄの位置と方向が分かるようにすることである。この基準系は、一般的に、検討中のオブジェクトの各模様に基づいている。トラッカーシステムにおいて、他の座標系に関するトラッカーカメラの位置と方向が知られている（又は計算可能、又は測定可能である）ため、トラッカーカメラのセンサとそれから他の座標系とを使用して、ヘルメットの空間関係を計算することもできる。この文脈において「追跡されるオブジェクト」は、追跡模様（基準マーカー）を持ち、トラッカーシステムによって追跡されるオブジェクトを意味する。それは、ヘルメットを搭載したトラッカーシステムのヘルメットであっても良いし、又は任意の他のオブジェクトであっても良い。

上記光学的カメラベースのトラッキングシステムについてのポーズ推定問題は、以下のように示される：オブジェクトの三次元（３Ｄ）の点とそのオブジェクトの画像平面への二次元（２Ｄ）の投影との間の、一連のＮ個の特徴の対応を与えられて、カメラの基準系に対するオブジェクトの回転と移動を探し出す。目的は、カメラと３Ｄオブジェクトの間の回転と移動を探し出して、オブジェクトの３Ｄの位置と方向を分かるようにすることである。ポーズ推定問題の正式な定義は、正しい解が二重であること、すなわち対応問題であることを必要とする。対応問題は、以下のように示される：カメラの基準系に対するオブジェクトの回転と移動が与えられて（又は与えられず）、オブジェクトの３Ｄの点とそのオブジェクトの画像平面への２Ｄの投影との間のＮ個の特徴の対応を探し出す。目的は、オブジェクトの３Ｄの点と、そのオブジェクトの画像平面への２Ｄの投影との間の対応を探し出し、これが使用されて、オブジェクトの３Ｄの位置と方向を探し出すことである。この問題は、最先端において周知である。しかし、我々は、解が正しく解決可能な二重のものであることを必要とする２つの問題を持つ。それ故、トラッカーシステムは、ポーズ推定問題と対応問題のいずれかに対する最初の解を必要とする。

カメラの基準系に対するオブジェクトの回転と移動が与えられない場合、対応問題は最初の対応問題と呼ばれる。最初の対応問題を解決することを選ぶ場合、対応問題を解決するための完了時間をできる限り短くする。追跡されるオブジェクトは、カメラの視錐台から離れ、その後そこに戻る可能性があるため、このような取り組みは必要である。このようなケースでは、追跡プロセスの再スタートが必要であり、それ故、最初の対応問題の速い解決は、起動時間を短くする。好ましい応用の一つにおいて、特にパイロットの頭が何回も視錐台から離れる場合、ヘルメットを追跡するために、速い起動は見えない時間を著しく断ち切る。

追跡されるオブジェクトの３Ｄの点と、そのオブジェクトの画像平面への２Ｄの投影との間の、最初の対応を決定する、現在使用されている方法がいくつかある。その方法の一つにおいて、多数の連続画像が使用されて、そこでは点灯されるＬＥＤの数が反復毎に１つ増加する。それから、ポーズの変更は連続して撮像されたフレーム間で多くないと仮定して、３Ｄから２Ｄへのマッチングが近似計算により計算される。新たに点灯されるＬＥＤは、合致リストに追加されている、いずれの２Ｄ点にも合致しなかったものである。追跡されるオブジェクトのポーズが小さな誤差だけで知られている場合には、対応問題の解決はより簡単である。それから、類似の近似計算が実行されて、３Ｄから２Ｄへのマッチングが探し出される。

現在の方法を用いた最初の対応問題の解決は、多くのフレームキャプチャを必要とするため、長い時間を要するが、最初は追跡されるオブジェクトの回転／移動のデータを利用できないため、追跡されるオブジェクトのポーズを使用する方法を利用できない。現在の方法は、最初の対応問題を解決する効果的な方法を提供していない。この問題の解決を提供するために、非常に効率的な方法で問題を解決する新しい手法が導入されるべきである。さらに、提案された方法は、対応問題を（最初のケースだけでなく）解決し、対応問題の全体的な解決を提供するのに使用されうる。

米国特許第００５８２８７７０号の文献（Ｌｅｉｓ，Ｒｉｓｔａｕ）、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
２００５年のＢｏｓｃｈｅｔｔｉ他は、自由な外科的遠隔操作の任務の５レベルの実行中に、オペレータを導く問題に取り組んでいる。この研究は、触覚マスタ、スレーブロボット、光学追跡装置、及び主制御装置で構成される脊椎手術遠隔ロボットシステムの実現可能性に重点を置いている。このシステムを使用して、外科医は、遠隔ロボット装置を使用して、触覚フィードバックにより導かれながら、穴を開ける作業を実行する。脊椎骨が動くとすぐに、追跡装置は脊椎骨のポーズを測定する。適当な力がオペレータの手に与えられて、手術道具の位置と方向をオペレータに調整させる。さらに、触覚マスタは、遠隔操作に関連した力のフィードバックを生成する。この文書は、この触覚システムの設計と実施、特に制御システム構造に関し、重点を置いている。
２０００年のＤａｒｉｏ他は、従来の関節鏡検査のための高性能の道具と、コンピュータを使用した関節鏡検査のためのシステムの主要構成要素の両方である、関節鏡検査のためのメカトロニクスの道具を記載している。メカトロニクスの関節鏡は、ケーブルで作動され、サーボモータで駆動される、多関節の機械的構造を持ち、先端の方向を測定するための位置センサと、膝の繊細な組織との可能性のある接触を検出するための力センサとを備えていて、センサの信号の処理と、モータの駆動と、外科医とインターフェースをとるための埋め込み式のマイクロコントローラ、及び／又はシステム制御部を組み込んでいる。コンピュータを使用した関節鏡検査システムは、術前のＣＴ又はＭＲ画像の分割と３Ｄの復元のための画像処理モジュールと、膝関節の位置を測定して、操作している道具の軌道を追跡し、術前と術中の画像をマッチングするための登録モジュールと、拡張現実のシナリオと、メカトロニクスの関節鏡からのデータを友好的及び直感的な方法で表示するヒューマン・マシン・インターフェースと、を含む。術前と術中の画像と、メカトロニクス関節鏡により提供される情報とを統合することにより、システムは、計画段階での膝関節の仮想ナビゲーションと、介入中の拡張現実によるコンピュータガイダンスとを可能にする。この文書は、メカトロニクス関節鏡の特性と、コンピュータを使用した関節鏡検査のためのシステムの特性とを詳細に記載していて、道具とシステムの暫定版を使用して得られた実験結果を論じている。
２０００年のＨｏｆｆ／Ｖｉｎｃｅｎｔは、ヘッドマウントディスプレイを備えた拡張現実システムにおいて、オブジェクトに対する頭の相対的な位置と方向（ポーズ）の精度を分析するための方法が開発されたことを開示している。光学追跡センサのエラーの確率的推定から、共分散行列の形式で、オブジェクトに対する頭のポーズの不確実性が計算されうる。位置の不確実性は、３Ｄ楕円体として可視化されうる。不確実性の明確な表現を持つ一つの有用な利点は、全体的な登録の制度を改善するために、固定のセンサとヘッドマウントセンサの組み合わせにより、センサデータを結合できることである。方法は、光学透過ヘッドマウントディスプレイと、ヘッドマウントＣＣＤカメラと、固定の光学追跡センサとを組み込む実験的な拡張現実システムの分析に適用された。ヘッドマウントディスプレイに対して移動可能なオブジェクトのポーズの不確実性が分析された。

米国特許第００５８２８７７０号明細書

本発明の目的は、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との１対１のマッピングを探し出すことである。

本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
提案した方法を使用して、ポーズを決定するために使用されるＬＥＤの全てを識別することができる。また、提案した方法は、ＬＥＤの３Ｄの位置とそれらのそれぞれの２Ｄの投影との対応問題を解決するために使用されるＬＥＤ群の選択の仕方に関する一連のステップを含む。

オブジェクトの可能性のある基準位置のメッシュのグラフを示す。 ４つからなるＬＥＤ群のサンプル配置を示す。 ポーズ不明瞭性の問題の例を示す。（ａ−１）（ａ−２）は、オブジェクトの仰角０度でのＬＥＤ群の投影の例を示す。（ｂ−１）（ｂ−２）は、オブジェクトの仰角−４５度でのＬＥＤ群の投影の例を示す。（ｃ−１）（ｃ−２）は、オブジェクトの仰角＋４５度でのＬＥＤ群の投影の例を示す。 対応問題を解決するための方法のフローチャートである。 対応問題を解決するために使用されるＬＥＤ群を選択する方法のフローチャートである。

対応問題を解決する方法（１００）は、本質的に、
現在のＬＥＤ群を点灯するステップ（１０１）と、
現在のＬＥＤ群のうちの４つのＬＥＤの全てがカメラで見えるかどうかを判断するステップ（１０２）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見える場合、中央ＬＥＤを識別するステップ（１０３）と、
中央ＬＥＤが不明瞭かどうかを判断するステップ（１０４）と、
中央ＬＥＤが不明瞭でない場合、側部ＬＥＤを識別するステップ（１０５）と、
上部ＬＥＤと下部ＬＥＤを識別するステップ（１０６）と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ（１０７）と、
計算されたポーズが不明瞭かどうかを判断するステップ（１０８）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見えない、又は中央ＬＥＤが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいＬＥＤ群に切り替えるステップ（１０９）と、
を含む。

ステップ１０１において、現在のＬＥＤ群のＬＥＤを点灯し、２Ｄ空間へのＬＥＤの投影が見えるようにする。好ましくは、各群は、追跡されるオブジェクト上の、特定のパターンの、選択された４つのＬＥＤで構成される。点灯される４つのＬＥＤの選択は、２つの主な要因から生じる。第１に、対応を探し出すために、いくつかの幾何学的ルールを定義する必要があり、より簡単なルールが定義されて、より少ないＬＥＤを使用して実行されうる。第２に、オブジェクトのポーズを計算するのに必要な対応の理論的な最小数は４である。それ故、ステップ１０１において、できるだけ少ないＬＥＤが点灯され、点灯されたＬＥＤが追跡されるオブジェクトのポーズの計算を可能にする。

点灯されたＬＥＤの２Ｄ空間の投影は領域の影響を及ぼし、いくつかの画素は高輝度の値を持ち、それ故、画像処理のいくつかの形態が適用される必要がある。これは、簡単な閾値化、接続要素の計算、近接要素の重心の計算などの形態であっても良い。これらのプロセスは最先端で周知であり、ここでは説明しない。この前処理の最後に、４組の（ｘ，ｙ）の値を持つことになる。各値は目に見えるＬＥＤの一つに対応する。

ステップ１０２において、点灯されたＬＥＤの全てがカメラの視点から見えるかどうかを判断する。追跡されるオブジェクトが、カメラから見えるＬＥＤを遮断するポーズで配置されているか、又は追跡されるオブジェクト上のいくつかのＬＥＤがカメラの視錐台の範囲外にある可能性がある。このようなケースでは、定義された幾何学的ルールは、適用できない。さらに、たとえ対応の計算が成功しても、理論的限界の４に対し、分かっている対応の数がより少ないため、ポーズ推定を実行できない。このようなケースでは、新しいＬＥＤセットに切り替えて再試行する。

ＬＥＤ群のＬＥＤは、特別なパターンで配置される。サンプルのパターンが図２に見られ、ここでは、３つのＬＥＤが一直線に配置され、４つめのＬＥＤが側部の位置に配置されている。最終的な配置は、「Ｔ」によく似ている。この特別な配置を使用して、特別な幾何学的ルールを生成して、中央、側部、上部、及び下部のＬＥＤを識別する。

ステップ１０３において、中央ＬＥＤに関する対応を探し出す。中央ＬＥＤが他の点灯されたＬＥＤまでの最小の総距離を持つと仮定して、中央ＬＥＤを識別する幾何学的ルールが生成される。中央ＬＥＤの３Ｄの位置は、おおよそ他のＬＥＤの真ん中にあり、ＬＥＤの２Ｄの投影のために、そうであると仮定することは安全であるため、これは合理的な仮定である。２つのＬＥＤ間の距離は、２Ｄ空間上でユークリッド距離として計算される。それから、他のＬＥＤまでの最小の総距離を持つものとして、中央ＬＥＤの投影を識別する。

しかし、中央ＬＥＤを常に間違いなく識別することは難しい。２つのＬＥＤが、互いに非常に近接している他のＬＥＤまでの最小の総距離を持つ場合、中央ＬＥＤの決定の信頼性は低いと言える。カメラがＬＥＤに対して横向きの位置に配置されている場合に、このようなケースは起こり、中央ＬＥＤを側部ＬＥＤと間違える可能性がある、又は中央ＬＥＤを上部ＬＥＤ／下部ＬＥＤと間違える可能性がある。理論的に、３Ｄから２Ｄへの投影が完璧で、ＬＥＤが同一平面上にある場合、このような信頼性の計量を必要としない。しかし、光学的ひずみと、あるエラーを引き起こす画像処理技術と、同一平面状にない形状で配置されたＬＥＤは、このような計量を必要とする。このようなケースが、不明瞭な識別と名付けられる。ステップ１０４において、中央ＬＥＤの識別が不明瞭かどうかを判断する。このような判断は、簡単な相対的閾値化を使用して実現されうる（２番目に最小の総距離が、最小の総距離の所定の割合の範囲内であれば、ＬＥＤの識別は不明瞭であると言う）。不明瞭な判断が存在すれば、新しいＬＥＤセットに切り替えて再試行する。

ステップ１０５において、側部ＬＥＤの識別が行われる。側部ＬＥＤを識別するために定義された幾何学的ルールは、画像内で中央ＬＥＤから他の３つのＬＥＤまで線を描くことを必要とする。それから、各線について、残りの２つのＬＥＤから線までの直交距離を計算し、全部で６（３×２）の値を計算する。計算された６つの値の中から最小値に対応するＬＥＤが、上部／下部ＬＥＤのうちの一つとして識別される。６つの値の最小値を計算するのに使用された線を描くために、（中央ＬＥＤと共に）使用されたＬＥＤは、他方の上部／下部のＬＥＤとして識別される。中央ＬＥＤと上部／下部ＬＥＤが識別されるため、残りのＬＥＤが側部ＬＥＤとなる。

この時点で、２つのＬＥＤが上部／下部のＬＥＤとして識別されたということに注目すべきである。しかし、２つのＬＥＤ間の、上部と下部の位置への、１対１のマッピングはない。ステップ１０６において、上部と下部のＬＥＤの計算が行われる。上部と下部のＬＥＤを識別するために定義された幾何学的ルールは、側部ＬＥＤから中央ＬＥＤまで線を描くことを必要とする。それから、線の右側のＬＥＤを上部ＬＥＤとして識別し、線の左側のＬＥＤを下部ＬＥＤとして識別できる（側部ＬＥＤが右側で選択されると仮定する。そうでなければ、下部ＬＥＤを上部ＬＥＤと切り替える）。中央ＬＥＤの不明瞭性を除いて、ＬＥＤの特別な配置は対応の計算に関する混同を許可しないことに注目すべきである。それ故、説明した方法は、計算する対応の堅固な方法を提供する。

ステップ１０７において、計算された４つの対応を使用して、ポーズの計算が行われる。４つの対応を使用して、ポーズを計算することができる。しかし、いくつかのケースでは、ＬＥＤの２Ｄビューとポーズとの１対１のマッピングがない（すなわち、ＬＥＤの特定の２Ｄビューから、両方が正しい２つのポーズを計算することができる。）。このケースは、ポーズの不明瞭性と呼ばれ、ポーズ推定問題の継承問題である。ポーズの不明瞭性の問題の例が図３に示されている。図３において、左側のグラフは３Ｄ空間のＬＥＤ群の位置を示し、右側のグラフは２Ｄ空間へのそれらの投影を示している。図３（ａ）は、ＬＥＤを回転させていない、標準投影であり、参照を取るためのものである。図３（ｂ）において、ＬＥＤは仰角軸において−４５度回転される。図３（ｃ）において、ＬＥＤは仰角軸において＋４５度回転される。図からわかるように、結果として生じる画像は同一である。それ故、ＥＬ＝４５度とＥＬ＝−４５度で探し出されたポーズは、数学的に両方正しい。しかし、実際には、これらのポーズのうちの一方のみが、結果として生じる画像をもたらす。しかし、ポーズ推定方法を使用して、正しいポーズを探し出す方法はない。完了するために、（各ＬＥＤについて単一の（ｘ，ｙ）の値を探し出すために）撮像された画像の前処理の後に、図３の右側のグラフが得られることに注目すべきである。撮像された原画像において、図３（ｂ）では上部ＬＥＤがカメラにより近いため、下部ＬＥＤよりも大きい。図３（ｃ）では、下部ＬＥＤがカメラにより近いため、上部ＬＥＤよりも大きい。問題は単一の軸に抑制されず、単一の２Ｄビューに対応するポーズが対称であるときに問題は存在することにも注目すべきである。

ステップ１０８において、ポーズの計算が不明瞭であるかどうかを判断する。不明瞭でなければ、計算された対応は正しく、ポーズを計算するのに、計算された対応を使用できる。ポーズ推定と対応の計算の標準の反復を開始できる。しかし、ポーズが不明瞭であれば、例え、対応の計算が正しかったとしても、ポーズ推定プロセスにおいてそれらを使用することができない。それ故、計算された対応は、ポーズの推定と対応の計算の標準の反復を開始するのに十分ではない。このようなケースでは、新しいＬＥＤセットに切り替えて再試行する。

対応問題を解決する方法（１００）が４つのＬＥＤからなる一群のみを使用して実行される場合、ポーズの不明瞭性が原因で、対応を計算できない、又はオブジェクトのポーズが見つからないケースがある。このようなケースを避けるために、数個のＬＥＤ群を使用することを提案する。しかし、ＬＥＤ群を注意深く選択し、オブジェクトが取ることができる、可能性があるポーズの全てをカバーしながら、選択するＬＥＤ群を最小数にするべきである。対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）は、より良い形式で使用事例に適合する、より良いＬＥＤ群の選択のために、動いている状況下で追跡されるオブジェクトのポーズを使用する、このような注意深い選択プロセスを特定する。

対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）は、本質的に、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、１つのカメラの位置及び方向とを取得するステップ（２０１）と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ（２０２）と、
「Ｔ」形のパターンの４つのＬＥＤ群の全てを列挙し（生成し）、非選択のＬＥＤ群のセットに追加するステップ（２０３）と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のＬＥＤ群を２Ｄ空間に投影するステップ（２０４）と、
（非選択のＬＥＤ群、現在のカバーされていないポーズセットのポーズの）各ペアについて、４つ全てのＬＥＤが見える場合、非選択のＬＥＤ群にポーズを登録するステップと（２０５）、
非選択のＬＥＤ群の中から、最もカバーされていないポーズをカバーするＬＥＤ群を識別して、選択されたＬＥＤ群に加えるステップ（２０６）と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のＬＥＤ群のセットから選択されたＬＥＤ群を除去するステップ（２０７）と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ（２０８）と、
を含む。

追跡されるオブジェクト（例えば、赤外線ＬＥＤを備えたヘッドトラッキングシステムのためのヘルメット）のアクティブな基準の位置が、オブジェクトの各位置について三次元座標で表される。一般的な座標系に対して、メッシュ（モデル）に関するこれらの座標が判定され、カメラの場所に関連付けられるべきであることに注目することが重要である。それと同時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータも導入する必要がある。本発明の好ましい構成において、これらのデータは、実際のオブジェクト上に置かれた慣性計測装置（ＩＭＵ）を使用して、実際の動いている状況下で取得され、オブジェクトの動作が記録されて、ポーズデータとして使用される。

ステップ２０２において、カバーされていないポーズセットの初期化が行われる。カバーされていないポーズセットとは、現在カバーされていないポーズの集まりである。ここで、「カバーされていない」とは、現在選択されているＬＥＤ群のうちのいずれもが、そのポーズでは、完全には見えないことを意味する。このセットは、最初は、入力ポーズデータの全部である。しかし、方法が進むと、より多くのポーズがカバーされるため、このセットは空のセットに低減される。

ステップ２０３において、「Ｔ」形のパターンのＬＥＤ群の全ての列挙（生成）が行われる。このステップは、追跡されるオブジェクトのアクティブな基準の位置に過度に依存する。しかし、ＬＥＤ群の生成はやや容易である。簡単な例が、ｎ×ｎグリッドのＬＥＤを使用して提供されうる。ｎ×ｎグリッド上で、３×３グリッドのＬＥＤを使用する場合、３×３グリッドの真ん中のＬＥＤは、８つのＬＥＤ群において使用されうる。真ん中のＬＥＤは、「Ｔ」パターンの中央ＬＥＤである（３×３グリッドのサイズ３の、「＋」と「×」の形状の４つの直線を作成でき、側部ＬＥＤを右側又は左側に配置することができる）。アクティブな基準位置についての特定の入力のために、同様の方略が探し出される。しかし、合理的に小さい数のＬＥＤ群をもたらすように、任意の生成プロセスが予期されるべきである。

追跡されるオブジェクトとカメラの相対的な空間位置を知ることにより、入力ポーズデータを使用して、数学的に、ＬＥＤ群を移動し回転することができ、基準の可視性を計算できる。ステップ２０４において、カバーされていないポーズセットのポーズ毎に、入力カメラの位置／方向から、メッシュ上の各非選択ＬＥＤ群の可視性が計算される。ステップ２０５において、各非選択ＬＥＤ群を表す、可視性の値のリストが生成される。可視性の値は、ＬＥＤ群の全てのノードが、現在のカバーされていないポーズセットを考慮して、カメラのビューポートから何回見えたかを表す。

好ましい構成において、ポーズを与えられた３Ｄモデルの点（アクティブ・マーカー）の可視性を推定するのに、閉鎖モデルが使用される。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。ＬＥＤ基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するＬＥＤの法線と、ＬＥＤ照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるＬＥＤの法線とカメラ平面の法線との角度は、ＬＥＤがどの程度垂直にカメラ（ＬＥＤの方向角）に向けられているかを定義する。ＬＥＤ照明の円錐角は、カメラに対して可視のＬＥＤについての、最小のＬＥＤ方向角の閾値を定義する。与えられたポーズについて、ＬＥＤ方向角をＬＥＤ毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。

それから、ステップ２０６において、最も高い可視性の数を持つ非選択のＬＥＤ群が、対応問題を解決するための方法（１００）で使用するために選択される。対応問題を解決するための方法（１００）において使用されるＬＥＤ群として以前に決定されなかった最も高い可視性の数を持つＬＥＤ群が、決定されたポーズデータのほとんどにおいて完全に見えるため、選択される。ステップ２０７において、カバーされていないポーズセットから最近選択されたＬＥＤ群によってカバーされたポーズを除去し、且つさらなる計算のために使用される非選択のＬＥＤ群のセットから、最近選択されたＬＥＤ群を削除する。この構成において、少なくとも一つのポーズが新しく選択されたＬＥＤ群によってカバーされるため、カバーされていないポーズセットのエレメントの数は反復毎に減少する。また、この構成において、選択されたＬＥＤ群の数は、反復毎に一つ増加する。

ステップ２０８において、終了条件がチェックされる。最初のポーズデータのすべてのポーズが、少なくとも１つの選択されたＬＥＤ群によってカバーされるときに、主な終了条件が発生する。このケースは、入力ポーズデータに対するＬＥＤ群の成功した熟練の選択に対応する。いくつかの特別なケースにおいて、入力ポーズデータ、カメラの位置、及びアクティブなマーカーの位置は、全てのポーズの範囲を許可しない。このケースでは、新しいＬＥＤ群を追加しても、方法が少なくとも１つのポーズのカバーに失敗した場合に、終了できる。このケースにおいて、対応問題を解決するために使用されるＬＥＤ群を選択する方法（２００）によって生成されるＬＥＤ群は、訓練セットにおけるすべてのポーズについて、対応問題を解決する方法（１００）において使用されるときに、有効な対応結果を生じさせることができない。異なる終了条件が、所定数のＬＥＤ群の選択として、特定されうる。この構成において、いくつかのポーズはカバーされない。しかし、対応問題を解決する方法（１００）は、より少ないＬＥＤ群を持ち、使用して動作する。

１００ 対応問題を解決する方法
２００ 対応問題を解決するために使用されるＬＥＤ群を選択する方法
Ｃ カメラ
Ｏ０ オブジェクトの仰角（０）
Ｏ１ オブジェクトの仰角（−４５）
Ｏ２ オブジェクトの仰角（４５）
Ｂ０ オブジェクトの仰角０度での下部ＬＥＤの投影
Ｂ１ オブジェクトの仰角−４５度での下部ＬＥＤの投影
Ｂ２ オブジェクトの仰角４５度での下部ＬＥＤの投影
Ｔ０ オブジェクトの仰角０度での上部ＬＥＤの投影
Ｔ１ オブジェクトの仰角−４５度での上部ＬＥＤの投影
Ｔ２ オブジェクトの仰角４５度での上部ＬＥＤの投影
Ｃ０ オブジェクトの仰角０度での中央ＬＥＤの投影
Ｃ１ オブジェクトの仰角−４５度での中央ＬＥＤの投影
Ｃ２ オブジェクトの仰角４５度での中央ＬＥＤの投影
Ｆ０ オブジェクトの仰角０度での側部ＬＥＤの投影
Ｆ１ オブジェクトの仰角−４５度での側部ＬＥＤの投影
Ｆ２ オブジェクトの仰角４５度での側部ＬＥＤの投影

Claims (1)

1. 「Ｔ」形のパターンで配置された、４つのＬＥＤからなる現在のＬＥＤ群を点灯するステップ（１０１）と、
   現在のＬＥＤ群のうちの４つのＬＥＤの全てがカメラで見えるかどうかを判断するステップ（１０２）と、
   現在のＬＥＤ群のうちの全てのＬＥＤが見える場合、全てのＬＥＤについて他の残りの３つのＬＥＤまでの距離を計算し、残りの３つのＬＥＤまでの距離を合計することによって生成される最小の総距離を持つＬＥＤを中央ＬＥＤとして選択することにより、中央ＬＥＤを識別するステップ（１０３）と、
   を含み、
   計算された最小の総距離と２番目に小さい総距離が、互いの所定の割合の範囲内である場合、中央ＬＥＤが不明瞭であると判断するステップ（１０４）と、
   中央ＬＥＤが不明瞭でない場合、中央ＬＥＤから残りのＬＥＤまで３つの線を描き、その線上にまだないＬＥＤの前記線までの直交距離を計算し、それからいずれかの線までの最小の直交距離を探し出し、最後に最小の直交距離を探し出すのに使用された線上にはなく且ついずれかの線までの最小でない直交距離を持つ１つのＬＥＤを側部として選択することにより、側部ＬＥＤを識別するステップ（１０５）と、
   側部ＬＥＤから中央ＬＥＤまで線を描き、前記線の右側のＬＥＤを上部ＬＥＤとして識別し、前記線の左側のＬＥＤを下部ＬＥＤとして識別し、側部ＬＥＤがＬＥＤ群の左側にある場合は、３Ｄ空間のＬＥＤとそれらの２Ｄの投影との間で、上部ＬＥＤと下部ＬＥＤの対応を切り替えることにより、上部ＬＥＤと下部ＬＥＤを識別するステップ（１０６）と、
   ４つ全てのＬＥＤとそれらの２Ｄの投影との計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ（１０７）と、
   追跡されるオブジェクトのポーズを計算するステップ（１０７）と同様に、同一の２Ｄの投影に対応する別のポーズの計算が可能であるかどうかを判断するステップ（１０８）と、
   現在のＬＥＤ群のうちの全てのＬＥＤが見えない、又は中央ＬＥＤが不明瞭である、又は単一の２Ｄの投影に対応する可能性のあるポーズが２つあり、計算されたポーズが不明瞭である場合、新しいＬＥＤ群に切り替えるステップ（１０９）と、
   を含むことを特徴とする、４つのＬＥＤのパターンによりポーズを決定する方法（１００）。

Images