JP5430882B2 - 相対的な追跡のための方法およびシステム - Google Patents

Description

（発明の分野）
本発明は、人または物体が正確な自己追跡に対するシステムを携帯することが可能ではないか、または実用的ではないことがあり得る場合の人または物体の追跡に関する。

（発明の背景）
追跡は、所与の空間における人または物体の位置およびしばしば向きの、１つまたは一群のセンサによる測定である。

追跡は、例えば、コンピュータで生成されたデータおよび／またはイメージが、所与の場面の現実世界の視界と組み合わせられる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）（「ＡＲ」）の一般的な分野の重要な局面である。ＡＲ適用は、例えば、消防研修生が、「火の粒子」に向かって消火剤を「スプレー」し得る消防士に対する訓練の場を刺激し得る。研修生は、頭に取り付けられたディスプレイと共にヘルメットをかぶり、頭に取り付けられたディスプレイを通して研修生は、現実世界の場面を観察し得る。コンピュータが頭に取り付けられたディスプレイと通信し、現実世界の場面と重ねられ、消防研修生が頭をどのように動かすかに関わらず、現実世界の場面と正しく位置合わせされている画像（「スプレイ」および「火の粒子」を含む）を生成する。従って、例えば、消防研修生が、地面に向かって俯くとき、コンピュータは炎の適切な画像を生成し得、それは次に現実世界の場面または視界に重ねられ、消防士が見上げるとき、コンピュータは、渦巻く煙の画像を生成し得、同じものを現実世界の場面または視界に重ね得る。このようにして、いかなる構造物も燃やす必要なく、可燃物を消費する必要なく、不必要に人員（特に訓練を受けていない人員）を危険な場所に置く必要もなく、完全な訓練の場が実行され得る。

適切なイメージを適切な時にユーザに提供し、上述されたような消防訓練実習を有用なものにするためには、ユーザの頭の位置および向き（ときどき「ポーズ」と称される）、従って視線を密接にかつ継続的に追跡することが、適切なイメージをユーザに生成して表示するために必要であることを当業者は理解する。従って、正確な追跡が、拡張現実システムの実行において非常に重要である。実際、所与の適用に対して使用される追跡技術が、充分に正確な追跡情報またはデータを生成し得ない場合、結果として生じるコンピュータ生成イメージは、そのようなイメージは現実世界の視界または場面に対して不適当に位置合わせされ得るという意味で、実際ユーザにとって助けになるよりも、妨害または精神の集中を乱すものとなり得る。

ユーザが見ることを予期するものの粒度が増加するにつれて、正確な追跡がさらに重要になる。例えば、ＡＲはときどき、例えば、ユーザの視界内での複雑な機械的なデバイス（例えばエンジン）の選択された部分のアウトラインが、デバイスの現実世界の視界に重ねられるような他の形式の訓練実習に対して使用される。従って、ユーザの頭の向きにおける非常にわずかな変化でさえも、視界および、結果として、現実世界の視界と組み合わせられるコンピュータ生成イメージを、実質的に変化させる。従って、全般的に改良され、しかも拡張現実システム関連において特定の有用性も有する追跡システムおよび方法を提供する必要がある。

本発明の実施形態は、システムおよび方法であって、該システムおよび方法を介して、比較的小さな移動体、例えば人または小さな物体によって搬送され得るものと比較して、比較的より精巧な、より正確な、かつ／またはより重い追跡機器を搬送し得る比較的大きな移動体の追跡能力を利用することによって、人または物体が、例えば準備されていない環境の中で追跡され得る、システムおよび方法を提供する。

１つの可能な実装により、ワールド座標系での第１の移動体の位置および向きが確立される方法が提供される。本発明において使用されるように、「ワールド座標」または「ワールド座標系」は、地球に取り付けられた基点／原点に対して表現された１つの３Ｄ位置座標または３Ｄ位置座標のセットを意味する。一例は、地球の中心に対する２つの角度（緯度／経度）および高さ（高度）として表現された球面の座標である測地線座標である。好ましくは、第１の移動体には、ワールド座標系において追跡情報を生み出すように動作可能である第１の追跡システムが装備されている。第２の移動体の位置は、第１の移動体に取り付けられるか、またはその近くにある第２の追跡システムを使用して、第１の移動体に対して追跡され、第１の移動体に対する座標系内にある追跡情報が生み出される。本発明の好ましい局面において、第２の移動体は、第１の移動体の任意の構造的領域の外側で操作される。このようにして、人を含み得る第２の移動体は、予め構成された環境の外側で自由に働く。

ワールド座標系での第２の移動体の位置および向き（すなわち追跡もしくはポーズ情報またはデータ）を獲得するために、ワールド座標系での第１の移動体の追跡情報は、第１の移動体に対する座標系での第２の移動体の追跡情報と組み合わせられる。ワールド座標系での第２の移動体の結果として生じる位置および向きは次に、例えば、より正確な追跡情報が望まれ得る拡張現実システムとの関連で使用され得る。例えば、本発明の実施形態により、第２の移動体の追跡情報が、第１の移動体に対して利用可能であるより正確な追跡情報と組み合わせられるとき、向きにおいて１度を下回り、位置において０．１メートルを下回ることが達成可能であり、第１の移動体は、例えば全地球測位システム（ＧＰＳ）を使用して正確に追跡され得るトラック、または他の大きな構造体であり得る。

本発明は、拡張現実システムに対する適用可能性を有するので、第２の移動体は、頭に取り付けられたディスプレイを含み得る。

第１の移動体に取り付けられるか、またはその近くにある光学短距離トラッカー（ｏｐｔｉｃａｌ ｓｈｏｒｔ ｒａｎｇｅ ｔｒａｃｋｅｒ）は、第２の移動体の後を追って（手動でまたは自動的に）第１の移動体に対する第２の移動体を追跡するように構成され得る。

本発明は、さらに以下の手段を提供する。

（項目１）
追跡方法であって、
ワールド座標系で第１の移動体の位置および向きを確立することであって、該第１の移動体には、該ワールド座標系で追跡情報を生み出すように動作可能である第１の追跡システムが装備されている、ことと、
該第１の移動体に取り付けられ、該第１の移動体に対する座標系で追跡情報を生み出す第２の追跡システムを使用して、第１の移動体に対する第２の移動体の位置を追跡することであって、該第２の移動体は、該第１の移動体の任意の構造的領域の外側にある、ことと、
該ワールド座標系での該第１の移動体の追跡情報を、該第１の移動体に対する座標系での第２の移動体の追跡情報と組み合わせ、該ワールド座標系で第２の移動体の該位置および該向きを生成することと
を包含する、方法。

（項目２）
上記第１の移動体は、車輪の付いた乗り物である、項目１に記載の方法。

（項目３）
上記第１の移動体は、移動リッグである、項目１に記載の方法。

（項目４）
上記第１の移動体は、水上の船舶である、項目１に記載の方法。

（項目５）
上記第２の移動体は、頭に取り付けられたディスプレイを備えている、項目１に記載の方法。

（項目６）
上記ワールド座標系での上記第２の移動体の上記位置に基づいて、上記頭に取り付けられたディスプレイの画像を更新することをさらに包含する、項目５に記載の方法。

（項目７）
上記第１の移動体の位置を確立するステップは、ＧＰＳ信号を受信することを包含する、項目１に記載の方法。

（項目８）
上記第２の移動体は、カメラを備えている、項目１に記載の方法。

（項目９）
上記第２の移動体の上記位置を追跡するステップは、該第２の移動体の方に光学短距離トラッカーを向けることを包含する、項目１に記載の方法。

（項目１０）
上記ワールド座標系での上記第２の移動体の上記位置および上記向きは、それぞれ０．１メートルを下回り、１度を下回る精度を有する、項目１に記載の方法。

（項目１１）
上記ワールド座標系での上記第２の移動体の上記位置および上記向きを使用して、拡張現実システムのコンピュータ生成イメージを生成することをさらに包含する、項目１に記載の方法。

（項目１２）
上記第２の移動体はそれ自体、追跡情報を生成しない、項目１に記載の方法。

（項目１３）
拡張現実における使用のための追跡方法であって、該方法は、
ワールド座標系で第１の移動体を追跡することであって、該第１の移動体には、該ワールド座標系で追跡情報を生み出すように動作可能である第１の追跡システムが装備されている、ことと、
該第１の移動体に取り付けられた追跡システムで第２の移動体を追跡することであって、該第２の移動体の該追跡は、該第１の移動体の該位置および該向きに対するものであり、該第１の移動体の位置および向きに対する追跡情報を生み出し、該第２の移動体は、該第１の移動体の任意の構造的領域の外側にある、ことと、
該ワールド座標系での該第１の移動体の該追跡情報を、該第１の移動体の該位置および該向きに対する追跡情報と組み合わせ、それによって該ワールド座標系での該第２の移動体の位置および向きを生成することと、
現実世界の場面と関連付けられ、該ワールド座標系での該第２の移動体の該位置および該向きと一致するコンピュータ生成イメージを頭に取り付けられたディスプレイに表示することと
を包含する、方法。

（項目１４）
上記第１の移動体は、陸上の乗り物である、項目１３に記載の方法。

（項目１５）
上記第１の移動体は、水上の乗り物である、項目１３に記載の方法。

（項目１６）
上記第２の移動体は、頭に取り付けられたディスプレイを備えている、項目１３に記載の方法。

（項目１７）
上記第１の移動体を上記追跡するステップは、ＧＰＳ信号を受信することを包含する、項目１３に記載の方法。

（項目１８）
上記第２の移動体はカメラを備えている、項目１３に記載の方法。

（項目１９）
上記第１の移動体に取り付けられた上記追跡システムは、光学短距離トラッカーを備えている、項目１３に記載の方法。

（項目２０）
上記ワールド座標系における上記第２の移動体の上記位置および上記向きは、それぞれ０．１メートルを下回り、１度を下回る精度を有する、項目１３に記載の方法。

（項目２１）
上記ワールド座標系での上記第２の移動体の上記位置および上記向きを使用して、拡張現実システムのコンピュータ生成イメージを生成することをさらに包含する、項目１３に記載の方法。

（項目２２）
上記第２の移動体はそれ自体、追跡情報を生成しない、項目１３に記載の方法。

（項目２３）
追跡のためのシステムであって、
ワールド座標系で第１の移動体の追跡情報を生み出すように動作可能である第１の追跡システムを備えている第１の移動体であって、該第１の移動体は、該第１の移動体に対する物体を追跡するように動作可能である第２の追跡システムをさらに備えている、第１の移動体と、
該第２の移動体が、少なくとも該第１の移動体の任意の構造的領域の外側にあるときに、該第２の追跡システムによって追跡されるように構成された第２の移動体であって、該第２の追跡システムは、該第１の移動体に対する該第２の移動体の追跡情報を生み出すように構成されている、第２の移動体と、
（ｉ）該ワールド座標系での該第１の移動体に対する追跡情報、および（ｉｉ）該第１の移動体に対する該第２の移動体の追跡情報を受信し、かつ該ワールド座標系での該第２の移動体の追跡情報を生み出す、座標コンバイナと
を備えている、システム。

（項目２４）
上記第１の移動体は陸上を基地とする乗り物である、項目２３に記載のシステム。

（項目２５）
上記第１の追跡システムはＧＰＳ受信機を備えている、項目２３に記載のシステム。

（項目２６）
上記第１の追跡システムは、ベースラインに沿って配列された複数のＧＰＳアンテナを備えている、項目２３に記載のシステム。

（項目２７）
上記第２の追跡システムは、光学短距離トラッカーを備えている、項目２３に記載のシステム。

（項目２８）
上記第２の追跡システムは、超音波の、磁気的な、または機械的なトラッカーのうちの少なくとも１つを備えている、項目２３に記載のシステム。

（項目２９）
上記第２の移動体は、拡張現実システムの一部分を備えている、項目２３に記載のシステム。

（項目３０）
上記第２の移動体は、頭に取り付けられたディスプレイを備えている、項目２９に記載のシステム。

（項目３１）
上記拡張現実システムは、ユーザの視線の中にある現実世界の場面と関連付けられ、ワールド座標系での上記第２の移動体の追跡情報と一致するコンピュータ生成イメージを上記頭に取り付けられたディスプレイに表示するように構成された、項目３０に記載のシステム。

（項目３２）
上記第２の移動体はそれ自体、追跡情報を生成しない、項目２３に記載のシステム。

（摘要）
準備されていない環境、例えば野原においてユーザに対する相対的な追跡を提供するシステムおよび方法。より大きな移動体、例えばトラックは、ＧＰＳおよび／または他の追跡技術を使用して、ワールド座標で正確に追跡される。より小さな移動物体または移動体はそのとき、より大きな移動体に対して追跡される。そして、より小さな移動物体または移動体の追跡情報は、より小さな移動物体または移動体の追跡がワールド座標で提供され得るように、より大きな移動体の追跡と組み合わせられる。相対的な追跡方法は、準備されていない環境において正確な追跡が望ましくあり得るが、より小さな移動物体は、ワールド座標では直接的かつ正確には追跡され得ないことがあり得るような拡張現実の分野において特定の効用を有する。

本発明の幾つかの実施形態のこれらの特徴および他の特徴、ならびにそれらに付随する利点は、関連する図面と共に次の詳細な記述を読むことにより、より完全に理解される。

（詳細な説明）
本発明の実施形態は、準備されていない環境、すなわち野原における大きな移動構造体の正確な追跡を提供するため、大きな移動構造体（例えば車、トラック、ジープ、移動リッグ（ｒｉｇ）、船、ヘリコプタ、無人航空機（ＵＡＶ）、バルーン、など）により適切に取り付けられる追跡システムの比較的正確、かつ長距離の追跡能力を使用する。大きな移動構造体の内部にいるか、または大きな移動構造体から降り、従って大きな移動体の領域の外にいるが、なおも、大きな移動構造体の比較的近くで動作しているユーザは、ユーザの位置、および好ましくは向き（総体的に「ポーズ」）も、ユーザがより大きく、より重く、かつより正確な追跡システムを携帯する必要なく、大きな移動構造体と実質的に同じ精度で追跡され得るように、大きな移動構造体に対して追跡され得る。用語「ユーザ」は本明細書において、人を指すために使用される。ユーザはデバイス、例えばヘルメットおよび／または頭に取り付けられたディスプレイを身に着けるかまたは携帯し得、ヘルメットおよび／または頭に取り付けられたディスプレイが、本発明による任意の追跡の本当の焦点であり得る。

拡張現実の分野に限定されていないが、本明細書に記述されたシステムおよび方法は、ＡＲに対して特に適用性がある。詳細には、頭に取り付けられたディスプレイを身に着けている、乗り物から降りた野原にいるユーザは、多くの他の可能な仕事の中でもとりわけ、例えば埋設されたケーブルまたはパイプラインを特定するために、頭上のワイヤを特定するために、地雷の位置を突き止めるために、または調査活動を実行するために正確な追跡を必要とし得る。本発明の実施形態は、特に乗り物から降りたユーザに対して有利であるが、ユーザは、乗り物内にも位置し得、かつその見晴らしの良い位置から風景を眺めることができることが想定されている。

述べられたように、本発明の実施形態は、正確な追跡が利用できないか、または実用的ではないような場所で、比較的小さな物体（例えばユーザの頭／ヘルメット、コンピュータタブレット、手足、頭に取り付けられたディスプレイ）に対する正確な追跡を提供する。当業者は、「精密追跡」または「正確な追跡」の定義は、所与の用途次第で変化するが、多くの適用に対して、例示の目的で、位置が０．１ｍを下回り、および向きが１度を下回ると考えられ得ることを理解する。同様に、「小さな移動物体」または「小さな移動体」（ここでもやはり、例えばユーザの頭、コンピュータタブレット、手足、頭に取り付けられたディスプレイ、カメラ、その他）の定義は、すべての寸法において０．３ｍを下回る物体であり得るが、これらの寸法は、ここでもやはり例示の目的のためだけである。本発明の実施形態による小さな移動物体は大きすぎて、長距離の正確な追跡システムには、収容されることができない物体でもあり得、このような小さな移動物体はその代わり、比較的より大きな移動物体に取り付けられることが実用的であり得る。

本発明の実施形態は、小さな物体の動作環境の近くに置かれ得る大きな物体に対する小さな物体を正確に追跡することによって、小さな移動物体に対する正確な追跡を提供する問題に取り組む。小さな物体の追跡（例えば位置および向き）は、環境に対する大きな物体の追跡を、大きな物体に対する小さな物体の追跡と組み合わせることによって提供される。好ましい実装において、小さな移動体または物体は、それ自体、好ましくは位置または向き情報を生成または大きな移動体に送信しないという意味で、それ自体の追跡に対して受動的である。本明細書においてさらに十分に説明されるように、むしろ、大きな移動体は、それ自体の位置／向きに対して、および小さな移動体の位置／向きに対しても追跡を能動的に実行する。別の可能な実装において、小さな移動物体は、大きな移動体を追跡し得、かつ大きな移動体にポーズ座標をフィードバックする。

周知のように、大きな移動物体（または構造体）は、比較的大きな／重いセンサ、または大きなベースラインに沿ってまたは横切って配置されたとき向上する感応性を有するセンサを使用して、正確に追跡され得る。しかし、そのような重いセンサは、通常または実用上、小さな移動物体に取り付けられ得ない。例えば、長いベースラインに沿って置かれる多くのＧＰＳアンテナによって受信される信号間の位相差に依存するＧＰＳベースの方向トラッカーは、長いベースラインの要件により、小さな物体（例えば人の頭）には実用上使用され得ない。

正確な追跡データを達成しようとすればするほど、大抵は、センサのサイズおよび重量も増加することを必要とする。例えば、海軍の船は、大きな重い慣性運動装置を使用して正確に追跡され得るが、ここでもやはり、そのような装置は、ユーザの頭には実際上置かれ得ない。

小さな物体は、小さな物体を追跡するために、正確な追跡インフラストラクチャを有する大きな構造体を装備することによって、大きな構造体に対して正確に追跡され得る。例えば、カメラまたは多くのカメラを含む光学センサが一室内に配列され、小さな物体に置かれたマーカについて訓練され得る。そのようなシステムはときどき、「静止追跡インフラストラクチャ」と称される。そのようなシステムの不利は、人は、予め準備された環境内でのみ動作し得ることである。換言すれば、本発明の実施形態とは異なり、静止追跡インフラストラクチャは、予め構成された部屋または空間の領域を超えては、追跡を提供しない。

このタイプの追跡システムの一変形例は、航空機のコックピット内のパイロットのヘルメットに対して実装される。この場合、パイロットのヘルメットは、標的情報をヘルメットに取り付けられたヘッドアップディスプレイ（ＨＵＤ）と重ねるために追跡される。この構成において、航空機は、大きく／高価な／重い慣性ナビゲーションシステム（ＩＮＳ）／ＧＰＳナビゲーションシステムを使用して地球に対して追跡され、ヘルメットはそのとき、光学ヘルメット追跡システムを使用して、航空機に対して追跡される。従って、ワールドに対するヘルメットの位置および向き、従ってユーザの視点は、航空機自体が追跡され得るのと実質的に同じ精度で決定され得る。

静止追跡インフラストラクチャ、パイロットヘルメットの変化形および類似の追跡システムには少なくとも２つの不利がある。第１に、大きな構造体が追跡に対して準備されなくてはならず（カメラ、マーカ、センサ、その他が部屋（またはコックピット）の中で配列されなくてはならず、これらのセンサの位置は、より大きな構造体自体に対して調査されなくてはならない）、第２に、小さな物体の追跡の範囲は、内部の追跡エリアまたは空間または部屋のサイズに限定される。さらに、パイロットヘルメット追跡システムの場合においてさえも、航空機自体の追跡精度は、位置に対してメートル程度であり、向きに対しては０．１度程度であり、それらのうちのいずれもが、特定の適用に対して不十分である。

本発明の実施形態は、移動する物体に対する追跡システムが装備された大きな構造体を提供し、追跡されるユーザが、大きな構造体の領域内ばかりでなく、大きな移動構造体の領域を超えても動作することを可能とすることによってこれらの問題に取り組む。例えば、部屋である代わりに、大きな構造体は、乗り物または移動リッグであり得る。小さな物体が望ましくは正確に追跡されるあらゆる任意的な位置の近くで、この大きな構造体を動かすことによって、小さな物体は、大きな構造体に対してこの一般的な位置において、正確に追跡され得る。そして、大きな構造体を正確に追跡するために、大きな構造体自体が好ましくは、大きな構造体だけが実際上収容し得る長距離（すなわち世界中に広がった）追跡システムで装備される（大きなベースライン、傾斜計、その他を有する大きな／重いＩＮＳ、ＧＰＳ向きシステム）。大きな構造体に対する小さな物体の追跡を、環境に対する大きな構造体の追跡（後者の追跡が比較的正確である）と組み合わせることによって、小さな物体の正確で長距離の追跡が達成され得る。

ここで幾つかの図面が参照される。図１および参照番号１００は、本発明の実施形態による、多くの要素および座標系の間の関係を示す。図示されるように、大きな移動体１１０、例えばトラックが、ワールド座標Ｗ１０１で追跡される。一実装において、複数のＧＰＳアンテナ１１２ａ、１１２ｂ、１１２ｃ、１１２ｄが、長いベースラインに沿って、トラック１１０の屋根に配列されるか、または整列させられる。従って、周知のように、受信されたＧＰＳ信号の位相差が、トラック１１０の位置および向きを正確に計算するために使用され得る。

例えば頭に取り付けられたディスプレイ１１５（カメラも含み得る）を装着するユーザ１２２は、トラック１１０内に必ずしも閉じ込められることなく自由に環境を動き回る。ユーザ１２２が動き回るとき、彼の頭は、左右上下に、風景をスキャンするために動き得る。図１に示される例においては、物１３０（例えば埋設されたケーブルまたはパイプ、または不可視の化学物質）が現実世界の視界においてユーザ１２２によって観察され、物１３０の位置を正確に特定することが望ましくあり得、その物質自体がそれ自身の向きＳ１３５を有し得る。トラック１１０の追跡情報を、ユーザ１２２の追跡情報（例えば座標Ｈ１１７）と組み合わせることによって、物質１３０が比較的小さく、ユーザ自身が正確なワールド座標追跡データを提供するために十分な追跡機器を携行していないときでも、例えば適切なイメージ（例えばグラフィック表現１３２）をユーザ１２２に対して生成することが可能である。

当業者は、ユーザが正確に追跡され得るので、より小さな物体、例えば頭上のワイヤ、地雷などもより容易に現実世界の視界に対して位置が突き止められ得ることを理解する。

ユーザ１２２を追跡するために、トラック１１０は好ましくは、ユーザの頭に取り付けられたディスプレイ１１５の位置および向きを検出し得る精密光学トラッカー（図２、要素２４２）を含む。そのような光学トラッカーは周知である。本発明によるシステムは、ユーザ１２２または頭に取り付けられたディスプレイ１１５の後をつけるように構成された可動カメラも含み得る。ユーザ１２２の後をつけるために使用され得る他の追跡システムは、機械的追跡システム、磁気的追跡システム、および超音波追跡システムを含む。そのようなシステムは、光学トラッカーの能力を増大し得るか、または光学トラッカーの代わりに使用され得る。

例えばトラック１１０に対して、ユーザ１２２および頭に取り付けられたディスプレイ１１５を追跡するために必要な数学的な変換は、当業者に周知である。つまり、Ｗ（ワールド座標に対する）、Ｔ（トラック１１０に対する）、Ｈ（頭に取り付けられたディスプレイ１１５に対する）、およびＳ（物質１３０に対する）を含む多くの可能な座標系の間での変換は、周知のマトリックス乗算および他の手法を使用して実行され得る。

本発明の実施形態は、ユーザ１２２によって携行され得る追跡システムに頼ることができない場合においても特に有用である。例えば、ＧＰＳによって追跡されているユーザを想像されたい。そのようなユーザが、側面が解放されている建物に入る必要がある場合、ユーザが屋根の下にいる間、建物の屋根は、ＧＰＳ信号を遮って受信されないようにする。ＧＰＳ位置を得るために、遮蔽のないエリアにおいて大きな構造体を使用し、次にこの大きな構造体に対するユーザを追跡することによって、ユーザは、たとえＧＰＳ信号が、その特定の遮蔽された位置で利用不可能である場合でも、建物の内部で追跡され得る。

次は、本発明の実施形態の例示的な使用である。直径が０．１ｍの電気ケーブルおよびガスラインが地下に走っている場所で、歩いて移動するユーザを有するシステムを考えられたい。拡張現実システムは、環境の上にこれらのラインの仮想表示のイメージを提供し得る。現実世界の視界に仮想ケーブルおよびガスラインを位置合せするために必要な精度（ここでは０．１ｍ）を達成するために、ユーザは、０．０５ｍ位置および０．１度向きの追跡精度を必要とし得る。特に、比較的小さな／光センサを使用し、追跡インフラストラクチャで環境を準備していない場合は、この程度の追跡精度は、ユーザの頭に取り付けられた追跡システムでは実際上、可能ではない。しかし、そのような追跡精度で乗り物（すなわち大きな移動体）を追跡することは可能である。なぜならば、より大きなセンサ／アンテナが、乗り物に取り付けられ得るからである。次に、本発明の実施形態により、例えば、乗り物に取り付けられた光学追跡システムを使用して、ユーザは乗り物に対して追跡され得、それによってユーザのために所望の追跡精度を達成する。

本発明の実施形態は、陸上の乗り物のキャビンまたは内部、およびワールドに対してそれ自体追跡される乗り物に対して追跡されるヘルメットを使用するユーザの場合にも適用可能である。結果として、ヘルメットは、ワールドに対して追跡され得る。

図２は、本発明の実施形態によるシステム要素のブロック図である。大きな移動構造体によって好ましくは搬送されるシステム２１０は、ワールド座標系に対して大きな移動体の位置および向きを追跡することを担う大きな移動体追跡サブシステム２２０を含む。これを達成するための要素は、例えば、他の可能な位置決定システムの中でもとりわけ、コンパス２２２、関連するアンテナを含むＧＰＳコンポーネント２２４、ＩＮＳ２２６、傾斜計２２８、および無線周波数ＲＦ範囲発見機器を含み得る。

より大きな移動体に好ましくは取り付けられたいのは、例えば光学短距離トラッカー２４２を含み、ユーザ１２２のカメラ／頭に取り付けられたディスプレイ１１５を追跡するように構成された小さな移動物体追跡システム２４０である。小さな移動物体に対する他の可能な追跡デバイスはとりわけ、磁気トラッカー、超音波トラッカー、およびレーザトラッカーを含む。

座標コンバイナ２５０は、大きな移動体追跡サブシステム２２０と小さな移動物体追跡サブシステム２４０の両方と通信し、好ましくは、必要な座標変換を実行し、小さな移動物体追跡サブシステムから得られた位置および向き情報を、ワールド座標に変換するように動作可能である。つまり、座標コンバイナ２５０は好ましくは、大きな移動体のワールド座標位置を、大きな移動体に対して決定されたユーザ１２２またはカメラ／頭に取り付けられたディスプレイ１１５の追跡された位置および向きデータと組み合わせる。

図３は、本発明の実施形態による追跡方法を実行するための例示的な一連のステップを示す。図示のように、プロセスは、大きな移動体（例えばトラック、移動のリッグその他）が所与の場所に位置決めされたステップ３０２から始まる。次に、ステップ３０４において、大きな移動体の位置および向きは、ワールドワイド座標で追跡される。その後、ステップ３０６において、ユーザが、大きな移動体の近くを歩き回るとき、ユーザまたは関連する小さな移動物体は、大きな移動体に対して追跡される。

次に、ステップ３０８において、小さな移動物体の位置および向きは、大きな移動体に対して決定される。ステップ３１０において、小さな移動物体の追跡された位置／向きは、大きな移動体のワールドワイド位置／向きと組み合わせられる。プロセスは好ましくは連続的であるので、大きな移動体が位置を動いたか、または向きを変えたかどうかをステップ３１２において判断する。動いていない場合、プロセスは、ステップ３０６から再び継続する。別の場合、プロセスはステップ３０４へループし、大きな移動体のワールドワイド位置向きを取得し、プロセスはその後、図示のように継続する。

本明細書に記述されるとおり、本発明の実施形態は、（ｉ）小さな物体がワールドに対して正確に追跡される必要があり、大きな構造体は、小さな物体の近くに置かれ得る、（ｉｉ）小さな物体は追跡される必要があるが、その位置は、適切な追跡を不可能にするかまたは限定する、または（ｉｉｉ）充分に正確な追跡技術が、より小さな物体に対して利用可能ではないが、そのような追跡精度が、大きな構造体に対しては利用可能である適用に対してとりわけ適切である。

図１は、本発明の実施形態による、幾つかのシステム要素および関連する座標系の間の関係を示す図である。 図２は、本発明の実施形態による、システム要素のブロック図である。 図３は、本発明の実施形態による、追跡方法を実行する例示的な一連のステップを示す。

符号の説明

１００ 座標系
１０１ ワールド座標系
１１０ 第１の移動体
１２２ 第２の移動体
２２０ 第１の追跡システム
２４０ 第２の追跡システム

Claims (32)

1. 追跡方法であって、
   ワールド座標系で第１の移動体の位置および向きを確立することであって、該第１の移動体には、該ワールド座標系で追跡情報を生み出すように動作可能である第１の追跡システムが装備されている、ことと、
   該第１の移動体に取り付けられ、該第１の移動体に対する座標系で追跡情報を生み出す第２の追跡システムを使用して、該第１の移動体に対する第２の移動体の位置を追跡することであって、該第２の移動体は、該第１の移動体の任意の構造的領域の外側にあり、該第２の移動体は、それ自体の追跡に対して受動的である、ことと、
   該ワールド座標系での該第１の移動体の追跡情報を、該第１の移動体に対する座標系での該第２の移動体の追跡情報と組み合わせ、該ワールド座標系での該第２の移動体の位置および向きを生成することと
   を包含する、方法。
2. 前記第１の移動体は、車輪の付いた乗り物である、請求項１に記載の方法。
3. 前記第１の移動体は、移動リッグである、請求項１に記載の方法。
4. 前記第１の移動体は、水上の船舶である、請求項１に記載の方法。
5. 前記第２の移動体は、頭に取り付けられたディスプレイを備えている、請求項１に記載の方法。
6. 前記ワールド座標系での前記第２の移動体の前記位置に基づいて、前記頭に取り付けられたディスプレイの画像を更新することをさらに包含する、請求項５に記載の方法。
7. 前記第１の移動体の位置を確立するステップは、ＧＰＳ信号を受信することを包含する、請求項１に記載の方法。
8. 前記第２の移動体は、カメラを備えている、請求項１に記載の方法。
9. 前記第２の移動体の前記位置を追跡するステップは、該第２の移動体の方に光学短距離トラッカーを向けることを包含する、請求項１に記載の方法。
10. 前記ワールド座標系での前記第２の移動体の前記位置および前記向きは、それぞれ０．１メートルを下回り、１度を下回る精度を有する、請求項１に記載の方法。
11. 前記ワールド座標系での前記第２の移動体の前記位置および前記向きを使用して、拡張現実システムのコンピュータ生成イメージを生成することをさらに包含する、請求項１に記載の方法。
12. 前記第２の移動体はそれ自体、追跡情報を生成しない、請求項１に記載の方法。
13. 拡張現実システムにおける使用のための追跡方法であって、該方法は、
    ワールド座標系で第１の移動体を追跡することであって、該第１の移動体には、該ワールド座標系で追跡情報を生み出すように動作可能である第１の追跡システムが装備されている、ことと、
    該第１の移動体に取り付けられた追跡システムで第２の移動体を追跡することであって、該第２の移動体の該追跡は、該第１の移動体の位置および向きに対するものであり、該第１の移動体の該位置および該向きに対する追跡情報を生み出し、該第２の移動体は、該第１の移動体の任意の構造的領域の外側にあり、該第２の移動体は、それ自体の追跡に対して受動的である、ことと、
    該ワールド座標系での該第１の移動体の該追跡情報を、該第１の移動体の該位置および該向きに対する追跡情報と組み合わせ、それによって該ワールド座標系での該第２の移動体の位置および向きを生成することと、
    現実世界の場面と関連付けられ、該ワールド座標系での該第２の移動体の該位置および該向きと一致するコンピュータ生成イメージを頭に取り付けられたディスプレイに表示することと
    を包含する、方法。
14. 前記第１の移動体は、陸上の乗り物である、請求項１３に記載の方法。
15. 前記第１の移動体は、水上の乗り物である、請求項１３に記載の方法。
16. 前記第２の移動体は、前記頭に取り付けられたディスプレイを備えている、請求項１３に記載の方法。
17. 前記第１の移動体を前記追跡するステップは、ＧＰＳ信号を受信することを包含する、請求項１３に記載の方法。
18. 前記第２の移動体はカメラを備えている、請求項１３に記載の方法。
19. 前記第１の移動体に取り付けられた前記追跡システムは、光学短距離トラッカーを備えている、請求項１３に記載の方法。
20. 前記ワールド座標系での前記第２の移動体の前記位置および前記向きは、それぞれ０．１メートルを下回り、１度を下回る精度を有する、請求項１３に記載の方法。
21. 前記ワールド座標系での前記第２の移動体の前記位置および前記向きを使用して、拡張現実システムのコンピュータ生成イメージを生成することをさらに包含する、請求項１３に記載の方法。
22. 前記第２の移動体はそれ自体、追跡情報を生成しない、請求項１３に記載の方法。
23. 追跡のためのシステムであって、
    第１の移動体であって、該第１の移動体は、ワールド座標系で該第１の移動体の追跡情報を生み出すように動作可能である第１の追跡システムを備えており、該第１の移動体は、該第１の移動体に対して物体を追跡するように動作可能である第２の追跡システムをさらに備えている、第１の移動体と、
    第２の移動体であって、該第２の移動体は、少なくとも該第２の移動体が該第１の移動体の任意の構造的領域の外側にあるときに、該第２の追跡システムによって追跡されるように構成され、該第２の追跡システムは、該第１の移動体に対する該第２の移動体の追跡情報を生み出すように構成されており、該第２の移動体は、それ自体の追跡に対して受動的である、第２の移動体と、
    （ｉ）該ワールド座標系での該第１の移動体に対する追跡情報、および（ｉｉ）該第１の移動体に対する該第２の移動体の追跡情報を受信し、かつ該ワールド座標系での該第２の移動体の追跡情報を生み出す、座標コンバイナと
    を備えている、システム。
24. 前記第１の移動体は陸上を基地とする乗り物である、請求項２３に記載のシステム。
25. 前記第１の追跡システムはＧＰＳ受信機を備えている、請求項２３に記載のシステム。
26. 前記第１の追跡システムは、ベースラインに沿って配列された複数のＧＰＳアンテナを備えている、請求項２３に記載のシステム。
27. 前記第２の追跡システムは、光学短距離トラッカーを備えている、請求項２３に記載のシステム。
28. 前記第２の追跡システムは、超音波の、磁気的な、または機械的なトラッカーのうちの少なくとも１つを備えている、請求項２３に記載のシステム。
29. 前記第２の移動体は、拡張現実システムの一部分を備えている、請求項２３に記載のシステム。
30. 前記第２の移動体は、頭に取り付けられたディスプレイを備えている、請求項２９に記載のシステム。
31. 前記拡張現実システムは、ユーザの視線の中にある現実世界の場面と関連付けられ、前記ワールド座標系での前記第２の移動体の追跡情報と一致するコンピュータ生成イメージを前記頭に取り付けられたディスプレイに表示するように構成されている、請求項３０に記載のシステム。
32. 前記第２の移動体はそれ自体、追跡情報を生成しない、請求項２３に記載のシステム。

Images