JP6763975B2 - 拡張ダイナミックレンジを備えた小型のビジョン慣性ナビゲーションシステム - Google Patents

Description

本開示は、概して、ナビゲーションシステムに関係があり、より具体的には、拡張ダイナミックレンジを備えた小型のビジョン慣性ナビゲーションシステムに関係がある。

軍隊、警察、及び消防士は、実際の場面を見ながら、地図のような戦術的な情報を表示するヘッドマウント型ディスプレイを使用する。例えば、ヘッドマウント型ディスプレイは、拡張現実（ＡＲ）を作り出すよう戦術的な情報を実際の場面に重ね合わせるために使用されてよい。ＡＲを作り出すための技術的課題の１つは、実際の対象とコンピュータにより生成された対象との間の正確な追跡を保つことである。ユーザが彼らの視点を動かす場合に、コンピュータにより生成された対象は、実際の対象の観測される位置及び向きとアライメントされたままでなければならない。ビジョン慣性（vision-inertial）ナビゲーションシステムは、装置姿勢を推定するよう、カメラと、慣性センサ、特に、ジャイロスコープ及び加速度計とからの情報を融合させることによって相対的な位置及び向きを推定し得る。

しかし、多くのビジョン慣性ナビゲーションシステムは、軍事的及び政治的な用途としてのそのような使用に適さない。例えば、多くのビジョン慣性ナビゲーションシステムは、太陽光条件でしか働かず、他のシステムは夜にしか働かない。広範な周囲光条件で動作することができるビジョン慣性ナビゲーションシステムは、装着不可能である非常に大きいセンサ又は装置を利用する。他のビジョン慣性ナビゲーションシステムはまた、カメラと慣性センサとの間のボアサイトキャリブレーションを手動により実行すること、及び表示の明るさのような設定を手動により構成することをユーザに求める。

よって、頭部に装着されるほど十分に小さく、且つ、例えば、典型的な屋内照明条件から直射日光条件乃至実質的に光がない洞穴までといった、広範な動的照明条件で機能することができるビジョン慣性ナビゲーションシステムの満たされない必要性が存在する。更に、プラグ・アンド・プレイであるビジョン慣性ナビゲーションシステムの必要性が依然としてある。

上記の問題及び満たされない必要性に照らして、本開示は、広範な照明条件において表示領域（同義的に「実際の場面」とも本願では呼ばれる。）内の対象の位置を追跡するシステム及び方法を提供する。一態様において、ビジョン慣性ナビゲーションシステムが提供され、これは、例えば、典型的な屋内照明条件から直射日光乃至実質的に光がない場所（例えば、洞穴）まで多岐にわたる照明条件において実際の場面内の関心のある対象（例えば、人々、車両、建物）の相対位置（例えば、３Ｄ位置）を追跡するよう構成されてよい。例えば、一態様において、ビジョン慣性ナビゲーションシステムは、種々の照明条件において実際の場面の画像を捕捉するよう夫々構成されている２つ以上のヘルメット装着式カメラを含んでよい。遠隔の（例えば、手持ち式の）プロセッシング要素は次いで、実時間において実際の場面内の態様の位置を正確に推定するために、２つ以上のヘルメット装着式カメラからの画像データをヘルメット装着式慣性センサからの慣性測定データと結合してよい。ビジョン慣性ナビゲーションシステムは次いで、夫々の対象について推定された位置を、例えば、ユーザの視点から、対象ごとの推定された位置が、実際の場面で見られている対応する対象の上に重ね合わされることを可能にする透明表示装置で、表示してよい。

これらの態様の更なる利点及び新規の特徴は、１つには、続く記載において説明され、１つには、下記の検討時に又は本開示の実施による学習時に当業者に更に明らかになるだろう。

添付の図面は、本明細書に組み込まれてその部分を構成するものであり、本開示の１つ以上の例となる態様を説明し、そして、詳細な説明とともに、それらの原理及び実施を説明するのに役立つ。

本開示の態様に従う例となるビジョン慣性ナビゲーションシステムの例となる動作環境を表す図である。 本開示の態様に従うモノキュラーナビゲーションシステムの例を正面図及び側面図において表す図である。 本開示の態様に従うＨＭＤシステムの例を表す図である。 本開示の態様に従うモノキュラーナビゲーションシステムのワイドダイナミックレンジの例を表すプロットである。 本開示の態様に従って、視覚的特徴の３次元（３Ｄ）位置を追跡する方法のフローチャートである。 本開示の態様に従って、ＨＭＤシステムに取り付けられた表示装置及び慣性センサの間のボアサイトキャリブレーションを実行する方法のフローチャートである。 本開示の態様に従って、ステレオナビゲーションシステムを較正する方法のフローチャートである。 本開示の態様に従うステレオナビゲーションシステムの例を表す図である。 本開示の態様に従うプロセッシングシステムを用いるシステムのためのハードウェア実装の例となる態様を表す図で表す。 本開示の態様に従って使用される様々な例となるシステムコンポーネントを表すブロック図である。

添付の図面に関連して以下で示される詳細な説明は、様々な構成の説明として意図され、本明細書で記載される概念が実施され得る唯一の構成を表すよう意図されない。詳細な説明は、様々な概念の完全な理解を提供することを目的として具体的な詳細を含む。しかし、当業者に明らかなように、それらの概念は、そのような具体的な詳細によらずとも実施され得る。いくつかの事例では、よく知られた構造及びコンポーネントは、そのような概念を不明りょうにしないように、ブロック図形式で示される。

ナビゲーション機能のいくつかの態様が、これより、様々なシステム、装置、及び方法を参照して提示される。それらのシステム、装置、及び方法は、以下の詳細な説明において記載され、様々なブロック、モジュール、コンポーネント、回路、ステップ、プロセス、アルゴリズム、など（集合的に“要素”と呼ばれる。）によって添付の図面で表される。それらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらのあらゆる組み合わせを用いて実装されてよい。そのような要素がハードウェア又はソフトウェアとして実装されるかどうかは、特定の用途と、実施全体に課された設計制約とに依存する。

例として、要素、若しくは要素のいずれかの部分、又は要素どうしのあらゆる組み合わせは、１つ以上のプロセッサを含む“プロセッシングシステム”により実装されてよい。プロセッサの例には、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム可能論理デバイス（ＰＬＤ）、状態機械、ゲートロジック、ディスクリートハードウェア回路、及び本開示を通して記載される様々な機能性を実行するよう構成された他の適切なハードウェアが含まれる。プロセッシングシステム内の１つ以上のプロセッサは、ソフトウェアを実行してよい。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又は別なふうに呼ばれようとも、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアコンポーネント、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、サブルーチン、オブジェクト、実行ファイル、実行のスレッド、プロシージャ、関数などを含むよう広く解釈されるべきである。

然るに、１つ以上の例となる実施形態において、記述される関数は、ハードウェア、ソフトウェア、ファームウェア、又はそれらのあらゆる組み合わせで実装されてよい。ソフトウェアで実装される場合には、関数は、１つ以上のコンピュータ可読媒体において１つ以上の命令又はコードとして記憶又は符号化されてよい。コンピュータ可読媒体には、コンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータによってアクセスされ得る如何なる利用可能な媒体であってもよい。例として、制限なしに、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能なプログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶装置、あるいは、命令又はデータ構造の形で所望のプログラムコードを搬送又は記憶するために使用され得且つコンピュータによってアクセスされ得るあらゆる他の媒体を有することができる。本明細書で使用されるディスク（disk及びdisc）には、ＣＤ、レーザーディスク（登録商標）、光ディスク、デジタルバーサタイルディスク（ＤＶＤ）、及びフロッピー（登録商標）ディスクが含まれる。ディスク（disk）は、通常は、磁気的にデータを再生し、一方、ディスク（disc）は、レーザーにより光学的にデータを再生する。上記の組み合わせも、コンピュータ可読媒体の適用範囲内に含まれるべきである。

一般に、とりわけ、本明細書で開示されるビジョン慣性ナビゲーションシステム及び方法は、広範な照明条件において実際の場面内の対象の位置を追跡することに向けられている。一態様において、ビジョン慣性ナビゲーションシステムは、種々の照明条件で実際の場面の画像を捕捉するよう夫々構成され得る２つ以上のカメラを備えた１つ以上のヘルメット装着式ナビゲーションサブシステムを含んでよい。ヘルメット装着式ナビゲーションサブシステムは、地面に対するヘルメットの向きの測定を提供するよう構成された慣性センサを更に含んでよい。ビジョン慣性ナビゲーションシステムは、２つ以上のカメラから得られた画像データを慣性センサから得られたデータと結合することによって、実際の場面内の対象の相対位置を推定するよう構成された遠隔のプロセッシング要素を更に含んでよい。一態様において、遠隔プロセッシングユニットは、推定された位置をヘルメット装着式ディスプレイポッドへ供給するよう構成されてよく、それにより、推定された位置の夫々は、実際の場面においてユーザによって見られている対応する対象の上に重ね合わされる。

例えば、図１を参照すると、実際の場面１００（例えば、屋内のオフィス空間）における対象（例えば、照明器具）の推定された位置１０２は、ビジョン慣性ナビゲーションシステムを装着している人の視点から、実際の場面１００のユーザのビューの上に重ね合わされてよい。ユーザが動き回る場合に、対象の夫々の推定される位置の値は、ユーザの位置に対する（例えば、ビジョン慣性ナビゲーションシステムの位置に対する）対象の位置の変化を反映するよう更新されてよい。遠隔プロセッシングユニットは更に、２つ以上のカメラからの画像と慣性センサからのデータとの結合に基づき、ユーザが通路に沿って動く場合にユーザの（例えば、ビジョン慣性ナビゲーションシステムの）位置及び向きを推定及び追跡するよう構成されてよい。更なる、又は代替の態様において、遠隔プロセッシングユニットは、ユーザの推定された位置及び向きをヘルメット装着式ディスプレイポッドへ供給するよう構成されてよく、それにより、ユーザの追跡された経路を表す視覚情報が実際の場面１００のユーザのビューに重ね合わされる。当然ながら、ユーザの及び／又は対象の位置に関する他の情報が実際の場面１００のユーザのビューに重ね合わされてよい。

図２及び図３は、本開示の態様に従って使用される例となるナビゲーションシステムコンポーネント（例えば、ビジョン慣性ナビゲーションシステムの部分）の様々な態様の全体システム図を表す。図２及び図３の例となるナビゲーションシステムは、例えば、広範な動的照明条件において実際の場面の画像（例えば、個々の写真又は映像のフレーム）を捕捉するために直射日光撮像装置２３０、屋内照明撮像装置２３２、又は暗視撮像装置２３４のうちの２つ以上を備えたヘルメット装着式ディスプレイ（ＨＭＤ）３００を含んでよい。一態様において、直射日光撮像装置２３０は、照明条件の第１範囲において画像を捕捉する第１モノキュラーカメラ（図示せず。）を含んでよく、屋内照明撮像装置２３２は、照明条件の第２範囲において画像を捕捉する第２モノキュラーカメラ（図示せず。）を含んでよく、暗視撮像装置２３４は、照明条件の第３範囲において画像を捕捉する第３モノキュラーカメラ（図示せず。）を含んでよい。

例えば、図４を参照すると、直射日光撮像装置２３０は、第１範囲の照明条件（例えば、日光）４２２において画像を捕捉してよい。屋内照明撮像装置２３２は、第２範囲の照明条件（例えば、屋内照明）４２４において画像を捕捉してよい。暗視撮像装置２３４は、第３範囲の照明条件（例えば、微光）４２６において画像を捕捉してよい。第１範囲の照明条件４２２は、第２範囲の照明条件４２４よりも明るくてよく、第２範囲の照明条件４２４は、第３範囲の照明条件４２６よりも明るくてよい。

当然ながら、第１範囲の照明条件４２２の一部は、第１重複領域で第２範囲の照明条件４２４の一部と重なり合ってよい。一態様において、直射日光撮像装置２３０及び屋内照明撮像装置２３２は両方とも、第１重複領域で画像を捕捉するよう構成されてよい。同様に、第２範囲の照明条件４２４は、第２重複領域で第３範囲の照明条件４２６と重なり合ってよい。他の態様では、屋内照明撮像装置２３２及び暗視撮像装置２３４は両方とも、第２重複領域で画像を捕捉するよう構成されてよい。

更に、当然ながら、暗視撮像装置２３４は、ＨＭＤ３００の環境に光が存在しない場合に画像を捕捉することができない。この場合に、照明器２３６は、例えば、暗視撮像装置２３４がその環境（例えば、実際の場面）の画像を捕捉することができるように、ＨＭＤ３００の環境の照明を選択的に支援するために暗視撮像装置２３４へ結合されてよい。照明器２３６は、例えば、少なくとも１つの発光ダイオード（ＬＥＤ）を有してよい。ＬＥＤは、紫外線（ＵＶ）範囲で、又は暗視撮像装置２３４が敏感に反応しない可視スペクトルの特定の部分で動作してよい。

再び図２及び図３を参照すると、直射日光撮像装置２３０、屋内照明撮像装置２３２、及び／又は暗視撮像装置２３４のうちの２つ以上が、ＨＭＤ３００に取り付けられてよい。例えば、一態様において、直射日光撮像装置２３０及び屋内照明撮像装置２３２が、ＨＭＤ３００の１つ以上の側面取り付けレール３３０に取り付けられてよい。他の態様では、直射日光撮像装置２３０、屋内照明撮像装置２３２、及び暗視撮像装置２３４が、ＨＭＤ３００の１つ以上の側面取り付けレール３３０に取り付けられてよい。この態様において、照明器２３６が更に、暗視撮像装置２３４に取り付けられてよい。更には、一態様において、直射日光撮像装置２３０、屋内照明撮像装置２３２、及び暗視撮像装置２３４の夫々は、ＨＭＤ３００の１つ以上の側面取り付けレール３３０に着脱可能に取り付けられてよい。例えば、直射日光撮像装置２３０、屋内照明撮像装置２３２、及び／又は暗視撮像装置２３４は、ＨＭＤ３００の１つ以上の側面取り付けレール３３０から取り外し可能であってよい。

図２及び図３の例となるナビゲーションシステムは、慣性センサ２３８を更に含んでよい。一態様において、慣性センサ２３８も、ＨＭＤ３００の１つ以上の側面取り付けレール３３０に取り付けられてよい。慣性センサ２３８は、例えば、米国特許第８７６２０９１号で記載されている慣性測定システムの態様であるか又はそのような態様を含んでよい。なお、この特許文献は、その全文を参照により本願に援用される。慣性センサ２３８は、慣性センサ２３８の現在の加速度を測定する加速度計、及び／又は慣性センサ２３８の回転属性（例えば、向き）の変化を測定するジャイロスコープ、及び／又は慣性センサ２３８に関連した圧力を測定する圧力センサを含んでよい。慣性センサ２３８は、加速度計のバイアス、ジャイロスコープのバイアス、及び圧力センサのバイアスを推定するプロセッシングシステムを更に含んでよい。そのようなプロセッシングはまた、それらの装置から遠く離れて実行されてもよい。一態様において、慣性センサ２３８は、慣性センサ２３８の現在の加速度、慣性センサ２３８の向き、加速度計のバイアス、ジャイロスコープのバイアス、及び圧力センサのバイアスのような慣性測定を提供するよう構成されてよい。

図２及び図３の例となるナビゲーションシステムは、表示ドライバ（図示せず。）及びジャイロスコープ３１０を有するヘルメット装着式ディスプレイポッドを更に含んでよい。一態様において、ヘルメット装着式ディスプレイポッドは、例えば、ＨＭＤ３００の額部端に取り付けられてよい。更に、表示ドライバ（図示せず。）は、制限なしに光導波路光学素子（ＬＯＥ）のような透明表示装置３２０に拡張現実情報を表示するよう構成されてよい。例えば、一態様において、表示ドライバ（図示せず。）は、ＬＯＥ３２０でＨＭＤ３００の環境内の視覚的ランドマーク（例えば、対象）の３Ｄ位置を表示するよう構成されてよい。ヘルメット装着式ディスプレイポッドは、ＬＯＥ３２０がＨＭＤ３００のユーザの片眼の前に位置付けられるように適応されてよい。更に、表示ドライバ（図示せず。）は、透明表示装置３２０で表示されている拡張現実情報の明るさを自動調整するよう構成されてよい。一態様において、ヘルメット装着式ディスプレイポッドのジャイロスコープ３１０は、例えば、３軸微小電気機械システム（ＭＥＭＳ）ジャイロスコープであってよい。ジャイロスコープ３１０は、ヘルメット装着式ディスプレイポッドの回転属性（例えば、ピッチ、ロール、及び／又はヨー）の変化に関する方位データを測定し供給するよう構成されてよい。

更に図２及び図３を参照すると、例となるナビゲーションシステムは、プロセッシング要素３４０を更に有してよい。一態様において、プロセッシング要素３４０は、インターフェイスボックス並びに１つ以上のケーブル及び／又は配線２４０（例えば、１つ以上のユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）、及び／又は光ファイバケーブル）を介してヘルメット装着式ディスプレイポッド、慣性センサ２３８、直射日光撮像装置２３０、屋内照明撮像装置２３２、及び任意に暗視撮像装置２３４へ結合され、それらと通信してよい。当然ながら、プロセッシング要素３４０は、ヘルメットから離れた位置に設けられてよい。例えば、一態様において、プロセッシング要素３４０は、ＨＭＤ３００に取り付けられなくてもよい（図３）。プロセッシング要素３４０は、単一の回路基板の上に構成された組み込みコンピュータのようなシステム・オン・モジュール（ＳＯＭ）を含んでよい。ＳＯＭは、ＲＡＭ、入出力コントローラ、及び信号処理のために必要とされる他の全ての機能を備えたマイクロプロセッサを含んでよい。加えて、プロセッシング要素３４０は、制限なしに他のナビゲーションシステム（図１０を参照。）のような外部装置との通信のために、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線送信器／受信器、Ｗｉ−Ｆｉ送信器／受信器、ＬＴＥ送信器／受信器、及び／又はＲＦＩＤ送信器／受信器を含んでよい。バッテリ（図示せず。）も、例えば、ケーブル及び／又は配線（図示せず。）を介して、プロセッシング要素３４０へ結合され、そして、プロセッシング要素３４０、直射日光撮像装置２３０、屋内照明撮像装置２３２、又は暗視撮像装置２３４のうちの１つ以上に給電するために使用されてよい。

一態様において、プロセッシング要素３４０は、直射日光撮像装置２３０、屋内照明撮像装置２３２、又は暗視撮像装置２３４のうちの２つ以上の存在を自動検出するよう構成されてよい。プロセッシング要素３４０は次いで、例えば、１つ以上のケーブル及び／又は配線２４０を介して、直射日光撮像装置２３０、屋内照明撮像装置２３２、又は暗視撮像装置２３４のうちの検出された２つ以上から画像データを取得するよう構成されてよい。プロセッシング要素３４０は更に、例えば、１つ以上のケーブル及び／又は配線２４０を介して、ヘルメット装着式ディスプレイポッドからのジャイロスコープ３１０の方位データとともに、慣性センサ２３８からの慣性測定データを取得するよう構成されてよい。

一態様において、プロセッシング要素３４０は、直射日光撮像装置２３０、屋内照明撮像装置２３２、又は暗視撮像装置２３４のうちの２つ以上から得られた画像データにおいて視覚的特徴を識別しその３Ｄ位置を追跡するよう構成されてよい。この態様では、プロセッシング要素３４０は更に、例えば、１つ以上のケーブル及び／又は配線２４０を介して、追跡された３Ｄ位置をヘルメット装着式ディスプレイポッドへ供給するよう構成されてよい。それにより、追跡された３Ｄ位置はＬＯＥ３２０で表示され得る。他の態様では、プロセッシング要素３４０は、ＨＭＤ３００に取り付けられている慣性センサ２３８の向きを、ヘルメット装着式ディスプレイポッドにおけるジャイロスコープ３１０の向きと自動的にアライメントするよう構成されてよい。更に、他の態様では、プロセッシング要素３４０は、例となるナビゲーションシステムのロバスト性を改善するために、ステレオカメラ構成（図８を参照。）を検出して自動的にアライメントするよう構成されてよい。

図５は、ＨＭＤ３００の環境内の視覚的特徴の３Ｄ位置を追跡し、追跡された３Ｄ位置をＨＭＤ３００の環境内の対応するランドマークの上に表示する方法のフローチャート５００である。方法は、ナビゲーションシステム（例えば、図２及び図３で表された例となるナビゲーションシステム）によって実行されてよい。

ブロック５０２で、ナビゲーションシステムのプロセッシング要素３４０（図３）は、ＨＭＤ３００（図３）に取り付けられている直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上から画像データを取得してよい。例えば、一態様において、プロセッシング要素３４０（図３）は、例えば、１つ以上のケーブル及び／又は配線２４０（図２）を介して、直射日光撮像装置２３０（図２）及び屋内照明撮像装置２３２（図２）によって捕捉された画像データを受信してよい。他の態様では、プロセッシング要素３４０は、例えば、１つ以上のケーブル及び／又は配線２４０（図２）を介して、直射日光撮像装置２３０（図２）及び屋内照明撮像装置２３２（図２）によって捕捉された画像データとともに、暗視撮像装置２３４（図２）によって捕捉された画像データを受信してよい。

一態様において、プロセッシング要素３４０（図３）は、直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上から得られた画像データからＮ個の視覚的特徴の組を抽出してよい。プロセッシング要素３４０（図３）は次いで、現在のカメラ姿勢に対して、Ｎ個の視覚的特徴の組に含まれる夫々の特徴ｉの３Ｄ位置を推定してよい。例えば、一態様において、プロセッシング要素３４０（図３）は、直射日光撮像装置２３０（図２）の姿勢に対して、特徴ｉへの第１ベアリングベクトル（μＡｉ）及び特徴ｉの第１距離パラメータ（ρＡｉ）を推定してよい。同様に、プロセッシング要素３４０（図３）は、屋内照明撮像装置２３２（図２）に対して、特徴ｉへの第２ベアリングベクトル（μＢｉ）及び特徴ｉの第２距離パラメータ（ρＢｉ）を推定してよい。

ブロック５０４で、プロセッシング要素３４０（図３）は、ＨＭＤ３００（図３）に取り付けられている慣性センサ２３８（図２）から慣性測定データを取得してよい。例えば、一態様において、プロセッシング要素３４０（図３）は、慣性センサ２３８から、例えば、１つ以上のケーブル及び／又は配線２４０（図３）を介して、慣性センサ２３８（図２）の現在の加速度、慣性センサ２３８（図２）の向き（ｑ）、慣性センサ２３８（図２）における加速度計のバイアス（ｂｆ）、慣性センサ２３８（図２）におけるジャイロスコープのバイアス（ｂｗ）、及び慣性センサ２３８（図２）における圧力センサのバイアス（ｂｐ）を受信してよい。一態様において、プロセッシング要素３４０は、現在の加速度を積分することによって、慣性センサ２３８（図２）の速度（ｖ）を計算してよい。プロセッシング要素３４０（図３）は更に、決定された速度（ｖ）を積分することによって、慣性センサ２３８（図２）の位置（ｒ）を計算してよい。

ブロック５０６で、プロセッシング要素３４０（図３）は、拡張カルマンフィルタ（Extended Kalman Filter）（ＥＫＦ）を用いて、例えば、ブロック５０２で取得された画像データと、例えば、ブロック５０４で取得された慣性測定データとにフィルタをかけてよい。例えば、一態様において、プロセッシング要素３４０（図３）は、次のフィルタ状態：

ｘ：＝（ｒ，ｖ，ｑ，ｂｆ，ｂｗ，ｂｐ，μＡ０，・・・，μＡｎ，ρＡ０，・・・ρＡｎ，μＢ０，・・・，μＢｎ，ρＢ０，・・・，ρＢｎ）

ｒ：慣性センサの位置
ｖ：慣性センサの速度
ｑ：慣性センサの向き
ｂｆ：加速度計バイアス
ｂｗ：ジャイロスコープバイアス
ｂｐ：圧力センサバイアス
μＡｉ：特徴ｉへのベアリングベクトル
ρＡｉ：特徴ｉの距離パラメータ
μＢｉ：特徴ｉへのベアリングベクトル
ρＢｉ：特徴ｉの距離パラメータ

を用いて画像データ及び慣性測定データにフィルタをかけてよい。

ＥＫＦを用いて、プロセッシング要素３４０（図３）は、画像データ（例えば、μＡｉ、ρＡｉ、μＢｉ、及びρＢｉ）及び慣性測定データ（例えば、ｒ、ｖ、ｑ、ｂｆ、ｂｗ、及びｂｐ）の全てを処理して、夫々の特徴ｉについて３Ｄ位置の全体で最良の推定を生成し得る。

ブロック５０８で、プロセッシング要素３４０（図３）は、Ｎ個の視覚的特徴のうちの各特徴の位置（例えば、３Ｄ位置）を追跡してよい。例えば、一態様において、プロセッシング要素３４０（図３）は、例えば、ブロック５０２で、直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上から新しい画像データを取得してよい。新たに取得された画像データは、異なるカメラ姿勢から捕捉されてよい。例えば、ＨＭＤ３００（図３）に取り付けられている直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上の姿勢は、ＨＭＤのユーザが彼らの頭を左及び／又は右に回したり、新しい場所へ移動したり、あるいは、ＨＭＤ３００（図３）の位置及び／又は向きを別なふうに調整したりする場合に変化し得る。よって、プロセッシング要素３４０（図３）は、その異なるカメラ姿勢に対して、取得された画像データにおける各特徴ｉの３Ｄ位置を推定し直してよい。プロセッシング要素３４０（図３）はまた、ＨＭＤのユーザがＨＭＤ３００（図３）の位置及び／又は向きを調整する場合に、例えば、ブロック５０４で、慣性センサ２３８（図２）から新しい慣性測定データを取得してよい。プロセッシング要素３４０（図３）は次いで、新たに取得された画像データ及び／又は慣性測定データに基づき、例えば、ブロック５０６で、ＥＫＦフィルタ状態の１つ以上のパラメータを更新して、Ｎ個の視覚的特徴に含まれる各特徴ｉの３Ｄ位置の新しい全体として最良の推定を生成してよい。

ブロック５１０で、ヘルメット装着式ディスプレイポッドは、Ｎ個の視覚的特徴の追跡された３Ｄ位置を表示してよい。一態様において、プロセッシング要素３４０（図３）は、Ｎ個の視覚的特徴のうちの各特徴ｉの３Ｄ位置の全体として最良の推定をヘルメット装着式ディスプレイポッド（図３）へ連続的に送信するよう構成されてよい。例えば、プロセッシング要素３４０（図３）は、例えば、ブロック５０８で、取得されたＮ個の視覚的特徴の３Ｄ位置の全体として最良の推定を、１つ以上のケーブル及び／又は配線２４０（図２）を介してヘルメット装着式ディスプレイポッドへ送信してよい。ヘルメット装着式ディスプレイポッド（図３）は次いで、Ｎ個の視覚的特徴の３Ｄ位置の全体として最良の推定を代表位置視覚画像情報に組み立て、その代表位置視覚画像情報をＬＯＥ３２０（図３）で表示するよう構成されてよい。例えば、代表位置視覚画像情報は、ＨＭＤのユーザの視点から、夫々の視覚的特徴の推定された位置が現実世界における対応するランドマークの上に重ね合わされるように、ＬＯＥ３２０（図３）で表示されてよい。

更なる、又は代替的な態様では、ヘルメット装着式ディスプレイポッドは、ユーザ（例えば、ＨＭＤ３００）の位置を表す視覚画像情報をＬＯＥ３２０（図３）で表示するよう構成されてよい。例えば、一態様において、プロセッシング要素３４０（図３）は、Ｎ個の視覚的特徴の追跡された３Ｄ位置に基づき、ＨＭＤ３００が起動した場所に対するＨＭＤ３００の位置を推定してよい。当然ながら、ヘルメット装着式ディスプレイポッドはまた、ユーザの及び／又は視覚的特徴の位置に関する他の視覚画像情報を表示するよう構成されてよい。

図６は、図２及び図３の例となるナビゲーションシステムにおける慣性センサ２３８（図２）及びヘルメット装着式ディスプレイポッド（図３）の間のボアサイトキャリブレーションを自動的に実行する方法のフローチャート６００である。例えば、一態様において、慣性センサ２３８（図２）の向き（例えば、回転）及びヘルメット装着式ディスプレイポッド（図３）の向きは、夫々の特徴の推定された位置を表す視覚情報が実際の場面内の対応するランドマークの上に正確に投影されるように、自動的にアライメントされてよい。

ブロック６０２で、ジャイロスコープ３１０（図３）は、ＨＭＤ３００（図３）に取り付けられているヘルメット装着式ディスプレイポッド（図３）の回転を検出するよう構成されてよい。例えば、ＨＭＤ３００（図３）の第１ユーザは、ＨＭＤ３００（図３）の額部端に対して第１取り付け角度でヘルメット装着式ディスプレイポッド（図３）を取り付けてよく、それにより、ヘルメット装着式ディスプレイポッド（図３）のＬＯＥ３２０（図３）が第１ユーザの目の前に位置付けられるようにする。しかし、ＨＭＤ３００（図３）の第２ユーザは、ＬＯＥ３２０（図３）が第２ユーザの目の前に位置付けられるように、ＨＭＤ３００の額部端に対して第２取り付け角度でヘルメット装着式ディスプレイポッド（図３）を取り付けるよう選択してよい。このように、ＨＭＤ３００（図３）の第２ユーザは、ヘルメット装着式ディスプレイポッド（図３）を第１取り付け位置から第２取り付け位置へ動かし（例えば、回転し）得る。その上、ＨＭＤ３００（図３）のヘルメット装着式ディスプレイポッドは、第２ユーザが自身の頭を左、右、上及び／又は下に動かす場合に回転し得る。一態様において、ヘルメット装着式ディスプレイポッド（図３）におけるジャイロスコープ３１０（図３）は、ヘルメット装着式ディスプレイポッド（図３）の回転（例えば、ロール、ピッチ、及びヨー）を検出し測定してよい。

ブロック６０４で、慣性センサ２３８（図２）におけるジャイロスコープ（図示せず。）は、ＨＭＤ３００（図３）に取り付けられている慣性センサ２３８（図２）の回転を検出するよう構成されてよい。慣性センサ２３８は、例えば、ＨＭＤ３００の第２ユーザが自身の頭を左、右、上及び／又は下に動かす場合に回転し得る。一態様において、慣性センサ２３８（図２）におけるジャイロスコープは、慣性センサ２３８（図２）の回転を検出し測定してよい。

当然ながら、慣性センサ２３８（図２）は、直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上に近接近して（例えば、数インチ内で）ＨＭＤ３００に取り付けられてよい。よって、慣性センサ２３８（図２）の回転は、直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上の回転に近似的に対応し得る。

ブロック６０６で、プロセッシング要素３４０（図３）は、例えば、ブロック６０２及び６０４で取得された回転情報に基づき、ヘルメット装着式ディスプレイポッド（図３）の回転と慣性センサ２３８（図２）の回転との間のオフセットを決定するよう構成されてよい。一態様において、プロセッシング要素３４０（図３）は、例えば、インターフェイスボックス並びに１つ以上のケーブル及び／又は配線２４０（図２）を介して、ヘルメット装着式ディスプレイポッド（図３）におけるジャイロスコープ３１０（図３）及び慣性センサ２３８（図２）におけるジャイロスコープ（図示せず。）の両方から回転情報を取得してよい。一態様において、プロセッシング要素３４０は、例えば、地面に対して、ヘルメット装着式ディスプレイポッド（図３）におけるジャイロスコープ３１０（図３）の回転と慣性センサ２３８（図２）におけるジャイロスコープの回転との間の回転オフセットを計算してよい。

ブロック６０８で、プロセッシング要素３４０（図３）は、ヘルメット装着式ディスプレイポッド（図３）におけるジャイロスコープ３１０（図３）の回転を、慣性センサ２３８（図２）におけるジャイロスコープの回転とアライメント（例えば、較正）するよう構成されてよい。例えば、一態様において、プロセッシング要素３４０は、ジャイロスコープ間の回転オフセットがゼロまで小さくなるように、ジャイロスコープ３１０（図３）の回転及び／又は慣性センサ２３８（図２）の回転を調整するよう構成されてよい。

当然ながら、慣性センサ２３８（図２）の向きをジャイロスコープ３１０（図３）の向きと自動的にアライメントする方法６００は、ＨＭＤ３００の環境内の視覚的特徴の３Ｄ位置を追跡し表示する方法５００（図５）がプロセッシング要素３４０（図３）によって実行される前、その間、及び／又はその後に実装されてよい。

図７は、本開示の態様に従って、ステレオカメラ構成（例えば、第１モノキュラーナビゲーションシステム及び第２モノキュラーナビゲーションシステム）を検出し自動的に較正する方法のフローチャート７００である。例えば、一態様において、図８を参照すると、第１モノキュラーナビゲーションシステム８１０は、ＨＭＤ３００（図３）の第１の側に取り付けられている慣性センサ２３８（図２）及び直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上を含んでよい。この態様において、第２モノキュラーナビゲーションシステム８２０は、ＨＭＤ３００（図３）の第２の側に取り付けられている慣性センサ２３８（図２）及び直射日光撮像装置２３０（図２）、屋内照明撮像装置２３２（図２）、又は暗視撮像装置２３４（図２）のうちの２つ以上を含んでよい。一態様において、ヘルメット装着式ディスプレイポッド（図３）も、ＨＭＤ３００（図３）の額部端に取り付けられてよい。例えば、一態様において、第１モノキュラーナビゲーションシステム８１０は、ヘルメット装着式ディスプレイポッド（図３）に対する第１位置オフセットでＨＭＤ３００の第１の側に取り付けられてよい。同様に、この態様において、第２モノキュラーナビゲーションシステム８２０は、ヘルメット装着式ディスプレイポッド（図３）に対する第２位置オフセット（例えば、第１位置オフセットよりも大きい位置オフセット）でＨＭＤ３００の第２の側に取り付けられてよい。更に、一態様において、プロセッシング要素３４０は、第１モノキュラーナビゲーションシステム８１０、第２モノキュラーナビゲーションシステム８２０、及び／又はヘルメット装着式ディスプレイポッド（図３）へ結合され、それらと通信してよい。

更に、当然ながら、ステレオカメラ構成の使用は、ロバスト性を改善するとともに、他の特徴及び／又は利点を提供し得る。例えば、一態様において、第１モノキュラーナビゲーションシステム８１０及び第２モノキュラーナビゲーションシステム８２０は夫々、図５に関連して本明細書で記載されるように、ＨＭＤ３００の環境内の視覚的ランドマークの位置及び向きを独立して追跡するよう構成されてよい。第１モノキュラーナビゲーションシステム８１０及び第２モノキュラーナビゲーションシステム８２０が較正される場合に、プロセッシング要素３４０は、ユーザ（例えば、ステレオナビゲーションシステム）の位置及び／又は視覚的ランドマークの位置をより正確に推定するよう、第１モノキュラーナビゲーションシステム８１０及び第２モノキュラーナビゲーションシステム８２０から取得された情報を結合してよい。ヘルメット装着式ディスプレイポッド（図３）は次いで、ユーザ及び／又はランドマークの位置に関する他の情報とともに、視覚的ランドマークの推定された位置を実際の場面内の対応するランドマークの上に、及び／又はユーザの推定された位置を実際の場面の上に重ね合わせるよう構成されてよい。

再び図７を参照すると、本開示の態様に従って使用される第１モノキュラーナビゲーションシステム８１０（図８）及び第２モノキュラーナビゲーションシステム８２０（図８）を検出し自動的に較正する方法が、表されている。ブロック７０２で、プロセッシング要素３４０（図３）は、第１モノキュラーナビゲーションシステム８１０（図８）がＨＭＤ３００（図３）の左側又は右側に取り付けられているかどうかを判定するよう構成されてよい。例えば、一態様において、第１モノキュラーナビゲーションシステム８１０（図８）の第１慣性センサにおける第１加速度計は、第１慣性センサの加速度（例えば、重力）を測定してよい。第１慣性センサは、加速度の値をプロセッシング要素３４０（図３）へ送ってよい。プロセッシング要素３４０（図３）は次いで、加速度の値が正又は負であるかどうかを判定してよい。加速度が正の値である場合には、プロセッシング要素３４０は、第１ナビゲーションシステムがヘルメットの左側に取り付けられている（例えば、第１慣性センサは上側を下向きに取り付けられている）と決定してよい。加速度が負の値である場合には、プロセッシング要素３４０は、第１ナビゲーションシステムがヘルメットの右側に取り付けられている（例えば、第１慣性センサは下側をした向きに取り付けられている）と決定してよい。

ブロック７０４で、プロセッシング要素３４０（図３）は、第２モノキュラーナビゲーションシステム８２０（図８）がＨＭＤ３００（図３）の左側又は右側に取り付けられているかどうかを判定するよう構成されてよい。例えば、一態様において、第２モノキュラーナビゲーションシステム８２０（図８）の第２慣性センサにおける第２加速度計は、第２慣性センサの加速度（例えば、重力）を測定してよい。第２慣性センサは、加速度の値をプロセッシング要素３４０（図３）へ送ってよい。プロセッシング要素３４０（図３）は次いで、加速度の値が正又は負であるかどうかを判定してよい。加速度が正の値である場合には、プロセッシング要素３４０は、第２ナビゲーションシステムがヘルメットの左側に取り付けられている（例えば、第２慣性センサは上側を下向きに取り付けられている）と決定してよい。加速度が負の値である場合には、プロセッシング要素３４０は、第２ナビゲーションシステムがヘルメットの右側に取り付けられている（例えば、第２慣性センサは下側をした向きに取り付けられている）と決定してよい。

ブロック７０６で、プロセッシング要素３４０（図３）は、ヘルメット装着式ディスプレイポッド（図３）に対する第１モノキュラーナビゲーションシステム８１０の位置オフセットを決定するよう構成されてよい。一態様において、第１モノキュラーナビゲーションシステム８１０の位置オフセットは、例えば、テーブル又はデータ配列において格納された値であってよい。例えば、第１ナビゲーションシステムがＨＭＤ３００（図３）の左側又は右側に取り付けられていると、例えば、ブロック７０２で決定するとき、プロセッシング要素３４０（図３）は、左側及び右側に夫々対応する第１位置オフセット又は第２位置オフセットのいずれかをテーブル又はデータ配列から取り出してよい。

ブロック７０８で、プロセッシング要素３４０（図３）は、ヘルメット装着式ディスプレイポッド（図３）に対する第２モノキュラーナビゲーションシステム８２０の位置オフセットを決定するよう構成されてよい。一態様において、第２モノキュラーナビゲーションシステム８２０の位置オフセットは、例えば、テーブル又はデータ配列において格納された値であってよい。例えば、第２ナビゲーションシステムがＨＭＤ３００（図３）の左側又は右側に取り付けられていると、例えば、ブロック７０４で決定するとき、プロセッシング要素３４０（図３）は、左側及び右側に夫々対応する第１位置オフセット又は第２位置オフセットのいずれかをテーブル又はデータ配列から取り出してよい。

ブロック７１０で、プロセッシング要素３４０（図３）は、第１モノキュラーナビゲーションシステム８１０（図８）及び第２モノキュラーナビゲーションシステム８２０（図８）をアライメントするよう構成されてよい。例えば、一態様において、プロセッシング要素３４０（図３）は、例えば、ブロック７０６で決定された第１モノキュラーナビゲーションシステム８１０の位置オフセットに基づき、第１モノキュラーナビゲーションシステム８１０（図８）をＨＭＤ３００（図３）のヘルメット装着式ディスプレイポッド（図３）と自動的にアライメント（例えば、較正）してよい。プロセッシング要素３４０は、同様に、例えば、ブロック７０８で決定された第２モノキュラーナビゲーションシステム８２０の位置オフセットに基づき、第２モノキュラーナビゲーションシステム８２０（図８）をＨＭＤ３００（図３）のヘルメット装着式ディスプレイポッド（図３）に対して較正してよい。然るに、第１モノキュラーナビゲーションシステム８１０（図８）及び第２モノキュラーナビゲーションシステム８２０（図８）の相対位置は、お互いとアライメントされ得る。

図９は、本明細書で提示される態様に従って使用される様々なハードウェアコンポーネント及び他の機構の例となるシステム図を提示する。態様は、ハードウェア、ソフトウェア、又はそれらの組み合わせを用いて実装されてよく、１つ以上のコンピュータシステム又は他のプロセッシングシステムで実装されてよい。一例において、態様は、例えば、図５、図６、及び図７に関連して、本明細書で記載される機能を実行することができる１つ以上のコンピュータシステムを含んでよい。そのようなコンピュータシステム９００の例が図９に示される。

コンピュータシステム９００は、プロセッサ９０４のような、１つ以上のプロセッサを含む。プロセッサ９０４は、図２及び図３に関連して記載されたプロセッシング要素３４０に対応してよい。プロセッサ９０４は、通信インフラストラクチャ９０６（例えば、通信バス、クロスオーバー・バー、又はネットワーク）へ接続されている。様々なソフトウェア態様が、この例となるコンピュータシステムに関して記載される。この記載を読んだ後に、本明細書で提示されている態様を他のコンピュータシステム及び／又はアーキテクチャを用いて如何に実装すべかが、当業者に明らかになるだろう。

コンピュータシステム９００は、通信インフラストラクチャ９０６から（又は図示されないフレームバッファ）からのグラフィクス、テキスト、及び他のデータを表示ユニット９３０での表示のために転送する表示インターフェイス９０２を含むことができる。コンピュータシステム９００は、メインメモリ９０８、望ましくはランダムアクセスメモリ（ＲＡＭ）を更に含み、更には、二次メモリ９１０を含んでもよい。二次メモリ９１０は、例えば、ハードディスクドライブ９１２及び／又はリムーバブルストレージドライブ９１４（フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、などを表す。）を含んでよい。リムーバブルストレージドライブ９１４は、よく知られた方法でリムーバブルストレージユニット９１８に対してリード及び／又はライトを行う。リムーバブルストレージユニット９１８は、リムーバブルストレージドライブ９１４によって読み出され且つそれに書き込まれるフロッピーディスク、磁気テープ、光ディスク、などを表す。明らかなように、リムーバブルストレージユニット９１８は、コンピュータソフトウェア及び／又はデータを記憶しているコンピュータ使用可能な記憶媒体を含む。

代替の態様では、二次メモリ９１０は、コンピュータプログラム又は他の命令がコンピュータシステム９００にロードされることを可能にする他の同様の装置を含んでよい。そのような装置は、例えば、リムーバブルストレージユニット９２２及びインターフェイス９２０を含んでよい。そのような例は、プログラムカートリッジ及びカートリッジインターフェイス（例えば、ビデオゲーム機で見られるようなもの）、リムーバブルメモリチップ（例えば、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ）又はプログラム可能リードオンリーメモリ（ＰＲＯＭ））及び関連するソケット、並びに他のリムーバブルストレージユニット９２２及びインターフェイス９２０を含んでよく、これらは、ソフトウェア及びデータがリムーバブルストレージユニット９２２からコンピュータシステム９００に移動されることを可能にする。

コンピュータシステム９００は、通信インターフェイス９２４を更に含んでよい。通信インターフェイス９２４は、ソフトウェア及びデータがコンピュータシステム９００と外部装置との間で転送されることを可能にする。通信インターフェイス９２４の例には、モデム、ネットワークインターフェイス（例えば、イーサネット（登録商標）カード）、通信ポート、パーソナル・コンピュータ・メモリ・カード・インターナショナル・アソシエーション（ＰＣＭＣＩＡ）スロット及びカード、などが含まれ得る。通信インターフェイス９２４を介して転送されるソフトウェア及びデータは、信号９２９の形をとる。信号９２９は、通信インターフェイス９２４によって受信されることが可能な電子、電磁気、光又は他の信号であってよい。それらの信号９２９は、通信経路（例えば、チャネル）９２６を介して通信インターフェイス９２４へ供給される。この経路９２６は、信号９２９を運び、そして、配線若しくはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（ＲＦ）リンク及び／又は他の通信チャネルを用いて実装されてよい。本明細書において、“コンピュータプログラム媒体”及び“コンピュータ使用可能な媒体”との語は、リムーバブルストレージドライブ９１４、ハードディスクドライブ９１２に設置されたハードディスク、及び信号９２９のような媒体を概して指すために使用される。それらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステム９００へ供給する。本明細書で提示される態様は、そのようなコンピュータプログラム製品を含んでよい。

コンピュータプログラム（コンピュータ制御ロジックとも呼ばれる。）は、メインメモリ９０８及び／又は二次メモリ９１０に記憶されている。コンピュータプログラムはまた、通信インターフェイス９２４を介して受け取られてもよい。そのようなコンピュータプログラムは、実行される場合に、本明細書で説明されているように、本明細書で提示されている機能を実行することをコンピュータシステム９００に可能にする。特に、コンピュータプログラムは、実行される場合に、本明細書で提示されている特徴を実行することをプロセッサ９０４に可能にする。然るに、そのようなコンピュータプログラムは、コンピュータシステム９００のコントローラを表す。

ソフトウェアを用いて実装される態様において、ソフトウェアは、コンピュータプログラム製品において記憶され、リムーバブルストレージドライブ９１４、ハードディスクドライブ９１２、又は通信インターフェイス９２４を用いてコンピュータシステム９００にロードされてよい。制御ロジック（ソフトウェア）は、プロセッサ９０４によって実行される場合に、プロセッサ９０４に、本明細書で記載される機能を実行させる。他の例では、態様は、例えば、特定用途向け集積回路（ＡＳＩＣ）のようなハードウェアコンポーネントを用いて主としてハードウェアにおいて実装されてよい。本明細書で提示されている機能を実行するためのハードウェア状態機械の実装は、当業者に明らかだろう。

更なる他の例では、本明細書で提示されている態様は、ハードウェア及びソフトウェアの両方の組み合わせを用いて実装されてよい。

図１０は、本開示の態様に従って使用され得る様々な例となるシステムコンポーネントのブロック図を表す。システム１０００は、１つ以上のアクセサ１０６０、１０６２（同義的に本明細書では１以上の“ユーザ”とも呼ばれる。）と、１つ以上の端末１０４２、１０６６（そのような端末は、例えば、図２、図３、及び図８で表されたナビゲーションシステムの様々な機構であってよく、あるいは、それらの機構を含んでよい。）とを含む。一態様において、本開示の態様に従って使用されるデータは、例えば、ネットワーク１０４４（例えば、インターネット又はイントラネット）及び結合１０４５、１０４６、１０６４を介してサーバ１０４３（例えば、ＰＣ、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、又はプロセッサ並びにデータのためのレポジトリ及び／又はデータのためのレポジトリへの接続を備えた他の装置）へ結合された端末１０４２、１０６６（例えば、パーソナルコンピュータ（ＰＣ）、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話機、又はパーソナルデジタルアシスタント（ＰＤＡ）若しくは携帯型無線装置のような無線装置）を通してアクセサ１０６０、１０６２によって入力及び／又はアクセスされる。結合１０４５、１０４６、１０６４は、例えば、有線、無線、又は光ファイバリンクを含む。他の変形例では、本開示の対象に従う方法及びシステムは、スタンドアローンの環境において、例えば、単一の端末上で動作する。

本明細書で記載される態様は、上記の例となる態様と関連して記載されてきたが、様々な代替、変更、変形、改善、及び／又は実質的同等物は、知られていようと又は現在予期せぬものであろうと、少なくとも当業者に明らかになり得る。然るに、上記の例となる態様は、限定ではなく実例であるよう意図される。様々な変更は、本開示の精神及び適用範囲から逸脱することなしに行われ得る。そのため、本開示は、全ての知られている又は後に開発される代替、変更、変形、改善、及び／又は実質的同等物を包含するよう意図される。

よって、特許請求の範囲は、本明細書で示されている態様に制限されるよう意図されず、特許請求の範囲の文言に一致する全範囲を与えられるべきである。単数での要素への言及は、特にそのように述べられない限りは“唯一無二”（one and only one）を意味するよう意図されず、むしろ“１つ以上”（one or more）を意味する。当業者に知られているか又は後に知られるようになる、本開示を通して記載される様々な態様の要素と機能的及び構造的に同等である全てのものは、参照により本願に明らかに組み込まれ、特許請求の範囲によって包含されるよう意図される。更に、本明細書で開示されているものは、そのような開示が特許請求の範囲で明示的に列挙されているかどうかにかかわらず、一般に公開されているよう意図されない。クレーム要素は、その要素が“〜する手段”との語句を用いて明示的に列挙されない限りは、ミーンズ・プラス・ファンクション（means plus function）と解釈されるべきではない。

開示されているプロセス／フローチャートにおけるブロックの具体的な順序又は階層は、例となるアプローチの実例であることが理解される。設計好みに基づき、プロセス／フローチャートにおけるブロックの具体的な順序又は階層は、再配置されてよいことが理解される。更に、いくつかのブロックは結合又は削除されてもよい。付随する方法クレームは、サンプル順序で様々なブロックの要素を示し、示されている具体的な順序又は階層に制限されるよう意図されない。

上記の説明は、本明細書で記載されている様々な態様を実施することを当業者に可能にするために与えられている。それらの態様に対する様々な変更は、当業者に容易に明らかであり、本明細書で定義される一般原理は、他の態様に適用されてよい。よって、特許請求の範囲は、本明細書で示されている態様に制限されるよう意図されず、特許請求の範囲の文言に一致する全範囲を与えられるべきである。単数での要素への言及は、特にそのように述べられない限りは“唯一無二”（one and only one）を意味するよう意図されず、むしろ“１つ以上”（one or more）を意味する。“例となる”（exemplary）との語は、“例（example）、事例（instance）、又は実例（illustration）となる”を意味するために本明細書で使用される。“例となる”よう本明細書で記載されている如何なる態様も、必ずしも、他の態様に対して好ましい又は有利であると解釈されるべきではない。別なふうに特段述べられない限りは、“いくつかの”（some）との語は１つ以上を指す。“Ａ、Ｂ又はＣのうちの少なくとも１つ”（at least one of A, B, or C）、“Ａ、Ｂ及びＣのうちの少なくとも１つ”（at least one of A, B, and C）、及び“Ａ、Ｂ、Ｃ、又はそれらのあらゆる組み合わせ”（A, B, C, or any combination thereof）は、Ａ、Ｂ及び／又はＣの如何なる組み合わせも含み、複数のＡ、複数のＢ、又は複数のＣを含んでもよい。具体的に、“Ａ、Ｂ又はＣのうちの少なくとも１つ”（at least one of A, B, or C）、“Ａ、Ｂ及びＣのうちの少なくとも１つ”（at least one of A, B, and C）、及び“Ａ、Ｂ、Ｃ、又はそれらのあらゆる組み合わせ”（A, B, C, or any combination thereof）のような組み合わせは、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、又はＡ及びＢ及びＣであってよい。如何なるそのような組み合わせも、Ａ、Ｂ又はＣのうちの１つ以上を含んでよい。当業者に知られているか又は後に知られるようになる、本開示を通して記載される様々な態様の要素と機能的及び構造的に同等である全てのものは、参照により本願に明らかに組み込まれ、特許請求の範囲によって包含されるよう意図される。更に、本明細書で開示されているものは、そのような開示が特許請求の範囲で明示的に列挙されているかどうかにかかわらず、一般に公開されているよう意図されない。クレーム要素は、その要素が“〜する手段”との語句を用いて明示的に列挙されない限りは、ミーンズ・プラス・ファンクション（means plus function）と解釈されるべきではない。

［関連出願の相互参照］
本願は、２０１６年６月２日付けで出願された米国特許仮出願第６２／３４４８４３号及び２０１７年５月３１日付けで出願された米国特許出願第１５／６０９６６９号に基づく優先権を主張するものである。なお、これらの特許出願の内容は、その全文を参照により本願に援用される。

Claims (20)

1. ビジョン慣性ナビゲーションのための方法であって、
   第１ナビゲーションサブシステムの、照明条件の第１範囲において画像を捕捉する第１太陽光撮像装置、照明条件の第２範囲において画像を捕捉する第１屋内照明撮像装置、及び照明条件の第３範囲において画像を捕捉する第１暗視撮像装置の夫々から、環境の視覚的特徴を捕捉する画像データを受けることであり、前記照明条件の第１範囲、前記照明条件の第２範囲、及び前記照明条件の第３範囲は互いに異なる、前記画像データを受けることと、
   前記第１ナビゲーションサブシステムの第１慣性センサから第１慣性測定データを受けることと、
   前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置から受け取られた前記画像データと、前記第１慣性センサから受け取られた前記第１慣性測定データとに基づき、前記視覚的特徴の位置を追跡することと、
   複数の前記追跡する位置を代表位置視覚画像情報に組み立てることと、
   前記代表位置視覚画像情報を表示することと
   を有する方法。
2. 拡張カルマンフィルタを、前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置から受け取られた前記画像データと、前記第１慣性センサから受け取られた前記第１慣性測定データとのうちの少なくとも１つに適用することを更に有する
   請求項１に記載の方法。
3. 前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置は、ヘルメット装着式ディスプレイに取り付けられており、
   前記第１慣性センサは、前記ヘルメット装着式ディスプレイに取り付けられている、
   請求項１に記載の方法。
4. 前記代表位置視覚画像情報を、前記ヘルメット装着式ディスプレイに取り付けられたディスプレイポッドに送ることを更に有し、
   前記ディスプレイポッドは、前記代表位置視覚画像情報を透明表示装置で表示するよう構成される、
   請求項３に記載の方法。
5. 第２ナビゲーションサブシステムの第２太陽光撮像装置、第２屋内照明撮像装置、及び第２暗視撮像装置を含むグループから選択された２つ以上から前記画像データの少なくとも一部分を受けることと、
   前記第２ナビゲーションサブシステムの第２慣性センサから第２慣性測定データを受けることと
   を更に有し、
   前記第２ナビゲーションサブシステムの前記第２太陽光撮像装置、前記第２屋内照明撮像装置、及び前記第２暗視撮像装置のうちの前記２つ以上は、前記ヘルメット装着式ディスプレイに取り付けられており、
   前記第２ナビゲーションサブシステムの前記第２慣性センサは、前記ヘルメット装着式ディスプレイに取り付けられている、
   請求項４に記載の方法。
6. 前記視覚的特徴の位置を追跡することは、前記第２太陽光撮像装置、前記第２屋内照明撮像装置、及び前記第２暗視撮像装置のうちの前記２つ以上から受け取られた前記画像データと、前記第２慣性センサから受け取られた前記第２慣性測定データとに更に基づく、
   請求項５に記載の方法。
7. 前記ディスプレイポッドの回転と前記第１慣性センサ及び前記第２慣性センサのうちの少なくとも一方の回転との間の回転オフセットを決定することと、
   前記回転オフセットが小さくされるように前記第１慣性センサ及び前記第２慣性センサのうちの前記少なくとも一方と前記ディスプレイポッドとをアライメントすることと
   を更に有する
   請求項５に記載の方法。
8. 前記第１ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの左側又は右側に取り付けられているかどうかを判定することと、
   前記第２ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかを判定することと、
   夫々のサブシステムが前記左側又は前記右側に取り付けられているかどうかに基づき前記第１ナビゲーションサブシステム及び前記第２ナビゲーションサブシステムを較正することと
   を更に有する
   請求項５に記載の方法。
9. 第１ナビゲーションサブシステムと、
   命令を記憶するよう構成されたメモリと、
   前記メモリ及び前記第１ナビゲーションサブシステムへ通信上結合されたプロセッサと
   を有し、
   前記第１ナビゲーションサブシステムは、
   環境の視覚的特徴を捕捉する画像データを得るために、照明条件の第１範囲において画像を捕捉する第１太陽光撮像装置、照明条件の第２範囲において画像を捕捉する第１屋内照明撮像装置、及び照明条件の第３範囲において画像を捕捉する第１暗視撮像装置を含み、前記照明条件の第１範囲、前記照明条件の第２範囲、及び前記照明条件の第３範囲は互いに異なり、
   前記第１ナビゲーションサブシステムに関連した慣性測定データを得る第１慣性測定ユニットを含み、
   前記プロセッサは、前記命令を実行して、
   前記第１太陽光撮像装置、前記第１屋内照明撮像装置、又は前記第１暗視撮像装置から前記画像データを受け、
   前記第１慣性測定ユニットから前記慣性測定データを受け、
   前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置から受け取られた前記画像データと、前記第１慣性測定ユニットから受け取られた前記慣性測定データとに基づき、前記視覚的特徴の位置を追跡し、
   複数の前記追跡する位置を代表位置視覚画像情報に組み立て、
   前記代表位置視覚画像情報を表示する
   よう構成される、
   ビジョン慣性ナビゲーションシステム。
10. 少なくとも１つの発光ダイオードが、前記環境を照らすために前記第１暗視撮像装置へ結合される、
    請求項９に記載のビジョン慣性ナビゲーションシステム。
11. 前記プロセッサは更に、
    拡張カルマンフィルタを、前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置から受け取られた前記画像データと、前記第１慣性測定ユニットから受け取られた前記慣性測定データとのうちの少なくとも１つに適用する
    よう構成される、
    請求項９に記載のビジョン慣性ナビゲーションシステム。
12. ヘルメット装着式ディスプレイを更に有し、
    前記第１慣性測定ユニットと、前記第１太陽光撮像装置、前記第１屋内照明撮像装置、及び前記第１暗視撮像装置とは、前記ヘルメット装着式ディスプレイに取り付けられている、
    請求項９に記載のビジョン慣性ナビゲーションシステム。
13. 前記ヘルメット装着式ディスプレイに取り付けられたディスプレイポッドを更に有し、
    前記プロセッサは、前記ディスプレイポッドへ通信上結合され、前記プロセッサは更に、
    前記代表位置視覚画像情報を前記ディスプレイポッドへ送る
    よう構成され、
    前記ディスプレイポッドは、前記代表位置視覚画像情報を透明表示装置で表示するよう構成される、
    請求項１２に記載のビジョン慣性ナビゲーションシステム。
14. 第２ナビゲーションサブシステムを更に有し、該第２ナビゲーションサブシステムは、
    前記画像データの少なくとも一部分を得るために、第２太陽光撮像装置、第２屋内照明撮像装置、及び第２暗視撮像装置を含むグループから選択された２つ以上と、
    前記第２ナビゲーションサブシステムに関連した第２慣性測定データを得る第２慣性測定ユニットと
    を含み、
    前記第２太陽光撮像装置、前記第２屋内照明撮像装置、及び前記第２暗視撮像装置のうちの前記２つ以上は、前記ヘルメット装着式ディスプレイに取り付けられており、前記第２慣性測定ユニットは、前記ヘルメット装着式ディスプレイに取り付けられており、
    前記プロセッサは、前記第２ナビゲーションサブシステムへ通信上結合され、更には、
    前記第２太陽光撮像装置、前記第２屋内照明撮像装置、及び前記第２暗視撮像装置から選択された前記２つ以上から前記画像データの前記少なくとも一部分を受け、
    前記第２慣性測定ユニットから前記第２慣性測定データを受ける
    よう構成される、
    請求項１３に記載のビジョン慣性ナビゲーションシステム。
15. 少なくとも１つの発光ダイオードが、前記環境を照らすために前記第２暗視撮像装置へ結合される、
    請求項１４に記載のビジョン慣性ナビゲーションシステム。
16. 前記プロセッサは更に、前記第２太陽光撮像装置、前記第２屋内照明撮像装置、及び前記第２暗視撮像装置のうちの前記２つ以上から受け取られた前記画像データと、前記第２慣性測定ユニットから受け取られた前記第２慣性測定データとに基づき、前記視覚的特徴の前記位置を追跡するよう構成される、
    請求項１４に記載のビジョン慣性ナビゲーションシステム。
17. 前記プロセッサは更に、
    前記ディスプレイポッドの回転と前記第１慣性測定ユニット及び前記第２慣性測定ユニットのうちの少なくとも一方の回転との間の回転オフセットを決定し、
    前記回転オフセットが小さくされるように前記第１慣性測定ユニット及び前記第２慣性測定ユニットのうちの前記少なくとも一方と前記ディスプレイポッドとをアライメントする
    よう構成される、
    請求項１４に記載のビジョン慣性ナビゲーションシステム。
18. 前記プロセッサは更に、
    前記第１ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの左側又は右側に取り付けられているかどうかを判定し、
    前記第２ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかを判定する
    よう構成される、
    請求項１４に記載のビジョン慣性ナビゲーションシステム。
19. 前記プロセッサは更に、
    前記ディスプレイポッドの位置に対する前記第１ナビゲーションサブシステムの第１位置オフセットを決定し、該第１位置オフセットは、前記第１ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかに基づき決定され、
    前記ディスプレイポッドの位置に対する前記第２ナビゲーションサブシステムの第２位置オフセットを決定し、該第２位置オフセットは、前記第２ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかに基づき決定され、
    前記第１位置オフセット及び前記第２位置オフセットに基づき前記第１ナビゲーションサブシステム及び前記第２ナビゲーションサブシステムを較正する
    よう構成される、
    請求項１８に記載のビジョン慣性ナビゲーションシステム。
20. 前記第１ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかを判定するよう、前記プロセッサは更に、前記第１慣性測定ユニットにおける加速度計によって測定された加速度が正又は負の値であるかどうかを判定するよう構成され、
    前記第２ナビゲーションサブシステムが前記ヘルメット装着式ディスプレイの前記左側又は前記右側に取り付けられているかどうかを判定するよう、前記プロセッサは更に、前記第２慣性測定ユニットにおける加速度計によって測定された加速度が正又は負の値であるかどうかを判定するよう構成される、
    請求項１８に記載のビジョン慣性ナビゲーションシステム。

Images