JP2023509291A - ジョイント赤外および可視光視覚慣性オブジェクト追跡 - Google Patents

Abstract

一実施形態では、追跡のための方法が、ウェアラブルデバイスの動きセンサーによってキャプチャされた動きデータを受信することと、動きデータに基づいてウェアラブルデバイスのポーズを生成することと、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャすることと、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別することと、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャすることと、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、第１のフレーム中の光の識別されたパターンまたは第２のフレーム中の識別されたあらかじめ決定された特徴に基づいて、環境においてウェアラブルデバイスのポーズを調整することとを含む。本方法は、コントローラのポーズの精度を改善するために、特定の光条件下で可視光フレーム中でウェアラブルデバイスを追跡するために、あらかじめ決定された特徴を利用する。【選択図】図１

Description

本開示は、一般に赤外ベースオブジェクト追跡に関し、より詳細には、慣性支援赤外および可視光追跡のための方法、装置、およびシステムに関する。

現在のＡＲ／ＶＲコントローラは、コントローラ上の赤外（ＩＲ）発光ダイオード（ＬＥＤ）によって形成された既知のパターンを使用して追跡されている。各コントローラがＩＭＵを有し、ＩＭＵデータがコントローラのポーズを決定するために使用され得るが、推定されたポーズは、時間とともに必然的にずれることになる。したがって、周期的に、コントローラのＩＭＵベースポーズ推定は、カメラによって観測される観測されたパターンと再整合される必要がある。さらに、ＩＲ ＬＥＤに基づく追跡は、いくつかの短所を有する。たとえば、明るい日光または他の赤外光源は、追跡を失敗させる。さらに、コントローラがユーザの頭部に近いとき、ＩＲ ＬＥＤは、適切な追跡を可能にするために可視でないことがある。

上記の問題に対処するために、カメラによって赤外（ＩＲ）ベース追跡と視覚慣性オドメトリ（ＶＩＯ：ｖｉｓｕａｌ ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ）追跡とを交互に実施することなど、オブジェクトの短い露光フレームと長い露光フレームとを交互にキャプチャすることによってコントローラを追跡するための方法、装置、およびシステムが開示される。本開示は、より短い露光時間をもつコントローラのＩＲ画像とより長い露光時間をもつ可視光画像とを交互に撮ることによってコントローラのロケーションを再整合させるための方法を提供する。本出願で開示される方法は、ＩＲベース観測または可視光観測に基づいてコントローラを追跡するために環境の条件を考慮し得る。さらに、本出願で開示される方法は、コントローラの推定されたポーズの精度が時間とともに改善され得るように、周期的に、またはコントローラがカメラの視野において可視であるとき、コントローラの追跡を再始動し得る。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。方法の一実施形態によれば、本方法は、コンピューティングシステムによって、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することを含む。本方法は、動きデータに基づいてウェアラブルデバイスのポーズを生成することをさらに含む。本方法は、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャすることをまたさらに含む。本方法は、追加として、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別することを含む。本方法は、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャすることをさらに含む。本方法は、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別することをさらに含む。特定の実施形態では、あらかじめ決定された特徴は、前のフレーム中で識別された特徴であり得る。本方法は、（１）第１のフレーム中の光の識別されたパターンまたは（２）第２のフレーム中の識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境においてウェアラブルデバイスのポーズを調整することをまたさらに含む。

本発明の一態様によれば、コンピューティングシステムによって、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、動きデータに基づいてウェアラブルデバイスのポーズを生成することと、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャすることと、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別することと、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャすることと、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、（１）第１のフレーム中の光の識別されたパターンまたは（２）第２のフレーム中の識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境においてウェアラブルデバイスのポーズを調整することとを含む、方法が提供される。

いくつかの実施形態は、環境が第１の光条件を有するとき、第１の露光時間を使用してウェアラブルデバイスの第１のフレームをキャプチャし得、環境が第２の光条件を有するとき、第２の露光時間を使用してウェアラブルデバイスの第２のフレームをキャプチャすること。

いくつかの実施形態では、第２の光条件は、環境が明るい光を有すること、環境が、ウェアラブルデバイスの光のパターンに干渉することになる光源を有すること、およびカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。

いくつかの実施形態では、ウェアラブルデバイスは、１つまたは複数の慣性測定ユニット（ＩＭＵ）と１つまたは複数の赤外（ＩＲ）発光ダイオード（ＬＥＤ）とを装備し得、第１のフレームはＩＲ画像であり、第２のフレームは可視光画像である。

いくつかの実施形態では、第２の露光時間は第１の露光時間よりも長いことがある。

いくつかの実施形態では、ウェアラブルデバイスのポーズは、第１のフレームおよび第２のフレームがキャプチャされる周波数よりも速い周波数において生成され得る。

いくつかの実施形態では、本方法は、第２の露光時間を使用してカメラによってウェアラブルデバイスの第３のフレームをキャプチャすることと、第３のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、あらかじめ決定された特徴と１つまたは複数の特徴との間の対応データを決定することと、対応データに基づいて環境においてウェアラブルデバイスを追跡することとをさらに含み得る。

いくつかの実施形態では、コンピューティングシステムは、ウェアラブルデバイスの第１のフレームおよび第２のフレームをキャプチャするように構成されたカメラと、ウェアラブルデバイスの光のパターンおよびあらかじめ決定された特徴を識別するように構成された識別ユニットと、ウェアラブルデバイスのポーズを調整するように構成されたフィルタユニットとを備え得る。

いくつかの実施形態では、カメラはヘッドマウントデバイス内に位置し得、ウェアラブルデバイスは、ヘッドマウントデバイスから分離されたコントローラである。

いくつかの実施形態では、ヘッドマウントデバイスは１つまたは複数のプロセッサを備え得、１つまたは複数のプロセッサは、カメラ、識別ユニット、およびフィルタユニットを実装するように構成される。

本発明のさらなる態様によれば、ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、ソフトウェアが、実行されたとき、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、動きデータに基づいてウェアラブルデバイスのポーズを生成することと、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャすることと、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別することと、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャすることと、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、（１）第１のフレーム中の光の識別されたパターンまたは（２）第２のフレーム中の識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境においてウェアラブルデバイスのポーズを調整することとを行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体が提供される。

いくつかの実施形態では、ソフトウェアは、実行されたとき、環境が第１の光条件を有するとき、第１の露光時間を使用してウェアラブルデバイスの第１のフレームをキャプチャすることと、環境が第２の光条件を有するとき、第２の露光時間を使用してウェアラブルデバイスの第２のフレームをキャプチャすることとを行うようにさらに動作可能であり得る。

いくつかの実施形態では、第２の光条件は、環境が明るい光を有すること、環境が、ウェアラブルデバイスの光のパターンに干渉することになる光源を有すること、およびカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。

いくつかの実施形態では、ウェアラブルデバイスは、１つまたは複数の慣性測定ユニット（ＩＭＵ）と１つまたは複数の赤外（ＩＲ）発光ダイオード（ＬＥＤ）とを装備し得、第１のフレームはＩＲ画像であり、第２のフレームは可視光画像である。

いくつかの実施形態では、第２の露光時間は第１の露光時間よりも長いことがある。

いくつかの実施形態では、ウェアラブルデバイスのポーズは、第１のフレームおよび第２のフレームがキャプチャされる周波数よりも速い周波数において生成され得る。

いくつかの実施形態では、ソフトウェアは、実行されたとき、第２の露光時間を使用してカメラによってウェアラブルデバイスの第３のフレームをキャプチャすることと、第３のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、あらかじめ決定された特徴と１つまたは複数の特徴との間の対応データを決定することと、調整されたポーズと対応データとに基づいて環境においてウェアラブルデバイスを追跡することとを行うようにさらに動作可能であり得る。

いくつかの実施形態では、カメラはヘッドマウントデバイス内に位置し得、ウェアラブルデバイスは、ヘッドマウントデバイスから分離されたリモートコントローラである。

本発明のさらなる態様によれば、１つまたは複数のプロセッサと、プロセッサのうちの１つまたは複数に結合され、命令を備える、１つまたは複数のコンピュータ可読非一時的記憶媒体とを備えるシステムであって、命令が、プロセッサのうちの１つまたは複数によって実行されたとき、システムに、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、動きデータに基づいてウェアラブルデバイスのポーズを生成することと、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャすることと、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別することと、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャすることと、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、（１）第１のフレーム中の光の識別されたパターンまたは（２）第２のフレーム中の識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境においてウェアラブルデバイスのポーズを調整することとを行わせるように動作可能である、システムが提供される。

いくつかの実施形態では、命令は、システムに、環境が第１の光条件を有するとき、第１の露光時間を使用してウェアラブルデバイスの第１のフレームをキャプチャすることと、環境が第２の光条件を有するとき、第２の露光時間を使用してウェアラブルデバイスの第２のフレームをキャプチャすることとをさらに行わせ得る。

本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

本開示のいくつかの態様およびそれらの実施形態は、これらまたは他の課題のソリューションを提供し得る。本明細書で開示される問題点のうちの１つまたは複数に対処する様々な実施形態が、本明細書で提案される。本開示で開示される方法は、ヘッドマウントデバイスのカメラによってキャプチャされたＩＲ画像および／または可視光画像に基づいて、コントローラ上に配置された（１つまたは複数の）ＩＭＵから収集されたＩＭＵデータによって推定されたコントローラのポーズを調整する、コントローラのための追跡方法を提供し得る。本開示で開示される方法は、ユーザが様々な光条件または光干渉をもつ環境下にいる場合でも、コントローラのポーズの精度を改善し得る。さらに、本出願で開示される特定の実施形態は、電力を節約し、コントローラを製造するためのコストを潜在的に低下させるために、ある光条件下でＩＲベース追跡が制限され得るように、ＩＭＵデータと可視光画像とに基づいてコントローラのポーズを生成し得る。したがって、本開示で開示される代替追跡システムは、様々な環境条件において追跡タスクを効率的に改善し得る。

本開示の特定の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

本特許または出願ファイルは、カラーで仕上げられた図面を含んでいる。（１つまたは複数の）カラー図面をもつ本特許または特許出願公開のコピーは、要求し、必要な料金を支払うと、特許庁によって提供される。

本明細書に組み込まれ、本明細書の一部をなす添付の図面は、本開示のいくつかの態様を示し、説明とともに本開示の原理について解説するように働く。

追跡システムアーキテクチャの例示的な図である。 ＩＲ画像および／または可視光画像に基づいてコントローラを追跡する例示的な一実施形態を示す図である。 光の識別されたパターンおよび／または識別された特徴に基づいてコントローラを追跡する例示的な一実施形態を示す図である。 コントローラのポーズを調整することの例示的な図である。 コントローラの調整されたポーズに基づいてローカルまたはグローバルマップ中のコントローラの位置を特定することの例示的な図である。 環境における第１の光条件に基づいてＩＲ画像と可視光画像とを交互にキャプチャすることによってウェアラブルデバイスのポーズを調整するための方法の一実施形態を示す図である。 環境における第２の光条件に基づいて可視光画像をキャプチャすることによってウェアラブルデバイスのポーズを調整するための方法の一実施形態を示す図である。 例示的なコンピュータシステムを示す図である。

現在のＡＲ／ＶＲデバイスによって提供される広範なサービスおよび機能の場合、コントローラが、一般に、ＡＲ／ＶＲデバイスのための命令を入力するための容易で直観的なやり方をユーザに提供するためにＡＲ／ＶＲデバイスとペアリングされる。コントローラは、通常、ユーザがコントローラを介していくつかの機能を実施し得るように、ＡＲ／ＶＲデバイスがコントローラのポーズを推定し、および／またはコントローラのロケーションを追跡するための、少なくとも１つの慣性測定ユニット（ＩＭＵ）と赤外（ＩＲ）発光ダイオード（ＬＥＤ）とを装備する。たとえば、ユーザは、空間の角において視覚オブジェクトを表示するかまたは環境において視覚タグを生成するためにコントローラを使用し得る。コントローラの推定されたポーズは、時間とともに必然的にずれ、ＩＲベース追跡による再整合を必要とすることになる。しかしながら、ＩＲベース追跡は、他のＬＥＤ光源によって、および／または明るい光を有する環境下で干渉され得る。さらに、ＩＲベース追跡は、コントローラのＩＲ ＬＥＤが適切な追跡を可能にするために可視でないことにより、失敗し得る。本開示で開示される特定の実施形態は、コントローラの異なる光レベル、環境条件、および／またはロケーションに基づいてコントローラのポーズを調整するためにＩＲ画像と可視光画像とを交互に撮るための方法を提供する。

本開示で開示される特定の実施形態は、どちらが最初に起こるかに応じてＩＲ追跡または特徴追跡を利用してコントローラのポーズを再整合させるための方法を提供する。コントローラの初期化中に、本出願の特定の実施形態は、いくつかの特徴、たとえば、コントローラを追跡するための信頼できる特徴を、中央モジュールにおいてこれらの特徴を設定する／これらの特徴にペイントすることによってあらかじめ決定し得、それにより、中央モジュールは、コントローラのポーズが動作に沿ってずれたときにコントローラのポーズを調整するために、可視光画像中でこれらの特徴を識別することができる。

図１は、いくつかの実施形態による、例示的なＶＩＯベースＳＬＡＭ追跡システムアーキテクチャを示す。追跡システム１００は、中央モジュール１１０と少なくとも１つのコントローラモジュール１２０とを備える。中央モジュール１１０は、環境においてコントローラモジュール１２０のフレームをキャプチャするように構成されたカメラ１１２と、カメラ１１２によってキャプチャされたフレームからパッチおよび特徴を識別するように構成された識別ユニット１１４と、中央モジュール１１０およびコントローラモジュール１２０のジオメトリを推定するように構成された少なくとも１つのプロセッサ１１６とを備える。たとえば、ジオメトリは、ローカルマップ中の３Ｄポイント、コントローラモジュール１２０および／または中央モジュール１１０のポーズ／動き、中央モジュール１１０の較正、ならびに／あるいはコントローラモジュール１２０の較正を含む。コントローラモジュール１２０は、中央モジュール１１０から命令１２４を受信するとコントローラモジュール１２０の生ＩＭＵデータ１２８を収集することと、中央モジュール１１０が環境においてコントローラモジュール１２０のポーズを学習および追跡し得るようにコントローラモジュール１２０のポーズを生成するために、生ＩＭＵデータ１２８をプロセッサ１１６に送信することとを行うように構成された少なくとも１つのＩＭＵ１２２を備える。コントローラモジュール１２０はまた、対応するモジュールについての、対応データなど、予測を計算するために、生ＩＭＵデータ１２６を識別ユニット１１４に提供することができる。さらに、コントローラモジュール１２０は、中央モジュール１１０によって追跡されるべき、コントローラモジュール１２０上に選択的に分布された追跡可能マーカーを備え得る。たとえば、追跡可能マーカーは、カメラ１１２によって追跡され得る複数の光（たとえば、発光ダイオード）または他の追跡可能マーカーであり得る。

特定の実施形態では、中央モジュール１１０の識別ユニット１１４は、コントローラモジュール１２０を始動するようにとの命令１３０を受信する。識別ユニット１１４は、カメラ１１２に、命令１３０の受信時に、初期化のためにコントローラモジュール１２０の第１のフレームをキャプチャするように命令する。第１のフレーム１４０は、中央モジュール１１０において設定またはペイントされた１つまたは複数のあらかじめ決定された特徴１４２を含み得る。たとえば、あらかじめ決定された特徴１４２は、コントローラモジュール１２０を追跡するために前のフレーム中で識別された特徴であり得、前のフレーム中で繰り返し認識されたこれらの識別された特徴は、コントローラモジュール１２０を追跡するための信頼できる特徴と見なされる。中央モジュール１１０のカメラ１１２は、次いで、コントローラモジュール１２０の初期化の後に第２のフレーム１４４をキャプチャすることを開始し得る。たとえば、中央モジュール１１０のプロセッサ１１６は、第２のフレーム１４４をキャプチャすることによってコントローラモジュール１２０を追跡することを開始し得る。一実施形態では、第２のフレーム１４４は、コントローラモジュール１２０のあらかじめ決定された特徴１４２を含む可視光画像であり得、それにより、中央モジュール１１０は、第２のフレーム１４４中でキャプチャされたあらかじめ決定された特徴１４２に基づいてコントローラモジュール１２０のポーズを調整し得る。別の実施形態では、第２のフレームは、コントローラモジュール１２０上に配置された複数の光をキャプチャするＩＲ画像であり得、それにより、中央モジュール１１０は、コントローラモジュール１２０上の複数の光によって形成された光のパターン１４６に基づいてコントローラモジュール１２０のポーズを再整合させ得る。また、ＩＲ画像は、コントローラモジュール１２０上に配置された光のパターン１４６、たとえば、ＬＥＤのコンスタレーションに基づいてコントローラモジュール１２０を追跡し、さらに、中央モジュール１１０のプロセッサ１１６を更新するために使用され得る。特定の実施形態では、中央モジュール１１０は、コントローラモジュール１２０の再整合のためにＩＲ画像と可視光画像とを交互に撮るように設定され得る。特定の実施形態では、中央モジュール１１０は、環境の光条件に基づいて、コントローラモジュール１２０の再整合のためにＩＲ画像または可視光画像のいずれかを撮ることを決定し得る。中央モジュール１１０において実施される詳細な動作およびアクションは、図４でさらに説明され得る。

いくつかの実施形態では、識別ユニット１１４は、さらに、第２のフレーム１４４に続く第３のフレームをキャプチャし、第３のフレーム中で、あらかじめ決定された特徴１４２に対応する１つまたは複数のパッチを識別し得る。この特定の実施形態では、第２のフレーム１４４および第３のフレーム、ならびに潜在的に１つまたは複数の次のフレームは、可視光フレーム、たとえば、長い露光時間で撮られたフレームであり、それにより、中央モジュール１１０は、フレームにわたる繰り返し識別された特徴に基づいてコントローラモジュール１２０を追跡することができる。識別ユニット１１４は、次いで、異なるフレーム、たとえば、第２のフレーム１４４および第３のフレーム中で識別された、互いに対応するパッチ間のあらかじめ決定された特徴１４２の対応データ１３２を決定し、コントローラモジュール１２０のポーズを調整することおよびコントローラモジュール１２０の状態情報を生成することなど、さらなる分析およびサービスのために、対応データ１３２をプロセッサ１１６に送信し得る。特定の実施形態では、状態情報は、コントローラモジュール１２０のポーズ、速度、加速度、空間的位置および動き、ならびに潜在的に、中央モジュール１１０のカメラ１１２によってキャプチャされた一連のフレームによって構築された環境に対するコントローラモジュール１２０の前のルートを含み得る。

図２は、いくつかの実施形態による、ＩＲ画像および／または可視光画像に基づくコントローラのための例示的な追跡システムを示す。追跡システム２００は、中央モジュール（図示せず）とコントローラモジュール２１０とを備える。中央モジュールは、環境においてコントローラモジュール２１０を追跡するための、カメラと少なくとも１つのプロセッサとを備える。特定の実施形態では、中央モジュールのカメラは、初期化段階中に、追跡のためにコントローラモジュール２１０のあらかじめ決定された特徴２２２を決定またはセットアップするために、第１のフレーム２２０をキャプチャし得る。たとえば、コントローラモジュール２１０の初期化／起動フェーズ中に、ユーザが、コントローラモジュール２１０を始動するために、中央モジュールのカメラの視野（ＦＯＶ）の範囲内にコントローラモジュール２１０を置くことになる。中央モジュールのカメラは、手の人差し指と親指で囲まれた空間（ｐｕｒｌｉｃｕｅ）がコントローラモジュール１２０と重複するエリア、およびコントローラモジュール１２０を保持するユーザの手を表す手の尺側縁（ｕｌｎａｒ ｂｏｒｄｅｒ）など、コントローラモジュール２１０を追跡するための１つまたは複数のあらかじめ決定された特徴２２２を決定するために、この起動フェーズにおいてコントローラモジュール２１０の第１のフレーム２２０をキャプチャし得る。特定の実施形態では、あらかじめ決定された特徴２２２はまた、（たとえば、小さいＱＲコードを介して）ペイントされ得る。特定の実施形態では、あらかじめ決定された特徴２２２は、テーブルの角、または可視光フレーム中で識別された任意の他の追跡可能特徴であり得る。特定の実施形態では、あらかじめ決定された特徴２２２は、ＩＲ画像中のＩＲパターン「ブロブ」、たとえば、ＩＲ画像中でキャプチャされたＬＥＤのコンスタレーションであり得る。

特定の実施形態では、コントローラモジュール２１０は、少なくとも１つのＩＭＵと複数のＩＲ ＬＥＤとを備え、それにより、コントローラモジュール２１０は、第２のフレーム２３０がＩＲ ＬＥＤのパターン２４０をキャプチャすることまたは第２のフレーム２３０があらかじめ決定された特徴２２２をキャプチャすることのいずれかに基づいて動作中に再整合され得る。たとえば、中央モジュールは、コントローラモジュール２１０からの生ＩＭＵデータ送信に基づいてコントローラモジュール２１０のポーズを生成し得る。コントローラモジュール２１０の生成されたポーズは、時間とともにシフトされ、再整合を必要とされ得る。中央モジュールは、環境における光条件に基づいてコントローラ２１０の生成されたポーズを調整するためにコントローラモジュール２１０をキャプチャする第２のフレーム２３０をキャプチャすることを決定し得る。一実施形態では、第２のフレーム２３０は、ＩＲ ＬＥＤのパターン２４０を含むＩＲ画像であり得る。ＩＲパターンがアプリオリに知られているとき、ＩＲ画像である第２のフレームは、複数のフレームなしにコントローラモジュール２１０を再整合させるかまたは追跡するために使用され得る。別の実施形態では、第２のフレーム２３０は、少なくとも１つのあらかじめ決定された特徴２２２を含むと識別された可視光画像であり得る。可視光画像は、ＲＧＢ画像、ＣＭＹＫ画像、またはグレースケール画像であり得る。

特定の実施形態では、中央モジュールは、デフォルト設定によってＩＲ画像と可視光画像とを交互にキャプチャし得、それにより、中央モジュールは、ＩＲ画像または可視光画像のいずれか、再調整のために最初にキャプチャされたほうに基づいて、コントローラモジュール２１０の生成されたポーズを再調整し得る。特定の実施形態では、中央モジュールは、環境が第１の光条件を含むとき、ＩＲ画像をキャプチャし得る。第１の光条件は、屋内環境、環境がバックグラウンドで明るい光を有しないこと、環境が、コントローラモジュール２１０のＩＲ ＬＥＤのパターン２４０に干渉することになる光源を有しないことのうちの１つまたは複数を含み得る。たとえば、環境は、コントローラモジュール２１０のロケーションを決定するために中央モジュールのＩＲ ＬＥＤによって形成されたパターン２４０に干渉することになる他のＬＥＤを含まないことがある。

特定の実施形態では、中央モジュールは、環境が第２の光条件を含むとき、可視画像をキャプチャし得る。第２の光条件は、環境が明るい光を有すること、環境が、コントローラモジュール２１０のＩＲ ＬＥＤのパターン２４０に干渉することになる光源を有すること、および中央モジュールのカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。たとえば、ユーザが、中央モジュールとともに実装されたヘッドマウントデバイスのあまりに近くにコントローラモジュール２１０とともに実装されたコントローラを保持しているとき、中央モジュールのカメラは、環境におけるコントローラモジュール２１０のロケーションを決定するためにコントローラモジュール２１０のＩＲ ＬＥＤによって形成された完全なパターン２４０をキャプチャすることができない。中央モジュールにおいて実施される詳細な動作およびアクションは、図３から図７でさらに説明され得る。

図３は、いくつかの実施形態による、コントローラモジュールとともに実装された例示的なコントローラ３００を示す。コントローラ３００は、周囲リング部分３１０とハンドル部分３２０とを備える。コントローラ３００は、本開示で説明されるコントローラモジュールとともに実装され、対応する追跡パターンにおいて位置決めされた複数の追跡特徴を含む。特定の実施形態では、追跡特徴は、たとえば、基準マーカーまたは発光ダイオード（ＬＥＤ）を含むことができる。本明細書で説明される特定の実施形態では、追跡特徴はＬＥＤ光であるが、他の実施形態では、他の光、反射体、信号生成器あるいは他の受動または能動マーカーが使用され得る。たとえば、コントローラ３００は、リング部分３１０またはハンドル部分３２０上のコントラスト特徴、たとえば、リング部分３１０の表面の周りのコントラスト色をもつストリップ、および／あるいは、リング部分３１０中に埋め込まれた複数のＩＲ ＬＥＤ３３０を備え得る。追跡パターンにおける追跡特徴は、仮想／拡張環境における再生のためにコントローラ３００の動き、配向、および／または空間的位置を決定するために、中央モジュールの追跡カメラによって正確に追跡されるように構成される。特定の実施形態では、コントローラ３００は、リング部分３１０上に配置された光３３２のコンスタレーションまたはパターンを含む。

特定の実施形態では、コントローラ３００は、中央モジュールがコントローラ３００のポーズを再調整するための少なくとも１つのあらかじめ決定された特徴３３４を備える。コントローラ３００のポーズは、フレーム間のあらかじめ決定された特徴３３４に基づいて決定された空間的移動（Ｘ－Ｙ－Ｚ位置決め移動）によって調整され得る。たとえば、中央モジュールは、コントローラ３００のポーズを再調整するために、フレームｋ＋１、たとえば、動作中にキャプチャされたフレーム中の、コントローラ３００の更新された空間的位置を決定し、その空間的位置を、フレームｋ、たとえば、コントローラ３００の初期化においてキャプチャされたフレーム中の、コントローラ３００の前の空間的位置と比較し得る。

図４は、いくつかの実施形態による、中央モジュール４１０とコントローラモジュール４３０とを備える追跡システム４００の例示的な図を示す。中央モジュール４１０は、環境におけるコントローラ４２０のための追跡／調整を実施するための、カメラ４１２と、識別ユニット４１４と、追跡ユニット４１６と、フィルタユニット４１８とを備える。コントローラモジュール４３０は、複数のＬＥＤ４３２と少なくとも１つのＩＭＵ４３４とを備える。特定の実施形態では、中央モジュール４１０の識別ユニット４１４は、コントローラモジュール４３０を始動するようにとの命令４２６を送信し得る。特定の実施形態では、コントローラモジュール４３０のための初期化は、コントローラモジュール４３０の第１のフレームをキャプチャすることと、コントローラモジュール４３０を追跡／識別するために第１のフレーム中の１つまたは複数の特徴をあらかじめ決定することとを含み得る。命令４２６は、中央モジュール４１０がコントローラモジュール４３０を追跡するための生ＩＭＵデータ４３６を提供するようにコントローラモジュール４３０に指示し得る。コントローラモジュール４３０は、動作中にコントローラモジュール４３０のポーズを生成／推定するように命令するために、命令４２６の受信時に、ＩＭＵ４３４によって収集された生ＩＭＵデータ４３６を中央モジュール４１０のフィルタユニット４１８に送信する。さらに、コントローラモジュール４３０は、対応するモジュールの予測、たとえば、コントローラモジュール４３０の対応データを計算するために、生ＩＭＵデータ４３６を識別ユニット４１４に送信する。特定の実施形態では、中央モジュール４１０は、５００Ｈｚから１ｋＨｚまでの周波数においてコントローラモジュール４３０のポーズを測定する。

コントローラモジュール４３０の初期化の後に、中央モジュール４１０のカメラ４１２は、コントローラモジュール４３０の生成されたポーズの再整合のために、コントローラモジュール４３０がカメラのＦＯＶ範囲内にあるとき、第２のフレームをキャプチャし得る。特定の実施形態では、カメラ４１２は、再整合のためのコントローラモジュール４３０の第２のフレームを、デフォルト設定によって交互にＩＲ画像または可視光画像としてキャプチャし得る。たとえば、カメラ４１２は、コントローラモジュール４３０のポーズを生成する周波数よりも遅い周波数、たとえば、３０Ｈｚにおいて、ＩＲ画像と可視光画像とを交互にキャプチャし、コントローラモジュール４３０のＬＥＤ４３２の追跡可能パターンをキャプチャする画像、またはコントローラモジュール４３０を追跡するためのあらかじめ決定された特徴をキャプチャする画像など、どちらか最初にキャプチャされた画像または再整合について可能な画像を利用し得る。

特定の実施形態では、識別ユニット４１４は、カメラ４１２に特定のタイプのフレームを撮るように命令するために、環境における光条件を決定し得る。たとえば、カメラ４１２は、光条件の決定４２２に基づいて識別ユニット４１４にフレーム４２０を提供し得る。一実施形態では、カメラ４１２は、環境がバックグラウンドで明るい光を有しないとき、コントローラモジュール４３０上に配置されたＬＥＤ４３２のパターンを含むＩＲ画像をキャプチャし得る。別の実施形態では、カメラ４１２は、環境が、コントローラモジュール４３０のＬＥＤ４３２のパターンに干渉することになる同様の光源を有するとき、コントローラモジュール４３０の可視光画像をキャプチャし得る。特定の実施形態では、カメラ４１２は、第１の露光時間を使用してＩＲ画像をキャプチャし、第２の露光時間を使用して可視光画像をキャプチャする。第２の露光時間は、ユーザの移動および／または環境の光条件を考慮すると第１の露光時間よりも長いことがある。

コントローラモジュール４３０のＬＥＤ４３２が使用されない特定の実施形態では、中央モジュール４１０は、可視光画像に基づいてコントローラモジュール４３０を追跡し得る。可視光画像中でコントローラモジュール４３０を見つけるために、ニューラルネットワークが使用され得る。中央モジュール４１０の識別ユニット４１４は、カメラ４１２によってキャプチャされたフレーム中で、いくつかのフレームにわたって常に観測される特徴、たとえば、コントローラモジュール４３０を追跡するためのあらかじめ決定された特徴および／または信頼できる特徴を識別し得る。中央モジュール４１０は、コントローラモジュール４３０のポーズを計算／調整するためにこれらの特徴を利用し得る。特定の実施形態では、特徴は、コントローラモジュール４３０のエッジなど、コントローラモジュール４３０に対応する画像のパッチを含み得る。

特定の実施形態では、識別ユニット４１４は、さらに、コントローラモジュール４３０の生成されたポーズを調整するために、識別されたフレーム４２４をフィルタユニット４１８に送信し得る。フィルタユニット４１８が、光のパターンをキャプチャするＩＲ画像またはコントローラモジュール４３０を追跡するためのパッチを含む可視光画像のいずれかであり得る識別されたフレーム４１８を受信したとき、フィルタユニット４１８は、コントローラモジュール４３０の光のパターンまたは可視光画像からのパッチ中で識別されたあらかじめ決定された特徴に基づいて、環境におけるコントローラモジュール４３０のロケーションを決定し得る。特定の実施形態では、パッチは、画像がカメラ４１２によって撮られた角度にかかわらず、画像／フレーム中で明確および容易に識別可能である特徴（たとえば、コントローラの角またはエッジ）の小さい画像シグネチャであり得る。

さらに、フィルタユニット４１８はまた、ユーザ／デバイスの状態を生成すること、ローカルにまたはグローバルにユーザ／デバイスの位置を特定すること、および／あるいは環境において仮想タグ／オブジェクトをレンダリングすることなど、広範なサービスおよび機能を行うために、これらの識別されたフレーム４２４を利用し得る。特定の実施形態では、中央モジュール４１０のフィルタユニット４１８はまた、ユーザの状態を生成することの支援において生ＩＭＵデータ４３６を使用し得る。特定の実施形態では、フィルタユニット４１８は、環境において仮想オブジェクトを投影するかまたはコントローラモジュール４３０を介してマップ中で仮想タグを設定するために、識別されたフレーム４２４に基づいて、環境におけるコントローラモジュール４３０に対するユーザの状態情報を使用し得る。

特定の実施形態では、識別ユニット４１４はまた、識別されたフレーム４２４を、コントローラモジュール４３０を追跡するための追跡ユニット４１６に送信し得る。追跡ユニット４１６は、異なる識別されたフレーム４２４中のあらかじめ決定された特徴に基づいて対応データ４２８を決定し、決定された対応データ４２８に基づいてコントローラモジュール４３０を追跡し得る。

特定の実施形態では、中央モジュール４１０は、コントローラモジュール４３０を追跡する／再整合させるために、少なくとも以下のフレーム、すなわち、（１）ＩＲ画像、（２）可視光画像、（３）ＩＲ画像、および（４）可視光画像をキャプチャする。特定の実施形態では、中央モジュール４１０の識別ユニット４１４は、キャプチャされたＩＲ画像中のＩＲパターンを識別し得る。ＩＲ画像中のＩＲパターンが、第１のフレーム中で識別された、コントローラモジュール４３０上のＬＥＤ位置のコンスタレーションなど、アプリオリなパターンに対して一致されたとき、状態推定および／または他の計算のためにフィルタユニット４１８によって使用されるのに単一のＩＲ画像が十分であり得る。特徴ベース追跡の別の実施形態では、中央モジュール４１０の識別ユニット４１４は、第１の可視光画像中で追跡すべき特徴を識別し得、識別ユニット４１４は、次いで、第２の可視光フレーム中の同じ特徴を識別することを試み得、その特徴は、第１の可視光画像中で識別された特徴に対応している。識別ユニット４１４が少なくとも２つの可視光フレームにわたって同じ特徴を繰り返し観測したとき、これらのフレーム中のこれらの観測、たとえば、識別された特徴は、状態推定および／または他の計算のためにフィルタユニット４１８によって使用され得る。さらに、特定の実施形態では、中央モジュール４１０はまた、コントローラモジュール４３０のコンピュータ支援設計（ＣＡＤ）モデルなど、コントローラモジュール４３０の３次元モデルに基づいて状態推定を更新するために、単一の可視光フレームを使用することができる。

特定の実施形態では、追跡システム４００は、たとえば、パーソナルコンピュータ、ラップトップコンピュータ、セルラー電話、スマートフォン、タブレットコンピュータ、拡張／仮想現実デバイス、ヘッドマウントデバイス、ポータブルスマートデバイス、ウェアラブルスマートデバイス、または追跡システム４００に適合する任意の好適なデバイスなど、任意の好適なコンピューティングデバイスにおいて実装され得る。本開示では、追跡デバイスによって追跡され、位置特定されているユーザは、車両などの可動オブジェクト上に取り付けられたデバイス、または人にアタッチされたデバイスを基準とし得る。本開示では、ユーザは、追跡システム４００と対話または通信する個人（人間のユーザ）、エンティティ（たとえば、企業、ビジネス、またはサードパーティアプリケーション）、または（たとえば、個人またはエンティティの）グループであり得る。特定の実施形態では、中央モジュール４１０はヘッドマウントデバイスにおいて実装され得、コントローラモジュール４３０は、ヘッドマウントデバイスから分離されたリモートコントローラにおいて実装され得る。ヘッドマウントデバイスは、中央モジュール４１０のカメラ４１２、識別ユニット４１４、追跡ユニット４１６、およびフィルタユニット４１８を実装するように構成された１つまたは複数のプロセッサを備える。一実施形態では、プロセッサの各々は、カメラ４１２、識別ユニット４１４、追跡ユニット４１６、およびフィルタユニット４１８を別個に実装するように構成される。リモートコントローラは、コントローラモジュール４３０のＬＥＤ４３２およびＩＭＵ４３４を実装するように構成された１つまたは複数のプロセッサを備える。一実施形態では、プロセッサの各々は、ＬＥＤ４３２およびＩＭＵ４３４を別個に実装するように構成される。

本開示は、追跡システム４００中の各要素を接続するかまたは追跡システム４００を他のシステムと接続するための任意の好適なネットワークを企図する。限定としてではなく一例として、ネットワークの１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの一部分、公衆交換電話網（ＰＳＴＮ）の一部分、セルラー電話ネットワーク、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。ネットワークは、１つまたは複数のネットワークを含み得る。

図５は、いくつかの実施形態による、マッピングサービスをもつ追跡システム５００の例示的な図を示す。追跡システム５００は、コントローラモジュール５１０と、中央モジュール５２０と、クラウド５３０とを備える。コントローラモジュール５１０は、ＩＭＵユニット５１２と、光ユニット５１４と、プロセッサ５１６とを備える。コントローラモジュール５１０は、特定の機能を実施するために中央モジュール５２０から１つまたは複数の命令５４２を受信する。たとえば、命令５４２は、限定はしないが、コントローラモジュール５１０を始動するようにとの命令と、光ユニット５１４をオフに切り替えるようにとの命令と、環境において仮想オブジェクトをタグ付けするようにとの命令とを含む。コントローラモジュール５１０は、コントローラモジュール５１０のプロセッサ５１６がマップ中でまたは環境において命令５４２を正確に実施し得るように、動作中のポーズ推定のために生ＩＭＵデータ５４０を中央モジュール４２０に送信するように構成される。

中央モジュール５２０は、カメラ５２２と、識別ユニット５２４と、追跡ユニット５２６と、フィルタユニット５２８とを備える。中央モジュール５２０は、様々な方法、たとえば、生ＩＭＵデータ５４０によって決定されたコントローラモジュール５１０の推定されたポーズに基づいて、コントローラモジュール５１０を追跡するように構成され得る。さらに、中央モジュール５２０は、カメラ５２２によってキャプチャされたコントローラモジュール５１０のフレームに基づいて、動作中にコントローラモジュール５１０の推定されたポーズを調整するように構成され得る。特定の実施形態では、中央モジュール５２０の識別ユニット５２４は、環境の光条件に基づいてコントローラモジュール５１０のフレームをキャプチャするためのプログラムを決定し得る。プログラムは、限定はしないが、ＩＲ画像と可視光画像とを交互にキャプチャすることと、可視光画像のみをキャプチャすることとを含む。ＩＲ画像は第１の露光時間によってキャプチャされ、可視光画像は第２の露光時間によってキャプチャされる。特定の実施形態では、第２の露光時間は第１の露光時間よりも長いことがある。識別ユニット５２４は、次いで、カメラ５２２に、決定に基づいてコントローラモジュール５１０のフレーム／画像を撮るように命令し得、カメラ５２２は、決定に従って識別ユニット５２４に特定のフレームを提供することになる。特定の実施形態では、識別ユニット５２４はまた、コントローラモジュール５１０に、電力を節約するために、ある光条件に固有の光ユニット５１４、たとえば、近くの別のＬＥＤソースをオフに切り替えるように命令し得る。

識別ユニット５２４は、カメラ５２２からの受信時にフレームを識別する。特に、識別ユニット５２４は、コントローラモジュール５１０がそのポーズの再調整を必要とするとき、最初にキャプチャされているほうのフレームを受信し得る。たとえば、カメラ５２２は、遅いレート、たとえば、３０Ｈｚの周波数においてＩＲ画像と可視光画像とを交互にキャプチャし、次いで、コントローラモジュール５１０がカメラ５２２のＦＯＶ内にあるとき、フレームを識別ユニット５２４に送信する。したがって、キャプチャされているフレームは、ＩＲ画像または可視光画像のいずれかであり得る。特定の実施形態では、識別ユニット５２４は、キャプチャされたフレーム中でコントローラモジュール５１０の光ユニット５１４によって形成されたパターンを識別し得る。光ユニット５１４によって形成されたパターンは、ユーザ／中央モジュール５２０および／または環境に対するコントローラモジュール５１０の位置を示し得る。たとえば、コントローラモジュール５１０の移動／回転に応答して、光ユニット５１４のパターンは変化する。特定の実施形態では、識別ユニット５２４は、キャプチャされたフレーム中でコントローラモジュール５１０を追跡するためのあらかじめ決定された特徴を識別し得る。たとえば、コントローラモジュール５１０のあらかじめ決定された特徴は、コントローラモジュール５１０を保持しているときのユーザの手のジェスチャーを含み得、それにより、あらかじめ決定された特徴は、ユーザ／中央モジュール５２０に対するコントローラモジュール５１０の位置を示し得る。識別ユニット５２４は、次いで、コントローラモジュール５２８のポーズの調整のために、識別されたフレームをフィルタユニット５２８に送信し得る。特定の実施形態では、識別ユニット５２４はまた、識別されたフレームを、コントローラユニット５１０を追跡するための追跡ユニット５２６に送信し得る。

フィルタユニット５２８は、受信された生ＩＭＵデータ５４０に基づいてコントローラモジュール５１０のポーズを生成する。特定の実施形態では、フィルタユニット５２８は、コントローラモジュールのフレームをキャプチャするレートよりも速いレートにおいてコントローラモジュール５１０のポーズを生成する。たとえば、フィルタユニット５２８は、５００Ｈｚのレートにおいてコントローラモジュール５１０のポーズを推定および更新し得る。フィルタユニット５２８は、次いで、識別されたフレームに基づいてコントローラモジュール５１０のポーズを再整合させる／再調整する。特定の実施形態では、フィルタユニット５２８は、識別されたフレーム中のコントローラモジュール５１０の光ユニット５１４のパターンに基づいてコントローラモジュール５１０のポーズを調整し得る。特定の実施形態では、フィルタユニット５２８は、フレーム中で識別されたあらかじめ決定された特徴に基づいてコントローラモジュール５１０のポーズを調整し得る。

特定の実施形態では、追跡ユニット５２６は、異なるフレーム中で識別されたあらかじめ決定された特徴に基づいて対応データを決定し得る。対応データは、環境におけるコントローラモジュール５１０のあらかじめ決定された特徴のロケーションなど、あらかじめ決定された特徴の観測値および測定値を含み得る。さらに、追跡ユニット５２６はまた、中央モジュール５２０がコントローラモジュール５１０を追跡するための追加情報を提供するために、あらかじめ決定された特徴の近くで収集されたステレオ計算を実施し得る。さらに、中央モジュール５２０の追跡ユニット５２６は、対応データに対応するライブマップをクラウド５３０に要求し得る。特定の実施形態では、ライブマップは、マップデータ５４４を含み得る。中央モジュール５２０の追跡ユニット５２６はまた、ローカルにまたはグローバルにライブマップ中で位置を特定されるようにコントローラモジュール５１０についてリモート再位置特定サービス５４４を要求し得る。

さらに、フィルタユニット５２８は、対応データと生ＩＭＵデータ５４０とに基づいてコントローラモジュール５１０の状態を推定し得る。特定の実施形態では、コントローラモジュール５１０の状態は、カメラ５２２によってキャプチャされたフレームに基づいて構築された環境、たとえば、ローカルに構築されたマップに対するコントローラモジュール５１０のポーズを含み得る。さらに、フィルタユニット５２８はまた、（たとえば、ローカルに構築された環境を用いた）クラウド５３０に記憶されたマップのグローバル位置特定または更新のために、コントローラモジュール５１０の状態情報をクラウド５３０に送信し得る。

図６Ａは、いくつかの実施形態による、環境における第１の光条件に基づいてＩＲ画像をキャプチャするための例示的な方法６００を示す。追跡システムのコントローラモジュールが、ウェアラブルデバイス（たとえば、入力ボタンをもつリモートコントローラ、タッチパッドをもつスマートパックなど）において実装され得る。追跡システムの中央モジュールが、任意のコンピューティングシステム（たとえば、スマートフォンなどのエンドユーザのデバイス、仮想現実システム、ゲーミングシステムなど）に提供されるかまたはその上に表示され、ウェアラブルデバイスにおいて実装されるコントローラモジュールとペアリングされ得る。方法６００は、ステップ６１０において始まり、ウェアラブルデバイスから、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信し得る。特定の実施形態では、ウェアラブルデバイスはコントローラであり得る。特定の実施形態では、ウェアラブルデバイスは、１つまたは複数のＩＭＵおよび１つまたは複数のＩＲ ＬＥＤを装備し得る。

ステップ６２０において、方法６００は、中央モジュールにおいて、ウェアラブルデバイスから送信された動きデータに基づいてウェアラブルデバイスのポーズを生成し得る。

ステップ６３０において、方法６００は、中央モジュールにおいて、ウェアラブルデバイスの第１の光条件を識別し得る。特定の実施形態では、第１の光条件は、屋内環境、環境が薄暗い光を有すること、ウェアラブルデバイスのＩＲ ＬＥＤと同様の光源をもたない環境、および中央モジュールのカメラが追跡のためにウェアラブルデバイスのＩＲ ＬＥＤのパターンをキャプチャすることが可能であることのうちの１つまたは複数を含み得る。

ステップ６４０において、方法６００は、第１の露光時間を使用してカメラによってウェアラブルデバイスの第１のフレームをキャプチャし得る。特定の実施形態では、第１のフレームはＩＲ画像であり得る。特定の実施形態では、ウェアラブルデバイスのポーズは、第１のフレームがキャプチャされる周波数よりも速い周波数において生成され得る。

ステップ６５０において、方法６００は、第１のフレーム中で、ウェアラブルデバイス上に配置された光のパターンを識別し得る。特定の実施形態では、光のパターンは、ウェアラブルデバイスのＩＲ ＬＥＤからなるものであり得る。

図６Ｂは、いくつかの実施形態による、環境における第１の光条件に基づいてＩＲ画像と可視光画像とを交互にキャプチャすることによってウェアラブルデバイスのポーズを調整するための例示的な方法６０１を示す。方法６０１は、方法６０１におけるステップ６５０に続くステップ６６０において始まり、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャし得る。特定の実施形態では、第２の露光時間は第１の露光時間よりも長いことがある。特定の実施形態では、第２のフレームは可視光画像であり得る。たとえば、可視光画像はＲＧＢ画像であり得る。特定の実施形態では、ウェアラブルデバイスのポーズは、第２のフレームがキャプチャされる周波数よりも速い周波数において生成され得る。

ステップ６７０において、方法６０１は、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別し得る。特定の実施形態では、あらかじめ決定された特徴は、コントローラモジュールのための初期化／起動フェーズ中にあらかじめ決定され得る。特定の実施形態では、あらかじめ決定された特徴は、コントローラモジュールにおいて（たとえば、小さいＱＲコードを介して）ペイントされ得る。特定の実施形態では、あらかじめ決定された特徴は、前の動作から決定されたウェアラブルデバイスを追跡するための信頼できる特徴であり得る。たとえば、信頼できる特徴は、ウェアラブルデバイスを追跡するための前のフレーム中で繰り返し識別された特徴であり得る。

ステップ６８０において、方法６０１は、（１）第１のフレーム中の光の識別されたパターンまたは（２）第２のフレーム中の識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境においてウェアラブルデバイスのポーズを調整し得る。特定の実施形態では、本方法は、光の識別されたパターン、または識別されたあらかじめ決定された特徴の最初にキャプチャ／識別されたほうに基づいて、ウェアラブルデバイスのポーズを調整し得る。特定の実施形態では、本方法は、ウェアラブルデバイスのポーズを調整するプロセスに基づいてニューラルネットワークを訓練または更新し得る。訓練されたニューラルネットワークは、さらに、追跡および／または画像改良において使用され得る。

特定の実施形態では、方法６０１は、第２の露光時間を使用してカメラによってウェアラブルデバイスの第３のフレームをキャプチャすることと、第３のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、あらかじめ決定された特徴と１つまたは複数の特徴との間の対応データを決定することと、対応データに基づいて環境においてウェアラブルデバイスを追跡することとをさらに行い得る。

特定の実施形態では、コンピューティングシステムは、ウェアラブルデバイスの第１のフレームおよび第２のフレームをキャプチャするように構成されたカメラと、ウェアラブルデバイスの光のパターンおよびあらかじめ決定された特徴を識別するように構成された識別ユニットと、ウェアラブルデバイスのポーズを調整するように構成されたフィルタユニットとを備え得る。特定の実施形態では、中央モジュールはヘッドマウントデバイス内に位置し得、コントローラモジュールは、ヘッドマウントデバイスから分離されたコントローラにおいて実装され得る。特定の実施形態では、ヘッドマウントデバイスは１つまたは複数のプロセッサを備え得、１つまたは複数のプロセッサは、カメラ、識別ユニット、およびフィルタユニットを実装するように構成される。

特定の実施形態では、方法６０１は、環境が第１の光条件を有するとき、第１の露光時間を使用してウェアラブルデバイスの第１のフレームをキャプチャするようにさらに構成され得る。特定の実施形態では、方法６０１は、環境が第２の光条件を有するとき、第２の露光時間を使用してウェアラブルデバイスの第２のフレームをキャプチャするようにさらに構成され得る。第２の光条件は、環境が明るい光を有すること、環境が、ウェアラブルデバイスの光のパターンに干渉することになる光源を有すること、およびカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。

特定の実施形態は、適切な場合、図６Ａ～図６Ｂの方法の１つまたは複数のステップを繰り返し得る。本開示は、図６Ａ～図６Ｂの方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図６Ａ～図６Ｂの方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図６Ａ～図６Ｂの方法の特定のステップを含む、ローカル位置特定のための例示的な方法を説明し、示すが、本開示は、適切な場合、図６Ａ～図６Ｂの方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、ローカル位置特定のための任意の好適な方法を企図する。さらに、本開示は、図６Ａ～図６Ｂの方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図６Ａ～図６Ｂの方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。

図７は、いくつかの実施形態による、環境における第２の光条件に基づいて可視光画像をキャプチャすることによってウェアラブルデバイスのポーズを調整するための例示的な方法７００を示す。追跡システムのコントローラモジュールが、ウェアラブルデバイス（たとえば、入力ボタンをもつリモートコントローラ、タッチパッドをもつスマートパックなど）において実装され得る。追跡システムの中央モジュールが、任意のコンピューティングシステム（たとえば、スマートフォンなどのエンドユーザのデバイス、仮想現実システム、ゲーミングシステムなど）に提供されるかまたはその上に表示され、ウェアラブルデバイスにおいて実装されるコントローラモジュールとペアリングされ得る。方法７００は、ステップ７１０において始まり、ウェアラブルデバイスから、ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信し得る。特定の実施形態では、ウェアラブルデバイスはコントローラであり得る。特定の実施形態では、ウェアラブルデバイスは、１つまたは複数のＩＭＵおよび１つまたは複数のＩＲ ＬＥＤを装備し得る。

ステップ７２０において、方法７００は、中央モジュールにおいて、ウェアラブルデバイスから送信された動きデータに基づいてウェアラブルデバイスのポーズを生成し得る。

ステップ７３０において、方法７００は、中央モジュールにおいて、ウェアラブルデバイスの第２の光条件を識別し得る。特定の実施形態では、第２の光条件は、環境が明るい光を有すること、環境が、ウェアラブルデバイスのＩＲ ＬＥＤと同様の光源を有すること、およびカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。

ステップ７４０において、方法７００は、第２の露光時間を使用してカメラによってウェアラブルデバイスの第２のフレームをキャプチャし得る。特定の実施形態では、第２のフレームは可視光画像であり得る。たとえば、可視光画像はＲＧＢ画像であり得る。特定の実施形態では、ウェアラブルデバイスのポーズは、第２のフレームがキャプチャされる周波数よりも速い周波数において生成され得る。

ステップ７５０において、方法７００は、第２のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴を識別し得る。特定の実施形態では、あらかじめ決定された特徴は、コントローラモジュールのための初期化／起動フェーズ中にあらかじめ決定され得る。特定の実施形態では、あらかじめ決定された特徴は、コントローラモジュールにおいて（たとえば、小さいＱＲコードを介して）ペイントされ得る。特定の実施形態では、あらかじめ決定された特徴は、前の動作から決定されたウェアラブルデバイスを追跡するための信頼できる特徴であり得る。たとえば、信頼できる特徴は、ウェアラブルデバイスを追跡するための前のフレーム中で繰り返し識別された特徴であり得る。

ステップ７６０において、方法７００は、第２のフレーム中の識別されたあらかじめ決定された特徴に基づいて、環境においてウェアラブルデバイスのポーズを調整し得る。

特定の実施形態では、方法７００は、第２の露光時間を使用してカメラによってウェアラブルデバイスの第３のフレームをキャプチャすることと、第３のフレーム中で、ウェアラブルデバイスのあらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、あらかじめ決定された特徴と１つまたは複数の特徴との間の対応データを決定することと、対応データに基づいて環境においてウェアラブルデバイスを追跡することとをさらに行い得る。

特定の実施形態では、コンピューティングシステムは、ウェアラブルデバイスの第１のフレームおよび第２のフレームをキャプチャするように構成されたカメラと、ウェアラブルデバイスの光のパターンおよびあらかじめ決定された特徴を識別するように構成された識別ユニットと、ウェアラブルデバイスのポーズを調整するように構成されたフィルタユニットとを備え得る。特定の実施形態では、中央モジュールはヘッドマウントデバイス内に位置し得、コントローラモジュールは、ヘッドマウントデバイスから分離されたコントローラにおいて実装され得る。特定の実施形態では、ヘッドマウントデバイスは１つまたは複数のプロセッサを備え得、１つまたは複数のプロセッサは、カメラ、識別ユニット、およびフィルタユニットを実装するように構成される。

特定の実施形態では、方法７００は、環境が第２の光条件を有するとき、第２の露光時間を使用してウェアラブルデバイスの第２のフレームをキャプチャするようにさらに構成され得る。第２の光条件は、環境が明るい光を有すること、環境が、ウェアラブルデバイスの光のパターンに干渉することになる光源を有すること、およびカメラが光のパターンをキャプチャすることが可能でないことのうちの１つまたは複数を含み得る。

特定の実施形態は、適切な場合、図７の方法の１つまたは複数のステップを繰り返し得る。本開示は、図７の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図７の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図７の方法の特定のステップを含む、ローカル位置特定のための例示的な方法を説明し、示すが、本開示は、適切な場合、図７の方法のステップのすべてを含むか、いくつかを含むか、またはいずれも含まないことがある、任意の好適なステップを含む、ローカル位置特定のための任意の好適な方法を企図する。さらに、本開示は、図７の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図７の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。

図８は、例示的なコンピュータシステム８００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム８００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム８００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム８００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

本開示は、任意の好適な数のコンピュータシステム８００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム８００を企図する。限定としてではなく例として、コンピュータシステム８００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム８００は、１つまたは複数のコンピュータシステム８００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム８００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム８００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム８００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。

特定の実施形態では、コンピュータシステム８００は、プロセッサ８０２と、メモリ８０４と、ストレージ８０６と、入出力（Ｉ／Ｏ）インターフェース８０８と、通信インターフェース８１０と、バス８１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ８０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ８０２は、内部レジスタ、内部キャッシュ、メモリ８０４、またはストレージ８０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ８０４、またはストレージ８０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ８０２を企図する。限定としてではなく一例として、プロセッサ８０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ８０４またはストレージ８０６中の命令のコピーであり得、命令キャッシュは、プロセッサ８０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ８０２において実行する命令が動作する対象のメモリ８０４またはストレージ８０６中のデータのコピー、プロセッサ８０２において実行する後続の命令によるアクセスのための、またはメモリ８０４もしくはストレージ８０６に書き込むための、プロセッサ８０２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ８０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ８０２のための仮想アドレストランスレーション（ｖｉｒｔｕａｌ－ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ）を高速化し得る。特定の実施形態では、プロセッサ８０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ８０２を企図する。適切な場合、プロセッサ８０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ８０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、メモリ８０４は、プロセッサ８０２が実行するための命令、またはプロセッサ８０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム８００は、ストレージ８０６または（たとえば、別のコンピュータシステム８００などの）別のソースからメモリ８０４に命令をロードし得る。プロセッサ８０２は、次いで、メモリ８０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ８０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ８０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ８０２は、次いで、メモリ８０４にそれらの結果のうちの１つまたは複数を書き込み得る。特定の実施形態では、プロセッサ８０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ８０６または他の場所とは対照的な）メモリ８０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ８０６または他の場所とは対照的な）メモリ８０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ８０２をメモリ８０４に結合し得る。バス８１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ８０２とメモリ８０４との間に常駐し、プロセッサ８０２によって要求されるメモリ８０４へのアクセスを容易にする。特定の実施形態では、メモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ８０４は、適切な場合、１つまたは複数のメモリ８０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、ストレージ８０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ８０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ８０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ８０６は、適切な場合、コンピュータシステム８００の内部または外部にあり得る。特定の実施形態では、ストレージ８０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ８０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ８０６を企図する。ストレージ８０６は、適切な場合、プロセッサ８０２とストレージ８０６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ８０６は、１つまたは複数のストレージ８０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース８０８は、コンピュータシステム８００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム８００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム８００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース８０８とを企図する。適切な場合、Ｉ／Ｏインターフェース８０８は、プロセッサ８０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース８０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース８０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース８１０は、コンピュータシステム８００と、１つまたは複数の他のコンピュータシステム８００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース８１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース８１０とを企図する。限定としてではなく一例として、コンピュータシステム８００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム８００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム８００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース８１０を含み得る。通信インターフェース８１０は、適切な場合、１つまたは複数の通信インターフェース８１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス８１２は、コンピュータシステム８００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス８１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス８１２は、適切な場合、１つまたは複数のバス８１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

様々な実施形態によれば、本明細書の特徴の利点は、追跡システム中の中央モジュールに関連するコントローラのポーズが動作中に効率的に再整合され得ることである。中央モジュールは、中央モジュールが環境からの制限なしにリアルタイムで正確にコントローラを追跡し得るように、ＩＲコンスタレーション追跡またはＶＩＯベース追跡のいずれかに基づいてコントローラを再整合させることができる。本開示の特定の実施形態はまた、コントローラ上に配置されたＬＥＤが機能しないときにコントローラを追跡することが可能である。さらに、中央モジュールが、ＩＲコンスタレーション追跡が損なわれたと決定したとき、中央モジュールは、電力節約のためにコントローラ上のＬＥＤをオフに切り替えることができる。したがって、本開示で開示される特定の実施形態は、コントローラのための改善された、電力効率的な追跡方法を提供し得る。

図におけるプロセスが本発明のいくつかの実施形態によって実施される動作の特定の順序を示し得るが、そのような順序は例示的である（たとえば、代替実施形態が、異なる順序で動作を実施する、いくつかの動作を組み合わせる、いくつかの動作を重ね合わせる、などを行い得る）ことを理解されたい。

本発明はいくつかの実施形態に関して説明されたが、当業者は、本発明が、説明された実施形態に限定されず、添付の特許請求の範囲の範囲内で修正および改変を加えて実施され得ることを認識されよう。したがって、説明は、限定ではなく、例示的と考えられるべきである。

Claims (15)

1. コンピューティングシステムによって、
   ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、
   前記動きデータに基づいて前記ウェアラブルデバイスのポーズを生成することと、
   第１の露光時間を使用してカメラによって前記ウェアラブルデバイスの第１のフレームをキャプチャすることと、
   前記第１のフレーム中で、前記ウェアラブルデバイス上に配置された光のパターンを識別することと、
   第２の露光時間を使用して前記カメラによって前記ウェアラブルデバイスの第２のフレームをキャプチャすることと、
   前記第２のフレーム中で、前記ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、
   （１）前記第１のフレーム中の光の前記識別されたパターンまたは（２）前記第２のフレーム中の前記識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境において前記ウェアラブルデバイスの前記ポーズを調整することと
   を含む、方法。
2. 前記環境が第１の光条件を有するとき、前記第１の露光時間を使用して前記ウェアラブルデバイスの前記第１のフレームをキャプチャすることと、
   前記環境が第２の光条件を有するとき、前記第２の露光時間を使用して前記ウェアラブルデバイスの前記第２のフレームをキャプチャすることと、好ましくは、前記第２の光条件が、
   環境が明るい光を有すること、
   環境が、前記ウェアラブルデバイスの光の前記パターンに干渉することになる光源を有すること、および
   前記カメラが光の前記パターンをキャプチャすることが可能でないこと
   のうちの１つまたは複数を含む、
   請求項１に記載の方法。
3. 前記ウェアラブルデバイスが、１つまたは複数の慣性測定ユニット（ＩＭＵ）と１つまたは複数の赤外（ＩＲ）発光ダイオード（ＬＥＤ）とを装備し、
   前記第１のフレームがＩＲ画像であり、
   前記第２のフレームが可視光画像である、
   請求項１または２に記載の方法。
4. 前記第２の露光時間が前記第１の露光時間よりも長い、請求項１から３のいずれか一項に記載の方法。
5. 前記ウェアラブルデバイスの前記ポーズは、前記第１のフレームおよび前記第２のフレームがキャプチャされる周波数よりも速い周波数において生成される、請求項１から４のいずれか一項に記載の方法。
6. 前記第２の露光時間を使用して前記カメラによって前記ウェアラブルデバイスの第３のフレームをキャプチャすることと、
   前記第３のフレーム中で、前記ウェアラブルデバイスの前記あらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、
   前記あらかじめ決定された特徴と前記１つまたは複数の特徴との間の対応データを決定することと、
   前記対応データに基づいて前記環境において前記ウェアラブルデバイスを追跡することと
   をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 前記コンピューティングシステムが、
   前記ウェアラブルデバイスの前記第１のフレームおよび前記第２のフレームをキャプチャするように構成された前記カメラと、
   前記ウェアラブルデバイスの光の前記パターンおよび前記あらかじめ決定された特徴を識別するように構成された識別ユニットと、
   前記ウェアラブルデバイスの前記ポーズを調整するように構成されたフィルタユニットと
   を備える、請求項１から６のいずれか一項に記載の方法。
8. 前記カメラがヘッドマウントデバイス内に位置し、
   前記ウェアラブルデバイスが、前記ヘッドマウントデバイスから分離されたコントローラであり、好ましくは、前記ヘッドマウントデバイスが１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサが、前記カメラ、前記識別ユニット、および前記フィルタユニットを実装するように構成された、
   請求項１から７のいずれか一項に記載の方法。
9. ソフトウェアを具現する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されたとき、
   ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、
   前記動きデータに基づいて前記ウェアラブルデバイスのポーズを生成することと、
   第１の露光時間を使用してカメラによって前記ウェアラブルデバイスの第１のフレームをキャプチャすることと、
   前記第１のフレーム中で、前記ウェアラブルデバイス上に配置された光のパターンを識別することと、
   第２の露光時間を使用して前記カメラによって前記ウェアラブルデバイスの第２のフレームをキャプチャすることと、
   前記第２のフレーム中で、前記ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、
   （１）前記第１のフレーム中の光の前記識別されたパターンまたは（２）前記第２のフレーム中の前記識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境において前記ウェアラブルデバイスの前記ポーズを調整することと
   を行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
10. 前記ソフトウェアは、実行されたとき、
    前記環境が第１の光条件を有するとき、前記第１の露光時間を使用して前記ウェアラブルデバイスの前記第１のフレームをキャプチャすることと、
    前記環境が第２の光条件を有するとき、前記第２の露光時間を使用して前記ウェアラブルデバイスの前記第２のフレームをキャプチャすることとを行うようにさらに動作可能であり、好ましくは、前記第２の光条件が、
    環境が明るい光を有すること、
    環境が、前記ウェアラブルデバイスの光の前記パターンに干渉することになる光源を有すること、および
    前記カメラが光の前記パターンをキャプチャすることが可能でないこと
    のうちの１つまたは複数を含む、
    請求項９に記載の媒体。
11. 前記ウェアラブルデバイスが、１つまたは複数の慣性測定ユニット（ＩＭＵ）と１つまたは複数の赤外（ＩＲ）発光ダイオード（ＬＥＤ）とを装備し、
    前記第１のフレームがＩＲ画像であり、
    前記第２のフレームが可視光画像であり、ならびに／または好ましくは、前記第２の露光時間が前記第１の露光時間よりも長く、ならびに／または好ましくは、ウェアラブルデバイスの前記ポーズは、前記第１のフレームおよび前記第２のフレームがキャプチャされる周波数よりも速い周波数において生成される、
    請求項９または１０に記載の媒体。
12. 前記ソフトウェアが、実行されたとき、
    前記第２の露光時間を使用して前記カメラによって前記ウェアラブルデバイスの第３のフレームをキャプチャすることと、
    前記第３のフレーム中で、前記ウェアラブルデバイスの前記あらかじめ決定された特徴に対応する１つまたは複数の特徴を識別することと、
    前記あらかじめ決定された特徴と前記１つまたは複数の特徴との間の対応データを決定することと、
    前記調整されたポーズと前記対応データとに基づいて前記環境において前記ウェアラブルデバイスを追跡することと
    を行うようにさらに動作可能である、請求項９から１１のいずれか一項に記載の方法。
13. 前記カメラがヘッドマウントデバイス内に位置し、
    前記ウェアラブルデバイスが、前記ヘッドマウントデバイスから分離されたリモートコントローラである、
    請求項９から１２のいずれか一項に記載の媒体。
14. １つまたは複数のプロセッサと、前記プロセッサのうちの１つまたは複数に結合され、命令を備える、１つまたは複数のコンピュータ可読非一時的記憶媒体とを備えるシステムであって、前記命令が、前記プロセッサのうちの前記１つまたは複数によって実行されたとき、前記システムに、
    ウェアラブルデバイスの１つまたは複数の動きセンサーによってキャプチャされた動きデータを受信することと、
    前記動きデータに基づいて前記ウェアラブルデバイスのポーズを生成することと、
    第１の露光時間を使用してカメラによって前記ウェアラブルデバイスの第１のフレームをキャプチャすることと、
    前記第１のフレーム中で、前記ウェアラブルデバイス上に配置された光のパターンを識別することと、
    第２の露光時間を使用して前記カメラによって前記ウェアラブルデバイスの第２のフレームをキャプチャすることと、
    前記第２のフレーム中で、前記ウェアラブルデバイスのあらかじめ決定された特徴を識別することと、
    （１）前記第１のフレーム中の光の前記識別されたパターンまたは（２）前記第２のフレーム中の前記識別されたあらかじめ決定された特徴のうちの少なくとも１つに基づいて、環境において前記ウェアラブルデバイスの前記ポーズを調整することと
    を行わせるように動作可能である、システム。
15. 前記命令は、前記システムに、
    前記環境が第１の光条件を有するとき、前記第１の露光時間を使用して前記ウェアラブルデバイスの前記第１のフレームをキャプチャすることと、
    前記環境が第２の光条件を有するとき、前記第２の露光時間を使用して前記ウェアラブルデバイスの前記第２のフレームをキャプチャすることと
    をさらに行わせる、請求項１４に記載のシステム。

Images