JP6895390B2 - 仮想現実においてハンドヘルド電子装置を追跡するためのシステム - Google Patents

Description

関連出願の相互参照
本願は、２０１５年７月７日に出願された米国出願第６２／１８９，２９２号に基づく優先権を主張する２０１６年６月２７日に出願された米国出願第１５／１９３，７７７号の継続出願であり、それに基づく優先権を主張し、その内容全体を本明細書に引用により援用する。本願は、２０１５年７月７日に出願された米国出願第６２／１８９，２９２号に基づく優先権を主張し、その内容全体を本明細書に引用により援用する。

分野
本明細書は、概して、拡張現実および／または仮想現実環境における電子装置の検出および追跡に関する。

背景
拡張現実（augmented reality：ＡＲ）および／または仮想現実（virtual reality：ＶＲ）システムは、３次元（３Ｄ）没入型仮想環境を生成することができる。ユーザは、この仮想環境を、さまざまな電子装置との対話を通して体験し得る。これらの電子装置は、たとえば、ディスプレイを含むヘルメットまたはその他のヘッドマウントデバイス、ユーザがディスプレイ装置を見るときに用いる眼鏡またはゴーグル、センサが装着された手袋、センサを含む外部ハンドヘルドデバイス、およびその他のこのような電子装置を含む。仮想環境に没入したときの、ユーザの仮想環境との対話は、たとえば電子装置の物理的移動および／または操作により、仮想環境と対話し、これを個人専用にし、制御することなど、さまざまな形態を取り得る。

概要
ある局面において、方法は、第１の電子装置を第２の電子装置と、第１の電子装置と第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み得る。第２の装置は、周囲環境の中で動作中に仮想環境を生成し表示するように構成されている。上記方法はまた、第１の電子装置または第２の電子装置のうちの一方の上にある少なくとも１つの視覚マーカーを、第１の電子装置または第２の電子装置のうちの他方のセンサによって検出するステップと、少なくとも１つの視覚マーカーにおいて検出された特徴に基づいて、周囲環境の中における第１の電子装置の動きを検出し追跡するステップと、検出し追跡した、周囲環境の中における第１の電子装置の動きを、仮想環境の中における対応する動作に変換するステップとを含み得る。よって、この方法は、たとえば、周囲環境における第１の電子装置の動きを、第２の電子装置がユーザに提供する仮想環境における対話および／または動きのような、対応する動作として、ユーザが体験できるという効果をもたらす。

別の局面において、システムは、光学センサとプロセッサとを含むハンドヘルド電子装置を備え得る。ハンドヘルド電子装置は、筐体の外面上に複数の視覚マーカーを有するヘッドマウント電子装置に作動的に結合されるように構成され、ハンドヘルド電子装置は、ハンドヘルド電子装置の光学センサによって取得した画像と、取得した画像における所定の特徴の識別とに基づいて、ヘッドマウント電子装置に対するハンドヘルド電子装置の相対的な位置および動きを求めるように構成され、所定の特徴は複数の視覚マーカーに対応する。

１つ以上の実装例の詳細を、添付の図面および以下の説明に記載する。その他の特徴は、明細書、図面、および特許請求の範囲から明らかであろう。

本明細書に記載の実装例に従う、ヘッドマウントディスプレイおよびハンドヘルド電子装置を含む仮想現実システムの一例を示す図である。 本明細書に記載の実装例に従う、ヘッドマウントディスプレイの一例の斜視図である。 本明細書に記載の実装例に従う、ヘッドマウントディスプレイの一例の斜視図である。 本明細書に記載の実装例に従う、視覚マーカーを含むヘッドマウントディスプレイの一例の正面斜視図である。 本明細書に記載の実装例に従う、視覚マーカーを含むヘッドマウントディスプレイの一例の底面斜視図である。 本明細書に記載の実装例に従う、視覚マーカーに含まれ得るパターンの例を示す図である。 本明細書に記載の実装例に従う、視覚マーカーを含むヘッドマウントディスプレイの一例の正面斜視図である。 本明細書に記載の実装例に従う、視覚マーカーを含むヘッドマウントディスプレイの一例の底面斜視図である。 本明細書に記載の実装例に従う、ヘッドマウントディスプレイおよびハンドヘルド電子装置のブロック図である。 本明細書に記載の実装例に従う、拡張および／または仮想現実環境においてハンドヘルド電子装置を追跡する方法のフローチャートである。 本明細書に記載の実装例に従う、視覚マーカーを含むハンドヘルド電子装置の正面図である。 本明細書に記載の実装例に従う、視覚マーカーを含むハンドヘルド電子装置の正面図である。 本明細書に記載の実装例に従う、赤外線追跡マーカーを発するように構成されたハンドヘルド電子装置の正面図である。 本明細書に記載の実装例に従う、仮想環境においてハンドヘルド装置を追跡する方法のフローチャートである。 本明細書に記載の手法を実現するために使用することが可能なコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す。

詳細な説明
たとえばヘッドマウントディスプレイ（head mounted display：ＨＭＤ）デバイスを装着し３Ｄ仮想環境に没入しているユーザは、仮想環境を探検し、仮想環境の中の仮想の物体、特徴などと、たとえば、身体的な対話（たとえば手／腕のジェスチャー、頭部の動き、歩行など）および／またはＨＭＤおよび／またはそれとは別の電子装置の操作を通して対話することにより、仮想環境を体験することができる。たとえば、いくつかの実装例において、ＨＭＤが、たとえば、コントローラ、ジャイロマウス、スマートフォンまたはその他のこのようなハンドヘルド電子装置のようなハンドヘルド電子装置と、ペアリングされる場合がある。ユーザは、ＨＭＤとペアリングされたハンドヘルド電子装置を操作することにより、ＨＭＤによって生成された仮想環境と対話することができる。

図１に示される例示的な実装例において、ＨＭＤ１００を装着しているユーザは、たとえばコントローラ、ジャイロマウス、スマートフォンのような携帯ハンドヘルド電子装置１０２を、自分の手１４２で持っている。図１に示される例において、ユーザはスマートフォン１０２を右手で持っている。しかしながら、ユーザは、装置１０２を、左手で持っていても、右手と左手両手で持っていても、ＨＭＤ１００によって生成された没入型仮想体験と対話することができる。

図２Ａおよび図２Ｂは、たとえば図１のユーザが装着しているＨＭＤ１００のようなＨＭＤの一例の斜視図である。このＨＭＤは、ユーザが体験することになる拡張および／または仮想環境を生成する。ＨＭＤ１００は、光学部品を収容することができる筐体１１０を含み得る。筐体１１０は、フレーム１２０に、結合たとえば回転可能に結合および／または取外し可能に装着されてもよい。このフレーム１２０により、筐体１１０をユーザの頭部に搭載または装着することができる。音声出力装置１３０がフレーム１２０に結合されてもよく、音声出力装置１３０は、たとえば、ヘッドフォンに搭載されフレーム１２０に結合されたスピーカを含み得る。

図２Ｂにおいて、筐体１１０の前面１１０ａは、筐体１１０に収容されている部品の一部が見えるように、筐体１１０の基部１１０ｂから回転させられている。ディスプレイ１４０が筐体１１０の前面１１０ａに搭載されていてもよい。レンズ１５０は、筐体１１０の内部において、前面１１０ａが筐体１１０の基部１１０ｂに対して閉じられた位置にあるときにユーザの目とディスプレイ１４０との間になるように装着されている。レンズ１５０の位置を、ユーザの目のそれぞれの光軸と位置合わせすることにより、比較的広い視野および比較的短い焦点距離がもたらされる。

ＨＭＤ１００はまた、各種検知システム装置を含む検知システム１６０と、ＨＭＤ１００の操作を容易にする各種制御システム装置を含む制御システム１７０とを備える。制御システム１７０はまた、制御システム１７０の構成要素に作動的に結合されたプロセッサ１９０を含み得る。

いくつかの実装例において、ＨＭＤ１００はまた、ＨＭＤ１００の外部の環境の静止画および動画を撮影することができるカメラ１８０を含み得る。たとえば、いくつかの実装例において、カメラ１８０は、たとえばハンドヘルド電子装置１０２の上またはその他の場所にある追跡マーカーの画像を撮影することができる。カメラ１８０が撮影した追跡マーカーの画像を、ＨＭＤ１００が認識して処理することにより、この空間の中におけるハンドヘルド電子装置１０２の位置および動きおよび／またはＨＭＤ１００の位置および／または動きを求めることができる。いくつかの実装例において、カメラ１８０は、たとえば赤外線（ＩＲ）投光器と赤外線センサとを含むことより、ＩＲ投光器によって照明されているインジケータを撮影してもよい。いくつかの実装例において、カメラ１８０は、たとえばＨＭＤ１００上のカメラ１８０から、たとえば電子装置１０２を持っているユーザの手１４２までの距離を求めることができる、深度センサを含み得る。いくつかの実装例において、カメラ１８０は、現実の世界または周囲、環境の静止画および動画を撮影することができる。カメラ１８０が撮影した画像を、ユーザ向けに、パススルーモードでディスプレイ１４０に表示することで、ユーザが、ＨＭＤ１００を外すことなく、そうでなければＨＭＤ１００の構成を変更して筐体１１０を動かしてユーザの視線から外すことなく、一時的に仮想世界から出て現実世界に戻ることができるようにしてもよい。

いくつかの実装例において、ＨＭＤ１００はまた、たとえばＨＭＤ１００の外面上の１つ以上の識別マーカー１１５を含み得る。この１つ以上のマーカー１１５は、ハンドヘルド電子装置１０２によって検出されることができるよう、たとえばＨＭＤ１００の筐体１１０の１つ以上の外面上に含まれていてもよい。たとえば、いくつかの実装例において、ＨＭＤ１００上のマーカー１１５は、たとえばユーザが手で持っているハンドヘルド電子装置１０２の前面（front facing）カメラ１０３のようなハンドヘルド電子装置１０２の画像センサおよび／または光学センサおよび／または光センサの視野の中で捕えることができる。マーカー１１５は、素早くおよび／または正確に機械で読取ることができる特徴を含み得る。たとえば、いくつかの実装例において、初期パターンおよび／またはパターンの特徴が、カメラ１０３のキャプチャーレートまたはフレームレートに応じて決まる１つのフレーム内で検出されてもよい。（パターンが初期検出時から移動している）その後の特徴の検出および追跡は、比較的短時間、たとえば３ｍｓ未満で行なうことができる。いくつかの実装例において、その後の特徴の検出は、たとえばパターン、検出システムの能力、およびその他のこのような要素に応じて、３ｍｓを超える時間を要する場合がある。マーカー１１５に含まれる特徴は、たとえば、非繰返しパターン、複数の明確なコーナー、およびその他のこのような特徴を含み得る。たとえば、マーカーは、機械で読取可能な光学マーカーを定める、マトリックスバーコードまたは２次元バーコードまたはクイックレスポンス（quick response：ＱＲ）コードであってもよい。また、たとえば非繰返しパターンおよび／または複数の明確なコーナーを含む、素早くおよび／または正確に撮影、識別、および処理されるその他の光学マーカーが含まれていてもよい。

いくつかの実装例において、ＨＭＤ１００上のマーカー１１５は、先に述べたようにＨＭＤ１００の外面上で見えていてもよい。いくつかの実装例において、ＨＭＤ１００上のマーカー１１５は、人間の目には見えず、たとえばハンドヘルド電子装置１０２に含まれるＩＲ投光器およびＩＲセンサ／カメラによって検出可能であってもよい。

ユーザが手で持っているハンドヘルド電子装置１０２の、画像センサおよび／または光学センサおよび／または光センサまたは前面カメラ１０３の視野の中で捕えられるマーカーを含むＨＭＤ１００の一例が、図３Ａおよび図３Ｂに示される。１つ以上のマーカー１１５（図３Ａおよび図３Ｂに示されるシェーディングされた領域１１５Ａおよび１１５Ｂによって表わされる）は、ＨＭＤ１００の１つ以上の面に含まれていてもよい。この例において、第１のマーカー１１５Ａは、ＨＭＤ１００の筐体１１０の、前面１００Ａ全体に位置し、第２のマーカー１１５Ｂは、ＨＭＤ１００の筐体１１０の、下面１００Ｂ全体に位置する。第１のマーカー１１５Ａおよび第２のマーカー１１５ＢがＨＭＤ１００の筐体１１０の前面１００Ａおよび下面１００Ｂに示されているのは、単に説明し易く図示し易いからである。たとえば、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカーがハンドヘルド電子装置１０３によって検出される限り、図３Ａおよび図３Ｂに示される第１のマーカー１１５Ａおよび第２のマーカー１１５Ｂに加えてまたはその代わりに、マーカーが、ＨＭＤ１００の筐体１１０の左側面および／または右側面に沿って位置していてもよい。以下、単に説明し易く図示し易いからであるが、ＨＭＤ１００上の１つ以上のマーカー１１５を検出するハンドヘルド電子装置１０２上の画像センサおよび／または光学センサおよび／または光センサを、前面カメラ１０３と呼ぶ。

図３Ａおよび図３Ｂに示される第１のマーカー１１５Ａは、ＨＭＤ１００の前面１００Ａのほぼ全体を覆っている。しかしながら、いくつかの実装例において、第１のマーカー１１５は、ＨＭＤ１００の前面１００Ａの一部を覆っていてもよく、ＨＭＤ１００の他の面を覆っていてもよい。先に述べたように、図３Ａおよび図３Ｂに示される第１のマーカー１１５Ａおよび第２のマーカー１１５Ｂは、複数の明確な非繰返しエッジおよび／またはコーナーを含む非繰返しパターンを含む。たとえば、マーカー１１５は、図３Ｃに示される例のうちの１つとしての非繰返しパターン、または、図３Ａおよび図３Ｂに示されるシェーディングされた領域において本明細書に記載のように検出および認識できるその他のパターンを含み得る。

いくつかの実装例において、検出されたマーカー１１５内のパターンと前面カメラ１０３によって撮影された画像との間で、わずか４つのコーナーを照合することにより、パターンを識別してもよい。コーナーの数が多いほど、および／または検出されたパターンと撮影された画像との間で照合されるコーナーの数が多いほど、信頼性がより高い結果が得られるであろう。検出、照合、および追跡の信頼性は、たとえば、視覚マーカー１１５の大きさまたは面積、視覚マーカー１１５の印刷品質レベル、前面カメラ１０３の解像能力、画像センサ１０３と視覚マーカー１１５との間の距離、およびその他のこのような要素に応じて決まるであろう。いくつかの実装例において、視覚マーカー１１５の大きさは、５ｃｍ×５ｃｍ以上であってもよい。いくつかの実装例において、視覚マーカー１１５の大きさは、５ｃｍ×５ｃｍ未満であってもよい。

ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中で捕えられるマーカーを含むＨＭＤ１００のもう１つの例が、図３Ｄおよび図３Ｅに示される。この例において、第１のマーカー１１５Ｃは、ＨＭＤ１００の筐体１１０の前面１００Ａの上に位置し、第２のマーカー１１５Ｄは、ＨＭＤ１００の筐体１１０の下面１１０Ｂ上に位置する。第１のマーカー１１５Ｃおよび第２のマーカー１１５ＤがＨＭＤ１００の筐体１１０の前面１００Ａおよび下面１００Ｂに示されているのは、単に説明し易く図示し易いからである。たとえば、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカーが捕えられる限り、図３Ｄおよび図３Ｅに示される第１のマーカー１１５Ｃおよび第２のマーカー１１５Ｄに加えてまたはその代わりに、マーカーが、ＨＭＤ１００の筐体１１０の左側面および／または右側面に沿って位置していてもよい。同様に、図３Ｄおよび図３Ｅに示される例において、第１のマーカー１１５ＣはＨＭＤ１００の前面１００Ａの右上のコーナーに位置し、第２のマーカー１１５ＤはＨＭＤ１００の下面１００Ｂの左下側に位置している。しかしながら、これらのマーカーは、ユーザが手で持っているハンドヘルド電子装置１０２のカメラ１０３の視野の中で捕えられる限り、ＨＭＤ１００上のその他の位置にあってもよい。先に述べたように、図３Ｄおよび図３Ｅに示される第１のマーカー１１５Ｃおよび第２のマーカー１１５Ｄは、素早く簡単に撮影、識別、および処理される明確なコーナーおよび／またはエッジを含む非繰返しパターンを含む、マトリックス／２次元バーコードまたはＱＲコード（登録商標）を含む。

いくつかの実装例において、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカー１１５が捕えられる限り、図３Ａ〜図３Ｅに示される第１のマーカー１１５Ａ／１１５Ｃおよび第２のマーカー１１５Ｂ／１１５Ｄよりも多いまたは少ないマーカー１１５がＨＭＤ１００に含まれていてもよい。いくつかの実装例において、ＨＭＤ１００に含まれるマーカー１１５は、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中で捕えられるように配置されている限り、図３Ａ〜図３Ｅに示されるマーカー１１５Ａ〜１１５Ｄと異なる場所に配置されてもよい。視覚マーカー１１５をＨＭＤ１００の前面１００Ａおよび下面１００Ｂ上に配置することにより、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３の視野の中でマーカー１１５を比較的安定して正確に撮影することができる。なぜなら、ハンドヘルド電子装置１０２がユーザの手で保持されているとき、一般的に、ユーザが手／腕をユーザの腕の動く範囲の中で動かしたとしても、前面カメラ１０３は、ＨＭＤ１００の前面１００Ａおよび／または下面１００Ｂのうちの少なくとも一方を見ることができるからである。いくつかの実装例において、マーカー１１５は、製造中にＨＭＤ１００上に含めてもよい。いくつかの実装例において、ユーザは、マーカー１１５を、たとえば特定のＨＭＤおよびハンドヘルド電子装置、使用環境、およびその他のこのような要素に基づいて選択された場所で、ＨＭＤ１００に貼付けてもよく、および／または再配置してもよい。

先に述べたように、いくつかの実装例において、ハンドヘルド電子装置１０２の前面カメラ１０３は、ＨＭＤ１００上のマーカー１１５（たとえば図３Ａ〜図３Ｂに示されるＨＭＤ１００上のマーカー１１５Ａおよび１１５Ｂ、および／または図３Ｄ〜図３Ｅに示されるＨＭＤ１００上のマーカー１１５Ｃおよび１１５Ｄ）が人間の目には見えないがハンドヘルド電子装置１０２の前面カメラ１０３によって検出できるように、ＩＲ投光器およびＩＲセンサを含んでいてもよい。

上記前面カメラ１０３を含むハンドヘルド電子装置１０２は、上記マーカー１１５を含むＨＭＤ１００と作動的に結合またはペアリングされてもよい。このハンドヘルド電子装置１０２とＨＭＤ１００とのペアリングにより、ハンドヘルド電子装置１０２とＨＭＤ１００との間の通信およびハンドヘルド電子装置１０２とＨＭＤ１００との間のデータのやり取りが行なわれ、ハンドヘルド電子装置１０２の操作または動きが、ＨＭＤ１００によって生成された仮想環境の中における対応する対話または動きに変換されて、たとえばＨＭＤ１００のディスプレイ１４０上でユーザに対して表示されてもよい。

ペアリング後に、ユーザが手で持っているハンドヘルド電子装置１０２の前面カメラ１０３によって撮影された画像を用いて、たとえば、ユーザが手で持っているハンドヘルド電子装置１０２の画像センサ１０３の視野の中で捕えられたＨＭＤ１００上のマーカー１１５の画像を用いて、ＨＭＤ１００の相対６自由度（6 degree-of-freedom）（６ＤＯＦ）位置、動きを検出し、追跡してもよい。ハンドヘルド電子装置１０２の６ＤＯＦ位置は、３次元空間におけるＸ、ＹおよびＺ軸各々を中心とするハンドヘルド電子装置１０２の動き（たとえばＸ、ＹおよびＺ軸を中心とするロール、ピッチおよびヨー運動）と連動する、本システムが実装されている３次元の物理的な現実世界空間におけるハンドヘルド電子装置１０２の位置のＸ、ＹおよびＺ座標を含み得る。ハンドヘルド電子装置１０２がＨＭＤ１００の相対ＤＯＦ位置を検出すると、この相対位置の逆変換により、ＨＭＤ１００に対するハンドヘルド電子装置１０２の相対的な位置が得られる。

いくつかの実装例において、３次元空間におけるＸ、ＹおよびＺ軸各々を中心とするハンドヘルド電子装置１０２の動きを、たとえばハンドヘルド電子装置１０２に含まれるセンサ（たとえば、例として加速度計、ジャイロスコープなどを含む慣性測定部）によって捕えてもよい。マーカーの検出に基づいて検出された、物理的な現実世界の空間におけるハンドヘルド電子装置１０２の３次元位置を、ハンドヘルド電子装置１０２のセンサによって検出されたＸ、ＹおよびＺ軸を中心とするハンドヘルド電子装置１０２の動きと組合わせることにより、ハンドヘルド電子装置１０２の６ＤＯＦ追跡を行なうことができる。これにより、ハンドヘルド電子装置１０２の多種多様な入力、操作などを、ＨＭＤ１００が生成した仮想環境における仮想の特徴、物体などとの対応する対話に変換し、たとえばＨＭＤ１００のディスプレイ１４０上でユーザに対して表示することができる。

ＨＭＤ１００に対するハンドヘルド電子装置１０２の相対的な位置を、繰返し／連続的に求めることにより、ハンドヘルド電子装置１０２の動きを追跡し、ハンドヘルド電子装置１０２の動きを、ＨＭＤ１００が生成した仮想環境における対応する対話に変換し、たとえばＨＭＤ１００のディスプレイ１４０上でユーザに表示してもよい。いくつかの実装例において、この逆変換は、行列の反転を伴い得る。たとえば、ハンドヘルド電子装置１０２からの行列を用いて、ＨＭＤ１００の座標空間内の点を、ハンドヘルド電子装置１０２の座標空間に変換してもよい。この行列の反転を計算し、ハンドヘルド電子装置１０２の座標空間内の点を、ＨＭＤ１００の座標空間に変換してもよい。この例において、ハンドヘルド電子装置１０２の座標空間は、ハンドヘルド電子装置１０２に固定された右手座標系によって規定されてもよく、ＨＭＤ１００の座標空間は、ＨＭＳ１００に固定された右手座標系によって規定されてもよい。ハンドヘルド電子装置１０２は、反転された行列を、捕えられたフレームごとにＨＭＤ１００に送信してもよい。そうすると、ＨＭＤ１００は、数、たとえば１６数の行列を用いて、ハンドヘルド電子装置１０２を、現実世界と同じ位置にあるように見えるようレンダリングし、実際の動きに基づいてハンドヘルド電子装置の動きをレンダリングしてもよい。

拡張および／または仮想現実環境においてハンドヘルドデバイスを追跡するためのシステムのブロック図が、図４に示される。このシステムは、第２のユーザ電子装置４０４と通信する第１のユーザ電子装置４００を含み得る。第１のユーザ電子装置４００は、たとえば、図２Ａ〜図２Ｂおよび図３Ａ〜図３Ｅに関連して先に説明した、ユーザが体験する拡張および／または仮想現実環境を生成するＨＭＤであってもよく、第２のユーザ電子装置４０２は、たとえば、図１に関連して先に説明した、ＨＭＤが生成した拡張および／または仮想現実環境とユーザとの対話を容易にするハンドヘルド電子装置であってもよい。たとえば、先に述べたように、第２の（ハンドヘルド）電子装置４０２の物理的な動きを、第１の（ヘッドマウント）電子装置４００が生成した仮想環境における所望の対話に変換することができる。

第１の電子装置４００は、検知システム４６０と制御システム４７０とを含み得る。これらはそれぞれ、図２Ａおよび図２Ｂに示される検知システム１６０および制御システム１７０と同様であってもよい。図４に示される例示的な実装例において、検知システム４６０は、たとえば、光センサ、音声センサ、距離／近接センサ、赤外線センサおよび／または投光器、ジャイロスコープ、加速度計、および／またはその他のセンサおよび／またはセンサの各種組合わせを含む、多種多様なセンサを含み得る。いくつかの実装例において、光センサ、画像センサおよび音声センサは、たとえば図２Ａおよび図２Ｂに示されるＨＭＤ１００のカメラ１８０のようなカメラなどの、１つの構成要素に含まれていてもよい。制御システム４７０は、たとえば、電源／停止制御装置、音声およびビデオ制御装置、光学制御装置、遷移制御装置、および／またはその他のこのような装置および／または装置の各種組合わせを含む、多種多様な装置を含み得る。いくつかの実装例において、検知システム４６０および／または制御システム４７０は、具体的な実装例に応じて、より多くのまたはより少ない装置を含み得る。検知システム４６０および／または制御システム４７０に含まれる要素は、たとえば、図２Ａおよび図２Ｂに示されるＨＭＤ１００以外のＨＭＤの内部で、異なる物理的構成（異なる物理的位置）を有していてもよい。

第１の電子装置４００はまた、検知システム４６０および制御システム４７０と通信するプロセッサ４９０と、たとえば制御システム４７０のモジュールからアクセス可能なメモリ４８０と、第１の電子装置４００とたとえば第１の電子装置４００とペアリングされた第２の電子装置４０２などの別の外部装置との間の通信を提供する通信モジュール４５０とを含み得る。

第２の電子装置４０２は、第２の電子装置４０２とたとえば第２の電子装置４０２とペアリングされた第１の電子装置４００などの別の外部装置との間の通信を提供する通信モジュール４０６を含み得る。第２の電子装置４０２は、検知システム４０４を含み得る。検知システム４０４は、たとえばＩＲ投光器およびＩＲセンサまたはその他の種類の撮像センサを含む画像センサ、たとえばカメラおよびマイクに含まれる音声センサ、たとえば加速度計および／またはジャイロスコープおよび／または磁力計を含む慣性測定部、および、その他のこのようなセンサおよび／またはセンサの各種組合わせを含み得る。プロセッサ４０９は、第２電子装置４０２の検知システム４０４およびコントローラ４０５と通信し得る。コントローラ４０５は、メモリ４０８にアクセスすることができ、第２の電子装置４０２の全体の動作を制御する。

上記のように、ユーザは、たとえば、ハンドヘルド電子装置１０２のタッチ面、ボタン、つまみおよびその他の操作装置に与えた入力、ハンドヘルド電子装置１０２の物理的な動き、およびハンドヘルド電子装置１０２のその他の操作を通して、ハンドヘルド電子装置１０２を操作することにより、仮想環境における仮想の特徴、物体などと対話する、たとえばＨＭＤ１００が生成した仮想環境における仮想の特徴または要素の動きを生じさせることができる。たとえば、ユーザは、仮想環境の中で仮想アイテムを仮想的に保持していることができる。ハンドヘルド電子装置１０２がＨＭＤ１００とペアリングされ、かつ、ハンドヘルド電子装置１０２がユーザの片手または両手で保持されている状態で、ハンドヘルド電子装置１０２の前面カメラ１０３は、ＨＭＤ１００上の仮想マーカー１１５を見て追跡することにより、ハンドヘルド電子装置１０２に対するＨＭＤ１００の相対的な位置を確定することができる。この相対的な位置の逆変換を利用して、ＨＭＤ１００に対するハンドヘルド電子装置１０２の相対的な６ＤＯＦ運動の場所を求めてこれを追跡することができる。このシステムは、現実世界の環境における、求めたハンドヘルド電子装置１０２の場所／位置／向き／動きを、仮想環境において保持されている仮想アイテムの対応する動きに、または、検出された動きの種類に対応するその他の動作に変換することができる。

この構成において、ＨＭＤ１００に含まれる視覚マーカー１１５は、受動マーカーである。すなわち、この例示的な実装例において、マーカー１１５は、ハンドヘルド電子装置１０２が検出し得る単なるパターンであって、検出用にハンドヘルド電子装置１０２が検出する種類の信号を発するものではない。この実装例において、検出、識別、および処理はすべて、ハンドヘルド電子装置１０２によって行なわれる。これにより、ＨＭＤ１００の作業負荷を軽減することで、ＨＭＤ１００が、利用できる処理リソースおよびバッテリ電源を、仮想環境の生成に適用できるようにすることができる。

本明細書において概要が説明されている実装例に従う、拡張および／または仮想現実環境においてハンドヘルド電子装置を追跡する方法５００が、図５に示される。上記のように、ハンドヘルド電子装置は、たとえば図１に示されるハンドヘルド電子装置１０２であってもよい。ハンドヘルド電子装置１０２は、たとえば、没入型拡張および／または仮想現実環境を生成するように構成された、図１、２Ａ〜２Ｂ、３Ａ〜３Ｅに示されるＨＭＤ１００と作動的に結合またはペアリングされてもよい。ハンドヘルド電子装置１０２は、たとえば、有線接続、たとえばＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）を介した無線接続、またはその他の種類の接続により、ＨＭＤ１００とペアリングされ、および／または通信してもよい。ブロック５１０でＨＭＤ１００およびハンドヘルド電子装置１０２が起動およびペアリングされ、ブロック５２０で仮想体験が開始された後、ＨＭＤ１００およびハンドヘルド電子装置１０２が、データ収集およびデータ合成を実行することにより、ハンドヘルド電子装置１０２の位置を求めその動きを追跡し、ハンドヘルド電子装置１０２の動きを仮想環境における対応する対話に変換することができる。

ブロック５３０で、ハンドヘルド電子装置１０２のセンサ、たとえばハンドヘルド電子装置１０２の前面カメラ１０３は、視野をスキャンしその視野内の画像を収集してもよい。ブロック５４０で、このシステムは次に、ＨＭＤ１００上の視覚マーカー１１５に含まれていることがわかっている所定の特徴を探して上記画像をスキャンしてもよい。これは、たとえば、上記特定の非繰返しパターン、複数の明確なコーナーおよび／またはエッジなどを含み得る。画像、具体的には検出した特徴を、所定の特徴を含む視覚マーカー１１５の既知の画像と比較してもよい。取得した画像を既知の画像と比較してもよく、ハンドヘルド電子装置１０２に対するＨＭＤ１００の相対的な位置および／または向きを、たとえばハンドヘルド電子装置１０２とＨＭＤ１００とが直交するように位置合わせされた向きのときの、既知の所定の特徴の外観と比較して、取得した画像に現われている所定の特徴がどのように見えるかに基づいて、求めてもよい。ブロック５４０でハンドヘルド電子装置１０２に対するＨＭＤ１００の相対的な位置を求めた後、ブロック５５０で逆変換を算出することにより、ＨＭＤ１００に対するハンドヘルド電子装置１０２の相対的な位置を求めてもよい。いくつかの実装例において、ハンドヘルド電子装置１０２は、実質的に連続的に、または、マーカー１１５が検出され得る速度で、この画像データを収集および／または処理してもよく、ハンドヘルド電子装置１０２の動きは、顕著な中断なしで追跡されてもよい。

ブロック５６０で、位置データをハンドヘルド電子装置１０２が処理することにより、ハンドヘルド電子装置１０２の動きを求めてもよく、ブロック５７０で、求めたハンドヘルド電子装置１０２の動きを、ＨＭＤが生成した仮想環境における対応する対話および／または動きに変換してもよい。ＨＭＤ１００のユーザがハンドヘルド電子装置１０２の対話および／または動きを利用して仮想環境における体験をすることができるという、技術的効果が得られる。たとえば、現時点で取得した位置および動きおよび／または向きのデータを、過去の時点における位置および動きおよび／または向きのデータと比較することにより、動きの軌跡を求めることができる。動きの軌跡は、データが連続的に収集、処理および合成されるので、実質的に連続的に更新されるであろう。次に、動きの軌跡を用いて、ＨＭＤ１００のユーザが仮想環境において対応する動きまたは対話を体験できるようにすることができる。

このプロセスは、ブロック５８０において仮想体験が終了したと判断されるまで、繰返し実行されてもよい。

いくつかの実装例において、視覚マーカーは、ＨＭＤ１００、たとえばＨＭＤ１００のカメラ１８０が視覚マーカーを用いてハンドヘルド電子装置１０２の位置を求めその動きを追跡できるよう、ハンドヘルド電子装置１０２に含まれていてもよい。ハンドヘルド電子装置のようなハンドヘルドデバイスのディスプレイにレンダリングされる視覚マーカーの一例が、図６Ａに示される。

図６Ａに示されるように、たとえばマトリックスバーコード、または２次元バーコード、またはＱＲコードなどの視覚マーカー１２５Ａが、ハンドヘルド電子装置１０２のディスプレイ１０５上に表示またはレンダリングされてもよい。この例示的な実装例において、視覚マーカー１２５Ａは、視覚マーカー１２５Ａの観察をユーザの手が遮断または妨害しないよう、ユーザがハンドヘルド電子装置１０２を右手で持っている状態で、ハンドヘルド電子装置１０２のディスプレイ１０５の左上の角でレンダリングされている。このようにしてハンドヘルド電子装置１０２のディスプレイ１０５上にレンダリングされたマーカー１２５Ａは、たとえば、ハンドヘルド電子装置１０２が異なる手でもしくは異なる向きで把持される場合に合わせて、またはその他のこのようなユーザ設定に合わせて、ディスプレイ画面上の別の場所に移動させてもよい。この構成により、視覚マーカーを生成する、貼り付ける、または表示するための構成要素を収容するハンドヘルド電子装置１０２のケースまたはベゼルの空間に依拠することなく、ＨＭＤ１００のカメラ１８０によってハンドヘルド電子装置１０２の視覚的な追跡を行なうことができる。また、この構成により、ハンドヘルド電子装置１０２のディスプレイ１０５および／またはその他の操作面を、ハンドヘルド電子装置１０２の前面の外縁まで実質的に拡大することができ、実質的にベゼルは不要になり、装置１０２の有効表面積を拡大して装置１０２の実用性を改善することができる。

図６Ｂに示されるように、いくつかの実装例において、視覚マーカー１２５Ｂは、そうでなければ、たとえばＨＭＤ１００のカメラ１８０によって視覚マーカー１２５Ｂを検出できるよう、ハンドヘルド電子装置１０２の外面１０６上に位置していてもよい。視覚マーカー１２５Ｂは、たとえば、ハンドヘルド電子装置１０２の外面と一体化されてもよく、ハンドヘルド電子装置１０２の外面に加えられたまたは接着されたステッカーであってもよく、ハンドヘルド電子装置１０２のケース拡張部などであってもよい。いくつかの実装例において、視覚マーカー１２５Ｂは、たとえば、ＨＭＤ１００に含まれるＩＲ投光器およびＩＲセンサ／カメラから検出可能であるが人間の目から見えないものであってもよい。

いくつかの実装例において、ＨＭＤ１００、たとえばＨＭＤ１００の赤外線センサまたはカメラが赤外線マーカーを用いてハンドヘルド電子装置１０２の位置を求めその動きを追跡できるよう、赤外線マーカーがハンドヘルド電子装置１０２によって生成されてもよい。たとえばハンドヘルド電子装置のディスプレイによって生成される赤外線マーカーの一例が図６Ｃに示される。

図６Ｃに示されるように、たとえばマトリックスバーコードまたは２次元バーコードまたはＱＲコードなどの赤外線マーカー１２５Ｃを、ハンドヘルド電子装置１０２のディスプレイ１０５によって生成してもよい。たとえば、いくつかの実装例において、ハンドヘルド電子装置１０２は、ディスプレイ１０５のバックライトにおいて赤外線発光ダイオード（ＬＥＤ）を含んでいてもよく、ディスプレイ１０５のバックライトにおける赤外線ＬＥＤが、ＨＭＤ１００の赤外線センサまたは赤外線カメラには見えるが人の目には見えない赤外線マーカー１２５Ｃを生成して放出してもよい。いくつかの実装例において、赤外線マーカー１２５Ｃは、ハンドヘルド電子装置１０２のディスプレイ１０５によって、たとえばディスプレイ１０５の画素を駆動して赤外域の光を放射し、ＨＭＤ１００の赤外線カメラまたは赤外線センサには見えるが人の目には見えない複雑なパターンをディスプレイ１０５が発するようにしてもよい。この構成により、視覚マーカーを生成する、貼り付ける、または表示するための構成要素を収容するハンドヘルド電子装置１０２のケースまたはベゼルの空間に依拠することなく、ＨＭＤ１００の比較的安価な赤外線カメラまたはセンサによってハンドヘルド電子装置１０２を比較的高い信頼性で視覚的に追跡することができる。また、この構成により、ハンドヘルド電子装置１０２のディスプレイ１０５および／またはその他の操作面を、ハンドヘルド電子装置１０２の前面の外縁まで実質的に拡大すると、実質的に外側のベゼルは不要になり、装置１０２の有効表面積を拡大して装置１０２の有用性を改善することができる。

図６Ａ〜図６Ｃに示されるマーカーの例であるマーカー１２５Ａ、１２５Ｂおよび１２５Ｃは、マトリックスバーコードまたは２次元バーコードまたはＱＲコードによって定められているが、これは説明し易く図示し易いからにすぎない。しかしながら、マーカー１２５Ａ、１２５Ｂおよび１２５Ｃは、先に述べたようにＨＭＤ１００の画像センサによって検出および認識し得る、画定されたコーナーおよび／またはエッジを含むその他の不規則な非繰返しパターンを含み得る。

本明細書に記載の実装例に従う、拡張および／または仮想現実環境においてハンドヘルド電子装置を追跡する方法７００が、図７に示される。上記のように、ハンドヘルド電子装置は、たとえば図１に示されるハンドヘルド電子装置１０２であってもよい。ハンドヘルド電子装置１０２は、たとえば、拡張および／または仮想現実環境を生成するように構成された、図１、２Ａ〜２Ｂ、３Ａ〜３Ｅに示されるＨＭＤ１００とペアリングされてもよい。ハンドヘルド電子装置１０２は、たとえば、有線接続、たとえばＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈを介した無線接続、またはその他の種類の接続により、ＨＭＤ１００と作動的に結合またはペアリングされてもよく、および／または通信してもよい。ブロック７１０でＨＭＤ１００およびハンドヘルド電子装置１０２が起動およびペアリングされ、ブロック７２０で拡張および／または仮想現実体験が開始された後、ＨＭＤ１００およびハンドヘルド電子装置１０２が、データ収集およびデータ合成を実行することにより、ハンドヘルド電子装置１０２の位置を求めその位置と動きを追跡し、ハンドヘルド電子装置１０２の動きを仮想環境における対応する対話および／または動きに変換することができる。

上記のように、視覚マーカー１２５Ａを、ハンドヘルド電子装置１０２の表示画面上にレンダリングしてもよく、および／または視覚マーカー１２５Ｂを、ハンドヘルド電子装置１０２上に、他のやり方で、配置、貼り付けまたは装着してもよい。ブロック７３０で、ＨＭＤ１００の画像センサ、たとえばＨＭＤ１００のカメラ１８０、またはＩＲ投光器およびＩＲセンサが、カメラ１８０の視野をスキャンしその視野の中の画像を収集してもよい。ブロック７４０で、このシステムは次に、ハンドヘルド電子装置１０２上の視覚マーカー１２５Ａおよび／または１２５Ｂに含まれていることがわかっている所定の特徴を探して上記画像をスキャンしてもよい。これは、たとえば、上記特定の非繰返しパターン、複数の明確なコーナーなどを含み得る。画像、具体的には検出した特徴を、所定の特徴を含む視覚マーカー１２５Ａ／１２５Ｂの既知の画像と比較してもよい。取得した画像を既知の画像と比較してもよく、ＨＭＤ１００に対するハンドヘルド電子装置１０２の相対的な位置および／または向きを、たとえばハンドヘルド電子装置１０２とＨＭＤ１００とが直交するように位置合わせされた向きのときの、既知の所定の特徴の外観と比較して、取得した画像に現われている所定の特徴がどのように見えるかに基づいて、求めてもよい。いくつかの実装例において、ＨＭＤ１００は、この画像データを実質的に連続的に収集し処理してもよい。

ブロック７５０で、位置データをハンドヘルド電子装置１０２が処理することにより、ハンドヘルド電子装置１０２の動きを求めてもよく、ブロック７６０で、求めたハンドヘルド電子装置１０２の動きを、ＨＭＤ１００が生成した仮想環境における対応する対話に変換してもよい。たとえば、現時点で取得した位置および動きおよび／または向きのデータを、過去の時点における位置および動きおよび／または向きのデータと比較することにより、データが連続的に収集、処理および合成されるので実質的に連続的に更新される動きの軌跡を求めることができる。

このプロセスは、ブロック７７０において仮想体験が終了したと判断されるまで、繰返し実行されてもよい。

この構成において、ハンドヘルド電子装置１０２に含まれる視覚マーカー１２５Ａおよび／または視覚マーカー１２５Ｂは、受動マーカーであり、検出、識別、処理、および連続的な追跡はすべて、ＨＭＤ１００によって行なわれる。このようなやり方でハンドヘルド電子装置１０２の位置を求め動きを追跡することは、１つの視覚マーカー１２５Ａ／１２５Ｂを用いることで確実に実現することができる。しかしながら、このようなやり方でハンドヘルド電子装置１０２の位置を求め動きを追跡することは、さらに仮想環境を生成しこの仮想環境をユーザに対しディスプレイ１４０で表示しているＨＭＤ１００の処理および電力リソースに依存する。

図８は、本明細書に記載の手法を用いて使用され得るコンピュータデバイス８００およびモバイルコンピュータデバイス８５０の例を示す。コンピューティングデバイス８００は、プロセッサ８０２と、メモリ８０４と、記憶装置８０６と、メモリ８０４および高速拡張ポート８１０に接続している高速インターフェイス８０８と、低速バス８１４および記憶装置８０６に接続している低速インターフェイス８１２とを含む。コンポーネント８０２、８０４、８０６、８０８、８１０、および８１２の各々は、さまざまなバスを使用して相互接続されており、共通のマザーボード上にまたは他の態様で適宜搭載されてもよい。プロセッサ８０２は、コンピューティングデバイス８００内で実行される命令を処理可能であり、これらの命令は、ＧＵＩのためのグラフィック情報を、高速インターフェイス８０８に結合されたディスプレイ８１６などの外部入出力デバイス上に表示するために、メモリ８０４内または記憶装置８０６上に格納された命令を含む。他の実装例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数のタイプのメモリとともに適宜使用されてもよい。加えて、複数のコンピューティングデバイス８００が接続されてもよく、各デバイスは（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

メモリ８０４は、情報をコンピューティングデバイス８００内に格納する。一実装例では、メモリ８０４は１つまたは複数の揮発性メモリユニットである。別の実装例では、メモリ８０４は１つまたは複数の不揮発性メモリユニットである。メモリ８０４はまた、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。

記憶装置８０６は、コンピューティングデバイス８００のための大容量記憶を提供可能である。一実装例では、記憶装置８０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイといった、コンピュータ読取可能媒体であってもよく、または当該コンピュータ読取可能媒体を含んでいてもよい。コンピュータプログラムプロダクトが情報担体において有形に具体化され得る。コンピュータプログラムプロダクトはまた、実行されると上述のような１つ以上の方法を行なう命令を含んでいてもよい。情報担体は、メモリ８０４、記憶装置８０６、またはプロセッサ８０２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ８０８はコンピューティングデバイス８００のための帯域幅集約的な動作を管理し、一方、低速コントローラ８１２はより低い帯域幅集約的な動作を管理する。機能のそのような割当ては例示にすぎない。一実装例では、高速コントローラ８０８は、メモリ８０４、ディスプレイ８１６に（たとえば、グラフィックスプロセッサまたはアクセラレータを介して）、および、さまざまな拡張カード（図示せず）を受付け得る高速拡張ポート８１０に結合される。この実装例では、低速コントローラ８１２は、記憶装置８０６および低速拡張ポート８１４に結合される。さまざまな通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの１つ以上の入出力デバイスに、または、スイッチもしくはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合されてもよい。

コンピューティングデバイス８００は、図に示すように多くの異なる形態で実現されてもよい。たとえばそれは、標準サーバ８２０として、またはそのようなサーバのグループで複数回実現されてもよい。それはまた、ラックサーバシステム８２４の一部として実現されてもよい。加えて、それは、ラップトップコンピュータ８２２などのパーソナルコンピュータにおいて実現されてもよい。これに代えて、コンピューティングデバイス８００からのコンポーネントは、デバイス８５０などのモバイルデバイス（図示せず）における他のコンポーネントと組合されてもよい。そのようなデバイスの各々は、コンピューティングデバイス８００、８５０のうちの１つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス８００、８５０で構成されてもよい。

コンピューティングデバイス８５０は、数あるコンポーネントの中でも特に、プロセッサ８５２と、メモリ８６４と、ディスプレイ８５４などの入出力デバイスと、通信インターフェイス８６６と、トランシーバ８６８とを含む。デバイス８５０にはまた、追加の格納を提供するために、マイクロドライブまたは他のデバイスなどの記憶装置が設けられてもよい。コンポーネント８５０、８５２、８６４、８５４、８６６、および８６８の各々は、さまざまなバスを使用して相互接続されており、当該コンポーネントのうちのいくつかは、共通のマザーボード上にまたは他の態様で適宜搭載されてもよい。

プロセッサ８５２は、メモリ８６４に格納された命令を含む、コンピューティングデバイス８５０内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえば、ユーザインターフェイス、デバイス８５０が実行するアプリケーション、およびデバイス８５０による無線通信の制御といった、デバイス８５０の他のコンポーネント同士の連携を提供してもよい。

プロセッサ８５２は、ディスプレイ８５４に結合された制御インターフェイス８５８およびディスプレイインターフェイス８５６を介してユーザと通信してもよい。ディスプレイ８５４は、たとえば、ＴＦＴ ＬＣＤ（Thin-Film-Transistor Liquid Crystal Display：薄膜トランジスタ液晶ディスプレイ）、またはＯＬＥＤ（Organic Light Emitting Diode：有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス８５６は、ディスプレイ８５４を駆動してグラフィカル情報および他の情報をユーザに提示するための適切な回路を含んでいてもよい。制御インターフェイス８５８は、ユーザからコマンドを受信し、それらをプロセッサ８５２に送出するために変換してもよい。加えて、デバイス８５０と他のデバイスとの近接エリア通信を可能にするように、外部インターフェイス８６２がプロセッサ８５２と通信した状態で設けられてもよい。外部インターフェイス８６２は、たとえば、ある実装例では有線通信を提供し、他の実装例では無線通信を提供してもよく、複数のインターフェイスも使用されてもよい。

メモリ８６４は、情報をコンピューティングデバイス８５０内に格納する。メモリ８６４は、１つまたは複数のコンピュータ読取可能媒体、１つまたは複数の揮発性メモリユニット、または、１つまたは複数の不揮発性メモリユニットの１つ以上として実現され得る。拡張メモリ８７４も設けられ、拡張インターフェイス８７２を介してデバイス８５０に接続されてもよく、拡張インターフェイス８７２は、たとえばＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含んでいてもよい。そのような拡張メモリ８７４は、デバイス８５０に余分の格納スペースを提供してもよく、または、デバイス８５０のためのアプリケーションまたは他の情報も格納してもよい。具体的には、拡張メモリ８７４は、上述のプロセスを実行または補足するための命令を含んでいてもよく、安全な情報も含んでいてもよい。このため、たとえば、拡張メモリ８７４はデバイス８５０のためのセキュリティモジュールとして設けられてもよく、デバイス８５０の安全な使用を許可する命令でプログラミングされてもよい。加えて、ハッキング不可能な態様でＳＩＭＭカード上に識別情報を乗せるといったように、安全なアプリケーションが追加情報とともにＳＩＭＭカードを介して提供されてもよい。

メモリはたとえば、以下に説明されるようなフラッシュメモリおよび／またはＮＶＲＡＭメモリを含んでいてもよい。一実装例では、コンピュータプログラムプロダクトが情報担体において有形に具体化される。コンピュータプログラムプロダクトは、実行されると上述のような１つ以上の方法を実行する命令を含む。情報担体は、メモリ８６４、拡張メモリ８７４、またはプロセッサ８５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体であり、たとえばトランシーバ８６８または外部インターフェイス８６２を通して受信され得る。

デバイス８５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス８６６を介して無線通信してもよい。通信インターフェイス８６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、さまざまなモードまたはプロトコル下での通信を提供してもよい。そのような通信は、たとえば無線周波数トランシーバ８６８を介して生じてもよい。加えて、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他のそのようなトランシーバ（図示せず）などを使用して、短距離通信が生じてもよい。加えて、ＧＰＳ（Global Positioning System：全地球測位システム）レシーバモジュール８７０が、追加のナビゲーション関連および位置関連無線データをデバイス８５０に提供してもよく、当該データは、デバイス８５０上で実行されるアプリケーションによって適宜使用されてもよい。

デバイス８５０はまた、ユーザから口頭情報を受信してそれを使用可能なデジタル情報に変換し得る音声コーデック８６０を使用して、音声通信してもよい。音声コーデック８６０はまた、たとえばデバイス８５０のハンドセットにおいて、スピーカを介すなどして、ユーザに聞こえる音を生成してもよい。そのような音は、音声電話からの音を含んでいてもよく、録音された音（たとえば、音声メッセージ、音楽ファイルなど）を含んでいてもよく、デバイス８５０上で動作するアプリケーションが生成する音も含んでいてもよい。

コンピューティングデバイス８５０は、図に示すように多くの異なる形態で実現されてもよい。たとえばそれは、携帯電話８８０として実現されてもよい。それはまた、スマートフォン８８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

ここに説明されたシステムおよび手法のさまざまな実装例は、デジタル電子回路、集積回路、特定用途向け集積回路ＡＳＩＣ（application specific integrated circuit：特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合わせで実現され得る。これらのさまざまな実装例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実装例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するとともに、これらにデータおよび命令を送信するように結合されてもよい。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても公知）は、プログラマブルプロセッサのための機械命令を含んでおり、高レベル手続き型および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実現され得る。ここに使用されるように、「機械読取可能媒体」「コンピュータ読取可能媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラムプロダクト、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ））を指し、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

ユーザとの対話を提供するために、ここに説明されたシステムおよび手法は、情報をユーザに表示するためのディスプレイデバイス（たとえば、ＣＲＴ（cathode ray tube：陰極線管）またはＬＣＤ（liquid crystal display：液晶ディスプレイ）モニタ）と、ユーザが入力をコンピュータに提供できるようにするキーボードおよびポインティングデバイス（たとえば、マウスまたはトラックボール）とを有するコンピュータ上で実現され得る。他の種類のデバイスを使用してユーザとの対話を提供することもでき、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。

ここに説明されたシステムおよび手法は、（たとえばデータサーバとしての）バックエンドコンポーネントを含む、またはミドルウェアコンポーネント（たとえばアプリケーションサーバ）を含む、またはフロントエンドコンポーネント（たとえば、ユーザがここに説明されたシステムおよび手法の実装例とやりとりできるようにするグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ）を含む、もしくは、そのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組合わせを含む、コンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（たとえば通信ネットワーク）によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（local area network：ＬＡＮ）、ワイドエリアネットワーク（wide area network：ＷＡＮ）、およびインターネットを含む。

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは一般に互いにリモートであり、典型的には通信ネットワークを介してやりとりする。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。

いくつかの実装例では、図８に示すコンピューティングデバイスは、仮想現実（ＶＲヘッドセット／ＨＭＤデバイス８９０）とインターフェイス接続するセンサを含み得る。たとえば、図８に示すコンピューティングデバイス８５０または他のコンピューティングデバイス上に含まれる１つ以上のセンサは、ＶＲヘッドセット８９０への入力を提供でき、または一般に、ＶＲ空間への入力を提供できる。センサは、タッチスクリーン、加速度計、ジャイロスコープ、圧力センサ、生体認証センサ、温度センサ、湿度センサ、および周囲光センサを含み得るものの、それらに限定されない。コンピューティングデバイス８５０はこれらのセンサを使用して、ＶＲ空間におけるコンピューティングデバイスの絶対位置および／または検出された回転を判断可能であり、それは次に、ＶＲ空間への入力として使用され得る。たとえば、コンピューティングデバイス８５０は、コントローラ、レーザポインタ、キーボード、武器などの仮想オブジェクトとしてＶＲ空間に組込まれてもよい。ＶＲ空間に組込まれた場合のコンピューティングデバイス／仮想オブジェクトのユーザによる位置付けは、ユーザが、ＶＲ空間において仮想オブジェクトをある態様で見るようにコンピューティングデバイスを位置付けることを可能にし得る。たとえば、仮想オブジェクトがレーザポインタを表わす場合、ユーザは、コンピューティングデバイスを、実際のレーザポインタであるかのように操作することができる。ユーザはコンピューティングデバイスをたとえば左右に、上下に、円形に動かして、レーザポインタを使用するのと同様の態様でデバイスを使用することができる。

いくつかの実装例では、コンピューティングデバイス８５０上に含まれ、またはコンピューティングデバイス８５０に接続された１つ以上の入力デバイスは、ＶＲ空間への入力として使用され得る。入力デバイスは、タッチスクリーン、キーボード、１つ以上のボタン、トラックパッド、タッチパッド、ポインティングデバイス、マウス、トラックボール、ジョイスティック、カメラ、マイクロホン、入力機能性を有するイヤホンまたは小型イヤホン、ゲーミングコントローラ、または他の接続可能な入力デバイスを含み得るものの、それらに限定されない。コンピューティングデバイスがＶＲ空間に組込まれた場合にコンピューティングデバイス８５０上に含まれる入力デバイスとやりとりするユーザは、特定のアクションがＶＲ空間で生じるようにすることができる。

いくつかの実装例では、コンピューティングデバイス８５０のタッチスクリーンは、ＶＲ空間においてタッチパッドとしてレンダリングされ得る。ユーザは、コンピューティングデバイス８５０のタッチスクリーンとやりとりすることができる。やりとりは、たとえばＶＲヘッドセット８９０において、ＶＲ空間におけるレンダリングされたタッチパッド上の動きとしてレンダリングされる。レンダリングされた動きは、ＶＲ空間においてオブジェクトを制御することができる。

いくつかの実装例では、コンピューティングデバイス８５０上に含まれる１つ以上の出力デバイスは、ＶＲ空間においてＶＲヘッドセット８９０のユーザに出力および／またはフィードバックを提供することができる。出力およびフィードバックは、視覚、触覚、または音声によるものであり得る。出力および／またはフィードバックは、振動、１つ以上のライトまたはストロボをオンオフすることもしくは点滅および／または明滅させること、アラームを鳴らすこと、チャイムを鳴らすこと、歌を演奏すること、および音声ファイルを演奏することを含み得るものの、それらに限定されない。出力デバイスは、振動モータ、振動コイル、圧電デバイス、静電デバイス、発光ダイオード（ＬＥＤ）、ストロボ、およびスピーカを含み得るものの、それらに限定されない。

いくつかの実装例では、コンピューティングデバイス８５０は、コンピュータが生成した３Ｄ環境において別のオブジェクトのように見えてもよい。ユーザによるコンピューティングデバイス８５０とのやりとり（たとえば、タッチスクリーンを回転させ、振動させること、タッチスクリーンに触れること、タッチスクリーンを横切って指をスワイプすること）は、ＶＲ空間におけるオブジェクトとのやりとりとして解釈され得る。ＶＲ空間におけるレーザポインタの例では、コンピューティングデバイス８５０は、コンピュータが生成した３Ｄ環境において仮想レーザポインタのように見える。ユーザがコンピューティングデバイス８５０を操作すると、ユーザはＶＲ空間においてレーザポインタの動きを見る。ユーザは、コンピューティングデバイス８５０上またはＶＲヘッドセット８９０上で、ＶＲ環境におけるコンピューティングデバイス８５０とのやりとりからフィードバックを受信する。

いくつかの実装例において、コンピューティングデバイス８５０はタッチスクリーンを含み得る。たとえば、ユーザは、タッチスクリーン上で生じることを模倣してＶＲ空間内で生じさせることができる特定のやり方で、タッチスクリーンと対話することができる。たとえば、ユーザは、つまむ（pinching）タイプの動きを用いて、タッチスクリーン上に表示されているコンテンツの大きさを変えることができる。このタッチスクリーン上におけるつまむタイプの動きは、ＶＲ空間内で提供されている情報の大きさを変えることができる。別の例において、コンピューティングデバイスは、コンピュータによって生成された３Ｄ環境における仮想ブックとして与えられてもよい。ＶＲ空間では、このブックのページがＶＲ空間内で表示され、ユーザの指でタッチスクリーンをスワイプすることは、仮想ブックのページを裏返す／めくることであると解釈することができる。各ページを裏返す／めくると、ページの内容が変わるのが見え、それに加えて、本のページを裏返す音などの音声フィードバックをユーザに与えることができる。

いくつかの実装例では、コンピューティングデバイスに加えて１つ以上の入力デバイス（たとえばマウス、キーボード）が、コンピュータが生成した３Ｄ環境においてレンダリングされ得る。レンダリングされた入力デバイス（たとえば、レンダリングされたマウス、レンダリングされたキーボード）は、ＶＲ空間においてオブジェクトを制御するために、ＶＲ空間においてレンダリングされたとして使用され得る。

コンピューティングデバイス８００は、さまざまな形態のデジタルコンピュータおよびデバイスを表わすよう意図されている。これらのデジタルコンピュータおよびデバイスは、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータを含むがこれらに限定されない。コンピューティングデバイス８５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスといった、さまざまな形態のモバイルデバイスを表わすよう意図されている。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は、単なる例示であるよう意図されており、本文書に記載のおよび／または請求項に記載の本発明の実装例を限定するよう意図されてはいない。

多くの実施形態を説明してきた。しかしながら、明細書の精神および範囲から逸脱することなくさまざまな変更がなされ得ることが理解されるであろう。

加えて、図面に示す論理フローは、所望の結果を達成するために、図示された特定の順序または順番を必要としない。加えて、説明されたフローに他のステップが提供されてもよく、または当該フローからステップが除去されてもよく、説明されたシステムに他のコンポーネントが追加されてもよく、または当該システムから除去されてもよい。したがって、他の実施形態は以下の請求項の範囲内にある。

本明細書に記載の通り、記載されている実装例の特定の特徴を説明してきたが、ここで、当業者は、数多くの変形、代替形、変更、および均等物に想到するであろう。したがって、以下の請求項が、実装例の範囲に含まれるすべてのこのような変形および変更をカバーすることを意図していることが、理解されるであろう。これらの実装例は限定ではなく専ら例示を目的として示されており形態および詳細事項にさまざまな変更を加えることができることが、理解されねばならない。本明細書に記載の装置および／または方法はいずれの部分も、相互に相容れない組合わせを除いて、何らかの組合わせが可能である。本明細書に記載の実装例は、記載されているさまざまな実装例の機能、構成要素および／または特徴の、さまざまな組合わせおよび／または下位の組合わせを含み得る。

ある例示的な実施形態に従うと、ハンドヘルドスマートフォンなどの第１の電子装置を、ヘッドマウントディスプレイなどの第２の電子装置が生成した仮想現実環境において追跡するためのシステムは、第１の電子装置または第２の電子装置のうちの一方に含まれるカメラによって、第１の電子装置または第２の電子装置のうちの他方の上に含まれている少なくとも１つの視覚マーカーを検出することを含み得る。この視覚マーカーの既知の特徴に対応する、視野の中で検出された特徴を用いて、第２の電子装置に対する第１の電子装置の相対的な位置を求めてその動きを追跡することができ、第２の電子装置の動きを、第２の電子装置が生成した仮想体験における対話に変換することができる。

本願の主題の一部を構成し請求項の範囲の一部を構成し得る実施形態を定めるその他の例をまとめたものは以下の通りである。

例１：方法は、第１の電子装置を第２の電子装置と、第１の電子装置と第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、第２の装置は、周囲環境の中で動作中に仮想環境を生成し表示するように構成される。この方法はさらに、第１の電子装置または第２の電子装置のうちの一方の上にある少なくとも１つの視覚マーカーを、第１の電子装置または第２の電子装置のうちの他方のセンサによって検出するステップと、少なくとも１つの視覚マーカーにおいて検出された特徴に基づいて、周囲環境の中における第１の電子装置の動きを検出し追跡するステップと、検出し追跡した、周囲環境の中における第１の電子装置の動きを、仮想環境の中における対応する動作に変換するステップとを含む。

例２：例１の方法において、少なくとも１つの視覚マーカーを検出するステップおよび周囲環境の中における第１の電子装置の動きを検出し追跡するステップは、第１の電子装置の光学センサを用いて光学データを収集するステップを含み、光学データは第２の電子装置の画像を含み、収集した光学データをスキャンしスキャンした光学データにおける複数の所定の特徴を検出するステップと、検出した複数の所定の特徴を、第２の電子装置の上にある少なくとも１つの視覚マーカーの既知の画像と比較するステップと、複数の所定の特徴の検出に基づいて、収集した光学データにおいて少なくとも１つの視覚マーカーを識別するステップと、識別した少なくとも１つの視覚マーカーに基づいて、第１の電子装置に対する第２の電子装置の相対的な位置を求めるステップとを含む。

例３：例２の方法において、検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、検出した複数の所定の特徴を少なくとも１つの視覚マーカーの既知の画像と比較するステップおよび収集した光学データにおいて少なくとも１つの視覚マーカーを識別するステップは、検出した複数の所定の特徴の不規則なパターンの向きを、少なくとも１つの視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、比較に基づいて、第１の電子装置に対する第２の電子装置の相対的な位置および向きを求めるステップとを含む。

例４：例３の方法において、第１の電子装置の光学センサを用いて光学データを収集するステップは、第２の電子装置の画像を、第１の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、少なくとも１つの視覚マーカーは、赤外線投光器で照明されている間、赤外線センサのみに見える第１の電子装置上の赤外線パターンを含む。

例５：例２〜例４のいずれか１つの方法において、少なくとも１つの視覚マーカーを検出するステップおよび周囲環境の中における第１の電子装置の動きを検出し追跡するステップは、第２の電子装置の位置を逆変換し第２の電子装置に対する第１の電子装置の相対的な位置を求めるステップと、第１の電子装置の現在の位置と、第１の電子装置の過去の位置とを比較することにより、第１の電子装置の動きを追跡するステップとを含む。

例６：例５の方法において、第１の電子装置はハンドヘルドコントローラであり、第２の電子装置はヘッドマウントディスプレイ装置であり、光学センサはハンドヘルドコントローラの前面カメラであり、少なくとも１つの視覚マーカーは、ヘッドマウントディスプレイ装置の第１の表面上の第１の２次元バーコードと、ヘッドマウントディスプレイ装置の第２の表面上の第２の２次元バーコードとを含む。

例７：例１〜例６のいずれか１つの方法において、少なくとも１つの視覚マーカーを検出するステップおよび周囲環境の中における第１の電子装置の動きを検出し追跡するステップは、第２の電子装置の光学センサを用いて画像データを収集するステップを含み、光学データは第１の電子装置の画像を含み、収集した光学データをスキャンしスキャンした光学データにおける複数の所定の特徴を検出するステップと、検出した複数の所定の特徴を、第２の電子装置の上にある少なくとも１つの視覚マーカーの既知の画像と比較するステップと、収集した光学データにおいて少なくとも１つの視覚マーカーを識別するステップと、複数の所定の特徴の検出に基づく識別した少なくとも１つの視覚マーカーに基づいて第２の電子装置に対する第１の電子装置の相対的な位置を求めるステップと、第１の電子装置の現在の位置を第１の電子装置の過去の位置と比較することにより、第１の電子装置の動きを追跡するステップとを含む。

例８：例７の方法において、検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、検出した複数の所定の特徴を少なくとも１つの視覚マーカーの既知の画像と比較し収集した光学データに基づいて少なくとも１つの視覚マーカーを識別するステップは、検出した複数の所定の特徴の不規則なパターンの向きを、少なくとも１つの視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、比較に基づいて、第１の電子装置に対する第２の電子装置の相対的な位置および向きを求めるステップとを含む。

例９：例８の方法において、第２の電子装置の光学センサを用いて光学データを収集するステップは、第１の電子装置の画像を、第２の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、少なくとも１つの視覚マーカーは、赤外線投光器で照明されている間、赤外線センサに見える第１の電子装置上の定められた赤外線パターンを含む。

例１０：例７〜例９のいずれかの方法において、第１の電子装置はハンドヘルドコントローラであり、第２の電子装置はヘッドマウントディスプレイ装置であり、光学センサはヘッドマウントディスプレイ装置上のカメラであり、視覚マーカーはハンドヘルドコントローラのディスプレイ画面上にレンダリングされたまたはハンドヘルドコントローラの外面上に位置する２次元バーコードである。

例１１：システムは、光学センサとプロセッサとを含むハンドヘルド電子装置を備え、ハンドヘルド電子装置は、筐体の外面上に複数の視覚マーカーを有するヘッドマウント電子装置に作動的に結合されるように構成されており、ハンドヘルド電子装置は、ハンドヘルド電子装置の光学センサによって取得した画像と、取得した画像における所定の特徴の識別とに基づいて、ヘッドマウント電子装置に対するハンドヘルド電子装置の相対的な位置および動きを求めるように構成され、所定の特徴は複数の視覚マーカーに対応する。

例１２：例１１のシステムにおいて、複数の視覚マーカーは、ヘッドマウント電子装置の第１の表面上の第１の視覚マーカーと、ヘッドマウント電子装置の第２の表面上の第２の視覚マーカーとを含む。

例１３：例１２のシステムにおいて、第１の視覚マーカーは、ヘッドマウント電子装置の第１の表面に対応付けられた第１のパターンによって定められ、第１のパターンは、第１の非繰返しパターンまたは第１の複数の明確なコーナーのうちの少なくとも一方を含み、第２の視覚マーカーは、ヘッドマウント電子装置の第２の表面に対応付けられた第２のパターンによって定められ、第２のパターンは、第２の非繰返しパターンまたは第２の複数の明確なコーナーのうちの少なくとも一方を含む。

例１４：例１３のシステムにおいて、第１のパターンは、ヘッドマウント電子装置の第１の表面に対応付けられた第１の赤外線パターンであり、第２のパターンは、ヘッドマウント電子装置の第２の表面に対応付けられた第２の赤外線パターンであり、ハンドヘルド電子装置の光学センサは、赤外線投光器と赤外線センサとを含み、第１のパターンおよび第２のパターンが赤外線投光器によって照明されている間、第１のパターンおよび第２のパターンは赤外線センサのみに見える。

例１５：例１３または例１４のシステムにおいて、ヘッドマウント電子装置に対するハンドヘルド電子装置の相対的な位置および動きを求めるとき、ハンドヘルド電子装置は、光学センサが収集した画像において検出された第１のパターンの向きを、第１の視覚マーカーの既知の画像に含まれる第１のパターンの向きと比較し、光学センサが収集した画像において検出された第２のパターンの向きを、第２の視覚マーカーの既知の画像に含まれる第２のパターンの向きと比較し、比較に基づいて、第１の電子装置に対する第２の電子装置の相対的な位置および向きを求めるように、構成されている。

例１６：例１２〜例１５のいずれか１つのシステムにおいて、第１の視覚マーカーは、ヘッドマウント電子装置の前面に対応付けられた第１の２次元バーコードを含み、第２の視覚マーカーは、ヘッドマウント電子装置の下面に対応付けられた第２の２次元バーコードを含む。

例１７：例１２〜例１６のいずれか１つのシステムにおいて、第１の表面はヘッドマウント電子装置の前面であり、第２の表面は、ヘッドマウント電子装置の下面である。

例１８：例１１〜例１７のいずれか１つのシステムにおいて、ヘッドマウント電子装置はプロセッサを含み、プロセッサは、ヘッドマウント電子装置の光学センサを用いてハンドヘルド電子装置の画像を取得し、光学センサによって取得した画像において複数の所定の特徴を検出し、検出した複数の所定の特徴を、複数の視覚マーカーの既知の画像と比較し、比較に基づいて少なくとも１つの視覚マーカーを識別し、識別した少なくとも１つの視覚マーカーに基づいて、ヘッドマウント電子装置に対するハンドヘルド電子装置の相対的な位置を求めるように、構成されている。

例１９：例１８のシステムにおいて、識別した少なくとも１つの視覚マーカーは、ハンドヘルド電子装置のディスプレイ画面上にレンダリングされたまたはハンドヘルド電子装置の外面上に位置する２次元バーコードである。

例２０：例１１〜例１９のいずれか１つのシステムにおいて、ハンドヘルド電子装置はハンドヘルドコントローラまたはスマートフォンであり、周囲環境におけるハンドヘルド電子装置の動きは、ヘッドマウント電子装置によって生成された仮想環境における対応する対話に変換される。

例２１：プロセッサ上で実行されると、例１〜例１０のうちいずれか１つに記載の方法を実行する命令を含むコンピュータプログラム。

Claims (19)

1. 第１の電子装置を第２の電子装置と、前記第１の電子装置と前記第２の電子装置とが周囲環境の中で動作中に相互通信するように、作動的に結合するステップを含み、前記第２の電子装置は、ユーザが使用するヘッドマウントディスプレイ装置であり、前記周囲環境の中で動作中に仮想環境を生成し表示するように構成され、前記第１の電子装置は、前記ユーザが使用するハンドヘルドコントローラであり、
   第１のモードにおいて、前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップを含み、前記追跡するステップは、
   前記第２の電子装置の上にある複数の視覚マーカーを、前記第１の電子装置のセンサによって検出するステップを含み、前記複数の視覚マーカーは、前記第２の電子装置の第１の表面上に位置する第１の視覚マーカーと、前記第２の電子装置の第２の表面上に位置する第２の視覚マーカーと、を含み、前記第２の表面は前記第１の表面とは異なり、前記追跡するステップは、さらに、
   前記複数の視覚マーカーにおいて検出された特徴に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置を求め、前記周囲環境の中における前記第１の電子装置の動きを追跡するステップとを含み、前記第２の電子装置の位置を求めるステップは、
   前記第２の電子装置の位置の逆変換を計算するステップと、
   前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、前記第１の電子装置の動きを追跡するステップとを含み、さらに、
   前記検出し追跡した、前記周囲環境の中における前記第１の電子装置の動きを、前記仮想環境の中における対応する動作に変換するステップを含む、方法。
2. 前記複数の視覚マーカーを検出するステップおよび前記周囲環境の中における前記第１の電子装置の動きを追跡するステップは、
   前記第１の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第２の電子装置の画像を含み、
   前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
   前記検出した複数の所定の特徴を、前記第２の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
   前記複数の所定の特徴の検出に基づいて、前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップとを含む、請求項１に記載の方法。
3. 前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
   前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較するステップおよび前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
   前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの前記既知の画像における対応する複数の特徴の向きと比較するステップと、
   前記比較に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置および向きを求めるステップとを含む、請求項２に記載の方法。
4. 前記第１の電子装置の光学センサを用いて光学データを収集するステップは、
   前記第２の電子装置の画像を、前記第１の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサのみに見える前記第１の電子装置上の赤外線パターンを含む、請求項３に記載の方法。
5. 前記光学センサは前記ハンドヘルドコントローラの前面カメラであり、前記複数の視覚マーカーは、前記ヘッドマウントディスプレイ装置の第１の表面上の第１の２次元バーコードと、前記ヘッドマウントディスプレイ装置の第２の表面上の第２の２次元バーコードとを含む、請求項２に記載の方法。
6. 第２のモードにおいて、前記第２の電子装置に対する前記第１の電子装置の動きを追跡するステップをさらに含み、前記第２のモードは、
   前記第２の電子装置の光学センサを用いて光学データを収集するステップを含み、前記光学データは前記第１の電子装置の画像を含み、前記第２のモードはさらに、
   前記収集した光学データをスキャンし前記スキャンした光学データにおける複数の所定の特徴を検出するステップと、
   前記検出した複数の所定の特徴を、前記第２の電子装置の上にある前記複数の視覚マーカーの既知の画像と比較するステップと、
   前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップと、
   前記複数の所定の特徴の検出に基づく前記識別した複数の視覚マーカーに基づいて前記第２の電子装置に対する前記第１の電子装置の相対的な位置を求めるステップと、
   前記第１の電子装置の現在の位置を前記第１の電子装置の過去の位置と比較することにより、前記第１の電子装置の動きを追跡するステップとを含む、請求項１に記載の方法。
7. 前記検出した複数の所定の特徴は、複数のコーナーまたは複数のエッジのうちの少なくとも一方の不規則なパターンを含み、
   前記検出した複数の所定の特徴を前記複数の視覚マーカーの既知の画像と比較し前記収集した光学データにおいて前記複数の視覚マーカーを識別するステップは、
   前記検出した複数の所定の特徴の前記不規則なパターンの向きを、前記複数の視覚マーカーの既知の画像における対応する複数の特徴の向きと比較するステップと、
   前記比較に基づいて、前記第１の電子装置に対する前記第２の電子装置の相対的な位置および向きを求めるステップとを含む、請求項６に記載の方法。
8. 前記第２の電子装置の光学センサを用いて光学データを収集するステップは、
   前記第１の電子装置の画像を、前記第２の電子装置の赤外線センサを用い赤外線投光器で照明して取得するステップを含み、前記複数の視覚マーカーは、前記赤外線投光器で照明されている間、前記赤外線センサに見える前記第１の電子装置上の定められた赤外線パターンを含む、請求項７に記載の方法。
9. 前記光学センサは前記ヘッドマウントディスプレイ装置上のカメラであり、前記視覚マーカーは前記ハンドヘルドコントローラのディスプレイ画面上にレンダリングされたまたは前記ハンドヘルドコントローラの外面上に位置する２次元バーコードである、請求項６に記載の方法。
10. ヘッドマウント電子装置に作動的に結合されるように構成されたハンドヘルド電子装置を備え、前記ヘッドマウント電子装置は、前記ヘッドマウント電子装置の筐体の外面上に複数の視覚マーカーを有し、前記複数の視覚マーカーは、前記ヘッドマウント電子装置の第１の表面上に設けられた第１の視覚マーカーと、前記ヘッドマウント電子装置の第２の表面に設けられた第２の視覚マーカーとを含み、前記第２の表面は前記第１の表面とは異なり、前記ハンドヘルド電子装置は光学センサとプロセッサとを含み、
    前記ハンドヘルド電子装置は、
    前記ハンドヘルド電子装置の前記光学センサによって取得した画像と、前記取得した画像における所定の特徴の識別とに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求め、
    前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置の逆変換を計算することにより、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、構成されている、システム。
11. 前記第１の視覚マーカーは、前記ヘッドマウント電子装置の前記第１の表面に対応付けられた第１のパターンによって定められ、前記第１のパターンは、第１の非繰返しパターンまたは第１の複数の明確なコーナーのうちの少なくとも一方を含み、
    前記第２の視覚マーカーは、前記ヘッドマウント電子装置の前記第２の表面に対応付けられた第２のパターンによって定められ、前記第２のパターンは、第２の非繰返しパターンまたは第２の複数の明確なコーナーのうちの少なくとも一方を含む、請求項１０に記載のシステム。
12. 前記第１のパターンは、前記ヘッドマウント電子装置の前記第１の表面に対応付けられた第１の赤外線パターンであり、前記第２のパターンは、前記ヘッドマウント電子装置の前記第２の表面に対応付けられた第２の赤外線パターンであり、
    前記ハンドヘルド電子装置の前記光学センサは、赤外線投光器と赤外線センサとを含み、前記第１のパターンおよび前記第２のパターンが前記赤外線投光器によって照明されている間、前記第１のパターンおよび前記第２のパターンは前記赤外線センサのみに見える、請求項１１に記載のシステム。
13. 前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および動きを求めるとき、前記ハンドヘルド電子装置は、
    前記光学センサが収集した画像において検出された前記第１のパターンの向きを、前記第１の視覚マーカーの既知の画像に含まれる前記第１のパターンの向きと比較し、
    前記光学センサが収集した画像において検出された前記第２のパターンの向きを、前記第２の視覚マーカーの既知の画像に含まれる前記第２のパターンの向きと比較し、
    前記比較に基づいて、前記ハンドヘルド電子装置に対する前記ヘッドマウント電子装置の相対的な位置および向きを求めるように、
    構成されている、請求項１１に記載のシステム。
14. 前記第１の視覚マーカーは、前記ヘッドマウント電子装置の前面に対応付けられた第１の２次元バーコードを含み、前記第２の視覚マーカーは、前記ヘッドマウント電子装置の下面に対応付けられた第２の２次元バーコードを含む、請求項１０に記載のシステム。
15. 前記第１の表面は前記ヘッドマウント電子装置の前面であり、前記第２の表面は、前記ヘッドマウント電子装置の下面である、請求項１０〜１４のいずれか１項に記載のシステム。
16. 前記ヘッドマウント電子装置はプロセッサを含み、前記プロセッサは、
    前記ヘッドマウント電子装置の光学センサを用いて前記ハンドヘルド電子装置の画像を取得し、
    前記光学センサによって取得した画像において複数の所定の特徴を検出し、
    前記検出した複数の所定の特徴を、前記複数の視覚マーカーの既知の画像と比較し、
    前記比較に基づいて少なくとも１つの視覚マーカーを識別し、
    前記識別した少なくとも１つの視覚マーカーに基づいて、前記ヘッドマウント電子装置に対する前記ハンドヘルド電子装置の相対的な位置を求めるように、
    構成されている、請求項１０に記載のシステム。
17. 前記識別した少なくとも１つの視覚マーカーは、前記ハンドヘルド電子装置のディスプレイ画面上にレンダリングされたまたは前記ハンドヘルド電子装置の外面上に位置する２次元バーコードである、請求項１６に記載のシステム。
18. 前記ハンドヘルド電子装置はハンドヘルドコントローラまたはスマートフォンであり、
    周囲環境における前記ハンドヘルド電子装置の動きは、前記ヘッドマウント電子装置によって生成された仮想環境における対応する対話に変換される、請求項１０〜１７のいずれか１項に記載のシステム。
19. プロセッサ上で実行されると、請求項１〜９のいずれか１項に記載の方法を実行する命令を含むコンピュータプログラム。

Images