JP7008681B2 - 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ - Google Patents

Description

関連出願への相互参照
本出願は、２０１５年８月２６日に出願された「仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ（DYNAMIC SWITCHING AND MERGING OF HEAD, GESTURE AND TOUCH INPUT IN VIRTUAL REALITY）」と題される米国非仮特許出
願第１４／８３６，３１１号の優先権を主張し、その継続出願であり、その開示全体をここに引用により援用する。

分野
この文書は、一般的に、没入型仮想現実システムにおける入力の処理に関する。

背景
仮想現実（ＶＲ）システムは、３次元（３Ｄ）の没入型環境を生成することができる。ユーザは、例えば、表示装置を見るときに通して見るディスプレイ、眼鏡またはゴーグルを含むヘルメットまたは他の頭部装着型装置、センサとフィットされる手袋、センサを含む外部ハンドヘルドデバイス、および他のそのような電子デバイスなどの様々な電子デバイスとの相互作用を通じてこの仮想３Ｄ没入環境を体験することができる。一旦仮想３Ｄ環境に没入すると、ユーザの３Ｄ環境との相互作用は、仮想３Ｄ環境と相互に作用し、それを個人的なものにし、制御するよう、目での注視、頭部での注視、物理的な移動および／または電子デバイスの操作など、様々な形態をとり得る。

概要
１つの局面において、方法は、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始することと、複数の入力モードのうちの第１の入力モードを実施する第１の入力を受信することと、第１の入力に応答して複数の仮想オブジェクトのうちの第１の仮想オブジェクトを選択することと、複数の入力モードのうちの第２の入力モードを実施する第２の入力を受信することと、第２の入力モードの優先順位値と第１の入力モードの優先順位値とを比較することと、比較に基づいて、第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第２の仮想オブジェクトにシフトするか、または第１の仮想オブジェクトの選択を維持することとを含んでもよい。

別の局面において、方法は、没入型仮想体験を開始することと、複数の仮想オブジェクトのファーフィールドディスプレイを生成することと、第１の入力を受信することと、第１の入力に応答して複数の仮想オブジェクトを含むファーフィールドディスプレイを選択することと、第２の入力を受信することと、第２の入力に応答して複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングすることと、モーフィングされた複数の仮想オブジェクトを含むニアフィールドディスプレイを生成することと、第３の入力を受信することと、第３の入力に応答して、モーフィングされた複数の仮想オブジェクトのうちの１つを選択することとを含んでもよい。

１つ以上の実現例の詳細は、添付の図面および以下の記載において述べられる。他の特徴は記載および図面、ならびに特許請求の範囲から明らかになる。

本明細書で広く説明されている実施形態による、頭部装着型ディスプレイおよびハンドヘルド電子デバイスを含む仮想現実システムの実現例である。 本明細書で広く説明されている実施形態による例示的な頭部装着型ディスプレイの斜視図である。 本明細書で広く説明されている実施形態による例示的な頭部装着型ディスプレイの斜視図である。 本明細書で広く説明されている実施形態による頭部装着型電子デバイスおよびハンドヘルド電子デバイスのブロック図である。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするための注視およびタッチ入力を示す。 本明細書に広く記載されている実施形態による、図４Ａ～図４Ｇに示される注視およびタッチ入力を使用するスクロールのシナリオを示す。 本明細書に広く記載されている実施形態による、図４Ａ～図４Ｇに示される注視およびタッチ入力を使用するスクロールのシナリオを示す。 本明細書に広く記載されている実施形態による、図４Ａ～図４Ｇに示される注視およびタッチ入力を使用するスクロールのシナリオを示す。 本明細書に広く記載されている実施形態による、図４Ａ～図４Ｇに示される注視およびタッチ入力を使用するスクロールのシナリオを示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、オブジェクトのリストを選択してスクロールするためのポイントおよびタッチ入力を示す。 本明細書で広く説明される実施形態による、図６Ａ～図６Ｇに示されるポイントおよびタッチ入力のシナリオにおける選択されたオブジェクトの解放を示す。 本明細書で広く説明される実施形態による、図６Ａ～図６Ｇに示されるポイントおよびタッチ入力のシナリオにおける選択されたオブジェクトの解放を示す。 本明細書で広く説明される実施形態による、図６Ａ～図６Ｇに示されるポイントおよびタッチ入力のシナリオにおける選択されたオブジェクトの解放を示す。 本明細書に広く記載される実施形態による、オブジェクトを選択し移動するためのポイントおよびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトを選択し移動するためのポイントおよびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトを選択し移動するためのポイントおよびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトを選択し移動するためのポイントおよびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするためのリーチおよびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするためのリーチおよびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするためのリーチおよびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするためのリーチおよびタッチ入力を示す。 本明細書で広く説明されている実施形態による、オブジェクトのリストを選択してスクロールするためのリーチおよびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトの選択および移動のための解放およびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトの選択および移動のための解放およびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトの選択および移動のための解放およびタッチ入力を示す。 本明細書に広く記載される実施形態による、オブジェクトの選択および移動のための解放およびタッチ入力を示す。 本明細書で広く説明される実施形態による、仮想現実環境内のオブジェクト間のフォーカスのセット、解放およびシフトの方法のフローチャートである。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えを示す。 本明細書で広く説明される実施形態による、仮想現実環境におけるユーザ入力モード間の動的切り替えの方法のフローチャートである。 本明細書に記載の技術を実施するために使用することができるコンピュータデバイスおよびモバイルコンピュータデバイスの例を示す。

詳細な記載
例えばＨＭＤ（頭部装着型ディスプレイ）デバイスを装着した、３Ｄ仮想環境に没入し
たユーザは、３Ｄ仮想環境を探索し、様々な異なるタイプの入力を介して３Ｄ仮想環境と相互に作用することができる。これらの入力は、例えば、手／腕のジェスチャ、頭部の動き、および／または頭部の方向による注視、目の方向による注視など、および／またはＨＭＤの操作、および／またはＨＭＤとは別個の電子デバイスの操作、例えば、電子デバイスのタッチセンシティブ面上に加えられるタッチ、電子デバイスの移動、電子デバイスによって放射される光線またはビームなどを含む物理的相互作用を含み得る。例えば、いくつかの実現例では、ＨＭＤは、例えば、スマートフォンまたは他のそのようなハンドヘルド電子デバイスのようなハンドヘルド電子デバイスと対にされてもよい。ＨＭＤと対にされるハンドヘルド電子デバイスのユーザ操作により、ユーザは、ＨＭＤによって生成される３Ｄ仮想没入体験と相互に作用してもよい。いくつかのシステムは、ユーザの目での注視を検出および追跡し、ならびに／またはユーザの頭部の方向による注視を検出して、検出された目のおよび／または頭部での注視を３Ｄ仮想没入体験における対応する相互作用に変換するように構成されてもよい。これらの複数の異なる入力モード、特に複数の同時入力に直面した際に、複数の入力を実行するための設定された優先順位のシーケンスまたは階層は、検出された入力および設定された優先順位のシーケンスまたは階層に基づいて仮想世界で取られるべきオブジェクトおよび／またはアクションの正確な選択を容易にすることができる。

図１に示す例示的実現例において、ＨＭＤ１００を装着しているユーザは、ＨＭＤ１００によって生成される没入型仮想体験における相互作用のために、ＨＭＤ１００と対になりそれと通信することができる例えばスマートフォンなどの携帯用ハンドヘルド電子デバイス１０２または他の携帯用ハンドヘルド電子デバイスを手１４２に保持している。図１に示される例では、ユーザは、ハンドヘルド電子デバイス１０２を右手で保持している。しかしながら、ユーザは、ハンドヘルド電子デバイス１０２を左手で、または左手と右手の両方で保持し、それでいて、ＨＭＤ１００によって生成される没入型仮想体験と相互に作用してもよい。

上述したようなハンドヘルド電子デバイス１０２は、例えば、有線接続、または例えばＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）接続などの無線接続を介して、ＨＭＤ１００と動作可能に結合されるか、または対になることができる。ハンドヘルド電子デバイス１０２とＨＭＤ１００とのこのペアリングまたは動作可能な結合は、ハンドヘルド電子デバイス１０２とＨＭＤ１００との間の通信、およびハンドヘルド電子デバイス１０２とＨＭＤ１００との間のデータの交換を提供することができ、ハンドヘルド電子デバイス１０２は、ＨＭＤ１００によって生成される仮想没入型体験において相互に作用するために、ＨＭＤ１００との通信においてコントローラとして機能することができる。すなわち、ハンドヘルド電子デバイス１０２の操作、例えばハンドヘルド電子デバイス１０２のタッチ面で受信される入力、またはハンドヘルド電子デバイス１０２の移動、またはユーザによって向き付けられるハンドヘルド電子デバイス１０２によって放射される光線もしくはビームなどは、ＨＭＤ１００によって生成される仮想没入型体験において、対応する相互作用または移動に変換され得る。

様々な異なるタイプのユーザ入力が、ＨＭＤ１００によって生成される仮想没入型体験においてこのタイプの相互作用に変換されてもよい。例えば、ハンドヘルド電子デバイス１０２のタッチ面上のタッチ入力は、仮想世界内のオブジェクトの選択に対応してもよく、ハンドヘルド電子デバイス１０２のタッチ面上でのタッチおよびドラッグ、またはタッチおよび移動ハンドヘルド電子デバイス１０２自体のタッチおよび次いでのその移動は、オブジェクトの選択および移動に対応してもよい。いくつかの実施形態では、ハンドヘルド電子デバイス１０２によって放射されたビームまたは光線は、仮想世界内の特定のオブジェクトを指し示してオブジェクトを選択し、ビームのその後の移動により、選択されたオブジェクトを移動させてもよい。いくつかの実施形態では、ユーザの目での注視を監視
し追跡することができ、仮想世界でオブジェクトに向けられたユーザの注視は、そのオブジェクトの選択に対応してもよい。いくつかの実施形態では、ハンドヘルド電子デバイス１０２のタッチ面上の次のドラッグおよび／またはハンドヘルド電子デバイス１０２自体の移動、および／または頭部の動き、および／または手／腕の動きは、例えば、目での注視によって選択されたオブジェクトの移動などの、後のアクションを検出してもよい。いくつかの実施形態では、オブジェクトの初期選択を含むユーザ入力は、頭部の動き、手／腕のジェスチャ、ハンドヘルド電子機器１０２の移動などから検出されてもよい。これらの複数の入力モードが可能にされる実現例では、複数の入力を例えば同時に受信される場合に実行するための設定された優先順位のシーケンスまたは階層は、検出された入力および設定された優先順位のシーケンスまたは階層に基づいて仮想世界で取られるべきオブジェクトおよび／またはアクションの正確な選択を容易にすることができる。

図２Ａおよび図２Ｂは、没入型仮想体験を生成するよう、例えば図１においてユーザによって装着されるＨＭＤ１００のような例示的なＨＭＤの斜視図である。ＨＭＤ１００は、フレーム１２０に、例えば回転可能に結合され、および／または取り外し可能に取付け可能であるハウジング１１０を含むことができる。例えば、ヘッドホンに取り付けられるスピーカを含む音声出力装置１３０も、フレーム１２０に結合されてもよい。図２Ｂにおいて、ハウジング１１０の前面１１０ａは、ハウジング１１０のベース部分１１０ｂから離れるように回転され、ハウジング１１０に収容されたコンポーネントのいくつかが見える。ディスプレイ１４０は、ハウジング１１０の前面１１０ａに取り付けられてもよい。前面１１０ａがハウジング１１０のベース部分１１０ｂに対して閉位置にあるときに、レンズ１５０は、ハウジング１１０においてユーザの目とディスプレイ１４０との間に取り付けられてもよい。レンズ１５０の位置は、相対的広い視野および相対的短い焦点距離を与えるよう、ユーザの目のそれぞれの光軸と整列されてもよい。いくつかの実施形態では、ＨＭＤ１００は、ＨＭＤ１００の動作を容易にするよう、様々なセンサを含む検知システム１６０と、プロセッサ１９０および様々な制御システムデバイスを含む制御システム１７０とを含んでもよい。

いくつかの実施形態では、ＨＭＤ１００は、ＨＭＤ１００の外部の現実世界環境の静止画像および動画像をキャプチャするようカメラ１８０を含んでもよい。カメラ１８０によってキャプチャされた画像は、ディスプレイ１４０上においてパススルーモードでユーザに表示され、ＨＭＤ１００を取り外したり、またはそうでなければＨＭＤ１００の構成を変更してハウジング１１０をユーザの視線から移動させることなく、ユーザが一時的に仮想世界を離れて現実世界に戻ることを可能にする。

いくつかの実施形態では、ＨＭＤ１００は、ユーザの目での注視を検出および追跡するためのデバイス、または注視追跡装置１６５を含んでもよい。注視追跡装置１６５は、例えば、ユーザの目の画像、およびいくつかの実施形態では、例えば、瞳孔のようなユーザの目の特定の部分の画像をキャプチャするよう、画像センサ１６５Ａを含んでもよい。いくつかの実施形態では、注視追跡装置１６５は、ユーザの注視の動きを検出して追跡するように位置決めされた複数の画像センサ１６５Ａを含んでもよい。画像センサ１６５Ａによってキャプチャされた画像から、ユーザの注視の方向が検出されてもよい。検出された注視は、本質的に、ユーザの目からオブジェクトへの、例えばＨＭＤ１００によって生成される３Ｄ仮想没入型体験におけるオブジェクトへの視線を規定することができる。いくつかの実施形態では、ＨＭＤ１００は、検出された注視が仮想没入体験における対応する相互作用に変換されるべきユーザ入力として処理されるように構成されてもよい。

仮想現実環境における、頭部、ジェスチャおよびタッチ入力の動的な切り替えおよびマージのためのシステムのブロック図を図３に示す。システムは、第２のユーザ電子デバイス３０２と通信する第１のユーザ電子デバイス３００を含んでもよい。第１のユーザ電子
デバイス３００は、例えば、図１および図２Ａおよび図２Ｂに関して上述したＨＭＤであってもよく、没入型の仮想没入型体験を生成し、第２のユーザ電子デバイス３０２は、例えば、ＨＭＤによって生成される仮想没入型体験とのユーザ相互作用を容易にするために、第１のユーザ電子デバイスと通信している、図１に関して上述したスマートフォンであってもよい。

第１の電子デバイス３００は、図２Ａおよび図２Ｂに示す検知システム１６０および制御システム１７０とそれぞれ同様であってもよい検知システム３６０および制御システム３７０を含んでもよい。図３の例示的実施例において、検知システム３６０は、例えば、光センサ、音声センサ、画像センサ、距離／近接度センサ、および／もしくは他のセンサならびに／または異なるセンサの組み合わせを含む多くの異なるタイプのセンサを含んでもよい。いくつかの実施形態では、光センサ、画像センサおよび音声センサは、例えば図２Ａおよび図２Ｂに示すＨＭＤ１００のカメラ１８０のようなカメラなどの１つのコンポーネントに含まれてもよい。いくつかの実施形態では、検知システム３６０は、例えば、図２Ｂに示す注視追跡装置１６５と同様のデバイスのような、ユーザの目での注視を検出して追跡するように位置決めされた画像センサを含んでもよい。制御システム３７０は、例えば、電力／休止制御装置、音声および映像制御装置、光学制御装置、遷移制御装置、および／もしくは他のこのような装置ならびに／または異なる装置の組み合わせを含む数多くの異なるタイプの装置を含んでもよい。いくつかの実施形態では、特定の実現例に応じて、検知システム３６０および／または制御システム３７０は、より多くの、またはより少ない装置を含んでもよい。検知システム３６０および／または制御システム３７０に含まれる要素は、例えば、図２Ａおよび図２Ｂに示すＨＭＤ１００以外のＨＭＤ内に異なる物理的配置（例えば、異なる物理的位置）を有することができる。

第１の電子デバイス３００はまた、検知システム３６０および制御システム３７０と通信するプロセッサ３９０と、例えば制御システム３７０のモジュールによってアクセス可能なメモリ３８０と、第１の電子デバイス３００と例えば第１の電子デバイス４００と対になっている第２の電子デバイス３０２のような別の外部装置との間の通信を提供する通信モジュール３５０とを含んでもよい。

第２の電子デバイス３０２は、第２の電子デバイス３０２と、例えば第２の電子デバイス３０２と対になっている第１の電子デバイス３００などの別の外部装置との間の通信を提供する通信モジュール３０６を含んでもよい。第１の電子デバイス３００と第２の電子デバイス３０２との間で、例えば電子データの交換を提供することに加えて、いくつかの実施形態では、通信モジュール３０６は、さらに、上述のように光線またはビームを放射するように構成されてもよい。第２の電子デバイス３０２は、例えば、カメラおよびマイクロフォンに含まれるような画像センサおよび音声センサ、慣性測定ユニット、ハンドヘルド電子デバイスまたはスマートフォンのタッチセンシティブ面に含まれるようなタッチセンサ、ならびに他のそのようなセンサおよび／またはセンサの異なる組み合わせを含む検知システム３０４を含んでもよい。プロセッサ３０９は、第２の電子デバイス３０２の検知システム３０４およびコントローラ３０５と通信することができ、コントローラ３０５はメモリ３０８にアクセスし、第２の電子デバイス３０２の全体的な動作を制御する。

上述したように、様々なタイプのユーザ入力が、仮想没入型体験において対応するアクションのトリガとなることができる。ユーザ相互作用のための様々な異なる機構が、図４Ａ～図１０Ｄに示される。図４Ａ～図４Ｇおよび図５Ａ～図５Ｄに示す注視およびタッチ（ＧＴ）相互作用の概念、図６Ａ～図６Ｇ、図７Ａ～図７Ｃおよび図８Ａ～図８Ｄに示されているポイントおよびタッチ（ＰＴ）相互作用の概念、図９Ａ～図９Ｅおよび図１０Ａ～図１０Ｄに示されているリーチおよびタッチ（ＲＴ）相互作用の概念は、すべて、目による注視、頭部による注視、タッチ（例えば、ハンドヘルド電子デバイス１０２のタッチ
面上のタッチおよび／またはハンドヘルド電子デバイス１０２の移動の追跡）、およびハンドヘルド電子デバイス１０２によって放射される光線またはビームを含む、４つの異なる入力機構の何らかの組合わせを利用する。これらの４つの異なる入力機構が与えられると、どのアクションがシステムのアクティブなフォーカスを保持するかを明確にするシステムによって、仮想世界における所望の相互作用への入力の正確な変換を容易にし得る。

ＧＴタイプの相互作用は、仮想世界においてオブジェクトを見て、選択および操作するよう、ハンドヘルドコントローラを介して入力される入力に関連して、目での注視方向または頭部の方向を含む光線ベースの相互作用を含んでもよい。以下では、「注視（ｇａｚｅ）」という用語は、ＨＭＤ１００の前方を向いている外側面と本質的に直交する、目の方向による注視および／または頭部の方向による注視を指すために使用される。

図４Ａ～図４Ｇに示す例示的実現例は、例えば仮想現実において図２Ａおよび図２Ｂに示すＨＭＤ１００のディスプレイ１４０に表示されるオブジェクトＸ、ＹおよびＺのスクロール可能なリストに向けられる、ホバー状態、選択状態およびスクロール状態のＧＴ相互作用を示す。この例示的な実現例では、単に例示および説明を容易にするために、ＨＭＤ１００の完全な構造は示されていない。しかしながら、この例示的な実現例では、例えば、注視は、上で図２Ａおよび図２Ｂに関して論じた１つ以上の画像センサ１６５Ａを含む注視追跡装置１６５によって検出され、追跡されてもよい。いくつかの実施形態では、注視、特に頭部の方向による注視は、例えば、ＨＭＤ１００に含まれる加速度計および／またはジャイロスコープのような、ＨＭＤ１００の検知システム１６０によって検出されてもよい。

図４Ａから図４Ｂから進む際に、ユーザは、オブジェクトＸ、Ｙ、Ｚのスクロール可能リストに向かって注視をシフトし、ユーザの注視は、オブジェクトＸ、Ｙ、Ｚのスクロール可能リストを囲むヒット領域Ｈと交差し、図４Ｂに示すようにオブジェクトＸに留まるに至る。ユーザの注視がオブジェクトＸに留まると、ユーザは、次いで、図４Ｃに示すように、例えば、スマートフォン１０２などの、ＨＭＤ１００と対にされたハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチ入力によってオブジェクトＸを選択してもよい。一旦オブジェクトＸが図４Ｃで選択されると、ユーザの注視がオブジェクトＸから離れても、フォーカスはオブジェクトＸ上に留まってもよい。すなわち、一旦オブジェクトＸがハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチによって選択されると、図４Ｄに示すようにユーザの注視がわずかにシフトしても、タッチがハンドヘルド電子デバイス１０２のタッチセンシティブ面上に保持されるかまたは維持される限り、選択されたオブジェクトＸは選択されイネーブルのままである。この時点で、スクロール可能リストのヒット領域Ｈ内を注視しながら、ハンドヘルド電子デバイスのタッチセンシティブ面上のドラッグ入力で、図４Ｅに示すようにリストをスクロールさせてもよい。リストは、たとえユーザの注視がもはやスクロール可能なリストに向けられていなくても、図４Ｇに示すように、ユーザがハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチ／ドラッグ入力を解放するまで、図４Ｆに示すように、スクロールし続けることができる。

例えば、図２Ａおよび図２Ｂに示すＨＭＤ１００のディスプレイ１４０に表示されるスクロール可能なリストにおけるスクロール可能および／または操作可能なオブジェクトＸ、ＹおよびＺのリストを通るスクロールするアクションが、図５Ａ～図５Ｄに示されている。図５Ａ～図５Ｄに示される実施例では、複数のスクロール可能なオブジェクトおよび／または操作可能なオブジェクトは、ユーザの視野に関係なく、および／またはオブジェクトに対するユーザの向きもしくは角度にかかわらず、一様スクロールスケールを維持してもよい。すなわち、オブジェクトは、図５Ａに示すように、ユーザの視野内において相対的に遠くの位置にあってもよく、またはオブジェクトは、図５Ｂに示すように、ユーザ
の視野内において相対的近くの位置にあってもよい。例えば仮想世界においてＨＭＤ１００のディスプレイ１４０に表示されるオブジェクトリスト、例えばオブジェクトＸ、Ｙ、Ｚのリストの移動は、ユーザの視野内のオブジェクトの位置にかかわらず、一様なスクロールスケールを維持し、ハンドヘルド電子デバイス１０２のタッチセンシティブ面上のドラッグ入力と整合し得る。同様に、オブジェクトは、図５Ｃに示すように、ユーザの光軸または視線と整列されてもよく、またはオブジェクトは、ユーザの光軸または視線から、ある角度で、またはオフセットされて位置決めされてもよい。例えば仮想世界においてＨＭＤ１００のディスプレイ１４０に表示されるオブジェクトリスト、例えばオブジェクトＸ、Ｙ、Ｚのリストの移動は、ユーザの光軸または視線に対するオブジェクトの角度にかかわらず、一様なスクロールスケールを維持し、ハンドヘルド電子デバイス１０２のタッチセンシティブ面上のドラッグ入力と整合し得る。

ポイントおよびタッチ（ＰＴ）タイプの入力を図６Ａ～図６Ｆ、図７Ａ～図７Ｃおよび図８Ａ～図８Ｄに示す。図６Ａ～図６Ｇに示されるＰＴ入力は、ＰＴタイプの入力を使用して、オブジェクトまたはリストを選択すること、およびリストにおいてオブジェクトをスクロールすることを含むことができ、図７Ａ～図７ＣにおけるＰＴ入力は、オブジェクトの選択をキャンセルするためのスナップビームまたは光線の使用を含むことができ、図８Ａ～図８Ｄに示されるＰＴタイプ入力は、動的プッシュプルビームを使用してオブジェクトを選択して移動させることを含むことができる。これらのＰＴタイプ入力は、例えば、上述したスマートフォン１０２などのハンドヘルド電子デバイス１０２、またはＨＭＤ１００と対になって通信する他のハンドヘルド電子デバイス、および／または仮想現実システムの様々な他のコンポーネントとの光線ベースの相互作用を含んでもよい。

図６Ａから図６Ｂに進む際、ユーザは、ハンドヘルド電子デバイス１０２によって放射される光線のフォーカスをシフトし、ハンドヘルド電子デバイスによって放射される光線が、オブジェクトＸ、ＹおよびＺのスクロール可能なリストを囲むヒット領域Ｈと交差し、光線は、図６Ｂに示すように、オブジェクトＸに留まりフォーカスを合わせる。一旦オブジェクトＸがハンドヘルド電子デバイス１０２によって放射される光線のフォーカスとなると、ユーザは、次いで、図６Ｃに示すように、例えば、上述したようなスマートフォン１０２のような、ＨＭＤ１００と対になるハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチ入力によって、オブジェクトＸを選択してもよい。一旦オブジェクトＸが図６Ｃにおいて選択されると、ハンドヘルド電子デバイス１０２によって放射される光線がもはやリストまたはオブジェクトＸに向けられなくても、フォーカスはオブジェクトＸ上に残ってもよい。すなわち、図６Ｃに示すように、一旦オブジェクトＸがハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチによって選択されると、図６Ｄに示すようにハンドヘルド電子デバイス１０２によって放射される光線の方向がシフトしても、タッチがハンドヘルド電子デバイス１０２のタッチセンシティブ面上に保持されるかまたは維持される限り、選択されたオブジェクトＸは選択されイネーブルのままである。この時点で、ハンドヘルド電子デバイス１０２のタッチセンシティブ面上のドラッグ入力で、図６Ｅに示すようにリストをスクロールさせてもよい。いくつかの実施形態では、光線の視覚化は、ドラッグ入力に応答してリストがスクロールすると、外観を変えるか、または消えてもよい。リストは、図６Ｇに示すように、ユーザがハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチ／ドラッグ入力を解放するまで、図６Ｆに示すように、スクロールし続けることができる。

選択されたオブジェクトＸから光線をスナップして、オブジェクトＸの選択を解放またはキャンセルするためのＰＴジェスチャを図７Ａ～図７Ｃに示す。ハンドヘルド電子デバイス１０２によって放射される光線が図７Ａに示すようにオブジェクトＸにフォーカスされる状態で、ユーザは、図７Ｂに示すように、光線のフォーカスをオブジェクトＡから充分に離れるよう、およびスクロール可能リストのヒット領域Ｄの充分外側にシフトさせる
ような方法でハンドヘルド電子デバイス１０２を移動させるかまたは向きを変更してもよく、次いで、図７Ｃに示すように、ハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチを解放してもよい。このようにして、ユーザがフォーカスを確立し、ハンドヘルド電子デバイスのタッチセンシティブ面にタッチしてオブジェクトＸにフォーカスを確立すると、ハンドヘルド電子デバイス１０２をオブジェクトＸから十分離して角度付けることで、必ずしもタッチを解放する必要なく、フォーカスを解放し、および／または選択をキャンセルしてもよい。

図８Ａ～図８Ｄは、図２Ａおよび２Ｂに示すＨＭＤ１００のディスプレイ１４０上に表示されるオブジェクト、例えばオブジェクトＸ、Ｙ、Ｚおよび／または仮想現実システムの様々な他のコンポーネントの動的プッシュプルロッド操作を可能にするＰＴモードを示す。図８Ａに示すように、ハンドヘルド電子デバイス１０２によって生成される光線またはポインタビームは、オブジェクトＸに延在してもよく、またはそれを指し示してもよい。ポインタビームがオブジェクトＸにフォーカスされた状態で、ハンドヘルド電子デバイス１０２のタッチセンシティブ面を押すことまたはそれにタッチすることで、オブジェクトＸをつかんでいる間に（オブジェクトＸに取り付けられる）一定の長さでポインタビームを確立してもよい。ポインタビームによってつかまれたオブジェクトＸは、次いで、ハンドヘルド電子デバイス１０２が移動されユーザのタッチがハンドヘルド電子デバイス１０２のタッチセンシティブ面上に維持される際に、移動されてもよく、それは図８Ｃに示すように、あたかもプッシュプルロッドの遠位端に取り付けられているかのようである。オブジェクトＸは、ユーザのタッチがハンドヘルド電子デバイス１０２のタッチセンシティブ面から解放されると、解放されてもよい。

リーチおよびタッチ（ＲＴ）タイプの入力を図９Ａ～図９Ｅおよび図１０Ａ～図１０Ｅに示す。これらのＲＴタイプの入力は、例えば、ユーザの片手もしくは両手および／またはハンドヘルド電子デバイスを使用してオブジェクトを選択および操作する近接度ベースの相互作用を含むことができる。特に、図９Ａ～図９Ｅに示すＲＴタイプ入力は、オブジェクトまたはリストを選択し、リストにおいてオブジェクトをスクロールし、図１０Ａ～図１０Ｄに示すＲＴタイプ入力は、オブジェクトを選択すること、および選択されたオブジェクトを移動することを示す。

図９Ａ～図９Ｅは、オブジェクトＸ、ＹおよびＺのネスト化されたスクロール可能リストのホバー、選択、およびスクロールを含むＲＴ相互作用を示す。図９Ａから図９Ｂに進む際に、ユーザが手および／またはハンドヘルド電子デバイス１０２をスクロール可能なオブジェクトＸ、ＹおよびＺのリストに向かって動かすと、図９Ｂに示すように、例えばユーザの手またはハンドヘルド電子デバイスの端部に最も近接したオブジェクト（この場合、オブジェクトＸ）が強調表示される。いくつかの実施形態では、電子ハンドヘルド装置１０２によって放射されるビームの長さを視覚的に減少させて、手またはハンドヘルド電子デバイス１０２へのオブジェクトの潜在的な接続の付加的な視覚的指示を提供することができる。次いで、図９Ｃに示すように、把持動作などのようなユーザの手による予め設定されたジェスチャ、またはハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチで、最も近接した強調表示されるオブジェクト（この例ではオブジェクトＸ）を選択してもよい。次いで、図９Ｅに示すように、把持および／またはハンドヘルド電子デバイスのタッチセンシティブ面上のタッチが解放されるまで、図９Ｄに示すように、スクロール可能なリスト上のプル動作が、リストのトリガとなって、オブジェクトＸ、ＹおよびＺをスクロールしてもよい。

図１０Ａ～図１０Ｄは、移動可能なオブジェクトを選択し移動するためのＲＴタイプの入力を示す。図１０Ａから図１０Ｂに進む際に、ユーザが手および／またはハンドヘルド電子デバイス１０２をスクロール可能なオブジェクトＸ、ＹおよびＺのリストに向かって
動かすと、図１０Ｂに示すように、例えばユーザの手またはハンドヘルド電子デバイス１０２の端部に最も近接したオブジェクト（この場合、オブジェクトＸ）が強調表示される。次いで、例えば、把持動作などのようなユーザの手による予め設定されたジェスチャ、またはハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチで、最も近接した強調表示されるオブジェクト（この例ではオブジェクトＸ）を選択してもよく、一旦把持されると、オブジェクトは、図１０Ｃに示すように、ユーザが手および／またはハンドヘルド電子デバイス１０２を動かすとともに、移動されてもよい。いくつかの実施形態では、選択されたオブジェクトは、ユーザの手またはハンドヘルド電子デバイス１０２の端部に対して固定された平行移動オフセットに留まってもよく、オブジェクトが選択されたままである間ユーザの手および／またはハンドヘルド電子デバイス１０２が移動するにつれてオブジェクトは移動する。ユーザの把持の解放、および／またはハンドヘルド電子デバイス１０２のタッチセンシティブ面上でのユーザのタッチの解放で、オブジェクトは、図１０Ｄに示すように、解放された位置に配置変えされてもよい。いくつかの実施形態では、解放されたオブジェクトは、確立されたグリッドまたは近くのオブジェクトと整列されてもよい。

仮想世界において第１のオブジェクトにフォーカスを確立し、第１のオブジェクトからフォーカスを解放し、第２のオブジェクトにフォーカスをシフトするとき、様々な異なるタイプの入力がどのように優先されるかを区別するために、様々な異なるアプローチが取られてもよい。すなわち、上述したように、いくつかの実施形態では、図４Ａ～図５Ｄに示す注視の例のように、例えば目での注視または頭部での注視によって選択されるべき特定のオブジェクトに初期フォーカスを確立してもよい。いくつかの実施形態では、初期フォーカスは、例えば、図６Ａ～図８Ｄに示されるポイント例でのように、ハンドヘルド電子デバイス１０２によって放射され、フォーカスのために選択されるべきオブジェクトに向けられる光線またはビームの点によって選択されるべき特定のオブジェクト上に確立してもよい。いくつかの実施形態では、初期フォーカスは、例えば、図９Ａ～図１０Ｄに示されるリーチ例でのように、ハンドヘルド電子デバイス１０２および／またはユーザの手でのようなリーチアクションによって選択されるべき特定のオブジェクト上に確立されてもよい。フォーカスを解放してシフトするよう特定のアクションがとられるまで、フォーカスは解放されず、別のオブジェクトにシフトされない。いくつかの実施形態では、上述した入力モードのうちの１つを実施するアクションに基づいて、フォーカスが別のオブジェクトにシフトしたと判定されると、フォーカスを解放してもよい。単に議論および説明を容易にするために、オブジェクトにフォーカスを確立するための４つの入力モードの例（頭部での注視、目での注視、ポイント、およびリーチ）を、単に４つの異なる入力モードＡ、Ｂ、ＣおよびＤと呼ぶことにする。

現在フォーカスを有するオブジェクトを判定するために複数の入力を区別する際に、フォーカスがつい最近第１の入力モード（例えば、頭部での注視、目での注視、ハンドヘルド電子デバイス１０２によって放射される光線、ハンドヘルド電子デバイスのタッチセンシティブ面上のタッチ、リーチ／タッチジェスチャなど）を用いて達成された場合、その第１の入力モードが他の入力モードよりも優先されてもよい。複数の入力モードの中で優先順位を確立するこのモードは、最新性と呼ばれることがある。例えば、ハンドヘルド電子デバイス１０２がフォーカスを確立しオブジェクトを選択するために使用され、ユーザがディスプレイ上に提示される他のオブジェクトを見るために注視をシフトし続ける場合、ハンドヘルド電子デバイス１０２を介する入力は、ハンドヘルド電子デバイス１０２がつい最近使用されていたため、ユーザの注視よりも優先される。しかしながら、ハンドヘルド電子デバイス１０２が何らかの方法で係合解除される（離れて置かれ、オフにされ、範囲外に持ち出されるなど）場合、ハンドヘルド電子デバイス１０２の最近の使用はもはやないので、ユーザの注視（または別の入力モード）は、次いで、フォーカスを別のオブジェクトにシフトしてもよい。

いくつかの実施形態では、様々な異なるタイプの入力Ａ、Ｂ、ＣおよびＤを区別し、それらの間で優先順位を確立するために、固定された優先順位アプローチを用いてもよい。例えば、いくつかの実施形態では、入力モードＡ、Ｂ、ＣおよびＤの各々は優先順位値を割当てられてもよい。例えば、４つの入力モードＡ、Ｂ、Ｃ、Ｄに優先順位値、例えば１，２，３または４が割り当てられ、優先順位値４が割り当てられる入力モードは最高優先順位入力モードであり、優先順位値１が割り当てられる入力モードは最低優先順位入力モードであり、いずれの２つの入力モードにも同じ優先順位値は割り当てられていなくてもよい。いくつかの実施形態では、異なる入力モードＡ、Ｂ、ＣおよびＤに対するこれらの優先順位値は工場設定として確立されてもよい。いくつかの実施形態では、異なる入力モードＡ、Ｂ、ＣおよびＤのこれらの優先順位値は、例えば特定のＨＭＤ１００およびハンドヘルド電子デバイス１０２のペアリングに対してユーザにより設定されてもよく、または特定のユーザに特定のユーザプロファイルで設定されてもよい。いくつかの実施形態では、これらの優先順位値は、例えば特定の仮想環境などのために、システムによって、またはユーザによって、変更および／または再設定されてもよい。

図１１に示すように、ブロック１１１０において、第１の入力を受信することに基づいて、ブロック１１２０において、第１のオブジェクト上にフォーカスをセットし維持してもよい。ブロック１１３０において、第２のオブジェクトにフォーカスされる第２の入力が受信されると、ブロック１１４０において、第２の入力の優先順位値が、第１のオブジェクトにフォーカスを確立した第１の入力の優先順位値より大きいかどうかが判定される。第２の入力の優先順位値が第１の入力の優先順位値よりも大きい場合、第２の入力に関連付けられる入力モードを実施することによって、ユーザは第２のオブジェクトにフォーカスをシフトしようとしていると判断され、フォーカスは第１のオブジェクトから解放され、第２のオブジェクトにシフトされる。第２の入力の優先順位値が第１の入力の優先順位値よりも小さい場合、第１のオブジェクトに対してフォーカスが維持される。この方法は、上述したような関連付けられる優先順位を各々が有するモードＡ、Ｂ、Ｃ、Ｄなどの複数の入力モードがユーザに利用可能である場合に、複数の入力のうちのどの入力がフォーカスを解放、シフトおよび確立することにおいて優先するかを判定するときに適用されてもよい。

このようにして、第１のオブジェクトＸからフォーカスを解放して第２のオブジェクトＹに移動させることを、例えば図４Ｇおよび図６Ｇに示すようにハンドヘルド電子デバイス１０２のタッチ面上でのタッチ／ドラッグを解放すること、図７Ｃに示すようにスナップホールドを解放すること、図８Ｄに示されているようにプッシュプルロッドを解放すること、または図９Ｅおよび図１０Ｄに示されているように把持／リーチを解放すること、などの特定の解放アクションなしに行なってもよい。

複数の入力モードを互いに対して優先順位付ける１つの技術的効果は、依然としてフォーカスをシフトすることができながら、特定のオブジェクトからフォーカスを明示的に解放する必要がない態様で、複数の入力モードをユーザに提供できることである。それは、仮想現実相互作用に対する「さらなる次元」をある意味で可能にし、なぜならば、以前に選択されたオブジェクトを明示的に解放することのみによってではなく、より高い優先順位を有する入力モードを用いて異なるオブジェクトにフォーカスを変更することによっても、オブジェクトの選択の変更が可能になるからである。これにより、必要な相互作用数が削減される（積極的な解放が不要）と同時に、ユーザ相互作用の次元も増加する。しかしながら、これは優先順位付けによって達成される単に１つの技術的効果であり、他のものも存在する。一般に、入力モードの優先順位付けは、相互作用の次元を増大させ、それにより、仮想世界とのユーザ相互作用の柔軟性を増大させ、それによってユーザが以前には提供されなかった方法で仮想世界においてオブジェクトに影響を及ぼし、それを選択し
、制御することを可能にする。これらの仮想現実オブジェクトは、「物理的エンティティ」に対応しているため、仮想現実で表示されているが、それのためのアプローチは、単なるデータの表現だけではなく、実際に物理的エンティティの制御およびそれらとの相互作用にも関連し、それに向けられる。

いくつかの実施形態では、様々な異なる入力モードＡ、Ｂ、ＣおよびＤの間で優先順位を区別し確立するために、適応的優先順位アプローチを使用することができる。例えば、いくつかの実施形態では、実際の使用に基づいて入力モードＡ、Ｂ、ＣおよびＤの各々について優先順位値を決定してもよく、オブジェクトにフォーカスを確立するために最も頻繁に実施される入力モードには、最も高い優先順位値が割り当てられ、オブジェクトにフォーカスを確立するために最も頻繁に実施されない入力モードには、最も低い優先順位値が割り当てられる。いくつかの実施形態では、入力モードの各々に割り当てられる優先順位値は、使用に基づいて変更されてもよい。例えば、いくつかの実施形態では、優先順位値は、特定の期間中の使用、または特定の仮想体験もしくはゲームなどに基づいて、自動的または手動のいずれかで周期的に更新されてもよい。図１１に示される方法を、これらの適応的優先順位値を使用して、固定された優先順位値に関して上述したものと同様の方法でフォーカスを解放しシフトするために実現してもよい。

いくつかの実施形態では、ターゲットサイズ、例えばフォーカスオブジェクトのサイズが、異なる入力モードＡ、Ｂ、ＣおよびＤの優先順位を決定してもよい。例えば、いくつかの実施形態では、仮想世界における相対的に小さいターゲットオブジェクトは、ターゲットオブジェクトに対してフォーカスを確立するために、頭部での注視または目での注視入力よりも、ポイント入力（図６Ｂのような）またはリーチ／タッチ入力（図９Ｂのような）に対して、より高い優先順位を割当ててもよい。いくつかの実施形態では、仮想世界における相対的により大きなターゲットオブジェクトは、ターゲットオブジェクトに対してフォーカスを確立するために、それがポイント入力またはリーチ／タッチ入力に割り当てるよりも、（図４Ｂでのような）注視入力（頭部での注視または目での注視）に対して、より高い優先順位を割当ててもよい。したがって、いくつかの実施形態では、特定の仮想没入型環境の異なるオブジェクトまたはオブジェクトのグループの各々は、オブジェクトのサイズなど、オブジェクト（またはオブジェクトのグループ）の特性に基づいて、異なる入力モードに対してそれ自身の優先順位のセットを割り当てることができる。図１１に示される方法を、これらの適応的優先順位値を使用して、固定された優先順位値に関して上述したものと同様の方法でフォーカスを解放しシフトするために実現してもよい。

いくつかの実施形態では、距離、例えばオブジェクトが仮想世界においてユーザから見える距離が、異なる入力モードＡ、Ｂ、ＣおよびＤの優先順位を決定してもよい。例えば、いくつかの実施形態では、仮想世界でユーザに相対的に近く見えるオブジェクトは、相対的に近いオブジェクトにフォーカスを確立するために、それがポイント入力または注視入力に割り当てるよりも、（図９Ｂのように）リーチ／タッチ入力に対してより高い優先順位を割り当ててもよい。いくつかの実施形態では、仮想世界においてユーザから相対的に遠くにあるように見えるオブジェクトは、その相対的に遠いオブジェクトに対してフォーカスを確立するために、それがリーチ／タッチ入力に割り当てるよりも、ポイント入力（図６Ｂにおけるように）または注視入力（図４Ｂにおけるように頭部での注視または目での注視）に対して、より高い優先順位を割当ててもよい。したがって、いくつかの実施形態では、特定の仮想没入型環境の異なるオブジェクトまたはオブジェクトのグループの各々は、ユーザからのオブジェクトの知覚される距離など、オブジェクト（またはオブジェクトのグループ）の特性に基づいて、異なる入力モードに対してそれ自身の優先順位のセットを割り当ててもよい。図１１に示される方法を、これらの適応的優先順位値を使用して、固定された優先順位値に関して上述したものと同様の方法でフォーカスを解放しシフトするために実現してもよい。

いくつかの実施形態では、仮想世界においてユーザから相対的に遠くに見えるオブジェクトまたはオブジェクトのセットは、例えば、上述したような目での注視または頭部での注視によって選択されてもよい。仮想世界においてユーザから相対的に遠く離れたオブジェクトとのユーザ相互作用を容易にするために、ユーザは、例えば、ユーザの手がＨＭＤ１００によって追跡され、検出された手の動きがユーザの手および／またはハンドヘルド電子デバイス１０２で変換される、リーチジェスチャなどである、他の入力モードのうちの１つを使用して相互作用および／または操作のためにオブジェクトをより近くに引き寄せたいかもしれない。より長い距離の注視入力相互作用とより短い距離のタッチまたはリーチ相互作用との間のこの動的な切り替えは、様々な異なるユーザ入力、アクション、または信号がトリガとなり得る。例えば、いくつかの実施形態では、注視入力でオブジェクトにフォーカスが確立された後、オブジェクトは、例えば、リーチ／タッチ相互作用のために、ハンドヘルド電子デバイス１０２のタッチセンシティブ面上のタッチ入力によって、システムが動作する６自由度（６ＤＯＦ）空間内でのハンドヘルド電子デバイス１０２の移動によって、ＨＭＤ１００の制御コンポーネントとの相互作用などによって、より近くに引き寄せられてもよい。

いくつかの実施形態では、注視入力でオブジェクトにフォーカスが確立された後、オブジェクトは、例えば、リーチ／タッチ相互作用ならびに／またはより細分化および／もしくは拡張された視覚化のために、オブジェクトを視覚的リーチおよび／またはタッチ範囲に引き込むようコマンドとしてＨＭＤ１００によって認識されるジェスチャによって、より近くに引き寄せられてもよい。いくつかの実施形態では、ＨＭＤ１００によって認識されるジェスチャは、例えば、ＨＭＤ１００の例えばカメラ１８０などのセンサによって検出され、ＨＭＤ１００のプロセッサ１９０および／もしくはコントローラ１７０によって処理される手ならびに／または腕のジェスチャであってもよい。議論および説明を簡単にするために、以下では、仮想世界においてユーザから相対的に遠くにあるように見えるフォーカスのオブジェクトに向かって伸ばす手／腕のジェスチャを含むユーザジェスチャを、フォーカスを確立するためのより長い距離の目の注視入力、およびフォーカスのオブジェクトに基づいて仮想世界で操作および／または相互に作用するためのより短い距離のリーチ／タッチ入力からのこの動的切り替えのためのトリガとして論ずる。しかしながら、他のジェスチャを含む他のトリガもまた、このタイプの動的切り替えを引き起こし得る。

このタイプの動的切り替えの一例が、図１２Ａ～図１２Ｇに示されている。図１２Ａでは、ユーザインタフェースがユーザに提示される。図１２Ａに示す例示的なユーザインタフェースは、ファーフィールドディスプレイに提示されるオブジェクト２０Ａのリスト２０またはグループである。すなわち、この実現例では、仮想世界においてユーザから相対的に遠く離れた壁にあるかのように、ユーザインタフェースをユーザに提示することができる。いくつかの実施形態では、オブジェクトのリスト２０のファーフィールドディスプレイは、仮想世界においてユーザから、例えば、８フィートの距離、または８フィートを超えるように見えてもよい。いくつかの実施形態では、オブジェクトのリスト２０のファーフィールドディスプレイは、それらが、例えば、仮想世界においてユーザから８フィート未満の距離にあるように見えてもよい。ユーザの注視（頭部での注視または目での注視）がユーザインタフェース、特に、図１２Ｂに示すように、オブジェクト２０Ａのリスト２０と交差すると、ユーザのフォーカスは、上述したようにオブジェクト２０Ａのリスト２０上に確立されてもよい。オブジェクト２０Ａのリスト２０にフォーカスがセットされると、例えば、図１２Ｃに示すようなユーザの手／腕のジェスチャのようなトリガアクションが、より長い距離の注視入力モード（オブジェクトのファーフィールドディスプレイに向けられる）からより短い距離のリーチ／タッチ入力モードへの動的切り替えのトリガとなって、ニアフィールドディスプレイにおいて、オブジェクト２０Ａのリスト２０をユーザにより近く引き付けて、図１２Ｄに示されるように、リーチおよび／またはタッチ入
力を容易にしてもよい。次いで、ユーザは、図１２Ｅに示すように、オブジェクト２０Ａのリスト２０からオブジェクト２０Ａを手に取って選択してもよく、図１２Ｆに示されているように、ユーザは、オブジェクト２０Ａとの相互作用および／またはそれの操作をリーチ／タッチ入力で行なってもよい。いくつかの実施形態では、オブジェクトのリスト２０のニアフィールドディスプレイは、それらが例えば仮想世界においてユーザから約１．５フィートまたは１．５フィート未満の距離にあるかのように見えてもよい。いくつかの実施形態では、オブジェクトのリスト２０のニアフィールドディスプレイは、それらが、例えば、仮想世界においてユーザから約１．５フィートよりも大きな距離にあるかのように見えてもよい。

いくつかの実施形態では、動的切替トリガに応答してオブジェクト２０Ａがユーザにより近く引き付けられ、オブジェクト２０Ａは、図１２Ａ～図１２Ｃに示したファーフィールドディスプレイから図１２Ｄ～図１２Ｆに示したニアフィールドディスプレイに遷移し、オブジェクト２０Ａの１つ以上を、ユーザのオブジェクト選択、相互作用および操作を容易にするために、追加の特徴、情報、粒度などを含むようにモーフィングまたは形態を変更することができる。図１２Ａ～図１２Ｆに示す例では、図１２Ａ～図１２Ｃに示されるリスト２０の例示的なオブジェクト２０Ａは、例えば、映画タイトルおよび／または書籍タイトルおよび／またはゲームタイトルのリストに関連付けられる画像であってもよい。リーチおよび／またはタッチの相互作用のためにリスト２０がユーザの近くに引き付けられると、リスト２０内のオブジェクト２０Ａは、図１２Ｄ～図１２Ｆに示すように、ユーザの選択および相互作用を容易にするようモーフィングしてもよい。オブジェクトが映画タイトルおよび／または書籍タイトルおよび／またはゲームタイトルを含むこの例では、オブジェクト２０は、例えば、タイトル全体、タイトルに関連付けられる静止画像および／または動画、タイトルに関連付けられるジャンル、タイトルに関連付けられる長さ（ランタイム、ページ数など）、ならびにユーザの選択および／または相互作用を容易にすることができる他の特徴を含むようモーフィングしてもよい。

いくつかの実施形態では、動的切替トリガに応答してオブジェクト２０Ａがユーザにより近く引きつけられ、オブジェクト２０Ａが、図１２Ａ～図１２Ｃに示したファーフィールドディスプレイから図１２Ｄ～図１２Ｆに示したニアフィールドディスプレイに遷移し、オブジェクト２０Ａが上で論じたようにモーフィングすると、オブジェクト２０Ａは、さらに、アニメーション化され、視覚的にファーフィールドディスプレイからニアフィールドディスプレイに移動してもよい。ファーフィールドディスプレイとニアフィールドディスプレイとの間で移動しモーフィングするにつれてのオブジェクトのアニメーションは、オブジェクト２０Ａのリスト２０において進行中の変化の視覚的な表示をユーザに対して与え、ユーザの関与を維持してもよい。

図１２Ａ～図１２Ｆに示す例示的な実現例に含まれるオブジェクト２０Ａのリスト２０には、単に議論および説明を容易にするために、タイトル（映画タイトル、書籍タイトル、ゲームタイトルなど）が含まれている。しかしながら、上述した動的切り替えは、例えば、仮想ゲームの部分および機器、仮想ショッピング環境内のアイテム、ならびにより長い距離の注視入力モードからより短い距離のリーチ／タッチ入力モードへの動的切替が仮想世界におけるオブジェクトとのユーザの相互作用を容易にし得る数多くの他の例などの、多数の他の異なるタイプのオブジェクトを含むリストにも適用することができる。

さらに、図１２Ａ～図１２Ｆに示す実現例では、オブジェクト２０Ａのリスト２０からのオブジェクト２０Ａの選択、ならびに選択されたオブジェクト２０Ａとの相互作用およびその操作は、ユーザの手によって行われる。しかしながら、選択されたオブジェクト２０Ａとの相互作用およびその操作は、図９Ａ～図１０Ｄに関して上述したように、ハンドヘルド電子デバイス１０２を用いて行うこともできる。

本明細書で広く説明されている実施形態による動的切り替えの例を図１３に示す。ブロック１３１０で没入型仮想体験に入った後、ブロック１３２０で第１の入力モードを使用して第１の入力が受信されると、ブロック１３３０でオブジェクトのリストにフォーカスが確立される。いくつかの実施形態では、第１の入力モードを使用する第１の入力は、例えば、仮想世界においてユーザから相対的に遠く見える、オブジェクトのリストのような、ユーザインタフェースにおける注視入力（頭部での注視および／または目での注視）であってもよい。一旦オブジェクトのリストにフォーカスが確立されると、動的切り替えのトリガとなる入力が受信される場合、オブジェクトのリストは、第１の入力モードとは異なる第２の入力モードを使用して相互作用を容易にするようにモーフィングされてもよい。いくつかの実施形態では、動的切り替えのトリガとなる入力は、例えば、上述のようにＨＭＤの画像センサによってキャプチャされる手および／もしくは腕のジェスチャ、または他の入力アクションであってもよい。いくつかの実施形態では、動的切り替えのトリガとなる入力アクションは、入力モードを、（オブジェクトのリストにフォーカスを確立した）注視入力モードから、例えば、オブジェクトのリストの個々のオブジェクトとの相互作用を容易にするリーチおよび／またはタッチ入力モードに切り替えさせてもよい。

動的切り替えトリガに応答して、オブジェクトのリストは、ブロック１３５０で、例えば上述のリーチおよび／またはタッチ入力モードのような第２の入力モードを使用してユーザ相互作用を容易にするようにモーフィングされてもよい。リスト内のオブジェクトのモーフィングには、例えば、オブジェクトを視覚的にモーフィングして、それらがより近く見えるようにすること、ならびに仮想世界内でユーザの手の届く範囲内で、オブジェクトと関連付けられる画像および／またはテキストおよび／または他の特徴を追加および／または変更することを含んで、リーチおよび／またはタッチ入力モードを使用してオブジェクトとのユーザの相互作用を容易にしてもよい。ブロック１３６０で、第２の入力モードを使用して第２の入力を受信することに応答して、第２の入力モードを使用してオブジェクトをオブジェクトのリストから選択し、操作してもよい。例えば、ユーザは、リストに含まれるオブジェクトの１つ（モーフィング後に、今や仮想世界においてユーザの手の届く範囲内にある）にタッチしてオブジェクトを選択し、次いで、リーチまたはタッチ入力を使用してオブジェクトを操作してもよい。

このようにして、オブジェクトおよびオブジェクトのリストは、ユーザによって使用される入力モードに基づいて、オブジェクトの選択、それとの相互作用およびそれの操作を容易にする、仮想世界におけるユーザからの距離に視覚的に位置決めされてもよい。

これにより、モーフィングは、優先順位付けと同様に、優先順位付けに加えて、場合によっては優先順位付けとは独立さえして、ユーザ相互作用の次元をさらに向上させるという技術的効果を有する。

図１４は、本明細書に記載の技術とともに用いられ得る汎用コンピュータデバイス１４００および汎用モバイルコンピュータデバイス１４５０の例を示す。コンピューティングデバイス１４００は、ラップトップ、デスクトップ、タブレット、ワークステーション、携帯情報端末、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピューティングデバイスといった、様々な形態のデジタルコンピュータを表わすことを意図している。コンピューティングデバイス１４５０は、携帯情報端末、セルラー電話、スマートフォン、および他の同様のコンピューティングデバイスといった、様々な形態のモバイルデバイスを表わすことを意図している。ここに示すコンポーネント、それらの接続および関係、ならびにそれらの機能は例示であることが意図されているに過ぎず、本文書に記載のおよび／または請求項に記載の本発明の実現例を限定することを意図していない。

コンピューティングデバイス１４００は、プロセッサ１４０２、メモリ１４０４、記憶装置１４０６、メモリ１４０４および高速拡張ポート１４１０に接続している高速インターフェイス１４０８、ならびに低速バス１４１４および記憶装置１４０６に接続している低速インターフェイス１４１２を含む。プロセッサ１４０２は、半導体ベースのプロセッサとすることができる。メモリ１４０４は、半導体ベースのメモリとすることができる。コンポーネント１４０２，１４０４，１４０６，１４０８，１４１０および１４１２の各々は様々なバスを用いて相互に接続されており、共通のマザーボード上にまたは他の態様で適宜搭載され得る。プロセッサ１４０２は、コンピューティングデバイス１４００内で実行される命令を処理可能であり、この命令には、ＧＵＩのためのグラフィック情報を高速インターフェイス１４０８に結合されているディスプレイ１４１６などの外部入出力デバイス上に表示するためにメモリ１４０４内または記憶装置１４０６上に記憶されている命令が含まれる。他の実現例では、複数のプロセッサおよび／または複数のバスが、複数のメモリおよび複数種類のメモリとともに必要に応じて用いられ得る。また、複数のコンピューティングデバイス１４００が接続され得、各デバイスは（例えばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）必要な動作の一部を提供する。

メモリ１４０４は情報をコンピューティングデバイス１４００内に記憶する。一実現例では、メモリ１４０４は１つまたは複数の揮発性メモリユニットである。別の実現例では、メモリ１４０４は１つまたは複数の不揮発性メモリユニットである。また、メモリ１４０４は、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。

記憶装置１４０６は、コンピューティングデバイス１４００に大容量記憶を提供可能である。一実現例では、記憶装置１４０６は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他のコンフィギュレーションにおけるデバイスを含む多数のデバイスといった、コンピュータ読取可能媒体であってもよく、または当該コンピュータ読取可能媒体を含んでいてもよい。コンピュータプログラムプロダクトが情報媒体内に有形に具体化され得る。また、コンピュータプログラムプロダクトは、実行されると上述のような１つ以上の方法を実行する命令を含み得る。情報媒体は、メモリ１４０４、記憶装置１４０６、またはプロセッサ１４０２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体である。

高速コントローラ１４０８はコンピューティングデバイス１４００のための帯域幅集約的な動作を管理するのに対して、低速コントローラ１４１２はより低い帯域幅集約的な動作を管理する。そのような機能の割当ては例示に過ぎない。一実現例では、高速コントローラ１４０８はメモリ１４０４、ディスプレイ１４１６に（例えばグラフィックスプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受付け得る高速拡張ポート１４１０に結合される。当該実現例では、低速コントローラ１４１２は記憶装置１４０６および低速拡張ポート１４１４に結合される。様々な通信ポート（例えばＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータといったネットワーキングデバイスなどの１つ以上の入出力デバイスに、例えばネットワークアダプタを介して結合され得る。

コンピューティングデバイス１４００は、図に示すように多数の異なる形態で実現されてもよい。例えば、コンピューティングデバイス１４００は標準的なサーバ１４２０とし
て、またはそのようなサーバのグループ内で複数回実現されてもよい。また、コンピューティングデバイス１４００はラックサーバシステム１４２４の一部として実現されてもよい。さらに、コンピューティングデバイス１４００はラップトップコンピュータ１４２２などのパーソナルコンピュータにおいて実現されてもよい。あるいは、コンピューティングデバイス１４００からのコンポーネントは、デバイス１４５０などのモバイルデバイス（図示せず）内の他のコンポーネントと組合されてもよい。そのようなデバイスの各々がコンピューティングデバイス１４００，１４５０の１つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス１４００，１４５０で構成されてもよい。

コンピューティングデバイス１４５０は、数あるコンポーネントの中でも特に、プロセッサ１４５２、メモリ１４６４、ディスプレイ１４５４などの入出力デバイス、通信インターフェイス１４６６、およびトランシーバ１４６８を含む。また、デバイス１４５０には、マイクロドライブまたは他のデバイスなどの記憶装置が提供されて付加的なストレージが提供されてもよい。コンポーネント１４５０，１４５２，１４６４，１４５４，１４６６および１４６８の各々は様々なバスを用いて相互に接続されており、当該コンポーネントのいくつかは共通のマザーボード上にまたは他の態様で適宜搭載され得る。

プロセッサ１４５２は、メモリ１４６４に記憶されている命令を含む、コンピューティングデバイス１４５０内の命令を実行可能である。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、例えば、ユーザインターフェイス、デバイス１４５０が実行するアプリケーション、およびデバイス１４５０による無線通信の制御といった、デバイス１４５０の他のコンポーネントの協調を提供し得る。

プロセッサ１４５２は、ディスプレイ１４５４に結合された制御インターフェイス１４５８およびディスプレイインターフェイス１４５６を介してユーザと通信し得る。ディスプレイ１４５４は、例えば、ＴＦＴ ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス１４５６は、ディスプレイ１４５４を駆動してグラフィックおよび他の情報をユーザに提示するための適切な回路を含み得る。制御インターフェイス１４５８はユーザからコマンドを受信し、当該コマンドをプロセッサ１４５２に提出するために変換し得る。さらに、外部インターフェイス１４６２が、デバイス１４５０と他のデバイスとの隣接通信を可能にするために、プロセッサ１４５２と通信した状態で提供されてもよい。外部インターフェイス１４６２は、例えば、ある実現例では有線通信を提供し、他の実現例では無線通信を提供してもよく、また、複数のインターフェイスが用いられてもよい。

メモリ１４６４は情報をコンピューティングデバイス１４５０内に記憶する。メモリ１４６４は、１つもしくは複数のコンピュータ読取可能媒体、１つもしくは複数の揮発性メモリユニット、または１つもしくは複数の不揮発性メモリユニットの１つ以上として実現され得る。さらに、拡張メモリ１４７４が提供され、例えばＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含み得る拡張インターフェイス１４７２を介してデバイス１４５０に接続されてもよい。このような拡張メモリ１４７４はデバイス１４５０に余分のストレージスペースを提供し得るか、またはデバイス１４５０のためのアプリケーションもしくは他の情報をさらに記憶し得る。具体的には、拡張メモリ１４７４は上述のプロセスを実行または補足するための命令を含み得、さらにセキュア情報を含み得る。ゆえに、例えば、拡張メモリ１４７４はデバイス１４５０のためのセキュリティモジュールとして提供されてもよく、デバイス１４５０のセキュアな使用を許可する命令でプログラムされてもよい。さらに、ハッキング不可能なようにＳＩＭＭカード上に識別情報
を置くといったように、セキュアなアプリケーションが付加的な情報とともにＳＩＭＭカードを介して提供されてもよい。

メモリは、以下に記載のように、例えばフラッシュメモリおよび／またはＮＶＲＡＭメモリを含み得る。一実現例では、コンピュータプログラムプロダクトが情報媒体内に有形に具体化される。コンピュータプログラムプロダクトは、実行されると上述のような１つ以上の方法を実行する命令を含む。情報媒体は、メモリ１４６４、拡張メモリ１４７４、またはプロセッサ１４５２上のメモリといった、コンピュータ読取可能媒体または機械読取可能媒体であり、これは、例えばトランシーバ１４６８または外部インターフェイス１４６２上で受信され得る。

デバイス１４５０は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス１４６６を介して無線通信し得る。通信インターフェイス１４６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳといった、様々なモードまたはプロトコル下の通信を提供し得る。そのような通信は、例えば無線周波数トランシーバ１４６８を介して起こり得る。さらに、ブルートゥース、Ｗｉ－Ｆｉ、または他のそのようなトランシーバ（図示せず）を用いるなどして、短距離通信が起こり得る。さらに、ＧＰＳ（全地球測位システム）レシーバモジュール１４７０が付加的なナビゲーション関連および位置関連の無線データをデバイス１４５０に提供し得、当該データはデバイス１４５０上で実行されるアプリケーションによって適宜用いられ得る。

また、デバイス１４５０は、ユーザから口頭情報を受信して当該情報を使用可能なデジタル情報に変換し得る音声コーデック１４６０を用いて可聴的に通信し得る。音声コーデック１４６０も同様に、例えばデバイス１４５０のハンドセット内で、スピーカを介すなどしてユーザに可聴音を生成し得る。そのような音は音声電話からの音を含んでいてもよく、録音された音（例えば音声メッセージ、音楽ファイル等）を含んでいてもよく、さらに、デバイス１４５０上で実行されるアプリケーションが生成する音を含んでいてもよい。

コンピューティングデバイス１４５０は、図に示すように多数の異なる形態で実現されてもよい。例えば、コンピューティングデバイス１４５０はセルラー電話１４８０として実現されてもよい。また、コンピューティングデバイス１４５０は、スマートフォン１４８２、携帯情報端末、または他の同様のモバイルデバイスの一部として実現されてもよい。

本明細書に記載のシステムおよび技術の様々な実現例は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらの様々な実現例は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実現例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するように、かつこれらにデータおよび命令を送信するように結合されている。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても公知）はプログラマブルプロセッサのための機械命令を含んでおり、高レベル手続きおよび／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械言語で実現され得る。本明細書において使用する「機械
読取可能媒体」「コンピュータ読取可能媒体」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために用いられる任意のコンピュータプログラムプロダクト、装置および／またはデバイス（例えば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む。「機械読取可能信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。

ユーザとの相互作用を提供するために、本明細書に記載のシステムおよび技術は、情報をユーザに表示するためのディスプレイデバイス（例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザが入力をコンピュータに提供する際に使用可能なキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）とを有するコンピュータ上で実現され得る。他の種類のデバイスを用いてユーザとの相互作用を提供することもでき、例えば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得、ユーザからの入力は、音響、スピーチ、または触覚入力を含む任意の形態で受信され得る。

本明細書に記載のシステムおよび技術は、バックエンドコンポーネントを（例えばデータサーバとして）含む、またはミドルウェアコンポーネントを（例えばアプリケーションサーバとして）含む、またはフロントエンドコンポーネント（例えば、ユーザが上記のシステムおよび技術の実現例と相互に作用する際に使用可能なグラフィックユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ）、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（例えば通信ネットワーク）によって相互に接続され得る。通信ネットワークの例として、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。

コンピューティングシステムはクライアントおよびサーバを含み得る。クライアントおよびサーバは一般に互いにリモートであり、典型的に通信ネットワークを介して相互に作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されて互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

多数の実施形態を説明した。しかしながら、本発明の精神および範囲から逸脱することなく様々な変更がなされ得ることが理解されるであろう。

また、図面に示す論理フローは、所望の結果を達成するために、示されている特定の順序、または起こる順序を必要としない。また、記載のフローとは他のステップが提供されてもよく、または当該フローからステップが除去されてもよく、記載のシステムに他のコンポーネントが追加されてもよく、または当該システムからコンポーネントが除去されてもよい。したがって、他の実施形態も以下の請求項の範囲内にある。

本明細書で説明される様々な技術の実現は、デジタル電子回路、もしくはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実現されてもよい。実現例は、データ処理装置、例えばプログラム可能なプロセッサ、コンピュータ、または複数のコンピュータによる処理のために、またはそれらの動作を制御するために、コンピュータプログラム製品、すなわち例えば機械可読記憶装置（コンピュータ可読媒体）などの情報担体に有形で実施されるコンピュータプログラムとして実現されてもよい。したがって、コンピュータ可読記憶媒体は、実行されるとプロセッサ（例えば、ホスト
デバイスのプロセッサ、クライアントデバイスのプロセッサ）にプロセスを実行させる命令を格納するように構成することができる。

上述したコンピュータプログラムのようなコンピュータプログラムは、コンパイルまたは解釈された言語を含む任意の形式のプログラミング言語で書かれ得、スタンドアロンプログラムとして、または、モジュール、コンポーネント、サブルーチン、もしくは、コンピューティング環境で使用するのに好適な他のユニットとして任意の形態で展開され得る。コンピュータプログラムは、１つのコンピュータまたは１つの場所に位置するかもしくは複数の場所にわたって分散され通信ネットワークによって相互接続される複数のコンピュータ上で処理されるように展開され得る。

方法ステップは、入力データ上で動作し出力を生成することにより機能を実行するよう１つ以上のプログラマブルプロセッサがコンピュータプログラムを実行することによって実行されてもよい。方法ステップの実行および装置の実施は、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）といった特殊目的論理回路系で行われてもよい。

コンピュータプログラムの処理に好適であるプロセッサは、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含んでもよい。一般に、プロセッサは、リードオンリメモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受取ることになる。コンピュータの要素は、命令を実行するための少なくとも１つのプロセッサと、命令およびデータを格納するための１つ以上のメモリデバイスとを含んでもよい。一般に、コンピュータはさらに、例えば磁気ディスク、光磁気ディスクまたは光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むか、当該１つ以上の大容量記憶装置からデータを受取るかもしくは当該１つ以上の大容量記憶装置にデータを転送するよう動作可能に結合されるか、またはその両方を行ってもよい。コンピュータプログラム命令およびデータを実施するのに好適である情報担体は、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスを含む全ての形態の不揮発性メモリと；例えば内部ハードディスクまたはリムーバブルディスクといった磁気ディスクと；光磁気ディスクと；ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクとを含む。プロセッサおよびメモリは、特殊目的論理回路系によって補足され得るか、または特殊目的論理回路系に組み込まれ得る。

ユーザとの相互作用を提供するために、実現例は、例えば陰極線管（ＣＲＴ）、発光ダイオード（ＬＥＤ）または液晶ディスプレイ（ＬＣＤ）モニタといったユーザに対して情報を表示するための表示デバイスと、ユーザがコンピュータに入力を提供可能であるキーボードおよびポインティングデバイス、例えばマウス、トラックボールとを有するコンピュータ上で実現されてもよい。他の種類のデバイスが同様に、ユーザとの相互作用を提供するために使用され得；例えば、ユーザに提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバックまたは触覚フィードバックといった任意の形態の感覚フィードバックであり得；ユーザからの入力は、音響入力、発話入力、または触覚入力を含む任意の形態で受取られ得る。

実現例は、例えばデータサーバなどのバックエンドコンポーネントを含むコンピューティングシステム、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むコンピューティングシステム、または例えばユーザが実現例と相互に作用できるグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータなどのフロントエンドコンポーネント含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合
わせにおいて実現されてもよい。コンポーネントは、例えば通信ネットワークといったデジタルデータ通信の任意の形態または媒体によって相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）、例えばインターネットを含む。

さらなる例が以下に開示される。
例１：方法は、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始することと、複数の入力モードのうちの第１の入力モードを実施する第１の入力を受信することと、第１の入力に応答して複数の仮想オブジェクトのうちの第１の仮想オブジェクトを選択することと、複数の入力モードのうちの第２の入力モードを実施する第２の入力を受信することと、第２の入力モードの優先順位値と第１の入力モードの優先順位値とを比較することと、比較に基づいて、第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第２の仮想オブジェクトにシフトするか、または第１の仮想オブジェクトの選択を維持することとを含む。

例２：第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を第２の仮想オブジェクトにシフトすることは、第２の入力の優先順位値が第１の入力の優先順位値よりも大きい場合に、第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を第２の仮想オブジェクトにシフトすることを含む、例１の方法。

例３：第２の入力の優先順位値が第１の入力の優先順位値よりも小さい場合に、第１の仮想オブジェクトの選択を維持することをさらに備える、例１または２の方法。

例４：複数の入力モードの各々は、関連付けられる優先順位値を有し、複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、例１、２または３の方法。

例５：複数の入力モードは、頭部での注視入力モード、目での注視入力モード、ポイント入力モード、リーチ入力モード、およびジェスチャ入力モードのうちの少なくとも２つを含む、例１～４の１つの方法。

例６：複数の入力モードのうちの第３の入力モードを実施する第３の入力を受信することと、第３の入力に応答して、選択された第１の仮想オブジェクトを操作することとをさらに備える、例１～５の１つの方法。

例７：第１の入力を受信し、第１の仮想オブジェクトを選択することは、操作のために第１の仮想オブジェクトを選択するよう第１の仮想オブジェクトに向けられる注視入力を受信することを含む、例１～６の１つの方法。

例８：第３の入力を受信することは、ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、タッチ入力に応答して、選択された第１の仮想オブジェクトを移動させることとを含む、例１～７の１つの方法。

例９：ハンドヘルド電子デバイスのタッチセンシティブ面上のタッチ入力はタッチおよびドラッグ入力であり、選択されたオブジェクトの移動は、タッチセンシティブ面上のタッチおよびドラッグ入力の移動に対応する、例１～８の１つの方法。

例１０：第１の仮想オブジェクトを選択するよう第１の仮想オブジェクトに向けられる注視入力を受信することは、第１の仮想オブジェクトを含む複数の仮想オブジェクトのフ
ァーフィールドディスプレイで注視入力を受信することを含み、第３の入力を受信することは、ジェスチャ入力を受信することと、ファーフィールドディスプレイからニアフィールドディスプレイへの複数の仮想オブジェクトの動的切り替えのためのトリガとしてジェスチャ入力を認識することと、複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングすることと、モーフィングされた複数の仮想オブジェクトをニアフィールドディスプレイに表示することとを含む、例１～９の１つの方法。

例１１：複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングすることは、複数の仮想オブジェクトがファーフィールドディスプレイからニアフィールドディスプレイに移動する際に、ユーザから複数の仮想オブジェクトへの仮想距離を減少させることと、複数の仮想オブジェクトのサイズを変更すること、複数の仮想オブジェクトに関連付けられる画像を変更すること、複数の仮想オブジェクトに関連付けられるテキストを変更すること、または複数の仮想オブジェクトに関連付けられるメニューアイテムを変更することのうちの少なくとも１つとを含む、例１０の方法。

例１２：第４の入力を受信することをさらに備え、第４の入力は、ニアフィールドディスプレイに表示される複数の仮想オブジェクトの仮想オブジェクトを選択し操作するためのリーチジェスチャを含む、例１～１１の１つの方法。

例１３：第１の入力を受信し、第１の仮想オブジェクトを選択することは、操作のために第１の仮想オブジェクトを選択するよう第１の仮想オブジェクトに向けられるハンドヘルド電子デバイスによって生成されるビームを受信することを含む、例１～１２の１つの方法。

例１４：第３の入力を受信することは、ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、タッチ入力をタッチセンシティブ面に沿ってドラッグすることと、タッチおよびドラッグ入力に応答して、選択された第１の仮想オブジェクトを移動させることとを含み、選択された第１の仮想オブジェクトの移動は、ハンドヘルド電子装置のタッチセンシティブ面に沿ったドラッグ入力の移動に対応する、例１～１３の１つの方法。

例１５：第３の入力は、ハンドヘルド電子デバイスによって生成されるビームをハンドヘルド電子デバイスと選択された第１の仮想オブジェクトとの間で接続するために、ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、ハンドヘルド電子デバイスを移動させることと、ハンドヘルド電子デバイスを移動させることと、ハンドヘルド電子デバイスの移動に応答して、選択された第１の仮想オブジェクトを移動させることとを含み、選択された第１の仮想オブジェクトの移動は、ハンドヘルド電子デバイスの移動に対応し、第３の入力はさらに、ハンドヘルド電子デバイスのタッチセンシティブ面からタッチ入力を解放することと、選択された第１の仮想オブジェクトをタッチ入力の解放ポイントに再配置するよう、タッチ入力の解放に応答して、選択された第１の仮想オブジェクトを解放することとを含む、例１～１３の１つの方法。

例１６：没入型仮想体験を開始することと、複数の仮想オブジェクトのファーフィールドディスプレイを生成することと、第１の入力を受信することと、第１の入力に応答して複数の仮想オブジェクトを含むファーフィールドディスプレイを選択することと、第２の入力を受信することと、第２の入力に応答して複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングすることと、モーフィングされた複数の仮想オブジェクトを含むニアフィールドディスプレイを生成することと、第３
の入力を受信することと、第３の入力に応答してモーフィングされた複数の仮想オブジェクトのうちの１つを選択することとを備える、例１６の方法。

例１７：第１の入力を受信することは、ファーフィールド注視入力またはハンドヘルド電子デバイスによって生成されるファーフィールドビーム入力を受信することを含み、第２の入力を受信することは、複数の仮想オブジェクトのファーフィールドディスプレイからモーフィングされた複数の仮想オブジェクトのニアフィールドディスプレイへの遷移のトリガとなる手または腕ジェスチャ入力を受信することを含み、第３の入力を受信することは、モーフィングされた仮想オブジェクトのニアフィールドディスプレイから仮想オブジェクトを選択するニアフィールド手ジェスチャまたはニアフィールドリーチジェスチャを受信することを含む、例１６の方法。

例１８：第４の入力を受信することと、第４の入力に応答して、選択された仮想オブジェクトを操作することとをさらに備える、例１６または１７の方法。

例１９：第４の入力を受信することは、ハンドヘルド電子デバイスのタッチセンシティブ面上のタッチおよびドラッグ入力、タッチセンシティブ面上のタッチおよびハンドヘルド電子デバイスの移動、または選択された仮想オブジェクトの特徴に向けられる手のジェスチャのうちの少なくとも１つを受信することを含む、例１６～１８の１つの方法。

例２０：第４の入力に応答して選択された仮想オブジェクトを操作することは、タッチおよびドラッグ入力の軌跡に基づいて選択された仮想オブジェクトを移動させること、ハンドヘルド電子デバイスの移動に基づいて選択された仮想オブジェクトを移動させること、または手のジェスチャに基づいて選択された仮想オブジェクトをさらにモーフィングすることのうちの少なくとも１つを含む、例１６～１９の１つの方法。

例２１：第５の入力を受信することと、第５の入力の優先順位値と第４の入力の優先順位値とを比較することと、第５の入力の優先順位値が第４の入力の優先順位値より大きいとき、現在選択されている仮想オブジェクトの選択を解放し、選択を、第５の入力に関連付けられる新たな仮想オブジェクトにシフトすることと、第５の入力の優先順位値が第４の入力の優先順位値より小さいとき、現在選択されている仮想オブジェクトの選択を維持することとをさらに備える、例１６～１８の１つの方法。

例２２：各入力は、複数の入力モードのうちの１つを介して受信され、複数の入力モードの各々は、関連付けられる優先順位値を有し、複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、例１６～２１の１つの方法。

例２３：複数の入力モードは、頭部での注視入力モード、目での注視入力モード、ポイント入力モード、リーチ入力モード、およびジェスチャ入力モードを含む、例１６～２２の１つの方法。

例２４：ハンドヘルド電子デバイスと動作可能に結合される頭部装着型電子デバイスと、頭部装着型電子デバイスおよびハンドヘルド電子デバイスの動作を制御する制御システムとを備え、制御システムは、頭部装着型電子デバイスおよびハンドヘルド電子デバイスを制御して、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始し、複数の入力モードのうちの第１の入力モードを実施する第１の入力を受信し、第１の入力に応答して複数の仮想オブジェクトのうちの第１の仮想オブジェクトを選択し、複数の入力モードのうちの第２の入力モードを実施する第２の入力を受信し、第２の入力モードの優先順位値と第１の入力モードの優先順位
値とを比較し、比較に基づいて、第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第２の仮想オブジェクトにシフトするか、または第１の仮想オブジェクトの選択を維持するよう構成される、例２４に従う装置。

例２５：複数の入力モードの各々は、関連付けられる優先順位値を有し、複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定され、制御システムはさらに、第２の入力の優先順位値が第１の入力の優先順位値よりも大きい場合に、第１の仮想オブジェクトの選択を解放し、選択を第２の仮想オブジェクトにシフトし、第２の入力の優先順位値が第１の入力の優先順位値よりも小さい場合に、第１の仮想オブジェクトの選択を維持するよう構成される、例２４の装置。

例２６：制御システムはさらに、複数の入力モードのうちの第３の入力モードを実施する第３の入力を受信するよう構成され、第３の入力は、第１の仮想オブジェクトを含む複数の仮想オブジェクトのファーフィールドディスプレイに向けられる注視入力を含み、制御システムはさらに、複数の入力モードのうちの第４の入力モードを実施する第４の入力を受信するよう構成され、第４の入力は、ファーフィールドディスプレイからニアフィールドディスプレイへの複数の仮想オブジェクトの動的切り替えのトリガとなるジェスチャを含み、制御システムはさらに、複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングし、モーフィングされた複数の仮想オブジェクトをニアフィールドディスプレイに表示するよう構成される、例２４または２５の装置。

例２７：実行時にコンピューティングデバイスにプロセスを実行させる命令を格納するコンピュータ可読記憶媒体であって、命令は、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始し、複数の入力モードのうちの第１の入力モードを実施する第１の入力を受信し、第１の入力に応答して複数の仮想オブジェクトのうちの第１の仮想オブジェクトを選択し、複数の入力モードのうちの第２の入力モードを実施する第２の入力を受信し、第２の入力モードの優先順位値と第１の入力モードの優先順位値とを比較し、比較に基づいて、第２の入力に応答して、第１の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第２の仮想オブジェクトにシフトするか、または第１の仮想オブジェクトの選択を維持するための命令を含む、例２７に従うコンピュータ可読記憶媒体。

例２８：複数の入力モードの各々は、関連付けられる優先順位値を有し、複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、例２６または２７のコンピュータ可読記憶媒体。

例２９：第２の入力の優先順位値が第１の入力の優先順位値よりも大きい場合に、第１の仮想オブジェクトの選択を解放し、第２の仮想オブジェクトにシフトし、第２の入力の優先順位値が第１の入力の優先順位値よりも小さい場合に、第１の仮想オブジェクトの選択を維持する、例２６、２７または２８のコンピュータ可読記憶媒体。

例３０：命令はさらに、複数の入力モードのうちの第３の入力モードを実施する第３の入力を受信するための命令を含み、第３の入力は、複数の仮想オブジェクトのファーフィールドディスプレイに向けられ、命令はさらに、複数の入力モードのうちの第４の入力モードを実施する第４の入力を受信するための命令を含み、第４の入力は、ファーフィールドディスプレイからニアフィールドディスプレイへの複数の仮想オブジェクトの動的切り
替えのトリガとなり、命令はさらに、複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトの外観をモーフィングし、モーフィングされた複数の仮想オブジェクトをニアフィールドディスプレイに表示するための命令を含む、例２６、２７、２８または２９のコンピュータ可読記憶媒体。

例３１：複数の仮想オブジェクトのニアフィールド表示のために複数の仮想オブジェクトのモーフィングされた外観は、複数の仮想オブジェクトがファーフィールドディスプレイからニアフィールドディスプレイに移動する際に、ユーザから複数の仮想オブジェクトへの仮想距離の減少と、複数の仮想オブジェクトのサイズの変更、複数の仮想オブジェクトに関連付けられる画像の変更、複数の仮想オブジェクトに関連付けられるテキストの変更、または複数の仮想オブジェクトに関連付けられるメニューアイテムの変更のうちの少なくとも１つとを含む、例２６～３０の１つのコンピュータ可読記憶媒体。

記載された実現例の特定の特徴が本明細書に記載されているように示されているが、当業者には多くの修正、置換、変更および均等物がここで思い浮かぶであろう。したがって、特許請求の範囲は、実現例の範囲内にあるすべてのそのような修正および変更を包含するように意図されていることを理解されたい。それらは限定ではなく単なる例として提示されたものであり、形態および細部の様々な変更がなされ得ることを理解されたい。相互排他的な組み合わせを除いて、本明細書に記載の装置および／または方法の任意の部分を、任意の組み合わせで組み合わせることができる。本明細書で説明される実現例は、説明される異なる実現例の機能、構成要素、および／または特徴の様々な組合せおよび／または下位組合せを含むことができる。

Claims (16)

1. 複数の仮想オブジェクトを含む仮想体験を開始することを備え、前記複数の仮想オブジェクトの各々は、入力に応答して選択可能かつ操作可能であり、さらに、
   複数の入力モードのうちの第１の入力モードのアクションが実施されたことに基づく第１の入力を受信すること、
   前記第１の入力に応答して前記複数の仮想オブジェクトのうちの第１の仮想オブジェクトを選択し、前記仮想体験における操作のために選択された第１の仮想オブジェクトにアクティブフォーカスを設定することと、
   前記複数の入力モードのうちの第２の入力モードのアクションが実施されたことに基づく第２の入力を受信することと、
   前記第１の仮想オブジェクトに前記アクティブフォーカスが維持されている間に、前記第２の入力に応じて、前記第１の仮想オブジェクトの少なくとも１つの仮想エレメントを操作することと、
   前記複数の入力モードのうちの第３の入力モードのアクションが実施されたことに基づく第３の入力を受信することと、
   前記第３の入力モードの優先順位値と前記第１の入力モードの優先順位値とを比較することと、
   前記比較に基づいて、前記第３の入力に応答して、前記第１の仮想オブジェクトへのアクティブフォーカスを解放し、アクティブフォーカスを前記複数の仮想オブジェクトのうちの第２の仮想オブジェクトにシフトするか、または前記第１の仮想オブジェクトへのアクティブフォーカスを維持することとを備え、
   第１のアプローチでは、前記第１の入力の優先順位値は、仮想世界における前記第１の仮想オブジェクトと入力を受け付けるユーザとの距離によって決定され、前記第３の入力の優先順位値は、仮想世界における前記第２の仮想オブジェクトと入力を受け付けるユーザとの距離によって決定される、方法。
2. 前記第３の入力に応答して、前記第１の仮想オブジェクトへのアクティブフォーカスを解放し、アクティブフォーカスを第２の仮想オブジェクトにシフトすることは、前記第３の入力の優先順位値が前記第１の入力の優先順位値よりも大きい場合に、前記第２の入力に応答して、前記第１の仮想オブジェクトへのアクティブフォーカスを解放し、アクティブフォーカスを第２の仮想オブジェクトにシフトすることを含む、請求項１に記載の方法。
3. 前記第３の入力の優先順位値が前記第１の入力の優先順位値よりも小さい場合に、前記第１の仮想オブジェクトへのアクティブフォーカスを維持することをさらに備える、請求項１または２に記載の方法。
4. 第２のアプローチでは、前記複数の入力モードの各々は、関連付けられる優先順位値を有し、前記複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従って前記ユーザによって設定される、請求項１から３のいずれか１項に記載の方法。
5. 前記複数の入力モードは、頭部での注視入力モード、目での注視入力モード、ポイント入力モード、リーチ入力モード、およびジェスチャ入力モードのうちの少なくとも２つを含む、請求項１から４のいずれか１項に記載の方法。
6. 第１の入力を受信し、第１の仮想オブジェクトを選択することは、操作のために前記第１の仮想オブジェクトを選択するよう前記第１の仮想オブジェクトに向けられる注視入力を受信することを含む、請求項１から５のいずれか１項に記載の方法。
7. 第３の入力を受信することは、
   ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、
   前記タッチ入力に応答して、前記選択された第１の仮想オブジェクトの１つ以上の仮想エレメントを移動させることとを含む、請求項６に記載の方法。
8. 前記ハンドヘルド電子デバイスの前記タッチセンシティブ面上の前記タッチ入力はタッチおよびドラッグ入力であり、前記選択された第１の仮想オブジェクトの少なくとも１つの仮想エレメントの前記移動は、前記タッチセンシティブ面上の前記タッチおよびドラッグ入力の前記移動に対応する、請求項７に記載の方法。
9. 前記第１の仮想オブジェクトを選択するよう前記第１の仮想オブジェクトに向けられる前記注視入力を受信することは、
   前記第１の仮想オブジェクトを含む前記複数の仮想オブジェクトのファーフィールドディスプレイで注視入力を受信することを含み、
   前記第２の入力を受信することは、
   ジェスチャ入力を受信することと、
   前記ファーフィールドディスプレイからニアフィールドディスプレイへの前記複数の仮想オブジェクトの動的切り替えのためのトリガとして前記ジェスチャ入力を認識することと、
   前記複数の仮想オブジェクトのニアフィールドディスプレイのために前記複数の仮想オブジェクトの外観をモーフィングすることと、
   前記モーフィングされた複数の仮想オブジェクトを前記ニアフィールドディスプレイに表示することとを含む、請求項６に記載の方法。
10. 前記複数の仮想オブジェクトのニアフィールドディスプレイのために前記複数の仮想オブジェクトの前記外観をモーフィングすることは、前記複数の仮想オブジェクトが前記ファーフィールドディスプレイから前記ニアフィールドディスプレイに移動する際に、前記ユーザから前記複数の仮想オブジェクトへの仮想距離を減少させることと、前記複数の仮想オブジェクトのサイズを変更すること、前記複数の仮想オブジェクトに関連付けられる画像を変更すること、前記複数の仮想オブジェクトに関連付けられるテキストを変更すること、または前記複数の仮想オブジェクトに関連付けられるメニューアイテムを変更することのうちの少なくとも１つとを含む、請求項９に記載の方法。
11. 第４の入力を受信することをさらに備え、前記第４の入力は、前記ニアフィールドディスプレイに表示される前記複数の仮想オブジェクトの仮想オブジェクトを選択し操作するためのリーチジェスチャを含む、請求項９または１０に記載の方法。
12. 前記第１の入力を受信し、前記第１の仮想オブジェクトを選択することは、操作のために前記第１の仮想オブジェクトを選択するよう前記第１の仮想オブジェクトに向けられるハンドヘルド電子デバイスによって生成されるビームを受信することを含む、請求項１から１１のいずれか１項に記載の方法。
13. 前記第２の入力を受信することは、
    ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、
    前記タッチ入力を前記タッチセンシティブ面に沿ってドラッグのタッチ入力を受信することと、
    タッチおよびドラッグ入力に応答して、前記選択された第１の仮想オブジェクトの少なくとも１つの仮想エレメントを移動させることとを含み、前記選択された第１の仮想オブジェクトの前記少なくとも１つの仮想エレメントの移動は、前記ハンドヘルド電子デバイスの前記タッチセンシティブ面に沿ったドラッグ入力の移動に対応する、請求項１２に記載の方法。
14. 前記第２の入力は、
    前記ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信し、受信された前記タッチ入力に応じて、前記ビームを前記ハンドヘルド電子デバイスと前記選択された第１の仮想オブジェクトとに接続することと、
    前記ハンドヘルド電子デバイスの物理的移動を検出することと、
    前記ハンドヘルド電子デバイスの検出された物理的移動に応じて前記選択された第１の仮想空間オブジェクトの少なくとも１つの仮想エレメントを移動させることと、を含み、前記選択された第１の仮想オブジェクトの前記少なくとも１つの仮想エレメントの移動は前記ハンドヘルド電子デバイスの前記検出された物理的移動に対応し、
    前記ハンドヘルド電子デバイスの前記タッチセンシティブ面からの前記タッチ入力の解放を検出することと、
    前記選択された第１の仮想オブジェクトの前記少なくとも１つの仮想エレメントを前記タッチ入力の解放ポイントに再配置するよう、前記タッチ入力の解放の検出に応答して、前記選択された第１の仮想オブジェクトへの前記アクティブフォーカスを解放することとを含む、請求項１２に記載の方法。
15. 前記ユーザがデバイスを利用することにより実行されるアクションは、前記ユーザの注視のアクションよりも高い優先順位値を有する、請求項１～請求項１４のいずれか１項に記載の方法。
16. 請求項１～請求項１５のいずれか１項に記載の方法をコンピュータに実行させる、プログラム。

Images