JP6825015B2 - 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は、仮想現実コンテンツを変更する方法に関し、特に、現実世界コンテンツにより仮想現実コンテンツを拡張し、検出されたユーザインタラクティビティあるいは対話性に基づいてコンテンツを切り替え及び調和させる方法及びシステムに関する。

仮想現実（ＶＲ）は、消費者がコンテンツとインタラクトあるいは対話するための方法として、及びコンテンツ創作者が観衆と対話するための方法としてますます広がっている。ＶＲの人気が高まり続けるにつれて、その集中及び没入のレベルも高まっている。仮想現実シーン（ＶＲＳ）が視聴者に方向感覚の喪失を生じさせることが珍しくない。方向感覚の喪失のレベルは、軽度の不快感から深刻な不和にわたることがある。結果として、方向感覚の喪失は、有用性のコンテキスト及び安全のコンテキストの両方からの懸念事項である。例えば、方向感覚の喪失は、全体的なユーザ経験がＶＲ経験に悩まされ、ＶＲ経験の価値を落とすことを生じさせる。更に、ユーザの方向感覚の喪失についての潜在性は、潜在的に方向感覚を失わせるシーンを阻む懸念から、コンテンツ創作者が何を創作するかを制限する場合がある。

よって、ＶＲの没入及び集中が高まり続けるにつれて、それらが生じさせ得る方向感覚の喪失及び／または不快感を軽減するための手段を提供することができるシステム及び方法に対する利点がある。

それは、本発明の実施形態が生まれるこのコンテキスト内にある。

本発明の実施形態は、仮想現実シーンを変更し、特に、現実世界コンテンツにより仮想現実シーンを拡張する方法及びシステムを提供する。方法及びシステムはまた、ＶＲコンテンツと現実世界コンテンツとの間で切り替え、２つの間での遷移を管理する実施形態を定義する。本発明は、処理、装置、システム、デバイス、またはコンピュータ可読媒体上での方法など、多数の方法で実施されることができることを認識されるべきである。本発明のいくつかの発明的な実施形態は、以下で説明される。

一実施形態では、方法は、ＨＭＤ上のセンサからデータを取得する動作を含む。センサデータは、仮想現実シーン（ＶＲＳ：Virtual reality scene）からＨＭＤ上で表示されることになる拡張ＶＲＳに遷移するための第１の基準が満たされるかどうかを判定するように処理され、第１の基準は、ＨＭＤを身に着けており、ＶＲＳを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。第１の基準が満たされると判定されると、方法は、拡張ＶＲＳを生成するために、ＶＲＳに第１の現実世界オブジェクトを挿入する動作を含み、第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置されたカメラによって提供される現実世界ビューからである。それらの実施形態のコンテキストにおける「拡張ＶＲＳ」または「拡張ＶＲ」は、現実世界からのコンテンツを含むように元の状態から修正されたＶＲを指す。拡張ＶＲまたはＶＲＳはまた、「ハイブリッドビュー」または「ハイブリッドＨＭＤビュー」と称されてもよい。

別の実施形態では、ＶＲＳを提供するシステムは、ＨＭＤからセンサデータを取得する処理を含む。システムはまた、第１の基準が満たされるかどうかを判定するように前記データを処理するプロセッサを含む。第１の基準は、ＨＭＤを身に着けており、ＶＲＳを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。システムは更に、ＶＲＳに現実世界オブジェクトを挿入するレンダリング構成要素を含む。現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置されたカメラによって提供される現実世界ビューからキャプチャされる。

更なる別の実施形態では、非一時的コンピュータ可読記憶媒体において埋め込まれたコンピュータプログラムは、１つ以上のプロセッサによって実行されるとき、ＨＭＤの仮想現実コンテンツを変更する。媒体に含まれるのは、ＨＭＤセンサデータを取得し、第１の基準が満たされると判定するように前記データを処理するプログラム命令であり、第１の基準は、ＨＭＤを身に着けており、仮想現実シーンを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。更に、媒体はまた、ＶＲＳに第１の現実世界オブジェクトを挿入するプログラム命令を含み、第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内のカメラによって提供される現実世界ビューからである。

本発明の他の態様は、本発明の原理を実施例として例示する添付図面を併用して、以下の詳細な説明から明らかになるであろう。

添付図面と併用される以下の説明を参照することによって、本発明を最良に理解し得る。

ユーザにＶＲＳを提供し、ＶＲＳを拡張することが可能な実施形態を例示する図。 一実施形態におけるＶＲＳの提示及びユーザの方向感覚の喪失の検出を可能にするＨＭＤの特定の構成要素を例示する図。 一実施形態における方向感覚を失ったユーザを再方向付ける方法のフローを示す図。 一実施形態におけるユーザの方向感覚の喪失を検出し、ユーザを再方向付けることが可能なコンピュータの構成要素の一部を例示する図。 一実施形態における部屋に位置する間にＨＭＤを身に着けており、ＶＲＳが提示されている現実世界内のユーザを示す図。 Ｂ〜Ｈは、一部の実施形態におけるＶＲＳ、１つ以上の現実世界オブジェクトを有する拡張ＶＲＳ、及び現実世界ビューを含む、それと共にユーザを表示し得る様々なビューを示す図。 一実施形態における方向感覚の喪失を経験しており、拡張ＶＲＳを提示されているユーザの実施例を例示する図。 Ａ〜Ｂは、一部の実施形態におけるＶＲＳを拡張する異なる方法を示す図。 一部の実施形態における拡張ＶＲＳまたは現実世界ビューにＶＲＳを拡張または変更するコンピュータによって実施されることになるアルゴリズムのフローチャートを例示する図。 一実施形態における漸進的に更なる現実世界オブジェクトによりＶＲＳを拡張する方法のフローを示す図。 一実施形態におけるいくつかの現実世界オブジェクトからＶＲＳに拡張されることになる現実世界オブジェクトをどのように選択するかを判定するコンピュータによって実行されることになる方法のフローを示す図。 一実施形態における第１の基準が最初に満たされ、その後は満たされなくなるＶＲＳを拡張する方法の表現を示す図。 一実施形態における第１の基準が最初に満たされ、その後、第２の基準が満たされるＶＲＳを拡張する方法の表現を示す図。 一実施形態と合致した、予測される再方向付け有効性に従ってＶＲＳに拡張されることになる現実世界オブジェクトを選択及びランク付けする方法を示す図。 一実施形態におけるヘッドマウントディスプレイの構成要素の一部の実施形態を示す図。

以下の実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）内に表示された仮想現実シーンを変更する方法、コンピュータプログラム、及び装置を説明する。しかしながら、本発明がそれらの特定の詳細の一部または全てなしに実施されてもよいことが当業者にとって明らかであろう。他の例では、本発明を不必要に曖昧にしないために、公知の処理動作は詳細に説明されない。

ＨＭＤによって提供される仮想現実シーンは、それらがユーザの一部に方向感覚の喪失を生じさせるように非常に没入的であることが多い。ユーザの方向感覚の喪失は、バランスの感覚、接地の感覚、重力の感覚、空間内の位置の感覚、安全の感覚などの喪失によって特徴付けられる場合がある。同様に、方向感覚の喪失のそれらの分類のいずれか１つのユーザの経験は、軽度なものから深刻なものにわたる場合がある。方向感覚の喪失の瞬間が仮想現実シーンの経験の価値を落とすだけでなく、それらは、ユーザがコンテンツを楽しみ、またはユニークなコンテンツを評価することを妨げる場合もある。

更に、ＨＭＤのユーザは、仮想現実シーン（ＶＲＳ）によって完全に関与される間、方向感覚の喪失の自身の状態を認識しないことが多い。したがって、ユーザがＶＲＳを完全に停止させる必要があると感じるまで、ユーザの方向感覚の喪失は、気付かないで増大し続ける場合がある。結果として、ユーザは深刻な程度の方向感覚の喪失を受けるだけでなく、仮想現実シーン内で行われるいずれかの進展が事実上喪失する場合もある。結果として、特に、ＶＲＳ経験がよりアクセス可能になり、没入的になり、インタラクティブになるように発展するにつれて、ユーザの方向感覚の喪失を検出することによって経験及びユーザの安全性を高め、ユーザの元の位置での再方向付けを支援する技術的必要性が存在する。加えて、いずれかのより前のポイントにおいて仮想現実シーンを再開するのではなく、方向感覚の喪失を元の位置で検出及び修正することがより計算的に効率的である場合がある。

本明細書で使用されるように、「元の位置で（ｉｎ ｓｉｔｕ）」とは、ユーザがＶＲＳとインタラクトあるいは対話を行っている間に方向感覚の喪失の検出が処理され、ＶＲＳとインタラトしている間にコンテンツの提示への変更が動的に行われることを意味する。変更は、一実施形態では、現実世界オブジェクトをＶＲＳに調和させることと、方向感覚の喪失が減少するまで現実世界オブジェクトの調和を有効にすることと、ＶＲＳに再度切り替えることと、を含む。一部の実施形態では、ユーザの再方向付けが検出され、漸進的にＶＲＳに再度移動するまで、切り替えは、ＨＭＤ内のビューを現実世界に完全に持っていくように行われてもよい。特定の他の実施形態では、部分的な現実世界ビューのオーバレイは、ＨＭＤ上で提供されてもよく（例えば、ＶＲＳ上にオーバレイされる）、それによって、ユーザに、方向感覚の回復（リオリエント：reorient）を行う機会を提供し得る。

ユーザの方向感覚の喪失を検出することをいくつかの方法で達成することができる。ユーザが方向感覚を失うとき、ユーザは、センサによって測定し得るいくつかの物理的キューを見せる場合がある。例えば、方向感覚を失ったユーザは、奇妙な目の動き（例えば、眼震、眼球震とう）、異常な頭の動き（例えば、傾き）、姿勢（寄り掛かり）、歩き方などを明確に示すことがある。他の不随する物理的兆候は、とりわけ、汗をかくこと、発熱すること、聞くことができる発声を含む場合がある。それらの物理的キューは、ＨＭＤ内のセンサ及びＨＭＤ上のセンサ、ならびに他に、仮想現実インタラクティブ空間内のセンサによって定量的に測定及び追跡されることができる。例えば、推論される画像は、仮想現実インタラクティブ空間内に位置するカメラから取得されてもよい。本明細書で使用されるように、「仮想現実インタラクティブ空間」は、３次元現実世界空間を指し、３次元現実世界空間内で、ユーザは、ＨＭＤを介してＶＲＳに関与し得る。

上記言及されたセンサの一部は、凝視検出カメラ（または、アイトラッキングカメラ）、アイカメラ、慣性センサ、感光性ダイオード（ＰＳＤ）、前向きカメラ、画像スティッチングを有するＨＭＤの周りに配置された複数のカメラ、ＨＭＤ対向カメラ、マイクロフォン、湿度センサ、温度計などを含んでもよい。一部の実施形態では、アイカメラは、目の形状、目の状態の３Ｄ形状、目の湾曲、目のサイズ、または歪みを検出するように構成されたカメラを含んでもよい。他の実施形態では、アイカメラは、瞳孔形状を追跡してもよい。前の目の状態を参照し、方向感覚の喪失または不快感の予測される状態に現在の目の状態を相関付けるためにルックアップテーブルが使用されてもよい。

測定し得るユーザの振る舞いまたは兆候の更なる実施例は、ユーザの心拍パターン、脳波、及びユーザの発声を含む。当業者は、人間の身体的特徴における対応するパターンを検出するために、いくつかの公知の生理学的及び神経学的センサが組み込まれてもよいことを認識するであろう。それらのセンサの一部は、非限定的な実施例として、他の電気診断（ＥＤＸ）センサの中で、心電図（ＥＫＧまたはＥＣＧ）モニタ、筋電図（ＥＭＧ）モニタ、脳波記録（ＥＥＧ）モニタを含んでもよい。特定の実施形態に含めてもよいセンサのタイプの追加の説明は、参照によって以下に組み込まれる、「ＢＩＯＭＥＴＲＩＣ ＩＮＴＥＲＦＡＣＥ ＦＯＲ Ａ ＨＡＮＤＨＥＬＤ ＤＥＶＩＣＥ」と題する米国特許出願第１２／９６３，５９４号において見出すことができる。

更にまた、一部の実施形態は、ユーザが方向感覚の喪失及び／または方向感覚の回復の状態に関する情報を任意に提供し、ＶＲコンテンツを停止し、ＶＲコンテンツを減速させ、または他に、ＶＲコンテンツから遷移するように動作可能な「ハード」ボタン、仮想ボタン、発声制御、発声コマンド、またはユーザ入力手段を含んでもよい。

それらのセンサからのデータは次いで、コンピュータによって取得されてもよく、コンピュータは次いで、方向感覚喪失検出ロジック（ＤＤＬ）を実施することができる。実施例として、ＤＤＬは、取得されたセンサデータに基づいてユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する特定の基準が満たされると判定してもよい。そのような判定が行われると、ユーザの再方向付けが開始し、ＶＲＳの連続性及び完全性を可能な程度になおも維持する（元の位置での方向感覚の回復）。

特定の実施形態では、ＤＤＬは、学習及び／または予測構成要素を有してもよい。例えば、ＤＤＬは、ユーザ履歴から入力を受信してもよく、このユーザ履歴に従って方向感覚の喪失を示唆する特定のインジケータを調節してもよい。結果として、ＤＤＬは、特定のユーザと関連付けられた方向感覚の喪失の振る舞いのパターンを「学習」してもよく、それに従って、そのロジックを調整してもよい。更に、ＤＤＬは、ＶＲＳコンテキストデータソースから入力を受信してもよく、ＶＲＳコンテキストデータソースは、次のＶＲＳに関するコンテキスト情報を提供してもよい。結果として、ＤＤＬは、一部の実施形態に従って、それらの入力に基づいて方向感覚の喪失の後の状態を前もって予測することが可能であることができ得る。例えば、特定の実施形態では、ＤＤＬは、方向感覚の喪失の予測される後の状態に基づいて、拡張ＶＲＳまたは元の位置での方向感覚の回復を可能にし得る。それらの実施形態の態様は、以下で更に詳細に説明される。

ユーザに方向感覚の回復を行わせつつ、ＶＲＳの連続性をなおも維持する１つの方法は、現実世界からオブジェクトを選択することと、ＶＲＳにそのオブジェクトの画像を挿入することと、を含む。この実施形態では、現実世界オブジェクト（ＲＷＯ）が挿入される画像は、ユーザに接地の感覚及び空間的親和性を提供し得る。結果として、ＶＲＳの進展を乱すことなくユーザを方向感覚回復し得る。現実世界オブジェクトは、ＨＭＤの前向きカメラ、ＨＭＤの複数の外向きカメラ、またはＨＭＤを身に着けているユーザに向けられた１つ以上のカメラなど、仮想現実インタラクティブ空間内のカメラによってキャプチャされてもよい。

概して、上記言及されたカメラからオブジェクトを検出及び識別するために、現実世界オブジェクトの分類器が使用されてもよい。１つの例示的な分類器は、識別されたオブジェクトを分類するために、データベース及び更新エンジンを使用する。分類器を使用して、現実世界オブジェクトを高速に識別することが可能である。一部の実施形態では、更新エンジンは、ローカルにまたはインターネットを通じてのいずれかで、他のデータベースにアクセスすることによって、そのデータベースを更新することができる。更新エンジンは、例えば、オブジェクトを識別するための画像を、オブジェクトに関する情報を即時にレンダリングすることができる画像のデータベースに比較することを可能にし得る。情報は、オブジェクト、例えば、「椅子」を全体的に識別するデータを含むことができ、または更に詳細なデータを含むことができる（例えば、メタデータ）。

詳細なデータは、例えば、商標と関連付けられたとしてオブジェクトを識別することができ、例えば、ＣｏｃａＣｏｌａ（商標）は、形状を識別することができ、色を識別することができ、三次元形状を識別することができ、バーコード（２Ｄ及び３Ｄ）を識別することができ、サウンドを識別することができ、それらの２つ以上の組み合わせを識別することができる。一部の実施形態では、分類器は、仮想現実インタラクティブ空間（例えば、１つ以上のカメラによってキャプチャされるように、ユーザがＨＭＤを身に着けている「現実世界」）内に位置するコーヒーテーブルまたはランプなどの個々のオブジェクトを識別することができる。更なる実施例として、分類器は、天井及び壁、ならびに２つが交わるポイントを識別することが可能であり得る。

分類器はまた、次元、相対次元、ユーザ生成コンテンツ（ＵＧＣ）、ユーザタグデータ、ユーザコメント、ソーシャルメディアフィード、ユーザレビューなどを識別及び分類することができる。他の実施形態では、分類器は、ディープラーニングニューラルネットワークを使用して訓練されることができる。そのようなネットワークは、特定のデータによって提供されるデータ、及び多くのユーザから受信されるデータに依存する場合がある。述べられたように、分類器システムは好ましくは、カメラ及び／または他のセンサによってキャプチャし得るオブジェクトを識別するように最適化される。したがって、１つ以上の分類器を処理することは、オブジェクト認識の速度及び効率性、ならびにそのような情報の使用を最適化する。

方向感覚の喪失の分類及び強度に応じて、コンピュータのコンテンツ実行ロジック内の選択モジュールは、また、方向感覚が喪失される特定のケースを軽減する際のＲＷＯの予測される有効性、及び／またはユーザ設定及びユーザ履歴に基づいて、このＲＷＯを選択してもよい。現実世界オブジェクトが選択されると、ＲＷＯ挿入ロジック及びレンダリングモジュールは次いで、拡張ＶＲＳを生成するために、選択されたＲＷＯによりＶＲＳを拡張し得る。このコンテキストにおける「拡張ＶＲＳ」は、現実世界コンテンツにより拡張されたＶＲＳを指すことに留意されるべきである。加えて、このコンテキストにおける「拡張」は、元のシーンにコンテンツを挿入すること、オーバレイすること、調和させること、縫い合わせること、重ね合わせること、または他に、追加することを指す。

一般的に言えば、ＲＷＯ挿入ロジックは、ユーザの凝視方向に対して、現実世界内のその位置に対応するＶＲＳ内の位置においてＲＷＯをリアルタイムで挿入してもよい。結果として、ユーザは、ＨＭＤを外すことによって望むように拡張ＶＲＳ内でＲＷＯを認識し、ＶＲＳのフローを乱すことなく、ユーザに空間的親和性及び方向感覚回復キューを提供する。それにも関わらず、挿入ロジックが現実世界内のその位置とは異なるＶＲＳ内の位置にＲＷＯを配置し得る特定の例が存在してもよい。

ＶＲＳを拡張する処理は、コンピュータのＤＤＬが、ユーザが方向感覚の喪失を示す基準を満たさなくなると判定するまで、追加の現実世界オブジェクトの挿入、調和、またはオーバレイを漸進的に続けることができる。一実施形態では、コンピュータのコンテンツ実行ロジックは、拡張ＶＲＳから１つ以上の挿入されたＲＷＯ（複数可）を取り除いてもよい（例えば、同時にまたは漸進的に）。一方で、ユーザが拡張ＶＲＳに応答して適切な程度に方向感覚の回復がなされない場合、ＤＤＬは、第２の基準が満たされると判定してもよい。

特定の実施形態では、現実世界オブジェクトの漸進的な統合は、すでに挿入されたＲＷＯの可視的部分を拡大することを含んでもよい。例えば、第１のＲＷＯがＶＲＳに最初に拡張される場合、追加のＲＷＯは、この第１のＲＷＯの、より完全な、または、より拡大したビューを含んでもよい。言い換えると、追加のＲＷＯは、現実世界内で本来的に別個のオブジェクトである必要はないが、ＨＭＤ上の１つ以上のカメラ及びＶＲインタラクティブ空間内の１つ以上のカメラによってキャプチャされ、ＶＲシーンに導入されることが可能な現実世界ビューのいずれかの部分である。１つの実施例では、ＲＷＯは、現実世界内のいくつかのオブジェクトを含んでもよい。一部の実施例では、仮想現実シーンに挿入、調和、またはオーバレイされた現実世界オブジェクトは、現実世界の周囲の完全なまたは部分的な区画を含んでもよい。他の実施例では、ＶＲは、現実世界ビューを有する拡張現実に切り替えられると共に、一部の仮想オブジェクトを維持してもよい。更なる他の実施例では、オブジェクトの画像のシルエット、輪郭、影、または外側部が、オブジェクトの更なる完全なビューの代わりにまたはそれに加えて、ＶＲＳと調和するために使用されてもよい。

第１の基準と同様の第２の基準はまた、方向感覚の喪失を示唆する予め定められたインジケータに対応する。しかしながら、第１の基準を満たすことは、拡張ＶＲＳの処理を開始し得、第２の基準を満たすことは、現実世界ビュー（ＲＷＶ）への完全な切り替えを開始し得る。ＶＲＳからＲＷＶへの切り替えは、ＶＲＳ−ＲＷＶ切り替えロジックによって達成されてもよい。その結果として、ユーザは、方向性の喪失の刺激を完全に奪われ（ＶＲＳから）、現実世界ビューに方向感覚を回復する機会が与えられる。ＤＤＬが、基準のいずれもが満たさないと判定すると、ＶＲＳは、切り替えが行われるポイント、またはより前のポイントのいずれかの過程で再開してもよい。この方式で、ＨＭＤのユーザは、ＶＲＳへの最小限の干渉により元の位置で方向感覚を回復する機会を与えられる。

また、特定の実施形態が、ビューの主要なエリアである第１の領域、及びビューの境界または端エリアである第２の領域を含む仮想現実ディスプレイを有してもよいことに留意されるべきである。第１の領域は、仮想現実ビューを含んでもよい。ディスプレイの第２の領域は、仮想現実コンテンツとの現実世界コンテンツの調和を含んでもよい。第１の領域は、ユーザが「真っすぐに」見ることになる場合、その凝視が第１の領域の上にかかるように、左目及び右目の各々についてディスプレイの主要な（例えば、「真っすぐに」見ている」エリア内にあるように構成されてもよい。第２の領域は、ユーザが周辺方向（例えば、ビューの上／下、左右、角）に向かって凝視することになった場合、ユーザの凝視が第２の領域の上にかかるように、左目及び右目についてディスプレイの更なる周辺エリアまたは端もしくは境界内にあるように構成されてもよい。結果として、特定の実施形態に従って、ユーザは、凝視方向を変更することによって（例えば、真っすぐに見ることから、ビューの下右隅に向かって見ることに）、仮想現実シーンと仮想現実コンテンツ及び現実世界コンテンツの両方を有する融合シーンとの間で自主的に切り替えてもよい。すなわち、ユーザは、第２の領域に向かって見ることによって、またはディスプレイの第２の領域を記録するための周辺の視覚を使用することによってでさえ、現実世界ビューのある程度を一貫して見ることを可能にされる。

一部の実施形態では、第２の領域は、或る期間を通じて仮想世界ビューへの現実世界コンテンツの調和を維持し得る。それらの実施形態及び他の実施形態では、ユーザは、第２の領域を介して現実世界のビューを絶えず与えられる。他の実施形態では、第２の領域は、ユーザ優先度設定に基づいて、トグルオンオフされてもよく、または仮想コンテンツへの現実世界コンテンツの可変の程度の調和を有してもよい。

一部の実施形態は、左目及び右目のディスプレイの各々についての（左目及び右目それぞれについての）ＶＲコンテンツに調和される同様の規模の現実世界コンテンツを含んでもよいが、左目及び右目のディスプレイが、他よりも大きな規模または小さい規模のＶＲコンテンツに調和される現実世界コンテンツを有してもよい特定の他の実施形態が存在することに留意されるべきである。例えば、特定の実施形態では、左目のディスプレイは、右目のディスプレイよりも大きくＶＲシーンに調和される現実世界コンテンツを有してもよい。反対のことも当てはまり、右目のディスプレイは、左目のディスプレイよりも大きな程度の仮想コンテンツへの現実世界コンテンツの拡張を備える。この方式では、ユーザは、現実世界設定を通知されると共に、ＶＲコンテンツ上での目をなおも有し得る。

特定の実施形態では、左目のディスプレイまたは右目のディスプレイのいずれか（必ずしも両方でない）は、約２０〜８０％の透明度で調和または表示された現実世界コンテンツを含んでもよい。結果として、ユーザは、ＶＲシーンを経験し続けると共に、現実世界の周囲にも認識するようになることが可能であり得る。それらの実施形態及び他の実施形態では、現実世界コンテンツは、別個のオブジェクト（例えば、椅子）に限定されないが、現実世界の周囲の透明なビューまたは部分的なビューであることができる。

また、第１及び第２の基準は、方向感覚の喪失自体に加えてまたはその代わりに、設定及びパラメータに依存する場合があることに留意されるべきである。例えば、第１及び第２の基準は、ユーザによって予め定められ、またはユーザ履歴を通じてユーザの学習したユーザ設定または優先度に依存する場合がある。結果として、ユーザは、第１及び第２の基準が満たされることを選択及び示してもよい。それらの実施形態及び他の実施形態では、ユーザは、ユーザの判断に基づいて、仮想世界ビュー及び現実世界ビューをどのように調和させるかを決定してもよい。

概して、ユーザは、どのタイプの現実世界コンテンツが仮想現実コンテンツに調和されるか（現実世界オブジェクト／オブジェクト（複数可）、部分的なビューまたは全体的なビュー、境界のビュー、片目のビューの挿入）、どの程度現実世界コンテンツが仮想現実コンテンツに調和されるかと共に、仮想現実コンテンツから現実世界コンテンツを取り除くことが行われるべきかについての制御が与えられてもよい。例えば、ユーザは、一部の実施形態に従って、現実世界コンテンツが仮想現実コンテンツにどのように融合または調和されることになるかについての優先度を定義してもよい。それらの実施形態及び他の実施形態では、ユーザは、２つがどのように調和されるかをまとめて決定してもよい。現実世界コンテンツをどのように調和させ、挿入し、またはオーバレイするかを決定する特定の実施形態が例示を目的に説明されてきたが、それらは、本明細書で説明される実施形態を限定するものとして解釈されるべきではない。

図１は、仮想現実インタラクティブ空間１００の実施形態を示す。ユーザ１０１は、ヘッドマウントディスプレイ（ＨＭＤ）１０２に接続される。複数のセンサ１０４ａ〜１０４ｎは、ＨＭＤ１０２に接続し、ＨＭＤ１０２は次いで、コンピュータ１１０と接続する。また、ＨＭＤ１０２に接続されるのは、現実世界の画像（例えば、ＨＭＤの周囲）をキャプチャする前向きカメラ（ＦＦＣ）１０６である。図示されないが、ＨＭＤ１０２は、例えば、ＨＭＤのユーザの周りで３６０度の縫い合わされたビューをキャプチャするように配置し得る、更なる外部カメラを有してもよい。

前向きカメラ１０６は、本実施形態においていくつかの方法で使用される。例えば、ＦＦＣ１０６は、コンピュータ１１０に、仮想現実インタラクティブ空間に対するユーザの場所及び方位に関する情報を提供する。ＦＦＣ１０６はまた、現実世界の現実世界ビューをキャプチャすることが可能である。特定の実施形態では、ＦＦＣ１０６は、ＨＭＤ１０２を身に着けているときのユーザのそれらと同様の視点及び視野を有するように、ＨＭＤ１０２上に位置付けられることができる。

ＨＭＤ１０２上のＦＦＣ１０６に加えて、本実施形態は、ＨＭＤ対向カメラ（ＨＭＤ−ＦＣ）１０８を含む。ＨＭＤ−ＦＣ１０８は、コンピュータに、場所及び方位など、ＨＭＤ１０２のユーザに関する情報を提供する。ＨＭＤ−ＦＣ１０８はまた、ユーザのボディランゲージなど、現実世界の追加の視点をキャプチャすることが可能である。ＦＦＣ１０６及びＨＭＤ−ＦＣ１０８によって取得される情報は、コンピュータ１１０に通信される。更に、それらのキャプチャされた情報の一部における冗長性は、１０８または１０６の個々のカメラのいずれか１つにおいて接続が損失した場合に、コンピュータ１１０がユーザ１０１を記録することを可能にする。

コンピュータ内で具体化されるのは、コンテンツ実行ロジック（ＣＥＬ）１１２である。概して、ＣＥＬ１１２は、どのコンテンツがＨＭＤ１０２上で提示されることになるかを決定することに関与する。例えば、特定の実施形態では、ＣＥＬ１１２は、ユーザの方向感覚の喪失を示す特定の基準に、取得されたセンサ１０４のデータを比較する方向感覚喪失検出ロジック（ＤＤＬ）１１６を含む。

ＤＤＬ１１６が、基準が満たされない判定する条件の下（例えば、ユーザが方向感覚を失わない）、ＣＥＬ１１２は、ＨＭＤ１０２にＶＲＳを提供するために、仮想現実コンテンツジェネレータ１１４を使用してもよい。一部の実施形態では、提供されるＶＲＳは、仮想現実ゲーム、仮想現実動画、仮想現実スポーツゲーム、仮想現実生産デモ、または仮想現実電話会議を含んでもよい。特定の他の実施形態では、ＶＲＳは、ゲームのストリーミングビデオ、ビデオゲームの「プレイスルー」、「ｅＳｐｏｒｔｓ」の放送、及び他のゲーミングコンテンツを含んでもよい。更なる実施形態では、ＶＲＳは、他の種類の創造的なコンテンツの中で、仮想現実コンサート、アートショー、音楽の演奏、ダンスの上演、劇場、及びミュージカルなどの創造的なコンテンツから構成されてもよい。追加の実施形態は、とりわけ、教育、日曜大工（ＤＩＹ）、観光、不動産に関連するコンテンツから構成されたＶＲＳを有してもよい。

一方で、ＤＤＬ１１６が、ユーザの方向感覚の喪失を示す１つ以上の基準が満たされると判定する場合、ＣＥＬ１１２は、現実世界コンテンツジェネレータ１１８にアクセスしてもよい。現実世界コンテンツジェネレータ１１８は、現実世界ビューを配信し、または他に、仮想現実インタラクティブ空間内に配置された複数のカメラ（例えば、ＦＦＣ１０６及びＨＭＤ−ＦＣ１０８）によって取得された現実世界コンテンツによりＶＲＳを拡張することに関与する。どの基準が満たされるかに応じて、ＣＥＬ１１２は、現実世界コンテンツジェネレータ１１８に従って、１つ以上の現実世界オブジェクトを選択及び挿入してもよい。他の実施形態では、ＣＥＬ１１２は、ＶＲＳ及び現実世界コンテンツの両方の「分割スクリーン」ビューを配信してもよい。他の例では、ＣＥＬ１１２は、現実世界ビューに完全に切り替えてもよい。更なる実施形態では、ＣＥＬ１１２は他に、部分的な現実世界ビューを作成するために、仮想現実コンテンツと現実世界コンテンツを調和させ、またはオーバレイしてもよい。

ＣＥＬ１１２が現実世界コンテンツによりＶＲＳを拡張し、ＨＭＤ１０２にそれを配信すると、ＤＤＬ１１６は、ユーザの方向感覚の喪失を監視し続ける（例えば、基準が満たされるかどうか）。ＤＤＬ１１６が何を判定するかに応じて、ＣＥＬ１１２は、追加の現実世界コンテンツが導入されるべきかどうか、及び追加の現実世界コンテンツがどの程度まで導入されるべきか、及び／または仮想現実コンテンツから取り除かれるべきか、及び仮想現実コンテンツからどの程度まで取り除かれるべきかを決定する。

図２は、ＨＭＤ１０２の一実施形態を示す。ＨＭＤ１０２は、ディスプレイ１４０ａ及び１４０ｂと共に、音声スピーカ１４２ａ及び１４２ｂを含む、ＶＲＳ経験を指令するいくつかの構成要素を含む。特定の実施形態に従って、それらは、ＨＭＤ１０２上に位置するディスプレイコントローラ１２４及び音声コントローラ１２８を含む、それらのそれぞれのコントローラによって制御される。それらのコントローラの両方は、ＨＭＤ１０２にも位置する、入力／出力コントローラ（Ｉ／Ｏコントローラ）１３２を介してコンピュータ１１０と通信する。

一部の実施形態に従って、ＨＭＤ１０２はまた、前向きカメラ（ＦＦＣ）コントローラ１２０及びＩ／Ｏコントローラ１３２を介してコンピュータと通信する１つ以上のＦＦＣ１０６ａ及び１０６ｂを含む。ＦＦＣ１０６は、ＨＭＤ１０２を身に着けているユーザの視点から現実世界の現実世界ビューをキャプチャすることが可能である。例えば、ＦＦＣ１０６は、ユーザがＨＭＤ１０２を身に着けていなかった現実世界内でユーザが見ているいずれの方向においてそれらが「見ている」ように位置付けられてもよい。そのように行う際、現実世界のユーザの視覚がＨＭＤ１０２によって塞がれるときでさえ、ＦＦＣ１０６は、現実世界のビューを提供し得る。ＦＦＣ１０６はまた、ユーザがそれらの見通し線を遮断するパススルーを見ることを可能にする能力について、「パススルー」カメラと称されることがある。図２に示される実施形態は、２つのＦＦＣ１０６を有するＨＭＤ１０２を説明するが、いずれかの数の「前向き」カメラが現実世界ビューをキャプチャ及び配信するために使用されてもよいことを認識されるべきである。

凝視検出カメラ１３４ａ及び１３４ｂのセットがまた、図２に示される。概して、凝視検出（または、アイトラッキング）は、凝視のポイント（「ユーザが見ている」）または頭に対する目の動きのいずれかを測定する処理である。よって、凝視検出器は、目の場所及び動きを測定するデバイスである。

特定の実施形態では、目凝視カメラは、ディスプレイとＶＲシーンを見るための１つ以上のレンズとの間に位置してもよい。この方式では、目凝視カメラは、ユーザの目のより良好な視野を有することが可能にされる。

目の動き及び凝視方向を測定するためにいくつかの方法が使用されることができる。例えば、或る方法は、それから目の場所が抽出されるビデオ画像を使用し、他の方法は、探りコイルまたは眼電図を使用する。更なる方法は、赤外線光が網膜上に投射される赤外線カメラまたは検出器を利用してもよい。よって、ユーザの凝視は、赤外線カメラにより投射光の反射された部分をキャプチャすることによって検出されてもよい。上記言及されたカメラによってキャプチャされる画像はその後、凝視検出器コントローラ１２２及びＩ／Ｏコントローラ１３２を介してコンピュータ１１０に経路指定される。

図２は、明確化のために、そのような凝視検出カメラ１３４のうちの２つ、各々の目についての１つを示すが、いくつかのカメラが凝視検出のためにＨＭＤ１０２内に配置されてもよいことを認識することができる。

更に、図２に示されるのは、ＨＭＤ１０２上に位置する慣性センサ１２６である。慣性センサ１２６は、例えば、推測航法を介して、コンピュータにＨＭＤ１０２の場所、方位、及び速度を含む情報を提供する。それらのセンサは、ＨＭＤ１０２の動き及び回転を追跡するための加速度計及びジャイロスコープを含んでもよい。「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＡＰＰＬＹＩＮＧ ＧＥＡＲＩＮＧ ＥＦＦＥＣＴＳ ＴＯ ＶＩＳＵＡＬ ＴＲＡＣＫＩＮＧ」と題する米国特許出願第１１／３８２，０３６号及び「ＣＯＮＴＲＯＬＬＥＲ ＨＡＶＩＮＧ ＶＩＳＵＡＬＬＹ ＴＲＡＣＫＡＢＬＥ ＯＢＪＥＣＴ ＦＯＲ ＩＮＴＥＲＦＡＣＩＮＧ ＷＩＴＨ Ａ ＧＡＭＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１２／２５９，１８１号は、ＨＭＤ１０２の特定の実施形態に含まれ、またはＨＭＤ１０２の特定の実施形態により使用されてもよいセンサのタイプ及び構成を議論し、それらは、参照によって以下に組み込まれる。

マイクロフォン１４４はまた、マイクロフォンコントローラ１３０を介してコンピュータと通信するように示される。マイクロフォンは、ユーザからの自発的コマンドまたは非自発的コマンドを含む、現実世界からの音声キューを検出するために使用されてもよい。

明確化のために、いくつかの追加の構成要素（例えば、センサ、コントローラなど）が図２から省略されていることに留意されるべきである。例えば、特定の他の実施形態では、追加のセンサは、ＨＭＤ１０２のユーザの発汗レベルを測定するための湿度センサ、及びＨＭＤ１０２のユーザの体温を測定するための体温計を含んでもよい。更なる実施形態では、ユーザ１０１が見せる場合がある振動または揺れなどのより小さい動きを測定するために、圧電センサなどの振動センサもＨＭＤ１０２に含まれてもよい。心臓学（例えば、心拍）、神経学（例えば、脳波）、及び他の生理学パラメータを測定するための上記言及されたＥＫＧ、ＥＭＧ、ＥＥＧセンサなどの電気診断（ＥＤＸ）センサを含む特定の実施形態は同様に、図２から省略されている。よって、図２に例示される実施形態は、排他的または限定的と解釈されるべきではなく、そうではなく、例としてまたは例示的と解釈されるべきである。

図３は、方向感覚を失ったユーザ１０１の方向感覚を回復する例示的な方法のフローチャートである。本実施形態に従って、方法は、ユーザに提示されている仮想現実シーンのコンテンツを変更する。このフローチャートにおける様々な動作が順次提示及び説明されるが、当業者は、動作の一部または全てが異なる順序で実行されてもよく、組み合わされてもよく、省略されてもよく、または並列して実行されてもよいことを認識するであろう。

動作１６０では、方法は、ＶＲＳを表示しているＨＭＤ１０２上に位置するセンサからデータを取得する。図２において前に説明されたように、それらのセンサは、凝視検出器１３４、慣性センサ１２６、音声センサ１４４などを含んでもよい。加えて、図示されないが、方法は、ＨＭＤ１０２上ではないが仮想現実インタラクティブ空間内に位置するセンサからデータを取得してもよい。例えば、データはまた、ＨＭＤ−ＦＣ１０８から取得されてもよい。

動作１６０から、方法は動作１６２に進み、そこでは、動作１６０によって取得されたデータが、第１の基準が満たされるかどうかを判定するように処理及び使用される。第１の基準は、ユーザの方向感覚の喪失を示唆する複数の予め定められたインジケータに対応する。例えば、特定の予め定められたインジケータは、方向感覚の喪失を示唆する目の動きの特定のパターンと関連付けられてもよい。よって、目の動きのそれらの特定のパターンがユーザ１０１において検出される場合、第１の基準が満たされてもよい。同様に、頭の動き、体位、ボディランゲージ、聞くことができる発声などの特定のパターンがまた、ユーザの方向感覚の喪失の予め定められたインジケータと関連付けられてもよい。

センサデータが方法によって取得及び処理されると、動作１６２は、取得されたデータと予め定められたインジケータとの間の比較を行ってもよい。取得されたデータと予め定められたインジケータとの間で一致があると（例えば、取得された凝視検出データが方向感覚の喪失を示す目の動きの予め定められたパターンのうちの１つとして適格である）、動作１６２は、第１の基準が満たされるとの判定を行う。一部の実施形態では、肯定的な判定が行われると、動作１６２はまた、ＶＲＳを減速させ、または中断してもよい。

動作１６２による肯定的な判定に続いて、方法は、動作１６４に進み、そこでは、現実世界オブジェクト（ＲＷＯ）がＶＲＳに挿入される。ＲＷＯは、仮想現実インタラクティブ空間内に配置された１つ以上のカメラによってキャプチャされる現実世界内のオブジェクトまたは視野である。例えば、ＲＷＯは、ユーザの視野内に位置するコーヒーテーブルであってもよい。別の実施例として、オブジェクトは、フロアのビューまたは遠心壁パネルのビューなど、ユーザの視野の四半部または部分であってもよい。

ＲＷＯ（複数可）は、カメラ（例えば、ＦＦＣ１０６またはＨＭＤ−ＦＣ１０８）によってキャプチャされると、ＨＭＤ１０２によって表示されているＶＲＳに挿入される。結果として、ユーザは、１つ以上のＲＷＯ（複数可）によって拡張されているＶＲＳを提供される。上記実施例に続いて、ＲＷＯ拡張ＶＲＳ（または、単純に拡張ＶＲＳ）は、コーヒーテーブルの重ね合わされた画像以外に他に変更されていないシーンから構成されてもよい。一実施形態では、方法は、ＲＷＯがその上で重ね合わされるコーヒーテーブル及び仮想コンテンツの両方が部分的に両方とも視認可能なようにＲＷＯを挿入してもよい。特定の他の実施形態では、ＲＷＯの挿入は、ＲＷＯが挿入される仮想コンテンツの除外に達してもよい。更なる実施形態では、ＲＷＯは、ユーザの応答性及び／または仮想コンテンツのコンテキストに対して時間と共に調節する、動的な透過性により挿入されてもよい。

特定の実施形態では、方法は、ユーザの視野に対する現実世界内のその位置に対応するディスプレイ内の位置にＲＷＯを挿入してもよい。例えば、コーヒーテーブルがユーザの志望するビューの下側の右手周辺に位置し、ＦＦＣ１０６によってキャプチャされる場合、方法は、ディスプレイの下側の右手周辺部分内の対応する位置にコーヒーテーブルの画像を挿入してもよい。加えて、一部の実施形態に従って、コーヒーテーブルの画像は、テーブルが他にユーザにとってＨＭＤ１０２がないように見えるサイズ、焦点、及び／または視点の画像であってもよい。

例えば、ユーザ１０１に対して現実世界の近くに位置するコーヒーテーブルに対応する画像は、より遠くに位置する同一のコーヒーよりもディスプレイスクリーン１４０の大きな部分を占有するように拡張ＶＲＳ内でサイジングされてもよい。同様の方式で、コーヒーテーブルの画像は、焦点が外れて提示されてもよく、及び／またはＨＭＤ１０２が現実世界のユーザのビューを制限しなければ、コーヒーテーブルが他にユーザにとってどのように見えるかをシミュレートする焦点の深さで提示されてもよい。

特定の実施形態に続いて、ＲＷＯの一部または全ての挿入パラメータ（位置、サイズ、焦点、視点など）は、ユーザ１０１の位置、方位、凝視方向などにおける変化に応答して、リアルタイムで変化する。上記実施例に合わせると、ＲＷＯがＨＭＤ１０２のディスプレイの下側の右手周辺部分において最初に提示されるが、少ししてから、ユーザ１０１が頭を右に向ける場合、それに従って、挿入位置が左にマッピングされ得る。同様に、ＲＷＯが、凝視方向における変化に起因して周辺からユーザのビューの中心に近づくにつれて、ＲＷＯは、焦点が増加して提示されてもよい。

明確にするために図３には図示されないが、動作１６４は、追加のＲＷＯによりＶＲＳを漸進的に拡張し続けてもよい。この漸進的な拡張は、例えば、第１の基準が満たされなくなるまで（例えば、ユーザが方向感覚を回復されていない）、または別の実施例として、動作１６６が、第２の基準が満たされると判定するまで続けてもよい。

動作１６２の第１の基準と同様に、動作１６６の第２の基準はまた、ユーザの方向感覚の喪失の予め定められたインジケータに対応する。しかしながら、第２の基準と関連付けられた予め定められたインジケータは、第１の基準と同一でなくてもよい。例えば、第２の基準の予め定められたインジケータは、方向感覚の喪失を示唆するユーザの振る舞いにおける異なるパターンと関連付けられてもよい。別の実施形態では、第２の基準は、第１の基準とインジケータの一部を共有するが、基準を満たすのに適格なものについての異なる閾値を有してもよい。更なる実施形態では、第２の基準は、方向感覚を失ったユーザが第１の基準が満たされた後にどのように拡張ＶＲＳに応答するかに応じたインジケータに対応してもよい。更なる追加の実施形態では、第２の基準は、上記言及されたインジケータの組み合わせを含んでもよい。

動作１６６によって第２の基準が満たされると判定されると、ＶＲＳまたは拡張ＶＲＳから現実世界ビュー（ＲＷＶ）への切り替えが行われる。特定の実施形態では、ＲＷＶはＦＦＣ１０６によって提供される。ＲＷＶへの切り替えは、いくつかの方法において行われてもよい。例えば、一部の実施形態では、切り替えは高速であってもよい。他の実施形態では、切り替えは、ＲＷＶがフェードインする間にフェードアウトするＶＲＳと共に低速に行われてもよい。更なる他の実施形態では、切り替えは、ユーザによってカスタマイズ可能な方式において行われてもよい。

明確にするために図３には図示されないが、動作１６６は、動作１６２と並列して行われてもよい。したがって、第２の基準が満たされるとの判定は、必ずしも第１の基準が満たされるのと同一の条件ではない。一部の実施形態では、動作１６６は、第２の基準が動作１６２または１６４について考慮することなく満たされると判定してもよい。例えば、第１の基準及び第２の基準の両方が同一の瞬間に満たされると判定される場合、動作１６６は、一部の実施形態に従って制御する。特定の他の実施形態では、動作１６２が肯定的な判定を行い、ＶＲＳを拡張し始めるが、動作１６６もその時に肯定的な判定を行う場合、動作１６６は制御し、切り替えが拡張の代わりに行われてもよい。よって、それらの実施形態では、動作１６６は、動作１６２及び１６４よりも「優先」することができる。加えて、動作１６６は、一部の実施形態では、肯定的な判定が行われるとＶＲＳまたは拡張ＶＲＳを中断してもよい。

第１の基準及び第２の基準のいずれもがなおも満たされていないと判定される場合（例えば、ユーザが方向感覚を回復されている）、動作１６８は、拡張なしにＶＲＳを再開することを続行する。一部の実施形態に従って、動作１６８は、肯定的な判定が動作１６２または１６６によって行われたポイントよりも、ＶＲＳの時間経過内の前のポイントにおいてＶＲＳを再開してもよい。

図４は、図３の動作など（動作１６０〜１６８）、本発明に一貫した動作を実行することが可能なコンピュータ１１０内の特定の構成要素を例示する。特に、ＨＭＤ１０２からデータを受信するようにＤＤＬ１１６が示される。一部の実施形態では、ＤＤＬ１１６はまた、ユーザ履歴２０２、ユーザ設定２０４、及びＶＲＳコンテキストデータ２０６から入力を受信する。

一部の実施形態に従って、ユーザ履歴２０２は、特に、それが方向感覚の喪失に関連するので、ユーザ情報についての記憶として機能してもよい。例えば、ユーザ履歴２０２は、方向感覚の喪失のインスタンスに対応するＶＲＳのインスタンスのログを含んでもよい。更なる実施例として、ユーザ履歴は、ＤＤＬ１１６に、飛んでいることに関連するＶＲＳの存在において方向感覚の喪失の履歴をユーザが有することを示してもよい。更なる別の実施例として、ユーザ履歴は、ユーザが午後よりも遅い夕方に方向感覚を失う可能性がより高いことを示してもよい。

ユーザ設定２０４は、ＤＤＬ１１６と通信し、特定のユーザ及び方向感覚の喪失への対処に関連する情報を記憶する別の構成要素である。ユーザ設定のケースでは、方向感覚の喪失と関連付けられたパラメータは、ユーザによって設定及び制御されてもよい。例えば、特定の条件の下に乗り物に酔う傾向があるユーザは、ユーザ設定の下にそのように示してもよい。ユーザ履歴情報から、ＤＤＬ１１６は、例えば、それらの示された条件の下に乗り物酔いについてのその敏感性を上方に調節してもよい。一部の実施形態では、この増加した敏感性は、それらの示された条件と関連付けられた方向感覚の喪失の予め定められたインジケータについての閾値を低下させることによって実施されてもよい。

他の極端な例では、方向感覚の喪失について高い一般公差を有するユーザは同様に、ユーザ設定の下にそのように示してもよい。このケースにおけるＤＤＬ１１６は、一部または全てのパラメータにわたって方向感覚の喪失についての敏感性を下方に調節してもよい。敏感性を特定のインジケータに減少させることは、方向感覚の喪失についての予め定められたインジケータについての増加した閾値によって反映されるように、方向感覚の喪失についての予め定められたインジケータについての閾値の増加によって実施されてもよい。結果として、ユーザは、方向感覚の喪失の特定の分類及び強度を「プレイスルー」することが許可される場合がある。

本明細書で使用される「予め定められたインジケータ」が、このインジケータが変更されず、または恒久的であり、単にそれらが判定を行う際にＤＤＬ１１６によってそれらが使用されるそれらのインスタンスにおいて定義されまたは定義可能であることを暗示することを意味しないことに留意されるべきである。例えば、目眩と関連付けられた予め定められたインジケータは、３秒の間の閾値６０Ｈｚ（少なくとも３秒の間の毎秒６０の動き）を通じて、水平性眼振特性（無意識な目の動き）について目の動きを測定することをから構成され得る。ユーザ履歴２０２、ユーザデータ２０４、及びＶＲＳコンテキストデータ２０６に関する更なる情報が収集されるにつれて、目眩と関連付けられたこの予め定められたインジケータは、上記言及された測定可能なもののうちのいずれかに関して変化することがある。追加の実施形態は、ユーザ履歴２０２、ユーザ設定２０４、ＶＲＳコンテキストデータ２０６、ならびにユーザ及び／またはＶＲＳの状態に応じて、予め定められたインジケータを定期的にまたはリアルタイムで変更または更新させてもよい。更なる実施形態は、とりわけ、調査データ、科学的データ、収集ユーザデータ、及び機械学習データに基づいて、新たな予め定められたインジケータを完全に導入してもよい。

ＤＤＬ１１６は加えて、ＶＲＳコンテキストデータ２０６から入力を受信し、ＶＲＳコンテキストデータ２０６は、表示されており、または表示されることになる対応するＶＲＳのコンテキストに関するメタデータを提供する。特定の実施形態では、ＤＤＬ１１６は次いで、ユーザ履歴２０２及びユーザ設定２０４から取得されたデータに従ってパラメータを調節してもよい。例えば、ＤＤＬ１１６は、次のシーンが飛ぶことを伴うことを示すＶＲＳコンテキストデータ２０６に基づいて、飛行条件の下に乗り物酔いに掛けられたユーザについての方向感覚の喪失についての敏感性を微調整してもよい。

ＤＤＬ１１６は、センサデータに基づいて、第１及び／または第２の基準が満たされるかどうか、更にいずれかのユーザ履歴２０２、設定２０４、及びＶＲＳコンテキストデータ２０６について調節されるかどうかについての判定を行うことによって、ユーザの方向感覚の喪失を評価するように動作可能である。一実施形態では、ＤＤＬ１１６は、方向感覚の喪失のいくつかのカテゴリから検出及び区別することが可能である。例えば、目眩の兆候は、乗り物酔いの兆候または複視の兆候とは異なる場合がある。したがって、ＤＤＬ１１６は、方向感覚の喪失の特定の分類及び／または強度を解決するために、ユーザ履歴２０２、設定２０４、及びコンテキストデータ２０６に対して相互参照された、到着するデータを解読することが可能であり得る。

第１の基準が満たされるが、第２の基準が満たされない場合、方法は、第１の基準手順２０８に進む。第２の基準が満たされる場合、方法は、第２の基準手順２１４に進む。更に、基準のいずれかが満たされる場合、方法はまた、ＶＲＳコンテンツ修正器２２４に進む。

第１の基準手順２０８は、第１の基準が満たされたとの判定に続いて、現実世界オブジェクトを選択し、ＶＲＳに挿入する処理を実施する。例えば、第１の基準手順２０８の下、ＲＷＯ選択モジュール２１０は、ＦＦＣ１０６の視野内のどのＲＷＯがＶＲＳに拡張されることになるかを特定する。特定の実施形態では、モジュールの選択処理は、特定のオブジェクトが方向感覚の喪失のタイプ（複数可）及び／または程度（複数可）を軽減する際に有することが予測される有効性（または、予測される方向感覚回復有効性）に基づいている。この選択処理の実施形態は、図１２において更に詳細に説明される。

オブジェクトが選択されると、方法は、ＲＷＯ挿入ロジック２１２に進む。挿入ロジック２１２は、仮想現実ディスプレイ上で現実世界からの選択されたオブジェクトをマッピングすることに関与する。そのようにして、それは、前に議論されたように、ＲＷＯの位置、サイズ、焦点、及び視点のパラメータを考慮する。

第２の基準が満たされる場合、方法は、第２の基準手順２１４に進み、第２の基準手順２１４は、ＶＲＳ−ＲＷＶ切り替えロジック２１６、及び一部の実施形態では、現実世界音声挿入ロジック２２２を含む。切り替えロジック２１６は、ＶＲＳまたは拡張ＶＲＳからＲＷＶにどのように切り替えるかを判定する。一部の実施形態では、切り替えは高速に行われてもよく、他では低速に行われてもよい。代わりに、切り替えは、ＶＲＳとＲＷＶとの間に介入した中間遷移スクリーン、例えば、ブランクスクリーン、単語を有するスクリーン、または他に、方向感覚を失ったユーザをＶＲＳの外にすることを容易にすることが可能なスクリーンが伴ってもよい。一部の実施形態では、切り替える方式は加えて、ユーザ履歴２０２、設定２０４、及びＶＲＳコンテキスト情報２０６から取得されたデータに基づいてもよい。

現実世界音声挿入ロジック２２２は、ＶＲＳ−ＲＷＶ切り替えロジック２１６が開始すると、現実世界からＨＭＤ１０２のスピーカ１４２の音声出力に音声を挿入する。切り替えロジック２１６と同様に、現実世界音声挿入ロジック２２２は、音声出力をＨＭＤ１０２のディスプレイ出力と一致させることによって、ユーザをＶＲＳから現実世界経験に遷移させる。そのように行う際、ＨＭＤ１０２を完全に外すことなく方向感覚を回復する、より十分な機会をユーザに与え得る。

方法はまた、基準のいずれかが満たされる場合にＶＲＳコンテンツ修正器２２４に進み、そこでは、ＶＲＳは、第１の基準手順２０８または第２の基準手順２１４を達成するように修正されてもよい。一部の実施形態では、ＶＲＳコンテンツ修正器２２４は、中断−減速構成要素２２６及びバックアップ−再開構成要素２２８を含む。それらは、例えば、第１の基準が満たされ、それによって、ユーザがＶＲＳよりも方向感覚を回復することにより集中することができるとき、ＶＲＳを減速させることが可能である。一方で、第２の基準が満たされるとき、ＶＲＳが、構成要素２２６によって中断するように作成される。

ＶＲＳが減速し、中断するように作成されると、バックアップ−再開構成要素２２８は、ＶＲＳをいつ再開するか、及びＶＲＳをどのように再開するかを判定する。一部の実施形態では、ＶＲＳが特定の長さにおいて「巻き戻される」べきであると判定されてもよい。特定の他の実施形態では、ＶＲＳは、「巻き戻しする」ことなく単純に再開するように作成されてもよい。更なる実施形態では、ＶＲＳコンテンツ修正器は、減速したＶＲＳを再開してもよく、それによって、ユーザは、ＶＲＳに再順化するための期間が提供され、その期間の後、ＶＲＳは、減速または中断の前であったレートにおいて続行してもよい。

第１の基準手順２０８及び第２の基準手順２１４、ならびにＶＲＳコンテンツ修正器２２４の各々は、レンダリングモジュール２２０と通信し、レンダリングモジュール２２０は、ＨＭＤ１０２に提供されることになるコンテンツをレンダリングする。一部の実施形態では、レンダリングモジュール２２０は、１つ以上のＣＰＵ、ＧＰＵ、メモリ、及び音声ドライバを含んでもよい。コンテンツがレンダリングされると、完全ＶＲＳ、拡張ＶＲＳ、またはＲＷＶであるかに関わらず、レンダリングモジュール２２０は、ＨＭＤ１０２にレンダリングされたコンテンツを通信する。

図５Ａは、設定内に位置するユーザ１０１がＨＭＤ１０２を身に着けている現実世界設定２３０を示す。現実世界設定２３０は、コーヒーテーブル２３８、ラグ２４０、椅子２３６、ランプ２３４、ＴＶ２３２、及びパッケージ２４２を含む、オブジェクトのセットを含む。設定はまた、床２３７、遠心壁パネル２３３ａ、左壁パネル２３３ｂ、及び右壁パネル２３３ｃを含む、境界条件のセットを含むように示される。ユーザは、パッケージ２４２を除き、上記言及されたオブジェクト及び境界条件の全てを包含し得る「志望する」視野（図示せず）を有するように位置し、方向付けられる。ＨＭＤ１０２に取り付けられた前向きカメラ１０６は、同様の視野２３１を共有するように示される。

図５Ｂは、ＶＲＳがある時間点においてＨＭＤ１０２を身に着けているユーザ１０１にどのように見えるかの二次元表現である。ＶＲＳ２５０ａは、川２５６を下るボート２５８のうちの１つである。ボート２５８の下流は、ボートの左手側のキャラクタ２５４である。更なる下流は、ボートの右手側の家２５７である。

図５Ｃは、ＨＭＤ１０２を身に着けているユーザ１０１に見えるように、現実世界設定２３０の現実世界ビュー２５０ｂの二次元表現である。本実施形態では、ＦＦＣ１０６によってキャプチャされた現実世界ビュー２５０ｂは、パッケージ２４２を除き、上記言及された境界条件及びオブジェクトの全てを含む。

概して、ＲＷＶ２５０ｂは、ユーザの志望するビューにリアルタイムで動的に対応する。よって、ユーザが偶然頭を左方向に向ける場合、パッケージ２４２は、ＲＷＶに入る場合があり、コーヒーテーブル２３８及びラグ２４０は、ＲＷＶから出る場合がある（このビューは図示されない）。

ユーザの方向感覚の喪失を示す第１の基準が満たされる（第２の基準は満たされないが）と判定される場合、コンピュータのＤＤＬ１１６は、第１の基準手順２０８を実施することを続行してもよい。一部の実施形態では、これは、ＲＷＯ選択モジュール２１０によって第１の現実世界オブジェクトを選択及び挿入することを伴う。結果として、ＶＲＳ２５０ａは、拡張ＶＲＳ２５０ｃになり、拡張ＶＲＳ２５０ｃは、コーヒーテーブル２３８及びラグ２４０の重ね合わされた画像を除き、ＶＲＳ２５０ａと同様である。加えて、ＶＲＳは、時間内に進展し続けており、近づいているキャラクタ２５４によって明確にされる。

この特定の実施形態では、コーヒーテーブル２３８及びラグ２４０が単一の統一されたオブジェクトとして共に選択及び挿入されているのに対し、現実世界内では、それらは、別個として感知されてもよいことに留意されるべきである。他の実施形態では、２つのオブジェクトが別々に挿入されてもよく、本図面は、ＲＷＯ選択モジュール２１０の重要な態様を明確に示す。

本実施形態では、ＲＷＯ選択モジュール２１０は、ＤＤＬ１１６によって判定されるような方向感覚の喪失の特定のカテゴリまたは分類、例えば、接地の感覚の喪失または「船に慣れる」ことの発症に反対に作用するように構成される。ビュー内のオブジェクトのセットについて、ＲＷＯ選択モジュール２１０は、２つのオブジェクトの組み合わせが、それらのいずれか１つの単独よりも高い有効性を与え得ると判定してもよい。結果として、選択モジュール２１０は、１つとして挿入されることになる２つの撮像されたオブジェクトを確立してもよい。これが当てはまり得るように、この実施形態における選択モジュール２１０は、接地についての参照のフレーム（例えば、ｚ軸）を提供する間、ラグ２４０がｘ及びｙ軸について同一に行うことが不適切である場合があると判定することが可能である。また、コーヒーテーブル２３８単独に逆が当てはまると判定されてもよい。よって、２つは、挿入されることになる単一のオブジェクトとして融合及び取り扱われてもよい。特定の他の実施形態では、３つ以上の個々のオブジェクトまたは境界条件は、ＲＷＯ選択モジュール２１０によって、共に挿入されるように集約されてもよい。更なる実施形態では、オブジェクトは、集約なしに個々に挿入されてもよい。

ラグ２４０は、前の実施例では、接地要素とも称されてもよい。一部の実施形態に従って、接地要素は、現実世界オブジェクトが伴うときに、高められたオブジェクト認識、空間認識、及び／またはユーザに対する判断の信頼性を提供する、重要なオブジェクト、境界条件、またはそれらの一部である。

また、家２５７は、拡張ＶＲＳ２５０ｃの本実施形態ではビューから曖昧にされることに留意されるべきである。特定の他の実施形態では、家２５７は、何らかのレベルの可視性を保持し得る。

一部の実施形態に従って、何らかの期間の後、第１の基準がなおも満たされている（第２の基準は満たされないが）と更に判定される場合、追加のオブジェクトが拡張ＶＲＳ２５０ｃに挿入されて、図５Ｅの拡張ＶＲＳ２５０ｄになってもよい。本実施形態において挿入されるオブジェクトは、椅子２３６である。椅子に付随するのは、接地要素２３７ａであり、接地要素２３７ａは、一部の実施形態に従って、ＲＷＯ選択モジュール２１０及びＲＷＯ挿入ロジック２１２によって椅子２３６の画像に付加される。集約されるコーヒーテーブル２３８及びラグ２４０の挿入と同様に、選択モジュール２１０及び挿入ロジック２１２は、椅子２３６が接地要素２３７ａと共に挿入されるときにより有効であると判定してもよい。それらの実施形態では、接地要素２３７ａは、ユーザ１０１に、椅子２３６単独よりも高い接地の感覚及び空間認識をもたらし得る。

前に議論されたように、第１の基準手順２０８は、第１の基準の否定的な判定または第２の基準の肯定的な判定がされるまで、追加のＲＷＯによりＶＲＳを漸進的に拡張し続ける。図５Ｆは、更なる拡張ＶＲＳ２５０ｅの実施形態であり、そこでは、ランプ２３４が選択及び挿入されている。コーヒーテーブル２３８及び椅子２３６と同様に、ランプ２３４は、接地と共に挿入される。しかしながら、ランプ２３４のケースでは、２つの接地要素、遠心壁パネル接地要素２３５及び地面接地要素２３９がランプ２３４の画像に付加される。特定の実施形態では、複数の境界条件にオブジェクトを接地させることは、ランプ２３４単独、または単一の接地要素を有するランプ２３４単独のいずれかよりも潜在的に高い接地の感覚及び空間認識をもたらし得る。

特定の実施形態に従って、オブジェクトが接地されるべき程度の判定は、より高い程度の接地をもたらすこととＶＲＳに干渉することとの間のトレードオフの分析を含む。例えば、それは、追加の接地がユーザをより高い程度で接地させることを支援し得る一方で、そのような追加の接地が、表示されているＶＲＳまたは拡張ＶＲＳに干渉することも発生する場合があるケースであり得る。よって、ＲＷＳ選択モジュール２１０及び挿入ロジック２１２は、特定の実施形態では、このトレードオフを考慮してもよく、それに従って接地の程度及びタイプを判定してもよい。ランプ２３４のケースでは、例えば、接地要素２３５及び２３９は、それがＶＲＳとの干渉が同時に発生することよりも接地の効果が上回ると判定されていてもよい。一方で、接地要素２３５または２３９が、それらが接地をもたらすよりも高い程度でＶＲＳまたは拡張ＶＲＳに干渉すると判定される場合、この接地要素２３５及び２３９は省略されてもよい。

特定の他の実施形態では、ＤＤＬ１１６は、検出された方向感覚の喪失の分類及び強度に基づいて、ＲＷＯ選択モジュール２１０がＶＲＳを拡張するために現実世界ビュー２５０ｂの四半部全体を挿入するべきであると決定してもよい。オブジェクトの挿入のこの方法の結果は、「分割スクリーン」ディスプレイであってもよい。図５Ｇ及び５Ｈは、この形式で拡張されたＶＲＳを示す。分割スクリーン拡張ＶＲＳ２５０ｆ及び２５０ｇは、スクリーンが分割される方法のみにおいて異なる。例えば、拡張ＶＲＳ２５０ｆは、水平分割スクリーン拡張ＶＲＳへのトップダウンのフェードインであり、２５０ｇは、拡張された水平分割スクリーン拡張へのボトムアップのフェードインである。方向感覚の喪失のユーザの状態、ユーザ履歴２０２、ユーザ設定２０４、及びコンテキスト情報２０６についてＤＤＬ１１６によって提供される情報を含むいくつかの因子に応じて、第１の基準手順２０８（例えば、ＤＤＬ１１６、ＲＷＯ選択モジュール２１０、及び挿入ロジック２１２）は、２つのうちのどれを実施するかを判定する。

図７Ａ及び７Ｂは、垂直分割スクリーン拡張ＶＲＳへの右から左へのフェードイン２５０ｈ及び左から右へのフェードイン２５０ｉをそれぞれ示す。再度、第１の基準手順は、分割スクリーン拡張ＶＲＳのどれが実施されることになるかを判定する。図示されないが、現実世界コンテンツによりＶＲＳを拡張するいくつかの追加の方法が存在する。当業者は、ＶＲＳを拡張するそれらの追加の方法が本発明の精神及び範囲から逸脱しないことを認識するであろう。例えば、図５Ｅ、５Ｆ、７Ａ、及び７Ｂは、ほぼ等しく分割された分割スクリーン拡張ＶＲＳを示すが、分割は、更に多くのＶＲＳ及び少ないＲＷＶを含んでもよく、逆も同様である。本発明の更なる実施形態は、分割の異なる形状、例えば、角分割、斜め分割、非線形分割などを含んでもよい。

図６は、拡張ＶＲＳ２５２を提示されているユーザ１０１の第３者の視点である。拡張ＶＲＳ２５２は、キャラクタ２７２、扉２７０、ＲＷＯのコーヒーテーブル２３８、及びラグ２４０を含むように示される。ユーザ１０１は、コントローラ１０３ａを保持している間の、波線２９０、２９２、２９４、及び２９６によって示されるように、動きのいくつかの異常パターンを見せるように示される。ＨＭＤ１０２上のセンサ、及び他に、仮想現実インタラクティブ空間内のセンサは、第１の基準が満たされるとコンピュータ１１０が判定すると、それらの異常パターンをキャプチャする。ＦＦＣ１０６は、コーヒーテーブル２３８及びラグ２４０の画像をキャプチャし、それらは次いで、コンピュータ１１０によって仮想現実シーンに選択及び挿入される。結果は、現実世界オブジェクトの画像がＶＲＳ上で重ね合わされる拡張ＶＲＳ２５２である。

特定の他の実施形態では、コンピュータ１１０は、加えて、オブジェクトに衝突することまたはオブジェクト上で躓くことなど、潜在的な現実世界の危険をユーザに警告するために、拡張ＶＲＳを提示してもよい。例えば、ユーザ１０１がＶＲＳの過程の間にコーヒーテーブル２３８に接近して入り込むことになった場合、コンピュータ１１０は、仮想現実インタラクティブ空間内のＨＭＤ−ＦＣ１０８、ＦＦＣ１０６、または追加のカメラを介して躓く潜在的な危険を予測することが可能であり得る。一部の実施形態に従って、コンピュータ１１０は、ユーザに対する現実世界内のその位置に対応する位置に、ＶＲＳに危険なオブジェクトの画像を挿入することによって、ユーザ１０１を警告するように構成される。例えば、コーヒーテーブル２３８がユーザの「２時」になるように発生する場合、コーヒーテーブル２３８の画像は、ビューの中心線から６０度でＶＲＳディスプレイ１４０上に重ね合わされてもよい。

特定の実施形態では、危険なオブジェクトは、それらが現実世界内にあるよりも近くに見えるように挿入されてもよい。他の実施形態では、危険なオブジェクトは、車のサイドミラーと同様に、それらが実際にあるよりも遠くに見えるように重ね合わされてもよい。更なる実施形態では、危険なオブジェクトは、それが実際に現実世界にあるのと同程度に遠くまたは近くに見えるように提示されてもよい。

本質的にユーザの方向感覚の喪失がない拡張ＶＲＳの更なる実施形態は、ユーザによって制御されるように「要望に応じた」拡張を含んでもよい。例えば、ユーザは、ＴＶ上でプレイするスポーツゲームのスコアに興味があることがある。ＨＭＤ１０２を取り除くことによってＶＲＳから完全に離れる代わりに、ユーザは、ＶＲＳを少しの間に拡張するようにコンピュータに指示することができる。一部の実施形態では、これは、発声制御、例えば、「３秒の間ＴＶを見せてください」を介して行われてもよい。他の実施形態では、命令は、物理ボタンを介してなど、要望に応じてＶＲＳを拡張するように動作可能なコントローラを通じて行われてもよい。更なる実施形態では、ユーザは、見ることを望んでいる方向に指さすことによって何が拡張されることになるかをコンピュータに指示することが可能である。

図８は、現実世界コンテンツによりＶＲＳをどのように拡張するかを判定する方法の実施形態を示すフローチャートである。最初に、ＶＲＳは、４０２においてＨＭＤ１０２上で表示される。ＶＲＳが表示されている間、動作４０４、４０６、及び４０８はそれぞれ、ＨＭＤ１０２からセンサデータを取得し、ユーザ履歴２０２、ユーザ設定２０４、及びＶＲＳコンテキスト情報２０６を取得する。ステップ４１２において、第１の基準が満たされるかどうかについての決定が行われる。「いいえ」である場合、方法は、４０２に循環して戻る。「はい」との判定が行われる場合、方法は、動作４１４に進み、動作４１４は、ＶＲＳにＲＷＯを挿入する。特定の実施形態に従って、ＲＷＯは、ＶＲＳ上で部分的にオーバレイされてもよい。特定の他の実施形態では、部分的現実世界ビューは、動作４１４においてＶＲＳ上でオーバレイされてもよい。ＶＲＳのコンテキスト及びＲＷＯがＶＲＳに干渉する程度に応じて、動作４１６は、それに従って拡張ＶＲＳを減速させてもよい。

方法は次いで、決定４１８に進み、決定４１８は、第２の基準が満たされるかどうかを判定する。「いいえ」である場合、方法は、動作４０２に循環して戻り、そこでは、第１の基準が満たされ続ける場合に追加のＲＷＯが挿入されてもよい。一方で、回答が「はい」である場合、方法は、動作４２０に進み、動作４２０は、ＶＲＳから現実世界ビューに切り替える。ＶＲＳは続いて、切り替えが行われると、動作４２２において中断される。方法は次いで、動作４２４に進み、動作４２４は、必要に応じてＶＲＳを修正する。修正は、より前の時間点にＶＲＳを「巻き戻す」ことを含んでもよい。示される実施形態に従って、方法は、ＶＲＳが表示されている間に方法を繰り返し続ける。

このフローチャートにおける様々な動作が順次提示及び説明されるが、当業者は、動作の一部または全てが異なる順序で実行されてもよく、組み合わされてもよく、もしくは省略されてもよく、または並列して実行されてもよいことを認識するであろうことに留意されるべきである。例えば、前に議論されたように、方法は、決定４１２において「はい」の判定を最初に取得する必要なしに、決定４１８に進んでもよい。

図９は、図３において説明されたのと同様の拡張ＶＲＳ方法の実施形態である。例示を目的に、第１の基準が満たされなくなるまで、更新されたセンサデータを取得し、追加のＲＷＯによりＶＲＳを漸進的に拡張する動作４３０及び４３２が規定される。図９によって示される実施形態は、ユーザ応答に基づいてＶＲＳを拡張する漸進的な性質を明確に示す。

同様に、図１０はまた、ＲＷＯ選択処理を強調する、ＶＲＳを拡張する方法の追加の実施形態である。動作４４４は、ユーザの方向感覚の喪失のカテゴリ及び強度を識別する役割を果たす。この実施形態では、ユーザの方向感覚の喪失の様々な分類が差別化及び定量化される。例えば、特定の実施形態は、重力の感覚の喪失から、複視から、目眩のユーザ兆候を区別し得る。また、方向感覚の喪失の３つのカテゴリのうち、目眩成分のみが深刻であり、複視及び重力の感覚の喪失が軽度及び適度それぞれであると判定されると見出し得る。

方法は次いで、動作４４６に進み、そこでは、ユーザ履歴２０２及びユーザ設定２０４が取得され、方法は更に、動作４４８に進み、そこでは、方法がＲＷＯを検出し、同一の特定の空間特性を判定する。例えば、方法は、３つのオブジェクトの合計を検出してもよく、第１のオブジェクトが静止しておらず、第２のオブジェクトが部分的に隠され、非常に遠くであり、第３のオブジェクトが動いておらず、完全に見えており、それほど遠くなく、接地され、３次元の深さを有すると判定してもよい。

動作４４８から、方法は、動作４５０に進み、動作４５０は、動作４４４において識別された分類及び強度に対して方向感覚の喪失を軽減する際に各々の検出されたオブジェクトの推測される有効性、ならびに動作４４６において取得されるユーザデータ（例えば、ユーザ履歴２０２、ユーザ設定２０４）を判定する。推測される有効性はまた、予測される方向感覚の回復有効性として知られてもよい。例えば、動作４５０は、３つの検出されたオブジェクトのうち、第３のオブジェクトが方向感覚の喪失のユーザの特定の状態に対し、第１または第２のオブジェクトの有効性よりも高い予測される方向感覚の回復有効性（ＥＲＥ）を有すると判定してもよい。動作４５０は更に、第１のオブジェクトが、第３のオブジェクトよりも低いＥＲＥを有するが、第２のオブジェクトよりも高いＥＲＥを有すると判定してもよい。例えば、動作４５０によって、第１のオブジェクトが複視に反対に作用することにおいてより有効であり、第２のオブジェクトが重力の感覚の喪失に反対に作用することにおいてより有効であると判定されてもよい。動作４４４によって提供されるユーザの方向感覚の喪失の検出されたプロファイルのせいで、動作４５２は、よって、その挿入シーケンスまたは順序について第３のオブジェクトよりも第１のオブジェクトを選択してもよい。ユーザが複視よりもより高い程度の重力の感覚の喪失を明確に示すケースである場合、次いで、動作４５２は、シーケンス内で３つのオブジェクトを異なって命令してもよい。

動作４５０が、どのオブジェクトがＶＲＳに拡張されることになり、どの順序でオブジェクトがＶＲＳに拡張されることになるかを判定すると、動作４５４は、挿入処理を実行することを続行する。現在の実施例では、第３のオブジェクトは、ＲＷＳに最初に挿入される。よって、動作４５４は、図４のＲＷＯ挿入ロジック２１２の構成要素によってインスタンス化されてもよい。更新されたセンサデータはその後、例えば、ユーザが１オブジェクト拡張ＶＲＳにどのように応答したかを判定するために、動作４５６において取得される。例えば、動作４５６が、第１の基準がなおも満たされていると判定する場合、第２の選択されたオブジェクトは更に、動作４５８によって、１オブジェクト拡張ＶＲＳに拡張されて、２オブジェクト拡張ＶＲＳになる。同一の実施例に続いて、第２のオブジェクトは次いで、動作４５８を介してＶＲＳに挿入されてもよい。

また更に、動作４５８は、第１の基準が満たされなくなる（または、第２の基準が満たされる）まで、追加のオブジェクトによりＶＲＳを漸進的に拡張し続ける。動作４５８によって判定されるように、第１の基準が満たされなくなるケースの場合、方法は、動作４６０に進み、そこでは、ＶＲＳが再開される。本実施形態の特定の特徴は、明確にするために意図的に省略されている。例えば、動作４５８はまた、前に議論されたように、第２の基準が満たされると別々に判定される場合、ＶＲＳの拡張を停止するように構成されてもよい。

図１１Ａは、ＶＲＳ拡張動作とユーザがＨＭＤ１０２のディスプレイを介して提示されるであろうものとの間の関係を示す図である。仮想現実シーンストリーム５０２は、ブロックまたはセグメントのシーケンスＳ１〜Ｓ１６から構成されることになるように示される。各々のセグメントは、ストリーム内のＶＲＳコンテンツの任意に定義されたストレッチを表す。同一のことが、ＨＭＤディスプレイストリーム５０４及び現実世界ビューストリーム５０６に当てはまる。矢印５３２は、ＶＲＳストリーム５０２がＨＭＤストリーム５０４を供給していることを示す。ＨＭＤディスプレイストリーム５０４がＶＲＳストリーム５０２またはＲＷＶストリーム５０６から構成される程度は、いずれか１つが各々のブロックまたはセグメント内で占有するエリアに比例し、グレーの印影パターンは、ＶＲＳストリーム５０２、及び満たされていないパターン、ＲＷＶストリーム５０６を表す。

したがって、ＨＭＤセグメントＤ１〜Ｄ４は、ＶＲＳストリーム５０２のコンテンツＤ１〜Ｄ４によって完全に構成されるように示される。例えば、セグメントＤ３（５１８）は、Ｓ３と同一のコンテンツを有するように示される。セグメント５１８がユーザ１０１にどのように見えるかは、ボート５０７、キャラクタ５０３、家５０５、及び川５０９を含むスナップショット５０１ａによって表される。

本実施形態では、ＨＭＤディスプレイストリーム５０４は、第１の基準がセグメントＤ４とＤ５との間で満たされると５０８、ＶＲＳストリーム５０２のみから構成されることを中止する。セグメントＤ５は、ＶＲＳ５０２及びＲＷＶストリーム５０６の両方から構成されるように示され、ＲＷＶストリーム５０６は、セグメントを陰影パターン５２０ａ及び満たされていないパターン５２０ｂのサブセグメントに区分化することによって表される。サブセグメント５２０ｂは、処理５１０、第１のＲＷＯの挿入の結果を表す。セグメントＤ５の残り、５２０ａは、残りのＶＲＳストリーム５０２を表す。Ｄ５の対応するスナップショットが５２０ａに示される。第１のＲＷＯは、スナップショット５０１ｆに対応するＲＷＶセグメントＲ５からキャプチャされる。明確にするために、現実世界ビューは、ストリームの過程を通じて変わらないままであると想定される。

スナップショット５０１ｂは、コーヒーテーブル５１１及びラグ５１３の重ね合わされた画像を除き、前のスナップショット５０１ａと同様である。特に、シーン５０１ｂの家５０５は、５０５ａにおいてなおも部分的に可視的である。前に議論されたように、セグメント５２０のこのケースにおいて、挿入されるＲＷＯが他に隠すものについての可視性の程度を維持することを含む、ＶＲＳ上にＲＷＯを重ね合わせるいくつかの方法が存在する。

セグメントＤ５〜Ｄ１０の過程を通じて、スナップショット５０１ｃ及び５０１ｄのそれぞれによって示される、第２のＲＷＯ５１２及び第３のＲＷＯ５１４がＨＭＤディスプレイストリーム５０４に漸進的に拡張されることが示される。特に、スナップショット５０１ｃは、椅子５１５及び接地要素５１７の両方になるように第２のＲＷＯを記す。

現在の実施形態では、これは、漸進的により大きく比例した満たされないサブセグメントによって表される。例えば、ＨＭＤディスプレイセグメントＤ９では、２つの追加のＲＷＯは、挿入されることになるように示される。対応するスナップショット５０１ｃは、ＶＲＳストリーム５０２のセグメントＤ９上に重ね合わされた３つのＲＷＯの合計を記す。また、明確にするために、ＶＲＳセグメントＳ１〜Ｓ１６は、ストリームの過程を通じて変わっていないと見なされる。

本実施例では、５１６において、第１の基準が満たされなくなると判定される。この判定に続くセグメントＤ１１は、前のシーンＤ１０と同様の区分化を有するように示される。しかしながら、Ｄ１０において前に満たされないサブセグメントであったものは、Ｄ１１において、現在、部分的に陰影されたサブセグメント５３０である。よって、サブセグメント５３０は、拡張ＶＲＳと非拡張ＶＲＳとの間の遷移状態を表す。対応するスナップショット５０１ｅは、セグメントＤ１１がユーザにどのように見えるかを例示する。特に、キャラクタ５０３及び家５０５などのＶＲＳコンテンツは、ＲＷＯ５１５ａ、５２３、５１１ａ（付随する接地要素と共に）がビューからフェードアウトされている間にビューに再度戻されている。まさに次のセグメントＤ１２は、ＶＲＳストリームに再度遷移することが完了したことを表す、拡張されていないように示される。

図１１Ｂは、図１１Ａと同様に、３つの後続のＲＷＯがＲＷＶ５５６からＨＭＤディスプレイストリーム５５４に挿入されることにより満たされている第１の基準を示す。しかしながら、特に、第２の基準が満たされるとの判定５６６は、セグメントＤ１０の後に行われる。判定５６６に続くのは、ＶＲＳコンテンツ５７２の中断またはバックアップを含む。本実施形態では、中断／バックアップ５７２は、セグメントＳ４にＶＲＳストリームを巻き戻し、中断する。特定の他の実施形態では、中断／バックアップ５７２は、他の実施形態よりも遠くに再度巻き戻してもよい。本実施例では、中断／バックアップ５７２は、第１の基準が満たされる５５８ポイントの直前に発生するＶＲＳセグメントにマッピングする。これは、ユーザが、方向感覚の喪失の明らかな発症が検出される前のポイントにおいてＶＲＳストリーム５５２を再開することを可能にし得る。

第２の基準が満たされる判定５６６に続いて、セグメントＤ１１についてのＲＷＶストリーム５５６への切り替えがある。Ｄ１１は、ＲＷＯ５８５を維持するが、ＶＲＳ５８４の残りをフェードアウトさせ始める。対応するスナップショット５５１ｃは、完全な可視性、ならびにＴＶ５２１及び３つの境界条件を含む、現実世界ビューの残りのフェードインと共に、ＲＷＯ５１５、５２３、５１１、及び不随する接地要素（５１７、５１９、及び５１３それぞれ）を有するように示される。一方、川５０９及びボート５０７を含むＶＲＳコンテンツの残りはフェードアウトされる。

現在の実施形態では、セグメントＤ１２は、スナップショット５５１ｅに示されるような完全ＲＷＶを含む。本実施形態では、ＲＷＶは、第２の基準が満たされなくなると判定されると５７０、Ｄ１３まで続ける。Ｄ１４は、部分的に陰影で埋められた部分のみによって表されるＶＲＳへの再度の遷移状態である。特に、再度遷移されているＶＲＳセグメントは、中断／バックアップ５７２によって選択されたセグメントである。現在の実施例では、Ｄ１４は、再開５７４によってＳ４において再開される。スナップショット５５１ｄは、ＲＷＶがフェードアウトされている間にフェードインしているＶＲＳコンテンツを有するように示される。Ｄ１５は、セグメントＳ５の非拡張ＶＲＳである。明確に示されないが、当業者が提供される実施例から容易に認識するいくつかの代替的な実施形態が存在する。

ユーザ１０１は、ＤＤＬ１１６によって検出されるような方向感覚の喪失を経験したＶＲＳのクリップを他と共有することを望む場合がある。特定の実施形態では、これは、第１または第２の判定が行われることに応答して、ＶＲＳの部分を保存し得るコンピュータ１１０によって可能とされる。ＶＲＳのこの部分は次いで、メモリデバイス、ネットワーク化デバイス、またはインターネットを通じて共有可能にされてもよい。

図１２は、選択処理６００がＲＷＯ選択モジュール２１０によってどのように実行されるかの一実施形態を示す。本実施形態では、現実世界オブジェクトＯ１〜Ｏｎ ６０２は、それらの物理特性Ｃ１〜Ｃｎについて検出され、その後分析される。物理特性６０４は、多くのもののなかで、ユーザからの距離、オブジェクトのサイズ、オブジェクトの明度／輝度、境界条件に対するオブジェクトの接地、ユーザに対するオブジェクトの深さ、オブジェクトの静止性、色、コントラスト、水平度、形状、反射性、テクスチャ、可視性、他のオブジェクトへのオブジェクトの接続性、オブジェクトの影効果、他のオブジェクトのセット内のオブジェクトの特異性、オブジェクトの鮮明さなど、空間及び視覚パラメータを含んでもよい。

物理特性は、分析されると、各々の検出されたオブジェクトに有効性ラベルＥ１〜Ｅｎ ６０８を提供する。本実施形態では、有効性ラベル付けオブジェクト６０６は、方向感覚の喪失Ｄ１〜Ｄｍ ６１０の個々の分類に反対に作用する際に（例えば、ユーザの方向感覚を回復する）特定のオブジェクトがどの程度有効であると予測されるかの手段である。有効性ラベル６０８自体は、予測される方向感覚回復有効性（ＥＲＥ）とは異なってもよい。例えば、特定のオブジェクトについての有効性ラベル６０８は、そのオブジェクトの物理特性６０４に主に基づいている。特定のオブジェクトのＥＲＥは、そのオブジェクトの有効性ラベルに基づいているが、方向感覚の喪失の特定の状態及び／またはユーザ及びコンテキストデータを考慮して更に判定される。

前に議論されたように、人間の方向感覚の喪失は、いくつかの形式のうちの１つ以上の形式があり得る。仮想現実と関連付けられた方向感覚の喪失の共通する分類は、とりわけ、重力の感覚の喪失（無重力）、バランスの感覚の喪失（無平衡感覚）、体の部分の別の部分に対する相対位置（固有受容）、場所、方位と共に、目眩（そうでないときにオブジェクトが動いているように感じる）、自覚的な目眩（動きが発生していないときに体が動いているように感じる）、船酔い、ぼやけた視覚、複視（複像）、生活への不安を含む。それらの実施例は、方向感覚の喪失の理解された分類及びあまり理解されていない分類の包括的または正式なリストであることを意味していない。それらの実施例は、それらの分類が良好に定義された境界を有し、または相互に排他的であることを暗に示すことを意味していない。

それにも関わらず、特定の実装態様に従って、オブジェクト及び境界条件の特定の視覚及び空間特性は、他よりも方向感覚の喪失の特定の状態について高い有効性を有すると認識される。例えば、それは、遠心壁パネルが自覚的な目眩に対してより有効であり、無平衡感覚については何ら有効でないケースであってもよい。また、それは、地面の境界条件が無平衡感覚及び無重力の感覚に対して有効であるが、目眩、船酔い、または複視については有効でないケースであってもよい。方向感覚の喪失の様々な分類に対する特定のオブジェクトの有効性の程度は、その有効性ラベルによってキャプチャされる。有効性ラベルが定量化されてもよいが、明確にするために、それらは、二値、例えば、「有効」に対して「１」及び「有効でない」に対して「０」で示されている。オブジェクトＯ１〜Ｏｎについての有効性ラベルは、ベクトル６２４によって示される。

更に、本実施形態はまた、方向感覚の喪失６１０の各々の検出された分類の強度を測定してもよい。例えば、それは、ＤＤＬ１１６によって、Ｄ１、Ｄ２、Ｄ３、及びＤｍがそれぞれ１０、０、５、及び２であると検出されてもよく、Ｄ１が目眩を表し、Ｄ２が無重力を表し、Ｄ３がバランスの感覚の喪失を表し、Ｄｍが複視を表してもよい。明確にするために、各々の分類に割り当てられた値は、強度と積極的に相関付ける任意の単位で与えられる。また、本実施形態では、ユーザデータＵ１〜Ｕｍ ６１２は、ユーザ設定２０４及び履歴２０２の「空間」から「方向感覚の喪失の強度空間」にマッピングされる。例えば、ユーザが目眩についての低い許容度を明確に示したが、無重力の感覚について高い許容度を明確に示した場合、Ｕ１は、７の値が割り当てられ、Ｕ２は、２の値が割り当てられ得る。任意の単位にもあるそれらの値は、敏感性と積極的に相関付ける。測定及び／またはマッピングされるようなパラメータＤ１〜Ｄｍ及びＵ１〜Ｕｍは、ベクトル６１４によって示される。

提供される実施例では、オブジェクトＯ１〜Ｏｎ及びそれらの有効性ラベル６２２は、ユーザの方向感覚の喪失の検出された分類及び強度、ならびにユーザデータ６１４と比較される。この実施例では、有効性推定器６１６は、ユーザの状態に対する各々のオブジェクトの予測される方向感覚回復有効性を計算するようにこの情報を処理する。例えば、有効性推定器６１６は、Ｄ_１及びＵ_１に対して有効であるオブジェクトＯ３が、最も高い予測される方向感覚回復有効性を有すると判定してもよい。結果として、ＲＷＯ選択モジュール２１０は、この実施形態に従って、オブジェクトＯ３ ６２０を選択してもよい。

更なる実施形態では、ＲＷＯ選択モジュール２１０は、それらの予測される方向感覚回復有効性に基づいて、オブジェクトの順序またはランクを判定してもよい。この実施形態では、有効性推定器６１６は、Ｏ３、Ｏ４、Ｏ２、Ｏ５、Ｏ１などとなるようにオブジェクトＯ１〜Ｏｎのランクを生成してもよい。前に説明された挿入ロジック２１２は次いで、ＲＷＯ選択モジュール２１０の有効性推定器６１６によって提供されたランクに基づいて、追加のオブジェクトによりＶＲＳを漸進的に拡張してもよい。

図１３は、本発明の目的のために使用してもよいＨＭＤ１０２の追加の実施形態を例示する。ＨＭＤ１０２は、プロセッサ８０４、バッテリ８０６、仮想現実ジェネレータ８０８、ボタン、センサ、スイッチ８１０、サウンドローカリゼーション８１２、ディスプレイ８１４、及びメモリ８１６などのハードウェアを含む。ＨＭＤ１０２はまた、磁気計８１８、加速度計８２０、ジャイロスコープ８２２、ＧＰＳ８２４、及びコンパス８２６を含む位置モジュール８２８を含むように示される。ＨＭＤ１０２に更に含まれるのは、スピーカ８３０、マイクロフォン８３２、ＬＥＤ８３４、視覚認識のためのオブジェクト／オブジェクト（複数可）８３６、ＩＲライト８３８、前方カメラ８４０、後方カメラ８４２、凝視追跡カメラ／カメラ（複数可）８４４、ＵＳＢ８４６、永続的記憶装置８４８、振動−触覚フィードバック８５０、通信リンク８５２、ＷｉＦｉ８５４、超音波通信８５６、及びＢｌｕｅｔｏｏｔｈ（登録商標）８５８である。

方法の動作が特定の順序で説明されたが、ＶＲＳ動作を変更する処理が所望の方法で実行される限り、他の維持動作が動作の間に実行されてもよく、動作が僅かに異なる時にそれらが実行されるように調節されてもよく、または動作が、処理と関連付けられた様々な間隔において処理動作の発生を可能にするシステムで分散されてもよいことを理解されるべきである。

「ＳＷＩＴＣＨＩＮＧ ＭＯＤＥ ＯＦ ＯＰＥＲＡＴＩＯＮ ＩＮ Ａ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ」と題する、２０１４年３月１２日に出願された同時に係属している米国特許出願第１４／２０６，２１９号の全体的な開示が、参照によって以下で完全に組み込まれる。「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＴＲＡＣＫＩＮＧ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ（ＨＭＤ ＡＮＤ ＣＡＬＩＢＲＴＡＴＩＯＮＳ ＦＯＲ ＨＭＤ ＨＥＡＤＢＡＮＤ ＡＤＪＵＳＴＭＥＮＴＳ）」と題する、２０１４年３月１３日に出願された同時に係属している米国特許出願第１４／６５８，１２３号の全体的な開示が、参照によって以下で完全に組み込まれる。「ＭＯＴＩＯＮ ＳＩＣＫＮＥＳＳ ＭＯＮＩＴＯＲＩＮＧ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮ ＯＦ ＳＵＰＰＬＥＭＥＮＴＡＬ ＳＯＵＮＤ ＴＯ ＣＯＵＮＴＥＲＡＣＴ ＳＩＣＫＮＥＳＳ」と題する、２０１５年２月５日に出願された同時に係属している米国特許出願第１４／６１５，１１５号の全体的な開示が、参照によって以下で完全に組み込まれる。「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＴＲＡＣＫＩＮＧ ＨＥＡＤ ＭＯＵＮＴＥＤ ＤＩＳＰＬＡＹ（ＨＭＤ ＡＮＤ ＣＡＬＩＢＲＡＴＩＯＮＳ ＦＯＲ ＨＭＤ ＨＥＡＤＢＡＮＤ ＡＤＪＵＳＴＭＥＮＴＳ）」と題する、２０１４年３月１３日に出願された同時に係属している米国特許出願第１４／６５８，１２３号の全体的な開示が、参照によって以下で完全に組み込まれる。

１つ以上の実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コードとして製造されることができる。コンピュータ可読媒体は、データを記憶することができるいずれかのデータ記憶装置であり、データは、コンピュータシステムによってその後読み込まれることができる。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワークアッタチドストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに他の光学及び非光学データ記憶装置を含む。コンピュータ可読媒体は、ネットワーク接続されたコンピュータシステムを通じて分散されたコンピュータ可読有形媒体を含むことができ、それによって、コンピュータ可読コードが分散形式で記憶及び実行される。

上記実施形態が理解を明確にすることを目的にある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正が実施されることができることが明らかである。したがって、本実施形態は、例示的であり、非限定的であると見なされることになり、実施形態は、本明細書で与えられた詳細に限定されないが、添付の特許請求の範囲及びその同等物内で修正されてもよい。

Claims (15)

1. ヘッドマウントディスプレイ（ＨＭＤ）内に表示された仮想現実シーンの変更方法であって、
   前記ＨＭＤ上のセンサからセンサデータを取得し、前記センサは、慣性センサを含むものであり、
   前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための基準が満たされると判定するために前記センサデータを処理し、前記基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応し、前記拡張仮想現実シーンは、前記仮想現実シーンの修正されたバージョンであり、
   前記基準が満たされるとの前記判定に基づいて、前記拡張仮想現実シーンについて、現実世界オブジェクトの少なくとも一部を現実世界ビューから前記仮想現実シーンにオーバレイし、前記現実世界ビューは、前記ＨＭＤの１つ以上のカメラによってキャプチャされ、
   １つ以上の現実世界オブジェクトを前記仮想現実シーンにオーバレイした後、前記仮想現実シーンを中断し、
   前記基準が満たされなくなると判定されると、前記仮想現実シーンを再開する、
   方法。
2. 前記現実世界オブジェクトが前記仮想現実シーンにオーバレイされて前記拡張仮想現実シーンが提供された後に、前記基準がなおも満たされていると判定し、
   前記基準がなおも満たされている間に、前記現実世界ビューからの追加の現実世界オブジェクトのオーバレイを続行し、追加の現実世界オブジェクトのオーバレイの続行では、前記拡張仮想現実シーンに現実世界オブジェクトが漸進的に追加される、請求項１に記載の方法。
3. 前記追加の現実世界オブジェクトは、既に挿入された前記現実世界オブジェクトの拡大されたビューを含む、請求項２に記載の方法。
4. ヘッドマウントディスプレイ（ＨＭＤ）内での表示のために仮想現実シーンを修正する方法であって、
   前記ＨＭＤ上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
   前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための第１の基準が満たされると判定するために前記データを処理し、前記第１の基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
   前記第１の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第１の現実世界オブジェクトを挿入し、前記第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された１つ以上のカメラによって提供される現実世界ビューからのものであり、
   前記ＨＭＤ上の前記センサからのデータは更に、前記第１の現実世界オブジェクトが前記仮想現実シーンに挿入されて前記拡張仮想現実シーンが提供された後、前記第１の基準がなおも満たされていると判定するために取得及び処理され、追加の現実世界オブジェクトは、前記第１の基準が満たされなくなると判定されるまで漸進的に挿入される、
   方法。
5. ヘッドマウントディスプレイ（ＨＭＤ）内での表示のために仮想現実シーンを修正する方法であって、
   前記ＨＭＤ上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
   前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための第１の基準が満たされると判定するために前記データを処理し、前記第１の基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
   前記第１の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第１の現実世界オブジェクトを挿入し、前記第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された１つ以上のカメラによって提供される現実世界ビューからのものであり、
   前記ＨＭＤ上の前記センサからのデータは更に、前記仮想現実シーンの前記現実世界ビューへの切り替えを行うための第２の基準が満たされると判定するために取得及び処理され、前記第２の基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときの前記ユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応し、前記切り替えには、前記仮想現実シーンのフェードアウトと、現実世界ビューのフェードインとが含まれる、
   方法。
6. 前記第１の現実世界オブジェクトは、前記第１の現実世界オブジェクトが前記現実世界内にある位置に対応する前記仮想現実シーン内の位置に挿入される、請求項５に記載の方法。
7. 前記第１の基準が満たされるとの前記判定には、更に、ユーザ設定、ユーザ履歴、または前記仮想現実シーンのコンテキスト情報と関連付けられたデータの処理が含まれる、請求項４に記載の方法。
8. 前記仮想現実インタラクティブ空間内に配置された前記１つ以上のカメラは、前記ＨＭＤの１つ以上の前向きカメラまたは前記ＨＭＤの周りに配置された１つ以上のカメラを含む、請求項４に記載の方法。
9. 前記仮想現実インタラクティブ空間内に配置された前記１つ以上のカメラは、１つ以上のＨＭＤ対向カメラを含む、請求項４に記載の方法。
10. 前記仮想現実シーンは、前記第１の基準が満たされるとの前記判定が行われると中断または減速される、請求項４に記載の方法。
11. ヘッドマウントディスプレイ（ＨＭＤ）内での表示のために仮想現実シーンを修正する方法であって、
    前記ＨＭＤ上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための第１の基準が満たされると判定するために前記データを処理し、前記第１の基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第１の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第１の現実世界オブジェクトを挿入し、前記第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された１つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記第１の現実世界オブジェクトが前記仮想現実シーンに挿入されて前記拡張仮想現実シーンが提供された後、前記第１の基準が満たされなくなると更に判定されるとき、前記拡張仮想現実シーンは、前記仮想現実シーンに再度遷移する、
    方法。
12. 前記第１の現実世界オブジェクトは、前記仮想現実インタラクティブ空間内に配置された前記１つ以上のカメラによってキャプチャされる個々の現実世界オブジェクト及び１つ以上の接地要素を含む、請求項４に記載の方法。
13. 前記第１の現実世界オブジェクトは、床、天井、もしくは壁、またはそれらの一部などの境界条件を含み、前記境界条件は、前記仮想現実インタラクティブ空間内に配置された前記１つ以上のカメラによってキャプチャされる、請求項４に記載の方法。
14. ヘッドマウントディスプレイ（ＨＭＤ）内での表示のために仮想現実シーンを修正する方法であって、
    前記ＨＭＤ上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための第１の基準が満たされると判定するために前記データを処理し、前記第１の基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第１の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第１の現実世界オブジェクトを挿入し、前記第１の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された１つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記仮想現実シーンのクリップは、インターネットを通じて共有可能にされ、前記クリップは、前記第１の基準が満たされるとの前記判定が行われる前記仮想現実シーン内のポイントにおける前記仮想現実シーンを含む、
    方法。
15. プロセッサベースのシステムによって実行可能なコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、ヘッドマウントディスプレイ（ＨＭＤ）内での表示のために仮想現実シーンを修正するためのものであり、
    前記ＨＭＤ上のセンサからデータを取得するプログラム命令を有し、前記センサは、慣性センサを含むものであり、
    前記仮想現実シーンから前記ＨＭＤによって提示されることになる拡張仮想現実シーンに遷移するための基準が満たされると判定するために前記データを処理するプログラム命令を有し、前記基準は、前記ＨＭＤを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記基準が満たされるとの前記判定に基づいて、現実世界オブジェクトの少なくとも一部を前記仮想現実シーンにオーバレイするプログラム命令を有し、前記現実世界オブジェクトは、前記ＨＭＤの１つ以上のカメラによってキャプチャされる現実世界ビュー内に存在するものであり、
    前記基準が満たされなくなると判定されるまで１つ以上の追加の現実世界オブジェクトを前記拡張仮想現実シーンに漸進的にオーバレイするプログラム命令を有し、前記１つ以上の追加の現実世界オブジェクトは、前記ＨＭＤの前記１つ以上のカメラによってキャプチャされる前記現実世界ビュー内に存在するものであり、
    前記仮想現実シーンに前記拡張仮想現実シーンを再度遷移させるプログラム命令を有する、
    コンピュータ可読記憶媒体。