JP6825015B2 - 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体 - Google Patents

仮想現実シーンの変更方法及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP6825015B2
JP6825015B2 JP2018568374A JP2018568374A JP6825015B2 JP 6825015 B2 JP6825015 B2 JP 6825015B2 JP 2018568374 A JP2018568374 A JP 2018568374A JP 2018568374 A JP2018568374 A JP 2018568374A JP 6825015 B2 JP6825015 B2 JP 6825015B2
Authority
JP
Japan
Prior art keywords
virtual reality
reality scene
hmd
user
real world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018568374A
Other languages
English (en)
Other versions
JP2019527881A (ja
Inventor
チェン ルキシン
チェン ルキシン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2019527881A publication Critical patent/JP2019527881A/ja
Application granted granted Critical
Publication of JP6825015B2 publication Critical patent/JP6825015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、仮想現実コンテンツを変更する方法に関し、特に、現実世界コンテンツにより仮想現実コンテンツを拡張し、検出されたユーザインタラクティビティあるいは対話性に基づいてコンテンツを切り替え及び調和させる方法及びシステムに関する。
仮想現実(VR)は、消費者がコンテンツとインタラクトあるいは対話するための方法として、及びコンテンツ創作者が観衆と対話するための方法としてますます広がっている。VRの人気が高まり続けるにつれて、その集中及び没入のレベルも高まっている。仮想現実シーン(VRS)が視聴者に方向感覚の喪失を生じさせることが珍しくない。方向感覚の喪失のレベルは、軽度の不快感から深刻な不和にわたることがある。結果として、方向感覚の喪失は、有用性のコンテキスト及び安全のコンテキストの両方からの懸念事項である。例えば、方向感覚の喪失は、全体的なユーザ経験がVR経験に悩まされ、VR経験の価値を落とすことを生じさせる。更に、ユーザの方向感覚の喪失についての潜在性は、潜在的に方向感覚を失わせるシーンを阻む懸念から、コンテンツ創作者が何を創作するかを制限する場合がある。
よって、VRの没入及び集中が高まり続けるにつれて、それらが生じさせ得る方向感覚の喪失及び/または不快感を軽減するための手段を提供することができるシステム及び方法に対する利点がある。
それは、本発明の実施形態が生まれるこのコンテキスト内にある。
本発明の実施形態は、仮想現実シーンを変更し、特に、現実世界コンテンツにより仮想現実シーンを拡張する方法及びシステムを提供する。方法及びシステムはまた、VRコンテンツと現実世界コンテンツとの間で切り替え、2つの間での遷移を管理する実施形態を定義する。本発明は、処理、装置、システム、デバイス、またはコンピュータ可読媒体上での方法など、多数の方法で実施されることができることを認識されるべきである。本発明のいくつかの発明的な実施形態は、以下で説明される。
一実施形態では、方法は、HMD上のセンサからデータを取得する動作を含む。センサデータは、仮想現実シーン(VRS:Virtual reality scene)からHMD上で表示されることになる拡張VRSに遷移するための第1の基準が満たされるかどうかを判定するように処理され、第1の基準は、HMDを身に着けており、VRSを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。第1の基準が満たされると判定されると、方法は、拡張VRSを生成するために、VRSに第1の現実世界オブジェクトを挿入する動作を含み、第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置されたカメラによって提供される現実世界ビューからである。それらの実施形態のコンテキストにおける「拡張VRS」または「拡張VR」は、現実世界からのコンテンツを含むように元の状態から修正されたVRを指す。拡張VRまたはVRSはまた、「ハイブリッドビュー」または「ハイブリッドHMDビュー」と称されてもよい。
別の実施形態では、VRSを提供するシステムは、HMDからセンサデータを取得する処理を含む。システムはまた、第1の基準が満たされるかどうかを判定するように前記データを処理するプロセッサを含む。第1の基準は、HMDを身に着けており、VRSを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。システムは更に、VRSに現実世界オブジェクトを挿入するレンダリング構成要素を含む。現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置されたカメラによって提供される現実世界ビューからキャプチャされる。
更なる別の実施形態では、非一時的コンピュータ可読記憶媒体において埋め込まれたコンピュータプログラムは、1つ以上のプロセッサによって実行されるとき、HMDの仮想現実コンテンツを変更する。媒体に含まれるのは、HMDセンサデータを取得し、第1の基準が満たされると判定するように前記データを処理するプログラム命令であり、第1の基準は、HMDを身に着けており、仮想現実シーンを提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する。更に、媒体はまた、VRSに第1の現実世界オブジェクトを挿入するプログラム命令を含み、第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内のカメラによって提供される現実世界ビューからである。
本発明の他の態様は、本発明の原理を実施例として例示する添付図面を併用して、以下の詳細な説明から明らかになるであろう。
添付図面と併用される以下の説明を参照することによって、本発明を最良に理解し得る。
ユーザにVRSを提供し、VRSを拡張することが可能な実施形態を例示する図。 一実施形態におけるVRSの提示及びユーザの方向感覚の喪失の検出を可能にするHMDの特定の構成要素を例示する図。 一実施形態における方向感覚を失ったユーザを再方向付ける方法のフローを示す図。 一実施形態におけるユーザの方向感覚の喪失を検出し、ユーザを再方向付けることが可能なコンピュータの構成要素の一部を例示する図。 一実施形態における部屋に位置する間にHMDを身に着けており、VRSが提示されている現実世界内のユーザを示す図。 B〜Hは、一部の実施形態におけるVRS、1つ以上の現実世界オブジェクトを有する拡張VRS、及び現実世界ビューを含む、それと共にユーザを表示し得る様々なビューを示す図。 一実施形態における方向感覚の喪失を経験しており、拡張VRSを提示されているユーザの実施例を例示する図。 A〜Bは、一部の実施形態におけるVRSを拡張する異なる方法を示す図。 一部の実施形態における拡張VRSまたは現実世界ビューにVRSを拡張または変更するコンピュータによって実施されることになるアルゴリズムのフローチャートを例示する図。 一実施形態における漸進的に更なる現実世界オブジェクトによりVRSを拡張する方法のフローを示す図。 一実施形態におけるいくつかの現実世界オブジェクトからVRSに拡張されることになる現実世界オブジェクトをどのように選択するかを判定するコンピュータによって実行されることになる方法のフローを示す図。 一実施形態における第1の基準が最初に満たされ、その後は満たされなくなるVRSを拡張する方法の表現を示す図。 一実施形態における第1の基準が最初に満たされ、その後、第2の基準が満たされるVRSを拡張する方法の表現を示す図。 一実施形態と合致した、予測される再方向付け有効性に従ってVRSに拡張されることになる現実世界オブジェクトを選択及びランク付けする方法を示す図。 一実施形態におけるヘッドマウントディスプレイの構成要素の一部の実施形態を示す図。
以下の実施形態は、ヘッドマウントディスプレイ(HMD)内に表示された仮想現実シーンを変更する方法、コンピュータプログラム、及び装置を説明する。しかしながら、本発明がそれらの特定の詳細の一部または全てなしに実施されてもよいことが当業者にとって明らかであろう。他の例では、本発明を不必要に曖昧にしないために、公知の処理動作は詳細に説明されない。
HMDによって提供される仮想現実シーンは、それらがユーザの一部に方向感覚の喪失を生じさせるように非常に没入的であることが多い。ユーザの方向感覚の喪失は、バランスの感覚、接地の感覚、重力の感覚、空間内の位置の感覚、安全の感覚などの喪失によって特徴付けられる場合がある。同様に、方向感覚の喪失のそれらの分類のいずれか1つのユーザの経験は、軽度なものから深刻なものにわたる場合がある。方向感覚の喪失の瞬間が仮想現実シーンの経験の価値を落とすだけでなく、それらは、ユーザがコンテンツを楽しみ、またはユニークなコンテンツを評価することを妨げる場合もある。
更に、HMDのユーザは、仮想現実シーン(VRS)によって完全に関与される間、方向感覚の喪失の自身の状態を認識しないことが多い。したがって、ユーザがVRSを完全に停止させる必要があると感じるまで、ユーザの方向感覚の喪失は、気付かないで増大し続ける場合がある。結果として、ユーザは深刻な程度の方向感覚の喪失を受けるだけでなく、仮想現実シーン内で行われるいずれかの進展が事実上喪失する場合もある。結果として、特に、VRS経験がよりアクセス可能になり、没入的になり、インタラクティブになるように発展するにつれて、ユーザの方向感覚の喪失を検出することによって経験及びユーザの安全性を高め、ユーザの元の位置での再方向付けを支援する技術的必要性が存在する。加えて、いずれかのより前のポイントにおいて仮想現実シーンを再開するのではなく、方向感覚の喪失を元の位置で検出及び修正することがより計算的に効率的である場合がある。
本明細書で使用されるように、「元の位置で(in situ)」とは、ユーザがVRSとインタラクトあるいは対話を行っている間に方向感覚の喪失の検出が処理され、VRSとインタラトしている間にコンテンツの提示への変更が動的に行われることを意味する。変更は、一実施形態では、現実世界オブジェクトをVRSに調和させることと、方向感覚の喪失が減少するまで現実世界オブジェクトの調和を有効にすることと、VRSに再度切り替えることと、を含む。一部の実施形態では、ユーザの再方向付けが検出され、漸進的にVRSに再度移動するまで、切り替えは、HMD内のビューを現実世界に完全に持っていくように行われてもよい。特定の他の実施形態では、部分的な現実世界ビューのオーバレイは、HMD上で提供されてもよく(例えば、VRS上にオーバレイされる)、それによって、ユーザに、方向感覚の回復(リオリエント:reorient)を行う機会を提供し得る。
ユーザの方向感覚の喪失を検出することをいくつかの方法で達成することができる。ユーザが方向感覚を失うとき、ユーザは、センサによって測定し得るいくつかの物理的キューを見せる場合がある。例えば、方向感覚を失ったユーザは、奇妙な目の動き(例えば、眼震、眼球震とう)、異常な頭の動き(例えば、傾き)、姿勢(寄り掛かり)、歩き方などを明確に示すことがある。他の不随する物理的兆候は、とりわけ、汗をかくこと、発熱すること、聞くことができる発声を含む場合がある。それらの物理的キューは、HMD内のセンサ及びHMD上のセンサ、ならびに他に、仮想現実インタラクティブ空間内のセンサによって定量的に測定及び追跡されることができる。例えば、推論される画像は、仮想現実インタラクティブ空間内に位置するカメラから取得されてもよい。本明細書で使用されるように、「仮想現実インタラクティブ空間」は、3次元現実世界空間を指し、3次元現実世界空間内で、ユーザは、HMDを介してVRSに関与し得る。
上記言及されたセンサの一部は、凝視検出カメラ(または、アイトラッキングカメラ)、アイカメラ、慣性センサ、感光性ダイオード(PSD)、前向きカメラ、画像スティッチングを有するHMDの周りに配置された複数のカメラ、HMD対向カメラ、マイクロフォン、湿度センサ、温度計などを含んでもよい。一部の実施形態では、アイカメラは、目の形状、目の状態の3D形状、目の湾曲、目のサイズ、または歪みを検出するように構成されたカメラを含んでもよい。他の実施形態では、アイカメラは、瞳孔形状を追跡してもよい。前の目の状態を参照し、方向感覚の喪失または不快感の予測される状態に現在の目の状態を相関付けるためにルックアップテーブルが使用されてもよい。
測定し得るユーザの振る舞いまたは兆候の更なる実施例は、ユーザの心拍パターン、脳波、及びユーザの発声を含む。当業者は、人間の身体的特徴における対応するパターンを検出するために、いくつかの公知の生理学的及び神経学的センサが組み込まれてもよいことを認識するであろう。それらのセンサの一部は、非限定的な実施例として、他の電気診断(EDX)センサの中で、心電図(EKGまたはECG)モニタ、筋電図(EMG)モニタ、脳波記録(EEG)モニタを含んでもよい。特定の実施形態に含めてもよいセンサのタイプの追加の説明は、参照によって以下に組み込まれる、「BIOMETRIC INTERFACE FOR A HANDHELD DEVICE」と題する米国特許出願第12/963,594号において見出すことができる。
更にまた、一部の実施形態は、ユーザが方向感覚の喪失及び/または方向感覚の回復の状態に関する情報を任意に提供し、VRコンテンツを停止し、VRコンテンツを減速させ、または他に、VRコンテンツから遷移するように動作可能な「ハード」ボタン、仮想ボタン、発声制御、発声コマンド、またはユーザ入力手段を含んでもよい。
それらのセンサからのデータは次いで、コンピュータによって取得されてもよく、コンピュータは次いで、方向感覚喪失検出ロジック(DDL)を実施することができる。実施例として、DDLは、取得されたセンサデータに基づいてユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応する特定の基準が満たされると判定してもよい。そのような判定が行われると、ユーザの再方向付けが開始し、VRSの連続性及び完全性を可能な程度になおも維持する(元の位置での方向感覚の回復)。
特定の実施形態では、DDLは、学習及び/または予測構成要素を有してもよい。例えば、DDLは、ユーザ履歴から入力を受信してもよく、このユーザ履歴に従って方向感覚の喪失を示唆する特定のインジケータを調節してもよい。結果として、DDLは、特定のユーザと関連付けられた方向感覚の喪失の振る舞いのパターンを「学習」してもよく、それに従って、そのロジックを調整してもよい。更に、DDLは、VRSコンテキストデータソースから入力を受信してもよく、VRSコンテキストデータソースは、次のVRSに関するコンテキスト情報を提供してもよい。結果として、DDLは、一部の実施形態に従って、それらの入力に基づいて方向感覚の喪失の後の状態を前もって予測することが可能であることができ得る。例えば、特定の実施形態では、DDLは、方向感覚の喪失の予測される後の状態に基づいて、拡張VRSまたは元の位置での方向感覚の回復を可能にし得る。それらの実施形態の態様は、以下で更に詳細に説明される。
ユーザに方向感覚の回復を行わせつつ、VRSの連続性をなおも維持する1つの方法は、現実世界からオブジェクトを選択することと、VRSにそのオブジェクトの画像を挿入することと、を含む。この実施形態では、現実世界オブジェクト(RWO)が挿入される画像は、ユーザに接地の感覚及び空間的親和性を提供し得る。結果として、VRSの進展を乱すことなくユーザを方向感覚回復し得る。現実世界オブジェクトは、HMDの前向きカメラ、HMDの複数の外向きカメラ、またはHMDを身に着けているユーザに向けられた1つ以上のカメラなど、仮想現実インタラクティブ空間内のカメラによってキャプチャされてもよい。
概して、上記言及されたカメラからオブジェクトを検出及び識別するために、現実世界オブジェクトの分類器が使用されてもよい。1つの例示的な分類器は、識別されたオブジェクトを分類するために、データベース及び更新エンジンを使用する。分類器を使用して、現実世界オブジェクトを高速に識別することが可能である。一部の実施形態では、更新エンジンは、ローカルにまたはインターネットを通じてのいずれかで、他のデータベースにアクセスすることによって、そのデータベースを更新することができる。更新エンジンは、例えば、オブジェクトを識別するための画像を、オブジェクトに関する情報を即時にレンダリングすることができる画像のデータベースに比較することを可能にし得る。情報は、オブジェクト、例えば、「椅子」を全体的に識別するデータを含むことができ、または更に詳細なデータを含むことができる(例えば、メタデータ)。
詳細なデータは、例えば、商標と関連付けられたとしてオブジェクトを識別することができ、例えば、CocaCola(商標)は、形状を識別することができ、色を識別することができ、三次元形状を識別することができ、バーコード(2D及び3D)を識別することができ、サウンドを識別することができ、それらの2つ以上の組み合わせを識別することができる。一部の実施形態では、分類器は、仮想現実インタラクティブ空間(例えば、1つ以上のカメラによってキャプチャされるように、ユーザがHMDを身に着けている「現実世界」)内に位置するコーヒーテーブルまたはランプなどの個々のオブジェクトを識別することができる。更なる実施例として、分類器は、天井及び壁、ならびに2つが交わるポイントを識別することが可能であり得る。
分類器はまた、次元、相対次元、ユーザ生成コンテンツ(UGC)、ユーザタグデータ、ユーザコメント、ソーシャルメディアフィード、ユーザレビューなどを識別及び分類することができる。他の実施形態では、分類器は、ディープラーニングニューラルネットワークを使用して訓練されることができる。そのようなネットワークは、特定のデータによって提供されるデータ、及び多くのユーザから受信されるデータに依存する場合がある。述べられたように、分類器システムは好ましくは、カメラ及び/または他のセンサによってキャプチャし得るオブジェクトを識別するように最適化される。したがって、1つ以上の分類器を処理することは、オブジェクト認識の速度及び効率性、ならびにそのような情報の使用を最適化する。
方向感覚の喪失の分類及び強度に応じて、コンピュータのコンテンツ実行ロジック内の選択モジュールは、また、方向感覚が喪失される特定のケースを軽減する際のRWOの予測される有効性、及び/またはユーザ設定及びユーザ履歴に基づいて、このRWOを選択してもよい。現実世界オブジェクトが選択されると、RWO挿入ロジック及びレンダリングモジュールは次いで、拡張VRSを生成するために、選択されたRWOによりVRSを拡張し得る。このコンテキストにおける「拡張VRS」は、現実世界コンテンツにより拡張されたVRSを指すことに留意されるべきである。加えて、このコンテキストにおける「拡張」は、元のシーンにコンテンツを挿入すること、オーバレイすること、調和させること、縫い合わせること、重ね合わせること、または他に、追加することを指す。
一般的に言えば、RWO挿入ロジックは、ユーザの凝視方向に対して、現実世界内のその位置に対応するVRS内の位置においてRWOをリアルタイムで挿入してもよい。結果として、ユーザは、HMDを外すことによって望むように拡張VRS内でRWOを認識し、VRSのフローを乱すことなく、ユーザに空間的親和性及び方向感覚回復キューを提供する。それにも関わらず、挿入ロジックが現実世界内のその位置とは異なるVRS内の位置にRWOを配置し得る特定の例が存在してもよい。
VRSを拡張する処理は、コンピュータのDDLが、ユーザが方向感覚の喪失を示す基準を満たさなくなると判定するまで、追加の現実世界オブジェクトの挿入、調和、またはオーバレイを漸進的に続けることができる。一実施形態では、コンピュータのコンテンツ実行ロジックは、拡張VRSから1つ以上の挿入されたRWO(複数可)を取り除いてもよい(例えば、同時にまたは漸進的に)。一方で、ユーザが拡張VRSに応答して適切な程度に方向感覚の回復がなされない場合、DDLは、第2の基準が満たされると判定してもよい。
特定の実施形態では、現実世界オブジェクトの漸進的な統合は、すでに挿入されたRWOの可視的部分を拡大することを含んでもよい。例えば、第1のRWOがVRSに最初に拡張される場合、追加のRWOは、この第1のRWOの、より完全な、または、より拡大したビューを含んでもよい。言い換えると、追加のRWOは、現実世界内で本来的に別個のオブジェクトである必要はないが、HMD上の1つ以上のカメラ及びVRインタラクティブ空間内の1つ以上のカメラによってキャプチャされ、VRシーンに導入されることが可能な現実世界ビューのいずれかの部分である。1つの実施例では、RWOは、現実世界内のいくつかのオブジェクトを含んでもよい。一部の実施例では、仮想現実シーンに挿入、調和、またはオーバレイされた現実世界オブジェクトは、現実世界の周囲の完全なまたは部分的な区画を含んでもよい。他の実施例では、VRは、現実世界ビューを有する拡張現実に切り替えられると共に、一部の仮想オブジェクトを維持してもよい。更なる他の実施例では、オブジェクトの画像のシルエット、輪郭、影、または外側部が、オブジェクトの更なる完全なビューの代わりにまたはそれに加えて、VRSと調和するために使用されてもよい。
第1の基準と同様の第2の基準はまた、方向感覚の喪失を示唆する予め定められたインジケータに対応する。しかしながら、第1の基準を満たすことは、拡張VRSの処理を開始し得、第2の基準を満たすことは、現実世界ビュー(RWV)への完全な切り替えを開始し得る。VRSからRWVへの切り替えは、VRS−RWV切り替えロジックによって達成されてもよい。その結果として、ユーザは、方向性の喪失の刺激を完全に奪われ(VRSから)、現実世界ビューに方向感覚を回復する機会が与えられる。DDLが、基準のいずれもが満たさないと判定すると、VRSは、切り替えが行われるポイント、またはより前のポイントのいずれかの過程で再開してもよい。この方式で、HMDのユーザは、VRSへの最小限の干渉により元の位置で方向感覚を回復する機会を与えられる。
また、特定の実施形態が、ビューの主要なエリアである第1の領域、及びビューの境界または端エリアである第2の領域を含む仮想現実ディスプレイを有してもよいことに留意されるべきである。第1の領域は、仮想現実ビューを含んでもよい。ディスプレイの第2の領域は、仮想現実コンテンツとの現実世界コンテンツの調和を含んでもよい。第1の領域は、ユーザが「真っすぐに」見ることになる場合、その凝視が第1の領域の上にかかるように、左目及び右目の各々についてディスプレイの主要な(例えば、「真っすぐに」見ている」エリア内にあるように構成されてもよい。第2の領域は、ユーザが周辺方向(例えば、ビューの上/下、左右、角)に向かって凝視することになった場合、ユーザの凝視が第2の領域の上にかかるように、左目及び右目についてディスプレイの更なる周辺エリアまたは端もしくは境界内にあるように構成されてもよい。結果として、特定の実施形態に従って、ユーザは、凝視方向を変更することによって(例えば、真っすぐに見ることから、ビューの下右隅に向かって見ることに)、仮想現実シーンと仮想現実コンテンツ及び現実世界コンテンツの両方を有する融合シーンとの間で自主的に切り替えてもよい。すなわち、ユーザは、第2の領域に向かって見ることによって、またはディスプレイの第2の領域を記録するための周辺の視覚を使用することによってでさえ、現実世界ビューのある程度を一貫して見ることを可能にされる。
一部の実施形態では、第2の領域は、或る期間を通じて仮想世界ビューへの現実世界コンテンツの調和を維持し得る。それらの実施形態及び他の実施形態では、ユーザは、第2の領域を介して現実世界のビューを絶えず与えられる。他の実施形態では、第2の領域は、ユーザ優先度設定に基づいて、トグルオンオフされてもよく、または仮想コンテンツへの現実世界コンテンツの可変の程度の調和を有してもよい。
一部の実施形態は、左目及び右目のディスプレイの各々についての(左目及び右目それぞれについての)VRコンテンツに調和される同様の規模の現実世界コンテンツを含んでもよいが、左目及び右目のディスプレイが、他よりも大きな規模または小さい規模のVRコンテンツに調和される現実世界コンテンツを有してもよい特定の他の実施形態が存在することに留意されるべきである。例えば、特定の実施形態では、左目のディスプレイは、右目のディスプレイよりも大きくVRシーンに調和される現実世界コンテンツを有してもよい。反対のことも当てはまり、右目のディスプレイは、左目のディスプレイよりも大きな程度の仮想コンテンツへの現実世界コンテンツの拡張を備える。この方式では、ユーザは、現実世界設定を通知されると共に、VRコンテンツ上での目をなおも有し得る。
特定の実施形態では、左目のディスプレイまたは右目のディスプレイのいずれか(必ずしも両方でない)は、約20〜80%の透明度で調和または表示された現実世界コンテンツを含んでもよい。結果として、ユーザは、VRシーンを経験し続けると共に、現実世界の周囲にも認識するようになることが可能であり得る。それらの実施形態及び他の実施形態では、現実世界コンテンツは、別個のオブジェクト(例えば、椅子)に限定されないが、現実世界の周囲の透明なビューまたは部分的なビューであることができる。
また、第1及び第2の基準は、方向感覚の喪失自体に加えてまたはその代わりに、設定及びパラメータに依存する場合があることに留意されるべきである。例えば、第1及び第2の基準は、ユーザによって予め定められ、またはユーザ履歴を通じてユーザの学習したユーザ設定または優先度に依存する場合がある。結果として、ユーザは、第1及び第2の基準が満たされることを選択及び示してもよい。それらの実施形態及び他の実施形態では、ユーザは、ユーザの判断に基づいて、仮想世界ビュー及び現実世界ビューをどのように調和させるかを決定してもよい。
概して、ユーザは、どのタイプの現実世界コンテンツが仮想現実コンテンツに調和されるか(現実世界オブジェクト/オブジェクト(複数可)、部分的なビューまたは全体的なビュー、境界のビュー、片目のビューの挿入)、どの程度現実世界コンテンツが仮想現実コンテンツに調和されるかと共に、仮想現実コンテンツから現実世界コンテンツを取り除くことが行われるべきかについての制御が与えられてもよい。例えば、ユーザは、一部の実施形態に従って、現実世界コンテンツが仮想現実コンテンツにどのように融合または調和されることになるかについての優先度を定義してもよい。それらの実施形態及び他の実施形態では、ユーザは、2つがどのように調和されるかをまとめて決定してもよい。現実世界コンテンツをどのように調和させ、挿入し、またはオーバレイするかを決定する特定の実施形態が例示を目的に説明されてきたが、それらは、本明細書で説明される実施形態を限定するものとして解釈されるべきではない。
図1は、仮想現実インタラクティブ空間100の実施形態を示す。ユーザ101は、ヘッドマウントディスプレイ(HMD)102に接続される。複数のセンサ104a〜104nは、HMD102に接続し、HMD102は次いで、コンピュータ110と接続する。また、HMD102に接続されるのは、現実世界の画像(例えば、HMDの周囲)をキャプチャする前向きカメラ(FFC)106である。図示されないが、HMD102は、例えば、HMDのユーザの周りで360度の縫い合わされたビューをキャプチャするように配置し得る、更なる外部カメラを有してもよい。
前向きカメラ106は、本実施形態においていくつかの方法で使用される。例えば、FFC106は、コンピュータ110に、仮想現実インタラクティブ空間に対するユーザの場所及び方位に関する情報を提供する。FFC106はまた、現実世界の現実世界ビューをキャプチャすることが可能である。特定の実施形態では、FFC106は、HMD102を身に着けているときのユーザのそれらと同様の視点及び視野を有するように、HMD102上に位置付けられることができる。
HMD102上のFFC106に加えて、本実施形態は、HMD対向カメラ(HMD−FC)108を含む。HMD−FC108は、コンピュータに、場所及び方位など、HMD102のユーザに関する情報を提供する。HMD−FC108はまた、ユーザのボディランゲージなど、現実世界の追加の視点をキャプチャすることが可能である。FFC106及びHMD−FC108によって取得される情報は、コンピュータ110に通信される。更に、それらのキャプチャされた情報の一部における冗長性は、108または106の個々のカメラのいずれか1つにおいて接続が損失した場合に、コンピュータ110がユーザ101を記録することを可能にする。
コンピュータ内で具体化されるのは、コンテンツ実行ロジック(CEL)112である。概して、CEL112は、どのコンテンツがHMD102上で提示されることになるかを決定することに関与する。例えば、特定の実施形態では、CEL112は、ユーザの方向感覚の喪失を示す特定の基準に、取得されたセンサ104のデータを比較する方向感覚喪失検出ロジック(DDL)116を含む。
DDL116が、基準が満たされない判定する条件の下(例えば、ユーザが方向感覚を失わない)、CEL112は、HMD102にVRSを提供するために、仮想現実コンテンツジェネレータ114を使用してもよい。一部の実施形態では、提供されるVRSは、仮想現実ゲーム、仮想現実動画、仮想現実スポーツゲーム、仮想現実生産デモ、または仮想現実電話会議を含んでもよい。特定の他の実施形態では、VRSは、ゲームのストリーミングビデオ、ビデオゲームの「プレイスルー」、「eSports」の放送、及び他のゲーミングコンテンツを含んでもよい。更なる実施形態では、VRSは、他の種類の創造的なコンテンツの中で、仮想現実コンサート、アートショー、音楽の演奏、ダンスの上演、劇場、及びミュージカルなどの創造的なコンテンツから構成されてもよい。追加の実施形態は、とりわけ、教育、日曜大工(DIY)、観光、不動産に関連するコンテンツから構成されたVRSを有してもよい。
一方で、DDL116が、ユーザの方向感覚の喪失を示す1つ以上の基準が満たされると判定する場合、CEL112は、現実世界コンテンツジェネレータ118にアクセスしてもよい。現実世界コンテンツジェネレータ118は、現実世界ビューを配信し、または他に、仮想現実インタラクティブ空間内に配置された複数のカメラ(例えば、FFC106及びHMD−FC108)によって取得された現実世界コンテンツによりVRSを拡張することに関与する。どの基準が満たされるかに応じて、CEL112は、現実世界コンテンツジェネレータ118に従って、1つ以上の現実世界オブジェクトを選択及び挿入してもよい。他の実施形態では、CEL112は、VRS及び現実世界コンテンツの両方の「分割スクリーン」ビューを配信してもよい。他の例では、CEL112は、現実世界ビューに完全に切り替えてもよい。更なる実施形態では、CEL112は他に、部分的な現実世界ビューを作成するために、仮想現実コンテンツと現実世界コンテンツを調和させ、またはオーバレイしてもよい。
CEL112が現実世界コンテンツによりVRSを拡張し、HMD102にそれを配信すると、DDL116は、ユーザの方向感覚の喪失を監視し続ける(例えば、基準が満たされるかどうか)。DDL116が何を判定するかに応じて、CEL112は、追加の現実世界コンテンツが導入されるべきかどうか、及び追加の現実世界コンテンツがどの程度まで導入されるべきか、及び/または仮想現実コンテンツから取り除かれるべきか、及び仮想現実コンテンツからどの程度まで取り除かれるべきかを決定する。
図2は、HMD102の一実施形態を示す。HMD102は、ディスプレイ140a及び140bと共に、音声スピーカ142a及び142bを含む、VRS経験を指令するいくつかの構成要素を含む。特定の実施形態に従って、それらは、HMD102上に位置するディスプレイコントローラ124及び音声コントローラ128を含む、それらのそれぞれのコントローラによって制御される。それらのコントローラの両方は、HMD102にも位置する、入力/出力コントローラ(I/Oコントローラ)132を介してコンピュータ110と通信する。
一部の実施形態に従って、HMD102はまた、前向きカメラ(FFC)コントローラ120及びI/Oコントローラ132を介してコンピュータと通信する1つ以上のFFC106a及び106bを含む。FFC106は、HMD102を身に着けているユーザの視点から現実世界の現実世界ビューをキャプチャすることが可能である。例えば、FFC106は、ユーザがHMD102を身に着けていなかった現実世界内でユーザが見ているいずれの方向においてそれらが「見ている」ように位置付けられてもよい。そのように行う際、現実世界のユーザの視覚がHMD102によって塞がれるときでさえ、FFC106は、現実世界のビューを提供し得る。FFC106はまた、ユーザがそれらの見通し線を遮断するパススルーを見ることを可能にする能力について、「パススルー」カメラと称されることがある。図2に示される実施形態は、2つのFFC106を有するHMD102を説明するが、いずれかの数の「前向き」カメラが現実世界ビューをキャプチャ及び配信するために使用されてもよいことを認識されるべきである。
凝視検出カメラ134a及び134bのセットがまた、図2に示される。概して、凝視検出(または、アイトラッキング)は、凝視のポイント(「ユーザが見ている」)または頭に対する目の動きのいずれかを測定する処理である。よって、凝視検出器は、目の場所及び動きを測定するデバイスである。
特定の実施形態では、目凝視カメラは、ディスプレイとVRシーンを見るための1つ以上のレンズとの間に位置してもよい。この方式では、目凝視カメラは、ユーザの目のより良好な視野を有することが可能にされる。
目の動き及び凝視方向を測定するためにいくつかの方法が使用されることができる。例えば、或る方法は、それから目の場所が抽出されるビデオ画像を使用し、他の方法は、探りコイルまたは眼電図を使用する。更なる方法は、赤外線光が網膜上に投射される赤外線カメラまたは検出器を利用してもよい。よって、ユーザの凝視は、赤外線カメラにより投射光の反射された部分をキャプチャすることによって検出されてもよい。上記言及されたカメラによってキャプチャされる画像はその後、凝視検出器コントローラ122及びI/Oコントローラ132を介してコンピュータ110に経路指定される。
図2は、明確化のために、そのような凝視検出カメラ134のうちの2つ、各々の目についての1つを示すが、いくつかのカメラが凝視検出のためにHMD102内に配置されてもよいことを認識することができる。
更に、図2に示されるのは、HMD102上に位置する慣性センサ126である。慣性センサ126は、例えば、推測航法を介して、コンピュータにHMD102の場所、方位、及び速度を含む情報を提供する。それらのセンサは、HMD102の動き及び回転を追跡するための加速度計及びジャイロスコープを含んでもよい。「METHODS AND SYSTEMS FOR APPLYING GEARING EFFECTS TO VISUAL TRACKING」と題する米国特許出願第11/382,036号及び「CONTROLLER HAVING VISUALLY TRACKABLE OBJECT FOR INTERFACING WITH A GAMING SYSTEM」と題する米国特許出願第12/259,181号は、HMD102の特定の実施形態に含まれ、またはHMD102の特定の実施形態により使用されてもよいセンサのタイプ及び構成を議論し、それらは、参照によって以下に組み込まれる。
マイクロフォン144はまた、マイクロフォンコントローラ130を介してコンピュータと通信するように示される。マイクロフォンは、ユーザからの自発的コマンドまたは非自発的コマンドを含む、現実世界からの音声キューを検出するために使用されてもよい。
明確化のために、いくつかの追加の構成要素(例えば、センサ、コントローラなど)が図2から省略されていることに留意されるべきである。例えば、特定の他の実施形態では、追加のセンサは、HMD102のユーザの発汗レベルを測定するための湿度センサ、及びHMD102のユーザの体温を測定するための体温計を含んでもよい。更なる実施形態では、ユーザ101が見せる場合がある振動または揺れなどのより小さい動きを測定するために、圧電センサなどの振動センサもHMD102に含まれてもよい。心臓学(例えば、心拍)、神経学(例えば、脳波)、及び他の生理学パラメータを測定するための上記言及されたEKG、EMG、EEGセンサなどの電気診断(EDX)センサを含む特定の実施形態は同様に、図2から省略されている。よって、図2に例示される実施形態は、排他的または限定的と解釈されるべきではなく、そうではなく、例としてまたは例示的と解釈されるべきである。
図3は、方向感覚を失ったユーザ101の方向感覚を回復する例示的な方法のフローチャートである。本実施形態に従って、方法は、ユーザに提示されている仮想現実シーンのコンテンツを変更する。このフローチャートにおける様々な動作が順次提示及び説明されるが、当業者は、動作の一部または全てが異なる順序で実行されてもよく、組み合わされてもよく、省略されてもよく、または並列して実行されてもよいことを認識するであろう。
動作160では、方法は、VRSを表示しているHMD102上に位置するセンサからデータを取得する。図2において前に説明されたように、それらのセンサは、凝視検出器134、慣性センサ126、音声センサ144などを含んでもよい。加えて、図示されないが、方法は、HMD102上ではないが仮想現実インタラクティブ空間内に位置するセンサからデータを取得してもよい。例えば、データはまた、HMD−FC108から取得されてもよい。
動作160から、方法は動作162に進み、そこでは、動作160によって取得されたデータが、第1の基準が満たされるかどうかを判定するように処理及び使用される。第1の基準は、ユーザの方向感覚の喪失を示唆する複数の予め定められたインジケータに対応する。例えば、特定の予め定められたインジケータは、方向感覚の喪失を示唆する目の動きの特定のパターンと関連付けられてもよい。よって、目の動きのそれらの特定のパターンがユーザ101において検出される場合、第1の基準が満たされてもよい。同様に、頭の動き、体位、ボディランゲージ、聞くことができる発声などの特定のパターンがまた、ユーザの方向感覚の喪失の予め定められたインジケータと関連付けられてもよい。
センサデータが方法によって取得及び処理されると、動作162は、取得されたデータと予め定められたインジケータとの間の比較を行ってもよい。取得されたデータと予め定められたインジケータとの間で一致があると(例えば、取得された凝視検出データが方向感覚の喪失を示す目の動きの予め定められたパターンのうちの1つとして適格である)、動作162は、第1の基準が満たされるとの判定を行う。一部の実施形態では、肯定的な判定が行われると、動作162はまた、VRSを減速させ、または中断してもよい。
動作162による肯定的な判定に続いて、方法は、動作164に進み、そこでは、現実世界オブジェクト(RWO)がVRSに挿入される。RWOは、仮想現実インタラクティブ空間内に配置された1つ以上のカメラによってキャプチャされる現実世界内のオブジェクトまたは視野である。例えば、RWOは、ユーザの視野内に位置するコーヒーテーブルであってもよい。別の実施例として、オブジェクトは、フロアのビューまたは遠心壁パネルのビューなど、ユーザの視野の四半部または部分であってもよい。
RWO(複数可)は、カメラ(例えば、FFC106またはHMD−FC108)によってキャプチャされると、HMD102によって表示されているVRSに挿入される。結果として、ユーザは、1つ以上のRWO(複数可)によって拡張されているVRSを提供される。上記実施例に続いて、RWO拡張VRS(または、単純に拡張VRS)は、コーヒーテーブルの重ね合わされた画像以外に他に変更されていないシーンから構成されてもよい。一実施形態では、方法は、RWOがその上で重ね合わされるコーヒーテーブル及び仮想コンテンツの両方が部分的に両方とも視認可能なようにRWOを挿入してもよい。特定の他の実施形態では、RWOの挿入は、RWOが挿入される仮想コンテンツの除外に達してもよい。更なる実施形態では、RWOは、ユーザの応答性及び/または仮想コンテンツのコンテキストに対して時間と共に調節する、動的な透過性により挿入されてもよい。
特定の実施形態では、方法は、ユーザの視野に対する現実世界内のその位置に対応するディスプレイ内の位置にRWOを挿入してもよい。例えば、コーヒーテーブルがユーザの志望するビューの下側の右手周辺に位置し、FFC106によってキャプチャされる場合、方法は、ディスプレイの下側の右手周辺部分内の対応する位置にコーヒーテーブルの画像を挿入してもよい。加えて、一部の実施形態に従って、コーヒーテーブルの画像は、テーブルが他にユーザにとってHMD102がないように見えるサイズ、焦点、及び/または視点の画像であってもよい。
例えば、ユーザ101に対して現実世界の近くに位置するコーヒーテーブルに対応する画像は、より遠くに位置する同一のコーヒーよりもディスプレイスクリーン140の大きな部分を占有するように拡張VRS内でサイジングされてもよい。同様の方式で、コーヒーテーブルの画像は、焦点が外れて提示されてもよく、及び/またはHMD102が現実世界のユーザのビューを制限しなければ、コーヒーテーブルが他にユーザにとってどのように見えるかをシミュレートする焦点の深さで提示されてもよい。
特定の実施形態に続いて、RWOの一部または全ての挿入パラメータ(位置、サイズ、焦点、視点など)は、ユーザ101の位置、方位、凝視方向などにおける変化に応答して、リアルタイムで変化する。上記実施例に合わせると、RWOがHMD102のディスプレイの下側の右手周辺部分において最初に提示されるが、少ししてから、ユーザ101が頭を右に向ける場合、それに従って、挿入位置が左にマッピングされ得る。同様に、RWOが、凝視方向における変化に起因して周辺からユーザのビューの中心に近づくにつれて、RWOは、焦点が増加して提示されてもよい。
明確にするために図3には図示されないが、動作164は、追加のRWOによりVRSを漸進的に拡張し続けてもよい。この漸進的な拡張は、例えば、第1の基準が満たされなくなるまで(例えば、ユーザが方向感覚を回復されていない)、または別の実施例として、動作166が、第2の基準が満たされると判定するまで続けてもよい。
動作162の第1の基準と同様に、動作166の第2の基準はまた、ユーザの方向感覚の喪失の予め定められたインジケータに対応する。しかしながら、第2の基準と関連付けられた予め定められたインジケータは、第1の基準と同一でなくてもよい。例えば、第2の基準の予め定められたインジケータは、方向感覚の喪失を示唆するユーザの振る舞いにおける異なるパターンと関連付けられてもよい。別の実施形態では、第2の基準は、第1の基準とインジケータの一部を共有するが、基準を満たすのに適格なものについての異なる閾値を有してもよい。更なる実施形態では、第2の基準は、方向感覚を失ったユーザが第1の基準が満たされた後にどのように拡張VRSに応答するかに応じたインジケータに対応してもよい。更なる追加の実施形態では、第2の基準は、上記言及されたインジケータの組み合わせを含んでもよい。
動作166によって第2の基準が満たされると判定されると、VRSまたは拡張VRSから現実世界ビュー(RWV)への切り替えが行われる。特定の実施形態では、RWVはFFC106によって提供される。RWVへの切り替えは、いくつかの方法において行われてもよい。例えば、一部の実施形態では、切り替えは高速であってもよい。他の実施形態では、切り替えは、RWVがフェードインする間にフェードアウトするVRSと共に低速に行われてもよい。更なる他の実施形態では、切り替えは、ユーザによってカスタマイズ可能な方式において行われてもよい。
明確にするために図3には図示されないが、動作166は、動作162と並列して行われてもよい。したがって、第2の基準が満たされるとの判定は、必ずしも第1の基準が満たされるのと同一の条件ではない。一部の実施形態では、動作166は、第2の基準が動作162または164について考慮することなく満たされると判定してもよい。例えば、第1の基準及び第2の基準の両方が同一の瞬間に満たされると判定される場合、動作166は、一部の実施形態に従って制御する。特定の他の実施形態では、動作162が肯定的な判定を行い、VRSを拡張し始めるが、動作166もその時に肯定的な判定を行う場合、動作166は制御し、切り替えが拡張の代わりに行われてもよい。よって、それらの実施形態では、動作166は、動作162及び164よりも「優先」することができる。加えて、動作166は、一部の実施形態では、肯定的な判定が行われるとVRSまたは拡張VRSを中断してもよい。
第1の基準及び第2の基準のいずれもがなおも満たされていないと判定される場合(例えば、ユーザが方向感覚を回復されている)、動作168は、拡張なしにVRSを再開することを続行する。一部の実施形態に従って、動作168は、肯定的な判定が動作162または166によって行われたポイントよりも、VRSの時間経過内の前のポイントにおいてVRSを再開してもよい。
図4は、図3の動作など(動作160〜168)、本発明に一貫した動作を実行することが可能なコンピュータ110内の特定の構成要素を例示する。特に、HMD102からデータを受信するようにDDL116が示される。一部の実施形態では、DDL116はまた、ユーザ履歴202、ユーザ設定204、及びVRSコンテキストデータ206から入力を受信する。
一部の実施形態に従って、ユーザ履歴202は、特に、それが方向感覚の喪失に関連するので、ユーザ情報についての記憶として機能してもよい。例えば、ユーザ履歴202は、方向感覚の喪失のインスタンスに対応するVRSのインスタンスのログを含んでもよい。更なる実施例として、ユーザ履歴は、DDL116に、飛んでいることに関連するVRSの存在において方向感覚の喪失の履歴をユーザが有することを示してもよい。更なる別の実施例として、ユーザ履歴は、ユーザが午後よりも遅い夕方に方向感覚を失う可能性がより高いことを示してもよい。
ユーザ設定204は、DDL116と通信し、特定のユーザ及び方向感覚の喪失への対処に関連する情報を記憶する別の構成要素である。ユーザ設定のケースでは、方向感覚の喪失と関連付けられたパラメータは、ユーザによって設定及び制御されてもよい。例えば、特定の条件の下に乗り物に酔う傾向があるユーザは、ユーザ設定の下にそのように示してもよい。ユーザ履歴情報から、DDL116は、例えば、それらの示された条件の下に乗り物酔いについてのその敏感性を上方に調節してもよい。一部の実施形態では、この増加した敏感性は、それらの示された条件と関連付けられた方向感覚の喪失の予め定められたインジケータについての閾値を低下させることによって実施されてもよい。
他の極端な例では、方向感覚の喪失について高い一般公差を有するユーザは同様に、ユーザ設定の下にそのように示してもよい。このケースにおけるDDL116は、一部または全てのパラメータにわたって方向感覚の喪失についての敏感性を下方に調節してもよい。敏感性を特定のインジケータに減少させることは、方向感覚の喪失についての予め定められたインジケータについての増加した閾値によって反映されるように、方向感覚の喪失についての予め定められたインジケータについての閾値の増加によって実施されてもよい。結果として、ユーザは、方向感覚の喪失の特定の分類及び強度を「プレイスルー」することが許可される場合がある。
本明細書で使用される「予め定められたインジケータ」が、このインジケータが変更されず、または恒久的であり、単にそれらが判定を行う際にDDL116によってそれらが使用されるそれらのインスタンスにおいて定義されまたは定義可能であることを暗示することを意味しないことに留意されるべきである。例えば、目眩と関連付けられた予め定められたインジケータは、3秒の間の閾値60Hz(少なくとも3秒の間の毎秒60の動き)を通じて、水平性眼振特性(無意識な目の動き)について目の動きを測定することをから構成され得る。ユーザ履歴202、ユーザデータ204、及びVRSコンテキストデータ206に関する更なる情報が収集されるにつれて、目眩と関連付けられたこの予め定められたインジケータは、上記言及された測定可能なもののうちのいずれかに関して変化することがある。追加の実施形態は、ユーザ履歴202、ユーザ設定204、VRSコンテキストデータ206、ならびにユーザ及び/またはVRSの状態に応じて、予め定められたインジケータを定期的にまたはリアルタイムで変更または更新させてもよい。更なる実施形態は、とりわけ、調査データ、科学的データ、収集ユーザデータ、及び機械学習データに基づいて、新たな予め定められたインジケータを完全に導入してもよい。
DDL116は加えて、VRSコンテキストデータ206から入力を受信し、VRSコンテキストデータ206は、表示されており、または表示されることになる対応するVRSのコンテキストに関するメタデータを提供する。特定の実施形態では、DDL116は次いで、ユーザ履歴202及びユーザ設定204から取得されたデータに従ってパラメータを調節してもよい。例えば、DDL116は、次のシーンが飛ぶことを伴うことを示すVRSコンテキストデータ206に基づいて、飛行条件の下に乗り物酔いに掛けられたユーザについての方向感覚の喪失についての敏感性を微調整してもよい。
DDL116は、センサデータに基づいて、第1及び/または第2の基準が満たされるかどうか、更にいずれかのユーザ履歴202、設定204、及びVRSコンテキストデータ206について調節されるかどうかについての判定を行うことによって、ユーザの方向感覚の喪失を評価するように動作可能である。一実施形態では、DDL116は、方向感覚の喪失のいくつかのカテゴリから検出及び区別することが可能である。例えば、目眩の兆候は、乗り物酔いの兆候または複視の兆候とは異なる場合がある。したがって、DDL116は、方向感覚の喪失の特定の分類及び/または強度を解決するために、ユーザ履歴202、設定204、及びコンテキストデータ206に対して相互参照された、到着するデータを解読することが可能であり得る。
第1の基準が満たされるが、第2の基準が満たされない場合、方法は、第1の基準手順208に進む。第2の基準が満たされる場合、方法は、第2の基準手順214に進む。更に、基準のいずれかが満たされる場合、方法はまた、VRSコンテンツ修正器224に進む。
第1の基準手順208は、第1の基準が満たされたとの判定に続いて、現実世界オブジェクトを選択し、VRSに挿入する処理を実施する。例えば、第1の基準手順208の下、RWO選択モジュール210は、FFC106の視野内のどのRWOがVRSに拡張されることになるかを特定する。特定の実施形態では、モジュールの選択処理は、特定のオブジェクトが方向感覚の喪失のタイプ(複数可)及び/または程度(複数可)を軽減する際に有することが予測される有効性(または、予測される方向感覚回復有効性)に基づいている。この選択処理の実施形態は、図12において更に詳細に説明される。
オブジェクトが選択されると、方法は、RWO挿入ロジック212に進む。挿入ロジック212は、仮想現実ディスプレイ上で現実世界からの選択されたオブジェクトをマッピングすることに関与する。そのようにして、それは、前に議論されたように、RWOの位置、サイズ、焦点、及び視点のパラメータを考慮する。
第2の基準が満たされる場合、方法は、第2の基準手順214に進み、第2の基準手順214は、VRS−RWV切り替えロジック216、及び一部の実施形態では、現実世界音声挿入ロジック222を含む。切り替えロジック216は、VRSまたは拡張VRSからRWVにどのように切り替えるかを判定する。一部の実施形態では、切り替えは高速に行われてもよく、他では低速に行われてもよい。代わりに、切り替えは、VRSとRWVとの間に介入した中間遷移スクリーン、例えば、ブランクスクリーン、単語を有するスクリーン、または他に、方向感覚を失ったユーザをVRSの外にすることを容易にすることが可能なスクリーンが伴ってもよい。一部の実施形態では、切り替える方式は加えて、ユーザ履歴202、設定204、及びVRSコンテキスト情報206から取得されたデータに基づいてもよい。
現実世界音声挿入ロジック222は、VRS−RWV切り替えロジック216が開始すると、現実世界からHMD102のスピーカ142の音声出力に音声を挿入する。切り替えロジック216と同様に、現実世界音声挿入ロジック222は、音声出力をHMD102のディスプレイ出力と一致させることによって、ユーザをVRSから現実世界経験に遷移させる。そのように行う際、HMD102を完全に外すことなく方向感覚を回復する、より十分な機会をユーザに与え得る。
方法はまた、基準のいずれかが満たされる場合にVRSコンテンツ修正器224に進み、そこでは、VRSは、第1の基準手順208または第2の基準手順214を達成するように修正されてもよい。一部の実施形態では、VRSコンテンツ修正器224は、中断−減速構成要素226及びバックアップ−再開構成要素228を含む。それらは、例えば、第1の基準が満たされ、それによって、ユーザがVRSよりも方向感覚を回復することにより集中することができるとき、VRSを減速させることが可能である。一方で、第2の基準が満たされるとき、VRSが、構成要素226によって中断するように作成される。
VRSが減速し、中断するように作成されると、バックアップ−再開構成要素228は、VRSをいつ再開するか、及びVRSをどのように再開するかを判定する。一部の実施形態では、VRSが特定の長さにおいて「巻き戻される」べきであると判定されてもよい。特定の他の実施形態では、VRSは、「巻き戻しする」ことなく単純に再開するように作成されてもよい。更なる実施形態では、VRSコンテンツ修正器は、減速したVRSを再開してもよく、それによって、ユーザは、VRSに再順化するための期間が提供され、その期間の後、VRSは、減速または中断の前であったレートにおいて続行してもよい。
第1の基準手順208及び第2の基準手順214、ならびにVRSコンテンツ修正器224の各々は、レンダリングモジュール220と通信し、レンダリングモジュール220は、HMD102に提供されることになるコンテンツをレンダリングする。一部の実施形態では、レンダリングモジュール220は、1つ以上のCPU、GPU、メモリ、及び音声ドライバを含んでもよい。コンテンツがレンダリングされると、完全VRS、拡張VRS、またはRWVであるかに関わらず、レンダリングモジュール220は、HMD102にレンダリングされたコンテンツを通信する。
図5Aは、設定内に位置するユーザ101がHMD102を身に着けている現実世界設定230を示す。現実世界設定230は、コーヒーテーブル238、ラグ240、椅子236、ランプ234、TV232、及びパッケージ242を含む、オブジェクトのセットを含む。設定はまた、床237、遠心壁パネル233a、左壁パネル233b、及び右壁パネル233cを含む、境界条件のセットを含むように示される。ユーザは、パッケージ242を除き、上記言及されたオブジェクト及び境界条件の全てを包含し得る「志望する」視野(図示せず)を有するように位置し、方向付けられる。HMD102に取り付けられた前向きカメラ106は、同様の視野231を共有するように示される。
図5Bは、VRSがある時間点においてHMD102を身に着けているユーザ101にどのように見えるかの二次元表現である。VRS250aは、川256を下るボート258のうちの1つである。ボート258の下流は、ボートの左手側のキャラクタ254である。更なる下流は、ボートの右手側の家257である。
図5Cは、HMD102を身に着けているユーザ101に見えるように、現実世界設定230の現実世界ビュー250bの二次元表現である。本実施形態では、FFC106によってキャプチャされた現実世界ビュー250bは、パッケージ242を除き、上記言及された境界条件及びオブジェクトの全てを含む。
概して、RWV250bは、ユーザの志望するビューにリアルタイムで動的に対応する。よって、ユーザが偶然頭を左方向に向ける場合、パッケージ242は、RWVに入る場合があり、コーヒーテーブル238及びラグ240は、RWVから出る場合がある(このビューは図示されない)。
ユーザの方向感覚の喪失を示す第1の基準が満たされる(第2の基準は満たされないが)と判定される場合、コンピュータのDDL116は、第1の基準手順208を実施することを続行してもよい。一部の実施形態では、これは、RWO選択モジュール210によって第1の現実世界オブジェクトを選択及び挿入することを伴う。結果として、VRS250aは、拡張VRS250cになり、拡張VRS250cは、コーヒーテーブル238及びラグ240の重ね合わされた画像を除き、VRS250aと同様である。加えて、VRSは、時間内に進展し続けており、近づいているキャラクタ254によって明確にされる。
この特定の実施形態では、コーヒーテーブル238及びラグ240が単一の統一されたオブジェクトとして共に選択及び挿入されているのに対し、現実世界内では、それらは、別個として感知されてもよいことに留意されるべきである。他の実施形態では、2つのオブジェクトが別々に挿入されてもよく、本図面は、RWO選択モジュール210の重要な態様を明確に示す。
本実施形態では、RWO選択モジュール210は、DDL116によって判定されるような方向感覚の喪失の特定のカテゴリまたは分類、例えば、接地の感覚の喪失または「船に慣れる」ことの発症に反対に作用するように構成される。ビュー内のオブジェクトのセットについて、RWO選択モジュール210は、2つのオブジェクトの組み合わせが、それらのいずれか1つの単独よりも高い有効性を与え得ると判定してもよい。結果として、選択モジュール210は、1つとして挿入されることになる2つの撮像されたオブジェクトを確立してもよい。これが当てはまり得るように、この実施形態における選択モジュール210は、接地についての参照のフレーム(例えば、z軸)を提供する間、ラグ240がx及びy軸について同一に行うことが不適切である場合があると判定することが可能である。また、コーヒーテーブル238単独に逆が当てはまると判定されてもよい。よって、2つは、挿入されることになる単一のオブジェクトとして融合及び取り扱われてもよい。特定の他の実施形態では、3つ以上の個々のオブジェクトまたは境界条件は、RWO選択モジュール210によって、共に挿入されるように集約されてもよい。更なる実施形態では、オブジェクトは、集約なしに個々に挿入されてもよい。
ラグ240は、前の実施例では、接地要素とも称されてもよい。一部の実施形態に従って、接地要素は、現実世界オブジェクトが伴うときに、高められたオブジェクト認識、空間認識、及び/またはユーザに対する判断の信頼性を提供する、重要なオブジェクト、境界条件、またはそれらの一部である。
また、家257は、拡張VRS250cの本実施形態ではビューから曖昧にされることに留意されるべきである。特定の他の実施形態では、家257は、何らかのレベルの可視性を保持し得る。
一部の実施形態に従って、何らかの期間の後、第1の基準がなおも満たされている(第2の基準は満たされないが)と更に判定される場合、追加のオブジェクトが拡張VRS250cに挿入されて、図5Eの拡張VRS250dになってもよい。本実施形態において挿入されるオブジェクトは、椅子236である。椅子に付随するのは、接地要素237aであり、接地要素237aは、一部の実施形態に従って、RWO選択モジュール210及びRWO挿入ロジック212によって椅子236の画像に付加される。集約されるコーヒーテーブル238及びラグ240の挿入と同様に、選択モジュール210及び挿入ロジック212は、椅子236が接地要素237aと共に挿入されるときにより有効であると判定してもよい。それらの実施形態では、接地要素237aは、ユーザ101に、椅子236単独よりも高い接地の感覚及び空間認識をもたらし得る。
前に議論されたように、第1の基準手順208は、第1の基準の否定的な判定または第2の基準の肯定的な判定がされるまで、追加のRWOによりVRSを漸進的に拡張し続ける。図5Fは、更なる拡張VRS250eの実施形態であり、そこでは、ランプ234が選択及び挿入されている。コーヒーテーブル238及び椅子236と同様に、ランプ234は、接地と共に挿入される。しかしながら、ランプ234のケースでは、2つの接地要素、遠心壁パネル接地要素235及び地面接地要素239がランプ234の画像に付加される。特定の実施形態では、複数の境界条件にオブジェクトを接地させることは、ランプ234単独、または単一の接地要素を有するランプ234単独のいずれかよりも潜在的に高い接地の感覚及び空間認識をもたらし得る。
特定の実施形態に従って、オブジェクトが接地されるべき程度の判定は、より高い程度の接地をもたらすこととVRSに干渉することとの間のトレードオフの分析を含む。例えば、それは、追加の接地がユーザをより高い程度で接地させることを支援し得る一方で、そのような追加の接地が、表示されているVRSまたは拡張VRSに干渉することも発生する場合があるケースであり得る。よって、RWS選択モジュール210及び挿入ロジック212は、特定の実施形態では、このトレードオフを考慮してもよく、それに従って接地の程度及びタイプを判定してもよい。ランプ234のケースでは、例えば、接地要素235及び239は、それがVRSとの干渉が同時に発生することよりも接地の効果が上回ると判定されていてもよい。一方で、接地要素235または239が、それらが接地をもたらすよりも高い程度でVRSまたは拡張VRSに干渉すると判定される場合、この接地要素235及び239は省略されてもよい。
特定の他の実施形態では、DDL116は、検出された方向感覚の喪失の分類及び強度に基づいて、RWO選択モジュール210がVRSを拡張するために現実世界ビュー250bの四半部全体を挿入するべきであると決定してもよい。オブジェクトの挿入のこの方法の結果は、「分割スクリーン」ディスプレイであってもよい。図5G及び5Hは、この形式で拡張されたVRSを示す。分割スクリーン拡張VRS250f及び250gは、スクリーンが分割される方法のみにおいて異なる。例えば、拡張VRS250fは、水平分割スクリーン拡張VRSへのトップダウンのフェードインであり、250gは、拡張された水平分割スクリーン拡張へのボトムアップのフェードインである。方向感覚の喪失のユーザの状態、ユーザ履歴202、ユーザ設定204、及びコンテキスト情報206についてDDL116によって提供される情報を含むいくつかの因子に応じて、第1の基準手順208(例えば、DDL116、RWO選択モジュール210、及び挿入ロジック212)は、2つのうちのどれを実施するかを判定する。
図7A及び7Bは、垂直分割スクリーン拡張VRSへの右から左へのフェードイン250h及び左から右へのフェードイン250iをそれぞれ示す。再度、第1の基準手順は、分割スクリーン拡張VRSのどれが実施されることになるかを判定する。図示されないが、現実世界コンテンツによりVRSを拡張するいくつかの追加の方法が存在する。当業者は、VRSを拡張するそれらの追加の方法が本発明の精神及び範囲から逸脱しないことを認識するであろう。例えば、図5E、5F、7A、及び7Bは、ほぼ等しく分割された分割スクリーン拡張VRSを示すが、分割は、更に多くのVRS及び少ないRWVを含んでもよく、逆も同様である。本発明の更なる実施形態は、分割の異なる形状、例えば、角分割、斜め分割、非線形分割などを含んでもよい。
図6は、拡張VRS252を提示されているユーザ101の第3者の視点である。拡張VRS252は、キャラクタ272、扉270、RWOのコーヒーテーブル238、及びラグ240を含むように示される。ユーザ101は、コントローラ103aを保持している間の、波線290、292、294、及び296によって示されるように、動きのいくつかの異常パターンを見せるように示される。HMD102上のセンサ、及び他に、仮想現実インタラクティブ空間内のセンサは、第1の基準が満たされるとコンピュータ110が判定すると、それらの異常パターンをキャプチャする。FFC106は、コーヒーテーブル238及びラグ240の画像をキャプチャし、それらは次いで、コンピュータ110によって仮想現実シーンに選択及び挿入される。結果は、現実世界オブジェクトの画像がVRS上で重ね合わされる拡張VRS252である。
特定の他の実施形態では、コンピュータ110は、加えて、オブジェクトに衝突することまたはオブジェクト上で躓くことなど、潜在的な現実世界の危険をユーザに警告するために、拡張VRSを提示してもよい。例えば、ユーザ101がVRSの過程の間にコーヒーテーブル238に接近して入り込むことになった場合、コンピュータ110は、仮想現実インタラクティブ空間内のHMD−FC108、FFC106、または追加のカメラを介して躓く潜在的な危険を予測することが可能であり得る。一部の実施形態に従って、コンピュータ110は、ユーザに対する現実世界内のその位置に対応する位置に、VRSに危険なオブジェクトの画像を挿入することによって、ユーザ101を警告するように構成される。例えば、コーヒーテーブル238がユーザの「2時」になるように発生する場合、コーヒーテーブル238の画像は、ビューの中心線から60度でVRSディスプレイ140上に重ね合わされてもよい。
特定の実施形態では、危険なオブジェクトは、それらが現実世界内にあるよりも近くに見えるように挿入されてもよい。他の実施形態では、危険なオブジェクトは、車のサイドミラーと同様に、それらが実際にあるよりも遠くに見えるように重ね合わされてもよい。更なる実施形態では、危険なオブジェクトは、それが実際に現実世界にあるのと同程度に遠くまたは近くに見えるように提示されてもよい。
本質的にユーザの方向感覚の喪失がない拡張VRSの更なる実施形態は、ユーザによって制御されるように「要望に応じた」拡張を含んでもよい。例えば、ユーザは、TV上でプレイするスポーツゲームのスコアに興味があることがある。HMD102を取り除くことによってVRSから完全に離れる代わりに、ユーザは、VRSを少しの間に拡張するようにコンピュータに指示することができる。一部の実施形態では、これは、発声制御、例えば、「3秒の間TVを見せてください」を介して行われてもよい。他の実施形態では、命令は、物理ボタンを介してなど、要望に応じてVRSを拡張するように動作可能なコントローラを通じて行われてもよい。更なる実施形態では、ユーザは、見ることを望んでいる方向に指さすことによって何が拡張されることになるかをコンピュータに指示することが可能である。
図8は、現実世界コンテンツによりVRSをどのように拡張するかを判定する方法の実施形態を示すフローチャートである。最初に、VRSは、402においてHMD102上で表示される。VRSが表示されている間、動作404、406、及び408はそれぞれ、HMD102からセンサデータを取得し、ユーザ履歴202、ユーザ設定204、及びVRSコンテキスト情報206を取得する。ステップ412において、第1の基準が満たされるかどうかについての決定が行われる。「いいえ」である場合、方法は、402に循環して戻る。「はい」との判定が行われる場合、方法は、動作414に進み、動作414は、VRSにRWOを挿入する。特定の実施形態に従って、RWOは、VRS上で部分的にオーバレイされてもよい。特定の他の実施形態では、部分的現実世界ビューは、動作414においてVRS上でオーバレイされてもよい。VRSのコンテキスト及びRWOがVRSに干渉する程度に応じて、動作416は、それに従って拡張VRSを減速させてもよい。
方法は次いで、決定418に進み、決定418は、第2の基準が満たされるかどうかを判定する。「いいえ」である場合、方法は、動作402に循環して戻り、そこでは、第1の基準が満たされ続ける場合に追加のRWOが挿入されてもよい。一方で、回答が「はい」である場合、方法は、動作420に進み、動作420は、VRSから現実世界ビューに切り替える。VRSは続いて、切り替えが行われると、動作422において中断される。方法は次いで、動作424に進み、動作424は、必要に応じてVRSを修正する。修正は、より前の時間点にVRSを「巻き戻す」ことを含んでもよい。示される実施形態に従って、方法は、VRSが表示されている間に方法を繰り返し続ける。
このフローチャートにおける様々な動作が順次提示及び説明されるが、当業者は、動作の一部または全てが異なる順序で実行されてもよく、組み合わされてもよく、もしくは省略されてもよく、または並列して実行されてもよいことを認識するであろうことに留意されるべきである。例えば、前に議論されたように、方法は、決定412において「はい」の判定を最初に取得する必要なしに、決定418に進んでもよい。
図9は、図3において説明されたのと同様の拡張VRS方法の実施形態である。例示を目的に、第1の基準が満たされなくなるまで、更新されたセンサデータを取得し、追加のRWOによりVRSを漸進的に拡張する動作430及び432が規定される。図9によって示される実施形態は、ユーザ応答に基づいてVRSを拡張する漸進的な性質を明確に示す。
同様に、図10はまた、RWO選択処理を強調する、VRSを拡張する方法の追加の実施形態である。動作444は、ユーザの方向感覚の喪失のカテゴリ及び強度を識別する役割を果たす。この実施形態では、ユーザの方向感覚の喪失の様々な分類が差別化及び定量化される。例えば、特定の実施形態は、重力の感覚の喪失から、複視から、目眩のユーザ兆候を区別し得る。また、方向感覚の喪失の3つのカテゴリのうち、目眩成分のみが深刻であり、複視及び重力の感覚の喪失が軽度及び適度それぞれであると判定されると見出し得る。
方法は次いで、動作446に進み、そこでは、ユーザ履歴202及びユーザ設定204が取得され、方法は更に、動作448に進み、そこでは、方法がRWOを検出し、同一の特定の空間特性を判定する。例えば、方法は、3つのオブジェクトの合計を検出してもよく、第1のオブジェクトが静止しておらず、第2のオブジェクトが部分的に隠され、非常に遠くであり、第3のオブジェクトが動いておらず、完全に見えており、それほど遠くなく、接地され、3次元の深さを有すると判定してもよい。
動作448から、方法は、動作450に進み、動作450は、動作444において識別された分類及び強度に対して方向感覚の喪失を軽減する際に各々の検出されたオブジェクトの推測される有効性、ならびに動作446において取得されるユーザデータ(例えば、ユーザ履歴202、ユーザ設定204)を判定する。推測される有効性はまた、予測される方向感覚の回復有効性として知られてもよい。例えば、動作450は、3つの検出されたオブジェクトのうち、第3のオブジェクトが方向感覚の喪失のユーザの特定の状態に対し、第1または第2のオブジェクトの有効性よりも高い予測される方向感覚の回復有効性(ERE)を有すると判定してもよい。動作450は更に、第1のオブジェクトが、第3のオブジェクトよりも低いEREを有するが、第2のオブジェクトよりも高いEREを有すると判定してもよい。例えば、動作450によって、第1のオブジェクトが複視に反対に作用することにおいてより有効であり、第2のオブジェクトが重力の感覚の喪失に反対に作用することにおいてより有効であると判定されてもよい。動作444によって提供されるユーザの方向感覚の喪失の検出されたプロファイルのせいで、動作452は、よって、その挿入シーケンスまたは順序について第3のオブジェクトよりも第1のオブジェクトを選択してもよい。ユーザが複視よりもより高い程度の重力の感覚の喪失を明確に示すケースである場合、次いで、動作452は、シーケンス内で3つのオブジェクトを異なって命令してもよい。
動作450が、どのオブジェクトがVRSに拡張されることになり、どの順序でオブジェクトがVRSに拡張されることになるかを判定すると、動作454は、挿入処理を実行することを続行する。現在の実施例では、第3のオブジェクトは、RWSに最初に挿入される。よって、動作454は、図4のRWO挿入ロジック212の構成要素によってインスタンス化されてもよい。更新されたセンサデータはその後、例えば、ユーザが1オブジェクト拡張VRSにどのように応答したかを判定するために、動作456において取得される。例えば、動作456が、第1の基準がなおも満たされていると判定する場合、第2の選択されたオブジェクトは更に、動作458によって、1オブジェクト拡張VRSに拡張されて、2オブジェクト拡張VRSになる。同一の実施例に続いて、第2のオブジェクトは次いで、動作458を介してVRSに挿入されてもよい。
また更に、動作458は、第1の基準が満たされなくなる(または、第2の基準が満たされる)まで、追加のオブジェクトによりVRSを漸進的に拡張し続ける。動作458によって判定されるように、第1の基準が満たされなくなるケースの場合、方法は、動作460に進み、そこでは、VRSが再開される。本実施形態の特定の特徴は、明確にするために意図的に省略されている。例えば、動作458はまた、前に議論されたように、第2の基準が満たされると別々に判定される場合、VRSの拡張を停止するように構成されてもよい。
図11Aは、VRS拡張動作とユーザがHMD102のディスプレイを介して提示されるであろうものとの間の関係を示す図である。仮想現実シーンストリーム502は、ブロックまたはセグメントのシーケンスS1〜S16から構成されることになるように示される。各々のセグメントは、ストリーム内のVRSコンテンツの任意に定義されたストレッチを表す。同一のことが、HMDディスプレイストリーム504及び現実世界ビューストリーム506に当てはまる。矢印532は、VRSストリーム502がHMDストリーム504を供給していることを示す。HMDディスプレイストリーム504がVRSストリーム502またはRWVストリーム506から構成される程度は、いずれか1つが各々のブロックまたはセグメント内で占有するエリアに比例し、グレーの印影パターンは、VRSストリーム502、及び満たされていないパターン、RWVストリーム506を表す。
したがって、HMDセグメントD1〜D4は、VRSストリーム502のコンテンツD1〜D4によって完全に構成されるように示される。例えば、セグメントD3(518)は、S3と同一のコンテンツを有するように示される。セグメント518がユーザ101にどのように見えるかは、ボート507、キャラクタ503、家505、及び川509を含むスナップショット501aによって表される。
本実施形態では、HMDディスプレイストリーム504は、第1の基準がセグメントD4とD5との間で満たされると508、VRSストリーム502のみから構成されることを中止する。セグメントD5は、VRS502及びRWVストリーム506の両方から構成されるように示され、RWVストリーム506は、セグメントを陰影パターン520a及び満たされていないパターン520bのサブセグメントに区分化することによって表される。サブセグメント520bは、処理510、第1のRWOの挿入の結果を表す。セグメントD5の残り、520aは、残りのVRSストリーム502を表す。D5の対応するスナップショットが520aに示される。第1のRWOは、スナップショット501fに対応するRWVセグメントR5からキャプチャされる。明確にするために、現実世界ビューは、ストリームの過程を通じて変わらないままであると想定される。
スナップショット501bは、コーヒーテーブル511及びラグ513の重ね合わされた画像を除き、前のスナップショット501aと同様である。特に、シーン501bの家505は、505aにおいてなおも部分的に可視的である。前に議論されたように、セグメント520のこのケースにおいて、挿入されるRWOが他に隠すものについての可視性の程度を維持することを含む、VRS上にRWOを重ね合わせるいくつかの方法が存在する。
セグメントD5〜D10の過程を通じて、スナップショット501c及び501dのそれぞれによって示される、第2のRWO512及び第3のRWO514がHMDディスプレイストリーム504に漸進的に拡張されることが示される。特に、スナップショット501cは、椅子515及び接地要素517の両方になるように第2のRWOを記す。
現在の実施形態では、これは、漸進的により大きく比例した満たされないサブセグメントによって表される。例えば、HMDディスプレイセグメントD9では、2つの追加のRWOは、挿入されることになるように示される。対応するスナップショット501cは、VRSストリーム502のセグメントD9上に重ね合わされた3つのRWOの合計を記す。また、明確にするために、VRSセグメントS1〜S16は、ストリームの過程を通じて変わっていないと見なされる。
本実施例では、516において、第1の基準が満たされなくなると判定される。この判定に続くセグメントD11は、前のシーンD10と同様の区分化を有するように示される。しかしながら、D10において前に満たされないサブセグメントであったものは、D11において、現在、部分的に陰影されたサブセグメント530である。よって、サブセグメント530は、拡張VRSと非拡張VRSとの間の遷移状態を表す。対応するスナップショット501eは、セグメントD11がユーザにどのように見えるかを例示する。特に、キャラクタ503及び家505などのVRSコンテンツは、RWO515a、523、511a(付随する接地要素と共に)がビューからフェードアウトされている間にビューに再度戻されている。まさに次のセグメントD12は、VRSストリームに再度遷移することが完了したことを表す、拡張されていないように示される。
図11Bは、図11Aと同様に、3つの後続のRWOがRWV556からHMDディスプレイストリーム554に挿入されることにより満たされている第1の基準を示す。しかしながら、特に、第2の基準が満たされるとの判定566は、セグメントD10の後に行われる。判定566に続くのは、VRSコンテンツ572の中断またはバックアップを含む。本実施形態では、中断/バックアップ572は、セグメントS4にVRSストリームを巻き戻し、中断する。特定の他の実施形態では、中断/バックアップ572は、他の実施形態よりも遠くに再度巻き戻してもよい。本実施例では、中断/バックアップ572は、第1の基準が満たされる558ポイントの直前に発生するVRSセグメントにマッピングする。これは、ユーザが、方向感覚の喪失の明らかな発症が検出される前のポイントにおいてVRSストリーム552を再開することを可能にし得る。
第2の基準が満たされる判定566に続いて、セグメントD11についてのRWVストリーム556への切り替えがある。D11は、RWO585を維持するが、VRS584の残りをフェードアウトさせ始める。対応するスナップショット551cは、完全な可視性、ならびにTV521及び3つの境界条件を含む、現実世界ビューの残りのフェードインと共に、RWO515、523、511、及び不随する接地要素(517、519、及び513それぞれ)を有するように示される。一方、川509及びボート507を含むVRSコンテンツの残りはフェードアウトされる。
現在の実施形態では、セグメントD12は、スナップショット551eに示されるような完全RWVを含む。本実施形態では、RWVは、第2の基準が満たされなくなると判定されると570、D13まで続ける。D14は、部分的に陰影で埋められた部分のみによって表されるVRSへの再度の遷移状態である。特に、再度遷移されているVRSセグメントは、中断/バックアップ572によって選択されたセグメントである。現在の実施例では、D14は、再開574によってS4において再開される。スナップショット551dは、RWVがフェードアウトされている間にフェードインしているVRSコンテンツを有するように示される。D15は、セグメントS5の非拡張VRSである。明確に示されないが、当業者が提供される実施例から容易に認識するいくつかの代替的な実施形態が存在する。
ユーザ101は、DDL116によって検出されるような方向感覚の喪失を経験したVRSのクリップを他と共有することを望む場合がある。特定の実施形態では、これは、第1または第2の判定が行われることに応答して、VRSの部分を保存し得るコンピュータ110によって可能とされる。VRSのこの部分は次いで、メモリデバイス、ネットワーク化デバイス、またはインターネットを通じて共有可能にされてもよい。
図12は、選択処理600がRWO選択モジュール210によってどのように実行されるかの一実施形態を示す。本実施形態では、現実世界オブジェクトO1〜On 602は、それらの物理特性C1〜Cnについて検出され、その後分析される。物理特性604は、多くのもののなかで、ユーザからの距離、オブジェクトのサイズ、オブジェクトの明度/輝度、境界条件に対するオブジェクトの接地、ユーザに対するオブジェクトの深さ、オブジェクトの静止性、色、コントラスト、水平度、形状、反射性、テクスチャ、可視性、他のオブジェクトへのオブジェクトの接続性、オブジェクトの影効果、他のオブジェクトのセット内のオブジェクトの特異性、オブジェクトの鮮明さなど、空間及び視覚パラメータを含んでもよい。
物理特性は、分析されると、各々の検出されたオブジェクトに有効性ラベルE1〜En 608を提供する。本実施形態では、有効性ラベル付けオブジェクト606は、方向感覚の喪失D1〜Dm 610の個々の分類に反対に作用する際に(例えば、ユーザの方向感覚を回復する)特定のオブジェクトがどの程度有効であると予測されるかの手段である。有効性ラベル608自体は、予測される方向感覚回復有効性(ERE)とは異なってもよい。例えば、特定のオブジェクトについての有効性ラベル608は、そのオブジェクトの物理特性604に主に基づいている。特定のオブジェクトのEREは、そのオブジェクトの有効性ラベルに基づいているが、方向感覚の喪失の特定の状態及び/またはユーザ及びコンテキストデータを考慮して更に判定される。
前に議論されたように、人間の方向感覚の喪失は、いくつかの形式のうちの1つ以上の形式があり得る。仮想現実と関連付けられた方向感覚の喪失の共通する分類は、とりわけ、重力の感覚の喪失(無重力)、バランスの感覚の喪失(無平衡感覚)、体の部分の別の部分に対する相対位置(固有受容)、場所、方位と共に、目眩(そうでないときにオブジェクトが動いているように感じる)、自覚的な目眩(動きが発生していないときに体が動いているように感じる)、船酔い、ぼやけた視覚、複視(複像)、生活への不安を含む。それらの実施例は、方向感覚の喪失の理解された分類及びあまり理解されていない分類の包括的または正式なリストであることを意味していない。それらの実施例は、それらの分類が良好に定義された境界を有し、または相互に排他的であることを暗に示すことを意味していない。
それにも関わらず、特定の実装態様に従って、オブジェクト及び境界条件の特定の視覚及び空間特性は、他よりも方向感覚の喪失の特定の状態について高い有効性を有すると認識される。例えば、それは、遠心壁パネルが自覚的な目眩に対してより有効であり、無平衡感覚については何ら有効でないケースであってもよい。また、それは、地面の境界条件が無平衡感覚及び無重力の感覚に対して有効であるが、目眩、船酔い、または複視については有効でないケースであってもよい。方向感覚の喪失の様々な分類に対する特定のオブジェクトの有効性の程度は、その有効性ラベルによってキャプチャされる。有効性ラベルが定量化されてもよいが、明確にするために、それらは、二値、例えば、「有効」に対して「1」及び「有効でない」に対して「0」で示されている。オブジェクトO1〜Onについての有効性ラベルは、ベクトル624によって示される。
更に、本実施形態はまた、方向感覚の喪失610の各々の検出された分類の強度を測定してもよい。例えば、それは、DDL116によって、D1、D2、D3、及びDmがそれぞれ10、0、5、及び2であると検出されてもよく、D1が目眩を表し、D2が無重力を表し、D3がバランスの感覚の喪失を表し、Dmが複視を表してもよい。明確にするために、各々の分類に割り当てられた値は、強度と積極的に相関付ける任意の単位で与えられる。また、本実施形態では、ユーザデータU1〜Um 612は、ユーザ設定204及び履歴202の「空間」から「方向感覚の喪失の強度空間」にマッピングされる。例えば、ユーザが目眩についての低い許容度を明確に示したが、無重力の感覚について高い許容度を明確に示した場合、U1は、7の値が割り当てられ、U2は、2の値が割り当てられ得る。任意の単位にもあるそれらの値は、敏感性と積極的に相関付ける。測定及び/またはマッピングされるようなパラメータD1〜Dm及びU1〜Umは、ベクトル614によって示される。
提供される実施例では、オブジェクトO1〜On及びそれらの有効性ラベル622は、ユーザの方向感覚の喪失の検出された分類及び強度、ならびにユーザデータ614と比較される。この実施例では、有効性推定器616は、ユーザの状態に対する各々のオブジェクトの予測される方向感覚回復有効性を計算するようにこの情報を処理する。例えば、有効性推定器616は、D及びUに対して有効であるオブジェクトO3が、最も高い予測される方向感覚回復有効性を有すると判定してもよい。結果として、RWO選択モジュール210は、この実施形態に従って、オブジェクトO3 620を選択してもよい。
更なる実施形態では、RWO選択モジュール210は、それらの予測される方向感覚回復有効性に基づいて、オブジェクトの順序またはランクを判定してもよい。この実施形態では、有効性推定器616は、O3、O4、O2、O5、O1などとなるようにオブジェクトO1〜Onのランクを生成してもよい。前に説明された挿入ロジック212は次いで、RWO選択モジュール210の有効性推定器616によって提供されたランクに基づいて、追加のオブジェクトによりVRSを漸進的に拡張してもよい。
図13は、本発明の目的のために使用してもよいHMD102の追加の実施形態を例示する。HMD102は、プロセッサ804、バッテリ806、仮想現実ジェネレータ808、ボタン、センサ、スイッチ810、サウンドローカリゼーション812、ディスプレイ814、及びメモリ816などのハードウェアを含む。HMD102はまた、磁気計818、加速度計820、ジャイロスコープ822、GPS824、及びコンパス826を含む位置モジュール828を含むように示される。HMD102に更に含まれるのは、スピーカ830、マイクロフォン832、LED834、視覚認識のためのオブジェクト/オブジェクト(複数可)836、IRライト838、前方カメラ840、後方カメラ842、凝視追跡カメラ/カメラ(複数可)844、USB846、永続的記憶装置848、振動−触覚フィードバック850、通信リンク852、WiFi854、超音波通信856、及びBluetooth(登録商標)858である。
方法の動作が特定の順序で説明されたが、VRS動作を変更する処理が所望の方法で実行される限り、他の維持動作が動作の間に実行されてもよく、動作が僅かに異なる時にそれらが実行されるように調節されてもよく、または動作が、処理と関連付けられた様々な間隔において処理動作の発生を可能にするシステムで分散されてもよいことを理解されるべきである。
「SWITCHING MODE OF OPERATION IN A HEAD MOUNTED DISPLAY」と題する、2014年3月12日に出願された同時に係属している米国特許出願第14/206,219号の全体的な開示が、参照によって以下で完全に組み込まれる。「METHODS AND SYSTEMS TRACKING HEAD MOUNTED DISPLAY(HMD AND CALIBRTATIONS FOR HMD HEADBAND ADJUSTMENTS)」と題する、2014年3月13日に出願された同時に係属している米国特許出願第14/658,123号の全体的な開示が、参照によって以下で完全に組み込まれる。「MOTION SICKNESS MONITORING AND APPLICATION OF SUPPLEMENTAL SOUND TO COUNTERACT SICKNESS」と題する、2015年2月5日に出願された同時に係属している米国特許出願第14/615,115号の全体的な開示が、参照によって以下で完全に組み込まれる。「METHODS AND SYSTEMS TRACKING HEAD MOUNTED DISPLAY(HMD AND CALIBRATIONS FOR HMD HEADBAND ADJUSTMENTS)」と題する、2014年3月13日に出願された同時に係属している米国特許出願第14/658,123号の全体的な開示が、参照によって以下で完全に組み込まれる。
1つ以上の実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コードとして製造されることができる。コンピュータ可読媒体は、データを記憶することができるいずれかのデータ記憶装置であり、データは、コンピュータシステムによってその後読み込まれることができる。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワークアッタチドストレージ(NAS)、リードオンリメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープ、ならびに他の光学及び非光学データ記憶装置を含む。コンピュータ可読媒体は、ネットワーク接続されたコンピュータシステムを通じて分散されたコンピュータ可読有形媒体を含むことができ、それによって、コンピュータ可読コードが分散形式で記憶及び実行される。
上記実施形態が理解を明確にすることを目的にある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正が実施されることができることが明らかである。したがって、本実施形態は、例示的であり、非限定的であると見なされることになり、実施形態は、本明細書で与えられた詳細に限定されないが、添付の特許請求の範囲及びその同等物内で修正されてもよい。

Claims (15)

  1. ヘッドマウントディスプレイ(HMD)内に表示された仮想現実シーンの変更方法であって、
    前記HMD上のセンサからセンサデータを取得し、前記センサは、慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための基準が満たされると判定するために前記センサデータを処理し、前記基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応し、前記拡張仮想現実シーンは、前記仮想現実シーンの修正されたバージョンであり、
    前記基準が満たされるとの前記判定に基づいて、前記拡張仮想現実シーンについて、現実世界オブジェクトの少なくとも一部を現実世界ビューから前記仮想現実シーンにオーバレイし、前記現実世界ビューは、前記HMDの1つ以上のカメラによってキャプチャされ、
    1つ以上の現実世界オブジェクトを前記仮想現実シーンにオーバレイした後、前記仮想現実シーンを中断し、
    前記基準が満たされなくなると判定されると、前記仮想現実シーンを再開する、
    方法。
  2. 前記現実世界オブジェクトが前記仮想現実シーンにオーバレイされて前記拡張仮想現実シーンが提供された後に、前記基準がなおも満たされていると判定し、
    前記基準がなおも満たされている間に、前記現実世界ビューからの追加の現実世界オブジェクトのオーバレイを続行し、追加の現実世界オブジェクトのオーバレイの続行では、前記拡張仮想現実シーンに現実世界オブジェクトが漸進的に追加される、請求項1に記載の方法。
  3. 前記追加の現実世界オブジェクトは、既に挿入された前記現実世界オブジェクトの拡大されたビューを含む、請求項2に記載の方法。
  4. ヘッドマウントディスプレイ(HMD)内での表示のために仮想現実シーンを修正する方法であって、
    前記HMD上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための第1の基準が満たされると判定するために前記データを処理し、前記第1の基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第1の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第1の現実世界オブジェクトを挿入し、前記第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された1つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記HMD上の前記センサからのデータは更に、前記第1の現実世界オブジェクトが前記仮想現実シーンに挿入されて前記拡張仮想現実シーンが提供された後、前記第1の基準がなおも満たされていると判定するために取得及び処理され、追加の現実世界オブジェクトは、前記第1の基準が満たされなくなると判定されるまで漸進的に挿入される、
    方法。
  5. ヘッドマウントディスプレイ(HMD)内での表示のために仮想現実シーンを修正する方法であって、
    前記HMD上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための第1の基準が満たされると判定するために前記データを処理し、前記第1の基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第1の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第1の現実世界オブジェクトを挿入し、前記第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された1つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記HMD上の前記センサからのデータは更に、前記仮想現実シーンの前記現実世界ビューへの切り替えを行うための第2の基準が満たされると判定するために取得及び処理され、前記第2の基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときの前記ユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応し、前記切り替えには、前記仮想現実シーンのフェードアウトと、現実世界ビューのフェードインとが含まれる、
    方法。
  6. 前記第1の現実世界オブジェクトは、前記第1の現実世界オブジェクトが前記現実世界内にある位置に対応する前記仮想現実シーン内の位置に挿入される、請求項5に記載の方法。
  7. 前記第1の基準が満たされるとの前記判定には、更に、ユーザ設定、ユーザ履歴、または前記仮想現実シーンのコンテキスト情報と関連付けられたデータの処理が含まれる、請求項4に記載の方法。
  8. 前記仮想現実インタラクティブ空間内に配置された前記1つ以上のカメラは、前記HMDの1つ以上の前向きカメラまたは前記HMDの周りに配置された1つ以上のカメラを含む、請求項4に記載の方法。
  9. 前記仮想現実インタラクティブ空間内に配置された前記1つ以上のカメラは、1つ以上のHMD対向カメラを含む、請求項4に記載の方法。
  10. 前記仮想現実シーンは、前記第1の基準が満たされるとの前記判定が行われると中断または減速される、請求項4に記載の方法。
  11. ヘッドマウントディスプレイ(HMD)内での表示のために仮想現実シーンを修正する方法であって、
    前記HMD上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための第1の基準が満たされると判定するために前記データを処理し、前記第1の基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第1の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第1の現実世界オブジェクトを挿入し、前記第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された1つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記第1の現実世界オブジェクトが前記仮想現実シーンに挿入されて前記拡張仮想現実シーンが提供された後、前記第1の基準が満たされなくなると更に判定されるとき、前記拡張仮想現実シーンは、前記仮想現実シーンに再度遷移する、
    方法。
  12. 前記第1の現実世界オブジェクトは、前記仮想現実インタラクティブ空間内に配置された前記1つ以上のカメラによってキャプチャされる個々の現実世界オブジェクト及び1つ以上の接地要素を含む、請求項4に記載の方法。
  13. 前記第1の現実世界オブジェクトは、床、天井、もしくは壁、またはそれらの一部などの境界条件を含み、前記境界条件は、前記仮想現実インタラクティブ空間内に配置された前記1つ以上のカメラによってキャプチャされる、請求項4に記載の方法。
  14. ヘッドマウントディスプレイ(HMD)内での表示のために仮想現実シーンを修正する方法であって、
    前記HMD上のセンサからセンサデータを取得し、前記センサは、目凝視検出器及び慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための第1の基準が満たされると判定するために前記データを処理し、前記第1の基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記第1の基準が満たされるとの前記判定に基づいて、前記仮想現実シーンに第1の現実世界オブジェクトを挿入し、前記第1の現実世界オブジェクトは、仮想現実インタラクティブ空間内に配置された1つ以上のカメラによって提供される現実世界ビューからのものであり、
    前記仮想現実シーンのクリップは、インターネットを通じて共有可能にされ、前記クリップは、前記第1の基準が満たされるとの前記判定が行われる前記仮想現実シーン内のポイントにおける前記仮想現実シーンを含む、
    方法。
  15. プロセッサベースのシステムによって実行可能なコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、ヘッドマウントディスプレイ(HMD)内での表示のために仮想現実シーンを修正するためのものであり、
    前記HMD上のセンサからデータを取得するプログラム命令を有し、前記センサは、慣性センサを含むものであり、
    前記仮想現実シーンから前記HMDによって提示されることになる拡張仮想現実シーンに遷移するための基準が満たされると判定するために前記データを処理するプログラム命令を有し、前記基準は、前記HMDを身に着けていて前記仮想現実シーンが提示されているときのユーザの方向感覚の喪失を示唆する予め定められたインジケータに対応するものであり、
    前記基準が満たされるとの前記判定に基づいて、現実世界オブジェクトの少なくとも一部を前記仮想現実シーンにオーバレイするプログラム命令を有し、前記現実世界オブジェクトは、前記HMDの1つ以上のカメラによってキャプチャされる現実世界ビュー内に存在するものであり、
    前記基準が満たされなくなると判定されるまで1つ以上の追加の現実世界オブジェクトを前記拡張仮想現実シーンに漸進的にオーバレイするプログラム命令を有し、前記1つ以上の追加の現実世界オブジェクトは、前記HMDの前記1つ以上のカメラによってキャプチャされる前記現実世界ビュー内に存在するものであり、
    前記仮想現実シーンに前記拡張仮想現実シーンを再度遷移させるプログラム命令を有する、
    コンピュータ可読記憶媒体。
JP2018568374A 2016-06-30 2017-06-27 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体 Active JP6825015B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662357323P 2016-06-30 2016-06-30
US62/357,323 2016-06-30
US15/385,794 2016-12-20
US15/385,794 US10191541B2 (en) 2016-06-30 2016-12-20 Augmenting virtual reality content with real world content
PCT/US2017/039594 WO2018005557A1 (en) 2016-06-30 2017-06-27 Augmenting virtual reality content with real world content

Publications (2)

Publication Number Publication Date
JP2019527881A JP2019527881A (ja) 2019-10-03
JP6825015B2 true JP6825015B2 (ja) 2021-02-03

Family

ID=59315726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568374A Active JP6825015B2 (ja) 2016-06-30 2017-06-27 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US10191541B2 (ja)
EP (1) EP3479202B1 (ja)
JP (1) JP6825015B2 (ja)
CN (1) CN109643162B (ja)
WO (1) WO2018005557A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2876130A1 (en) 2012-06-14 2013-12-19 Bally Gaming, Inc. System and method for augmented reality gaming
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10366691B2 (en) * 2017-07-11 2019-07-30 Samsung Electronics Co., Ltd. System and method for voice command context
US10691945B2 (en) * 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US10627635B2 (en) * 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
US20190287304A1 (en) * 2018-03-13 2019-09-19 The Boeing Company Safety Enhancement System for a Mobile Display System
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
CN108665553B (zh) * 2018-04-28 2023-03-17 腾讯科技(深圳)有限公司 一种实现虚拟场景转换的方法及设备
JP6917340B2 (ja) * 2018-05-17 2021-08-11 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
JP6933189B2 (ja) * 2018-05-29 2021-09-08 株式会社デンソー 表示制御装置、及び表示制御プログラム
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
JP7130765B2 (ja) * 2018-10-03 2022-09-05 マクセル株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
CN113168732A (zh) * 2018-12-03 2021-07-23 麦克赛尔株式会社 增强现实显示装置和增强现实显示方法
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
EP3951768A4 (en) * 2019-03-29 2022-12-14 Sony Interactive Entertainment Inc. LIMIT SETTING DEVICE AND METHOD, AND PROGRAM
US11586291B2 (en) * 2019-05-12 2023-02-21 NeuroHaptics, Inc. Motion sickness reduction device
US11275441B2 (en) * 2019-05-12 2022-03-15 Neurohaptics, Inc Motion sickness reduction, directional indication, and neural rehabilitation device
CN114173657A (zh) * 2019-05-31 2022-03-11 瑞思迈私人有限公司 使用增强现实最小化认知衰退的系统和方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海(上海)智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
US11049306B2 (en) * 2019-11-06 2021-06-29 Vago Technologies Oy Display apparatus and method for generating and rendering composite images
JP7127659B2 (ja) 2020-02-07 2022-08-30 カシオ計算機株式会社 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
CN114450967A (zh) * 2020-02-28 2022-05-06 谷歌有限责任公司 用于由图像识别触发的增强现实内容的回放的系统和方法
FR3111446A1 (fr) * 2020-06-19 2021-12-17 Orange Procédé, dispositif et système d’immersion d’un utilisateur dans une application de réalité virtuelle
CN111603766B (zh) * 2020-06-29 2024-01-09 上海完美时空软件有限公司 虚拟载具的控制方法及装置、存储介质、电子装置
EP4100941A1 (en) * 2020-12-14 2022-12-14 Google LLC Variable brightness and field of view display
US11874959B2 (en) * 2021-09-15 2024-01-16 Sony Interactive Entertainment Inc. Dynamic notification surfacing in virtual or augmented reality scenes
KR102675120B1 (ko) * 2021-10-13 2024-06-12 김지민 영상 제공 및 뇌파 측정 장치 및 그 동작 방법
WO2023105653A1 (ja) * 2021-12-07 2023-06-15 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法
US20230194864A1 (en) * 2021-12-20 2023-06-22 International Business Machines Corporation Device management in a smart environment
GB2616004A (en) * 2022-02-22 2023-08-30 Sony Interactive Entertainment Inc Apparatus and method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689285B2 (ja) * 1991-06-20 2005-08-31 富士ゼロックス株式会社 入力装置および入力装置用ヘッドマウントディスプレイ
JP2011028633A (ja) * 2009-07-28 2011-02-10 Sony Corp 情報処理装置及び方法、並びに、プログラム
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
CN104185411A (zh) * 2013-05-21 2014-12-03 松下电器产业株式会社 带进给器
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP6182734B2 (ja) * 2013-06-26 2017-08-23 国立大学法人佐賀大学 表示制御装置
JP6524917B2 (ja) * 2014-01-23 2019-06-05 ソニー株式会社 画像表示装置及び画像表示方法
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN104571532B (zh) * 2015-02-04 2018-01-30 网易有道信息技术(北京)有限公司 一种实现增强现实或虚拟现实的方法及装置
US20180024624A1 (en) * 2016-07-19 2018-01-25 Immersv, Inc. Computer analysis of user comfort in virtual reality environments
US9946337B2 (en) * 2016-07-25 2018-04-17 Immersv, Inc. Utilizing inertial measurement unit data of a head mounted display device to generate inferred comfort data

Also Published As

Publication number Publication date
EP3479202A1 (en) 2019-05-08
US10191541B2 (en) 2019-01-29
WO2018005557A1 (en) 2018-01-04
US20180004286A1 (en) 2018-01-04
JP2019527881A (ja) 2019-10-03
EP3479202B1 (en) 2021-11-03
CN109643162A (zh) 2019-04-16
CN109643162B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
JP6825015B2 (ja) 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体
US11061240B2 (en) Head-mountable apparatus and methods
US10908682B2 (en) Editing cuts in virtual reality
US8831278B2 (en) Method of identifying motion sickness
US9875079B1 (en) Information processing method and system for executing the information processing method
US10976816B2 (en) Using eye tracking to hide virtual reality scene changes in plain sight
KR20230048554A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
US11500459B2 (en) Data processing apparatus and method
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7416048B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110300994A (zh) 图像处理装置、图像处理方法以及图像系统
JP7465067B2 (ja) 仮想オブジェクトを表示するための方法およびシステム
US11507184B2 (en) Gaze tracking apparatus and systems
EP3346375B1 (en) Program, recording medium, content provision device, and control method
JP2017121082A (ja) プログラム及びコンピュータ
JP6945409B2 (ja) 情報処理方法、コンピュータ、及びプログラム
JPWO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11747897B2 (en) Data processing apparatus and method of using gaze data to generate images
CN116368451A (zh) 视频体验期间的交互
JP2023548795A (ja) 眼運動に基づくエクステンデッドリアリティ環境相互作用の方法およびシステム
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
EP3996075A1 (en) Image rendering system and method
WO2023222182A9 (en) System and method for object detection in immersive images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201117

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201127

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R150 Certificate of patent or registration of utility model

Ref document number: 6825015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250