JPWO2020005898A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020005898A5 JPWO2020005898A5 JP2020564625A JP2020564625A JPWO2020005898A5 JP WO2020005898 A5 JPWO2020005898 A5 JP WO2020005898A5 JP 2020564625 A JP2020564625 A JP 2020564625A JP 2020564625 A JP2020564625 A JP 2020564625A JP WO2020005898 A5 JPWO2020005898 A5 JP WO2020005898A5
- Authority
- JP
- Japan
- Prior art keywords
- breakpoint
- view
- real environment
- simulated
- simulated real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 186
- 230000001960 triggered Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000000875 corresponding Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 2
- 230000003287 optical Effects 0.000 description 23
- 210000003128 Head Anatomy 0.000 description 13
- 230000003190 augmentative Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001953 sensory Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 239000000834 fixative Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006011 modification reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000001525 Retina Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000036633 rest Effects 0.000 description 1
- 230000000717 retained Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001429 stepping Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Description
本開示は、模擬現実(simulated reality)のビューベースのブレークポイントに関する。
仮想現実(virtual reality)、拡張現実(augmented reality)、及び/又は模擬現実の体験をユーザにもたらすために、ヘッドマウントディスプレイが使用される。コンピュータ命令コード中のエラー(多くの場合、「バグ」と呼ばれる)を追跡して特定するために、ソフトウェア開発者によってデバッグツールが使用される。デバッグツールは、通常、ブレークポイントに関連付けられるとされるコードラインを指定することにより、開発者がソフトウェアコードのブレークポイントを指定することを可能にする。ブレークポイントの条件が発生する(例えば、ソフトウェアの実行中に、指定されたコードラインに到達する)と、デバッグツールは、指定されたコードラインでソフトウェアの実行を一時停止させる、及び/又は、ソフトウェアの一時停止状態の検査及び/又はソフトウェアの制御された実行(例えば、ライン間の一時停止を伴って一度に1ライン毎にコードをステップ実行すること)を容易にするデバッグインタフェースをソフトウェア開発者に提示するなどの、動作をトリガし得る。
本明細書には、模擬現実のビューベースのブレークポイントの実装が開示される。
第1の態様では、本明細書に記載される主題は、ヘッドマウントディスプレイと、ヘッドマウントディスプレイに取り付けられた1つ以上の動きセンサと、を含むシステムにおいて具現化することができる。システムは、処理装置を含み、処理装置は、1つ以上の動きセンサを使用して取り込まれる動きデータにアクセスし、少なくとも動きデータに基づいて、ヘッドマウントディスプレイを使用して提示される模擬現実環境内のビューを決定し、ビューがブレークポイントに関連付けられているかどうかを検出し、ビューがブレークポイントに関連付けられていることを検出したことに少なくとも基づいて、ブレークポイントをトリガし、ブレークポイントに関連付けられたデバッグ動作を実施し、デバッグ動作を実施している間、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態をヘッドマウントディスプレイによって表示し続け、1つ以上の動きセンサを使用して受信される入力に応答することを可能にするために、模擬現実環境の模擬プロセスの実行を継続するように構成されている。
第2の態様では、本明細書に記載される主題は、1つ以上の動きセンサを使用して取り込まれる動きデータにアクセスすることと、少なくとも動きデータに基づいて、ヘッドマウントディスプレイを使用して提示される模擬現実環境内のビューを決定することと、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出することと、ビューが一組のビューの一部であることに少なくとも基づいて、ブレークポイントをトリガすることと、ブレークポイントがトリガされたことに応じて、ブレークポイントに関連付けられたデバッグ動作を実施することと、デバッグ動作を実施している間、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイによって表示され続けることを可能にするために、模擬現実環境の模擬プロセスの実行を継続することと、を含む方法において具現化することができる。
第3の態様では、本明細書に記載される主題は、ヘッドマウントディスプレイを含むシステムにおいて具現化することができる。システムは、処理装置を含み、処理装置は、ヘッドマウントディスプレイを使用して提示される模擬現実環境内のビューを決定し、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出し、ビューが一組のビューの一部であることに少なくとも基づいて、ブレークポイントをトリガし、ブレークポイントがトリガされることに応じて、ブレークポイントに関連付けられたデバッグ動作を実施し、デバッグ動作を実施している間、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイによって表示され続けることを可能にするために、模擬現実環境の模擬プロセスの実行を継続するように構成されている。
第4の態様では、本明細書に記載される主題は、非一時的コンピュータ可読記憶媒体において具現化することができる。非一時的コンピュータ可読記憶媒体は、実行可能な命令を含み得、実行可能な命令は、プロセッサによって実行されると、1つ以上の動きセンサを使用して取り込まれる動きデータにアクセスすることと、少なくとも動きデータに基づいて、ヘッドマウントディスプレイを使用して提示される模擬現実環境内のビューを決定することと、ビューがブレークポイントに関連付けられているかどうかを検出することと、ビューがブレークポイントに関連付けられていることを検出したことに少なくとも基づいて、ブレークポイントをトリガすることと、ブレークポイントがトリガされたことに応じて、ブレークポイントに関連付けられたデバッグ動作を実施することと、デバッグ動作を実施している間、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイによって表示され続けることを可能にするために、模擬現実環境の模擬プロセスの実行を継続することと、を含む方法において具現化することができる。
本開示は、添付図面と併せて読むと、以下の詳細な説明から最もよく理解される。一般的な慣例に従い、図面の様々な特徴は、原寸どおりではないことを強調する。それどころか、様々な特徴の寸法は、明確さのために任意に拡大又は縮小されている。
ブレークポイントをアプリケーションのコードラインに配置する又は別の方法で関連付けることができ、これにより、そのコードラインに行き当たると、アプリケーションの実行を一時停止させ、ソフトウェア開発者がコードラインをステップ実行することを可能にし、コード中のエラーの特定及び除去を容易にする。
模擬現実アプリケーションをデバッグするために、ビューベースのブレークポイントを実装することができる。ユーザは、アプリケーションによって提示される模擬現実環境の、ブレークポイントをトリガする一組のビューを(例えば、仮想カメラの位置範囲及び/又は向き模擬現実に関して)規定することができる。このことは、例えば、開発者が、模擬現実アプリケーションによる模擬現実環境内の特定の視座からのバグ又は視覚的アーチファクトに行き当たり、何が問題を引き起こしているかを知るために開発者のコードをステップ実行したいときに有用であり得る。例えば、ユーザは、模擬現実環境の3次元空間内の位置及び領域をコードラインに加えて設定することができ、実行中にそのコードラインに到達し、かつ、ユーザに提示されたビューがブレークポイントに関連付けられた一組の規定されたビューの範囲内であるときに、ブレークポイントがトリガされ得る。
ビューベースのブレークポイントは、模擬現実アプリケーションのために、従来のデバッグツールに勝る著しい利点をもたらし得る。従来のブレークポイントによる場合、開発者は例えば、対象となる正しい視座からコードが実行されることを確実とするために、ブレークポイントを作成する際に頭を静止したままに保つ必要があり得るため、このデバッグ作業は、著しくより困難となり得る。例えば、アプリケーション開発時間が短縮され、かつ/又は結果として生じる模擬現実アプリケーションの障害発生率が低減され得る。
現実環境
a.現実環境は、電子システムの支援なしに、個人が感知及び/又は対話できる世界を指す。現実環境(例えば、実際の森林)は、現実要素(例えば、実際の木、実際の構造物、及び実際の動物)を含む。個人は、接触、視覚、嗅覚、聴覚、及び味覚などを介して、現実環境と直接対話し、かつ/又は現実環境を直接感知することができる。
a.現実環境は、電子システムの支援なしに、個人が感知及び/又は対話できる世界を指す。現実環境(例えば、実際の森林)は、現実要素(例えば、実際の木、実際の構造物、及び実際の動物)を含む。個人は、接触、視覚、嗅覚、聴覚、及び味覚などを介して、現実環境と直接対話し、かつ/又は現実環境を直接感知することができる。
模擬現実
a.対照的に、模擬現実(simulated reality、SR)環境は、電子システムを介して、個人が感知及び/又は対話できる、完全又は部分的にコンピュータによって生成された環境を指す。SRにおいて、個人の動きのサブセットが監視され、それに応答して、SR環境における1つ以上の仮想オブジェクトの1つ以上の属性が、1つ以上の物理法則と一致するように変更される。例えば、SRシステムは、個人が前方に数歩歩くのを検出し、それに応答して、個人に提示されるグラフィック及び音声を、現実環境でそのような景色及び音にもたらされるであろう変化と同様の変化をもたらすように調整してもよい。SR環境における仮想オブジェクト(単数又は複数)の属性(単数又は複数)の修正は、また、動きの表現に応答して行われてもよい(例えば、音声に関する命令)。
b.個人は、接触、嗅覚、視覚、味覚、及び音声を含む、自身の感覚のうちのいずれか1つを使用して、SRオブジェクトと対話し、かつ/又はそれを感知することができる。例えば、個人は、多次元(例えば、3次元)又は空間的な聴覚環境を創り出す、かつ/又は音声透過性を可能にする音声オブジェクトと対話すし、かつ/又はそのような音声オブジェクトを感知することができる。多次元又は空間的聴覚環境は、多次元空間内の別個の音声源の知覚を個人に提供する。音声透過性は、コンピュータ生成された音声を用いて又は用いることなく、現実環境からの音声を選択的に組み込む。いくつかのSR環境において、個人は音声オブジェクトのみと対話してもよく、かつ/又は音声オブジェクトのみを感知してもよい。
a.対照的に、模擬現実(simulated reality、SR)環境は、電子システムを介して、個人が感知及び/又は対話できる、完全又は部分的にコンピュータによって生成された環境を指す。SRにおいて、個人の動きのサブセットが監視され、それに応答して、SR環境における1つ以上の仮想オブジェクトの1つ以上の属性が、1つ以上の物理法則と一致するように変更される。例えば、SRシステムは、個人が前方に数歩歩くのを検出し、それに応答して、個人に提示されるグラフィック及び音声を、現実環境でそのような景色及び音にもたらされるであろう変化と同様の変化をもたらすように調整してもよい。SR環境における仮想オブジェクト(単数又は複数)の属性(単数又は複数)の修正は、また、動きの表現に応答して行われてもよい(例えば、音声に関する命令)。
b.個人は、接触、嗅覚、視覚、味覚、及び音声を含む、自身の感覚のうちのいずれか1つを使用して、SRオブジェクトと対話し、かつ/又はそれを感知することができる。例えば、個人は、多次元(例えば、3次元)又は空間的な聴覚環境を創り出す、かつ/又は音声透過性を可能にする音声オブジェクトと対話すし、かつ/又はそのような音声オブジェクトを感知することができる。多次元又は空間的聴覚環境は、多次元空間内の別個の音声源の知覚を個人に提供する。音声透過性は、コンピュータ生成された音声を用いて又は用いることなく、現実環境からの音声を選択的に組み込む。いくつかのSR環境において、個人は音声オブジェクトのみと対話してもよく、かつ/又は音声オブジェクトのみを感知してもよい。
仮想現実
a.SRの一例は、仮想現実(VR)である。VR環境とは、感覚のうちの少なくとも1つについて、コンピュータ生成された感覚入力のみを含むように設計された模擬(シミュレーテッド)環境を指す。VR環境は、個人が対話及び/又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ生成された環境内の個人のアクションのサブセットの模擬を通じて、かつ/又はコンピュータ生成された環境内の個人の模擬又は自身の存在を通じて、VR環境内の仮想オブジェクトと対話し、かつ/又は仮想オブジェクトを感知することができる。
a.SRの一例は、仮想現実(VR)である。VR環境とは、感覚のうちの少なくとも1つについて、コンピュータ生成された感覚入力のみを含むように設計された模擬(シミュレーテッド)環境を指す。VR環境は、個人が対話及び/又は感知することができる複数の仮想オブジェクトを含む。個人は、コンピュータ生成された環境内の個人のアクションのサブセットの模擬を通じて、かつ/又はコンピュータ生成された環境内の個人の模擬又は自身の存在を通じて、VR環境内の仮想オブジェクトと対話し、かつ/又は仮想オブジェクトを感知することができる。
複合現実
a.SRの別の例は、複合現実(MR)である。MR環境とは、コンピュータ生成された感覚入力(例えば、仮想オブジェクト)を、現実環境又はその表現からの感覚入力と統合するように設計された模擬環境を指す。現実性のスペクトルにおいて、複合現実環境は一方の端のVR環境と他方の端の完全な現実環境との間にあり、両端を含まない。
b.いくつかのMR環境では、コンピュータによって生成される知覚入力は、現実環境からの知覚入力の変化に適応され得る。また、MR環境を提示するためのいくつかの電子システムは、また、現実環境に対する向き及び/又は位置を監視して、仮想オブジェクトと現実のオブジェクト(すなわち、現実環境からの現実要素又はその表現)との対話を可能とすることができる。例えば、システムは、仮想の植物が実際の建物に対して静止して見えるように動きを監視してもよい。
c.拡張現実
i.複合現実の一例は、拡張現実(AR)である。AR環境は、少なくとも1つの仮想オブジェクトが現実環境上か又はその表現上に重ねられた模擬環境を指す。例えば、電子システムは、不透明なディスプレイと、現実環境の表現である、現実環境の画像又は動画を取り込む少なくとも1つの撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に表示する。個人は、システムを使用して、現実環境の画像又は動画を介して間接的に現実環境を見て、現実環境上に重ねられた仮想オブジェクトを観察する。システムが画像センサ(単数又は複数)を使用して現実環境の画像を取り込み、それらの画像を使用して不透明なディスプレイ上にAR環境を提示する場合、表示される画像は、ビデオパススルーと呼ばれる。あるいは、AR環境を表示するための電子システムは、個人が現実環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示し、それによって、個人はシステムを使用して、現実環境上に重ねられた仮想オブジェクトを観察してもよい。別の例において、システムは、仮想オブジェクトを現実環境に投影する投影システムを含んでもよい。仮想オブジェクトは、例えば、現実表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、現実環境の上に重ねられた仮想オブジェクトを観察してもよい。
ii.拡張現実環境はまた、現実環境の表現がコンピュータ生成された感覚情報によって変換される模擬環境を指してもよい。例えば、現実環境の表現の一部分は、変更された部分が依然として元々取り込まれた画像(単数又は複数)の表現であり得るが、忠実に再現されたバージョンではないように、視覚的に変換(例えば、拡大)されてもよい。別の例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも1つを変更して、画像センサ(単数又は複数)によって取り込まれた視点とは異なる特定の視点を課すことができる。更なる実施例として、現実環境の表現は、その一部分を視覚的に不明瞭にするか、又は除外することによって変更されてもよい。
d.拡張仮想感
i.複合現実の別の例は、拡張仮想現実(AV)である。AV環境とは、コンピュータ生成された環境又は仮想環境が現実環境からの少なくとも1つの感覚入力を組み込む、模擬環境を指す。現実環境からの感覚入力(単数又は複数)は、現実環境の少なくとも1つの特性の表現であってもよい。例えば、仮想オブジェクトは、撮像センサ(単数又は複数)によって取り込まれた現実要素の色を呈してもよい。別の実施例では、仮想オブジェクトは、撮像、気象関連センサ、及び/又はオンライン気象データを介して特定されるような現実環境における実際の気象条件と一致する特性を示し得る。更に別の例では、拡張現実の森林は、仮想的な木及び構造物を有してもよいが、動物は、実際の動物の画像から正確に再現される特徴を有してもよい。
a.SRの別の例は、複合現実(MR)である。MR環境とは、コンピュータ生成された感覚入力(例えば、仮想オブジェクト)を、現実環境又はその表現からの感覚入力と統合するように設計された模擬環境を指す。現実性のスペクトルにおいて、複合現実環境は一方の端のVR環境と他方の端の完全な現実環境との間にあり、両端を含まない。
b.いくつかのMR環境では、コンピュータによって生成される知覚入力は、現実環境からの知覚入力の変化に適応され得る。また、MR環境を提示するためのいくつかの電子システムは、また、現実環境に対する向き及び/又は位置を監視して、仮想オブジェクトと現実のオブジェクト(すなわち、現実環境からの現実要素又はその表現)との対話を可能とすることができる。例えば、システムは、仮想の植物が実際の建物に対して静止して見えるように動きを監視してもよい。
c.拡張現実
i.複合現実の一例は、拡張現実(AR)である。AR環境は、少なくとも1つの仮想オブジェクトが現実環境上か又はその表現上に重ねられた模擬環境を指す。例えば、電子システムは、不透明なディスプレイと、現実環境の表現である、現実環境の画像又は動画を取り込む少なくとも1つの撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に表示する。個人は、システムを使用して、現実環境の画像又は動画を介して間接的に現実環境を見て、現実環境上に重ねられた仮想オブジェクトを観察する。システムが画像センサ(単数又は複数)を使用して現実環境の画像を取り込み、それらの画像を使用して不透明なディスプレイ上にAR環境を提示する場合、表示される画像は、ビデオパススルーと呼ばれる。あるいは、AR環境を表示するための電子システムは、個人が現実環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを表示し、それによって、個人はシステムを使用して、現実環境上に重ねられた仮想オブジェクトを観察してもよい。別の例において、システムは、仮想オブジェクトを現実環境に投影する投影システムを含んでもよい。仮想オブジェクトは、例えば、現実表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、現実環境の上に重ねられた仮想オブジェクトを観察してもよい。
ii.拡張現実環境はまた、現実環境の表現がコンピュータ生成された感覚情報によって変換される模擬環境を指してもよい。例えば、現実環境の表現の一部分は、変更された部分が依然として元々取り込まれた画像(単数又は複数)の表現であり得るが、忠実に再現されたバージョンではないように、視覚的に変換(例えば、拡大)されてもよい。別の例として、ビデオパススルーを提供する際、システムは、センサ画像のうちの少なくとも1つを変更して、画像センサ(単数又は複数)によって取り込まれた視点とは異なる特定の視点を課すことができる。更なる実施例として、現実環境の表現は、その一部分を視覚的に不明瞭にするか、又は除外することによって変更されてもよい。
d.拡張仮想感
i.複合現実の別の例は、拡張仮想現実(AV)である。AV環境とは、コンピュータ生成された環境又は仮想環境が現実環境からの少なくとも1つの感覚入力を組み込む、模擬環境を指す。現実環境からの感覚入力(単数又は複数)は、現実環境の少なくとも1つの特性の表現であってもよい。例えば、仮想オブジェクトは、撮像センサ(単数又は複数)によって取り込まれた現実要素の色を呈してもよい。別の実施例では、仮想オブジェクトは、撮像、気象関連センサ、及び/又はオンライン気象データを介して特定されるような現実環境における実際の気象条件と一致する特性を示し得る。更に別の例では、拡張現実の森林は、仮想的な木及び構造物を有してもよいが、動物は、実際の動物の画像から正確に再現される特徴を有してもよい。
ハードウェア
多くの電子システムは、個人が様々なSR環境と対話し、かつ/又は感知することを可能にする。一実施例は、ヘッドマウントシステムを含む。ヘッドマウントシステムは、不透明なディスプレイ及びスピーカ(単数又は複数)を有してもよい。あるいは、ヘッドマウントシステムは、外部ディスプレイ(例えば、スマートフォン)を受け入れるように設計されてもよい。ヘッドマウントシステムは、それぞれ、画像/動画を撮影するため、及び/又は現実環境の音声を取り込むために、画像センサ(単数又は複数)及び/又はマイクロフォンを有してもよい。ヘッドマウントシステムはまた、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイには、基板を通して画像を表す光が個人の目に向かう基板を組み込んでもよい。ディスプレイは、LED、OLED、デジタル光プロジェクタ、レーザ走査光源、シリコン上の液晶、又はこれらの技術の任意の組み合わせを組み込んでもよい。光が透過される基板は、光導波路、光学結合器、光学リフレクタ、ホログラフ基板、又はこれらの基材の任意の組み合わせであってもよい。一実施形態において、透明又は半透明のディスプレイは、不透明状態と透明又は半透明状態との間で選択的に遷移してもよい。別の実施例では、電子システムは、投影ベースシステムであってもよい。投影ベースシステムは、網膜投影を使用して、個人の網膜上に画像を投影することができる。あるいは、投影システムは、仮想オブジェクトを現実環境に(例えば、現実表面上に、又はホログラフとして)投影することもまたできる。SRシステムの他の例としては、ヘッドアップディスプレイ、グラフィックを表示する能力を備える自動車用フロントガラス、グラフィックスを表示する能力を備える窓、グラフィックを表示する能力を備えるレンズ、ヘッドフォン又はイヤホン、スピーカ配置、入力機構(例えば、触知フィードバックを有する又は有さないコントローラ)、タブレット、スマートフォン、及びデスクトップコンピュータ又はラップトップコンピュータが挙げられる。
図1は、拡張現実空間におけるビューベースのブレークポイント使用シナリオ100の一例の図である。ユーザ110が、ヘッドマウントディスプレイ120を装着しており、頭を回転させて、ユーザが立っている現実環境にオーバーレイされた仮想オブジェクトを含む模擬現実環境のビューを調整することができる。模擬現実環境におけるユーザの視界の方向は、視線130(例えば、ビューの中心を通じて投影される視線)に対応してもよい。ブレークポイントに関連付けられた一組のビューが、模擬現実環境内の領域140に対応してもよい。領域140は、ブレークポイントに関連付けられた、模擬現実環境の部分である。この例では、領域140は立方体であるが、領域について他の形状(例えば、球体形状又は不規則形状)が規定されてもよい。例えば、開発者にとって対象となる仮想オブジェクトが、領域140内に配置されてもよい。いくつかの実装形態では、領域140は、仮想オブジェクトを中心とする領域として規定されてもよい。いくつかの実装形態では、領域140は、仮想オブジェクトの体積として規定されてもよい。
例えば、ブレークポイントは全体的に又は部分的に、ユーザ110のビューがブレークポイントに関連付けられた領域140と著しく交差することを条件としてもよい。いくつかの実装形態では、ブレークポイントの条件は、ビューの視線130が領域140を通ることとして規定されてもよい。例えば、ユーザ110のビューがブレークポイントの条件を満たすかどうかを判定することが、ビューの視線130が領域140を通るかどうかを判定することを含んでもよい。視線130が領域140を通り、ビューベースの条件が満たされるとき、ビューベースの条件がブレークポイントの唯一の条件である場合又は、ブレークポイントの他の条件(例えば、指定されたコードラインに到達すること、仮想オブジェクトの状態に関する条件、又はユーザ入力)も満たされる場合に、ブレークポイントがトリガされてもよい。ブレークポイントがトリガされると、仮想オブジェクトに関連付けられたプロセスの実行を一時停止する、及び/又はデバッグインタフェースをヘッドマウントディスプレイ120を使用してユーザ110に提示するなど、1つ以上のデバッグ動作が実施されてもよい。
(図1には示されていない)いくつかの実装形態では、視線130は、このビューベースの条件を検出するための一層の余裕を提供するために(例えば、視線から視線を中心とする円錐に)拡張されてもよい。領域140は、模擬現実環境内にゼロでない体積を有してもよい。(図1には示されていない)いくつかの実装形態では、視線130は拡張されてもよく、領域140は、つぶされて模擬現実環境内の点とされてもよい。
図2は、仮想現実空間におけるビューベースのブレークポイント使用シナリオ200の一例の図である。ユーザのアバター210が、模擬現実環境を通って移動し、ある時間において模擬現実環境内の位置に関連付けられる。ブレークポイントに関連付けられた一組のビューが、領域220並びに中央視線ベクトル230及び角度範囲に対応してもよい。領域220は、模擬現実環境内に画定される。この例では、領域220は、模擬現実環境の平面内の円に対応する。例えば、アバター210が領域220に入ったかどうかを判定するために、より高次元の仮想空間(例えば、三次元仮想空間)におけるアバターの位置が、領域220の平面に投影されてもよい。領域220として、平面内の矩形、円筒体、球体、立方体、又は不規則形状などの、(図2には示されていない)他の形状が規定されてもよい。
模擬現実環境のどの部分がヘッドマウントディスプレイを使用するユーザに提示される画像内に現れるかを決定する、アバター210の位置からの現在のビューが所与の時間で存在する。この例では、ビューは、現在ビューの視線ベクトル240によって規定される。例えば、視線ベクトル240は、ユーザに提示されるビューの中心を通る視線と平行であってもよい。例えば、視線ベクトル240は、アバターの位置が起点であってもよい。例えば、中央視線ベクトル230は、領域220から対象となる1つ以上の仮想オブジェクトに向かってもよい。角度250が中央視線ベクトル230と現在視線ベクトル240との間で測定され、ビューがブレークポイントに関連付けられた一組のビューの一部であるかどうかを評価するために使用されてもよい。
例えば、アバター210がブレークポイントに関連付けられた領域220内に位置する間、ブレークポイントは、全体的に又は部分的に、アバター210に関連付けられたビューが中央視線ベクトル230と実質的に揃うことが条件とされてもよい。例えば、アバター210のビューがブレークポイントの条件を満たすかどうかを判定することが、ビューの位置(例えば、アバター210の位置)が一組のビューの領域220内であるかどうかを判定することと、ビューの視線ベクトル240と一組のビューの中央視線ベクトル230との間の角度250を測定することと、角度250が一組のビューの角度範囲内であるかどうかを判定することと、を含んでもよい。このビューベースの条件が満たされるとき、ビューベースの条件がブレークポイントの唯一の条件である場合、又はブレークポイントの他の条件(例えば、指定されたコードラインに到達すること、仮想オブジェクトに関する条件、又はユーザ入力)も満たされる場合、ブレークポイントがトリガされてもよい。ブレークポイントがトリガされると、仮想オブジェクトに関連付けられたプロセスの実行を一時停止し、かつ/又はアバター210を制御するユーザにデバッグインタフェースをヘッドマウントディスプレイを使用して提示するなど、1つ以上のデバッグ動作を実施してもよい。
図3は、模擬現実アプリケーションにおけるビューベースのブレークポイントを可能とするように構成されたシステム300の一例のブロック図である。システム300は、処理装置310と、データ記憶デバイス320と、1つ以上の動きセンサ330と、ヘッドマウントディスプレイ340と、処理装置310を他の構成要素にアクセスさせ得る相互接続370と、を含む。システム300は、ヘッドマウントディスプレイ340を使用するユーザに表示される模擬現実アプリケーションの模擬現実環境内の仮想オブジェクトに関連付けられたビューベースのソフトウェア用ブレークポイントを可能とするように構成されてもよい。例えば、処理装置310は、模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)を実行するように構成されてもよい。例えば、システム300は、図6の技法600を実装するように構成されてもよい。例えば、システム300は、図7の技法700を実装するように構成されてもよい。例えば、システム300は、図8の技法800を実装するように構成されてもよい。例えば、システム300は、図9の技法900を実装するように構成されてもよい。例えば、システム300は、ヘッドマウントディスプレイデバイス(例えば、ヘッドマウントディスプレイ120)の一部として実装されてもよい。
処理装置310は、データ記憶デバイス320に記憶されている命令を実行するように動作可能であってもよい。いくつかの実装形態では、処理装置310は、命令が実行されている間データ記憶デバイス320から読み取られた命令を一時的に記憶するためのランダムアクセスメモリを有するプロセッサである。処理装置310は、単一又は複数の処理コアをそれぞれ有する単一又は複数のプロセッサを含んでもよい。あるいは、処理装置310は、データを操作又は処理することができる、別のタイプのデバイス又は複数のデバイスを含んでもよい。例えば、データ記憶デバイス320は、ハードドライブ、ソリッドステートドライブ、読み出し専用メモリデバイス(ROM)、光ディスク、磁気ディスク、又は非一時的コンピュータ可読メモリなどの任意の他の好適なタイプの記憶デバイスなどの、不揮発性情報記憶デバイスであってもよい。データ記憶デバイス320は、処理装置310による取得又は処理のためのデータを記憶することができる別のタイプのデバイス又は複数のデバイスを含んでもよい。処理装置310は、データ記憶デバイス320に記憶されているデータに相互接続370を介してアクセスし操作してもよい。例えば、データ記憶デバイス320は、処理装置310によって実行されると、処理装置310に動作(例えば、図6の技法600を実施する動作)を実施させる、処理装置310によって実行可能な命令を記憶してもよい。いくつかの実装形態では、処理装置310及びデータ記憶デバイス320は、ヘッドマウントディスプレイ340に取り付けられる。
1つ以上の動きセンサ330は、ヘッドマウントディスプレイ340の動きを検出するように構成されてもよい。例えば、1つ以上の動きセンサ330は、1つ以上の加速度計、ジャイロスコープ、及び/又は磁力計を含んでもよい。いくつかの実装形態では、1つ以上の動きセンサ330は、ヘッドマウントディスプレイ340に取り付けられる。いくつかの実装形態では、現実空間におけるヘッドマウントディスプレイ340の向き及び/又は位置が、1つ以上の動きセンサ330からのセンサデータ及び/又は(例えば、視覚慣性オドメトリ法(VIO)を使用して)画像センサからの画像に少なくとも基づいて測定されてもよい。例えば、ヘッドマウントディスプレイ340の向き及び/又は位置の変化が、ヘッドマウントディスプレイ340を使用して提示される模擬現実アプリケーションの模擬現実環境内のビューを、ユーザが変更するための制御インタフェースとして使用されてもよい。
ヘッドマウントディスプレイ340は、ユーザへの画像(例えば、ビデオフレーム)の提示を可能にするために、スクリーン、レンズ、又はヘッドマウントディスプレイ340を装着しているユーザの目に光を向けるように構成された別のタイプの光学アセンブリを含む。ヘッドマウントディスプレイは、固定具(例えば、ヘッドバンド又はフレーム)によってユーザの顔に固定されてもよい。いくつかの実装形態では、ヘッドマウントディスプレイ340のスクリーンは、ユーザの目の正面に配置されている。スクリーンは不透明であってもよく、ユーザの周囲環境の視界を不明瞭にしてもよい。そのような構成は、例えば、没入型の仮想現実の体験をもたらすために使用されてもよい。いくつかの実装形態では、ヘッドマウントディスプレイ340は、光学アセンブリ(例えば、レンズ及び/又はミラー)を含む。光学アセンブリは、ユーザの目の正面に配置され、ヘッドマウントディスプレイ340のスクリーン又はプロジェクタからの光をユーザの目に向けるように構成されている。光学アセンブリはまた、ユーザの周囲の環境からの光をユーザの目に向けることができる。例えば、光学アセンブリは、透明バイザーの内面に適用される部分的に反射性の偏光フィルムを含んでもよい。光学アセンブリは、光結合器として機能してもよい。例えば、光学アセンブリのレンズは、また、ユーザの前方の環境からの光を通過させてユーザの目に到達させてもよく、ヘッドマウントディスプレイ340によって提示される画像に描かれた模擬現実環境のオブジェクトをユーザの前方の現実環境のビューにオーバーレイさせながら、ユーザが自分の前方を見ることを可能にしてもよい。いくつかの実装形態では、光学アセンブリ(例えば、レンズ)の透明度が、アプリケーション(例えば、仮想現実アプリケーション又は拡張現実アプリケーション)に適合するように調整されてもよい。
例えば、相互接続370は、システムバス、又は有線若しくは無線ネットワーク(例えば、ボディエリアネットワーク)であってもよい。
処理装置310は、模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)についてビューベースのブレークポイントを可能とするように構成されてもよい。例えば、処理装置310は、1つ以上の動きセンサ330を使用して取り込まれる動きデータにアクセスし、その動きデータに少なくとも基づいて、ヘッドマウントディスプレイ340を使用して提示される模擬現実環境内のビューを決定するように構成されてもよい。処理装置310は、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出し、ビューが一組のビューの一部であることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置310は、ブレークポイントがトリガされることに応じて、ブレークポイントに関連付けられたデバッグ動作を実施するように構成されてもよい。処理装置310は、デバッグ動作を実施している間に、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイ340によって表示され続けることを可能にするために、模擬現実環境の模擬プロセス(例えば、模擬プロセス520)の実行を継続するように構成されてもよい。いくつかの実装形態では、ビューは、模擬現実環境内の位置及びその位置からの視線ベクトルに対応しており、一組のビューは、模擬現実環境内の領域及び中央視線ベクトルに対する角度範囲に対応しており、処理装置310は、(例えば、図2に関して説明されるように、)ビューの位置が一組のビューの領域内であるかどうかを判定し、ビューの視線ベクトルと一組のビューの中央視線ベクトルとの間の角度を測定し、かつ角度が一組のビューの角度範囲内であるかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、ビューは、模擬現実環境内の視線に対応しており、一組のビューは、模擬現実環境内の領域を通る一連の視線に対応しており、処理装置310は、(例えば、図1に関して説明されるように、)ビューの視線が一組のビューの領域を通るかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、ビューは、模擬現実環境内の焦点に対応しており、一組のビューは、模擬現実環境内の領域に対応しており、処理装置310は、ビューの焦点が一組のビューの領域内であるかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、処理装置310は、ブレークポイントがトリガされたことに応じて、少なくともビューに基づくレイキャスティングにより、模擬現実環境内のデバッグされる1つ以上のオブジェクトを特定するように構成されている。処理装置310は、特定された1つ以上のオブジェクトに関連付けられた1つ以上のプロセスに関するデバッグ動作を実施するように構成されてもよい。
ブレークポイントは、ブレークポイントをトリガする論理関数(例えば、論理積(AND)関数)を使用してテストされ共に適用され得る、複数のトリガ条件を有してもよい。例えば、ブレークポイントは、(例えば、上述のような)ビューベースのトリガ条件を有してもよく、追加のトリガ条件を有してもよく、ブレークポイントは、ビューベースのトリガ条件と追加のトリガ条件の両方が満たされるときにトリガされてもよい。例えば、処理装置310は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードラインに到達し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置310は、模擬現実環境内の仮想オブジェクトの状態の条件が満たされ、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置310は、ヘッドマウントディスプレイ340のユーザによる動作を検出し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。
処理装置310は、様々なデバッグ機能を提供するために、ブレークポイントがトリガされることに応じて、1つ以上のデバッグ動作を実施するように構成されてもよい。いくつかの実装形態では、デバッグ動作は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止することを含む。例えば、処理装置310は、一時停止されたプロセスに関連付けられたオブジェクトの視覚表現を生成し、プロセスが一時停止されている間、ヘッドマウントディスプレイ340を使用して、模擬現実環境内での視覚表現の提示を継続するように構成されてもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ340を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を(例えば、ソフトウェアのコードラインの分解度で)ヘッドマウントディスプレイ340のユーザが制御することを可能にするデバッグ制御インタフェースを、模擬現実環境内に提示することを含む。例えば、デバッグ制御インタフェースは、一時停止、再開、ステップイン、ステップオーバー、及びステップアウトからなる一連の機能からユーザが少なくとも1つの機能を選択することを可能にしてもよい。例えば、デバッグ制御インタフェースは、ユーザが、ステップインコマンド、ステップオーバーコマンド、ステップアウトコマンド、継続コマンド、及び/又は一時停止コマンドを発行して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を制御することを可能にする、アイコンを含んでもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ340を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードを、模擬現実環境内に提示することを含む。コードのコピー(例えば、コードのシンタックスが色分けされたコピー)を提示することで、ヘッドマウントディスプレイ340を装着しているユーザによるコードのデバッグを容易にしてもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ340を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの状態変数の値を、模擬現実環境内に提示することを含む。いくつかの実装形態では、デバッグ動作は、模擬現実環境内の仮想オブジェクトの1つ以上のパラメータのログを生成することを含む。
図4は、模擬現実アプリケーションにおけるビューベースのブレークポイントを可能とするように構成されたシステム400の一例のブロック図である。システム400は、無線通信リンク425を介して通信する、ヘッドマウントディスプレイ410及びコンピューティングデバイス450を含む。ヘッドマウントディスプレイ410は、1つ以上の動きセンサ412と、ディスプレイ414と、無線通信インタフェース416と、(例えば、(図4には示されていない)ヘッドマウントディスプレイ410内のマイクロコントローラ又は他の処理装置の制御下で)ヘッドマウントディスプレイの構成要素に情報を交換させ得る相互接続418と、ヘッドマウントディスプレイ410を装着しているユーザの頭にヘッドマウントディスプレイ410を固定するように構成された固定具420と、を含む。コンピューティングデバイス450は、処理装置460と、データ記憶デバイス470と、無線通信インタフェース480と、ユーザインタフェース490と、処理装置460をコンピューティングデバイス450の他の構成要素にアクセスさせ得る相互接続494と、を含む。コンピューティングデバイス450は、ヘッドマウントディスプレイ410を装着しているユーザの近くに配置することができ、ヘッドマウントディスプレイ410を制御するために計算タスクを実行することができる。例えば、コンピューティングデバイス450は、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、又はユーザがいる部屋に位置するテーブル上の機器(例えば、スマートテレビ若しくはスマートスピーカ)であってもよく、又はコンピューティングデバイス450は、ユーザの様々に異なる身体部分に着用される(例えば、胸部に着用されたベストと一体化した)別のウェアラブルデバイスであってもよい。システム400は、ヘッドマウントディスプレイ410を装着しているユーザによるデバッグを容易にするために、模擬現実アプリケーションについてビューベースのブレークポイントを可能とするように構成されてもよい。例えば、コンピューティングデバイス450は、模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)を実行するように構成されてもよい。例えば、システム400は、図6の技法600を実装するように構成されてもよい。例えば、システム400は、図7の技法700を実装するように構成されてもよい。例えば、システム400は、図8の技法800を実装するように構成されてもよい。例えば、システム400は、図9の技法900を実装するように構成されてもよい。
ヘッドマウントディスプレイ410は、1つ以上の動きセンサ412を含む。1つ以上の動きセンサ412は、ヘッドマウントディスプレイ410の動きを検出するように構成されてもよい。例えば、1つ以上の動きセンサ412は、1つ以上の加速度計、ジャイロスコープ、及び/又は磁力計を含んでもよい。1つ以上の動きセンサ412は、ヘッドマウントディスプレイ410に取り付けられてもよい。いくつかの実装形態では、現実空間におけるヘッドマウントディスプレイ410の向き及び/又は位置が、1つ以上の動きセンサ412からのセンサデータ及び/又は(例えば、視覚慣性オドメトリ法(VIO)を使用して)画像センサからの画像に少なくとも基づいて測定されてもよい。例えば、ヘッドマウントディスプレイ410の向き及び/又は位置の変化が、ヘッドマウントディスプレイ410を使用して提示される模擬現実アプリケーションの模擬現実環境内のビューを、ユーザが変更するための制御インタフェースとして使用されてもよい。
ヘッドマウントディスプレイ410は、ディスプレイ414を含む。ディスプレイ414は、画像を提示し、デジタル画像をディスプレイ414から投影される光に変換するように構成されてもよい。ディスプレイ414は、可視スペクトルの光を投影する画素アレイを使用して、光を投影することができる。ディスプレイ414は、スクリーン、レンズ、又はユーザへの画像(例えば、ビデオフレーム)の提示を可能にするために、ヘッドマウントディスプレイ410を装着しているユーザの目に光を向けるように構成されている別のタイプの光学アセンブリを含んでもよい。例えば、ディスプレイ414は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ(例えば、OLEDディスプレイ)、又は他の好適なスクリーン、などのスクリーンを含んでもよい。例えば、ディスプレイ414はプロジェクタを含んでもよい。いくつかの実装形態では、ディスプレイ414のスクリーンが、ユーザの目の正面に配置されている。スクリーンは不透明であってもよく、ユーザの周囲環境の視界を不明瞭にしてもよい。そのような構成は、例えば、没入型の仮想現実の体験をもたらすために使用されてもよい。いくつかの実装形態では、ディスプレイ414は、ユーザの目の正面に配置され、ディスプレイ414のスクリーン又はプロジェクタからの光をユーザの目に向けるように構成された、光学アセンブリ(例えば、レンズ及び/又はミラー)を含む。光学アセンブリはまた、ユーザの周囲の環境からの光をユーザの目に向けることができる。例えば、光学アセンブリは、透明バイザーの内面に適用される部分的に反射性の偏光フィルムを含んでもよい。光学アセンブリは、光結合器として機能してもよい。例えば、光学アセンブリのレンズは、また、ユーザの前方の現実環境からの光を通過させてユーザの目に到達させてもよく、ディスプレイ414によって提示される画像に描かれた模擬現実環境のオブジェクトをユーザの前方の現実環境のビューにオーバーレイさせながら、ユーザが自分の前方を見ることを可能としてもよい。いくつかの実装形態では、光学アセンブリ(例えば、レンズ)の透明度が、模擬現実アプリケーション(例えば、仮想現実アプリケーション又は拡張現実アプリケーション)に適合するように調整されてもよい。
ヘッドマウントディスプレイ410は、無線通信インタフェース416を含む。無線通信インタフェース416は、コンピューティングデバイス450を含む他のデバイスとの通信を容易にする。例えば、無線通信インタフェース416は、Wi-Fiネットワーク、Bluetoothリンク、又はZigBeeリンクを介した通信を容易にしてもよい。いくつかの実装形態では、無線通信インタフェース416を使用して、ディスプレイ414を使用した模擬現実環境のビューの提示を呼び出すデータ及び/又は命令を、コンピューティングデバイス450から受信してもよい。いくつかの実装形態では、無線通信インタフェース416を使用して、1つ以上の動きセンサ412からのセンサデータを、コンピューティングデバイス450に送信してもよい。
例えば、相互接続418は、システムバス、又は有線若しくは無線ネットワーク(例えば、ボディエリアネットワーク)であってもよい。
ヘッドマウントディスプレイ410は、固定具420を含む。固定具420は、ユーザがヘッドマウントディスプレイ410を装着しているときに、ヘッドマウントディスプレイ410をユーザの頭部に固定するように構成されていてもよい。例えば、固定具420は、ヘッドバンドを含んでもよい。例えば、固定具420は、アームを有するフレームを含んでもよく、アームはユーザの耳の上に載置され、ユーザの目の前方にディスプレイ414のレンズ又はスクリーンを保持する。
コンピューティングデバイス450は、処理装置460を含む。処理装置460は、データ記憶デバイス470に記憶されている命令を実行するように動作可能であってもよい。いくつかの実装形態では、処理装置460は、命令が実行されている間データ記憶デバイス470から読み取られた命令を一時的に記憶するためのランダムアクセスメモリを有するプロセッサである。処理装置460は、単一又は複数の処理コアをそれぞれ有する単一又は複数のプロセッサを含んでもよい。あるいは、処理装置460は、データを操作又は処理できる、別のタイプのデバイス又は複数のデバイスを含んでもよい。例えば、データ記憶デバイス470は、ハードドライブ、ソリッドステートドライブ、読み出し専用メモリデバイス(ROM)、光ディスク、磁気ディスク、又は、非一時的コンピュータ可読メモリなどの任意の他の好適なタイプの記憶デバイスなどの、不揮発性情報記憶デバイスであってもよい。データ記憶デバイス470は、処理装置460による取得又は処理のためのデータを記憶できる、別のタイプのデバイス又は複数のデバイスを含んでもよい。処理装置460は、データ記憶デバイス470に記憶されているデータに相互接続494を介してアクセスし操作してもよい。例えば、データ記憶デバイス470は、処理装置460によって実行されると、処理装置460に動作(例えば、図6の技法600を実施する動作)を実施させる、処理装置460によって実行可能な命令を記憶してもよい。
コンピューティングデバイス450は、無線通信インタフェース480を含む。無線通信インタフェース480は、ヘッドマウントディスプレイ410を含む他のデバイスとの通信を容易にする。例えば、無線通信インタフェース480は、Wi-Fiネットワーク、Bluetoothリンク、又はZigBeeリンクを介した通信を容易にしてもよい。無線通信インタフェース480は、ヘッドマウントディスプレイ410と無線通信リンク425を確立するために使用されてもよい。いくつかの実装形態では、無線通信インタフェース480を使用して、ヘッドマウントディスプレイ410からセンサデータ(例えば、動きセンサデータ)を受信してもよい。いくつかの実装形態では、無線通信インタフェース480を使用して、ディスプレイ414を使用した模擬現実環境のビューの提示を呼び出すデータ及び/又は命令を、ヘッドマウントディスプレイ410に送信してもよい。
コンピューティングデバイス450は、ユーザインタフェース490を含む。例えば、ユーザインタフェース490は、タッチスクリーンディスプレイを含んでもよい。例えば、ユーザインタフェース490は、音声コマンドを受信するように構成されたマイクロフォンを含んでもよい。例えば、ユーザインタフェース490は、ハンドジェスチャコマンドを検出するように構成されている画像センサを含んでもよい。例えば、ユーザインタフェース490は、キーボード、マウス、ジョイスティック、及び/又は別のハンドヘルドコントローラを含んでもよい。例えば、ユーザインタフェース490は、ユーザ(例えば、ヘッドマウントディスプレイ410を装着しているユーザ)が、コンピューティングデバイス450で実行されている模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)にコマンド(例えば、デバッグコマンド)を入力すること、及び/又は模擬現実アプリケーションの模擬現実環境のオブジェクトに関連付けられたプロセスのコードを編集することを可能にしてもよい。
例えば、相互接続494は、システムバス、又は有線若しくは無線ネットワーク(例えば、ボディエリアネットワーク)であってもよい。
処理装置460は、模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)についてビューベースのブレークポイントを可能とするように構成されてもよい。例えば、処理装置460は、1つ以上の動きセンサ412を使用して取り込まれた動きデータにアクセスし、その動きデータに少なくとも基づいて、ヘッドマウントディスプレイ410を使用して提示される模擬現実環境内のビューを決定するように構成されてもよい。処理装置460は、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出し、ビューが一組のビューの一部であることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置460は、ブレークポイントがトリガされることに応じて、ブレークポイントに関連付けられたデバッグ動作を実施するように構成されてもよい。処理装置460は、デバッグ動作を実施している間に、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイ410によって表示され続けることを可能にするために、模擬現実環境の模擬プロセス(例えば、模擬プロセス520)の実行を継続するように構成されてもよい。いくつかの実装形態では、ビューは、模擬現実環境内の位置及びその位置からの視線ベクトルに対応しており、一組のビューは、模擬現実環境内の領域及び中央視線ベクトルに対する角度範囲に対応しており、処理装置460は、(例えば、図2に関して説明されるように、)ビューの位置が一組のビューの領域内であるかどうかを判定し、ビューの視線ベクトルと一組のビューの中央視線ベクトルとの間の角度を測定し、かつ角度が一組のビューの角度範囲内であるかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、ビューは、模擬現実環境内の視線に対応しており、一組のビューは、模擬現実環境内の領域を通る一連の視線に対応しており、処理装置460は、(例えば、図1に関して説明されるように、)ビューの視線が一組のビューの領域を通るかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、ビューは、模擬現実環境内の焦点に対応しており、一組のビューは、模擬現実環境内の領域に対応しており、処理装置460は、ビューの焦点が一組のビューの領域内であるかどうかを判定することにより、ビューが一組のビューの一部であることを検出するように構成されている。いくつかの実装形態では、処理装置460は、ブレークポイントがトリガされたことに応じて、少なくともビューに基づくレイキャスティングにより、模擬現実環境内のデバッグされる1つ以上のオブジェクトを特定するように構成されている。処理装置460は、特定された1つ以上のオブジェクトに関連付けられた1つ以上のプロセスに関するデバッグ動作を実施するように構成されてもよい。
ブレークポイントは、ブレークポイントをトリガする論理関数(例えば、論理積(AND)関数)を使用してテストされ共に適用され得る、複数のトリガ条件を有してもよい。例えば、ブレークポイントは、(例えば、上述のような)ビューベースのトリガ条件を有してもよく、追加のトリガ条件を有してもよく、ブレークポイントは、ビューベースのトリガ条件と追加のトリガ条件の両方が満たされるときにトリガされてもよい。例えば、処理装置460は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードラインに到達し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置460は、模擬現実環境内の仮想オブジェクトの状態の条件が満たされ、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。例えば、処理装置460は、ヘッドマウントディスプレイ410のユーザによる動作を検出し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガするように構成されてもよい。
処理装置460は、様々なデバッグ機能を提供するために、ブレークポイントがトリガされることに応じて、1つ以上のデバッグ動作を実施するように構成されてもよい。いくつかの実装形態では、デバッグ動作は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止することを含む。例えば、処理装置460は、一時停止されたプロセスに関連付けられたオブジェクトの視覚表現を生成し、プロセスが一時停止されている間に、ヘッドマウントディスプレイ410を使用して、模擬現実環境内での視覚表現の提示を継続するように構成されてもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ410を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を(例えば、ソフトウェアのコードラインの分解度で)ヘッドマウントディスプレイ410のユーザが制御することを可能にするデバッグ制御インタフェースを、模擬現実環境内に提示することを含む。例えば、デバッグ制御インタフェースは、一時停止、再開、ステップイン、ステップオーバー、及びステップアウトからなる一連の機能からユーザが少なくとも1つの機能を選択することを可能にしてもよい。例えば、デバッグ制御インタフェースは、ユーザが、ステップインコマンド、ステップオーバーコマンド、ステップアウトコマンド、継続コマンド、及び/又は一時停止コマンドを発行して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を制御することを可能にする、アイコンを含んでもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ410を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードを、模擬現実環境内に提示することを含む。コードのコピー(例えば、コードのシンタックスが色分けされたコピー)を提示することで、ヘッドマウントディスプレイ410を装着しているユーザによるコードのデバッグを容易にしてもよい。いくつかの実装形態では、デバッグ動作は、ヘッドマウントディスプレイ410を使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの状態変数の値を、模擬現実環境内に提示することを含む。いくつかの実装形態では、デバッグ動作は、模擬現実環境内の仮想オブジェクトの1つ以上のパラメータのログを生成することを含む。
(図4には示されていない)いくつかの実装形態では、模擬現実アプリケーション(例えば、図5の模擬現実アプリケーション500)に関する処理は、ヘッドマウントディスプレイ410内の処理装置と処理装置460との間で分散されてもよい。例えば、模擬プロセス(例えば、模擬プロセス520)が、模擬現実環境内のビューを更新するための待ち時間を低減するために、ヘッドマウントディスプレイ410の処理装置上で実行されてもよく、その間、模擬現実環境内のオブジェクトに関連付けられた1つ以上のプロセス(例えば、プロセスA530及びプロセスB532)が、オブジェクトの状態を更新するために、処理装置460上で実行されてもよい。いくつかの実装形態では、リアリティフラグメント(例えば、リアリティフラグメント540及びリアリティフラグメント542)が、ヘッドマウントディスプレイ410とコンピューティングデバイス450との間で無線通信リンク425を介して送信されてもよい。このように、ヘッドマウントディスプレイ410の処理装置と、処理装置460とは、ヘッドマウントディスプレイ410と、模擬現実アプリケーションを実行し、本明細書に記載の技法(例えば、図6の技法600)を実施する、コンピューティングデバイス450との間に分散された単一の処理装置として動作し得る。
図5は、模擬現実アプリケーション500の一例のブロック図である。模擬現実アプリケーション500は、複数のプロセスを含み、ユーザがヘッドマウントディスプレイ510を装着している間に見ることができ、かつ/又は対話することができる模擬現実環境を複数のプロセスが共に実施する。模擬現実アプリケーション500は、模擬プロセス520を含み、模擬プロセス520は模擬現実環境の様々なオブジェクトを連携させ、模擬現実環境内のビューを生成し、ヘッドマウントディスプレイ510を使用してユーザに提示する。模擬現実アプリケーション500は、模擬現実環境のオブジェクトに関連付けられた複数のプロセスを含む。この例では、模擬現実アプリケーション500は、1つ以上のオブジェクト(例えば、弾んでいるボール)に関連付けられ得るプロセスA530と、1つ以上のオブジェクト(例えば、別のユーザのアバター)に関連付けられ得るプロセスB532とを含む。プロセスA530及びプロセスB532は、それらのそれぞれのオブジェクトの状態を維持してもよい。プロセスA530及びプロセスB532は、それらのそれぞれのオブジェクトの状態の更新を、リアリティフラグメント540及びリアリティフラグメント542として模擬プロセス520に提供する。模擬プロセス520は、次いで、更新されたオブジェクトをヘッドマウントディスプレイ510を使用してユーザに提示してもよい。
例えば、ヘッドマウントディスプレイ510は、ヘッドマウントディスプレイ340又はヘッドマウントディスプレイ410を含んでもよい。
模擬プロセス520は、1つ以上のスレッドを含んでもよい。例えば、模擬プロセス520は、模擬現実環境内のオブジェクトが互いにどのように相互作用するかを判定する物理エンジンを実装してもよい。模擬プロセス520は、模擬現実環境のオブジェクトに関する更新された状態情報を、それらのオブジェクトに対応するプロセスからリアリティフラグメント(例えば、リアリティフラグメント540及びリアリティフラグメント542)の形態で受信してもよい。例えば、リアリティフラグメント540及びリアリティフラグメント542は、プロセス間インタフェースを介して模擬プロセス520に渡されてもよい。模擬プロセス520は、ヘッドマウントディスプレイ510から動きデータを受信してもよく、少なくとも動きデータに基づいてビューを更新してもよい。模擬プロセス520は、模擬現実環境内のビューを、ユーザに提示するためにヘッドマウントディスプレイ510に渡され得る1つ以上の画像(例えば、ユーザの左目のための画像及びユーザの右目のための画像)としてレンダリングしてもよい。例えば、ビューのレンダリングされた画像は、相互接続(例えば、相互接続370)を介してヘッドマウントディスプレイ510に転送されてもよい。例えば、ビューのレンダリングされた画像は、無線通信リンク(例えば、無線通信リンク425)を介してヘッドマウントディスプレイ510に転送されてもよい。
プロセスA530は、1つ以上のスレッドを含んでもよい。プロセスA530は、仮想オブジェクト(例えば、仮想ブック又は仮想の弾んでいるボール)の状態を維持し、更新してもよい。プロセスB532は、1つ以上のスレッドを含んでもよい。プロセスB532は、仮想オブジェクト(例えば、仮想電話又は別のユーザのアバター)の状態を維持し、更新してもよい。いくつかの使用シナリオでは、プロセスA530のブレークポイントがトリガされると、プロセスA530は一時停止され、模擬現実環境内の新しい仮想オブジェクトとしてプロセスA530のデバッグ制御インタフェースを提供するための新しいプロセス(図5には示されていない)が生み出される。プロセスB532は、ブレークポイントのトリガ後にプロセスA530がデバッグされている間、通常どおり実行され続けてもよい。模擬プロセス520もまた、ヘッドマウントディスプレイ510を使用して模擬現実環境をユーザに提示するために実行され続ける。ユーザは、模擬現実環境内の別のユーザのアバターなど、有用であり得る他のオブジェクトとの対話を継続するオプションを保持しながら、模擬現実環境内からプロセスA530をデバッグすることを可能にされてもよい。
図6は、ビューベースのブレークポイントを可能とするための技法600の一例のフローチャートである。技法600は、1つ以上の動きセンサを使用して取り込まれた動きデータにアクセスすること610と、少なくとも動きデータに基づいて、ヘッドマウントディスプレイを使用して提示される模擬現実環境内のビューを決定すること620と、ビューがブレークポイントに関連付けられていることを検出すること630と、ビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガすること640と、ブレークポイントがトリガされることに応じて、ブレークポイントに関連付けられたデバッグ動作を実施すること650と、デバッグ動作を実施している間、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイによって表示され続けることを可能にするために、模擬現実環境の模擬プロセスの実行を継続すること660と、を含む。例えば、技法600は、図3のシステム300によって実装されてもよい。例えば、技法600は、図4のシステム400によって実装されてもよい。
技法600は、1つ以上の動きセンサ(例えば、1つ以上の動きセンサ330又は1つ以上の動きセンサ412)を使用して取り込まれた動きデータにアクセスすること610を含む。例えば、1つ以上の動きセンサは、1つ以上の加速度計、ジャイロスコープ、及び/又は磁力計を含んでもよい。いくつかの実装形態では、1つ以上の動きセンサは、ヘッドマウントディスプレイ(例えば、ヘッドマウントディスプレイ340又はヘッドマウントディスプレイ410)に取り付けられる。いくつかの実装形態では、現実空間におけるヘッドマウントディスプレイの向き及び/又は位置が、1つ以上の動きセンサからのセンサデータに少なくとも基づいて判定されてもよい。動きデータは、様々な方法でアクセスされて610もよい。例えば、センサデータは、センサから直接読み取る、又は相互接続(例えば、相互接続370)を介してメモリから読み取ることによって、アクセスされて610もよい。例えば、センサデータは、通信リンク(例えば、無線通信リンク425)を介してセンサデータを受信することによって、アクセスされて610もよい。
技法600は、少なくとも動きデータに基づいて、ヘッドマウントディスプレイ(例えば、ヘッドマウントディスプレイ340又はヘッドマウントディスプレイ410)を使用して提示される模擬現実環境内のビューを決定すること620を含む。例えば、ヘッドマウントディスプレイを装着しているユーザが頭を回転させると、模擬現実環境のビューは、模擬現実環境内で対応する量だけ回転されてもよい。例えば、ヘッドマウントディスプレイを装着しているユーザが歩くと、模擬現実環境内のビューは、模擬現実環境(例えば、現実環境にオーバーレイされた拡張現実アプリケーションの模擬現実環境)内のビューの位置(例えば、ユーザのアバターの位置)に、対応する変更を加えることにより、シフトされてもよい。いくつかの実装形態では、模擬現実環境内のビューを変更するために、他の入力もまた使用されてもよい。例えば、ジョイスティック又はマウス入力により、アバターの位置及び対応するビューを変更させてもよく(例えば、ビューのための仮想カメラの位置を変更する)、一方で、動きデータを使用してビューの向きを変更してもよい(例えば、ビューのための仮想カメラの向きを変更する)。例えば、画像データを動きデータと共に使用して、(例えば、視覚慣性オドメトリ法(VIO)を使用して表示デバイスの姿勢を決定することによって)ビューを決定して620もよい。
技法600は、ビューがブレークポイントに関連付けられているかどうかを検出すること630を含む。例えば、ビューがブレークポイントに関連付けられているかどうかを検出すること630は、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出すること630を含んでもよい。ビューがブレークポイントに関連付けられた一組のビューの一部であることは、ブレークポイントのためのビューベースのトリガ条件であってもよい。ブレークポイントに関連付けられた一組のビューは、多数の方法で規定されてもよい。いくつかの実装形態では、一組のビューは、(例えば、図2の使用シナリオ200に関して説明されるように、)模擬現実環境内の領域及び中央視線ベクトルに対する角度範囲に対応する。例えば、図7の技法700は、ビューが一組のビューの一部であることを検出する630ために実装されてもよい。いくつかの実装形態では、ビューは、模擬現実環境内の視線(例えば、アバター又は仮想カメラの現在位置からの視線)に対応しており、一組のビューは、模擬現実環境内の領域(例えば、領域140)を通る一連の視線に対応しており、ビューが一組のビューの一部であることを検出すること630は、(例えば、図1の使用シナリオ100に関して説明されるように、)ビューの視線が一組のビューの領域を通るかどうかを判定することを含む。いくつかの実装形態では、ビューは、模擬現実環境内の焦点に対応しており、一組のビューは、模擬現実環境内の領域に対応しており、ビューが一組のビューの一部であることを検出すること630は、ビューの焦点が一組のビューの領域内であるかどうかを判定することを含む。
技法600は、ビューがブレークポイントに関連付けられていることに少なくとも基づいて(例えば、ビューがブレークポイントに関連付けられた一組のビューの一部であることに少なくとも基づいて)、ブレークポイントをトリガすること640を含む。ブレークポイントは、ビューが一組のビューの一部であることを含む、1つ以上のトリガ条件に関連付けられてもよい。いくつかの実装形態では、ビューが一組のビューの一部であることは、ブレークポイントに関連付けられた唯一のトリガ条件である。いくつかの実装形態では、ビューが一組のビューの一部であることは、ブレークポイントの複数のトリガ条件のうちの1つであってもよい。ブレークポイントが複数のトリガ条件を有する場合、トリガ条件は、ブレークポイントをトリガする論理関数(例えば、論理積関数)を使用してテストされ共に適用されてもよい。例えば、ブレークポイントは、ビューベースのトリガ条件と追加のトリガ条件の両方が満たされるときにトリガされてもよい。例えば、ブレークポイントをトリガすること640は、模擬現実環境内のオブジェクト(例えば、弾んでいるボール)に関連付けられたプロセス(例えば、プロセスA530)のコードラインに到達し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガすることを含んでもよい。例えば、コードのラインに到達すること及びビューを条件とすることで、特定の表示ケースにおいて、オブジェクトに関連付けられたプロセスの特定のコードセクションの実行をユーザが調査することを助けてもよい。例えば、ブレークポイントをトリガすること640は、模擬現実環境内の仮想オブジェクトの状態の条件が満たされ、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガすることを含んでもよい。例えば、ブレークポイントをトリガすること640は、ヘッドマウントディスプレイのユーザによる動作(例えば、ユーザインタフェース490を介したハンドジェスチャ又はボタン押圧入力)を検出し、同時にビューがブレークポイントに関連付けられていることに少なくとも基づいて、ブレークポイントをトリガすることを含んでもよい。
技法600は、ブレークポイントがトリガされることに応じて、ブレークポイントに関連付けられたデバッグ動作を実施すること650を含む。例えば、デバッグ動作は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセス(例えば、プロセスA530)の実行を一時停止すること、及び/又は、プロセスのデバッグを容易にするためのデバッグ制御インタフェースをヘッドマウントディスプレイを使用してユーザに提示することと、を含んでもよい。様々なデバッグ機能を提供するために、ブレークポイントがトリガされることに応じて、1つ以上のデバッグ動作を実施して650もよい。例えば、デバッグ動作を実施する650ために、図8の技法800に関して説明される動作の様々な組み合わせが実装されてもよい。
技法600は、デバッグ動作を実施して650いる間に、模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展しヘッドマウントディスプレイによって表示され続けることを可能にするために、模擬現実環境の模擬プロセス(例えば、模擬プロセス520)の実行を継続すること660を含む。例えば、ユーザは、模擬現実環境内の対象となる特定のオブジェクトに関連付けられたプロセスを独立してデバッグすることが可能であり得る。その間も、模擬現実アプリケーションによって提供される模擬現実環境を使用し続け、模擬現実環境内の他のオブジェクト(例えば、他のユーザのアバター)を見て、かつ/又はそれと対話することができる。例えば、デバッグ動作は、模擬現実環境内のオブジェクト(例えば、弾んでいるボール)に関連付けられたプロセス(例えば、プロセスA530)の実行を一時停止することを含んでもよく、プロセスがデバッグのために一時停止されている間に、他のオブジェクト(例えば、アバター)のための他のプロセス(例えば、プロセスB532)を実行し続け、それらの他のオブジェクトとの継続的な対話を可能にしてもよい。
図7は、ビューがブレークポイントに関連付けられた一組のビューの一部であることを検出するための技法700の一例のフローチャートである。ビューは、模擬現実環境内の位置及びその位置からの視線ベクトルとして規定されてもよい。一組のビューは、模擬現実環境内の領域、及び中央視線ベクトルに対する角度範囲に対応してもよい。技法700は、ビューの位置が一組のビューの領域内であるかどうかを判定すること710と、ビューの視線ベクトルと一組のビューの中央視線ベクトルとの間の角度を測定すること720と、角度が一組のビューの角度範囲内であるかどうかを判定すること730と、を含む。例えば、技法700は、図3のシステム300によって実装されてもよい。例えば、技法700は、図4のシステム400によって実装されてもよい。
技法700は、ビューの位置が一組のビューの領域内であるかどうかを判定すること710を含む。例えば、ビューの位置は、ヘッドマウントディスプレイを着用しているユーザのアバターの位置、及び/又はユーザに関連付けられた仮想カメラの位置に対応してもよい。ビューの位置は、模擬現実環境(例えば、3次元空間である模擬現実環境)内の点の座標に対応してもよい。いくつかの実装形態では、ビューの位置が一組のビューの領域内であるかどうかを判定すること710は、ビューの位置と一組のビューの領域との交点が空でないかどうかを確認することを含む。いくつかの実装形態では、ビューの位置が一組のビューの領域内であるかどうかを判定すること710は、ビューの位置をより低次元の下位空間に投影し、ビューの位置の投影と一組のビューの領域との交点が空でないかどうかをチェックすることを含む。例えば、3次元位置が、(例えば、図2の使用シナリオ200に関して説明されるように、)一組のビューの領域が規定される2次元平面(例えば、仮想フロア)に投影されてもよい。
技法700は、ビューの視線ベクトルと一組のビューの中央視線ベクトルとの間の角度を判定すること720を含む。例えば、視線ベクトルは、ヘッドマウントディスプレイを使用してユーザに提示されるビューの中心を通る視線と平行であってもよい。例えば、視線ベクトルは、ビューの位置から出ていてもよい。例えば、中央視線ベクトルは、一組のビューの領域から対象となる1つ以上の仮想オブジェクトの方に出ていてもよい。技法700は、角度が一組のビューの角度範囲内であるかどうかを判定すること730を含む。例えば、角度の大きさが閾値未満である場合に、角度は一組のビューの角度範囲内であってもよい。いくつかの実装形態では、視線ベクトルと一組のビューの中央視線ベクトルとの間の2つの角度を測定720し、評価してもよい。例えば、2つのベクトル間のピッチ回転及びヨー回転を測定720してもよい。ピッチ角の大きさを第1の閾値と比較してもよく、ヨー角の大きさを第1の閾値とは異なり得る第2の閾値と比較してもよい。例えば、ビューの位置が領域内であり、角度が角度範囲内である場合に、ビューは、ブレークポイントに関連付けられた一組のビューの一部として検出される。
図8は、ブレークポイントがトリガされることに応じてデバッグ動作を実施するための技法800の一例のフローチャートである。技法800は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止すること810と、一時停止されたプロセスに関連付けられたオブジェクトの視覚表現を生成すること820と、ヘッドマウントディスプレイを使用して、プロセスが一時停止されている間に、模擬現実環境内の視覚表現の提示を継続すること830と、ヘッドマウントディスプレイを使用して、模擬現実環境内にデバッグ制御インタフェースを提示すること840と、ヘッドマウントディスプレイを使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードを、模擬現実環境内に提示すること850と、ヘッドマウントディスプレイを使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの状態変数の値を、模擬現実環境内に提示すること860と、模擬現実環境内の仮想オブジェクトの1つ以上のパラメータのログを生成すること870と、を含む。例えば、技法800は、図3のシステム300によって実装されてもよい。例えば、技法800は、図4のシステム400によって実装されてもよい。
技法800は、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止すること810を含む。関連付けられたプロセスが一時停止810されている間、オブジェクトの状態を進展させることを停止してもよい。オブジェクトに関するプロセスの実行を一時停止すること810は、ヘッドマウントディスプレイ(例えば、ヘッドマウントディスプレイ410)を装着しているユーザ(例えば、ソフトウェア開発者)が、プロセスのコード及び/又は状態変数を検査することを可能とし得る。例えば、プロセスA530は、プロセスA530のデバッグを容易にするために一時停止810されてもよい。
技法800は、一時停止されたプロセス(例えば、プロセスA530)に関連付けられたオブジェクトの視覚表現を生成すること820を含む。例えば、模擬現実環境の模擬プロセス(例えば、模擬プロセス520)は、プロセスが一時停止810されたときに入手可能なオブジェクトの最新の(例えば、リアリティフラグメント540に符号化されたときの)状態情報に少なくとも基づいて、オブジェクトの視覚表現(例えば、空中で一時停止された弾んでいるボール)を生成820してもよい。技法800は、ヘッドマウントディスプレイ(例えば、ヘッドマウントディスプレイ340又はヘッドマウントディスプレイ410)を使用して、プロセスが一時停止810されている間、模擬現実環境内の視覚表現の提示を継続すること830を含む。
技法800は、ヘッドマウントディスプレイ(例えば、ヘッドマウントディスプレイ340又はヘッドマウントディスプレイ410)を使用して、ヘッドマウントディスプレイのユーザが模擬現実環境内の仮想オブジェクトに関連付けられたプロセス(例えば、プロセスA530)の実行を(例えば、ソフトウェアのコードラインの分解度で)制御することを可能にするデバッグ制御インタフェースを、模擬現実環境内に提示すること840を含む。例えば、デバッグ制御インタフェースは、一時停止、再開、ステップイン、ステップオーバー、及びステップアウトからなる一連の機能からユーザが少なくとも1つの機能を選択することを可能にしてもよい。例えば、デバッグ制御インタフェースは、ユーザが、ステップインコマンド、ステップオーバーコマンド、ステップアウトコマンド、継続コマンド、及び/又は一時停止コマンドを発行して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を制御することを可能にする、アイコンを含んでもよい。いくつかの実装形態では、デバッグ制御インタフェースは、模擬現実環境内の新しい仮想オブジェクトとして生み出されてもよく、新しい仮想オブジェクトに関連付けられたプロセスが、デバッグされている別のプロセスのデバッグセッションを管理するように構成されてもよい。この例では、一時停止810されたプロセスがデバッグされる。
技法800は、ヘッドマウントディスプレイを使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセス(例えば、プロセスA530)のコードを、模擬現実環境内に提示すること850を含む。例えば、提示850されるコードのコピーは、シンタックスが色分けされたコードのコピーであってもよく、これにより、ヘッドマウントディスプレイを装着しているユーザによるコードのデバッグを容易にしてもよい。いくつかの実装形態では、コードは、デバッグ制御インタフェースの、一時停止810されたプロセスのために提示840されている部分に提示850されてもよい。
技法800は、ヘッドマウントディスプレイを使用して、模擬現実環境内の仮想オブジェクトに関連付けられたプロセス(例えば、プロセスA530)の状態変数の値を、模擬現実環境内に提示すること860を含む。いくつかの実装形態では、状態変数の値は、デバッグ制御インタフェースの、一時停止810されたプロセスのために提示840される部分に提示860されてもよい。
技法800は、模擬現実環境内の仮想オブジェクトの1つ以上のパラメータ(例えば、出力又は内部状態変数)のログを生成すること870を含む。例えば、ログは、1つ以上のパラメータの時間履歴を記録してもよく、ログ内のエントリが、それぞれのタイムスタンプを含んでもよい。例えば、ログは、処理装置310のメモリに書き込まれてもよく、かつ/又はデータ記憶デバイス320に書き込まれてもよい。いくつかの実装形態では、ヘッドマウントディスプレイを使用して、ログの全て又は一部分(例えば、最新のN個のエントリ)が模擬現実環境内に提示されてもよい。いくつかの実装形態では、ログエントリは、デバッグ制御インタフェースの、一時停止810されたプロセスのために提示840される部分に提示されてもよい。
図9は、ブレークポイントがトリガされたことに応じて、デバッグする1つ以上の仮想オブジェクトを特定するための技法900の一例のフローチャートである。例えば、デバッグする1つ以上のオブジェクトは、ブレークポイントがトリガされた時点のビューに少なくとも基づいて選択されてもよい。技法900は、ブレークポイントがトリガされたことに応じて、少なくともビューに基づくレイキャスティンングにより、模擬現実環境内のデバッグされる1つ以上のオブジェクトを特定すること910と、特定された1つ以上のオブジェクトに関連付けられた1つ以上のプロセスに関するデバッグ動作を実施すること920と、を含む。例えば、技法900は、図3のシステム300によって実装されてもよい。例えば、技法900は、図4のシステム400によって実装されてもよい。
技法900は、ブレークポイントがトリガされたことに応じて、少なくともビューに基づくレイキャスティングにより、模擬現実環境内のデバッグされる1つ以上のオブジェクトを特定すること910を含む。例えば、ヘッドマウントディスプレイを使用してユーザに提示されるビューの中心に投影される視線が、デバッグされる1つ以上のオブジェクトを特定する910ためのレイキャスティングに使用されてもよい。視線が模擬現実環境内の仮想オブジェクトに入射する場合に、オブジェクトはデバッグするために特定910されてもよい。いくつかの実装形態では、視線が交差する最も近いオブジェクトのみが特定される910。いくつかの実装形態では、視線が通る複数のオブジェクトが特定される910。いくつかの実装形態では、ビューから導出された複数の視線が、デバッグするための1つ以上のオブジェクトを特定910するために投じられる。いくつかの実装形態では、ユーザが見ているオブジェクトを特定する910視線検出。
技法900は、1つ以上の特定910されたオブジェクトに関連付けられた1つ以上のプロセスに関するデバッグ動作を実施すること920を含む。例えば、図8の技法800は、特定910されたオブジェクトの1つ以上に関連付けられたプロセスに関するデバッグ動作を実施920するように実装されてもよい。そのようなプロセスのために、他の組み合わせのデバッグ動作が実施されてもよい。いくつかの実装形態では、デバッグ動作を実施すること920は、特定910されたオブジェクトに関連付けられた各プロセスについて別個のデバッグプロセスを生み出すことを含む。
本明細書に記載された技法(例えば、図6の技法600)は、様々な表示ハードウェアを使用して提示される模擬現実アプリケーションに使用されてもよい。例えば、本明細書に記載されるような模擬現実環境を提示するために使用されるディスプレイは、模擬現実アプリケーションを実行するヘッドマウントディスプレイ、スマートフォン、又はタブレットの一部であってもよい。
上記開示の実装形態又は実装形態の諸部分は、例えば、コンピュータ使用可能又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。コンピュータ使用可能媒体又はコンピュータ可読媒体は、例えば、任意のプロセッサによって、又はそれと関連して使用するためのプログラム又はデータ構造を有形的に収容、記憶、通信、又は伝送することができる任意のデバイスであり得る。媒体は、例えば、電子デバイス、磁気デバイス、光学デバイス、電磁デバイス、又は半導体デバイスとすることができる。他の好適な媒体もまた、利用可能である。このようなコンピュータ使用可能又はコンピュータ可読媒体は、非一時的メモリ又は媒体と呼ばれる場合があり、RAM若しくは他の揮発性メモリ、又は経時的に変化し得る記憶デバイスを含むことができる。
いくつかの実装形態は、模擬現実アプリケーションのデバッグを容易にするためにデータを収集及び/又は使用してもよい。このデータが、特定の個人を特定する個人情報を含む可能性がある。個人情報の例としては、名前、誕生日、住所、電話番号、所在地、ソーシャルメディアユーザ名若しくは他のアカウントユーザ名、及び/又は生理学的情報が挙げられる。
いくつかの実装形態では、この種の情報の使用が、本明細書に記載されるシステム及び方法の効用を向上させるのに有益であり得る。例えば、個人情報を使用して、現実環境内での位置を認識して、拡張現実アプリケーションの動作及びデバッグを向上させることができる。
個人情報を収集、受信、送信、かつ/又は使用する者は、十分に確立されたポリシー及び慣行を使用するべきである。例えば、そのような情報をセキュアに保つために、業界における慣行及び保護の標準を満足し、上回るべきである。これらのポリシー及び手順は、情報を収集し使用する前と、ポリシー及び手順の変更時都度の両方において、ユーザに知らせなければならない。この情報へのアクセスは、不適切な使用及び不慮の開示を予防するために制限されるべきである。個人情報を収集、受信、送信、及び/又は使用する者はまた、関連する管轄区の法律及び規制の全てに準拠しなければならず、これらの法律及び規制が国によって異なることを認識しなければならない。
本明細書に記載されるシステム及び方法は、例えば、「オプトイン」又は「オプトアウト」型のシステムによって、ユーザが個人情報の使用を制限又は防止することを可能にすることができる。これらの選択をユーザに提供することによって、様々に異なるタイプの情報の利用に対して別個の制御をユーザにもたらすことができる。したがって、所在地データ及びユーザ識別情報の使用に関して、様々に異なる許可又は禁止を指定することができる。
無認可の開示又は使用のリスクに対応するための処置を講じるべきである。例としては、データ収集を制限すること、情報が保存される期間を制限すること、必要とされないデータを削除することが挙げられる。加えて、いくつかのタイプの個人情報を匿名化したり、又は、その情報を特定のユーザにリンクせずに、ユーザ全体にわたってデータを集約する形態で記憶したりすることができる。
加えて、本明細書に記載されるシステム及び方法において個人情報の使用は可能であるが、個人情報は、いかなる実施にも必須ではなく、その使用を排除することができる。例えば、いくつかの模擬現実環境におけるビューを、地理的位置データなしで、非個人情報データ又は最小限の個人情報に基づいて決定することができる。
本開示は、特定の実施形態に関連して説明されているが、本開示は、開示される実施形態に限定されるものではなく、むしろ、添付の特許請求の範囲内に含まれる様々な修正形態及び同等の構成を網羅することを意図しており、その範囲は、そのような全ての修正形態及び同等の構造を包含するような最も広い解釈が許容されるべきであることを理解されたい。
Claims (20)
- ディスプレイと、
前記ディスプレイに取り付けられた1つ以上の動きセンサと、
処理装置であって、
前記1つ以上の動きセンサを使用して取り込まれる動きデータにアクセスし、
少なくとも前記動きデータに基づいて、前記ディスプレイを使用して提示される模擬現実環境内のビューを決定し、
前記ビューがブレークポイントに関連付けられているかどうかを検出し、
前記ビューが前記ブレークポイントに関連付けられていることを検出したことに少なくとも基づいて、前記ブレークポイントをトリガし、前記ブレークポイントに関連付けられたデバッグ動作を実施し、
前記デバッグ動作を実施している間、前記模擬現実環境内の少なくとも1つの仮想オブジェクトの状態を前記ディスプレイによって表示し続け、前記1つ以上の動きセンサを使用して受信される入力に応答することを可能にするために、前記模擬現実環境の模擬プロセスの実行を継続するように構成された処理装置と、
を備えるシステム。 - 前記ビューが前記模擬現実環境内の位置からの視線ベクトルに対応しており、前記ブレークポイントが、前記模擬現実環境内の領域及び中央視線ベクトルに対する角度範囲に対応する、一組のビューに関連付けられており、前記処理装置が、
前記ビューの前記位置が前記一組のビューの前記領域内であるかどうかを判定し、
前記ビューの前記視線ベクトルと前記一組のビューの前記中央視線ベクトルとの間の角度を測定し、かつ
前記角度が前記一組のビューの前記角度範囲内であるかどうかを判定することにより、前記ビューが前記ブレークポイントに関連付けられていることを検出するように構成されている、請求項1に記載のシステム。 - 前記ビューが前記模擬現実環境内の視線に対応しており、前記ブレークポイントが、前記模擬現実環境内の領域を通る一連の視線に対応する一組のビューに関連付けられており、前記処理装置が、
前記ビューの前記視線が前記一組のビューの前記領域を通るかどうかを判定することにより、前記ビューが前記ブレークポイントに関連付けられていることを検出するように構成されている、請求項1に記載のシステム。 - 前記ビューが前記模擬現実環境内の焦点に対応しており、前記ブレークポイントが、前記模擬現実環境内の領域に対応する一組のビューに関連付けられており、前記処理装置が、
前記ビューの前記焦点が前記一組のビューの前記領域内であるかどうかを判定することにより、前記ビューが前記ブレークポイントに関連付けられていることを検出するように構成されている、請求項1に記載のシステム。 - 前記ブレークポイントが複数のトリガ条件を有し、前記処理装置が、
前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードラインに到達し、同時に前記ビューが前記ブレークポイントに関連付けられていることに少なくとも基づいて、前記ブレークポイントをトリガするように構成されている、請求項1から4のいずれか一項に記載のシステム。 - 前記ブレークポイントが複数のトリガ条件を有し、前記処理装置が、
前記模擬現実環境内の仮想オブジェクトの状態の条件が満たされ、同時に前記ビューが前記ブレークポイントに関連付けられていることに少なくとも基づいて、前記ブレークポイントをトリガするように構成されている、請求項1から5のいずれか一項に記載のシステム。 - 前記ブレークポイントが複数のトリガ条件を有し、前記処理装置が、
前記ディスプレイのユーザによる動作を検出し、同時に前記ビューが前記ブレークポイントに関連付けられていることに少なくとも基づいて、前記ブレークポイントをトリガするように構成されている、請求項1から6のいずれか一項に記載のシステム。 - 前記処理装置が、
前記ブレークポイントがトリガされたことに応じて、少なくとも前記ビューに基づくレイキャスティングにより、前記模擬現実環境内のデバッグされる1つ以上の仮想オブジェクトを特定し、
特定された前記1つ以上の仮想オブジェクトに関連付けられた1つ以上のプロセスに関する前記デバッグ動作を実施するように構成されている、請求項1から7のいずれか一項に記載のシステム。 - 前記デバッグ動作が、前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止することを含む、請求項1から8のいずれか一項に記載のシステム。
- 前記処理装置が、
一時停止される前記プロセスに関連付けられた前記仮想オブジェクトの視覚表現を生成し、
前記プロセスが一時停止されている間、前記ディスプレイを使用して、前記模擬現実環境内の前記視覚表現の提示を継続するように構成されている、請求項9に記載のシステム。 - 前記デバッグ動作が、前記ディスプレイを使用して、前記ディスプレイのユーザが前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を制御することを可能にするデバッグ制御インタフェースを、前記模擬現実環境内に提示することを含む、請求項1から10のいずれか一項に記載のシステム。
- 前記デバッグ動作が、前記ディスプレイを使用して、前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードを、前記模擬現実環境内に提示することを含む、請求項1から11のいずれか一項に記載のシステム。
- 前記ディスプレイがヘッドマウントディスプレイである、請求項1から12のいずれか一項に記載のシステム。
- 1つ以上の動きセンサを使用して取り込まれる動きデータにアクセスすることと、
少なくとも前記動きデータに基づいて、ディスプレイを使用して提示される模擬現実環境内のビューを決定することと、
前記ビューがブレークポイントに関連付けられているかどうかを検出することと、
前記ビューが前記ブレークポイントに関連付けられていることを検出したことに少なくとも基づいて、前記ブレークポイントをトリガすることと、
前記ブレークポイントがトリガされたことに応じて、前記ブレークポイントに関連付けられたデバッグ動作を実施することと、
前記デバッグ動作を実施している間、前記模擬現実環境内の少なくとも1つの仮想オブジェクトの状態が進展し前記ディスプレイによって表示され続けることを可能にするために、前記模擬現実環境の模擬プロセスの実行を継続することと、
を含む方法。 - 前記ビューが前記模擬現実環境内の位置からの視線ベクトルに対応しており、前記ブレークポイントが、前記模擬現実環境内の領域及び中央視線ベクトルに対する角度範囲に対応する、一組のビューに関連付けられており、前記ビューが前記ブレークポイントに関連付けられていることを検出することが、
前記ビューの前記位置が前記一組のビューの前記領域内であるかどうかを判定することと、
前記ビューの前記視線ベクトルと前記一組のビューの前記中央視線ベクトルとの間の角度を測定することと、
前記角度が前記一組のビューの前記角度範囲内であるかどうかを判定することとを含む、請求項14に記載の方法。 - 前記ビューが前記模擬現実環境内の視線に対応しており、前記ブレークポイントが、前記模擬現実環境内の領域を通る一連の視線に対応する一組のビューに関連付けられており、前記ビューが前記ブレークポイントに関連付けられていることを検出することが、
前記ビューの前記視線が前記一組のビューの前記領域を通るかどうかを判定することを含む、請求項14に記載の方法。 - 前記ビューが前記模擬現実環境内の焦点に対応しており、前記ブレークポイントが、前記模擬現実環境内の領域に対応する一組のビューに関連付けられており、前記ビューが前記ブレークポイントに関連付けられていることを検出することが、
前記ビューの前記焦点が前記一組のビューの前記領域内であるかどうかを判定することを含む、請求項14に記載の方法。 - 前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスのコードラインに到達し、同時に前記ビューが前記ブレークポイントに関連付けられていることに少なくとも基づいて、前記ブレークポイントをトリガすることを含む、請求項14から17のいずれか一項に記載の方法。
- 前記ブレークポイントがトリガされたことに応じて、少なくとも前記ビューに基づくレイキャスティングにより、前記模擬現実環境内のデバッグされる1つ以上の仮想オブジェクトを特定することと、
特定された前記1つ以上の仮想オブジェクトに関連付けられた1つ以上のプロセスに関する前記デバッグ動作を実施することと、
を含む、請求項14から18のいずれか一項に記載の方法。 - 前記デバッグ動作が、前記模擬現実環境内の仮想オブジェクトに関連付けられたプロセスの実行を一時停止することを含む、請求項14から19のいずれか一項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862690012P | 2018-06-26 | 2018-06-26 | |
US62/690,012 | 2018-06-26 | ||
PCT/US2019/038919 WO2020005898A1 (en) | 2018-06-26 | 2019-06-25 | View-based breakpoints |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021524109A JP2021524109A (ja) | 2021-09-09 |
JPWO2020005898A5 true JPWO2020005898A5 (ja) | 2022-04-20 |
JP7139456B2 JP7139456B2 (ja) | 2022-09-20 |
Family
ID=67211972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564625A Active JP7139456B2 (ja) | 2018-06-26 | 2019-06-25 | ビューベースのブレークポイント |
Country Status (8)
Country | Link |
---|---|
US (1) | US20210286701A1 (ja) |
JP (1) | JP7139456B2 (ja) |
KR (1) | KR102501599B1 (ja) |
CN (1) | CN112262373A (ja) |
AU (1) | AU2019294492B2 (ja) |
DE (1) | DE112019003239T5 (ja) |
GB (1) | GB2588007B (ja) |
WO (1) | WO2020005898A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022055650A1 (en) * | 2020-09-14 | 2022-03-17 | Sterling Labs Llc | Content playback and modifications in a 3d environment |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7111281B2 (en) * | 2002-12-26 | 2006-09-19 | International Business Machines Corporation | Method, system, and article of manufacture for debugging utilizing screen pattern recognition and breakpoints |
US8261199B2 (en) * | 2007-10-16 | 2012-09-04 | International Business Machines Corporation | Breakpoint identification and presentation in virtual worlds |
US20130247007A1 (en) * | 2012-03-16 | 2013-09-19 | International Business Machines Corporation | Making debugger behavior conditional on past program state |
AU2015297035B2 (en) * | 2014-05-09 | 2018-06-28 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
US9703681B2 (en) * | 2014-05-29 | 2017-07-11 | Microsoft Technology Licensing, Llc | Performance optimization tip presentation during debugging |
US10725297B2 (en) * | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
EP3332322A4 (en) * | 2015-08-06 | 2018-08-22 | Avishai Abrahami | Cognitive state alteration system integrating multiple feedback technologies |
KR20180041768A (ko) * | 2015-10-12 | 2018-04-24 | 이 잉크 캘리포니아 엘엘씨 | 전기영동 디스플레이 디바이스 |
US20170109933A1 (en) * | 2015-10-14 | 2017-04-20 | Prime Software Systems, Inc. | Visualizing the structure and execution of a program |
US9436583B1 (en) * | 2015-11-06 | 2016-09-06 | International Business Machines Corporation | Minimally disruptive debugging in a production environment |
US20180005444A1 (en) * | 2016-06-30 | 2018-01-04 | Daqri, Llc | Augmented reality failsafe mode |
US20180101986A1 (en) * | 2016-10-10 | 2018-04-12 | Aaron Mackay Burns | Drawing in a 3d virtual reality environment |
US10540262B2 (en) * | 2016-10-17 | 2020-01-21 | Microsoft Technology Licensing, Llc | Using edit and continue to dynamically set and unset optimizations in source code while debugging |
JP6756236B2 (ja) * | 2016-10-31 | 2020-09-16 | 富士通株式会社 | アクション指示プログラム、アクション指示方法及び画像生成装置 |
-
2019
- 2019-06-25 GB GB2018272.1A patent/GB2588007B/en active Active
- 2019-06-25 JP JP2020564625A patent/JP7139456B2/ja active Active
- 2019-06-25 AU AU2019294492A patent/AU2019294492B2/en active Active
- 2019-06-25 WO PCT/US2019/038919 patent/WO2020005898A1/en active Application Filing
- 2019-06-25 DE DE112019003239.9T patent/DE112019003239T5/de active Pending
- 2019-06-25 KR KR1020207035263A patent/KR102501599B1/ko active IP Right Grant
- 2019-06-25 CN CN201980033646.0A patent/CN112262373A/zh active Pending
-
2021
- 2021-03-16 US US17/203,681 patent/US20210286701A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106662925B (zh) | 使用头戴式显示器设备的多用户注视投影 | |
JP6730286B2 (ja) | 拡張現実視野オブジェクトフォロワー | |
CN111052045B (zh) | 计算机生成的现实平台 | |
US11520401B2 (en) | Focus-based debugging and inspection for a display system | |
US20160025982A1 (en) | Smart transparency for holographic objects | |
KR20170036710A (ko) | 실세계 오브젝트를 갖는 가상 현실 환경 | |
JP2017531221A (ja) | 仮想現実環境の中に没入したときのつまずき対抗 | |
KR20210024984A (ko) | 경면 반사를 제공하는 표면들의 이미지-기반 검출 및 반사 수정 | |
KR20210016288A (ko) | 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화 | |
US11699412B2 (en) | Application programming interface for setting the prominence of user interface elements | |
CN115297314A (zh) | 用于调试程序执行和内容回放的方法和设备 | |
CN111602103A (zh) | 配置用于合成现实环境的目标实现器 | |
JP7139456B2 (ja) | ビューベースのブレークポイント | |
US20230290042A1 (en) | Content playback and modifications in a 3d environment | |
JPWO2020005898A5 (ja) | ||
CN116547719A (zh) | 传感器仿真 | |
CN113678173A (zh) | 用于虚拟对象的基于图绘的放置的方法和设备 | |
US11966278B2 (en) | System and method for logging visible errors in a videogame | |
US11763517B1 (en) | Method and device for visualizing sensory perception | |
WO2024064380A1 (en) | User interfaces for gaze tracking enrollment | |
CN116868152A (zh) | 用于在三维环境中呈现化身的界面 |