JP2024502810A - 仮想現実において空間認識を提供するためのシステムおよび方法 - Google Patents

仮想現実において空間認識を提供するためのシステムおよび方法 Download PDF

Info

Publication number
JP2024502810A
JP2024502810A JP2023540101A JP2023540101A JP2024502810A JP 2024502810 A JP2024502810 A JP 2024502810A JP 2023540101 A JP2023540101 A JP 2023540101A JP 2023540101 A JP2023540101 A JP 2023540101A JP 2024502810 A JP2024502810 A JP 2024502810A
Authority
JP
Japan
Prior art keywords
user
view
pass
environment
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023540101A
Other languages
English (en)
Inventor
ユージン リー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2024502810A publication Critical patent/JP2024502810A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一実施形態では、方法は、ＶＲデバイスの１つまたは複数のディスプレイに対して、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングすることを含む。ＶＲ環境は、実世界環境に対応する仮想境界を有する。本方法は、ユーザが仮想境界のしきい値距離に近づいているかどうかを判定し、ユーザの移動方向および視野を判定することと、ＶＲデバイスの１つまたは複数のカメラによって取り込まれた実世界環境の１つまたは複数の画像にアクセスすることと、アクセスされた画像に基づいて、ＶＲ環境の部分および実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングすることと、をさらに含む。パススルービューの部分は、決定された移動方向およびユーザの視野に基づく。【選択図】図１Ｄ

Description

本開示は、一般に、ネットワーク環境内のデータベースおよびファイル管理に関し、特に、仮想現実（ＶＲ）設定における空間認識の決定に関する。
ＶＲ設定における空間認識の従来の方法では、ユーザは、ユーザが動き回るための安全な境界外周部の外側境界を表す境界壁を定義する必要がある。たとえば、ユーザは、（たとえば、ルームスケールＶＲ設定の場合）境界として部屋の床に線を引くことができ、または（たとえば、静止ＶＲ設定の場合）静止して座っているか立っているユーザを中心とする円形外周部を自動的に定義するコンピュータシステムを有することができる。ユーザまたはユーザの手が境界に近づくと、仮想壁が現れて、境界に近づいていることをユーザに警告することができる。ルームスケールのＶＲユーザの場合、ユーザは、仮想壁が常に表示される小さな部屋を有することがあり、ユーザ体験を失望させ、ＶＲ没入感を壊す。静止ＶＲユーザの場合、ユーザは、頭および／または手が動くと常に仮想壁を見ることがあり、一部のユーザに閉鎖的で閉所恐怖症を感じさせる。さらに、ユーザが境界から後方に移動している場合などのいくつかの状況では、仮想壁は、手遅れになるまでユーザの視野内に表示されず、ユーザがあまりにも速く移動している場合にユーザにけがを負わせるリスクがある。
特定の実施形態では、没入型ＶＲシステムのユーザは、実世界環境のビューがＶＲシステムによって部分的または完全に遮られることがあり、したがって、ＶＲ環境に没入している間に実世界オブジェクトにぶつかるか、または実世界オブジェクトに当たる危険性がある。さらに、ＶＲ環境への没入は、実世界環境におけるユーザの位置および／または向きに関してユーザを混乱させる可能性がある。すなわち、ユーザは、自分がどこに立っていたか、または近くにある家具または他のオブジェクトがどこにあるかを忘れてしまう可能性がある。したがって、１つの技術的課題は、ＶＲ体験に没入したユーザに実世界環境に関する空間情報を伝達しながら、没入型ＶＲ体験を維持することを含むことができる。ユーザを安全に保ち、ＶＲ環境内でユーザが自分自身を方向付けるのを支援する従来の方法は、仮想境界の描画を含み、仮想境界は、ユーザがＶＲ体験中にユーザのための安全領域を定義するユーザによって描画された線であってもよい。ユーザが境界に近づくと、仮想境界壁が出現または起動することができる。システムは、仮想境界壁を使用して、仮想境界がどこにあるかをユーザに警告することができる。たとえば、これらの仮想境界壁は、仮想境界を定義するユーザによって描かれた線に対応するグリッド状の外観を有することができる。しかし、これらの境界壁は、ＶＲ環境中の没入を妨げ、ユーザの体験を損なう可能性がある。実世界に関する空間情報をユーザに伝達するという技術的課題に対処するために本明細書に開示した実施形態によって提示される１つの解決策は、ユーザが仮想境界に近づくにつれて、ＶＲ環境内の実世界環境の「方向性」パススルービューを提供することであり得る。パススルービューは、パススルービューのエリアおよび位置がＶＲ環境におけるユーザの相対的な動きおよび視野に基づくことができるという点で「方向性」と考えることができる。方向性パススルービューにある間、ユーザは、ユーザが安全ゾーンに留まるのを助けるために、仮想境界（たとえば、ユーザによって描かれた仮想線）がどこにあるかを見ることができる。実施形態の技術的利点は、実世界環境におけるユーザのポーズ（たとえば、位置および向き）を提供することと、ＶＲ体験を維持しながら実世界環境の迅速な視界をユーザに示すことによって空間情報を提供することと、ユーザが境界の外側のオブジェクトを回避するのを助けることができると共に、ユーザが実世界環境において自分自身を再配向するのを助けることができる視覚情報をユーザに提供することと、を含むことができる。限定ではなく、例として、前方を歩いているユーザは、仮想境界の外側にある机に近づいている可能性がある。ＶＲ没入を完全に壊すことなく、ユーザの視野の部分は、ＶＲ環境のレンダリングから実世界環境の方向性パススルービューのレンダリング（したがって、ユーザの経路にある机）に遷移して、ユーザが机の中に飛び込むのを回避し、ＶＲ境界の中央でユーザが自分自身を再配向するのを助けることができる。本開示は、方向性パススルーを使用してＶＲ設定において空間認識を提供する方法を説明しているが、本開示は、任意の適切な方法でＶＲ設定において空間認識を提供することを企図している。
本発明の一態様では、１つまたは複数のコンピューティングシステムによる方法が提供され、本方法は、仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングすることであって、ＶＲ環境が実世界環境に対応する仮想境界を含む、ことと、ユーザが仮想境界の第１のしきい値距離内に接近したかどうかを判定することと、仮想境界の第１のしきい値距離内のユーザの接近に応答して、ユーザの移動方向および視野を決定することと、ＶＲディスプレイデバイスの１つまたは複数のカメラによって取り込まれた実世界環境の１つまたは複数の画像にアクセスすることと、ＶＲディスプレイデバイスの１つまたは複数のディスプレイのために、アクセスされた画像に基づいて、ＶＲ環境の部分および実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングすることであって、パススルービューの部分が、ユーザの決定された移動方向および視野に基づく、ことと、を含む。
本方法は、ＶＲディスプレイデバイスの１つまたは複数のディスプレイのために、１つまたは複数の複合現実（ＭＲ）オブジェクトとして仮想境界を越えた１つまたは複数の実世界オブジェクトを含む、第３の出力画像をレンダリングすることをさらに含むことができる。
本方法は、ユーザが仮想境界の第２のしきい値距離内に接近しているかどうかを判定することであって、第２のしきい値距離が第１のしきい値距離よりも大きくてもよい、ことと、仮想境界の第２のしきい値距離内のユーザの接近に応答して、ユーザの移動方向および視野を決定することと、ＶＲディスプレイデバイスのカメラによって取り込まれた１つまたは複数の実世界オブジェクトを含む実世界環境の１つまたは複数の追加画像にアクセスすることと、をさらに含むことができ、第３の出力画像が、アクセスされた追加画像内の１つまたは複数の実世界オブジェクトを含んでもよい。
１つまたは複数のＭＲオブジェクトが、１つまたは複数のオブジェクトの輪郭、１つまたは複数のオブジェクトの半不透明レンダリング、あるいは１つまたは複数のオブジェクトの完全不透明レンダリングとしてレンダリングされてもよい。
本方法は、ユーザの移動の速度を決定することをさらに含むことができ、パススルービューの部分のエリアはユーザの決定された速度に基づくことができ、部分は球面状の第２の出力画像の球面キャップであってもよい。
パススルービューの部分のエリアは、ユーザの移動のより速い決定された速度については相対的により大きくてもよく、パススルービューの部分のエリアは、ユーザの移動のより遅い決定された速度については相対的により小さくてもよい。
本方法は、ユーザの移動の速度を決定することであって、ＶＲ環境からパススルービューの部分への遷移の鮮鋭度が、ユーザの決定された移動の速度に基づいており、遷移が、ＶＲ環境からパススルービューの部分へのフェードである、ことをさらに含むことができる。
ＶＲ環境からパススルービューの部分への遷移の鮮鋭度は、ユーザの移動のより速い決定された速度については相対的により鋭くてもよく、ＶＲ環境からパススルービューの部分への遷移の鮮鋭度は、ユーザの移動のより遅い決定された速度については相対的に鈍くてもよい。
パススルービューのレンダリングされた部分は、ユーザの移動方向に対応することができる。
ユーザの移動方向が視野に向かっていると判定された場合、パススルービューのレンダリングされた部分はユーザの視野内にあってもよい。
移動方向が視野に垂直であると判定された場合、パススルービューのレンダリングされた部分はユーザの周辺ビュー内にあってもよい。
移動方向が視野から離れていくと判定された場合、パススルービューのレンダリングされた部分は、ユーザの周辺ビュー内およびユーザの背後にあってもよい。
本発明の一態様では、ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体が提供され、ソフトウェアは、実行されると、仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングし、ＶＲ環境が実世界環境に対応する仮想境界を含み、ユーザが仮想境界の第１のしきい値距離内に接近しているかどうかを判定し、仮想境界の第１のしきい値距離内のユーザの接近に応答して、ユーザの移動方向および視野を決定し、ＶＲディスプレイデバイスのカメラによって取り込まれた実世界環境の１つまたは複数の画像にアクセスし、ＶＲディスプレイデバイスの１つまたは複数のディスプレイのために、アクセスされた画像に基づいて、ＶＲ環境の部分および実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングし、パススルービューの部分が、ユーザの決定された移動方向および視野に基づく、ように動作可能である。
ソフトウェアは、実行されると、ＶＲディスプレイの１つまたは複数のディスプレイのために、１つまたは複数の複合現実（ＭＲ）オブジェクトとして仮想境界を越えた１つまたは複数の実世界オブジェクトを含む、第３の出力画像をレンダリングするようにさらに動作可能であってもよい。
ソフトウェアは、実行されると、ユーザが仮想境界の第２のしきい値距離内に接近しているかどうかを判定し、第２のしきい値距離が第１のしきい値距離よりも大きく、仮想境界の第２のしきい値距離内のユーザの接近に応答して、ユーザの移動方向および視野を決定し、ＶＲディスプレイデバイスのカメラによって取り込まれた１つまたは複数の実世界オブジェクトを含む実世界環境の１つまたは複数の画像にアクセスする、ようにさらに動作可能であってもよい。
レンダリングされた１つまたは複数のＭＲオブジェクトは、オブジェクトの輪郭、オブジェクトの半不透明レンダリング、またはオブジェクトの完全不透明レンダリングのうちの１つまたは複数としてレンダリングされてもよい。
ソフトウェアは、実行されると、ユーザの移動の速度を決定するようにさらに動作可能であってもよく、パススルービューの部分のエリアはユーザの決定された速度に基づいてもよく、エリアは第２の出力画像の円弧である。
パススルービューの部分のエリアは、ユーザの移動のより速い決定された速度については相対的により大きくてもよく、パススルービューの部分のエリアは、ユーザの移動のより遅い決定された速度については相対的により小さくてもよい。
ソフトウェアは、実行されると、ユーザの移動の速度を決定し、ＶＲ環境からパススルービューの部分への遷移の鮮鋭度がユーザの決定された移動の速度に基づいてもよく、遷移がＶＲ環境からパススルービューの部分へのフェードである、ようにさらに動作可能であってもよい。
本発明の一態様では、システムが提供され、システムは、１つまたは複数のプロセッサと、プロセッサに結合され、プロセッサにより実行可能な命令を含む非一時的メモリと、を含み、プロセッサは、命令を実行すると、
仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングし、ＶＲ環境が実世界環境に対応する仮想境界を含み、ユーザが仮想境界の第１のしきい値距離内に接近しているかどうかを判定し、仮想境界の第１のしきい値距離内のユーザの接近に応答して、ユーザの移動方向および視野を決定し、ＶＲディスプレイデバイスのカメラによって取り込まれた実世界環境の１つまたは複数の画像にアクセスし、ＶＲディスプレイデバイスの１つまたは複数のディスプレイのために、アクセスされた画像に基づいて、ＶＲ環境の部分および実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングし、パススルービューの部分が、ユーザの決定された移動方向および視野に基づく、ように動作可能である。
ＶＲ設定における空間認識を決定するために、特定の技術的課題が存在する。１つの技術的課題は、ユーザがＶＲ体験に没入している間に、実世界環境および実世界環境内のオブジェクトに関する空間情報をユーザに伝達することを含むことができる。この課題に対処するために本明細書で開示される実施形態によって提示される解決策は、ユーザが実世界環境のどこにいるかを確認することができるように、実世界環境への方向性のあるパススルービューを介して迅速な見通しを提供することであり得る。別の技術的課題は、ＶＲ体験の没入を維持しながら、仮想境界に自分自身を向けるために必要な視覚情報をユーザに提供することを含むことができる。この課題に対処するために本明細書で開示される実施形態によって提示される解決策は、ＶＲ体験を著しく中断することなく、実世界オブジェクトの存在をユーザに警告することができる、ＶＲ環境内の実世界オブジェクトの不透明、半透明、または他の方法で輪郭が描かれたレンダリングをレンダリングすることであってもよい。
本明細書に開示する特定の実施形態は、１つまたは複数の技術的利点を提供することができる。実施形態の技術的利点は、ＶＲ環境に没入している間に実世界環境の方向性パススルービューを介して実世界環境の迅速な見通しを提供することによって空間情報を提供すること、またはＶＲ環境内の実世界オブジェクトの概略レンダリングを提供して、ＶＲ体験の没入を著しく妨げることなく、その経路にある可能性があるオブジェクトをユーザに警告することを含むことができる。実施形態の別の技術的利点は、ユーザがどの方向に移動しているかにかかわらず、方向性パススルービューの最適な方向を決定することによって空間情報を提供することを含むことができる。本明細書に開示した特定の実施形態は、上記の技術的利点のいずれも、一部または全部を提供しない可能性がある。本開示の図面、説明、および特許請求の範囲を考慮すると、１つまたは複数の他の技術的利点が当業者には容易に明らかになり得る。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、本明細書で開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、任意の先行請求項に対する意図的な前方参照（特に、マルチ従属）の結果としてのいかなる主題も、同様に請求可能であるため、請求項およびその特徴の任意の組合せが開示され、添付の特許請求の範囲において選定した従属に関わらず請求可能である。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。
特定の実施形態による、ユーザによって装着される例示的な人工現実システムを示す図である。 特定の実施形態による、パススルー機能の例を示す図である。 実世界環境内の仮想現実システムを示す図である。 仮想現実環境内の実世界環境のパススルービューの斜視図である。 仮想現実環境内の実世界環境のパススルービューの上面図である。 仮想現実環境内の実世界環境のパススルービューの上面図である。 仮想現実環境内の実世界環境のパススルービューの上面図である。 仮想現実環境内の実世界環境のパススルービューの上面図である。 視野の調整をしない、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整をしない、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整をしない、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整をしない、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整を伴う、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整を伴う、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整を伴う、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整を伴う、仮想現実環境内の実世界環境のパススルービューのサンプル斜視図である。 視野の調整のための補償のサンプル斜視図である。 パススルービューへの遷移のパーセント補償を示すグラフである。 パススルービューへの遷移のパーセント補償を示すグラフである。 ユーザの視覚のサンプル概略図である。 境界空間におけるユーザの斜視図である。 仮想現実環境における実世界オブジェクトの輪郭レンダリングビューの斜視図である。 パススルービューを使用してＶＲ設定における空間認識を決定するための例示的な方法を示す図である。 ＶＲまたはソーシャルネットワーキングシステムに関連付けられる例示的なネットワーク環境を示す図である。 例示的なコンピュータシステムを示す図である。
特定の実施形態では、没入型ＶＲシステム（たとえば、頭部装着型ＶＲゴーグル）のユーザは、実世界環境のビューがＶＲシステムによって部分的または完全に遮られることがあり、したがって、ＶＲ環境に没入している間に実世界オブジェクトにぶつかるか、または実世界オブジェクトに当たる危険性がある。さらに、ＶＲ環境への没入は、実世界環境におけるユーザの位置および／または向きに関してユーザを混乱させる可能性がある。すなわち、ユーザは、自分がどこに立っていたか、または近くにある家具または他のオブジェクトがどこにあるかを忘れてしまう可能性がある。したがって、１つの技術的課題は、ＶＲ体験に没入したユーザに実世界環境に関する空間情報を伝達しながら、没入型ＶＲ体験を維持することを含むことができる。ユーザを安全に保ち、ＶＲ環境内でユーザが自分自身を方向付けるのを支援する従来の方法は、仮想境界の描画を含み、仮想境界は、ユーザがＶＲ体験中にユーザのための安全領域を定義するユーザによって描画された線であってもよい。ユーザが境界に近づくと、仮想境界壁が出現または起動することができる。システムは、仮想境界壁を使用して、仮想境界がどこにあるかをユーザに警告することができる。たとえば、これらの仮想境界壁は、仮想境界を定義するユーザによって描かれた線に対応するグリッド状の外観を有することができる。しかし、これらの境界壁は、ＶＲ環境中の没入を妨げ、ユーザの体験を損なう可能性がある。実世界に関する空間情報をユーザに伝達するという技術的課題に対処するために本明細書に開示した実施形態によって提示される１つの解決策は、ユーザが仮想境界に近づくにつれて、ＶＲ環境内の実世界環境の「方向性」パススルービューを提供することであり得る。パススルービューは、パススルービューのエリアおよび位置がＶＲ環境におけるユーザの相対的な動きおよび視野に基づくことができるという点で「方向性」と考えることができる。方向性パススルービューにある間、ユーザは、ユーザが安全ゾーンに留まるのを助けるために、仮想境界（たとえば、ユーザによって描かれた仮想線）がどこにあるかを見ることができる。実施形態の技術的利点は、実世界環境におけるユーザのポーズ（たとえば、位置および向き）を提供することと、ＶＲ体験を維持しながら実世界環境の迅速な視界をユーザに示すことによって空間情報を提供することと、ユーザが境界の外側のオブジェクトを回避するのを助けることができると共に、ユーザが実世界環境において自分自身を再配向するのを助けることができる視覚情報をユーザに提供することと、を含むことができる。限定ではなく、例として、前方を歩いているユーザは、仮想境界の外側にある机に近づいている可能性がある。ＶＲ没入を完全に壊すことなく、ユーザの視野の部分は、ＶＲ環境のレンダリングから実世界環境の方向性パススルービューのレンダリング（したがって、ユーザの経路にある机）に遷移して、ユーザが机の中に飛び込むのを回避し、ＶＲ境界の中央でユーザが自分自身を再配向するのを助けることができる。本開示は、方向性パススルーを使用してＶＲ設定において空間認識を提供する方法を説明しているが、本開示は、任意の適切な方法でＶＲ設定において空間認識を提供することを企図している。
図１Ａは、ユーザ１０２によって装着された仮想現実システム５０の一例を示す。特定の実施形態では、仮想現実システム５０は、ヘッドマウントＶＲディスプレイデバイス１３５、コントローラ１０６、およびコンピューティングシステム１１０を含むことができる。ＶＲディスプレイデバイス１３５は、ユーザの目に装着され、内部ディスプレイ（図示せず）を介して視覚コンテンツをユーザ１０２に提供することができる。ＶＲディスプレイデバイス１３５は、ユーザ１０２の各眼に１つずつ、２つの別々の内部ディスプレイを有してもよい（単一のディスプレイデバイスも可能である）。図１Ａに示すように、ＶＲディスプレイデバイス１３５は、ユーザの視野を完全にカバーすることができる。ＶＲディスプレイデバイス１３５は、ユーザ１０２に視覚情報を排他的に提供することにより、没入型人工現実体験を提供するという目標を達成する。しかしながら、この結果の１つは、ユーザの視覚がＶＲディスプレイデバイス１３５によって遮蔽されるため、ユーザ１０２が自分を取り囲む物理的（実世界）環境を見ることができない可能性があることである。したがって、本明細書に記載のパススルー機能は、ユーザの物理的周囲に関するリアルタイムの視覚情報をユーザに提供するために技術的に有利であり得る。
図１Ｂは、パススルー機能の一例を示す。ユーザ１０２は、仮想現実環境内に没入したＶＲディスプレイデバイス１３５を装着している場合がある。実世界オブジェクト１４５は、ユーザ１０２を取り囲む物理的環境内にある。しかしながら、ＶＲディスプレイデバイス１３５がユーザ１０２の視覚を遮るため、ユーザ１０２は実世界オブジェクト１４５を直接見ることができない。ＶＲディスプレイデバイス１３５を装着している間にユーザが自分の物理的環境を知覚するのを助けるために、パススルー機能は、たとえば、上述の外向きカメラ１０５Ａ～Ｂを使用して物理的環境に関する情報を取り込む。取り込まれた情報は次いで、ユーザ１０２の観点に基づいてユーザ１０２に再投影されることが可能である。ＶＲディスプレイデバイス１３５がユーザの右目用の右ディスプレイ１３６Ａおよびユーザの左目用の左ディスプレイ１３６Ｂを有する特定の実施形態では、仮想現実システム５０は、（１）ユーザの右目の視点に基づいて右ディスプレイ１３５Ａ用の物理的環境の再投影ビュー１４５Ａ、および（２）ユーザの左目の視点に基づいて左ディスプレイ１３５Ｂ用の物理的環境の再投影ビュー１４５Ｂを個別にレンダリングすることができる。
再び図１Ａを参照すると、ＶＲディスプレイデバイス１３５は、図１Ａに示す２つの前向きカメラ１０５Ａおよび１０５Ｂなどの外向きカメラを有することができる。２つの前向きカメラ１０５Ａ～Ｂのみが示されているが、ＶＲディスプレイデバイス１３５は、任意の方向に向いている任意の数のカメラ（たとえば、天井もしくは部屋の照明を取り込むための上向きのカメラ、ユーザの顔および／もしくは体の部分を取り込むための下向きのカメラ、ユーザの背後にあるものの部分を取り込むための後ろ向きのカメラ、ならびに／または視線追跡の目的でユーザの視線を取り込むための内部カメラ）を有することが可能である。外向きカメラは、ユーザの周囲の物理環境を取り込むように構成されてもよく、継続的にそうして（たとえば、ビデオとしての）一連のフレームを生成することが可能である。前に説明したように、前向きカメラ１０５Ａ～Ｂによって取り込まれた画像は、ＶＲディスプレイデバイス１３５を介してユーザ１０２に対して直接表示されることが可能であるが、そうしても、物理環境の正確なビューはユーザに提供されないであろう。なぜなら、カメラ１０５Ａ～Ｂは、ユーザの目と全く同じ場所に物理的に配置されることが可能ではないからである。したがって、本明細書において記述されているパススルー機能は、物理環境の３Ｄ表示を生成して、次いでユーザの目の観点からその３Ｄ表示に基づいて画像をレンダリングする再投影技術を使用することができる。
３Ｄ表現は、カメラ１０５Ａ～１０５Ｂによって観察された物理的オブジェクトの深度測定値に基づいて生成することができる。深度は様々なやり方で測定され得る。特定の実施形態においては、奥行きは、ステレオ画像に基づいて計算されることが可能である。たとえば、２つの前向きカメラ１０５Ａ～Ｂは、重なり合う視野を共有すること、および画像を同時に取り込むように構成されることが可能である。結果として、同じ物理オブジェクトが、両方のカメラ１０５Ａ～Ｂによって同時に取り込まれることが可能である。たとえば、オブジェクトの特定の特徴が、カメラ１０５Ａによって取り込まれた画像における１つのピクセルｐＡに現れる場合があり、同じ特徴が、カメラ１０５Ｂによって取り込まれた画像における別のピクセルｐＢに現れる場合がある。深度測定システムが、２つのピクセルが同じ特徴に対応することを知っている限り、仮想現実システム５０は、三角測量技術を使用して、観察された特徴の深度を計算することができる。たとえば、３Ｄ空間内のカメラ１０５Ａの位置、およびカメラ１０５Ａの視野に対するｐＡのピクセル場所に基づいて、カメラ１０５ＡからピクセルｐＡを通して線が投影されることが可能である。他方のカメラ１０５ＢからピクセルｐＢを通して同様の線が投影されることが可能である。両方のピクセルが同じ物理的な特徴に対応することになるので、それらの２本の線は交差するはずである。それらの２本の交差する線と、２つのカメラ１０５Ａおよび１０５Ｂの間に引かれた想像線とが三角形を形成し、これを使用して、カメラ１０５Ａまたは１０５Ｂのいずれかからの観察された特徴の距離、または観察された特徴が位置している空間におけるポイントを計算することが可能である。
特定の実施形態では、環境内のＶＲディスプレイデバイス１３５の姿勢（たとえば、位置および向き）が必要とされてもよい。たとえば、ユーザが仮想環境内を動き回っている間にユーザ１０２に適切な表示をレンダリングするために、仮想現実システム５０は、いつでもユーザの位置および向きを決定する必要があり得る。ＶＲディスプレイデバイスの姿勢に基づいて、仮想現実システム５０は、カメラ１０５Ａおよび１０５Ｂのいずれか、またはユーザの目のいずれかの視点をさらに決定することができる。特定の実施形態では、ＶＲディスプレイデバイス１３５は、慣性測定ユニット（「ＩＭＵ」）を装備することができる。ＩＭＵによって生成されたデータは、外向きカメラ１０５Ａ～Ｂによって取り込まれたステレオ画像と共に、仮想現実システム５０が、たとえばＳＬＡＭ（同時位置特定およびマッピング）または他の適切な技術を使用してＶＲディスプレイデバイス１３５の姿勢を計算することを可能にする。
特定の実施形態では、仮想現実システム５０は、ユーザ１０２が入力を提供することを可能にする１つまたは複数のコントローラ１０６をさらに有してもよい。コントローラ１０６は、無線または有線接続を介してＶＲディスプレイデバイス１３５または別個のコンピューティングシステム１１０と通信することができる。コントローラ１０６は、任意の数のボタンまたはその他の機械式の入力メカニズムを有することが可能である。加えて、コントローラ１０６は、コントローラ１０６の姿勢が追跡され得るようにＩＭＵを有してもよい。コントローラ１０６はさらに、コントローラ上の所定のパターンに基づいて追跡されることが可能である。たとえば、コントローラ１０６は、所定のパターンを集合的に形成するいくつかの赤外線ＬＥＤまたはその他の既知の観察可能な特徴を有することが可能である。センサまたはカメラを使用して、仮想現実システム５０は、コントローラ上の所定のパターンの画像を取り込むことができる場合がある。これらのパターンの観察された向きに基づいて、システムは、センサまたはカメラに対するコントローラの位置および向きを計算することが可能である。
仮想現実システム５０は、コンピューティングシステム１１０をさらに含むことができる。コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５から物理的に分離したスタンドアロンユニットであってもよく、またはコンピュータシステム１１０は、ＶＲディスプレイデバイス１３５と統合されてもよい。コンピューティングシステム１１０が別個のユニットである実施形態では、コンピューティングシステム１１０は、無線または有線リンクを介してＶＲディスプレイデバイス１３５に通信可能に結合されてもよい。コンピューティングシステム１１０は、デスクトップもしくはラップトップなどの高性能デバイス、または携帯電話などのリソース制限デバイスであってもよい。高性能のデバイスは、専用のＧＰＵと、大容量または一定の電源とを有する場合がある。その一方で、リソースの限られているデバイスは、ＧＰＵを有していない場合があり、限られたバッテリー容量を有する場合がある。したがって、仮想現実システム５０によって実際に使用され得るアルゴリズムは、そのコンピューティングシステム１１０の能力に依存する。
コンピューティングシステム１１０が高性能デバイスである実施形態では、パススルー機能の一実施形態は、以下のように設計することができる。ＶＲディスプレイデバイス１３５の外向きカメラ１０５Ａ～Ｂを介して、周囲の物理的環境の一連の画像を取り込むことができる。しかしながら、カメラ１０５Ａ～１０５Ｂによって取り込まれた情報は、カメラがユーザの目と空間的に一致することができないため、ユーザの目が捕捉し得るものと位置ずれする場合がある（たとえば、カメラは、ユーザの目からある程度離れて配置され、その結果、異なる視点を有する場合がある）。したがって、カメラが取り込んだものをユーザに対して単に表示するだけでは、ユーザが認識するはずであるものの正確な表示とはならない場合がある。
それゆえに、パススルー機能は、取り込まれたものを単に表示する代わりに、外向きカメラ１０５Ａ～Ｂによって取り込まれた情報をユーザに再投影することができる。同時に取り込まれたステレオ画像の各ペアを使用して、観察された特徴の深度を推定することができる。上述したように、三角測量を使用して深度を測定するために、コンピューティングシステム１１０は、ステレオ画像間の対応関係を見つけることができる。たとえば、コンピューティングシステム１１０は、一対のステレオ画像内のどの２つのピクセルが同じ観察された特徴に対応するかを判定することができる。高性能コンピューティングシステム１１０は、そのようなタスクのために最適化されたＧＰＵおよびオプティカルフロー技術を使用して対応問題を解決することができる。そして三角測量技術を使用して奥行きを計算するために、対応関係情報が使用されることが可能である。観察された特徴の計算された深度に基づいて、コンピューティングシステム１１０は、それらの特徴が３Ｄ空間内のどこに位置するかを決定することができる（コンピューティングシステム１１０は、カメラがその３Ｄ空間内のどこにあるかも知っているため）。結果は、密な３Ｄポイントクラウドによって表されることが可能であり、それに伴って、それぞれのポイントは、観察された特徴に対応する。次いで、密なポイントクラウドを使用して、環境におけるオブジェクトの３Ｄモデルを生成することが可能である。システムが表示用のシーンをレンダリングする際に、システムは、ユーザの目の視点から可視性テストを実行することが可能である。たとえば、システムは、ユーザのそれぞれの目に対応する観点から３Ｄ空間へと光線を投射することが可能である。この方式では、ユーザに対して表示されるレンダリングされるシーンは、外向きカメラ１０５Ａ～Ｂの視点からではなく、ユーザの目の視点から計算され得る。
しかしながら、上述したプロセスは、リソース制限されたコンピューティングユニット（たとえば、携帯電話がＶＲディスプレイデバイスの主計算ユニットであってもよい）にとって実行可能ではない場合がある。たとえば、強力な計算リソースおよび豊富なエネルギー源を有するシステムとは異なり、モバイル電話は、奥行き測定を実行して環境の正確な３Ｄモデルを生成する上で、ＧＰＵおよび計算コストのかさむアルゴリズム（たとえば、オプティカルフロー）に依存することができない。それゆえに、リソースの限られているデバイス上でパススルーを提供するためには、最適化されたプロセスが必要とされる。
特定の実施形態では、コンピューティングデバイスは、以下でさらに詳細に説明するように、（１）ＧＰＵおよびオプティカルフロー、または（２）ビデオエンコーダおよび動きベクトルを使用した最適化された技術を使用して深度測定値を生成することができるか、または生成することができるかどうかを実行時に動的に判定するように構成することができる。たとえば、デバイスがＧＰＵおよび十分なパワーバジェットを有する場合（たとえば、デバイスが電源に接続されている、満杯のバッテリーを有している、などの場合）には、デバイスは、自身のＧＰＵおよびオプティカルフローを使用して奥行き測定を実行することが可能である。しかしながら、デバイスがＧＰＵを有していないか、または厳しいパワーバジェットを有する場合には、デバイスは、奥行きを計算するための最適化された方法を選ぶことが可能である。
図１Ｃは、実世界環境１００内の仮想現実システム５０を示す。実世界環境１００内には、カメラ１０５（たとえば、１つまたは複数のカメラ、ＡＲ／ＶＲヘッドセット上の前向きカメラなど）があってもよい。カメラ１０５は、コンピューティングシステム１１０に接続することができる。カメラ１０５は、ユーザ（たとえば、ＶＲヘッドセットの一部として）によって装着されてもよい。カメラ１０５は、ＶＲディスプレイデバイス１３５に接続されてもよい（特定の実施形態では、カメラ１０５とＶＲディスプレイデバイス１３５とは別々であってもよい）。特定の実施形態では、コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５の１つまたは複数のディスプレイのために、ユーザの視野１２０に基づいてＶＲ環境１４０の第１の出力画像をレンダリングすることができる。ＶＲ環境１４０は、実世界環境１００に対応する仮想境界１１５を有することができる。ＶＲ環境１４０は、ＶＲゲーム、ＶＲオフィス、またはユーザの視野１２０に表示される他のＶＲ設定であってもよい。仮想境界１１５は、ユーザがＶＲ環境１４０に没頭している間にユーザが探索するための安全領域の縁部を画定または描画することができる。たとえば、部屋スケールのＶＲ環境（ＶＲ体験中にユーザが部屋の中を歩き回ることができる）では、仮想境界１１５は、ＶＲディスプレイデバイス１３５を装着しているユーザがＶＲ体験に没頭している間に回避したい実世界オブジェクト１４５（たとえば、ソファー、椅子、テーブル、壁、障害物など）に対応することができる。別の例として、静止ＶＲ設定（たとえば、ユーザが横断せずにその場で立っているとき、または座っているとき）では、仮想境界１１５は、ユーザの腕の届くところまたはちょうどそこを超える実世界オブジェクト（たとえば、ユーザの周りの１メートルの半径）に対応することができる。仮想境界１１５は、ユーザによって（たとえば、コントローラ１０６を使用してユーザに仮想境界１１５を手動で描かせることによって）描かれてもよく、自動的に決定されてもよく（たとえば、画像プロセッサが、安全な境界を決定し、境界壁を自動的に決定してもよい）、または半自動的に決定されてもよい（たとえば、画像プロセッサが、安全な境界および境界壁１１５を決定または提案することができ、ユーザが、決定された境界壁１１５を手動で拡張または編集してもよい）。本開示は、特定の実世界環境において特定の仮想現実システムを使用することを説明しているが、本開示は、任意の適切な実世界環境において任意の適切な仮想現実システムを使用することを想定している。
特定の実施形態では、コンピューティングシステム１１０は、ユーザが仮想境界１１５の第１のしきい値距離内に近づいているかどうかを判定することができる。コンピューティングシステム１１０は、カメラ１０５および／またはＶＲディスプレイデバイス１３５のセンサ、加速度計、ジャイロスコープ、または他の位置センサを使用して、ユーザが仮想境界１１５の第１のしきい値距離内に近づいているかどうかを判定することができる。第１のしきい値距離は、仮想境界１１５から所定の距離（たとえば、１、５、１０メートルなど）であってもよい。第１のしきい値距離もまた、ユーザによって決定され得る。限定ではなく、例として、ルームスケールＶＲ設定では、コンピューティングシステム１１０は、ユーザが仮想境界１１５の所定の距離内に近づいているかどうかを判定することができる。限定ではなく、別の例として、静止ＶＲ設定では、第１のしきい値距離は、ユーザの頭または手がユーザの周りの所定の半径の縁部に近づくときであってもよい（たとえば、ユーザの頭または手が所定の１メートルの半径に近づくとき）。本開示は、ユーザが仮想境界の特定のしきい値距離内に接近しているかどうかを特定の方法で判定することについて説明しているが、本開示は、ユーザが仮想境界の任意の適切なしきい値距離内に接近しているかどうかを任意の適切な方法で判定することを想定している。
図１Ｄは、ＶＲ環境１４０内の実世界環境１００のパススルービュー１３０の斜視図を示す。ＶＲ環境１４０は、実世界環境１００内でレンダリングすることができる。ユーザが仮想境界に近づくと、パススルービュー１３０の部分は、ユーザが遭遇するリスクがある実世界オブジェクト（たとえば、実世界オブジェクト１４５）をユーザに示すように見え得る。したがって、ユーザが仮想境界に近づくにつれて、ＶＲ環境１４０のレンダリングの部分は、パススルービュー１３０の部分を示すレンダリングに遷移するか、またはレンダリングとして現れることができる。パススルービュー１３０ｃａの部分は、ユーザが経路に沿って継続する場合に仮想境界を越えて存在する可能性がある実世界オブジェクトをユーザに示すことによってユーザがけがをするリスクを防ぐために、ユーザの経路に実世界オブジェクトを有することができる実世界環境１００をユーザに示す。図１Ｄに示すレンダリングは、図１Ｂに示すＶＲディスプレイデバイス１３５を介してユーザに提示することができる。すなわち、パススルービュー１３０の部分は、実世界環境１００内の実世界オブジェクト１４５に関する情報を取り込み、ユーザに再投影するために使用されてもよい。
図２Ａ～図２Ｄは、ＶＲ環境１４０内の実世界環境１００のパススルービュー１３０の上面図を示している。特定の実施形態では、コンピューティングシステム１１０は、仮想境界１１５の第１のしきい値距離内に近づくユーザに応答して、ユーザの移動方向１２５および視野１２０を決定することができる。コンピューティングシステム１１０は、カメラ１０５および／またはＶＲディスプレイデバイス１３５を装着しているユーザの動きおよび向きを判定するために、カメラ１０５および／またはＶＲディスプレイデバイス１３５のセンサ、加速度計、ジャイロスコープ、または他の位置センサを使用して、ユーザの移動方向１２５および視野１２０を判定することができる。限定ではなく、例として、センサは、ユーザが自分の視野１２０と同じ方向に沿って前方に（たとえば、移動方向１２５ａに対して）移動していると判定することができる（図２Ａ）。限定ではなく、別の例として、センサは、ユーザが自分の視野１２０と反対方向に後方に（たとえば、移動方向１２５ｂに対して）移動していると判定することができる（図２Ｂ）。限定ではなく、別の例として、センサは、ユーザが横方向に（たとえば、移動方向１２５ｃに対して）、ユーザの視野１２０に対して垂直に移動していると判定することができる（図２Ｃ）。限定ではなく、別の例として、センサは、ユーザが横方向に右に（たとえば、移動方向１２５ｄに対して）移動しており、ユーザの視野１２０に対して垂直に移動していると判定することができる（図２Ｄ）。本開示は、ユーザの移動方向および視野を決定することについて説明しているが、本開示は、任意の適切な方法でユーザの移動方向および視野を決定することを想定している。
特定の実施形態では、コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５の１つまたは複数のカメラ１０５によって取り込まれた実世界環境１００の１つまたは複数の画像にアクセスすることができる。コンピューティングシステム１１０は、カメラ１０５を使用してユーザの実世界環境１００の画像を取り込むことによって（たとえば、写真またはスナップショットを撮影することによって）、実世界環境１００の１つまたは複数の画像にアクセスすることができる。この取り込まれた画像は、実世界環境１００の部分画像（たとえば、カメラが、ユーザの視野または周辺視野などの所望の向きの画像のみを取り込む）または実世界環境１００の完全画像（たとえば、カメラが、ユーザの実世界の周囲全体の完全な３６０度画像を取り込む）であってもよい。本開示は、特定の方法で実世界環境の１つまたは複数の画像にアクセスすることを説明しているが、本開示は、任意の適切な方法で実世界環境の１つまたは複数の画像にアクセスすることを想定している。
特定の実施形態では、コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５の１つまたは複数のディスプレイのために、アクセスされた画像に基づいて、ＶＲ環境１４０の部分および実世界環境１００のパススルービュー１３０の部分を含む第２の出力画像をレンダリングすることができる。パススルービュー１３０の部分は、決定された移動方向１２５およびユーザの視野１２０に基づくことができる。パススルービュー１３０は、ユーザが仮想境界１１５に近づくにつれて、ＶＲ環境の没入感を劇的に損なうことなく、ＶＲ環境１４０を越えた実世界環境１００のビューをユーザに提供する。すなわち、ユーザが仮想境界１１５に近づくと、ＶＲディスプレイデバイス１３５に方向性パススルービュー１３０を表示して、他の場所ではＶＲ環境１４０を維持しながら、ユーザが実世界環境１００で移動している方向の感覚をユーザに与えることができる。したがって、コンピューティングシステムは、ユーザがＶＲ環境１４０でＶＲ体験に没頭している間に、実世界環境１００および実世界環境１００内の実世界オブジェクト１４５に関する空間情報をユーザに伝達する技術的課題に対する解決策を提供することができる。本明細書に提示される解決策は、ユーザが実世界環境１００のどこにいるかを確認することができるように、方向性パススルービュー１３０の部分を介して実世界環境１００に迅速に眺めることを提供することで、この課題に対処することができる。これは、ユーザが軌道または経路に沿って継続する場合にユーザが遭遇する可能性のあるオブジェクトを回避するのを助けるという利点を有することができ、また、ユーザが実世界環境１００において自分自身を方向付けるのを助けることができる。たとえば、ユーザは、方向性パススルービュー１３０を見た後に仮想境界１１５の中心に再配置することができる。限定ではなく、例として、図２Ａを参照すると、ユーザが自分の視野１２０と同じ方向に沿って前方に（たとえば、移動方向１２５ａに対して）移動している場合、ＶＲディスプレイデバイス１３５は、ＶＲ環境１４０およびユーザの真正面にあるパススルービュー１３０ａの部分を表示し、他の場所ではＶＲ環境１４０を維持することができる。限定ではなく、別の例として、図２Ｂを参照すると、ユーザが自分の視野１２０と反対方向に後方に（たとえば、移動方向１２５ｂに対して）移動している場合、ＶＲディスプレイデバイス１３５は、ＶＲ環境１４０と、ユーザの周辺視野およびユーザの背後をカバーするパススルービュー１３０ｂの部分とを表示し、他の場所ではＶＲ環境１４０を維持することができる。限定ではなく、別の例として、図２Ｃを参照すると、ユーザが横方向に（たとえば、移動方向１２５ｃに対して）、視野１２０に対して垂直に移動している場合、ＶＲディスプレイデバイス１３５は、ＶＲ環境１４０と、左側のユーザの周辺視野をカバーするパススルービュー１３０ｃの部分とを表示し、それ以外の場所ではＶＲ環境１４０を維持することができる。限定ではなく、別の例として、図２Ｄを参照すると、ユーザが右に横方向（たとえば、移動方向１２５ｄに対して）に移動しており、視野１２０に垂直である場合、ＶＲディスプレイデバイス１３５は、ＶＲ環境１４０と、右側のユーザの周辺視野をカバーするパススルービュー１３０ｄの部分とを表示し、他の場所ではＶＲ環境１４０を維持することができる。したがって、コンピューティングシステム１１０は、パススルービュー１３０をレンダリングして、ユーザに経路内のオブジェクトを警告し、ユーザが部屋内で自分自身を方向付けるのを助けることができる。したがって、実施形態は、ＶＲ環境に没入している間に実世界環境の方向性パススルービューを介して実世界環境の迅速な見通しを提供することによって空間情報を提供するという技術的利点を含むことができる。本開示は、特定の方法で特定の出力画像をレンダリングすることについて説明しているが、本開示は、任意の適切な方法で任意の適切な出力画像をレンダリングすることを想定している。
図３Ａ～図３Ｄは、視野１２０の調整なしの、ＶＲ環境１４０内の実世界環境１００のパススルービュー１３０の部分のサンプル斜視図を示す。図４Ａ～図４Ｄは、視野１２０の調整を伴う、ＶＲ環境１４０内の実世界環境１００のパススルービュー１３０の部分のサンプル斜視図を示す。ユーザが仮想境界の中心から逸脱したとき、またはユーザが任意の方向から仮想境界に接近したときに、一貫してユーザに通知することができるように、パススルービュー１３０の部分を調整することができる。これは、パススルービュー１３０の部分の円弧またはエリアのサイズを増加させて、パススルービュー１３０の部分の少なくとも部分が常に視野１２０内にあることを確実にすることによって達成することができる。これは、ユーザがどの方向に移動しているかにかかわらず、方向性パススルービューの最適な方向を決定することによって空間情報を提供するという技術的利点を提供することができる。限定ではなく、例として、図３Ａを参照すると、ユーザが自分の視野１２０と同じ方向に沿った方向１２５の移動で前方に移動している場合、パススルービュー１３０の部分は完全に視野１２０内にあり、したがって調整を必要としない場合がある。したがって、図４Ａを参照すると、パススルービュー１３０の部分の調整はなくてもよい。限定ではなく、別の例として、図３Ｂを参照すると、ユーザが視野１２０から離れる方向１２５の移動で移動している場合、パススルービュー１３０の部分と視野１２０は完全には重ならず、したがって、パススルービュー１３０の部分は調整を必要とする場合がある。したがって、図４Ｂを参照すると、パススルービュー１３０の部分のうちの一部を増加させる調整があってもよい。たとえば、視野１２０とパススルービューの部分との重なりが５度であった場合（図３Ｂと同様）、視野１２０とパススルービュー１３０の部分との重なりを２０度に増加させることができるように（図４Ｂと同様）、パススルービュー１３０の部分のサイズを３０度増加させることができる。限定ではなく、別の例として、図３Ｃを参照すると、ユーザが自分の視野１２０に垂直な方向１２５の移動で移動している場合、パススルービュー１３０の部分と視野１２０は全く重ならない可能性があり、したがって、パススルービュー１３０の部分は調整を必要とする可能性がある。したがって、図４Ｃを参照すると、パススルービュー１３０の部分のうちの一部を増加させる調整があってもよい。たとえば、視野１２０とパススルービューの部分との重なりが０度であった場合（図３Ｃと同様）、視野１２０とパススルービュー１３０の部分との重なりを１５度に増加させることができるように（図４Ｃと同様）、パススルービュー１３０の部分のサイズを３２度増加させることができる。限定ではなく、別の例として、図３Ｄを参照すると、ユーザが視野１２０とは反対の方向１２５の移動で移動している場合、パススルービュー１３０の部分と視野１２０とは全く重ならない可能性があり、したがって、パススルービュー１３０の部分は調整を必要とする可能性がある。したがって、図４Ｄを参照すると、パススルービュー１３０の部分のうちの一部を増加させる調整があってもよい。たとえば、視野１２０とパススルービューの部分との重なりが０度であった場合（図３Ｄと同様）、視野１２０とパススルービュー１３０の部分との重なりを１５度に増加させることができるように（図４Ｄと同様）、パススルービュー１３０の部分のサイズを１９０度増加させることができる。パススルービュー１３０の部分に対する上記の視野調整により、コンピューティングシステム１１０は、ユーザに経路内のオブジェクトを警告し、ユーザが部屋内で自分自身を方向付けるのを助けることができるパススルービュー１３０をレンダリングすることができる。
図５Ａは、視野１２０の調整のための補償１６０のサンプル斜視図を示す。視野１２０の方向は、前方ベクトル１６５によって表すことができる。仮想境界１１５（図示せず）の中心からのユーザの方向は、方向ベクトル１５５によって表すことができる。前方ベクトル１６５および方向ベクトル１５５に基づいて、パススルービュー１３０の部分を調整するために補償１６０を決定することができる。たとえば、前方ベクトル１６５と方向ベクトル１５５との間の角度が増加するにつれて（たとえば、円弧１７０の角度が小さくなるにつれて）、補償１６０も増加し得る。補償１６０は、たとえば、パススルービュー１３０の部分のうちの少なくとも一部が視野１２０内にあることを確実にするために、方向ベクトル１５５が回転して視野１２０に到達する必要があり得る角度である。補償１６０の増加は、円弧１７０の減少に比例してもよい。
図５Ｂ～図５Ｃは、パススルービューへの遷移のパーセント補償を示すグラフである。ｘ軸は、パススルービューの部分と視野との間の距離を表し、ｘ＝０はパススルービューの部分を表し、視野は重なり合わず、ｘ＝１はパススルービューの部分を表し、視野は反対方向（たとえば、パススルービューの部分が視野から離れる方向を向いている）である。ｙ軸は、パススルービューの部分のパーセント補償を表す。図５Ｂのパーセント補償線１６１によって示されるように、ユーザの移動方向がユーザの視野外になると（たとえば、パーセント補償線１６１がｙ軸を横切ると）、パススルーの補償が始まる。パススルービューの部分への突然の遷移は非常に目立つ可能性があるため、突然の遷移はＶＲ体験を中断したり、ＶＲ体験から注意を逸らしたりする可能性がある。図５Ｃのパーセント補償線１６２によって示されるように、パススルービューへの移行は、より緩やかであってもよい。ユーザの移動方向がユーザの視野から外れる前（たとえば、パーセント補償線１６２がｙ軸を横切る前）であっても、パススルービューの補償を徐々に開始することができ、したがってパススルービューへの移行を滑らかにする。パススルービューへの滑らかな遷移を有する利点は、パススルービューの混乱が少なく、より緩やかな導入を有することを含み、これにより、補償がいつ開始および終了するかを決定することを目立たなくすることができる。さらに、曲線がｘ＝１（たとえば、パススルービューの部分と視野が反対方向にある場合）に近づくにつれて、ユーザの周囲のすべての側のパススルービューを見ることが、一方の側のパススルービューを単に示すよりもオブジェクトおよび障害物に気付きやすくなるため、補償は、ユーザの視覚のすべての側へのパススルービューを増加させることができる。
特定の実施形態では、再び図２Ａ～図２Ｄ、図３Ａ～図３Ｄ、および図４Ａ～図４Ｄを参照すると、コンピューティングシステム１１０は、ユーザの移動の速度を決定することができる。パススルービュー１３０の部分のエリア（たとえば、サイズ）は、ユーザの決定された速度に基づくことができる。パススルービュー１３０の部分は、球状の第２の出力画像の球状キャップであってもよい（たとえば、パススルービューの部分は球面の部分であり、球面は、ユーザの周りの「球面ドーム」上にレンダリングされるＶＲ環境に対応する）。ユーザがより速い速度で移動している場合、ユーザの移動のより速い決定された速度に対して、パススルービュー１３０の部分のエリアは、より遅い決定された速度で移動しているユーザに対してよりも相対的に大きくなり得る。したがって、パススルービューの部分は、ＶＲディスプレイデバイス１３５によって表示される出力画像のより大きなエリアを占めることができる。ユーザがより遅い速度で移動している場合、ユーザの移動の決定された速度が遅い場合、パススルービュー１３０の部分のエリアは、より速い決定された速度で移動するユーザの場合よりも相対的に小さくなり得る。したがって、パススルービューの部分は、ＶＲディスプレイデバイス１３５によって表示される出力画像のより小さなエリアを占めることができる。出力画像がユーザの周りの球形ドームとしてレンダリングされる場合、ＶＲパススルービューの部分は、球形ドーム内の球形キャップであってもよい。しかしながら、パススルービュー１３０の部分は、任意の形状であってもよい（たとえば、形状は、パススルービュー１３０の部分の円形ビューに限定されない）。限定ではなく、例として、ユーザが仮想境界１１５に向かって速いペースで歩いている場合、パススルービュー１３０の部分は、ユーザがより遅いペースで仮想境界１１５に向かって歩いた場合よりも比較的大きく見える可能性がある。逆に、ユーザが仮想境界１１５に向かってゆっくり歩いている場合、パススルービュー１３０の部分は、ユーザがより速いペースで仮想境界１１５に向かって歩いた場合よりも相対的に小さく見える可能性がある。本開示は、特定の方法でユーザの移動の速度を決定することについて説明しているが、本開示は、任意の適切な方法でユーザの移動の速度を決定することを想定している。
特定の実施形態では、ＶＲ環境１４０からパススルービュー１３０の部分への遷移の鮮鋭度は、ユーザの移動の決定された速度に基づくことができる。遷移は、フェード、ブラー、または他の形態の視覚的中断またはＶＲ環境１４０からパススルービュー１３０の部分への遷移であってもよい。すなわち、ＶＲ環境１４０からパススルービュー１３０の部分への遷移が、ＶＲ環境１４０とパススルービュー１３０の部分とが出会う縁部をフェードまたはぼかすことを含んでもよい。ＶＲ環境１４０からパススルービュー１３０の部分への遷移の鮮鋭度は、ユーザの移動のより速い決定された速度に対して相対的により鋭くてもよく、ＶＲ環境１４０からパススルービュー１３０の部分への遷移の鮮鋭度は、ユーザの移動のより遅い決定された速度に対して相対的により鈍くてもよい。限定ではなく、例として、ユーザが仮想境界１１５に向かって素早く歩いている場合、ＶＲ環境１４０からパススルービュー１３０の部分へのフェードまたはぼやけが少なくなる（ＶＲ環境１４０からパススルービュー１３０の部分への遷移は比較的急になる）。これにより、ユーザの移動が速くなると、オブジェクトにつまずく、またはオブジェクトにぶつかる可能性またはリスクが高まるため、ユーザは、ユーザの経路内にあり得る障害物を迅速に評価することができる。逆に、ユーザが仮想境界１１５に向かってゆっくり歩いている場合、仮想環境１４０からパススルービュー１３０の部分へのフェードまたはブラーがより多くなる（ＶＲ環境１４０からパススルービュー１３０の部分への遷移は相対的により鈍くなる）。これにより、ユーザは、ユーザのＶＲ体験を大きく損なうことなく（したがって、ＶＲ没入および体験の混乱を最小限に抑えながら）、パススルービューを使用して実世界環境における自分の位置を評価することができる。本開示は、特定の方法で遷移の鮮鋭度を判定するためにユーザの移動速度を判定することを説明しているが、本開示は、任意の適切な方法で遷移の鮮鋭度を判定するためにユーザの移動速度を判定することを想定している。
図６は、ユーザの視覚２００のサンプル概略図を示す。ユーザは、中心視覚２０５、傍中心視覚２１０、黄斑視覚２１５、近周辺視覚２２０、中間周辺視覚２２５、および遠周辺視覚２３０を有することができる。人間の周辺視覚は、高コントラストの動きしか検出できない可能性があるため、ＶＲ体験の混乱を最小限に抑えるために、視野の中心付近の鮮鋭度の低下（たとえば、ぼかしまたは「フェザリング」の増加）を維持しながら、ユーザの周辺視野で鮮明度を高めることが有利であり得る。すなわち、ヘッドセット視野２３５の場合、高いコントラストの動きのみが検出され得る実世界環境のより多くの視認性を可能にするために、ユーザの周辺視覚（たとえば、近周辺視覚２２０、中間周辺視覚２２５、および遠周辺視覚２３０）においてパススルービューの勾配２４０の鮮鋭度２４５を増加させることができる。一方、中心視覚２０５、傍中心視覚２１０、および黄斑視覚２１５に対応するヘッドセット視野２３５については、（たとえば、勾配２４０のぼけまたは「フェザリング」を増加させることによって）パススルービューの勾配２４０の鮮鋭度２４５を減少させることができる。したがって、ユーザは、中心視覚２０５、傍中心視覚２１０、および黄斑視覚２１５の近くのパススルービューの伸延を減少させるという利点を伴って、実世界環境における視覚オブジェクトおよび障害物をユーザの周辺視覚（たとえば、それらの近周辺視覚２２０、中間周辺視覚２２５、および遠周辺視覚２３０）においてより容易に検出することができる。これにより、ＶＲ体験を大きく中断または中断することなく、ユーザに周囲のより視覚的な明瞭さを提供することができる。
特定の実施形態では、図２Ａ～図２Ｄ、図３Ａ～図３Ｄ、および図４Ａ～図４Ｄを参照すると、パススルービュー１３０のレンダリングされた部分は、ユーザの移動方向１２５に対応することができる。ＶＲディスプレイデバイス１３５に表示されるようなパススルービュー１３０の部分の位置は、ユーザの移動方向１２５に対応することができる。ユーザが前方かつ真っ直ぐに歩く場合、パススルービュー１３０の部分は、ユーザの視野１２０の中心に移動方向１２５に沿って、ユーザの前方に真っ直ぐに現れることができる。ユーザの移動方向１２５がわずかに前および左である場合、ＶＲディスプレイデバイス１３５に表示されるようなパススルービュー１３０の部分は、その移動方向１２５に沿って、ユーザの視野１２０の中心の前およびわずかに左に表示され得る。限定ではなく、例として、ユーザの移動方向１２５が視野１２０に向かっていると判定された場合、パススルービュー１３０のレンダリングされた部分は、ユーザの視野１２０内にあってもよい。限定ではなく、別の例として、移動方向１２５が視野１２０に対して垂直であると判定された場合、パススルービュー１３０のレンダリングされた部分は、ユーザの周辺ビュー内にあってもよい。すなわち、視野は、ユーザの周辺部において、ユーザの視野１２０の左または右にあってもよい。これにより、ユーザは、自身の周辺視野を使用して、自身の経路内に存在し得る潜在的な障害物またはオブジェクトについて警告されることが可能になり得る。限定ではなく、別の例として、パススルービュー１３０のレンダリングされた部分は、移動方向１２５が視野１２０から離れていると判定された場合に、ユーザの周辺ビューおよびユーザの背後にあってもよい。すなわち、ユーザが自分の視野１２０の反対方向に後方に歩いているとき、パススルービュー１３０の部分は、ユーザの周辺視野の左側と右側の両方、ならびにユーザの背後の部分（ユーザの視野１２０およびユーザの周辺視野を超えて）をカバーすることができる。
図７は、境界空間１７５内のユーザの斜視図を示す。境界空間１７５は、中心１８０（これは、たとえば、実世界環境における実世界の部屋の中心に対応してもよい）を有することができる。境界空間１７５は、ユーザがカスタマイズしたい可能性がある１つまたは複数のしきい値境界を有する境界１９０を含むことができる。たとえば、ユーザは、開始しきい値境界１８５および端部境界１９５を含むように境界空間１７５をカスタマイズすることができる。ユーザの方向ベクトル１５５に応じて（たとえば、ユーザが境界空間１７５の中心からさらに遠ざかるか、または中心に近づくにつれて）、カメラ１０５のコンピューティングシステム１１０（図示せず）は、サイズおよび鮮鋭度を増減させながらパススルービューの部分をＶＲディスプレイデバイス１３５（図示せず）に表示することができる。一例として、ユーザが開始境界１８５にいる場合、パススルービューの部分のサイズは、ユーザが境界１９０にいる場合よりも相対的に小さくなり得る。パススルービューの部分の鮮鋭度は、開始境界１８５では、境界１９０よりも相対的により鈍くてもよい。別の例として、ユーザが端部境界１９５にいる場合、パススルービューの部分のサイズは、ユーザが境界１９０にいる場合よりも相対的に大きくなり得る。パススルービューの部分の鮮鋭度は、境界１９０にある場合よりも端部境界１９５にある場合の方が相対的に鋭い場合がある。
図８は、ＶＲ環境１４０における実世界オブジェクトの輪郭レンダリングビュー１５０の斜視図を示している。図１Ｃおよび図８を参照すると、特定の実施形態では、コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５の１つまたは複数のディスプレイのために、実世界オブジェクトの輪郭レンダリングビュー１５０として、たとえば、１つまたは複数の複合現実（ＭＲ）オブジェクトとして、仮想境界を越えた１つまたは複数の実世界オブジェクト１４５を含む、第３の出力画像をレンダリングすることができる。実世界オブジェクトの輪郭レンダリングビュー１５０は、仮想境界１１５を越えて位置することができる実世界オブジェクト１４５に対応することができる。輪郭レンダリングされたオブジェクトは、１つまたは複数の実世界オブジェクト１４５の輪郭、１つまたは複数の実世界オブジェクト１４５の半不透明レンダリング、１つまたは複数の実世界オブジェクト１４５の完全に不透明なレンダリング、または他の同様のレンダリングとしてレンダリングされることができる。輪郭レンダリングされたオブジェクトは、実世界環境における実世界オブジェクト１４５のポーズに対応することができる実世界オブジェクトの輪郭レンダリングビュー１５０をユーザに示すことによって、１つまたは複数の実世界オブジェクト１４５の存在についてユーザに警告するために使用されることができる。すなわち、実施形態の技術的利点は、ＶＲ体験の没入を著しく妨げることなく、自分の経路内にある可能性があるオブジェクトをユーザに警告するために、ＶＲ環境内の実世界オブジェクトの概略レンダリングを提供することによって空間情報を提供することを含むことができる。したがって、ユーザは、ユーザＶＲ体験を失望させたり没頭を中断させたりすることなく、障害物の存在に対する安全で微妙な警告または警告を提供され得る。限定ではなく、例として、１つまたは複数の実世界オブジェクト１４５（たとえば、机）が仮想境界１１５を越えて位置する場合（図１Ｃに示す）には、１つまたは複数の実世界オブジェクト１４５は、ユーザのＶＲディスプレイデバイス１３５においてアウトライン表示されたオブジェクト（たとえば、実世界オブジェクトの輪郭レンダリングビュー１５０のＭＲオブジェクト）として現れることができる。ＶＲ環境１４０にいる間、ユーザは、ＶＲ環境１４０から出る必要なしに、（たとえば、机）オブジェクト１４５の「ゴーストのような」半不透明な輪郭を見ることができる。実世界オブジェクトの輪郭レンダリングビュー１５０は、机を避けてＶＲ体験を続けるようにユーザに警告することができる。輪郭レンダリングされたオブジェクト（たとえば、机のレンダリングされた輪郭）は、たとえば、コンピューティングシステムが実世界オブジェクト（たとえば、机）がユーザにリスクをもたらさないと判定した場合、視界にフェードインし、ユーザが机から離れるにつれてフェードアウトすることができる。したがって、コンピューティングシステム１１０は、ＶＲ体験の没入を維持するという技術的課題に対する解決策を提供すると同時に、仮想境界内に自分自身を向けるために必要な視覚情報をユーザに提供することができる。本明細書に提示される解決策は、ＶＲ体験を著しく中断することなく、実世界オブジェクト１４５の存在をユーザに警告するために、ＶＲ環境１４０内の実世界オブジェクトの不透明、半透明、または輪郭レンダリングされたビュー１５０をレンダリングすることによってこの課題に対処することができる。本開示は、特定の方法で第３の出力画像をレンダリングすることについて説明しているが、本開示は、任意の適切な方法で任意の適切な出力画像をレンダリングすることを想定している。
特定の実施形態では、コンピューティングシステム１１０は、ユーザが仮想境界１１５の第２のしきい値距離内に近づいているかどうかを判定することができる。第２のしきい値距離は、第１のしきい値距離よりも大きくてもよい。たとえば、第１のしきい値距離が仮想境界１１５から１メートルである場合、第２のしきい値距離は仮想境界１１５から２メートルであってもよい。本開示は、ユーザが第２のしきい値距離内に接近しているかどうかを特定の方法で判定することについて説明しているが、本開示は、ユーザが任意のしきい値距離内に接近しているかどうかを任意の適切な方法で判定することを想定している。
特定の実施形態では、図１Ｃ、図２Ａ～図２Ｄ、および図８を参照すると、コンピューティングシステム１１０は、仮想境界１１５の第２のしきい値距離内に接近するユーザに応答して、ユーザの移動方向１２５および視野１２０を決定することができる。上述したように、コンピューティングシステム１１０は、カメラ１０５および／またはＶＲディスプレイデバイス１３５を装着しているユーザの動きおよび向きを判定するために、カメラ１０５および／またはＶＲディスプレイデバイス１３５のセンサ、加速度計、ジャイロスコープ、または他の位置センサを使用して、ユーザの移動方向１２５および視野１２０を判定することができる。限定ではなく、例として、センサは、ユーザが自分の視野１２０と同じ方向に沿って前方（たとえば、移動方向１２５ａに対して）に移動しており、仮想境界１１５の第２のしきい値距離内に近づいていると判定することができる（図２Ａ）。限定ではなく、別の例として、センサは、ユーザが自分の視野１２０と反対方向に後方に（たとえば、移動方向１２５ｂに対して）移動しており、仮想境界１１５の第２のしきい値距離内に近づいていると判定することができる（図２Ｂ）。限定ではなく、別の例として、センサは、ユーザが横方向に（たとえば、移動方向１２５ｃに対して）、視野１２０に垂直に移動しており、仮想境界１１５の第２のしきい値距離内に近づいていると判定することができる（図２Ｃ）。限定ではなく、別の例として、センサは、ユーザが右に横方向に（たとえば、移動方向１２５ｄに対して）移動しており、視野１２０に垂直に移動しており、仮想境界１１５の第２のしきい値距離内に近づいていると判定することができる（図２Ｄ）。本開示は、特定の方法でユーザの移動方向１２５および視野１２０を決定することについて説明しているが、本開示は、任意の適切な方法でユーザの移動方向および視野を決定することを想定している。
特定の実施形態では、コンピューティングシステム１１０は、ＶＲディスプレイデバイス１３５のカメラ１０５によって取り込まれた１つまたは複数の実世界オブジェクト１４５を含む実世界環境１００の１つまたは複数の追加の画像にアクセスすることができる。第３の出力画像は、アクセスされた追加画像内の１つまたは複数の実世界オブジェクト１４５を有することができる。コンピューティングシステム１１０は、カメラ１０５を使用してユーザの実世界環境１００の写真またはスナップショット（たとえば、画像を取り込む）を撮影することによって、実世界環境１００の１つまたは複数の画像にアクセスすることができる。オブジェクト検出フィルタまたは縁部検出フィルタ（たとえば、Ｓｏｂｅｌフィルタ）は、ユーザの実世界環境１００の近傍の１つまたは複数の実世界オブジェクト１４５を検出することができる。限定ではなく、例として、カメラ１０５を使用して、ユーザの実世界環境１００内にある机などの１つまたは複数の実世界オブジェクト１４５の縁部を検出することができる。次いで、第３の出力画像は、カメラ１０５によって取り込まれた机を含んでもよい。本開示は、特定の方法で１つまたは複数の追加の画像にアクセスすることを説明しているが、本開示は、任意の適切な方法で画像にアクセスすることを想定している。
図９は、パススルービューを使用してＶＲ設定における空間認識を決定するための例示的な方法９００を示す。本方法は、ステップ９１０で開始することができ、コンピューティングシステムは、ＶＲディスプレイデバイス１３５の１つまたは複数のディスプレイのために、ユーザの視野に基づくＶＲ環境の第１の出力画像をレンダリングすることを含むことができ、ＶＲ環境は実世界環境に対応する仮想境界を含む。ステップ９２０において、本方法は、ユーザが仮想境界の第１のしきい値距離内に近づいているかどうかを判定するステップを含むことができる。ステップ９３０において、本方法は、仮想境界の第１のしきい値距離内に接近するユーザに応答して、ユーザの移動方向および視野を決定するステップを含むことができる。ステップ９４０において、本方法は、ＶＲディスプレイデバイスの１つまたは複数のカメラによって取り込まれた実世界環境の１つまたは複数の画像にアクセスすることを含むことができる。ステップ９５０において、本方法は、ＶＲディスプレイデバイスの１つまたは複数のディスプレイのために、アクセスされた画像に基づいて、ＶＲ環境の部分と実世界環境のパススルービューの部分とを含む第２の出力画像をレンダリングすることを含むことができ、パススルービューの部分は、決定された移動方向およびユーザの視野に基づく。特定の実施形態は、適切な場合には、図９の方法の１つまたは複数のステップを繰り返すことが可能である。本開示は、図９の方法の特定のステップが特定の順序で発生するものとして説明し、示すが、本開示は、図９の方法の任意の好適なステップが任意の好適な順序で発生することを想定する。さらに、本開示は、図９の方法の特定のステップを含むパススルービューを使用してＶＲ設定における空間認識を決定するための例示的な方法を説明および図示しているが、本開示は、任意の適切なステップを含むパススルービューを使用してＶＲ設定における空間認識を決定するための任意の適切な方法を想定しており、適切な場合には、図９の方法のステップのすべて、一部、またはいずれも含まれない。さらに、本開示は、図９の方法の特定のステップを実行する特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せが、図９の方法の任意の好適なステップを実行することを想定する。
図１０は、ＶＲまたはソーシャルネットワーキングシステムに関連付けられている例示的なネットワーク環境１０００を示している。ネットワーク環境１０００は、ネットワーク１０１０によって互いに接続されているクライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、およびサードパーティーシステム１０７０を含む。図１０は、クライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、サードパーティーシステム１０７０、およびネットワーク１０１０の特定のアレンジを示しているが、本開示は、クライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、サードパーティーシステム１０７０、およびネットワーク１０１０の任意の適切なアレンジを想定している。限定ではなく、例として、クライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、およびサードパーティーシステム１０７０のうちの２つ以上が、ネットワーク１０１０を迂回して、互いに直接接続されることが可能である。別の例として、クライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、およびサードパーティーシステム１０７０のうちの２つ以上が、物理的にまたは論理的に、全体としてまたは部分的に互いに同一場所に配置されることが可能である。その上、図１０は、特定の数のクライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、サードパーティーシステム１０７０、およびネットワーク１０１０を示しているが、本開示は、任意の適切な数のクライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、サードパーティーシステム１０７０、およびネットワーク１０１０を想定している。限定ではなく、例として、ネットワーク環境１０００は、複数のクライアントシステム１０３０、ＶＲまたはソーシャルネットワーキングシステム１０６０、サードパーティーシステム１０７０、およびネットワーク１０１０を含むことが可能である。
本開示は、任意の好適なネットワーク１０１０を企図する。限定ではなく、例として、ネットワーク１０１０の１つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットの部分、公衆交換電話網（ＰＳＴＮ）の部分、セルラー電話ネットワーク、またはこれらのうちの２つ以上の組合せを含むことが可能である。ネットワーク１０１０は、１つまたは複数のネットワーク１０１０を含むことが可能である。
リンク１０５０は、クライアントシステム１０３０、ソーシャルネットワーキングシステム１０６０、およびサードパーティーシステム１０７０を通信ネットワーク１０１０に、または互いに接続することが可能である。本開示は、任意の好適なリンク１０５０を企図する。特定の実施形態では、１つまたは複数のリンク１０５０は、１つまたは複数の、（たとえば、デジタル加入者回線（ＤＳＬ）またはデータオーバーケーブルサービスインターフェース仕様（ＤＯＣＳＩＳ）などの）有線リンク、（たとえば、Ｗｉ－Ｆｉまたはワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）などの）無線リンク、または（たとえば、同期光ネットワーク（ＳＯＮＥＴ）または同期デジタルハイアラーキ（ＳＤＨ）などの）光リンクを含む。特定の実施形態では、１つまたは複数のリンク１０５０は、各々、アドホックネットワーク、イントラネット、エクストラネット、ＶＰＮ、ＬＡＮ、ＷＬＡＮ、ＷＡＮ、ＷＷＡＮ、ＭＡＮ、インターネットの部分、ＰＳＴＮの部分、セルラー技術ベースネットワーク、衛星通信技術ベースネットワーク、別のリンク１０５０、または２つまたはそれ以上のそのようなリンク１０５０の組合せを含む。リンク１０５０は、ネットワーク環境１０００の全体を通じて必ずしも同じである必要はない。１つまたは複数の第１のリンク１０５０は、１つまたは複数の第２のリンク１０５０とは１つまたは複数の点で異なってもよい。
特定の実施形態においては、クライアントシステム１０３０は、クライアントシステム１０３０によって実施またはサポートされる適切な機能性を実行することが可能な、ハードウェア、ソフトウェア、もしくは組込みロジックコンポーネント、または２つ以上のそのようなコンポーネントの組合せを含む電子デバイスであることが可能である。限定ではなく、例として、クライアントシステム１０３０は、デスクトップコンピュータ、ノートブックコンピュータもしくはラップトップコンピュータ、ネットブック、タブレットコンピュータなどのコンピュータシステム、ｅブックリーダ、ＧＰＳデバイス、カメラ、携帯情報端末（ＰＤＡ）、ハンドヘルド電子デバイス、セルラー電話、スマートフォン、拡張／仮想現実デバイス、その他の適切な電子デバイス、またはそれらの任意の適切な組合せを含むことが可能である。本開示は、任意の好適なクライアントシステム１０３０を企図する。クライアントシステム１０３０は、クライアントシステム１０３０のネットワークユーザがネットワーク１０１０にアクセスすることを可能にすることができる。クライアントシステム１０３０は、クライアントシステム１０３０のユーザが、他のクライアントシステム１０３０における他のユーザと通信することを可能にすることができる。
特定の実施形態においては、クライアントシステム１０３０（たとえば、ＨＭＤ）は、本明細書において記述されているパススルー機能を提供するためのパススルーエンジン１０３２を含むことが可能であり、１つまたは複数のアドオン、プラグイン、またはその他の拡張を有することが可能である。クライアントシステム１０３０のユーザは、特定のサーバ（サーバ１０６２、またはサードパーティーシステム１０７０に関連付けられているサーバなど）に接続することが可能である。サーバは、要求を受け入れてクライアントシステム１０３０と通信することが可能である。
特定の実施形態においては、ＶＲまたはソーシャルネットワーキングシステム１０６０は、オンライン仮想現実環境またはソーシャルネットワークをホストすることができるネットワークアドレス可能なコンピューティングシステムであることが可能である。ＶＲまたはソーシャルネットワーキングシステム１０６０は、たとえば、ユーザプロフィールデータ、コンセプトプロフィールデータ、ソーシャルグラフ情報、または、オンラインソーシャルネットワークに関連したその他の適切なデータなど、ソーシャルネットワーキングデータを生成すること、格納すること、受信すること、および送ることが可能である。ソーシャルネットワーキングまたはＶＲシステム１０６０は、ネットワーク環境１０００のその他のコンポーネントによって直接、またはネットワーク１０１０を介してアクセスされることが可能である。限定ではなく、例として、クライアントシステム１０３０は、ウェブブラウザ、または、ソーシャルネットワーキングもしくはＶＲシステム１０６０に関連付けられているネイティブアプリケーション（たとえば、モバイルソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、別の適切なアプリケーション、もしくはそれらの任意の組合せ）を使用して、直接またはネットワーク１０１０を介してソーシャルネットワーキングまたはＶＲシステム１０６０にアクセスすることが可能である。特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、１つまたは複数のサーバ１０６２を含むことが可能である。各サーバ１０６２は、単一サーバ、あるいは複数のコンピュータまたは複数のデータセンターにわたる分散型サーバであってもよい。サーバ１０６２は、たとえば、限定はしないが、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書で説明される機能またはプロセスを実施するのに好適な別のサーバ、あるいはそれらの任意の組合せなど、様々なタイプのものであってもよい。特定の実施形態では、各サーバ１０６２は、サーバ１０６２によって実装またはサポートされる適切な機能性を行うための、ハードウェア、ソフトウェア、または埋込み論理構成要素、または２つまたはそれ以上のそのような構成要素の組合せを含んでもよい。特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、１つまたは複数のデータストア１０６４を含むことが可能である。データストア１０６４は、様々なタイプの情報を記憶するために使用されてもよい。特定の実施形態では、データストア１０６４に記憶された情報は、固有のデータ構造に従って編成されてもよい。特定の実施形態では、各データストア１０６４は、リレーショナルデータベース、列指向データベース、相関データベース、または他の好適なデータベースであってもよい。本開示は、特定のタイプのデータベースを説明するかまたは示すが、本開示は任意の好適なタイプのデータベースを企図する。特定の実施形態は、クライアントシステム１０３０、ソーシャルネットワーキングもしくはＶＲシステム１０６０、またはサードパーティーシステム１０７０が、データストア１０６４に格納されている情報を管理すること、取り出すこと、修正すること、付加すること、または削除することを可能にするインターフェースを提供することが可能である。
特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、１つまたは複数のソーシャルグラフを１つまたは複数のデータストア１０６４に格納することが可能である。特定の実施形態では、ソーシャルグラフは、（各々特定のユーザに対応する）複数のユーザノードまたは（各々特定の概念に対応する）複数の概念ノードを含み得る、複数のノードと、ノードをつなげる複数のエッジとを含み得る。ソーシャルネットワーキングまたはＶＲシステム１０６０は、オンラインソーシャルネットワークのユーザに、その他のユーザと通信および対話する能力を提供することが可能である。特定の実施形態においては、ユーザたちは、ソーシャルネットワーキングまたはＶＲシステム１０６０を介してオンラインソーシャルネットワークに参加し、次いで、自分たちがつながりたいと望むソーシャルネットワーキングまたはＶＲシステム１０６０の複数のその他のユーザにつながり（たとえば、関係）を付加することが可能である。本明細書においては、「友達」という用語は、ユーザがソーシャルネットワーキングまたはＶＲシステム１０６０を介して、つながり、関連付け、または関係を形成している相手であるソーシャルネットワーキングまたはＶＲシステム１０６０の任意のその他のユーザを指すことが可能である。
特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、ソーシャルネットワーキングまたはＶＲシステム１０６０によってサポートされる様々なタイプのアイテムまたはオブジェクトについてアクションをとる能力をユーザに提供することが可能である。限定ではなく、例として、それらのアイテムおよびオブジェクトは、ソーシャルネットワーキングまたはＶＲシステム１０６０のユーザが属することが可能であるグループもしくはソーシャルネットワーク、ユーザが関心を抱く可能性がある出来事もしくはカレンダー項目、ユーザが使用することが可能であるコンピュータベースのアプリケーション、ユーザがサービスを介してアイテムを購入もしくは販売することを可能にするトランザクション、ユーザが実行することが可能である広告との対話、またはその他の適切なアイテムもしくはオブジェクトを含むことが可能である。ユーザは、ソーシャルネットワーキングまたはＶＲシステム１０６０において、またはサードパーティーシステム１０７０の外部システム（ソーシャルネットワーキングまたはＶＲシステム１０６０とは別個のものであって、ネットワーク１０１０を介してソーシャルネットワーキングまたはＶＲシステム１０６０に結合されている）によって表されることが可能である任意のものと対話することが可能である。
特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、様々なエンティティーどうしをリンクすることが可能であってもよい。限定ではなく、例として、ソーシャルネットワーキングまたはＶＲシステム１０６０は、ユーザたちが互いに対話すること、ならびにサードパーティーシステム１０７０もしくはその他のエンティティーからのコンテンツを受信することを可能にすることができ、またはユーザたちがアプリケーションプログラミングインターフェース（ＡＰＩ）もしくはその他の通信チャネルを通じてこれらのエンティティーと対話することを可能にすることができる。
特定の実施形態においては、サードパーティーシステム１０７０は、１つもしくは複数のタイプのサーバ、１つもしくは複数のデータストア、１つもしくは複数のインターフェース（ＡＰＩを含むが、それに限定されない）、１つもしくは複数のウェブサービス、１つもしくは複数のコンテンツソース、１つもしくは複数のネットワーク、または（たとえば、サーバが通信することが可能である）任意のその他の適切なコンポーネントを含むことが可能である。サードパーティーシステム１０７０は、ソーシャルネットワーキングまたはＶＲシステム１０６０を運営しているエンティティーとは異なるエンティティーによって運営されることが可能である。しかしながら、特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０およびサードパーティーシステム１０７０は、ソーシャルネットワーキングもしくはＶＲシステム１０６０またはサードパーティーシステム１０７０のユーザにソーシャルネットワーキングサービスを提供するために互いに連携して機能することが可能である。この意味において、ソーシャルネットワーキングまたはＶＲシステム１０６０は、サードパーティーシステム１０７０などのその他のシステムがインターネットを介してソーシャルネットワーキングサービスおよび機能性をユーザに提供するために使用することが可能であるプラットフォームまたはバックボーンを提供することが可能である。
特定の実施形態においては、サードパーティーシステム１０７０は、サードパーティー・コンテンツ・オブジェクト・プロバイダを含むことが可能である。サードパーティー・コンテンツ・オブジェクト・プロバイダは、クライアントシステム１０３０に通信され得る、コンテンツオブジェクトの１つまたは複数のソースを含み得る。限定としてではなく一例として、コンテンツオブジェクトは、たとえば、映画の上映時間、映画のレビュー、レストランのレビュー、レストランのメニュー、製品情報およびレビュー、または他の好適な情報など、ユーザにとって興味のある物またはアクティビティに関する情報を含み得る。限定としてではなく別の例として、コンテンツオブジェクトは、クーポン、ディスカウントチケット、ギフト券、または他の好適なインセンティブオブジェクトなど、インセンティブコンテンツオブジェクトを含み得る。
特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０はまた、ユーザによって生成されたコンテンツオブジェクトを含み、それらのコンテンツオブジェクトは、ソーシャルネットワーキングまたはＶＲシステム１０６０とのユーザの対話を高めることが可能である。ユーザによって生成されたコンテンツは、ユーザがソーシャルネットワーキングまたはＶＲシステム１０６０に付加、アップロード、送信、または「ポスト」することが可能である任意のものを含むことが可能である。限定ではなく、例として、ユーザは、クライアントシステム１０３０からソーシャルネットワーキングまたはＶＲシステム１０６０へポストを通信する。投稿は、ステータス更新または他のテキストデータ、ロケーション情報、写真、ビデオ、リンク、音楽あるいは他の同様のデータまたはメディアなど、データを含み得る。コンテンツは、ニュースフィードまたはストリームなどの「通信チャネル」を通じてサードパーティーによってソーシャルネットワーキングまたはＶＲシステム１０６０に付加されることも可能である。
特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、様々なサーバ、サブシステム、プログラム、モジュール、ログ、およびデータストアを含むことが可能である。特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、ウェブサーバ、アクションロガー、ＡＰＩ要求サーバ、関連性およびランキングエンジン、コンテンツオブジェクト分類子、通知コントローラ、アクションログ、サードパーティー・コンテンツ・オブジェクト公開ログ、推測モジュール、承認／プライバシーサーバ、検索モジュール、広告ターゲティングモジュール、ユーザインターフェースモジュール、ユーザプロフィールストア、つながりストア、サードパーティーコンテンツストア、またはロケーションストアのうちの１つまたは複数を含むことが可能である。ソーシャルネットワーキングまたはＶＲシステム１０６０は、適切なコンポーネント、たとえば、ネットワークインターフェース、セキュリティーメカニズム、ロードバランサ、フェイルオーバーサーバ、管理およびネットワークオペレーションコンソール、その他の適切なコンポーネント、またはそれらの任意の適切な組合せを含むことも可能である。特定の実施形態においては、ソーシャルネットワーキングまたはＶＲシステム１０６０は、ユーザプロフィールを格納するための１つまたは複数のユーザプロフィールストアを含むことが可能である。ユーザプロファイルは、たとえば、経歴情報、人口統計学的情報、行動情報、ソーシャル情報、あるいは、職歴、学歴、趣味もしくは選好、興味、親和性、またはロケーションなど、他のタイプの記述的情報を含み得る。興味情報は、１つまたは複数のカテゴリーに関係する興味を含み得る。カテゴリーは一般的であるかまたは固有のものであり得る。限定としてではなく一例として、ユーザが、靴のブランドに関する記事に対して「いいね！」を表明した場合、カテゴリーは、ブランド、あるいは「靴」または「衣類」の一般的なカテゴリーであり得る。つながりストアは、ユーザに関するつながり情報を記憶するために使用され得る。つながり情報は、同様のまたは共通の職歴、グループメンバーシップ、趣味、学歴を有するか、あるいはいかなる形でも関係するか、または共通属性を共有する、ユーザを指示し得る。つながり情報は、（内部と外部の両方の）異なるユーザとコンテンツとの間のユーザ定義されたつながりをも含み得る。ネットワーク１０１０を介してソーシャルネットワーキングまたはＶＲシステム１０６０を１つもしくは複数のクライアントシステム１０３０または１つもしくは複数のサードパーティーシステム１０７０にリンクさせるために、ウェブサーバが使用されることが可能である。ウェブサーバは、ソーシャルネットワーキングまたはＶＲシステム１０６０と、１つまたは複数のクライアントシステム１０３０との間においてメッセージを受信して回送するためにメールサーバまたはその他のメッセージング機能を含むことが可能である。ＡＰＩ要求サーバは、サードパーティーシステム１０７０が、１つまたは複数のＡＰＩを呼び出すことによってソーシャルネットワーキングまたはＶＲシステム１０６０からの情報にアクセスすることを可能にすることができる。ソーシャルネットワーキングまたはＶＲシステム１０６０の上のまたは外のユーザのアクションに関してウェブサーバから通信を受信するために、アクションロガーが使用されることが可能である。アクションログと併せて、サードパーティー・コンテンツ・オブジェクトへのユーザ公開についてのサードパーティー・コンテンツ・オブジェクト・ログが維持され得る。通知コントローラは、クライアントシステム１０３０にコンテンツオブジェクトに関する情報を提供し得る。情報は、通知としてクライアントシステム１０３０へ押し出されることが可能であり、または情報は、クライアントシステム１０３０から受け取られた要求に応答してクライアントシステム１０３０から引き出されることが可能である。ソーシャルネットワーキングまたはＶＲシステム１０６０のユーザの１つまたは複数のプライバシー設定を実施するために、承認サーバが使用されることが可能である。ユーザのプライバシー設定は、ユーザに関連付けられた特定の情報がどのように共有され得るかを決定する。承認サーバは、ユーザが、たとえば、適切なプライバシー設定を設定することなどによって、自分のアクションをソーシャルネットワーキングまたはＶＲシステム１０６０によって記録されること、またはその他のシステム（たとえば、サードパーティーシステム１０７０）と共有されることのオプトインまたはオプトアウトを行うことを可能にすることができる。サードパーティー・コンテンツ・オブジェクト・ストアは、サードパーティーシステム１０７０など、サードパーティーから受信されたコンテンツオブジェクトを記憶するために使用され得る。ロケーションストアは、ユーザに関連付けられたクライアントシステム１０３０から受信されたロケーション情報を記憶するために使用され得る。広告価格設定モジュールは、ソーシャル情報、現在時間、ロケーション情報、または他の好適な情報を組み合わせて、関連する広告を通知の形態でユーザに提供し得る。
図１１は、例示的なコンピュータシステム１１００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム１１００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム１１００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１１００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１１００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。
本開示は、任意の好適な数のコンピュータシステム１１００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム１１００を企図する。限定としてではなく例として、コンピュータシステム１１００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであってもよい。適切な場合、コンピュータシステム１１００は、１つまたは複数のコンピュータシステム１１００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐してもよい。適切な場合、１つまたは複数のコンピュータシステム１１００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム１１００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム１１００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。
特定の実施形態では、コンピュータシステム１１００は、プロセッサ１１０２と、メモリ１１０４と、ストレージ１１０６と、入出力（Ｉ／Ｏ）インターフェース１１０８と、通信インターフェース１１１０と、バス１１１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
特定の実施形態では、プロセッサ１１０２は、コンピュータプログラムを作成する命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ１１０２は、内部レジスタ、内部キャッシュ、メモリ１１０４、またはストレージ１１０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ１１０４、またはストレージ１１０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ１１０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１１０２を企図する。限定としてではなく一例として、プロセッサ１１０２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ１１０４またはストレージ１１０６中の命令のコピーであり得、命令キャッシュは、プロセッサ１１０２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ１１０２において実行する命令が動作する対象のメモリ１１０４またはストレージ１１０６中のデータのコピー、プロセッサ１１０２において実行する後続の命令によるアクセスのための、またはメモリ１１０４もしくはストレージ１１０６に書き込むための、プロセッサ１１０２において実行された前の命令の結果、あるいは他の好適なデータであってもよい。データキャッシュは、プロセッサ１１０２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ１１０２のための仮想アドレストランスレーション（ｖｉｒｔｕａｌ－ａｄｄｒｅｓｓ ｔｒａｎｓｌａｔｉｏｎ）を高速化し得る。特定の実施形態では、プロセッサ１１０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１１０２を企図する。適切な場合、プロセッサ１１０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ１１０２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
特定の実施形態では、メモリ１１０４は、プロセッサ１１０２が実行するための命令、またはプロセッサ１１０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム１１００は、ストレージ１１０６または（たとえば、別のコンピュータシステム１１００などの）別のソースからメモリ１１０４に命令をロードし得る。プロセッサ６０２は、次いで、メモリ６０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ６０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ６０２は、１つまたは複数の結果（中間結果または最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込むことができる。プロセッサ６０２は、次いで、メモリ６０４にそれらの結果のうちの１つまたは複数を書き込み得る。特定の実施形態では、プロセッサ６０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１１０６または他の場所とは対照的な）メモリ１１０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１１０６または他の場所とは対照的な）メモリ１１０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ１１０２をメモリ１１０４に結合し得る。バス１１１２は、以下で説明するように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１１０２とメモリ１１０４との間に常駐し、プロセッサ１１０２によって要求されるメモリ１１０４へのアクセスを容易にする。特定の実施形態では、メモリ１１０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ１１０４は、適切な場合、１つまたは複数のメモリ１１０４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
特定の実施形態では、ストレージ１１０６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ１１０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ１１０６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ１１０６は、適切な場合、コンピュータシステム１１００の内部または外部にあってもよい。特定の実施形態では、ストレージ１１０６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ１１０６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ１１０６を企図する。ストレージ１１０６は、適切な場合、プロセッサ１１０２とストレージ１１０６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ１１０６は、１つまたは複数のストレージ１１０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
特定の実施形態では、Ｉ／Ｏインターフェース１１０８は、コンピュータシステム１１００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム１１００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム１１００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース１１０８とを企図する。適切な場合、Ｉ／Ｏインターフェース１１０８は、プロセッサ１１０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース１１０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース１１０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。
特定の実施形態では、通信インターフェース１１１０は、コンピュータシステム１１００と、１つまたは複数の他のコンピュータシステム１１００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース１１１０は、イーサネットまたは他の有線ネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）または無線アダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース１１１０とを企図する。限定としてではなく一例として、コンピュータシステム１１００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム１１００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）無線ＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適な無線ネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信してもよい。コンピュータシステム１１００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース１１１０を含み得る。通信インターフェース１１１０は、適切な場合、１つまたは複数の通信インターフェース１１１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。
特定の実施形態では、バス１１１２は、コンピュータシステム１１００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス１１１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス１１１２は、適切な場合、１つまたは複数のバス１１１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。
本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。
本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。
本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

Claims (15)

  1. 方法であって、１つまたは複数のコンピューティングシステムにより、
    仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングすることであって、前記ＶＲ環境が実世界環境に対応する仮想境界を含む、ＶＲ環境の第１の出力画像をレンダリングすることと、
    前記ユーザが前記仮想境界の第１のしきい値距離内に接近したかどうかを判定することと、
    前記仮想境界の前記第１のしきい値距離内の前記ユーザの接近に応答して、前記ユーザの移動方向および前記視野を決定することと、
    前記ＶＲディスプレイデバイスの１つまたは複数のカメラによって取り込まれた前記実世界環境の１つまたは複数の画像にアクセスすることと、
    前記ＶＲディスプレイデバイスの前記１つまたは複数のディスプレイのために、前記アクセスされた画像に基づいて、前記ＶＲ環境の部分および前記実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングすることであって、前記パススルービューの前記部分が、前記ユーザの前記決定された移動方向および前記視野に基づく、第２の出力画像をレンダリングすることと、を含む
    方法。
  2. 前記ＶＲディスプレイデバイスの前記１つまたは複数のディスプレイのために、１つまたは複数の複合現実（ＭＲ）オブジェクトとして前記仮想境界を越えた１つまたは複数の実世界オブジェクトを含む、第３の出力画像をレンダリングすることをさらに含み、任意選択で、
    前記ユーザが、前記仮想境界の前記第１のしきい値距離よりも大きい第２のしきい値距離内に接近しているかどうかを判定することと、
    前記仮想境界の前記第２のしきい値距離内の前記ユーザの接近に応答して、前記ユーザの前記移動方向および前記視野を決定することと、
    前記ＶＲディスプレイデバイスのカメラによって取り込まれた前記１つまたは複数の実世界オブジェクトを含む前記実世界環境の１つまたは複数の追加画像にアクセスすることと、
    をさらに含み、
    前記第３の出力画像が、前記アクセスされた追加画像内の前記１つまたは複数の実世界オブジェクトを含む、
    請求項１に記載の方法。
  3. 前記１つまたは複数のＭＲオブジェクトが、前記１つまたは複数のオブジェクトの輪郭、前記１つまたは複数のオブジェクトの半不透明レンダリング、あるいは前記１つまたは複数のオブジェクトの完全不透明レンダリングとしてレンダリングされる、請求項２に記載の方法。
  4. 前記ユーザの前記移動の速度を決定することであって、前記パススルービューの前記部分のエリアが前記ユーザの前記決定された速度に基づいており、前記部分が球面状の第２の出力画像の球面キャップである、前記移動の速度を決定することをさらに含み、任意選択で、
    前記パススルービューの前記部分の前記エリアが、前記ユーザの前記決定された移動の速度が速くなると相対的に大きくなり、前記パススルービューの前記部分の前記エリアが、前記ユーザの前記移動の決定された速度が遅くなると相対的に小さくなる、
    請求項１に記載の方法。
  5. 前記ユーザの前記移動の速度を決定することであって、前記ＶＲ環境から前記パススルービューの前記部分への遷移の鮮鋭度が、前記ユーザの前記決定された移動の速度に基づいており、前記遷移が、前記ＶＲ環境から前記パススルービューの前記部分へのフェードである、前記移動の速度を決定することをさらに含み、任意選択で、
    前記ＶＲ環境から前記パススルービューの前記部分への前記遷移の前記鮮鋭度が、前記ユーザの前記決定された移動の速度が速くなると相対的に鋭くなり、前記ＶＲ環境から前記パススルービューの前記部分への前記遷移の前記鮮鋭度が、前記ユーザの前記決定された移動の速度が遅くなると相対的に鈍くなる、
    請求項１に記載の方法。
  6. 前記パススルービューの前記レンダリングされた部分が、前記ユーザの前記移動方向に対応する、請求項１に記載の方法。
  7. 前記ユーザの前記移動方向が前記視野に向かっていると判定された場合、前記パススルービューの前記レンダリングされた部分が前記ユーザの視野内にあるか、または
    前記移動方向が前記視野に垂直であると判定された場合、前記パススルービューの前記レンダリングされた部分が前記ユーザの周辺ビュー内にあるか、または
    前記移動方向が前記視野から離れていくと判定された場合、前記パススルービューの前記レンダリングされた部分が、前記ユーザの周辺ビュー内および前記ユーザの背後にある、請求項６に記載の方法。
  8. ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されると、
    仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングすることであって、前記ＶＲ環境が実世界環境に対応する仮想境界を含む、第１の出力画像をレンダリングすることと、
    前記ユーザが前記仮想境界の第１のしきい値距離内に接近しているかどうかを判定することと、
    前記仮想境界の前記第１のしきい値距離内の前記ユーザの接近に応答して、前記ユーザの移動方向および前記視野を決定することと、
    前記ＶＲディスプレイデバイスのカメラによって取り込まれた前記実世界環境の１つまたは複数の画像にアクセスすることと、
    前記ＶＲディスプレイデバイスの前記１つまたは複数のディスプレイのために、前記アクセスされた画像に基づいて、前記ＶＲ環境の部分および前記実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングすることであって、前記パススルービューの前記部分が、前記ユーザの前記決定された移動方向および前記視野に基づく、第２の出力画像をレンダリングすることと、を行うように動作可能である、
    媒体。
  9. 前記ソフトウェアは、実行されると、
    前記ＶＲディスプレイの前記１つまたは複数のディスプレイのために、１つまたは複数の複合現実（ＭＲ）オブジェクトとして前記仮想境界を越えた１つまたは複数の実世界オブジェクトを含む、第３の出力画像をレンダリングするようにさらに動作可能である、請求項８に記載の媒体。
  10. 前記ソフトウェアは、実行されると、
    前記ユーザが、前記仮想境界の前記第１のしきい値距離よりも大きい第２のしきい値距離内に接近しているかどうかを判定することと、
    前記仮想境界の前記第２のしきい値距離内の前記ユーザの接近に応答して、前記ユーザの前記移動方向および前記視野を決定することと、
    前記ＶＲディスプレイデバイスのカメラによって取り込まれた前記１つまたは複数の実世界オブジェクトを含む前記実世界環境の１つまたは複数の画像にアクセスすることと、を行うようにさらに動作可能である、請求項９に記載の媒体。
  11. 前記レンダリングされた１つまたは複数のＭＲオブジェクトが、前記オブジェクトの輪郭、前記オブジェクトの半不透明レンダリング、または前記オブジェクトの完全不透明レンダリングのうちの１つまたは複数としてレンダリングされる、請求項９に記載の媒体。
  12. 前記ソフトウェアは、実行されると、
    前記ユーザの前記移動の速度を決定するようにさらに動作可能であり、前記パススルービューの前記部分のエリアが前記ユーザの前記決定された速度に基づいており、前記エリアが前記第２の出力画像の円弧である、請求項８に記載の媒体。
  13. 前記パススルービューの前記部分の前記エリアが、前記ユーザの前記決定された移動の速度が速くなると相対的に大きくなり、前記パススルービューの前記部分の前記エリアが、前記ユーザの前記決定された移動の速度が遅くなると相対的に小さくなる、請求項１２に記載の媒体。
  14. 前記ソフトウェアは、実行されると、
    前記ユーザの前記移動の速度を決定するようにさらに動作可能であり、前記ＶＲ環境から前記パススルービューの前記部分への遷移の鮮鋭度が前記ユーザの前記決定された移動の速度に基づいており、前記遷移が前記ＶＲ環境から前記パススルービューの前記部分へのフェードである、請求項８に記載の媒体。
  15. １つまたは複数のプロセッサと、前記プロセッサに結合され、前記プロセッサにより実行可能な命令を含む非一時的メモリと、を含む、システムであって、前記プロセッサは、前記命令を実行すると、
    仮想現実（ＶＲ）ディスプレイデバイスの１つまたは複数のディスプレイのために、ユーザの視野に基づいてＶＲ環境の第１の出力画像をレンダリングすることであって、前記ＶＲ環境が実世界環境に対応する仮想境界を含む、第１の出力画像をレンダリングすることと、
    前記ユーザが前記仮想境界の第１のしきい値距離内に接近しているかどうかを判定することと、
    前記仮想境界の前記第１のしきい値距離内の前記ユーザの接近に応答して、前記ユーザの移動方向および前記視野を決定することと、
    前記ＶＲディスプレイデバイスのカメラによって取り込まれた前記実世界環境の１つまたは複数の画像にアクセスすることと、
    前記ＶＲディスプレイデバイスの前記１つまたは複数のディスプレイのために、前記アクセスされた画像に基づいて、前記ＶＲ環境の部分および前記実世界環境のパススルービューの部分を含む第２の出力画像をレンダリングすることであって、前記パススルービューの前記部分が、前記ユーザの前記決定された移動方向および前記視野に基づく、第２の出力画像をレンダリングすることと、を行うように動作可能である、
    システム。
JP2023540101A 2020-12-31 2021-12-16 仮想現実において空間認識を提供するためのシステムおよび方法 Pending JP2024502810A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/139,434 2020-12-31
US17/139,434 US11232644B1 (en) 2020-12-31 2020-12-31 Systems and methods for providing spatial awareness in virtual reality
PCT/US2021/063883 WO2022146712A1 (en) 2020-12-31 2021-12-16 Systems and methods for providing spatial awareness in virtual reality

Publications (1)

Publication Number Publication Date
JP2024502810A true JP2024502810A (ja) 2024-01-23

Family

ID=79601586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023540101A Pending JP2024502810A (ja) 2020-12-31 2021-12-16 仮想現実において空間認識を提供するためのシステムおよび方法

Country Status (6)

Country Link
US (5) US11232644B1 (ja)
EP (1) EP4272052A1 (ja)
JP (1) JP2024502810A (ja)
KR (1) KR20230124075A (ja)
CN (1) CN116964542A (ja)
WO (1) WO2022146712A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
US11126850B1 (en) 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US12014734B2 (en) * 2021-07-22 2024-06-18 International Business Machines Corporation Dynamic boundary creation for voice command authentication
TW202334905A (zh) * 2022-02-16 2023-09-01 美商元平台技術有限公司 在共享現實世界環境中的多個虛擬實境系統之空間錨點共享
CN114862725B (zh) * 2022-07-07 2022-09-27 广州光锥元信息科技有限公司 基于光流法实现运动感知模糊特效的方法及装置
CN118244878A (zh) * 2022-12-22 2024-06-25 北京字跳网络技术有限公司 虚拟现实安全防护方法和装置、电子设备、介质、芯片和程序产品
WO2024136903A1 (en) * 2022-12-23 2024-06-27 Innopeak Technology, Inc. Methods and systems for defining virtual boundaries
KR20240109342A (ko) * 2023-01-04 2024-07-11 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
US20240280812A1 (en) * 2023-02-22 2024-08-22 Innolux Corporation Head mounted device and operating method for head mounted device

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080197702A1 (en) 2006-11-06 2008-08-21 Herman Miller, Inc. Programmable infrastructure system
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
CN104094195B (zh) 2012-02-24 2017-05-03 英派尔科技开发有限公司 用于基于姿势的游戏系统的安全方案
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150277118A1 (en) * 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10130873B2 (en) 2014-03-21 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10241566B2 (en) 2014-11-05 2019-03-26 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US10309797B2 (en) 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
EP3037917B1 (en) 2014-12-24 2021-05-19 Nokia Technologies Oy Monitoring
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
DE102015226580A1 (de) * 2015-12-22 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US9824500B2 (en) 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US9996944B2 (en) 2016-07-06 2018-06-12 Qualcomm Incorporated Systems and methods for mapping an environment
US10617956B2 (en) 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US10321258B2 (en) 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US20190370544A1 (en) * 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication
PL3422145T3 (pl) 2017-06-28 2020-06-29 Nokia Technologies Oy Zapewnienie treści rzeczywistości wirtualnej
US20190033989A1 (en) 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US10627635B2 (en) 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
US11184968B2 (en) 2017-10-17 2021-11-23 Signify Holding B.V. Occupancy sensor calibration and occupancy estimation
US10832477B2 (en) 2017-11-30 2020-11-10 International Business Machines Corporation Modifying virtual reality boundaries based on usage
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108628442B (zh) 2018-03-22 2021-03-26 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
US10535199B1 (en) 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US10607083B2 (en) 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US10853649B2 (en) 2018-08-27 2020-12-01 Dell Products, L.P. Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
DE112019004485T5 (de) * 2018-09-07 2021-07-01 Apple Inc. Wechseln zwischen bildern und tönen einer virtuellen umgebung und einer realen umgebung
US20200111256A1 (en) 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US10725308B1 (en) * 2018-10-08 2020-07-28 Facebook Technologies, Llc Dynamic attenuator for combining real world and virtual content
US10942617B2 (en) 2019-01-08 2021-03-09 International Business Machines Corporation Runtime adaptation of augmented reality gaming content based on context of surrounding physical environment
US10885710B2 (en) 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
US11288868B2 (en) 2019-07-26 2022-03-29 Foretell Studios, LLC Simulated reality adaptive user space
US11151795B2 (en) 2019-12-10 2021-10-19 Wormhole Labs, Inc. Systems and methods of creating virtual pop-up spaces
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems

Also Published As

Publication number Publication date
EP4272052A1 (en) 2023-11-08
KR20230124075A (ko) 2023-08-24
US11989844B2 (en) 2024-05-21
US20240212298A1 (en) 2024-06-27
WO2022146712A1 (en) 2022-07-07
US20230103172A1 (en) 2023-03-30
CN116964542A (zh) 2023-10-27
US20220207837A1 (en) 2022-06-30
US11704879B2 (en) 2023-07-18
US20230306697A1 (en) 2023-09-28
US11232644B1 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
JP2024502810A (ja) 仮想現実において空間認識を提供するためのシステムおよび方法
US11417054B1 (en) Mixed reality objects in virtual reality environments
JP2023551727A (ja) 物理キーボード追跡
US12033270B2 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
US11887267B2 (en) Generating and modifying representations of hands in an artificial reality environment
CN117063205A (zh) 在人工现实环境中生成和修改动态对象的表示
US20230120052A1 (en) Adaptable Personal User Interfaces in Cross-Application Virtual Reality Settings
TW202333494A (zh) 在虛擬實境環境中的混合實境物件之平台化
US20220148254A1 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
US12105866B2 (en) Spatial anchor sharing for multiple virtual reality systems in shared real-world environments
US20230259194A1 (en) Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments
US11562529B2 (en) Generating and modifying an artificial reality environment using occlusion surfaces at predetermined distances
US20240194040A1 (en) Directional Warnings in Co-located Play in Virtual Reality Environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240917