JP2024009071A - クロスリアリティシステム - Google Patents
クロスリアリティシステム Download PDFInfo
- Publication number
- JP2024009071A JP2024009071A JP2023193577A JP2023193577A JP2024009071A JP 2024009071 A JP2024009071 A JP 2024009071A JP 2023193577 A JP2023193577 A JP 2023193577A JP 2023193577 A JP2023193577 A JP 2023193577A JP 2024009071 A JP2024009071 A JP 2024009071A
- Authority
- JP
- Japan
- Prior art keywords
- map
- maps
- user
- pcf
- world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003128 head Anatomy 0.000 abstract description 196
- 210000001747 pupil Anatomy 0.000 abstract description 18
- 230000009466 transformation Effects 0.000 abstract description 16
- 230000003190 augmentative effect Effects 0.000 abstract description 10
- 230000002085 persistent effect Effects 0.000 description 160
- 238000000034 method Methods 0.000 description 125
- 238000003860 storage Methods 0.000 description 89
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 73
- 230000007613 environmental effect Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 64
- 238000012545 processing Methods 0.000 description 47
- 238000001914 filtration Methods 0.000 description 41
- 238000001514 detection method Methods 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 32
- 101150064138 MAP1 gene Proteins 0.000 description 27
- 230000008447 perception Effects 0.000 description 24
- 238000009877 rendering Methods 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000004441 surface measurement Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000004807 localization Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 238000000844 transformation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000005484 gravity Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 101100082497 Oryza sativa subsp. japonica PCF3 gene Proteins 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004418 eye rotation Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 241000282994 Cervidae Species 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 229910001416 lithium ion Inorganic materials 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 101100206190 Arabidopsis thaliana TCP20 gene Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101100082494 Oryza sativa subsp. japonica PCF1 gene Proteins 0.000 description 1
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 1
- 206010034962 Photopsia Diseases 0.000 description 1
- 101100260216 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) BRF1 gene Proteins 0.000 description 1
- 101100045761 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TFC4 gene Proteins 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910000065 phosphene Inorganic materials 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】好適なクロスリアリティシステムを提供すること。
【解決手段】拡張現実視認システムが、説明される。ローカルコンテンツのローカル座標フレームが、世界座標フレームに変換される。さらなる変換が、頭部座標フレームに行われ、さらなる変換が、眼の全ての瞳孔位置を含む、カメラ座標フレームに行われる。1人以上のユーザが、別個のセッションにおいて、視認システムと相互作用し得る。規準マップが、利用可能である場合、先行マップが、ユーザの視認デバイス上にダウンロードされる。視認デバイスは、次いで、別のマップを生成し、後続マップを規準マップに対して位置特定する。
【選択図】図6
【解決手段】拡張現実視認システムが、説明される。ローカルコンテンツのローカル座標フレームが、世界座標フレームに変換される。さらなる変換が、頭部座標フレームに行われ、さらなる変換が、眼の全ての瞳孔位置を含む、カメラ座標フレームに行われる。1人以上のユーザが、別個のセッションにおいて、視認システムと相互作用し得る。規準マップが、利用可能である場合、先行マップが、ユーザの視認デバイス上にダウンロードされる。視認デバイスは、次いで、別のマップを生成し、後続マップを規準マップに対して位置特定する。
【選択図】図6
Description
(関連出願の相互参照)
本願は、参照することによってその全体として本明細書に組み込まれる、2018年8月13日に出願され、「VIEWING DEVICE OR VIEWING DEVICES HAVING ONE OR MORE COORDINATE FRAME TRANSFORMERS」と題された、米国仮特許出願第62/718,357号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2018年10月5日に出願され、「COORDINATE FRAME PROCESSING AUGMENTED REALITY」と題された、米国仮特許出願第62/742,237号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年3月1日に出願され、「MERGING A PLURALITY OF INDIVIDUALLY MAPPED ENVIRONMENTS」と題された、米国仮特許出願第62/812,935号の優先権および利点を主張し、参照することによってその全体として本明細書に組み込まれる、2019年3月8日に出願され、「VIEWING DEVICE OR VIEWING DEVICES HAVING ONE OR MORE COORDINATE FRAME TRANSFORMERS」と題された、米国仮特許出願第62/815,955号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年6月28日に出願され、「RANKING AND MERGING A PLURALITY OF ENVIRONMENT MAPS」と題された、米国仮特許出願第62/868,786号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年7月5日に出願され、「RANKING AND MERGING A PLURALITY OF ENVIRONMENT MAPS」と題された、米国仮特許出願第62/870,954号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年8月8日に出願され、「A VIEWING SYSTEM」と題された、米国仮特許出願第62/884,109号の優先権および利点を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、2018年8月13日に出願され、「VIEWING DEVICE OR VIEWING DEVICES HAVING ONE OR MORE COORDINATE FRAME TRANSFORMERS」と題された、米国仮特許出願第62/718,357号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2018年10月5日に出願され、「COORDINATE FRAME PROCESSING AUGMENTED REALITY」と題された、米国仮特許出願第62/742,237号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年3月1日に出願され、「MERGING A PLURALITY OF INDIVIDUALLY MAPPED ENVIRONMENTS」と題された、米国仮特許出願第62/812,935号の優先権および利点を主張し、参照することによってその全体として本明細書に組み込まれる、2019年3月8日に出願され、「VIEWING DEVICE OR VIEWING DEVICES HAVING ONE OR MORE COORDINATE FRAME TRANSFORMERS」と題された、米国仮特許出願第62/815,955号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年6月28日に出願され、「RANKING AND MERGING A PLURALITY OF ENVIRONMENT MAPS」と題された、米国仮特許出願第62/868,786号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年7月5日に出願され、「RANKING AND MERGING A PLURALITY OF ENVIRONMENT MAPS」と題された、米国仮特許出願第62/870,954号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、2019年8月8日に出願され、「A VIEWING SYSTEM」と題された、米国仮特許出願第62/884,109号の優先権および利点を主張する。
本願は、概して、クロスリアリティシステムに関する。
コンピュータは、ヒューマンユーザインターフェースを制御し、ユーザによって知覚されるにつれて、XR環境の一部または全部がコンピュータによって生成される、Xリアリティ(XRまたはクロスリアリティ)環境を作成し得る。これらのXR環境は、XR環の一部または全部が、部分的に、環境を説明するデータを使用して、コンピュータによって生成され得る、仮想現実(VR)、拡張現実(AR)、および複合現実(MR)環境であり得る。本データは、例えば、ユーザが、物理的世界の一部として、感知または知覚し、仮想オブジェクトと相互作用し得るようにレンダリングされ得る、仮想オブジェクトを説明し得る。ユーザは、例えば、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通してレンダリングおよび提示されているデータの結果として、これらの仮想オブジェクトを体験し得る。データは、ユーザに見えるように表示され得る、またはユーザに聞こえるように再生される、オーディオを制御し得る、または触知的(または触覚的)インターフェースを制御し、ユーザが、仮想オブジェクトを感じるにつれて、ユーザが感知または知覚する、タッチ感覚を体験することを可能にし得る。
XRシステムは、科学的可視化、医療訓練、工学設計、およびプロトタイプ化、遠隔操作およびテレプレゼンス、および個人的娯楽の分野に及ぶ、多くの用途のために有用であり得る。ARおよびMRは、VRと対照的に、物理的世界の実オブジェクトと関連して、1つ以上のオブジェクトを含む。実オブジェクトと相互作用する、仮想オブジェクトの体験は、概して、XRシステムを使用する際、ユーザの享受を向上させ、また、物理的世界が改変され得る様子についての現実的かつ容易に理解可能な情報を提示する、種々の用途のための可能性を広げる。
XRシステムは、システムのユーザの周囲の物理的世界を「メッシュ」として表し得る。メッシュは、複数の相互接続された三角形によって表され得る。各三角形は、各三角形が表面の一部を表すように、物理的世界内のオブジェクトの表面上の点を継合する縁を有する。色、テクスチャ、または他の性質等の表面の部分についての情報が、三角形内に関連付けられて記憶され得る。動作時、XRシステムは、画像情報を処理し、メッシュを作成または更新するように、点および表面を検出し得る。
本願の側面は、Xリアリティ(クロスリアリティまたはXR)場面を提供するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。
いくつかの実施形態は、第1のプロセッサと、第1のプロセッサに接続される、第1のコンピュータ可読媒体と、第1のコンピュータ可読媒体上に記憶される、第1の原点座標フレームと、コンピュータ可読媒体上に記憶される、第1の目的地座標フレームと、ローカルコンテンツを表すデータを受信する、第1のデータチャネルと、第1のプロセッサによって実行可能であって、ローカルコンテンツの位置付けを第1の原点座標フレームから第1の目的地座標フレームに変換する、第1の座標フレーム変換器と、ローカルコンテンツの位置付けを第1の原点座標フレームから第1の目的地座標フレームに変換後、ローカルコンテンツを第1のユーザに表示するように適合される、第1のディスプレイシステムとを含む、第1のXRデバイスを含む、XRシステムに関する。
いくつかの実施形態は、第1の原点座標フレームを記憶するステップと、第1の目的地座標フレームを記憶するステップと、ローカルコンテンツを表すデータを受信するステップと、ローカルコンテンツの位置付けを第1の原点座標フレームから第1の目的地座標フレームに変換するステップと、ローカルコンテンツの位置付けを第1の原点座標フレームから第1の目的地座標フレームに変換後、ローカルコンテンツを第1のユーザに表示するステップとを含む、視認方法に関する。
いくつかの実施形態は、複数のアンカを有する規準マップである、第1のマップを記憶する、マップ記憶ルーチンであって、第1のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、実オブジェクトの場所を検出するように位置付けられる、実オブジェクト検出デバイスと、実オブジェクト検出デバイスに接続され、実オブジェクトの場所に基づいて、第2のマップのアンカを検出する、アンカ識別システムであって、第2のマップの各アンカは、座標のセットを有する、アンカ識別システムと、規準マップおよび第2のマップに接続され、第2のマップの第1のアンカを規準マップの第1のアンカにマッチングさせ、第2のマップの第2のアンカを規準マップの第2のアンカにマッチングさせることによって、第2のマップを規準マップに対して位置特定するように実行可能である、位置特定モジュールとを含む、XRシステムに関する。
いくつかの実施形態は、複数のアンカを有する規準マップである、第1のマップを記憶するステップであって、規準マップの各アンカは、座標のセットを有する、ステップと、実オブジェクトの場所を検出するステップと、実オブジェクトの場所に基づいて、第2のマップのアンカを検出するステップであって、第2のマップの各アンカは、座標のセットを有する、ステップと、第2のマップの第1のアンカを第1のマップの第1のアンカにマッチングさせ、第2のマップの第2のアンカを規準マップの第2のアンカにマッチングさせることによって、第2のマップを規準マップに対して位置特定するステップとを含む、視認方法に関する。
いくつかの実施形態は、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上の複数の規準マップと、各個別の規準マップと関連付けられるコンピュータ可読媒体上の個別の規準マップ識別子であって、相互に異なり、規準マップを一意に識別する、規準マップ識別子と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、位置識別子をXRデバイスから受信し、記憶する、位置検出器と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、位置識別子と規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する、1つ以上の規準マップを決定する、第1のフィルタと、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、第1のフィルタリングされた選択に基づいて、規準マップのうちの1つ以上のものをXRデバイスに伝送する、マップ伝送機とを有し得る、サーバを含む、XRシステムに関する。
いくつかの実施形態は、複数の規準マップをコンピュータ可読媒体上に記憶するステップであって、各規準マップは、個別の規準マップと関連付けられる個別の規準マップ識別子を有し、規準マップ識別子は、相互に異なり、規準マップを一意に識別する、ステップと、コンピュータ可読媒体に接続される、プロセッサを用いて、位置識別子をXRデバイスから受信し、記憶するステップと、プロセッサを用いて、位置識別子と規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する、1つ以上の規準マップを決定するステップと、プロセッサを用いて、第1のフィルタリングされた選択に基づいて、複数の規準マップをXRデバイスに伝送するステップとを含む、視認方法に関する。
いくつかの実施形態は、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、各数列の最大値を画像を表すグローバル特徴列に組み合わせる、最大プールユニットとを含む、XRシステムに関する。
いくつかの実施形態は、プロセッサを用いて、画像の複数の特徴を受信するステップと、プロセッサを用いて、各特徴を個別の数列に変換するステップと、プロセッサを用いて、各数列の最大値を画像を表すグローバル特徴列に組み合わせるステップとを含む、視認方法に関する。
いくつかの実施形態は、コンピューティングシステムを動作させ、データベース内に記憶される1つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、デバイスは、追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、アクセスポイントとの通信の特性に基づいて、追跡マップの少なくとも1つのエリア属性を決定するステップと、少なくとも1つのエリア属性に基づいて、追跡マップの地理的場所を決定するステップと、決定された地理的場所に対応するデータベース内に記憶される環境マップのセットを識別するステップと、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップと、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップと、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングするステップとを含む、方法に関する。
いくつかの実施形態は、複数のユーザデバイスが使用されたエリアを示す、エリア識別を記憶する、ユーザデータベースであって、エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶する、マップデータベースであって、関連付けられるメタデータは、そこからマップが構築されたデータを供給した、複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、エリア識別は、そこからマップが構築されたデータを供給した、ユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える、複数のユーザデバイスから受信し、ユーザデバイスのためのエリア識別子を算出し、受信されたパラメータおよび/または算出されたエリア識別子に基づいて、ユーザデータベースを更新し、環境マップのための要求を複数のユーザデバイスから受信し、環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、エリア識別子に基づいて、環境マップのセットをマップデータベースから識別し、環境マップのセットをフィルタリングし、フィルタリングされた環境マップのセットをユーザデバイスに伝送する、コンピュータ実行可能命令を記憶する、非一過性コンピュータ記憶媒体とを含み、環境マップのセットをフィルタリングするステップは、そこから環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのためのマップデータベース内の無線ネットワークのパラメータとの類似性に基づく、センサを備える複数のユーザデバイスとの通信のために構成される、拡張現実システムのためのクラウドコンピューティング環境に関する。
いくつかの実施形態は、実世界オブジェクトの複数の表面を検出する、実オブジェクト検出デバイスと、実オブジェクト検出デバイスに接続され、実世界オブジェクトに基づいて、マップを生成する、アンカ識別システムと、マップに基づいて、第1のPCFを生成し、第1のPCFとマップを関連付ける、持続座標フレーム(PCF)生成システムと、それぞれ、第1および第2のXRデバイス上にある、第1および第2の記憶媒体と、第1のPCFを、それぞれ、第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶する、第1および第2のXRデバイスの少なくとも第1および第2のプロセッサとを含む、XRシステムに関する。
いくつかの実施形態は、少なくとも1つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出するステップと、少なくとも1つのプロセッサを用いて、実世界オブジェクトに基づいて、マップを生成するステップと、少なくとも1つのプロセッサを用いて、マップに基づいて、第1のPCFを生成するステップと、少なくとも1つのプロセッサを用いて、第1のPCFとマップを関連付けるステップと、第1および第2のXRデバイスの少なくとも第1および第2のプロセッサを用いて、第1のPCFを、それぞれ、第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶するステップとを含む、視認方法に関する。
いくつかの実施形態は、第1のXRデバイスプロセッサと、第1のXRデバイスプロセッサに接続される、第1のXRデバイス記憶デバイスと、第1のXRデバイスプロセッサによって実行可能であって、持続姿勢をサーバからダウンロードする、ダウンロードシステムと、第1のXRデバイスプロセッサによって実行可能であって、持続姿勢に基づいて、PCFを第1のXRデバイスの第1の記憶デバイスから読み出す、PCF読出器と、第1のXRデバイスプロセッサによって実行可能であって、第1の記憶デバイスから読み出されたPCFに基づいて、座標フレームを計算する、座標フレーム計算機とを含む、第1のXRデバイスプロセッサ上の命令のセットとを含み得る、第1のXRデバイスを含む、XRシステムに関する。
いくつかの実施形態は、第1のXRデバイスの第1のXRデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードするステップと、第1のXRデバイスプロセッサを用いて、持続姿勢に基づいて、PCFを第1のXRデバイスの第1の記憶デバイスから読み出すステップと、第1のXRデバイスプロセッサを用いて、第1の記憶デバイスから読み出されたPCFに基づいて、座標フレームを計算するステップとを含む、視認方法に関する。
いくつかの実施形態は、サーバプロセッサと、サーバプロセッサに接続される、サーバ記憶デバイスと、サーバのサーバプロセッサを用いて実行可能であって、マップと関連付けられた第1のPCFをサーバのサーバ記憶デバイス上に記憶する、マップ記憶ルーチンと、サーバプロセッサを用いて、サーバプロセッサを用いて実行可能であって、マップおよび第1のPCFを第1のXRデバイスに伝送する、マップ伝送機とを含み得る、サーバを含む、視認方法に関する。本発明はまた、サーバのサーバプロセッサを用いて、マップと関連付けられた第1のPCFをサーバのサーバ記憶デバイス上に記憶するステップと、サーバのサーバプロセッサを用いて、マップおよび第1のPCFを第1のXRデバイスに伝送するステップとを含む、視認方法を提供する。
いくつかの実施形態は、XRデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入るステップと、プロセッサによって、表面に対する頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定するステップと、頭部姿勢が、喪失された場合、プロセッサによって、姿勢復元モードに入り、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢を確立するステップとを含む、視認方法に関する。
本発明は、例えば、以下を提供する。
(項目1)
座標フレーム変換
XRシステムであって、
第1のXRデバイスであって、前記第1のXRデバイスは、
第1のプロセッサと、
前記第1のプロセッサに接続される第1のコンピュータ可読媒体と、
前記第1のコンピュータ可読媒体上に記憶される第1の原点座標フレームと、
前記コンピュータ可読媒体上に記憶される第1の目的地座標フレームと、
ローカルコンテンツを表すデータを受信する第1のデータチャネルと、
第1の座標フレーム変換器であって、前記第1の座標フレーム変換器は、前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換するように、前記第1のプロセッサによって実行可能である、第1の座標フレーム変換器と、
第1のディスプレイシステムであって、前記第1のディスプレイシステムは、前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換後、ローカルコンテンツを第1のユーザに表示するように適合される、第1のディスプレイシステムと
を含む、第1のXRデバイス
を備える、XRシステム。
(項目2)
前記第1のXRデバイスはさらに、
実オブジェクトの位置付けを検出する第1の実オブジェクト検出デバイスと、
第1の世界表面決定ルーチンであって、前記第1の世界表面決定ルーチンは、前記実オブジェクトの表面上の少なくとも1つの点の位置付けを識別するように、前記第1のプロセッサによって実行可能である、第1の世界表面決定ルーチンと、
第1の世界フレーム決定ルーチンであって、前記第1の世界フレーム決定ルーチンは、前記少なくとも1つの点に基づいて、第1の世界座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記第1の世界座標フレームである、第1の世界フレーム決定ルーチンと、
第1の世界フレーム記憶命令であって、前記第1の世界フレーム記憶命令は、前記世界座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1の世界フレーム記憶命令と
を含む、項目1に記載のXRシステム。
(項目3)
前記第1の実オブジェクト検出デバイスは、カメラである、項目2に記載のXRシステム。
(項目4)
前記第1の実オブジェクト検出デバイスは、複数の実オブジェクトの位置付けを検出する、項目2に記載のXRシステム。
(項目5)
前記第1の世界表面決定ルーチンは、前記実オブジェクトの表面上の複数の点の位置付けを識別する、項目2に記載のXRシステム。
(項目6)
前記第1の世界フレーム決定ルーチンは、前記複数の点に基づいて、前記第1の世界座標フレームを計算する、項目5に記載のXRシステム。
(項目7)
前記第1のXRデバイスはさらに、
第1の頭部搭載可能フレームと、
第1の頭部フレーム決定ルーチンであって、前記第1の頭部フレーム決定ルーチンは、前記第1の頭部搭載可能フレームの移動に応じて変化する第1の頭部座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記第1の頭部座標フレームである、第1の頭部フレーム決定ルーチンと、
第1の頭部フレーム記憶命令であって、前記第1の頭部フレーム記憶命令は、前記第1の頭部座標フレームを前記第1のコンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1の頭部フレーム記憶命令と
を含む、項目2に記載のXRシステム。
(項目8)
前記第1の座標フレーム変換器は、前記第1の世界座標フレームを前記第1の頭部座標フレームに変換する第1の世界/頭部座標変換器である、項目7に記載のXRシステム。(項目9)
前記第1のXRデバイスはさらに、
前記第1の頭部搭載可能フレームに固着され、前記第1の頭部搭載可能フレームの移動を検出する第1の慣性測定ユニットを含み、前記第1の頭部フレーム決定ルーチンは、前記第1の慣性測定ユニットの測定に基づいて、前記第1の頭部座標フレームを計算する、項目7に記載のXRシステム。
(項目10)
前記第1のデバイスはさらに、
前記第1の頭部搭載可能フレームに固着され、前記第1の頭部搭載可能フレームの移動を検出する第1の移動追跡カメラを含み、前記第1の頭部フレーム決定ルーチンは、前記第1の移動追跡カメラによって捕捉された画像に基づいて、前記第1の頭部座標フレームを計算する、項目7に記載のXRシステム。
(項目11)
前記第1のXRデバイスはさらに、
第1のローカルフレーム決定ルーチンであって、前記第1のローカルフレーム決定ルーチンは、前記ローカルコンテンツの第1のローカル座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記ローカル座標フレームである、第1のローカルフレーム決定ルーチンと、
第1のローカルフレーム記憶命令であって、前記第1のローカルフレーム記憶命令は、前記ローカル座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1のローカルフレーム記憶命令と
を含む、項目2に記載のXRシステム。
(項目12)
前記第1の座標フレーム変換器は、前記第1のローカル座標フレームを前記第1の世界座標フレームに変換する第1のローカル/世界座標変換器である、項目11に記載のXRシステム。
(項目13)
前記第1のXRデバイスはさらに、
前記第1のコンピュータ可読媒体上に記憶される第1のカメラフレームを含み、前記第1のカメラフレームは、前記第1の頭部搭載可能フレームに対して移動する眼の複数の眼位置を含み、前記第1の座標フレーム変換器は、前記第1の頭部座標フレームを前記第1のカメラ座標フレームに変換する第1の頭部/カメラ座標変換器である、項目1に記載のXRシステム。
(項目14)
視認方法であって、
第1の原点座標フレームを記憶することと、
第1の目的地座標フレームを記憶することと、
ローカルコンテンツを表すデータを受信することと、
ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換することと、
前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換後、前記ローカルコンテンツを第1のユーザに表示することと
を含む、方法。
規準マップ
(項目15)
XRシステムであって、
複数のアンカを有する規準マップである第1のマップを記憶するマップ記憶ルーチンであって、前記第1のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出するアンカ識別システムであって、前記第2のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第2のマップに接続され、前記第2のマップの第1のアンカを前記規準マップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を備える、XRシステム。
(項目16)
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目15に記載のXRシステム。
(項目17)
前記規準マップおよび前記第2のマップに接続され、前記規準マップの第3のアンカを前記第2のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目15に記載のXRシステム。
(項目18)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目15に記載のXRシステム。
(項目19)
前記ローカルコンテンツのローカル座標フレームを前記第2のマップの世界座標フレームに変換するローカル/世界座標変換器をさらに備える、項目18に記載のXRシステム。
(項目20)
前記第2のマップのアンカに基づいて、第1の世界座標フレームを計算する第1の世界フレーム決定ルーチンと、
前記世界座標フレームを記憶する第1の世界フレーム記憶命令と、
前記頭部搭載可能フレームの移動に応じて変化する頭部座標フレームを計算する頭部フレーム決定ルーチンと、
前記第1の頭部座標フレームを記憶する頭部フレーム記憶命令と、
前記世界座標フレームを前記頭部座標フレームに変換する世界/頭部座標変換器と
をさらに備える、項目18に記載のXRシステム。
(項目21)
前記頭部座標フレームは、前記頭部搭載可能フレームが移動すると、前記世界座標フレームに対して変化する、項目20に記載のXRシステム。
(項目22)
前記第2のマップの少なくとも1つのアンカに関連する少なくとも1つの音要素をさらに備える、項目18に記載のXRシステム。
(項目23)
前記第1および第2のマップは、前記XRデバイスによって作成される、項目18に記載のXRシステム。
(項目24)
第1および第2のXRデバイスであって、各XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、第1および第2のXRデバイス
をさらに備える、項目15に記載のXRシステム。
(項目25)
前記第1のXRデバイスは、前記第1のマップのためのアンカを作成し、前記第2のXRデバイスは、前記第2のマップのためのアンカを作成し、前記位置特定モジュールは、前記第2のXRデバイスの一部を形成する、項目24に記載のXRシステム。
(項目26)
前記第1および第2のマップは、それぞれ、第1および第2のセッションにおいて作成される、項目25に記載のXRシステム。
(項目27)
前記第1および第2のマップは、同一セッションにおいて作成される、項目25に記載のXRシステム。
(項目28)
サーバと、
前記XRデバイスの一部を形成し、前記第1のマップをネットワークを経由してサーバからダウンロードするマップダウンロードシステムと
をさらに備える、項目18に記載のXRシステム。
(項目29)
前記位置特定モジュールは、前記第2のマップを前記規準マップに対して位置特定するように繰り返し試みる、項目15に記載のXRシステム。
(項目30)
前記第2のマップを前記ネットワークを経由して前記サーバにアップロードするマップ発行器をさらに備える、項目15に記載のXRシステム。
(項目31)
前記規準マップは、前記サーバ上に記憶され、
前記第2のマップと前記規準マップをマージする前記サーバ上のマップマージアルゴリズムと、
前記第2のマップが前記規準マップとマージされた後、前記規準マップを伝送するマップ伝送機と
をさらに備える、項目15に記載のXRシステム。
(項目32)
視認方法であって、
複数のアンカを有する規準マップである第1のマップを記憶することであって、前記規準マップの各アンカは、座標のセットを有する、ことと、
実オブジェクトの場所を検出することと、
前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出することであって、前記第2のマップの各アンカは、座標のセットを有する、ことと、
前記第2のマップの第1のアンカを前記第1のマップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定することと
を含む、方法。
規準マップフィルタリング
(項目33)
XRシステムであって、
サーバであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上の複数の規準マップと、
各個別の規準マップと関連付けられる前記コンピュータ可読媒体上の個別の規準マップ識別子であって、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、規準マップ識別子と、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、位置識別子をXRデバイスから受信し、記憶するように、前記プロセッサによって実行可能である、位置検出器と、
第1のフィルタであって、前記第1のフィルタは、前記コンピュータ可読媒体上にあり、前記位置識別子と前記規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定するように、前記プロセッサによって実行可能である、第1のフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記第1のフィルタリングされた選択に基づいて、前記規準マップのうちの1つ以上のものを前記XRデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
を有する、サーバ
を備える、XRシステム。
(項目34)
前記規準マップ識別子はそれぞれ、経度および緯度を含み、前記位置識別子は、経度および緯度を含む、項目33に記載のXRシステム。
(項目35)
前記第1のフィルタは、近傍エリアフィルタであり、前記近傍エリアフィルタは、前記位置識別子の経度および緯度を含む経度および緯度を網羅する少なくとも1つのマッチング規準マップと、前記第1のマッチング規準マップに隣接する経度および緯度を網羅する少なくとも1つの近傍マップとを選択する、項目34に記載のXRシステム。
(項目36)
前記位置識別子は、WiFiフィンガプリントを含み、
第2のフィルタであって、前記第2のフィルタは、WiFiフィンガプリントフィルタであり、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記WiFiフィンガプリントに基づいて、緯度および経度を決定することと、
前記WiFiフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第1のフィルタリングされた選択内の第2のフィルタリングされた選択を形成する1つ以上の規準マップを決定することであって、前記マップ伝送機は、前記第2の選択に基づいて、1つ以上の規準マップを伝送し、前記第2の選択外の前記第1の選択に基づく規準マップを伝送しない、ことと
を行うように実行可能である、第2のフィルタ
をさらに備える、項目35に記載のXRシステム。
(項目37)
前記第1のフィルタは、WiFiフィンガプリントフィルタであり、前記WiFiフィンガプリントフィルタは、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記WiFiフィンガプリントに基づいて、緯度および経度を決定することと、
前記WiFiフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定することと
を行うように実行可能である、項目33に記載のXRシステム。
(項目38)
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも1つを有し、前記XRデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記XRデバイスによって捕捉された画像の特徴を含む、最大プールユニットと、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、前記第2のフィルタリングされた選択内の第3のフィルタリングされた選択を形成する1つ以上の規準マップを決定し、前記マップ伝送機は、前記第3の選択に基づいて、1つ以上の規準マップを伝送し、前記第3の選択外の前記第2の選択に基づく規準マップを伝送しない、キーフレームフィルタと
をさらに備える、項目36に記載のXRシステム。
(項目39)
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも1つを有し、前記XRデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記XRデバイスによって捕捉された画像の特徴を含む、最大プールユニットと
をさらに備え、
前記第1のフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、1つ以上の規準マップを決定するキーフレームフィルタである、項目33に記載のXRシステム。
(項目40)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目33に記載のXRシステム。
(項目41)
前記XRデバイスは、
複数のアンカを有する規準マップである第1のマップを記憶するマップ記憶ルーチンであって、前記第1のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出するアンカ識別システムであって、前記第2のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第2のマップに接続され、前記第2のマップの第1のアンカを前記規準マップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を含む、項目40に記載のXRシステム。
(項目42)
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目41に記載のXRシステム。
(項目43)
前記規準マップおよび前記第2のマップに接続され、前記規準マップの第3のアンカを前記第2のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目41に記載のXRシステム。
(項目44)
視認方法であって、
複数の規準マップをコンピュータ可読媒体上に記憶することであって、各規準マップは、前記個別の規準マップと関連付けられる個別の規準マップを有し、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、ことと、
前記コンピュータ可読媒体に接続されるプロセッサを用いて、位置識別子をXRデバイスから受信し、記憶することと、
前記プロセッサを用いて、前記位置識別子と前記規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定することと、
前記プロセッサを用いて、前記第1のフィルタリングされた選択に基づいて、複数の前記規準マップを前記XRデバイスに伝送することと
を含む、方法。
キーフレーム
(項目45)
XRシステムであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせる、最大プールユニットと
を備える、XRシステム。
(項目46)
前記コンピュータ可読媒体上の複数の規準マップであって、各規準マップは、それと関連付けられる前記グローバル特徴列のうちの少なくとも1つを有する、複数の規準マップと、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、前記画像のグローバル特徴列を決定するために、前記多層知覚ユニットおよび前記最大プールユニットによって処理されるXRデバイスによって捕捉された画像の特徴を前記XRデバイスから受信するように、前記プロセッサによって実行可能である、位置検出器と、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、フィルタリングされた選択の一部を形成する1つ以上の規準マップを決定する、キーフレームフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記フィルタリングされた選択に基づいて、前記規準マップのうちの1つ以上のものを前記XRデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
をさらに備える、項目45に記載のXRシステム。
(項目47)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目45に記載のXRシステム。
(項目48)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムであって、前記マッチングさせることは、前記第2のマップのグローバル特徴列を前記規準マップのグローバル特徴列にマッチングさせることによって実行される、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目47に記載のXRシステム。
(項目49)
視認方法であって、
プロセッサを用いて、画像の複数の特徴を受信することと、
前記プロセッサを用いて、各特徴を個別の数列に変換することと、
前記プロセッサを用いて、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせることと
を含む、方法。
ランク付けおよびマージマップ(第‘823号から)
(項目50)
コンピューティングシステムを動作させ、データベース内に記憶される1つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、前記デバイスは、前記追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、前記方法は、
前記アクセスポイントとの通信の特性に基づいて、前記追跡マップの少なくとも1つのエリア属性を決定することと、
前記少なくとも1つのエリア属性に基づいて、前記追跡マップの地理的場所を決定することと、
前記決定された地理的場所に対応する前記データベース内に記憶される環境マップのセットを識別することと、
前記追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることと
を含む、方法。
(項目51)
前記ネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記ネットワークアクセスポイントの1つ以上の識別子に基づいて、前記追跡マップの少なくとも1つのエリア属性との最高Jaccard類似性を伴う環境マップを留保することを含む、項目50に記載の方法。
(項目52)
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保することを含む、項目50に記載の方法。
(項目53)
前記追跡マップおよび前記環境マップのコンテンツを表すメトリックは、前記マップのコンテンツから算出された値のベクトルを含む、項目50に記載の方法。
(項目54)
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることは、
環境マップのセットの環境マップ内にもまた表される前記追跡マップによって表される物理的世界の体積を算出することと、
環境マップのセット内に、前記セットからフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保することと
を含む、項目50に記載の方法。
(項目55)
環境マップのセットは、
最初に、前記1つ以上の識別子の類似性に基づいて、
続いて、コンテンツを表す前記メトリックの類似性に基づいて、
続いて、前記追跡マップの一部と前記環境マップの一部との間のマッチング度に基づいて、
フィルタリングされる、項目50に記載の方法。
(項目56)
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングは、前記フィルタリングを実施するために要求される処理に基づく順序で実施される、
項目50に記載の方法。
(項目57)
環境マップは、
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングに基づいて選択され、
情報は、前記選択された環境マップから前記ユーザデバイス上にロードされる、
項目50に記載の方法。
(項目58)
環境マップは、
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と、
に基づく環境マップのセットのフィルタリングに基づいて選択され、
前記追跡マップは、前記選択された環境マップとマージされる、
項目50に記載の方法。
(項目59)
センサを備える複数のユーザデバイスとの通信のために構成される拡張現実システムのためのクラウドコンピューティング環境であって、
前記複数のユーザデバイスが使用されたエリアを示すエリア識別を記憶するユーザデータベースであって、前記エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、
前記複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶するマップデータベースであって、前記関連付けられるメタデータは、そこから前記マップが構築されたデータを供給した前記複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、前記エリア識別は、そこから前記マップが構築されたデータを供給したユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、
コンピュータ実行可能命令を記憶する非一過性コンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、
メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える前記複数のユーザデバイスから受信し、前記ユーザデバイスのためのエリア識別子を算出し、前記受信されたパラメータおよび/または前記算出されたエリア識別子に基づいて、前記ユーザデータベースを更新することと、
環境マップのための要求を前記複数のユーザデバイスから受信し、前記環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、前記エリア識別子に基づいて、環境マップのセットを前記マップデータベースから識別し、環境マップのセットをフィルタリングし、前記フィルタリングされた環境マップのセットを前記ユーザデバイスに伝送することと
を行い、
環境マップのセットをフィルタリングすることは、そこから前記環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのための前記マップデータベース内の無線ネットワークのパラメータとの類似性に基づく、
非一過性コンピュータ記憶媒体と
を備える、クラウドコンピューティング環境。
(項目60)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目61)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目62)
前記無線ネットワークのパラメータは、それに前記ユーザデバイスが接続されるネットワークの基本サービスセット識別子(BSSID)を備える、項目59に記載のクラウドコンピューティング環境。
(項目63)
無線ネットワークのパラメータの類似性に基づいて、環境マップのセットをフィルタリングすることは、前記環境マップを要求するユーザデバイスと関連付けられるユーザデータベース内に記憶される複数のBSSIDと、前記環境マップのセットの環境マップと関連付けられるマップデータベース内に記憶されるBSSIDとの類似性を算出することを含む、項目62に記載のクラウドコンピューティング環境。
(項目64)
前記エリア識別子は、経度および緯度によって、地理的場所を示す、項目59に記載のクラウドコンピューティング環境。
(項目65)
エリア識別子を決定することは、前記ユーザデータベースからのエリア識別子にアクセスすることを含む、項目59に記載のクラウドコンピューティング環境。
(項目66)
エリア識別子を決定することは、前記複数のユーザデバイスから受信されたメッセージ内のエリア識別子を受信することを含む、項目59に記載のクラウドコンピューティング環境。
(項目67)
前記無線ネットワークのパラメータは、Wi-Fiおよび5GNRを含むプロトコルに準拠する、項目59に記載のクラウドコンピューティング環境。
(項目68)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップをユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目69)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、
追跡マップをユーザデバイスから受信し、前記追跡マップを供給するユーザデバイスに基づいて、前記追跡マップと関連付けられるエリア識別子を決定することと、
少なくとも部分的に、前記追跡マップと関連付けられるエリア識別子に基づいて、第2の環境マップのセットを前記マップデータベースから選択することと、
前記受信された追跡マップに基づいて、前記マップデータベースを更新することであって、前記更新することは、前記受信された追跡マップと前記第2の環境マップのセット内の1つ以上の環境マップをマージすることを含む、ことと
を行うように構成される、項目59に記載のクラウドコンピューティング環境。
(項目70)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、前記受信された追跡マップの一部と前記第2の環境マップのセットの環境マップの一部との間のマッチング度に基づいて、前記第2の環境マップのセットをフィルタリングするように構成され、
前記追跡マップと前記第2の環境マップのセット内の1つ以上の環境マップをマージすることは、前記追跡マップと前記フィルタリングされた第2の環境マップのセット内の1つ以上の環境マップをマージすることを含む、
項目69に記載のクラウドコンピューティング環境。
PCF共有
(項目71)
XRシステムであって、
実世界オブジェクトの複数の表面を検出する実オブジェクト検出デバイスと、
アンカ識別システムであって、前記アンカ識別システムは、前記実オブジェクト検出デバイスに接続され、前記実世界オブジェクトに基づいてマップを生成する、アンカ識別システムと、
PCF生成システムであって、前記PCF生成システムは、前記マップに基づいて、第1のPCFを生成し、前記第1のPCFと前記マップを関連付ける、PCF生成システムと、
第1および第2の記憶媒体であって、前記第1および第2の記憶媒体は、それぞれ、第1および第2のXRデバイス上にある、第1および第2の記憶媒体と、
前記第1および第2のXRデバイスの少なくとも第1および第2のプロセッサであって、前記第1のPCFを、それぞれ、前記第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶する、前記第1および第2のXRデバイスの少なくとも第1および第2のプロセッサと
を備える、XRシステム。
(項目72)
キーフレーム生成器であって、前記キーフレーム生成器は、複数のカメラ画像を複数の個別のキーフレームに変換するように、前記少なくとも1つのプロセッサによって実行可能である、キーフレーム生成器と、
持続姿勢計算機であって、前記持続姿勢計算機は、前記複数のキーフレームを平均することによって持続姿勢を生成するように、前記少なくとも1つのプロセッサによって実行可能である、持続姿勢計算機と、
追跡マップおよび持続姿勢変換器であって、前記追跡マップおよび持続姿勢変換器は、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定するように、前記少なくとも1つのプロセッサによって実行可能である、追跡マップおよび持続姿勢変換器と、
持続姿勢およびPCF変換器であって、前記持続姿勢およびPCF変換器は、前記持続姿勢を前記第1のPCFに変換し、前記持続姿勢に対する前記第1のPCFを決定するように、前記少なくとも1つのプロセッサによって実行可能である、持続姿勢およびPCF変換器と、
PCFおよび画像データ変換器であって、前記PCFおよび画像データ変換器は、前記第1のPCFを画像データに変換するように、前記少なくとも1つのプロセッサによって実行可能である、PCFおよび画像データ変換器と、
前記第1のPCFに対する前記画像データを前記ユーザに表示するディスプレイデバイスと
をさらに備える、項目71に記載のXRシステム。
(項目73)
前記検出デバイスは、前記第1のXRデバイスプロセッサに接続される前記第1のXRデバイスの検出デバイスである、項目71に記載のXRシステム。
(項目74)
前記マップは、前記第1のXRデバイス上の第1のマップであり、前記第1のマップを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目72に記載のXRシステム。
(項目75)
前記第1のPCFを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目74に記載のXRシステム。
(項目76)
前記第1のPCFと前記第1のマップを関連付けるプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目75に記載のXRシステム。
(項目77)
前記第1のXRデバイスプロセッサによって実行可能であるアプリケーションと、
第1のPCF追跡器であって、前記第1のPCF追跡器は、前記第1のXRデバイスプロセッサによって実行可能であり、前記第1のPCF追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第1のPCF追跡器は、前記第1のPCF追跡器がオンに切り替えられる場合のみ、前記第1のPCFを生成する、第1のPCF追跡器と
をさらに備える、項目76に記載のXRシステム。
(項目78)
前記第1のPCF追跡器は、前記第1のPCF追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第1のPCF追跡器は、前記第1のPCF追跡器がオフに切り替えられると、第1のPCF生成を終了すること
をさらに含む、項目77に記載のXRシステム。
(項目79)
マップ発行器であって、前記マップ発行器は、前記第1のPCFをサーバに伝送するように、前記第1のXRデバイスプロセッサによって実行可能である、マップ発行器と、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、前記第1のPCFを前記サーバの記憶デバイス上に記憶するように、前記サーバのサーバプロセッサによって実行可能である、マップ記憶ルーチンと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記第2のXRデバイスに伝送することと、
マップダウンロードシステムであって、前記マップダウンロードシステムは、前記第1のPCFを前記サーバからダウンロードするように、前記第2のXRデバイスの第2のXRデバイスプロセッサによって実行可能である、マップダウンロードシステムと
をさらに備える、項目76に記載のXRシステム。
(項目80)
前記第2のXRデバイスプロセッサによって実行可能であるアプリケーションと、
第2のPCF追跡器であって、前記第2のPCF追跡器は、前記第2のXRデバイスプロセッサによって実行可能であり、前記第2のPCF追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第2のPCF追跡器は、前記第2のPCF追跡器がオンに切り替えられる場合のみ、第2のPCFを生成する、第2のPCF追跡器と
をさらに備える、項目79に記載のXRシステム。
(項目81)
前記第2のPCF追跡器は、前記第2のPCF追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第2のPCF追跡器は、前記第2のPCF追跡器がオフに切り替えられると、第2のPCF生成を終了すること
をさらに含む、項目80に記載のXRシステム。
(項目82)
マップ発行器をさらに備え、前記マップ発行器は、前記第2のPCFを前記サーバに伝送するように、前記第2のXRデバイスプロセッサによって実行可能である、項目79に記載のXRシステム。
(項目83)
持続姿勢入手器であって、前記持続姿勢入手器は、持続姿勢を前記サーバからダウンロードするように、前記第1のXRデバイスプロセッサによって実行可能である、持続姿勢入手器と、
PCF確認器であって、前記PCF確認器は、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すように、前記第1のXRデバイスプロセッサによって実行可能である、PCF確認器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算するように、前記第1のXRデバイスプロセッサによって実行可能である、座標フレーム計算機と
をさらに備える、項目76に記載のXRシステム。
(項目84)
視認方法であって、
少なくとも1つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出することと、
少なくとも1つのプロセッサを用いて、前記実世界オブジェクトに基づいて、マップを生成することと、
少なくとも1つのプロセッサを用いて、前記マップに基づいて、第1のPCFを生成することと、
前記少なくとも1つのプロセッサを用いて、前記第1のPCFと前記マップを関連付けることと、
第1および第2のXRデバイスの少なくとも第1および第2のプロセッサを用いて、前記第1のPCFを、それぞれ、前記第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶することと
を含む、方法。
(項目85)
前記少なくとも1つのプロセッサを用いて、複数のカメラ画像を複数の個別のキーフレームに変換することと、
前記少なくとも1つのプロセッサを用いて、前記複数のキーフレームを平均することによって、持続姿勢を生成することと、
前記少なくとも1つのプロセッサを用いて、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定することと、
前記少なくとも1つのプロセッサによって、前記持続姿勢を前記第1のPCFに変換し、前記持続姿勢に対する前記第1のPCFを決定することと、
前記少なくとも1つのプロセッサを用いて、前記第1のPCFを画像データに変換することと、
ディスプレイデバイスを用いて、前記第1のPCFに対する前記画像データを前記ユーザに表示することと
をさらに含む、項目84に記載の視認方法。
(項目86)
前記検出デバイスは、前記第1のXRデバイスプロセッサに接続される前記第1のXRデバイスの検出デバイスである、項目84に記載の視認方法。
(項目87)
前記マップは、前記第1のXRデバイス上の第1のマップであり、前記第1のマップを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目85に記載の視認方法。
(項目88)
前記第1のPCFを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目87に記載の視認方法。
(項目89)
前記第1のPCFと前記第1のマップを関連付けるプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目88に記載の視認方法。
(項目90)
前記第1のXRデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第1のPCF追跡器をオンに切り替えることであって、前記第1のPCF追跡器は、前記第1のPCF追跡器がオンに切り替えられる場合のみ、前記第1のPCFを生成する、ことと、
をさらに含む、項目89に記載の視認方法。
(項目91)
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第1のPCF追跡器をオフに切り替えることであって、前記第1のPCF追跡器は、前記第1のPCF追跡器がオフに切り替えられると、第1のPCF生成を終了すること
をさらに含む、項目90に記載の視認方法。
(項目92)
前記第1のXRデバイスプロセッサを用いて、前記第1のPCFをサーバに伝送することと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記サーバの記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記第2のXRデバイスに伝送することと、
前記第2のXRデバイスの第2のXRデバイスプロセッサを用いて、前記第1のPCFを前記サーバから受信することと
をさらに含む、項目89に記載の視認方法。
(項目93)
前記第2のXRデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第2のXRデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第2のPCF追跡器をオンに切り替えることであって、前記第2のPCF追跡器は、前記第2のPCF追跡器がオンに切り替えられる場合のみ、第2のPCFを生成する、ことと
をさらに含む、項目92に記載の視認方法。
(項目94)
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第2のPCF追跡器をオフに切り替えることであって、前記第2のPCF追跡器は、前記第2のPCF追跡器がオフに切り替えられると、第2のPCF生成を終了すること
をさらに含む、項目93に記載の視認方法。
(項目95)
前記第2のXRデバイスプロセッサを用いて、前記第2のPCFを前記サーバにアップロードすること
をさらに含む、項目92に記載の視認方法。
(項目96)
前記第1のXRデバイスプロセッサを用いて、持続姿勢を前記サーバから決定することと、
前記第1のXRデバイスプロセッサを用いて、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すことと、
前記第1のXRデバイスプロセッサを用いて、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算することと
をさらに含む、項目89に記載の視認方法。
PCFダウンロード
(項目97)
XRシステムであって、
第1のXRデバイスであって、
第1のXRデバイスプロセッサと、
前記第1のXRデバイスプロセッサに接続される第1のXRデバイス記憶デバイスと、
前記第1のXRデバイスプロセッサ上の命令のセットであって、
ダウンロードシステムであって、前記ダウンロードシステムは、持続姿勢をサーバからダウンロードするように、前記第1のXRデバイスプロセッサによって実行可能である、ダウンロードシステムと、
PCF読出器であって、前記PCF読出器は、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すように、前記第1のXRデバイスプロセッサによって実行可能である、PCF読出器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算するように、前記第1のXRデバイスプロセッサによって実行可能である、座標フレーム計算機と
を含む、命令のセットと
を含む、第1のXRデバイス
を備える、XRシステム。
(項目98)
視認方法であって、
第1のXRデバイスの第1のXRデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードすることと、
前記第1のXRデバイスプロセッサを用いて、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すことと、
前記第1のXRデバイスプロセッサを用いて、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算することと
を含む、方法。
PCFサーバ
(項目99)
視認方法であって、
サーバであって、
サーバプロセッサと、
前記サーバプロセッサに接続されるサーバ記憶デバイスと、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、マップと関連付けられた前記第1のPCFを前記サーバのサーバ記憶デバイス上に記憶するように、前記サーバのサーバプロセッサを用いて実行可能である、マップ記憶ルーチンと、
マップ伝送機であって、前記マップ伝送機は、前記サーバプロセッサを用いて、前記マップおよび前記第1のPCFを第1のXRデバイスに伝送するように、サーバプロセッサを用いて実行可能である、マップ伝送機と
を含む、サーバ
を備える、方法。
(項目100)
視認方法であって、
前記サーバのサーバプロセッサを用いて、マップと関連付けられた前記第1のPCFを前記サーバのサーバ記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記マップおよび前記第1のPCFを第1のXRデバイスに伝送することと
を含む、方法。
頭部姿勢復元およびリセット
(項目101)
視認方法であって、
XRデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入ることと、
前記プロセッサによって、前記表面に対する前記頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定することと、
頭部姿勢が、喪失された場合、前記プロセッサによって、姿勢復元モードに入り、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、前記頭部姿勢を確立することと
を含む、方法。
(項目102)
前記頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入る、項目101に記載の視認方法。
(項目103)
姿勢復元は、
前記プロセッサによって、表面の捕捉を改良するための提案とともに、メッセージを前記ユーザに表示することを含む、
項目101に記載の視認方法。
(項目104)
前記提案は、光を増加させることおよびテクスチャを精緻化することのうちの少なくとも1つである、項目103に記載の視認方法。
(項目105)
前記プロセッサによって、復元が失敗したかどうかを決定することと、
復元が、失敗した場合、前記プロセッサによって、頭部姿勢を確立することを含む新しいセッションを開始することと
をさらに含む、項目101に記載の視認方法。
(項目106)
プロセッサによって、新しいセッションが開始されるであろうことのメッセージを前記ユーザに表示することをさらに含む、項目105に記載の視認方法。
(項目107)
頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入ることをさらに含む、項目101に記載の視認方法。
(項目108)
ユーザによって携行可能な電子システムであって、
場面内の1つ以上の物理的オブジェクトについての画像を捕捉するように構成される1つ以上のセンサであって、前記画像は、第1の座標フレーム内にある、1つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションであって、前記アプリケーションは、前記仮想コンテンツの表示が、前記ユーザの頭部内の眼回転および/または前記1つ以上のセンサの変形から独立するように、仮想コンテンツを前記第1の座標フレームと異なる第2の座標フレーム内に表示する、アプリケーションと
を備える、電子システム。
(項目109)
前記第1の座標フレームは、世界原点を有する世界座標フレームであり、
前記世界原点は、前記電子システムが前記画像を捕捉するために電源投入されるときの前記電子システムの第1の姿勢である、
項目108に記載の電子システム。
(項目110)
前記第2の座標フレームは、カメラ原点を有するカメラ座標フレームであり、
前記カメラ原点は、少なくとも部分的に、前記電子システムの寸法と、前記画像を捕捉するときの前記電子システムの1つ以上のセンサの1つ以上の姿勢とに基づいて決定される、
項目108に記載の電子システム。
(項目111)
コンピュータ実行可能命令を実行し、前記仮想コンテンツを前記アプリケーションに提供するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記場面内の1つ以上の物理的オブジェクトに基づいて、前記仮想コンテンツのためのローカル座標フレームを決定することと、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を行うための命令を備える、少なくとも1つのプロセッサ
を備える、項目108に記載の電子システム。
(項目112)
前記ローカル座標フレームは、少なくとも部分的に、前記仮想コンテンツを包囲するプリズムまたは境界ボックスの外側表面上の1つ以上のノードに基づいて決定される、項目108に記載の電子システム。
(項目113)
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第1の座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記第1の座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含む、項目111に記載の電子システム。
(項目114)
前記第1の座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記第1の座標フレーム内の仮想コンテンツについての画像データを頭部座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記頭部座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含み、
前記頭部座標フレームは、少なくとも部分的に、前記画像を捕捉するときの前記電子システムの1つ以上のセンサの1つ以上の姿勢に基づいて決定された頭部原点を有する、
項目111に記載の電子システム。
(項目115)
前記コンピュータ実行可能命令は、
前記PCFが、前記世界座標フレームと異なるが、それと関連付けられるように、少なくとも部分的に、前記場面内の前記1つ以上の物理的オブジェクトを中心として捕捉された画像に基づいて、持続座標フレーム(PCF)を決定するための命令
を備える、項目111に記載の電子システム。
(項目116)
コンピューティングシステムを動作させ、仮想オブジェクトを、1つ以上の物理的オブジェクトを備える場面内にレンダリングする方法であって、前記方法は、
前記場面を中心とする複数の画像をユーザによって装着される第1のデバイスの1つ以上のセンサから捕捉することと、
少なくとも部分的に、前記複数の画像に基づいて、1つ以上の持続姿勢を算出することと、
前記複数の画像の情報が、前記持続座標フレームを介して、前記第1のデバイスおよび/または第2のデバイス上で起動する1つ以上のアプリケーションによって、異なる時間にアクセスされ得るように、少なくとも部分的に、前記算出された1つ以上の持続姿勢に基づいて、持続座標フレームを生成することと
を含む、方法。
(項目117)
少なくとも部分的に、前記複数の画像に基づいて、前記1つ以上の持続姿勢を算出することは、
1つ以上の特徴を前記複数の画像のそれぞれから抽出することと、
前記1つ以上の特徴毎に、記述子を生成することと、
少なくとも部分的に、前記記述子に基づいて、前記複数の画像毎に、キーフレームを生成することと、
少なくとも部分的に、前記1つ以上のキーフレームに基づいて、前記1つ以上の持続姿勢を生成することと
を含む、項目116に記載の方法。
(項目118)
少なくとも部分的に、前記算出された1つ以上の持続姿勢に基づいて、前記持続座標フレームを生成することは、
前記第1のデバイスが前記複数の画像が捕捉された場所から所定の距離を進行すると、前記持続座標フレームを生成すること
を含む、項目116に記載の方法。
(項目119)
前記所定の距離は、前記デバイスの算出リソースの消費および前記仮想オブジェクトの設置誤差の両方が、前記1つ以上の持続姿勢を生成するために制御されるように、2~20メートルである、項目118に記載の方法。
(項目120)
前記第1のデバイスが電源投入されると、初期持続姿勢を生成することと、
前記第1のデバイスが、円形の中心としての前記初期持続姿勢および閾値距離に等しい半径を伴う、円形の周に到達すると、前記第1のデバイスの現在の場所において第1の持続姿勢を生成することと
を含む、項目117に記載の方法。
(項目121)
前記円形は、第1の円形であり、
前記方法はさらに、前記デバイスが、円形の中心としての前記第1の持続姿勢および前記閾値距離の2倍に等しい半径を伴う第2の円形の周に到達すると、前記第1のデバイスの現在の場所で第2の持続姿勢を生成することを含む、
項目120に記載の方法。
(項目122)
前記第1のデバイスが、既存の持続姿勢を前記第1のデバイスの現在の位置からの前記閾値距離内に見出すとき、前記第1の持続姿勢は、生成されない、項目120に記載の方法。
(項目123)
前記第1のデバイスは、前記第1の持続姿勢に、前記第1の持続姿勢までの所定の距離内にある前記複数のキーフレームのうちの1つ以上のものを結び付ける、項目120に記載の方法。
(項目124)
前記第1のデバイス上で起動するアプリケーションが持続姿勢を要求しないとき、前記第1の持続姿勢は、生成されない、項目120に記載の方法。
(項目125)
ユーザによって携行可能な電子システムであって、
場面内の1つ以上の物理的オブジェクトについての画像を捕捉するように構成される1つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションと、
コンピュータ実行可能命令を実行し、前記仮想コンテンツについての画像データを前記アプリケーションに提供するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記捕捉された画像に基づいて、持続座標フレームを生成するための命令を備える、
少なくとも1つのプロセッサと
を備える、電子システム。
本発明は、例えば、以下を提供する。
(項目1)
座標フレーム変換
XRシステムであって、
第1のXRデバイスであって、前記第1のXRデバイスは、
第1のプロセッサと、
前記第1のプロセッサに接続される第1のコンピュータ可読媒体と、
前記第1のコンピュータ可読媒体上に記憶される第1の原点座標フレームと、
前記コンピュータ可読媒体上に記憶される第1の目的地座標フレームと、
ローカルコンテンツを表すデータを受信する第1のデータチャネルと、
第1の座標フレーム変換器であって、前記第1の座標フレーム変換器は、前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換するように、前記第1のプロセッサによって実行可能である、第1の座標フレーム変換器と、
第1のディスプレイシステムであって、前記第1のディスプレイシステムは、前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換後、ローカルコンテンツを第1のユーザに表示するように適合される、第1のディスプレイシステムと
を含む、第1のXRデバイス
を備える、XRシステム。
(項目2)
前記第1のXRデバイスはさらに、
実オブジェクトの位置付けを検出する第1の実オブジェクト検出デバイスと、
第1の世界表面決定ルーチンであって、前記第1の世界表面決定ルーチンは、前記実オブジェクトの表面上の少なくとも1つの点の位置付けを識別するように、前記第1のプロセッサによって実行可能である、第1の世界表面決定ルーチンと、
第1の世界フレーム決定ルーチンであって、前記第1の世界フレーム決定ルーチンは、前記少なくとも1つの点に基づいて、第1の世界座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記第1の世界座標フレームである、第1の世界フレーム決定ルーチンと、
第1の世界フレーム記憶命令であって、前記第1の世界フレーム記憶命令は、前記世界座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1の世界フレーム記憶命令と
を含む、項目1に記載のXRシステム。
(項目3)
前記第1の実オブジェクト検出デバイスは、カメラである、項目2に記載のXRシステム。
(項目4)
前記第1の実オブジェクト検出デバイスは、複数の実オブジェクトの位置付けを検出する、項目2に記載のXRシステム。
(項目5)
前記第1の世界表面決定ルーチンは、前記実オブジェクトの表面上の複数の点の位置付けを識別する、項目2に記載のXRシステム。
(項目6)
前記第1の世界フレーム決定ルーチンは、前記複数の点に基づいて、前記第1の世界座標フレームを計算する、項目5に記載のXRシステム。
(項目7)
前記第1のXRデバイスはさらに、
第1の頭部搭載可能フレームと、
第1の頭部フレーム決定ルーチンであって、前記第1の頭部フレーム決定ルーチンは、前記第1の頭部搭載可能フレームの移動に応じて変化する第1の頭部座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記第1の頭部座標フレームである、第1の頭部フレーム決定ルーチンと、
第1の頭部フレーム記憶命令であって、前記第1の頭部フレーム記憶命令は、前記第1の頭部座標フレームを前記第1のコンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1の頭部フレーム記憶命令と
を含む、項目2に記載のXRシステム。
(項目8)
前記第1の座標フレーム変換器は、前記第1の世界座標フレームを前記第1の頭部座標フレームに変換する第1の世界/頭部座標変換器である、項目7に記載のXRシステム。(項目9)
前記第1のXRデバイスはさらに、
前記第1の頭部搭載可能フレームに固着され、前記第1の頭部搭載可能フレームの移動を検出する第1の慣性測定ユニットを含み、前記第1の頭部フレーム決定ルーチンは、前記第1の慣性測定ユニットの測定に基づいて、前記第1の頭部座標フレームを計算する、項目7に記載のXRシステム。
(項目10)
前記第1のデバイスはさらに、
前記第1の頭部搭載可能フレームに固着され、前記第1の頭部搭載可能フレームの移動を検出する第1の移動追跡カメラを含み、前記第1の頭部フレーム決定ルーチンは、前記第1の移動追跡カメラによって捕捉された画像に基づいて、前記第1の頭部座標フレームを計算する、項目7に記載のXRシステム。
(項目11)
前記第1のXRデバイスはさらに、
第1のローカルフレーム決定ルーチンであって、前記第1のローカルフレーム決定ルーチンは、前記ローカルコンテンツの第1のローカル座標フレームを計算するように、前記第1のプロセッサによって実行可能であり、前記第1の原点および第1の目的地座標フレームのうちの1つは、前記ローカル座標フレームである、第1のローカルフレーム決定ルーチンと、
第1のローカルフレーム記憶命令であって、前記第1のローカルフレーム記憶命令は、前記ローカル座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第1のプロセッサによって実行可能である、第1のローカルフレーム記憶命令と
を含む、項目2に記載のXRシステム。
(項目12)
前記第1の座標フレーム変換器は、前記第1のローカル座標フレームを前記第1の世界座標フレームに変換する第1のローカル/世界座標変換器である、項目11に記載のXRシステム。
(項目13)
前記第1のXRデバイスはさらに、
前記第1のコンピュータ可読媒体上に記憶される第1のカメラフレームを含み、前記第1のカメラフレームは、前記第1の頭部搭載可能フレームに対して移動する眼の複数の眼位置を含み、前記第1の座標フレーム変換器は、前記第1の頭部座標フレームを前記第1のカメラ座標フレームに変換する第1の頭部/カメラ座標変換器である、項目1に記載のXRシステム。
(項目14)
視認方法であって、
第1の原点座標フレームを記憶することと、
第1の目的地座標フレームを記憶することと、
ローカルコンテンツを表すデータを受信することと、
ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換することと、
前記ローカルコンテンツの位置付けを前記第1の原点座標フレームから前記第1の目的地座標フレームに変換後、前記ローカルコンテンツを第1のユーザに表示することと
を含む、方法。
規準マップ
(項目15)
XRシステムであって、
複数のアンカを有する規準マップである第1のマップを記憶するマップ記憶ルーチンであって、前記第1のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出するアンカ識別システムであって、前記第2のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第2のマップに接続され、前記第2のマップの第1のアンカを前記規準マップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を備える、XRシステム。
(項目16)
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目15に記載のXRシステム。
(項目17)
前記規準マップおよび前記第2のマップに接続され、前記規準マップの第3のアンカを前記第2のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目15に記載のXRシステム。
(項目18)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目15に記載のXRシステム。
(項目19)
前記ローカルコンテンツのローカル座標フレームを前記第2のマップの世界座標フレームに変換するローカル/世界座標変換器をさらに備える、項目18に記載のXRシステム。
(項目20)
前記第2のマップのアンカに基づいて、第1の世界座標フレームを計算する第1の世界フレーム決定ルーチンと、
前記世界座標フレームを記憶する第1の世界フレーム記憶命令と、
前記頭部搭載可能フレームの移動に応じて変化する頭部座標フレームを計算する頭部フレーム決定ルーチンと、
前記第1の頭部座標フレームを記憶する頭部フレーム記憶命令と、
前記世界座標フレームを前記頭部座標フレームに変換する世界/頭部座標変換器と
をさらに備える、項目18に記載のXRシステム。
(項目21)
前記頭部座標フレームは、前記頭部搭載可能フレームが移動すると、前記世界座標フレームに対して変化する、項目20に記載のXRシステム。
(項目22)
前記第2のマップの少なくとも1つのアンカに関連する少なくとも1つの音要素をさらに備える、項目18に記載のXRシステム。
(項目23)
前記第1および第2のマップは、前記XRデバイスによって作成される、項目18に記載のXRシステム。
(項目24)
第1および第2のXRデバイスであって、各XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、第1および第2のXRデバイス
をさらに備える、項目15に記載のXRシステム。
(項目25)
前記第1のXRデバイスは、前記第1のマップのためのアンカを作成し、前記第2のXRデバイスは、前記第2のマップのためのアンカを作成し、前記位置特定モジュールは、前記第2のXRデバイスの一部を形成する、項目24に記載のXRシステム。
(項目26)
前記第1および第2のマップは、それぞれ、第1および第2のセッションにおいて作成される、項目25に記載のXRシステム。
(項目27)
前記第1および第2のマップは、同一セッションにおいて作成される、項目25に記載のXRシステム。
(項目28)
サーバと、
前記XRデバイスの一部を形成し、前記第1のマップをネットワークを経由してサーバからダウンロードするマップダウンロードシステムと
をさらに備える、項目18に記載のXRシステム。
(項目29)
前記位置特定モジュールは、前記第2のマップを前記規準マップに対して位置特定するように繰り返し試みる、項目15に記載のXRシステム。
(項目30)
前記第2のマップを前記ネットワークを経由して前記サーバにアップロードするマップ発行器をさらに備える、項目15に記載のXRシステム。
(項目31)
前記規準マップは、前記サーバ上に記憶され、
前記第2のマップと前記規準マップをマージする前記サーバ上のマップマージアルゴリズムと、
前記第2のマップが前記規準マップとマージされた後、前記規準マップを伝送するマップ伝送機と
をさらに備える、項目15に記載のXRシステム。
(項目32)
視認方法であって、
複数のアンカを有する規準マップである第1のマップを記憶することであって、前記規準マップの各アンカは、座標のセットを有する、ことと、
実オブジェクトの場所を検出することと、
前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出することであって、前記第2のマップの各アンカは、座標のセットを有する、ことと、
前記第2のマップの第1のアンカを前記第1のマップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定することと
を含む、方法。
規準マップフィルタリング
(項目33)
XRシステムであって、
サーバであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上の複数の規準マップと、
各個別の規準マップと関連付けられる前記コンピュータ可読媒体上の個別の規準マップ識別子であって、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、規準マップ識別子と、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、位置識別子をXRデバイスから受信し、記憶するように、前記プロセッサによって実行可能である、位置検出器と、
第1のフィルタであって、前記第1のフィルタは、前記コンピュータ可読媒体上にあり、前記位置識別子と前記規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定するように、前記プロセッサによって実行可能である、第1のフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記第1のフィルタリングされた選択に基づいて、前記規準マップのうちの1つ以上のものを前記XRデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
を有する、サーバ
を備える、XRシステム。
(項目34)
前記規準マップ識別子はそれぞれ、経度および緯度を含み、前記位置識別子は、経度および緯度を含む、項目33に記載のXRシステム。
(項目35)
前記第1のフィルタは、近傍エリアフィルタであり、前記近傍エリアフィルタは、前記位置識別子の経度および緯度を含む経度および緯度を網羅する少なくとも1つのマッチング規準マップと、前記第1のマッチング規準マップに隣接する経度および緯度を網羅する少なくとも1つの近傍マップとを選択する、項目34に記載のXRシステム。
(項目36)
前記位置識別子は、WiFiフィンガプリントを含み、
第2のフィルタであって、前記第2のフィルタは、WiFiフィンガプリントフィルタであり、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記WiFiフィンガプリントに基づいて、緯度および経度を決定することと、
前記WiFiフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第1のフィルタリングされた選択内の第2のフィルタリングされた選択を形成する1つ以上の規準マップを決定することであって、前記マップ伝送機は、前記第2の選択に基づいて、1つ以上の規準マップを伝送し、前記第2の選択外の前記第1の選択に基づく規準マップを伝送しない、ことと
を行うように実行可能である、第2のフィルタ
をさらに備える、項目35に記載のXRシステム。
(項目37)
前記第1のフィルタは、WiFiフィンガプリントフィルタであり、前記WiFiフィンガプリントフィルタは、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記WiFiフィンガプリントに基づいて、緯度および経度を決定することと、
前記WiFiフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定することと
を行うように実行可能である、項目33に記載のXRシステム。
(項目38)
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも1つを有し、前記XRデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記XRデバイスによって捕捉された画像の特徴を含む、最大プールユニットと、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、前記第2のフィルタリングされた選択内の第3のフィルタリングされた選択を形成する1つ以上の規準マップを決定し、前記マップ伝送機は、前記第3の選択に基づいて、1つ以上の規準マップを伝送し、前記第3の選択外の前記第2の選択に基づく規準マップを伝送しない、キーフレームフィルタと
をさらに備える、項目36に記載のXRシステム。
(項目39)
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも1つを有し、前記XRデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記XRデバイスによって捕捉された画像の特徴を含む、最大プールユニットと
をさらに備え、
前記第1のフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、1つ以上の規準マップを決定するキーフレームフィルタである、項目33に記載のXRシステム。
(項目40)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目33に記載のXRシステム。
(項目41)
前記XRデバイスは、
複数のアンカを有する規準マップである第1のマップを記憶するマップ記憶ルーチンであって、前記第1のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第2のマップのアンカを検出するアンカ識別システムであって、前記第2のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第2のマップに接続され、前記第2のマップの第1のアンカを前記規準マップの第1のアンカにマッチングさせ、前記第2のマップの第2のアンカを前記規準マップの第2のアンカにマッチングさせることによって、前記第2のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を含む、項目40に記載のXRシステム。
(項目42)
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目41に記載のXRシステム。
(項目43)
前記規準マップおよび前記第2のマップに接続され、前記規準マップの第3のアンカを前記第2のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目41に記載のXRシステム。
(項目44)
視認方法であって、
複数の規準マップをコンピュータ可読媒体上に記憶することであって、各規準マップは、前記個別の規準マップと関連付けられる個別の規準マップを有し、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、ことと、
前記コンピュータ可読媒体に接続されるプロセッサを用いて、位置識別子をXRデバイスから受信し、記憶することと、
前記プロセッサを用いて、前記位置識別子と前記規準マップ識別子を比較し、第1のフィルタリングされた選択を形成する1つ以上の規準マップを決定することと、
前記プロセッサを用いて、前記第1のフィルタリングされた選択に基づいて、複数の前記規準マップを前記XRデバイスに伝送することと
を含む、方法。
キーフレーム
(項目45)
XRシステムであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせる、最大プールユニットと
を備える、XRシステム。
(項目46)
前記コンピュータ可読媒体上の複数の規準マップであって、各規準マップは、それと関連付けられる前記グローバル特徴列のうちの少なくとも1つを有する、複数の規準マップと、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、前記画像のグローバル特徴列を決定するために、前記多層知覚ユニットおよび前記最大プールユニットによって処理されるXRデバイスによって捕捉された画像の特徴を前記XRデバイスから受信するように、前記プロセッサによって実行可能である、位置検出器と、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、フィルタリングされた選択の一部を形成する1つ以上の規準マップを決定する、キーフレームフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記フィルタリングされた選択に基づいて、前記規準マップのうちの1つ以上のものを前記XRデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
をさらに備える、項目45に記載のXRシステム。
(項目47)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目45に記載のXRシステム。
(項目48)
XRデバイスであって、前記XRデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの1つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムであって、前記マッチングさせることは、前記第2のマップのグローバル特徴列を前記規準マップのグローバル特徴列にマッチングさせることによって実行される、ディスプレイシステムと
を備える、頭部ユニット
を含む、XRデバイス
をさらに備える、項目47に記載のXRシステム。
(項目49)
視認方法であって、
プロセッサを用いて、画像の複数の特徴を受信することと、
前記プロセッサを用いて、各特徴を個別の数列に変換することと、
前記プロセッサを用いて、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせることと
を含む、方法。
ランク付けおよびマージマップ(第‘823号から)
(項目50)
コンピューティングシステムを動作させ、データベース内に記憶される1つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、前記デバイスは、前記追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、前記方法は、
前記アクセスポイントとの通信の特性に基づいて、前記追跡マップの少なくとも1つのエリア属性を決定することと、
前記少なくとも1つのエリア属性に基づいて、前記追跡マップの地理的場所を決定することと、
前記決定された地理的場所に対応する前記データベース内に記憶される環境マップのセットを識別することと、
前記追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることと
を含む、方法。
(項目51)
前記ネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記ネットワークアクセスポイントの1つ以上の識別子に基づいて、前記追跡マップの少なくとも1つのエリア属性との最高Jaccard類似性を伴う環境マップを留保することを含む、項目50に記載の方法。
(項目52)
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保することを含む、項目50に記載の方法。
(項目53)
前記追跡マップおよび前記環境マップのコンテンツを表すメトリックは、前記マップのコンテンツから算出された値のベクトルを含む、項目50に記載の方法。
(項目54)
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることは、
環境マップのセットの環境マップ内にもまた表される前記追跡マップによって表される物理的世界の体積を算出することと、
環境マップのセット内に、前記セットからフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保することと
を含む、項目50に記載の方法。
(項目55)
環境マップのセットは、
最初に、前記1つ以上の識別子の類似性に基づいて、
続いて、コンテンツを表す前記メトリックの類似性に基づいて、
続いて、前記追跡マップの一部と前記環境マップの一部との間のマッチング度に基づいて、
フィルタリングされる、項目50に記載の方法。
(項目56)
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングは、前記フィルタリングを実施するために要求される処理に基づく順序で実施される、
項目50に記載の方法。
(項目57)
環境マップは、
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングに基づいて選択され、
情報は、前記選択された環境マップから前記ユーザデバイス上にロードされる、
項目50に記載の方法。
(項目58)
環境マップは、
前記1つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と、
に基づく環境マップのセットのフィルタリングに基づいて選択され、
前記追跡マップは、前記選択された環境マップとマージされる、
項目50に記載の方法。
(項目59)
センサを備える複数のユーザデバイスとの通信のために構成される拡張現実システムのためのクラウドコンピューティング環境であって、
前記複数のユーザデバイスが使用されたエリアを示すエリア識別を記憶するユーザデータベースであって、前記エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、
前記複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶するマップデータベースであって、前記関連付けられるメタデータは、そこから前記マップが構築されたデータを供給した前記複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、前記エリア識別は、そこから前記マップが構築されたデータを供給したユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、
コンピュータ実行可能命令を記憶する非一過性コンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、
メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える前記複数のユーザデバイスから受信し、前記ユーザデバイスのためのエリア識別子を算出し、前記受信されたパラメータおよび/または前記算出されたエリア識別子に基づいて、前記ユーザデータベースを更新することと、
環境マップのための要求を前記複数のユーザデバイスから受信し、前記環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、前記エリア識別子に基づいて、環境マップのセットを前記マップデータベースから識別し、環境マップのセットをフィルタリングし、前記フィルタリングされた環境マップのセットを前記ユーザデバイスに伝送することと
を行い、
環境マップのセットをフィルタリングすることは、そこから前記環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのための前記マップデータベース内の無線ネットワークのパラメータとの類似性に基づく、
非一過性コンピュータ記憶媒体と
を備える、クラウドコンピューティング環境。
(項目60)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目61)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目62)
前記無線ネットワークのパラメータは、それに前記ユーザデバイスが接続されるネットワークの基本サービスセット識別子(BSSID)を備える、項目59に記載のクラウドコンピューティング環境。
(項目63)
無線ネットワークのパラメータの類似性に基づいて、環境マップのセットをフィルタリングすることは、前記環境マップを要求するユーザデバイスと関連付けられるユーザデータベース内に記憶される複数のBSSIDと、前記環境マップのセットの環境マップと関連付けられるマップデータベース内に記憶されるBSSIDとの類似性を算出することを含む、項目62に記載のクラウドコンピューティング環境。
(項目64)
前記エリア識別子は、経度および緯度によって、地理的場所を示す、項目59に記載のクラウドコンピューティング環境。
(項目65)
エリア識別子を決定することは、前記ユーザデータベースからのエリア識別子にアクセスすることを含む、項目59に記載のクラウドコンピューティング環境。
(項目66)
エリア識別子を決定することは、前記複数のユーザデバイスから受信されたメッセージ内のエリア識別子を受信することを含む、項目59に記載のクラウドコンピューティング環境。
(項目67)
前記無線ネットワークのパラメータは、Wi-Fiおよび5GNRを含むプロトコルに準拠する、項目59に記載のクラウドコンピューティング環境。
(項目68)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、追跡マップをユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目59に記載のクラウドコンピューティング環境。
(項目69)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、
追跡マップをユーザデバイスから受信し、前記追跡マップを供給するユーザデバイスに基づいて、前記追跡マップと関連付けられるエリア識別子を決定することと、
少なくとも部分的に、前記追跡マップと関連付けられるエリア識別子に基づいて、第2の環境マップのセットを前記マップデータベースから選択することと、
前記受信された追跡マップに基づいて、前記マップデータベースを更新することであって、前記更新することは、前記受信された追跡マップと前記第2の環境マップのセット内の1つ以上の環境マップをマージすることを含む、ことと
を行うように構成される、項目59に記載のクラウドコンピューティング環境。
(項目70)
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも1つのプロセッサによって実行されると、前記受信された追跡マップの一部と前記第2の環境マップのセットの環境マップの一部との間のマッチング度に基づいて、前記第2の環境マップのセットをフィルタリングするように構成され、
前記追跡マップと前記第2の環境マップのセット内の1つ以上の環境マップをマージすることは、前記追跡マップと前記フィルタリングされた第2の環境マップのセット内の1つ以上の環境マップをマージすることを含む、
項目69に記載のクラウドコンピューティング環境。
PCF共有
(項目71)
XRシステムであって、
実世界オブジェクトの複数の表面を検出する実オブジェクト検出デバイスと、
アンカ識別システムであって、前記アンカ識別システムは、前記実オブジェクト検出デバイスに接続され、前記実世界オブジェクトに基づいてマップを生成する、アンカ識別システムと、
PCF生成システムであって、前記PCF生成システムは、前記マップに基づいて、第1のPCFを生成し、前記第1のPCFと前記マップを関連付ける、PCF生成システムと、
第1および第2の記憶媒体であって、前記第1および第2の記憶媒体は、それぞれ、第1および第2のXRデバイス上にある、第1および第2の記憶媒体と、
前記第1および第2のXRデバイスの少なくとも第1および第2のプロセッサであって、前記第1のPCFを、それぞれ、前記第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶する、前記第1および第2のXRデバイスの少なくとも第1および第2のプロセッサと
を備える、XRシステム。
(項目72)
キーフレーム生成器であって、前記キーフレーム生成器は、複数のカメラ画像を複数の個別のキーフレームに変換するように、前記少なくとも1つのプロセッサによって実行可能である、キーフレーム生成器と、
持続姿勢計算機であって、前記持続姿勢計算機は、前記複数のキーフレームを平均することによって持続姿勢を生成するように、前記少なくとも1つのプロセッサによって実行可能である、持続姿勢計算機と、
追跡マップおよび持続姿勢変換器であって、前記追跡マップおよび持続姿勢変換器は、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定するように、前記少なくとも1つのプロセッサによって実行可能である、追跡マップおよび持続姿勢変換器と、
持続姿勢およびPCF変換器であって、前記持続姿勢およびPCF変換器は、前記持続姿勢を前記第1のPCFに変換し、前記持続姿勢に対する前記第1のPCFを決定するように、前記少なくとも1つのプロセッサによって実行可能である、持続姿勢およびPCF変換器と、
PCFおよび画像データ変換器であって、前記PCFおよび画像データ変換器は、前記第1のPCFを画像データに変換するように、前記少なくとも1つのプロセッサによって実行可能である、PCFおよび画像データ変換器と、
前記第1のPCFに対する前記画像データを前記ユーザに表示するディスプレイデバイスと
をさらに備える、項目71に記載のXRシステム。
(項目73)
前記検出デバイスは、前記第1のXRデバイスプロセッサに接続される前記第1のXRデバイスの検出デバイスである、項目71に記載のXRシステム。
(項目74)
前記マップは、前記第1のXRデバイス上の第1のマップであり、前記第1のマップを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目72に記載のXRシステム。
(項目75)
前記第1のPCFを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目74に記載のXRシステム。
(項目76)
前記第1のPCFと前記第1のマップを関連付けるプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目75に記載のXRシステム。
(項目77)
前記第1のXRデバイスプロセッサによって実行可能であるアプリケーションと、
第1のPCF追跡器であって、前記第1のPCF追跡器は、前記第1のXRデバイスプロセッサによって実行可能であり、前記第1のPCF追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第1のPCF追跡器は、前記第1のPCF追跡器がオンに切り替えられる場合のみ、前記第1のPCFを生成する、第1のPCF追跡器と
をさらに備える、項目76に記載のXRシステム。
(項目78)
前記第1のPCF追跡器は、前記第1のPCF追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第1のPCF追跡器は、前記第1のPCF追跡器がオフに切り替えられると、第1のPCF生成を終了すること
をさらに含む、項目77に記載のXRシステム。
(項目79)
マップ発行器であって、前記マップ発行器は、前記第1のPCFをサーバに伝送するように、前記第1のXRデバイスプロセッサによって実行可能である、マップ発行器と、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、前記第1のPCFを前記サーバの記憶デバイス上に記憶するように、前記サーバのサーバプロセッサによって実行可能である、マップ記憶ルーチンと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記第2のXRデバイスに伝送することと、
マップダウンロードシステムであって、前記マップダウンロードシステムは、前記第1のPCFを前記サーバからダウンロードするように、前記第2のXRデバイスの第2のXRデバイスプロセッサによって実行可能である、マップダウンロードシステムと
をさらに備える、項目76に記載のXRシステム。
(項目80)
前記第2のXRデバイスプロセッサによって実行可能であるアプリケーションと、
第2のPCF追跡器であって、前記第2のPCF追跡器は、前記第2のXRデバイスプロセッサによって実行可能であり、前記第2のPCF追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第2のPCF追跡器は、前記第2のPCF追跡器がオンに切り替えられる場合のみ、第2のPCFを生成する、第2のPCF追跡器と
をさらに備える、項目79に記載のXRシステム。
(項目81)
前記第2のPCF追跡器は、前記第2のPCF追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第2のPCF追跡器は、前記第2のPCF追跡器がオフに切り替えられると、第2のPCF生成を終了すること
をさらに含む、項目80に記載のXRシステム。
(項目82)
マップ発行器をさらに備え、前記マップ発行器は、前記第2のPCFを前記サーバに伝送するように、前記第2のXRデバイスプロセッサによって実行可能である、項目79に記載のXRシステム。
(項目83)
持続姿勢入手器であって、前記持続姿勢入手器は、持続姿勢を前記サーバからダウンロードするように、前記第1のXRデバイスプロセッサによって実行可能である、持続姿勢入手器と、
PCF確認器であって、前記PCF確認器は、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すように、前記第1のXRデバイスプロセッサによって実行可能である、PCF確認器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算するように、前記第1のXRデバイスプロセッサによって実行可能である、座標フレーム計算機と
をさらに備える、項目76に記載のXRシステム。
(項目84)
視認方法であって、
少なくとも1つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出することと、
少なくとも1つのプロセッサを用いて、前記実世界オブジェクトに基づいて、マップを生成することと、
少なくとも1つのプロセッサを用いて、前記マップに基づいて、第1のPCFを生成することと、
前記少なくとも1つのプロセッサを用いて、前記第1のPCFと前記マップを関連付けることと、
第1および第2のXRデバイスの少なくとも第1および第2のプロセッサを用いて、前記第1のPCFを、それぞれ、前記第1および第2のXRデバイスの第1および第2の記憶媒体内に記憶することと
を含む、方法。
(項目85)
前記少なくとも1つのプロセッサを用いて、複数のカメラ画像を複数の個別のキーフレームに変換することと、
前記少なくとも1つのプロセッサを用いて、前記複数のキーフレームを平均することによって、持続姿勢を生成することと、
前記少なくとも1つのプロセッサを用いて、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定することと、
前記少なくとも1つのプロセッサによって、前記持続姿勢を前記第1のPCFに変換し、前記持続姿勢に対する前記第1のPCFを決定することと、
前記少なくとも1つのプロセッサを用いて、前記第1のPCFを画像データに変換することと、
ディスプレイデバイスを用いて、前記第1のPCFに対する前記画像データを前記ユーザに表示することと
をさらに含む、項目84に記載の視認方法。
(項目86)
前記検出デバイスは、前記第1のXRデバイスプロセッサに接続される前記第1のXRデバイスの検出デバイスである、項目84に記載の視認方法。
(項目87)
前記マップは、前記第1のXRデバイス上の第1のマップであり、前記第1のマップを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目85に記載の視認方法。
(項目88)
前記第1のPCFを生成するプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目87に記載の視認方法。
(項目89)
前記第1のPCFと前記第1のマップを関連付けるプロセッサは、前記第1のXRデバイスの第1のXRデバイスプロセッサである、項目88に記載の視認方法。
(項目90)
前記第1のXRデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第1のPCF追跡器をオンに切り替えることであって、前記第1のPCF追跡器は、前記第1のPCF追跡器がオンに切り替えられる場合のみ、前記第1のPCFを生成する、ことと、
をさらに含む、項目89に記載の視認方法。
(項目91)
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第1のPCF追跡器をオフに切り替えることであって、前記第1のPCF追跡器は、前記第1のPCF追跡器がオフに切り替えられると、第1のPCF生成を終了すること
をさらに含む、項目90に記載の視認方法。
(項目92)
前記第1のXRデバイスプロセッサを用いて、前記第1のPCFをサーバに伝送することと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記サーバの記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記第1のPCFを前記第2のXRデバイスに伝送することと、
前記第2のXRデバイスの第2のXRデバイスプロセッサを用いて、前記第1のPCFを前記サーバから受信することと
をさらに含む、項目89に記載の視認方法。
(項目93)
前記第2のXRデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第2のXRデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第2のPCF追跡器をオンに切り替えることであって、前記第2のPCF追跡器は、前記第2のPCF追跡器がオンに切り替えられる場合のみ、第2のPCFを生成する、ことと
をさらに含む、項目92に記載の視認方法。
(項目94)
前記第1のXRデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第2のPCF追跡器をオフに切り替えることであって、前記第2のPCF追跡器は、前記第2のPCF追跡器がオフに切り替えられると、第2のPCF生成を終了すること
をさらに含む、項目93に記載の視認方法。
(項目95)
前記第2のXRデバイスプロセッサを用いて、前記第2のPCFを前記サーバにアップロードすること
をさらに含む、項目92に記載の視認方法。
(項目96)
前記第1のXRデバイスプロセッサを用いて、持続姿勢を前記サーバから決定することと、
前記第1のXRデバイスプロセッサを用いて、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すことと、
前記第1のXRデバイスプロセッサを用いて、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算することと
をさらに含む、項目89に記載の視認方法。
PCFダウンロード
(項目97)
XRシステムであって、
第1のXRデバイスであって、
第1のXRデバイスプロセッサと、
前記第1のXRデバイスプロセッサに接続される第1のXRデバイス記憶デバイスと、
前記第1のXRデバイスプロセッサ上の命令のセットであって、
ダウンロードシステムであって、前記ダウンロードシステムは、持続姿勢をサーバからダウンロードするように、前記第1のXRデバイスプロセッサによって実行可能である、ダウンロードシステムと、
PCF読出器であって、前記PCF読出器は、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すように、前記第1のXRデバイスプロセッサによって実行可能である、PCF読出器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算するように、前記第1のXRデバイスプロセッサによって実行可能である、座標フレーム計算機と
を含む、命令のセットと
を含む、第1のXRデバイス
を備える、XRシステム。
(項目98)
視認方法であって、
第1のXRデバイスの第1のXRデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードすることと、
前記第1のXRデバイスプロセッサを用いて、前記持続姿勢に基づいて、PCFを前記第1のXRデバイスの第1の記憶デバイスから読み出すことと、
前記第1のXRデバイスプロセッサを用いて、前記第1の記憶デバイスから読み出された前記PCFに基づいて、座標フレームを計算することと
を含む、方法。
PCFサーバ
(項目99)
視認方法であって、
サーバであって、
サーバプロセッサと、
前記サーバプロセッサに接続されるサーバ記憶デバイスと、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、マップと関連付けられた前記第1のPCFを前記サーバのサーバ記憶デバイス上に記憶するように、前記サーバのサーバプロセッサを用いて実行可能である、マップ記憶ルーチンと、
マップ伝送機であって、前記マップ伝送機は、前記サーバプロセッサを用いて、前記マップおよび前記第1のPCFを第1のXRデバイスに伝送するように、サーバプロセッサを用いて実行可能である、マップ伝送機と
を含む、サーバ
を備える、方法。
(項目100)
視認方法であって、
前記サーバのサーバプロセッサを用いて、マップと関連付けられた前記第1のPCFを前記サーバのサーバ記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記マップおよび前記第1のPCFを第1のXRデバイスに伝送することと
を含む、方法。
頭部姿勢復元およびリセット
(項目101)
視認方法であって、
XRデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入ることと、
前記プロセッサによって、前記表面に対する前記頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定することと、
頭部姿勢が、喪失された場合、前記プロセッサによって、姿勢復元モードに入り、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、前記頭部姿勢を確立することと
を含む、方法。
(項目102)
前記頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入る、項目101に記載の視認方法。
(項目103)
姿勢復元は、
前記プロセッサによって、表面の捕捉を改良するための提案とともに、メッセージを前記ユーザに表示することを含む、
項目101に記載の視認方法。
(項目104)
前記提案は、光を増加させることおよびテクスチャを精緻化することのうちの少なくとも1つである、項目103に記載の視認方法。
(項目105)
前記プロセッサによって、復元が失敗したかどうかを決定することと、
復元が、失敗した場合、前記プロセッサによって、頭部姿勢を確立することを含む新しいセッションを開始することと
をさらに含む、項目101に記載の視認方法。
(項目106)
プロセッサによって、新しいセッションが開始されるであろうことのメッセージを前記ユーザに表示することをさらに含む、項目105に記載の視認方法。
(項目107)
頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入ることをさらに含む、項目101に記載の視認方法。
(項目108)
ユーザによって携行可能な電子システムであって、
場面内の1つ以上の物理的オブジェクトについての画像を捕捉するように構成される1つ以上のセンサであって、前記画像は、第1の座標フレーム内にある、1つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションであって、前記アプリケーションは、前記仮想コンテンツの表示が、前記ユーザの頭部内の眼回転および/または前記1つ以上のセンサの変形から独立するように、仮想コンテンツを前記第1の座標フレームと異なる第2の座標フレーム内に表示する、アプリケーションと
を備える、電子システム。
(項目109)
前記第1の座標フレームは、世界原点を有する世界座標フレームであり、
前記世界原点は、前記電子システムが前記画像を捕捉するために電源投入されるときの前記電子システムの第1の姿勢である、
項目108に記載の電子システム。
(項目110)
前記第2の座標フレームは、カメラ原点を有するカメラ座標フレームであり、
前記カメラ原点は、少なくとも部分的に、前記電子システムの寸法と、前記画像を捕捉するときの前記電子システムの1つ以上のセンサの1つ以上の姿勢とに基づいて決定される、
項目108に記載の電子システム。
(項目111)
コンピュータ実行可能命令を実行し、前記仮想コンテンツを前記アプリケーションに提供するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記場面内の1つ以上の物理的オブジェクトに基づいて、前記仮想コンテンツのためのローカル座標フレームを決定することと、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を行うための命令を備える、少なくとも1つのプロセッサ
を備える、項目108に記載の電子システム。
(項目112)
前記ローカル座標フレームは、少なくとも部分的に、前記仮想コンテンツを包囲するプリズムまたは境界ボックスの外側表面上の1つ以上のノードに基づいて決定される、項目108に記載の電子システム。
(項目113)
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第1の座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記第1の座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含む、項目111に記載の電子システム。
(項目114)
前記第1の座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記第1の座標フレーム内の仮想コンテンツについての画像データを頭部座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記頭部座標フレーム内の仮想コンテンツについての画像データを前記第2の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含み、
前記頭部座標フレームは、少なくとも部分的に、前記画像を捕捉するときの前記電子システムの1つ以上のセンサの1つ以上の姿勢に基づいて決定された頭部原点を有する、
項目111に記載の電子システム。
(項目115)
前記コンピュータ実行可能命令は、
前記PCFが、前記世界座標フレームと異なるが、それと関連付けられるように、少なくとも部分的に、前記場面内の前記1つ以上の物理的オブジェクトを中心として捕捉された画像に基づいて、持続座標フレーム(PCF)を決定するための命令
を備える、項目111に記載の電子システム。
(項目116)
コンピューティングシステムを動作させ、仮想オブジェクトを、1つ以上の物理的オブジェクトを備える場面内にレンダリングする方法であって、前記方法は、
前記場面を中心とする複数の画像をユーザによって装着される第1のデバイスの1つ以上のセンサから捕捉することと、
少なくとも部分的に、前記複数の画像に基づいて、1つ以上の持続姿勢を算出することと、
前記複数の画像の情報が、前記持続座標フレームを介して、前記第1のデバイスおよび/または第2のデバイス上で起動する1つ以上のアプリケーションによって、異なる時間にアクセスされ得るように、少なくとも部分的に、前記算出された1つ以上の持続姿勢に基づいて、持続座標フレームを生成することと
を含む、方法。
(項目117)
少なくとも部分的に、前記複数の画像に基づいて、前記1つ以上の持続姿勢を算出することは、
1つ以上の特徴を前記複数の画像のそれぞれから抽出することと、
前記1つ以上の特徴毎に、記述子を生成することと、
少なくとも部分的に、前記記述子に基づいて、前記複数の画像毎に、キーフレームを生成することと、
少なくとも部分的に、前記1つ以上のキーフレームに基づいて、前記1つ以上の持続姿勢を生成することと
を含む、項目116に記載の方法。
(項目118)
少なくとも部分的に、前記算出された1つ以上の持続姿勢に基づいて、前記持続座標フレームを生成することは、
前記第1のデバイスが前記複数の画像が捕捉された場所から所定の距離を進行すると、前記持続座標フレームを生成すること
を含む、項目116に記載の方法。
(項目119)
前記所定の距離は、前記デバイスの算出リソースの消費および前記仮想オブジェクトの設置誤差の両方が、前記1つ以上の持続姿勢を生成するために制御されるように、2~20メートルである、項目118に記載の方法。
(項目120)
前記第1のデバイスが電源投入されると、初期持続姿勢を生成することと、
前記第1のデバイスが、円形の中心としての前記初期持続姿勢および閾値距離に等しい半径を伴う、円形の周に到達すると、前記第1のデバイスの現在の場所において第1の持続姿勢を生成することと
を含む、項目117に記載の方法。
(項目121)
前記円形は、第1の円形であり、
前記方法はさらに、前記デバイスが、円形の中心としての前記第1の持続姿勢および前記閾値距離の2倍に等しい半径を伴う第2の円形の周に到達すると、前記第1のデバイスの現在の場所で第2の持続姿勢を生成することを含む、
項目120に記載の方法。
(項目122)
前記第1のデバイスが、既存の持続姿勢を前記第1のデバイスの現在の位置からの前記閾値距離内に見出すとき、前記第1の持続姿勢は、生成されない、項目120に記載の方法。
(項目123)
前記第1のデバイスは、前記第1の持続姿勢に、前記第1の持続姿勢までの所定の距離内にある前記複数のキーフレームのうちの1つ以上のものを結び付ける、項目120に記載の方法。
(項目124)
前記第1のデバイス上で起動するアプリケーションが持続姿勢を要求しないとき、前記第1の持続姿勢は、生成されない、項目120に記載の方法。
(項目125)
ユーザによって携行可能な電子システムであって、
場面内の1つ以上の物理的オブジェクトについての画像を捕捉するように構成される1つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションと、
コンピュータ実行可能命令を実行し、前記仮想コンテンツについての画像データを前記アプリケーションに提供するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記捕捉された画像に基づいて、持続座標フレームを生成するための命令を備える、
少なくとも1つのプロセッサと
を備える、電子システム。
添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。
本明細書に説明されるものは、Xリアリティ(XRまたはクロスリアリティ)場面を提供するための方法および装置である。現実的XR体験を複数のユーザに提供するために、XRシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。XRシステムは、場面の環境マップを構築し得、これは、XRシステムのユーザによって装着されるXRデバイスの一部であるセンサを用いて収集された、画像および深度情報から作成され得る。
本発明者らは、持続環境マップが、作成され、記憶され、XRシステムの複数のユーザのいずれかによって読み出されることを可能にすることによって、XRシステムを動作させ、より没入型のユーザ体験のためのXR場面を提供するための技法を実現し、その真価を認めた。そのような持続環境マップは、XR体験を向上させる、1つ以上の機能を有効にし得る。例えば、ユーザによって装着されるウェアラブルデバイスは、オンにされた後、クラウド記憶装置等の持続記憶装置から、以前に作成および記憶された、適切な環境マップを読み出してもよい。その以前に記憶されたマップは、ユーザが存在していた以前の時間または複数の時間に、ユーザのウェアラブルデバイス上のセンサを用いて収集された環境についてのデータに基づき得る。持続マップを読み出すことは、ウェアラブルデバイス上のセンサを用いた物理的世界の走査を伴わずに、ウェアラブルデバイスの使用を有効にし得る。代替として、または加えて、ユーザは、物理的世界の新しい領域に進入することに応じて、同様に、適切な環境マップを読み出してもよい。
マルチユーザXRシステムでは、1人のユーザによってアクセスされる持続環境マップは、別のユーザによって作成および記憶されていてもよく、および/または持続環境マップによって表される物理的世界の少なくとも一部内に以前に存在した、複数のユーザによって装着されるウェアラブルデバイス上のセンサによって収集された物理的世界についてのデータを集約することによって、構築されていてもよい。
さらに、物理的世界についてのデータを複数のユーザ間で共有することは、仮想コンテンツの共有ユーザ体験を有効にし得る。同一持続環境マップへのアクセスを有する、2つのXRデバイスは両方とも、例えば、持続環境マップに対して位置特定されてもよい。いったん位置特定されると、ユーザデバイスは、基準によって規定された場所を有する、仮想コンテンツを、その場所をユーザデバイスによって維持されるフレームまたは基準に平行移動させることによって、持続環境マップにレンダリングしてもよい。ユーザデバイスは、本ローカル基準フレームを使用して、ユーザデバイスのディスプレイを制御し、仮想コンテンツを規定された場所内にレンダリングしてもよい。
これらおよび他の可能性として考えられる機能をサポートするために、XRシステムは、ユーザデバイス上のセンサを用いて収集された物理的世界についてのデータに基づいて、1つ以上の持続環境マップを展開、維持、および使用する、コンポーネントを含んでもよい。これらのコンポーネントは、XRシステムを横断して分散されてもよく、一部は、例えば、ユーザデバイスの頭部搭載型部分上で動作する。他のコンポーネントは、ローカルまたはパーソナルエリアネットワークを経由して頭部搭載型部分に結合される、ユーザと関連付けられるコンピュータ上で動作してもよい。さらにその他は、広域ネットワークを経由してアクセス可能な1つ以上のサーバ等、遠隔場所で動作してもよい。
これらのコンポーネントは、例えば、1つ以上のユーザデバイスによって収集された物理的世界についての情報から、持続環境マップとして記憶されるために十分な品質である情報を識別し得る、コンポーネントを含んでもよい。下記により詳細に説明される、そのようなコンポーネントの実施例は、図6におけるPCF統合ユニット1300である。
別の実施例として、これらのコンポーネントは、ユーザデバイスによって読み出され、使用され得る、適切な持続環境マップを決定することを補助し得る、コンポーネントを含んでもよい。下記により詳細に説明される、そのようなコンポーネントの実施例は、マップランク付けコンポーネントである。そのようなコンポーネントは、例えば、入力をユーザデバイスから受信し、その中でデバイスが動作中である、物理的世界の領域を表す可能性が高い、1つ以上の持続環境マップを識別してもよい。マップランク付けコンポーネントは、例えば、仮想コンテンツをレンダリングする、環境についてのデータを集める、または他のアクションを実施する際、そのローカルデバイスによって使用されるべき持続環境マップを選択することを補助し得る。マップランク付けコンポーネントは、代替として、または加えて、物理的世界についての付加的情報が1つ以上のユーザデバイスによって収集されるにつれて、更新されるべき持続環境マップを識別することを補助し得る。
他のコンポーネントは、アプリケーションプログラミングインターフェース(API)であってもよい。持続環境マップを構築および維持する、プラットフォームは、1つ以上のAPIを提供し、別個に作成されたアプリケーションが物理的世界についての情報を取得することを可能にしてもよい。
さらに他のコンポーネントは、1つの基準フレームに関連して捕捉または説明される情報を別の基準フレームの中に平行移動されるように変換する、変換であってもよい。例えば、センサは、そのセンサから読み取られたデータが、装着者の頭部姿勢に対する物理的世界内のオブジェクトの場所を示すように、頭部搭載型ディスプレイに取り付けられてもよい。1つ以上の変換が、その場所情報を持続環境マップと関連付けられる座標フレームに関連させるように適用されてもよい。同様に、持続環境マップの座標フレーム内に表されるとき、仮想オブジェクトがレンダリングされるべき場所を示す、データは、ユーザの頭部上のディスプレイの基準フレーム内にあるように1つ以上の変換を受けてもよい。下記により詳細に説明されるように、複数のそのような変換が存在してもよい。これらの変換は、それらが分散型システム内で効率的に更新および/または適用され得るように、XRシステムのコンポーネントを横断してパーティション化されてもよい。
いくつかの実施形態では、マップ情報は、ユーザ間およびアプリケーションを含む分散型コンポーネント間で容易に共有され得るように表されてもよい。物理的世界についての情報は、例えば、物理的世界内で認識される特徴を表す、1つ以上のアンカを伴う、座標フレームとして表されてもよい。そのようなマップは、それらが効率的に処理および転送され得るように、疎隔され、物理的世界についての利用可能な情報の全て未満を提供してもよい。
いくつかの実施形態では、持続環境マップは、複数のユーザデバイスによって収集された情報から構築されてもよい。XRデバイスは、種々の場所および時間においてシステムのユーザによって装着されるXRデバイスのセンサによって収集された情報を用いて、別個の追跡マップ(TM)を構築してもよい。各TMは、それぞれ、環境内の実オブジェクトと関連付けられ得る、点を含んでもよい。潜在的に、入力を供給し、持続環境マップを作成および維持するステップに加え、TMは、場面内のユーザの運動を追跡するために使用され、XRシステムが、TMに基づいて、個別のユーザの頭部姿勢を推定することを可能にしてもよい。
環境マップの作成と頭部姿勢の推定との間の本共依存性は、有意な課題を構成する。実質的処理が、同時に、環境マップを作成し、頭部姿勢を推定するために要求され得る。待ち時間は、XR体験をユーザにとってあまり没入型ではないものにするため、処理は、オブジェクトが場面内を移動する(例えば、カップをテーブル上で移動させる)につれて、かつユーザが場面内を移動するにつれて、迅速に遂行されなければならない。他方では、XRデバイスの重量は、ユーザが快適に装着するために軽量であるべきであるため、XRデバイスは、限定された算出リソースを提供し得る。したがって、算出リソースの欠如は、より多くのセンサを用いて補償されることができない。さらに、より多くのセンサおよびより多くの算出リソースは、熱につながり、これは、XRデバイスの変形を生じさせ得る。
本発明者らは、1kHzの周波数における頭部姿勢の推定、30Hzで動作する4つのビデオグラフィックアレイ(VGA)カメラ等の算出リソースの低使用量、1kHzで動作する1つの慣性測定ユニット(IMU)、単一の高度RISC機械(ARM)コアの算出電力、1GB未満のメモリ、および100Mbp未満のネットワーク帯域幅等、より没入型のユーザ体験のために、XRシステムを動作させ、XR場面を提供するための技法を実現し、その真価を認めた。これらの技法は、環境マップを生成および維持し、頭部姿勢を推定するために要求される処理を低減させ、かつ低算出オーバーヘッドを伴ってデータを提供および消費するステップに関する。
これらの技法は、XRシステムが、(1)環境の連続画像間の区別可能な点のパッチベースの追跡(フレーム/フレーム追跡)と、(2)現在の画像の着目点と対応する着目点の既知の実世界場所の記述子ベースのマップのマッチング(マップ/フレーム追跡)との両方を活用し得るように、ハイブリッド追跡を含んでもよい。フレーム/フレーム追跡では、XRシステムは、実世界環境の捕捉された画像間の角等の特定の着目点(顕著な点)を追跡することができる。例えば、ディスプレイシステムは、前の画像内に含まれていた(例えば、その中に位置していた)、現在の画像内の視覚的着目点の場所を識別することができる。本識別は、例えば、測光誤差最小限化プロセスを使用して遂行されてもよい。マップ/フレーム追跡では、XRシステムは、着目点の実世界場所(例えば、3次元座標)を示す、マップ情報にアクセスし、現在の画像内に含まれる着目点をマップ情報に示される着目点にマッチングさせることができる。着目点に関する情報は、記述子としてマップデータベース内に記憶される。XRシステムは、次いで、マッチングされた視覚的特徴に基づいて、その姿勢を計算することができる。米国特許第出願第16/221,065号は、ハイブリッド追跡を説明し、参照することによってその全体として本明細書に組み込まれる。
これらの技法は、マッピングされた点の集合およびキーフレームを用いて疎マップを構築する、および/またはマップをブロックに分割し、ブロックによる更新を有効にすること等によって、マップを構築するときに処理される、データの量を低減させるステップを含み得る。マッピングされた点は、環境内の実オブジェクトの3次元(3D)世界再構築物と関連付けられてもよい。キーフレームは、カメラ捕捉データから選択された情報を含んでもよい。米国特許第出願第16/520,582号は、位置特定マップを決定および/または評価するステップを説明し、参照することによってその全体として本明細書に組み込まれる。
これらの技法は、1つ以上のセッションを横断して、実空間内の1つ以上の座標系に基づいて動的マップを作成し、例えば、アプリケーションプログラミングインターフェース(API)を介して、XRアプリケーションにエクスポーズされ得る、持続座標フレーム(PCF)を疎マップにわたって生成し、いくつかの実施形態では、深層キーフレーム分析を使用して、1つ以上のXRデバイスによって作成された複数のマップをランク付けおよびマッピングし、頭部姿勢を復元およびリセットするステップを含み得る。
本明細書に説明される技法は、拡張現実場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともに、かつ多くのタイプの場面のために、ともにまたは別個に使用されてもよい。
座標フレーム
本明細書に説明されるものは、仮想コンテンツを視認する眼の場所から独立して、XRシステムを使用して仮想コンテンツを提供するための方法および装置である。従来、仮想コンテンツは、表示システムの任意の運動に応じて、再レンダリングされる。例えば、ディスプレイシステムを装着しているユーザが、ディスプレイ上の3次元(3D)オブジェクトの仮想表現を視認し、3Dオブジェクトが現れるエリアの周囲を歩き回る場合、3Dオブジェクトは、ユーザが実空間を占有する、オブジェクトの周囲を歩き回っているという知覚を有するように、視点毎に再レンダリングされるべきである。しかしながら、再レンダリングは、システムの有意な算出リソースを消費し、待ち時間に起因して、アーチファクトを生じさせる。
本発明者らは、頭部姿勢(例えば、XRシステムを装着しているユーザの場所および配向)が、ユーザの頭部内の眼回転から独立して、仮想コンテンツをレンダリングするために使用され得ることを認識し、その真価を認めた。いくつかの実施形態では、場面の動的マップが、ユーザの頭部内の眼回転から独立して、および/または、例えば、高速算出集約的動作の間に生成された熱によって生じるセンサ変形から独立して、動的マップと相互作用する仮想コンテンツが、ロバストにレンダリングされ得るように、1つ以上のセッションを横断して、実空間内の複数の座標フレームに基づいて生成されてもよい。いくつかの実施形態では、複数の座標フレームの構成は、第1のユーザによって装着される第1のXRデバイスおよび第2のユーザによって装着される第2のXRデバイスが、場面内の共通場所を認識することを可能にし得る。いくつかの実施形態では、複数の座標フレームの構成は、第1および第2のXRデバイスを装着している第1および第2のユーザが、場面の同一場所内の仮想コンテンツを視認することを可能にし得る。
いくつかの実施形態では、追跡マップが、世界座標フレーム内に構築されてもよく、これは、世界原点を有してもよい。世界原点は、XRデバイスが電源投入されるときの、XRデバイスの第1の姿勢であってもよい。世界原点は、XRアプリケーションの開発者が余剰作業を伴わずに重力整合を得ることができるように、重力に整合されてもよい。異なる追跡マップが、追跡マップが、異なるセッションにおける同一XRデバイスおよび/または異なるユーザによって装着される異なるXRデバイスによって捕捉され得るため、異なる世界座標フレーム内に構築されてもよい。いくつかの実施形態では、XRデバイスのセッションは、本デバイスを電源オンにしてから開始し、電源オフにするまで続いてもよい。いくつかの実施形態では、XRデバイスは、頭部座標フレームを有してもよく、これは、頭部原点を有してもよい。頭部原点は、画像が撮影されるときの、XRデバイスの現在の姿勢であってもよい。世界座標フレームおよび頭部座標フレームの頭部姿勢の間の差異は、追跡ルートを推定するために使用されてもよい。
いくつかの実施形態では、XRデバイスは、カメラ座標フレームを有してもよく、これは、カメラ原点を有してもよい。カメラ原点は、XRデバイスの1つ以上のセンサの現在の姿勢であってもよい。本発明者らは、カメラ座標フレームの構成が、ユーザの頭部内の眼回転から独立して、仮想コンテンツのロバストな表示を有効にすることを認識し、その真価を認めた。本構成はまた、例えば、動作の間に生成された熱に起因するセンサ変形から独立して、仮想コンテンツのロバストな表示を有効にする。
いくつかの実施形態では、XRデバイスは、ユーザが、その頭部に固着させ得、ユーザの各眼の正面に1つずつ、2つの導波管を含み得る、頭部搭載可能フレームを伴う、頭部ユニットを有してもよい。導波管は、実世界オブジェクトからの周囲光が、導波管を通して透過し得、ユーザに実世界オブジェクトが見え得るように、透明であり得る。各導波管は、プロジェクタから投影された光をユーザの個別の眼に透過させ得る。投影された光は、画像を眼の網膜上に形成し得る。眼の網膜は、したがって、周囲光および投影された光を受光する。ユーザには、同時に、実世界オブジェクトと、投影された光によって作成される、1つ以上の仮想オブジェクトとが見え得る。いくつかの実施形態では、XRデバイスは、ユーザの周囲の実世界オブジェクトを検出する、センサを有してもよい。これらのセンサは、例えば、実世界オブジェクトの場所を識別するために処理され得る、画像を捕捉する、カメラであってもよい。
いくつかの実施形態では、XRシステムは、仮想コンテンツを世界座標フレーム内に結び付けることとは対照的に、ローカル座標フレームを仮想コンテンツに割り当ててもよい。そのような構成は、仮想コンテンツが、持続座標フレーム(PCF)等のより持続的なフレーム位置に結び付けられることを可能にする。いくつかの実施形態では、頭部姿勢セッションが終了すると、ローカル座標フレームは、世界座標フレームに変換されてもよい。いくつかの実施形態では、世界座標フレームは、現在のローカル座標フレームに対して位置特定されている、前のセッションのマップの原点であってもよい。オブジェクトの場所が変化すると、XRデバイスは、環境マップの変化を検出し、ユーザによって装着される頭部ユニットの移動を実世界オブジェクトに対して決定してもよい。
図1は、いくつかの実施形態による、XRシステム10を図示する。XRシステムは、第1のユーザ14.1によって装着される、第1のXRデバイス12.1と、テーブル16の形態における実オブジェクトと、ネットワーク18と、サーバ20とを含んでもよい。
図示される実施例では、第1のXRデバイス12.1は、頭部ユニット22と、ベルトパック24と、ケーブル接続26とを含む。第1のユーザ14.1は、頭部ユニット22をその頭部に、頭部ユニット22から遠隔のベルトパック24をその腰部上に固着させる。ケーブル接続26は、頭部ユニット22をベルトパック24に接続する。頭部ユニット22は、第1のユーザ14.1にテーブル16等の実オブジェクトが見えることを可能にしたまま、仮想オブジェクトまたは複数のオブジェクトを第1のユーザ14.1に表示するために使用される、技術を含む。ベルトパック24は、主に、第1のXRデバイス12.1の処理および通信能力を含む。いくつかの実施形態では、処理および通信能力は、ベルトパック24が、除去され得る、またはリュック等の別のデバイス内に位置し得るように、全体的または部分的に、頭部ユニット22内に常駐してもよい。
図示される実施例では、ベルトパック24は、無線接続を介して、ネットワーク18に接続される。サーバ20は、ネットワーク18に接続され、ローカルコンテンツを表すデータを保持する。ベルトパック24は、ローカルコンテンツを表すデータをサーバ20からネットワーク18を介してダウンロードする。ベルトパック24は、ケーブル接続26を介して、データを頭部ユニット22に提供する。頭部ユニット22は、光源、例えば、レーザ光源または発光ダイオード(LED)光源と、光を誘導する、導波管とを有する、ディスプレイを含んでもよい。
いくつかの実施形態では、第1のユーザ14.1は、頭部ユニット22をその頭部に、ベルトパック24をその腰部に搭載してもよい。ベルトパック24は、画像データをネットワーク18を経由してサーバ20からダウンロードしてもよい。第1のユーザ14.1には、頭部ユニット22のディスプレイを通して、テーブル16が見え得る。頭部ユニット22の一部を形成する、プロジェクタは、画像データをベルトパック24から受信し、画像データに基づいて、光を生成してもよい。光は、頭部ユニット22のディスプレイの一部を形成する導波管のうちの1つ以上のものを通して進行してもよい。光は、次いで、導波管から出射し、第1のユーザ14.1の眼の網膜上に伝搬してもよい。プロジェクタは、第1のユーザ14.1の眼の網膜上に複製される、パターンにおいて光を生成してもよい。第1のユーザ14.1の眼の網膜上に当たる光は、第1のユーザ14.1が画像を導波管の背後の事前に選択された深度において知覚するように、選択された被写界深度を有してもよい。加えて、第1のユーザ14.1の両眼は、第1のユーザ14.1の脳が3次元画像または複数の画像を頭部ユニット22からの選択された距離において知覚するように、若干異なる画像を受信してもよい。図示される実施例では、第1のユーザ14.1は、仮想コンテンツ28をテーブル16の上方において知覚する。仮想コンテンツ28および第1のユーザ14.1からのその場所および距離の割合は、仮想コンテンツ28を表すデータと、仮想コンテンツ28を第1のユーザ14.1に表示するために使用される、種々の座標フレームとによって決定される。
図示される実施例では、仮想コンテンツ28は、図面の視点から不可視であって、第1のXRデバイス12.1の使用を通して第1のユーザ14.1に可視である。仮想コンテンツ28は、最初に、視覚データ内のデータ構造およびベルトパック24内のアルゴリズムとして常駐し得る。データ構造は、次いで、頭部ユニット22のプロジェクタがデータ構造に基づいて光を生成するとき、光として露見し得る。仮想コンテンツ28は、第1のユーザ14.1の正面の3次元空間内に存在しないが、仮想コンテンツ28は、依然として、例証目的のために、3次元空間内の図1において表されることを理解されたい。3次元空間内のコンピュータデータの可視化は、1人以上のユーザによって知覚されるレンダリングを促進するデータ構造が、ベルトパック24内のデータ構造の中で相互に関連する方法を図示するために、本説明において使用され得る。
図2は、いくつかの実施形態による、第1のXRデバイス12.1のコンポーネントを図示する。第1のXRデバイス12.1は、頭部ユニット22と、例えば、レンダリングエンジン30と、種々の座標系32と、種々の原点および目的地座標フレーム34と、種々の原点/目的地座標フレーム変換器36とを含む、視覚データおよびアルゴリズムの一部を形成する、種々のコンポーネントとを含んでもよい。
頭部ユニット22は、頭部搭載可能フレーム40と、ディスプレイシステム42と、実オブジェクト検出カメラ44と、移動追跡カメラ46と、慣性測定ユニット48とを含んでもよい。
頭部搭載可能フレーム40は、図1における第1のユーザ14.1の頭部に固着可能である、形状を有してもよい。ディスプレイシステム42、実オブジェクト検出カメラ44、移動追跡カメラ46、および慣性測定ユニット48は、頭部搭載可能フレーム40に搭載され、したがって、頭部搭載可能フレーム40とともに移動し得る。
座標系32は、ローカルデータシステム52と、世界フレームシステム54と、頭部フレームシステム56と、カメラフレームシステム58とを含んでもよい。
ローカルデータシステム52は、データチャネル62と、ローカルフレーム決定ルーチン64と、ローカルフレーム記憶命令66とを含んでもよい。データチャネル62は、内部ソフトウェアルーチン、外部ケーブルまたは無線周波数受信機等のハードウェアコンポーネント、または開放されるポート等のハイブリッドコンポーネントであってもよい。データチャネル62は、仮想コンテンツを表す画像データ68を受信するように構成されてもよい。
ローカルフレーム決定ルーチン64は、データチャネル62に接続されてもよい。ローカルフレーム決定ルーチン64は、ローカル座標フレーム70を決定するように構成されてもよい。いくつかの実施形態では、ローカルフレーム決定ルーチンは、実世界オブジェクトまたは実世界場所に基づいて、ローカル座標フレームを決定してもよい。いくつかの実施形態では、ローカル座標フレームは、頭部姿勢セッションの初期化時の原点に基づいてもよい。いくつかの実施形態では、ローカル座標フレームは、本デバイスがブートアップされた場所に位置してもよい、または頭部姿勢がブートセッションの間に喪失された場合、新しいある場所であり得る。いくつかの実施形態では、ローカル座標フレームは、頭部姿勢セッションの開始時の原点であってもよい。いくつかの実施形態では、仮想コンテンツはまた、関連付けられるコンテンツ座標フレームを有してもよい。いくつかの実施形態では、コンテンツ座標フレームは、ブラウザウィンドウの底部縁に対する上部縁、キャラクタの頭または足、仮想コンテンツを包囲する、プリズムまたは境界ボックスの外側表面上のノード、または仮想コンテンツの対面方向およびそれを用いて仮想コンテンツを設置すべき場所(例えば、設置ノードまたはアンカノード等のノード)を定義する、座標フレームを設置するための任意の他の好適な場所等に基づいてもよい。
ローカルフレーム記憶命令66は、ローカルフレーム決定ルーチン64に接続されてもよい。当業者は、ソフトウェアモジュールおよびルーチンが、サブルーチン、コール等を通して、相互に「接続」されることを理解するであろう。ローカルフレーム記憶命令66は、ローカル座標フレーム70をローカル座標フレーム72として原点および目的地座標フレーム34内に記憶してもよい。いくつかの実施形態では、原点および目的地座標フレーム34は、仮想コンテンツがセッション間で持続するために、操作または変換され得る、1つ以上の座標フレームであってもよい。いくつかの実施形態では、セッションは、XRデバイスのブートアップとシャットダウンとの間の時間周期であってもよい。2つのセッションは、単一XRデバイスに関する2回の始動およびシャットダウン周期であってもよい、または2つの異なるXRデバイスに関する始動およびシャットダウンであってもよい。
いくつかの実施形態では、原点および目的地座標フレーム34は、第1のユーザのXRデバイスおよび第2のユーザのXRデバイスが共通場所を認識するために要求される1つ以上の変換の際に関わる座標フレームであってもよい。いくつかの実施形態では、目的地座標フレームは、第1および第2のユーザが同一場所における仮想コンテンツを視認するために、標的座標フレームに適用される一連の算出および変換の出力であってもよい。
レンダリングエンジン30は、データチャネル62に接続されてもよい。レンダリングエンジン30は、レンダリングエンジン30が、少なくとも部分的に、画像データ68に基づいて、仮想コンテンツをレンダリングし得るように、画像データ68をデータチャネル62から受信してもよい。
ディスプレイシステム42は、レンダリングエンジン30に接続されてもよい。ディスプレイシステム42は、画像データ68を可視光に変換する、コンポーネントを含んでもよい。可視光は、眼毎に1つの2つのパターンを形成してもよい。可視光は、図1における第1のユーザ14.1の眼に入射し得、第1のユーザ14.1の眼の網膜上で検出され得る。
実オブジェクト検出カメラ44は、画像を頭部搭載可能フレーム40の異なる側から捕捉し得る、1つ以上のカメラを含んでもよい。移動追跡カメラ46は、画像を頭部搭載可能フレーム40の側面上で捕捉する、1つ以上のカメラを含んでもよい。1つ以上のカメラの1つのセットが、実オブジェクト検出カメラ44および移動追跡カメラ46を表す、1つ以上のカメラの2つのセットの代わりに使用されてもよい。いくつかの実施形態では、カメラ44、46は、画像を捕捉してもよい。
いくつかの実施形態では、カメラ44、46によって捕捉された画像は、1つ以上のキーフレーム(例えば、図11Dにおけるキーフレーム1、2)に算出されてもよい。キーフレームは、カメラ姿勢に対応してもよい。キーフレームは、カメラ姿勢において捕捉された1つ以上のカメラ画像を含んでもよい。いくつかの実施形態では、XRシステムは、カメラ姿勢において捕捉されたカメラ画像の一部を有用ではないと決定し、したがって、その部分をキーフレーム内に含まなくてもよい。したがって、キーフレームを使用して、新しい画像と場面のより早期の知識を整合させることは、XRシステムの算出リソースの使用を低減させる。いくつかの実施形態では、キーフレームは、ある方向/角度を伴う場所における、画像、すなわち、画像データであってもよい。いくつかの実施形態では、キーフレームは、そこから1つ以上のマップ点が観察され得る、場所および方向であってもよい。いくつかの実施形態では、キーフレームは、IDを伴う座標フレームであってもよい。米国特許第出願第15/877,359号は、キーフレームを説明し、参照することによってその全体として本明細書に組み込まれる。
慣性測定ユニット48は、頭部ユニット22の移動を検出するために使用される、いくつかのデバイスを含んでもよい。慣性測定ユニット48は、重力センサと、1つ以上の加速度計と、1つ以上のジャイロスコープとを含んでもよい。慣性測定ユニット48のセンサは、組み合わせて、少なくとも3つの直交方向および約少なくとも3つの直交軸において、頭部ユニット22の移動を追跡する。
図示される実施例では、世界フレームシステム54は、世界表面決定ルーチン78と、世界フレーム決定ルーチン80と、世界フレーム記憶命令82とを含む。世界表面決定ルーチン78は、実オブジェクト検出カメラ44に接続される。世界表面決定ルーチン78は、実オブジェクト検出カメラ44によって捕捉された画像に基づいて、画像および/またはキーフレームを受信し、画像を処理し、画像内の表面を識別する。深度センサ(図示せず)は、表面までの距離を決定してもよい。表面は、したがって、そのサイズ、形状、および実オブジェクト検出カメラからの距離を含む、3次元におけるデータによって表される。
いくつかの実施形態では、世界表面決定ルーチン78は、1つ以上のキーフレームを持続姿勢(例えば、図11Dにおける持続姿勢1、2)に変換してもよい。持続姿勢は、ルーチン78の出力であってもよい。いくつかの実施形態では、持続姿勢は、1つ以上の関連付けられるキーフレームを有する、座標場所および/または方向であってもよい。いくつかの実施形態では、持続姿勢は、ユーザが、ある距離、例えば、3メートル進行した後、自動的に作成されてもよい。いくつかの実施形態では、持続姿勢は、位置特定の間、基準点として作用してもよい。いくつかの実施形態では、世界表面決定ルーチン78によって決定されたデータは、パス可能世界(例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現)内に記憶されてもよい。
いくつかの実施形態では、パス可能世界は、それぞれ、対応する世界座標フレームを含み得る、1つ以上の規準マップを備える、またはそれから作成されてもよい。規準マップは、追跡マップ(TM)(例えば、図40AにおけるTM1102)として生じ得、これは、TMのセッションが終了した後、規準マップに変換され得る。いくつかの実施形態では、TMは、XRデバイスの頭部姿勢疎マップであってもよい。いくつかの実施形態では、XRデバイスは、異なる時間においてXRデバイスによって、または他のXRデバイスによって捕捉された付加的TMとマージするために、1つ以上のTMをクラウドに送信してもよい。
いくつかの実施形態では、持続フレーム決定ルーチン80は、世界表面決定ルーチン78に接続されてもよく、持続座標フレーム(PCF)84を決定してもよい。PCFは、複数のPCFアンカ(例えば、図11DにおけるPCFアンカ1-5)を含んでもよい。新しいPCFアンカは、異なるPCFアンカ間で許容される、事前に定義された距離に基づいて決定されてもよい。世界表面決定ルーチン78は、パス可能世界内に、PCFを構成し得る、PCFアンカを記憶してもよい。いくつかの実施形態では、世界フレーム決定ルーチン80は、ユーザが、所定の距離、例えば、5メートル進行すると、1つ以上の持続姿勢をPCFアンカに変換してもよい。いくつかの実施形態では、PCFアンカは、例えば、パス可能世界内において、1つ以上の世界座標フレーム86と関連付けられてもよい。いくつかの実施形態では、世界座標フレーム86は、原点および目的地座標フレーム34内に記憶されてもよい。
いくつかの実施形態では、仮想コンテンツ自体のコンテンツ座標フレーム(すなわち、その実世界場所から独立して仮想コンテンツに結び付けられる、座標フレーム)は、1つ以上のPCFアンカと関連付けられてもよい。本発明者らは、仮想コンテンツとPCFアンカを関連付けることは、直接、世界座標フレームに対して測定されることとは対照的に、仮想コンテンツにより持続的なフレーム位置を与え得ることを認識し、その真価を認めた。例えば、仮想ランプが、テーブル上に設置される場合、テーブル上には、経時的に実質的に変化しない、仮想ランプの相対的位置付けのための設置入力を提供する、複数のデータ点が存在し得る。対照的に、世界マップが、ある配向および位置の関数として作成され、ユーザが、位置または配向を変化させ、したがって、新しい世界座標フレームを余儀なくする場合、仮想ランプは、新しい世界フレームに調節するのではなく、同一ローカル座標フレームを利用し続け得、これは、ジッタまたは位置偏移をランプの外観に導入し得る。
いくつかの実施形態では、持続フレーム記憶命令82は、持続フレーム決定ルーチン80に接続され、持続座標フレーム84を持続フレーム決定ルーチン80から受信してもよい。いくつかの実施形態では、持続フレーム記憶命令82は、持続座標フレーム84を、ローカルでデータベース内に、および/またはクラウド内に記憶してもよい(例えば、セキュリティ設定に依存し得る)。
頭部フレームシステム56は、頭部フレーム決定ルーチン90と、頭部フレーム記憶命令92とを含んでもよい。頭部フレーム決定ルーチン90は、移動追跡カメラ46および慣性測定ユニット48に接続されてもよい。頭部フレーム決定ルーチン90は、移動追跡カメラ46および慣性測定ユニット48からのデータを使用して、頭部座標フレーム94を計算してもよい。例えば、慣性測定ユニット48は、頭部ユニット22に対する重力の方向を決定する、重力センサを有してもよい。移動追跡カメラ46は、頭部フレーム決定ルーチン90によって使用され、頭部座標フレーム94を精緻化する、画像を継続的に捕捉してもよい。頭部ユニット22は、図1における第1のユーザ14.1がその頭部を移動させると移動する。移動追跡カメラ46および慣性測定ユニット48は、頭部フレーム決定ルーチン90が頭部座標フレーム94を更新し得るように、データを頭部フレーム決定ルーチン90に持続的に提供してもよい。
頭部フレーム記憶命令92は、頭部フレーム決定ルーチン90に接続され、頭部座標フレーム94を頭部フレーム決定ルーチン90から受信してもよい。頭部フレーム記憶命令92は、頭部座標フレーム94を頭部座標フレーム96として原点および目的地座標フレーム34の中に記憶してもよい。頭部フレーム記憶命令92は、頭部フレーム決定ルーチン90が頭部座標フレーム94を再計算すると、更新された頭部座標フレーム94を頭部座標フレーム96として繰り返し記憶してもよい。いくつかの実施形態では、頭部座標フレームは、ローカル座標フレーム72に対するウェアラブルXRデバイス12.1の場所であってもよい。
カメラフレームシステム58は、カメラ固有性質98を含んでもよい。カメラ固有性質98は、その設計および製造の特徴である、頭部ユニット22の寸法を含んでもよい。カメラ固有性質98は、原点および目的地座標フレーム34内に記憶される、カメラ座標フレーム100を計算するために使用されてもよい。
いくつかの実施形態では、カメラ座標フレーム100は、図1における第1のユーザ14.1の左眼の全ての瞳孔位置を含んでもよい。左眼が、左から右または上下に移動すると、左眼の瞳孔位置は、カメラ座標フレーム100内に位置する。加えて、右眼の瞳孔位置は、右眼のためのカメラ座標フレーム100内に位置する。いくつかの実施形態では、カメラ座標フレーム100は、画像が撮影されると、ローカル座標フレームに対するカメラの場所を含んでもよい。
原点/目的地座標フレーム変換器36は、ローカル/世界座標変換器104と、世界/頭部座標変換器106と、頭部/カメラ座標変換器108とを含んでもよい。ローカル/世界座標変換器104は、ローカル座標フレーム72を受信し、ローカル座標フレーム72を世界座標フレーム86に変換してもよい。世界座標フレーム86へのローカル座標フレーム72の変換は、世界座標フレーム86内で世界座標フレーム110に変換されるローカル座標フレームとして表され得る。
世界/頭部座標変換器106は、世界座標フレーム86から頭部座標フレーム96に変換してもよい。世界/頭部座標変換器106は、世界座標フレーム110に変換されるローカル座標フレームを頭部座標フレーム96に変換してもよい。変換は、頭部座標フレーム96内の頭部座標フレーム112に変換されるローカル座標フレームとして表され得る。
頭部/カメラ座標変換器108は、頭部座標フレーム96からカメラ座標フレーム100に変換してもよい。頭部/カメラ座標変換器108は、頭部座標フレーム112に変換されるローカル座標フレームをカメラ座標フレーム100内のカメラ座標フレーム114に変換されるローカル座標フレームに変換してもよい。カメラ座標フレーム114に変換されるローカル座標フレームは、レンダリングエンジン30の中に取り込まれてもよい。レンダリングエンジン30は、カメラ座標フレーム114に変換されるローカル座標フレームに基づいて、ローカルコンテンツ28を表す画像データ68をレンダリングしてもよい。
図3は、種々の原点および目的地座標フレーム34の空間表現である。ローカル座標フレーム72、世界座標フレーム86、頭部座標フレーム96、およびカメラ座標フレーム100が、図内に表される。いくつかの実施形態では、XRコンテンツ28と関連付けられるローカル座標フレームは、仮想コンテンツの位置および回転を定義し得(例えば、ノードおよび対面方向を提供し得)、これは、次いで、仮想コンテンツが実世界内に設置され、したがって、仮想コンテンツがユーザによって視認され得るとき、ローカルおよび/または世界座標フレームおよび/またはPCFに変換されてもよい。各カメラは、片眼の全ての瞳孔位置を包含する、その独自のカメラ座標フレーム100を有してもよい。参照番号104Aおよび106Aは、それぞれ、図2におけるローカル/世界座標変換器104、世界/頭部座標変換器106、および頭部/カメラ座標変換器108によって行われる、変換を表す。
図4は、いくつかの実施形態による、頭部座標フレームからカメラ座標フレームに変換するためのカメラレンダリングプロトコルを描写する。図示される実施例では、片眼に関する瞳孔は、位置AからBに移動する。定常として現れることが意図される仮想オブジェクトは、瞳孔の位置に応じて、2つの位置AまたはBのうちの1つにおける深度平面上に投影されるであろう(カメラが瞳孔をその座標フレームとして使用するように構成されると仮定して)。その結果、頭部座標フレームに変換される瞳孔座標フレームを使用することは、眼が位置Aから位置Bに移動するにつれて、ジッタを定常仮想オブジェクト内に生じさせるであろう。本状況は、ビュー依存ディスプレイまたは投影と称される。
図5に描写されるように、カメラ座標フレーム(例えば、CR)が、位置付けられ、全ての瞳孔位置を包含するが、オブジェクト投影は、ここでは、瞳孔位置AおよびBにかかわらず、一貫するであろう。頭部座標フレームは、CRフレームに変換し、これは、ビュー独立ディスプレイまたは投影と称される。画像再投影が、仮想コンテンツに適用され、眼位置の変化を考慮してもよいが、しかしながら、レンダリングは、依然として、同一位置にあるため、ジッタは、最小限にされる。
図6に描写されるように、第1のXRデバイス12.1と同一場面内にあり得る、第2のXRデバイス12.2は、持続座標フレーム(PCF)統合ユニット1300と、画像データ68を生成する、アプリケーション1302と、フレーム埋込生成器308とを含んでもよい。いくつかの実施形態では、マップダウンロードシステム126、アンカ識別システム128、マップ2、位置特定モジュール130、規準マップ組込器132、規準マップ133、およびマップ発行器136は、パス可能世界ユニット1304にグループ化されてもよい。PCF統合ユニット1300は、パス可能世界ユニット1304および第2のXRデバイス12.2の他のコンポーネントに接続され、PCFアンカの読出、生成、使用、アップロード、およびダウンロードを可能にしてもよい。PCFアンカによって構成される、座標フレームは、変化する世界、例えば、人々が場面の内外に移動し、ドア等のオブジェクトが、場面に対して移動する、世界内において、より多くの持続性を有効にし、より少ない記憶空間および伝送レートを要求し、場面をマッピングするために、個々のPCFアンカおよび相互に対するその関係および/またはPCFアンカの統合されたコンステレーションの使用を可能にし得る。
いくつかの実施形態では、PCF統合ユニット1300は、第2のXRデバイス12.2の記憶ユニット上のデータ記憶装置内に以前に記憶されたPCFアンカ1306と、PCF追跡器1308と、持続姿勢入手器1310と、PCF確認器1312と、PCF生成システム1314と、座標フレーム計算機1316と、持続姿勢計算機1318と、追跡マップおよび持続姿勢変換器1320、持続姿勢およびPCF変換器1322、およびPCFおよび画像データ変換器1324を含む、3つの変換器とを含んでもよい。
いくつかの実施形態では、PCF追跡器1308は、アプリケーション1302によって選択可能である、オンプロンプトおよびオフプロンプトを有してもよい。アプリケーション1302は、第2のXRデバイス12.2のプロセッサによって実行可能であって、例えば、仮想コンテンツを表示してもよい。アプリケーション1302は、オンプロンプトを介して、PCF追跡器1308をオンに切り替える、コールを有してもよい。PCF追跡器1308は、PCF追跡器1308がオンに切り替えられると、PCFアンカを生成してもよい。アプリケーション1302は、オフプロンプトを介して、PCF追跡器1308をオフに切り替え得る、後続コールを有してもよい。PCF追跡器1308は、PCF追跡器1308がオフに切り替えられると、PCF生成を終了する。
いくつかの実施形態では、サーバ20は、規準マップ120と関連付けられて以前に保存された、複数の持続姿勢1332および複数のPCFアンカ1330を含んでもよい。マップ伝送機122は、規準マップ120を、持続姿勢1332および/またはPCFアンカ1330とともに、第2のXRデバイス12.2に伝送してもよい。持続姿勢1332およびPCFアンカ1330は、規準マップ133と関連付けられて、第2のXRデバイス12.2上に記憶されてもよい。マップ2が、規準マップ133に対して位置特定すると、持続姿勢1332およびPCFアンカ1330は、マップ2と関連付けられて記憶されてもよい。
いくつかの実施形態では、持続姿勢入手器1310は、マップ2のための持続姿勢を入手してもよい。PCF確認器1312は、持続姿勢入手器1310に接続されてもよい。PCF確認器1312は、持続姿勢入手器1310によって読み出された持続姿勢に基づいて、PCFアンカをPCFアンカ1306から読み出してもよい。PCF確認器1312によって読み出されたPCFアンカは、PCFアンカに基づいて画像表示のために使用される、PCFアンカの初期グループを形成してもよい。
いくつかの実施形態では、アプリケーション1302は、付加的PCFアンカが生成されることを要求し得る。例えば、ユーザが、以前にマッピングされていないエリアに移動する場合、アプリケーション1302は、PCF追跡器1308をオンに切り替えてもよい。PCF生成システム1314は、PCF追跡器1308に接続され、マップ2が拡張し始めるにつれて、マップ2に基づいて、PCFアンカの生成を開始してもよい。PCF生成システム1314によって生成されたPCFアンカは、PCFベースの画像表示のために使用され得る、PCFアンカの第2のグループを形成してもよい。
座標フレーム計算機1316は、PCF確認器1312に接続されてもよい。PCF確認器1312がPCFアンカを読み出した後、座標フレーム計算機1316は、頭部座標フレーム96を呼び出し、第2のXRデバイス12.2の頭部姿勢を決定してもよい。座標フレーム計算機1316はまた、持続姿勢計算機1318を呼び出してもよい。持続姿勢計算機1318は、フレーム埋込生成器308に直接または間接的に接続されてもよい。いくつかの実施形態では、フレーム埋込生成器308は、グローバル特徴列316を出力してもよく、これは、画像のためのデータ表現(例えば、フレームまたはキーフレーム)として使用されてもよい。いくつかの実施形態では、画像/フレームは、前のキーフレームからの閾値距離、例えば、3メートルが、進行された後、キーフレームと指定されてもよい。持続姿勢計算機1318は、複数の、例えば、3つのキーフレームに基づいて、持続姿勢を生成してもよい。いくつかの実施形態では、持続姿勢は、本質的に、複数のキーフレームの座標フレームの平均であってもよい。
追跡マップおよび持続姿勢変換器1320は、マップ2および持続姿勢計算機1318に接続されてもよい。追跡マップおよび持続姿勢変換器1320は、マップ2を持続姿勢に変換し、マップ2に対する原点における持続姿勢を決定してもよい。
持続姿勢およびPCF変換器1322は、追跡マップおよび持続姿勢変換器1320およびさらにPCF確認器1312およびPCF生成システム1314に接続されてもよい。持続姿勢およびPCF変換器1322は、持続姿勢(それに対して追跡マップが変換された)をPCF確認器1312およびPCF生成システム1314からのPCFアンカに変換し、持続姿勢に対するPCFを決定してもよい。
PCFおよび画像データ変換器1324は、持続姿勢およびPCF変換器1322およびデータチャネル62に接続されてもよい。PCFおよび画像データ変換器1324は、PCFを画像データ68に変換する。レンダリングエンジン30は、PCFおよび画像データ変換器1324に接続され、PCFアンカに対する画像データ68をユーザに表示してもよい。
PCF統合ユニット1300は、PCFアンカ1306内でPCF生成システム1314を用いて生成される、付加的PCFアンカを記憶してもよい。PCFアンカ1306は、持続姿勢に対して記憶されてもよい。マップ発行器136は、マップ発行器136が、マップ2をサーバ20に伝送し、マップ発行器136がまた、マップ2と関連付けられるPCFおよび持続姿勢をサーバ20に伝送するとき、PCFアンカ1306およびPCFアンカ1306と関連付けられる持続姿勢を読み出し得る。サーバ20のマップ記憶ルーチン118が、マップ2を記憶するとき、マップ記憶ルーチン118はまた、第2の視認デバイス12.2によって生成された持続姿勢およびPCFアンカを記憶してもよい。マップマージアルゴリズム124は、それぞれ、規準マップ120と関連付けられ、持続姿勢1332およびPCFアンカ1330内に記憶される、マップ2の持続姿勢およびPCFアンカとともに、規準マップ120を作成してもよい。
第1のXRデバイス12.1は、第2のXRデバイス12.2のPCF統合ユニット1300に類似する、PCF統合ユニットを含んでもよい。マップ伝送機122が、規準マップ120を第1のXRデバイス12.1に伝送するとき、マップ伝送機122は、規準マップ120と関連付けられ、第2のXRデバイス12.2から生じる、持続姿勢1332およびPCF1330を伝送してもよい。第1のXRデバイス12.1は、PCFアンカおよび持続姿勢を第1のXRデバイス12.1の記憶デバイス上のデータ記憶装置内に記憶してもよい。第1のXRデバイス12.1は、次いで、PCFアンカに対する画像表示のために、第2のXRデバイス12.2から生じる持続姿勢およびPCFアンカを利用してもよい。加えて、または代替として、第1のXRデバイス12.1は、上記に説明されるように、第2のXRデバイス12.2に類似する様式において、PCFアンカおよび持続姿勢を読み出し、生成し、利用し、アップロードし、ダウンロードしてもよい。
図44は、部屋のために生成される、キーフレームを図示する。図示される実施例では、第1のキーフレームKF1は、部屋の左壁上のドアのために生成される。第2のキーフレームKF2は、部屋の床、左壁、および右壁が衝合する、角内のエリアのために生成される。第3のキーフレームKF3は、部屋の右壁上の窓のエリアのために生成される。第4のキーフレームKF4は、壁の床上のラグの縁端におけるエリアのために生成される。第5のキーフレームKF5は、ユーザに最も近いラグのエリアのために生成される。
図45は、ユーザの環境内の持続姿勢PP1およびPP2を図示する。いくつかの実施形態では、新しい持続姿勢が、本デバイスが進行された閾値距離を測定すると、および/またはアプリケーションが新しい持続姿勢を要求すると、作成される。いくつかの実施形態では、閾値距離は、3メートル、5メートル、20メートル、または任意の他の好適な距離であってもよい。より小さい閾値距離(例えば、1m)を選択することは、より多数のPPが、より大きい閾値距離と比較して、作成および管理され得るため、算出負荷の増加をもたらし得る。より大きい閾値距離(例えば、40m)を選択することは、より少数のPPが作成され、より少ないPCFが作成される結果をもたらし、PCFアンカに結び付けられた仮想コンテンツが、PCFアンカから比較的に大距離(例えば、30m)離れ、アンカから仮想コンテンツまでの距離の増加に伴って誤差が増加し得ることを意味するため、仮想コンテンツ設置誤差の増加をもたらし得る。
いくつかの実施形態では、PPは、新しいセッションの開始時に作成されてもよい。本初期PPは、ゼロと見なされ得、閾値距離に等しい半径を有する、円形の中心として可視化され得る。本デバイスが、円形の周に到達し、いくつかの実施形態では、アプリケーションが、新しいPPを要求すると、新しいPPは、本デバイスの現在の場所(閾値距離)に設置されてもよい。いくつかの実施形態では、新しいPPは、本デバイスが、既存のPPを本デバイスの新しい位置からの閾値距離内に見出すことが可能である場合、閾値距離に作成されないであろう。いくつかの実施形態では、新しいPPが、作成されると、デバイスは、最も近いキーフレームのうちの1つ以上のものをPPに結び付ける。いくつかの実施形態では、キーフレームに対するPPの場所は、PPが作成された時点での本デバイスの場所に基づいてもよい。いくつかの実施形態では、PPは、アプリケーションがPPを要求しない限り、本デバイスが閾値距離を進行しても作成されないであろう。
いくつかの実施形態では、アプリケーションは、アプリケーションがユーザに表示するための仮想コンテンツを有するとき、PCFをデバイスから要求してもよい。アプリケーションからのPCF要求は、PP要求をトリガしてもよく、新しいPPは、本デバイスが閾値距離を進行した後に作成されるであろう。図45は、最も近いキーフレーム(例えば、KF1、KF2、およびKF3)を結び付けさせ得る、第1の持続姿勢PP1を図示する。図45はまた、最も近いキーフレーム(例えば、KF4およびKF5)を結び付けさせ得る、第2の持続姿勢PP2を図示する。
図46は、PP1およびPP2を含み得る、PCFアンカを図示する。上記に説明されるように、PCFは、PCFに対する画像データを表示するために使用されてもよい。いくつかの実施形態では、各PCFは、別の座標フレーム(例えば、世界座標フレーム)内の座標と、記述子とを有してもよい。いくつかの実施形態では、PCFアンカの種々のコンステレーションは、組み合わせられ、持続様式において、より少ないデータおよびより少ないデータの伝送を要求する、実世界を表してもよい。
図47は、いくつかの実施形態による、持続座標フレームを確立および使用する方法4700を図示する。方法4700は、XRデバイスの1つ以上のセンサを使用して、場面についての画像を捕捉するステップ(行為4702)から開始してもよい。複数のカメラが、使用されてもよく、1つのカメラが、複数の画像を生成してもよい。方法4700は、特徴を捕捉された画像から抽出するステップ(4704)と、抽出された特徴に関する記述子を生成するステップ(行為4706)と、記述子に基づいて、キーフレームを生成するステップ(行為4708)と、キーフレームに基づいて、持続姿勢を生成するステップ(行為4710)とを含んでもよい。いくつかの実施形態では、キーフレームは、画像のそれぞれのものに基づいて生成されてもよく、全てのカメラの全ての画像のキーフレームの平均は、持続姿勢を生成するために使用されてもよい。方法4700は、持続姿勢に基づいて、アンカを生成するステップ(行為4712)を含んでもよい。アンカは、1つ以上の持続姿勢を含んでもよい。方法4700は、XRデバイスによって表示されるべき仮想コンテンツの画像データとアンカのうちの少なくとも1つを関連付けるステップ(行為4714)を含んでもよい。
図48A-48Iは、XRデバイス間のデータ共有を有効にし得る、持続座標フレームを確立および使用する実施例を図示する、概略図である。図48Aは、規準マップに対して位置特定されていない、個別のローカル追跡マップ4804A、4804Bを伴う、2人のユーザ4802A、4802Bを示す。個々のユーザに関する原点4806A、4806Bは、その個別のエリア内の座標系(例えば、世界座標系)によって描写される。いくつかの実施形態では、TM4802Aは、持続姿勢(PP)4808Aを含んでもよく、TM4802Bは、PP4808Bを含んでもよい。図48Bは、個別のユーザ4802A、4802Bによって装着されるXRデバイスが、PP4808A、4908Bに基づいて、ローカルPCFアンカ4810A、4810Bを作成し得ることを示す。図48Cは、持続コンテンツ4812(例えば、仮想コンテンツ)が、ここで、PCFアンカ4810A、4810Bに結び付けられ得ることを示す。図48Dは、例えば、クラウドからの規準マップ1814が、両方のデバイスによって受信されることを示す。図48Eは、両方のデバイスが個別のデバイス上において規準マップ4814に対して位置特定することを示す。図48Fは、各デバイスが、個別のデバイス上のローカルPCFアンカ(例えば、PCFアンカ4810A、4810B)と規準マップ上の個別の持続姿勢(例えば、PP4818A、4818B)との間の結び付き(例えば、結び付き4816A、4816B)を作成することを示す。図48Gは、規準マップからローカル追跡マップへの持続姿勢のスナップショットを示す。図から分かるように、ローカル追跡マップは、持続姿勢を介して相互に接続される。図48Hは、ユーザ4802Aによって装着されるデバイス上のPCFアンカ4810Aが、ユーザ4802Bによって装着されるデバイス内でアクセス可能であることを示す。図48Iは、マップが全て、最終的に、マージし得、PCFが、接続されたコンステレーション内で「合体」し得ることを示す。
マッピングおよび位置特定
図6は、いくつかの実施形態による、第1のXRデバイス12.1と、第2のXRデバイス12.2およびサーバ20の視覚データおよびアルゴリズムとをさらに詳細に図示する。図示されないが、第1のXRデバイス12.1は、第2のXRデバイス12.2と同一に構成されてもよい。
図6は、いくつかの実施形態による、第1のXRデバイス12.1と、第2のXRデバイス12.2およびサーバ20の視覚データおよびアルゴリズムとをさらに詳細に図示する。図示されないが、第1のXRデバイス12.1は、第2のXRデバイス12.2と同一に構成されてもよい。
サーバ20は、マップ記憶ルーチン118と、規準マップ120と、マップ伝送機122と、マップマージアルゴリズム124とを有してもよい。
図示される実施例では、第1のXRデバイス12.1は、ローカル追跡マップ(以降、「マップ1」と称される)を生成し、マップ記憶ルーチン118は、マップ1を第1のXRデバイス12.1から受信する。マップ記憶ルーチン118は、次いで、マップ1をサーバ20の記憶デバイス上に規準マップ120として記憶する。
第2のXRデバイス12.2は、マップダウンロードシステム126と、アンカ識別システム128と、位置特定モジュール130と、規準マップ組込器132と、ローカルコンテンツ位置付けシステム134と、マップ発行器136とを含む。
使用時、マップ伝送機122は、規準マップ120を第2のXRデバイス12.2に送信し、マップダウンロードシステム126は、規準マップ120を規準マップ133としてサーバ20からダウンロードし、記憶する。
アンカ識別システム128は、世界表面決定ルーチン78に接続される。アンカ識別システム128は、世界表面決定ルーチン78によって検出されたオブジェクトに基づいて、アンカを識別する。アンカ識別システム128は、アンカを使用して、第2のマップ(マップ2)を生成する。サイクル138によって示されるように、アンカ識別システム128は、アンカを識別し続け、マップ2を更新し続ける。アンカの場所は、世界表面決定ルーチン78によって提供されるデータに基づいて、3次元データとして記録される。世界表面決定ルーチン78は、画像を実オブジェクト検出カメラ44から、深度データを深度センサ135から受信し、表面の場所および深度センサ135からのその相対的距離を決定する。
位置特定モジュール130は、規準マップ133およびマップ2に接続される。位置特定モジュール130は、マップ2を規準マップ133に対して位置特定するように繰り返し試みる。規準マップ組込器132は、規準マップ133およびマップ2に接続される。位置特定モジュール130が、マップ2を規準マップ133に対して位置特定すると、規準マップ組込器132は、規準マップ133をマップ2のアンカの中に組み込む。マップ2は、次いで、規準マップ内に含まれる欠測データで更新される。
ローカルコンテンツ位置付けシステム134は、マップ2に接続される。ローカルコンテンツ位置付けシステム134は、例えば、ユーザが世界座標フレーム内の特定の場所においてローカルコンテンツを位置特定し得る、システムであってもよい。ローカルコンテンツ自体が、次いで、マップ2の1つのアンカに結び付けられる。ローカル/世界座標変換器104は、ローカルコンテンツ位置付けシステム134の設定に基づいて、ローカル座標フレームを世界座標フレームに変換する。レンダリングエンジン30、ディスプレイシステム42、およびデータチャネル62の機能は、図2を参照して説明されている。
マップ発行器136は、マップ2をサーバ20にアップロードする。サーバ20のマップ記憶ルーチン118は、次いで、マップ2をサーバ20の記憶媒体内に記憶する。
マップマージアルゴリズム124は、マップ2と規準マップ120をマージする。2つを上回るマップ、例えば、3つまたは4つのマップが、記憶されているとき、マップマージアルゴリズム124は、全てのマップを規準マップ120にマージし、新しい規準マップ120をレンダリングする。マップ伝送機122は、次いで、新しい規準マップ120を、新しい規準マップ120によって表されるエリア内のあらゆるデバイス12.1および12.2に伝送する。本デバイス12.1および12.2が、その個別のマップを規準マップ120に対して位置特定すると、規準マップ120は、奨励マップとなる。
図7は、ディスプレイシステム42をさらに詳細に図示する。ディスプレイシステム42は、レンダリングエンジン30に接続され、視覚データおよびアルゴリズムの一部を形成する、立体視分析器144を含む。
ディスプレイシステム42はさらに、左および右プロジェクタ166Aおよび166Bと、左および右導波管170Aおよび170Bとを含む。左および右プロジェクタ166Aおよび166Bは、電力供給源に接続される。各プロジェクタ166Aおよび166Bは、画像データが個別のプロジェクタ166Aまたは166Bに提供されるための個別の入力を有する。個別のプロジェクタ166Aまたは166Bは、給電されると、2次元パターンにおける光を生成し、光をそこから発出する。左および右導波管170Aおよび170Bは、それぞれ、光を左および右プロジェクタ166Aおよび166Bから受光するように位置付けられる。左および右導波管170Aおよび170Bは、透明導波管である。
使用時、ユーザは、頭部搭載可能フレーム40をその頭部に搭載する。頭部搭載可能フレーム40のコンポーネントは、例えば、ユーザの頭部の背面の周囲に巻着する、ストラップ(図示せず)を含んでもよい。左および右導波管170Aおよび170Bは、次いで、ユーザの左および右眼220Aおよび220Bの正面に位置する。
レンダリングエンジン30は、それが受信する画像データを立体視分析器144の中に取り込む。画像データは、図1におけるローカルコンテンツ28の3次元画像データである。画像データは、複数の仮想平面上に投影される。立体視分析器144は、画像データを分析し、各深度平面上への投影のために、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、3次元において投影され、ユーザに深度の知覚を与える、2次元画像を表す、データセットである。
立体視分析器144は、左および右画像データセットを左および右プロジェクタ166Aおよび166Bに取り込む。左および右プロジェクタ166Aおよび166Bは、次いで、左および右光パターンを作成する。ディスプレイシステム42のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、2次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証目的のために、ピクセルのうちの2つからの光線224Aおよび226Aが、左プロジェクタ166Aから出射し、左導波管170Aに入射するように示される。光線224Aおよび226Aは、左導波管170Aの側から反射する。光線224Aおよび226Aは、左導波管170A内で左から右に内部反射を通して伝搬することが示されるが、光線224Aおよび226Aはまた、屈折性および反射性システムを使用して、紙面に向かう方向にも伝搬することを理解されたい。
光線224Aおよび226Aは、左光導波管170Aから瞳孔228Aを通して出射し、次いで、左眼220Aの瞳孔230Aを通して左眼220Aに入射する。光線224Aおよび226Aは、次いで、左眼220Aの網膜232A上に当たる。このように、左光パターンは、左眼220Aの網膜232A上に当たる。ユーザは、網膜232A上に形成されるピクセルが、ユーザが左眼220Aに対向する左導波管170Aの側上のある距離にあるように知覚する、ピクセル234Aおよび236Aであるという知覚を与えられる。深度知覚は、光の焦点距離を操作することによって作成される。
同様に、立体視分析器144は、右画像データセットを右プロジェクタ166Bに取り込む。右プロジェクタ166Bは、右光パターンを伝送し、これは、光線224Bおよび226Bの形態におけるピクセルによって表される。光線224Bおよび226Bは、右導波管170B内で反射し、瞳孔228Bを通して出射する。光線224Bおよび226Bは、次いで、右眼220Bの瞳孔230Bを通して入射し、右眼220Bの網膜232B上に当たる。光線224Bおよび226Bのピクセルは、右導波管170Bの背後のピクセル134Bおよび236Bとして知覚される。
網膜232Aおよび232B上に作成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器144の機能に起因して、相互から若干異なる。左および右画像は、ユーザの脳内で3次元レンダリングとして知覚される。
述べられたように、左および右導波管170Aおよび170Bは、透明である。眼220Aおよび220Bに対向する左および右導波管170Aおよび170B側上のテーブル16等の実在のオブジェクトからの光は、左および右導波管170Aおよび170Bを通して投影され、網膜232Aおよび232B上に当たることができる。
図8は、第1のXRデバイス12.1上のマップ1およびローカルコンテンツ(コンテンツ123およびコンテンツ456)を図示する。マップ1は、いくつかのアンカ(アンカa-アンカd)を含む。第1のXRデバイス12.1の視点から、アンカaは、一例として、(0,0,0)のX、Y、およびZ座標を有し、アンカbは、(-1,0,0)のX、Y、およびZ座標を有する。コンテンツ123は、アンカaと関連付けられる。本実施例では、コンテンツ123は、(1,0,0)のアンカaに対するX、Y、およびZ関係を有する。コンテンツ456は、アンカbに対する関係を有する。本実施例では、コンテンツ456は、アンカbに対する(1,0,0)のX、Y、およびZ関係を有する。マップ1はまた、原点(原点1)を有する。
図9では、第1のXRデバイス12.1は、マップ1をサーバ20にアップロードする。サーバ20は、ここでは、マップ1に基づく、規準マップを有する。第1のXRデバイス12.1は、本段階では空である、規準マップを有する。サーバ20は、議論の目的のために、いくつかの実施形態では、マップ1以外の他のマップを含まない。マップは、第2のXRデバイス12.2上に記憶されていない。
第1のXRデバイス12.1はまた、そのWi-Fiシグネチャデータをサーバ20に伝送する。サーバ20は、Wi-Fiシグネチャデータを使用して、過去に、サーバ20または他のサーバに接続されていた他のデバイスから集められた知能とともに、記録されていたそのような他のデバイスのGPS場所に基づいて、第1のXRデバイス12.1の大まかな場所を決定してもよい。
第1のXRデバイス12.1は、ここで、第1のセッション(図1参照)を終了してもよく、サーバ20から接続解除してもよい。
図10および11Aは、第2のユーザ14.2による第2のセッションの開始を示す。第1のユーザ14.1は、第1のユーザ14.1による第1のセッションが終了したため、想像線で示される。第2のXRデバイス12.2は、オブジェクトを記録し始める。可変粒度を伴う種々のシステムが、第2のXRデバイス12.2による第2のセッションが第1のXRデバイス12.1による第1のセッションの同一近傍内にあることを決定するために、サーバ20によって使用されてもよい。例えば、Wi-Fiシグネチャデータ、全地球測位システム(GPS)測位データ、Wi-Fiシグネチャデータに基づくGPSデータ、または場所を示す任意の他のデータが、その場所を記録するために、第1および第2のXRデバイス12.1および12.2内に含まれてもよい。代替として、第2のXRデバイス12.2によって識別されるアンカは、マップ1のアンカと類似性を示し得る。
図11Bに示されるように、第2のXRデバイスは、ブートアップし、画像1110等のデータを1つ以上のカメラ44、46から収集し始める。図11Dに示されるように、いくつかの実施形態では、XRデバイス(例えば、第2のXRデバイス12.2)は、1つ以上の画像1110を収集し、画像処理を実施し、1つ以上の特徴/着目点1120を抽出してもよい。各特徴は、記述子1130に変換されてもよい。いくつかの実施形態では、記述子1130は、結び付けられた関連付けられる画像の位置および方向を有し得る、キーフレーム1140を説明するために使用されてもよい。1つ以上のキーフレーム1140は、前の持続姿勢1150からの閾値距離、例えば、3メートル後に自動的に生成され得る、単一持続姿勢1150に対応してもよい。1つ以上の持続姿勢1150は、所定の距離後、例えば、5メートル毎に自動的に生成され得る、単一PCF1160に対応してもよい。経時的に、ユーザが、ユーザの環境を動き回り続け、XRデバイスが、画像1110等のより多くのデータを収集し続けるにつれて、付加的PCFアンカ(例えば、PCFアンカ4,5およびPCFアンカ3)が、作成され得る。アプリケーション、すなわち、2つの1180は、XRデバイス上で起動され、ユーザへの提示のために、仮想コンテンツ1170をXRデバイスに提供してもよい。仮想コンテンツは、関連付けられるコンテンツ座標フレームを有してもよく、これは、1つ以上のPCFアンカに対して設置されてもよい。図11Bに示されるように、第2のXRデバイス12.2は、3つのPCFアンカを作成する。いくつかの実施形態では、第2のXRデバイス12.2は、サーバ上20に記憶される1つ以上の規準マップに対して位置特定するように試みてもよい。いくつかの実施形態では、図11Cに示されるように、第2のXRデバイス12.2は、規準マップ120をサーバ20からダウンロードしてもよい。第2のXRデバイス12.2上のマップ1は、アンカa-dと、原点1とを含む。いくつかの実施形態では、サーバ20は、種々の場所のための複数の規準マップを有してもよく、第2のXRデバイス12.2が第1のセッションの間の第1のXRデバイス12.1の近傍と同じ近傍内にあることを決定し、第2のXRデバイス12.2に、その近傍に関する規準マップを送信してもよい。
図12は、第2のXRデバイス12.2が、マップ2を生成する目的のためのアンカの識別を開始することを示す。第2のXRデバイス12.2は、単一アンカ、すなわち、PCF1,2のみ識別している。第2のXRデバイス12.2のためのPCF1,2のX、Y、およびZ座標は、(1,1,1)であり得る。マップ2は、その独自の原点(原点2)を有し、これは、現在の頭部姿勢セッションのためのデバイス2の頭部姿勢に基づいてもよい。いくつかの実施形態では、第2のXRデバイス12.2は、マップ2を規準マップに対して位置特定するように直ちに試みてもよい。いくつかの実施形態では、マップ2は、システムが2つのマップ間の任意または十分な重複を認識しないため、規準マップ(マップ1)に対して位置特定することが不可能である場合がある(すなわち、位置特定が失敗し得る)。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間のアンカ/PCF比較に基づいて、位置特定してもよい。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間の持続姿勢比較に基づいて、位置特定してもよい。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間のキーフレーム比較に基づいて、位置特定してもよい。
図13は、第2のXRデバイス12.2がマップ2のさらなるアンカ(PCF1,2、PCF3、PCF4,5)を識別した後のマップ2を示す。第2のXRデバイス12.2は、再び、マップ2を規準マップに対して位置特定するように試みる。マップ2は、規準マップの少なくとも一部と重複するように拡張されたため、位置特定試行は、成功するであろう。いくつかの実施形態では、ローカル追跡マップ、マップ2、および規準マップ間の重複は、PCF/アンカ、持続姿勢、キーフレーム、または任意の他の好適な中間または派生構築物によって表されてもよい。
さらに、第2のXRデバイス12.2は、コンテンツ123およびコンテンツ456をマップ2のPCF1,2およびPCF3に関連付けている。コンテンツ123は、(1,0,0)のPCF1,2に対するX、Y、およびZ座標を有する。
同様に、マップ2内のPCF3に対するコンテンツ456のX、Y、およびZ座標も、(1,0,0)である。
図14Aおよび14Bは、規準マップに対するマップ2の位置特定成功を図示する。マップ1410の重複エリア/体積/セクションは、マップ1および規準マップとの共通部分を表す。マップ2は、位置特定する前に、PCF3および4,5を作成し、規準マップは、マップ2が作成される前に、アンカaおよびcを作成したため、異なるアンカ/PCFが、実空間(例えば、異なるマップ)内の同一体積を表すために作成された。
図15に示されるように、第2のXRデバイス12.2は、規準マップからのアンカa-dを含むように、マップ2を拡張させる。アンカa-dの含有は、規準マップに対するマップ2の位置特定を表す。いくつかの実施形態では、XRシステムは、最適化ステップを実施し、1410内のPCF、すなわち、PCF3およびPCF4,5等の複製アンカ/PCFを重複エリアから除去してもよい。マップ2が位置特定した後、コンテンツ456およびコンテンツ123等の仮想コンテンツの設置は、更新されたマップ2内の最も近い更新されたアンカ/PCFに対することになるだろう。仮想コンテンツは、コンテンツのための変化されたPCF結び付けにもかかわらず、かつマップ2のための更新されたアンカにもかかわらず、ユーザに対して同一実世界場所内に現れる。
図16に示されるように、第2のXRデバイス12.2は、さらなるアンカ(アンカe、f、g、およびh)が第2のXRデバイス12.2によって識別されるにつれて、例えば、ユーザが実世界を歩き回るにつれて、マップ2を拡張させ続ける。また、マップ1は、図15および16において拡張されていないことに留意されたい。
図17を参照すると、第2のXRデバイス12.2は、マップ2をサーバ20にアップロードする。サーバ20は、マップ2とともに、規準マップを記憶する。いくつかの実施形態では、マップ2は、第2のXRデバイス12.2のためのセッションが終了すると、サーバ20にアップロードされてもよい。
サーバ20内の規準マップは、ここでは、アンカiを含み、これは、第1のXRデバイス12.1上のマップ1内に含まれない。サーバ20上の規準マップは、第3のXRデバイス(図示せず)が、マップをサーバ20にアップロードし、そのようなマップが、アンカiを含むと、アンカiを含むように拡張され得る。
図18では、サーバ20は、マップ2と規準マップをマージし、新しい規準マップを形成する。サーバ20は、アンカa-dが規準マップおよびマップ2と共通であることを決定する。サーバは、アンカe-hおよびPCF1,2をマップ2から含むように、規準マップを拡張させ、新しい規準マップを形成する。第1および第2のXRデバイス12.1および12.2上の規準マップは、マップ1に基づき、古くなる。
図19では、サーバ20は、新しい規準マップを第1および第2のXRデバイス12.1および12.2に伝送する。いくつかの実施形態では、これは、第1のXRデバイス12.1および第2のデバイス12.2が、異なるまたは新しいまたは後続セッションの間、位置特定しようと試みるときに生じ得る。第1および第2のXRデバイス12.1および12.2は、上記に説明されるように、その個別のローカルマップ(それぞれ、マップ1およびマップ2)を新しい規準マップに対して位置特定するステップに進む。
図20に示されるように、頭部座標フレーム96または「頭部姿勢」は、マップ2内のアンカに関連する。いくつかの実施形態では、マップの原点、すなわち、原点2は、セッションの開始時における第2のXRデバイス12.2の頭部姿勢に基づく。アンカが、セッションの間に作成されるにつれて、アンカは、ローカル座標フレーム、すなわち、原点2に対して設置される。マップ2のアンカは、世界座標フレームに対する持続座標フレームとしての役割を果たし、世界座標フレームは、前のセッションのローカル座標フレーム(例えば、図8におけるマップ1の原点1)であってもよい。世界座標フレームから頭部座標フレーム96への変換は、図2を参照して前述されている。図20に示される頭部座標フレーム96は、マップ2のアンカに対する特定の座標位置にあって、マップ2に対して特定の角度にある、2つの直交軸のみを有する。しかしながら、頭部座標フレーム96は、マップ2のアンカに対するある3次元場所内にあって、3次元空間内の3つの直交軸を有することを理解されたい。
図21では、頭部座標フレーム96は、マップ2のアンカに対して移動している。頭部座標フレーム96は、第2のユーザ14.2がその頭部を移動させたため、移動している。ユーザは、その頭部を6自由度(6dof)において移動させることができる。頭部座標フレーム96は、したがって、6dof、すなわち、図20におけるその前の場所から3次元において、そしてマップ2のアンカに対する約3つの直交軸において移動することができる。頭部座標フレーム96は、それぞれ、図2における実オブジェクト検出カメラ44および慣性測定ユニット48が、実オブジェクトおよび頭部ユニット22の運動を検出すると、調節される。頭部姿勢追跡に関するさらなる情報は、「Enhanced Pose Determination for Display Device」と題された米国特許第出願第16/221,065号に開示され、参照することによってその全体として本明細書に組み込まれる。
図22は、音が1つ以上のアンカと関連付けられてもよいことを示す。ユーザは、例えば、立体音を伴うヘッドホンまたはイヤホンを装着し得る。ヘッドホンを通した音の場所が、従来の技法を使用してシミュレートされることができる。音の場所は、ユーザがその頭部を左に回転させると、音の場所が右に回転し、したがって、ユーザが実世界内の同一場所から生じる音を知覚するように、定常位置に位置してもよい。本実施例では、音の場所は、音123および音456によって表される。議論の目的のために、図22は、その分析において、図16に類似する。第1および第2のユーザ14.1および14.2が、同一または異なる時間において、同一部屋内に位置するとき、彼らは、実世界内の同一場所から生じる音123および音456を知覚する。
図23および24は、上記に説明される技術のさらなる実装を図示する。第1のユーザ14.1は、図1を参照して説明されるように、第1のセッションを開始した。図23に示されるように、第1のユーザ14.1は、想像線によって示されるように、第1のセッションを終了した。第1のセッションの終了時、第1のXRデバイス12.1は、マップ1をサーバ20にアップロードした。第1のユーザ14.1は、今度は、第1のセッションの後の時間において、第2のセッションを開始した。第1のXRデバイス12.1は、マップ1が第1のXRデバイス12.1上にすでに記憶されているため、マップ1をサーバ20からダウンロードしない。マップ1が、喪失される場合、第1のXRデバイス12.1は、マップ1をサーバ20からダウンロードする。第1のXRデバイス12.1は、次いで、上記に説明されるように、マップ2のためのアンカを構築し、マップ1に対して位置特定し、規準マップをさらに展開するステップに進む。マップ2は、次いで、上記に説明されるように、ローカルコンテンツ、頭部座標フレーム、ローカル音等を関連させるために使用される。
図25および26を参照すると、また、1人を上回るユーザが同一セッションにおいてサーバと相互作用することが可能性として考えられ得る。本実施例では、第1のユーザ14.1および第2のユーザ14.2に、第3のXRデバイス12.3を伴う第3のユーザ14.3が加わっている。各XRデバイス12.1、12.2、および12.3は、それぞれ、その独自のマップ、すなわち、マップ1、マップ2、およびマップ3を生成し始める。XRデバイス12.1、12.2、および12.3が、マップ1、2、および3を展開し続けるにつれて、マップは、サーバ20に漸次的にアップロードされる。サーバ20は、マップ1、2、および3をマージし、規準マップを形成する。規準マップは、次いで、サーバ20からXRデバイス12.1、12.2、および12.3のそれぞれのものに伝送される。
規準マップフィルタリングおよび位置特定のための複数の規準マップおよびキーフレーム
図27は、サーバ20のコンピュータ可読媒体上のデータ記憶装置内に記憶される、複数の規準マップ120を示す。各規準マップ120は、それと関連付けられる複数の規準マップ識別子を有する。これらの規準マップ識別子は、経度および緯度の範囲によって表される、惑星である地球上のエリアを含む。規準マップ識別子はまた、グローバル特徴列を含む。
図27は、サーバ20のコンピュータ可読媒体上のデータ記憶装置内に記憶される、複数の規準マップ120を示す。各規準マップ120は、それと関連付けられる複数の規準マップ識別子を有する。これらの規準マップ識別子は、経度および緯度の範囲によって表される、惑星である地球上のエリアを含む。規準マップ識別子はまた、グローバル特徴列を含む。
規準マップ120は、地球の表面上に存在し得るため、2次元パターンにおいて地理的に図示される。経度および緯度は、相互に異なり、規準マップを一意に識別する。サーバ20は、経度および緯度を含む、位置データ、Wi-Fiフィンガプリント、および個別の視認デバイス12.1または12.2によって撮影された画像の特徴を受信する、位置検出器を有する。位置検出器は、次いで、位置識別子を記憶する。全ての視認デバイスが、サーバ20に、位置識別子として経度および緯度を提供するわけではない。しかしながら、視認デバイスは、通常、Wi-Fiフィンガプリントおよび画像特徴を位置識別子として含むであろう。
図28は、規準マップ120と、上記に説明されるように、サーバ20が、視認デバイスに送信される1つ以上のマップを決定するために実行し、その後、視認デバイス上での位置特定306が続く、近傍エリアフィルタ300、Wi-Fiフィンガプリントフィルタ302、およびキーフレームフィルタ304を含む、一連のフィルタとを図示する。
規準マップ120は、数千の規準マップ等、多くの規準マップを有してもよい。いくつかの実施形態では、帯域幅制限に起因して、全ての規準マップを視認デバイスに送信することが不可能であり得る。
いくつかの実施形態では、近傍エリアフィルタ300は、視認デバイスから受信された位置識別子の経度および緯度を含む、その経度および緯度を網羅する、少なくとも1つのマッチング規準マップ120を、少なくとも1つのマップがその経度および緯度に存在する限り、選択し得る。いくつかの実施形態では、近傍エリアフィルタ300は、マッチング規準マップに隣接する経度および緯度を網羅する、少なくとも1つの近傍規準マップをさらに選択する。いくつかの実施形態では、近傍エリアフィルタ300は、複数のマッチング規準マップおよび複数の近傍規準マップを選択してもよい。近傍エリアフィルタ300は、例えば、規準マップの数を、数千から、例えば、130に低減させ、第1のフィルタリングされた選択を形成してもよい。いくつかの実施形態では、近傍エリアフィルタ300は、規準マップ120の数を低減させるように構成されてもよい。言い換えると、近傍エリアフィルタ300に取り込まれる、規準マップの数は、近傍エリアフィルタ300から取り出される規準マップの数を上回ってもよい。
いくつかの実施形態では、Wi-Fiフィンガプリントフィルタ302は、第2のフィルタを形成する。Wi-Fiフィンガプリントフィルタ302は、位置識別子の一部として視認デバイスから受信されたWi-Fiフィンガプリントに基づいて、緯度および経度を決定する。Wi-Fiフィンガプリントフィルタ302は、次いで、Wi-Fiフィンガプリントフィルタ302からの緯度および経度と規準マップ120の緯度および経度を比較し、近傍エリアフィルタ300によって確立される第1のフィルタリングされた選択内の第2のフィルタリングされた選択を形成する、1つ以上の規準マップを決定する。第2のフィルタリングされた選択は、例えば、規準マップの数を、第2のフィルタリングされた選択外の第1のフィルタリングされた選択に基づいて、任意の規準マップを含まない、第2の選択を形成する、50の規準マップに低減させてもよい。本実施例では、第1のフィルタリングされた選択は、したがって、130の規準マップを含み、第2のフィルタリングされた選択は、130の規準マップのうちの50を含み、130の規準マップの残りの80を含まない。
キーフレームフィルタ304は、規準マップの数を、例えば、5つの規準マップにさらに低減させる。キーフレームフィルタ304は、視認デバイスによって捕捉された画像によって表されるデータと規準マップ120を表すデータを比較する、コンピュータビジョンフィルタであってもよい。キーフレームフィルタ304は、したがって、出力として、第2のフィルタリングされた選択に続いて識別された50の規準マップのうちの5つのみを含む、第3のフィルタリングされた選択を提供する。マップ伝送機122は、次いで、第3のフィルタリングされた選択に基づいて、1つ以上の規準マップを視認デバイスに伝送する。視認デバイスは、本実施例およびいくつかの実施形態では、5つの規準マップを受信し、306において、全ての5つの規準マップに対して位置特定するように試みる。
図29A-29Cは、いくつかの実施形態では、サーバ20(または視認デバイス12.1および12.2のうちの1つ)内で使用され、初期サイズ(例えば、76,800バイト)から最終サイズ(例えば、256バイト/1ビット)までの画像の一意かつ低減されたデータ表現を生成し得る、フレーム埋込生成器308を図示する。いくつかの実施形態では、フレーム埋込生成器は、キーフレームまたはフレームであり得る、画像のためのデータ表現を生成するように構成されてもよい。いくつかの実施形態では、フレーム埋込生成器308は、特定の場所および配向における画像を一意の256バイト数列に変換するように構成されてもよい。視認デバイスによって撮影された画像320は、視認デバイスによって処理され、画像320内の特徴324を検出してもよく(例えば、深層疎特徴方法を使用して)、各特徴322は、32の数の列326によって表されてもよい。特徴322は、ブロック310によってともに示される。例えば、n=100の特徴が存在し得、各特徴は、32の数の列によって表される。
いくつかの実施形態では、フレーム埋込生成器308は、多層パーセプトロンユニット312と、最大(max)プールユニット314とを含んでもよい。いくつかの実施形態では、多層パーセプトロン(MLP)ユニット312は、ニューラルネットワークを備え得る、多層パーセプトロンを備えてもよい。いくつかの実施形態では、MLPユニット312は、行列乗算を実施するように構成されてもよい。多層パーセプトロンユニット312は、画像320の複数の特徴322を受信し、各特徴を256の数の個別の数列に変換する。本実施例では、100の特徴が存在してもよく、各特徴は、256の数のバイトサイズによって表される。行列は、本実施例では、100の水平行および256の垂直列を有するように作成されてもよい。各行は、一部は、より小さく、一部は、より大きい、大きさが変動する、一連の256の数を有する。いくつかの実施形態では、MLPの出力は、n×256の行列328であってもよく、nは、画像から抽出された特徴の数を表す。
いくつかの実施形態では、MLPは、ニューラルネットワークを備えてもよく、これは、例えば、モデルパラメータを決定するための訓練相と、使用相とを有してもよい。いくつかの実施形態では、MLPは、図29Dに図示されるように訓練されてもよい。入力訓練データは、3つのセット内にデータを備えてもよく、3つのセットは、1)クエリ画像と、2)正のサンプルと、3)負のサンプルとを備える。クエリ画像は、基準画像と見なされ得る。正のサンプルは、クエリ画像に類似する、画像を備えてもよい。例えば、いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、異なる角度から視認され得る。いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、他の画像に対して(例えば、左、右、上、下に)偏移されるオブジェクトを有し得る。負のサンプルは、クエリ画像と類似しない、画像を備えてもよい。例えば、いくつかの実施形態では、異なるとは、オブジェクトをクエリ画像内に有するが、サンプル画像内に有していないことであり得る。いくつかの実施形態では、異なるとは、オブジェクトの大部分(例えば、>50%または>75%)をクエリ画像内に有するが、同一オブジェクトの小部分(例えば、<10%、1%)のみを負のサンプル内に有することであり得る。いくつかの実施形態では、特徴(例えば、疎特徴)が、入力訓練データ内の画像から抽出されてもよく、記述子に変換されてもよい。いくつかの実施形態では、深層疎特徴(DSF)プロセスが、米国特許出願第16/190,948号に説明されるように、記述子(例えば、DSF記述子、特徴記述子)を生成するために使用されてもよい。いくつかの実施形態では、DSF記述子は、n×32寸法である。記述子は、次いで、モデル/MLPを通して通過され、256バイト出力を作成してもよい。いくつかの実施形態では、モデル/MLPは、図29A-29Cに説明されるMLPであってもよい。MLPモデルから出力された256バイトは、次いで、トリプレットマージン損失モジュールに送信されてもよい(かつMLPニューラルネットワークの使用相の間ではなく、訓練相の間のみ使用されてもよい)。いくつかの実施形態では、トリプレットマージン損失モジュールは、クエリ画像から出力された256バイトと正のサンプルから出力された256バイトとの間の差異を最小限にし、クエリ画像から出力された256バイトと負のサンプルから出力された256バイトとの間の差異を最大限にするように構成されてもよい。いくつかの実施形態では、訓練相は、複数のトリプレット入力画像を学習プロセス(例えば、MLP、モデル)の中にフィードし、モデルパラメータを決定するステップを含んでもよい。
最大プールユニット314は、各列を分析し、個別の列内の最大数を決定する。最大プールユニット314は、数の各列の最大値を256の数のグローバル特徴列316に組み合わせる。グローバル特徴列316は、比較的に少ないメモリを占有し、容易に検索可能である、比較的に小数である。したがって、カメラからの各オリジナルフレームを分析せずに、画像を検索することが可能であって、また、完全フレームの代わりに、256バイトを記憶するようにより安価である。
いくつかの実施形態では、図28におけるキーフレームフィルタ304は、規準マップ120のグローバル特徴列316および視認デバイスによって捕捉された画像(例えば、ユーザのためのローカル追跡マップの一部であり得る、画像)に基づくグローバル特徴列316に基づいて、規準マップ120をフィルタリングしてもよい。図27における規準マップ120のそれぞれのものは、したがって、それと関連付けられる1つ以上のグローバル特徴列316を有する。いくつかの実施形態では、グローバル特徴列316は、視認デバイスが、画像または特徴詳細をサーバ20に提出し、サーバ20が、画像または特徴詳細を処理し、規準マップ120のためのグローバル特徴列316を生成するときに入手されてもよい。いくつかの実施形態では、サーバ20は、視認デバイスによって捕捉されたライブ/新しい/現在の画像の特徴詳細を受信してもよく、サーバ20は、ライブ画像のためのグローバル特徴列316を生成し、ライブグローバル特徴列316に基づいて、規準マップ120をフィルタリングしてもよい。いくつかの実施形態では、グローバル特徴列は、ローカル視認デバイス上で生成されてもよい。いくつかの実施形態では、グローバル特徴列は、遠隔で、例えば、クラウドまたはサーバ20上で生成されてもよい。いくつかの実施形態では、視認デバイスは、1つ以上の画像を撮影し、図29Cに図示されるプロセスを実行し、グローバル特徴列316をローカル追跡マップに結び付けられてもよい。いくつかの実施形態では、グローバル特徴列316は、ローカルデバイスまたはクラウド上のローカル追跡マップまたは規準マップ内のフレームまたはキーフレームのデータ表現であってもよい。
いくつかの実施形態では、サーバ20は、フィルタリングされた規準マップとともに、フィルタリングされた規準マップと関連付けられるグローバル特徴列316を視認デバイスに伝送してもよい。いくつかの実施形態では、視認デバイスが、その追跡マップを規準マップに対して位置特定すると、ローカル追跡マップのグローバル特徴列316と規準マップのグローバル特徴列のマッチングによってそれを行い得る。
マップのランク付けおよびマージ
本明細書に説明されるものは、複数の環境マップ(例えば、規準マップ)をXリアリティ(XR)システム内でランク付けおよびマージするための方法および装置である。現実的XR体験をユーザに提供するために、XRシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。ユーザの物理的周囲についての情報は、ユーザの場所に関する環境マップから取得されてもよい。環境マップは、XRシステムのユーザによって装着されるXRデバイスの一部である、センサを用いて収集された画像および深度情報から作成されてもよい。環境マップは、種々の場所および時間においてシステムのユーザによって装着されるセンサによって収集された情報を用いて構築されてもよい。各環境マップは、それぞれ、環境内の実オブジェクトの3次元(3D)世界再構築物と関連付けられる、マッピングされた点を含んでもよい。
本明細書に説明されるものは、複数の環境マップ(例えば、規準マップ)をXリアリティ(XR)システム内でランク付けおよびマージするための方法および装置である。現実的XR体験をユーザに提供するために、XRシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。ユーザの物理的周囲についての情報は、ユーザの場所に関する環境マップから取得されてもよい。環境マップは、XRシステムのユーザによって装着されるXRデバイスの一部である、センサを用いて収集された画像および深度情報から作成されてもよい。環境マップは、種々の場所および時間においてシステムのユーザによって装着されるセンサによって収集された情報を用いて構築されてもよい。各環境マップは、それぞれ、環境内の実オブジェクトの3次元(3D)世界再構築物と関連付けられる、マッピングされた点を含んでもよい。
本発明者らは、XRシステムが、複数のユーザによって収集された実/物理的世界の環境マップ効率的共有を有効にすることによって、それらのユーザが同一または異なる時間に世界内に存在するかどうかにかかわらず、実および/または仮想コンテンツを備える、同一世界を共有する複数のユーザに、向上されたXR体験を提供し得ることを認識し、その真価を認めた。しかしながら、そのようなシステムを提供する際、有意な課題が存在する。そのようなシステムは、複数のユーザによって生成された複数のマップを記憶し得、および/またはシステムは、異なる時間に生成された複数のマップを記憶し得る。例えば、上記に説明されるように、位置特定等の以前に生成されたマップを用いて実施され得る動作に関して、実質的処理が、同一世界(例えば、同一実世界場所)の関連環境マップをXRシステム内で収集された全ての環境マップから識別するために要求され得る。図8-26に説明されるもの等のいくつかの実施形態では、デバイスが、例えば、位置特定のためにアクセスし得る、少数の環境マップのみが存在し得る。例えば、上記の図27-29Cに関連して説明されるようないくつかの実施形態では、デバイスがアクセスし得る、多数の環境マップが存在し得る。本発明者らは、環境マップの関連性を、例えば、図28における全ての規準マップ120の母集団等のあらゆる可能性として考えられる環境マップから迅速かつ正確にランク付けする技法を認識し、その真価を認めた。高ランク付けマップは、次いで、仮想オブジェクトをユーザディスプレイ上にユーザの周囲の物理的世界と現実的に相互作用するようにレンダリングする、またはそのユーザによって収集されたマップデータと記憶されたマップをマージし、より大きいまたはより正確なマップを作成するため等、さらなる処理のために、選択されてもよい。
いくつかの実施形態では、物理的世界内のある場所におけるユーザのためのタスクに関連する、記憶されたマップが、複数の基準に基づいて、記憶されたマップをフィルタリングすることによって識別されてもよい。それらの基準は、その場所におけるユーザのウェアラブルデバイスによって生成された追跡マップと、例えば、図27-29Cに関して上記に説明されるようなデータベース内に記憶される候補環境マップの比較を示してもよい。比較は、マップを生成するデバイスによって検出されたWi-Fiフィンガプリント等のマップと関連付けられる、メタデータ、および/またはマップを形成する間、それに対してデバイスが接続されるBSSIDのセットに基づいて実施されてもよい。比較はまた、マップの圧縮または解凍されたコンテンツに基づいて実施されてもよい。圧縮された表現に基づく比較は、例えば、図29A-29Cに説明されるような、例えば、マップコンテンツから算出されたベクトルの比較によって実施されてもよい。解凍されたマップに基づく比較は、例えば、追跡マップを記憶されたマップに対して位置特定する、またはその逆によって実施されてもよい。複数の比較が、考慮のために、候補マップの数を低減させるために必要とされる算出時間に基づく順序に実施されてもよく、より少ない算出を伴う比較は、より多くの算出を要求する他の比較より先に実施される。
本明細書に説明される技法は、XR場面を提供する限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスを用いて、および多くのタイプの場面のために、ともにまたは別個に使用されてもよい。いくつかの実施形態では、技法は、XRシステムの一部を形成する、1つ以上のサービスによって実装されてもよい。
図30および31は、そのような場面を図示する。例証目的のために、ARシステムが、XRシステムの実施例として使用される。図32-35は、本明細書に説明される技法に従って動作し得る、1つ以上のプロセッサと、メモリと、センサと、ユーザインターフェースとを含む、例示的ARシステムを図示する。
図30を参照すると、屋外AR場面354が、描写され、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム358を特徴とする、物理的世界公園状設定356が見える。これらのアイテムに加え、AR技術のユーザはまた、物理的世界コンクリートプラットフォーム358上に立っているロボット像357と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ352とが「見える」と知覚するが、これらの要素(例えば、アバタキャラクタ352およびロボット像357)は、物理的世界内には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中への仮想画像要素の快適で、自然のように感じる、豊かな提示を促進する、AR技術を生産することは、困難である。
そのようなAR場面は、ユーザの周囲の物理的世界表面のデジタル表現を構築および更新し得る、世界再構築コンポーネントを含む、システムを用いて達成され得る。本表現は、レンダリングをオクルードするため、仮想オブジェクトを設置するため、物理学ベースの相互作用において、および仮想キャラクタ経路計画およびナビゲーションのため、またはその中で物理的世界についての情報が使用される、他の動作のために使用されてもよい。図31は、いくつかの実施形態による、視覚的オクルージョン402と、物理学ベースの相互作用404と、環境推測406とを含む、例示的世界再構築ユースケースを示す、屋内AR場面400の別の実施例を描写する。
例示的場面400は、壁と、壁の片側上の本棚と、部屋の角における床置きランプと、床と、ソファと、床上のコーヒーテーブルとを有する、居間である。これらの物理的アイテムに加え、AR技術のユーザはまた、ソファの背後の壁上の画像、ドアを通して飛んで来た鳥、本棚から外を覗いているシカ、およびコーヒーテーブル上に設置された風車の形態における装飾品等の仮想オブジェクトを知覚する。壁上の画像に関して、AR技術は、壁の表面だけではなく、また、仮想オブジェクトを正しくレンダリングするために画像をオクルードする、ランプ形状等の部屋内のオブジェクトおよび表面についての情報も要求する。飛んで来た鳥に関して、AR技術は、オブジェクトおよび表面を回避する、または鳥が衝突する場合、跳ね返るように、現実的物理学を用いて鳥をレンダリングするために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、AR技術は、シカを設置すべき場所を算出するために、床またはコーヒーテーブル等の表面についての情報を要求する。風車に関して、システムは、テーブルと別個のオブジェクトであることを識別し得、それが移動可能であることを決定し得る一方、棚の角または壁の角は、定常であると決定され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する決定において使用されてもよい。
場面は、視覚、聴覚、および/または触覚を含む、1つ以上のユーザ感知を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、システムは、場面の物理的部分内のユーザの位置および/または運動を含む、場面の物理的部分のパラメータを測定し得る、1つ以上のセンサを含んでもよい。さらに、システムは、メモリ等の関連付けられるコンピュータハードウェアを伴う、1つ以上のコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントのいくつかまたは全ては、ウェアラブルデバイスの中に統合されてもよい。
図32は、いくつかの実施形態による、物理的世界506と相互作用するARコンテンツの体験を提供するように構成される、ARシステム502を描写する。ARシステム502は、ディスプレイ508を含んでもよい。図示される実施形態では、ディスプレイ508は、ユーザが、一対のゴーグルまたは眼鏡のように、ディスプレイをその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実510を観察し得るように、透明であってもよい。シースルー現実510は、ARシステム502の現在の視点内の物理的世界506の部分に対応し得、これは、ユーザは、ARシステムのディスプレイおよびセンサの両方を組み込む、ヘッドセットを装着し、物理的世界についての情報を入手している場合のユーザの視点に対応し得る。
ARコンテンツはまた、シースルー現実510上にオーバーレイされる、ディスプレイ508上に提示されてもよい。ARコンテンツとシースルー現実510との間の正確な相互作用をディスプレイ508上で提供するために、ARシステム502は、物理的世界506についての情報を捕捉するように構成される、センサ522を含んでもよい。
センサ522は、深度マップ512を出力する、1つ以上の深度センサを含んでもよい。各深度マップ512は、それぞれ、深度センサに対する特定の方向における物理的世界506内の表面までの距離を表し得る、複数のピクセルを有してもよい。未加工深度データが、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得るほど高速に更新され得、これは、数百または数千回/秒であり得る。しかしながら、そのデータは、雑音が多くかつ不完全であって、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。
システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、他の方法において物理的世界を表すように処理され得る、単眼または立体視情報を入手してもよい。例えば、画像は、世界再構築コンポーネント516内で処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築物の一部として記憶されてもよい。
システムはまた、物理的世界に対するユーザの頭部姿勢についての情報を入手してもよい。いくつかの実施形態では、センサ522は、頭部姿勢514を算出および/または決定するために使用され得る、慣性測定ユニットを含んでもよい。深度マップのための頭部姿勢514は、例えば、6自由度(6DoF)を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢514は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させる等の他の目的のために使用されてもよい。いくつかの実施形態では、頭部姿勢情報は、画像内のオブジェクトの分析から等、IMU以外の方法で導出されてもよい。
世界再構築コンポーネント516は、深度マップ512および頭部姿勢514およびセンサからの任意の他のデータを受信し、そのデータを再構築物518の中に統合してもよい。再構築物518は、センサデータより完全かつより雑音が少なくあり得る。世界再構築コンポーネント516は、経時的複数の視点からのセンサデータの空間および時間的平均を使用して、再構築物518を更新してもよい。
再構築物518は、例えば、ボクセル、メッシュ、平面等を含む、1つ以上のデータフォーマットにおいて、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表し得る、または物理的世界の異なる部分を表し得る。図示される実施例では、再構築物518の左側には、物理的世界の一部が、グローバル表面として提示され、再構築物518の右側には、物理的世界の一部が、メッシュとして提示される。
再構築物518は、再構築物によって表される物理的世界の一部についての情報を提供する、マップとして使用される、またはそれに処理されてもよい。マップは、縁および/または平面等の特徴点および/または構造の場所を示してもよい。加えて、マップは、そこから点または構造がユーザに観察可能である、ユーザの姿勢についての情報を含んでもよく、これは、いくつかの実施形態では、キーフレームまたはキーリグと呼ばれ得る。図示される実施形態では、マップは、その中に単一ウェアラブルデバイスのユーザが存在する、物理的世界の一部を表す。物理的世界のその部分を特徴付けるコンテンツと組み合わせて、マップは、メタデータを含んでもよい。メタデータ、例えば、マップを形成するために使用されるセンサ情報の捕捉時間を示してもよい。メタデータは、代替として、または加えて、マップを形成するために使用される情報の捕捉時間におけるセンサの場所を示してもよい。場所は、直接、GPSチップからの情報等を用いて、または間接的に、センサデータが収集されていた間の1つ以上の無線アクセスポイントから受信された信号の強度を示す、Wi-Fiシグネチャ等を用いて、および/またはセンサデータが収集された間にそれに対してユーザデバイスが接続した無線アクセスポイントのBSSIDを用いて、表されてもよい。
再構築物518は、オクルージョン処理または物理学ベースの処理のための物理的世界の表面表現の生産等、AR機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化してもよい。再構築物518の側面は、例えば、他のコンポーネントによって使用され得る、世界座標内の変化するグローバル表面表現を生産する、コンポーネント520によって使用されてもよい。
ARコンテンツは、本情報に基づいて、ARアプリケーション504等によって生成されてもよい。ARアプリケーション504は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測等の物理的世界についての情報に基づいて、1つ以上の機能を実施する、ゲームプログラムであってもよい。これは、世界再構築コンポーネント516によって生産された再構築物518から異なるフォーマットにおけるデータにクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント520は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域、例えば、ユーザの視野内の一部等、システムのユーザの近傍内の物理的世界の一部に近似するように設定される、またはユーザの視野内に入るように投影(予測/決定)されてもよい。
ARアプリケーション504は、本情報を使用して、ARコンテンツを生成および更新してもよい。ARコンテンツの仮想部分は、シースルー現実510と組み合わせて、ディスプレイ508上に提示され、現実的ユーザ体験を作成してもよい。
いくつかの実施形態では、AR体験は、ウェアラブルディスプレイシステムを通して、ユーザに提供されてもよい。図33は、ウェアラブルディスプレイシステム580(以降、「システム580」と称される)の実施例を図示する。システム580は、頭部搭載型ディスプレイデバイス562(以降、「ディスプレイデバイス562」と称される)と、ディスプレイデバイス562の機能をサポートする、種々の機械および電子モジュールおよびシステムとを含む。ディスプレイデバイス562は、フレーム564に結合されてもよく、これは、ディスプレイシステムのユーザまたは視認者560(以降、「ユーザ560」と称される)によって装着可能であって、ディスプレイデバイス562をユーザ560の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス562は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス562は、単眼または両眼であってもよい。いくつかの実施形態では、ディスプレイデバイス562は、図32におけるディスプレイ508の実施例であってもよい。
いくつかの実施形態では、スピーカ566が、フレーム564に結合され、ユーザ560の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ560の別の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する。ディスプレイデバイス562は、有線導線または無線コネクティビティ568等によって、ローカルデータ処理モジュール570に動作可能に結合され、これは、フレーム564に固定して取り付けられる、ユーザ560によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ560に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。
ローカルデータ処理モジュール570は、プロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサ(例えば、フレーム564に動作可能に結合される、または別様にユーザ560に取り付けられ得る)から捕捉された、および/またはb)可能性として、処理または読出後にディスプレイデバイス562への通過のために、遠隔処理モジュール572および/または遠隔データリポジトリ574を使用して入手および/または処理された、データを含む。
ローカルデータ処理モジュール570は、それぞれ、有線または無線通信リンク等を介して、通信リンク576、578によって、遠隔処理モジュール572および遠隔データリポジトリ574に、これらの遠隔モジュール572、574が、相互に動作可能に結合され、ローカルデータ処理モジュール570へのリソースとして利用可能であるように、動作可能に結合されてもよい。いくつかの実施形態では、図32における世界再構築コンポーネント516は、少なくとも部分的に、ローカルデータ処理モジュール570内に実装されてもよい。例えば、ローカルデータ処理モジュール570は、少なくとも部分的に、データの少なくとも一部に基づいて、コンピュータ実行可能命令を実行し、物理的世界表現を生成するように構成されてもよい。
いくつかの実施形態では、処理は、ローカルおよび遠隔プロセッサを横断して分散されてもよい。世界再構築コンポーネント516に関して、例えば、ローカル処理が、そのユーザのデバイス上のセンサを用いて収集されたセンサデータに基づいて、マップ(例えば、追跡マップ)をユーザデバイス上に構築するために使用されてもよい。そのようなマップは、そのユーザのデバイス上のアプリケーションによって使用されてもよい。加えて、以前に作成された環境マップ(例えば、世界マップおよび/または規準マップ)は、遠隔データリポジトリ574内に記憶されてもよい。好適な記憶された環境マップが、利用可能である場合、追跡マップの代わりに、またはそれに加え、使用されてもよい。環境マップは、ユーザデバイス上にロードされ、ユーザデバイスが、場所の走査および走査の間に入手されたセンサデータからの追跡マップの構築と関連付けられる遅延を伴わずに、仮想コンテンツをレンダリングすることを可能にし得る。代替として、または加えて、追跡マップは、以前に記憶された環境マップとマージされ、それらの環境マップを拡張させる、またはその品質を改良してもよい。好適な以前に作成された環境マップが利用可能であるか、および/または追跡マップと1つ以上の記憶された環境マップをマージするかどうかを決定するための処理は、ローカルデータ処理モジュール570または遠隔処理モジュール572内で行われてもよい。
いくつかの実施形態では、ローカルデータ処理モジュール570は、データおよび/または画像情報を分析および処理するように構成される、1つ以上のプロセッサ(例えば、グラフィック処理ユニット(GPU))を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール570は、単一プロセッサ(例えば、シングルコアまたはマルチコアARMプロセッサ)を含んでもよい、これは、ローカルデータ処理モジュール570の算出予算を限定するが、より小型のデバイスを有効にするであろう。いくつかの実施形態では、世界再構築コンポーネント516は、単一ARMコアの残りの算出予算が、例えば、メッシュの抽出等の他の使用のためにアクセスされ得るように、単一高度RISC機械(ARM)コアより少ない算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成してもよい。
いくつかの実施形態では、遠隔データリポジトリ574は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカルデータ処理モジュール570内で実施され、遠隔モジュールからの完全に自律的使用を可能にする。いくつかの実施形態では、全てのデータは、記憶され、全てまたは大部分の算出は、遠隔データリポジトリ574内で実施され、より小さいデバイスを可能にする。世界再構築物は、例えば、全体または部分的に、本リポジトリ574内に記憶されてもよい。
その中にデータが、遠隔で記憶され、ネットワークを経由してアクセス可能である、実施形態では、データは、拡張現実システムの複数のユーザによって共有されてもよい。例えば、ユーザデバイスは、その追跡マップをアップロードしてもよく、これは、環境マップのデータベース内に記憶されてもよい。いくつかの実施形態では、追跡マップのアップロードは、セッションの終了時に生じる。いくつかの実施形態では、追跡マップのアップロードは、持続的に、半持続的に、断続的に、事前に定義された時間において、前のアップロードから事前に定義された周期後、またはあるイベントによってトリガされると、生じ得る。任意のユーザデバイスによってアップロードされた追跡マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づくかどうかにかかわらず、以前に記憶された環境マップを拡張または改良するために使用されてもよい。同様に、ユーザデバイスにダウンロードされた環境マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づいてもよい。このように、高品質環境マップが、ARシステムを用いたその体験を改良するために、ユーザに容易に利用可能であり得る。
いくつかの実施形態では、ローカルデータ処理モジュール570は、バッテリ582に動作可能に結合される。いくつかの実施形態では、バッテリ582は、市販のバッテリ等のリムーバブル電源である。他の実施形態では、バッテリ582は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ582は、ユーザ560が、電源に繋がれ、リチウムイオンバッテリを充電する必要なく、またはシステム580をシャットオフし、バッテリを交換する必要なく、より長い時間周期にわたってシステム580を動作させ得るように、システム580の非動作時間の間、ユーザ560によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。
図34Aは、ユーザ530が物理的世界環境532(以降、「環境532」と称される)を通して移動するにつれてARコンテンツをレンダリングする、ARディスプレイシステムを装着している、ユーザ530を図示する。ユーザ530は、ARディスプレイシステムを位置534に位置付け、ARディスプレイシステムは、マッピングされた特徴または指向性オーディオ入力との姿勢関係等、位置534に対するパス可能世界(例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現)の周囲情報を記録する。位置534は、データ入力536に対して集約され、少なくともパス可能世界モジュール538によって処理され、これは、例えば、図33の遠隔処理モジュール572上の処理によって実装されてもよい。いくつかの実施形態では、パス可能世界モジュール538は、世界再構築コンポーネント516を含んでもよい。図35Bは、いくつかの実施形態による、PWのコンポーネントアーキテクチャを描写する。
パス可能世界モジュール538は、データ入力536から決定されるように、少なくとも部分的に、ARコンテンツ540が物理的世界内に設置され得る場所および方法を決定する。ARコンテンツは、ユーザインターフェースを介して、物理的世界の表現およびARコンテンツの両方を提示することによって、物理的世界内に「設置」され、ARコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ARコンテンツが、適切なとき、それらのオブジェクトのユーザのビューを不明瞭にしているかのように提示される。いくつかの実施形態では、ARコンテンツは、固定要素542(例えば、テーブル)の一部を再構築物(例えば、再構築物518)から適切に選択し、ARコンテンツ540の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上に現れるように位置付けられてもよい。いくつかの実施形態では、ARコンテンツは、現在の視野または推定される将来的視野であり得る、視野544内の構造の中に設置されてもよい。いくつかの実施形態では、ARコンテンツは、物理的世界のマッピングされた(例えば、メッシュ)モデル546に対して持続されてもよい。
描写されるように、固定要素542は、ユーザ530にそれが見える度に、システムが固定要素542にマッピングする必要なく、ユーザ530が固定要素542上にコンテンツを知覚し得るように、パス可能世界モジュール538内に記憶され得る、物理的世界内の任意の固定要素のためのプロキシ(例えば、デジタルコピー)としての役割を果たす。固定要素542は、したがって、前のモデル化セッションからの、または別個のユーザから決定される、マッピングされたものであるが、それにもかかわらず、複数のユーザによる将来的参照のためにパス可能世界モジュール538上に記憶される、メッシュモデルであってもよい。したがって、パス可能世界モジュール538は、環境532を以前にマッピングされた環境から認識し、ユーザ530のデバイスが環境532の全部または一部を最初にマッピングすることなく、ARコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたARコンテンツの待ち時間を回避し得る。
物理的世界のマッピングされたメッシュモデル546は、ARディスプレイシステムによって作成されてもよく、ARコンテンツ540と相互作用し、表示するための適切な表面およびメトリックは、完全または部分的に、再マッピングまたはモデル化する必要なく、ユーザ530または他のユーザによる将来的読出のために、パス可能世界モジュール538内にマッピングおよび記憶されることができる。いくつかの実施形態では、データ入力536は、パス可能世界モジュール538に、1つ以上の固定要素のうちのどの固定要素542が利用可能であるかどうか、固定要素542上に最後に設置されたARコンテンツ540、およびその同一コンテンツを表示すべきかどうか(そのようなARコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続」コンテンツである)を示すための、地理的場所、ユーザ識別、および現在のアクティビティ等の入力である。
オブジェクトが固定されていると見なされる(例えば、台所のテーブル)、実施形態においてさえ、パス可能世界モジュール538は、物理的世界の変化の可能性を考慮するために随時更新されてもよい。固定されたオブジェクトのモデルは、非常に低周波数で更新されてもよい。物理的世界内の他のオブジェクトは、移動している、または別様に固定されていると見なされないものであり得る(例えば、台所の椅子)。AR場面を現実的感覚でレンダリングするために、ARシステムは、これらの非固定オブジェクトの位置を、固定オブジェクトを更新するために使用されるものよりはるかに高い周波数で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ARシステムは、1つ以上の画像センサを含む、複数のセンサから情報を引き出してもよい。
図34Bは、視認光学系アセンブリ548および付帯コンポーネントの概略例証である。いくつかの実施形態では、2つの眼追跡カメラ550が、ユーザの眼549に向かって指向され、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼549上の閃光等、ユーザの眼549のメトリックを検出する。いくつかの実施形態では、センサのうちの1つは、飛行時間センサ等の深度センサ551であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入したかどうかを迅速に決定し得る。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。
いくつかの実施形態では、世界カメラ552は、周辺より広いビューを記録し、環境532をマッピングし、ARコンテンツに影響を及ぼし得る、入力を検出する。いくつかの実施形態では、世界カメラ552および/またはカメラ553は、グレースケールおよび/またはカラー画像センサであってもよく、これは、グレースケールおよび/またはカラー画像フレームを固定される時間インターバルにおいて出力してもよい。カメラ553はさらに、ユーザの視野内の物理的世界画像を具体的時間において捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ552、カメラ553、および深度センサ551はそれぞれ、554、555、および556の個別の視野を有し、図34Aに描写される物理的世界環境532等の物理的世界場面からのデータを収集および記録する。
慣性測定ユニット557は、視認光学系アセンブリ548の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも1つの他のコンポーネントに動作可能に結合される。例えば、深度センサ551は、ユーザの眼549が見ている実際の距離に対する測定された遠近調節の確認として、眼追跡カメラ550に動作可能に結合される。
視認光学系アセンブリ548は、図34Bに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ548は、4つの代わりに、2つの世界カメラ552を含んでもよい。代替として、または加えて、カメラ552および553は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ548は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ548は、1つ以上の動的視覚センサ(DVS)を含んでもよく、そのピクセルは、光強度の相対的変化が閾値を超えることに非同期して応答してもよい。
いくつかの実施形態では、視認光学系アセンブリ548は、飛行時間情報に基づく深度センサ551を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ548は、1つ以上のプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク(TDM)でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび/または位相検出自動焦点ピクセル(PDAF)および/またはマイクロレンズアレイ(MLA)を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ551の代わりに、またはそれに加え、深度情報源としての役割を果たし得る。
また、図34Bにおけるコンポーネントの構成は、実施例として図示されることを理解されたい。視認光学系アセンブリ548は、任意の好適な構成を伴うコンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的な最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ548が、1つの世界カメラ552を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。
視認光学系アセンブリ548内のセンサからの情報は、システム内のプロセッサのうちの1つ以上のものに結合されてもよい。プロセッサは、ユーザに仮想コンテンツが物理的世界内のオブジェクトと相互作用するように知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想オブジェクトの両方を描写する、画像データを生成するステップを含め、任意の好適な方法において実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を透かし見る、ディスプレイデバイスの不透明度を変調させることによって、1つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、仮想コンテンツがユーザインターフェースを通して視認されるとき、物理的世界と現実的に相互作用するように、ユーザによって知覚されるように修正され得る(例えば、コンテンツをクリッピングし、オクルージョンを考慮する)、仮想コンテンツのみを含んでもよい。コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルが、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る、仮想オブジェクトの特徴が、正しく算出され得るように、要求される。いくつかの実施形態では、モデルは、物理的世界の再構築物、例えば、再構築物518を含んでもよい。
そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい(かつ「クラウド内」にあってもよい)。
モデルは、少なくとも部分的に、世界再構築システム、例えば、図35Aにさらに詳細に描写される図32の世界再構築コンポーネント516によって作成されてもよい。世界再構築コンポーネント516は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール660を含んでもよい。いくつかの実施形態では、知覚モジュール660は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表し得る。各ボクセルは、物理的世界内の所定の体積の3D立方体に対応し、表面情報を含み、ボクセルによって表される体積内に表面が存在するかどうかを示し得る。ボクセルは、その対応する体積が、物理的オブジェクトの表面を含むと決定されている、空であると決定されている、またはセンサを用いてまだ測定されていない、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。空または未知であると決定されたボクセルを示す値は、明示的に記憶される必要はなく、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含め、任意の好適な方法において、コンピュータメモリ内に記憶されてもよいことを理解されたい。
持続される世界表現のための情報を生成することに加え、知覚モジュール660は、ARシステムのユーザの周囲の領域の変化のインジケーションを識別し、出力してもよい。そのような変化のインジケーションは、持続される世界の一部として記憶される立体データへの更新をトリガする、またはARコンテンツを生成し、ARコンテンツを更新する、コンポーネント604をトリガする等、他の機能をトリガしてもよい。
いくつかの実施形態では、知覚モジュール660は、符号付き距離関数(SDF)モデルに基づいて、変化を識別してもよい。知覚モジュール660は、例えば、深度マップ660aおよび頭部姿勢660b等のセンサデータを受信し、次いで、センサデータをSDFモデル660cに融合させるように構成されてもよい。深度マップ660aは、直接、SDF情報を提供してもよく、画像は、SDF情報に到着するように処理されてもよい。SDF情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であり得るため、SDF情報は、ウェアラブルユニットの視点、したがって、ユーザの視点から物理的世界を表し得る。頭部姿勢660bは、SDF情報が物理的世界内のボクセルに関連されることを可能にし得る。
いくつかの実施形態では、知覚モジュール660は、知覚範囲内にある、物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定されてもよく、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定されてもよい。具体的実施例として、アクティブIRパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、数センチメートルまたは数十センチメートル~数メートルであり得る、センサの観察範囲を作成し得る。
世界再構築コンポーネント516は、知覚モジュール660と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、持続される世界モジュール662は、知覚モジュール660によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。持続される世界モジュール662はまた、物理的世界の種々のフォーマットの表現を含んでもよい。いくつかの実施形態では、物理的世界の表現は、画像、画像からの特徴、特徴の記述子、キーフレーム/キーリグ、持続姿勢、PCF、および/またはグローバル特徴列であってもよい。例えば、ボクセル等の立体メタデータ662bが、メッシュ662cおよび平面662dとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。
いくつかの実施形態では、知覚モジュール660は、例えば、メッシュ660d、平面、および意味論660eを含む、種々のフォーマットにおける、物理的世界のための表現を生成する、モジュールを含んでもよい。これらのモジュールは、表現が生成された時点の1つ以上のセンサの知覚範囲内のデータおよび以前の時間に捕捉されたデータおよび持続される世界モジュール662内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ARシステムは、視覚センサを含んでもよく、単眼または両眼視覚情報を分析することによって、そのような表現を生成してもよい。
いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール660がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、SDFモデル660c内の新しい表面を検出することによって、またはサブ領域を表す十分な数のボクセルの値の変化等の他の基準によって、検出されてもよい。
世界再構築コンポーネント516は、物理的世界の表現を知覚モジュール660から受信し得る、コンポーネント664を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント664は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、ゲームプログラムおよび他のコンポーネントを含んでもよい。
コンポーネント664からのクエリに応答して、知覚モジュール660は、物理的世界のための表現を1つ以上のフォーマットにおいて送信してもよい。例えば、コンポーネント664が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためのものであることを示すとき、知覚モジュール660は、表面の表現を送信してもよい。コンポーネント664が、使用が環境推測のためのものであることを示すとき、知覚モジュール660は、物理的世界のメッシュ、平面、および意味論を送信してもよい。
いくつかの実施形態では、知覚モジュール660は、フォーマット情報をコンポーネント664に提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント660fであってもよい。使用コンポーネント(例えば、コンポーネント664)は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント660fは、その視点からの視野内の物理的世界データの1つ以上の表現から選択してもよい。
前述の説明から理解されるはずであるように、知覚モジュール660またはARシステムの別のコンポーネントは、データを処理し、物理的世界の一部の3D表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および/または深度画像に基づいて、3D再構築体積の一部を間引く、平面データを抽出および持続させる、近傍系の一貫性を維持しながらローカル更新を可能にするブロックにおいて、3D再構築データを捕捉し、持続させ、更新する、オクルージョンデータが1つ以上の深度データソースの組み合わせから導出される、オクルージョンデータをそのような場面を生成するアプリケーションに提供する、および/または多段階メッシュ簡略化を実施することによって、低減され得る。
世界再構築システムは、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢(例えば、位置および配向)は、センサを含むデバイスが移動されるにつれて、追跡されてもよい。センサのフレーム姿勢およびそれが他の姿勢に関連する方法が、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、単一の組み合わせられた再構築物にともに融合されてもよい。再構築物は、空間および時間的平均(すなわち、経時的複数の視点からのデータの平均)または任意の他の好適な方法を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。
再構築物は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。
パス可能世界(PW)(例えば、PW538)は、少なくとも部分的に、複数のユーザによって装着されるARデバイスの世界再構築システムによって再構築されたデータに基づいて作成される、環境マップを含んでもよい。AR体験のセッションの間、個々のARデバイス(図33に関連して上記に説明されるウェアラブルデバイス等)は、追跡マップ(TM)を作成してもよい。いくつかの実施形態では、追跡マップは、環境を走査するARデバイスの頭部姿勢の疎マップおよびその環境内で検出されたオブジェクトについての情報を含んでもよい。ARデバイスは、追跡マップをクラウドに送信し、例えば、クラウド内に記憶される環境マップから選択された環境マップとマージしてもよい。いくつかの実施形態では、選択された環境マップは、マージするために、クラウドからARデバイスに送信されてもよい。
環境マップは、個別のマップを作成するために処理された再構築データによって表される物理的世界の一部についての情報を提供してもよい。図36は、いくつかの実施形態による、例示的環境マップ700を描写する。環境マップ700は、点702によって表される対応する物理的世界内の再構築された物理的オブジェクトの平面図706を含んでもよい。環境マップ700はまた、追跡ルート710を含んでもよく、それに沿って点702に関するデータを収集するデバイスが、進行される。追跡ルート710は、キーリグ704を含んでもよく、これは、ARデバイスが再構築データおよび頭部姿勢および/または画像データ等の関連付けられるメタデータをアップロードした場所を表し得る。いくつかの実施形態では、キーリグはまた、キーフレームと呼ばれ得る。図示される実施例では、環境マップは、2つの追跡ルート710aおよび710bを含み、これは、環境マップ700が、2つの追跡マップをマージすることによって作成されることを示し得、すなわち、一方は、追跡ルート710aに沿って作成され、他方は、追跡ルート710bに沿って作成される。いくつかの実施形態では、2つの追跡マップは、同時に2つの異なるARデバイス、異なる時間における2つの異なるARデバイス、または異なる時間における同一ARデバイスによって作成されてもよい。いくつかの実施形態では、2つの追跡マップは、1つのARデバイスによって作成され、それぞれ、指定されるエリア範囲内でアクセス可能であり得る、2つのネットワークアクセスポイントを通して、クラウドにアップロードされてもよい。
環境マップは、例えば、ARデバイスのローカル記憶装置および遠隔記憶装置を含む、例えば、環境マップの記憶場所に応じて、複数のフォーマットのいずれかを有してもよい。例えば、遠隔記憶装置内のマップは、ローカル記憶装置内のマップより高い分解能を有してもよい。より高い分解能マップを遠隔記憶装置からローカル記憶装置に送信するために、マップは、ダウンサンプリングまたは別様に適切なフォーマットに変換されてもよい。いくつかの実施形態では、遠隔記憶装置からの高分解能マップのスライスまたは一部が、ローカル記憶装置に送信され、スライスまたは一部は、ダウンサンプリングされない。
環境マップのデータベースは、新しい追跡マップが作成されると、更新されてもよい。データベース内の潜在的に非常に多数の環境マップのうちのどれが更新されるべきかを決定するために、更新するステップは、新しい追跡マップに関連するデータベース内に記憶される1つ以上の環境マップを効率的に選択するステップを含んでもよい。選択された1つ以上の環境マップは、関連性によってランク付けされてもよく、最高ランク付けマップのうちの1つ以上のものが、より高いランク付けされた選択された環境マップと新しい追跡マップをマージし、1つ以上の更新された環境マップを作成するために処理するために選択されてもよい。
図37は、いくつかの実施形態による、1つ以上の環境マップをランク付けおよびマージするように構成される、ARシステム800を描写する。ARシステムは、ARデバイスのパス可能世界モデル802を含んでもよい。パス可能世界モデル802を取り込むための情報は、ARデバイス上のセンサから生じてもよく、これは、プロセッサ804(例えば、ローカルデータ処理モジュール570)内に記憶される、センサデータをマップに変換するための処理のいくつかまたは全てを実施し得る、コンピュータ実行可能命令を含んでもよい。そのようなマップは、ARデバイスが領域内で動作する際にセンサデータが収集されるにつれて構築され得るような追跡マップであってもよい。その追跡マップとともに、エリア属性が、追跡マップが表すエリアを示すように供給されてもよい。これらのエリア属性は、緯度および経度として提示される座標または場所を表すためにARシステムによって使用されるID等の地理的場所識別子であってもよい。代替として、または加えて、エリア属性は、そのエリアに関して一意である高尤度を有する、測定された特性であってもよい。エリア属性は、例えば、エリア内で検出された無線ネットワークのパラメータから導出されてもよい。いくつかの実施形態では、エリア属性は、ARシステムが近隣にある、および/または接続される、アクセスポイントの一意のアドレスと関連付けられてもよい。例えば、エリア属性は、5G基地局/ルータ、Wi-Fiルータ、および同等物のMACアドレスまたは基本サービスセット識別子(BSSID)と関連付けられてもよい。
図37の実施例では、追跡マップは、環境の他のマップとマージされてもよい。マップランク付け部分806は、追跡マップをデバイスPW802から受信し、マップデータベース808と通信し、マップデータベース808から選択された環境マップを選択およびランク付けする。より高いランク付けされる選択されたマップは、マップマージ部分810に送信される。
マップマージ部分810は、マージ処理をマップランク付け部分806から送信されるマップ上で実施してもよい。マージ処理は、追跡マップとランク付けされたマップのいくつかまたは全てをマージし、新しいマージされたマップをパス可能世界モデル812に伝送するステップを伴ってもよい。パス可能世界モデル812は、クラウドモデルであってもよく、これは、複数のARデバイスによって共有されてもよい。パス可能世界モデル812は、それらの環境マップをマップデータベース808内に記憶する、または別様にそれへのアクセスを有してもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップ以前のバージョンは、古くなったマップをデータベースから除去するように、削除されてもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップの以前のバージョンは、アーカイブされ、環境の以前のバージョンの読出/閲覧を有効にしてもよい。いくつかの実施形態では、許可が、ある読取/書込アクセスを有するARシステムのみが、マップの以前のバージョンの削除/アーカイブをトリガし得るように設定されてもよい。
1つ以上のARデバイス/システムによって供給される追跡マップから作成されたこれらの環境マップは、ARシステム内のARデバイスによってアクセスされてもよい。マップランク付け部分806はまた、環境マップをARデバイスに供給する際に使用されてもよい。ARデバイスは、その現在の場所に関する環境マップを要求するメッセージを送信してもよく、マップランク付け部分806は、要求側デバイスに関連する環境マップを選択およびランク付けするために使用されてもよい。
いくつかの実施形態では、ARシステム800は、マージされたマップをクラウドPW812から受信するように構成される、ダウンサンプリング部分814を含んでもよい。クラウドPW812から受信され、マージされたマップは、クラウドのための記憶フォーマットであってもよく、これは、稠密情報を含み得る。ダウンサンプリング部分814は、クラウドフォーマットマップをARデバイス上への記憶のために好適なフォーマットにダウンサンプリングするように構成されてもよい。デバイスフォーマットマップは、ARデバイスの限定されたローカル演算能力および記憶空間に適応するように疎隔されてもよい。
「Merging a Plurality of Individually Mapped Environments」と題された米国仮特許出願第62/812,935号は、環境マップをマージする例示的方法および装置を説明する。米国出願第62/812,935号の出願バージョンのコピーは、付属として添付され、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる。その出願に説明されるような技法が、環境マップをマージするために使用されてもよい。
図38は、いくつかの実施形態による、1つ以上のランク付けされた環境マップを選択する方法900を図示する、フローチャートである。図示される実施形態では、ランク付けするステップは、追跡マップを作成する、ユーザのARデバイスのために実施される。故に、追跡マップは、環境マップをランク付けする際に使用するために利用可能である。追跡マップが利用不可能である、実施形態では、追跡マップに明示的に依拠しない、環境マップの選択およびランク付けするステップの部分のいくつかまたは全てが、使用されてもよい。
本方法900は、行為902から開始し得、追跡マップが形成された場所の近傍の環境マップのデータベースからのマップのセット(時として、規準マップとも称される)が、アクセスされ、次いで、ランク付けのためにフィルタリングされ得る。加えて、行為902では、その中でユーザのARデバイスが動作しているエリアに関する、少なくとも1つのエリア属性が、決定される。ユーザのARデバイスが追跡マップを構築している、シナリオでは、エリア属性は、それにわたって追跡マップが作成される、エリアに対応し得る。具体的実施例として、エリア属性は、ARデバイスが追跡マップを算出していた間にアクセスポイントからコンピュータネットワークに受信された信号に基づいて、算出されてもよい。
図39は、いくつかの実施形態による、ARシステム800の例示的マップランク付け部分806を描写する。マップランク付け部分806は、ARデバイスの一部およびクラウド等の遠隔コンピューティングシステムの一部を含み得るため、クラウドコンピューティング環境であってもよい。マップランク付け部分806は、方法900の少なくとも一部を実施するように構成されてもよい。
図40Aは、いくつかの実施形態による、追跡マップ(TM)1102およびデータベース内の環境マップCM1-CM4のエリア属性AA1-AA8の実施例を描写する。図示されるように、環境マップは、複数のエリア属性に関連付けられてもよい。エリア属性AA1-AA8は、追跡マップ1102を算出するARデバイスによって検出された無線ネットワークのパラメータ、例えば、それに対してARデバイスが接続される、ネットワークの基本サービスセット識別子(BSSID)、および/または、例えば、ネットワークタワー1104を通して無線ネットワークに受信されるアクセスポイントの信号の強度を含んでもよい。無線ネットワークのパラメータは、Wi-Fiおよび5GNRを含む、プロトコルに準拠してもよい。図9に図示される実施例では、エリア属性は、その中でユーザARデバイスが、センサデータを収集し、追跡マップを形成した、エリアのフィンガプリントである。
図40Bは、いくつかの実施形態による、追跡マップ1102の決定された地理的場所1106の実施例を描写する。図示される実施例では、決定された地理的場所1106は、重心点1110と、重心点の周囲を囲むエリア1108とを含む。本願の地理的場所の決定は、図示されるフォーマットに限定されないことを理解されたい。決定された地理的場所は、例えば、異なるエリア形状を含む、任意の好適なフォーマットを有してもよい。本実施例では、地理的場所は、エリア属性を地理的場所に関連させるデータベースを使用して、エリア属性から決定される。データベースは、市販されており、例えば、緯度および経度として表され、本動作のために使用され得る、Wi-Fiフィンガプリントを場所に関連させる、データベースである。
図38の実施形態では、環境マップを含有する、マップデータベースはまた、マップによって網羅される緯度および経度を含む、それらのマップに関する場所データを含んでもよい。行為902における処理は、そのデータベースから、追跡マップのエリア属性に関して決定された同一緯度および経度を網羅する、環境マップのセットを選択するステップを伴ってもよい。
行為904は、行為902においてアクセスされる環境マップのセットの第1のフィルタリングである。行為902では、環境マップは、追跡マップの地理的場所との近接度に基づいて、セット内に留保される。本フィルタリングステップは、追跡マップとセット内の環境マップと関連付けられる緯度および経度を比較することによって実施されてもよい。
図41は、いくつかの実施形態による、行為904の実施例を描写する。各エリア属性は、対応する地理的場所1202を有してもよい。環境マップのセットは、追跡マップの決定された地理的場所と重複する地理的場所を有する、少なくとも1つのエリア属性を伴う、環境マップを含んでもよい。図示される実施例では、識別された環境マップのセットは、それぞれ、追跡マップ1102の決定された地理的場所と重複する地理的場所を有する、少なくとも1つのエリア属性を有する、環境マップCM1、CM2、およびCM4を含む。エリア属性AA6と関連付けられる、環境マップCM3は、追跡マップの決定された地理的場所外にあるため、セット内に含まれない。
他のフィルタリングステップもまた、最終的に処理される(マップマージのため、またはパス可能世界情報をユーザデバイスに提供するため等)セット内の環境マップの数を低減させる/ランク付けするために、環境マップのセット上で実施されてもよい。方法900は、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップ(行為906)を含んでもよい。マップの形成の間、センサデータを収集し、マップを生成する、デバイスは、Wi-Fiまたは類似無線通信プロトコル等を通して、ネットワークアクセスポイントを通して、ネットワークに接続され得る。アクセスポイントは、BSSIDによって識別され得る。ユーザデバイスは、エリアを通して移動し、データを収集し、マップを形成するにつれて、複数の異なるアクセスポイントに接続し得る。同様に、複数のデバイスが、マップを形成するための情報を供給するとき、本デバイスは、異なるアクセスポイントを通して接続されている場合があり、したがって、同様にその理由から、マップを形成する際に使用される複数のアクセスポイントが存在し得る。故に、マップと関連付けられる複数のアクセスポイントが存在し得、アクセスポイントのセットは、マップの場所のインジケーションであり得る。
いくつかの実施形態では、ネットワークアクセスポイントの1つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、ネットワークアクセスポイントの1つ以上の識別子に基づいて、追跡マップの少なくとも1つのエリア属性との最高Jaccard類似性を伴う環境マップを留保するステップを含んでもよい。図42は、いくつかの実施形態による、行為906の実施例を描写する。図示される実施例では、エリア属性AA7と関連付けられるネットワーク識別子は、追跡マップ1102に関する識別子として決定され得る。行為906後の環境マップのセットは、AA7とのより高いJaccard類似性内のエリア属性を有し得る、環境マップCM2と、同様にエリア属性AA7を含む、環境マップCM4とを含む。環境マップCM1は、AA7との最低Jaccard類似性を有するため、セット内に含まれない。
行為902-906における処理は、マップと関連付けられるメタデータに基づいて、マップデータベース内に記憶されるマップのコンテンツに実際にアクセスすることなく、実施されてもよい。他の処理は、マップのコンテンツにアクセスするステップを伴ってもよい。行為908は、メタデータに基づいてフィルタリング後にサブセット内に残っている環境マップにアクセスするステップを示す。本行為は、後続動作がアクセスされるコンテンツを用いて実施され得る場合、プロセスにおけるより早い段階または後の段階のいずれかで実施されてもよいことを理解されたい。
本方法900は、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップ(行為910)を含んでもよい。追跡マップおよび環境マップのコンテンツを表すメトリックは、マップのコンテンツから算出された値のベクトルを含んでもよい。メトリックは、行為908において読み出されたマップから算出されてもよい、または事前に算出され、それらのマップと関連付けられるメタデータとして記憶されてもよい。いくつかの実施形態では、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保するステップを含んでもよい。
本方法900は、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをさらにフィルタリングするステップ(行為912)を含んでもよい。マッチング度は、位置特定プロセスの一部として決定されてもよい。非限定的実施例として、位置特定は、それらが物理的世界の同一部分を表し得るほど十分に類似する、追跡マップおよび環境マップ内の重要点を識別することによって実施されてもよい。いくつかの実施形態では、重要点は、特徴、特徴記述子、キーフレーム/キーリグ、持続姿勢、および/またはPCFであってもよい。追跡マップ内の重要点のセットは、次いで、環境マップ内の重要点のセットとの最良適合を生産するように整合され得る。対応する重要点間の平均二乗距離が、算出され得、追跡マップの特定の領域に関する閾値を下回る場合、追跡マップおよび環境マップが物理的世界の同一領域を表すことのインジケーションとして使用される。
いくつかの実施形態では、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセットの環境マップ内にもまた表される、追跡マップによって表される物理的世界の体積を算出するステップと、環境マップのセット内に、セットのフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保するステップとを含んでもよい。図43は、いくつかの実施形態による、行為912の実施例を描写する。図示される実施例では、行為912後の環境マップのセットは、追跡マップ1102のエリアとマッチングされるエリア1402を有する、環境マップCM4を含む。環境マップCM1は、追跡マップ1102のエリアとマッチングされるエリアを有していないため、セット内に含まれない。
いくつかの実施形態では、環境マップのセットは、行為906、行為910、および行為912の順序でフィルタリングされてもよい。いくつかの実施形態では、環境マップのセットは、行為906、行為910、および行為912に基づいて、フィルタリングされてもよく、これは、最低から最高へとフィルタリングを実施するために要求される処理に基づく順序で実施され得る。
本方法900は、環境マップのセットおよびデータをロードするステップ(行為914)を含んでもよい。
図示される実施例では、ユーザデータベースは、ARデバイスが使用されたエリアを示す、エリア識別を記憶する。エリア識別は、エリア属性であってもよく、これは、使用時にARデバイスによって検出された無線ネットワークのパラメータを含み得る。マップデータベースは、ARデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶する。関連付けられるメタデータは、そこから環境マップが構築されたデータを供給した、ARデバイスのエリア識別から導出されるエリア識別を含んでもよい。ARデバイスは、メッセージをPWモジュールに送信し、新しい追跡マップが作成される、または作成中であることを示してもよい。PWモジュールは、ARデバイスに関するエリア識別子を算出し、受信されたパラメータおよび/または算出されたエリア識別子に基づいて、ユーザデータベースを更新する。PWモジュールはまた、環境マップを要求するARデバイスと関連付けられるエリア識別子を決定し、エリア識別子に基づいて、マップデータベースから環境マップのセットを識別し、環境マップのセットをフィルタリングし、フィルタリングされた環境マップのセットをARデバイスに伝送してもよい。いくつかの実施形態では、PWモジュールは、例えば、追跡マップの地理的場所、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの1つ以上の識別子の類似性、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性、および追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度を含む、1つ以上の基準に基づいて、環境マップのセットをフィルタリングしてもよい。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張(AR)環境に関連して説明される。本明細書に説明される技法の一部または全部は、MR環境、より一般的には、他のXR環境およびVR環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク(クラウド等)、離散アプリケーション、および/またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図38は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密候補マップは、より小さい候補マップより優先されてもよい。いくつかの実施形態では、図27-28は、図37-39に説明されるシステムおよび方法の全部または一部を説明し得る。
図51-53は、いくつかの実施形態による、少なくとも部分的に、深層キーフレーム(DKF)分析に基づいて、使用されるべきマップを決定するステップの実施例を説明する。DKF分析は、XRデバイスによって生成されたTMに基づいて、XRデバイスによって使用されるべき環境マップを決定し、および/またはユーザに関する現在の頭部姿勢(例えば、ユーザの頭部の位置および/または配向)を決定するためのプロセスの一部であってもよい。いくつかの実施形態では、DKF分析は、好適な深層学習技法を採用し、TMのキーフレームをニューラルネットワーク等の深層学習アーキテクチャへの入力として提供することによって、使用されるべき好適な環境マップを予測または別様に決定する。いくつかの実施形態では、DKF分析は、規準マップ(CM)とも称される、環境マップをランク付けするためのプロセスの一部として使用される。例えば、CMは、TMと候補として分析されている各CMとの間のDKF記述子の類似度に基づいて、ランク付けされることができる。図53の実施例に示されるように、DKF分析は、地理的場所フィルタリングが、(例えば、第1の)上位レベル分析として実施される、Wi-FiBSSIDフィルタリングが、次のレベルとして実施され、DKF分析は、CMをランク付けするための第3の(例えば、最終)レベルとして実施される、CMを選択するための階層(例えば、マルチレベル)分析の一部であることができる。最高ランク付けされたCMまたはCMのセットは、XRデバイスに提供され、使用および/またはさらに分析されてもよい。ランク付け分析は、クラウド内で実施されてもよい(例えば、図51-53の実施例に示されるように、SPIFF分析モジュールを使用して)。各レベルでは、候補CMのセットは、DKFに基づく最下レベル分析後、単一マップ(またはマップのサブセット)が残るまで、フィルタリング(例えば、低減)されることができる。図51に示されるマップランク付けモジュールは、ランク付けを実施し、結果を、上記に説明される、マップマージモジュールに渡してもよい。
米国特許出願第16/520,582号および米国仮特許出願第62/702,829号は、参照することによって本明細書に組み込まれ、マップ品質に基づくマップ共有、同時可視性グラフィカルマップサニタイゼーション、およびカメラ画像からの位置特定可能マップの作成のさらなる詳細を説明する。
頭部姿勢追跡復元およびリセット
頭部姿勢追跡復元およびリセット
図49は、いくつかの実施形態による、頭部姿勢を復元および/またはリセットするための視認方法の側面を図示する。図示される実施例では、行為1400において、視認デバイスが、電源投入される。行為1410では、電源投入されることに応答して、新しいセッションが、開始される。いくつかの実施形態では、新しいセッションは、頭部姿勢を確立するステップを含んでもよい。ユーザの頭部に固着される、頭部搭載型フレーム上の1つ以上の捕捉デバイスが、最初に、環境の画像を捕捉し、次いで、表面を画像から決定することによって、環境の表面を捕捉する。表面データはまた、重力センサからのデータと組み合わせられ、頭部姿勢を確立する。
行為1420では、視認デバイスのプロセッサが、頭部姿勢の追跡のためのルーチンに入る。捕捉デバイスは、ユーザがその頭部を移動させるにつれて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定し続ける。
行為1430では、プロセッサが、頭部姿勢が喪失されたかどうかを決定する。頭部姿勢は、低特徴入手をもたらし得る、あまりに多くの反射性表面、低光量、何もない壁、屋外等、「エッジ」ケースに起因して、または移動し、マップの一部を形成する、群集等、動的ケースのため、喪失された状態になり得る。1430におけるルーチンは、頭部姿勢が喪失されたかどうかを決定するための十分な時間を可能にするために、ある時間量、例えば、10秒が経過することを可能にする。頭部姿勢が喪失されていない場合、プロセッサは、1420に戻り、再び、頭部姿勢の追跡に入る。
頭部姿勢が、行為1430において喪失された場合、プロセッサは、1440において、頭部姿勢を復元するためのルーチンに入る。頭部姿勢が、低光量に起因して喪失された場合、以下のメッセージ等のメッセージが、視認デバイスのディスプレイを通してユーザに表示される。
システムが、低光量条件を検出中です。より光の多いエリアに移動してください。
システムは、十分な光が利用可能であるかどうかと、頭部姿勢が復元され得るかどうかとを監視し続けるであろう。システムは、代替として、表面の低テクスチャが頭部姿勢を喪失させていることを決定し得、その場合、ユーザは、表面の捕捉を改良するための提案として、以下のプロンプトがディスプレイ内に与えられる。
システムは、微細なテクスチャを伴う十分な表面を検出することができません。表面のテクスチャが粗くなく、テクスチャがより精緻化されたエリアに移動してください。
行為1450では、プロセッサは、頭部姿勢復元が失敗したかどうかを決定するためのルーチンに入る。頭部姿勢復元が失敗していない(すなわち、頭部姿勢復元が成功した)場合、プロセッサは、再び、頭部姿勢の追跡に入ることによって、行為1420に戻る。If頭部姿勢復元が失敗した場合、プロセッサは、行為1410に戻り、新しいセッションを確立する。新しいセッションの一部として、全てのキャッシュされたデータは、無効化され、以降、頭部姿勢は、新しく確立される。
図50は、コンピュータシステム1900の例示的形態における機械の略図表現を示し、機械に本明細書で議論される方法論のうちの任意の1つ以上のものを実施させるための命令のセットが、いくつかの実施形態に従って実行されてもよい。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続(例えば、ネットワーク化)されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々にまたはともに、命令のセット(または複数のセット)を実行し、本明細書で議論される方法論のうちの任意の1つ以上のものを実施する、機械の任意の集合を含むものと捉えられるものとする。
例示的コンピュータシステム1900は、プロセッサ1902(例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、または両方)と、メインメモリ1904(例えば、読取専用メモリ(ROM)、フラッシュメモリ、動的ランダムアクセスメモリ(DRAM)例えば、同期DRAM(SDRAM)またはRambus DRAM(RDRAM)等)と、静的メモリ1906(例えば、フラッシュメモリ、静的ランダムアクセスメモリ(SRAM)等)とを含み、これらは、バス1908を介して相互に通信する。
コンピュータシステム1900はさらに、ディスクドライブユニット1916と、ネットワークインターフェースデバイス1920とを含んでもよい。
ディスクドライブユニット1916は、その上に本明細書に説明される方法論または機能のうちの任意の1つ以上のものを具現化する、1つ以上の命令のセット1924(例えば、ソフトウェア)が記憶される、機械可読媒体1922を含む。ソフトウェアはまた、コンピュータシステム1900、メインメモリ1904、およびプロセッサ1902によるその実行の間、完全にまたは少なくとも部分的に、メインメモリ1904内および/またはプロセッサ1902内に常駐し、同様に機械可読媒体を構成してもよい。
ソフトウェアはさらに、ネットワーク18を経由して、ネットワークインターフェースデバイス1920を介して、伝送または受信されてもよい。
コンピュータシステム1900は、プロジェクタを駆動し、光を生成するために使用される、ドライバチップ1950を含む。ドライバチップ1950は、その独自のデータ記憶装置1960と、その独自のプロセッサ1962とを含む。
機械可読媒体1922が、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、1つ以上の命令のセットを記憶する、単一媒体または複数の媒体(例えば、集中型または分散型データベースおよび/または関連付けられるキャッシュおよびサーバ)を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に、本発明の方法論のうちの任意の1つ以上のものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張(AR)環境に関連して説明される。本明細書に説明される技法の一部または全部は、MR環境、またはより一般的には、他のXR環境およびVR環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク(クラウド等)、離散アプリケーション、および/またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図38は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密候補マップは、より小さい候補マップより優先されてもよい。
そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。
本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、CPUチップ、GPUチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の1つ以上のプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ASIC等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、1つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。
さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末(PDA)、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。
また、コンピュータは、1つ以上の入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力/出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および/または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力/出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。
そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカル面積ネットワークまたは広域ネットワークとしての形態を含む、任意の好適な形態の1つ以上のネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。
また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか1つを採用する、1つ以上のプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および/またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。
本側面では、本開示は、1つ以上のコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される種々の実施形態を実装する方法を行う、1つ以上のプログラムで符号化される、コンピュータ可読記憶媒体(または複数のコンピュータ可読媒体)(例えば、コンピュータメモリ、1つ以上のフロッピー(登録商標)ディスク、コンパクトディスク(CD)、光学ディスク、デジタルビデオディスク(DVD)、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体)として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、前述のように、その上に記憶される1つまたは複数のプログラムが、本開示の種々の側面を実装するように1つ以上の異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造(すなわち、製造品)または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。
用語「プログラム」または「ソフトウェア」は、前述のように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、1つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。
コンピュータ実行可能命令は、1つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。
また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。
本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。
また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。
請求項要素を修飾するための請求項における「第1の」、「第2の」、「第3の」等の順序の用語の使用は、単独では、別の要素と比べた1つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、(順序の用語の使用のためであるが)ある名前を有する1つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。
また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「~を含む」、「~を備える」、または「~を有する」、「~を含有する」、「~を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (16)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862718357P | 2018-08-13 | 2018-08-13 | |
US62/718,357 | 2018-08-13 | ||
US201862742237P | 2018-10-05 | 2018-10-05 | |
US62/742,237 | 2018-10-05 | ||
US201962812935P | 2019-03-01 | 2019-03-01 | |
US62/812,935 | 2019-03-01 | ||
US201962815955P | 2019-03-08 | 2019-03-08 | |
US62/815,955 | 2019-03-08 | ||
US201962868786P | 2019-06-28 | 2019-06-28 | |
US62/868,786 | 2019-06-28 | ||
US201962870954P | 2019-07-05 | 2019-07-05 | |
US62/870,954 | 2019-07-05 | ||
US201962884109P | 2019-08-07 | 2019-08-07 | |
US62/884,109 | 2019-08-07 | ||
PCT/US2019/046240 WO2020036898A1 (en) | 2018-08-13 | 2019-08-12 | A cross reality system |
JP2021507660A JP7445642B2 (ja) | 2018-08-13 | 2019-08-12 | クロスリアリティシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507660A Division JP7445642B2 (ja) | 2018-08-13 | 2019-08-12 | クロスリアリティシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024009071A true JP2024009071A (ja) | 2024-01-19 |
JP2024009071A5 JP2024009071A5 (ja) | 2024-02-20 |
Family
ID=69525776
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507660A Active JP7445642B2 (ja) | 2018-08-13 | 2019-08-12 | クロスリアリティシステム |
JP2023193577A Pending JP2024009071A (ja) | 2018-08-13 | 2023-11-14 | クロスリアリティシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507660A Active JP7445642B2 (ja) | 2018-08-13 | 2019-08-12 | クロスリアリティシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10957112B2 (ja) |
EP (1) | EP3837674A4 (ja) |
JP (2) | JP7445642B2 (ja) |
CN (1) | CN112805750A (ja) |
WO (1) | WO2020036898A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140392B1 (en) | 2017-06-29 | 2018-11-27 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
US10254941B2 (en) | 2017-06-29 | 2019-04-09 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
JP7445642B2 (ja) | 2018-08-13 | 2024-03-07 | マジック リープ, インコーポレイテッド | クロスリアリティシステム |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
US10922449B2 (en) | 2018-11-21 | 2021-02-16 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
US11625806B2 (en) * | 2019-01-23 | 2023-04-11 | Qualcomm Incorporated | Methods and apparatus for standardized APIs for split rendering |
GB2582657B (en) * | 2019-03-29 | 2021-09-15 | Sony Interactive Entertainment Inc | User tracking system using a camera mounted on the user and an external camera |
US11748445B1 (en) * | 2019-04-30 | 2023-09-05 | Apple Inc. | Techniques for managing feature maps |
US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
US20220335693A1 (en) * | 2019-07-31 | 2022-10-20 | Nippon Telegraph And Telephone Corporation | Mixed reality space sharing system, sharing information management server, mixed reality terminal, mixed reality space sharing method, and sharing information management program |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
CN114616534A (zh) | 2019-10-15 | 2022-06-10 | 奇跃公司 | 具有无线指纹的交叉现实系统 |
JP2023504775A (ja) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム |
EP4073763A4 (en) | 2019-12-09 | 2023-12-27 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
CN115053262A (zh) * | 2020-02-05 | 2022-09-13 | 麦克赛尔株式会社 | 空间识别系统、空间识别方法、信息终端以及服务器装置 |
WO2021163295A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
US11562525B2 (en) | 2020-02-13 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
US11410395B2 (en) | 2020-02-13 | 2022-08-09 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实系统 |
US11263371B2 (en) | 2020-03-03 | 2022-03-01 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
US11688073B2 (en) * | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
US11514203B2 (en) * | 2020-05-18 | 2022-11-29 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
CN111815779A (zh) * | 2020-06-29 | 2020-10-23 | 浙江商汤科技开发有限公司 | 对象展示方法及装置、定位方法及装置以及电子设备 |
SE2030252A1 (en) | 2020-08-13 | 2022-02-14 | Nagoon AB | Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world |
CN114190922B (zh) * | 2020-09-18 | 2023-04-21 | 四川大学 | Tms头动检测方法 |
WO2022074294A1 (en) * | 2020-10-06 | 2022-04-14 | Nokia Technologies Oy | Network-based spatial computing for extended reality (xr) applications |
EP4015996A1 (en) * | 2020-12-17 | 2022-06-22 | Siemens Aktiengesellschaft | Method for generating a map for augmented reality devices in an industrial facility |
US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
JPWO2023026700A1 (ja) * | 2021-08-26 | 2023-03-02 | ||
EP4160521A1 (en) * | 2021-09-30 | 2023-04-05 | Siemens Aktiengesellschaft | Processing a picture section with an augmented reality device |
WO2023052485A1 (en) * | 2021-09-30 | 2023-04-06 | Siemens Aktiengesellschaft | Processing a picture section with an augmented reality device |
WO2023102552A1 (en) * | 2021-12-03 | 2023-06-08 | Hover Inc. | System and methods for validating imagery pipelines |
US11682180B1 (en) * | 2021-12-09 | 2023-06-20 | Qualcomm Incorporated | Anchoring virtual content to physical surfaces |
WO2024010220A1 (ko) * | 2022-07-06 | 2024-01-11 | 삼성전자 주식회사 | 거리 센서 활성화 방법 및 전자 장치 |
EP4336458A1 (de) * | 2022-09-08 | 2024-03-13 | Viewlicity GmbH | Verfahren und systeme zum betreiben einer anzeigeeinrichtung einer simulation |
Family Cites Families (164)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100483806B1 (ko) | 2002-07-18 | 2005-04-20 | 한국과학기술원 | 예제동작을 이용한 영상기반 동작복원방법 |
US20050228849A1 (en) | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
US7583858B2 (en) | 2004-10-12 | 2009-09-01 | Eastman Kodak Company | Image processing based on direction of gravity |
US20080303787A1 (en) | 2005-10-21 | 2008-12-11 | Zheng Yu Brian | Touch Screen Apparatus And Methods |
CA2659672A1 (en) | 2006-06-26 | 2008-01-03 | Icosystem Corporation | Methods and systems for interactive customization of avatars and other animate or inanimate items in video games |
US8781162B2 (en) | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
US20080090659A1 (en) | 2006-10-12 | 2008-04-17 | Maximino Aguilar | Virtual world event notification from a persistent world game server in a logically partitioned game console |
JP4292426B2 (ja) | 2007-05-15 | 2009-07-08 | ソニー株式会社 | 撮像装置および撮像データ補正方法 |
SG183690A1 (en) | 2007-08-06 | 2012-09-27 | Trx Systems Inc | Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors |
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
GB0818561D0 (en) * | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
US8839121B2 (en) | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
KR20100138725A (ko) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
US9119027B2 (en) | 2009-10-06 | 2015-08-25 | Facebook, Inc. | Sharing of location-based content item in social networking service |
US8185596B2 (en) | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
JP2013141049A (ja) * | 2010-03-24 | 2013-07-18 | Hitachi Ltd | 世界座標系データベースを利用したサーバ及び端末 |
US10580051B2 (en) | 2010-05-18 | 2020-03-03 | Google Llc | Background element associated with an application installed in a browser application |
KR101686171B1 (ko) | 2010-06-08 | 2016-12-13 | 삼성전자주식회사 | 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 |
WO2012006578A2 (en) | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
EP2691935A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
US8526368B2 (en) | 2011-05-17 | 2013-09-03 | Qualcomm Incorporated | Wi-Fi access point characteristics database |
US20120314031A1 (en) | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
US9082214B2 (en) | 2011-07-01 | 2015-07-14 | Disney Enterprises, Inc. | 3D drawing system for providing a real time, personalized, and immersive artistic experience |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
CN103959308B (zh) | 2011-08-31 | 2017-09-19 | Metaio有限公司 | 以参考特征匹配图像特征的方法 |
US8243102B1 (en) | 2011-10-12 | 2012-08-14 | Google Inc. | Derivative-based selection of zones for banded map display |
US20130141419A1 (en) * | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
WO2013101753A1 (en) | 2011-12-30 | 2013-07-04 | Mako Surgical Corp. | Systems and methods for customizing interactive haptic boundaries |
US9530221B2 (en) | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
JP6208151B2 (ja) | 2012-02-06 | 2017-10-04 | ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド | 拡張現実のためのブックオブジェクト |
CN103297677B (zh) | 2012-02-24 | 2016-07-06 | 卡西欧计算机株式会社 | 生成重构图像的图像生成装置以及图像生成方法 |
US9293118B2 (en) * | 2012-03-30 | 2016-03-22 | Sony Corporation | Client device |
KR20130110907A (ko) | 2012-03-30 | 2013-10-10 | 삼성전자주식회사 | 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법 |
US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
WO2013167864A1 (en) * | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
US9311750B2 (en) | 2012-06-05 | 2016-04-12 | Apple Inc. | Rotation operations in a mapping application |
WO2013188464A1 (en) | 2012-06-11 | 2013-12-19 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
GB2506338A (en) | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
US8829409B2 (en) | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9349072B2 (en) | 2013-03-11 | 2016-05-24 | Microsoft Technology Licensing, Llc | Local feature based image compression |
US20140267234A1 (en) * | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9154919B2 (en) | 2013-04-22 | 2015-10-06 | Alcatel Lucent | Localization systems and methods |
EP2808842B1 (en) * | 2013-05-31 | 2017-08-16 | Technische Universität München | An apparatus and method for tracking and reconstructing three-dimensional objects |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9406137B2 (en) | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
WO2014202258A1 (en) | 2013-06-21 | 2014-12-24 | National University Of Ireland, Maynooth | A method for mapping an environment |
US9779548B2 (en) | 2013-06-25 | 2017-10-03 | Jordan Kent Weisman | Multiuser augmented reality system |
US9264702B2 (en) * | 2013-08-19 | 2016-02-16 | Qualcomm Incorporated | Automatic calibration of scene camera for optical see-through head mounted display |
US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
AU2013237718A1 (en) * | 2013-10-04 | 2015-04-23 | Canon Kabushiki Kaisha | Method, apparatus and system for selecting a frame |
KR102493498B1 (ko) | 2013-11-27 | 2023-01-27 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US9877158B2 (en) | 2013-12-20 | 2018-01-23 | Intel Corporation | Wi-Fi scan scheduling and power adaptation for low-power indoor location |
US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9830679B2 (en) | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
US10380410B2 (en) | 2014-04-07 | 2019-08-13 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
US9754167B1 (en) * | 2014-04-17 | 2017-09-05 | Leap Motion, Inc. | Safety for wearable virtual reality devices via object detection and tracking |
WO2015161307A1 (en) * | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
CN106937531B (zh) * | 2014-06-14 | 2020-11-06 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
US10068373B2 (en) | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
CN104143212A (zh) | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | 基于穿戴设备的增强现实方法及系统 |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10509865B2 (en) | 2014-09-18 | 2019-12-17 | Google Llc | Dress form for three-dimensional drawing inside virtual reality environment |
US20200252233A1 (en) | 2014-09-24 | 2020-08-06 | James Thomas O'Keeffe | System and method for user profile enabled smart building control |
US10719727B2 (en) | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
US9754419B2 (en) * | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
CN107209247B (zh) | 2014-12-04 | 2021-06-18 | 赫尔环球有限公司 | 支持数据的协作收集 |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US9685005B2 (en) | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
US20160300389A1 (en) | 2015-04-08 | 2016-10-13 | Exactigo, Inc. | Correlated immersive virtual simulation for indoor navigation |
US9467718B1 (en) | 2015-05-06 | 2016-10-11 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a content commentary community |
KR101725478B1 (ko) | 2015-05-21 | 2017-04-11 | 주식회사 맥스트 | 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템 |
US20160381118A1 (en) | 2015-06-23 | 2016-12-29 | Microsoft Technology Licensing, Llc | Extracting and formatting content from web-resources |
WO2017039308A1 (en) * | 2015-08-31 | 2017-03-09 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
ES2920837T3 (es) | 2015-09-10 | 2022-08-10 | Oriient New Media Ltd | Navegar, seguir y posicionar los dispositivos móviles en zonas sin GPS o con GPS inexacto con la generación automática de mapas |
US10706465B2 (en) | 2015-09-14 | 2020-07-07 | The Toronto-Dominion Bank | Connected device-based property evaluation |
EP3353750B1 (en) | 2015-09-25 | 2021-09-01 | Magic Leap, Inc. | Methods and systems for detecting and combining structural features in 3d reconstruction |
US20170094227A1 (en) | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
GB201517101D0 (en) | 2015-09-28 | 2015-11-11 | Univ Essex Entpr Ltd | Mixed-reality system |
US10471355B2 (en) * | 2015-10-21 | 2019-11-12 | Sharp Kabushiki Kaisha | Display system, method of controlling display system, image generation control program, and computer-readable storage medium |
US9706366B2 (en) | 2015-11-06 | 2017-07-11 | International Business Machines Corporation | WiFi-fingerprint based indoor localization map |
US10254845B2 (en) | 2016-01-05 | 2019-04-09 | Intel Corporation | Hand gesture recognition for cursor control |
US10523865B2 (en) | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
EP3411779A4 (en) * | 2016-02-05 | 2019-02-20 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR INCREASED REALITY |
WO2017143303A1 (en) | 2016-02-17 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for sharing virtual elements |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
JP6776609B2 (ja) | 2016-02-22 | 2020-10-28 | デクセリアルズ株式会社 | 異方性導電フィルム |
US20180122143A1 (en) | 2016-03-15 | 2018-05-03 | Sutherland Cook Ellwood, JR. | Hybrid photonic vr/ar systems |
US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
US10802147B2 (en) | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
AU2017203641B2 (en) | 2016-05-31 | 2018-05-24 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
WO2018031621A1 (en) | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
JP6880174B2 (ja) | 2016-08-22 | 2021-06-02 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想現実、拡張現実、および複合現実システムおよび方法 |
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
US10007868B2 (en) | 2016-09-19 | 2018-06-26 | Adobe Systems Incorporated | Font replacement based on visual similarity |
US10354129B2 (en) | 2017-01-03 | 2019-07-16 | Intel Corporation | Hand gesture recognition for virtual reality and augmented reality devices |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
US11275163B2 (en) | 2017-01-25 | 2022-03-15 | Korea Institute Of Science And Technology | Slam method and apparatus robust to wireless environment change |
US10460489B2 (en) | 2017-03-15 | 2019-10-29 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring scaling parameters |
KR102517876B1 (ko) | 2017-03-17 | 2023-04-03 | 매직 립, 인코포레이티드 | 증강 현실 데이터를 레코딩하기 위한 기술 |
US11017592B2 (en) | 2017-03-30 | 2021-05-25 | Magic Leap, Inc. | Centralized rendering |
US10600252B2 (en) | 2017-03-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
US9754397B1 (en) | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
CA3060209A1 (en) | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
US11417091B2 (en) | 2017-05-30 | 2022-08-16 | Ptc Inc. | Use of coordinated local user devices during a shared augmented reality session |
CN109145927A (zh) | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种对形变图像的目标识别方法及装置 |
JP6585665B2 (ja) * | 2017-06-29 | 2019-10-02 | ファナック株式会社 | 仮想オブジェクト表示システム |
US10503955B2 (en) | 2017-08-29 | 2019-12-10 | Synaptics Incorporated | Device with improved circuit positioning |
WO2019046774A1 (en) | 2017-09-01 | 2019-03-07 | Memorial Sloan Kettering Cancer Center | SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK |
US10546387B2 (en) | 2017-09-08 | 2020-01-28 | Qualcomm Incorporated | Pose determination with semantic segmentation |
US10685456B2 (en) | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
US10612929B2 (en) | 2017-10-17 | 2020-04-07 | AI Incorporated | Discovering and plotting the boundary of an enclosure |
CN111344716A (zh) | 2017-11-14 | 2020-06-26 | 奇跃公司 | 经由单应性变换适应的全卷积兴趣点检测和描述 |
CA3084057A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
CN111684495A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
US11237004B2 (en) | 2018-03-27 | 2022-02-01 | Uatc, Llc | Log trajectory estimation for globally consistent maps |
US10838574B2 (en) | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
US10803671B2 (en) | 2018-05-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Authoring content in three-dimensional environment |
US11202006B2 (en) | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
CN110515452B (zh) | 2018-05-22 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
US10706629B2 (en) | 2018-06-15 | 2020-07-07 | Dell Products, L.P. | Coordinate override in virtual, augmented, and mixed reality (xR) applications |
CN112639664B (zh) | 2018-07-24 | 2023-03-24 | 奇跃公司 | 用于确定和/或评价图像显示设备的定位地图的方法和装置 |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
JP7445642B2 (ja) | 2018-08-13 | 2024-03-07 | マジック リープ, インコーポレイテッド | クロスリアリティシステム |
WO2020049333A1 (en) | 2018-09-04 | 2020-03-12 | Aktiia Sa | System for determining a blood pressure of one or a plurality of users |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
US10854007B2 (en) | 2018-12-03 | 2020-12-01 | Microsoft Technology Licensing, Llc | Space models for mixed reality |
US20200211290A1 (en) | 2018-12-26 | 2020-07-02 | Lg Electronics Inc. | Xr device for providing ar mode and vr mode and method for controlling the same |
WO2020192039A1 (en) | 2019-03-27 | 2020-10-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Three-dimensional localization using light-depth images |
US11151792B2 (en) | 2019-04-26 | 2021-10-19 | Google Llc | System and method for creating persistent mappings in augmented reality |
US10748302B1 (en) | 2019-05-02 | 2020-08-18 | Apple Inc. | Multiple user simultaneous localization and mapping (SLAM) |
US11010921B2 (en) | 2019-05-16 | 2021-05-18 | Qualcomm Incorporated | Distributed pose estimation |
US20200364937A1 (en) | 2019-05-16 | 2020-11-19 | Subvrsive, Inc. | System-adaptive augmented reality |
US11145083B2 (en) | 2019-05-21 | 2021-10-12 | Microsoft Technology Licensing, Llc | Image-based localization |
US10854012B1 (en) | 2019-05-29 | 2020-12-01 | Dell Products, L.P. | Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
US20200380263A1 (en) | 2019-05-29 | 2020-12-03 | Gyrfalcon Technology Inc. | Detecting key frames in video compression in an artificial intelligence semiconductor solution |
US10852828B1 (en) | 2019-07-17 | 2020-12-01 | Dell Products, L.P. | Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications |
US10936874B1 (en) | 2019-08-13 | 2021-03-02 | Dell Products, L.P. | Controller gestures in virtual, augmented, and mixed reality (xR) applications |
KR20190104928A (ko) | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | Xr 디바이스 및 xr 디바이스 제어 방법 |
US11270515B2 (en) | 2019-09-04 | 2022-03-08 | Qualcomm Incorporated | Virtual keyboard |
US11698674B2 (en) | 2019-09-09 | 2023-07-11 | Apple Inc. | Multimodal inputs for computer-generated reality |
CN114616534A (zh) | 2019-10-15 | 2022-06-10 | 奇跃公司 | 具有无线指纹的交叉现实系统 |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
EP4052086A4 (en) | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES |
JP2023504775A (ja) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム |
EP4073763A4 (en) | 2019-12-09 | 2023-12-27 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT |
US11410395B2 (en) | 2020-02-13 | 2022-08-09 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
WO2021163289A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system for large scale environments |
WO2021163295A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
US11562525B2 (en) | 2020-02-13 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实系统 |
WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
-
2019
- 2019-08-12 JP JP2021507660A patent/JP7445642B2/ja active Active
- 2019-08-12 EP EP19849090.6A patent/EP3837674A4/en active Pending
- 2019-08-12 CN CN201980066842.8A patent/CN112805750A/zh active Pending
- 2019-08-12 WO PCT/US2019/046240 patent/WO2020036898A1/en unknown
- 2019-08-12 US US16/538,759 patent/US10957112B2/en active Active
-
2021
- 2021-03-22 US US17/208,844 patent/US11386629B2/en active Active
-
2023
- 2023-11-14 JP JP2023193577A patent/JP2024009071A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020036898A1 (en) | 2020-02-20 |
CN112805750A (zh) | 2021-05-14 |
EP3837674A4 (en) | 2022-05-18 |
US20200090407A1 (en) | 2020-03-19 |
JP2021534491A (ja) | 2021-12-09 |
US10957112B2 (en) | 2021-03-23 |
US11386629B2 (en) | 2022-07-12 |
JP7445642B2 (ja) | 2024-03-07 |
US20210209859A1 (en) | 2021-07-08 |
EP3837674A1 (en) | 2021-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7445642B2 (ja) | クロスリアリティシステム | |
US11978159B2 (en) | Cross reality system | |
US11568605B2 (en) | Cross reality system with localization service | |
US11257294B2 (en) | Cross reality system supporting multiple device types | |
US20240062491A1 (en) | Cross reality system with accurate shared maps | |
JP2023504570A (ja) | 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム | |
JP2023514206A (ja) | 大規模環境のためのクロスリアリティシステム | |
JP2023504775A (ja) | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム | |
JP2023515524A (ja) | 高速位置特定を伴うクロスリアリティシステム | |
JP2022551735A (ja) | 無線フィンガプリントを用いたクロスリアリティシステム | |
JP2023514207A (ja) | 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム | |
JP2023501952A (ja) | 持続座標フレームについての品質情報を伴うクロスリアリティシステム | |
JP2023514208A (ja) | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム | |
JP2023524446A (ja) | 大規模環境のためのクロスリアリティシステム | |
JP2023515796A (ja) | Wifi/gpsベースのマップマージを伴うクロスリアリティシステム | |
JP2023515577A (ja) | 大規模環境再構築のためのクロスリアリティシステム | |
JP2022509731A (ja) | クロスリアリティシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |