JPWO2021096931A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021096931A5
JPWO2021096931A5 JP2022526729A JP2022526729A JPWO2021096931A5 JP WO2021096931 A5 JPWO2021096931 A5 JP WO2021096931A5 JP 2022526729 A JP2022526729 A JP 2022526729A JP 2022526729 A JP2022526729 A JP 2022526729A JP WO2021096931 A5 JPWO2021096931 A5 JP WO2021096931A5
Authority
JP
Japan
Prior art keywords
virtual content
data structure
electronic device
portable electronic
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022526729A
Other languages
Japanese (ja)
Other versions
JP2023504775A (en
Publication date
Application filed filed Critical
Priority claimed from PCT/US2020/059975 external-priority patent/WO2021096931A1/en
Publication of JP2023504775A publication Critical patent/JP2023504775A/en
Publication of JPWO2021096931A5 publication Critical patent/JPWO2021096931A5/ja
Pending legal-status Critical Current

Links

Description

前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
(項目1)
共有場所ベースのコンテンツを仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスに提供するための、分散型コンピューティング環境内のネットワーク化されたリソースであって、前記ネットワーク化されたリソースは、
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の領域を表し、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の場所を関連付ける情報と、
前記3D環境内の前記個別の領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記複数のデータ構造によって表される個別の領域に対する前記ポータブル電子デバイスの場所に基づいて、前記複数のデータ構造の少なくとも1つのデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに選択的に提供することと
を行わせる、コンピュータ実行可能命令と
を備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。
(項目2)
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、さらに、前記ポータブル電子デバイスのアクセス権を決定する認証サービスを実装し、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスのアクセス権および前記少なくとも1つのデータ構造と関連付けられるアクセス属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、
項目1に記載のネットワーク化されたリソース。
(項目3)
前記複数のデータ構造の各データ構造はさらに、パブリック属性を備え、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記少なくとも1つのデータ構造のパブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、
項目1に記載のネットワーク化されたリソース。
(項目4)
前記複数のデータ構造の一部に関して、前記仮想コンテンツへのリンクは、仮想コンテンツを供給するアプリケーションへのリンクを備える、項目1に記載のネットワーク化されたリソース。
(項目5)
前記複数のデータ構造の各データ構造はさらに、前記ポータブル電子デバイス上のプリズムのための表示プロパティを備え、前記プリズムは、その中に前記データ構造にリンクされる前記仮想コンテンツが表示される体積である、項目1に記載のネットワーク化されたリソース。
(項目6)
前記表示プロパティは、前記プリズムの寸法を備える、項目5に記載のネットワーク化されたリソース。
(項目7)
前記表示プロパティは、物理的表面に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動を備える、項目5に記載のネットワーク化されたリソース。
(項目8)
前記表示プロパティは、マップと関連付けられる持続場所からの前記プリズムのオフセット、前記プリズムの空間配向、前記ポータブル電子デバイスの場所に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動、および前記ポータブル電子デバイスが面している方向に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動のうちの1つまたはそれを上回るものを備える、項目5に記載のネットワーク化されたリソース。
(項目9)
ポータブル電子デバイスを動作させ、仮想コンテンツを3D環境内にレンダリングする方法であって、1つまたはそれを上回るプロセッサを用いて、前記方法は、
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、
ネットワークを経由して、位置特定サービスに、前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される仮想コンテンツをレンダリングすることと
を含む、方法。
(項目10)
前記仮想コンテンツを前記個別の領域内にレンダリングすることは、前記個別の領域を表す前記データ構造に基づいて設定されたパラメータを有するプリズムを作成することを含む、項目9に記載の方法。
(項目11)
前記仮想コンテンツは、ネットワーク上の仮想コンテンツの場所のインジケータとして、前記1つまたはそれを上回るデータ構造のうちの少なくとも1つ内に表される、項目9に記載の方法。
(項目12)
前記仮想コンテンツをレンダリングすることは、前記ポータブル電子デバイス上で、前記仮想コンテンツを生成するアプリケーションを実行することを含む、項目9に記載の方法。
(項目13)
前記仮想コンテンツをレンダリングすることはさらに、
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることと
を含む、項目12に記載の方法。
(項目14)
前記ポータブル電子デバイスが、前記1つまたはそれを上回るデータ構造のデータ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することと
をさらに含む、項目9に記載の方法。
(項目15)
前記受信された1つまたはそれを上回るデータ構造は、データ構造の第1のセットを備え、
前記データ構造の第1のセットは、第1の時間に受信され、
前記方法はさらに、
第1のデータ構造と関連付けられるレンダリング情報を前記データ構造の第1のセット内に記憶することと、
前記第1の時間後、第2の時間において、データ構造の第2のセットを受信することと、
前記第1のデータ構造が前記第2のセット内に含有されないことの決定に基づいて、前記第1のデータ構造と関連付けられるレンダリング情報を削除することと
を含む、項目9に記載の方法。
(項目16)
クロスリアリティシステム内で動作するように構成される電子デバイスであって、前記電子デバイスは、
3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
少なくとも1つのプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、前記少なくとも1つのコンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサのプロセッサ上で実行されると、
前記複数の画像の少なくとも第1の部分に基づいて、前記3D環境内の位置を表すためのローカル座標フレームを維持することと、
1つまたはそれを上回るアプリケーションのアプリケーションによって生成された仮想コンテンツが、プリズム内にレンダリングされるように、前記1つまたはそれを上回るアプリケーションと関連付けられるプリズムを管理することと、
ネットワークを経由して、サービスに、前記1つまたはそれを上回るセンサの出力から導出される情報を送信することと、
前記サービスから、
位置特定情報と、
個別の仮想コンテンツおよび前記仮想コンテンツをレンダリングするための前記3D環境内の領域を表すデータ構造と
を受信することと、
前記個別の仮想コンテンツが前記プリズム内にレンダリングされるように、前記データ構造と関連付けられるプリズムを作成することと
を行わせる、少なくとも1つのコンピュータ可読媒体と、
を備える、電子デバイス。
(項目17)
前記コンピュータ実行可能命令はさらに、
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することと、
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることと
を行わせるためのコンピュータ実行可能命令を備える、項目16に記載の電子デバイス。
(項目18)
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、ネットワークを経由して、前記個別の仮想コンテンツにアクセスすることを含む、項目17に記載の電子デバイス。
(項目19)
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記ネットワークを経由して、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、前記個別の仮想コンテンツを生成するアプリケーションをダウンロードすることを含む、項目18に記載の電子デバイス。
(項目20)
前記コンピュータ実行可能命令はさらに、
前記電子デバイスが前記データ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造と関連付けられる前記プリズムを削除することと
を行わせるための命令を備える、項目16に記載の電子デバイス。
(項目21)
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることはさらに、前記電子デバイスの座標系を使用して、前記仮想コンテンツをレンダリングすべき前記3D環境内の座標のセットを決定することを含む、項目17に記載の電子デバイス。
(項目22)
仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスとともに動作可能なクロスリアリティシステムのための場所ベースの仮想コンテンツをキュレートする方法であって、前記方法は、1つまたはそれを上回るプロセッサを用いて、
仮想コンテンツが表示されるべき前記3D環境内の領域を表すデータ構造を生成することと、
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することと、
前記データ構造と、共有座標系に対して前記複数のポータブル電子デバイスを位置特定するために使用されるマップ内の場所とを関連付けることと
を含む、方法。
(項目23)
アクセス許可を前記データ構造上に設定することをさらに含む、項目22に記載の方法。
(項目24)
アクセス許可を前記データ構造上に設定することは、前記データ構造が前記複数のポータブル電子デバイスのユーザの具体的カテゴリまたは複数のカテゴリによってアクセス可能であることを示すことを含む、項目23に記載の方法。
(項目25)
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することは、前記仮想コンテンツを生成するためのポータブル電子デバイス上で実行可能なアプリケーションを規定することを含む、項目22に記載の方法。
(項目26)
前記マップを使用する前記複数のポータブル電子デバイスを位置特定する位置特定サービスと関連させて、前記データ構造を記憶することをさらに含む、項目22に記載の方法。
(項目27)
ユーザインターフェースを通して、前記3D環境の領域および前記仮想コンテンツの仕様を受信することをさらに含む、項目22に記載の方法。
(項目28)
アプリケーションから、プログラミングインターフェースを通して、前記3D環境の領域および前記仮想コンテンツの仕様を受信することをさらに含む、項目22に記載の方法。
The foregoing description is provided by way of example and is not intended to be limiting.
The present invention provides, for example, the following.
(Item 1)
A networked resource within a distributed computing environment for providing shared location-based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources are
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment;
a plurality of data structures, each data structure of the plurality of data structures representing a separate area within the 3D environment in which virtual content is to be displayed, each data structure of the plurality of data structures comprising:
information associating the data structure with locations within the plurality of stored maps;
a link to virtual content for rendering within the discrete area within the 3D environment;
a plurality of data structures comprising;
computer-executable instructions, said computer-executable instructions, when executed by a processor of said one or more processors;
implementing a service that provides location information to a portable electronic device of the plurality of portable electronic devices, the location information identifying a location of the plurality of portable electronic devices relative to one or more shared maps; to show, to show,
selectively copying at least one data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices based on the location of the portable electronic device with respect to distinct regions represented by the plurality of data structures; to provide and
computer-executable instructions that cause
at least one computer-readable medium comprising:
A networked resource with.
(Item 2)
The computer-executable instructions, when executed by the processor, further implement an authentication service to determine access rights for the portable electronic device;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are based, in part, on access rights of the portable electronic device and access attributes associated with the at least one data structure. , determining whether to transmit the at least one data structure;
Networked resources as described in item 1.
(Item 3)
Each data structure of the plurality of data structures further includes a public attribute;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are configured to transmit the at least one data structure based, in part, on public attributes of the at least one data structure. decide whether or not to
Networked resources as described in item 1.
(Item 4)
The networked resource of item 1, wherein for some of the plurality of data structures, the link to virtual content comprises a link to an application that provides virtual content.
(Item 5)
Each data structure of the plurality of data structures further comprises display properties for a prism on the portable electronic device, the prism being a volume within which the virtual content linked to the data structure is displayed. A networked resource as described in item 1.
(Item 6)
6. The networked resource of item 5, wherein the display property comprises dimensions of the prism.
(Item 7)
6. The networked resource of item 5, wherein the display properties comprise the behavior of virtual content rendered within the prism relative to a physical surface.
(Item 8)
The display properties include an offset of the prism from a persistent location associated with a map, a spatial orientation of the prism, a behavior of virtual content rendered within the prism relative to a location of the portable electronic device, and a behavior of the virtual content rendered within the prism relative to the location of the portable electronic device. 6. The networked resource of item 5, comprising one or more of the behaviors of virtual content rendered within the prism with respect to a facing direction.
(Item 9)
A method of operating a portable electronic device to render virtual content within a 3D environment, using one or more processors, the method comprising:
generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
transmitting information indicative of the location and an indication of the location within the local coordinate frame to a location service via a network;
obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
rendering virtual content represented within the one or more data structures within a separate region of the one or more data structures;
including methods.
(Item 10)
10. The method of item 9, wherein rendering the virtual content within the discrete region includes creating a prism with parameters set based on the data structure representing the discrete region.
(Item 11)
10. The method of item 9, wherein the virtual content is represented in at least one of the one or more data structures as an indicator of virtual content location on a network.
(Item 12)
10. The method of item 9, wherein rendering the virtual content includes running an application that generates the virtual content on the portable electronic device.
(Item 13)
Rendering the virtual content further comprises:
determining whether the application is currently installed on the portable electronic device;
downloading the application to the portable electronic device based on determining that the application is not currently installed;
The method according to item 12, comprising:
(Item 14)
detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
based on the detection, deleting virtual content represented in the data structure;
The method according to item 9, further comprising:
(Item 15)
the received one or more data structures comprising a first set of data structures;
the first set of data structures is received at a first time;
The method further includes:
storing rendering information associated with a first data structure within the first set of data structures;
receiving a second set of data structures at a second time after the first time;
deleting rendering information associated with the first data structure based on a determination that the first data structure is not contained within the second set;
The method according to item 9, comprising:
(Item 16)
An electronic device configured to operate within a cross-reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
at least one processor;
at least one computer-readable medium storing computer-executable instructions, the computer-executable instructions, when executed on a processor of the at least one processor;
maintaining a local coordinate frame for representing a position within the 3D environment based on at least a first portion of the plurality of images;
managing a prism associated with the one or more applications such that virtual content generated by an application of the one or more applications is rendered within the prism;
transmitting information derived from the output of the one or more sensors to a service via a network;
From the said service,
location information and
a data structure representing a separate virtual content and a region within the 3D environment for rendering the virtual content;
and to receive
creating a prism associated with the data structure such that the discrete virtual content is rendered within the prism;
at least one computer readable medium;
An electronic device comprising:
(Item 17)
The computer-executable instructions further include:
retrieving the individual virtual content based on information in the data structure;
rendering the obtained virtual content within the prism;
17. The electronic device of item 16, comprising computer-executable instructions for causing.
(Item 18)
Obtaining the individual virtual content based on information in the data structure includes accessing the individual virtual content via a network based on an indicator of the location of the virtual content in the data structure. The electronic device according to item 17, comprising:
(Item 19)
retrieving the individual virtual content based on information in the data structure generates the individual virtual content based on an indicator of the location of the virtual content in the data structure via the network; 19. The electronic device of item 18, comprising: downloading an application for downloading.
(Item 20)
The computer-executable instructions further include:
detecting that the electronic device has moved away from the area represented by the data structure;
based on the detection, deleting the prism associated with the data structure;
17. The electronic device according to item 16, comprising instructions for causing the electronic device to perform.
(Item 21)
Rendering the acquired virtual content into the prism further includes using a coordinate system of the electronic device to determine a set of coordinates within the 3D environment at which to render the virtual content. , the electronic device according to item 17.
(Item 22)
A method of curating location-based virtual content for a cross-reality system operable with a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the method comprising: Using a processor that surpasses
generating a data structure representing an area within the 3D environment in which virtual content is to be displayed;
storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment;
associating the data structure with a location in a map used to locate the plurality of portable electronic devices relative to a shared coordinate system;
including methods.
(Item 23)
23. The method of item 22, further comprising setting access permissions on the data structure.
(Item 24)
24. Setting access permissions on the data structure includes indicating that the data structure is accessible by a specific category or categories of users of the plurality of portable electronic devices. Method.
(Item 25)
Storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment defines an application executable on the portable electronic device to generate the virtual content. The method according to item 22, comprising:
(Item 26)
23. The method of item 22, further comprising storing the data structure in association with a location service that locates the plurality of portable electronic devices using the map.
(Item 27)
23. The method of item 22, further comprising receiving, through a user interface, specifications for regions of the 3D environment and the virtual content.
(Item 28)
23. The method of item 22, further comprising receiving specifications for regions of the 3D environment and the virtual content from an application through a programming interface.

Claims (52)

共有場所ベースのコンテンツを、仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスに提供するための、分散型コンピューティング環境内のネットワーク化されたリソースであって、前記ネットワーク化されたリソースは、
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップであって、前記複数の記憶されたマップは、複数の座標フレームを備え、前記複数の座標フレームのそれぞれは、前記3D環境内の1つまたはそれを上回る特徴点に基づいて決定される、複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の立体領域と関連付けられ、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の前記複数の座標フレームの座標フレームを関連付ける情報と、
前記3D環境内の前記個別の立体領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのうちの少なくとも1つのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、前記3D環境の前記複数の記憶されたマップ内の1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記ポータブル電子デバイスの場所が、前記データ構造と関連付けられる座標フレームの閾値距離内にあるとき、前記複数のデータ構造のデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに提供することと
を行わせる、コンピュータ実行可能命令と
備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。
A networked resource within a distributed computing environment for providing shared location-based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources that were
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment, the plurality of stored maps comprising a plurality of coordinate frames, each of the plurality of coordinate frames comprising one or more coordinate frames within the 3D environment; a plurality of stored maps determined based on the feature points;
a plurality of data structures, each data structure of the plurality of data structures being associated with a separate stereoscopic region within the 3D environment in which virtual content is to be displayed, and each data structure of the plurality of data structures comprising:
information associating the data structure with a coordinate frame of the plurality of coordinate frames in the plurality of stored maps;
a link to virtual content for rendering within the discrete volume area within the 3D environment;
a plurality of data structures comprising;
computer-executable instructions, said computer-executable instructions, when executed by at least one processor of said one or more processors;
implementing a service for providing location information to a portable electronic device of the plurality of portable electronic devices, wherein the location information corresponds to one or more of the plurality of stored maps of the 3D environment; locating the plurality of portable electronic devices relative to a shared map;
providing a copy of a data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices when a location of the portable electronic device is within a threshold distance of a coordinate frame associated with the data structure;
at least one computer-readable medium comprising computer-executable instructions for causing the
A networked resource with.
前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサによって実行されると、前記ポータブル電子デバイスのアクセス権を決定する認証サービスをさらに実装し、The computer-executable instructions, when executed by the at least one processor, further implement an authentication service to determine access rights for the portable electronic device;
前記データ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスの前記アクセス権および前記データ構造と関連付けられるアクセス属性に基づいて、前記データ構造を送信すべきかどうかを決定する、請求項1に記載のネットワーク化されたリソース。The computer-executable instructions for selectively providing the data structure to the portable electronic device provide the data structure based, in part, on the access rights of the portable electronic device and the access attributes associated with the data structure. The networked resource of claim 1, determining whether to transmit.
前記複数のデータ構造の各データ構造は、パブリック属性をさらに備え、Each data structure of the plurality of data structures further includes a public attribute;
前記データ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、少なくとも1つのデータ構造の前記パブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項1に記載のネットワーク化されたリソース。The computer-executable instructions for selectively providing the data structure to the portable electronic device determine whether to transmit the at least one data structure based, in part, on the public attribute of the at least one data structure. 2. The networked resource of claim 1, wherein the networked resource determines.
前記複数のデータ構造の一部に関して、前記仮想コンテンツへのリンクは、仮想コンテンツを供給するアプリケーションへのリンクを備える、請求項1に記載のネットワーク化されたリソース。2. The networked resource of claim 1, wherein for a portion of the plurality of data structures, the link to virtual content comprises a link to an application that provides virtual content. 前記複数のデータ構造の各データ構造は、前記立体領域のための表示プロパティをさらに備え、前記立体領域内に、前記データ構造にリンクされる前記仮想コンテンツが、レンダリングされる、請求項1に記載のネットワーク化されたリソース。2. Each data structure of the plurality of data structures further comprises display properties for the volumetric region within which the virtual content linked to the data structure is rendered. networked resources. 前記表示プロパティは、物理的表面に対して前記立体領域内にレンダリングされた仮想コンテンツの挙動を備える、請求項5に記載のネットワーク化されたリソース。6. The networked resource of claim 5, wherein the display properties comprise the behavior of virtual content rendered within the volumetric region relative to a physical surface. 前記表示プロパティは、前記立体領域の寸法、マップと関連付けられる持続座標フレームからの前記立体領域のオフセット、前記立体領域の空間配向、前記ポータブル電子デバイスの場所に対して前記立体領域内にレンダリングされた仮想コンテンツの挙動、および前記ポータブル電子デバイスが面している方向に対して前記立体領域内にレンダリングされた仮想コンテンツの挙動のうちの1つまたはそれを上回るものを備える、請求項5に記載のネットワーク化されたリソース。The display properties include dimensions of the volumetric region, an offset of the volumetric region from a persistent coordinate frame associated with a map, a spatial orientation of the volumetric region, and a display property rendered within the volumetric region relative to the location of the portable electronic device. 6. The method of claim 5, comprising one or more of the following: behavior of virtual content; and behavior of virtual content rendered within the stereoscopic region with respect to the direction in which the portable electronic device is facing. networked resources. 仮想コンテンツを3D環境内にレンダリングするためのポータブル電子デバイスの作動方法であって、前記方法は、1つまたはそれを上回るプロセッサを用いて、A method of operating a portable electronic device for rendering virtual content within a 3D environment, the method comprising: using one or more processors;
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
ネットワークを経由して、位置特定サービスに、前記3D環境内の前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、transmitting information indicating the location within the 3D environment and an indication of the location within the local coordinate frame to a location service via a network;
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される前記仮想コンテンツをレンダリングすることであって、前記仮想コンテンツは、実世界オブジェクトの上に合成される、ことと、rendering the virtual content represented in the one or more data structures within a discrete region of the one or more data structures, the virtual content comprising: be synthesized on top of
前記ポータブル電子デバイスが、前記1つまたはそれを上回るデータ構造のデータ構造によって表される領域から離れるように移動したことを検出することと、detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することとbased on the detection, deleting virtual content represented in the data structure;
を含む、方法。including methods.
前記仮想コンテンツを前記個別の領域内にレンダリングすることは、前記個別の領域を表す前記データ構造に基づいて設定されたパラメータを有するプリズムを作成することを含む、請求項8に記載の方法。9. The method of claim 8, wherein rendering the virtual content within the discrete region includes creating a prism with parameters set based on the data structure representing the discrete region. 前記仮想コンテンツは、ネットワーク上の仮想コンテンツの場所のインジケータとして、前記1つまたはそれを上回るデータ構造のうちの少なくとも1つ内に表される、請求項8に記載の方法。9. The method of claim 8, wherein the virtual content is represented in at least one of the one or more data structures as an indicator of virtual content location on a network. 前記仮想コンテンツをレンダリングすることは、前記ポータブル電子デバイス上で、前記仮想コンテンツを生成するアプリケーションを実行することを含む、請求項8に記載の方法。9. The method of claim 8, wherein rendering the virtual content includes running an application that generates the virtual content on the portable electronic device. 前記仮想コンテンツをレンダリングすることは、Rendering the virtual content comprises:
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、determining whether the application is currently installed on the portable electronic device;
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることとdownloading the application to the portable electronic device based on determining that the application is not currently installed;
をさらに含む、請求項11に記載の方法。12. The method of claim 11, further comprising:
前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサによって実行されると、The computer-executable instructions, when executed by the at least one processor,
前記ポータブル電子デバイスが、前記データ構造と関連付けられる持続座標の前記閾値距離の外に移動したことを検出することと、detecting that the portable electronic device has moved outside the threshold distance of persistent coordinates associated with the data structure;
前記検出に基づいて、前記データ構造の前記コピーを削除することとbased on the detection, deleting the copy of the data structure;
をさらに行う、請求項1に記載のネットワーク化されたリソース。2. The networked resource of claim 1, further comprising:
前記仮想コンテンツをレンダリングすることは、前記仮想コンテンツを表す光を投影し、前記投影された光が周囲光にオーバーレイするように、前記ポータブル電子デバイスの1つまたはそれを上回る光プロジェクタを作動させ、それによって、前記仮想コンテンツを実世界オブジェクトの上に合成することを含む、請求項8に記載の方法。Rendering the virtual content includes activating one or more light projectors of the portable electronic device to project light representing the virtual content and such that the projected light overlays ambient light; 9. The method of claim 8, thereby comprising compositing the virtual content onto a real-world object. 仮想コンテンツを3D環境内にレンダリングするように構成されるポータブル電子デバイスであって、前記ポータブル電子デバイスは、A portable electronic device configured to render virtual content within a 3D environment, the portable electronic device comprising:
1つまたはそれを上回るプロセッサと、one or more processors;
コンピュータ実行可能命令を備える少なくとも1つのコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのうちの少なくとも1つのプロセッサによって実行されると、at least one computer-readable medium comprising computer-executable instructions, wherein the computer-executable instructions are executed by at least one processor of the one or more processors;
前記3D環境内のローカル座標フレーム内の前記ポータブル電子デバイスの場所を示す情報を生成することと、generating information indicating a location of the portable electronic device within a local coordinate frame within the 3D environment;
ネットワークを経由して、位置特定サービスに、前記ローカル座標フレーム内の前記場所を示す前記情報を送信することと、transmitting the information indicating the location within the local coordinate frame to a location service via a network;
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
前記位置特定サービスから、データ構造を取得することであって、前記データ構造は、前記3D環境内の立体領域と、前記立体領域内の表示のための仮想コンテンツと、前記仮想コンテンツを表示するためのアプリケーションとを表し、前記データ構造は、前記立体領域の1つまたはそれを上回る寸法と、前記記憶された空間情報と関連付けられる持続場所からの前記立体領域のオフセットと、前記ポータブル電子デバイスの場所に対する前記仮想コンテンツの挙動とをさらに備える、ことと、Obtaining a data structure from the location service, the data structure comprising: a stereoscopic area in the 3D environment; virtual content for display within the stereoscopic area; and a data structure for displaying the virtual content. and the data structure represents one or more dimensions of the volumetric region, an offset of the volumetric region from a persistent location associated with the stored spatial information, and a location of the portable electronic device. and a behavior of the virtual content with respect to the virtual content.
前記データ構造の前記アプリケーションを実行することによって前記データ構造の前記立体領域内に、前記データ構造内に表される前記仮想コンテンツをレンダリングすることとrendering the virtual content represented within the data structure within the volumetric region of the data structure by executing the application of the data structure;
を行う、ポータブル電子デバイス。A portable electronic device.
前記コンピュータ実行可能命令は、前記データ構造の前記アプリケーションが前記ポータブル電子デバイス上にインストールされているかどうかを決定するためのコンピュータ実行可能命令をさらに備える、請求項15に記載のポータブル電子デバイス。16. The portable electronic device of claim 15, wherein the computer-executable instructions further comprise computer-executable instructions for determining whether the application of the data structure is installed on the portable electronic device. 前記コンピュータ実行可能命令は、前記データ構造の前記アプリケーションが前記ポータブル電子デバイス上にインストールされていないときに前記アプリケーションを遠隔サーバから取得するためのコンピュータ実行可能命令をさらに備える、請求項16に記載のポータブル電子デバイス。17. The computer-executable instructions further comprise computer-executable instructions for retrieving the application of the data structure from a remote server when the application is not installed on the portable electronic device. portable electronic device. 前記仮想コンテンツは、ネットワーク上の仮想コンテンツの場所のインジケータとして、前記データ構造内に表される、請求項15に記載のポータブル電子デバイス。16. The portable electronic device of claim 15, wherein the virtual content is represented in the data structure as an indicator of virtual content location on a network. 前記コンピュータ実行可能命令は、The computer-executable instructions include:
前記ポータブル電子デバイスが、前記データ構造によって表される領域から離れるように移動したことを検出することと、detecting that the portable electronic device has moved away from the area represented by the data structure;
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することとbased on the detection, deleting virtual content represented in the data structure;
を行うためのコンピュータ実行可能命令をさらに備える、請求項15に記載のポータブル電子デバイス。16. The portable electronic device of claim 15, further comprising computer-executable instructions for performing.
前記仮想コンテンツを前記立体領域内にレンダリングすることは、前記データ構造に基づいて設定されたパラメータを有するプリズムを作成することを含む、請求項15に記載のポータブル電子デバイス。16. The portable electronic device of claim 15, wherein rendering the virtual content within the volumetric region includes creating a prism with parameters set based on the data structure. 共有場所ベースのコンテンツを仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスに提供するための、分散型コンピューティング環境内のネットワーク化されたリソースであって、前記ネットワーク化されたリソースは、
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の領域を表し、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の場所を関連付ける情報と、
前記3D環境内の前記個別の領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記複数のデータ構造によって表される個別の領域に対する前記ポータブル電子デバイスの場所に基づいて、前記複数のデータ構造の少なくとも1つのデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに選択的に提供することと
を行わせる、コンピュータ実行可能命令と
を備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。
A networked resource within a distributed computing environment for providing shared location - based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources that were
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment;
a plurality of data structures, each data structure of the plurality of data structures representing a separate area within the 3D environment in which virtual content is to be displayed, each data structure of the plurality of data structures comprising:
information associating the data structure with locations within the plurality of stored maps;
a plurality of data structures comprising: a link to virtual content for rendering within the discrete region within the 3D environment;
computer-executable instructions, said computer-executable instructions, when executed by a processor of said one or more processors;
implementing a service that provides location information to a portable electronic device of the plurality of portable electronic devices, the location information identifying a location of the plurality of portable electronic devices relative to one or more shared maps; to show, to show,
selectively copying at least one data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices based on the location of the portable electronic device with respect to distinct regions represented by the plurality of data structures; A networked resource comprising at least one computer-readable medium comprising computer-executable instructions for causing the computer to provide and to perform the following operations.
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると前記ポータブル電子デバイスのアクセス権を決定する認証サービスをさらに実装し、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスの前記アクセス権および前記少なくとも1つのデータ構造と関連付けられるアクセス属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項21に記載のネットワーク化されたリソース。
The computer-executable instructions, when executed by the processor , further implement an authentication service to determine access rights for the portable electronic device;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are based, in part, on the access rights of the portable electronic device and the access attributes associated with the at least one data structure. 22. The networked resource of claim 21 , wherein the networked resource determines whether to transmit the at least one data structure.
前記複数のデータ構造の各データ構造はパブリック属性をさらに備え、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記少なくとも1つのデータ構造の前記パブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項21に記載のネットワーク化されたリソース。
Each data structure of the plurality of data structures further includes a public attribute;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device transmit the at least one data structure based, in part, on the public attribute of the at least one data structure. 22. The networked resource of claim 21 .
前記複数のデータ構造の一部に関して、前記仮想コンテンツへのリンクは、仮想コンテンツを供給するアプリケーションへのリンクを備える、請求項21に記載のネットワーク化されたリソース。 22. The networked resource of claim 21 , wherein for a portion of the plurality of data structures, the link to virtual content comprises a link to an application that provides virtual content. 前記複数のデータ構造の各データ構造は前記ポータブル電子デバイス上のプリズムのための表示プロパティをさらに備え、前記プリズムは、その中に前記データ構造にリンクされる前記仮想コンテンツが表示される体積である、請求項21に記載のネットワーク化されたリソース。 Each data structure of the plurality of data structures further comprises display properties for a prism on the portable electronic device, the prism being a volume within which the virtual content linked to the data structure is displayed. 22. The networked resource of claim 21 . 前記表示プロパティは、前記プリズムの寸法を備える、請求項25に記載のネットワーク化されたリソース。 26. The networked resource of claim 25 , wherein the display property comprises dimensions of the prism. 前記表示プロパティは、物理的表面に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動を備える、請求項25に記載のネットワーク化されたリソース。 26. The networked resource of claim 25 , wherein the display properties comprise behavior of virtual content rendered within the prism relative to a physical surface. 前記表示プロパティは、マップと関連付けられる持続場所からの前記プリズムのオフセット、前記プリズムの空間配向、前記ポータブル電子デバイスの場所に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動、および前記ポータブル電子デバイスが面している方向に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動のうちの1つまたはそれを上回るものを備える、請求項25に記載のネットワーク化されたリソース。 The display properties include an offset of the prism from a persistent location associated with a map, a spatial orientation of the prism, a behavior of virtual content rendered within the prism relative to a location of the portable electronic device, and a behavior of the virtual content rendered within the prism relative to the location of the portable electronic device. 26. The networked resource of claim 25 , comprising one or more of the behaviors of virtual content rendered within the prism relative to a facing direction. 仮想コンテンツを3D環境内にレンダリングするためのポータブル電子デバイスの作動方法であって、前記方法は、1つまたはそれを上回るプロセッサを用いて
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、
ネットワークを経由して、位置特定サービスに、前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される前記仮想コンテンツをレンダリングすることと
を含む、方法。
A method of operating a portable electronic device for rendering virtual content within a 3D environment, the method comprising: using one or more processors ;
generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
transmitting information indicative of the location and an indication of the location within the local coordinate frame to a location service via a network;
obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
rendering the virtual content represented within the one or more data structures within discrete regions of the one or more data structures.
前記仮想コンテンツを前記個別の領域内にレンダリングすることは、前記個別の領域を表す前記データ構造に基づいて設定されたパラメータを有するプリズムを作成することを含む、請求項29に記載の方法。 30. The method of claim 29 , wherein rendering the virtual content within the discrete region includes creating a prism with parameters set based on the data structure representing the discrete region. 前記仮想コンテンツは、ネットワーク上の仮想コンテンツの場所のインジケータとして、前記1つまたはそれを上回るデータ構造のうちの少なくとも1つ内に表される、請求項29に記載の方法。 30. The method of claim 29 , wherein the virtual content is represented in at least one of the one or more data structures as an indicator of virtual content location on a network. 前記仮想コンテンツをレンダリングすることは、前記ポータブル電子デバイス上で、前記仮想コンテンツを生成するアプリケーションを実行することを含む、請求項29に記載の方法。 30. The method of claim 29 , wherein rendering the virtual content includes running an application that generates the virtual content on the portable electronic device. 前記仮想コンテンツをレンダリングすることは
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることと
さらに含む、請求項32に記載の方法。
Rendering the virtual content comprises :
determining whether the application is currently installed on the portable electronic device;
33. The method of claim 32 , further comprising: downloading the application to the portable electronic device based on determining that the application is not currently installed.
前記ポータブル電子デバイスが、前記1つまたはそれを上回るデータ構造のデータ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することと
をさらに含む、請求項29に記載の方法。
detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
30. The method of claim 29 , further comprising: deleting virtual content represented within the data structure based on the detection.
前記受信された1つまたはそれを上回るデータ構造は、データ構造の第1のセットを備え、
前記データ構造の第1のセットは、第1の時間に受信され、
前記方法は
第1のデータ構造と関連付けられるレンダリング情報を前記データ構造の第1のセット内に記憶することと、
前記第1の時間後、第2の時間において、データ構造の第2のセットを受信することと、
前記第1のデータ構造が前記第2のセット内に含有されないことの決定に基づいて、前記第1のデータ構造と関連付けられるレンダリング情報を削除することと
さらに含む、請求項29に記載の方法。
the received one or more data structures comprising a first set of data structures;
the first set of data structures is received at a first time;
The method includes :
storing rendering information associated with a first data structure within the first set of data structures;
receiving a second set of data structures at a second time after the first time;
30. The method of claim 29 , further comprising: deleting rendering information associated with the first data structure based on the determination that the first data structure is not contained within the second set. .
クロスリアリティシステム内で動作するように構成される電子デバイスであって、前記電子デバイスは、
3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
少なくとも1つのプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、前記少なくとも1つのコンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサのプロセッサ上で実行されると、
前記複数の画像の少なくとも第1の部分に基づいて、前記3D環境内の位置を表すためのローカル座標フレームを維持することと、
1つまたはそれを上回るアプリケーションのアプリケーションによって生成された仮想コンテンツが、プリズム内にレンダリングされるように、前記1つまたはそれを上回るアプリケーションと関連付けられるプリズムを管理することと、
ネットワークを経由して、サービスに、前記1つまたはそれを上回るセンサの出力から導出される情報を送信することと、
前記サービスから、
位置特定情報と、
個別の仮想コンテンツおよび前記仮想コンテンツをレンダリングするための前記3D環境内の領域を表すデータ構造と
を受信することと、
前記個別の仮想コンテンツが前記プリズム内にレンダリングされるように、前記データ構造と関連付けられるプリズムを作成することと
を行わせる、少なくとも1つのコンピュータ可読媒体と、
を備える、電子デバイス。
An electronic device configured to operate within a cross-reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
at least one processor;
at least one computer-readable medium storing computer-executable instructions, the computer-executable instructions, when executed on a processor of the at least one processor;
maintaining a local coordinate frame for representing a position within the 3D environment based on at least a first portion of the plurality of images;
managing a prism associated with the one or more applications such that virtual content generated by an application of the one or more applications is rendered within the prism;
transmitting information derived from the output of the one or more sensors to a service via a network;
From the said service,
location information and
receiving individual virtual content and a data structure representing a region within the 3D environment for rendering the virtual content;
creating a prism associated with the data structure such that the individual virtual content is rendered within the prism;
An electronic device comprising:
前記コンピュータ実行可能命令は
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することと、
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることと
を行ためのコンピュータ実行可能命令をさらに備える、請求項36に記載の電子デバイス。
The computer-executable instructions include :
retrieving the individual virtual content based on information in the data structure;
37. The electronic device of claim 36 , further comprising computer-executable instructions within the prism for: rendering the obtained virtual content.
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、ネットワークを経由して、前記個別の仮想コンテンツにアクセスすることを含む、請求項37に記載の電子デバイス。 Obtaining the individual virtual content based on information in the data structure includes accessing the individual virtual content via a network based on an indicator of the location of the virtual content in the data structure. 38. The electronic device of claim 37 , comprising: 前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記ネットワークを経由して、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、前記個別の仮想コンテンツを生成するアプリケーションをダウンロードすることを含む、請求項38に記載の電子デバイス。 retrieving the individual virtual content based on information in the data structure generates the individual virtual content based on an indicator of the location of the virtual content in the data structure via the network; 39. The electronic device of claim 38 , comprising downloading an application to download an application. 前記コンピュータ実行可能命令は
前記電子デバイスが前記データ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造と関連付けられる前記プリズムを削除することと
を行ための命令をさらに備える、請求項36に記載の電子デバイス。
The computer-executable instructions include :
detecting that the electronic device has moved away from the area represented by the data structure;
37. The electronic device of claim 36 , further comprising instructions for: deleting the prism associated with the data structure based on the detection.
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることは前記電子デバイスの座標系を使用して、前記仮想コンテンツをレンダリングすべき前記3D環境内の座標のセットを決定することをさらに含む、請求項37に記載の電子デバイス。 Rendering the acquired virtual content within the prism further includes using a coordinate system of the electronic device to determine a set of coordinates within the 3D environment at which to render the virtual content . , the electronic device according to claim 37 . 仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスとともに動作可能なクロスリアリティシステムのための場所ベースの仮想コンテンツをキュレートする方法であって、前記方法は、1つまたはそれを上回るプロセッサを用いて、
仮想コンテンツが表示されるべき前記3D環境内の領域を表すデータ構造を生成することと、
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することと、
前記データ構造と、共有座標系に対して前記複数のポータブル電子デバイスを位置特定するために使用されるマップ内の場所とを関連付けることと
を含む、方法。
A method of curating location-based virtual content for a cross-reality system operable with a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the method comprising: Using a processor that surpasses
generating a data structure representing an area within the 3D environment in which virtual content is to be displayed;
storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment;
associating the data structure with a location in a map used to locate the plurality of portable electronic devices relative to a shared coordinate system.
アクセス許可を前記データ構造上に設定することをさらに含む、請求項42に記載の方法。 43. The method of claim 42 , further comprising setting access permissions on the data structure. アクセス許可を前記データ構造上に設定することは、前記データ構造が前記複数のポータブル電子デバイスのユーザの具体的カテゴリまたは複数のカテゴリによってアクセス可能であることを示すことを含む、請求項43に記載の方法。 44. Setting access permissions on the data structure includes indicating that the data structure is accessible by a specific category or categories of users of the plurality of portable electronic devices. the method of. 前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することは、前記仮想コンテンツを生成するためのポータブル電子デバイス上で実行可能なアプリケーションを規定することを含む、請求項42に記載の方法。 Storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment defines an application executable on the portable electronic device to generate the virtual content. 43. The method of claim 42 , comprising: 前記マップを使用する前記複数のポータブル電子デバイスを位置特定する位置特定サービスと関連させて、前記データ構造を記憶することをさらに含む、請求項42に記載の方法。 43. The method of claim 42 , further comprising storing the data structure in association with a location service that locates the plurality of portable electronic devices using the map. ユーザインターフェースを通して、前記3D環境の前記領域および前記仮想コンテンツの仕様を受信することをさらに含む、請求項42に記載の方法。 43. The method of claim 42 , further comprising receiving specifications of the region of the 3D environment and the virtual content through a user interface. アプリケーションから、プログラミングインターフェースを通して、前記3D環境の前記領域および前記仮想コンテンツの仕様を受信することをさらに含む、請求項42に記載の方法。 43. The method of claim 42, further comprising receiving specifications of the region of the 3D environment and the virtual content from an application through a programming interface. 前記少なくとも1つのデータ構造は、個別の仮想コンテンツがプリズム内にレンダリングされるように、前記プリズムと関連付けられる、請求項21に記載のネットワーク化されたリソース。22. The networked resource of claim 21, wherein the at least one data structure is associated with the prism such that individual virtual content is rendered within the prism. 個別の仮想コンテンツが個別のプリズム内にレンダリングされるように前記1つまたはそれを上回るデータ構造と関連付けられる前記個別のプリズムを取得することをさらに含み、前記1つまたはそれを上回るデータ構造内に表される前記仮想コンテンツをレンダリングすることは、前記仮想コンテンツを前記個別のプリズム内にレンダリングすることを含む、請求項29に記載の方法。further comprising obtaining the individual prisms associated with the one or more data structures such that individual virtual content is rendered within the one or more data structures; 30. The method of claim 29, wherein rendering the virtual content represented includes rendering the virtual content within the individual prisms. 前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、ネットワークを経由して、前記個別の仮想コンテンツにアクセスすることを含む、請求項37に記載の電子デバイス。Obtaining the individual virtual content based on information in the data structure includes accessing the individual virtual content via a network based on an indicator of the location of the virtual content in the data structure. 38. The electronic device of claim 37, comprising: 前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記ネットワークを経由して、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、前記個別の仮想コンテンツを生成するアプリケーションをダウンロードすることを含み、前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることは、前記電子デバイスの座標系を使用して、前記仮想コンテンツをレンダリングすべき前記3D環境内の座標のセットを決定することをさらに含む、請求項51に記載の電子デバイス。retrieving the individual virtual content based on information in the data structure generates the individual virtual content based on an indicator of the location of the virtual content in the data structure via the network; Rendering the obtained virtual content into the prism includes downloading an application to determine the coordinates within the 3D environment at which the virtual content is to be rendered using the coordinate system of the electronic device. 52. The electronic device of claim 51, further comprising determining a set of .
JP2022526729A 2019-11-12 2020-11-11 Cross-reality system with localization services and shared location-based content Pending JP2023504775A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962934485P 2019-11-12 2019-11-12
US62/934,485 2019-11-12
PCT/US2020/059975 WO2021096931A1 (en) 2019-11-12 2020-11-11 Cross reality system with localization service and shared location-based content

Publications (2)

Publication Number Publication Date
JP2023504775A JP2023504775A (en) 2023-02-07
JPWO2021096931A5 true JPWO2021096931A5 (en) 2023-11-07

Family

ID=75846970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022526729A Pending JP2023504775A (en) 2019-11-12 2020-11-11 Cross-reality system with localization services and shared location-based content

Country Status (5)

Country Link
US (3) US11386627B2 (en)
EP (1) EP4059007A4 (en)
JP (1) JP2023504775A (en)
CN (1) CN114730546A (en)
WO (1) WO2021096931A1 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750A (en) 2018-08-13 2021-05-14 奇跃公司 Cross-reality system
EP3861387A4 (en) 2018-10-05 2022-05-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11410328B1 (en) * 2019-04-30 2022-08-09 Apple Inc. Techniques for maintaining feature point maps
US11748445B1 (en) 2019-04-30 2023-09-05 Apple Inc. Techniques for managing feature maps
WO2021076757A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system supporting multiple device types
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. Cross reality system with wireless fingerprints
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
JP2023504775A (en) 2019-11-12 2023-02-07 マジック リープ, インコーポレイテッド Cross-reality system with localization services and shared location-based content
WO2021118962A1 (en) * 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
KR20210098130A (en) * 2020-01-31 2021-08-10 한국전자통신연구원 Method for providing augmented reality based on multi user using interaction with real object and apparatus using the same
US20210247846A1 (en) * 2020-02-07 2021-08-12 Krikey, Inc. Gesture tracking for mobile rendered augmented reality
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
JP2023514208A (en) 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド Cross-reality system with map processing using multi-resolution frame descriptors
US11830149B2 (en) * 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023515524A (en) 2020-02-26 2023-04-13 マジック リープ, インコーポレイテッド Cross-reality system with fast localization
CN115803788A (en) * 2020-04-29 2023-03-14 奇跃公司 Cross-reality system for large-scale environments
US11531467B1 (en) * 2021-01-29 2022-12-20 Pure Storage, Inc. Controlling public access of resources in a secure distributed storage system
US20230199623A1 (en) * 2021-12-17 2023-06-22 Juniper Networks, Inc. Radio access network tracking area visualization management and monitoring
WO2023166524A1 (en) * 2022-03-01 2023-09-07 Flying Flamingos India Pvt Ltd Method and system for enabling users to experience an extended reality-based social multiverse
KR102651604B1 (en) * 2023-03-07 2024-03-25 고려대학교 산학협력단 Non-Euclidean spaces modeling and rendering method, and apparatus thereof

Family Cites Families (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032185B1 (en) 1995-12-29 2006-04-18 Microsoft Corporation Graphical method and system for accessing information on a communications network
KR100483806B1 (en) 2002-07-18 2005-04-20 한국과학기술원 Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) * 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
US20070298866A1 (en) 2006-06-26 2007-12-27 Paolo Gaudiano Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
JP4292426B2 (en) 2007-05-15 2009-07-08 ソニー株式会社 Imaging apparatus and imaging data correction method
WO2009021068A1 (en) 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US9258337B2 (en) 2008-03-18 2016-02-09 Avaya Inc. Inclusion of web content in a virtual environment
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138725A (en) 2009-06-25 2010-12-31 삼성전자주식회사 Method and apparatus for processing virtual world
US20130162481A1 (en) 2009-10-01 2013-06-27 Parviz Parvizi Systems and methods for calibration of indoor geolocation
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8185596B2 (en) 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US8667487B1 (en) 2010-05-18 2014-03-04 Google Inc. Web browser extensions
KR101686171B1 (en) 2010-06-08 2016-12-13 삼성전자주식회사 Apparatus for recognizing location using image and range data and method thereof
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
EP2751742A1 (en) 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
US8243102B1 (en) * 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8977021B2 (en) 2011-12-30 2015-03-10 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
CN107320949B (en) 2012-02-06 2021-02-02 索尼互动娱乐欧洲有限公司 Book object for augmented reality
CN103297677B (en) 2012-02-24 2016-07-06 卡西欧计算机株式会社 Generate video generation device and the image generating method of reconstruct image
KR20130110907A (en) 2012-03-30 2013-10-10 삼성전자주식회사 Apparatus and method for remote controlling based on virtual reality and augmented reality
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (en) 2012-06-11 2018-01-16 奇跃公司 Use more depth plane three dimensional displays of the waveguided reflector arrays projector
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
WO2014169238A1 (en) 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
EP2808842B1 (en) 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9412173B2 (en) 2013-06-21 2016-08-09 National University Of Ireland, Maynooth Method for mapping an environment
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
CN110542938B (en) 2013-11-27 2023-04-18 奇跃公司 Virtual and augmented reality systems and methods
CN106171012B (en) 2013-12-20 2020-01-17 英特尔公司 Wi-Fi scan scheduling and power adaptation for low-power indoor positioning
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (en) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 Reality augmenting method and system based on wearable device
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10509865B2 (en) 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
US20200252233A1 (en) 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
WO2016050290A1 (en) 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
CN107209247B (en) 2014-12-04 2021-06-18 赫尔环球有限公司 Supporting collaborative collection of data
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
KR101725478B1 (en) 2015-05-21 2017-04-11 주식회사 맥스트 Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
KR20180052636A (en) 2015-09-10 2018-05-18 오리엔트 뉴 미디어 엘티디. Automated map generation for mobile device navigation, tracking and positioning in GPS denied or inaccurate regions
US10706465B2 (en) 2015-09-14 2020-07-07 The Toronto-Dominion Bank Connected device-based property evaluation
US20170094227A1 (en) 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
KR102504246B1 (en) 2015-09-25 2023-02-24 매직 립, 인코포레이티드 Methods and Systems for Detecting and Combining Structural Features in 3D Reconstruction
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
US10471355B2 (en) 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
CN108700939B (en) 2016-02-05 2022-07-05 奇跃公司 System and method for augmented reality
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (en) 2016-02-22 2020-10-28 デクセリアルズ株式会社 Anisotropic conductive film
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10586391B2 (en) 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
EP3497676A4 (en) 2016-08-11 2020-03-25 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
KR102357273B1 (en) 2016-08-22 2022-02-08 매직 립, 인코포레이티드 Virtual, augmented, and mixed reality systems and methods
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
JP7268879B2 (en) 2017-01-02 2023-05-08 ガウス サージカル,インコーポレイテッド Tracking Surgical Items Predicting Duplicate Imaging
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018139773A1 (en) 2017-01-25 2018-08-02 한국과학기술연구원 Slam method and device robust to changes in wireless environment
US10534964B2 (en) 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
US10460489B2 (en) 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
EP3596542B1 (en) 2017-03-17 2024-01-17 Magic Leap, Inc. Technique for recording augmented reality data
WO2018183778A1 (en) 2017-03-30 2018-10-04 Magic Leap, Inc. Centralized rendering
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
KR20230108352A (en) 2017-05-01 2023-07-18 매직 립, 인코포레이티드 Matching content to a spatial 3d environment
WO2018222756A1 (en) 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
CN109145927A (en) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 The target identification method and device of a kind of pair of strain image
JP6585665B2 (en) 2017-06-29 2019-10-02 ファナック株式会社 Virtual object display system
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center Systems and methods for generating 3d medical images by scanning a whole tissue block
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10422648B2 (en) 2017-10-17 2019-09-24 AI Incorporated Methods for finding the perimeter of a place using observed coordinates
KR20200087757A (en) 2017-11-14 2020-07-21 매직 립, 인코포레이티드 Full convolutional point of interest detection and description through homographic adaptation
WO2019118886A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Enhanced pose determination for display device
US10630857B2 (en) 2017-12-21 2020-04-21 Ricoh Company, Ltd. Electronic apparatus and method to update firmware of the electronic apparatus when adding a web application to the electronic apparatus
KR102556889B1 (en) * 2017-12-22 2023-07-17 매직 립, 인코포레이티드 Methods and systems for managing and displaying virtual content in a mixed reality system
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US10838574B2 (en) 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
WO2019210284A1 (en) * 2018-04-26 2019-10-31 SCRRD, Inc. Augmented reality platform and method for use of same
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US11202006B2 (en) 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110515452B (en) 2018-05-22 2022-02-22 腾讯科技(深圳)有限公司 Image processing method, image processing device, storage medium and computer equipment
US11010977B2 (en) 2018-05-31 2021-05-18 Jido, Inc. Method for establishing a common reference frame amongst devices for an augmented reality session
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
CN116088783A (en) 2018-07-24 2023-05-09 奇跃公司 Method and device for determining and/or evaluating a positioning map of an image display device
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750A (en) 2018-08-13 2021-05-14 奇跃公司 Cross-reality system
JP7361763B2 (en) 2018-09-04 2023-10-16 アクティーア・ソシエテ・アノニム System for determining blood pressure of one or more users
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
EP3861387A4 (en) 2018-10-05 2022-05-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
CN113412614B (en) 2019-03-27 2023-02-14 Oppo广东移动通信有限公司 Three-dimensional localization using depth images
CN111815755B (en) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 Method and device for determining blocked area of virtual object and terminal equipment
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (en) 2019-08-22 2019-09-11 엘지전자 주식회사 Extended reality device and method for controlling the extended reality device
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
US11698674B2 (en) 2019-09-09 2023-07-11 Apple Inc. Multimodal inputs for computer-generated reality
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. Cross reality system with wireless fingerprints
WO2021076757A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system supporting multiple device types
JP2023501952A (en) 2019-10-31 2023-01-20 マジック リープ, インコーポレイテッド Cross-reality system with quality information about persistent coordinate frames
JP2023504775A (en) 2019-11-12 2023-02-07 マジック リープ, インコーポレイテッド Cross-reality system with localization services and shared location-based content
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023514208A (en) 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド Cross-reality system with map processing using multi-resolution frame descriptors
EP4104144A4 (en) 2020-02-13 2024-06-05 Magic Leap Inc Cross reality system for large scale environments
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
US11593951B2 (en) 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
JP2023515524A (en) 2020-02-26 2023-04-13 マジック リープ, インコーポレイテッド Cross-reality system with fast localization
CN115803788A (en) 2020-04-29 2023-03-14 奇跃公司 Cross-reality system for large-scale environments

Similar Documents

Publication Publication Date Title
JPWO2021096931A5 (en)
KR102534637B1 (en) augmented reality system
KR101636027B1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
US9761054B2 (en) Augmented reality computing with inertial sensors
US11605204B2 (en) Image processing for augmented reality
US8121353B2 (en) Apparatus, system and method for mapping information
WO2023035829A1 (en) Method for determining and presenting target mark information and apparatus
JP5766795B2 (en) Mobile device-based content mapping for augmented reality environments
KR101330805B1 (en) Apparatus and Method for Providing Augmented Reality
US20100257252A1 (en) Augmented Reality Cloud Computing
JP2020535536A5 (en)
US20120218263A1 (en) Method for representing virtual information in a view of a real environment
GB2580825A (en) Virtual x-ray vision in a process control environment
CN111882634B (en) Image rendering method, device, equipment and storage medium
KR102340678B1 (en) Displaying objects based on a plurality of models
US20230098615A1 (en) Augmented-reality experience control through non-fungible token
WO2019164830A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
KR102473165B1 (en) Cctv control system for being enable to measure real size of subject using 3d environment model
US20220198764A1 (en) Spatially Aware Environment Relocalization
US10460420B2 (en) Converting spatial features to map projection
KR20120000695A (en) System for generating 3d mobile augmented reality based on the user
KR102417500B1 (en) Method and apparatus for providing augmented reality
US20230366700A1 (en) Overlay rendering using a hardware-accelerated framework for memory sharing and overlay based map adjusting
Graça et al. Worldplus: An augmented reality application with georeferenced content for smartphones-the Android example
CN117909008A (en) Map display method, map display device, electronic equipment and readable storage medium