JPWO2021096931A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021096931A5 JPWO2021096931A5 JP2022526729A JP2022526729A JPWO2021096931A5 JP WO2021096931 A5 JPWO2021096931 A5 JP WO2021096931A5 JP 2022526729 A JP2022526729 A JP 2022526729A JP 2022526729 A JP2022526729 A JP 2022526729A JP WO2021096931 A5 JPWO2021096931 A5 JP WO2021096931A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual content
- data structure
- electronic device
- portable electronic
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Description
前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
(項目1)
共有場所ベースのコンテンツを仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスに提供するための、分散型コンピューティング環境内のネットワーク化されたリソースであって、前記ネットワーク化されたリソースは、
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の領域を表し、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の場所を関連付ける情報と、
前記3D環境内の前記個別の領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記複数のデータ構造によって表される個別の領域に対する前記ポータブル電子デバイスの場所に基づいて、前記複数のデータ構造の少なくとも1つのデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに選択的に提供することと
を行わせる、コンピュータ実行可能命令と
を備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。
(項目2)
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、さらに、前記ポータブル電子デバイスのアクセス権を決定する認証サービスを実装し、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスのアクセス権および前記少なくとも1つのデータ構造と関連付けられるアクセス属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、
項目1に記載のネットワーク化されたリソース。
(項目3)
前記複数のデータ構造の各データ構造はさらに、パブリック属性を備え、
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記少なくとも1つのデータ構造のパブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、
項目1に記載のネットワーク化されたリソース。
(項目4)
前記複数のデータ構造の一部に関して、前記仮想コンテンツへのリンクは、仮想コンテンツを供給するアプリケーションへのリンクを備える、項目1に記載のネットワーク化されたリソース。
(項目5)
前記複数のデータ構造の各データ構造はさらに、前記ポータブル電子デバイス上のプリズムのための表示プロパティを備え、前記プリズムは、その中に前記データ構造にリンクされる前記仮想コンテンツが表示される体積である、項目1に記載のネットワーク化されたリソース。
(項目6)
前記表示プロパティは、前記プリズムの寸法を備える、項目5に記載のネットワーク化されたリソース。
(項目7)
前記表示プロパティは、物理的表面に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動を備える、項目5に記載のネットワーク化されたリソース。
(項目8)
前記表示プロパティは、マップと関連付けられる持続場所からの前記プリズムのオフセット、前記プリズムの空間配向、前記ポータブル電子デバイスの場所に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動、および前記ポータブル電子デバイスが面している方向に対して前記プリズム内にレンダリングされた仮想コンテンツの挙動のうちの1つまたはそれを上回るものを備える、項目5に記載のネットワーク化されたリソース。
(項目9)
ポータブル電子デバイスを動作させ、仮想コンテンツを3D環境内にレンダリングする方法であって、1つまたはそれを上回るプロセッサを用いて、前記方法は、
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、
ネットワークを経由して、位置特定サービスに、前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される仮想コンテンツをレンダリングすることと
を含む、方法。
(項目10)
前記仮想コンテンツを前記個別の領域内にレンダリングすることは、前記個別の領域を表す前記データ構造に基づいて設定されたパラメータを有するプリズムを作成することを含む、項目9に記載の方法。
(項目11)
前記仮想コンテンツは、ネットワーク上の仮想コンテンツの場所のインジケータとして、前記1つまたはそれを上回るデータ構造のうちの少なくとも1つ内に表される、項目9に記載の方法。
(項目12)
前記仮想コンテンツをレンダリングすることは、前記ポータブル電子デバイス上で、前記仮想コンテンツを生成するアプリケーションを実行することを含む、項目9に記載の方法。
(項目13)
前記仮想コンテンツをレンダリングすることはさらに、
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることと
を含む、項目12に記載の方法。
(項目14)
前記ポータブル電子デバイスが、前記1つまたはそれを上回るデータ構造のデータ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することと
をさらに含む、項目9に記載の方法。
(項目15)
前記受信された1つまたはそれを上回るデータ構造は、データ構造の第1のセットを備え、
前記データ構造の第1のセットは、第1の時間に受信され、
前記方法はさらに、
第1のデータ構造と関連付けられるレンダリング情報を前記データ構造の第1のセット内に記憶することと、
前記第1の時間後、第2の時間において、データ構造の第2のセットを受信することと、
前記第1のデータ構造が前記第2のセット内に含有されないことの決定に基づいて、前記第1のデータ構造と関連付けられるレンダリング情報を削除することと
を含む、項目9に記載の方法。
(項目16)
クロスリアリティシステム内で動作するように構成される電子デバイスであって、前記電子デバイスは、
3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
少なくとも1つのプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、前記少なくとも1つのコンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサのプロセッサ上で実行されると、
前記複数の画像の少なくとも第1の部分に基づいて、前記3D環境内の位置を表すためのローカル座標フレームを維持することと、
1つまたはそれを上回るアプリケーションのアプリケーションによって生成された仮想コンテンツが、プリズム内にレンダリングされるように、前記1つまたはそれを上回るアプリケーションと関連付けられるプリズムを管理することと、
ネットワークを経由して、サービスに、前記1つまたはそれを上回るセンサの出力から導出される情報を送信することと、
前記サービスから、
位置特定情報と、
個別の仮想コンテンツおよび前記仮想コンテンツをレンダリングするための前記3D環境内の領域を表すデータ構造と
を受信することと、
前記個別の仮想コンテンツが前記プリズム内にレンダリングされるように、前記データ構造と関連付けられるプリズムを作成することと
を行わせる、少なくとも1つのコンピュータ可読媒体と、
を備える、電子デバイス。
(項目17)
前記コンピュータ実行可能命令はさらに、
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することと、
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることと
を行わせるためのコンピュータ実行可能命令を備える、項目16に記載の電子デバイス。
(項目18)
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、ネットワークを経由して、前記個別の仮想コンテンツにアクセスすることを含む、項目17に記載の電子デバイス。
(項目19)
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することは、前記ネットワークを経由して、前記データ構造内の仮想コンテンツの場所のインジケータに基づいて、前記個別の仮想コンテンツを生成するアプリケーションをダウンロードすることを含む、項目18に記載の電子デバイス。
(項目20)
前記コンピュータ実行可能命令はさらに、
前記電子デバイスが前記データ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造と関連付けられる前記プリズムを削除することと
を行わせるための命令を備える、項目16に記載の電子デバイス。
(項目21)
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることはさらに、前記電子デバイスの座標系を使用して、前記仮想コンテンツをレンダリングすべき前記3D環境内の座標のセットを決定することを含む、項目17に記載の電子デバイス。
(項目22)
仮想コンテンツを3D環境内にレンダリングすることが可能な複数のポータブル電子デバイスとともに動作可能なクロスリアリティシステムのための場所ベースの仮想コンテンツをキュレートする方法であって、前記方法は、1つまたはそれを上回るプロセッサを用いて、
仮想コンテンツが表示されるべき前記3D環境内の領域を表すデータ構造を生成することと、
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することと、
前記データ構造と、共有座標系に対して前記複数のポータブル電子デバイスを位置特定するために使用されるマップ内の場所とを関連付けることと
を含む、方法。
(項目23)
アクセス許可を前記データ構造上に設定することをさらに含む、項目22に記載の方法。
(項目24)
アクセス許可を前記データ構造上に設定することは、前記データ構造が前記複数のポータブル電子デバイスのユーザの具体的カテゴリまたは複数のカテゴリによってアクセス可能であることを示すことを含む、項目23に記載の方法。
(項目25)
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することは、前記仮想コンテンツを生成するためのポータブル電子デバイス上で実行可能なアプリケーションを規定することを含む、項目22に記載の方法。
(項目26)
前記マップを使用する前記複数のポータブル電子デバイスを位置特定する位置特定サービスと関連させて、前記データ構造を記憶することをさらに含む、項目22に記載の方法。
(項目27)
ユーザインターフェースを通して、前記3D環境の領域および前記仮想コンテンツの仕様を受信することをさらに含む、項目22に記載の方法。
(項目28)
アプリケーションから、プログラミングインターフェースを通して、前記3D環境の領域および前記仮想コンテンツの仕様を受信することをさらに含む、項目22に記載の方法。
The foregoing description is provided by way of example and is not intended to be limiting.
The present invention provides, for example, the following.
(Item 1)
A networked resource within a distributed computing environment for providing shared location-based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources are
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment;
a plurality of data structures, each data structure of the plurality of data structures representing a separate area within the 3D environment in which virtual content is to be displayed, each data structure of the plurality of data structures comprising:
information associating the data structure with locations within the plurality of stored maps;
a link to virtual content for rendering within the discrete area within the 3D environment;
a plurality of data structures comprising;
computer-executable instructions, said computer-executable instructions, when executed by a processor of said one or more processors;
implementing a service that provides location information to a portable electronic device of the plurality of portable electronic devices, the location information identifying a location of the plurality of portable electronic devices relative to one or more shared maps; to show, to show,
selectively copying at least one data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices based on the location of the portable electronic device with respect to distinct regions represented by the plurality of data structures; to provide and
computer-executable instructions that cause
at least one computer-readable medium comprising:
A networked resource with.
(Item 2)
The computer-executable instructions, when executed by the processor, further implement an authentication service to determine access rights for the portable electronic device;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are based, in part, on access rights of the portable electronic device and access attributes associated with the at least one data structure. , determining whether to transmit the at least one data structure;
Networked resources as described in item 1.
(Item 3)
Each data structure of the plurality of data structures further includes a public attribute;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are configured to transmit the at least one data structure based, in part, on public attributes of the at least one data structure. decide whether or not to
Networked resources as described in item 1.
(Item 4)
The networked resource of item 1, wherein for some of the plurality of data structures, the link to virtual content comprises a link to an application that provides virtual content.
(Item 5)
Each data structure of the plurality of data structures further comprises display properties for a prism on the portable electronic device, the prism being a volume within which the virtual content linked to the data structure is displayed. A networked resource as described in item 1.
(Item 6)
6. The networked resource of item 5, wherein the display property comprises dimensions of the prism.
(Item 7)
6. The networked resource of item 5, wherein the display properties comprise the behavior of virtual content rendered within the prism relative to a physical surface.
(Item 8)
The display properties include an offset of the prism from a persistent location associated with a map, a spatial orientation of the prism, a behavior of virtual content rendered within the prism relative to a location of the portable electronic device, and a behavior of the virtual content rendered within the prism relative to the location of the portable electronic device. 6. The networked resource of item 5, comprising one or more of the behaviors of virtual content rendered within the prism with respect to a facing direction.
(Item 9)
A method of operating a portable electronic device to render virtual content within a 3D environment, using one or more processors, the method comprising:
generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
transmitting information indicative of the location and an indication of the location within the local coordinate frame to a location service via a network;
obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
rendering virtual content represented within the one or more data structures within a separate region of the one or more data structures;
including methods.
(Item 10)
10. The method of item 9, wherein rendering the virtual content within the discrete region includes creating a prism with parameters set based on the data structure representing the discrete region.
(Item 11)
10. The method of item 9, wherein the virtual content is represented in at least one of the one or more data structures as an indicator of virtual content location on a network.
(Item 12)
10. The method of item 9, wherein rendering the virtual content includes running an application that generates the virtual content on the portable electronic device.
(Item 13)
Rendering the virtual content further comprises:
determining whether the application is currently installed on the portable electronic device;
downloading the application to the portable electronic device based on determining that the application is not currently installed;
The method according to item 12, comprising:
(Item 14)
detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
based on the detection, deleting virtual content represented in the data structure;
The method according to item 9, further comprising:
(Item 15)
the received one or more data structures comprising a first set of data structures;
the first set of data structures is received at a first time;
The method further includes:
storing rendering information associated with a first data structure within the first set of data structures;
receiving a second set of data structures at a second time after the first time;
deleting rendering information associated with the first data structure based on a determination that the first data structure is not contained within the second set;
The method according to item 9, comprising:
(Item 16)
An electronic device configured to operate within a cross-reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
at least one processor;
at least one computer-readable medium storing computer-executable instructions, the computer-executable instructions, when executed on a processor of the at least one processor;
maintaining a local coordinate frame for representing a position within the 3D environment based on at least a first portion of the plurality of images;
managing a prism associated with the one or more applications such that virtual content generated by an application of the one or more applications is rendered within the prism;
transmitting information derived from the output of the one or more sensors to a service via a network;
From the said service,
location information and
a data structure representing a separate virtual content and a region within the 3D environment for rendering the virtual content;
and to receive
creating a prism associated with the data structure such that the discrete virtual content is rendered within the prism;
at least one computer readable medium;
An electronic device comprising:
(Item 17)
The computer-executable instructions further include:
retrieving the individual virtual content based on information in the data structure;
rendering the obtained virtual content within the prism;
17. The electronic device of item 16, comprising computer-executable instructions for causing.
(Item 18)
Obtaining the individual virtual content based on information in the data structure includes accessing the individual virtual content via a network based on an indicator of the location of the virtual content in the data structure. The electronic device according to item 17, comprising:
(Item 19)
retrieving the individual virtual content based on information in the data structure generates the individual virtual content based on an indicator of the location of the virtual content in the data structure via the network; 19. The electronic device of item 18, comprising: downloading an application for downloading.
(Item 20)
The computer-executable instructions further include:
detecting that the electronic device has moved away from the area represented by the data structure;
based on the detection, deleting the prism associated with the data structure;
17. The electronic device according to item 16, comprising instructions for causing the electronic device to perform.
(Item 21)
Rendering the acquired virtual content into the prism further includes using a coordinate system of the electronic device to determine a set of coordinates within the 3D environment at which to render the virtual content. , the electronic device according to item 17.
(Item 22)
A method of curating location-based virtual content for a cross-reality system operable with a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the method comprising: Using a processor that surpasses
generating a data structure representing an area within the 3D environment in which virtual content is to be displayed;
storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment;
associating the data structure with a location in a map used to locate the plurality of portable electronic devices relative to a shared coordinate system;
including methods.
(Item 23)
23. The method of item 22, further comprising setting access permissions on the data structure.
(Item 24)
24. Setting access permissions on the data structure includes indicating that the data structure is accessible by a specific category or categories of users of the plurality of portable electronic devices. Method.
(Item 25)
Storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment defines an application executable on the portable electronic device to generate the virtual content. The method according to item 22, comprising:
(Item 26)
23. The method of item 22, further comprising storing the data structure in association with a location service that locates the plurality of portable electronic devices using the map.
(Item 27)
23. The method of item 22, further comprising receiving, through a user interface, specifications for regions of the 3D environment and the virtual content.
(Item 28)
23. The method of item 22, further comprising receiving specifications for regions of the 3D environment and the virtual content from an application through a programming interface.
Claims (52)
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップであって、前記複数の記憶されたマップは、複数の座標フレームを備え、前記複数の座標フレームのそれぞれは、前記3D環境内の1つまたはそれを上回る特徴点に基づいて決定される、複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の立体領域と関連付けられ、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の前記複数の座標フレームの座標フレームを関連付ける情報と、
前記3D環境内の前記個別の立体領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのうちの少なくとも1つのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、前記3D環境の前記複数の記憶されたマップ内の1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記ポータブル電子デバイスの場所が、前記データ構造と関連付けられる座標フレームの閾値距離内にあるとき、前記複数のデータ構造のデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに提供することと
を行わせる、コンピュータ実行可能命令と
を備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。 A networked resource within a distributed computing environment for providing shared location-based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources that were
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment, the plurality of stored maps comprising a plurality of coordinate frames, each of the plurality of coordinate frames comprising one or more coordinate frames within the 3D environment; a plurality of stored maps determined based on the feature points;
a plurality of data structures, each data structure of the plurality of data structures being associated with a separate stereoscopic region within the 3D environment in which virtual content is to be displayed, and each data structure of the plurality of data structures comprising:
information associating the data structure with a coordinate frame of the plurality of coordinate frames in the plurality of stored maps;
a link to virtual content for rendering within the discrete volume area within the 3D environment;
a plurality of data structures comprising;
computer-executable instructions, said computer-executable instructions, when executed by at least one processor of said one or more processors;
implementing a service for providing location information to a portable electronic device of the plurality of portable electronic devices, wherein the location information corresponds to one or more of the plurality of stored maps of the 3D environment; locating the plurality of portable electronic devices relative to a shared map;
providing a copy of a data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices when a location of the portable electronic device is within a threshold distance of a coordinate frame associated with the data structure;
at least one computer-readable medium comprising computer-executable instructions for causing the
A networked resource with.
前記データ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスの前記アクセス権および前記データ構造と関連付けられるアクセス属性に基づいて、前記データ構造を送信すべきかどうかを決定する、請求項1に記載のネットワーク化されたリソース。The computer-executable instructions for selectively providing the data structure to the portable electronic device provide the data structure based, in part, on the access rights of the portable electronic device and the access attributes associated with the data structure. The networked resource of claim 1, determining whether to transmit.
前記データ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、少なくとも1つのデータ構造の前記パブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項1に記載のネットワーク化されたリソース。The computer-executable instructions for selectively providing the data structure to the portable electronic device determine whether to transmit the at least one data structure based, in part, on the public attribute of the at least one data structure. 2. The networked resource of claim 1, wherein the networked resource determines.
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
ネットワークを経由して、位置特定サービスに、前記3D環境内の前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、transmitting information indicating the location within the 3D environment and an indication of the location within the local coordinate frame to a location service via a network;
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される前記仮想コンテンツをレンダリングすることであって、前記仮想コンテンツは、実世界オブジェクトの上に合成される、ことと、rendering the virtual content represented in the one or more data structures within a discrete region of the one or more data structures, the virtual content comprising: be synthesized on top of
前記ポータブル電子デバイスが、前記1つまたはそれを上回るデータ構造のデータ構造によって表される領域から離れるように移動したことを検出することと、detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することとbased on the detection, deleting virtual content represented in the data structure;
を含む、方法。including methods.
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、determining whether the application is currently installed on the portable electronic device;
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることとdownloading the application to the portable electronic device based on determining that the application is not currently installed;
をさらに含む、請求項11に記載の方法。12. The method of claim 11, further comprising:
前記ポータブル電子デバイスが、前記データ構造と関連付けられる持続座標の前記閾値距離の外に移動したことを検出することと、detecting that the portable electronic device has moved outside the threshold distance of persistent coordinates associated with the data structure;
前記検出に基づいて、前記データ構造の前記コピーを削除することとbased on the detection, deleting the copy of the data structure;
をさらに行う、請求項1に記載のネットワーク化されたリソース。2. The networked resource of claim 1, further comprising:
1つまたはそれを上回るプロセッサと、one or more processors;
コンピュータ実行可能命令を備える少なくとも1つのコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのうちの少なくとも1つのプロセッサによって実行されると、at least one computer-readable medium comprising computer-executable instructions, wherein the computer-executable instructions are executed by at least one processor of the one or more processors;
前記3D環境内のローカル座標フレーム内の前記ポータブル電子デバイスの場所を示す情報を生成することと、generating information indicating a location of the portable electronic device within a local coordinate frame within the 3D environment;
ネットワークを経由して、位置特定サービスに、前記ローカル座標フレーム内の前記場所を示す前記情報を送信することと、transmitting the information indicating the location within the local coordinate frame to a location service via a network;
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
前記位置特定サービスから、データ構造を取得することであって、前記データ構造は、前記3D環境内の立体領域と、前記立体領域内の表示のための仮想コンテンツと、前記仮想コンテンツを表示するためのアプリケーションとを表し、前記データ構造は、前記立体領域の1つまたはそれを上回る寸法と、前記記憶された空間情報と関連付けられる持続場所からの前記立体領域のオフセットと、前記ポータブル電子デバイスの場所に対する前記仮想コンテンツの挙動とをさらに備える、ことと、Obtaining a data structure from the location service, the data structure comprising: a stereoscopic area in the 3D environment; virtual content for display within the stereoscopic area; and a data structure for displaying the virtual content. and the data structure represents one or more dimensions of the volumetric region, an offset of the volumetric region from a persistent location associated with the stored spatial information, and a location of the portable electronic device. and a behavior of the virtual content with respect to the virtual content.
前記データ構造の前記アプリケーションを実行することによって前記データ構造の前記立体領域内に、前記データ構造内に表される前記仮想コンテンツをレンダリングすることとrendering the virtual content represented within the data structure within the volumetric region of the data structure by executing the application of the data structure;
を行う、ポータブル電子デバイス。A portable electronic device.
前記ポータブル電子デバイスが、前記データ構造によって表される領域から離れるように移動したことを検出することと、detecting that the portable electronic device has moved away from the area represented by the data structure;
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することとbased on the detection, deleting virtual content represented in the data structure;
を行うためのコンピュータ実行可能命令をさらに備える、請求項15に記載のポータブル電子デバイス。16. The portable electronic device of claim 15, further comprising computer-executable instructions for performing.
1つまたはそれを上回るプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、
前記3D環境の複数の記憶されたマップと、
複数のデータ構造であって、前記複数のデータ構造の各データ構造は、仮想コンテンツが表示されるべき前記3D環境内の個別の領域を表し、前記複数のデータ構造の各データ構造は、
前記データ構造と前記複数の記憶されたマップ内の場所を関連付ける情報と、
前記3D環境内の前記個別の領域内にレンダリングするための仮想コンテンツへのリンクと
を備える、複数のデータ構造と、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記1つまたはそれを上回るプロセッサのプロセッサによって実行されると、
位置特定情報を前記複数のポータブル電子デバイスのポータブル電子デバイスに提供するサービスを実装することであって、前記位置特定情報は、1つまたはそれを上回る共有マップに対する前記複数のポータブル電子デバイスの場所を示す、ことと、
前記複数のデータ構造によって表される個別の領域に対する前記ポータブル電子デバイスの場所に基づいて、前記複数のデータ構造の少なくとも1つのデータ構造のコピーを前記複数のポータブル電子デバイスのポータブル電子デバイスに選択的に提供することと
を行わせる、コンピュータ実行可能命令と
を備える、少なくとも1つのコンピュータ可読媒体と
を備える、ネットワーク化されたリソース。 A networked resource within a distributed computing environment for providing shared location - based content to a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the networked resource comprising: The resources that were
one or more processors;
at least one computer readable medium,
a plurality of stored maps of the 3D environment;
a plurality of data structures, each data structure of the plurality of data structures representing a separate area within the 3D environment in which virtual content is to be displayed, each data structure of the plurality of data structures comprising:
information associating the data structure with locations within the plurality of stored maps;
a plurality of data structures comprising: a link to virtual content for rendering within the discrete region within the 3D environment;
computer-executable instructions, said computer-executable instructions, when executed by a processor of said one or more processors;
implementing a service that provides location information to a portable electronic device of the plurality of portable electronic devices, the location information identifying a location of the plurality of portable electronic devices relative to one or more shared maps; to show, to show,
selectively copying at least one data structure of the plurality of data structures to a portable electronic device of the plurality of portable electronic devices based on the location of the portable electronic device with respect to distinct regions represented by the plurality of data structures; A networked resource comprising at least one computer-readable medium comprising computer-executable instructions for causing the computer to provide and to perform the following operations.
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記ポータブル電子デバイスの前記アクセス権および前記少なくとも1つのデータ構造と関連付けられるアクセス属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項21に記載のネットワーク化されたリソース。 The computer-executable instructions, when executed by the processor , further implement an authentication service to determine access rights for the portable electronic device;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device are based, in part, on the access rights of the portable electronic device and the access attributes associated with the at least one data structure. 22. The networked resource of claim 21 , wherein the networked resource determines whether to transmit the at least one data structure.
前記少なくとも1つのデータ構造を前記ポータブル電子デバイスに選択的に提供する前記コンピュータ実行可能命令は、部分的に、前記少なくとも1つのデータ構造の前記パブリック属性に基づいて、前記少なくとも1つのデータ構造を送信すべきかどうかを決定する、請求項21に記載のネットワーク化されたリソース。 Each data structure of the plurality of data structures further includes a public attribute;
The computer-executable instructions for selectively providing the at least one data structure to the portable electronic device transmit the at least one data structure based, in part, on the public attribute of the at least one data structure. 22. The networked resource of claim 21 .
前記ポータブル電子デバイス上に、前記ポータブル電子デバイス上の1つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成することと、
前記ポータブル電子デバイス上に、前記1つまたはそれを上回るセンサの出力および前記ローカル座標フレーム内の前記場所のインジケーションに基づいて、前記3D環境内の場所を示す情報を生成することと、
ネットワークを経由して、位置特定サービスに、前記場所を示す情報および前記ローカル座標フレーム内の前記場所のインジケーションを送信することと、
前記位置特定サービスから、前記3D環境についての記憶された空間情報の座標フレームと前記ローカル座標フレームとの間の変換を取得することと、
前記位置特定サービスから、それぞれが前記3D環境内の個別の領域および前記個別の領域内の表示のための仮想コンテンツを表す1つまたはそれを上回るデータ構造を取得することと、
前記1つまたはそれを上回るデータ構造の個別の領域内に、前記1つまたはそれを上回るデータ構造内に表される前記仮想コンテンツをレンダリングすることと
を含む、方法。 A method of operating a portable electronic device for rendering virtual content within a 3D environment, the method comprising: using one or more processors ;
generating a local coordinate frame on the portable electronic device based on the output of one or more sensors on the portable electronic device;
generating information on the portable electronic device indicating a location within the 3D environment based on the output of the one or more sensors and an indication of the location within the local coordinate frame;
transmitting information indicative of the location and an indication of the location within the local coordinate frame to a location service via a network;
obtaining from the location service a transformation between a coordinate frame of stored spatial information about the 3D environment and the local coordinate frame;
Obtaining from the location service one or more data structures, each representing a distinct region within the 3D environment and virtual content for display within the discrete region;
rendering the virtual content represented within the one or more data structures within discrete regions of the one or more data structures.
前記アプリケーションが、現在、前記ポータブル電子デバイス上にインストールされているかどうかを決定することと、
前記アプリケーションが、現在、インストールされていないことを決定することに基づいて、前記アプリケーションを前記ポータブル電子デバイスにダウンロードすることと
をさらに含む、請求項32に記載の方法。 Rendering the virtual content comprises :
determining whether the application is currently installed on the portable electronic device;
33. The method of claim 32 , further comprising: downloading the application to the portable electronic device based on determining that the application is not currently installed.
前記検出に基づいて、前記データ構造内に表される仮想コンテンツを削除することと
をさらに含む、請求項29に記載の方法。 detecting that the portable electronic device has moved away from an area represented by a data structure of the one or more data structures;
30. The method of claim 29 , further comprising: deleting virtual content represented within the data structure based on the detection.
前記データ構造の第1のセットは、第1の時間に受信され、
前記方法は、
第1のデータ構造と関連付けられるレンダリング情報を前記データ構造の第1のセット内に記憶することと、
前記第1の時間後、第2の時間において、データ構造の第2のセットを受信することと、
前記第1のデータ構造が前記第2のセット内に含有されないことの決定に基づいて、前記第1のデータ構造と関連付けられるレンダリング情報を削除することと
をさらに含む、請求項29に記載の方法。 the received one or more data structures comprising a first set of data structures;
the first set of data structures is received at a first time;
The method includes :
storing rendering information associated with a first data structure within the first set of data structures;
receiving a second set of data structures at a second time after the first time;
30. The method of claim 29 , further comprising: deleting rendering information associated with the first data structure based on the determination that the first data structure is not contained within the second set. .
3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
少なくとも1つのプロセッサと、
少なくとも1つのコンピュータ可読媒体であって、前記少なくとも1つのコンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサのプロセッサ上で実行されると、
前記複数の画像の少なくとも第1の部分に基づいて、前記3D環境内の位置を表すためのローカル座標フレームを維持することと、
1つまたはそれを上回るアプリケーションのアプリケーションによって生成された仮想コンテンツが、プリズム内にレンダリングされるように、前記1つまたはそれを上回るアプリケーションと関連付けられるプリズムを管理することと、
ネットワークを経由して、サービスに、前記1つまたはそれを上回るセンサの出力から導出される情報を送信することと、
前記サービスから、
位置特定情報と、
個別の仮想コンテンツおよび前記仮想コンテンツをレンダリングするための前記3D環境内の領域を表すデータ構造と
を受信することと、
前記個別の仮想コンテンツが前記プリズム内にレンダリングされるように、前記データ構造と関連付けられるプリズムを作成することと
を行わせる、少なくとも1つのコンピュータ可読媒体と、
を備える、電子デバイス。 An electronic device configured to operate within a cross-reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
at least one processor;
at least one computer-readable medium storing computer-executable instructions, the computer-executable instructions, when executed on a processor of the at least one processor;
maintaining a local coordinate frame for representing a position within the 3D environment based on at least a first portion of the plurality of images;
managing a prism associated with the one or more applications such that virtual content generated by an application of the one or more applications is rendered within the prism;
transmitting information derived from the output of the one or more sensors to a service via a network;
From the said service,
location information and
receiving individual virtual content and a data structure representing a region within the 3D environment for rendering the virtual content;
creating a prism associated with the data structure such that the individual virtual content is rendered within the prism;
An electronic device comprising:
前記データ構造内の情報に基づいて、前記個別の仮想コンテンツを取得することと、
前記プリズム内に、前記取得された仮想コンテンツをレンダリングすることと
を行うためのコンピュータ実行可能命令をさらに備える、請求項36に記載の電子デバイス。 The computer-executable instructions include :
retrieving the individual virtual content based on information in the data structure;
37. The electronic device of claim 36 , further comprising computer-executable instructions within the prism for: rendering the obtained virtual content.
前記電子デバイスが前記データ構造によって表される領域から離れるように移動したことを検出することと、
前記検出に基づいて、前記データ構造と関連付けられる前記プリズムを削除することと
を行うための命令をさらに備える、請求項36に記載の電子デバイス。 The computer-executable instructions include :
detecting that the electronic device has moved away from the area represented by the data structure;
37. The electronic device of claim 36 , further comprising instructions for: deleting the prism associated with the data structure based on the detection.
仮想コンテンツが表示されるべき前記3D環境内の領域を表すデータ構造を生成することと、
前記データ構造内に、前記3D環境内の前記領域内にレンダリングされるべき仮想コンテンツを示す情報を記憶することと、
前記データ構造と、共有座標系に対して前記複数のポータブル電子デバイスを位置特定するために使用されるマップ内の場所とを関連付けることと
を含む、方法。 A method of curating location-based virtual content for a cross-reality system operable with a plurality of portable electronic devices capable of rendering virtual content within a 3D environment, the method comprising: Using a processor that surpasses
generating a data structure representing an area within the 3D environment in which virtual content is to be displayed;
storing information in the data structure indicating virtual content to be rendered within the region within the 3D environment;
associating the data structure with a location in a map used to locate the plurality of portable electronic devices relative to a shared coordinate system.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962934485P | 2019-11-12 | 2019-11-12 | |
US62/934,485 | 2019-11-12 | ||
PCT/US2020/059975 WO2021096931A1 (en) | 2019-11-12 | 2020-11-11 | Cross reality system with localization service and shared location-based content |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023504775A JP2023504775A (en) | 2023-02-07 |
JPWO2021096931A5 true JPWO2021096931A5 (en) | 2023-11-07 |
Family
ID=75846970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022526729A Pending JP2023504775A (en) | 2019-11-12 | 2020-11-11 | Cross-reality system with localization services and shared location-based content |
Country Status (5)
Country | Link |
---|---|
US (3) | US11386627B2 (en) |
EP (1) | EP4059007A4 (en) |
JP (1) | JP2023504775A (en) |
CN (1) | CN114730546A (en) |
WO (1) | WO2021096931A1 (en) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
CN112805750A (en) | 2018-08-13 | 2021-05-14 | 奇跃公司 | Cross-reality system |
EP3861387A4 (en) | 2018-10-05 | 2022-05-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US11410328B1 (en) * | 2019-04-30 | 2022-08-09 | Apple Inc. | Techniques for maintaining feature point maps |
US11748445B1 (en) | 2019-04-30 | 2023-09-05 | Apple Inc. | Techniques for managing feature maps |
WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
EP4046401A4 (en) | 2019-10-15 | 2023-11-01 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
JP2023504775A (en) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | Cross-reality system with localization services and shared location-based content |
WO2021118962A1 (en) * | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
KR20210098130A (en) * | 2020-01-31 | 2021-08-10 | 한국전자통신연구원 | Method for providing augmented reality based on multi user using interaction with real object and apparatus using the same |
US20210247846A1 (en) * | 2020-02-07 | 2021-08-12 | Krikey, Inc. | Gesture tracking for mobile rendered augmented reality |
WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
JP2023514208A (en) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | Cross-reality system with map processing using multi-resolution frame descriptors |
US11830149B2 (en) * | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
JP2023515524A (en) | 2020-02-26 | 2023-04-13 | マジック リープ, インコーポレイテッド | Cross-reality system with fast localization |
CN115803788A (en) * | 2020-04-29 | 2023-03-14 | 奇跃公司 | Cross-reality system for large-scale environments |
US11531467B1 (en) * | 2021-01-29 | 2022-12-20 | Pure Storage, Inc. | Controlling public access of resources in a secure distributed storage system |
US20230199623A1 (en) * | 2021-12-17 | 2023-06-22 | Juniper Networks, Inc. | Radio access network tracking area visualization management and monitoring |
WO2023166524A1 (en) * | 2022-03-01 | 2023-09-07 | Flying Flamingos India Pvt Ltd | Method and system for enabling users to experience an extended reality-based social multiverse |
KR102651604B1 (en) * | 2023-03-07 | 2024-03-25 | 고려대학교 산학협력단 | Non-Euclidean spaces modeling and rendering method, and apparatus thereof |
Family Cites Families (174)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7032185B1 (en) | 1995-12-29 | 2006-04-18 | Microsoft Corporation | Graphical method and system for accessing information on a communications network |
KR100483806B1 (en) | 2002-07-18 | 2005-04-20 | 한국과학기술원 | Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library |
US20050228849A1 (en) | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
US7583858B2 (en) | 2004-10-12 | 2009-09-01 | Eastman Kodak Company | Image processing based on direction of gravity |
US20080303787A1 (en) * | 2005-10-21 | 2008-12-11 | Zheng Yu Brian | Touch Screen Apparatus And Methods |
US20070298866A1 (en) | 2006-06-26 | 2007-12-27 | Paolo Gaudiano | Methods and systems for interactive customization of avatars and other animate or inanimate items in video games |
US8781162B2 (en) | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
US20080090659A1 (en) | 2006-10-12 | 2008-04-17 | Maximino Aguilar | Virtual world event notification from a persistent world game server in a logically partitioned game console |
JP4292426B2 (en) | 2007-05-15 | 2009-07-08 | ソニー株式会社 | Imaging apparatus and imaging data correction method |
WO2009021068A1 (en) | 2007-08-06 | 2009-02-12 | Trx Systems, Inc. | Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors |
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US9258337B2 (en) | 2008-03-18 | 2016-02-09 | Avaya Inc. | Inclusion of web content in a virtual environment |
GB0818561D0 (en) | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
US8839121B2 (en) * | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
KR20100138725A (en) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | Method and apparatus for processing virtual world |
US20130162481A1 (en) | 2009-10-01 | 2013-06-27 | Parviz Parvizi | Systems and methods for calibration of indoor geolocation |
US9119027B2 (en) | 2009-10-06 | 2015-08-25 | Facebook, Inc. | Sharing of location-based content item in social networking service |
US8185596B2 (en) | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
US8667487B1 (en) | 2010-05-18 | 2014-03-04 | Google Inc. | Web browser extensions |
KR101686171B1 (en) | 2010-06-08 | 2016-12-13 | 삼성전자주식회사 | Apparatus for recognizing location using image and range data and method thereof |
WO2012006578A2 (en) | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
EP2691935A1 (en) | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
US8526368B2 (en) | 2011-05-17 | 2013-09-03 | Qualcomm Incorporated | Wi-Fi access point characteristics database |
US20120314031A1 (en) | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
US9082214B2 (en) | 2011-07-01 | 2015-07-14 | Disney Enterprises, Inc. | 3D drawing system for providing a real time, personalized, and immersive artistic experience |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
EP2751742A1 (en) | 2011-08-31 | 2014-07-09 | metaio GmbH | Method of matching image features with reference features |
US8243102B1 (en) * | 2011-10-12 | 2012-08-14 | Google Inc. | Derivative-based selection of zones for banded map display |
US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
US8977021B2 (en) | 2011-12-30 | 2015-03-10 | Mako Surgical Corp. | Systems and methods for customizing interactive haptic boundaries |
US9530221B2 (en) | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
CN107320949B (en) | 2012-02-06 | 2021-02-02 | 索尼互动娱乐欧洲有限公司 | Book object for augmented reality |
CN103297677B (en) | 2012-02-24 | 2016-07-06 | 卡西欧计算机株式会社 | Generate video generation device and the image generating method of reconstruct image |
KR20130110907A (en) | 2012-03-30 | 2013-10-10 | 삼성전자주식회사 | Apparatus and method for remote controlling based on virtual reality and augmented reality |
US9293118B2 (en) | 2012-03-30 | 2016-03-22 | Sony Corporation | Client device |
US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
US9456744B2 (en) | 2012-05-11 | 2016-10-04 | Digilens, Inc. | Apparatus for eye tracking |
US9311750B2 (en) * | 2012-06-05 | 2016-04-12 | Apple Inc. | Rotation operations in a mapping application |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN104737061B (en) | 2012-06-11 | 2018-01-16 | 奇跃公司 | Use more depth plane three dimensional displays of the waveguided reflector arrays projector |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
GB2506338A (en) | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
US8829409B2 (en) | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
US9349072B2 (en) | 2013-03-11 | 2016-05-24 | Microsoft Technology Licensing, Llc | Local feature based image compression |
EP2967322A4 (en) | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US20140267234A1 (en) | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
WO2014169238A1 (en) | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9154919B2 (en) | 2013-04-22 | 2015-10-06 | Alcatel Lucent | Localization systems and methods |
EP2808842B1 (en) | 2013-05-31 | 2017-08-16 | Technische Universität München | An apparatus and method for tracking and reconstructing three-dimensional objects |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9406137B2 (en) | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US9412173B2 (en) | 2013-06-21 | 2016-08-09 | National University Of Ireland, Maynooth | Method for mapping an environment |
US9779548B2 (en) | 2013-06-25 | 2017-10-03 | Jordan Kent Weisman | Multiuser augmented reality system |
US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
CN110542938B (en) | 2013-11-27 | 2023-04-18 | 奇跃公司 | Virtual and augmented reality systems and methods |
CN106171012B (en) | 2013-12-20 | 2020-01-17 | 英特尔公司 | Wi-Fi scan scheduling and power adaptation for low-power indoor positioning |
US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9830679B2 (en) | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
US10380410B2 (en) | 2014-04-07 | 2019-08-13 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10068373B2 (en) | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
CN104143212A (en) | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | Reality augmenting method and system based on wearable device |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10509865B2 (en) | 2014-09-18 | 2019-12-17 | Google Llc | Dress form for three-dimensional drawing inside virtual reality environment |
US20200252233A1 (en) | 2014-09-24 | 2020-08-06 | James Thomas O'Keeffe | System and method for user profile enabled smart building control |
WO2016050290A1 (en) | 2014-10-01 | 2016-04-07 | Metaio Gmbh | Method and system for determining at least one property related to at least part of a real environment |
WO2016077798A1 (en) * | 2014-11-16 | 2016-05-19 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
CN107209247B (en) | 2014-12-04 | 2021-06-18 | 赫尔环球有限公司 | Supporting collaborative collection of data |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US9685005B2 (en) | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
US20160300389A1 (en) | 2015-04-08 | 2016-10-13 | Exactigo, Inc. | Correlated immersive virtual simulation for indoor navigation |
US9467718B1 (en) | 2015-05-06 | 2016-10-11 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a content commentary community |
US20160335275A1 (en) | 2015-05-11 | 2016-11-17 | Google Inc. | Privacy-sensitive query for localization area description file |
KR101725478B1 (en) | 2015-05-21 | 2017-04-11 | 주식회사 맥스트 | Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method |
US20160381118A1 (en) | 2015-06-23 | 2016-12-29 | Microsoft Technology Licensing, Llc | Extracting and formatting content from web-resources |
US10169917B2 (en) * | 2015-08-20 | 2019-01-01 | Microsoft Technology Licensing, Llc | Augmented reality |
WO2017039308A1 (en) | 2015-08-31 | 2017-03-09 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
KR20180052636A (en) | 2015-09-10 | 2018-05-18 | 오리엔트 뉴 미디어 엘티디. | Automated map generation for mobile device navigation, tracking and positioning in GPS denied or inaccurate regions |
US10706465B2 (en) | 2015-09-14 | 2020-07-07 | The Toronto-Dominion Bank | Connected device-based property evaluation |
US20170094227A1 (en) | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
KR102504246B1 (en) | 2015-09-25 | 2023-02-24 | 매직 립, 인코포레이티드 | Methods and Systems for Detecting and Combining Structural Features in 3D Reconstruction |
GB201517101D0 (en) | 2015-09-28 | 2015-11-11 | Univ Essex Entpr Ltd | Mixed-reality system |
US10471355B2 (en) | 2015-10-21 | 2019-11-12 | Sharp Kabushiki Kaisha | Display system, method of controlling display system, image generation control program, and computer-readable storage medium |
US9706366B2 (en) | 2015-11-06 | 2017-07-11 | International Business Machines Corporation | WiFi-fingerprint based indoor localization map |
US10254845B2 (en) | 2016-01-05 | 2019-04-09 | Intel Corporation | Hand gesture recognition for cursor control |
US10523865B2 (en) | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
CN108700939B (en) | 2016-02-05 | 2022-07-05 | 奇跃公司 | System and method for augmented reality |
US10567449B2 (en) | 2016-02-17 | 2020-02-18 | Meta View, Inc. | Apparatuses, methods and systems for sharing virtual elements |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
JP6776609B2 (en) | 2016-02-22 | 2020-10-28 | デクセリアルズ株式会社 | Anisotropic conductive film |
US20180122143A1 (en) | 2016-03-15 | 2018-05-03 | Sutherland Cook Ellwood, JR. | Hybrid photonic vr/ar systems |
US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
US10802147B2 (en) | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
US10586391B2 (en) | 2016-05-31 | 2020-03-10 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
US11201981B1 (en) | 2016-06-20 | 2021-12-14 | Pipbin, Inc. | System for notification of user accessibility of curated location-dependent content in an augmented estate |
EP3497676A4 (en) | 2016-08-11 | 2020-03-25 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
KR102357273B1 (en) | 2016-08-22 | 2022-02-08 | 매직 립, 인코포레이티드 | Virtual, augmented, and mixed reality systems and methods |
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
US10007868B2 (en) | 2016-09-19 | 2018-06-26 | Adobe Systems Incorporated | Font replacement based on visual similarity |
US10621773B2 (en) * | 2016-12-30 | 2020-04-14 | Google Llc | Rendering content in a 3D environment |
JP7268879B2 (en) | 2017-01-02 | 2023-05-08 | ガウス サージカル,インコーポレイテッド | Tracking Surgical Items Predicting Duplicate Imaging |
US10354129B2 (en) | 2017-01-03 | 2019-07-16 | Intel Corporation | Hand gesture recognition for virtual reality and augmented reality devices |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
WO2018139773A1 (en) | 2017-01-25 | 2018-08-02 | 한국과학기술연구원 | Slam method and device robust to changes in wireless environment |
US10534964B2 (en) | 2017-01-30 | 2020-01-14 | Blackberry Limited | Persistent feature descriptors for video |
US10460489B2 (en) | 2017-03-15 | 2019-10-29 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring scaling parameters |
EP3596542B1 (en) | 2017-03-17 | 2024-01-17 | Magic Leap, Inc. | Technique for recording augmented reality data |
WO2018183778A1 (en) | 2017-03-30 | 2018-10-04 | Magic Leap, Inc. | Centralized rendering |
US10600252B2 (en) | 2017-03-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
US9754397B1 (en) | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
KR20230108352A (en) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | Matching content to a spatial 3d environment |
WO2018222756A1 (en) | 2017-05-30 | 2018-12-06 | Ptc Inc. | Object initiated communication |
CN109145927A (en) | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | The target identification method and device of a kind of pair of strain image |
JP6585665B2 (en) | 2017-06-29 | 2019-10-02 | ファナック株式会社 | Virtual object display system |
US10503955B2 (en) | 2017-08-29 | 2019-12-10 | Synaptics Incorporated | Device with improved circuit positioning |
WO2019046774A1 (en) | 2017-09-01 | 2019-03-07 | Memorial Sloan Kettering Cancer Center | Systems and methods for generating 3d medical images by scanning a whole tissue block |
US10546387B2 (en) | 2017-09-08 | 2020-01-28 | Qualcomm Incorporated | Pose determination with semantic segmentation |
US10685456B2 (en) | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
US10422648B2 (en) | 2017-10-17 | 2019-09-24 | AI Incorporated | Methods for finding the perimeter of a place using observed coordinates |
KR20200087757A (en) | 2017-11-14 | 2020-07-21 | 매직 립, 인코포레이티드 | Full convolutional point of interest detection and description through homographic adaptation |
WO2019118886A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
US10630857B2 (en) | 2017-12-21 | 2020-04-21 | Ricoh Company, Ltd. | Electronic apparatus and method to update firmware of the electronic apparatus when adding a web application to the electronic apparatus |
KR102556889B1 (en) * | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | Methods and systems for managing and displaying virtual content in a mixed reality system |
US11237004B2 (en) | 2018-03-27 | 2022-02-01 | Uatc, Llc | Log trajectory estimation for globally consistent maps |
US10838574B2 (en) | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
WO2019210284A1 (en) * | 2018-04-26 | 2019-10-31 | SCRRD, Inc. | Augmented reality platform and method for use of same |
US10803671B2 (en) | 2018-05-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Authoring content in three-dimensional environment |
US11202006B2 (en) | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
CN110515452B (en) | 2018-05-22 | 2022-02-22 | 腾讯科技(深圳)有限公司 | Image processing method, image processing device, storage medium and computer equipment |
US11010977B2 (en) | 2018-05-31 | 2021-05-18 | Jido, Inc. | Method for establishing a common reference frame amongst devices for an augmented reality session |
US10706629B2 (en) | 2018-06-15 | 2020-07-07 | Dell Products, L.P. | Coordinate override in virtual, augmented, and mixed reality (xR) applications |
CN116088783A (en) | 2018-07-24 | 2023-05-09 | 奇跃公司 | Method and device for determining and/or evaluating a positioning map of an image display device |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
CN112805750A (en) | 2018-08-13 | 2021-05-14 | 奇跃公司 | Cross-reality system |
JP7361763B2 (en) | 2018-09-04 | 2023-10-16 | アクティーア・ソシエテ・アノニム | System for determining blood pressure of one or more users |
EP3629290B1 (en) | 2018-09-26 | 2023-01-04 | Apple Inc. | Localization for mobile devices |
EP3861387A4 (en) | 2018-10-05 | 2022-05-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US10854007B2 (en) | 2018-12-03 | 2020-12-01 | Microsoft Technology Licensing, Llc | Space models for mixed reality |
US20200211290A1 (en) | 2018-12-26 | 2020-07-02 | Lg Electronics Inc. | Xr device for providing ar mode and vr mode and method for controlling the same |
CN113412614B (en) | 2019-03-27 | 2023-02-14 | Oppo广东移动通信有限公司 | Three-dimensional localization using depth images |
CN111815755B (en) | 2019-04-12 | 2023-06-30 | Oppo广东移动通信有限公司 | Method and device for determining blocked area of virtual object and terminal equipment |
US11151792B2 (en) | 2019-04-26 | 2021-10-19 | Google Llc | System and method for creating persistent mappings in augmented reality |
US10748302B1 (en) | 2019-05-02 | 2020-08-18 | Apple Inc. | Multiple user simultaneous localization and mapping (SLAM) |
US11010921B2 (en) | 2019-05-16 | 2021-05-18 | Qualcomm Incorporated | Distributed pose estimation |
US20200364937A1 (en) | 2019-05-16 | 2020-11-19 | Subvrsive, Inc. | System-adaptive augmented reality |
US11145083B2 (en) | 2019-05-21 | 2021-10-12 | Microsoft Technology Licensing, Llc | Image-based localization |
US10854012B1 (en) | 2019-05-29 | 2020-12-01 | Dell Products, L.P. | Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
US20200380263A1 (en) | 2019-05-29 | 2020-12-03 | Gyrfalcon Technology Inc. | Detecting key frames in video compression in an artificial intelligence semiconductor solution |
US10852828B1 (en) | 2019-07-17 | 2020-12-01 | Dell Products, L.P. | Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications |
US10936874B1 (en) | 2019-08-13 | 2021-03-02 | Dell Products, L.P. | Controller gestures in virtual, augmented, and mixed reality (xR) applications |
KR20190104928A (en) | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | Extended reality device and method for controlling the extended reality device |
US11270515B2 (en) | 2019-09-04 | 2022-03-08 | Qualcomm Incorporated | Virtual keyboard |
US11698674B2 (en) | 2019-09-09 | 2023-07-11 | Apple Inc. | Multimodal inputs for computer-generated reality |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
EP4046401A4 (en) | 2019-10-15 | 2023-11-01 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
JP2023501952A (en) | 2019-10-31 | 2023-01-20 | マジック リープ, インコーポレイテッド | Cross-reality system with quality information about persistent coordinate frames |
JP2023504775A (en) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | Cross-reality system with localization services and shared location-based content |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
JP2023514208A (en) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | Cross-reality system with map processing using multi-resolution frame descriptors |
EP4104144A4 (en) | 2020-02-13 | 2024-06-05 | Magic Leap Inc | Cross reality system for large scale environments |
WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
US11593951B2 (en) | 2020-02-25 | 2023-02-28 | Qualcomm Incorporated | Multi-device object tracking and localization |
JP2023515524A (en) | 2020-02-26 | 2023-04-13 | マジック リープ, インコーポレイテッド | Cross-reality system with fast localization |
CN115803788A (en) | 2020-04-29 | 2023-03-14 | 奇跃公司 | Cross-reality system for large-scale environments |
-
2020
- 2020-11-11 JP JP2022526729A patent/JP2023504775A/en active Pending
- 2020-11-11 WO PCT/US2020/059975 patent/WO2021096931A1/en unknown
- 2020-11-11 CN CN202080078518.0A patent/CN114730546A/en active Pending
- 2020-11-11 US US17/095,551 patent/US11386627B2/en active Active
- 2020-11-11 EP EP20886597.2A patent/EP4059007A4/en active Pending
-
2022
- 2022-05-25 US US17/824,839 patent/US11869158B2/en active Active
-
2023
- 2023-10-27 US US18/496,407 patent/US20240054741A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2021096931A5 (en) | ||
KR102534637B1 (en) | augmented reality system | |
KR101636027B1 (en) | Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects | |
US9761054B2 (en) | Augmented reality computing with inertial sensors | |
US11605204B2 (en) | Image processing for augmented reality | |
US8121353B2 (en) | Apparatus, system and method for mapping information | |
WO2023035829A1 (en) | Method for determining and presenting target mark information and apparatus | |
JP5766795B2 (en) | Mobile device-based content mapping for augmented reality environments | |
KR101330805B1 (en) | Apparatus and Method for Providing Augmented Reality | |
US20100257252A1 (en) | Augmented Reality Cloud Computing | |
JP2020535536A5 (en) | ||
US20120218263A1 (en) | Method for representing virtual information in a view of a real environment | |
GB2580825A (en) | Virtual x-ray vision in a process control environment | |
CN111882634B (en) | Image rendering method, device, equipment and storage medium | |
KR102340678B1 (en) | Displaying objects based on a plurality of models | |
US20230098615A1 (en) | Augmented-reality experience control through non-fungible token | |
WO2019164830A1 (en) | Apparatus, systems, and methods for tagging building features in a 3d space | |
KR102473165B1 (en) | Cctv control system for being enable to measure real size of subject using 3d environment model | |
US20220198764A1 (en) | Spatially Aware Environment Relocalization | |
US10460420B2 (en) | Converting spatial features to map projection | |
KR20120000695A (en) | System for generating 3d mobile augmented reality based on the user | |
KR102417500B1 (en) | Method and apparatus for providing augmented reality | |
US20230366700A1 (en) | Overlay rendering using a hardware-accelerated framework for memory sharing and overlay based map adjusting | |
Graça et al. | Worldplus: An augmented reality application with georeferenced content for smartphones-the Android example | |
CN117909008A (en) | Map display method, map display device, electronic equipment and readable storage medium |