JPWO2021222371A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021222371A5 JPWO2021222371A5 JP2022565806A JP2022565806A JPWO2021222371A5 JP WO2021222371 A5 JPWO2021222371 A5 JP WO2021222371A5 JP 2022565806 A JP2022565806 A JP 2022565806A JP 2022565806 A JP2022565806 A JP 2022565806A JP WO2021222371 A5 JPWO2021222371 A5 JP WO2021222371A5
- Authority
- JP
- Japan
- Prior art keywords
- features
- electronic device
- gravity
- map
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005484 gravity Effects 0.000 claims description 56
- 230000002085 persistent effect Effects 0.000 claims description 54
- 230000004807 localization Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 12
- 230000002688 persistence Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
Description
前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
持続マップのデータベース内の１つまたはそれを上回る持続マップに対する仮想コンテンツの位置の仕様をサポートするＸＲシステムであって、前記ＸＲシステムは、位置特定サービスを備え、
ポータブル電子デバイスから、３次元（３Ｄ）環境の画像内の特徴の複数の集合についての情報を受信するように構成される通信コンポーネントであって、前記情報は、座標フレーム内に表される前記特徴の複数の集合の特徴に関する位置を備える、通信コンポーネントと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、前記通信コンポーネントに接続される位置特定コンポーネントを実装し、前記位置特定コンポーネントは、
前記座標フレームの配向を推定される重力の方向に対して関連付けることと、
前記特徴の複数の集合毎に、候補位置特定として、前記特徴の集合と前記持続マップのデータベース内の持続マップの一部との間の変換を決定するためのプロセスを実施することによって、前記特徴の複数の集合に関する複数の候補位置特定を算出することであって、
前記持続マップの一部は、関連付けられる推定される重力の方向を有し、
前記決定するプロセスは、前記座標フレームと前記関連付けられる推定される重力の方向を整合させる変換を決定するために、前記座標フレームの配向に基づいて制約される、ことと、
前記複数の候補位置特定の中の共有項に基づいて、前記ポータブル電子デバイスの位置特定を生成することと
を行うように構成されている、少なくとも１つのプロセッサと
を備える、ＸＲシステム。
（項目２）
前記座標フレームの配向を推定される重力の方向に対して関連付けることは、前記配向を前記ポータブル電子デバイスから受信することを含む、項目１に記載のＸＲシステム。
（項目３）
前記座標フレームの配向を推定される重力の方向に対して関連付けることは、
追跡マップを前記ポータブル電子デバイスから受信することと、
重力の推定値に対して配向される持続マップに対する前記追跡マップの配向を算出することと、
前記算出された配向を、持続記憶装置内に、前記ポータブル電子デバイスに関する配向として記憶することと、
続いて、前記ポータブル電子デバイスから前記特徴の複数の集合についての情報を受信することに基づいて、前記記憶された算出された配向にアクセスすることと
を含む、項目１に記載のＸＲシステム。
（項目４）
前記推定される重力の方向に対する前記特徴の複数の集合に関する前記座標フレームの配向は、前記推定される重力の方向を示すベクトルを備える、項目１に記載のＸＲシステム。
（項目５）
前記特徴の集合の変換を決定するプロセスは、
少なくとも部分的に、推定される重力の方向に対する個別の座標フレームの配向に基づいて、２つの回転自由度を固定することと、
少なくとも部分的に、前記固定された２つの回転自由度に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
によって制約される、項目１に記載のＸＲシステム。
（項目６）
前記特徴の集合に関する候補位置特定を算出することは、
前記持続マップのデータベース内の前記持続マップに対する前記特徴の集合の大まかな位置特定を実施することであって、大まかな位置特定は、前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することを含む、ことと、
前記持続マップに対する前記特徴の集合の精緻化された位置特定を実施することであって、前記特徴の集合の精緻化された位置特定は、前記大まかな変換に基づいて、前記ポータブル電子デバイスの候補位置特定を算出することを含む、ことと
を含む、項目１に記載のＸＲシステム。
（項目７）
前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することは、
少なくとも部分的に、対応する推定される重力の方向に対する個別の座標フレームの配向に基づいて、２つの回転自由度を固定することと、
少なくとも部分的に、前記固定された２つの回転自由度に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
を含む、項目６に記載のＸＲシステム。
（項目８）
前記大まかな変換に基づいて、前記ポータブル電子デバイスの候補位置特定を算出することは、３つの回転自由度および３つの平行移動自由度を算出することを含む、項目７に記載のＸＲシステム。
（項目９）
前記通信コンポーネントはさらに、
前記位置特定を前記ポータブル電子デバイスに送信するように構成される、項目１に記載のＸＲシステム。
（項目１０）
前記特徴の複数の集合の特徴の位置は、前記ポータブル電子デバイスの座標フレーム内に表される、項目１に記載のＸＲシステムの位置。
（項目１１）
持続マップのデータベース内の持続マップに対する仮想コンテンツの位置の仕様をサポートするＸＲシステムであって、前記ＸＲシステムは、位置特定サービスを備え、
ポータブル電子デバイスから、３次元（３Ｄ）環境の画像内の特徴の複数の集合についての情報を受信するように構成される通信コンポーネントであって、前記情報は、推定される重力の方向に対して整合される寸法を有する座標フレーム内に表される前記特徴の複数の集合の特徴に関する位置を備える、通信コンポーネントと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、前記通信コンポーネントに接続される位置特定コンポーネントを実装し、前記位置特定コンポーネントは、
前記特徴の複数の集合毎に、候補位置特定として、前記特徴の集合と前記持続マップのデータベース内の持続マップの一部との間の変換を決定するためのプロセスを実施することによって、前記特徴の複数の集合に関する複数の候補位置特定を算出することであって、
前記持続マップの一部は、関連付けられる推定される重力の方向を有し、
前記決定するプロセスは、前記特徴の集合に関する重力の方向と前記持続マップの一部の関連付けられる推定される重力の方向を整合させる変換を決定するように制約される、ことと、
前記複数の候補位置特定の中の共有項に基づいて、前記ポータブル電子デバイスの位置特定を生成することと
を行うように構成されている、少なくとも１つのプロセッサと
を備える、ＸＲシステム。
（項目１２）
マップマージサービスであって、
前記ポータブル電子デバイスの追跡マップと前記持続マップのデータベース内の持続マップとの間の整合を決定するように構成されるマップ整合コンポーネントであって、前記追跡マップは、前記特徴の複数の集合の少なくとも一部を備える、マップ整合コンポーネントと、
少なくとも部分的に、前記持続マップに対する重力の方向の推定値と、前記追跡マップと前記持続マップとの間の決定された整合とに基づいて、前記ポータブルデバイスの追跡マップに関する推定される重力の方向を算出するように構成される重力推定コンポーネントと
を備え、
前記追跡マップに関する推定される重力の方向は、前記ポータブル電子デバイスに送信される、マップマージサービス
をさらに備える、項目１１に記載のＸＲシステム。
（項目１３）
前記特徴の集合の変換を決定するプロセスは、
少なくとも部分的に、推定される重力の方向に対する個別の座標フレームの配向に基づいて、２つの回転自由度を固定することと、
少なくとも部分的に、前記固定された２つの回転自由度に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
によって制約される、項目１１に記載のＸＲシステム。
（項目１４）
前記特徴の集合に関する候補位置特定を算出することは、
前記持続マップのデータベース内の前記持続マップに対する前記特徴の集合の大まかな位置特定を実施することであって、大まかな位置特定は、前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することを含む、ことと、
前記持続マップに対する前記特徴の集合の精緻化された位置特定を実施することであって、前記特徴の集合の精緻化された位置特定は、前記大まかな変換に基づいて、前記ポータブル電子デバイスの候補位置特定を算出することを含む、ことと
を含む、項目１１に記載のＸＲシステム。
（項目１５）
前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することは、
少なくとも部分的に、対応する推定される重力の方向に対する個別の座標フレームの配向に基づいて、２つの回転自由度を固定することと、
少なくとも部分的に、前記固定された２つの回転自由度に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
を含む、項目１４に記載のＸＲシステム。
（項目１６）
クロスリアリティシステム内で動作するように構成される電子デバイスであって、前記電子デバイスは、
３次元（３Ｄ）環境についての情報を捕捉するように構成される１つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、１つまたはそれを上回るセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
特徴の複数の集合を前記３Ｄ環境の複数の画像から抽出することと、
前記電子デバイスにローカルの座標フレームに対する推定される重力の方向を決定することと、
前記座標フレーム内の前記特徴の複数の集合の特徴の位置を表すことと、
前記クロスリアリティシステムの位置特定サービスに、前記特徴の複数の集合についての情報を送信することであって、前記情報は、前記特徴の複数の集合の特徴の位置および前記座標フレームに対する前記推定される重力の方向を示す、ことと、
前記位置特定サービスから、持続マップのデータベース内の持続マップに対する前記電子デバイスの姿勢を受信することであって、前記電子デバイスの姿勢は、前記位置特定サービスに送信後、１０秒未満で受信される、ことと
を行うための命令を備える、少なくとも１つのプロセッサと
を備える、電子デバイス。
（項目１７）
前記１つまたはそれを上回るセンサは、少なくとも１つの慣性測定ユニットを備え、
前記推定される重力の方向は、前記少なくとも１つの慣性測定ユニットの出力に基づいて決定される、
項目１６に記載の電子デバイス。
（項目１８）
前記推定される重力の方向を決定することは、
前記推定される重力の方向を前記クロスリアリティシステムのマップマージサービスから受信することを含む、項目１６に記載の電子デバイス。
（項目１９）
前記特徴の複数の集合についての情報は、個々の特徴に関する記述子を備える、項目１６に記載の電子デバイス。
（項目２０）
前記推定される重力の方向に対する前記特徴の複数の集合に関する関係は、特徴の個々の集合に関する前記推定される重力の方向を示すベクトルを備える、項目１６に記載の電子デバイス。
（項目２１）
前記特徴の複数の集合についての情報は、前記特徴の複数の集合の特徴の姿勢を備える、項目１６に記載の電子デバイス。
（項目２２）
前記特徴の複数の集合の特徴の姿勢は、それぞれが対応する推定される重力の方向と整合される座標を有する１つまたはそれを上回る座標フレーム内にある、項目２１に記載の電子デバイス。
（項目２３）
前記特徴の複数の集合の特徴は、前記電子デバイスの少なくとも２つのセンサによって捕捉された複数の画像から抽出される、項目１６に記載の電子デバイス。
（項目２４）
前記１つまたはそれを上回るセンサは、個別のセンサ座標フレームを有し、
前記特徴の複数の集合についての情報は、個別のセンサ座標フレーム内の特徴と、前記電子デバイス上の前記１つまたはそれを上回るセンサの場所とを備える、
項目２３に記載の電子デバイス。
The above description is provided by way of illustration and is not intended to be limiting.
The present invention provides, for example, the following:
(Item 1)
1. An XR system that supports specification of a location of virtual content relative to one or more persistent maps in a database of persistent maps, the XR system comprising: a location service;
a communication component configured to receive information about a plurality of sets of features within an image of a three-dimensional (3D) environment from a portable electronic device, the information comprising positions for the features of the plurality of sets of features represented within a coordinate frame;
At least one processor configured to execute computer-executable instructions to implement a location component coupled to the communication component, the location component comprising:
relating the orientation of the coordinate frame to an estimated direction of gravity;
calculating, for each of the plurality of sets of features, a plurality of candidate localizations for the plurality of sets of features by implementing a process for determining a transformation between the set of features and a portion of a persistent map in the persistent map database as a candidate localization;
a portion of the persistence map having an associated estimated direction of gravity;
the determining process is constrained based on an orientation of the coordinate frame to determine a transformation that aligns the coordinate frame with the associated estimated direction of gravity;
generating a location location for the portable electronic device based on shared terms among the plurality of candidate location locations;
At least one processor configured to:
An XR system comprising:
(Item 2)
2. The XR system of claim 1, wherein associating an orientation of the coordinate frame with respect to an estimated direction of gravity includes receiving the orientation from the portable electronic device.
(Item 3)
Associating the orientation of the coordinate frame with respect to an estimated direction of gravity includes:
receiving a tracking map from the portable electronic device;
calculating an orientation of the tracking map relative to a persistence map oriented relative to an estimate of gravity;
storing the calculated orientation in persistent storage as an orientation for the portable electronic device;
subsequently accessing the stored calculated orientation based on receiving information about the plurality of sets of features from the portable electronic device;
2. The XR system according to item 1, comprising:
(Item 4)
2. The XR system of claim 1, wherein an orientation of the coordinate frame for the plurality of sets of features relative to the estimated direction of gravity comprises a vector indicating the estimated direction of gravity.
(Item 5)
The process of determining a transformation of the set of features comprises:
Fixing two rotational degrees of freedom based, at least in part, on an orientation of the respective coordinate frames relative to an estimated direction of gravity;
calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom;
2. The XR system according to item 1, constrained by:
(Item 6)
Calculating candidate localizations for the set of features includes:
performing a coarse location of the set of features relative to the persistent map in the database of persistent maps, the coarse location comprising calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps;
performing a refined localization of the set of features relative to the persistent map, the refined localization of the set of features including calculating candidate localizations of the portable electronic device based on the coarse transformation;
2. The XR system according to item 1, comprising:
(Item 7)
Calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps includes:
Fixing two rotational degrees of freedom based, at least in part, on the orientation of the respective coordinate frames relative to a corresponding estimated direction of gravity;
calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom;
7. The XR system according to item 6, comprising:
(Item 8)
8. The XR system of claim 7, wherein calculating candidate localizations of the portable electronic device based on the coarse transformation includes calculating three rotational degrees of freedom and three translational degrees of freedom.
(Item 9)
The communication component further comprises:
2. The XR system of claim 1, configured to transmit the location determination to the portable electronic device.
(Item 10)
2. The position of the XR system of claim 1, wherein positions of features of the plurality of sets of features are expressed within a coordinate frame of the portable electronic device.
(Item 11)
1. An XR system supporting specification of a location of virtual content relative to a persistent map in a database of persistent maps, the XR system comprising: a location service;
a communication component configured to receive information about a plurality of sets of features within an image of a three-dimensional (3D) environment from a portable electronic device, the information comprising positions for the features of the plurality of sets of features represented in a coordinate frame having dimensions aligned with respect to an estimated direction of gravity;
At least one processor configured to execute computer-executable instructions to implement a location component coupled to the communication component, the location component comprising:
calculating, for each of the plurality of sets of features, a plurality of candidate localizations for the plurality of sets of features by implementing a process for determining a transformation between the set of features and a portion of a persistent map in the persistent map database as a candidate localization;
a portion of the persistence map having an associated estimated direction of gravity;
the determining process is constrained to determine a transformation that aligns a direction of gravity for the set of features with an associated estimated direction of gravity of a portion of the persistence map;
generating a location location for the portable electronic device based on shared terms among the plurality of candidate location locations;
At least one processor configured to
An XR system comprising:
(Item 12)
A map merge service, comprising:
a map matching component configured to determine a match between a tracking map of the portable electronic device and a persistent map in the persistent map database, the tracking map comprising at least a portion of the plurality of sets of features;
a gravity estimation component configured to calculate an estimated direction of gravity with respect to the tracking map of the portable device based at least in part on an estimate of a direction of gravity with respect to the persistence map and the determined alignment between the tracking map and the persistence map;
Equipped with
the estimated direction of gravity with respect to the tracking map is transmitted to the portable electronic device; and
Item 12. The XR system of item 11, further comprising:
(Item 13)
The process of determining a transformation of the set of features comprises:
Fixing two rotational degrees of freedom based, at least in part, on an orientation of the respective coordinate frames relative to an estimated direction of gravity;
calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom;
12. The XR system according to item 11, constrained by:
(Item 14)
Calculating candidate localizations for the set of features includes:
performing a coarse location of the set of features relative to the persistent map in the database of persistent maps, the coarse location comprising calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps;
performing a refined localization of the set of features relative to the persistent map, the refined localization of the set of features including calculating candidate localizations of the portable electronic device based on the coarse transformation;
Item 12. The XR system according to item 11, comprising:
(Item 15)
Calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps includes:
Fixing two rotational degrees of freedom based, at least in part, on an orientation of the respective coordinate frames relative to a corresponding estimated direction of gravity;
calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom;
Item 15. The XR system according to item 14, comprising:
(Item 16)
1. An electronic device configured to operate within a cross reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
At least one processor configured to execute computer-executable instructions, the computer-executable instructions comprising:
Extracting a plurality of sets of features from a plurality of images of the 3D environment;
determining an estimated direction of gravity relative to a coordinate frame local to the electronic device;
representing positions of features of the plurality of sets of features within the coordinate frame;
sending information about the plurality of sets of features to a location service of the cross reality system, the information indicating positions of features of the plurality of sets of features and the estimated direction of gravity relative to the coordinate frame;
receiving from the location service an orientation of the electronic device relative to a persistent map in a database of persistent maps, the orientation of the electronic device being received less than 10 seconds after transmission to the location service;
At least one processor having instructions for performing
An electronic device comprising:
(Item 17)
the one or more sensors comprising at least one inertial measurement unit;
the estimated direction of gravity is determined based on an output of the at least one inertial measurement unit.
Item 17. The electronic device according to item 16.
(Item 18)
Determining the estimated direction of gravity includes:
17. The electronic device of claim 16, further comprising receiving the estimated direction of gravity from a map merge service of the cross reality system.
(Item 19)
20. The electronic device of claim 16, wherein the information about the plurality of sets of features comprises a descriptor for each individual feature.
(Item 20)
20. The electronic device of claim 16, wherein the relationship for the multiple sets of features to the estimated direction of gravity comprises a vector indicating the estimated direction of gravity for each set of features.
(Item 21)
20. The electronic device of claim 16, wherein the information about the plurality of sets of features comprises a pose of a feature of the plurality of sets of features.
(Item 22)
22. The electronic device of claim 21, wherein the feature poses of the plurality of sets of features are in one or more coordinate frames each having coordinates aligned with a corresponding estimated direction of gravity.
(Item 23)
20. The electronic device of claim 16, wherein the features of the plurality of sets of features are extracted from a plurality of images captured by at least two sensors of the electronic device.
(Item 24)
the one or more sensors having individual sensor coordinate frames;
the information about the plurality of sets of features comprises features in individual sensor coordinate frames and locations of the one or more sensors on the electronic device;
24. The electronic device according to item 23.
Claims (24)
ポータブル電子デバイスから、３次元（３Ｄ）環境の画像内の特徴の複数の集合についての情報を受信するように構成される通信コンポーネントであって、前記情報は、座標フレーム内に表される前記特徴の複数の集合の特徴に関する位置を備える、通信コンポーネントと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、前記通信コンポーネントに接続される位置特定コンポーネントを実装し、前記位置特定コンポーネントは、
前記座標フレームの配向を推定される重力の方向に対して関連付けることと、
前記特徴の複数の集合毎に、候補位置特定として、前記特徴の集合と前記持続マップのデータベース内の持続マップの一部との間の変換を決定するためのプロセスを実施することによって、前記特徴の複数の集合に関する複数の候補位置特定を算出することであって、
前記持続マップの一部は、関連付けられる推定される重力の方向を有し、
前記決定するプロセスは、前記座標フレームと前記関連付けられる推定される重力の方向を整合させる変換を決定するために、前記座標フレームの配向に基づいて制約される、ことと、
前記複数の候補位置特定の中の共有項に基づいて、前記ポータブル電子デバイスの位置特定を生成することと
を行うように構成されている、少なくとも１つのプロセッサと
を備える、ＸＲシステム。 1. An XR system that supports specification of a location of virtual content relative to one or more persistent maps in a database of persistent maps, the XR system comprising: a location service;
a communication component configured to receive information about a plurality of sets of features within an image of a three-dimensional (3D) environment from a portable electronic device, the information comprising positions for the features of the plurality of sets of features represented within a coordinate frame;
At least one processor configured to execute computer-executable instructions to implement a location component coupled to the communication component, the location component comprising:
relating the orientation of the coordinate frame to an estimated direction of gravity;
calculating, for each of the plurality of sets of features, a plurality of candidate localizations for the plurality of sets of features by implementing a process for determining a transformation between the set of features and a portion of a persistent map in the persistent map database as a candidate localization;
a portion of the persistence map having an associated estimated direction of gravity;
the determining process is constrained based on an orientation of the coordinate frame to determine a transformation that aligns the coordinate frame with the associated estimated direction of gravity;
generating a location location for the portable electronic device based on shared terms among the plurality of candidate location locations; and
追跡マップを前記ポータブル電子デバイスから受信することと、
前記推定される重力の方向に対して配向される持続マップに対する前記追跡マップの配向を算出することと、
前記算出された配向を、持続記憶装置内に、前記ポータブル電子デバイスに関する配向として記憶することと、
続いて、前記ポータブル電子デバイスから前記特徴の複数の集合についての情報を受信することに基づいて、前記記憶された算出された配向にアクセスすることと
を含む、請求項１に記載のＸＲシステム。 Associating the orientation of the coordinate frame with respect to an estimated direction of gravity includes:
receiving a tracking map from the portable electronic device;
calculating an orientation of the tracking map relative to a persistence map oriented with respect to the estimated direction of gravity;
storing the calculated orientation in persistent storage as an orientation for the portable electronic device;
and subsequently accessing the stored calculated orientation based on receiving information about the plurality of sets of features from the portable electronic device.
前記推定される重力の方向に対する個別の座標フレームの配向に少なくとも部分的に基づいて、２つの回転自由度を固定することと、
前記固定された２つの回転自由度に少なくとも部分的に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
によって制約される、請求項１～４のいずれかに記載のＸＲシステム。 The process of determining comprises :
fixing two rotational degrees of freedom based at least in part on an orientation of the respective coordinate frames relative to the estimated direction of gravity;
5. The XR system of claim 1 , wherein the XR system is constrained by: calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom.
前記持続マップのデータベース内の前記持続マップに対する前記特徴の集合の大まかな位置特定を実施することであって、大まかな位置特定は、前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することを含む、ことと、
前記持続マップに対する前記特徴の集合の精緻化された位置特定を実施することであって、前記特徴の集合の精緻化された位置特定は、前記大まかな変換に基づいて、前記ポータブル電子デバイスの候補位置特定を算出することを含む、ことと
を含む、請求項１に記載のＸＲシステム。 Calculating candidate localizations for the set of features includes:
performing a coarse location of the set of features relative to the persistent map in the database of persistent maps, the coarse location comprising calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps;
and performing a refined localization of the set of features relative to the persistent map, the refined localization of the set of features comprising calculating candidate localizations of the portable electronic device based on the coarse transformation.
対応する推定される重力の方向に対する個別の座標フレームの配向に少なくとも部分的に基づいて、２つの回転自由度を固定することと、
前記固定された２つの回転自由度に少なくとも部分的に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
を含む、請求項６に記載のＸＲシステム。 Calculating the coarse transformation of the portable electronic device to the persistent map in the database of persistent maps includes:
Fixing two rotational degrees of freedom based at least in part on the orientation of the respective coordinate frames relative to a corresponding estimated direction of gravity;
and calculating one rotational and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom.
ポータブル電子デバイスから、３次元（３Ｄ）環境の画像内の特徴の複数の集合についての情報を受信するように構成される通信コンポーネントであって、前記情報は、推定される重力の方向に対して整合される寸法を有する座標フレーム内に表される前記特徴の複数の集合の特徴に関する位置を備える、通信コンポーネントと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、前記通信コンポーネントに接続される位置特定コンポーネントを実装し、前記位置特定コンポーネントは、
前記特徴の複数の集合毎に、候補位置特定として、前記特徴の集合と前記持続マップのデータベース内の持続マップの一部との間の変換を決定するためのプロセスを実施することによって、前記特徴の複数の集合に関する複数の候補位置特定を算出することであって、
前記持続マップの一部は、関連付けられる推定される重力の方向を有し、
前記決定するプロセスは、前記特徴の集合に関する前記推定される重力の方向と前記持続マップの一部の前記関連付けられる推定される重力の方向を整合させる変換を決定するように制約される、ことと、
前記複数の候補位置特定の中の共有項に基づいて、前記ポータブル電子デバイスの位置特定を生成することと
を行うように構成されている、少なくとも１つのプロセッサと
を備える、ＸＲシステム。 1. An XR system supporting specification of a location of virtual content relative to a persistent map in a database of persistent maps, the XR system comprising: a location service;
a communication component configured to receive information about a plurality of sets of features within an image of a three-dimensional (3D) environment from a portable electronic device, the information comprising positions for the features of the plurality of sets of features represented in a coordinate frame having dimensions aligned with respect to an estimated direction of gravity;
At least one processor configured to execute computer-executable instructions to implement a location determination component coupled to the communication component, the location determination component comprising:
calculating, for each of the plurality of sets of features, a plurality of candidate localizations for the plurality of sets of features by implementing a process for determining a transformation between the set of features and a portion of a persistent map in the persistent map database as a candidate localization;
a portion of the persistence map having an associated estimated direction of gravity;
the determining process is constrained to determine a transformation that aligns the estimated gravity direction for the set of features with the associated estimated gravity direction of a portion of the persistence map ;
generating a location location for the portable electronic device based on shared terms among the plurality of candidate location locations; and
前記ポータブル電子デバイスの追跡マップと前記持続マップのデータベース内の持続マップとの間の整合を決定するように構成されるマップ整合コンポーネントであって、前記追跡マップは、前記特徴の複数の集合の少なくとも一部を備える、マップ整合コンポーネントと、
前記持続マップに対する重力の方向の推定値と、前記追跡マップと前記持続マップとの間の前記決定された整合とに少なくとも部分的に基づいて、前記ポータブルデバイスの前記追跡マップに関する前記推定される重力の方向を算出するように構成される重力推定コンポーネントと
を備え、
前記追跡マップに関する前記推定される重力の方向は、前記ポータブル電子デバイスに送信される、請求項１１に記載のＸＲシステム。 The map merging service further comprises:
a map matching component configured to determine a match between a tracking map of the portable electronic device and a persistent map in the persistent map database, the tracking map comprising at least a portion of the plurality of sets of features;
a gravity estimation component configured to calculate the estimated direction of gravity with respect to the tracking map of the portable device based at least in part on an estimate of a direction of gravity with respect to the persistence map and the determined alignment between the tracking map and the persistence map;
The XR system of claim 11 , wherein the estimated direction of gravity with respect to the tracking map is transmitted to the portable electronic device .
前記推定される重力の方向に対する個別の座標フレームの配向に少なくとも部分的に基づいて、２つの回転自由度を固定することと、
前記固定された２つの回転自由度に少なくとも部分的に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
によって制約される、請求項１１～１２のいずれかに記載のＸＲシステム。 The process of determining comprises :
fixing two rotational degrees of freedom based at least in part on an orientation of the respective coordinate frames relative to the estimated direction of gravity;
Calculating one rotational degree of freedom and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom.
前記持続マップのデータベース内の前記持続マップに対する前記特徴の集合の大まかな位置特定を実施することであって、大まかな位置特定は、前記持続マップのデータベース内の前記持続マップに対する前記ポータブル電子デバイスの大まかな変換を算出することを含む、ことと、
前記持続マップに対する前記特徴の集合の精緻化された位置特定を実施することであって、前記特徴の集合の精緻化された位置特定は、前記大まかな変換に基づいて、前記ポータブル電子デバイスの候補位置特定を算出することを含む、ことと
を含む、請求項１１に記載のＸＲシステム。 Calculating candidate localizations for the set of features includes:
performing a coarse location of the set of features relative to the persistent map in the database of persistent maps, the coarse location comprising calculating a coarse transformation of the portable electronic device relative to the persistent map in the database of persistent maps;
and performing a refined localization of the set of features relative to the persistent map, the refined localization of the set of features comprising calculating candidate localizations of the portable electronic device based on the coarse transformation.
対応する推定される重力の方向に対する個別の座標フレームの配向に少なくとも部分的に基づいて、２つの回転自由度を固定することと、
前記固定された２つの回転自由度に少なくとも部分的に基づいて、１つの回転自由度および３つの平行移動自由度を算出することと
を含む、請求項１４に記載のＸＲシステム。 Calculating the coarse transformation of the portable electronic device to the persistent map in the database of persistent maps includes:
Fixing two rotational degrees of freedom based at least in part on the orientation of the respective coordinate frames relative to a corresponding estimated direction of gravity;
and calculating one rotational and three translational degrees of freedom based at least in part on the two fixed rotational degrees of freedom.
３次元（３Ｄ）環境についての情報を捕捉するように構成される１つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、１つまたはそれを上回るセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
特徴の複数の集合を前記３Ｄ環境の前記複数の画像から抽出することと、
前記電子デバイスにローカルの座標フレームに対する推定される重力の方向を決定することと、
前記座標フレーム内の前記特徴の複数の集合の特徴の位置を表すことと、
前記クロスリアリティシステムの位置特定サービスに、前記特徴の複数の集合についての情報を送信することであって、前記情報は、前記特徴の複数の集合の特徴の位置および前記座標フレームに対する前記推定される重力の方向を示す、ことと、
前記位置特定サービスから、持続マップのデータベース内の持続マップに対する前記電子デバイスの姿勢を受信することであって、前記電子デバイスの前記姿勢は、前記位置特定サービスに送信後、１０秒未満で受信される、ことと
を行うための命令を備える、少なくとも１つのプロセッサと
を備える、電子デバイス。 1. An electronic device configured to operate within a cross reality system, the electronic device comprising:
one or more sensors configured to capture information about a three-dimensional (3D) environment, the captured information comprising a plurality of images;
At least one processor configured to execute computer-executable instructions, the computer-executable instructions comprising:
Extracting a plurality of sets of features from the plurality of images of the 3D environment;
determining an estimated direction of gravity relative to a coordinate frame local to the electronic device;
representing positions of features of the plurality of sets of features within the coordinate frame;
sending information about the plurality of sets of features to a location service of the cross reality system, the information indicating positions of features of the plurality of sets of features and the estimated direction of gravity relative to the coordinate frame;
and receiving from the location service an orientation of the electronic device relative to a persistent map in a database of persistent maps, the orientation of the electronic device being received less than 10 seconds after transmission to the location service.
前記推定される重力の方向は、前記少なくとも１つの慣性測定ユニットの出力に基づいて決定される、請求項１６に記載の電子デバイス。 the one or more sensors comprising at least one inertial measurement unit;
The electronic device of claim 16 , wherein the estimated direction of gravity is determined based on an output of the at least one inertial measurement unit.
前記特徴の複数の集合についての情報は、個別のセンサ座標フレーム内の特徴と、前記電子デバイス上の前記１つまたはそれを上回るセンサの場所とを備える、請求項２３に記載の電子デバイス。
the one or more sensors having individual sensor coordinate frames;
24. The electronic device of claim 23, wherein the information about the multiple sets of features comprises features in individual sensor coordinate frames and locations of the one or more sensors on the electronic device.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063017227P | 2020-04-29 | 2020-04-29 | |
| US63/017,227 | 2020-04-29 | ||
| PCT/US2021/029585 WO2021222371A1 (en) | 2020-04-29 | 2021-04-28 | Cross reality system for large scale environments |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023524446A JP2023524446A (en) | 2023-06-12 |
| JPWO2021222371A5 true JPWO2021222371A5 (en) | 2024-05-10 |
Family
ID=78293142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022565806A Pending JP2023524446A (en) | 2020-04-29 | 2021-04-28 | Cross-reality system for large-scale environments |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11900547B2 (en) |
| EP (1) | EP4143794A4 (en) |
| JP (1) | JP2023524446A (en) |
| CN (1) | CN115803788A (en) |
| WO (1) | WO2021222371A1 (en) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3837674A4 (en) | 2018-08-13 | 2022-05-18 | Magic Leap, Inc. | A cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| JP7503542B2 (en) | 2018-10-05 | 2024-06-20 | マジック リープ， インコーポレイテッド | Rendering location-specific virtual content anywhere |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| JP2022551734A (en) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system that supports multiple device types |
| JP2022551735A (en) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system using wireless fingerprints |
| EP4052086A4 (en) | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | Cross reality system with quality information about persistent coordinate frames |
| WO2021096931A1 (en) | 2019-11-12 | 2021-05-20 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| JP2023504570A (en) | 2019-12-09 | 2023-02-03 | マジック リープ， インコーポレイテッド | Cross-reality system with simplified programming of virtual content |
| US11393176B2 (en) * | 2020-02-07 | 2022-07-19 | Krikey, Inc. | Video tools for mobile rendered augmented reality game |
| CN115427758A (en) | 2020-02-13 | 2022-12-02 | 奇跃公司 | Cross reality system with accurate shared map |
| CN115398484A (en) * | 2020-02-13 | 2022-11-25 | 奇跃公司 | Cross reality system with geolocation information priority for location |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| CN115461787A (en) | 2020-02-26 | 2022-12-09 | 奇跃公司 | Cross reality system with quick positioning |
| US11391596B2 (en) * | 2020-04-28 | 2022-07-19 | Vgis Inc. | System and method for converging mediated reality positioning data and geographic positioning data |
| US11620818B2 (en) * | 2020-10-01 | 2023-04-04 | Intel Corporation | Spatially sparse neural network accelerator for multi-dimension visual analytics |
| US11522945B2 (en) * | 2020-10-20 | 2022-12-06 | Iris Tech Inc. | System for providing synchronized sharing of augmented reality content in real time across multiple devices |
| US11967041B2 (en) * | 2021-05-18 | 2024-04-23 | Microsoft Technology Licensing, Llc | Geospatial image processing for targeted data acquisition |
| US20230236219A1 (en) * | 2022-01-21 | 2023-07-27 | Google Llc | Visual inertial odometry with machine learning depth |
| CN114359392B (en) * | 2022-03-16 | 2022-07-26 | 荣耀终端有限公司 | Visual positioning method, device, chip system and storage medium |
| WO2024098163A1 (en) * | 2022-11-11 | 2024-05-16 | Waabi Innovation Inc. | Neural hash grid based multi-sensor simulation |
| WO2024163101A1 (en) * | 2023-02-01 | 2024-08-08 | Innopeak Technology, Inc. | Method for operating an extended reality device and related devices for safety boundary generation |
| CN116152383B (en) * | 2023-03-06 | 2023-08-11 | 深圳优立全息科技有限公司 | Voxel model, image generation method, device and storage medium |
| CN116627849B (en) * | 2023-07-24 | 2024-01-26 | 中邮消费金融有限公司 | System test method, device, equipment and storage medium |
| US12025454B1 (en) * | 2023-07-28 | 2024-07-02 | Goodmaps Inc. | Localization of user(s) in environment(s) |
Family Cites Families (163)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100483806B1 (en) | 2002-07-18 | 2005-04-20 | 한국과학기술원 | Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library |
| US20050228849A1 (en) | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
| US10809071B2 (en) | 2017-10-17 | 2020-10-20 | AI Incorporated | Method for constructing a map while performing work |
| US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
| US7583858B2 (en) | 2004-10-12 | 2009-09-01 | Eastman Kodak Company | Image processing based on direction of gravity |
| US20080303787A1 (en) | 2005-10-21 | 2008-12-11 | Zheng Yu Brian | Touch Screen Apparatus And Methods |
| CA2659672A1 (en) | 2006-06-26 | 2008-01-03 | Icosystem Corporation | Methods and systems for interactive customization of avatars and other animate or inanimate items in video games |
| US8781162B2 (en) | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
| US20080090659A1 (en) | 2006-10-12 | 2008-04-17 | Maximino Aguilar | Virtual world event notification from a persistent world game server in a logically partitioned game console |
| JP4292426B2 (en) | 2007-05-15 | 2009-07-08 | ソニー株式会社 | Imaging apparatus and imaging data correction method |
| SG183690A1 (en) | 2007-08-06 | 2012-09-27 | Trx Systems Inc | Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors |
| US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
| GB0818561D0 (en) | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
| US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
| US8839121B2 (en) | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
| KR20100138725A (en) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | Method and apparatus for processing virtual world |
| US9119027B2 (en) | 2009-10-06 | 2015-08-25 | Facebook, Inc. | Sharing of location-based content item in social networking service |
| US8185596B2 (en) | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
| US8600803B1 (en) | 2010-05-18 | 2013-12-03 | Google Inc. | Incentivizing behavior to address pricing, tax, and currency issues in an online marketplace for digital goods |
| KR101686171B1 (en) | 2010-06-08 | 2016-12-13 | 삼성전자주식회사 | Apparatus for recognizing location using image and range data and method thereof |
| WO2012006578A2 (en) | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
| US11488322B2 (en) * | 2010-12-08 | 2022-11-01 | Cognex Corporation | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same |
| JP5960796B2 (en) | 2011-03-29 | 2016-08-02 | クアルコム，インコーポレイテッド | Modular mobile connected pico projector for local multi-user collaboration |
| US8526368B2 (en) | 2011-05-17 | 2013-09-03 | Qualcomm Incorporated | Wi-Fi access point characteristics database |
| US20120314031A1 (en) | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
| US9082214B2 (en) | 2011-07-01 | 2015-07-14 | Disney Enterprises, Inc. | 3D drawing system for providing a real time, personalized, and immersive artistic experience |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| WO2013029674A1 (en) | 2011-08-31 | 2013-03-07 | Metaio Gmbh | Method of matching image features with reference features |
| US8243102B1 (en) | 2011-10-12 | 2012-08-14 | Google Inc. | Derivative-based selection of zones for banded map display |
| US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| US8977021B2 (en) | 2011-12-30 | 2015-03-10 | Mako Surgical Corp. | Systems and methods for customizing interactive haptic boundaries |
| US9530221B2 (en) | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
| US9310882B2 (en) | 2012-02-06 | 2016-04-12 | Sony Computer Entertainment Europe Ltd. | Book object for augmented reality |
| US9386297B2 (en) | 2012-02-24 | 2016-07-05 | Casio Computer Co., Ltd. | Image generating apparatus generating reconstructed image, method, and computer-readable recording medium |
| KR20130110907A (en) | 2012-03-30 | 2013-10-10 | 삼성전자주식회사 | Apparatus and method for remote controlling based on virtual reality and augmented reality |
| US9293118B2 (en) | 2012-03-30 | 2016-03-22 | Sony Corporation | Client device |
| US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| US9311750B2 (en) | 2012-06-05 | 2016-04-12 | Apple Inc. | Rotation operations in a mapping application |
| US9310559B2 (en) | 2012-06-11 | 2016-04-12 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
| GB2506338A (en) | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
| US8829409B2 (en) | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
| US9349072B2 (en) | 2013-03-11 | 2016-05-24 | Microsoft Technology Licensing, Llc | Local feature based image compression |
| CN105188516B (en) | 2013-03-11 | 2017-12-22 | 奇跃公司 | For strengthening the System and method for virtual reality |
| US20140267234A1 (en) | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
| US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| WO2014169238A1 (en) | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
| US9154919B2 (en) | 2013-04-22 | 2015-10-06 | Alcatel Lucent | Localization systems and methods |
| EP2808842B1 (en) | 2013-05-31 | 2017-08-16 | Technische Universität München | An apparatus and method for tracking and reconstructing three-dimensional objects |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9406137B2 (en) | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
| US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
| WO2014202258A1 (en) | 2013-06-21 | 2014-12-24 | National University Of Ireland, Maynooth | A method for mapping an environment |
| US9779548B2 (en) | 2013-06-25 | 2017-10-03 | Jordan Kent Weisman | Multiuser augmented reality system |
| US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
| CN110542938B (en) | 2013-11-27 | 2023-04-18 | 奇跃公司 | Virtual and augmented reality systems and methods |
| CN106171012B (en) | 2013-12-20 | 2020-01-17 | 英特尔公司 | Wi-Fi scan scheduling and power adaptation for low-power indoor positioning |
| US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9830679B2 (en) | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
| WO2015155628A1 (en) | 2014-04-07 | 2015-10-15 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
| GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
| CN112651288B (en) | 2014-06-14 | 2022-09-20 | 奇跃公司 | Method and system for generating virtual and augmented reality |
| US10068373B2 (en) | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
| CN104143212A (en) | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | Reality augmenting method and system based on wearable device |
| US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
| US20190347865A1 (en) | 2014-09-18 | 2019-11-14 | Google Inc. | Three-dimensional drawing inside virtual reality environment |
| US20200252233A1 (en) | 2014-09-24 | 2020-08-06 | James Thomas O'Keeffe | System and method for user profile enabled smart building control |
| US10719727B2 (en) | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
| US9754419B2 (en) | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
| US10139471B2 (en) | 2014-12-04 | 2018-11-27 | Here Global B.V. | Supporting a collaborative collection of data |
| US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
| US9685005B2 (en) | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
| US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
| US20160300389A1 (en) | 2015-04-08 | 2016-10-13 | Exactigo, Inc. | Correlated immersive virtual simulation for indoor navigation |
| EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
| US9467718B1 (en) | 2015-05-06 | 2016-10-11 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a content commentary community |
| KR101725478B1 (en) | 2015-05-21 | 2017-04-11 | 주식회사 맥스트 | Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method |
| US20160381118A1 (en) | 2015-06-23 | 2016-12-29 | Microsoft Technology Licensing, Llc | Extracting and formatting content from web-resources |
| WO2017039308A1 (en) | 2015-08-31 | 2017-03-09 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
| ES2920837T3 (en) | 2015-09-10 | 2022-08-10 | Oriient New Media Ltd | Navigate, track and position mobile devices in areas with no GPS or inaccurate GPS with automatic map generation |
| CA2941893C (en) | 2015-09-14 | 2020-02-25 | The Toronto-Dominion Bank | Connected device-based property evaluation |
| US20170094227A1 (en) | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
| JP6944441B2 (en) | 2015-09-25 | 2021-10-06 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Methods and systems for detecting and combining structural features in 3D reconstruction |
| GB201517101D0 (en) | 2015-09-28 | 2015-11-11 | Univ Essex Entpr Ltd | Mixed-reality system |
| US10471355B2 (en) | 2015-10-21 | 2019-11-12 | Sharp Kabushiki Kaisha | Display system, method of controlling display system, image generation control program, and computer-readable storage medium |
| US9706366B2 (en) | 2015-11-06 | 2017-07-11 | International Business Machines Corporation | WiFi-fingerprint based indoor localization map |
| US10254845B2 (en) | 2016-01-05 | 2019-04-09 | Intel Corporation | Hand gesture recognition for cursor control |
| US10523865B2 (en) | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
| WO2017143303A1 (en) | 2016-02-17 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for sharing virtual elements |
| US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
| JP6776609B2 (en) | 2016-02-22 | 2020-10-28 | デクセリアルズ株式会社 | Anisotropic conductive film |
| US20180122143A1 (en) | 2016-03-15 | 2018-05-03 | Sutherland Cook Ellwood, JR. | Hybrid photonic vr/ar systems |
| US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
| US10802147B2 (en) | 2016-05-18 | 2020-10-13 | Google Llc | System and method for concurrent odometry and mapping |
| US10586391B2 (en) | 2016-05-31 | 2020-03-10 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
| CA3033344A1 (en) | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| IL307594A (en) | 2016-08-22 | 2023-12-01 | Magic Leap Inc | Virtual, augmented, and mixed reality systems and methods |
| US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
| US10007868B2 (en) | 2016-09-19 | 2018-06-26 | Adobe Systems Incorporated | Font replacement based on visual similarity |
| US10354129B2 (en) | 2017-01-03 | 2019-07-16 | Intel Corporation | Hand gesture recognition for virtual reality and augmented reality devices |
| US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| WO2018139773A1 (en) | 2017-01-25 | 2018-08-02 | 한국과학기술연구원 | Slam method and device robust to changes in wireless environment |
| US10460489B2 (en) | 2017-03-15 | 2019-10-29 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring scaling parameters |
| EP3596542B1 (en) | 2017-03-17 | 2024-01-17 | Magic Leap, Inc. | Technique for recording augmented reality data |
| US10600252B2 (en) | 2017-03-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
| US11017592B2 (en) | 2017-03-30 | 2021-05-25 | Magic Leap, Inc. | Centralized rendering |
| US9754397B1 (en) | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
| CN111133365B (en) | 2017-05-01 | 2023-03-31 | 奇跃公司 | Matching content to spatial 3D environment |
| WO2018222756A1 (en) | 2017-05-30 | 2018-12-06 | Ptc Inc. | Object initiated communication |
| CN109145927A (en) | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | The target identification method and device of a kind of pair of strain image |
| JP6585665B2 (en) | 2017-06-29 | 2019-10-02 | ファナック株式会社 | Virtual object display system |
| US10503955B2 (en) | 2017-08-29 | 2019-12-10 | Synaptics Incorporated | Device with improved circuit positioning |
| WO2019046774A1 (en) | 2017-09-01 | 2019-03-07 | Memorial Sloan Kettering Cancer Center | Systems and methods for generating 3d medical images by scanning a whole tissue block |
| US10546387B2 (en) | 2017-09-08 | 2020-01-28 | Qualcomm Incorporated | Pose determination with semantic segmentation |
| US10685456B2 (en) | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
| CN111344716B (en) | 2017-11-14 | 2024-07-19 | 奇跃公司 | Full convolution point of interest detection and description via homography transform adaptation |
| WO2019118886A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
| CN111684495A (en) | 2017-12-22 | 2020-09-18 | 奇跃公司 | Method and system for managing and displaying virtual content in a mixed reality system |
| US11237004B2 (en) | 2018-03-27 | 2022-02-01 | Uatc, Llc | Log trajectory estimation for globally consistent maps |
| US10838574B2 (en) | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
| US10803671B2 (en) | 2018-05-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Authoring content in three-dimensional environment |
| US11321929B2 (en) * | 2018-05-18 | 2022-05-03 | Purdue Research Foundation | System and method for spatially registering multiple augmented reality devices |
| US10812711B2 (en) | 2018-05-18 | 2020-10-20 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
| CN110515452B (en) | 2018-05-22 | 2022-02-22 | 腾讯科技（深圳）有限公司 | Image processing method, image processing device, storage medium and computer equipment |
| US10706629B2 (en) | 2018-06-15 | 2020-07-07 | Dell Products, L.P. | Coordinate override in virtual, augmented, and mixed reality (xR) applications |
| US11182614B2 (en) | 2018-07-24 | 2021-11-23 | Magic Leap, Inc. | Methods and apparatuses for determining and/or evaluating localizing maps of image display devices |
| EP3837674A4 (en) | 2018-08-13 | 2022-05-18 | Magic Leap, Inc. | A cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| CN112889118A (en) | 2018-09-04 | 2021-06-01 | 阿克提雅有限公司 | System for determining blood pressure of one or more users |
| JP7503542B2 (en) | 2018-10-05 | 2024-06-20 | マジック リープ， インコーポレイテッド | Rendering location-specific virtual content anywhere |
| US11397438B2 (en) * | 2018-11-16 | 2022-07-26 | Robotic Research Opco, Llc | Driver aid and autonomous tractor-trailer parking and loading dock alignment system |
| US10854007B2 (en) | 2018-12-03 | 2020-12-01 | Microsoft Technology Licensing, Llc | Space models for mixed reality |
| US20200211290A1 (en) | 2018-12-26 | 2020-07-02 | Lg Electronics Inc. | Xr device for providing ar mode and vr mode and method for controlling the same |
| EP3895416A4 (en) | 2019-03-27 | 2022-03-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Three-dimensional localization using light-depth images |
| US11151792B2 (en) | 2019-04-26 | 2021-10-19 | Google Llc | System and method for creating persistent mappings in augmented reality |
| US10748302B1 (en) | 2019-05-02 | 2020-08-18 | Apple Inc. | Multiple user simultaneous localization and mapping (SLAM) |
| US11010921B2 (en) | 2019-05-16 | 2021-05-18 | Qualcomm Incorporated | Distributed pose estimation |
| US20200364937A1 (en) | 2019-05-16 | 2020-11-19 | Subvrsive, Inc. | System-adaptive augmented reality |
| US11145083B2 (en) | 2019-05-21 | 2021-10-12 | Microsoft Technology Licensing, Llc | Image-based localization |
| US20200380263A1 (en) | 2019-05-29 | 2020-12-03 | Gyrfalcon Technology Inc. | Detecting key frames in video compression in an artificial intelligence semiconductor solution |
| US10854012B1 (en) | 2019-05-29 | 2020-12-01 | Dell Products, L.P. | Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
| US10852828B1 (en) | 2019-07-17 | 2020-12-01 | Dell Products, L.P. | Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications |
| US10936874B1 (en) | 2019-08-13 | 2021-03-02 | Dell Products, L.P. | Controller gestures in virtual, augmented, and mixed reality (xR) applications |
| KR20190104928A (en) | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | Extended reality device and method for controlling the extended reality device |
| US11270515B2 (en) | 2019-09-04 | 2022-03-08 | Qualcomm Incorporated | Virtual keyboard |
| CN114222960A (en) | 2019-09-09 | 2022-03-22 | 苹果公司 | Multimodal input for computer-generated reality |
| JP2022551734A (en) * | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system that supports multiple device types |
| JP2022551735A (en) * | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system using wireless fingerprints |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| US11494995B2 (en) * | 2019-10-29 | 2022-11-08 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| EP4052086A4 (en) | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | Cross reality system with quality information about persistent coordinate frames |
| WO2021096931A1 (en) * | 2019-11-12 | 2021-05-20 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| JP2023504570A (en) | 2019-12-09 | 2023-02-03 | マジック リープ， インコーポレイテッド | Cross-reality system with simplified programming of virtual content |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| CN115427758A (en) | 2020-02-13 | 2022-12-02 | 奇跃公司 | Cross reality system with accurate shared map |
| EP4104144A4 (en) * | 2020-02-13 | 2024-06-05 | Magic Leap, Inc. | Cross reality system for large scale environments |
| CN115398484A (en) | 2020-02-13 | 2022-11-25 | 奇跃公司 | Cross reality system with geolocation information priority for location |
| CN115461787A (en) | 2020-02-26 | 2022-12-09 | 奇跃公司 | Cross reality system with quick positioning |
| US12052408B2 (en) * | 2020-02-26 | 2024-07-30 | Intel Corporation | Depth based 3D reconstruction using an a-priori depth scene |
-
2021
- 2021-04-28 US US17/242,763 patent/US11900547B2/en active Active
- 2021-04-28 EP EP21796775.1A patent/EP4143794A4/en active Pending
- 2021-04-28 JP JP2022565806A patent/JP2023524446A/en active Pending
- 2021-04-28 CN CN202180045830.4A patent/CN115803788A/en active Pending
- 2021-04-28 WO PCT/US2021/029585 patent/WO2021222371A1/en unknown
-
2023
- 2023-12-26 US US18/396,682 patent/US20240135656A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2021222371A5 (en) | ||
| CN107747941B (en) | Binocular vision positioning method, device and system | |
| US10580162B2 (en) | Method for determining the pose of a camera and for recognizing an object of a real environment | |
| US11503428B2 (en) | Systems and methods for co-localization of multiple devices | |
| JP5920352B2 (en) | Information processing apparatus, information processing method, and program | |
| TWI574223B (en) | Navigation system using augmented reality technology | |
| JP6255085B2 (en) | Locating system and locating method | |
| JP5499762B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
| JP6830140B2 (en) | Motion vector field determination method, motion vector field determination device, equipment, computer readable storage medium and vehicle | |
| RU2011127163A (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND SYSTEM | |
| JP2017520063A5 (en) | ||
| JPWO2021076754A5 (en) | ||
| JP2000041173A (en) | Deciding method for visual point position attitude, camera device and visual point position sensor | |
| JP2005528707A5 (en) | ||
| US20230014421A1 (en) | 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION | |
| JPWO2021076757A5 (en) | ||
| CN111369628A (en) | Multi-camera centralized cooperative SLAM method and system | |
| JPWO2021163300A5 (en) | ||
| KR102074370B1 (en) | Method for providing augmented reality contents | |
| JPWO2020262392A5 (en) | ||
| CN115112123A (en) | Multi-mobile-robot cooperative positioning method and system based on vision-IMU fusion | |
| CN110119189A (en) | The initialization of SLAM system, AR control method, device and system | |
| Calloway et al. | Three tiered visual-inertial tracking and mapping for augmented reality in urban settings | |
| CN110501016B (en) | Method and device for measuring satellite attitude | |
| CN113077306B (en) | Image processing method, device and equipment |