JPWO2021163295A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021163295A5
JPWO2021163295A5 JP2022548663A JP2022548663A JPWO2021163295A5 JP WO2021163295 A5 JPWO2021163295 A5 JP WO2021163295A5 JP 2022548663 A JP2022548663 A JP 2022548663A JP 2022548663 A JP2022548663 A JP 2022548663A JP WO2021163295 A5 JPWO2021163295 A5 JP WO2021163295A5
Authority
JP
Japan
Prior art keywords
location
portable electronic
electronic device
map
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022548663A
Other languages
English (en)
Other versions
JP2023514207A (ja
Publication date
Application filed filed Critical
Priority claimed from PCT/US2021/017616 external-priority patent/WO2021163295A1/en
Publication of JP2023514207A publication Critical patent/JP2023514207A/ja
Publication of JPWO2021163295A5 publication Critical patent/JPWO2021163295A5/ja
Pending legal-status Critical Current

Links

Description

一実施形態によると、本方法はさらに、ポータブル電子デバイスを正常に位置特定しないことに基づいて、受信された場所メタデータから導出される、ジオロケーション情報を、それに対してポータブル電子デバイスが以前に正常に位置特定された、マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶するステップを含む。前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
(項目1)
クロスリアリティシステム内で動作するように構成されるポータブル電子デバイスであって、前記ポータブル電子デバイスは、
3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
複数の特徴を前記ポータブル電子デバイスと関連付けられる前記3D環境の複数の画像から抽出することと、
場所メタデータと前記複数の特徴とを関連付けることと、
ネットワークを経由して、位置特定サービスに、前記複数の特徴についての情報、前記ポータブル電子デバイスのローカル座標フレーム内に表される前記複数の特徴に関する位置情報、および前記関連付けられる場所メタデータを通信することと、
前記位置特定サービスから、前記ローカル座標フレームを第2の座標フレームに関連させる少なくとも1つの変換を受信することと
のための命令を備える、少なくとも1つのプロセッサと
を備える、ポータブル電子デバイス。
(項目2)
前記場所メタデータは、以前の位置特定情報を含む、項目1に記載のポータブル電子デバイス。
(項目3)
前記ポータブル電子デバイスは、ジオロケーションアプリケーションプログラミングインターフェース(API)を伴うオペレーティングシステムを備え、
前記コンピュータ実行可能命令はさらに、前記ジオロケーションAPIを呼び出すことによって、前記場所メタデータを取得するための命令を備える、
項目1に記載のポータブル電子デバイス。
(項目4)
前記コンピュータ実行可能命令はさらに、前記第2の座標フレームに基づいて、ある場所内の仮想コンテンツの記述を受信することと、前記少なくとも1つの変換に基づいて、前記仮想コンテンツをレンダリングすることとための命令を備える、項目1に記載のポータブル電子デバイス。
(項目5)
前記ポータブル電子デバイスは、複数のデータ構造を記憶するように構成されるバッファを備え、
前記場所メタデータと前記複数の特徴とを関連付けることは、前記バッファ内の前記複数のデータ構造のデータ構造の中に、前記場所メタデータ、前記複数の特徴についての情報、および前記複数の特徴に関する位置情報を記憶することを含む、
項目1に記載のポータブル電子デバイス。
(項目6)
前記ネットワークを経由して、前記位置特定サービスに通信することは、前記バッファからの前記複数のデータ構造を位置特定要求として伝送することを含む、項目5に記載のポータブル電子デバイス。
(項目7)
前記コンピュータ実行可能命令はさらに、
ローカルデバイスマップを前記複数の画像から構築することと、
持続場所を前記ローカルデバイスマップ内に定義することと、
ジオロケーション情報と前記持続場所とを関連付けることと
のための命令を備え、
前記場所メタデータと前記複数の特徴とを関連付けることは、前記ローカルデバイスマップから、そこから前記複数の特徴が抽出された前記複数の画像の捕捉と時間的に一致する前記ポータブル電子デバイスに近接する前記持続場所のうちの持続場所と関連付けられるジオロケーション情報にアクセスすることを含む、項目1に記載のポータブル電子デバイス。
(項目8)
前記コンピュータ実行可能命令はさらに、場所情報をフィルタリングすること、クラスタ化すること、および/または正規化することによって、前記場所メタデータを取得するための命令を備える、項目1に記載のポータブル電子デバイス。
(項目9)
場所メタデータと前記複数の特徴とを関連付けることは、前記3D環境内の前記ポータブル電子デバイスの現在の場所に関するジオロケーション情報を生成または受信する行為を含む、項目1に記載のポータブル電子デバイス。
(項目10)
記憶されたマップに対する仮想コンテンツの位置の仕様をサポートするクロスリアリティシステムであって、前記システムは、
1つまたはそれを上回るポータブル電子デバイスとのネットワーク通信のために構成される1つまたはそれを上回るコンピューティングデバイスであって、
通信コンポーネントであって、ポータブル電子デバイスから、前記ポータブル電子デバイスの3次元(3D)環境内の特徴のセットについての情報、第1の座標フレーム内に表される特徴のセットに関する位置情報、および前記3D環境内の前記ポータブル電子デバイスの位置と関連付けられる場所メタデータを受信するように構成される、通信コンポーネントと、
前記通信コンポーネントに接続される位置特定コンポーネントであって、前記位置特定コンポーネントは、
前記受信された場所メタデータおよび前記記憶されたマップと関連付けられる場所メタデータに基づいて、記憶されたマップのセットを選択することと、
前記特徴の受信されたセットを前記識別された記憶されたマップの特徴にマッチングさせることに基づいて、記憶されたマップを前記記憶されたマップのセットから識別することであって、前記識別された記憶されたマップは、第2の座標フレームを備える、ことと、
前記特徴の受信されたセットと前記識別された記憶されたマップ内の特徴のマッチングするセットとの間の算出された整合に基づいて、前記第1の座標フレームと前記第2の座標フレームとの間の変換を生成することと、
前記変換を前記ポータブル電子デバイスに送信することと
を行うように構成される、位置特定コンポーネントと
を備える、1つまたはそれを上回るコンピューティングデバイス
を備える、システム。
(項目11)
前記位置特定コンポーネントは、場所メタデータのタイプと関連付けられる優先順位に基づいて、前記記憶されたマップのセットを選択するために、場所メタデータのタイプを選択するように構成される、項目10に記載のシステム。
(項目12)
前記場所メタデータのタイプと関連付けられる優先順位は、以前の位置特定情報をWiFiフィンガプリントより優先させる、項目11に記載のシステム。
(項目13)
前記場所メタデータのタイプと関連付けられる優先順位は、前記WiFiフィンガプリントを前記ポータブル電子デバイスのオペレーティングシステムから取得されるジオロケーション情報より優先する、項目12に記載のシステム。
(項目14)
前記1つまたはそれを上回るコンピューティングデバイスはさらに、前記記憶されたマップをジオロケーションによって識別するジオロケーションデータベースを備える、項目10に記載のシステム。
(項目15)
前記位置特定コンポーネントはさらに、前記受信された場所メタデータに基づいて、前記ジオロケーションデータベースにクエリすることによって、前記記憶されたマップのセットを選択するように構成される、項目14に記載のシステム。
(項目16)
前記位置特定コンポーネントはさらに、前記受信された場所メタデータおよび前記識別する記憶されたマップに基づいて、前記ジオロケーションデータベースを更新するように構成される、項目15に記載のシステム。
(項目17)
前記位置特定コンポーネントはさらに、前記識別された記憶されたマップと関連付けられる場所メタデータに基づいて、ジオロケーション情報を前記ポータブル電子デバイスに送信するように構成される、項目15に記載のシステム。
(項目18)
前記位置特定コンポーネントはさらに、前記受信された場所メタデータおよび前記識別する記憶されたマップに基づいて、前記記憶されたマップと関連付けられる前記場所メタデータを更新するように構成される、項目10に記載のシステム。
(項目19)
前記位置特定コンポーネントはさらに、
位置特定失敗を識別することと、
位置特定失敗に応答して、前記ポータブル電子デバイスに関する以前の成功位置特定情報に基づいて、前記記憶されたマップと関連付けられる前記場所メタデータを更新することと
を行うように構成される、項目18に記載のシステム。
(項目20)
前記記憶されたマップは、複数のセグメントを備え、
前記記憶されたマップのセットを選択することは、前記記憶されたマップのタイルを選択することを含む、
項目10に記載のシステム。
(項目21)
3次元(3D)環境内で動作し、クロスリアリティシステムの仮想コンテンツを表示するように構成されるポータブル電子デバイスであって、前記ポータブル電子デバイスは、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサ上で実行するオペレーティングシステムであって、前記オペレーティングシステムは、ジオロケーションアプリケーションプログラミングインターフェース(API)を提供する、オペレーティングシステムと、
コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサによって実行されると、
前記ポータブル電子デバイスが前記3D環境内で移動するにつれて、ローカル座標フレームに基づいて、前記3D環境のマップを形成するように構成され、前記マップは、持続場所を備える、
コンピュータ実行可能命令と、
拡張現実アプリケーションであって、前記拡張現実アプリケーションは、コンピュータ実行可能命令であって、前記少なくとも1つのプロセッサによって実行されると、
前記ジオロケーションAPIにクエリすることと、
前記ジオロケーションAPIを通して受信されたジオロケーション情報を、前記持続場所と関連付けられる場所メタデータとして記憶することと
を行うように構成されるコンピュータ実行可能命令を備える、拡張現実アプリケーションと
を備える、ポータブル電子デバイス。
(項目22)
前記持続場所と関連付けられる前記場所メタデータを記憶することは、前記選択された複数の持続場所のうちの持続場所と関連付けて記憶される場所メタデータを更新することを含む、項目21に記載のポータブル電子デバイス。
(項目23)
前記持続場所と関連付けて記憶される場所メタデータを更新することは、前記受信されたジオロケーション情報と前記持続場所と関連付けられる以前に記憶された場所メタデータとを組み合わせることを含む、項目22に記載のポータブル電子デバイス。
(項目24)
クロスリアリティシステムのためのクラウドサービスであって、前記サービスは、
コンピュータ記憶媒体であって、
マップのデータベースと、
前記マップのデータベースのマップと関連付けられる複数のタイプの場所メタデータであって、前記場所メタデータのタイプは、無線フィンガプリントおよびジオロケーション情報を備える、複数のタイプの場所メタデータと
を記憶する、コンピュータ記憶媒体と、
複数のポータブル電子デバイスとのネットワーク通信のために構成される1つまたはそれを上回るコンピューティングデバイスであって、前記1つまたはそれを上回るコンピューティングデバイスは、コンピュータ実行可能命令を備える非一過性コンピュータ可読命令を備え、前記コンピュータ実行可能命令は、実行されると、
前記複数のポータブル電子デバイスのポータブル電子デバイスから、前記ポータブル電子デバイスに関する位置情報および場所メタデータを備える通信を受信することと、
前記通信のために、前記場所メタデータの複数のタイプの場所メタデータのタイプを選択することと、
前記受信された場所メタデータおよび前記マップのデータベースのマップと関連付けられる前記場所メタデータの選択されたタイプに基づいて、マップのセットを前記マップのデータベースから選択することと、
前記受信された位置情報と前記マップのセットのマップとを比較することと
を含む方法を実施する、1つまたはそれを上回るコンピューティングデバイスと
を備える、サービス。
(項目25)
前記受信された位置情報は、デバイス追跡マップを備える、項目24に記載のクラウドサービス。
(項目26)
前記受信された位置情報を前記マップのセットのマップと比較することは、マッチングするマップを前記マップのセットから識別することを含み、
前記方法はさらに、前記デバイス追跡マップと前記マッチングするマップとをマージすることを含む、
項目25に記載のクラウドサービス。
(項目27)
前記デバイス追跡マップと前記マッチングするマップとをマージすることは、
前記デバイス追跡マップからの場所メタデータと前記マップのデータベース内のマージされたマップとを関連付けることと、
前記デバイス追跡マップから導出されるジオロケーション情報をジオロケーションデータベースの記録のインデックスとして記憶することであって、前記記録は、前記マージされたマップの少なくとも一部を識別する、ことと
を含む、項目26に記載のクラウドサービス。
(項目28)
前記マップのセットを選択することは、前記受信された場所メタデータに基づいて、前記ジオロケーションデータベースにクエリすることを含む、項目27に記載のクラウドサービス。
(項目29)
前記受信された位置情報は、前記ポータブル電子デバイスの3次元(3D)環境内の特徴のセットについての情報を備える、項目24に記載のクラウドサービス。
(項目30)
前記受信された位置情報と前記マップのセットのマップとを比較することは、前記ポータブル電子デバイスを前記マップのセットのマップに対して位置特定するように試みることを含む、項目29に記載のクラウドサービス。
(項目31)
前記方法はさらに、前記ポータブル電子デバイスを前記マップのセットのマップ内の場所に対して正常に位置特定することに基づいて、前記ポータブル電子デバイスに、前記マップのセットのマップ内の場所と関連付けて記憶される場所メタデータから導出されるジオロケーション情報を伝送することを含む、項目30に記載のクラウドサービス。
(項目32)
前記方法はさらに、前記ポータブル電子デバイスを前記マップのセットのマップ内の場所に対して正常に位置特定することに基づいて、前記受信された場所メタデータから導出されるジオロケーション情報を、前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することを含む、項目30に記載のクラウドサービス。
(項目33)
ジオロケーション情報を前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することは、
前記ジオロケーション情報をハッシュ化することと、
ジオハッシュ値によってインデックス化されたデータベースを前記ハッシュ化されたジオロケーション情報で更新することと
を含む、項目32に記載のクラウドサービス。
(項目34)
前記方法はさらに、前記ポータブル電子デバイスを正常に位置特定しないことに基づいて、前記受信された場所メタデータから導出されるジオロケーション情報を、それに対して前記ポータブル電子デバイスが以前に正常に位置特定された前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することを含む、項目30に記載のクラウドサービス。

Claims (41)

  1. クロスリアリティシステム内で動作するように構成されるポータブル電子デバイスであって、前記ポータブル電子デバイスは、
    3次元(3D)環境についての情報を捕捉するように構成される1つまたはそれを上回るセンサであって、前記捕捉された情報は、複数の画像を備える、1つまたはそれを上回るセンサと、
    コンピュータ実行可能命令を実行するように構成される少なくとも1つのプロセッサであって、前記コンピュータ実行可能命令は、
    複数の特徴を前記ポータブル電子デバイスと関連付けられる前記3D環境の前記複数の画像から抽出することと、
    場所メタデータと前記複数の特徴とを関連付けることと、
    ネットワークを経由して、位置特定サービスに、前記複数の特徴についての情報、前記ポータブル電子デバイスのローカル座標フレーム内に表される前記複数の特徴に関する位置情報、および前記関連付けられる場所メタデータを通信することと、
    前記位置特定サービスから、前記ローカル座標フレームを第2の座標フレームに関連させる少なくとも1つの変換を受信することと
    を行うための命令を備える、少なくとも1つのプロセッサと
    を備える、ポータブル電子デバイス。
  2. 前記場所メタデータは、以前の位置特定情報を含む、請求項1に記載のポータブル電子デバイス。
  3. 前記ポータブル電子デバイスは、ジオロケーションアプリケーションプログラミングインターフェース(API)を伴うオペレーティングシステムを備え、
    前記コンピュータ実行可能命令は前記ジオロケーションAPIを呼び出すことによって、前記場所メタデータを取得するための命令をさらに備える、請求項1に記載のポータブル電子デバイス。
  4. 前記コンピュータ実行可能命令は前記第2の座標フレームに基づいて、ある場所内の仮想コンテンツの記述を受信することと、前記少なくとも1つの変換に基づいて、前記仮想コンテンツをレンダリングすることとを行うための命令をさらに備える、請求項1に記載のポータブル電子デバイス。
  5. 前記ポータブル電子デバイスは、複数のデータ構造を記憶するように構成されるバッファを備え、
    前記場所メタデータと前記複数の特徴とを関連付けることは、前記バッファ内の前記複数のデータ構造のデータ構造の中に、前記場所メタデータ、前記複数の特徴についての情報、および前記複数の特徴に関する位置情報を記憶することを含む、請求項1に記載のポータブル電子デバイス。
  6. 前記ネットワークを経由して、前記位置特定サービスに通信することは、前記バッファからの前記複数のデータ構造を位置特定要求として伝送することを含む、請求項5に記載のポータブル電子デバイス。
  7. 前記コンピュータ実行可能命令は
    ローカルデバイスマップを前記複数の画像から構築することと、
    持続場所を前記ローカルデバイスマップ内に定義することと、
    ジオロケーション情報と前記持続場所とを関連付けることと
    を行うための命令をさらに備え、
    前記場所メタデータと前記複数の特徴とを関連付けることは、前記ローカルデバイスマップから、そこから前記複数の特徴が抽出された前記複数の画像の捕捉と時間的に一致する前記ポータブル電子デバイスに近接する前記持続場所のうちの持続場所と関連付けられるジオロケーション情報にアクセスすることを含む、請求項1に記載のポータブル電子デバイス。
  8. 前記コンピュータ実行可能命令は場所情報をフィルタリングすること、クラスタ化すること、および/または正規化することによって、前記場所メタデータを取得するための命令をさらに備える、請求項1に記載のポータブル電子デバイス。
  9. 場所メタデータと前記複数の特徴とを関連付けるための前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサに、前記3D環境内の前記ポータブル電子デバイスの現在の場所に関するジオロケーション情報を生成または受信させるように構成される、請求項1に記載のポータブル電子デバイス。
  10. 記憶されたマップに対する仮想コンテンツの位置の仕様をサポートするクロスリアリティシステムであって、前記システムは、
    1つまたはそれを上回るポータブル電子デバイスとのネットワーク通信のために構成される1つまたはそれを上回るコンピューティングデバイスであって、
    通信コンポーネントであって、前記通信コンポーネントは、ポータブル電子デバイスから、前記ポータブル電子デバイスの3次元(3D)環境内の特徴のセットについての情報、第1の座標フレーム内に表される前記特徴のセットに関する位置情報、および前記3D環境内の前記ポータブル電子デバイスの位置と関連付けられる場所メタデータを受信するように構成される、通信コンポーネントと、
    前記通信コンポーネントに接続される位置特定コンポーネントであって、前記位置特定コンポーネントは、
    前記受信された場所メタデータおよび前記記憶されたマップと関連付けられる場所メタデータに基づいて、記憶されたマップのセットを選択することと、
    前記特徴の受信されたセット識別され記憶されたマップの特徴にマッチングさせることに基づいて、記憶されたマップを前記記憶されたマップのセットから識別することであって、前記識別された記憶されたマップは、第2の座標フレームを備える、ことと、
    前記特徴の受信されたセットと前記識別された記憶されたマップ内の前記特徴のマッチングするセットとの間の算出された整合に基づいて、前記第1の座標フレームと前記第2の座標フレームとの間の変換を生成することと、
    前記変換を前記ポータブル電子デバイスに送信することと
    を行うように構成される、位置特定コンポーネントと
    を備える、1つまたはそれを上回るコンピューティングデバイス
    を備える、システム。
  11. 前記位置特定コンポーネントは、場所メタデータのタイプと関連付けられる優先順位に基づいて、前記記憶されたマップのセットを選択するために、場所メタデータのタイプを選択するように構成される、請求項10に記載のシステム。
  12. 前記場所メタデータのタイプと関連付けられる優先順位は、以前の位置特定情報をWiFiフィンガプリントより優先させる、請求項11に記載のシステム。
  13. 前記場所メタデータのタイプと関連付けられる優先順位は、前記WiFiフィンガプリントを前記ポータブル電子デバイスのオペレーティングシステムから取得されるジオロケーション情報より優先する、請求項12に記載のシステム。
  14. 前記1つまたはそれを上回るコンピューティングデバイスは前記記憶されたマップをジオロケーションによって識別するジオロケーションデータベースをさらに備える、請求項10に記載のシステム。
  15. 前記位置特定コンポーネントは前記受信された場所メタデータに基づいて、前記ジオロケーションデータベースにクエリすることによって、前記記憶されたマップのセットを選択するようにさらに構成される、請求項14に記載のシステム。
  16. 前記位置特定コンポーネントは前記受信された場所メタデータおよび前記識別する記憶されたマップに基づいて、前記ジオロケーションデータベースを更新するようにさらに構成される、請求項15に記載のシステム。
  17. 前記位置特定コンポーネントは前記識別された記憶されたマップと関連付けられる場所メタデータに基づいて、ジオロケーション情報を前記ポータブル電子デバイスに送信するようにさらに構成される、請求項15に記載のシステム。
  18. 前記位置特定コンポーネントは前記受信された場所メタデータおよび前記識別する記憶されたマップに基づいて、前記記憶されたマップと関連付けられる前記場所メタデータを更新するようにさらに構成される、請求項10に記載のシステム。
  19. 前記位置特定コンポーネントは
    位置特定失敗を識別することと、
    位置特定失敗に応答して、前記ポータブル電子デバイスに関する以前の成功位置特定情報に基づいて、前記記憶されたマップと関連付けられる前記場所メタデータを更新することと
    を行うようにさらに構成される、請求項18に記載のシステム。
  20. 前記記憶されたマップは、複数のセグメントを備え、
    前記記憶されたマップのセットを選択することは、前記記憶されたマップのタイルを選択することを含む、請求項10に記載のシステム。
  21. 3次元(3D)環境内で動作し、クロスリアリティシステムの仮想コンテンツを表示するように構成されるポータブル電子デバイスであって、前記ポータブル電子デバイスは、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサ上で実行するオペレーティングシステムであって、前記オペレーティングシステムは、ジオロケーションアプリケーションプログラミングインターフェース(API)を提供する、オペレーティングシステムと、
    コンピュータ実行可能命令であって、前記コンピュータ実行可能命令は、前記少なくとも1つのプロセッサによって実行されると、前記ポータブル電子デバイスが前記3D環境内で移動するにつれて、ローカル座標フレームに基づいて、前記3D環境のマップを形成するように構成され、前記マップは、持続場所を備える、コンピュータ実行可能命令と、
    拡張現実アプリケーションであって、前記拡張現実アプリケーションは、コンピュータ実行可能命令であって、前記少なくとも1つのプロセッサによって実行されると、
    前記ジオロケーションAPIにクエリすることと、
    前記ジオロケーションAPIを通して受信されたジオロケーション情報を、前記持続場所と関連付けられる場所メタデータとして記憶することと
    を行うように構成されるコンピュータ実行可能命令を備える、拡張現実アプリケーションと
    を備える、ポータブル電子デバイス。
  22. 前記持続場所と関連付けられる前記場所メタデータを記憶することは、前記選択された複数の持続場所のうちの持続場所と関連付けて記憶される場所メタデータを更新することを含む、請求項21に記載のポータブル電子デバイス。
  23. 前記持続場所と関連付けて記憶される場所メタデータを更新することは、前記受信されたジオロケーション情報と前記持続場所と関連付けられる以前に記憶された場所メタデータとを組み合わせることを含む、請求項22に記載のポータブル電子デバイス。
  24. クロスリアリティシステムのためのクラウドサービスであって、前記サービスは、
    コンピュータ記憶媒体であって、
    マップのデータベースと、
    前記マップのデータベースのマップと関連付けられる複数のタイプの場所メタデータであって、前記場所メタデータのタイプは、無線フィンガプリントおよびジオロケーション情報を備える、複数のタイプの場所メタデータと
    を記憶する、コンピュータ記憶媒体と、
    複数のポータブル電子デバイスとのネットワーク通信のために構成される1つまたはそれを上回るコンピューティングデバイスであって、前記1つまたはそれを上回るコンピューティングデバイスは、コンピュータ実行可能命令を備える非一過性コンピュータ可読命令を備え、前記コンピュータ実行可能命令は、実行されると、
    前記複数のポータブル電子デバイスのポータブル電子デバイスから、前記ポータブル電子デバイスに関する位置情報および場所メタデータを備える通信を受信することと、
    前記通信のために、前記複数のタイプの場所メタデータのうちのあるタイプの場所メタデータ選択することと、
    前記受信された場所メタデータおよび前記マップのデータベースのマップと関連付けられる前記選択されたタイプの場所メタデータ基づいて、マップのセットを前記マップのデータベースから選択することと、
    前記受信された位置情報と前記マップのセットのマップとを比較することと
    を含む方法を実施する、1つまたはそれを上回るコンピューティングデバイスと
    を備える、クラウドサービス。
  25. 前記受信された位置情報は、デバイス追跡マップを備える、請求項24に記載のクラウドサービス。
  26. 前記受信された位置情報を前記マップのセットのマップと比較することは、マッチングするマップを前記マップのセットから識別することを含み、
    前記方法は前記デバイス追跡マップと前記マッチングするマップとをマージすることをさらに含む、請求項25に記載のクラウドサービス。
  27. 前記デバイス追跡マップと前記マッチングするマップとをマージすることは、
    前記デバイス追跡マップからの場所メタデータと前記マップのデータベース内のマージされたマップとを関連付けることと、
    前記デバイス追跡マップから導出されるジオロケーション情報をジオロケーションデータベースの記録のインデックスとして記憶することであって、前記記録は、前記マージされたマップの少なくとも一部を識別する、ことと
    を含む、請求項26に記載のクラウドサービス。
  28. 前記マップのセットを選択することは、前記受信された場所メタデータに基づいて、前記ジオロケーションデータベースにクエリすることを含む、請求項27に記載のクラウドサービス。
  29. 前記受信された位置情報は、前記ポータブル電子デバイスの3次元(3D)環境内の特徴のセットについての情報を備える、請求項24に記載のクラウドサービス。
  30. 前記受信された位置情報と前記マップのセットのマップとを比較することは、前記ポータブル電子デバイスを前記マップのセットのマップに対して位置特定するように試みることを含む、請求項29に記載のクラウドサービス。
  31. 前記方法は前記ポータブル電子デバイスを前記マップのセットのマップ内の場所に対して正常に位置特定することに基づいて、前記ポータブル電子デバイスに、前記マップのセットのマップ内の場所と関連付けて記憶される場所メタデータから導出されるジオロケーション情報を伝送することをさらに含む、請求項30に記載のクラウドサービス。
  32. 前記方法は前記ポータブル電子デバイスを前記マップのセットのマップ内の場所に対して正常に位置特定することに基づいて、前記受信された場所メタデータから導出されるジオロケーション情報を、前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することをさらに含む、請求項30に記載のクラウドサービス。
  33. ジオロケーション情報を前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することは、
    前記ジオロケーション情報をハッシュ化することと、
    ジオハッシュ値によってインデックス化されたデータベースを前記ハッシュ化されたジオロケーション情報で更新することと
    を含む、請求項32に記載のクラウドサービス。
  34. 前記方法は前記ポータブル電子デバイスを正常に位置特定しないことに基づいて、前記受信された場所メタデータから導出されるジオロケーション情報を、それに対して前記ポータブル電子デバイスが以前に正常に位置特定された前記マップのセットのマップ内の場所と関連付けられる場所メタデータとして記憶することをさらに含む、請求項30に記載のクラウドサービス。
  35. 前記コンピュータ実行可能命令は、前記1つまたはそれを上回るセンサが前記複数の画像を捕捉したときの前記ポータブル電子デバイスの物理的場所を示す前記場所メタデータを生成するための命令をさらに備える、請求項1に記載のポータブル電子デバイス。
  36. 前記コンピュータ実行可能命令は、前記受信された少なくとも1つの変換に基づいて決定された位置および/または配向で仮想コンテンツをレンダリングするための命令をさらに備える、請求項1に記載のポータブル電子デバイス。
  37. 前記場所メタデータは、1つまたはそれを上回る物理的世界場所を記述する、請求項10に記載のシステム。
  38. 仮想コンテンツの共有体験を複数のポータブル電子デバイスのユーザに提供するためのクロスリアリティシステムであって、前記システムは、
    通信ネットワークを通して複数のデバイスと通信するように構成されるコンピューティングデバイスであって、前記コンピューティングデバイスは、少なくとも1つのプロセッサを備える、コンピューティングデバイス
    を備え、
    前記少なくとも1つのプロセッサは、
    前記複数のポータブル電子デバイスから、
    前記複数のポータブル電子デバイスによって捕捉された画像内の特徴についての情報と、
    前記特徴と関連付けられる場所メタデータと
    を受信することと、
    前記複数のポータブル電子デバイスによって捕捉された前記画像内の前記特徴についての前記情報と、前記特徴と関連付けられる前記場所メタデータとを使用して、前記複数のポータブル電子デバイスのそれぞれに関する少なくとも1つの変換を決定し、複数の変換を取得することと、
    前記通信ネットワークを通して、前記複数の変換を前記複数のポータブル電子デバイスのうちのそれぞれのものに伝送することであって、前記複数の変換は、それぞれのポータブル電子デバイスによって仮想コンテンツをレンダリングするために使用されると、前記複数のポータブル電子デバイスのユーザに、前記仮想コンテンツの同一の相対的場所および/または配向を経験させる、ことと
    を行うように構成される、クロスリアリティシステム。
  39. 前記複数のポータブル電子デバイスによって捕捉された前記画像内の前記特徴についての前記情報と、前記特徴と関連付けられる前記場所メタデータとを使用して、前記複数のポータブル電子デバイスのそれぞれに関する少なくとも1つの変換を決定し、前記複数の変換を取得することは、
    マップのセットのマップに対して前記複数のポータブル電子デバイスのそれぞれを位置特定することと、
    前記ポータブル電子デバイスが位置特定されたそれぞれのマップを使用して、前記ポータブル電子デバイスのそれぞれに関する少なくとも1つの変換を決定することと
    を含む、請求項38に記載のクロスリアリティシステム。
  40. 前記特徴と関連付けられる前記場所メタデータは、前記複数のポータブル電子デバイスからのジオロケーション情報を含む、請求項38に記載のクロスリアリティシステム。
  41. 前記複数のポータブル電子デバイスによって捕捉された前記画像内の前記特徴についての前記情報と、前記特徴と関連付けられる前記場所メタデータとを使用して、前記複数のポータブル電子デバイスのそれぞれに関する少なくとも1つの変換を決定し、複数の変換を取得することは、
    前記場所メタデータに基づいてジオロケーションデータベースにクエリし、前記複数のポータブル電子デバイスのそれぞれに関して、マップのセットのマップを識別することと、
    前記ポータブル電子デバイスに関して識別されたマップを使用して、前記複数のポータブル電子デバイスのそれぞれに関する前記少なくとも1つの変換を決定することと
    を含む、請求項40に記載のクロスリアリティシステム。
JP2022548663A 2020-02-13 2021-02-11 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム Pending JP2023514207A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062976154P 2020-02-13 2020-02-13
US62/976,154 2020-02-13
PCT/US2021/017616 WO2021163295A1 (en) 2020-02-13 2021-02-11 Cross reality system with prioritization of geolocation information for localization

Publications (2)

Publication Number Publication Date
JP2023514207A JP2023514207A (ja) 2023-04-05
JPWO2021163295A5 true JPWO2021163295A5 (ja) 2024-02-20

Family

ID=77271882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022548663A Pending JP2023514207A (ja) 2020-02-13 2021-02-11 位置特定に関するジオロケーション情報の優先順位化を伴うクロスリアリティシステム

Country Status (5)

Country Link
US (2) US11830149B2 (ja)
EP (1) EP4104145A4 (ja)
JP (1) JP2023514207A (ja)
CN (1) CN115398484A (ja)
WO (1) WO2021163295A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805750B (zh) 2018-08-13 2024-09-27 奇跃公司 跨现实系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ, インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS
EP4046139A4 (en) 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
WO2021087065A1 (en) 2019-10-31 2021-05-06 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
US11386627B2 (en) 2019-11-12 2022-07-12 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
US11393176B2 (en) * 2020-02-07 2022-07-19 Krikey, Inc. Video tools for mobile rendered augmented reality game
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
EP4111425A4 (en) 2020-02-26 2024-03-13 Magic Leap, Inc. MIXED REALITY SYSTEM WITH QUICK LOCATION
US11438886B2 (en) * 2020-02-27 2022-09-06 Psj International Ltd. System for establishing positioning map data and method for the same
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
EP3933614A1 (en) * 2020-07-03 2022-01-05 Global Reaction Company Oy Reverse geocoding method and system
US11522945B2 (en) * 2020-10-20 2022-12-06 Iris Tech Inc. System for providing synchronized sharing of augmented reality content in real time across multiple devices
US11847101B1 (en) 2022-05-17 2023-12-19 Sap Se Location data processing system
US11836121B1 (en) * 2022-05-17 2023-12-05 Sap Se Delta merge with location data
TWI835468B (zh) * 2022-08-29 2024-03-11 神基科技股份有限公司 應用程式的環境參數的分享方法與具有多個電子裝置的系統
WO2024098163A1 (en) * 2022-11-11 2024-05-16 Waabi Innovation Inc. Neural hash grid based multi-sensor simulation

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7032185B1 (en) 1995-12-29 2006-04-18 Microsoft Corporation Graphical method and system for accessing information on a communications network
KR100483806B1 (ko) 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) * 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
JP2009541017A (ja) 2006-06-26 2009-11-26 アイコシステム コーポレーション ビデオゲームにおいてアバター及び他の生物的又は無生物的アイテムを対話的にカスタマイズする方法及びシステム
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
JP4292426B2 (ja) 2007-05-15 2009-07-08 ソニー株式会社 撮像装置および撮像データ補正方法
AU2008283845A1 (en) 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US9258337B2 (en) 2008-03-18 2016-02-09 Avaya Inc. Inclusion of web content in a virtual environment
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20130162481A1 (en) 2009-10-01 2013-06-27 Parviz Parvizi Systems and methods for calibration of indoor geolocation
US9119027B2 (en) * 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8185596B2 (en) 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US8725585B1 (en) 2010-05-18 2014-05-13 Google Inc. Automatic vetting of web applications to be listed in a marketplace for web applications
KR101686171B1 (ko) 2010-06-08 2016-12-13 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
WO2012126500A1 (en) 2011-03-18 2012-09-27 C3 Technologies Ab 3d streets
KR20160084502A (ko) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
EP2751742A1 (en) 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
US8243102B1 (en) * 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8977021B2 (en) 2011-12-30 2015-03-10 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
CN107320949B (zh) 2012-02-06 2021-02-02 索尼互动娱乐欧洲有限公司 用于增强现实的书对象
US9386297B2 (en) 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
KR20130110907A (ko) * 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
US9293118B2 (en) 2012-03-30 2016-03-22 Sony Corporation Client device
CN102682091A (zh) 2012-04-25 2012-09-19 腾讯科技(深圳)有限公司 基于云服务的视觉搜索方法和系统
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR102217788B1 (ko) 2012-06-11 2021-02-18 매직 립, 인코포레이티드 도파관 리플렉터 어레이 프로젝터를 이용한 다중 깊이면 3차원 디스플레이
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
WO2014169238A1 (en) 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) * 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
EP2808842B1 (en) 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9406137B2 (en) * 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
WO2014202258A1 (en) 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
KR102378457B1 (ko) * 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
CN106171012B (zh) 2013-12-20 2020-01-17 英特尔公司 用于低功率室内定位的Wi-Fi扫描调度和功率适应
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
KR102204919B1 (ko) 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (zh) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US20190347865A1 (en) 2014-09-18 2019-11-14 Google Inc. Three-dimensional drawing inside virtual reality environment
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
US20200252233A1 (en) * 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
WO2016050290A1 (en) 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160147408A1 (en) 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
EP3227708A1 (en) 2014-12-04 2017-10-11 HERE Global B.V. Supporting a collaborative collection of data
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
KR101725478B1 (ko) 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
US20170061696A1 (en) 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN108351217B (zh) 2015-09-10 2022-03-01 欧里伊恩特新媒体有限公司 在全球定位系统拒绝访问的导航、追踪及定位的移动装置
CA2941896C (en) 2015-09-14 2020-10-13 The Toronto-Dominion Bank Connected device-based property evaluation
US20170094227A1 (en) 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
CN114863059A (zh) 2015-09-25 2022-08-05 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
US10471355B2 (en) 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
IL301449B2 (en) 2016-02-05 2024-06-01 Magic Leap Inc Systems and methods for augmented reality
WO2017143303A1 (en) 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (ja) 2016-02-22 2020-10-28 デクセリアルズ株式会社 異方性導電フィルム
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10586391B2 (en) * 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
KR102195352B1 (ko) 2016-08-11 2020-12-24 매직 립, 인코포레이티드 3-차원 공간에서의 가상 객체의 자동적인 배치
EP4235391A3 (en) 2016-08-22 2023-10-25 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
WO2018125812A1 (en) 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018139773A1 (ko) 2017-01-25 2018-08-02 한국과학기술연구원 무선 환경 변화에 강인한 slam 방법 및 장치
US10534964B2 (en) 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
US10460489B2 (en) 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
KR102517876B1 (ko) 2017-03-17 2023-04-03 매직 립, 인코포레이티드 증강 현실 데이터를 레코딩하기 위한 기술
CN110476188B (zh) 2017-03-30 2024-03-22 奇跃公司 集中式渲染
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
JP7149289B2 (ja) 2017-04-19 2022-10-06 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US20190370544A1 (en) 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication
CN109145927A (zh) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
JP6585665B2 (ja) 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
KR20200087757A (ko) 2017-11-14 2020-07-21 매직 립, 인코포레이티드 호모그래픽 적응을 통한 완전 콘볼루셔널 관심 포인트 검출 및 디스크립션
IL274976B2 (en) 2017-12-15 2024-05-01 Magic Leap Inc Improved positioning for a display device
US10630857B2 (en) 2017-12-21 2020-04-21 Ricoh Company, Ltd. Electronic apparatus and method to update firmware of the electronic apparatus when adding a web application to the electronic apparatus
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US11086474B2 (en) 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
US10838574B2 (en) 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US11321929B2 (en) * 2018-05-18 2022-05-03 Purdue Research Foundation System and method for spatially registering multiple augmented reality devices
US11202006B2 (en) 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110515452B (zh) 2018-05-22 2022-02-22 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
US11010977B2 (en) 2018-05-31 2021-05-18 Jido, Inc. Method for establishing a common reference frame amongst devices for an augmented reality session
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
CN116088783A (zh) 2018-07-24 2023-05-09 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
CN112805750B (zh) 2018-08-13 2024-09-27 奇跃公司 跨现实系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112889118A (zh) * 2018-09-04 2021-06-01 阿克提雅有限公司 用于确定一个或多个用户的血压的系统
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US10937191B2 (en) 2018-10-23 2021-03-02 Dell Products, Lp Predictive simultaneous localization and mapping system using prior user session positional information
US10839556B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Camera pose estimation using obfuscated features
US10854007B2 (en) * 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
US11030812B2 (en) 2019-01-02 2021-06-08 The Boeing Company Augmented reality system using enhanced models
WO2020192039A1 (en) 2019-03-27 2020-10-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional localization using light-depth images
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11074706B2 (en) 2019-04-12 2021-07-27 Intel Corporation Accommodating depth noise in visual slam using map-point consensus
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20200401617A1 (en) 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) * 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (ko) 2019-08-22 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 xr 디바이스 제어 방법
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
WO2021050595A1 (en) * 2019-09-09 2021-03-18 Apple Inc. Multimodal inputs for computer-generated reality
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ, インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
EP4046139A4 (en) * 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
WO2021087065A1 (en) 2019-10-31 2021-05-06 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
US11386627B2 (en) * 2019-11-12 2022-07-12 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
JP2023514206A (ja) * 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド 大規模環境のためのクロスリアリティシステム
US11593951B2 (en) 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
EP4111425A4 (en) * 2020-02-26 2024-03-13 Magic Leap, Inc. MIXED REALITY SYSTEM WITH QUICK LOCATION
CN115803788A (zh) * 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统

Similar Documents

Publication Publication Date Title
JPWO2021163295A5 (ja)
JP2018526698A (ja) ローカライゼーション・エリア記述ファイルのプライバシ機密クエリ
KR102044491B1 (ko) 모바일 디바이스 현지화를 위한 영역 서술 파일의 크라우드-소싱 생성 및 업데이트
US20210233319A1 (en) Context-aware tagging for augmented reality environments
JP6158162B2 (ja) 関心地点を表示するための方法及び装置
US20190340836A1 (en) Systems and Methods for Anchoring Virtual Objects to Physical Locations
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
CN105009120B (zh) 基于客户端-服务器的动态搜索
EP3295129A2 (en) Privacy filtering of area description file prior to upload
CN106303599B (zh) 一种信息处理方法、系统及服务器
JPWO2021076748A5 (ja)
JP5563494B2 (ja) 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム
JP7106742B2 (ja) 顔認識方法、装置、電子機器及びコンピュータ不揮発性読み取り可能な記憶媒体
JP2018128314A (ja) 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法
US11276201B1 (en) Localizing an augmented reality device
JPWO2021076754A5 (ja)
US11341677B2 (en) Position estimation apparatus, tracker, position estimation method, and program
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
JPWO2021173779A5 (ja)
KR101276314B1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
CN110263209A (zh) 用于生成信息的方法和装置
JPWO2021168338A5 (ja)
JPWO2021087065A5 (ja)
CN111369628A (zh) 一种多相机集中式协同slam方法及系统
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质