JPWO2020036898A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020036898A5
JPWO2020036898A5 JP2021507660A JP2021507660A JPWO2020036898A5 JP WO2020036898 A5 JPWO2020036898 A5 JP WO2020036898A5 JP 2021507660 A JP2021507660 A JP 2021507660A JP 2021507660 A JP2021507660 A JP 2021507660A JP WO2020036898 A5 JPWO2020036898 A5 JP WO2020036898A5
Authority
JP
Japan
Prior art keywords
coordinate frame
frame
item
electronic system
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021507660A
Other languages
Japanese (ja)
Other versions
JP7445642B2 (en
JP2021534491A (en
Publication date
Application filed filed Critical
Priority claimed from PCT/US2019/046240 external-priority patent/WO2020036898A1/en
Publication of JP2021534491A publication Critical patent/JP2021534491A/en
Publication of JPWO2020036898A5 publication Critical patent/JPWO2020036898A5/ja
Priority to JP2023193577A priority Critical patent/JP2024009071A/en
Application granted granted Critical
Publication of JP7445642B2 publication Critical patent/JP7445642B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

いくつかの実施形態は、ＸＲデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入るステップと、プロセッサによって、表面に対する頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定するステップと、頭部姿勢が、喪失された場合、プロセッサによって、姿勢復元モードに入り、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢を確立するステップとを含む、視認方法に関する。
本発明は、例えば、以下を提供する。
（項目１）
座標フレーム変換
ＸＲシステムであって、
第１のＸＲデバイスであって、前記第１のＸＲデバイスは、
第１のプロセッサと、
前記第１のプロセッサに接続される第１のコンピュータ可読媒体と、
前記第１のコンピュータ可読媒体上に記憶される第１の原点座標フレームと、
前記コンピュータ可読媒体上に記憶される第１の目的地座標フレームと、
ローカルコンテンツを表すデータを受信する第１のデータチャネルと、
第１の座標フレーム変換器であって、前記第１の座標フレーム変換器は、前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換するように、前記第１のプロセッサによって実行可能である、第１の座標フレーム変換器と、
第１のディスプレイシステムであって、前記第１のディスプレイシステムは、前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換後、ローカルコンテンツを第１のユーザに表示するように適合される、第１のディスプレイシステムと
を含む、第１のＸＲデバイス
を備える、ＸＲシステム。
（項目２）
前記第１のＸＲデバイスはさらに、
実オブジェクトの位置付けを検出する第１の実オブジェクト検出デバイスと、
第１の世界表面決定ルーチンであって、前記第１の世界表面決定ルーチンは、前記実オブジェクトの表面上の少なくとも１つの点の位置付けを識別するように、前記第１のプロセッサによって実行可能である、第１の世界表面決定ルーチンと、
第１の世界フレーム決定ルーチンであって、前記第１の世界フレーム決定ルーチンは、前記少なくとも１つの点に基づいて、第１の世界座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記第１の世界座標フレームである、第１の世界フレーム決定ルーチンと、
第１の世界フレーム記憶命令であって、前記第１の世界フレーム記憶命令は、前記世界座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１の世界フレーム記憶命令と
を含む、項目１に記載のＸＲシステム。
（項目３）
前記第１の実オブジェクト検出デバイスは、カメラである、項目２に記載のＸＲシステム。
（項目４）
前記第１の実オブジェクト検出デバイスは、複数の実オブジェクトの位置付けを検出する、項目２に記載のＸＲシステム。
（項目５）
前記第１の世界表面決定ルーチンは、前記実オブジェクトの表面上の複数の点の位置付けを識別する、項目２に記載のＸＲシステム。
（項目６）
前記第１の世界フレーム決定ルーチンは、前記複数の点に基づいて、前記第１の世界座標フレームを計算する、項目５に記載のＸＲシステム。
（項目７）
前記第１のＸＲデバイスはさらに、
第１の頭部搭載可能フレームと、
第１の頭部フレーム決定ルーチンであって、前記第１の頭部フレーム決定ルーチンは、前記第１の頭部搭載可能フレームの移動に応じて変化する第１の頭部座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記第１の頭部座標フレームである、第１の頭部フレーム決定ルーチンと、
第１の頭部フレーム記憶命令であって、前記第１の頭部フレーム記憶命令は、前記第１の頭部座標フレームを前記第１のコンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１の頭部フレーム記憶命令と
を含む、項目２に記載のＸＲシステム。
（項目８）
前記第１の座標フレーム変換器は、前記第１の世界座標フレームを前記第１の頭部座標フレームに変換する第１の世界／頭部座標変換器である、項目７に記載のＸＲシステム。
（項目９）
前記第１のＸＲデバイスはさらに、
前記第１の頭部搭載可能フレームに固着され、前記第１の頭部搭載可能フレームの移動を検出する第１の慣性測定ユニットを含み、前記第１の頭部フレーム決定ルーチンは、前記第１の慣性測定ユニットの測定に基づいて、前記第１の頭部座標フレームを計算する、項目７に記載のＸＲシステム。
（項目１０）
前記第１のデバイスはさらに、
前記第１の頭部搭載可能フレームに固着され、前記第１の頭部搭載可能フレームの移動を検出する第１の移動追跡カメラを含み、前記第１の頭部フレーム決定ルーチンは、前記第１の移動追跡カメラによって捕捉された画像に基づいて、前記第１の頭部座標フレームを計算する、項目７に記載のＸＲシステム。
（項目１１）
前記第１のＸＲデバイスはさらに、
第１のローカルフレーム決定ルーチンであって、前記第１のローカルフレーム決定ルーチンは、前記ローカルコンテンツの第１のローカル座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記ローカル座標フレームである、第１のローカルフレーム決定ルーチンと、
第１のローカルフレーム記憶命令であって、前記第１のローカルフレーム記憶命令は、前記ローカル座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１のローカルフレーム記憶命令と
を含む、項目２に記載のＸＲシステム。
（項目１２）
前記第１の座標フレーム変換器は、前記第１のローカル座標フレームを前記第１の世界座標フレームに変換する第１のローカル／世界座標変換器である、項目１１に記載のＸＲシステム。
（項目１３）
前記第１のＸＲデバイスはさらに、
前記第１のコンピュータ可読媒体上に記憶される第１のカメラフレームを含み、前記第１のカメラフレームは、前記第１の頭部搭載可能フレームに対して移動する眼の複数の眼位置を含み、前記第１の座標フレーム変換器は、前記第１の頭部座標フレームを前記第１のカメラ座標フレームに変換する第１の頭部／カメラ座標変換器である、項目１に記載のＸＲシステム。
（項目１４）
視認方法であって、
第１の原点座標フレームを記憶することと、
第１の目的地座標フレームを記憶することと、
ローカルコンテンツを表すデータを受信することと、
ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換することと、
前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換後、前記ローカルコンテンツを第１のユーザに表示することと
を含む、方法。
規準マップ
（項目１５）
ＸＲシステムであって、
複数のアンカを有する規準マップである第１のマップを記憶するマップ記憶ルーチンであって、前記第１のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出するアンカ識別システムであって、前記第２のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第２のマップに接続され、前記第２のマップの第１のアンカを前記規準マップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を備える、ＸＲシステム。
（項目１６）
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目１５に記載のＸＲシステム。
（項目１７）
前記規準マップおよび前記第２のマップに接続され、前記規準マップの第３のアンカを前記第２のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目１５に記載のＸＲシステム。
（項目１８）
ＸＲデバイスであって、前記ＸＲデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、ＸＲデバイス
をさらに備える、項目１５に記載のＸＲシステム。
（項目１９）
前記ローカルコンテンツのローカル座標フレームを前記第２のマップの世界座標フレームに変換するローカル／世界座標変換器をさらに備える、項目１８に記載のＸＲシステム。
（項目２０）
前記第２のマップのアンカに基づいて、第１の世界座標フレームを計算する第１の世界フレーム決定ルーチンと、
前記世界座標フレームを記憶する第１の世界フレーム記憶命令と、
前記頭部搭載可能フレームの移動に応じて変化する頭部座標フレームを計算する頭部フレーム決定ルーチンと、
前記第１の頭部座標フレームを記憶する頭部フレーム記憶命令と、
前記世界座標フレームを前記頭部座標フレームに変換する世界／頭部座標変換器と
をさらに備える、項目１８に記載のＸＲシステム。
（項目２１）
前記頭部座標フレームは、前記頭部搭載可能フレームが移動すると、前記世界座標フレームに対して変化する、項目２０に記載のＸＲシステム。
（項目２２）
前記第２のマップの少なくとも１つのアンカに関連する少なくとも１つの音要素をさらに備える、項目１８に記載のＸＲシステム。
（項目２３）
前記第１および第２のマップは、前記ＸＲデバイスによって作成される、項目１８に記載のＸＲシステム。
（項目２４）
第１および第２のＸＲデバイスであって、各ＸＲデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
を備える、頭部ユニット
を含む、第１および第２のＸＲデバイス
をさらに備える、項目１５に記載のＸＲシステム。
（項目２５）
前記第１のＸＲデバイスは、前記第１のマップのためのアンカを作成し、前記第２のＸＲデバイスは、前記第２のマップのためのアンカを作成し、前記位置特定モジュールは、前記第２のＸＲデバイスの一部を形成する、項目２４に記載のＸＲシステム。
（項目２６）
前記第１および第２のマップは、それぞれ、第１および第２のセッションにおいて作成される、項目２５に記載のＸＲシステム。
（項目２７）
前記第１および第２のマップは、同一セッションにおいて作成される、項目２５に記載のＸＲシステム。
（項目２８）
サーバと、
前記ＸＲデバイスの一部を形成し、前記第１のマップをネットワークを経由してサーバからダウンロードするマップダウンロードシステムと
をさらに備える、項目１８に記載のＸＲシステム。
（項目２９）
前記位置特定モジュールは、前記第２のマップを前記規準マップに対して位置特定するように繰り返し試みる、項目１５に記載のＸＲシステム。
（項目３０）
前記第２のマップを前記ネットワークを経由して前記サーバにアップロードするマップ発行器をさらに備える、項目１５に記載のＸＲシステム。
（項目３１）
前記規準マップは、前記サーバ上に記憶され、
前記第２のマップと前記規準マップをマージする前記サーバ上のマップマージアルゴリズムと、
前記第２のマップが前記規準マップとマージされた後、前記規準マップを伝送するマップ伝送機と
をさらに備える、項目１５に記載のＸＲシステム。
（項目３２）
視認方法であって、
複数のアンカを有する規準マップである第１のマップを記憶することであって、前記規準マップの各アンカは、座標のセットを有する、ことと、
実オブジェクトの場所を検出することと、
前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出することであって、前記第２のマップの各アンカは、座標のセットを有する、ことと、
前記第２のマップの第１のアンカを前記第１のマップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定することと
を含む、方法。
規準マップフィルタリング
（項目３３）
ＸＲシステムであって、
サーバであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
前記コンピュータ可読媒体上の複数の規準マップと、
各個別の規準マップと関連付けられる前記コンピュータ可読媒体上の個別の規準マップ識別子であって、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、規準マップ識別子と、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、位置識別子をＸＲデバイスから受信し、記憶するように、前記プロセッサによって実行可能である、位置検出器と、
第１のフィルタであって、前記第１のフィルタは、前記コンピュータ可読媒体上にあり、前記位置識別子と前記規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定するように、前記プロセッサによって実行可能である、第１のフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記第１のフィルタリングされた選択に基づいて、前記規準マップのうちの１つ以上のものを前記ＸＲデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
を有する、サーバ
を備える、ＸＲシステム。
（項目３４）
前記規準マップ識別子はそれぞれ、経度および緯度を含み、前記位置識別子は、経度および緯度を含む、項目３３に記載のＸＲシステム。
（項目３５）
前記第１のフィルタは、近傍エリアフィルタであり、前記近傍エリアフィルタは、前記位置識別子の経度および緯度を含む経度および緯度を網羅する少なくとも１つのマッチング規準マップと、前記第１のマッチング規準マップに隣接する経度および緯度を網羅する少なくとも１つの近傍マップとを選択する、項目３４に記載のＸＲシステム。
（項目３６）
前記位置識別子は、ＷｉＦｉフィンガプリントを含み、
第２のフィルタであって、前記第２のフィルタは、ＷｉＦｉフィンガプリントフィルタであり、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記ＷｉＦｉフィンガプリントに基づいて、緯度および経度を決定することと、
前記ＷｉＦｉフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第１のフィルタリングされた選択内の第２のフィルタリングされた選択を形成する１つ以上の規準マップを決定することであって、前記マップ伝送機は、前記第２の選択に基づいて、１つ以上の規準マップを伝送し、前記第２の選択外の前記第１の選択に基づく規準マップを伝送しない、ことと
を行うように実行可能である、第２のフィルタ
をさらに備える、項目３５に記載のＸＲシステム。
（項目３７）
前記第１のフィルタは、ＷｉＦｉフィンガプリントフィルタであり、前記ＷｉＦｉフィンガプリントフィルタは、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
前記ＷｉＦｉフィンガプリントに基づいて、緯度および経度を決定することと、
前記ＷｉＦｉフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定することと
を行うように実行可能である、項目３３に記載のＸＲシステム。
（項目３８）
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも１つを有し、前記ＸＲデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記ＸＲデバイスによって捕捉された画像の特徴を含む、最大プールユニットと、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、前記第２のフィルタリングされた選択内の第３のフィルタリングされた選択を形成する１つ以上の規準マップを決定し、前記マップ伝送機は、前記第３の選択に基づいて、１つ以上の規準マップを伝送し、前記第３の選択外の前記第２の選択に基づく規準マップを伝送しない、キーフレームフィルタと
をさらに備える、項目３６に記載のＸＲシステム。
（項目３９）
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも１つを有し、前記ＸＲデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記ＸＲデバイスによって捕捉された画像の特徴を含む、最大プールユニットと
をさらに備え、
前記第１のフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、１つ以上の規準マップを決定するキーフレームフィルタである、項目３３に記載のＸＲシステム。
（項目４０）
ＸＲデバイスであって、前記ＸＲデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、ＸＲデバイス
をさらに備える、項目３３に記載のＸＲシステム。
（項目４１）
前記ＸＲデバイスは、
複数のアンカを有する規準マップである第１のマップを記憶するマップ記憶ルーチンであって、前記第１のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出するアンカ識別システムであって、前記第２のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第２のマップに接続され、前記第２のマップの第１のアンカを前記規準マップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
を含む、項目４０に記載のＸＲシステム。
（項目４２）
実オブジェクト検出デバイスは、実オブジェクト検出カメラである、項目４１に記載のＸＲシステム。
（項目４３）
前記規準マップおよび前記第２のマップに接続され、前記規準マップの第３のアンカを前記第２のマップに組み込むように実行可能である規準マップ組込器をさらに備える、項目４１に記載のＸＲシステム。
（項目４４）
視認方法であって、
複数の規準マップをコンピュータ可読媒体上に記憶することであって、各規準マップは、前記個別の規準マップと関連付けられる個別の規準マップを有し、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、ことと、
前記コンピュータ可読媒体に接続されるプロセッサを用いて、位置識別子をＸＲデバイスから受信し、記憶することと、
前記プロセッサを用いて、前記位置識別子と前記規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定することと、
前記プロセッサを用いて、前記第１のフィルタリングされた選択に基づいて、複数の前記規準マップを前記ＸＲデバイスに伝送することと
を含む、方法。
キーフレーム
（項目４５）
ＸＲシステムであって、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせる、最大プールユニットと
を備える、ＸＲシステム。
（項目４６）
前記コンピュータ可読媒体上の複数の規準マップであって、各規準マップは、それと関連付けられる前記グローバル特徴列のうちの少なくとも１つを有する、複数の規準マップと、
位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、前記画像のグローバル特徴列を決定するために、前記多層知覚ユニットおよび前記最大プールユニットによって処理されるＸＲデバイスによって捕捉された画像の特徴を前記ＸＲデバイスから受信するように、前記プロセッサによって実行可能である、位置検出器と、
キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、フィルタリングされた選択の一部を形成する１つ以上の規準マップを決定する、キーフレームフィルタと、
マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記フィルタリングされた選択に基づいて、前記規準マップのうちの１つ以上のものを前記ＸＲデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
をさらに備える、項目４５に記載のＸＲシステム。
（項目４７）
ＸＲデバイスであって、前記ＸＲデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
を備える、頭部ユニット
を含む、ＸＲデバイス
をさらに備える、項目４５に記載のＸＲシステム。
（項目４８）
ＸＲデバイスであって、前記ＸＲデバイスは、
頭部ユニットであって、
頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
ローカルコンテンツの画像データを受信するデータチャネルと、
ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムであって、前記マッチングさせることは、前記第２のマップのグローバル特徴列を前記規準マップのグローバル特徴列にマッチングさせることによって実行される、ディスプレイシステムと
を備える、頭部ユニット
を含む、ＸＲデバイス
をさらに備える、項目４７に記載のＸＲシステム。
（項目４９）
視認方法であって、
プロセッサを用いて、画像の複数の特徴を受信することと、
前記プロセッサを用いて、各特徴を個別の数列に変換することと、
前記プロセッサを用いて、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせることと
を含む、方法。
ランク付けおよびマージマップ（第‘８２３号から）
（項目５０）
コンピューティングシステムを動作させ、データベース内に記憶される１つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、前記デバイスは、前記追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、前記方法は、
前記アクセスポイントとの通信の特性に基づいて、前記追跡マップの少なくとも１つのエリア属性を決定することと、
前記少なくとも１つのエリア属性に基づいて、前記追跡マップの地理的場所を決定することと、
前記決定された地理的場所に対応する前記データベース内に記憶される環境マップのセットを識別することと、
前記追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることと、
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることと
を含む、方法。
（項目５１）
前記ネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記ネットワークアクセスポイントの１つ以上の識別子に基づいて、前記追跡マップの少なくとも１つのエリア属性との最高Ｊａｃｃａｒｄ類似性を伴う環境マップを留保することを含む、項目５０に記載の方法。
（項目５２）
前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保することを含む、項目５０に記載の方法。
（項目５３）
前記追跡マップおよび前記環境マップのコンテンツを表すメトリックは、前記マップのコンテンツから算出された値のベクトルを含む、項目５０に記載の方法。
（項目５４）
前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることは、
環境マップのセットの環境マップ内にもまた表される前記追跡マップによって表される物理的世界の体積を算出することと、
環境マップのセット内に、前記セットからフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保することと
を含む、項目５０に記載の方法。
（項目５５）
環境マップのセットは、
最初に、前記１つ以上の識別子の類似性に基づいて、
続いて、コンテンツを表す前記メトリックの類似性に基づいて、
続いて、前記追跡マップの一部と前記環境マップの一部との間のマッチング度に基づいて、
フィルタリングされる、項目５０に記載の方法。
（項目５６）
前記１つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングは、前記フィルタリングを実施するために要求される処理に基づく順序で実施される、
項目５０に記載の方法。
（項目５７）
環境マップは、
前記１つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
に基づく環境マップのセットのフィルタリングに基づいて選択され、
情報は、前記選択された環境マップから前記ユーザデバイス上にロードされる、
項目５０に記載の方法。
（項目５８）
環境マップは、
前記１つ以上の識別子の類似性と、
コンテンツを表す前記メトリックの類似性と、
前記追跡マップの一部と前記環境マップの一部との間のマッチング度と、
に基づく環境マップのセットのフィルタリングに基づいて選択され、
前記追跡マップは、前記選択された環境マップとマージされる、
項目５０に記載の方法。
（項目５９）
センサを備える複数のユーザデバイスとの通信のために構成される拡張現実システムのためのクラウドコンピューティング環境であって、
前記複数のユーザデバイスが使用されたエリアを示すエリア識別を記憶するユーザデータベースであって、前記エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、
前記複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶するマップデータベースであって、前記関連付けられるメタデータは、そこから前記マップが構築されたデータを供給した前記複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、前記エリア識別は、そこから前記マップが構築されたデータを供給したユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、
コンピュータ実行可能命令を記憶する非一過性コンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、
メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える前記複数のユーザデバイスから受信し、前記ユーザデバイスのためのエリア識別子を算出し、前記受信されたパラメータおよび／または前記算出されたエリア識別子に基づいて、前記ユーザデータベースを更新することと、
環境マップのための要求を前記複数のユーザデバイスから受信し、前記環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、前記エリア識別子に基づいて、環境マップのセットを前記マップデータベースから識別し、環境マップのセットをフィルタリングし、前記フィルタリングされた環境マップのセットを前記ユーザデバイスに伝送することと
を行い、
環境マップのセットをフィルタリングすることは、そこから前記環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのための前記マップデータベース内の無線ネットワークのパラメータとの類似性に基づく、
非一過性コンピュータ記憶媒体と
を備える、クラウドコンピューティング環境。
（項目６０）
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づく、
項目５９に記載のクラウドコンピューティング環境。
（項目６１）
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目５９に記載のクラウドコンピューティング環境。
（項目６２）
前記無線ネットワークのパラメータは、それに前記ユーザデバイスが接続されるネットワークの基本サービスセット識別子（ＢＳＳＩＤ）を備える、項目５９に記載のクラウドコンピューティング環境。
（項目６３）
無線ネットワークのパラメータの類似性に基づいて、環境マップのセットをフィルタリングすることは、前記環境マップを要求するユーザデバイスと関連付けられるユーザデータベース内に記憶される複数のＢＳＳＩＤと、前記環境マップのセットの環境マップと関連付けられるマップデータベース内に記憶されるＢＳＳＩＤとの類似性を算出することを含む、項目６２に記載のクラウドコンピューティング環境。
（項目６４）
前記エリア識別子は、経度および緯度によって、地理的場所を示す、項目５９に記載のクラウドコンピューティング環境。
（項目６５）
エリア識別子を決定することは、前記ユーザデータベースからのエリア識別子にアクセスすることを含む、項目５９に記載のクラウドコンピューティング環境。
（項目６６）
エリア識別子を決定することは、前記複数のユーザデバイスから受信されたメッセージ内のエリア識別子を受信することを含む、項目５９に記載のクラウドコンピューティング環境。
（項目６７）
前記無線ネットワークのパラメータは、Ｗｉ－Ｆｉおよび５ＧＮＲを含むプロトコルに準拠する、項目５９に記載のクラウドコンピューティング環境。
（項目６８）
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップをユーザデバイスから受信するように構成され、
環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
項目５９に記載のクラウドコンピューティング環境。
（項目６９）
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、
追跡マップをユーザデバイスから受信し、前記追跡マップを供給するユーザデバイスに基づいて、前記追跡マップと関連付けられるエリア識別子を決定することと、
少なくとも部分的に、前記追跡マップと関連付けられるエリア識別子に基づいて、第２の環境マップのセットを前記マップデータベースから選択することと、
前記受信された追跡マップに基づいて、前記マップデータベースを更新することであって、前記更新することは、前記受信された追跡マップと前記第２の環境マップのセット内の１つ以上の環境マップをマージすることを含む、ことと
を行うように構成される、項目５９に記載のクラウドコンピューティング環境。
（項目７０）
前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、前記受信された追跡マップの一部と前記第２の環境マップのセットの環境マップの一部との間のマッチング度に基づいて、前記第２の環境マップのセットをフィルタリングするように構成され、
前記追跡マップと前記第２の環境マップのセット内の１つ以上の環境マップをマージすることは、前記追跡マップと前記フィルタリングされた第２の環境マップのセット内の１つ以上の環境マップをマージすることを含む、
項目６９に記載のクラウドコンピューティング環境。
ＰＣＦ共有
（項目７１）
ＸＲシステムであって、
実世界オブジェクトの複数の表面を検出する実オブジェクト検出デバイスと、
アンカ識別システムであって、前記アンカ識別システムは、前記実オブジェクト検出デバイスに接続され、前記実世界オブジェクトに基づいてマップを生成する、アンカ識別システムと、
ＰＣＦ生成システムであって、前記ＰＣＦ生成システムは、前記マップに基づいて、第１のＰＣＦを生成し、前記第１のＰＣＦと前記マップを関連付ける、ＰＣＦ生成システムと、
第１および第２の記憶媒体であって、前記第１および第２の記憶媒体は、それぞれ、第１および第２のＸＲデバイス上にある、第１および第２の記憶媒体と、
前記第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサであって、前記第１のＰＣＦを、それぞれ、前記第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶する、前記第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサと
を備える、ＸＲシステム。
（項目７２）
キーフレーム生成器であって、前記キーフレーム生成器は、複数のカメラ画像を複数の個別のキーフレームに変換するように、前記少なくとも１つのプロセッサによって実行可能である、キーフレーム生成器と、
持続姿勢計算機であって、前記持続姿勢計算機は、前記複数のキーフレームを平均することによって持続姿勢を生成するように、前記少なくとも１つのプロセッサによって実行可能である、持続姿勢計算機と、
追跡マップおよび持続姿勢変換器であって、前記追跡マップおよび持続姿勢変換器は、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定するように、前記少なくとも１つのプロセッサによって実行可能である、追跡マップおよび持続姿勢変換器と、
持続姿勢およびＰＣＦ変換器であって、前記持続姿勢およびＰＣＦ変換器は、前記持続姿勢を前記第１のＰＣＦに変換し、前記持続姿勢に対する前記第１のＰＣＦを決定するように、前記少なくとも１つのプロセッサによって実行可能である、持続姿勢およびＰＣＦ変換器と、
ＰＣＦおよび画像データ変換器であって、前記ＰＣＦおよび画像データ変換器は、前記第１のＰＣＦを画像データに変換するように、前記少なくとも１つのプロセッサによって実行可能である、ＰＣＦおよび画像データ変換器と、
前記第１のＰＣＦに対する前記画像データを前記ユーザに表示するディスプレイデバイスと
をさらに備える、項目７１に記載のＸＲシステム。
（項目７３）
前記検出デバイスは、前記第１のＸＲデバイスプロセッサに接続される前記第１のＸＲデバイスの検出デバイスである、項目７１に記載のＸＲシステム。
（項目７４）
前記マップは、前記第１のＸＲデバイス上の第１のマップであり、前記第１のマップを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目７２に記載のＸＲシステム。
（項目７５）
前記第１のＰＣＦを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目７４に記載のＸＲシステム。
（項目７６）
前記第１のＰＣＦと前記第１のマップを関連付けるプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目７５に記載のＸＲシステム。
（項目７７）
前記第１のＸＲデバイスプロセッサによって実行可能であるアプリケーションと、
第１のＰＣＦ追跡器であって、前記第１のＰＣＦ追跡器は、前記第１のＸＲデバイスプロセッサによって実行可能であり、前記第１のＰＣＦ追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオンに切り替えられる場合のみ、前記第１のＰＣＦを生成する、第１のＰＣＦ追跡器と
をさらに備える、項目７６に記載のＸＲシステム。
（項目７８）
前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオフに切り替えられると、第１のＰＣＦ生成を終了すること
をさらに含む、項目７７に記載のＸＲシステム。
（項目７９）
マップ発行器であって、前記マップ発行器は、前記第１のＰＣＦをサーバに伝送するように、前記第１のＸＲデバイスプロセッサによって実行可能である、マップ発行器と、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、前記第１のＰＣＦを前記サーバの記憶デバイス上に記憶するように、前記サーバのサーバプロセッサによって実行可能である、マップ記憶ルーチンと、
前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記第２のＸＲデバイスに伝送することと、
マップダウンロードシステムであって、前記マップダウンロードシステムは、前記第１のＰＣＦを前記サーバからダウンロードするように、前記第２のＸＲデバイスの第２のＸＲデバイスプロセッサによって実行可能である、マップダウンロードシステムと
をさらに備える、項目７６に記載のＸＲシステム。
（項目８０）
前記第２のＸＲデバイスプロセッサによって実行可能であるアプリケーションと、
第２のＰＣＦ追跡器であって、前記第２のＰＣＦ追跡器は、前記第２のＸＲデバイスプロセッサによって実行可能であり、前記第２のＰＣＦ追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオンに切り替えられる場合のみ、第２のＰＣＦを生成する、第２のＰＣＦ追跡器と
をさらに備える、項目７９に記載のＸＲシステム。
（項目８１）
前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオフに切り替えられると、第２のＰＣＦ生成を終了すること
をさらに含む、項目８０に記載のＸＲシステム。
（項目８２）
マップ発行器をさらに備え、前記マップ発行器は、前記第２のＰＣＦを前記サーバに伝送するように、前記第２のＸＲデバイスプロセッサによって実行可能である、項目７９に記載のＸＲシステム。
（項目８３）
持続姿勢入手器であって、前記持続姿勢入手器は、持続姿勢を前記サーバからダウンロードするように、前記第１のＸＲデバイスプロセッサによって実行可能である、持続姿勢入手器と、
ＰＣＦ確認器であって、前記ＰＣＦ確認器は、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すように、前記第１のＸＲデバイスプロセッサによって実行可能である、ＰＣＦ確認器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算するように、前記第１のＸＲデバイスプロセッサによって実行可能である、座標フレーム計算機と
をさらに備える、項目７６に記載のＸＲシステム。
（項目８４）
視認方法であって、
少なくとも１つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出することと、
少なくとも１つのプロセッサを用いて、前記実世界オブジェクトに基づいて、マップを生成することと、
少なくとも１つのプロセッサを用いて、前記マップに基づいて、第１のＰＣＦを生成することと、
前記少なくとも１つのプロセッサを用いて、前記第１のＰＣＦと前記マップを関連付けることと、
第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサを用いて、前記第１のＰＣＦを、それぞれ、前記第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶することと
を含む、方法。
（項目８５）
前記少なくとも１つのプロセッサを用いて、複数のカメラ画像を複数の個別のキーフレームに変換することと、
前記少なくとも１つのプロセッサを用いて、前記複数のキーフレームを平均することによって、持続姿勢を生成することと、
前記少なくとも１つのプロセッサを用いて、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定することと、
前記少なくとも１つのプロセッサによって、前記持続姿勢を前記第１のＰＣＦに変換し、前記持続姿勢に対する前記第１のＰＣＦを決定することと、
前記少なくとも１つのプロセッサを用いて、前記第１のＰＣＦを画像データに変換することと、
ディスプレイデバイスを用いて、前記第１のＰＣＦに対する前記画像データを前記ユーザに表示することと
をさらに含む、項目８４に記載の視認方法。
（項目８６）
前記検出デバイスは、前記第１のＸＲデバイスプロセッサに接続される前記第１のＸＲデバイスの検出デバイスである、項目８４に記載の視認方法。
（項目８７）
前記マップは、前記第１のＸＲデバイス上の第１のマップであり、前記第１のマップを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目８５に記載の視認方法。
（項目８８）
前記第１のＰＣＦを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目８７に記載の視認方法。
（項目８９）
前記第１のＰＣＦと前記第１のマップを関連付けるプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、項目８８に記載の視認方法。
（項目９０）
前記第１のＸＲデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第１のＰＣＦ追跡器をオンに切り替えることであって、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオンに切り替えられる場合のみ、前記第１のＰＣＦを生成する、ことと、
をさらに含む、項目８９に記載の視認方法。
（項目９１）
前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第１のＰＣＦ追跡器をオフに切り替えることであって、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオフに切り替えられると、第１のＰＣＦ生成を終了すること
をさらに含む、項目９０に記載の視認方法。
（項目９２）
前記第１のＸＲデバイスプロセッサを用いて、前記第１のＰＣＦをサーバに伝送することと、
前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記サーバの記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記第２のＸＲデバイスに伝送することと、
前記第２のＸＲデバイスの第２のＸＲデバイスプロセッサを用いて、前記第１のＰＣＦを前記サーバから受信することと
をさらに含む、項目８９に記載の視認方法。
（項目９３）
前記第２のＸＲデバイスプロセッサを用いて、アプリケーションを実行することと、
前記第２のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第２のＰＣＦ追跡器をオンに切り替えることであって、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオンに切り替えられる場合のみ、第２のＰＣＦを生成する、ことと
をさらに含む、項目９２に記載の視認方法。
（項目９４）
前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第２のＰＣＦ追跡器をオフに切り替えることであって、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオフに切り替えられると、第２のＰＣＦ生成を終了すること
をさらに含む、項目９３に記載の視認方法。
（項目９５）
前記第２のＸＲデバイスプロセッサを用いて、前記第２のＰＣＦを前記サーバにアップロードすること
をさらに含む、項目９２に記載の視認方法。
（項目９６）
前記第１のＸＲデバイスプロセッサを用いて、持続姿勢を前記サーバから決定することと、
前記第１のＸＲデバイスプロセッサを用いて、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すことと、
前記第１のＸＲデバイスプロセッサを用いて、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算することと
をさらに含む、項目８９に記載の視認方法。
ＰＣＦダウンロード
（項目９７）
ＸＲシステムであって、
第１のＸＲデバイスであって、
第１のＸＲデバイスプロセッサと、
前記第１のＸＲデバイスプロセッサに接続される第１のＸＲデバイス記憶デバイスと、
前記第１のＸＲデバイスプロセッサ上の命令のセットであって、
ダウンロードシステムであって、前記ダウンロードシステムは、持続姿勢をサーバからダウンロードするように、前記第１のＸＲデバイスプロセッサによって実行可能である、ダウンロードシステムと、
ＰＣＦ読出器であって、前記ＰＣＦ読出器は、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すように、前記第１のＸＲデバイスプロセッサによって実行可能である、ＰＣＦ読出器と、
座標フレーム計算機であって、前記座標フレーム計算機は、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算するように、前記第１のＸＲデバイスプロセッサによって実行可能である、座標フレーム計算機と
を含む、命令のセットと
を含む、第１のＸＲデバイス
を備える、ＸＲシステム。
（項目９８）
視認方法であって、
第１のＸＲデバイスの第１のＸＲデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードすることと、
前記第１のＸＲデバイスプロセッサを用いて、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すことと、
前記第１のＸＲデバイスプロセッサを用いて、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算することと
を含む、方法。
ＰＣＦサーバ
（項目９９）
視認方法であって、
サーバであって、
サーバプロセッサと、
前記サーバプロセッサに接続されるサーバ記憶デバイスと、
マップ記憶ルーチンであって、前記マップ記憶ルーチンは、マップと関連付けられた前記第１のＰＣＦを前記サーバのサーバ記憶デバイス上に記憶するように、前記サーバのサーバプロセッサを用いて実行可能である、マップ記憶ルーチンと、
マップ伝送機であって、前記マップ伝送機は、前記サーバプロセッサを用いて、前記マップおよび前記第１のＰＣＦを第１のＸＲデバイスに伝送するように、サーバプロセッサを用いて実行可能である、マップ伝送機と
を含む、サーバ
を備える、方法。
（項目１００）
視認方法であって、
前記サーバのサーバプロセッサを用いて、マップと関連付けられた前記第１のＰＣＦを前記サーバのサーバ記憶デバイス上に記憶することと、
前記サーバのサーバプロセッサを用いて、前記マップおよび前記第１のＰＣＦを第１のＸＲデバイスに伝送することと
を含む、方法。
頭部姿勢復元およびリセット
（項目１０１）
視認方法であって、
ＸＲデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入ることと、
前記プロセッサによって、前記表面に対する前記頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定することと、
頭部姿勢が、喪失された場合、前記プロセッサによって、姿勢復元モードに入り、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、前記頭部姿勢を確立することと
を含む、方法。
（項目１０２）
前記頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入る、項目１０１に記載の視認方法。
（項目１０３）
姿勢復元は、
前記プロセッサによって、表面の捕捉を改良するための提案とともに、メッセージを前記ユーザに表示することを含む、
項目１０１に記載の視認方法。
（項目１０４）
前記提案は、光を増加させることおよびテクスチャを精緻化することのうちの少なくとも１つである、項目１０３に記載の視認方法。
（項目１０５）
前記プロセッサによって、復元が失敗したかどうかを決定することと、
復元が、失敗した場合、前記プロセッサによって、頭部姿勢を確立することを含む新しいセッションを開始することと
をさらに含む、項目１０１に記載の視認方法。
（項目１０６）
プロセッサによって、新しいセッションが開始されるであろうことのメッセージを前記ユーザに表示することをさらに含む、項目１０５に記載の視認方法。
（項目１０７）
頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入ることをさらに含む、項目１０１に記載の視認方法。
（項目１０８）
ユーザによって携行可能な電子システムであって、
場面内の１つ以上の物理的オブジェクトについての画像を捕捉するように構成される１つ以上のセンサであって、前記画像は、第１の座標フレーム内にある、１つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションであって、前記アプリケーションは、前記仮想コンテンツの表示が、前記ユーザの頭部内の眼回転および／または前記１つ以上のセンサの変形から独立するように、仮想コンテンツを前記第１の座標フレームと異なる第２の座標フレーム内に表示する、アプリケーションと
を備える、電子システム。
（項目１０９）
前記第１の座標フレームは、世界原点を有する世界座標フレームであり、
前記世界原点は、前記電子システムが前記画像を捕捉するために電源投入されるときの前記電子システムの第１の姿勢である、
項目１０８に記載の電子システム。
（項目１１０）
前記第２の座標フレームは、カメラ原点を有するカメラ座標フレームであり、
前記カメラ原点は、少なくとも部分的に、前記電子システムの寸法と、前記画像を捕捉するときの前記電子システムの１つ以上のセンサの１つ以上の姿勢とに基づいて決定される、
項目１０８に記載の電子システム。
（項目１１１）
コンピュータ実行可能命令を実行し、前記仮想コンテンツを前記アプリケーションに提供するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記場面内の１つ以上の物理的オブジェクトに基づいて、前記仮想コンテンツのためのローカル座標フレームを決定することと、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
を行うための命令を備える、少なくとも１つのプロセッサ
を備える、項目１０８に記載の電子システム。
（項目１１２）
前記ローカル座標フレームは、少なくとも部分的に、前記仮想コンテンツを包囲するプリズムまたは境界ボックスの外側表面上の１つ以上のノードに基づいて決定される、項目１０８に記載の電子システム。
（項目１１３）
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第１の座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記第１の座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含む、項目１１１に記載の電子システム。
（項目１１４）
前記第１の座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することは、
前記第１の座標フレーム内の仮想コンテンツについての画像データを頭部座標フレーム内の仮想コンテンツについての画像データに変換することと、
前記頭部座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
を含み、
前記頭部座標フレームは、少なくとも部分的に、前記画像を捕捉するときの前記電子システムの１つ以上のセンサの１つ以上の姿勢に基づいて決定された頭部原点を有する、
項目１１１に記載の電子システム。
（項目１１５）
前記コンピュータ実行可能命令は、
前記ＰＣＦが、前記世界座標フレームと異なるが、それと関連付けられるように、少なくとも部分的に、前記場面内の前記１つ以上の物理的オブジェクトを中心として捕捉された画像に基づいて、持続座標フレーム（ＰＣＦ）を決定するための命令
を備える、項目１１１に記載の電子システム。
（項目１１６）
コンピューティングシステムを動作させ、仮想オブジェクトを、１つ以上の物理的オブジェクトを備える場面内にレンダリングする方法であって、前記方法は、
前記場面を中心とする複数の画像をユーザによって装着される第１のデバイスの１つ以上のセンサから捕捉することと、
少なくとも部分的に、前記複数の画像に基づいて、１つ以上の持続姿勢を算出することと、
前記複数の画像の情報が、前記持続座標フレームを介して、前記第１のデバイスおよび／または第２のデバイス上で起動する１つ以上のアプリケーションによって、異なる時間にアクセスされ得るように、少なくとも部分的に、前記算出された１つ以上の持続姿勢に基づいて、持続座標フレームを生成することと
を含む、方法。
（項目１１７）
少なくとも部分的に、前記複数の画像に基づいて、前記１つ以上の持続姿勢を算出することは、
１つ以上の特徴を前記複数の画像のそれぞれから抽出することと、
前記１つ以上の特徴毎に、記述子を生成することと、
少なくとも部分的に、前記記述子に基づいて、前記複数の画像毎に、キーフレームを生成することと、
少なくとも部分的に、前記１つ以上のキーフレームに基づいて、前記１つ以上の持続姿勢を生成することと
を含む、項目１１６に記載の方法。
（項目１１８）
少なくとも部分的に、前記算出された１つ以上の持続姿勢に基づいて、前記持続座標フレームを生成することは、
前記第１のデバイスが前記複数の画像が捕捉された場所から所定の距離を進行すると、前記持続座標フレームを生成すること
を含む、項目１１６に記載の方法。
（項目１１９）
前記所定の距離は、前記デバイスの算出リソースの消費および前記仮想オブジェクトの設置誤差の両方が、前記１つ以上の持続姿勢を生成するために制御されるように、２～２０メートルである、項目１１８に記載の方法。
（項目１２０）
前記第１のデバイスが電源投入されると、初期持続姿勢を生成することと、
前記第１のデバイスが、円形の中心としての前記初期持続姿勢および閾値距離に等しい半径を伴う、円形の周に到達すると、前記第１のデバイスの現在の場所において第１の持続姿勢を生成することと
を含む、項目１１７に記載の方法。
（項目１２１）
前記円形は、第１の円形であり、
前記方法はさらに、前記デバイスが、円形の中心としての前記第１の持続姿勢および前記閾値距離の２倍に等しい半径を伴う第２の円形の周に到達すると、前記第１のデバイスの現在の場所で第２の持続姿勢を生成することを含む、
項目１２０に記載の方法。
（項目１２２）
前記第１のデバイスが、既存の持続姿勢を前記第１のデバイスの現在の位置からの前記閾値距離内に見出すとき、前記第１の持続姿勢は、生成されない、項目１２０に記載の方法。
（項目１２３）
前記第１のデバイスは、前記第１の持続姿勢に、前記第１の持続姿勢までの所定の距離内にある前記複数のキーフレームのうちの１つ以上のものを結び付ける、項目１２０に記載の方法。
（項目１２４）
前記第１のデバイス上で起動するアプリケーションが持続姿勢を要求しないとき、前記第１の持続姿勢は、生成されない、項目１２０に記載の方法。
（項目１２５）
ユーザによって携行可能な電子システムであって、
場面内の１つ以上の物理的オブジェクトについての画像を捕捉するように構成される１つ以上のセンサと、
コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションと、
コンピュータ実行可能命令を実行し、前記仮想コンテンツについての画像データを前記アプリケーションに提供するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
少なくとも部分的に、前記捕捉された画像に基づいて、持続座標フレームを生成するための命令を備える、
少なくとも１つのプロセッサと
を備える、電子システム。 Some embodiments capture the surface of the environment using a capture device on a head-mounted frame that is affixed to the user's head, and the orientation of the head-mounted frame with respect to the surface, by the processor of the XR device. determining, by the processor, whether the head pose has been lost due to the inability to determine the orientation of the head-mounted frame with respect to the surface; establishing head pose by entering a pose recovery mode and determining the orientation of the head-mounted frame with respect to the surface by the processor if the head pose is lost.
The present invention provides, for example, the following.
(Item 1)
coordinate frame transformation
An XR system,
A first XR device, the first XR device comprising:
a first processor;
a first computer-readable medium coupled to the first processor;
a first origin coordinate frame stored on the first computer-readable medium;
a first destination coordinate frame stored on the computer-readable medium;
a first data channel for receiving data representing local content;
a first coordinate frame transformer, wherein the first coordinate frame transformer transforms a positioning of the local content from the first origin coordinate frame to the first destination coordinate frame; a first coordinate frame transformer executable by the first processor;
A first display system, wherein the first display system renders the local content to a first user after transforming the orientation of the local content from the first origin coordinate frame to the first destination coordinate frame. a first display system adapted to display in
a first XR device comprising
An XR system comprising:
(Item 2)
The first XR device further comprises:
a first real object detection device for detecting positioning of real objects;
A first world surface determination routine, said first world surface determination routine executable by said first processor to identify the orientation of at least one point on the surface of said real object. , a first world surface determination routine;
A first world frame determination routine, said first world frame determination routine executable by said first processor to calculate a first world coordinate frame based on said at least one point. and one of said first origin and first destination coordinate frames is said first world coordinate frame; and
a first world frame store instruction, said first world frame store instruction executable by said first processor to store said world coordinate frame on said computer readable medium; world frame store instructions and
The XR system of item 1, comprising:
(Item 3)
XR system according to item 2, wherein the first real object detection device is a camera.
(Item 4)
XR system according to item 2, wherein the first real object detection device detects the orientation of a plurality of real objects.
(Item 5)
3. The XR system of item 2, wherein the first world surface determination routine identifies locations of points on the surface of the real object.
(Item 6)
6. The XR system of item 5, wherein the first world frame determination routine calculates the first world coordinate frame based on the plurality of points.
(Item 7)
The first XR device further comprises:
a first head mountable frame;
A first head frame determination routine, wherein the first head frame determination routine is adapted to calculate a first head coordinate frame that varies in response to movement of the first head mountable frame. a first head frame executable by said first processor, wherein one of said first origin and first destination coordinate frames is said first head coordinate frame; a decision routine;
A first head frame storage instruction, the first head frame storage instruction configured to store the first head coordinate frame on the first computer readable medium. a first head frame store instruction executable by a processor;
The XR system of item 2, comprising:
(Item 8)
XR system according to item 7, wherein the first coordinate frame transformer is a first world/head coordinate transformer that transforms the first world coordinate frame to the first head coordinate frame.
(Item 9)
The first XR device further comprises:
a first inertial measurement unit secured to the first head mountable frame for detecting movement of the first head mountable frame; 8. The XR system of item 7, wherein the first head coordinate frame is calculated based on inertial measurement unit measurements of .
(Item 10)
The first device further comprises:
a first motion tracking camera affixed to said first head mountable frame for detecting movement of said first head mountable frame, said first head frame determination routine comprising: 8. The XR system of item 7, wherein the first head coordinate frame is calculated based on images captured by a motion tracking camera of .
(Item 11)
The first XR device further comprises:
A first local frame determination routine, the first local frame determination routine executable by the first processor to calculate a first local coordinate frame of the local content; a first local frame determination routine, wherein one of the one origin and first destination coordinate frames is the local coordinate frame;
first local frame store instructions, said first local frame store instructions executable by said first processor to store said local coordinate frame on said computer readable medium; local frame store instructions of and
The XR system of item 2, comprising:
(Item 12)
12. The XR system of item 11, wherein the first coordinate frame transformer is a first local/world coordinate transformer that transforms the first local coordinate frame to the first world coordinate frame.
(Item 13)
The first XR device further comprises:
including a first camera frame stored on the first computer-readable medium, the first camera frame including a plurality of eye positions of an eye moving relative to the first head-mountable frame , the first coordinate frame transformer is a first head/camera coordinate transformer that transforms the first head coordinate frame to the first camera coordinate frame. .
(Item 14)
A viewing method comprising:
storing a first origin coordinate frame;
storing a first destination coordinate frame;
receiving data representing local content;
transforming local content orientation from the first origin coordinate frame to the first destination coordinate frame;
displaying the local content to a first user after translating the local content from the first origin coordinate frame to the first destination coordinate frame;
A method, including
Normative map
(Item 15)
An XR system,
a map storage routine for storing a first map that is a reference map having a plurality of anchors, each anchor of said first map having a set of coordinates;
a real object detection device positioned to detect the location of the real object;
an anchor identification system connected to the real object detection device for detecting anchors of a second map based on the location of the real object, each anchor of the second map having a set of coordinates; an anchor identification system;
a localization module, said localization module connected to said reference map and said second map for matching a first anchor of said second map to a first anchor of said reference map; a localization module executable to localize the second map relative to the reference map by matching a second anchor of the second map to a second anchor of the reference map;
An XR system comprising:
(Item 16)
XR system according to item 15, wherein the real object detection device is a real object detection camera.
(Item 17)
16. XR according to clause 15, further comprising a canonical map embedder connected to the canonical map and the second map and executable to embed a third anchor of the canonical map into the second map. system.
(Item 18)
An XR device, the XR device comprising:
a head unit,
a head mountable frame, wherein the real object detection device is mounted on the head mountable frame;
a data channel for receiving image data for local content;
a local content positioning system coupled to the data channel and operable to associate the local content with one anchor of the reference map;
a display system connected to the local content positioning system for displaying the local content;
a head unit comprising
XR device, including
16. The XR system of item 15, further comprising:
(Item 19)
19. The XR system of item 18, further comprising a local/world coordinate transformer that transforms the local coordinate frame of the local content to the world coordinate frame of the second map.
(Item 20)
a first world frame determination routine that calculates a first world coordinate frame based on the second map anchors;
a first world frame storage instruction to store the world coordinate frame;
a head frame determination routine that calculates a head coordinate frame that changes as the head mountable frame moves;
a head frame storage instruction for storing the first head coordinate frame;
a world/head coordinate transformer that transforms the world coordinate frame to the head coordinate frame;
19. The XR system of item 18, further comprising:
(Item 21)
21. The XR system of item 20, wherein the head coordinate frame changes relative to the world coordinate frame as the head mountable frame moves.
(Item 22)
19. XR system according to item 18, further comprising at least one sound element associated with at least one anchor of the second map.
(Item 23)
XR system according to item 18, wherein the first and second maps are produced by the XR device.
(Item 24)
First and second XR devices, each XR device comprising:
a head unit,
a head mountable frame, wherein the real object detection device is mounted on the head mountable frame;
a data channel for receiving image data for local content;
a local content positioning system coupled to the data channel and operable to associate the local content with one anchor of the reference map;
a display system connected to the local content positioning system for displaying the local content;
a head unit comprising
first and second XR devices comprising
16. The XR system of item 15, further comprising:
(Item 25)
The first XR device creates anchors for the first map, the second XR device creates anchors for the second map, and the location module creates anchors for the second map. 25. The XR system of item 24, forming part of the XR device of Item 24.
(Item 26)
26. The XR system of item 25, wherein the first and second maps are created in first and second sessions, respectively.
(Item 27)
26. The XR system of item 25, wherein the first and second maps are created in the same session.
(Item 28)
a server;
a map download system, forming part of said XR device, for downloading said first map from a server over a network;
19. The XR system of item 18, further comprising:
(Item 29)
16. The XR system of item 15, wherein the localization module repeatedly attempts to localize the second map with respect to the reference map.
(Item 30)
16. The XR system of item 15, further comprising a map publisher that uploads said second map to said server via said network.
(Item 31)
the reference map is stored on the server;
a map merging algorithm on the server that merges the second map and the reference map;
a map transmitter for transmitting the canonical map after the second map is merged with the canonical map;
16. The XR system of item 15, further comprising:
(Item 32)
A viewing method comprising:
storing a first map that is a reference map having a plurality of anchors, each anchor of the reference map having a set of coordinates;
detecting the location of a real object;
Detecting anchors of a second map based on the location of the real object, each anchor of the second map having a set of coordinates;
by matching a first anchor of the second map to a first anchor of the first map and matching a second anchor of the second map to a second anchor of the reference map; locating the second map relative to the reference map;
A method, including
Criterion map filtering
(Item 33)
An XR system,
a server,
a processor;
a computer readable medium coupled to the processor;
a plurality of reference maps on the computer-readable medium;
a separate reference map identifier on the computer-readable medium associated with each separate reference map, wherein the reference map identifiers are distinct from each other and uniquely identify the reference map;
a location detector, said location detector on said computer-readable medium, executable by said processor to receive and store a location identifier from an XR device;
A first filter, said first filter being on said computer-readable medium, said one or more criteria comparing said location identifier and said criteria map identifier to form a first filtered selection. a first filter executable by the processor to determine a map;
A map transmitter, the map transmitter being on the computer-readable medium and transmitting one or more of the reference maps to the XR device based on the first filtered selection. a map transmitter executable by said processor to
a server with
An XR system comprising:
(Item 34)
34. The XR system of item 33, wherein the reference map identifiers each include longitude and latitude and the location identifiers include longitude and latitude.
(Item 35)
The first filter is a neighborhood area filter, the neighborhood area filter comprising: at least one matching criteria map covering longitudes and latitudes including the longitude and latitude of the location identifier; 35. The XR system of item 34, selecting at least one neighborhood map covering adjacent longitudes and latitudes.
(Item 36)
the location identifier comprises a WiFi fingerprint;
a second filter, the second filter being a WiFi fingerprint filter, on the computer-readable medium, by the processor;
determining latitude and longitude based on the WiFi fingerprint;
comparing latitudes and longitudes from said WiFi fingerprint filter with latitudes and longitudes in said criterion map to determine one or more criterion maps forming a second filtered selection within said first filtered selection; wherein the map transmitter transmits one or more canonical maps based on the second selection and does not transmit any canonical maps based on the first selection outside the second selection. , things and
A second filter, executable to do
36. The XR system of item 35, further comprising:
(Item 37)
The first filter is a WiFi fingerprint filter, the WiFi fingerprint filter is on the computer-readable medium, and by the processor:
determining latitude and longitude based on the WiFi fingerprint;
comparing latitudes and longitudes from the WiFi fingerprint filter with latitudes and longitudes of the reference maps to determine one or more reference maps forming the first filtered selection;
34. The XR system of item 33, executable to perform
(Item 38)
A multi-layer perception unit, residing on said computer-readable medium and executable by said processor, receiving a plurality of features of an image and converting each feature into a separate sequence of numbers. a unit;
A maximum pool unit, said maximum pool unit being on said computer-readable medium and executable by said processor, combining a maximum value of each numerical sequence into a global feature sequence representing said image, each criterion map comprising: The location identifier received from the XR device and having at least one of the global feature sequences is evolved by the multi-layer perception unit and the max pool unit to determine a global feature sequence for the image. a maximum pool unit containing image features captured by the XR device that
A keyframe filter, wherein the keyframe filter compares the global feature column of the image with the global feature column of the reference map to form a third filtered selection within the second filtered selection. determining one or more canonical maps to be used, wherein the map transmitter transmits one or more canonical maps based on the third selection, and based on the second selection outside the third selection; Keyframe filters and
37. The XR system of item 36, further comprising:
(Item 39)
A multi-layer perception unit, residing on said computer-readable medium and executable by said processor, receiving a plurality of features of an image and converting each feature into a separate sequence of numbers. a unit;
A maximum pool unit, said maximum pool unit being on said computer-readable medium and executable by said processor, combining a maximum value of each numerical sequence into a global feature sequence representing said image, each criterion map comprising: The location identifier received from the XR device and having at least one of the global feature sequences is evolved by the multi-layer perception unit and the max pool unit to determine a global feature sequence for the image. a maximum pool unit containing image features captured by said XR device that
further comprising
34. The XR system of item 33, wherein the first filter is a keyframe filter that compares a global feature string of the image with a global feature string of the reference map to determine one or more reference maps.
(Item 40)
An XR device, the XR device comprising:
a head unit,
a head mountable frame, wherein the real object detection device is mounted on the head mountable frame;
a data channel for receiving image data for local content;
a local content positioning system, said local content positioning system being coupled to said data channel and executable to associate said local content with one anchor of said reference map;
a display system, said display system being connected to said local content positioning system and displaying said local content;
a head unit comprising
XR device, including
34. The XR system of item 33, further comprising:
(Item 41)
The XR device is
a map storage routine for storing a first map that is a reference map having a plurality of anchors, each anchor of said first map having a set of coordinates;
a real object detection device positioned to detect the location of the real object;
an anchor identification system connected to the real object detection device for detecting anchors of a second map based on the location of the real object, each anchor of the second map having a set of coordinates; an anchor identification system;
a localization module, said localization module connected to said reference map and said second map for matching a first anchor of said second map to a first anchor of said reference map; a localization module executable to localize the second map relative to the reference map by matching a second anchor of the second map to a second anchor of the reference map;
41. The XR system of item 40, comprising:
(Item 42)
42. XR system according to item 41, wherein the real object detection device is a real object detection camera.
(Item 43)
42. The XR of clause 41, further comprising a canonical map embedder connected to the canonical map and the second map and executable to embed a third anchor of the canonical map into the second map. system.
(Item 44)
A viewing method comprising:
Storing a plurality of reference maps on a computer readable medium, each reference map having a separate reference map associated with said separate reference map, said reference map identifiers being different from each other, said reference map uniquely identifying the map; and
receiving and storing a location identifier from an XR device with a processor coupled to the computer-readable medium;
comparing, with the processor, the location identifier and the canonical map identifier to determine one or more canonical maps forming a first filtered selection;
using the processor to transmit a plurality of the reference maps to the XR device based on the first filtered selection;
A method, including
key frame
(Item 45)
An XR system,
a processor;
a computer readable medium coupled to the processor;
A multi-layer perception unit, said multi-layer perception unit being on said computer-readable medium and executable by said processor, receiving a plurality of features of an image and converting each feature into a separate sequence of numbers. a unit;
a maximum pool unit, said maximum pool unit being on said computer-readable medium and executable by said processor, for combining the maximum value of each sequence into a global feature sequence representing said image;
An XR system comprising:
(Item 46)
a plurality of reference maps on the computer-readable medium, each reference map having at least one of the global feature columns associated therewith;
A position detector, said position detector being on said computer-readable medium and captured by an XR device processed by said multi-layer perception unit and said max pool unit to determine a global feature sequence of said image. a position detector executable by the processor to receive from the XR device characteristics of a captured image;
A keyframe filter, said keyframe filter comparing global feature columns of said image with global feature columns of said reference map to determine one or more reference maps forming part of a filtered selection. , a keyframe filter, and
A map transmitter, said map transmitter on said computer-readable medium, adapted to transmit one or more of said reference maps to said XR device based on said filtered selection. , a map transmitter executable by said processor;
46. The XR system of item 45, further comprising:
(Item 47)
An XR device, the XR device comprising:
a head unit,
a head mountable frame, wherein the real object detection device is mounted on the head mountable frame;
a data channel for receiving image data for local content;
a local content positioning system, said local content positioning system being coupled to said data channel and executable to associate said local content with one anchor of said reference map;
a display system, said display system being connected to said local content positioning system and displaying said local content;
a head unit comprising
XR device, including
46. The XR system of item 45, further comprising:
(Item 48)
An XR device, the XR device comprising:
a head unit,
a head mountable frame, wherein the real object detection device is mounted on the head mountable frame;
a data channel for receiving image data for local content;
a local content positioning system, said local content positioning system being coupled to said data channel and executable to associate said local content with one anchor of said reference map;
A display system connected to the local content positioning system for displaying the local content, wherein the matching is performed by matching global feature columns of the second map to global feature columns of the reference map. display system and
a head unit comprising
XR device, including
48. The XR system of item 47, further comprising:
(Item 49)
A viewing method comprising:
receiving, with a processor, a plurality of features of an image;
converting each feature into a separate sequence using the processor;
combining, with the processor, the maximum value of each sequence into a global feature sequence representing the image;
A method, including
Ranking and Merge Maps (From '823)
(Item 50)
A method of operating a computing system to identify and merge one or more environment maps stored in a database with a tracking map calculated based on sensor data collected by a device worn by a user, comprising: , the device receives a signal of an access point to a computer network while computing the tracking map, the method comprising:
determining at least one area attribute of the tracking map based on characteristics of communication with the access point;
determining a geographic location of the tracking map based on the at least one area attribute;
identifying a set of environment maps stored in the database corresponding to the determined geographic location;
filtering a set of environment maps based on similarity of one or more identifiers of network access points associated with environment maps of the set of tracking maps and environment maps;
filtering a set of environment maps based on the similarity of a metric representing environment map content of the set of tracking maps and environment maps;
filtering a set of environment maps based on the degree of matching between a portion of the tracking map and a portion of the environment maps of the set of environment maps;
A method, including
(Item 51)
Filtering the set of environment maps based on similarity of one or more identifiers of the network access points may include: filtering the set of environment maps based on the one or more identifiers of the network access points within the set of environment maps; 51. The method of item 50, comprising reserving the environment map with the highest Jaccard similarity with at least one area attribute of the map.
(Item 52)
Filtering the set of environment maps based on similarity of metrics representing the contents of the environment maps of the set of tracking maps and environment maps includes, within the set of environment maps, a vector of characteristics of the tracking maps and an environment map 51. The method of item 50, comprising reserving the environment map with the minimum vector distance between vectors representing the environment map in the set of .
(Item 53)
51. The method of item 50, wherein the metric representing the content of the tracking map and the environment map comprises a vector of values calculated from the content of the map.
(Item 54)
filtering a set of environment maps based on a degree of matching between a portion of the tracking map and a portion of the environment maps of the set of environment maps;
calculating a volume of the physical world represented by said tracking map that is also represented in an environment map of a set of environment maps;
Retaining within a set of environment maps those environment maps with a calculated volume that is larger than the environment map filtered out of said set.
51. The method of item 50, comprising
(Item 55)
The set of environment maps is
First, based on the similarity of the one or more identifiers,
Subsequently, based on the similarity of said metrics representing content:
Subsequently, based on the degree of matching between the portion of the tracking map and the portion of the environment map,
51. The method of item 50, filtered.
(Item 56)
similarity of the one or more identifiers;
similarity of said metric representing content; and
a degree of matching between a portion of the tracking map and a portion of the environment map;
filtering the set of environment maps based on is performed in an order based on the processing required to perform said filtering;
51. The method of item 50.
(Item 57)
environment map,
similarity of the one or more identifiers;
similarity of said metric representing content; and
a degree of matching between a portion of the tracking map and a portion of the environment map;
selected based on filtering a set of environment maps based on
information is loaded onto the user device from the selected environment map;
51. The method of item 50.
(Item 58)
environment map,
similarity of the one or more identifiers;
similarity of said metric representing content; and
a degree of matching between a portion of the tracking map and a portion of the environment map;
selected based on filtering a set of environment maps based on
the tracking map is merged with the selected environment map;
51. The method of item 50.
(Item 59)
A cloud computing environment for an augmented reality system configured for communication with a plurality of user devices equipped with sensors, comprising:
a user database storing an area identification indicating an area in which the plurality of user devices are used, the area identification comprising wireless network parameters detected by the user devices in use;
A map database storing a plurality of environment maps constructed from data supplied by the plurality of user devices and associated metadata, the associated metadata providing data from which the maps were constructed. an area identification derived from the area identifications of said plurality of user devices, said area identification comprising parameters of wireless networks detected by user devices that supplied data from which said map was constructed When,
1. A non-transitory computer storage medium storing computer-executable instructions, the computer-executable instructions, when executed by at least one processor in the cloud computing environment,
receive messages from the plurality of user devices comprising wireless network parameters detected by the user devices; calculate an area identifier for the user devices; and calculate the received parameters and/or the calculated area identifier updating the user database based on
receiving requests for environment maps from the plurality of user devices; determining area identifiers associated with user devices requesting the environment maps; and generating a set of environment maps based, at least in part, on the area identifiers. identifying from the map database, filtering a set of environment maps, and transmitting the filtered set of environment maps to the user device;
and
Filtering the set of environment maps may include parameters of the wireless network detected by the user device from which the request for the environment map originated and in the map database for environment maps in the set of environment maps. based on the similarity to the wireless network parameters of
non-transitory computer storage media and
A cloud computing environment with
(Item 60)
the computer-executable instructions, when executed by at least one processor in the cloud computing environment, are configured to receive a tracking map from a user device requesting an environment map;
filtering the set of environment maps is further based on similarity of metrics representing environment map content of the tracking map and the set of environment maps;
A cloud computing environment according to item 59.
(Item 61)
the computer-executable instructions, when executed by at least one processor in the cloud computing environment, are configured to receive a tracking map from a user device requesting an environment map;
filtering the set of environment maps is further based on a degree of matching between a portion of the tracking map and a portion of the environment maps of the set of environment maps;
A cloud computing environment according to item 59.
(Item 62)
60. The cloud computing environment of item 59, wherein the wireless network parameters comprise a basic service set identifier (BSSID) of a network to which the user device is connected.
(Item 63)
Filtering a set of environment maps based on similarity of wireless network parameters includes: a plurality of BSSIDs stored in a user database associated with a user device requesting the environment map; 63. The cloud computing environment of item 62, comprising calculating similarity to BSSIDs stored in a map database associated with the environment map.
(Item 64)
60. The cloud computing environment of item 59, wherein the area identifier indicates a geographical location by longitude and latitude.
(Item 65)
60. The cloud computing environment of item 59, wherein determining an area identifier comprises accessing an area identifier from the user database.
(Item 66)
60. The cloud computing environment of item 59, wherein determining an area identifier comprises receiving an area identifier in messages received from the plurality of user devices.
(Item 67)
60. The cloud computing environment of item 59, wherein said wireless network parameters comply with protocols including Wi-Fi and 5GNR.
(Item 68)
the computer-executable instructions, when executed by at least one processor in the cloud computing environment, are configured to receive a tracking map from a user device;
filtering the set of environment maps is further based on a degree of matching between a portion of the tracking map and a portion of the environment maps of the set of environment maps;
A cloud computing environment according to item 59.
(Item 69)
The computer-executable instructions, when executed by at least one processor in the cloud computing environment, further comprise:
receiving a tracking map from a user device and determining an area identifier associated with the tracking map based on the user device supplying the tracking map;
selecting a second set of environment maps from the map database based, at least in part, on area identifiers associated with the tracking maps;
Updating the map database based on the received tracking map, wherein the updating comprises one or more environment maps in a set of the received tracking map and the second environment map. and
60. A cloud computing environment according to item 59, configured to:
(Item 70)
The computer-executable instructions further, when executed by at least one processor in the cloud computing environment, generate a portion of the received tracking map and a portion of the environment maps of the second set of environment maps. configured to filter the second set of environment maps based on a degree of matching between
Merging the tracking map and one or more environment maps in the second set of environment maps may combine the tracking map and one or more environment maps in the filtered second set of environment maps. including merging
A cloud computing environment according to item 69.
PCF sharing
(Item 71)
An XR system,
a real object detection device for detecting multiple surfaces of a real world object;
an anchor identification system, said anchor identification system coupled to said real object detection device for generating a map based on said real world objects;
a PCF generation system, said PCF generation system generating a first PCF based on said map and associating said first PCF with said map;
first and second storage media, said first and second storage media being on first and second XR devices, respectively;
at least first and second processors of said first and second XR devices, said processors storing said first PCF in first and second storage media of said first and second XR devices, respectively; at least first and second processors of said first and second XR devices and
An XR system comprising:
(Item 72)
a keyframe generator, the keyframe generator executable by the at least one processor to convert multiple camera images into multiple individual keyframes;
a sustained attitude calculator, wherein the sustained attitude calculator is executable by the at least one processor to generate a sustained attitude by averaging the plurality of keyframes;
a tracking map and persistent pose transformer, said tracking map and persistent pose transformer transforming a tracking map into said persistent pose, and determining said persistent pose at an origin relative to said tracking map, said at least one a tracking map and a persistent attitude transducer executable by a processor;
A sustained attitude and PCF transformer, wherein the sustained attitude and PCF transformer converts the sustained attitude to the first PCF and determines the first PCF for the sustained attitude, wherein the at least one a persistent attitude and PCF transducer executable by one processor;
A PCF and image data converter, wherein said PCF and image data converter is executable by said at least one processor to convert said first PCF to image data. When,
a display device for displaying the image data for the first PCF to the user;
72. The XR system of item 71, further comprising:
(Item 73)
72. The XR system of item 71, wherein the sensing device is the sensing device of the first XR device connected to the first XR device processor.
(Item 74)
73. Item 72, wherein the map is a first map on the first XR device and the processor generating the first map is a first XR device processor of the first XR device 's XR system.
(Item 75)
75. The XR system of item 74, wherein the processor that generates the first PCF is the first XR device processor of the first XR device.
(Item 76)
76. The XR system of item 75, wherein the processor that associates the first PCF with the first map is a first XR device processor of the first XR device.
(Item 77)
an application executable by the first XR device processor;
A first PCF tracker, said first PCF tracker executable by said first XR device processor, an on-prompt for turning on said first PCF tracker from said application. wherein the first PCF tracker generates the first PCF only when the first PCF tracker is switched on; and
77. The XR system of item 76, further comprising:
(Item 78)
The first PCF tracker has an off prompt for turning off the first PCF tracker from the application, the first PCF tracker prompting the first PCF tracker to turn off. When toggled, terminate the first PCF generation
78. The XR system of item 77, further comprising:
(Item 79)
a map issuer, wherein the map issuer is executable by the first XR device processor to transmit the first PCF to a server;
a store map routine, wherein the store map routine is executable by a server processor of the server to store the first PCF on a storage device of the server;
using a server processor of the server to transmit the first PCF to the second XR device;
a map download system, wherein said map download system is executable by a second XR device processor of said second XR device to download said first PCF from said server; and
77. The XR system of item 76, further comprising:
(Item 80)
an application executable by the second XR device processor;
A second PCF tracker, said second PCF tracker executable by said second XR device processor, an on-prompt for turning on said second PCF tracker from said application , wherein the second PCF tracker generates a second PCF only when the second PCF tracker is switched on; and
80. The XR system of item 79, further comprising:
(Item 81)
The second PCF tracker has an off prompt for turning off the second PCF tracker from the application, and the second PCF tracker prompts the user to turn off the second PCF tracker. When switched, terminate the second PCF generation.
81. The XR system of item 80, further comprising:
(Item 82)
80. The XR system of Claim 79, further comprising a map issuer, said map issuer executable by said second XR device processor to transmit said second PCF to said server.
(Item 83)
a sustained pose getter, wherein the sustained pose geter is executable by the first XR device processor to download a sustained pose from the server;
A PCF validator, said PCF validator executable by said first XR device processor to read a PCF from a first storage device of said first XR device based on said sustained pose. a PCF validator;
A coordinate frame calculator, said coordinate frame calculator executable by said first XR device processor to calculate a coordinate frame based on said PCF read from said first storage device. , a coordinate frame calculator and
77. The XR system of item 76, further comprising:
(Item 84)
A viewing method comprising:
detecting multiple surfaces of a real-world object with at least one detection device;
generating a map based on the real-world objects using at least one processor;
generating a first PCF based on the map with at least one processor;
associating, with the at least one processor, the map with the first PCF;
said first PCF into first and second storage media of said first and second XR devices, respectively, using at least first and second processors of first and second XR devices; to remember and
A method, including
(Item 85)
converting a plurality of camera images into a plurality of individual keyframes with the at least one processor;
generating a sustained pose by averaging the plurality of keyframes with the at least one processor;
transforming, with the at least one processor, a tracking map into the persistent pose and determining the persistent pose at an origin relative to the tracking map;
transforming, by the at least one processor, the sustained pose into the first PCF and determining the first PCF for the sustained pose;
converting the first PCF into image data using the at least one processor;
displaying the image data for the first PCF to the user using a display device;
85. The viewing method of item 84, further comprising:
(Item 86)
85. A viewing method according to item 84, wherein the sensing device is the sensing device of the first XR device connected to the first XR device processor.
(Item 87)
86. Clause 85, wherein the map is a first map on the first XR device and the processor generating the first map is a first XR device processor of the first XR device visibility method.
(Item 88)
88. The viewing method of item 87, wherein the processor that generates the first PCF is the first XR device processor of the first XR device.
(Item 89)
89. Method of viewing according to item 88, wherein the processor associating the first PCF and the first map is the first XR device processor of the first XR device.
(Item 90)
executing an application using the first XR device processor;
switching on a first PCF tracker at an on-prompt from the application using the first XR device processor, the first PCF tracker turning on the first PCF tracker generating the first PCF only if is switched on;
90. The viewing method of item 89, further comprising:
(Item 91)
switching off the first PCF tracker at an off prompt from the application using the first XR device processor, the first PCF tracker turning off the first PCF tracking terminating the first PCF generation when the generator is switched off.
91. The viewing method of item 90, further comprising:
(Item 92)
transmitting the first PCF to a server using the first XR device processor;
using a server processor of the server to store the first PCF on a storage device of the server;
using a server processor of the server to transmit the first PCF to the second XR device;
receiving the first PCF from the server using a second XR device processor of the second XR device;
90. The viewing method of item 89, further comprising:
(Item 93)
executing an application using the second XR device processor;
switching on a second PCF tracker at an on-prompt from the application using the second XR device processor, the second PCF tracker turning on the second PCF tracker generate the second PCF only if is switched on; and
93. The viewing method of item 92, further comprising:
(Item 94)
switching off the second PCF tracker at an off prompt from the application using the first XR device processor, the second PCF tracker turning off the second PCF tracker terminating the second PCF generation when the device is switched off.
94. The viewing method of item 93, further comprising:
(Item 95)
uploading the second PCF to the server using the second XR device processor;
93. The viewing method of item 92, further comprising:
(Item 96)
determining a sustained attitude from the server using the first XR device processor;
reading, with the first XR device processor, a PCF from a first storage device of the first XR device based on the sustained pose;
calculating a coordinate frame based on the PCF read from the first storage device using the first XR device processor;
90. The viewing method of item 89, further comprising:
PCF download
(Item 97)
An XR system,
A first XR device,
a first XR device processor;
a first XR device storage device connected to the first XR device processor;
A set of instructions on the first XR device processor, comprising:
a download system, wherein the download system is executable by the first XR device processor to download a sustained pose from a server;
A PCF reader, said PCF reader executable by said first XR device processor to read a PCF from a first storage device of said first XR device based on said sustained pose. a PCF reader;
A coordinate frame calculator, said coordinate frame calculator executable by said first XR device processor to calculate a coordinate frame based on said PCF read from said first storage device. , a coordinate frame calculator and
A set of instructions, including
a first XR device comprising
An XR system comprising:
(Item 98)
A viewing method comprising:
using a first XR device processor of a first XR device to download the sustained attitude from a server;
reading, with the first XR device processor, a PCF from a first storage device of the first XR device based on the sustained pose;
calculating a coordinate frame based on the PCF read from the first storage device using the first XR device processor;
A method, including
PCF server
(Item 99)
A viewing method comprising:
a server,
a server processor;
a server storage device connected to the server processor;
a store map routine, said store map routine executable with a server processor of said server to store said first PCF associated with a map on a server storage device of said server; a map storage routine;
a map transmitter, wherein the map transmitter is executable with the server processor to transmit the map and the first PCF to a first XR device using the server processor; map transmitter and
server, including
A method.
(Item 100)
A viewing method comprising:
storing, with a server processor of the server, the first PCF associated with a map on a server storage device of the server;
transmitting the map and the first PCF to a first XR device using a server processor of the server;
A method, including
Head posture recovery and reset
(Item 101)
A viewing method comprising:
By capturing a surface of the environment with a capture device on a head-mounted frame affixed to the user's head by the processor of the XR device and determining the orientation of the head-mounted frame with respect to the surface. , entering head pose tracking, and
determining, by the processor, whether a head pose has been lost due to an inability to determine an orientation of the head mounted frame with respect to the surface;
If a head pose is lost, establishing the head pose by entering, by the processor, a pose recovery mode and determining an orientation of the head-mounted frame with respect to the surface.
A method, including
(Item 102)
102. The viewing method of item 101, wherein head pose tracking is entered by the processor if the head pose is not lost.
(Item 103)
posture restoration,
displaying, by the processor, a message to the user with suggestions for improving surface capture;
101. Visual recognition method according to item 101.
(Item 104)
104. The viewing method of item 103, wherein the suggestion is at least one of increasing light and refining texture.
(Item 105)
determining, by the processor, whether the restore has failed;
if reconstruction fails, starting a new session, by the processor, including establishing a head pose;
102. The viewing method according to item 101, further comprising:
(Item 106)
106. The viewing method of item 105, further comprising displaying a message to the user that a new session will be started by the processor.
(Item 107)
102. The viewing method of item 101, further comprising entering head pose tracking by the processor if head pose is not lost.
(Item 108)
An electronic system portable by a user, comprising:
one or more sensors configured to capture images of one or more physical objects in a scene, the images being in a first coordinate frame;
An application configured to execute computer-executable instructions and render virtual content within the scene, wherein the application is configured such that display of the virtual content is controlled by eye rotation and/or eye rotation within the user's head. an application that displays virtual content in a second coordinate frame that differs from the first coordinate frame so as to be independent of deformation of the one or more sensors;
An electronic system comprising:
(Item 109)
the first coordinate frame is a world coordinate frame having a world origin;
the world origin is a first pose of the electronic system when the electronic system is powered on to capture the image;
Electronic system according to item 108.
(Item 110)
the second coordinate frame is a camera coordinate frame having a camera origin;
the camera origin is determined based, at least in part, on dimensions of the electronic system and one or more poses of one or more sensors of the electronic system when capturing the image;
Electronic system according to item 108.
(Item 111)
at least one processor configured to execute computer-executable instructions to provide said virtual content to said application, said computer-executable instructions comprising:
determining a local coordinate frame for the virtual content based, at least in part, on one or more physical objects within the scene;
transforming image data for virtual content in the local coordinate frame into image data for virtual content in the second coordinate frame;
at least one processor comprising instructions for performing
109. The electronic system of item 108, comprising:
(Item 112)
109. The electronic system of item 108, wherein the local coordinate frame is determined based, at least in part, on one or more nodes on an outer surface of a prism or bounding box surrounding the virtual content.
(Item 113)
Converting image data for virtual content in the local coordinate frame to image data for virtual content in the second coordinate frame includes:
transforming image data for virtual content in the local coordinate frame to image data for virtual content in the first coordinate frame;
transforming image data for virtual content in the first coordinate frame into image data for virtual content in the second coordinate frame;
112. The electronic system of item 111, comprising:
(Item 114)
Converting image data for virtual content in the first coordinate frame to image data for virtual content in the second coordinate frame includes:
transforming image data for virtual content in the first coordinate frame into image data for virtual content in a head coordinate frame;
transforming image data for virtual content in the head coordinate frame into image data for virtual content in the second coordinate frame;
including
The head coordinate frame has a head origin determined, at least in part, based on one or more poses of one or more sensors of the electronic system when capturing the image.
Electronic system according to item 111.
(Item 115)
The computer-executable instructions are
A persistent coordinate frame ( Instructions for determining PCF)
112. The electronic system of item 111, comprising:
(Item 116)
A method of operating a computing system to render virtual objects in a scene comprising one or more physical objects, the method comprising:
capturing a plurality of images centered on the scene from one or more sensors of a first device worn by a user;
calculating one or more sustained poses based, at least in part, on the plurality of images;
so that the information of the plurality of images can be accessed at different times by one or more applications running on the first device and/or the second device via the persistent coordinate frame; specifically, generating a persistent coordinate frame based on the calculated one or more persistent poses;
A method, including
(Item 117)
Calculating the one or more sustained poses based, at least in part, on the plurality of images includes:
extracting one or more features from each of the plurality of images;
generating a descriptor for each of the one or more features;
generating a keyframe for each of the plurality of images based at least in part on the descriptor;
generating the one or more sustained poses based, at least in part, on the one or more keyframes;
117. The method of item 116, comprising
(Item 118)
Generating the persistent coordinate frame based, at least in part, on the calculated one or more persistent poses
generating the persistent coordinate frame when the first device travels a predetermined distance from where the plurality of images were captured;
117. The method of item 116, comprising
(Item 119)
wherein said predetermined distance is between 2 and 20 meters, such that both consumption of computing resources of said device and placement error of said virtual object are controlled to generate said one or more sustained poses; 118. The method according to 118.
(Item 120)
generating an initial sustained attitude when the first device is powered on;
When the first device reaches the perimeter of a circle with the initial sustained pose as the center of the circle and a radius equal to a threshold distance, generate a first sustained pose at the current location of the first device. things and
118. The method of item 117, comprising
(Item 121)
the circular shape is a first circular shape;
The method further comprises: when the device reaches the circumference of a second circle with the first sustained attitude as the center of the circle and a radius equal to twice the threshold distance, the current generating a second sustained pose at the location;
120. The method of item 120.
(Item 122)
121. The method of item 120, wherein the first sustained pose is not generated when the first device finds an existing sustained pose within the threshold distance from the current position of the first device.
(Item 123)
121. The method of claim 120, wherein the first device associates the first sustained pose with one or more of the plurality of keyframes within a predetermined distance to the first sustained pose. Method.
(Item 124)
121. The method of item 120, wherein the first sustained pose is not generated when an application running on the first device does not request a sustained pose.
(Item 125)
An electronic system portable by a user, comprising:
one or more sensors configured to capture images of one or more physical objects in a scene;
an application configured to execute computer-executable instructions and render virtual content within the scene;
at least one processor configured to execute computer-executable instructions to provide image data for the virtual content to the application, the computer-executable instructions comprising:
instructions for generating a persistent coordinate frame based, at least in part, on the captured image;
at least one processor and
An electronic system comprising:

Claims (20)

電子システムであって、
電子デバイスであって、前記電子デバイスは、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体であって、前記コンピュータ可読媒体は、第１の座標フレームと、前記第１の座標フレームと異なる第２の座標フレームとを備える、コンピュータ可読媒体と、
仮想コンテンツを表すデータを受信するデータチャネルであって、前記プロセッサは、前記仮想コンテンツの位置付けを前記第１の座標フレームから前記第２の座標フレームに変換するように、座標フレーム変換器を実行するように構成される、データチャネルと、
前記第２の座標フレーム内の前記仮想コンテンツの位置付けに少なくとも部分的に基づいて、前記仮想コンテンツを表示するように適合されるディスプレイシステムと
を含む、電子デバイス
を備える、電子システム。 an electronic system,
An electronic device, the electronic device comprising:
a processor ;
a computer readable medium coupled to the processor, the computer readable medium comprising a first coordinate frame and a second coordinate frame different from the first coordinate frame ;
A data channel receiving data representing virtual content , wherein the processor executes a coordinate frame transformer to transform the orientation of the virtual content from the first coordinate frame to the second coordinate frame. a data channel configured to
and a display system adapted to display the virtual content based at least in part on the positioning of the virtual content within the second coordinate frame . 前記電子デバイスは、オブジェクトの位置付けを検出するオブジェクト検出デバイスをさらに含み、
前記プロセッサは、
前記オブジェクトの表面上の少なくとも１つの点の位置付けを識別する世界表面決定ルーチンと、
前記少なくとも１つの点に基づいて世界座標フレームを算出する世界フレーム決定ルーチンと、
前記世界座標フレームを前記コンピュータ可読媒体上に記憶する世界フレーム記憶命令と
を実行するようにさらに構成される、請求項１に記載の電子システム。 said electronic device further comprising an object detection device for detecting the positioning of an object ;
The processor
a world surface determination routine that identifies the orientation of at least one point on the surface of the object;
a world frame determination routine for calculating a world coordinate frame based on said at least one point;
world frame storage instructions for storing the world coordinate frame on the computer readable medium;
2. The electronic system of claim 1 , further configured to perform: 前記オブジェクト検出デバイスは、カメラである、請求項２に記載の電子システム。 3. The electronic system of Claim 2, wherein the object detection device is a camera. 前記オブジェクト検出デバイスは、複数のオブジェクトの位置付けを検出する、請求項２に記載の電子システム。 3. The electronic system of claim 2, wherein the object detection device detects positioning of a plurality of objects. 前記世界表面決定ルーチンは、前記オブジェクトの表面上の複数の点の位置付けを識別する、請求項２に記載の電子システム。 3. The electronic system of claim 2, wherein the world surface determination routine identifies locations of points on the surface of the object. 前記世界フレーム決定ルーチンは、前記複数の点に基づいて、前記世界座標フレームを算出する、請求項５に記載の電子システム。 6. The electronic system of claim 5, wherein the world frame determination routine calculates the world coordinate frame based on the plurality of points. 前記電子デバイスは、頭部搭載可能フレームをさらに含み、
前記プロセッサは、
前記頭部搭載可能フレームの移動に応じて変化する頭部座標フレームを算出する頭部フレーム決定ルーチンと、
前記頭部座標フレームを前記コンピュータ可読媒体上に記憶する頭部フレーム記憶命令と
を実行するようにさらに構成される、請求項２に記載の電子システム。 the electronic device further comprising a head mountable frame ;
The processor
a head frame determination routine for calculating a head coordinate frame that changes according to movement of the head mountable frame;
head frame storage instructions for storing the head coordinate frame on the computer readable medium;
3. The electronic system of claim 2 , further configured to perform: 前記座標フレーム変換器は、前記世界座標フレームを前記頭部座標フレームに変換するように構成される、請求項７に記載の電子システム。 8. The electronic system of claim 7, wherein the coordinate frame transformer is configured to transform the world coordinate frame to the head coordinate frame. 前記電子デバイスは、前記第１の頭部搭載可能フレームに固着され、前記頭部搭載可能フレームの移動を検出する慣性測定ユニットをさらに含み、前記頭部フレーム決定ルーチンは、前記慣性測定ユニットの測定に基づいて、前記頭部座標フレームを算出する、請求項７に記載の電子システム。 The electronic device further includes an inertial measurement unit secured to the first head-mountable frame and detecting movement of the head-mountable frame, wherein the head frame determination routine comprises : 8. The electronic system of claim 7, wherein the head coordinate frame is calculated based on measurements. 前記電子デバイスは、前記頭部搭載可能フレームに固着される移動追跡カメラをさらに含み、
前記移動追跡カメラは、前記頭部搭載可能フレームの移動を検出し、
前記頭部フレーム決定ルーチンは、前記移動追跡カメラによって捕捉された画像に基づいて、前記頭部座標フレームを算出する、請求項７に記載の電子システム。 the electronic device further includes a motion tracking camera affixed to the head mountable frame;
the movement tracking camera detects movement of the head mountable frame ;
8. The electronic system of claim 7, wherein the head frame determination routine calculates the head coordinate frame based on images captured by the motion tracking camera. 前記プロセッサは、
前記仮想コンテンツのローカル座標フレームを算出するローカルフレーム決定ルーチンと、
前記ローカル座標フレームを前記コンピュータ可読媒体上に記憶するローカルフレーム記憶命令と
を実行するように構成される、請求項２に記載の電子システム。 The processor
a local frame determination routine for calculating a local coordinate frame of the virtual content;
local frame storage instructions for storing the local coordinate frame on the computer-readable medium;
3. The electronic system of claim 2 , configured to perform 前記座標フレーム変換器は、前記ローカル座標フレームを前記世界座標フレームに変換することを含む、請求項１１に記載の電子システム。 12. The electronic system of claim 11, wherein the coordinate frame converter includes transforming the local coordinate frame to the world coordinate frame. 前記コンピュータ可読媒体は、前記頭部搭載可能フレームに対して移動する眼の複数の眼位置を含むカメラ座標フレームをさらに含み、
前記座標フレーム変換器は、前記頭部座標フレームを前記カメラ座標フレームに変換することを含む、請求項１に記載の電子システム。 The computer-readable medium further includes a camera coordinate frame including a plurality of eye positions for moving eyes relative to the head-mountable frame;
2. The electronic system of claim 1, wherein the coordinate frame transformer includes transforming the head coordinate frame to the camera coordinate frame. ポータブルデバイスを備える３Ｄ環境内に仮想コンテンツをレンダリングするように電子システムを作動させる方法であって、前記方法は、１つ以上のプロセッサを用いて、
前記電子システムがセッションのために電源投入されるとき、前記電子システムの姿勢に少なくとも部分的に基づいて、第１の座標フレームを提供することと、
センサが前記３Ｄ環境についての情報を捕捉しているとき、前記電子システムの前記センサの姿勢に少なくとも部分的に基づいて、第２の座標フレームを提供することと、
前記仮想コンテンツを表すデータを取得することと、
前記仮想コンテンツの位置付けを前記第１の座標フレームから前記第２の座標フレームに変換することと、
前記第２の座標フレーム内の前記仮想コンテンツの位置付けを使用して、前記仮想コンテンツをレンダリングすることと
を含む、方法。 A method of operating an electronic system to render virtual content within a 3D environment comprising a portable device , said method comprising:
providing a first coordinate frame based at least in part on a pose of the electronic system when the electronic system is powered up for a session ;
providing a second coordinate frame based at least in part on the pose of the sensor of the electronic system when the sensor is capturing information about the 3D environment ;
obtaining data representing the virtual content;
transforming the orientation of the virtual content from the first coordinate frame to the second coordinate frame;
and rendering the virtual content using the positioning of the virtual content within the second coordinate frame . 電子システムであって、
ユーザによって携行可能なデバイスであって、前記デバイスは、場面内の１つ以上の物理的オブジェクトについてのセンサデータを捕捉するように構成される１つ以上のセンサを備え、前記センサデータは、第１の座標フレーム内にある、デバイスと、
前記第１の座標フレーム内の前記センサデータから導出される情報に少なくとも部分的に基づいて、前記場面内に仮想コンテンツの場所を規定するためのコンピュータ実行可能命令を備えるアプリケーションであって、前記アプリケーションは、前記仮想コンテンツの表示が、眼位置、および／または、前記１つ以上のセンサの位置を変化させる前記ユーザによって携行可能な前記デバイスの変形から独立するように、前記第１の座標フレームと異なる第２の座標フレーム内に前記仮想コンテンツの場所を規定する、アプリケーションと
を備える、電子システム。 an electronic system,
A device portable by a user, said device comprising one or more sensors configured to capture sensor data about one or more physical objects in a scene , said sensor data comprising: a device in one coordinate frame;
An application comprising computer-executable instructions for defining locations of virtual content within the scene based at least in part on information derived from the sensor data within the first coordinate frame, the application comprising: is the first coordinate frame such that display of the virtual content is independent of deformation of the device carried by the user that changes eye position and/or position of the one or more sensors; and an application that defines the location of said virtual content in a different second coordinate frame. 前記第１の座標フレームは、前記電子システムが前記センサデータを捕捉するために電源投入されるときの前記電子システムの第１の姿勢である、請求項１５に記載の電子システム。 16. The electronic system of claim 15 , wherein the first coordinate frame is a first pose of the electronic system when the electronic system is powered on to capture the sensor data . 前記第１の座標フレームは、前記電子システムの寸法と、前記センサデータを捕捉するときの前記電子システムの１つ以上のセンサの１つ以上の姿勢とに少なくとも部分的に基づいて決定される原点を有する、請求項１５に記載の電子システム。 The first coordinate frame has an origin determined based at least in part on dimensions of the electronic system and one or more poses of one or more sensors of the electronic system when capturing the sensor data . 16. The electronic system of claim 15 , comprising: 付加的コンピュータ実行可能命令を実行し、前記仮想コンテンツを前記アプリケーションに提供するように構成される少なくとも１つのプロセッサをさらに備え、前記付加的コンピュータ実行可能命令は、
前記場面内の前記１つ以上の物理的オブジェクトに少なくとも部分的に基づいて、前記第１の座標フレームを決定することと、
前記第２の座標フレーム内の前記仮想コンテンツの前記規定された場所を前記第１の座標フレームに変換することと
を行うための命令を備える、請求項１５に記載の電子システム。 further comprising at least one processor configured to execute additional computer-executable instructions to provide said virtual content to said application, said additional computer-executable instructions comprising:
determining the first coordinate frame based at least in part on the one or more physical objects in the scene;
16. The electronic system of claim 15 , comprising instructions for: transforming the defined location of the virtual content in the second coordinate frame to the first coordinate frame. 前記第１の座標フレームは、前記仮想コンテンツを包囲する境界ボックスの外側表面上の１つ以上のノードに少なくとも部分的に基づいて決定される、請求項１８に記載の電子システム。 19. The electronic system of Claim 18 , wherein the first coordinate frame is determined based at least in part on one or more nodes on an outer surface of a bounding box enclosing the virtual content. 前記第１の座標フレーム内の前記センサデータから導出される情報に少なくとも部分的に基づいて、前記場面内に前記仮想コンテンツの場所を規定することは、前記アプリケーションによって使用される座標フレーム内の前記ユーザによって携行可能な前記デバイスの場所を決定することを含む、請求項１８に記載の電子システム。
 Defining the location of the virtual content within the scene based at least in part on information derived from the sensor data within the first coordinate frame comprises: defining the location of the virtual content within the coordinate frame used by the application; 19. The electronic system of claim 18 , comprising determining the location of the user-portable device .
JP2021507660A 2018-08-13 2019-08-12 cross reality system Active JP7445642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023193577A JP2024009071A (en) 2018-08-13 2023-11-14 cross reality system

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201862718357P 2018-08-13 2018-08-13
US62/718,357 2018-08-13
US201862742237P 2018-10-05 2018-10-05
US62/742,237 2018-10-05
US201962812935P 2019-03-01 2019-03-01
US62/812,935 2019-03-01
US201962815955P 2019-03-08 2019-03-08
US62/815,955 2019-03-08
US201962868786P 2019-06-28 2019-06-28
US62/868,786 2019-06-28
US201962870954P 2019-07-05 2019-07-05
US62/870,954 2019-07-05
US201962884109P 2019-08-07 2019-08-07
US62/884,109 2019-08-07
PCT/US2019/046240 WO2020036898A1 (en) 2018-08-13 2019-08-12 A cross reality system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023193577A Division JP2024009071A (en) 2018-08-13 2023-11-14 cross reality system

Publications (3)

Publication Number Publication Date
JP2021534491A JP2021534491A (en) 2021-12-09
JPWO2020036898A5 true JPWO2020036898A5 (en) 2022-08-12
JP7445642B2 JP7445642B2 (en) 2024-03-07

Family

ID=69525776

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021507660A Active JP7445642B2 (en) 2018-08-13 2019-08-12 cross reality system
JP2023193577A Pending JP2024009071A (en) 2018-08-13 2023-11-14 cross reality system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023193577A Pending JP2024009071A (en) 2018-08-13 2023-11-14 cross reality system

Country Status (5)

Country Link
US (2) US10957112B2 (en)
EP (1) EP3837674A4 (en)
JP (2) JP7445642B2 (en)
CN (1) CN112805750A (en)
WO (1) WO2020036898A1 (en)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140392B1 (en) 2017-06-29 2018-11-27 Best Apps, Llc Computer aided systems and methods for creating custom products
US10254941B2 (en) 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
EP3837674A4 (en) * 2018-08-13 2022-05-18 Magic Leap, Inc. A cross reality system
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP2022512600A (en) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド Rendering location-specific virtual content anywhere
US10922449B2 (en) 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
US11748445B1 (en) * 2019-04-30 2023-09-05 Apple Inc. Techniques for managing feature maps
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
JP7207549B2 (en) * 2019-07-31 2023-01-18 日本電信電話株式会社 Mixed reality space sharing system, server, mixed reality terminal, mixed reality space sharing method, and shared information management program
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. Cross reality system supporting multiple device types
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
WO2021076748A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with wireless fingerprints
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
JPWO2021156977A1 (en) * 2020-02-05 2021-08-12
CN115427758A (en) 2020-02-13 2022-12-02 奇跃公司 Cross reality system with accurate shared map
JP2023514207A (en) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド Cross-reality system with prioritization of geolocation information for localization
CN115398314A (en) 2020-02-13 2022-11-25 奇跃公司 Cross reality system for map processing using multi-resolution frame descriptors
JP2023515524A (en) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド Cross-reality system with fast localization
WO2021178221A1 (en) 2020-03-03 2021-09-10 Best Apps, Llc Computer aided systems and methods for creating custom products
US11688073B2 (en) * 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
US11514203B2 (en) * 2020-05-18 2022-11-29 Best Apps, Llc Computer aided systems and methods for creating custom products
CN111815779A (en) * 2020-06-29 2020-10-23 浙江商汤科技开发有限公司 Object display method and device, positioning method and device and electronic equipment
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
CN114190922B (en) * 2020-09-18 2023-04-21 四川大学 TMS head movement detection method
WO2022074294A1 (en) * 2020-10-06 2022-04-14 Nokia Technologies Oy Network-based spatial computing for extended reality (xr) applications
EP4015996A1 (en) * 2020-12-17 2022-06-22 Siemens Aktiengesellschaft Method for generating a map for augmented reality devices in an industrial facility
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
WO2023026700A1 (en) * 2021-08-26 2023-03-02 株式会社Ｎｔｔドコモ Display control apparatus
EP4160521A1 (en) * 2021-09-30 2023-04-05 Siemens Aktiengesellschaft Processing a picture section with an augmented reality device
WO2023052485A1 (en) * 2021-09-30 2023-04-06 Siemens Aktiengesellschaft Processing a picture section with an augmented reality device
WO2023102552A1 (en) * 2021-12-03 2023-06-08 Hover Inc. System and methods for validating imagery pipelines
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces
WO2024010220A1 (en) * 2022-07-06 2024-01-11 삼성전자 주식회사 Method and electronic device for activating distance sensor
EP4336458A1 (en) * 2022-09-08 2024-03-13 Viewlicity GmbH Method and systems for operating a display device of a simulation

Family Cites Families (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483806B1 (en) 2002-07-18 2005-04-20 한국과학기술원 Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
CA2659672A1 (en) 2006-06-26 2008-01-03 Icosystem Corporation Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
JP4292426B2 (en) 2007-05-15 2009-07-08 ソニー株式会社 Imaging apparatus and imaging data correction method
AU2008283845A1 (en) 2007-08-06 2009-02-12 Trx Systems, Inc. Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138725A (en) 2009-06-25 2010-12-31 삼성전자주식회사 Method and apparatus for processing virtual world
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8185596B2 (en) 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
JP2013141049A (en) 2010-03-24 2013-07-18 Hitachi Ltd Server and terminal utilizing world coordinate system database
US8620914B1 (en) 2010-05-18 2013-12-31 Google Inc. Ranking of digital goods in a marketplace
KR101686171B1 (en) 2010-06-08 2016-12-13 삼성전자주식회사 Apparatus for recognizing location using image and range data and method thereof
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
EP2691936A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
CN103959308B (en) 2011-08-31 2017-09-19 Metaio有限公司 The method that characteristics of image is matched with fixed reference feature
US8243102B1 (en) 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013101753A1 (en) 2011-12-30 2013-07-04 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
WO2013117977A2 (en) 2012-02-06 2013-08-15 Sony Computer Entertainment Europe Book object for augmented reality
CN103297677B (en) 2012-02-24 2016-07-06 卡西欧计算机株式会社 Generate video generation device and the image generating method of reconstruct image
KR20130110907A (en) 2012-03-30 2013-10-10 삼성전자주식회사 Apparatus and method for remote controlling based on virtual reality and augmented reality
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN107817555A (en) 2012-06-11 2018-03-20 奇跃公司 Use more depth plane three dimensional displays of the waveguided reflector arrays projector
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
CA3157218A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20140267234A1 (en) 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US9269022B2 (en) 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
EP2808842B1 (en) * 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
WO2014202258A1 (en) 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9264702B2 (en) 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
AU2013237718A1 (en) 2013-10-04 2015-04-23 Canon Kabushiki Kaisha Method, apparatus and system for selecting a frame
NZ720610A (en) 2013-11-27 2020-04-24 Magic Leap Inc Virtual and augmented reality systems and methods
CN106171012B (en) 2013-12-20 2020-01-17 英特尔公司 Wi-Fi scan scheduling and power adaptation for low-power indoor positioning
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
WO2015155628A1 (en) 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
AU2015274283B2 (en) * 2014-06-14 2020-09-10 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (en) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 Reality augmenting method and system based on wearable device
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US20190347865A1 (en) 2014-09-18 2019-11-14 Google Inc. Three-dimensional drawing inside virtual reality environment
US20200252233A1 (en) 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
CN106663411A (en) * 2014-11-16 2017-05-10 易欧耐特感知公司 Systems and methods for augmented reality preparation, processing, and application
WO2016087008A1 (en) 2014-12-04 2016-06-09 Here Global B.V. Supporting a collaborative collection of data
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
KR101725478B1 (en) 2015-05-21 2017-04-11 주식회사 맥스트 Method for displaying augmented reality of based 3d point cloud cognition, apparatus and system for executing the method
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
WO2017042672A1 (en) 2015-09-10 2017-03-16 Oriient New Media Ltd. Navigate, track, and position mobile devices in gps-denied or gps-inaccurate areas with automatic map generation
CA2941893C (en) 2015-09-14 2020-02-25 The Toronto-Dominion Bank Connected device-based property evaluation
CN108027984B (en) 2015-09-25 2022-05-13 奇跃公司 Method and system for detecting and combining structural features in 3D reconstruction
US20170094227A1 (en) 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
WO2017068824A1 (en) * 2015-10-21 2017-04-27 シャープ株式会社 Image generation device, method for controlling image generation device, display system, image generation control program, and computer-readable recording medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
CN108700939B (en) * 2016-02-05 2022-07-05 奇跃公司 System and method for augmented reality
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (en) 2016-02-22 2020-10-28 デクセリアルズ株式会社 Anisotropic conductive film
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
AU2017203641B2 (en) 2016-05-31 2018-05-24 Accenture Global Solutions Limited Interactive virtual reality platforms
EP3497676A4 (en) 2016-08-11 2020-03-25 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
CN109863533B (en) 2016-08-22 2024-03-15 奇跃公司 Virtual, augmented and mixed reality systems and methods
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US11275163B2 (en) 2017-01-25 2022-03-15 Korea Institute Of Science And Technology Slam method and apparatus robust to wireless environment change
US10460489B2 (en) 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
WO2018170490A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Technique for recording augmented reality data
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
EP3602495A4 (en) 2017-03-30 2020-12-16 Magic Leap, Inc. Centralized rendering
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
KR102432283B1 (en) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 Match content to spatial 3D environment
US20190370544A1 (en) 2017-05-30 2019-12-05 Ptc Inc. Object Initiated Communication
CN109145927A (en) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 The target identification method and device of a kind of pair of strain image
JP6585665B2 (en) * 2017-06-29 2019-10-02 ファナック株式会社 Virtual object display system
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center Systems and methods for generating 3d medical images by scanning a whole tissue block
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
AU2018369757B2 (en) 2017-11-14 2023-10-12 Magic Leap, Inc. Fully convolutional interest point detection and description via homographic adaptation
EP3724713A4 (en) 2017-12-15 2021-08-25 Magic Leap, Inc. Enhanced pose determination for display device
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US10838574B2 (en) 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US11202006B2 (en) 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110515452B (en) 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 Image processing method, image processing device, storage medium and computer equipment
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
CN112639664B (en) 2018-07-24 2023-03-24 奇跃公司 Method and device for determining and/or evaluating a positioning map of an image display device
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. A cross reality system
JP7361763B2 (en) 2018-09-04 2023-10-16 アクティーア・ソシエテ・アノニム System for determining blood pressure of one or more users
JP2022512600A (en) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド Rendering location-specific virtual content anywhere
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
EP3895416A4 (en) 2019-03-27 2022-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Three-dimensional localization using light-depth images
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (en) 2019-08-22 2019-09-11 엘지전자 주식회사 Extended reality device and method for controlling the extended reality device
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
EP4028862A1 (en) 2019-09-09 2022-07-20 Apple Inc. Multimodal inputs for computer-generated reality
EP4046070A4 (en) 2019-10-15 2023-10-18 Magic Leap, Inc. Cross reality system supporting multiple device types
WO2021076748A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with wireless fingerprints
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
CN115398314A (en) 2020-02-13 2022-11-25 奇跃公司 Cross reality system for map processing using multi-resolution frame descriptors
JP2023514207A (en) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド Cross-reality system with prioritization of geolocation information for localization
US20210256766A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system for large scale environments
CN115427758A (en) 2020-02-13 2022-12-02 奇跃公司 Cross reality system with accurate shared map
JP2023515524A (en) 2020-02-26 2023-04-13 マジック リープ， インコーポレイテッド Cross-reality system with fast localization
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments

Similar Documents

Publication Publication Date Title
JPWO2020036898A5 (en)
US11900547B2 (en) Cross reality system for large scale environments
US20240087258A1 (en) Cross reality system with prioritization of geolocation information for localization
US9761054B2 (en) Augmented reality computing with inertial sensors
CN106164982B (en) Electronic equipment positioning based on image
JP5471626B2 (en) Information processing apparatus, map update method, program, and information processing system
US10225506B2 (en) Information processing apparatus and information processing method
US9280849B2 (en) Augmented reality interface for video tagging and sharing
JP5776255B2 (en) Terminal device, object identification method, program, and object identification system
US9641977B2 (en) Inferring positions with content item matching
JP2022551734A (en) Cross-reality system that supports multiple device types
CN113874870A (en) Image-based localization
US20140016821A1 (en) Sensor-aided wide-area localization on mobile devices
JP2023515796A (en) Cross-reality system with WIFI/GPS-based map merging
Anagnostopoulos et al. Gaze-Informed location-based services
JP6015657B2 (en) Interest point extraction apparatus, interest point extraction method, and program
CN116295406A (en) Indoor three-dimensional positioning method and system
WO2019127320A1 (en) Information processing method and apparatus, cloud processing device, and computer program product
JP5971387B2 (en) Terminal apparatus, object identification method, and information processing apparatus
CN112598732A (en) Target equipment positioning method, map construction method and device, medium and equipment
JP6172353B2 (en) Terminal apparatus, object identification method, information processing apparatus, and program
JP2021184115A (en) Information processing device, information processing method and program
US20240135656A1 (en) Cross reality system for large scale environments
WO2022029894A1 (en) Information processing device, information processing system, information processing method, and program
JPWO2020072972A5 (en)