JPWO2021076757A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2021076757A5 JPWO2021076757A5 JP2022522303A JP2022522303A JPWO2021076757A5 JP WO2021076757 A5 JPWO2021076757 A5 JP WO2021076757A5 JP 2022522303 A JP2022522303 A JP 2022522303A JP 2022522303 A JP2022522303 A JP 2022522303A JP WO2021076757 A5 JPWO2021076757 A5 JP WO2021076757A5
- Authority
- JP
- Japan
- Prior art keywords
- images
- electronic device
- pixels
- type
- portable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Description
前述の説明は、例証として提供され、限定することを意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内において、第１のタイプのポータブル電子デバイスを動作させる方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。
（項目２）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、項目１に記載の方法。
（項目３）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、項目２に記載の方法。
（項目４）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することはさらに、雑音除去動作を前記複数の画像に適用することを含む、項目３に記載の方法。
（項目５）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することはさらに、レンズ陰影補正動作を前記複数の画像に適用することを含む、項目３に記載の方法。
（項目６）
前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラである、項目１に記載の方法。
（項目７）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像の画像をフィルタリング除去することによって形成される、項目６に記載の方法。
（項目８）
前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、
項目１に記載の方法。
（項目９）
特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、項目１に記載の方法。
（項目１０）
前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得する行為
をさらに含む、項目１に記載の方法。
（項目１１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスであって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、
複数の画像を捕捉するように構成されるセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
前記ポータブル電子デバイス上のセンサを用いて、前記複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、ことと、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することと、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することと、
特徴記述子を前記ピクセルの選択されたクラスタから生成することと、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させることと
を行うための命令を備える、少なくとも１つのプロセッサと
を備える、ポータブル電子デバイス。
（項目１２）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、項目１１に記載のポータブル電子デバイス。
（項目１３）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、項目１２に記載のポータブル電子デバイス。
（項目１４）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することはさらに、雑音除去動作を前記複数の画像に適用することを含む、項目１３に記載のポータブル電子デバイス。
（項目１５）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することはさらに、レンズ陰影補正動作を前記複数の画像に適用することを含む、項目１３に記載のポータブル電子デバイス。
（項目１６）
前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラであり、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像の画像をフィルタリング除去することによって形成される、
項目１１に記載のポータブル電子デバイス。
（項目１７）
前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、
項目１１に記載のポータブル電子デバイス。
（項目１８）
特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、項目１１に記載のポータブル電子デバイス。
（項目１９）
前記方法はさらに、
前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得する行為を含む、項目１１に記載のポータブル電子デバイス。
（項目２０）
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行されると、複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスを動作させるための方法を実施するように構成され、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、コンピュータ可読媒体。
（項目２１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内において、第１のタイプのポータブル電子デバイスを動作させる方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記捕捉された画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写する複数のピクセルを備える、行為と、
画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択する行為と、
前記複数の画像のサブセット内のピクセルのクラスタを選択する行為であって、前記ピクセルの選択されたクラスタは、前記３Ｄ環境内の特徴を表す、行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。
（項目２２）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、閾値を超えるモーションブラーが検出された画像をフィルタリング除去することを含む、項目２１に記載の方法。
（項目２３）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、過剰な明度が検出された画像をフィルタリング除去することを含む、項目２１に記載の方法。
（項目２４）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、前記画像が位置特定のために好適ではないと決定される場合、前記画像を破棄することを含む、項目２１に記載の方法。
（項目２５）
複数のポータブルデバイスを動作させ、仮想コンテンツを３次元（３Ｄ）環境内にレンダリングする方法であって、前記方法は、前記複数のポータブルデバイスのポータブルデバイスを備える１つまたはそれを上回るプロセッサを用いて、
前記ポータブルデバイス上に、前記ポータブルデバイス上の１つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成する行為と、
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成する行為と、
ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得する行為と、
仮想オブジェクト座標フレームを有する仮想オブジェクトの仕様と、前記記憶された座標フレームに対する前記仮想オブジェクトの場所とを受信する行為と、
前記仮想オブジェクトを、前記ポータブルデバイスのディスプレイ上に、少なくとも部分的に前記算出された変換および前記仮想オブジェクトの受信された場所に基づいて決定された場所においてレンダリングする行為と
を含み、
複数のポータブル電子デバイスの少なくとも第１の部分は、ディスプレイ画面を伴うハンドヘルドデバイスを備え、前記複数のポータブル電子デバイスの第２の部分は、頭部搭載型ディスプレイを備える、方法。
（項目２６）
前記ポータブルデバイス上に、ローカル座標フレームを維持することは、第２の複数のポータブルデバイス毎に、
前記３Ｄ環境についての複数の画像を前記ポータブルデバイスの１つまたはそれを上回るセンサから捕捉することと、
少なくとも部分的に、算出された１つまたはそれを上回る持続姿勢に基づいて、前記３Ｄ環境についての空間情報を生成することと
を含み、
前記方法は、前記複数のポータブルデバイスの第１および第２の部分のそれぞれが、遠隔サーバに、前記生成された空間情報を伝送することを含み、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得することは、前記変換をクラウドホストされる位置特定サービスから受信することを含む、
項目２５に記載の方法。
（項目２７）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することと、
前記複数のポータブルデバイスの第１の部分によって捕捉された画像を修正し、前記画像内のピクセルの値を前記複数のポータブルデバイスの第２の部分によって捕捉された画像の値に対して正規化することと
を含む、項目２５に記載の方法。
（項目２８）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、前記３Ｄ環境についての画像を捕捉することと、
モーションブラーが検出された前記画像のうちの少なくともいくつかをフィルタリング除去することと
を含む、項目２５に記載の方法。
（項目２９）
ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信することは、前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を送信するより頻繁に、前記特徴の記述子を送信することを含む、項目２５に記載の方法。
（項目３０）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することであって、前記捕捉された画像は、ピクセルを備える、ことと、
前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を生成するために使用するより多くのピクセルの数を使用して、前記特徴の記述子を生成することと
を含む、項目２５に記載の方法。
（項目３１）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、２次元特徴の記述子を生成することと、
前記複数のポータブルデバイスの第２の部分が、３次元特徴の記述子を生成することと
を含む、項目２５に記載の方法。
（項目３２）
クロスリアリティシステム内において、クラウドホストされる位置特定サービスを動作させ、複数のポータブルデバイスと相互作用する方法であって、前記複数のポータブルデバイスは、記憶された座標フレームの使用を通して、仮想コンテンツをＸＲシステムのフレームワーク内にレンダリングし、共有体験を複数のポータブルデバイスのそれぞれ上に提供し、前記方法は、１つまたはそれを上回るプロセッサを用いて、
前記複数のポータブルデバイスのポータブルデバイス毎に、
位置合わせ要求を前記ポータブルデバイスから受信する行為であって、前記位置合わせは、デバイス識別子と、前記ポータブルデバイスのタイプのインジケーションとを備える、行為と、
前記デバイス識別子と、前記ポータブルデバイスのタイプとを備える前記ポータブルデバイスに関するセッション記録を記憶する行為と、
クラウドホストされる位置特定サービスにおいて、ポータブル電子デバイスの３次元（３Ｄ）環境内の特徴のセットについての情報と、第１の座標フレーム内に表される特徴のセットの特徴に関する位置付け情報とを受信する行為と、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択する行為であって、前記選択された記憶されたマップは、第２の座標フレームを備える、行為と、
前記ポータブル電子デバイスの３次元（３Ｄ）環境内の特徴のセットと前記特徴のマッチングするセットとの間の算出された整合に基づいて、前記第１の座標フレームと前記第２の座標フレームとの間の変換を生成する行為であって、前記生成する行為の少なくとも１つの側面は、前記デバイスに関する個別のセッション記録内に記憶された前記デバイスのタイプに基づいて制御される、行為と、
前記変換を前記ポータブル電子デバイスに送信する行為と
を含む、方法。
（項目３３）
前記複数のポータブルデバイスの第１の部分は、ＧＰＳ対応であり、前記複数のポータブルデバイスの第２の部分は、ＧＰＳ対応ではなく、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、
前記複数のポータブルデバイスの第１の部分に関して、少なくとも部分的に、前記複数のポータブルデバイスの第１の部分のそれぞれによって提供されるＧＰＳ情報に基づいて、記憶されたマップを選択することと、
前記複数のポータブルデバイスの第２の部分に関して、少なくとも部分的に、前記複数のポータブルデバイスの第２の部分のそれぞれによって提供される無線フィンガプリント情報に基づいて、記憶されたマップを選択することと
を含む、項目３２に記載の方法。
（項目３４）
前記複数のポータブルデバイスの第１の部分は、第１のタイプであり、前記複数のポータブルデバイスの第２の部分は、第２のタイプであり、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、特定のポータブルデバイスが前記第１のタイプであるかまたは前記第２のタイプであるかに応じて、特定のポータブルデバイスのための記憶されたマップを選択することを含む、
項目３２に記載の方法。
（項目３５）
少なくとも１つのコンピュータ可読媒体であって、前記少なくとも１つのコンピュータ可読媒体は、その上に記録される命令を有しており、前記命令は、ポータブルデバイスと、位置特定サービスとを備えるコンピューティングシステム内で実行されると、前記コンピューティングシステムに、方法を実施させ、前記方法は、
前記ポータブルデバイスのネイティブ拡張現実（ＡＲ）フレームワークから、前記ポータブルデバイスと前記ポータブルデバイスの物理的周囲との間の相互作用に関連する情報を受信する行為であって、前記情報は、前記物理的周囲に関連する画像を備える、行為と、
前記画像情報によって描写される前記物理的周囲の特徴の複数の記述子を生成する行為と、
ローカル座標フレーム内の位置情報と前記特徴の複数の記述子を関連付ける行為と、
前記位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信する行為と、
前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用する行為と
を含む、少なくとも１つのコンピュータ可読媒体。
（項目３６）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記変換を前記位置特定サービスから受信することと、前記受信された変換を前記ネイティブＡＲフレームワークによって使用可能なフォーマットに変換することとを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３７）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記ネイティブＡＲフレームワークによって使用可能なフォーマットにおいて、前記変換を前記位置特定サービスから受信することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３８）
前記コンピューティングシステムは、複数のポータブルデバイスを備え、前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用することは、前記複数のポータブルデバイスのそれぞれ上のアプリケーションに、前記場面内の前記仮想オブジェクトを前記複数のポータブルデバイスの全てのディスプレイ上にレンダリングする際に前記アプリケーションによる使用のための変換を提供することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３９）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、ネイティブＡＲフレームワークによって使用されるアンカのフォーマットにおいて、前記変換を受信することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
本発明は、例えば、以下を提供する。
（項目１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内において、第１のタイプのポータブル電子デバイスを動作させる方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。
（項目２）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、項目１に記載の方法。
（項目３）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、項目２に記載の方法。
（項目４）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することはさらに、雑音除去動作を前記複数の画像に適用することを含む、項目３に記載の方法。
（項目５）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することはさらに、レンズ陰影補正動作を前記複数の画像に適用することを含む、項目３に記載の方法。
（項目６）
前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラである、項目１に記載の方法。
（項目７）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像の画像をフィルタリング除去することによって形成される、項目６に記載の方法。
（項目８）
前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、
項目１に記載の方法。
（項目９）
特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、項目１に記載の方法。
（項目１０）
前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得する行為
をさらに含む、項目１に記載の方法。
（項目１１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスであって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、
複数の画像を捕捉するように構成されるセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
前記ポータブル電子デバイス上のセンサを用いて、前記複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、ことと、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することと、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することと、
特徴記述子を前記ピクセルの選択されたクラスタから生成することと、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させることと
を行うための命令を備える、少なくとも１つのプロセッサと
を備える、ポータブル電子デバイス。
（項目１２）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、項目１１に記載のポータブル電子デバイス。
（項目１３）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、項目１２に記載のポータブル電子デバイス。
（項目１４）
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することはさらに、雑音除去動作を前記複数の画像に適用することを含む、項目１３に記載のポータブル電子デバイス。
（項目１５）
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することはさらに、レンズ陰影補正動作を前記複数の画像に適用することを含む、項目１３に記載のポータブル電子デバイス。
（項目１６）
前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラであり、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像の画像をフィルタリング除去することによって形成される、
項目１１に記載のポータブル電子デバイス。
（項目１７）
前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、
項目１１に記載のポータブル電子デバイス。
（項目１８）
特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、項目１１に記載のポータブル電子デバイス。
（項目１９）
前記方法はさらに、
前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得する行為を含む、項目１１に記載のポータブル電子デバイス。
（項目２０）
コンピュータ可読媒体であって、前記コンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行されると、複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスを動作させるための方法を実施するように構成され、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内のピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
前記複数の修正された画像の少なくともサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、コンピュータ可読媒体。
（項目２１）
複数のタイプのデバイスが、少なくとも１つのネットワークを介して、遠隔位置特定サービスと相互作用するクロスリアリティシステム内において、第１のタイプのポータブル電子デバイスを動作させる方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記捕捉された画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写する複数のピクセルを備える、行為と、
画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択する行為と、
前記複数の画像のサブセット内のピクセルのクラスタを選択する行為であって、前記ピクセルの選択されたクラスタは、前記３Ｄ環境内の特徴を表す、行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。
（項目２２）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、閾値を超えるモーションブラーが検出された画像をフィルタリング除去することを含む、項目２１に記載の方法。
（項目２３）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、過剰な明度が検出された画像をフィルタリング除去することを含む、項目２１に記載の方法。
（項目２４）
前記画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、前記画像が位置特定のために好適ではないと決定される場合、前記画像を破棄することを含む、項目２１に記載の方法。
（項目２５）
複数のポータブルデバイスを動作させ、仮想コンテンツを３次元（３Ｄ）環境内にレンダリングする方法であって、前記方法は、前記複数のポータブルデバイスのポータブルデバイスを備える１つまたはそれを上回るプロセッサを用いて、
前記ポータブルデバイス上に、前記ポータブルデバイス上の１つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成する行為と、
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成する行為と、
ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得する行為と、
仮想オブジェクト座標フレームを有する仮想オブジェクトの仕様と、前記記憶された座標フレームに対する前記仮想オブジェクトの場所とを受信する行為と、
前記仮想オブジェクトを、前記ポータブルデバイスのディスプレイ上に、少なくとも部分的に前記算出された変換および前記仮想オブジェクトの受信された場所に基づいて決定された場所においてレンダリングする行為と
を含み、
複数のポータブル電子デバイスの少なくとも第１の部分は、ディスプレイ画面を伴うハンドヘルドデバイスを備え、前記複数のポータブル電子デバイスの第２の部分は、頭部搭載型ディスプレイを備える、方法。
（項目２６）
前記ポータブルデバイス上に、ローカル座標フレームを維持することは、第２の複数のポータブルデバイス毎に、
前記３Ｄ環境についての複数の画像を前記ポータブルデバイスの１つまたはそれを上回るセンサから捕捉することと、
少なくとも部分的に、算出された１つまたはそれを上回る持続姿勢に基づいて、前記３Ｄ環境についての空間情報を生成することと
を含み、
前記方法は、前記複数のポータブルデバイスの第１および第２の部分のそれぞれが、遠隔サーバに、前記生成された空間情報を伝送することを含み、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得することは、前記変換をクラウドホストされる位置特定サービスから受信することを含む、
項目２５に記載の方法。
（項目２７）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することと、
前記複数のポータブルデバイスの第１の部分によって捕捉された画像を修正し、前記画像内のピクセルの値を前記複数のポータブルデバイスの第２の部分によって捕捉された画像の値に対して正規化することと
を含む、項目２５に記載の方法。
（項目２８）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、前記３Ｄ環境についての画像を捕捉することと、
モーションブラーが検出された前記画像のうちの少なくともいくつかをフィルタリング除去することと
を含む、項目２５に記載の方法。
（項目２９）
ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信することは、前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を送信するより頻繁に、前記特徴の記述子を送信することを含む、項目２５に記載の方法。
（項目３０）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することであって、前記捕捉された画像は、ピクセルを備える、ことと、
前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を生成するために使用するより多くのピクセルの数を使用して、前記特徴の記述子を生成することと
を含む、項目２５に記載の方法。
（項目３１）
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、２次元特徴の記述子を生成することと、
前記複数のポータブルデバイスの第２の部分が、３次元特徴の記述子を生成することと
を含む、項目２５に記載の方法。
（項目３２）
クロスリアリティシステム内において、クラウドホストされる位置特定サービスを動作させ、複数のポータブルデバイスと相互作用する方法であって、前記複数のポータブルデバイスは、記憶された座標フレームの使用を通して、仮想コンテンツをＸＲシステムのフレームワーク内にレンダリングし、共有体験を複数のポータブルデバイスのそれぞれ上に提供し、前記方法は、１つまたはそれを上回るプロセッサを用いて、
前記複数のポータブルデバイスのポータブルデバイス毎に、
位置合わせ要求を前記ポータブルデバイスから受信する行為であって、前記位置合わせは、デバイス識別子と、前記ポータブルデバイスのタイプのインジケーションとを備える、行為と、
前記デバイス識別子と、前記ポータブルデバイスのタイプとを備える前記ポータブルデバイスに関するセッション記録を記憶する行為と、
クラウドホストされる位置特定サービスにおいて、ポータブル電子デバイスの３次元（３Ｄ）環境内の特徴のセットについての情報と、第１の座標フレーム内に表される特徴のセットの特徴に関する位置付け情報とを受信する行為と、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択する行為であって、前記選択された記憶されたマップは、第２の座標フレームを備える、行為と、
前記ポータブル電子デバイスの３次元（３Ｄ）環境内の特徴のセットと前記特徴のマッチングするセットとの間の算出された整合に基づいて、前記第１の座標フレームと前記第２の座標フレームとの間の変換を生成する行為であって、前記生成する行為の少なくとも１つの側面は、前記デバイスに関する個別のセッション記録内に記憶された前記デバイスのタイプに基づいて制御される、行為と、
前記変換を前記ポータブル電子デバイスに送信する行為と
を含む、方法。
（項目３３）
前記複数のポータブルデバイスの第１の部分は、ＧＰＳ対応であり、前記複数のポータブルデバイスの第２の部分は、ＧＰＳ対応ではなく、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、
前記複数のポータブルデバイスの第１の部分に関して、少なくとも部分的に、前記複数のポータブルデバイスの第１の部分のそれぞれによって提供されるＧＰＳ情報に基づいて、記憶されたマップを選択することと、
前記複数のポータブルデバイスの第２の部分に関して、少なくとも部分的に、前記複数のポータブルデバイスの第２の部分のそれぞれによって提供される無線フィンガプリント情報に基づいて、記憶されたマップを選択することと
を含む、項目３２に記載の方法。
（項目３４）
前記複数のポータブルデバイスの第１の部分は、第１のタイプであり、前記複数のポータブルデバイスの第２の部分は、第２のタイプであり、
前記受信された特徴のセットにマッチングする特徴のセットを有する前記選択されたマップに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、特定のポータブルデバイスが前記第１のタイプであるかまたは前記第２のタイプであるかに応じて、特定のポータブルデバイスのための記憶されたマップを選択することを含む、
項目３２に記載の方法。
（項目３５）
少なくとも１つのコンピュータ可読媒体であって、前記少なくとも１つのコンピュータ可読媒体は、その上に記録される命令を有しており、前記命令は、ポータブルデバイスと、位置特定サービスとを備えるコンピューティングシステム内で実行されると、前記コンピューティングシステムに、方法を実施させ、前記方法は、
前記ポータブルデバイスのネイティブ拡張現実（ＡＲ）フレームワークから、前記ポータブルデバイスと前記ポータブルデバイスの物理的周囲との間の相互作用に関連する情報を受信する行為であって、前記情報は、前記物理的周囲に関連する画像を備える、行為と、
前記画像情報によって描写される前記物理的周囲の特徴の複数の記述子を生成する行為と、
ローカル座標フレーム内の位置情報と前記特徴の複数の記述子を関連付ける行為と、
前記位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信する行為と、
前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用する行為と
を含む、少なくとも１つのコンピュータ可読媒体。
（項目３６）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記変換を前記位置特定サービスから受信することと、前記受信された変換を前記ネイティブＡＲフレームワークによって使用可能なフォーマットに変換することとを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３７）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記ネイティブＡＲフレームワークによって使用可能なフォーマットにおいて、前記変換を前記位置特定サービスから受信することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３８）
前記コンピューティングシステムは、複数のポータブルデバイスを備え、前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用することは、前記複数のポータブルデバイスのそれぞれ上のアプリケーションに、前記場面内の前記仮想オブジェクトを前記複数のポータブルデバイスの全てのディスプレイ上にレンダリングする際に前記アプリケーションによる使用のための変換を提供することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
（項目３９）
前記ポータブルデバイスの物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、ネイティブＡＲフレームワークによって使用されるアンカのフォーマットにおいて、前記変換を受信することを含む、項目３５に記載の少なくとも１つのコンピュータ可読媒体。
Claims (59)
- 複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスの作動方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記少なくとも１つのネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。 - 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、請求項１に記載の方法。
- 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、請求項２に記載の方法。
- 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、雑音除去動作を前記複数の画像に適用することをさらに含む、請求項３に記載の方法。
- 少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、レンズ陰影補正動作を前記複数の画像に適用することをさらに含む、請求項１～４のいずれかに記載の方法。
- 前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラである、請求項１～４のいずれかに記載の方法。
- 少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像のうちの画像をフィルタリング除去することによって、形成される、請求項１～４のいずれかに記載の方法。
- 前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、請求項１～４のいずれかに記載の方法。 - 特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、請求項１～４のいずれかに記載の方法。
- 前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得する行為
をさらに含む、請求項１～４のいずれかに記載の方法。 - 複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスであって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、
複数の画像を捕捉するように構成されるセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
前記ポータブル電子デバイス上のセンサを用いて、前記複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、ことと、
前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することと、
少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することと、
特徴記述子を前記ピクセルの選択されたクラスタから生成することと、
前記少なくとも１つのネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させることと
を行うための命令を備える、少なくとも１つのプロセッサと
を備える、ポータブル電子デバイス。 - 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、前記センサによって捕捉された複数の画像のピクセルに関する明度値を修正することを含む、請求項１１に記載のポータブル電子デバイス。
- 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、ガンマ補正を前記複数の画像に適用することを含む、請求項１２に記載のポータブル電子デバイス。
- 前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、雑音除去動作を前記複数の画像に適用することをさらに含む、請求項１３に記載のポータブル電子デバイス。
- 少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、レンズ陰影補正動作を前記複数の画像に適用することをさらに含む、請求項１３に記載のポータブル電子デバイス。
- 前記ポータブル電子デバイスは、スマートフォンであり、前記センサは、前記スマートフォン上のカメラであり、
少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択することは、前記複数の修正された画像のサブセット内のピクセルのクラスタを選択することを含み、前記サブセットは、少なくとも部分的に、前記画像内で検出されたモーションブラーに基づいて、前記複数の修正された画像のうちの画像をフィルタリング除去することによって、形成される、請求項１１に記載のポータブル電子デバイス。 - 前記ポータブル電子デバイスは、ハンドヘルドデバイスであり、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、請求項１１に記載のポータブル電子デバイス。 - 特徴記述子を前記ピクセルの選択されたクラスタから生成することは、前記特徴記述子と関連付けられる場所情報を生成することを含む、請求項１１～１７のいずれかに記載のポータブル電子デバイス。
- 前記コンピュータ実行可能命令は、前記遠隔位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームとローカル座標フレームとの間の変換を取得するための命令を備える、請求項１１～１７のいずれかに記載のポータブル電子デバイス。
- 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、コンピュータ実行可能命令を記憶しており、前記コンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行されると、複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスの作動方法を実施するように構成され、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記複数の画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備える、行為と、
前記複数の画像を修正し、前記複数の画像内の前記ピクセルの値を第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化する行為と、
少なくとも前記複数の修正された画像のサブセット内のピクセルのクラスタを前記３Ｄ環境内の特徴を表すものとして選択する行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記少なくとも１つのネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、非一過性コンピュータ可読媒体。 - 複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスの作動方法であって、前記ポータブル電子デバイスは、画像を捕捉するように構成され、前記方法は、
前記ポータブル電子デバイス上のセンサを用いて、複数の画像を捕捉する行為であって、前記捕捉された画像は、捕捉時における前記ポータブル電子デバイスの３次元（３Ｄ）環境を描写する複数のピクセルを備える、行為と、
画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択する行為と、
前記複数の画像のサブセット内のピクセルのクラスタを選択する行為であって、前記ピクセルの選択されたクラスタは、前記３Ｄ環境内の特徴を表す、行為と、
特徴記述子を前記ピクセルの選択されたクラスタから生成する行為と、
前記ネットワークを介して、前記特徴記述子を前記遠隔位置特定サービスに伝送させる行為と
を含む、方法。 - 画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、閾値を超えるモーションブラーが検出された画像をフィルタリング除去することを含む、請求項２１に記載の方法。
- 画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、過剰な明度が検出された画像をフィルタリング除去することを含む、請求項２１に記載の方法。
- 画像をフィルタリング除去することによって、前記複数の画像のサブセットを選択することは、前記画像が位置特定のために好適ではないと決定される場合、前記画像を破棄することを含む、請求項２１～２３のいずれかに記載の方法。
- 仮想コンテンツを３次元（３Ｄ）環境内にレンダリングするための複数のポータブルデバイスの作動方法であって、前記方法は、前記複数のポータブルデバイスのうちのポータブルデバイスを備える１つまたはそれを上回るプロセッサを用いて、
前記ポータブルデバイス上に、前記ポータブルデバイス上の１つまたはそれを上回るセンサの出力に基づいて、ローカル座標フレームを生成する行為と、
前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成する行為と、
ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得する行為と、
仮想オブジェクト座標フレームを有する仮想オブジェクトの仕様と、前記記憶された座標フレームに対する前記仮想オブジェクトの場所とを受信する行為と、
前記仮想オブジェクトを、前記ポータブルデバイスのディスプレイ上に、少なくとも部分的に前記算出された変換および前記仮想オブジェクトの前記受信された場所に基づいて決定された場所においてレンダリングする行為と
を含み、
複数のポータブル電子デバイスの少なくとも第１の部分は、ディスプレイ画面を伴うハンドヘルドデバイスを備え、前記複数のポータブル電子デバイスの第２の部分は、頭部搭載型ディスプレイを備える、方法。 - 前記ポータブルデバイス上に、ローカル座標フレームを維持することは、第２の複数のポータブルデバイス毎に、
前記３Ｄ環境についての複数の画像を前記ポータブルデバイスの１つまたはそれを上回るセンサから捕捉することと、
算出された１つまたはそれを上回る持続姿勢に少なくとも部分的に基づいて、前記３Ｄ環境についての空間情報を生成することと
を含み、
前記方法は、前記複数のポータブルデバイスの第１および第２の部分のそれぞれが、遠隔サーバに、前記生成された空間情報を伝送することを含み、
前記位置特定サービスから、前記３Ｄ環境についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を取得することは、前記変換をクラウドホストされる位置特定サービスから受信することを含む、請求項２５に記載の方法。 - 前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することと、
前記複数のポータブルデバイスの第１の部分によって捕捉された画像を修正し、前記画像内のピクセルの値を前記複数のポータブルデバイスの第２の部分によって捕捉された画像の値に対して正規化することと
を含む、請求項２５に記載の方法。 - 前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、前記３Ｄ環境についての画像を捕捉することと、
モーションブラーが検出された前記画像のうちの少なくともいくつかをフィルタリング除去することと
を含む、請求項２５に記載の方法。 - 前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１および第２の部分が、前記３Ｄ環境についての画像を捕捉することであって、前記捕捉された画像は、ピクセルを備える、ことと、
前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を生成するために使用するより多くのピクセルの数を使用して、前記特徴の記述子を生成することと
を含む、請求項２５に記載の方法。 - 前記ポータブルデバイス上に、前記３Ｄ環境内で感知される複数の特徴に関する複数の記述子を生成することは、
前記複数のポータブルデバイスの第１の部分が、２次元特徴の記述子を生成することと、
前記複数のポータブルデバイスの第２の部分が、３次元特徴の記述子を生成することと
を含む、請求項２５に記載の方法。 - ネットワークを経由して、位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信することは、前記複数のポータブルデバイスの第１の部分が、前記複数のポータブルデバイスの第２の部分が前記特徴の記述子を送信するより頻繁に、前記特徴の記述子を送信することを含む、請求項２５～３０のいずれかに記載の方法。
- 複数のポータブルデバイスと相互作用するためのクロスリアリティシステム内におけるクラウドホストされる位置特定サービスの作動方法であって、前記複数のポータブルデバイスは、記憶された座標フレームの使用を通して、仮想コンテンツをＸＲシステムのフレームワーク内にレンダリングし、共有体験を複数のポータブルデバイスのそれぞれ上に提供し、前記方法は、１つまたはそれを上回るプロセッサを用いて、
前記複数のポータブルデバイスのポータブルデバイス毎に、
位置合わせ要求を前記ポータブルデバイスから受信する行為であって、前記位置合わせは、デバイス識別子と、前記ポータブルデバイスのタイプのインジケーションとを備える、行為と、
前記デバイス識別子と、前記ポータブルデバイスのタイプとを備える前記ポータブルデバイスに関するセッション記録を記憶する行為と、
クラウドホストされる位置特定サービスにおいて、ポータブル電子デバイスの３次元（３Ｄ）環境内の特徴のセットについての情報と、第１の座標フレーム内に表される特徴のセットの特徴に関する位置付け情報とを受信する行為と、
選択されたマップが前記受信された特徴のセットにマッチングする特徴のセットを有することに基づいて、記憶されたマップのデータベースから記憶されたマップを選択する行為であって、前記選択された記憶されたマップは、第２の座標フレームを備える、行為と、
前記ポータブル電子デバイスの前記３次元（３Ｄ）環境内の特徴のセットと前記マッチングする特徴のセットとの間の算出された整合に基づいて、前記第１の座標フレームと前記第２の座標フレームとの間の変換を生成する行為であって、前記生成する行為の少なくとも１つの側面は、前記デバイスに関する個別のセッション記録内に記憶された前記デバイスのタイプに基づいて制御される、行為と、
前記変換を前記ポータブル電子デバイスに送信する行為と
を含む、方法。 - 前記複数のポータブルデバイスの第１の部分は、第１のタイプであり、前記複数のポータブルデバイスの第２の部分は、第２のタイプであり、
前記選択されたマップが前記受信された特徴のセットにマッチングする特徴のセットを有することに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、特定のポータブルデバイスが前記第１のタイプであるかまたは前記第２のタイプであるかに応じて、前記特定のポータブルデバイスのための記憶されたマップを選択することを含む、請求項３２に記載の方法。 - 前記複数のポータブルデバイスの第１の部分は、ＧＰＳ対応であり、前記複数のポータブルデバイスの第２の部分は、ＧＰＳ対応ではなく、
前記選択されたマップが前記受信された特徴のセットにマッチングする特徴のセットを有することに基づいて、前記記憶されたマップのデータベースから記憶されたマップを選択することは、
前記複数のポータブルデバイスの第１の部分に関して、前記複数のポータブルデバイスの第１の部分のそれぞれによって提供されるＧＰＳ情報に少なくとも部分的に基づいて、記憶されたマップを選択することと、
前記複数のポータブルデバイスの第２の部分に関して、前記複数のポータブルデバイスの第２の部分のそれぞれによって提供される無線フィンガプリント情報に少なくとも部分的に基づいて、記憶されたマップを選択することと
を含む、請求項３２または請求項３３に記載の方法。 - 少なくとも１つの非一過性コンピュータ可読媒体であって、前記少なくとも１つの非一過性コンピュータ可読媒体は、その上に記録される命令を有しており、前記命令は、ポータブルデバイスと位置特定サービスとを備えるコンピューティングシステム内で実行されると、前記コンピューティングシステムに、方法を実施させ、前記方法は、
前記ポータブルデバイスのネイティブ拡張現実（ＡＲ）フレームワークから、前記ポータブルデバイスと前記ポータブルデバイスの物理的周囲との間の相互作用に関連する情報を受信する行為であって、前記情報は、前記物理的周囲に関連する画像情報を備える、行為と、
前記画像情報によって描写される前記物理的周囲の特徴の複数の記述子を生成する行為と、
ローカル座標フレーム内の位置情報と前記特徴の複数の記述子を関連付ける行為と、
前記位置特定サービスに、前記特徴の複数の記述子と、前記ローカル座標フレーム内に表される前記特徴の位置情報とを送信する行為と、
前記ポータブルデバイスの前記物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信する行為と、
前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用する行為と
を含む、少なくとも１つの非一過性コンピュータ可読媒体。 - 前記ポータブルデバイスの前記物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記変換を前記位置特定サービスから受信することと、前記受信された変換を前記ネイティブＡＲフレームワークによって使用可能なフォーマットに変換することとを含む、請求項３５に記載の少なくとも１つの非一過性コンピュータ可読媒体。
- 前記ポータブルデバイスの前記物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、前記ネイティブＡＲフレームワークによって使用可能なフォーマットにおいて、前記変換を前記位置特定サービスから受信することを含む、請求項３５に記載の少なくとも１つの非一過性コンピュータ可読媒体。
- 前記ポータブルデバイスの前記物理的周囲についての記憶された空間情報の記憶された座標フレームと前記ローカル座標フレームとの間の変換を受信することは、ネイティブＡＲフレームワークによって使用されるアンカのフォーマットにおいて、前記変換を受信することを含む、請求項３５に記載の少なくとも１つの非一過性コンピュータ可読媒体。
- 前記コンピューティングシステムは、複数のポータブルデバイスを備え、前記場所が、前記ポータブルデバイスのディスプレイ上に、前記仮想コンテンツの規定された場所に基づいて、前記仮想コンテンツを前記物理的周囲に対して位置付けられるようにレンダリングする際に、前記ネイティブ拡張現実（ＡＲ）フレームワークによる使用のために構成されるように、前記変換を前記ポータブルデバイス上のアプリケーションによって規定された仮想コンテンツの場所に適用することは、前記複数のポータブルデバイスのそれぞれ上のアプリケーションに、場面内の前記仮想オブジェクトを前記複数のポータブルデバイスの全てのディスプレイ上にレンダリングする際に前記アプリケーションによる使用のための変換を提供することを含む、請求項３５～３８のいずれかに記載の少なくとも１つの非一過性コンピュータ可読媒体。
- 複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスの作動方法であって、前記方法は、
前記第１のタイプのポータブル電子デバイス上の１つまたはそれを上回るセンサを用いて、複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記第１のタイプのポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備え、前記捕捉することは、前記第１のタイプのポータブル電子デバイスのネイティブＡＲフレームワークによって制御される、ことと、
前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することであって、前記第１のタイプのポータブルデバイスの前記ネイティブＡＲフレームワークは、前記遠隔位置特定サービスと動作するように構成されておらず、前記第２のタイプの電子デバイスは、前記遠隔位置特定サービスと動作するように構成されるネイティブＡＲフレームワークを備える、ことと、
少なくとも前記複数の修正された画像のサブセットに関連する情報を前記遠隔位置特定サービスに伝送させることであって、前記第１のタイプのポータブルデバイスは、少なくとも前記複数の修正された画像のサブセットを前記遠隔位置特定サービスに伝送するように、前記少なくとも１つのネットワークを介して前記遠隔位置特定サービスと通信するように構成される１つまたはそれを上回るコンポーネントを備える、ことと
を含む、方法。 - 前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像は、２次元（２Ｄ）画像であり、
前記第２のタイプの電子デバイスは、３次元（３Ｄ）画像を捕捉するように構成される、請求項４０に記載の方法。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記センサによって捕捉された前記複数の画像のピクセルのための着目パラメータに関する値を、前記複数の画像が前記第２のタイプの電子デバイスによって捕捉された場合に予期される値に近似するように、変化させること
を含む、請求項４０に記載の方法。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの１つの第１の数のピクセルのための着目パラメータに関する値を、前記第２のタイプの電子デバイスを用いて捕捉された前記画像に従って第２の数のピクセルにマッピングすることであって、前記第２の数は、前記第１の数と異なる、こと
を含む、請求項４０に記載の方法。 - 前記第１の数は、前記第２の数未満であり、
前記第１の数のピクセルは、前記第２の数のピクセルが、前記画像が前記第２のタイプの電子デバイスによって捕捉された場合のような値を有する画像を形成するように、前記第２の数のピクセルに補間される、請求項４３に記載の方法。 - 前記ポータブル電子デバイスは、ハンドヘルドデバイスであって、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、請求項４０に記載の方法。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの少なくとも２つの画像を組み合わせ、単一の正規化された画像を形成すること
を含む、請求項４０に記載の方法。 - 複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスであって、前記第１のタイプのポータブル電子デバイスは、
複数の画像を捕捉するように構成される１つまたはそれを上回るセンサと、
コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
前記第１のタイプのポータブル電子デバイス上の１つまたはそれを上回るセンサを用いて、複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記第１のタイプのポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備え、前記捕捉することは、前記第１のタイプのポータブル電子デバイスのネイティブＡＲフレームワークによって制御される、ことと、
前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することであって、前記第１のタイプのポータブルデバイスの前記ネイティブＡＲフレームワークは、前記遠隔位置特定サービスと動作するように構成されておらず、前記第２のタイプの電子デバイスは、前記遠隔位置特定サービスと動作するように構成されるネイティブＡＲフレームワークを備える、ことと、
少なくとも前記複数の修正された画像のサブセットに関連する情報を前記遠隔位置特定サービスに伝送させることであって、前記第１のタイプのポータブルデバイスは、少なくとも前記複数の修正された画像のサブセットを前記遠隔位置特定サービスに伝送するように、前記少なくとも１つのネットワークを介して前記遠隔位置特定サービスと通信するように構成される１つまたはそれを上回るコンポーネントを備える、ことと
を含む方法を実施するための命令を備える、ポータブル電子デバイス。 - 前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像は、２次元（２Ｄ）画像であり、
前記第２のタイプの電子デバイスは、３次元（３Ｄ）画像を捕捉するように構成される、請求項４７に記載のポータブル電子デバイス。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記センサによって捕捉された前記複数の画像のピクセルのための着目パラメータに関する値を、前記複数の画像が前記第２のタイプの電子デバイスによって捕捉された場合に予期される値に近似するように、変化させること
を含む、請求項４７に記載のポータブル電子デバイス。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの１つの第１の数のピクセルのための着目パラメータに関する値を、前記第２のタイプの電子デバイスを用いて捕捉された前記画像に従って第２の数のピクセルにマッピングすることであって、前記第２の数は、前記第１の数と異なる、こと
を含む、請求項４７に記載のポータブル電子デバイス。 - 前記第１の数は、前記第２の数未満であり、
前記第１の数のピクセルは、前記第２の数のピクセルが、前記画像が前記第２のタイプの電子デバイスによって捕捉された場合のような値を有する画像を形成するように、前記第２の数のピクセルに補間される、請求項５０に記載のポータブル電子デバイス。 - 前記ポータブル電子デバイスは、ハンドヘルドデバイスであって、
前記第２のタイプは、その上に搭載される複数のカメラを備える頭部搭載型ディスプレイを備えるウェアラブルデバイスである、請求項４７に記載のポータブル電子デバイス。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの少なくとも２つの画像を組み合わせ、単一の正規化された画像を形成すること
を含む、請求項４７に記載のポータブル電子デバイス。 - コンピュータ実行可能命令を記憶する非一過性コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、少なくとも１つのプロセッサによって実行されると、複数のタイプのデバイスが少なくとも１つのネットワークを介して遠隔位置特定サービスと相互作用するクロスリアリティシステム内における第１のタイプのポータブル電子デバイスの作動方法を実施するように構成され、前記方法は、
前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて、複数の画像を捕捉することであって、前記複数の画像は、捕捉時における前記第１のタイプのポータブル電子デバイスの３次元（３Ｄ）環境を描写するピクセルを備え、前記捕捉することは、前記ポータブル電子デバイスのネイティブＡＲフレームワークによって制御される、ことと、
前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することであって、前記第１のタイプのポータブルデバイスの前記ネイティブＡＲフレームワークは、前記遠隔位置特定サービスと動作するように構成されておらず、前記第２のタイプの電子デバイスは、前記遠隔位置特定サービスと動作するように構成されるネイティブＡＲフレームワークを備える、ことと、
少なくとも前記複数の修正された画像のサブセットに関連する情報を前記遠隔位置特定サービスに伝送させることであって、前記第１のタイプのポータブルデバイスは、少なくとも前記複数の修正された画像のサブセットを前記遠隔位置特定サービスに伝送するように、前記少なくとも１つのネットワークを介して前記遠隔位置特定サービスと通信するように構成される１つまたはそれを上回るコンポーネントを備える、ことと
を含む、非一過性コンピュータ可読媒体。 - 前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像は、２次元（２Ｄ）画像であり、
前記第２のタイプの電子デバイスは、３次元（３Ｄ）画像を捕捉するように構成される、請求項５４に記載の非一過性コンピュータ可読媒体。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記センサによって捕捉された前記複数の画像のピクセルのための着目パラメータに関する値を、前記複数の画像が前記第２のタイプの電子デバイスによって捕捉された場合に予期される値に近似するように、変化させること
を含む、請求項５４に記載の非一過性コンピュータ可読媒体。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの１つの第１の数のピクセルのための着目パラメータに関する値を、前記第２のタイプの電子デバイスを用いて捕捉された前記画像に従って第２の数のピクセルにマッピングすることであって、前記第２の数は、前記第１の数と異なる、こと
を含む、請求項５４に記載の非一過性コンピュータ可読媒体。 - 前記第１の数は、前記第２の数未満であり、
前記第１の数のピクセルは、前記第２の数のピクセルが、前記画像が前記第２のタイプの電子デバイスによって捕捉された場合のような値を有する画像を形成するように、前記第２の数のピクセルに補間される、請求項５７に記載の非一過性コンピュータ可読媒体。 - 前記複数の画像を修正し、前記第１のタイプのポータブル電子デバイス上の前記１つまたはそれを上回るセンサを用いて捕捉された前記複数の画像内のピクセルの値を、前記第２のタイプの電子デバイスを用いて捕捉された画像内のピクセルの値に対して正規化することは、
前記複数の画像のうちの少なくとも２つの画像を組み合わせ、単一の正規化された画像を形成すること
を含む、請求項５４に記載の非一過性コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962915575P | 2019-10-15 | 2019-10-15 | |
| US62/915,575 | 2019-10-15 | ||
| PCT/US2020/055784 WO2021076757A1 (en) | 2019-10-15 | 2020-10-15 | Cross reality system supporting multiple device types |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022551734A JP2022551734A (ja) | 2022-12-13 |
| JPWO2021076757A5 true JPWO2021076757A5 (ja) | 2023-10-12 |
Family
ID=75383786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022522303A Pending JP2022551734A (ja) | 2019-10-15 | 2020-10-15 | 複数のデバイスタイプをサポートするクロスリアリティシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11257294B2 (ja) |
| EP (1) | EP4046070A4 (ja) |
| JP (1) | JP2022551734A (ja) |
| CN (1) | CN114586071A (ja) |
| WO (1) | WO2021076757A1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10957112B2 (en) | 2018-08-13 | 2021-03-23 | Magic Leap, Inc. | Cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| WO2020072985A1 (en) | 2018-10-05 | 2020-04-09 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| JP2020089947A (ja) * | 2018-12-06 | 2020-06-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| US11632679B2 (en) | 2019-10-15 | 2023-04-18 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
| US11386627B2 (en) | 2019-11-12 | 2022-07-12 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| US11562542B2 (en) | 2019-12-09 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| US11410395B2 (en) | 2020-02-13 | 2022-08-09 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
| US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| US11551430B2 (en) | 2020-02-26 | 2023-01-10 | Magic Leap, Inc. | Cross reality system with fast localization |
| WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
| US11972576B2 (en) * | 2020-06-30 | 2024-04-30 | Lyft, Inc. | Generating and fusing reconstructions using overlapping map segments |
| US11522945B2 (en) * | 2020-10-20 | 2022-12-06 | Iris Tech Inc. | System for providing synchronized sharing of augmented reality content in real time across multiple devices |
| WO2022245855A1 (en) * | 2021-05-18 | 2022-11-24 | Snap Inc. | Varied depth determination using stereo vision and phase detection auto focus (pdaf) |
| US20220375041A1 (en) * | 2021-05-18 | 2022-11-24 | Snap Inc. | Selective image pyramid computation for motion blur mitigation in visual-inertial tracking |
| CN114359392B (zh) * | 2022-03-16 | 2022-07-26 | 荣耀终端有限公司 | 一种视觉定位方法、装置、芯片系统及存储介质 |
| WO2023219615A1 (en) * | 2022-05-11 | 2023-11-16 | Innopeak Technology, Inc. | Tracking of multiple extended reality devices |
| CN115361583B (zh) * | 2022-08-10 | 2024-05-17 | 吉林动画学院 | 针对APP与Unity实时渲染视频帧纹理的方法 |
Family Cites Families (129)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100483806B1 (ko) * | 2002-07-18 | 2005-04-20 | 한국과학기술원 | 예제동작을 이용한 영상기반 동작복원방법 |
| EP1571834B1 (en) * | 2004-03-05 | 2010-09-15 | Mega Vision Corporation | Processing apparatus and computer program for adjusting gamma value |
| US20050228849A1 (en) * | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
| US7542034B2 (en) | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
| US20080303787A1 (en) | 2005-10-21 | 2008-12-11 | Zheng Yu Brian | Touch Screen Apparatus And Methods |
| JP2009541017A (ja) | 2006-06-26 | 2009-11-26 | アイコシステム コーポレーション | ビデオゲームにおいてアバター及び他の生物的又は無生物的アイテムを対話的にカスタマイズする方法及びシステム |
| US20080090659A1 (en) | 2006-10-12 | 2008-04-17 | Maximino Aguilar | Virtual world event notification from a persistent world game server in a logically partitioned game console |
| US8306348B2 (en) * | 2007-04-24 | 2012-11-06 | DigitalOptics Corporation Europe Limited | Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal |
| JP4292426B2 (ja) | 2007-05-15 | 2009-07-08 | ソニー株式会社 | 撮像装置および撮像データ補正方法 |
| GB0818561D0 (en) | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
| US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
| US20100257252A1 (en) * | 2009-04-01 | 2010-10-07 | Microsoft Corporation | Augmented Reality Cloud Computing |
| US8839121B2 (en) | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
| US8514491B2 (en) * | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8185596B2 (en) | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
| KR20160084502A (ko) | 2011-03-29 | 2016-07-13 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| US8526368B2 (en) | 2011-05-17 | 2013-09-03 | Qualcomm Incorporated | Wi-Fi access point characteristics database |
| US20120314031A1 (en) | 2011-06-07 | 2012-12-13 | Microsoft Corporation | Invariant features for computer vision |
| US9082214B2 (en) | 2011-07-01 | 2015-07-14 | Disney Enterprises, Inc. | 3D drawing system for providing a real time, personalized, and immersive artistic experience |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| EP2751742A1 (en) | 2011-08-31 | 2014-07-09 | metaio GmbH | Method of matching image features with reference features |
| US8243102B1 (en) | 2011-10-12 | 2012-08-14 | Google Inc. | Derivative-based selection of zones for banded map display |
| US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| EP2797542B1 (en) | 2011-12-30 | 2019-08-28 | MAKO Surgical Corp. | Systems and methods for customizing interactive haptic boundaries |
| US9530221B2 (en) | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
| EP2812089B1 (en) | 2012-02-06 | 2019-04-10 | Sony Interactive Entertainment Europe Limited | Book object for augmented reality |
| US9386297B2 (en) * | 2012-02-24 | 2016-07-05 | Casio Computer Co., Ltd. | Image generating apparatus generating reconstructed image, method, and computer-readable recording medium |
| KR20130110907A (ko) | 2012-03-30 | 2013-10-10 | 삼성전자주식회사 | 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법 |
| US9293118B2 (en) | 2012-03-30 | 2016-03-22 | Sony Corporation | Client device |
| US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| US11089247B2 (en) * | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
| US9743057B2 (en) * | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
| US9311750B2 (en) | 2012-06-05 | 2016-04-12 | Apple Inc. | Rotation operations in a mapping application |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| GB2506338A (en) | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
| US8829409B2 (en) | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
| CN102932582B (zh) * | 2012-10-26 | 2015-05-27 | 华为技术有限公司 | 实现运动检测的方法及装置 |
| US9596481B2 (en) * | 2013-01-30 | 2017-03-14 | Ati Technologies Ulc | Apparatus and method for video data processing |
| US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| EP2808842B1 (en) | 2013-05-31 | 2017-08-16 | Technische Universität München | An apparatus and method for tracking and reconstructing three-dimensional objects |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
| US9779548B2 (en) | 2013-06-25 | 2017-10-03 | Jordan Kent Weisman | Multiuser augmented reality system |
| US10533850B2 (en) * | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| WO2015006784A2 (en) * | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| IL291010B2 (en) | 2013-11-27 | 2024-01-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| WO2015094360A1 (en) | 2013-12-20 | 2015-06-25 | Intel Corporation | Wi-fi scan scheduling and power adaptation for low-power indoor location |
| US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9830679B2 (en) | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
| WO2015155628A1 (en) * | 2014-04-07 | 2015-10-15 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
| GB2526263B (en) | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
| AU2015274283B2 (en) | 2014-06-14 | 2020-09-10 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN104143212A (zh) | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | 基于穿戴设备的增强现实方法及系统 |
| US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
| US9596411B2 (en) * | 2014-08-25 | 2017-03-14 | Apple Inc. | Combined optical and electronic image stabilization |
| US10509865B2 (en) | 2014-09-18 | 2019-12-17 | Google Llc | Dress form for three-dimensional drawing inside virtual reality environment |
| US10719727B2 (en) * | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
| CN106663411A (zh) | 2014-11-16 | 2017-05-10 | 易欧耐特感知公司 | 用于增强现实准备、处理和应用的系统和方法 |
| CN107209247B (zh) | 2014-12-04 | 2021-06-18 | 赫尔环球有限公司 | 支持数据的协作收集 |
| US9685005B2 (en) | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
| US9852546B2 (en) | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
| US9697796B2 (en) * | 2015-03-26 | 2017-07-04 | Intel Corporation | Adaptive linear luma domain video pipeline architecture |
| US20160300389A1 (en) | 2015-04-08 | 2016-10-13 | Exactigo, Inc. | Correlated immersive virtual simulation for indoor navigation |
| US9467718B1 (en) | 2015-05-06 | 2016-10-11 | Echostar Broadcasting Corporation | Apparatus, systems and methods for a content commentary community |
| KR101725478B1 (ko) | 2015-05-21 | 2017-04-11 | 주식회사 맥스트 | 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템 |
| US20160381118A1 (en) | 2015-06-23 | 2016-12-29 | Microsoft Technology Licensing, Llc | Extracting and formatting content from web-resources |
| US10335572B1 (en) * | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
| US10492981B1 (en) * | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
| WO2017039308A1 (en) | 2015-08-31 | 2017-03-09 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
| CA2941893C (en) | 2015-09-14 | 2020-02-25 | The Toronto-Dominion Bank | Connected device-based property evaluation |
| WO2017053821A1 (en) | 2015-09-25 | 2017-03-30 | Magic Leap, Inc. | Methods and systems for detecting and combining structural features in 3d reconstruction |
| US20170094227A1 (en) | 2015-09-25 | 2017-03-30 | Northrop Grumman Systems Corporation | Three-dimensional spatial-awareness vision system |
| WO2017068824A1 (ja) | 2015-10-21 | 2017-04-27 | シャープ株式会社 | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
| US9706366B2 (en) | 2015-11-06 | 2017-07-11 | International Business Machines Corporation | WiFi-fingerprint based indoor localization map |
| US10567449B2 (en) | 2016-02-17 | 2020-02-18 | Meta View, Inc. | Apparatuses, methods and systems for sharing virtual elements |
| US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
| JP6776609B2 (ja) | 2016-02-22 | 2020-10-28 | デクセリアルズ株式会社 | 異方性導電フィルム |
| US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
| IL303843B2 (en) | 2016-08-11 | 2024-06-01 | Magic Leap Inc | Automatic positioning of a virtual object in three-dimensional space |
| EP4235391A3 (en) | 2016-08-22 | 2023-10-25 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
| US10007868B2 (en) | 2016-09-19 | 2018-06-26 | Adobe Systems Incorporated | Font replacement based on visual similarity |
| RU2016138608A (ru) * | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| US10354129B2 (en) * | 2017-01-03 | 2019-07-16 | Intel Corporation | Hand gesture recognition for virtual reality and augmented reality devices |
| US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
| US11275163B2 (en) | 2017-01-25 | 2022-03-15 | Korea Institute Of Science And Technology | Slam method and apparatus robust to wireless environment change |
| EP3568804A2 (en) * | 2017-02-07 | 2019-11-20 | Mindmaze Holding S.A. | Systems, methods and apparatuses for stereo vision and tracking |
| US10460489B2 (en) | 2017-03-15 | 2019-10-29 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring scaling parameters |
| KR102384232B1 (ko) | 2017-03-17 | 2022-04-06 | 매직 립, 인코포레이티드 | 증강 현실 데이터를 레코딩하기 위한 기술 |
| US10600252B2 (en) | 2017-03-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Coarse relocalization using signal fingerprints |
| US9754397B1 (en) | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
| JP6585665B2 (ja) | 2017-06-29 | 2019-10-02 | ファナック株式会社 | 仮想オブジェクト表示システム |
| US10929945B2 (en) * | 2017-07-28 | 2021-02-23 | Google Llc | Image capture devices featuring intelligent use of lightweight hardware-generated statistics |
| US10503955B2 (en) | 2017-08-29 | 2019-12-10 | Synaptics Incorporated | Device with improved circuit positioning |
| WO2019046774A1 (en) * | 2017-09-01 | 2019-03-07 | Memorial Sloan Kettering Cancer Center | SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK |
| US10546387B2 (en) * | 2017-09-08 | 2020-01-28 | Qualcomm Incorporated | Pose determination with semantic segmentation |
| EP3710981A4 (en) | 2017-11-14 | 2020-12-23 | Magic Leap, Inc. | DETECTION AND DESCRIPTION OF FULLY CONVOLUTIVE POINT OF INTEREST BY HOMOGRAPHIC ADAPTATION |
| CA3084057A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
| EP3729382A4 (en) | 2017-12-22 | 2021-01-20 | Magic Leap, Inc. | PROCESS AND SYSTEM FOR MANAGING AND DISPLAYING VIRTUAL CONTENT IN A MIXED REALITY SYSTEM |
| US11237004B2 (en) | 2018-03-27 | 2022-02-01 | Uatc, Llc | Log trajectory estimation for globally consistent maps |
| US10838574B2 (en) | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
| US10803671B2 (en) | 2018-05-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Authoring content in three-dimensional environment |
| CN112639664B (zh) | 2018-07-24 | 2023-03-24 | 奇跃公司 | 用于确定和/或评价图像显示设备的定位地图的方法和装置 |
| US10957112B2 (en) | 2018-08-13 | 2021-03-23 | Magic Leap, Inc. | Cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| WO2020072985A1 (en) | 2018-10-05 | 2020-04-09 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| US20200211290A1 (en) | 2018-12-26 | 2020-07-02 | Lg Electronics Inc. | Xr device for providing ar mode and vr mode and method for controlling the same |
| US11151792B2 (en) | 2019-04-26 | 2021-10-19 | Google Llc | System and method for creating persistent mappings in augmented reality |
| US20200364937A1 (en) * | 2019-05-16 | 2020-11-19 | Subvrsive, Inc. | System-adaptive augmented reality |
| US11010921B2 (en) * | 2019-05-16 | 2021-05-18 | Qualcomm Incorporated | Distributed pose estimation |
| US10854012B1 (en) | 2019-05-29 | 2020-12-01 | Dell Products, L.P. | Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures |
| US20200380263A1 (en) | 2019-05-29 | 2020-12-03 | Gyrfalcon Technology Inc. | Detecting key frames in video compression in an artificial intelligence semiconductor solution |
| US10852828B1 (en) | 2019-07-17 | 2020-12-01 | Dell Products, L.P. | Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications |
| US10936874B1 (en) | 2019-08-13 | 2021-03-02 | Dell Products, L.P. | Controller gestures in virtual, augmented, and mixed reality (xR) applications |
| KR20190104928A (ko) | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | Xr 디바이스 및 xr 디바이스 제어 방법 |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| US11632679B2 (en) | 2019-10-15 | 2023-04-18 | Magic Leap, Inc. | Cross reality system with wireless fingerprints |
| EP4052086A4 (en) | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES |
| US11386627B2 (en) | 2019-11-12 | 2022-07-12 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| US11562542B2 (en) | 2019-12-09 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| JP2023514206A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ， インコーポレイテッド | 大規模環境のためのクロスリアリティシステム |
| US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
| US11410395B2 (en) | 2020-02-13 | 2022-08-09 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| US11551430B2 (en) | 2020-02-26 | 2023-01-10 | Magic Leap, Inc. | Cross reality system with fast localization |
| WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
-
2020
- 2020-10-15 JP JP2022522303A patent/JP2022551734A/ja active Pending
- 2020-10-15 EP EP20875846.6A patent/EP4046070A4/en active Pending
- 2020-10-15 CN CN202080072303.8A patent/CN114586071A/zh active Pending
- 2020-10-15 US US17/071,907 patent/US11257294B2/en active Active
- 2020-10-15 WO PCT/US2020/055784 patent/WO2021076757A1/en unknown
-
2022
- 2022-01-07 US US17/571,172 patent/US20220130120A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11145083B2 (en) | Image-based localization | |
| JPWO2021076757A5 (ja) | ||
| WO2019149206A1 (zh) | 深度估计方法和装置、电子设备、程序和介质 | |
| WO2019242262A1 (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| US11315328B2 (en) | Systems and methods of rendering real world objects using depth information | |
| CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
| JP5260705B2 (ja) | ３次元拡張現実提供装置 | |
| US8817046B2 (en) | Color channels and optical markers | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| JP2013141049A (ja) | 世界座標系データベースを利用したサーバ及び端末 | |
| CN108430032B (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| JP2018026064A (ja) | 画像処理装置、画像処理方法、システム | |
| KR102197615B1 (ko) | 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버 | |
| WO2018133757A1 (zh) | 场景的渲染方法、装置和存储介质 | |
| WO2017113729A1 (zh) | 360度图像加载方法、加载模块及移动终端 | |
| JP2022132063A (ja) | 拡張現実提供装置のポーズ決定方法及び装置 | |
| EP3840371A1 (en) | Image display method, device, and system | |
| JP2016081225A (ja) | 情報提示システム | |
| JP2017134775A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN115761190A (zh) | 基于场景映射的多用户增强现实相片浏览方法及系统 | |
| JP5864371B2 (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
| CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 | |
| CN115222793A (zh) | 深度图像的生成及显示方法、装置、系统、可读介质 | |
| CN108171802B (zh) | 一种云端与终端结合实现的全景增强现实实现方法 |