JP2023507498A - ３ｄライン接合部を用いた位置決定およびマッピング - Google Patents

３ｄライン接合部を用いた位置決定およびマッピング Download PDF

Info

Publication number
JP2023507498A
JP2023507498A JP2022538066A JP2022538066A JP2023507498A JP 2023507498 A JP2023507498 A JP 2023507498A JP 2022538066 A JP2022538066 A JP 2022538066A JP 2022538066 A JP2022538066 A JP 2022538066A JP 2023507498 A JP2023507498 A JP 2023507498A
Authority
JP
Japan
Prior art keywords
map
client device
line
camera
line junctions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022538066A
Other languages
English (en)
Other versions
JP7453383B2 (ja
Inventor
エッカティ アンヴィズ
ユアン ロン
ジェイン シッダーント
イン ダイアナ フー シー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Niantic Inc
Original Assignee
Niantic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niantic Inc filed Critical Niantic Inc
Publication of JP2023507498A publication Critical patent/JP2023507498A/ja
Application granted granted Critical
Publication of JP7453383B2 publication Critical patent/JP7453383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

クライアントデバイスの位置を決定するためのシステムおよび方法が本明細書で説明される。特に、クライアントデバイスは、クライアントデバイスにおけるカメラによってキャプチャされた画像を受信する。クライアントデバイスは、画像内の特徴を識別する。特徴は、ライン接合部、ライン、曲線、または画像内に見出される任意の他の特徴であり得る。クライアントデバイスは、マップデータベースから環境の３Ｄマップを検索し、識別された特徴を、マップライン接合部、マップライン、マップ曲線などのマップ特徴を含む環境の３Ｄマップと比較する。クライアントデバイスは、画像から識別された特徴とマップ特徴との間の対応関係を識別し、対応関係に基づいて現実世界におけるクライアントデバイスの位置を決定する。クライアントデバイスは、現実世界における位置に対応する仮想世界における位置を表す視覚データを表示できる。

Description

本開示は、概して３Ｄマッピングに関し、特に、３Ｄライン接合部を使用してデバイスの位置を決定することに関する。
［関連出願の相互参照］
本出願は、２０１９年１２月２０日に出願された米国仮出願第６２／９５２，０１６号の利益を主張し、その全体が参照により組み込まれる。
並行現実ゲームは、現実世界の少なくとも一部と並行する共有された仮想世界を提供し得、プレイヤーのコミュニティを引き付けることができる様々な相互作用をホストできる。仮想世界に現実世界の少なくとも一部と並行する地理を提供することは、プレイヤーが現実世界をナビゲートすることによって仮想世界をナビゲートすることを可能にする。プレイ中、プレイヤーは、コンピュータ媒介現実技術を使用して、プレイヤーの環境の視覚的または聴覚的知覚を加算、減算、または他の方法で変更するハンドヘルドまたはウェアラブルデバイス全体にわたって仮想世界を見得る。
しかし、環境のプレイヤーの視覚的知覚を正確に変更することは、典型的には、現実世界におけるプレイヤーの位置を正確に知ることを伴う。従来の測位デバイスは、かなりの範囲のエラーなしにプレイヤーの位置を決定するのに十分なほど正確ではないので、これを確認することは困難であり得る。したがって、現実世界におけるプレイヤーの位置を決定するための改善されたアプローチが望まれる。
［概要］
位置ベースの平行現実ゲームでは、プレイヤーは、スマートフォンなどの位置認識クライアントデバイスを用いて、現実世界を移動することによって仮想世界をナビゲートする。平行現実ゲームでプレイヤーによって使用される多くのクライアントデバイスは、プレイヤーが平行現実ゲームをプレイしながら現実世界全体を移動するときにプレイヤーの位置情報を追跡する測位デバイスを含み得る。様々な実施形態において、クライアントデバイスは、デバイス上のカメラによってキャプチャされた画像データを使用して、プレイヤーの位置を決定し、これは、測位デバイスから収集されたプレイヤーの位置情報の代わりに、またはそれを補足するために使用され得る。クライアントデバイスは、決定されたプレイヤー位置に基づいて、拡張現実（ＡＲ）画像を生成して、画像データ上にオーバーレイし得る。
一実施形態によれば、ＡＲプラットフォームは、平行現実ゲームのための環境内のカメラの位置を決定する。カメラによってキャプチャされた１つまたは複数の画像を使用して、ＡＲプラットフォームは、１つまたは複数の画像内の、空間内のラインが交差する点であるライン接合部を識別する。ＡＲプラットフォームは、これらのライン接合部を環境の三次元（３Ｄ）マップと比較して、ライン接合部が３Ｄマップ内のマップライン接合部に対応するか否かを決定する。ＡＲプラットフォームによって識別された１つまたは複数の対応関係に基づいて、ＡＲプラットフォームは、環境内のカメラの位置を決定する。ＡＲプラットフォームは、現実世界における決定された位置に対応する仮想世界における位置を反映する、カメラに関連付けられたクライアントデバイス上での表示のためのコンピュータ媒介現実画像を生成し得る。
追加または代替の実施形態では、ＡＲプラットフォームは、カメラによって見られる環境の準リアルタイム視点を表す１つまたは複数の画像と、クライアントデバイスに統合されたジオロケーション／全地球測位システムからのジオロケーション位置と、を受信し得る。ＡＲプラットフォームは、特定の時点におけるカメラ位置および１つまたは複数の画像内の１つまたは複数のマッピング点の間の距離を推定する。推定された距離に基づいて、ＡＲプラットフォームは１つまたは複数の画像を３Ｄマップ内の特定の位置に位置するコンピュータ生成画像にオーバーレイする。コンピュータ生成画像は、プレイヤーがカメラを空間内の異なる位置に移動させても、特定の位置に配置されたままである。
これらおよび他の特徴、態様および利点は、以下の説明および添付の特許請求の範囲を参照してよりよく理解され得る。添付の図面は特定の実施形態を示し、説明と共に様々な原理を説明する役割を果たす。しかし、図面は限定するものと見なされるべきではない。むしろ、保護の範囲は特許請求の範囲から決定されるべきである。
図１は、一実施形態による、ＡＲコンピューティングシステム１００のブロック図である。 図２Ａは、一実施形態によるライン接合部を示す。 図２Ｂは、一実施形態によるライン接合部における交差するラインを示す。 図２Ｃは、一実施形態による、２Ｄおよび３Ｄにおけるライン接合部の表現を示す。 図３は、一実施形態による、拡張現実データを生成および表示するための図１のコンピューティングシステムによって実行可能なプロセスを図示する、フローチャートである。 図４は、一実施形態による、位置ベースの並行現実ゲームのプレイヤーのためのゲームボードとして作用できる、現実世界と並行する仮想世界の概念図を描写する。 図５は、一実施形態による、環境内のカメラの位置を決定するためのプロセスを示すフローチャートである。 図６は、一実施形態による、図１のネットワーク化コンピューティング環境で使用するのに適した例示的なコンピュータシステムを示すブロック図である。
［詳細な説明］
システムおよび方法は、環境内のクライアントデバイスの位置を決定し、その位置に基づいてクライアントデバイスを介した現実世界とのユーザの相互作用を可能にする。さらに、システムはクライアントデバイスの位置を決定するために使用する環境の三次元（３Ｄ）マップ（例えば、１センチメートルの解像度を有する）を作成し得る。様々な実施形態において、マッピングはクライアント側（例えば、電話またはヘッドセット）で達成され、以前にコンパイルされた画像およびマッピングをクライアントデバイスに提供するバックエンドサーバとペアリングされる。
一実施形態において、システムは、カメラによってキャプチャされた１つまたは複数の画像に基づいてカメラの位置（例えば、クライアントデバイス上の）を評価するために、１つまたは複数のモデルを使用する。１つまたはモデルを使用することは、システムが１つまたは複数の画像内のライン接合部を検出し、３Ｄ空間と２Ｄ空間との間のライン接合部を投影して、それらがカメラの周囲の環境の３Ｄマップからのマップライン接合部に対応するかどうかを決定することを含む。ライン接合部とマップライン接合部との間の対応関係に基づいて、システムは空間内のカメラの位置を三角測量できる。この位置を使用して、システムは、クライアントデバイスを使用するゲームのプレイヤーが、現実世界におけるそれらの位置に対応する仮想世界における仮想要素または他の仮想情報を見得るように、平行現実ゲームのための１つまたは複数の画像を拡張できる。
［例示的なシステム］
図１は、一実施形態による、ＡＲコンピューティングシステム１００のブロック図である。ＡＲコンピューティングシステム１００は、ネットワーク１０４を介してアクセスされる要素と協働するクライアントデバイス１０２を含む。例えば、要素は、ＡＲデータを生成するように構成されたサーバデバイスのコンポーネントであり得る。図示された実施形態において、クライアントデバイス１０２はゲームエンジン１０６およびＡＲプラットフォーム１０８を含む。ゲームエンジン１０６はクライアントデバイス１０２のユーザがプレイするための平行現実ゲームをレンダリングする。ゲームエンジンはＵＮＩＴＹ（登録商標）ゲームエンジンまたは別の物理／レンダリングエンジンであり得る。ＡＲプラットフォーム１０８はクライアントデバイス１０２のカメラによってキャプチャされた画像データに対してセグメント化およびオブジェクト認識を実行し得る。
図１に示されるＡＲプラットフォーム１０８は、複合ビジョンモジュール１１０と、位置推定およびマッピングモジュール１１２と、マップ検索モジュール１１４と、ディープラーニングモジュール１１６とを含む。他の実施形態では、ＡＲプラットフォームは、トレーニングモジュールまたはオブジェクト認識モジュールなどの代替または追加のモジュールを含み得る。さらに、いくつかの実施形態では、ＡＲプラットフォームは要素とともにサーバデバイスに位置し、ネットワーク１０４を介してアクセスされ得る、または要素はＡＲプラットフォーム１０８に位置し得る。
複合コンピュータビジョンモジュール１１０は、クライアント側の画像処理を実行する。そのような画像処理は、画像セグメンテーション、ローカル３Ｄ推定などを含み得る。いくつかの実施形態では、複合コンピュータビジョンモジュール１１０は、画像を点群に変換する、または画像を処理して、画像に描写された特徴をクライアントデバイス１０２の周囲の環境の３Ｄマップに追加し得る。
位置推定およびマッピングモジュール１１２はクライアントデバイス１０２の周囲の環境をマッピングし、環境におけるクライアントデバイス１０２の位置を決定する。位置推定およびマッピングモジュール１１２は環境をマッピングするための複数のアプローチの１つまたは複数を使用し、クライアントデバイス１０２の位置を決定し得る。
位置推定およびマッピングモジュール１１２はクライアントデバイス１０２のカメラから１つまたは複数の画像（またはビデオなどの他の画像データ）を受信する。いくつかの実施形態では、位置推定およびマッピングモジュール１１２はクライアントデバイス１０２によってキャプチャされた他のセンサデータ（例えば、照明データ、画像データ、および／またはＧＰＳ座標）を受信し、位置推定およびマッピングモジュール１１２はクライアントデバイス１０２の位置を決定するために使用し得る。位置推定およびマッピングモジュール１１２はクライアントデバイス１０２が環境内を移動する際にリアルタイムで画像（およびセンサデータ）を受信し得る。
位置推定およびマッピングモジュール１１２は、受信された画像に基づいて環境内のクライアントデバイス１０２の位置を決定する。いくつかの実施形態では、位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２に位置する全地球測位システムから現実世界におけるクライアントデバイス１０２のＧＰＳ座標を受信する。位置推定およびマッピングモジュール１１２はこれらのＧＰＳ座標を使用してクライアントデバイス１０２の位置を表し得、またはこれらのＧＰＳ座標をクライアントデバイス１０２の一般的な位置の基準として使用して、１つまたは複数の他のモデルまたはシステムを使用してクライアントデバイス１０２のより正確な位置を決定し得る。
いくつかの実施形態において、位置推定およびマッピングモジュール１１２は、Simultaneous Localization and Mapping（ＳＬＡＭ）ソフトウェア開発キット（ＳＤＫ）関数を使用して、環境のマップを生成する。特に、ＳＬＡＭ ＳＤＫ機能は、環境のマップを形成するために使用される際の画像または他の画像データに基づいて点群を構築するマッピングシステムを含み得る。位置推定およびマッピングモジュール１１２は、マップをローカルに記憶し得る、またはマップをマップデータベース１２４に記憶し得る。マップに基づいて、位置推定およびマッピングモジュール１１２は空間におけるクライアントデバイス１０２の位置を見つけるためにトラッキングを使用し得る。位置推定およびマッピングモジュール１１２はさらに、ＳＬＡＭプロセスを使用して、クライアントデバイスのユーザに表示するために、１つまたは複数のアニメーションまたは拡張値を画像上に再投影する。例えば、クライアントデバイスの位置に基づいて、位置推定およびマッピングモジュール１１２は仮想世界からの１つまたは複数の仮想要素または他の情報を、見るべきユーザの画像に追加し得る。仮想要素などは図４に関連して説明される。
他の実施形態では、位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２の位置を決定するために利用可能な複数のモデルを有する。これらのモデルは、点群ベースのモデル（例えば、ＳＬＡＭによって提供されるような）、平面マッチングモデル、ラインマッチングモデル、地理情報システム（ＧＩＳ）モデル、建物認識モデル、および風景認識モデルを含み得る。位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２によってキャプチャされたセンサデータに基づいて、位置推定のためのモデルの１つまたは複数を選択し得る。例えば、平面およびラインマッチングモデルは屋内で最も正確であり得るが、風景および建物モデルは屋外で最も正確であり得る。したがって、クライアントデバイス１０２はセンサデータに基づいてクライアントデバイス１０２が屋内または屋外にあると決定し、位置推定のためのより効果的なモデルを選択し得る。
１つの例示的な実施形態では、位置推定およびマッピングモジュール１１２は、ライン接合部モデルを画像に適用して、クライアントデバイス１０２を位置推定する。特に、ライン接合部モデルは、１つまたは複数の画像内の１つまたは複数のライン接合部を識別する。ライン接合部は、画像内に示されるように、空間内の２つまたは複数のラインが交わる点である。例えば、デスクの正面の画像は、エッジ（例えば、ライン）が交わるデスク上の各角部におけるライン接合部を示し得る。いくつかの実施形態では、ライン接合部モデルは曲線などの画像内の他の特徴を識別し得る。
ライン接合部モデルは環境の３Ｄマップにアクセスする。３Ｄマップはクライアントデバイスにローカルに記憶またはネットワーク１０４を介してアクセスされるマップデータベース１２４に記憶され得る。３Ｄマップは３Ｄマップ内で既に識別されたライン接合部であるマップライン接合部またはラインおよび曲線などの他の特徴を含み得る。代替的に、マップ検索モジュール１１４はライン接合部モデルの３Ｄマップにアクセスし、３Ｄマップをライン接合部モデルに入力し得る。
ライン接合部モデルは、識別されたライン接合部（または、いくつかのケースでは、特徴）を３Ｄマップと比較して、対応するライン接合部（または特徴）を見つける。ライン接合部モデルによって見つけられた対応関係に基づいて、ライン接合部モデルは環境内のクライアントデバイス１０２の位置を決定する。クライアントデバイス１０２の位置を決定するためにライン接合部モデルによって使用されるプロセスは図２Ａ乃至図２Ｃに関連してさらに説明される。
一実施形態では、１つまたは複数のモデルを選択するために、位置推定およびマッピングモジュール１１２はモデルがクライアントデバイス１０２の正確な位置を生成する可能性を示すスコアを各モデルに割り当てる。スコアはセンサデータによって示されるようなクライアントデバイス１０２の現在の状況に基づいて決定され得る。位置推定およびマッピングモジュール１１２は、スコアおよび１組の選択基準に基づいて、位置推定のための１つまたは複数のモデルを選択する。例えば、クライアントデバイス１０２は、最高スコアを伴うモデル、３つの最高スコアモデル、または閾値を上回るスコアを伴う全てのモデルを選択し得る。
追加または代替として、位置推定およびマッピングモジュール１１２は、どのモデルが同様の場所において以前に選択されたかに基づいて、１つまたは複数のモデルを選択し得る。例えば、平面マッチングモデルが以前に正常に使用されたＧＰＳ座標の閾値内に、クライアントデバイス１０２のＧＰＳ座標がある場合、位置推定およびマッピングモジュール１１２は、別のモデルのスコアが平面マッチングモデルのスコアを閾値量だけ超えない限り、平面マッチングモデルのスコアを増す（boost）、または平面マッチングモジュールを選択し得る。同様に、特定のモデルが以前に選択され、正確な位置を提供することに失敗した場合、位置推定およびマッピングモジュール１１２はそのモデルのスコアを低減し得る。したがって、同様のＧＰＳ座標におけるモデルの成功および失敗は、ＧＰＳ座標によって提供されるよりも正確な位置（例えば、１センチメートル以内）を決定するために、位置推定およびマッピングモジュール１１２がどのモデル（１つまたは複数）を選択するかを知らせるために使用され得る。
同様に、位置推定およびマッピングモジュール１１２はセンサデータが示す位置におけるモデルの成功および失敗がクライアントデバイス１０２の現在位置と同様であると考え得る。例えば、位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２が現在屋内または屋外にあることをセンサデータが示すかどうかに基づいて、位置を屋内および屋外として分類し、いくつかのモデルを除外または選択し（あるいはそれらの対応するスコアを増加または減少させ）得る。同様に、位置推定およびマッピングモジュール１１２は照明レベルに基づいて１つまたは複数のモデルを選択し得る（例えば、１つのモデルは低照度条件において他のモデルに対して特に有効であり、したがって、クライアントデバイス１０２によって検出された照明レベルが閾値を下回る場合、優先的に選択され得る）。収集されたデータを使用して現在の条件において正確な結果を生成する可能性が最も高いモデルの選択を優先するためにどのモデル（単数または複数）を選択するかに影響を与え得る他の方法を、当業者は認識するであろう。
位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２のための潜在的な位置を生成するために、選択された１つまたは複数のモデルを適用し得る。単一のモデルのみが選択されたケースでは、位置推定およびマッピングモジュール１１２は、生成された位置をクライアントデバイス１０２の実際の位置に使用し得る。しかし、ＧＰＳ座標が利用可能である場合、モデルを使用して決定された位置がＧＰＳ座標から閾値量を超えて異なる場合、位置推定およびマッピングモジュール１１２は、追加のモデルを適用する、またはそうでなければ現在の位置を検証しようとし得る。
２つまたは複数のモデルが選択された場合、各モデルは、クライアントデバイス１０２の潜在的な位置を生成し得る。位置推定およびマッピングモジュール１１２は、潜在的な位置に基づいてクライアントデバイス１０２の現在の位置を決定する。一実施形態では、位置推定およびマッピングモジュール１１２は、モデルによって生成された位置の平均として現在の位置を計算する。別の実施形態では、位置推定およびマッピングモジュール１１２は、潜在的な位置の加重平均を使用する。例えば、位置推定およびマッピングモジュール１１２は、モデル選択フェーズからのそのスコアによって各モデルの寄与率（contribution）を重み付けし得る。代替的に、位置推定およびマッピングモジュール１１２は、特定のモデルを他のモデルよりも優先するように重み付けを事前設定し得る。さらなる実施形態では、位置推定およびマッピングモジュール１１２は、デバイスのＧＰＳ座標に最も密接に一致するものを採用するなど、他の方法で潜在的な位置を組み合わせ得る。
いくつかの実施形態では、位置推定およびマッピングモジュール１１２がクライアントデバイス１０２の位置を決定すると、位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２において提示される１つまたは複数の画像に対する仮想世界を描写するＡＲデータを検索する。例えば、位置推定およびマッピングモジュール１１２は、マップデータベース１２４（ローカルに記憶されている、またはネットワーク１０４を介してアクセスされるサーバデバイスに記憶されている）にアクセスして、画像に追加するために仮想世界から追加のもしくはより多くの仮想要素または他の情報を検索し得る。仮想要素などは図４に関連して説明される。
マップ検索モジュール１１４は以前に生成されたマップを検索する。例えば、マップ検索モジュール１１４は、ネットワーク１０４を介してマップデータベース１２４にアクセスし、マップデータベースから検索された情報を位置推定およびマッピングモジュール１１２などのクライアントデバイス１０２の１つまたは複数の他のモジュールに送信し得る。いくつかの実施形態では、マップ検索モジュール１１４はいくつかのマップ（例えば、ユーザの自宅位置のためのマップ）をローカルに記憶し得る。ディープラーニングモジュール１１６は、オブジェクト認識のために機械学習アルゴリズムを適用する。ディープラーニングモジュール１１６は、ネットワーク１０４を介してトレーニングした後に機械学習アルゴリズムを取得し得る。いくつかの実施形態では、ディープラーニングモジュール１１６はまた、さらなるモデルトレーニングを可能にするために、オブジェクト認識および／またはユーザフィードバックの結果を提供し得る。
示される実施形態では、ネットワーク１０４を介して（例えば、サーバコンピューティングデバイスにおいて）アクセスされるコンポーネントは、ワンワールドマッピングモジュール１２０、オブジェクト認識モジュール１２２、マップデータベース１２４、オブジェクトデータベース１２６、およびディープラーニングトレーニングモジュール１２８と通信するＡＲバックエンドエンジン１１８を含む。他の実施形態では、追加のまたは異なるコンポーネントが含まれ得る。さらに、機能は本明細書で説明されるものとは異なるように分散され得る。例えば、オブジェクト認識の機能の一部または全部はクライアントデバイス１０２において実行され得る。
ワンワールドマッピングモジュール１２０は、異なるローカルマップを一緒に融合して、複合現実世界マップを作成する。前述のように、マップを最初に生成したクライアントデバイス１０２からのＧＰＳ位置データは、隣接または重複している可能性のあるローカルマップを識別するために使用され得る。次いで、パターンマッチングを使用して、マップの重複部分または２つのローカルマップが互いに隣接していることを識別し得る（例えば、それらが同じオブジェクトの反対側の表現を含むため）。２つのローカルマップが重複または隣接していると決定された場合、２つのマップがどのように互いに関係するかを示すマッピングを記憶することができる（例えば、マップデータベース内に）。
オブジェクト認識モジュール１２２は、画像／オブジェクト情報および収集された３Ｄデータを使用して、データ内に表される現実世界内の特徴を識別する。このようにして、サーバ１０４は、例えば、椅子が３Ｄの位置にあることを決定し、その位置に関連付けられたオブジェクトデータベース１２６にアクセスする。ディープラーニングモジュール１２８は、マップ情報をオブジェクト情報と融合するために使用され得る。このようにして、システム１００は、オブジェクト認識のためにおよび融合のために、３Ｄ情報をマップに接続し直し得る。
マップデータベース１２４は、クライアントデバイス１０２によって生成されたマップデータを記憶するように構成された１つまたは複数のコンピュータ可読媒体を含む。マップデータは、ある位置においてクライアントデバイス１０２によって収集された画像および他のセンサデータに関連付けて記憶された３Ｄ点群のローカルマップを含むことができる。マップデータはまた、異なるローカルマップ間の地理的関係を示すマッピング情報を含み得る。同様に、オブジェクトデータベース１２６は、認識されたオブジェクトに関する情報を記憶するように構成された１つまたは複数のコンピュータ可読媒体を含む。例えば、オブジェクトデータベース１２６は、既知のオブジェクト（例えば、椅子、デスク、木、建物など）のリストを、それらのオブジェクトの特性とともに対応する位置とともに含み得る。特性はオブジェクトタイプに対して一般的であってもよく、またはオブジェクトの各インスタンスに対して具体的に定義され得る（例えば、全ての椅子は家具と見なされるが、それぞれの我々の位置は個別に定義され得る）。マップデータベース１２４およびオブジェクトデータベース１２６は単一のエンティティとして示されているが、それらは複数のデバイスにおいて複数の記憶媒体にわたって分散され得る（例えば、分散データベースとして）。
［例示的なライン接合部モデル］
位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２を、それがキャプチャする１つまたは複数の画像に基づいて、位置推定するために３Ｄマップを使用するライン接合部モデルを採用し得る。以下の段落は、モデルの一実施形態がどのように定義され、数学的に適用されるかを説明する。
１．３Ｄ接合部をパラメータ化
図２Ａは一実施形態による３Ｄライン接合部の一例を示す。ライン接合部は、点Ｑと、方向ベクトル（または、いくつかの実施形態では、ラインもしくはラインセグメント）Ｄ1およびＤ2とを含む。各方向ベクトルは単位ベクトルであり、長さ１を有する。各３Ｄライン接合部は７つの自由度を有し、点Ｑの３つは３Ｄ空間におけるその位置を表し、２つは単位ベクトルであるため、それらは各方向ベクトル（Ｄ1およびＤ2）に対するものである。
制約された最適化を回避するために、ライン接合部モデルは、以下のように２つの方向ベクトルをパラメータ化し、ここで、Ｘ、Ｙ、Ｚは、３次元空間における方向ベクトルの座標を表し、θは＋Ｚ軸からの角度が増加する方向を表し、αは＋Ｚ軸から反時計回りにＸ－Ｙ平面における角度が増加する方向を表し、
Ｄ1＝（Ｘ1，Ｙ1，Ｚ1）＝（ｃｏｓθ1ｃｏｓα1， ｃｏｓθ1ｓｉｎα1， ｓｉｎθ1）
Ｄ2＝（Ｘ2，Ｙ2，Ｚ2）＝（ｃｏｓθ2ｃｏｓα2， ｃｏｓθ2ｓｉｎα2， ｓｉｎθ2）
となる。単位ベクトルのノルムは１であるので、次いで、
（ｃｏｓθｃｏｓα）2＋（ｃｏｓθｓｉｎα）2＋（ｓｉｎθ）2
＝ｃｏｓ2θ（ｃｏｓ2α＋ｓｉｎ2α）＋ｓｉｎ2θ
＝ωｓ2θ＋ｓｉｎ2θ
＝１ （１）
となる。したがって、ライン接合部モデルは、３Ｄライン接合部を７ベクトル（θx、θy、θz、θ1、α1、θ2、α2）としてパラメータ化できる。
２．３Ｄ接合部を２Ｄ空間に投影
ライン接合部モデルは、３Ｄライン接合部を２Ｄ空間に投影して、図２Ｂに示すように、２つの交差するライン（Ｌ1およびＬ2）を得る。特に、点Ｑ、１つの方向ベクトルＤ1、およびカメラ姿勢（Ｒ、Ｔ）を使用して、２Ｄライン関数はライン上の２つの別個の点（Ｐ1およびＰ2）の外積として定義され、以下の式
Ρ1∧Ρ2
～（ＲＱ＋Ｔ）∧（Ｒ（Ｑ＋Ｄ1）Ｔ）
～（ＲＱ＋Ｔ）∧（ＲＱ＋Ｔ＋ＲＤ1）
～（ＲＱ＋Ｔ）∧（ＲＱ＋Ｔ）＋（ＲＱ＋Ｔ）∧（ＲＤ1）
～（ＲＱ＋Ｔ）∧（ＲＤ1）
～Ｒ（Ｑ∧Ｄ1）＋Ｔ∧ＲＤ1
～（ＲＱx＋ＴxＲ）Ｄ1 （２）
を導き、ここで、Ｐ1、Ｐ2は直線上の２つの点であり、∧はクロス積（cross product）であり、Ｑx、ＴxはベクトルＱおよびＴの歪対称行列（the skew-symmetric matrices）である。
したがって、２Ｄ射影は方向ベクトルＤ1について、（ＲＱx＋ＴxＲ）Ｄ1である。ライン接合部モデルは方向ベクトルＤ2の２Ｄ投影を導出するために同じプロセスを使用し得る。
３．再投影エラー
ライン接合部モデルは、１つまたは複数の画像内のキーラインを決定して、３Ｄライン接合部から２Ｄ投影を作成する際のエラーを決定する。キーラインは、画像内の異なる色の領域を分離する境界線である。２Ｄ投影はライン関数であるので、ライン接合部モデルは、検出されたキーラインの両方の端点からの点とラインの距離を比較できる。４つの端点が、２つのキーライン上でそれぞれｕ、ｖ、ｘ、およびｙとして示される場合、ライン接合部モデルはそれぞれの距離を決定し得る。ｕを一例にとると、距離は
Figure 2023507498000002
であり、ここでＬ＝（Ａ、Ｂ、Ｃ）は２Ｄライン投影の２Ｄライン方程式であり、ｄ2＝Ａ2＋Ｂ2であり、
Ｌ＝（ＲＱx＋ＴxＲ）Ｄ（３）
である。
Ｌ1およびＬ2がそれぞれ２つの３Ｄラインの２Ｄ投影である場合、実際の残差は、以下
Figure 2023507498000003
のような４ベクトルである。
４．最適化設定
２Ｄ投影の設定を最適化するために、ライン接合部モデルは非制約最小化問題（an unconstrained minimization problem）を解いて、環境内のクライアントデバイス１０２（例えば、カメラ）の位置を決定しなければならない。非線形性に起因して、一実施形態では、ライン接合部モデルはLevenberg-Marquardt（または「ＬＭ」）ソルバを使用する。一般的な更新のステップは、以下のように、
ΔΡ＝－（ＪTＪ＋λＩ）-1Ｊtｒ
であり、ここで、Ｊは再投影エラーのヤコビアンであり、ｒは残差であり、λはreq項である。
１つまたは複数の画像は、複数のランドマーク（例えば、ライン接合部、点群、ラインなど）を含み、典型的な画像には多くのランドマークがあるので、ライン接合部モデルは、設定を最適化するために交互方向のアプローチを使用し得る。これは、ライン接合部モデルが、すべての他の変数を固定しながら、一度に１つのランドマークまたは画像のフレームについてのステップを計算することを可能にする。このアプローチの利点はヤコビアン行列が比較的小さいサイズを有することであり、これはライン接合部モデルのためのより高速な計算につながる。
一実施形態では、最適化のためにライン接合部モデルが後に続くパイプラインは、以下、
収束していないが
各ランドマークについて、
ＬＭステップを計算する
ランドマークを更新する
各フレームについて、
ＬＭステップを計算する
フレームを更新する
のように要約できる。
ライン接合部モデルは、以下で説明されるように、各変数についてヤコビアンを最適化および計算するために、このプロセスを使用する。これらの導出はライン接合部モデルに関して説明されるが、いくつかの実施形態では、ライン接合部モデルは、適用されるたびにこれらの導出を完了し得ない、またはライン接合部モデルは、導出自体を完了するのではなく、クライアントデバイス１０２の位置を決定するために、結果として生じる方程式のみを使用し得る。
５．ヤコビアン－３Ｄ接合部－接合点Ｑ
Ｑ、ＪQに対するヤコビアンを計算するために、ヤコビアンは、４ｋ ｘ ３のサイズであるべきであり、ここで、ｋは、１つまたは複数の画像におけるフレームの数である。各フレームｋに対して、残差ｒｋは以下
Figure 2023507498000004
である。
残差ｒｋから、ライン接合部モデルは、各フレームｋについてヤコビアンＪQを導出することができ、
Figure 2023507498000005
である。
第１の行を一例にとると、他の行も同様に分析することができ、
Figure 2023507498000006
とする。Ａ＝－ＲＤxＱ，Ｂ＝ＴxＲＤ（９）とする。
ここで（８）および（９）に従って、
Figure 2023507498000007
であり、
Figure 2023507498000008
とする。ここで、
Figure 2023507498000009
であるので、
Figure 2023507498000010
である。
したがって、これらの方程式を使用して、ライン接合部モデルは、ヤコビアンＪKの第１の行について解き、同様に他の行について解き得る。
６．ヤコビアン－３Ｄ接合部－接合方向Ｄ1、Ｄ2
ライン接合部モデルは、Ｄ1およびＤ2のヤコビアンを計算する。例として、Ｄ1を使用すると、Ｄ2の導出は実質的に同一であるので、ライン接合部モデルは、上記のセクション５で説明したように、残差およびヤコビアン次元から開始する。残差は式（６）と同一であり、一方でヤコビアンは、
Figure 2023507498000011
である。
セクション５とは異なり、
Figure 2023507498000012
は全て０である。したがって、ライン接合部モデルは、ＪKのサイズをＲ2x2に低減し、残差ｒkのサイズをＲ2x1に低減できる。
さらに、ライン接合部モデルは、導関数（derivatives）の連鎖にもう１つのステップを追加し、
Figure 2023507498000013
とする。前述したものと同様のアプローチを使用することは、（θ1、Ｑ2、α1、∂2）に対するヤコビアンを与え、それらを組み合わせることは、１つのフレームに対する完全なヤコビアンＪk－Ｒ4x7を与える。
６．ヤコビアン－Ｒ、Ｔ
ヤコビアン行列Ｒを導出することは、Ｔに対するヤコビアン行列を導出することよりもライン接合部モデルに対してより多くの作業を伴う。ライン接合部モデルは、
Figure 2023507498000014
３つのオイラー角に関するヤコビアンを決定することを目的とする。
オイラー角から回転行列への変換を定義することは、
Figure 2023507498000015
をもたらし、ここで、
Figure 2023507498000016
である。Ｒが展開されると、
Figure 2023507498000017
である場合、ライン接合部モデルは
Figure 2023507498000018
を得る。
以下のステップは、オイラー角に関する導関数を計算するとき、連鎖律（the chain rule）の内側で、ライン接合部モデルが余分なステップを挿入し、それが
Figure 2023507498000019
であることを除いて、セクション５および６と同様である。
計算後。
Figure 2023507498000020
である。
接合部三角測量
上記で導出された式を使用して、ライン接合部モデルは、１つまたは複数の画像が与えられた環境におけるカメラ（例えば、クライアントデバイス１０２）の姿勢（位置および方向）を決定できる。一実施形態では、ライン接合部モデルは、３Ｄマップを使用して、３Ｄライン接合部のための頂点として使用される３Ｄマップ内の端点を決定する。ライン接合部モデルは、端点が１つまたは複数の画像に反映されるかどうかを決定するために、予測された姿勢を使用して端点を３Ｄから２Ｄに投影する。投影にエラーがあるので、ライン接合部モデルは、再投影エラーを低減するために、再投影エラーを計算し、１つまたは複数の画像についてのカメラの予測された姿勢（１つまたは複数の）を更新する。複数の反復についてカメラ姿勢を変化させることによって、ライン接合部モデルは、計算されたエラーが閾値未満になるまで、カメラの姿勢のその推定を収束させ得る。ライン接合部モデルは、この決定された位置を環境内のカメラの位置として使用する。
ライン接合部モデルは、上記の式を使用して環境内のカメラの位置を決定する。具体的には、Ｋ個のフレームと、カメラの内部パラメータおよび外部パラメータとが与えられると、
Figure 2023507498000021
と表され、ここで、Ｍiは
Figure 2023507498000022
の形式を有し、Ｐiは、
Figure 2023507498000023
の形式を有し、各フレーム上には、２つの２Ｄライン方程式と１つの交点（図２ＡのＱまたは図２ＢのＰに類似）とから構成される２Ｄライン接合部Ｊi＝（ｌi1、ｌi2、Ｐi）があり、ここで２つのラインが交わる。
２Ｄラインの方程式は、カメラの中心とラインの２つの端点とを接続することによって張られる、３Ｄ空間内の２Ｄラインの法線ベクトルであることに留意されたい。全てのカメラが較正を伴うと仮定することによって、ライン接合部モデルはカメラ座標で機能できる。例えば、Ji-（li1、li2、Pi）は全てカメラ座標システム内にある。
ライン接合部のＫ個の対応関係が与えられると、ライン接合部モデルの目標は、対応を３Ｄ空間に三角測量して、３Ｄライン接合部を取得することとなる。ライン接合部モデルは、任意の適切な３Ｄ点三角測量法を使用し得る（例えば、２Ｄおよび３Ｄ接合点を使用する）。一実施形態では、３Ｄライン接合部は、Ｊ－（Ｌ1、Ｌ2、Ｐ）として定義されることができ、Ｌ1、Ｌ2は、２つの方向を示す２つの単位ベクトルであり、Ｐは、２つの３Ｄラインが３Ｄ空間内で交わる接合点である。
２つの２Ｄラインとは異なり、２つの３Ｄラインは、それらが平行でないかどうかにかかわらず交差しない可能性がある。しかし、一実施形態では、ライン接合部モデルは、それらの２つの３Ｄラインが交差するという制約を強制し、ライン接合部モデルが２つの方向ベクトルおよび１つの点を使用して３Ｄライン接合部を表すことを可能にする。２つの方向ベクトルは、前述したように単位ベクトルであるので、この表現は７つの自由度を有する。これは図２Ｃによって表され、これは、世界空間２２０内の点ＰとラインＬ1およびＬ2とを有する３Ｄライン接合部に対する、カメラ空間２１０内の点Ｐiとラインｌi1およびｌi2を有する２Ｄライン接合部を示す。ライン接合部モデルまたは位置推定およびマッピングモジュール１１２は、１つまたは複数の画像を頂点（点）およびエッジ（ライン）のグラフに投影することによって、図２Ｃに類似する環境の表現を作成し、その表現を使用してライン接合部を識別し得る。
［３Ｄから２Ｄへ］
図２Ｃは、３Ｄライン接合部が２Ｄライン接合部にどのように関連するかを示す。カメラ中心Ｏi、画像のフレーム上の２Ｄライン接合部の点Ｐi、およびラインｌ上の任意の点は、クライアントデバイス１０２のカメラに対するカメラ空間２１０内の平面２００を与える。平面２００の法線ベクトルは、ラインｌに対する方程式ｌi1である。
フレームｉのライン１上の任意の点ｑiおよびライン２上のｓiを見つけるために、
Figure 2023507498000024
となる。ｘiとして示される、｛Ｏi、Ｐi、ｑi｝によって張られた平面上の任意の点は、
Figure 2023507498000025
である。
方向ベクトルもこの平面上の点を表すが、カメラ空間２１０ではなく世界空間２２０内にあることに留意されたい。Ｌ1をフレームｉ上のカメラ空間２１０にもたらすために、ライン接合部モデルは、以下の変換
ｑi＝ＲiＬ1＋ｔi
を使用する。しかし、Ｌ1は方向ベクトルであるので、変換（translation）は無視することができ、その結果、
Figure 2023507498000026
となる。
式（２）および（３）を組み合わせることは、以下
Figure 2023507498000027
に示すように、３Ｄライン接合部方向ベクトルと２Ｄラインとの間の直接的な関係が得られる。これは、すべてのフレームｉ＝１，．，Ｋに当てはまる。
点Ｐを、
Ｐi＝ＲiＰ＋ｔi
（５）
を使用して、世界空間２２０からカメラ２２０空間に転送できる。フレーム上のその画像は、両方の２Ｄラインと同時に交差するはずであるため、式（２）および（５）を組み合わせると、
Figure 2023507498000028
が得られる。
［２Ｄから３Ｄへ］
式（４）および（６）は、２Ｄ接合部の対応関係から３Ｄ接合部を解くための式を与える。
Figure 2023507498000029
２つのｋｘ３行列とする。
式（４）によれば、これは、
Figure 2023507498000030
である。
Ｌ1およびＬ2は両方とも単位ベクトルであるので。
Figure 2023507498000031
であり、ライン接合部モデルは、特異値分解（ＳＶＤ）をＮ1およびＮ2に適用して、
Figure 2023507498000032
 とすることができ、ここで、Ｌ1は最小特異値に関連づけられた特異ベクトルとし、Ｌ2についても同様とする。
式（６）によれば、
Figure 2023507498000033
とし、
Figure 2023507498000034
とすると、ライン接合部モデルは、ＮＰ＝ｂの最小二乗解（the least square solution）を見つけることによってＰを解くことができる。したがって、
Figure 2023507498000035
である。
ライン接合部モデルは、カメラ（例えば、クライアントデバイス１０２）が環境を動き回り、より多くの画像をキャプチャするので、上記で説明したプロセスを使用し、カメラのロケーションを何度も計算し得る。
［例示的なデータフロー］
図３は、一実施形態による、ＡＲデータを生成および表示するためにクライアントデバイス１０２およびサーバデバイスによって実行されるプロセスを示すフローチャートである。クライアントデバイス１０２およびサーバデバイス（集合的に、「デバイス」）は、図１に示されるものと同様であり得、サーバデバイスは、ネットワーク１０４によってクライアントデバイス１０２に接続される要素によって表される。破線は、クライアントデバイス１０２とサーバデバイスとの間のデータの通信を表し、一方、実線は、デバイスの１つの中のデータの通信を示す。他の実施形態では、機能はデバイス間で異なるように分散され得る、および／または異なるデバイスが使用され得る。
３０２にて、センサデータは、クライアントデバイス１０２上の１つまたは複数のセンサによってクライアントデバイス１０２において収集される。一実施形態において、センサデータは、画像および慣性測定情報を含む。画像は、１つまたは複数のカメラによってキャプチャされる。慣性測定情報は、クライアントデバイス１０２上の全地球測位システム（例えば、ＧＰＳ）およびジャイロスコープ／加速度計モジュールを使用して収集され得る。圧力レベル、照明レベル、音レベル、オーディオデータなどの追加のセンサデータが収集され得る。
クライアントデバイス１０２は、３０４にてローカルマップストレージを維持し得る。ローカルマップストレージは、図１に示される位置推定およびマッピングモジュール１１２に、またはクライアントデバイス１０２における別の位置に、含まれ得る。ローカルマップストレージはローカルの点群データを含む。点群データは、１つまたは複数の環境の３Ｄマップ内に構築できるメッシュ表面を形成する空間における位置を含み、これはまた、ローカルマップストレージに記憶され得る。
マップが３０６にて初期化される場合、クライアントデバイス１０２は、３０８にて、位置推定およびマッピングモジュール１１２においてＳＬＡＭ機能を開始し得る。ＳＬＡＭ機能は、点群を構築し、トラッキングを使用して、空間内のカメラ（例えば、クライアントデバイス１０２上の）の位置を見つける、マッピングシステムを含む。例示的なＳＬＡＭプロセスはさらに、アニメーションまたは拡張された値を現実世界に再投影する。３０４にてローカルマップストレージに記憶され得るマップが３１０にて位置していない場合、クライアントデバイス１０２は、３１２にて初期化モジュールを使用してマップを作成する。
３１４にて環境内の新規の視点が検出された場合（例えば、マッピング／画像化されていないエリアに曲がり角を曲がる場合、または重複があり、現実世界の現在見える部分のすべてがマッピング／画像化されているわけではない場合）、クライアントデバイス１０２は、３１６にて、クライアントデバイス１０２におけるローカル環境推論（a local environment inference）によって収集されたデータを記録し得る。例えば、クライアントデバイス１０２が現在新規の視点を有すると決定すると、その視点でカメラによってキャプチャされた画像がサーバデバイスに送信され得る。ローカル環境推論は、クライアントデバイス１０２とサーバデバイスとの間で３Ｄデータを有する画像をいつどのように送信するかを決定するために使用され得る。ローカル環境推論は、ローカルマッピングシステム（例えば、位置推定およびマッピングモジュール１１２）のための更新されたキーフレームと、シリアル化された画像および／またはマップデータとを含み得る。
アクションがサーバデバイスによって実行されるサーバ側では、３１８において、新規の視点データ（例えば、メッシュデータを上部に有する点群情報を有する）がクラウドマップストレージに記憶され得る。サーバデバイスは、記憶されたクラウドマップストレージ３２０およびオブジェクトデータベース３２２からの現実世界のマップの異なる部分を追加し得る。クラウド環境推論３２４（クライアントデバイス１０２によってキャプチャされ、サーバデバイスによって処理された追加データを含む）は、クライアントデバイス１０２に送り返され得る。追加データは、ポイントおよびメッシュ、ならびに３０４においてローカルマップストレージに記憶されるセマンティックラベル（例えば、壁またはベッド）を有するオブジェクトデータを含み得る。
［仮想世界の概念図］
図４は、一実施形態による、位置ベースの並行現実ゲームのプレイヤーのためのゲームボードとして機能できる、現実世界４００と並行する仮想世界４１０の概念図を示す。図１のクライアントデバイス１０２は、図４に示すように、現実世界４００に対応する仮想世界４１０を有する並行現実ゲーム（または他の位置ベースのゲーム）をホストし得る。
図示されるように、仮想世界４１０は、現実世界４００の地理と平行な地理を含むことができる。特に、現実世界４００内の地理的なエリアまたは空間を定義する座標の範囲は、仮想世界４１０内の仮想空間を定義する対応する座標の範囲にマッピングされる。現実世界４００内の座標の範囲を、町、近隣、都市、キャンパス、ロケール、国、大陸、地球全体、または他の地理的エリアに関連付けることができる。地理的な座標の範囲内の各地理的座標は、仮想世界内の仮想空間内の対応する座標にマッピングされる。
仮想世界４１０内のプレイヤーの位置は、現実世界４００内のプレイヤーの位置に対応する。例えば、現実世界４００内の位置４１２に位置するプレイヤーＡは、仮想世界４１０内の対応する位置４２２を有する。同様に、現実世界内の位置４１４に位置するプレイヤーＢは、仮想世界内の対応する位置４２４を有する。プレイヤーが現実世界４００内の地理的座標の範囲内で動き回ると、プレイヤーは、仮想世界４１０内の仮想空間を定義する座標の範囲内でも動き回る。特に、プレイヤーによって携行されるクライアントデバイス１０２に関連付けられた測位システム（例えば、ＧＰＳシステムまたは位置推定およびマッピングモジュール１１２によって使用される他のシステム）を使用して、プレイヤーが現実世界内の地理的座標の範囲をナビゲートする際にプレイヤーの位置をトラッキングできる。現実世界４００におけるプレイヤーの位置に関連付けられたデータは、仮想世界４１０における仮想空間を定義する座標の対応する範囲におけるプレイヤーの位置を更新するために使用される。このようにして、プレイヤーは、現実世界４００内の特定の離散位置における位置情報をチェックインまたは定期的に更新する必要なく、現実世界４００内の地理的座標の対応する範囲の間を単に移動することによって、仮想世界４１０内の仮想空間を定義する座標の範囲内の連続トラッキングをナビゲートできる。
平行現実ゲームは、仮想世界４１０内の様々な仮想位置に分散する様々な仮想要素および／または仮想オブジェクトまで移動するおよび／またはそれらと対話することをプレイヤーに要求する複数のゲームの目標を含むことができる。プレイヤーは、現実世界４００内の仮想要素またはオブジェクトの対応する位置に移動することによって、これらの仮想位置に移動できる。例えば、クライアントデバイス１０２の測位システムは、プレイヤーが現実世界４００を連続的にナビゲートすると、プレイヤーは並行仮想世界４１０も連続的にナビゲートするように、プレイヤーの位置を連続的にトラッキングできる。次いで、プレイヤーは、１つまたは複数のゲームの目標を達成または実行するために、特定の位置で様々な仮想要素および／またはオブジェクトと対話できる。
例えば、図４を参照すると、ゲームの目標は、プレイヤーに、仮想世界４１０内の様々な仮想位置に位置する仮想要素４３０の所有権を獲得または主張することを要求できる。これらの仮想要素４３０は、現実世界４００内のランドマーク、地理的位置、またはオブジェクト４４０にリンクできる。現実世界のランドマークまたはオブジェクト４４０は、芸術作品、モニュメント、建物、企業、図書館、博物館、または他の適切な現実世界のランドマークもしくはオブジェクトとできる。これらの仮想要素４３０をキャプチャするために、プレイヤーは、現実世界における仮想要素４３０にリンクされたランドマーク、地理的位置、またはオブジェクト４４０に移動しなければならず、仮想世界４１０における仮想要素４３０との任意の必要な相互作用を実行しなければならない。例えば、図４のプレイヤーＡは、クライアントデバイス１０２を介して、その特定のランドマーク２４０にリンクされた仮想要素４３０と対話する、またはそれをキャプチャするために、現実世界４００内のランドマーク４４０に移動しなければならない。仮想要素４３０との相互作用は、写真を撮ること、および／または仮想要素４３０に関連付けられたランドマークもしくはオブジェクト４４０に関する他の情報を検証、取得、もしくはキャプチャすることなど、現実世界４００におけるアクションを必要とし得る。
ゲームの目標は、平行現実ゲームにおいてプレイヤーによって収集される１つまたは複数の仮想アイテムを使用することを、プレイヤーに要求する可能性がある。例えば、プレイヤーは、ゲームの目標を達成するために有用であり得る仮想アイテム（例えば、武器または他のアイテム）を求めて仮想世界４１０を移動しなければならない場合がある。これらの仮想アイテムは、現実世界４００内の異なる場所に移動することによって、または仮想世界４１０もしくは現実世界４００のいずれかにおいて様々なアクションを完了することによって、見出される、または収集されることができる。図４に示される例では、プレイヤーは、仮想アイテム４３２を使用して、１つまたは複数の仮想要素４３０をキャプチャする。特に、プレイヤーは、仮想要素４３０に近接する仮想世界４１０内の位置に仮想アイテム４３２を展開できる。仮想要素４３０に近接する１つまたは複数の仮想アイテム４３２を展開することは、特定のプレイヤーまたは特定のプレイヤーのチームおよび／もしくは陣営（faction）のための仮想要素４３０のキャプチャをもたらすことができる。
１つの特定の実施形態では、プレイヤーは、平行現実ゲームの一部として仮想エネルギーを収集しなければならない場合がある。図４に示されているように、仮想エネルギー４５０を仮想世界２１０内の異なる位置に分散させることができる。プレイヤーは、現実世界４００内の仮想エネルギー４５０の対応する位置に移動することによって、仮想エネルギー４５０を収集できる。仮想エネルギー４５０は、仮想アイテムに動力を供給するために、および／または平行現実ゲーム内の様々なゲームの目標を実行するために使用できる。すべての仮想エネルギー４５０を失ったプレイヤーは平行現実ゲームから接続を断たれる可能性がある。
本開示の態様によれば、平行現実ゲームを、平行現実ゲーム内のすべての参加者が同じ仮想世界を共有する大規模なマルチプレイヤー位置ベースゲームとすることができる。プレイヤーは別個のチームまたは陣営に分割されることができ、仮想要素４３０の所有権を獲得または主張するなど、１つまたは複数のゲームの目標を達成するために協働できる。このようにして、平行現実ゲームは、本質的に平行現実ゲーム内のプレイヤー間の協力を促すソーシャルゲームとすることができる。対戦するチームからのプレイヤーは平行現実ゲーム中に互いに妨害できる。プレイヤーは仮想アイテム４３２を使用して、対戦するチームのプレイヤーを攻撃するまたはその進行を妨げることができる。
平行現実ゲームは、平行現実ゲーム内のゲームプレイを向上させ、促すための様々な特徴を有することができる。例えば、プレイヤーは、平行現実ゲーム全体にわたって使用できる仮想通貨または他の仮想報酬を蓄積できる。プレイヤーは、１つまたは複数のゲームの目標を完了し、平行現実ゲーム内で経験を得るにつれて、様々なレベルに進むことができる。プレイヤーは平行現実ゲーム内に設けられた１つまたは複数の通信インターフェースを介して互いに通信できる。プレイヤーはまた、平行現実ゲーム内でゲームの目標を完了するために使用できる強化された「パワー」または仮想アイテム４３２を取得できる。当業者であれば、本明細書で提供される開示を使用して、本開示の範囲から逸脱することなく、様々な他のゲーム機能を平行現実ゲームに含めることができることを理解するはずである。
［例示的な方法］
図５は、一実施形態による、環境内のカメラの位置を決定するためのプロセス（または「方法」）を示すフローチャートである。図５のステップは、プロセス５００を実行するクライアントデバイス１０２の観点から示されている。しかし、ステップの一部または全部は、サーバデバイスなど、他のエンティティまたはコンポーネントによって実行され得る。加えて、いくつかの実施形態は、ステップを並行して実行、ステップを異なる順序で実行、または異なるステップを実行し得る。
図５に示される実施形態では、プロセス５００は、クライアントデバイス１０２のカメラによってキャプチャされた画像をクライアントデバイス１０２が受信する（５１０）ことから始まる。いくつかの実施形態では、クライアントデバイス１０２は、ビデオ、オーディオ、光レベル、音レベル、慣性データ、方位、圧力、および／または任意の他の利用可能なデータを含む追加のセンサデータをセンサから受信し得る。クライアントデバイス１０２は画像内の特徴を識別する（５２０）。特徴は、ライン接合部、ライン、曲線、または画像内に見出される任意の他の特徴であり得る。
クライアントデバイス１０２は、マップデータベース１２４から環境の３Ｄマップを検索する。３Ｄマップは、１つまたは複数のカメラによってキャプチャされた環境の画像データと、画像データがキャプチャされたときの１つまたは複数のカメラの相対位置と、を使用して、クライアントデバイス１０２またはサーバデバイスによって作成され得る。クライアントデバイス１０２は識別された特徴を、マップライン接合部、マップライン、マップ曲線などのマップ特徴を含む環境の３Ｄマップと比較する（５３０）。クライアントデバイス１０２は画像から識別された特徴（５２０）とマップ特徴との間の対応関係を識別する（５４０）。いくつかの実施形態では、クライアントデバイス１０２は、識別された特徴（５２０）および３Ｄマップにパターンマッチングを適用して、識別された特徴（５２０）および３Ｄマップが重複または隣接する（例えば、対応する）かどうかを決定し得る。クライアントデバイス１０２は対応関係に基づいてクライアントデバイス１０２の位置を決定する（５５０）。位置は平行現実ゲームのための仮想世界における位置に対応する現実世界の位置であり得る。位置がサーバデバイスにおいて決定された場合、サーバデバイスは、プレイヤーがディスプレイを介して見るために、仮想世界における位置の視点をクライアントデバイス１０２に送信し得る。
いくつかの実施形態では、クライアントデバイス１０２は、他の位置推定モデルを選択および適用して、クライアントデバイス１０２のための潜在的な位置を生成し得る。例えば、各モデルは、潜在的な位置を出力し得る。潜在的な位置は、ローカルマップ内の座標システムに基づいて定義され得る（例えば、クライアントデバイス１０２のＧＰＳ座標に基づいて選択されるように）。例えば、ＧＰＳ座標はクライアントデバイス１０２が建物の中のどこかにある可能性が高いことを示し得、したがって、その建物のためのローカルマップが使用される。クライアントデバイス１０２は、決定された（５５０）位置を潜在的な位置と比較して、建物内のクライアントデバイス１０２のより正確な位置を決定し得る（例えば、１センチメートルの精度を目指す）。いくつかの実施形態では、クライアントデバイス１０２は、潜在的な位置に基づいて決定された（５５０）位置を変更し得る、または決定された（５５０）位置を潜在的な位置と組み合わせて、クライアントデバイス１０２の新しい位置を生成し得る。さらに、決定された（５５０）位置および潜在的な位置から新しい位置を生成するために、平均、重み付けされた組合せ、または他の適切な技術が使用され得る。
さらに、クライアントデバイス１０２は、センサデータに基づいて、実行可能性について決定された（５５０）位置をチェックし得る。例えば、クライアントデバイス１０２は、決定された（５５０）位置がＧＰＳ座標によって示される位置の閾値距離内にあるかどうか、画像内で検出された照明レベルが決定された（５５０）位置に対する予想と一致するかどうか、クライアントデバイス１０２によってキャプチャされた画像が同様の位置でキャプチャされた他の画像と一致するかどうか、などを決定し得る。
いくつかの実施形態では、クライアントデバイス１０２は平行現実ゲームにおいてクライアントデバイス１０２に接続された追加のクライアントデバイスから１つまたは複数の追加の画像を受信し得る。追加の画像は環境内のクライアントデバイス１０２を示し得、クライアントデバイス１０２はこれらの追加の画像を使用してクライアントデバイスの位置を決定し得る。
［コンピューティングマシンアーキテクチャ］
図６は、クライアントデバイス１０２またはサーバとして使用するのに適した例示的なコンピュータ６００を示す高レベルブロック図である。例示的なコンピュータ６００は、チップセット６０４に結合された少なくとも１つのプロセッサ６０２を含む。チップセット６０４は、メモリコントローラハブ６２０と、入力／出力（Ｉ／Ｏ）コントローラハブ６２２とを含む。メモリ６０６およびグラフィックアダプタ６１２は、メモリコントローラハブ６２０に結合され、ディスプレイ６１８は、グラフィックアダプタ６１２に結合される。ストレージデバイス６０８、キーボード６１０、ポインティングデバイス６１４、およびネットワークアダプタ６１６はＩ／Ｏコントローラハブ６２２に結合される。コンピュータ６００の他の実施形態は異なるアーキテクチャを有する。
図６に示される実施形態では、ストレージデバイス６０８は、ハードドライブ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、またはソリッドステートメモリデバイスなどの非一時的コンピュータ可読記憶媒体である。メモリ６０６は、プロセッサ６０２によって使用される命令およびデータを保持する。ポインティングデバイス６１４は、マウス、トラックボール、タッチスクリーン、または他のタイプのポインティングデバイスであり、コンピュータシステム６００にデータを入力するためにキーボード６１０（オンスクリーンキーボードであり得る）と組み合わせて使用される。グラフィックアダプタ６１２は、ディスプレイ６１８上に画像および他の情報を表示する。ネットワークアダプタ６１６は、コンピュータシステム６００を１つまたは複数のコンピュータネットワークに結合する。
図１のエンティティによって使用されるコンピュータのタイプは、実施形態およびエンティティによって必要とされる処理能力に応じて変化できる。例えば、サーバは、説明された機能を提供するために協働する複数のブレードサーバを含む分散データベースシステムを含み得る。さらに、コンピュータは、キーボード６１０、グラフィックアダプタ６１２、およびディスプレイ６１８など、上記で説明したコンポーネントのいくつかを欠くことができる。
当業者は、説明された概念から逸脱することなく、の多数の使用および修正、ならびに本明細書に開示された装置および技術からの逸脱を行うことができる。例えば、本開示において例示または説明されるコンポーネントまたは特徴は、図示または説明される場所、設定、またはコンテキストに限定されない。本開示による装置の例は、前述の図の１つまたは複数を参照して説明されるすべての、より少ない、または異なるコンポーネントを含むことができる。したがって、本開示は、本明細書で説明する特定の実施形態に限定されるべきではなく、発行され得る任意の特許請求の範囲およびその均等物と一致する可能な限り最も広い範囲が与えられるべきである。
現実世界の少なくとも一部と並行する共有された仮想世界を提供し得る並行現実ゲームは、プレイヤーのコミュニティを引き付けることができる様々な相互作用をホストできる。仮想世界に現実世界の少なくとも一部と並行する地理を提供することは、プレイヤーが現実世界をナビゲートすることによって仮想世界をナビゲートすることを可能にする。プレイ中、プレイヤーは、コンピュータ媒介現実技術を使用して、プレイヤーの環境の視覚的または聴覚的知覚を加算、減算、または他の方法で変更するハンドヘルドまたはウェアラブルデバイス全体にわたって仮想世界を見得る。
一実施形態において、システムは、カメラによってキャプチャされた１つまたは複数の画像に基づいてカメラの位置（例えば、クライアントデバイス上の）を評価するために、１つまたは複数のモデルを使用する。１つまたは複数のモデルを使用することは、システムが１つまたは複数の画像内のライン接合部を検出し、３Ｄ空間と２Ｄ空間との間のライン接合部を投影して、それらがカメラの周囲の環境の３Ｄマップからのマップライン接合部に対応するかどうかを決定することを含む。ライン接合部とマップライン接合部との間の対応関係に基づいて、システムは空間内のカメラの位置を三角測量できる。この位置を使用して、システムは、クライアントデバイスを使用するゲームのプレイヤーが、現実世界におけるそれらの位置に対応する仮想世界における仮想要素または他の仮想情報を見得るように、平行現実ゲームのための１つまたは複数の画像を拡張できる。
いくつかの実施形態において、位置推定およびマッピングモジュール１１２は、Simultaneous Localization and Mapping（ＳＬＡＭ）ソフトウェア開発キット（ＳＤＫ）関数を使用して、環境のマップを生成する。特に、ＳＬＡＭ ＳＤＫ機能は、環境のマップを形成するために使用された画像または他の画像データに基づいて点群を構築するマッピングシステムを含み得る。位置推定およびマッピングモジュール１１２は、マップをローカルに記憶し得る、またはマップをマップデータベース１２４に記憶し得る。マップに基づいて、位置推定およびマッピングモジュール１１２は空間におけるクライアントデバイス１０２の位置を見つけるためにトラッキングを使用し得る。位置推定およびマッピングモジュール１１２はさらに、ＳＬＡＭプロセスを使用して、クライアントデバイスのユーザに表示するために、１つまたは複数のアニメーションまたは拡張値を画像上に再投影する。例えば、クライアントデバイスの位置に基づいて、位置推定およびマッピングモジュール１１２は仮想世界からの１つまたは複数の仮想要素または他の情報を、見るべきユーザの画像に追加し得る。仮想要素などは図４に関連して説明される。
位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２のための潜在的な位置を生成するために、選択された１つまたは複数のモデルを適用し得る。単一のモデルのみが選択されたケースでは、位置推定およびマッピングモジュール１１２は、生成された位置をクライアントデバイス１０２の実際の位置として使用し得る。しかし、ＧＰＳ座標が利用可能である場合、モデルを使用して決定された位置がＧＰＳ座標から閾値量を超えて異なる場合、位置推定およびマッピングモジュール１１２は、追加のモデルを適用する、またはそうでなければ現在の位置を検証しようとし得る。
いくつかの実施形態では、位置推定およびマッピングモジュール１１２がクライアントデバイス１０２の位置を決定すると、位置推定およびマッピングモジュール１１２は、クライアントデバイス１０２において提示される１つまたは複数の画像に追加する仮想世界を描写するＡＲデータを検索する。例えば、位置推定およびマッピングモジュール１１２は、マップデータベース１２４（ローカルに記憶されている、またはネットワーク１０４を介してアクセスされるサーバデバイスに記憶されている）にアクセスして、画像に追加するために仮想世界から追加のもしくはより多くの仮想要素または他の情報を検索し得る。仮想要素などは図４に関連して説明される。
オブジェクト認識モジュール１２２は、画像／オブジェクト情報および収集された３Ｄデータを使用して、データ内に表される現実世界内の特徴を識別する。このようにして、サーバデバイスは、例えば、椅子が３Ｄの位置にあることを決定し、その位置に関連付けられたオブジェクトデータベース１２６にアクセスする。ディープラーニングモジュール１２８は、マップ情報をオブジェクト情報と融合するために使用され得る。このようにして、システム１００は、オブジェクト認識のためにおよび融合のために、３Ｄ情報をマップに接続し直し得る。
マップデータベース１２４は、クライアントデバイス１０２によって生成されたマップデータを記憶するように構成された１つまたは複数のコンピュータ可読媒体を含む。マップデータは、ある位置においてクライアントデバイス１０２によって収集された画像および他のセンサデータに関連付けて記憶された３Ｄ点群のローカルマップを含むことができる。マップデータはまた、異なるローカルマップ間の地理的関係を示すマッピング情報を含み得る。同様に、オブジェクトデータベース１２６は、認識されたオブジェクトに関する情報を記憶するように構成された１つまたは複数のコンピュータ可読媒体を含む。例えば、オブジェクトデータベース１２６は、既知のオブジェクト（例えば、椅子、デスク、木、建物など）のリストを、それらのオブジェクトの特性とともに対応する位置とともに含み得る。特性はオブジェクトタイプに対して一般的であってもよく、またはオブジェクトの各インスタンスに対して具体的に定義され得る（例えば、全ての椅子は家具と見なされるが、それぞれの位置は個別に定義され得る）。マップデータベース１２４およびオブジェクトデータベース１２６は単一のエンティティとして示されているが、それらは複数のデバイスにおいて複数の記憶媒体にわたって分散され得る（例えば、分散データベースとして）。
７．ヤコビアン－Ｒ、Ｔ
ヤコビアン行列Ｒを導出することは、Ｔに対するヤコビアン行列を導出することよりもライン接合部モデルに対してより多くの作業を伴う。ライン接合部モデルは、
であることを除いて、セクション５および６と同様である。
計算後、
［３Ｄから２Ｄへ］
図２Ｃは、３Ｄライン接合部が２Ｄライン接合部にどのように関連するかを示す。カメラ中心Ｏi、画像のフレーム上の２Ｄライン接合部の点Ｐi、およびラインｌｌ i1 上の任意の点は、クライアントデバイス１０２のカメラに対するカメラ空間２１０内の平面２００を与える。平面２００の法線ベクトルは、ラインｌに対する方程式ｌi1である。
点Ｐを、
Ｐi＝ＲiＰ＋ｔi
（５）
を使用して、世界空間２２０からカメラ空間２１０に転送できる。フレーム上のその画像は、両方の２Ｄラインと同時に交差するはずであるため、式（２）および（５）を組み合わせると、
Ｌ1およびＬ2は両方とも単位ベクトルであるので、
アクションがサーバデバイスによって実行されるサーバ側では、３１８において、新規の視点データ（例えば、メッシュデータを上部に有する点群情報を有する）がクラウドマップストレージ３２０に記憶され得る。マップがクラウドマップストレージ３２０に記憶されていない場合（３２６）、サーバデバイスは、新しいマップを作成してクラウドマップストレージ３２０に記憶し得る（３２８）。サーバデバイスは、記憶されたクラウドマップストレージ３２０およびオブジェクトデータベース３２２からの現実世界のマップの異なる部分を追加し得る。クラウド環境推論３２４（クライアントデバイス１０２によってキャプチャされ、サーバデバイスによって処理された追加データを含む）は、クライアントデバイス１０２に送り返され得る。追加データは、ポイントおよびメッシュ、ならびに３０４においてローカルマップストレージに記憶されるセマンティックラベル（例えば、壁またはベッド）を有するオブジェクトデータを含み得る。
例えば、図４を参照すると、ゲームの目標は、プレイヤーに、仮想世界４１０内の様々な仮想位置に位置する仮想要素４３０の所有権を獲得または主張することを要求できる。これらの仮想要素４３０は、現実世界４００内のランドマーク、地理的位置、またはオブジェクト４４０にリンクできる。現実世界のランドマークまたはオブジェクト４４０は、芸術作品、モニュメント、建物、企業、図書館、博物館、または他の適切な現実世界のランドマークもしくはオブジェクトとできる。これらの仮想要素４３０をキャプチャするために、プレイヤーは、現実世界における仮想要素４３０にリンクされたランドマーク、地理的位置、またはオブジェクト４４０に移動しなければならず、仮想世界４１０における仮想要素４３０との任意の必要な相互作用を実行しなければならない。例えば、図４のプレイヤーＡは、クライアントデバイス１０２を介して、その特定のランドマーク４４０にリンクされた仮想要素４３０と対話する、またはそれをキャプチャするために、現実世界４００内のランドマーク４４０に移動しなければならない。仮想要素４３０との相互作用は、写真を撮ること、および／または仮想要素４３０に関連付けられたランドマークもしくはオブジェクト４４０に関する他の情報を検証、取得、もしくはキャプチャすることなど、現実世界４００におけるアクションを必要とし得る。
１つの特定の実施形態では、プレイヤーは、平行現実ゲームの一部として仮想エネルギーを収集しなければならない場合がある。図４に示されているように、仮想エネルギー４５０を仮想世界４１０内の異なる位置に分散させることができる。プレイヤーは、現実世界４００内の仮想エネルギー４５０の対応する位置に移動することによって、仮想エネルギー４５０を収集できる。仮想エネルギー４５０は、仮想アイテムに動力を供給するために、および／または平行現実ゲーム内の様々なゲームの目標を実行するために使用できる。すべての仮想エネルギー４５０を失ったプレイヤーは平行現実ゲームから接続を断たれる可能性がある。

Claims (20)

  1. カメラによってキャプチャされた１つまたは複数の画像から環境内のカメラの位置を特定するための方法であって、
    クライアントデバイスの前記カメラによってキャプチャされた１つまたは複数の画像を受信することと、
    前記１つまたは複数の画像のライン接合部を識別することと、
    前記識別されたライン接合部を前記環境の３Ｄマップと比較することであって、前記３Ｄマップはマップライン接合部を含む、ことと、
    識別されたライン接合部とマップライン接合部との間の対応関係を識別することと、
    前記対応関係を使用して前記環境内の前記カメラの姿勢を決定することと、
    を含む方法。
  2. 前記１つまたは複数の画像をグラフの頂点およびエッジに投影することによって、前記カメラの周囲の前記環境の表現を作成することと、をさらに含み、
    前記識別されたライン接合部は前記表現から識別され、前記識別されたライン接合部は前記表現において重複するエッジを含む、請求項１に記載の方法。
  3. 仮想ゲームのために前記クライアントデバイスに接続された追加のクライアントデバイスから画像データを受信することをさらに含む、請求項１に記載の方法。
  4. 前記識別されたライン接合部を前記環境の３Ｄマップと比較することは、
    パターンマッチングを前記識別されたライン接合部および３Ｄマップに適用して、前記識別されたライン接合部および３Ｄマップが重複または隣接しているかどうかを決定することを含む、請求項１に記載の方法。
  5. 前記３Ｄマップは、１つまたは複数のカメラによってキャプチャされた前記環境の画像データと、前記画像データがキャプチャされたときの前記１つまたは複数のカメラの相対位置とを使用して作成された、請求項１に記載の方法。
  6. 前記決定された位置は仮想世界内の位置に対応する、請求項１に記載の方法。
  7. 前記クライアントデバイスに、前記決定された位置に対応する前記仮想世界内の前記位置の視点を送信すること、をさらに含む、請求項６に記載の方法。
  8. 前記識別されたライン接合部の各々は７つの自由度を有し、３つの自由度は接合点に対してのものであり、２つの自由度は２つの方向ベクトルの各々に対してのものである、請求項１に記載の方法。
  9. 前記１つまたは複数の画像は、Levenberg-Marquardtソルバを用いて前記ライン接合部についての更新を計算することによって、フレームごとにそれぞれ最適化される、請求項１に記載の方法。
  10. 前記１つまたは複数の画像内のライン接合部を識別することが、
    前記１つまたは複数の画像内のラインの２Ｄライン方程式を決定することであって、各２Ｄライン方程式が３Ｄ空間内の法線ベクトルを描写する、ことと
    前記１つまたは複数の画像の各々の内の２Ｄライン接合部を決定することであって、各２Ｄライン接合部が２つの２Ｄライン方程式および交点から構成されている、ことと
    ３Ｄ空間において前記２Ｄライン接合部を三角測量して、３Ｄライン接合部を取得することと、
    を含む請求項１に記載の方法。
  11. 前記２Ｄライン接合部を三角測量することは、
    前記１つまたは複数の画像の各々からの前記２Ｄライン接合部の座標を１つのカメラ座標空間に変換することと、
    前記変換された２Ｄライン接合部を３Ｄライン接合部に変換することと、
    を含む請求項１０に記載の方法。
  12. カメラによってキャプチャされた１つまたは複数の画像から環境内のカメラの位置を特定するための命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、
    クライアントデバイスの前記カメラによってキャプチャされた１つまたは複数の画像を受信するための命令と、
    前記１つまたは複数の画像のライン接合部を識別するための命令と、
    前記識別されたライン接合部を前記環境の３Ｄマップと比較するための命令であって、前記３Ｄマップはマップライン接合部を含む、命令と、
    識別されたライン接合部とマップライン接合部との間の対応関係を識別するための命令と、
    前記対応関係を使用して前記環境内の前記カメラの位置を決定するための命令と、
    を含む非一時的コンピュータ可読記憶媒体。
  13. 前記命令は、
    前記１つまたは複数の画像をグラフの頂点およびエッジに投影することによって、前記カメラの周囲の前記環境の表現を作成するための命令をさらに含み、
    前記識別されたライン接合部は前記表現から識別され、前記識別されたライン接合部は前記表現において重複するエッジを含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記命令は、仮想ゲームのために前記クライアントデバイスに接続された追加のクライアントデバイスから画像データを受信するための命令をさらに含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記識別されたライン接合部を前記環境の３Ｄマップと比較するための命令は、
    パターンマッチングを前記識別されたライン接合部および３Ｄマップに適用して、前記識別されたライン接合部および３Ｄマップが重複または隣接しているかどうかを決定するための命令を含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記３Ｄマップは、１つまたは複数のカメラによってキャプチャされた前記環境の画像データと、前記画像データがキャプチャされたときの前記１つまたは複数のカメラの相対位置とを使用して作成された、請求項１に記載の方法。
  17. 前記決定された位置は仮想世界内の位置に対応する、請求項１に記載の方法。
  18. 前記命令は、
    前記クライアントデバイスに、前記決定された位置に対応する前記仮想世界内の前記位置の視点を送信するための命令をさらに含む、請求項１７に記載の方法。
  19. 前記識別されたライン接合部の各々は７つの自由度を有し、３つの自由度は接合点に対してのものであり、２つの自由度は２つの方向ベクトルの各々に対してのものである、請求項１に記載の方法。
  20. コンピュータプロセッサと、
    環境内のカメラを、前記カメラによってキャプチャされた１つまたは複数の画像から位置を特定するための命令を記憶する非一時的コンピュータ可読記憶媒体と、
    を含むコンピュータシステムであって、
    前記命令は、前記コンピュータプロセッサによって実行されると、
    クライアントデバイスの前記カメラによってキャプチャされた１つまたは複数の画像を受信することと、
    前記１つまたは複数の画像内のライン接合部を識別することと、
    前記識別されたライン接合部を前記環境の３Ｄマップと比較することであって、前記３Ｄマップはマップライン接合部を含む、ことと、
    識別されたライン接合部とマップライン接合部との間の対応関係を識別することと、
    前記対応関係を使用して前記環境内の前記カメラの位置を決定することと、
    を含む動作を実行する、コンピュータシステム。
JP2022538066A 2019-12-20 2020-12-18 ３ｄライン接合部を用いた位置決定およびマッピング Active JP7453383B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962952016P 2019-12-20 2019-12-20
US62/952,016 2019-12-20
PCT/IB2020/062238 WO2021124286A1 (en) 2019-12-20 2020-12-18 Location determination and mapping with 3d line junctions

Publications (2)

Publication Number Publication Date
JP2023507498A true JP2023507498A (ja) 2023-02-22
JP7453383B2 JP7453383B2 (ja) 2024-03-19

Family

ID=76437965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022538066A Active JP7453383B2 (ja) 2019-12-20 2020-12-18 ３ｄライン接合部を用いた位置決定およびマッピング

Country Status (9)

Country Link
US (2) US11847792B2 (ja)
EP (1) EP4076693A1 (ja)
JP (1) JP7453383B2 (ja)
KR (1) KR20220119664A (ja)
CN (1) CN115175749A (ja)
AU (1) AU2020404610A1 (ja)
CA (1) CA3165417A1 (ja)
TW (1) TWI760978B (ja)
WO (1) WO2021124286A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12039665B2 (en) * 2022-08-02 2024-07-16 Niantic, Inc. Simulated consistency check for points of interest on three-dimensional maps
CN117170501B (zh) * 2023-08-24 2024-05-03 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法
KR102711526B1 (ko) * 2024-02-28 2024-09-30 고려대학교 산학협력단 실내 환경에서의 bim 기반 카메라 트래킹 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333679A (ja) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp ３次元位置補正装置
US20080280676A1 (en) * 2007-05-07 2008-11-13 Samsung Electronics Co. Ltd. Wireless gaming method and wireless gaming-enabled mobile terminal
US20150213590A1 (en) * 2011-07-29 2015-07-30 Google Inc. Automatic Pose Setting Using Computer Vision Techniques
JP2017182302A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
KR101415016B1 (ko) * 2012-11-07 2014-07-08 한국과학기술연구원 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
JP6278790B2 (ja) 2014-03-31 2018-02-14 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
US10841486B2 (en) * 2017-07-20 2020-11-17 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
JP6828668B2 (ja) 2017-12-04 2021-02-10 株式会社デンソー 車線ネットワークデータ生成装置、車線ネットワークデータ生成プログラム及び記憶媒体
TWI648556B (zh) 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CA3104532C (en) * 2018-06-27 2023-10-17 Niantic, Inc. Multi-sync ensemble model for device localization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007333679A (ja) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp ３次元位置補正装置
US20080280676A1 (en) * 2007-05-07 2008-11-13 Samsung Electronics Co. Ltd. Wireless gaming method and wireless gaming-enabled mobile terminal
US20150213590A1 (en) * 2011-07-29 2015-07-30 Google Inc. Automatic Pose Setting Using Computer Vision Techniques
JP2017182302A (ja) * 2016-03-29 2017-10-05 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HYUNWOO KIM ET AL.: ""A novel line matching method based on intersection context"", 2010 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, JPN6023028297, May 2010 (2010-05-01), pages 1014 - 1021, ISSN: 0005187215 *

Also Published As

Publication number Publication date
EP4076693A4 (en) 2022-10-26
WO2021124286A1 (en) 2021-06-24
EP4076693A1 (en) 2022-10-26
US20210190538A1 (en) 2021-06-24
CN115175749A (zh) 2022-10-11
AU2020404610A1 (en) 2022-08-18
US11847792B2 (en) 2023-12-19
TW202135009A (zh) 2021-09-16
KR20220119664A (ko) 2022-08-30
JP7453383B2 (ja) 2024-03-19
CA3165417A1 (en) 2021-06-24
US20240078701A1 (en) 2024-03-07
TWI760978B (zh) 2022-04-11

Similar Documents

Publication Publication Date Title
JP6931138B1 (ja) デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
KR102493185B1 (ko) 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련
JP7453383B2 (ja) ３ｄライン接合部を用いた位置決定およびマッピング
US20100103196A1 (en) System and method for generating a mixed reality environment
TWI797715B (zh) 用於使用從透視校正影像中所提取之特徵的特徵匹配之電腦實施方法、電腦系統及非暫時性電腦可讀記憶體
JP7466649B2 (ja) マッピングデバイスからのローカルマップのマージング
Unal et al. Distant augmented reality: Bringing a new dimension to user experience using drones
JP2023517661A (ja) 単一画像からの通行可能空間の決定方法
JP2024503135A (ja) ３ｄ拡張シーンの構造フロアプランへの位置合わせ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7453383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150