JP2023516656A - 複数の特徴タイプに基づく効率的位置特定 - Google Patents

Abstract

他の画像情報に対する画像の姿勢を効率的かつ正確に算出する方法。画像は、ポータブルデバイス上のカメラを用いて、入手されてもよく、他の情報は、姿勢の算出がデバイスをマップに対して位置特定するようなマップであってもよい。そのような技法は、クロスリアリティシステムにおいて適用され、デバイスが、効率的かつ正確に、前もって存続されているマップにアクセスすることを可能にしてもよい。マップに対する位置特定は、複数のクロスリアリティデバイスが、仮想コンテンツをそれらのマップに関連して規定された場所にレンダリングし、本システムの使用のための向上された体験を提供することを可能にし得る。本方法は、他のデバイス内で、および自律車両のナビゲーションのため等、他の目的のために使用されてもよい。

Description

（関連出願の相互参照）
本願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）下、それぞれ、参照することによってその全体として本明細書に組み込まれる、弁理士整理番号Ｍ１４５０．７００５４ＵＳ０１号下で、２０２０年９月３０日に出願され、「ＥＦＦＩＣＩＥＮＴ ＬＯＣＡＬＩＺＡＴＩＯＮ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＦＥＡＴＵＲＥ ＴＹＰＥＳ」と題された、米国仮特許出願第６３／０８５，９９４号、および弁理士整理番号Ｍ１４５０．７００５４ＵＳ００号下で、２０２０年３月３日に出願され、「ＰＯＳＥ ＥＳＴＩＭＡＴＩＯＮ ＵＳＩＮＧ ＰＯＩＮＴ ＡＮＤ ＬＩＮＥ ＣＯＲＲＥＳＰＯＮＤＥＮＣＥ」と題された、米国仮特許出願第６２／９８４，６８８号の利益を主張する。

本願は、概して、クロスリアリティシステム等のマシンビジョンシステムに関する。

位置特定は、いくつかのマシンビジョンシステムにおいて実施され、３Ｄ環境の画像を捕捉するためのカメラを装備する、デバイスの場所を、３Ｄ環境のマップ内の場所に関連させる。デバイスによって捕捉された新しい画像は、マップの一部にマッチングされ得る。マップのマッチングする部分の新しい画像間の空間変換は、マップに対するデバイスの「姿勢」を示し得る。

ある形式の位置特定が、マップを作成する間、実施され得る。マップの既存の部分に対する新しい画像の場所は、それらの新しい画像がマップの中に統合されることを可能にし得る。新しい画像は、マップを拡張し、以前にマッピングされていない３Ｄ環境の部分を表す、または以前にマッピングされた３Ｄ環境の部分の表現を更新するために使用されてもよい。

位置特定の結果は、種々のマシンビジョンシステムにおいて、種々の方法で使用されてもよい。ロボットシステムでは、例えば、目標または障害物の場所が、マップの座標に対して規定されてもよい。いったんロボットデバイスが、マップに対して位置特定されると、障害物を回避するルートに沿って、目標に向かって誘導されてもよい。

本願の側面は、位置特定を提供するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。

本発明者らは、点および線が、別個またはともに、位置特定のために、クロスリアリティ（ＸＲ）またはロボットシステム内で使用され得ることを理解している。典型的には、結果として生じる問題が、個々に取り扱われ、複数のアルゴリズム、例えば、異なる数Ｎの対応（最小問題（Ｎ＝３）および最小二乗問題（Ｎ＞３）等）および異なる構成（平面および非平面構成）に関するアルゴリズムが、位置特定またはロボットシステム内に実装される。本発明者らは、多くの労力が、これらのアルゴリズムを実装するために要求され得ることを理解している。

いくつかの側面では、位置特定は、ＸＲシステム内で使用されてもよい。そのようなシステムでは、コンピュータは、ヒューマンユーザインターフェースを制御し、その中でユーザによって知覚されるにつれて、ＸＲ環境のいくつかまたは全てがコンピュータによって生成される、クロスリアリティ環境を作成し得る。これらのＸＲ環境は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および／または複合現実（ＭＲ）環境であってもよく、その中でＸＲ環境のいくつかまたは全てが、コンピュータによって生成され得る。コンピュータによって生成されたデータは、例えば、ユーザが仮想オブジェクトと相互作用し得るように、ユーザ物理的世界の一部として知覚するようにレンダリングされ得る、仮想オブジェクトを記述し得る。ユーザは、ユーザに、同時に、仮想コンテンツおよび物理的世界内のオブジェクトの両方が見えることを可能にする、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通して、データがレンダリングされる結果として、これらの仮想オブジェクトを体験し得る。

仮想コンテンツを現実的にレンダリングするために、ＸＲシステムは、本システムのユーザの周囲の物理的世界の表現を構築してもよい。本表現は、例えば、ＸＲシステムの一部を形成する、ウェアラブルデバイス上のセンサを用いて入手された画像を処理することによって、構築されてもよい。物理的および仮想オブジェクトの両方の場所が、それに対してＸＲシステム内のユーザデバイスが位置特定され得る、マップに対して表され得る。位置特定は、ユーザデバイスが、物理的オブジェクトの場所を考慮するように、仮想オブジェクトをレンダリングすることを可能にする。また、複数のユーザデバイスが、その個別のユーザが３Ｄ環境内でその仮想コンテンツの同一体験を共有するように、仮想コンテンツをレンダリングすることを可能にする。

位置特定に対する従来のアプローチは、マップと併せて、３Ｄ環境の画像から導出される特徴点の集合を記憶するものである。特徴点は、それらの識別可能性の容易度と、それらが部屋または大家具の角等の持続オブジェクトを表す尤度とに基づいて、マップ内の含有のために選択されてもよい。位置特定は、特徴点を新しい画像から選択し、マップ内のマッチングする特徴点を識別するステップを伴う。識別は、新しい画像からの特徴点の集合とマップ内のマッチングする特徴点を整合させる、変換を見出すステップに基づく。

好適な変換を見出すステップは、算出上集約的であって、多くの場合、新しい画像内の特徴点の群を選択し、その特徴点の群をマップからの複数の特徴点の群のそれぞれに対して整合させる、変換を算出するように試みることによって実施される。変換を算出するように試みるステップは、非線形最小二乗アプローチを使用してもよく、これは、Ｊａｃｏｂｅａｎ行列を算出するステップを伴ってもよく、これは、変換に反復的に達するために使用される。本算出は、マップ内の複数の特徴点の群および可能性として、１つまたは新しい画像内の複数の特徴点の群に関して繰り返され、好適なマッチングを提供するものとして承認される、変換に達してもよい。

１つまたはそれを上回る技法が、そのようなマッチングの算出負担を減少させるために適用されてもよい。例えば、ＲＡＮＳＡＣは、その中でマッチングプロセスが２つの段階で実施される、プロセスである。第１の段階では、新しい画像とマップとの間の大まかな変換が、それぞれ、少数の特徴点を伴う、複数の群の処理に基づいて、識別され得る。大まかな整合は、より大きい特徴点の群間の好適な整合を達成する、より精緻化された変換を算出するための開始点として使用される。

いくつかの側面は、カメラを用いて捕捉された１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定する方法に関し、姿勢は、回転行列および平行移動行列として表される。本方法は、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の対応を展開するステップと、対応を３つの二次多項式の方程式のセットに変換するステップと、回転行列に関する方程式のセットを解くステップと、回転行列に基づいて、平行移動行列を算出するステップとを含んでもよい。

いくつかの実施形態では、点および／または線の組み合わせは、１つまたはそれを上回る画像の特性に基づいて、動的に決定されてもよい。

いくつかの実施形態では、本方法はさらに、コスト関数を最小限にすることによって、姿勢を精緻化するステップを含んでもよい。

いくつかの実施形態では、本方法はさらに、減速ニュートンステップを使用することによって、姿勢を精緻化するステップを含んでもよい。

いくつかの実施形態では、対応を３つの二次多項式の方程式のセットに変換するステップは、制約のセットを対応から導出するステップと、平行移動行列の閉形式表現を形成するステップと、３Ｄベクトルを使用して、回転行列のパラメータ化を形成するステップとを含む。

いくつかの実施形態では、対応を３つの二次多項式の方程式のセットに変換するステップはさらに、階数近似によって、雑音除去するステップを含む。

いくつかの実施形態では、回転行列に関する方程式のセットを解くステップは、隠れ変数方法を使用するステップを含む。

いくつかの実施形態では、３Ｄベクトルを使用して、回転行列のパラメータ化を形成するステップは、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化を使用するステップを含む。

いくつかの実施形態では、平行移動行列の閉形式表現を形成するステップは、制約のセットを使用して、線形方程式系を形成するステップを含む。

いくつかの側面は、カメラを用いて捕捉された１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定する方法に関し、姿勢は、回転行列および平行移動行列として表される。本方法は、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の複数の対応を展開するステップと、対応を複数の変数における方程式の優決定系セットとして表すステップと、方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化するステップであって、メタ変数はそれぞれ、複数の変数の群を表す、ステップと、方程式の最小セットに基づいて、メタ変数の値を算出するステップと、姿勢をメタ変数から算出するステップとを含んでもよい。

いくつかの実施形態では、点および／または線の組み合わせは、１つまたはそれを上回る画像の特性に基づいて、動的に決定されてもよい。

いくつかの実施形態では、姿勢をメタ変数から算出するステップは、回転行列を算出するステップと、回転行列に基づいて、平行移動行列を算出するステップとを含む。

いくつかの実施形態では、回転行列に基づいて、平行移動行列を算出するステップは、平行移動行列を、回転行列に基づいて、複数の対応を表し、平行移動行列に対して線形である、方程式から、算出するステップを含む。

いくつかの実施形態では、平行移動行列を算出するステップは、制約のセットを対応から導出するステップと、平行移動行列の閉形式表現を形成するステップと、制約のセットを使用して、線形方程式系を形成するステップとを含む。

いくつかの側面は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ある方法を実施させる、命令を記憶する、非一過性コンピュータ可読記憶媒体に関する。本方法は、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の対応を展開するステップと、対応を３つの二次多項式の方程式のセットに変換するステップと、回転行列に関する方程式のセットを解くステップと、回転行列に基づいて、平行移動行列を算出するステップとを含んでもよい。

いくつかの実施形態では、１つまたはそれを上回る画像内の点および／または線は、２次元特徴であってもよく、マップ内の対応する特徴は、３次元特徴であってもよい。

いくつかの側面は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ある方法を実施させる、命令を記憶する、非一過性コンピュータ可読記憶媒体に関する。本方法は、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の複数の対応を展開するステップと、対応を複数の変数における方程式の優決定系セットとして表すステップと、方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化するステップであって、メタ変数はそれぞれ、複数の変数の群を表す、ステップと、方程式の最小セットに基づいて、メタ変数の値を算出するステップと、姿勢をメタ変数から算出するステップとを含んでもよい。

いくつかの側面は、３Ｄ環境の１つまたはそれを上回る画像を捕捉するように構成される、カメラと、コンピュータ実行可能命令を実行するように構成される、少なくとも１つのプロセッサとを備える、ポータブル電子デバイスに関する。コンピュータ実行可能命令は、３Ｄ環境の１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定するステップと、位置特定サービスに、１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、マップに対するカメラの姿勢を決定するステップと、位置特定サービスから、回転行列および平行移動行列として表される、マップに対するカメラの姿勢を受信するステップとを含む、１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定するための命令を備えてもよい。

いくつかの実施形態では、位置特定サービスは、ポータブル電子デバイス上に実装される。

いくつかの実施形態では、位置特定サービスは、ポータブル電子デバイスから遠隔のサーバ上に実装され、１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報は、ネットワークを経由して、位置特定サービスに送信される。

いくつかの実施形態では、マップに対するカメラの姿勢を決定するステップは、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の対応を展開するステップと、対応を３つの二次多項式の方程式のセットに変換するステップと、回転行列に関する方程式のセットを解くステップと、回転行列に基づいて、平行移動行列を算出するステップとを含む。

いくつかの実施形態では、点および／または線の組み合わせは、１つまたはそれを上回る画像の特性に基づいて、動的に決定される。

いくつかの実施形態では、マップに対するカメラの姿勢を決定するステップはさらに、コスト関数を最小限にすることによって、姿勢を精緻化するステップを含む。

いくつかの実施形態では、マップに対するカメラの姿勢を決定するステップはさらに、減速ニュートンステップを使用することによって、姿勢を精緻化するステップを含む。

いくつかの実施形態では、対応を３つの二次多項式の方程式のセットに変換するステップは、制約のセットを対応から導出するステップと、平行移動行列の閉形式表現を形成するステップと、３Ｄベクトルを使用して、回転行列のパラメータ化を形成するステップとを含む。

いくつかの実施形態では、対応を３つの二次多項式の方程式のセットに変換するステップはさらに、階数近似によって、雑音除去するステップを含む。

いくつかの実施形態では、回転行列に関する方程式のセットを解くステップは、隠れ変数方法を使用するステップを含む。

いくつかの実施形態では、３Ｄベクトルを使用して、回転行列のパラメータ化を形成するステップは、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化を使用するステップを含む。

いくつかの実施形態では、平行移動行列の閉形式表現を形成するステップは、制約のセットを使用して、線形方程式系を形成するステップを含む。

いくつかの実施形態では、マップに対するカメラの姿勢を決定するステップは、１つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の対応を展開するステップと、対応を複数の変数における方程式の優決定系セットとして表すステップと、方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化するステップであって、メタ変数はそれぞれ、複数の変数の群を表す、ステップと、方程式の最小セットに基づいて、メタ変数の値を算出するステップと、姿勢をメタ変数から算出するステップとを含む。

いくつかの実施形態では、点および／または線の組み合わせは、１つまたはそれを上回る画像の特性に基づいて、動的に決定される。

いくつかの実施形態では、姿勢をメタ変数から算出するステップは、回転行列を算出するステップと、回転行列に基づいて、平行移動行列を算出するステップとを含む。

いくつかの実施形態では、回転行列に基づいて、平行移動行列を算出するステップは、平行移動行列を、回転行列に基づいて、複数の対応を表し、平行移動行列に対して線形である、方程式から、算出するステップを含む。

いくつかの実施形態では、平行移動行列を算出するステップは、制約のセットを対応から導出するステップと、平行移動行列の閉形式表現を形成するステップと、制約のセットを使用して、線形方程式系を形成するステップとを含む。

いくつかの実施形態では、１つまたはそれを上回る画像内の点および線は、２次元特徴であって、マップ内の対応する特徴は、３次元特徴である。

いくつかの側面は、カメラによって捕捉された３Ｄ環境の１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定するための方法であって、３Ｄ環境の１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定するステップと、位置特定サービスに、１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、マップに対するカメラの姿勢を決定するステップと、位置特定サービスから、回転行列および平行移動行列として表される、マップに対するカメラの姿勢を受信するステップとを含む、方法に関する。

いくつかの側面は、少なくとも１つのプロセッサによる実行のためのコンピュータ実行可能命令を備える、非一過性コンピュータ可読媒体であって、コンピュータ実行可能命令は、３Ｄ環境の１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定するステップと、位置特定サービスに、１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、マップに対するカメラの姿勢を決定するステップと、位置特定サービスから、回転行列および平行移動行列として表される、マップに対するカメラの姿勢を受信するステップとを含む、カメラによって捕捉された３Ｄ環境の１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定するための命令を備える、非一過性コンピュータ可読媒体に関する。

前述の説明は、例証として提供され、限定することを意図するものではない。

添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。

図１は、いくつかの実施形態による、簡略化された拡張現実（ＡＲ）場面の実施例を図示する、スケッチである。

図２は、いくつかの実施形態による、ＸＲシステムの例示的ユースケースを示す、例示的な簡略化されたＡＲ場面のスケッチである。

図３は、いくつかの実施形態による、物理的世界と相互作用するＡＲコンテンツの体験をユーザに提供するように構成される、ＡＲシステム内の単一ユーザのためのデータフローを図示する、概略図である。

図４は、いくつかの実施形態による、単一ユーザのための仮想コンテンツを表示する、例示的ＡＲディスプレイシステムを図示する、概略図である。

図５Ａは、いくつかの実施形態による、ユーザが物理的世界環境を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着しているユーザを図示する、概略図である。

図５Ｂは、いくつかの実施形態による、視認光学系アセンブリおよび付帯コンポーネントを図示する、概略図である。

図６Ａは、いくつかの実施形態による、世界再構築システムを使用するＡＲシステムを図示する、概略図である。

図６Ｂは、いくつかの実施形態による、パス可能世界のモデルを維持する、ＡＲシステムのコンポーネントを図示する、概略図である。

図７は、いくつかの実施形態による、物理的世界を通した経路をトラバースするデバイスによって形成される、追跡マップの概略図である。

図８は、いくつかの実施形態による、複数のデバイスのうちの任意のものが位置特定サービスにアクセスし得る例示的ＸＲシステムのユーザを図示する、概略図である。

図９は、いくつかの実施形態による、クラウドベースの位置特定を提供するＸＲシステムの一部としてのポータブルデバイスの動作のための例示的プロセスフローである。

図１０は、いくつかの実施形態による、特徴タイプの混合を伴う特徴を使用して姿勢を算出するように構成される、システムにおける、位置特定のための例示的プロセスのフローチャートである。

図１１は、いくつかの実施形態による、それに関して点ベースの位置特定が失敗する可能性が高い、例示的環境のスケッチである。

図１２は、いくつかの実施形態による、２Ｄ－３Ｄ点対応および２Ｄ－３Ｄ線対応の例示的概略図である。

図１３は、いくつかの実施形態による、効率的位置特定の方法を図示する、フローチャートである。

図１４Ａは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの中央値回転誤差を示す。

図１４Ｂは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの中央値平行移動誤差を示す。

図１４Ｃは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの平均値回転誤差を示す。

図１４Ｄは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの平均値平行移動誤差を示す。

図１５Ａは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの算出時間の略図である。

図１５Ｂは、いくつかの実施形態による、異なるＰｎＰＬアルゴリズムの算出時間の略図である。

図１６Ａは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ある範囲の誤差のインスタンスの数対ＰｎＰＬ解の対数誤差を示す。

図１６Ｂは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解の箱ひげ図を示す。

図１６Ｃは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解のラジアン単位の平均値回転誤差を示す。

図１６Ｄは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解のメートル単位における平均値位置誤差を示す。

図１７Ａは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。

図１７Ｂは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。

図１７Ｃは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。

図１７Ｄは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。

図１８は、特徴タイプの混合を伴う特徴を使用して姿勢を算出するように構成される、システムにおける、位置特定のための例示的プロセスの代替実施形態のフローチャートである。

図１９は、いくつかの実施形態による、

からの制約の概略図である。

図２０Ａは、いくつかの実施形態による、他のソルバと比較した、隠れ変数（ＨＶ）多項式ソルバの回転誤差を示す、箱ひげ図である。

図２０Ｂは、いくつかの実施形態による、他のソルバと比較した、隠れ変数（ＨＶ）多項式ソルバの平行移動誤差を示す、箱ひげ図である。

図２１Ａは、いくつかの実施形態による、他のソルバと比較した、回転誤差を示す、図である。

図２１Ｂは、いくつかの実施形態による、他のソルバと比較した、平行移動誤差を示す、図である。

図２２Ａは、いくつかの実施形態による、本明細書に説明されるアルゴリズムのある実施形態および以前のアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３Ｌ、およびＳＲＰ３Ｌの回転誤差のプロットである。

図２２Ｂは、いくつかの実施形態による、本明細書に説明されるアルゴリズムのある実施形態および以前のアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３Ｌ、およびＳＲＰ３Ｌの平行移動誤差の箱ひげ図である。

図２３Ａは、いくつかの実施形態による、異なるＰ３Ｌアルゴリズム間の度単位における平均値回転誤差の比較を示す。

図２３Ｂは、いくつかの実施形態による、異なるＰ３Ｌアルゴリズム間の度単位における平均値平行移動誤差の比較を示す。

図２４Ａは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値回転誤差を示す、プロットである。

図２４Ｂは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す、プロットである。

図２４Ｃは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値回転誤差を示す、プロットである。

図２４Ｄは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す、プロットである。

図２５Ａは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値回転誤差を示す、プロットである。

図２５Ｂは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す、プロットである。

図２５Ｃは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値回転誤差を示す、プロットである。

図２５Ｄは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す、プロットである。

図２６Ａは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値回転誤差を示す、プロットである。

図２６Ｂは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す、プロットである。

図２６Ｃは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値回転誤差を示す、プロットである。

図２６Ｄは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す、プロットである。

図２７Ａは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値回転誤差を示す、プロットである。

図２７Ｂは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す、プロットである。

図２７Ｃは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値回転誤差を示す、プロットである。

図２７Ｄは、いくつかの実施形態による、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す、プロットである。

図２８は、いくつかの実施形態による、実際のデータの実験結果の例示的略図である。 図２８は、いくつかの実施形態による、実際のデータの実験結果の例示的略図である。

図２９Ａは、いくつかの実施形態による、多くのアルゴリズムの算出時間の略図である。

図２９Ｂは、多項式系を伴うアルゴリズムの算出時間と比較した、本明細書に説明されるアルゴリズムのある実施形態の算出時間の略図である。

図２９Ｃは、線形変換に基づくアルゴリズムの算出時間と比較した、本明細書に説明されるアルゴリズムのある実施形態の算出時間の略図である。

図３０は、いくつかの実施形態による、効率的位置特定の方法３０００を図示する、フローチャートである。

図３１は、いくつかの実施形態による、ＰｎＬ問題を解くための例示的アルゴリズムの擬似コード実装である。

図３２は、いくつかの実施形態による、本発明のシステムにおいて用途を見出し得る、コンピュータの形式における機械のブロック図である。

詳細な説明
本明細書に説明されるものは、効率的かつ正確に、カメラを含有するデバイスと他の画像情報の座標フレームとの間の姿勢を算出するための方法および装置である。他の画像情報は、姿勢を決定するステップがデバイスをマップに対して位置特定するように、マップとして作用してもよい。マップは、例えば、３Ｄ環境を表し得る。カメラを含有するデバイスは、例えば、ＸＲシステム、自律車両、またはスマートフォンであってもよい。これらのデバイスをマップに対して位置特定するステップは、デバイスが、物理的世界と位置合わせされた仮想コンテンツのレンダリング、ナビゲーション、または場所に基づくコンテンツのレンダリング等の場所ベースの機能を実施することを可能にする。

姿勢は、カメラを用いて入手された画像から抽出された少なくとも１セットの特徴とマップ内に記憶される特徴との間の対応を見出すことによって算出されてもよい。対応は、例えば、対応する特徴が物理的世界内の同一構造を表す可能性が高いことの決定に基づいてもよい。いったん画像およびマップ内の対応する特徴が、識別されると、殆どまたは全く誤差が算出されずに、対応する特徴を整合させる、変換を決定するための試みが、行われる。そのような変換は、画像とマップによって供給される特徴の基準フレームとの間の姿勢を示す。画像は、画像が入手された時間における、カメラの場所と相関されるため、算出された姿勢はまた、マップの基準フレームに対する、カメラ、さらに言うと、カメラを含有するデバイスの姿勢を示す。

本発明者らは、１つのアルゴリズムが全ての結果として生じる問題を解くために使用され得ることを意味する、統一的解を提供する、アルゴリズムが、点、線、または両方の組み合わせである特徴に基づくかどうかにかかわらず、ソフトウェアアーキテクチャ設計のためのコーディング労力を有意に低減させ得ることを認識し、その真価を認めた。さらに、本明細書に説明される実験結果は、統一的解を提供する、アルゴリズムが、正確度およびランタイムの両方の観点から、以前の研究と比較して、より良好なまたは匹敵する性能を達成し得ることを示す。

姿勢の算出は、従来、処理電力、またはポータブルデバイスに関しては、バッテリ電力等の大量の算出リソースを要求する。あらゆる２つの対応する特徴は、算出された姿勢に関する制約を提供し得る。しかし、雑音または他の誤差を考慮すると、従来、特徴のセットは、算出されるべき変換に自由度よりも多くの制約が存在するほどの特徴を含有する。この場合における解を見出すことは、方程式の優決定系の解を算出するステップを伴い得る。優決定系系を解くための従来の技法は、最小二乗アプローチを採用し得、これは、解として、全ての制約を充足させる際に低い全体的二乗誤差を有する変換を提供する、解を見出すための既知の反復アプローチである。

多くの実践的デバイスでは、算出負担は、姿勢を見出すステップが複数の対応する特徴のセット間の変換を算出するように試みることを要求し得るという事実で悪化する。例えば、物理的世界内の２つの構造を２つの類似特徴のセットを発生させ得、これは、見掛け上、対応し得る。しかしながら、算出された変換は、それらの見掛け上対応する特徴が姿勢を算出するために無視されるほど、比較的に高誤差を有し得る。算出は、変換が比較的に低誤差を伴って算出されるまで、他の見掛け上対応する特徴のセットに関して繰り返され得る。代替として、または加えて、画像内の特徴のセットが、見掛け上、正しくないが、マップ内の特徴のセットに対応し得る、可能性のため、算出された変換は、画像の異なる部分から、または異なる画像から得られる、複数の特徴のセットに関して算出された変換の十分な類似性が存在しない限り、解として承認され得ない。

本明細書に説明されるような技法は、姿勢を算出する算出負担を低減させ得る。いくつかの実施形態では、算出負担は、方程式の優決定系セットを、最小二乗問題を解くより低い算出負担を伴って解かれ得る、方程式の最小セットに再フォーマット化することによって低減され得る。方程式の最小セットは、それぞれ、方程式の優決定系セット内の変数の群を表す、メタ変数の観点から表され得る。いったん解が、メタ変数に関して取得されると、特徴セット間の変換の要素が、メタ変数から算出され得る。変換の要素は、例えば、回転行列および平行移動ベクトルであり得る。

メタ変数の使用は、例えば、解かれるべき問題が、小数の低次多項式を伴うセットとして表されることを可能にし得、これは、完全最小二乗問題より効率的に解かれることができる。いくつかまたは全ての多項式は、２程度の低次数を有し得る。いくつかの実施形態では、３程度の少ないそのような多項式が存在し、解が比較的に低算出を伴って達せられることを可能にし得る。

姿勢を算出する際のより低い算出負担および／または増加された正確度は、それに関して対応が誤っている可能性が低い、特徴のセットを選択することによってもたらされ得る。姿勢を算出するために使用される、画像特徴は、多くの場合、像点であって、画像の小面積を表す。特徴点は、例えば、画像の３つまたは４つのピクセルに延在する辺を伴う、矩形領域として表され得る。いくつかのシステムに関して、点を特徴として使用することは、多くのシナリオでは、適正な解につながり得る。しかしながら、他のシナリオでは、線を特徴として使用することが、適正な解につながる可能性がより高くあり得、これは、点を特徴として使用することと比較して、好適な変換を算出するためにより少ない試行を要求し得る。したがって、全体的算出負担は、線を特徴として使用することによって、より少なくなり得る。本明細書に説明されるような技法は、線が特徴として使用されるとき、姿勢を効率的に算出するために使用され得る。

いくつかのシステムでは、効率的解は、特徴および線の組み合わせである、特徴を使用することからもたらされる可能性がより高くあり得る。効率的解につながる、特徴の各タイプの数または割合は、シナリオに基づいて、変動し得る。特徴タイプの恣意的混合を伴う、対応する特徴のセットに基づいて、姿勢を算出するように構成される、システムは、特徴タイプの混合が、解を見出す複数の試行から低減された算出負担を伴って、解を見出す尤度を増加させるように選択されることを可能にし得る。本明細書に説明されるような技法は、点および線の恣意的混合が特徴として使用されるとき、姿勢を効率的に算出するために使用されてもよい。

これらの技法は、単独で、または組み合わせて、算出負担を低減させ、および／または位置特定の正確度を増加させるために使用され、多くのタイプのデバイスのより効率的またはより正確な動作につながり得る。例えば、相互に対して移動し得る、複数のコンポーネントを含有し得る、ＸＲシステムの動作の間、その中で１つのコンポーネントの座標フレームが別のコンポーネントの座標フレームに関連し得る、複数のシナリオが存在し得る。２つのコンポーネントの相対的姿勢を定義する、そのような関係は、位置特定プロセスを通して展開され得る。位置特定プロセスでは、１つのコンポーネント（例えば、ポータブルＸＲデバイス）の座標フレーム内に表される、情報は、別のコンポーネント（例えば、マップ）の座標フレーム内に表される、対応する情報と整合するように変換される。変換は、一方のコンポーネントの座標フレーム内に規定された場所を他方のものの座標フレーム内の場所に関連させるために使用されてもよく、その逆も同様である。

本明細書に説明される位置特定技法は、ＸＲ場面を提供するために使用されてもよい。ＸＲシステムは、したがって、姿勢算出技法が実践において適用され得る、算出上の効率性の程度の有用な実施例を提供する。現実的ＸＲ体験を複数のユーザに提供するために、ＸＲシステムは、仮想オブジェクトの場所を実オブジェクトに正しく相関させるために、物理的世界内のユーザの場所を把握しなければならない。本発明者らは、ＸＲデバイスを大規模および非常に大規模な環境（例えば、近所、都市、国、世界）内でも位置特定する際に算出上効率的かつ迅速である、方法および装置を認識し、その真価を認めた。

ＸＲシステムは、その中でユーザデバイスが動作する、環境のマップを構築してもよい。環境マップは、ＸＲシステムのユーザによって装着されるＸＲデバイスの一部である、センサを用いて収集された画像情報から作成されてもよい。各ＸＲデバイスは、デバイスが動作するにつれて収集された１つまたはそれを上回る画像からの情報を統合することによって、その物理的環境のローカルマップを展開してもよい。いくつかの実施形態では、ローカルマップの座標系は、デバイスが最初に物理的世界を走査し始める（例えば、新しいセッションを開始する）と、デバイスの位置および／または配向に結び付けられる。デバイスのその位置および／または配向は、異なるセッションが、それぞれ、環境を走査するセンサを伴う、その独自のウェアラブルデバイスを伴う、異なるユーザ、または同一デバイスを異なる時間に使用する、同一ユーザと関連付けられるかどうかにかかわらず、ユーザがＸＲシステムと相互作用するにつれて、セッション毎に変化し得る。

ＸＲシステムは、持続空間情報に基づいて、セッションを横断して、持続動作を有効にするように、１つまたはそれを上回る技法を実装してもよい。技法は、例えば、持続空間情報が、ＸＲシステムの複数のユーザのいずれかによって作成される、記憶される、読み出されることを可能にすることによって、単一または複数のユーザのためのより算出上効率的かつ没入型の体験のためのＸＲ場面を提供してもよい。複数のユーザによって共有されるとき、持続空間情報は、複数のユーザが仮想コンテンツを物理的世界に対する同一場所において体験することを可能にするため、より没入型の体験を提供する。単一ユーザによって使用されるときでも、持続空間情報は、算出上効率的方法において、ＸＲデバイス上の頭部姿勢を迅速に復元およびリセットすることを可能にし得る。

持続空間情報は、持続マップによって表されてもよい。持続マップは、遠隔記憶媒体（例えば、クラウド）内に記憶されてもよい。ユーザによって装着されるウェアラブルデバイスは、オンにされた後、持続記憶装置から、以前に作成および記憶された適切なマップを読み出してもよい。その以前に記憶されたマップは、以前のセッションの間、ユーザのウェアラブルデバイス上のセンサを用いて収集された環境についてのデータに基づいていてもよい。記憶されたマップを読み出すことは、ウェアラブルデバイス上のセンサを用いて物理的世界の走査を完了せずに、ウェアラブルデバイスの使用を有効にし得る。代替として、または加えて、デバイスは、物理的世界の新しい領域に進入することに応じて、同様に、適切な記憶されたマップを読み出してもよい。

記憶されたマップは、それに対して各ＸＲデバイス上のローカル基準フレームが関連し得る、規準形式で表されてもよい。マルチデバイスＸＲシステムでは、１つのデバイスによってアクセスされる記憶されたマップは、別のデバイスによって作成および記憶されていてもよく、および／または記憶されたマップによって表される物理的世界の少なくとも一部内に事前に存在する、複数のウェアラブルデバイス上のセンサによって収集された物理的世界についてのデータを集約することによって構築されていてもよい。

いくつかの実施形態では、持続空間情報は、ユーザ間で、およびアプリケーションを含む、分散型コンポーネント間で容易に共有され得る、方法で表されてもよい。

規準マップは、例えば、持続座標フレーム（ＰＣＦ）として、フォーマット化され得る、物理的世界についての情報を提供してもよい。ＰＣＦは、物理的世界内で認識される特徴のセットに基づいて、定義されてもよい。特徴は、それらがＸＲシステムのユーザセッション毎に同一である可能性が高いように選択されてもよい。ＰＣＦは、それらが効率的に処理および転送され得るように、疎らであって、物理的世界についての利用可能な情報の全て未満を提供してもよい。

持続空間情報を処理するための技法はまた、１つまたはそれを上回るデバイスのローカル座標系に基づいて、動的マップを作成するステップを含んでもよい。これらのマップは、マップを形成する際に使用される画像内で検出された、点または縁または線として現れる他の構造等の特徴を伴う、物理的世界を表す、疎マップであってもよい。規準マップは、１つまたはそれを上回るＸＲデバイスによって作成された複数のマップをマージすることによって、形成されてもよい。

デバイス毎に規準マップとローカルマップとの間の関係が、位置特定プロセスを通して決定されてもよい。その位置特定プロセスは、選択され、デバイスに送信される、規準マップのセットに基づいて、各ＸＲデバイス上で実施されてもよい。代替として、または加えて、位置特定サービスは、クラウド内に実装され得るような遠隔プロセッサ上に提供されてもよい。

例えば、同一の記憶されたマップへのアクセスを有する、２つのＸＲデバイスは両方とも、記憶されたマップに対して位置特定され得る。いったん位置特定されると、ユーザデバイスは、その場所をユーザデバイスによって維持される基準フレームに変換することによって、記憶されたマップへの参照によって規定された場所を有する、仮想コンテンツをレンダリングしてもよい。ユーザデバイスは、本ローカル基準フレームを使用して、ユーザデバイスのディスプレイを制御し、仮想コンテンツを規定された場所にレンダリングしてもよい。

ＸＲシステムは、より没入型のユーザ体験を提供するために、算出リソースの低使用量および／または短待ち時間を伴って、持続空間情報を作成、共有、および使用するように構成され得る。これらの動作をサポートするために、本システムは、空間情報の効率的比較のための技法を使用してもよい。そのような比較は、例えば、位置特定の一部として生じてもよく、その中でローカルデバイスからの特徴の集合は、規準マップ内の特徴の集合にマッチングされる。同様に、マップマージプロセスでは、デバイスからの追跡マップ内の特徴の１つまたはそれを上回る集合を規準マップ内の対応する特徴にマッチングさせる試みが、行われてもよい。

本明細書に説明される技法は、拡張または複合現実場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともに、かつ多くのタイプの場面のために、ともにまたは別個に使用されてもよい。いくつかの実施形態では、技法は、ＸＲシステムの一部を形成する、１つまたはそれを上回るサービスによって実装されてもよい。

ＡＲシステム概要

図１および２は、物理的世界の一部と併せて表示される、仮想コンテンツを伴う場面を図示する。例証目的のために、ＡＲシステムが、ＸＲシステムの実施例として使用される。図３－６Ｂは、本明細書に説明される技法に従って動作し得る、１つまたはそれを上回るプロセッサと、メモリと、センサと、ユーザインターフェースとを含む、例示的ＡＲシステムを図示する。

図１を参照すると、屋外ＡＲ場面３５４が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム３５８を特徴とする、物理的世界公園状設定３５６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、物理的世界コンクリートプラットフォーム３５８上に立っているロボット像３５７と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ３５２とが「見える」と知覚するが、これらの要素（例えば、アバタキャラクタ３５２およびロボット像３５７）は、物理的世界内には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＡＲ技術を生産することは、困難である。

そのようなＡＲ場面は、ユーザがＡＲコンテンツを物理的世界内に設置することを可能にし、ＡＲコンテンツが設置された物理的世界のマップ内の場所を決定し、設置されたＡＲコンテンツが、例えば、異なるＡＲ体験セッションの間、物理的世界内に表示するために再ロードされ得るように、ＡＲ場面を保存し、複数のユーザがＡＲ体験を共有することを可能にする、追跡情報に基づいて物理的世界のマップを構築するシステムを用いて、達成され得る。本システムは、ユーザの周囲の物理的世界表面のデジタル表現を構築および更新し得る。本表現は、仮想オブジェクトを設置するため、物理学ベースの相互作用において、および仮想キャラクタ経路計画およびナビゲーションのため、またはその中で物理的世界についての情報が使用される、他の動作のために、完全または部分的に、ユーザと仮想コンテンツのレンダリングされた場所との間で物理的オブジェクトによってオクルードされるように現れるように、仮想コンテンツをレンダリングするために使用されてもよい。

図２は、いくつかの実施形態による、屋内ＡＲ場面４００の別の実施例を描写し、ＸＲシステムの例示的ユースケースを示す。例示的場面４００は、壁と、壁の片側上の本棚と、部屋の角における床置きランプと、床と、ソファと、床上のコーヒーテーブルとを有する、居間である。これらの物理的アイテムに加え、ＡＲ技術のユーザはまた、ソファの背後の壁上の画像（すなわち、４０２におけるように）、ドアを通して飛んで来た鳥（すなわち、４０４におけるように）、本棚から外を覗いているシカ、およびコーヒーテーブル上に設置された風車の形式における装飾品（すなわち、４０６におけるように）等の仮想オブジェクトを知覚する。

壁上の画像に関して、ＡＲ技術は、壁の表面だけではなく、また、仮想オブジェクトを正しくレンダリングするために画像をオクルードする、ランプ形状等の部屋内のオブジェクトおよび表面についての情報も要求する。飛んで来た鳥に関して、ＡＲ技術は、オブジェクトおよび表面を回避する、または鳥が衝突する場合、跳ね返るように、現実的物理学を用いて鳥をレンダリングするために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、ＡＲ技術は、シカを設置すべき場所を算出するために、床またはコーヒーテーブル等の表面についての情報を要求する。風車に関して、本システムは、テーブルと別個のオブジェクトであることを識別し得、それが移動可能であることを決定し得る一方、棚の角または壁の角は、定常であると決定され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する決定において使用されてもよい。

仮想オブジェクトは、前のＡＲ体験セッション内に設置されてもよい。新しいＡＲ体験セッションが、居間で開始すると、ＡＲ技術は、仮想オブジェクトが、以前に設置された場所に正確に表示され、異なる視点から現実的に可視であることを要求する。例えば、風車は、書籍を伴わない異なる場所においても、テーブルの上方に漂流しているのではなく、書籍上に立っているように表示されるべきである。そのような漂流は、新しいＡＲ体験セッションのユーザの場所が居間内で正確に位置特定されない場合に起こり得る。別の実施例として、ユーザが、風車が設置されたときの視点と異なる視点から風車を視認している場合、ＡＲ技術は、表示されている風車の対応する側を要求する。

場面は、視覚、聴覚、および／または触覚等、１つまたはそれを上回るユーザ感知を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、本システムは、場面の物理的部分内のユーザの位置および／または運動を含む、場面の物理的部分のパラメータを測定し得る、１つまたはそれを上回るセンサを含んでもよい。さらに、本システムは、メモリ等の関連付けられるコンピュータハードウェアを伴う、１つまたはそれを上回るコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントのいくつかまたは全ては、ウェアラブルデバイスの中に統合されてもよい。

図３は、いくつかの実施形態による、物理的世界５０６と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム５０２を描写する、概略図３００である。ＡＲシステム５０２は、ディスプレイ５０８を含んでもよい。図示される実施形態では、ディスプレイ５０８は、ユーザが、一対のゴーグルまたは眼鏡のように、ディスプレイをその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実５１０を観察し得るように、透明であってもよい。シースルー現実５１０は、ＡＲシステム５０２の現在の視点内の物理的世界５０６の部分に対応し得、これは、ユーザが、ＡＲシステムのディスプレイおよびセンサの両方を組み込む、ヘッドセットを装着し、物理的世界についての情報を入手している場合のユーザの視点に対応し得る。

ＡＲコンテンツはまた、シースルー現実５１０上にオーバーレイされる、ディスプレイ５０８上に提示されてもよい。ＡＲコンテンツとシースルー現実５１０との間の正確な相互作用をディスプレイ５０８上で提供するために、ＡＲシステム５０２は、物理的世界５０６についての情報を捕捉するように構成される、センサ５２２を含んでもよい。

センサ５２２は、深度マップ５１２を出力する、１つまたはそれを上回る深度センサを含んでもよい。各深度マップ５１２は、それぞれ、深度センサに対する特定の方向における物理的世界５０６内の表面までの距離を表し得る、複数のピクセルを有してもよい。未加工深度データが、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得るほど高速に更新され得、これは、数百または数千回／秒であり得る。しかしながら、そのデータは、雑音が多くかつ不完全であって、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。

システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、他の方法において物理的世界を表すように処理され得る、単眼または立体視情報を入手してもよい。例えば、画像は、世界再構築コンポーネント５１６内で処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築物の一部として記憶されてもよい。

システムはまた、物理的世界に対するユーザの頭部姿勢についての情報を入手してもよい。いくつかの実施形態では、システムの頭部姿勢追跡コンポーネントは、頭部姿勢をリアルタイムで算出するために使用されてもよい。頭部姿勢追跡コンポーネントは、例えば、３つの垂直軸における平行移動（例えば、前／後、上／下、左／右）および３つの垂直軸を中心とした回転（例えば、ピッチ、ヨー、およびロール）を含む、６自由度を伴って、座標フレーム内のユーザの頭部姿勢を表し得る。いくつかの実施形態では、センサ５２２は、頭部姿勢５１４を算出および／または決定するために使用され得る、慣性測定ユニットを含んでもよい。深度マップのための頭部姿勢５１４は、例えば、６自由度を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢５１４は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させる等の他の目的のために使用されてもよい。

いくつかの実施形態では、頭部姿勢情報は、ユーザの頭部上に装着されるカメラを用いて捕捉される画像内のオブジェクトの分析から等、ＩＭＵ以外の方法で導出されてもよい。例えば、頭部姿勢追跡コンポーネントは、カメラによって捕捉された視覚的情報およびＩＭＵによって捕捉された慣性情報に基づいて、物理的オブジェクトに対するＡＲデバイスの相対的位置および配向を算出してもよい。頭部姿勢追跡コンポーネントは、次いで、例えば、物理的オブジェクトに対するＡＲデバイスの算出された相対的位置および配向と物理的オブジェクトの特徴を比較することによって、ＡＲデバイスの姿勢を算出してもよい。いくつかの実施形態では、その比較は、経時的に捕捉された画像内のこれらの特徴の位置の変化がユーザの頭部姿勢の変化と関連付けられ得るように、経時的に安定する、センサ５２２のうちの１つまたはそれを上回るものを用いて捕捉された画像内の特徴を識別することによって、行われてもよい。

本発明者らは、例えば、３０Ｈｚで動作する、４つのビデオグラフィックアレイ（ＶＧＡ）カメラ、１ｋＨｚで動作する、１つの慣性測定ユニット（ＩＭＵ）、単一の高度ＲＩＳＣ機械（ＡＲＭ）コアの演算能力、１ＧＢ未満のメモリ、および帯域幅１００Ｍｂｐ未満のネットワークとともに構成され得る、ＸＲデバイスと接続する算出リソースの低使用量を伴って、１ｋＨｚの周波数において頭部姿勢を推定する等、より没入型のユーザ体験のためのＸＲ場面を提供するようにＸＲシステムを動作させるための技法を実現し、その真価を認めた。これらの技法は、マップを生成および維持し、頭部姿勢を推定するために要求される、処理を低減させること、および低算出オーバーヘッドを伴って、データを提供および消費することに関する。ＸＲシステムは、マッチングされた視覚的特徴に基づいて、その姿勢を計算してもよい。出願第２０１９／０１８８４７４号として公開された、米国特許出願第１６／２２１，０６５号は、ハイブリッド追跡を説明しており、参照することによってその全体として本明細書に組み込まれる。

いくつかの実施形態では、ＡＲデバイスは、ユーザがＡＲデバイスとともに物理的世界全体を通して移動するにつれて捕捉された一連の画像フレーム内の連続画像内で認識される、点および／または線等の特徴から、マップを構築してもよい。各画像フレームは、ユーザが移動するにつれて、異なる姿勢から得られ得るが、本システムは、連続画像フレームの特徴と以前に捕捉された画像フレームをマッチングさせることによって、各連続画像フレームの特徴の配向を調節し、初期画像フレームの配向をマッチングさせてもよい。同一特徴を表す点および線が、以前に収集された画像フレームからの対応する特徴点および特徴線にマッチングするであろうように、連続画像フレームの平行移動は、各連続画像フレームを整合させ、以前に処理された画像フレームの配向をマッチングさせるために使用されることができる。結果として生じるマップ内のフレームは、第１の画像フレームがマップに追加されたときに確立される共通配向を有し得る。本マップは、共通基準フレーム内の特徴点および線のセットとともに、現在の画像フレームからの特徴をマップにマッチングさせることによって、物理的世界内のユーザの姿勢を決定するために使用されてもよい。いくつかの実施形態では、本マップは、追跡マップと呼ばれ得る。

環境内のユーザの姿勢の追跡を有効にすることに加え、本マップは、世界再構築コンポーネント５１６等のシステムの他のコンポーネントがユーザに対する物理的オブジェクトの場所を決定することを可能にし得る。世界再構築コンポーネント５１６は、深度マップ５１２および頭部姿勢５１４およびセンサからの任意の他のデータを受信し、そのデータを再構築物５１８の中に統合してもよい。再構築物５１８は、センサデータより完全かつより雑音が少なくあり得る。世界再構築コンポーネント５１６は、経時的複数の視点からのセンサデータの空間および時間的平均を使用して、再構築物５１８を更新してもよい。

再構築物５１８は、例えば、ボクセル、メッシュ、平面等を含む、１つまたはそれを上回るデータフォーマットにおいて、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表し得る、または物理的世界の異なる部分を表し得る。図示される実施例では、再構築物５１８の左側には、物理的世界の一部が、グローバル表面として提示され、再構築物５１８の右側には、物理的世界の一部が、メッシュとして提示される。

いくつかの実施形態では、頭部姿勢コンポーネント５１４によって維持されるマップは、物理的世界の維持され得る、他のマップに対して疎隔されてもよい。場所および可能性として表面の他の特性についての情報を提供するのではなく、疎マップは、角または縁等、視覚的に明確に異なる構造から生じる、画像内の点および／または線として反映され得る、着目場所を示してもよい。いくつかの実施形態では、マップは、センサ５２２によって捕捉されるような画像フレームを含んでもよい。これらのフレームは、着目場所を表し得る、特徴に低減され得る。各フレームと併せて、そこからフレームが入手されたユーザの姿勢についての情報もまた、マップの一部として記憶されてもよい。いくつかの実施形態では、センサによって入手された全ての画像が、記憶される場合とそうではない場合がある。いくつかの実施形態では、本システムは、それらがセンサによって収集されるにつれて、画像を処理し、さらなる算出のために、画像フレームのサブセットを選択してもよい。選択は、情報の追加を限定するが、マップが有用な情報を含有することを確実にする、１つまたはそれを上回る基準に基づいてもよい。本システムは、例えば、マップにすでに追加されている以前の画像フレームとの重複に基づいて、または定常オブジェクトを表す可能性が高いと決定された十分な数の特徴を含有する、画像フレームに基づいて、新しい画像フレームをマップに追加してもよい。いくつかの実施形態では、選択された画像フレームまたは選択された画像フレームからの特徴の群は、マップのためのキーフレームとしての役割を果たし得、これは、空間情報を提供するために使用される。

いくつかの実施形態では、マップを構築するときに処理される、データの量は、マッピングされた点の集合およびキーフレームを伴う、疎マップを構築し、および／またはマップをブロックに分割し、ブロック別の更新を有効にすること等によって、低減されてもよい。マッピングされた点および／または線は、環境内の着目点および／または線と関連付けられ得る。キーフレームは、カメラ捕捉データから選択された情報を含んでもよい。米国特許出願第１６／５２０，５８２号（出願第２０２０／００３４６２４号として公開されている）は、位置特定マップを決定および／または評価するステップを説明しており、参照することによってその全体として本明細書に組み込まれる。

ＡＲシステム５０２は、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢（例えば、位置および配向）が、センサを含むデバイスが移動されるにつれて追跡されてもよい。センサのフレーム姿勢およびそれが他の姿勢とどのように関連するかが、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、物理的世界の単一の組み合わせられた再構築物の中にともに融合されてもよく、これは、マップのための抽象層としての役割を果たし、空間情報を提供し得る。再構築物は、空間および時間的平均（すなわち、経時的複数の視点からのデータの平均）または任意の他の好適な方法を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。

図３に図示される実施形態では、マップは、その中に単一ウェアラブルデバイスのユーザが存在する、物理的世界の一部を表す。そのシナリオでは、マップ内のフレームと関連付けられる頭部姿勢は、セッションの開始時における単一デバイスに関する初期配向に対する配向を示す、ローカル頭部姿勢として表されてもよい。例えば、頭部姿勢は、デバイスが、オンにされた、または別様に、環境を走査し、その環境の表現を構築するように動作されたときの、初期頭部姿勢に対して追跡されてもよい。

物理的世界のその部分を特徴付けるコンテンツと組み合わせて、マップは、メタデータを含んでもよい。メタデータは、例えば、マップを形成するために使用されるセンサ情報の捕捉時間を示してもよい。メタデータは、代替として、または加えて、マップを形成するために使用される情報の捕捉時間におけるセンサの場所を示してもよい。場所は、直接、ＧＰＳチップからの情報等を用いて、または間接的に、センサデータが収集されていた間の１つまたはそれを上回る無線アクセスポイントから受信された信号の強度を示す、無線（例えば、Ｗｉ－Ｆｉ）シグネチャ等を用いて、および／またはセンサデータが収集される間にそれに対してユーザデバイスが接続した無線アクセスポイントのＢＳＳＩＤ等の識別子を用いて、表されてもよい。

再構築物５１８は、オクルージョン処理または物理学ベースの処理のための物理的世界の表面表現の生産等、ＡＲ機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化してもよい。再構築物５１８の側面は、例えば、他のコンポーネントによって使用され得る、世界座標内の変化するグローバル表面表現を生産する、コンポーネント５２０によって使用されてもよい。

ＡＲコンテンツは、本情報に基づいて、ＡＲアプリケーション５０４等によって生成されてもよい。ＡＲアプリケーション５０４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測等の物理的世界についての情報に基づいて、１つまたはそれを上回る機能を実施する、ゲームプログラムであってもよい。これは、世界再構築コンポーネント５１６によって生産された再構築物５１８から異なるフォーマットにおけるデータにクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント５２０は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域は、例えば、ユーザの視野内の一部等、システムのユーザの近傍内の物理的世界の一部に近似するように設定される、またはユーザの視野内に入るように投影（予測／決定）されてもよい。

ＡＲアプリケーション５０４は、本情報を使用して、ＡＲコンテンツを生成および更新してもよい。ＡＲコンテンツの仮想部分は、シースルー現実５１０と組み合わせて、ディスプレイ５０８上に提示され、現実的ユーザ体験を作成してもよい。

いくつかの実施形態では、ＡＲ体験は、遠隔処理および／または遠隔データ記憶装置を含み得る、システムの一部であり得る、ウェアラブルディスプレイデバイス、および／または、いくつかの実施形態では、他のユーザによって装着される他のウェアラブルディスプレイデバイスであり得る、ＸＲデバイスを通して、ユーザに提供されてもよい。図４は、例証の便宜上、単一ウェアラブルデバイスを含む、システム５８０（以降、「システム５８０」と称される）の実施例を図示する。システム５８０は、頭部搭載型ディスプレイデバイス５６２（以降、「ディスプレイデバイス５６２」と称される）と、ディスプレイデバイス５６２の機能をサポートする、種々の機械および電子モジュールおよびシステムとを含む。ディスプレイデバイス５６２は、フレーム５６４に結合されてもよく、これは、ディスプレイシステムのユーザまたは視認者５６０（以降、「ユーザ５６０」と称される）によって装着可能であって、ディスプレイデバイス５６２をユーザ５６０の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス５６２は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス５６２は、単眼または両眼であってもよい。いくつかの実施形態では、ディスプレイデバイス５６２は、図３におけるディスプレイ５０８の実施例であってもよい。

いくつかの実施形態では、スピーカ５６６が、フレーム５６４に結合され、ユーザ５６０の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ５６０の別の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する。ディスプレイデバイス５６２は、有線導線または無線コネクティビティ５６８等によって、ローカルデータ処理モジュール５７０に動作可能に結合され、これは、フレーム５６４に固定して取り付けられる、ユーザ５６０によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ５６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。

ローカルデータ処理モジュール５７０は、プロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム５６４に動作可能に結合される、または別様にユーザ５６０に取り付けられ得る）センサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後にディスプレイデバイス５６２への通過のために、遠隔処理モジュール５７２および／または遠隔データリポジトリ５７４を使用して入手および／または処理されるデータを含む。

いくつかの実施形態では、ウェアラブルデバイスは、遠隔コンポーネントと通信してもよい。ローカルデータ処理モジュール５７０は、それぞれ、有線または無線通信リンク等を介して、通信リンク５７６、５７８によって、遠隔処理モジュール５７２および遠隔データリポジトリ５７４に、これらの遠隔モジュール５７２、５７４が、相互に動作可能に結合され、ローカルデータ処理モジュール５７０へのリソースとして利用可能であるように、動作可能に結合されてもよい。さらなる実施形態では、遠隔データリポジトリ５７４に加えて、またはその代替として、ウェアラブルデバイスは、クラウドベースの遠隔データリポジトリおよび／またはサービスにアクセスすることができる。いくつかの実施形態では、上記に説明される頭部姿勢追跡コンポーテントは、少なくとも部分的に、ローカルデータ処理モジュール５７０内に実装されてもよい。いくつかの実施形態では、図３における世界再構築コンポーネント５１６は、少なくとも部分的に、ローカルデータ処理モジュール５７０内に実装されてもよい。例えば、ローカルデータ処理モジュール５７０は、少なくとも部分的に、データの少なくとも一部に基づいて、コンピュータ実行可能命令を実行し、マップおよび／または物理的世界表現を生成するように構成されてもよい。

いくつかの実施形態では、処理は、ローカルおよび遠隔プロセッサを横断して分散されてもよい。例えば、ローカル処理が、そのユーザのデバイス上のセンサを用いて収集されたセンサデータに基づいて、マップ（例えば、追跡マップ）をユーザデバイス上に構築するために使用されてもよい。そのようなマップは、そのユーザのデバイス上のアプリケーションによって使用されてもよい。加えて、以前に作成されたマップ（例えば、規準マップ）は、遠隔データリポジトリ５７４内に記憶されてもよい。好適な記憶されたまたは持続マップが、利用可能である場合、デバイス上にローカルで作成された追跡マップの代わりに、またはそれに加え、使用されてもよい。いくつかの実施形態では、追跡マップは、対応が、ユーザがシステムをオンにした時間におけるウェアラブルデバイスの位置に対して配向され得る、追跡マップと、１つまたはそれを上回る持続特徴に対して配向され得る、規準マップとの間に確立されるように、記憶されたマップに対して位置特定されてもよい。いくつかの実施形態では、持続マップは、ユーザデバイス上にロードされ、ユーザデバイスが、走査の間に入手されたセンサデータからのユーザの完全な環境の追跡マップを構築するための場所の走査と関連付けられる遅延を伴わずに、仮想コンテンツをレンダリングすることを可能にし得る。いくつかの実施形態では、ユーザデバイスは、持続マップをユーザデバイス上にダウンロードする必要なく、（例えば、クラウド上に記憶された）遠隔持続マップにアクセスしてもよい。

いくつかの実施形態では、空間情報が、ウェアラブルデバイスから、デバイスを位置特定し、クラウドサービス上に維持されるマップに記憶するように構成される、クラウドサービス等の遠隔サービスに通信されてもよい。一実施形態によると、位置特定処理は、デバイス場所を、規準マップ等の既存のマップにマッチングさせ、仮想コンテンツをウェアラブルデバイス場所にリンクさせる、変換を返す、クラウド内で生じてもよい。そのような実施形態では、本システムは、マップを遠隔リソースからウェアラブルデバイスに通信することを回避することができる。他の実施形態は、デバイスベースおよびクラウドベースの位置特定の両方のために構成され、例えば、ネットワークコネクティビティが利用不可能である、またはユーザがクラウドベースの位置特定を有効にしないことを選ぶ場合、機能性を有効にすることができる。

代替として、または加えて、追跡マップは、以前に記憶されたマップとマージされ、それらのマップを拡張させる、またはその品質を改良してもよい。好適な以前に作成された環境マップが利用可能であるか、および／または追跡マップと１つまたはそれを上回る記憶された環境マップをマージするかどうかを決定するための処理は、ローカルデータ処理モジュール５７０または遠隔処理モジュール５７２内で行われてもよい。

いくつかの実施形態では、ローカルデータ処理モジュール５７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサ（例えば、グラフィック処理ユニット（ＧＰＵ））を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール５７０は、単一プロセッサ（例えば、シングルコアまたはマルチコアＡＲＭプロセッサ）を含んでもよい、これは、ローカルデータ処理モジュール５７０の算出予算を限定するが、より小型のデバイスを有効にするであろう。いくつかの実施形態では、世界再構築コンポーネント５１６は、単一ＡＲＭコアの残りの算出予算が、例えば、メッシュの抽出等の他の使用のためにアクセスされ得るように、単一高度ＲＩＳＣ機械（ＡＲＭ）コアより少ない算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成してもよい。

いくつかの実施形態では、遠隔データリポジトリ５７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカルデータ処理モジュール５７０において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。いくつかの実施形態では、全てのデータが、記憶され、全てまたは大部分の算出は、遠隔データリポジトリ５７４内で実施され、より小さいデバイスを可能にする。世界再構築物は、例えば、全体または部分的に、本リポジトリ５７４内に記憶されてもよい。

その中にデータが、遠隔で記憶され、ネットワークを経由してアクセス可能である、実施形態では、データは、拡張現実システムの複数のユーザによって共有されてもよい。例えば、ユーザデバイスは、その追跡マップをアップロードし、環境マップのデータベース内に拡張されてもよい。いくつかの実施形態では、追跡マップのアップロードは、ウェアラブルデバイスとのユーザセッションの終了時に生じる。いくつかの実施形態では、追跡マップのアップロードは、持続的に、半持続的に、断続的に、事前に定義された時間において、前のアップロードから事前に定義された周期後、またはあるイベントによってトリガされると、生じ得る。任意のユーザデバイスによってアップロードされた追跡マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づくかどうかにかかわらず、以前に記憶されたマップを拡張または改良するために使用されてもよい。同様に、ユーザデバイスにダウンロードされた持続マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づいてもよい。このように、高品質環境マップが、ＡＲシステムを用いたその体験を改良するために、ユーザに容易に利用可能であり得る。

さらなる実施形態では、持続マップのダウンロードは、（例えば、クラウド内の）遠隔リソース上で実行される位置特定に基づいて、限定および／または回避され得る。そのような構成では、ウェアラブルデバイスまたは他のＸＲデバイスは、クラウドサービスに、姿勢情報と結合される、特徴情報（例えば、特徴情報内に表される特徴が感知された時点におけるデバイスに関する測位情報）を通信する。クラウドサービスの１つまたはそれを上回るコンポーネントは、特徴情報と個別の記憶されたマップ（例えば、規準マップ）をマッチングさせ、ＸＲデバイスによって維持される追跡マップと規準マップの座標系との間の変換を生成してもよい。規準マップに対して位置特定されたその追跡マップを有する、各ＸＲデバイスは、その独自の追跡に基づいて、仮想コンテンツを規準マップに対して規定された場所に正確にレンダリングし得る。

いくつかの実施形態では、ローカルデータ処理モジュール５７０は、バッテリ５８２に動作可能に結合される。いくつかの実施形態では、バッテリ５８２は、市販のバッテリ等のリムーバブル電源である。他の実施形態では、バッテリ５８２は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ５８２は、ユーザ５６０が、電源に繋がれ、リチウムイオンバッテリを充電する必要なく、またはシステム５８０をシャットオフし、バッテリを交換する必要なく、より長い時間周期にわたってシステム５８０を動作させ得るように、システム５８０の非動作時間の間、ユーザ５６０によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。

図５Ａは、ユーザ５３０が物理的世界環境５３２（以降、「環境５３２」と称される）を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着している、ユーザ５３０を図示する。ユーザの移動経路に沿ってＡＲシステムによって捕捉された情報は、１つまたはそれを上回る追跡マップの中に処理されてもよい。ユーザ５３０は、ＡＲディスプレイシステムを位置５３４に位置付け、ＡＲディスプレイシステムは、位置５３４に対するパス可能世界（例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）の周囲情報を記録する。その情報は、画像、特徴、指向性オーディオ入力、または他の所望のデータと組み合わせて、姿勢として記憶されてもよい。位置５３４は、例えば、追跡マップの一部として、データ入力５３６に対して集約され、少なくともパス可能世界モジュール５３８によって処理され、これは、例えば、図４の遠隔処理モジュール５７２上の処理によって実装されてもよい。いくつかの実施形態では、パス可能世界モジュール５３８は、処理された情報が、仮想コンテンツをレンダリングする際に使用される物理的オブジェクトについての他の情報と組み合わせて、物理的世界内のオブジェクトの場所を示し得るように、頭部姿勢コンポーネント５１４と、世界再構築コンポーネント５１６とを含んでもよい。

パス可能世界モジュール５３８は、データ入力５３６から決定されるように、少なくとも部分的に、ＡＲコンテンツ５４０が物理的世界内に設置され得る場所および方法を決定する。ＡＲコンテンツは、ユーザインターフェースを介して、物理的世界の表現およびＡＲコンテンツの両方を提示することによって、物理的世界内に「設置」され、ＡＲコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ＡＲコンテンツが、適切なとき、それらのオブジェクトのユーザのビューを不明瞭にしているかのように提示される。いくつかの実施形態では、ＡＲコンテンツは、固定要素５４２（例えば、テーブル）の一部を再構築物（例えば、再構築物５１８）から適切に選択し、ＡＲコンテンツ５４０の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上に現れるように位置付けられてもよい。いくつかの実施形態では、ＡＲコンテンツは、現在の視野または推定される将来的視野であり得る、視野５４４内の構造の中に設置されてもよい。いくつかの実施形態では、ＡＲコンテンツは、物理的世界のモデル５４６（例えば、メッシュ）に対して持続されてもよい。

描写されるように、固定要素５４２は、ユーザ５３０にそれが見える度に、システムが固定要素５４２にマッピングする必要なく、ユーザ５３０が固定要素５４２上にコンテンツを知覚し得るように、パス可能世界モジュール５３８内に記憶され得る、物理的世界内の任意の固定要素のためのプロキシ（例えば、デジタルコピー）としての役割を果たす。固定要素５４２は、したがって、前のモデル化セッションからの、または別個のユーザから決定されるものであるものの、複数のユーザによる将来的参照のためにパス可能世界モジュール５３８によって記憶される、メッシュモデルであってもよい。したがって、パス可能世界モジュール５３８は、環境５３２を以前にマッピングされた環境から認識し、ユーザ５３０のデバイスが環境５３２の全部または一部を最初にマッピングすることなく、ＡＲコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたＡＲコンテンツの待ち時間を回避し得る。

物理的世界のメッシュモデル５４６は、ＡＲディスプレイシステムによって作成されてもよく、ＡＲコンテンツ５４０と相互作用し、表示するための適切な表面およびメトリックは、完全または部分的に、モデルを再作成する必要なく、ユーザ５３０または他のユーザによる将来的読出のために、パス可能世界モジュール５３８によって記憶されることができる。いくつかの実施形態では、データ入力５３６は、パス可能世界モジュール５３８に、１つまたはそれを上回る固定要素のうちのどの固定要素５４２が利用可能であるかどうか、固定要素５４２上に最後に設置されたＡＲコンテンツ５４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続」コンテンツである）を示すための、地理的場所、ユーザ識別、および現在のアクティビティ等の入力である。

オブジェクトが固定されていると見なされる（例えば、台所のテーブル）、実施形態においてさえ、パス可能世界モジュール５３８は、物理的世界の変化の可能性を考慮するために、物理的世界のモデル内のそれらのオブジェクトを随時更新してもよい。固定されたオブジェクトのモデルは、非常に低頻度で更新されてもよい。物理的世界内の他のオブジェクトは、移動しているものであり得る、または別様に固定されていると見なされないものであり得る（例えば、台所の椅子）。ＡＲ場面を現実的感覚でレンダリングするために、ＡＲシステムは、これらの非固定オブジェクトの位置を、固定オブジェクトを更新するために使用されるものよりはるかに高い頻度で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ＡＲシステムは、１つまたはそれを上回る画像センサを含む、複数のセンサから情報を引き出してもよい。

図５Ｂは、視認光学系アセンブリ５４８および付帯コンポーネントの概略例証である。いくつかの実施形態では、２つの眼追跡カメラ５５０が、ユーザの眼５４９に向かって指向され、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼５４９上の閃光等、ユーザの眼５４９のメトリックを検出する。

いくつかの実施形態では、センサのうちの１つは、飛行時間センサ等の深度センサ５５１であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入したかどうかを迅速に決定し得る。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。

いくつかの実施形態では、世界カメラ５５２は、周辺より広いビューを記録し、マッピングし、および／または別様に、環境５３２のモデルを作成し、ＡＲコンテンツに影響を及ぼし得る、入力を検出する。いくつかの実施形態では、世界カメラ５５２および／またはカメラ５５３は、グレースケールおよび／またはカラー画像センサであってもよく、これは、グレースケールおよび／またはカラー画像フレームを固定される時間インターバルにおいて出力してもよい。カメラ５５３はさらに、ユーザの視野内の物理的世界画像を具体的時間において捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ５５２、カメラ５５３、および深度センサ５５１はそれぞれ、５５４、５５５、および５５６の個別の視野を有し、図３４Ａに描写される物理的世界環境５３２等の物理的世界場面からのデータを収集および記録する。

慣性測定ユニット５５７は、視認光学系アセンブリ５４８の移動および配向を決定してもよい。いくつかの実施形態では、慣性測定ユニット５５７は、重力の方向を示す、出力を提供してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ５５１は、ユーザの眼５４９が見ている実際の距離に対する測定された遠近調節の確認として、眼追跡カメラ５５０に動作可能に結合される。

視認光学系アセンブリ５４８は、図３４Ｂに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、４つの代わりに、２つの世界カメラ５５２を含んでもよい。代替として、または加えて、カメラ５５２および５５３は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ５４８は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ５４８は、１つまたはそれを上回る動的視覚センサ（ＤＶＳ）を含んでもよく、そのピクセルは、光強度の相対的変化が閾値を超えることに非同期して応答してもよい。

いくつかの実施形態では、視認光学系アセンブリ５４８は、飛行時間情報に基づく深度センサ５５１を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、１つまたはそれを上回るプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク（ＴＤＭ）でオーバーレイされた画像センサを含んでもよい。

代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび／または位相検出自動焦点ピクセル（ＰＤＡＦ）および／またはマイクロレンズアレイ（ＭＬＡ）を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ５５１の代わりに、またはそれに加え、深度情報源としての役割を果たし得る。

また、図５Ｂにおけるコンポーネントの構成は、実施例として提供されることを理解されたい。視認光学系アセンブリ５４８は、任意の好適な構成を伴うコンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的な最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ５４８が、１つの世界カメラ５５２を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。

視認光学系アセンブリ５４８内のセンサからの情報は、システム内のプロセッサのうちの１つまたはそれを上回るものに結合されてもよい。プロセッサは、ユーザに仮想コンテンツが物理的世界内のオブジェクトと相互作用するように知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想オブジェクトの両方を描写する、画像データを生成するステップを含め、任意の好適な方法において実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を透かし見る、ディスプレイデバイスの不透明度を変調させることによって、１つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、仮想コンテンツがユーザインターフェースを通して視認されるとき、物理的世界と現実的に相互作用するように、ユーザによって知覚されるように修正され得る（例えば、コンテンツをクリッピングし、オクルージョンを考慮する）、仮想コンテンツのみを含んでもよい。

コンテンツが特定の場所におけるオブジェクトの印象を作成するために表示され得る、視認光学系アセンブリ５４８上の場所は、視認光学系アセンブリの物理学に依存し得る。加えて、物理的世界に対するユーザの頭部の姿勢およびユーザの眼が見ている方向は、コンテンツが現れるであろう視認光学系アセンブリ上の特定の場所に表示される、物理的世界コンテンツ内の場所に影響を及ぼすであろう。上記に説明されるようなセンサは、センサ入力を受信するプロセッサが、オブジェクトが、視認光学系アセンブリ５４８上にレンダリングされ、ユーザのために所望の外観を作成すべき場所を算出し得るように、本情報を収集し、および／またはそこから本情報が計算され得る、情報を供給してもよい。

コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルが、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る、仮想オブジェクトの特徴が、正しく算出され得るように、使用されてもよい。いくつかの実施形態では、モデルは、物理的世界の再構築物、例えば、再構築物５１８を含んでもよい。

そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい（かつ「クラウド内」にあってもよい）。

モデルは、少なくとも部分的に、例えば、図６Ａにさらに詳細に描写される図３の世界再構築コンポーネント５１６等の世界再構築システムによって作成されてもよい。世界再構築コンポーネント５１６は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール６６０を含んでもよい。いくつかの実施形態では、知覚モジュール６６０は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表し得る。各ボクセルは、物理的世界内の所定の体積の３Ｄ立方体に対応し、表面情報を含み、ボクセルによって表される体積内に表面が存在するかどうかを示し得る。ボクセルは、その対応する体積が、物理的オブジェクトの表面を含むと決定されている、空であると決定されている、またはセンサを用いてまだ測定されていない、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。空または未知であると決定されたボクセルを示す値は、明示的に記憶される必要はなく、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含め、任意の好適な方法において、コンピュータメモリ内に記憶されてもよいことを理解されたい。

持続される世界表現のための情報を生成することに加え、知覚モジュール６６０は、ＡＲシステムのユーザの周囲の領域の変化のインジケーションを識別し、出力してもよい。そのような変化のインジケーションは、持続される世界の一部として記憶される立体データへの更新をトリガする、またはＡＲコンテンツを生成し、ＡＲコンテンツを更新する、コンポーネント６０４をトリガする等、他の機能をトリガしてもよい。

いくつかの実施形態では、知覚モジュール６６０は、符号付き距離関数（ＳＤＦ）モデルに基づいて、変化を識別してもよい。知覚モジュール６６０は、例えば、深度マップ６６０ａおよび頭部姿勢６６０ｂ等のセンサデータを受信し、次いで、センサデータをＳＤＦモデル６６０ｃに融合させるように構成されてもよい。深度マップ６６０ａは、直接、ＳＤＦ情報を提供してもよく、画像は、ＳＤＦ情報に到着するように処理されてもよい。ＳＤＦ情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であり得るため、ＳＤＦ情報は、ウェアラブルユニットの視点、したがって、ユーザの視点から物理的世界を表し得る。頭部姿勢６６０ｂは、ＳＤＦ情報が物理的世界内のボクセルに関連されることを可能にし得る。

いくつかの実施形態では、知覚モジュール６６０は、知覚範囲内にある、物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定されてもよく、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定されてもよい。具体的実施例として、アクティブＩＲパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、数センチメートルまたは数十センチメートル～数メートルであり得る、センサの観察範囲を作成し得る。

世界再構築コンポーネント５１６は、知覚モジュール６６０と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、持続される世界モジュール６６２は、知覚モジュール６６０によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。持続される世界モジュール６６２はまた、物理的世界の種々のフォーマットの表現を含んでもよい。例えば、モジュールは、立体情報６６２ａを含んでもよい。例えば、ボクセル等の立体メタデータ６６２ｂが、メッシュ６６２ｃおよび平面６６２ｄとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。

いくつかの実施形態では、図６Ａに図示されるもの等の物理的世界の表現は、上記に説明されるように、特徴点および／または線に基づく追跡マップ等の疎マップと比較して、物理的世界についての比較的に稠密情報を提供し得る。

いくつかの実施形態では、知覚モジュール６６０は、例えば、メッシュ６６０ｄ、平面、および意味論６６０ｅを含む、種々のフォーマットにおける、物理的世界のための表現を生成する、モジュールを含んでもよい。物理的世界のための表現は、ローカルおよび遠隔記憶媒体を横断して記憶されてもよい。物理的世界のための表現は、例えば、記憶媒体の場所に応じて、異なる座標フレーム内に説明されてもよい。例えば、デバイス内に記憶された物理的世界のための表現は、デバイスにローカルの座標フレーム内に説明されてもよい。物理的世界のための表現は、クラウド内に記憶された対応物を有してもよい。クラウド内の対応物は、ＸＲシステム内の全てのデバイスによって共有される座標フレーム内に説明されてもよい。

いくつかの実施形態では、これらのモジュールは、表現が生成された時点の１つまたはそれを上回るセンサの知覚範囲内のデータおよび以前の時間に捕捉されたデータおよび持続される世界モジュール６６２内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ＡＲシステムは、視覚センサを含んでもよく、単眼または両眼視覚情報を分析することによって、そのような表現を生成してもよい。

いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール６６０がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、ＳＤＦモデル６６０ｃ内の新しい表面を検出することによって、またはサブ領域を表す十分な数のボクセルの値の変化等の他の基準によって、検出されてもよい。

世界再構築コンポーネント５１６は、物理的世界の表現を知覚モジュール６６０から受信し得る、コンポーネント６６４を含んでもよい。コンポーネント６６４は、視覚的オクルージョン６６４ａ、物理ベースの相互作用６６４ｂ、および／または環境推論６６４ｃを含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント６６４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、ゲームプログラムおよび他のコンポーネントを含んでもよい。

コンポーネント６６４からのクエリに応答して、知覚モジュール６６０は、物理的世界のための表現を１つまたはそれを上回るフォーマットにおいて送信してもよい。例えば、コンポーネント６６４が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためのものであることを示すとき、知覚モジュール６６０は、表面の表現を送信してもよい。コンポーネント６６４が、使用が環境推測のためのものであることを示すとき、知覚モジュール６６０は、物理的世界のメッシュ、平面、および意味論を送信してもよい。

いくつかの実施形態では、知覚モジュール６６０は、フォーマット情報をコンポーネント６６４に提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント６６０ｆであってもよい。使用コンポーネント（例えば、コンポーネント６６４）は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント６６０ｆは、その視点からの視野内の物理的世界データの１つまたはそれを上回る表現から選択してもよい。

いくつかの実施形態では、パス可能世界モデルのコンポーネントは、分散されてもよく、いくつかの部分は、ＸＲデバイス上でローカルで実行され、いくつかの部分は、サーバに接続されるネットワーク上または別様にクラウド内等の遠隔で実行される。ローカルＸＲデバイスとクラウドとの間の情報の処理および記憶の配分は、ＸＲシステムの機能性およびユーザ体験に影響を及ぼし得る。例えば、処理をクラウドに配分することによって、ローカルデバイス上の処理を低減させることは、より長いバッテリ寿命を有効にし、ローカルデバイス上に生成される熱を低減させ得る。しかし、はるかに多い処理をクラウドに配分することは、容認不可能なユーザ体験を引き起こす、望ましくない待ち時間を作成し得る。

図６Ｂは、いくつかの実施形態による、空間コンピューティングのために構成される、分散型コンポーネントアーキテクチャ６００を描写する。分散型コンポーネントアーキテクチャ６００は、パス可能世界コンポーネント６０２（例えば、図５ＡにおけるＰＷ５３８）と、Ｌｕｍｉｎ ＯＳ６０４と、ＡＰＩ６０６と、ＳＤＫ６０８と、アプリケーション６１０とを含んでもよい。Ｌｕｍｉｎ ＯＳ６０４は、ＸＲデバイスと互換性があるカスタムドライバを伴う、Ｌｉｎｕｘ（登録商標）ベースのカーネルを含んでもよい。ＡＰＩの６０６は、ＸＲアプリケーション（例えば、アプリケーション６１０）にＸＲデバイスの空間コンピューティング特徴へのアクセスを与える、アプリケーションプログラミングインターフェースを含んでもよい。ＳＤＫ６０８は、ＸＲアプリケーションの作成を可能にする、ソフトウェア開発キットを含んでもよい。

アーキテクチャ６００内の１つまたはそれを上回るコンポーネントは、パス可能世界のモデルを作成および維持してもよい。本実施例では、センサデータは、ローカルデバイス上で収集される。そのセンサデータの処理は、部分的に、ＸＲデバイス上でローカルで、部分的に、クラウド内で実施されてもよい。ＰＷ５３８は、少なくとも部分的に、複数のユーザによって装着されるＡＲデバイスによって捕捉されたデータに基づいて作成される、環境マップを含んでもよい。ＡＲ体験のセッションの間、個々のＡＲデバイス（図４に関連して上記に説明されるウェアラブルデバイス等）は、マップの１つのタイプである、追跡マップを作成してもよい。

いくつかの実施形態では、デバイスは、疎マップおよび稠密マップの両方を構築する、コンポーネントを含んでもよい。追跡マップは、疎マップとしての役割を果たしてもよい。稠密マップは、表面情報を含んでもよく、これは、メッシュまたは深度情報によって表されてもよい。代替として、または加えて、稠密マップは、平面および／または他のオブジェクトの場所および／または特性等の表面または深度情報から導出されるより高いレベルの情報を含んでもよい。

疎マップおよび／または稠密マップは、同一デバイスによる再使用のために、および／または他のデバイスと共有するために、存続してもよい。そのような存続は、情報をクラウド内に記憶することによって達成されてもよい。ＡＲデバイスは、追跡マップをクラウドに送信し、例えば、クラウド内に以前に記憶された存続されるマップから選択された環境マップとマージしてもよい。いくつかの実施形態では、選択された存続されるマップは、マージするために、クラウドからＡＲデバイスに送信されてもよい。いくつかの実施形態では、存続されるマップは、１つまたはそれを上回る持続座標フレームに対して配向されてもよい。そのようなマップは、それらが複数のデバイスのいずれかによって使用され得るため、規準マップとしての役割を果たし得る。いくつかの実施形態では、パス可能世界のモデルは、１つまたはそれを上回る規準マップから成る、または作成されてもよい。デバイスは、デバイスにローカルの座標フレームに基づいて、いくつかの動作を実施するものの、デバイスにローカルのその座標フレームと規準マップとの間の変換を決定することによって、規準マップを使用してもよい。

規準マップは、追跡マップ（ＴＭ）として生じてもよい。追跡マップは、例えば、追跡マップの基準フレームが、持続座標フレームとなるように、持続されてもよい。その後、規準マップにアクセスするデバイスが、いったんそのローカル座標系と規準マップの座標系との間の変換を決定すると、規準マップ内の情報を使用して、デバイスの周囲の物理的世界内の規準マップ内に表されるオブジェクトの場所を決定し得る。

故に、規準マップ、追跡マップ、または他のマップは、類似フォーマットを有し得るが、例えば、それらが使用または記憶される場所が異なる。図７は、いくつかの実施形態による、例示的追跡マップ７００を描写する。本実施例では、追跡マップは、着目特徴を点として表す。他の実施形態では、線が、点の代わりに、またはそれに加え、使用されてもよい。追跡マップ７００は、点７０２によって表される対応する物理的世界内の物理的オブジェクトの間取図７０６を提供してもよい。いくつかの実施形態では、マップ点７０２は、複数の特徴を含み得る、物理的オブジェクトの特徴を表し得る。例えば、テーブルの各角は、マップ上の点によって表される、特徴であり得る。特徴は、拡張現実システム内のウェアラブルデバイスのセンサを用いて入手され得るような処理画像から導出されてもよい。特徴は、例えば、センサによって出力された画像フレームを処理し、画像内の大勾配または他の好適な基準に基づいて、特徴を識別することによって導出されてもよい。さらなる処理は、各フレーム内の特徴の数を限定してもよい。例えば、処理は、持続オブジェクトを表す可能性が高い、特徴を選択してもよい。１つまたはそれを上回るヒューリスティックが、本選択のために適用されてもよい。

追跡マップ７００は、デバイスによって収集された点７０２に関するデータを含んでもよい。追跡マップ内に追加されるデータ点を伴う、画像フレーム毎に、姿勢が、記憶されてもよい。姿勢は、各画像フレーム内の特徴点が追跡マップに空間的に相関され得るように、そこから画像フレームが捕捉された配向を表し得る。姿勢は、ウェアラブルデバイス上のＩＭＵセンサ等のセンサから導出され得るような位置付け情報によって決定されてもよい。代替として、または加えて、姿勢は、画像フレーム内の特徴のサブセットを追跡マップ内にすでにある特徴にマッチングさせることによって決定されてもよい。特徴のマッチングするサブセット間の変換が、算出されてもよく、これは、画像フレームと追跡マップとの間の相対的姿勢を示す。

センサを用いて収集された情報の多くが冗長である可能性が高いため、デバイスによって収集された特徴点および画像フレームの全てが、追跡マップの一部として留保され得るわけではない。いくつかの実施形態では、画像フレームからの特徴の比較的に小サブセットが、処理されてもよい。それらの特徴は、鋭的角または縁から生じ得る等、明確に異なり得る。加えて、あるフレームからの特徴のみが、マップに追加されてもよい。それらのフレームは、すでにマップ内にある画像フレームとの重複度、それらが含有する新しい特徴の数、またはフレーム内の特徴に関する品質メトリック等の１つまたはそれを上回る基準に基づいて選択されてもよい。追跡マップに追加されない画像フレームは、破棄されてもよい、または特徴の場所を改訂するために使用されてもよい。さらなる代替として、特徴のセットとして表される、複数の画像フレームからのデータが、留保されてもよいが、それらのフレームのサブセットからの特徴のみが、キーフレームとして指定されてもよく、これは、さらなる処理のために使用される。

キーフレームは、処理され、キーリグ７０４を生産してもよい。キーフレームは、処理され、特徴点の３次元セットを生産し、キーリグ７０４として保存されてもよい。そのような処理は、例えば、２つのカメラから同時に導出される画像フレームを比較し、特徴点の３Ｄ位置を立体視的に決定するステップを伴ってもよい。姿勢等のメタデータが、これらのキーフレームおよび／またはキーリグと関連付けられてもよい。キーリグは、続いて、デバイスからの新しく入手された画像に基づいて、デバイスをマップに対して位置特定するときに使用されてもよい。

環境マップは、例えば、ＡＲデバイスのローカル記憶装置および遠隔記憶装置を含む、例えば、環境マップの記憶場所に応じて、複数のフォーマットのいずれかを有してもよい。例えば、遠隔記憶装置内のマップは、メモリが限定されると、ウェアラブルデバイス上のローカル記憶装置内のマップより高い分解能を有してもよい。より高い分解能マップを遠隔記憶装置からローカル記憶装置に送信するために、マップは、マップ内に記憶される物理的世界のエリアあたりの姿勢の数および／または姿勢毎に記憶される特徴点の数を低減させること等によって、ダウンサンプリングまたは別様に適切なフォーマットに変換されてもよい。いくつかの実施形態では、遠隔記憶装置からの高分解能マップのスライスまたは一部が、ローカル記憶装置に送信されてもよく、スライスまたは一部は、ダウンサンプリングされない。

環境マップのデータベースは、新しい追跡マップが作成されるにつれて、更新されてもよい。データベース内の潜在的に非常に多数の環境マップのうちのどれが更新されるべきかを決定するために、更新するステップは、新しい追跡マップに関連するデータベース内に記憶される１つまたはそれを上回る環境マップを効率的に選択するステップを含んでもよい。選択された１つまたはそれを上回る環境マップは、関連性によって階数付けされてもよく、最高階数付けマップのうちの１つまたはそれを上回るものが、より高い階数付けされた選択された環境マップと新しい追跡マップをマージし、１つまたはそれを上回る更新された環境マップを作成するために処理するために選択されてもよい。新しい追跡マップが、それにわたって更新するための既存の環境マップが存在しない、物理的世界の部分を表すとき、その追跡マップは、新しい環境マップとしてデータベース内に記憶されてもよい。

遠隔位置特定

種々の実施形態は、遠隔リソースを利用して、個々のユーザおよび／またはユーザの群間の持続かつ一貫したクロスリアリティ体験を促進し得る。本明細書に説明されるような規準マップを用いたＸＲデバイスの動作の利点は、規準マップのセットをダウンロードせずに達成され得る。本利点は、例えば、特徴および姿勢情報を、規準マップのセットを維持する、遠隔サービスに送信することによって達成されてもよい。規準マップを使用して、仮想コンテンツを規準マップに対して規定された場所に位置付けることを求める、デバイスは、遠隔サービスから、特徴と規準マップとの間の１つまたはそれを上回る変換を受信してもよい。それらの変換は、物理的世界内のそれらの特徴の位置についての情報を維持する、デバイス上において、仮想コンテンツを１つまたはそれを上回る規準マップに対して規定された場所に位置付ける、または別様に、規準マップに対して規定された物理的世界内の場所を識別するために使用されてもよい。

いくつかの実施形態では、空間情報は、ＸＲデバイスによって捕捉され、クラウドベースのサービス等の遠隔サービスに通信され、これは、空間情報を使用して、ＸＲシステムのアプリケーションまたは他のコンポーネントによって使用される規準マップに対して、ＸＲデバイスを位置特定し、物理的世界に対する仮想コンテンツの場所を規定する。いったん位置特定されると、デバイスによって維持される追跡マップを規準マップにリンクする、変換が、デバイスに通信されることができる。

いくつかの実施形態では、カメラおよび／またはカメラを備えるポータブル電子デバイスが、特徴（例えば、点および／または線の組み合わせ）についての情報を捕捉および／または決定し、情報を、クラウドベースのデバイス等の遠隔サービスに送信するように構成されてもよい。遠隔サービスは、情報を使用して、カメラの姿勢を決定してもよい。カメラの姿勢は、例えば、本明細書に説明される方法および技法を使用して、決定されてもよい。いくつかの実施例では、姿勢は、回転行列および／または平行移動行列を含んでもよい。いくつかの実施例では、カメラの姿勢は、本明細書に説明されるマップのいずれかに対して表され得る。

変換は、追跡マップと併せて、その中に規準マップに対して規定された仮想コンテンツをレンダリングするべき位置を決定する、または別様に、規準マップに対して規定された物理的世界内の場所を識別するために使用されてもよい。

いくつかの実施形態では、位置特定サービスからデバイスに返される結果は、アップロードされた特徴をマッチングする規準マップの部分に関連させる、１つまたはそれを上回る変換であってもよい。それらの変換は、その追跡マップと併せて、仮想コンテンツの場所を識別する、または別様に、物理的世界内の場所を識別するために、ＸＲデバイス内で使用されてもよい。本明細書に説明されるように、ＰＣＦ等の持続空間情報が、規準マップに対する場所を規定するために使用される、実施形態では、位置特定サービスは、デバイスに、位置特定成功後、特徴と１つまたはそれを上回るＰＣＦとの間の変換をダウンロードしてもよい。

いくつかの実施形態では、位置特定サービスはさらに、デバイスにカメラの姿勢を返してもよい。いくつかの実施形態では、位置特定サービスからデバイスに返される結果は、カメラの姿勢を規準マップに対して関連させてもよい。

結果として、ＸＲデバイスと位置特定を実施するための遠隔サービスとの間の通信によって消費されるネットワーク帯域幅は、小さくなり得る。本システムは、したがって、頻繁な位置特定をサポートし、システムと相互作用する各デバイスが、仮想コンテンツを位置付ける、または他の場所ベースの機能を実施するための情報を迅速に取得することを有効にし得る。デバイスが、物理的環境内を移動するにつれて、更新された位置特定情報のための要求を繰り返してもよい。加えて、デバイスは、規準マップが変化するとき等、付加的追跡マップのマージ等を通して、位置特定情報への更新を頻繁に取得し、マップを拡張させる、またはその正確度を増加させてもよい。

図８は、ＸＲシステム６１００の概略図である。ユーザセッションの間、クロスリアリティコンテンツを表示する、ユーザデバイスは、種々の形式で現れることができる。例えば、ユーザデバイスは、ウェアラブルＸＲデバイス（例えば、６１０２）またはハンドヘルドモバイルデバイス（例えば、６１０４）であることができる。上記に議論されるように、これらのデバイスは、アプリケーションまたは他のコンポーネント等のソフトウェアとともに構成され、および／または有線接続され、仮想コンテンツをその個別のディスプレイ上にレンダリングするために使用され得る、ローカル位置情報（例えば、追跡マップ）を生成することができる。

仮想コンテンツ位置付け情報は、グローバル場所情報に対して規定されてもよく、これは、例えば、１つまたはそれを上回る持続座標フレーム（ＰＣＦ）を含有する、規準マップとして、フォーマット化されてもよい。ＰＣＦは、そのマップに対して位置特定するときに使用され得る、マップ内の特徴の集合であってもよい。ＰＣＦは、例えば、その特徴のセットを、容易に認識可能であって、ユーザセッションを横断して存続される可能性が高いものとして識別する、処理に基づいて、選択されてもよい。いくつかの実施形態、例えば、図８に示される実施形態によると、システム６１００は、それに関して場所が規準マップ内のＰＣＦに対して規定される、仮想コンテンツの機能およびユーザデバイス上への表示をサポートする、クラウドベースのサービスとともに構成される。

一実施例では、位置特定機能は、クラウドベースのサービス６１０６として提供される。クラウドベースのサービス６１０６は、複数のコンピューティングデバイスのいずれか上に実装されてもよく、そこからコンピューティングリソースが、クラウド内で実行される１つまたはそれを上回るサービスに配分されてもよい。それらのコンピューティングデバイスは、相互に、かつウェアラブルＸＲデバイス６１０２およびハンドヘルドデバイス６１０４等のデバイスにアクセス可能に相互接続されてもよい。そのような接続は、１つまたはそれを上回るネットワークを経由して提供されてもよい。

いくつかの実施形態では、クラウドベースのサービス６１０６は、記述子情報を個別のユーザデバイスから受け取り、デバイスをマッチングする規準マップまたは複数のマップに対して「位置特定」するように構成される。例えば、クラウドベースの位置特定サービスは、受信された記述子情報を個別の規準マップに関する記述子情報にマッチングさせる。規準マップは、物理的世界についての情報を入手する、画像センサまたは他のセンサを有する、１つまたはそれを上回るデバイスによって提供される、マップをマージすることによって、規準マップを作成する、上記に説明されるような技法を使用して作成されてもよい。

しかしながら、規準マップが、それらにアクセスするデバイスによって作成されることは、要件ではなく、したがって、マップは、例えば、マップを位置特定サービス６１０６に利用可能にすることによって、それらを公開し得る、マップ開発者によって作成されてもよい。

図９は、クラウドベースのサービスを使用して、規準マップを用いて、デバイスの位置を位置特定し、デバイスローカル座標系と規準マップの座標系との間の１つまたはそれを上回る変換を規定する、変換情報を受信するために、デバイスによって実行され得る、例示的プロセスフローである。

一実施形態によると、プロセス６２００は、新しいセッションを用いて、６２０２から開始することができる。新しいセッションをデバイス上で開始することは、画像情報の捕捉を開始し、デバイスのための追跡マップを構築し得る。加えて、デバイスは、メッセージを送信し、位置特定サービスのサーバに登録し、サーバに、そのデバイスのためのセッションを作成するようにプロンプトしてもよい。

いったん新しいセッションが、確立されると、プロセス６２００は、６２０４において、デバイスの環境の新しいフレームの捕捉を継続し得る。各フレームは、６２０６において、特徴を捕捉されたフレームから選択するように処理されることができる。特徴は、特徴点および／または特徴線等の１つまたはそれを上回るタイプであってもよい。

６２０６における特徴抽出は、姿勢情報を６２０６において抽出された特徴に付加することを含んでもよい。姿勢情報は、デバイスのローカル座標系内の姿勢であってもよい。いくつかの実施形態では、姿勢は、デバイスの追跡マップの原点に対するものであり得る、追跡マップ内の基準点に対するものであってもよい。フォーマットにかかわらず、姿勢情報は、位置特定サービスが、特徴を記憶されたマップ内の特徴にマッチングさせることに応じて、デバイスに返され得る、変換を算出するための姿勢情報を使用し得るように、各特徴または特徴の各セットに付加され得る。

プロセス６２００は、決定ブロック６２０７に継続し得、そこで、位置特定を要求するかどうかの決定が、行われる。いくつかの実施形態では、位置特定正確度は、複数の画像フレーム毎に位置特定を実施することによって向上される。位置特定は、十分な数の複数の画像フレームに関して算出された結果間に十分な対応が存在するときのみ、成功と見なされる。故に、位置特定要求は、十分なデータが位置特定成功を達成するために捕捉され得るときのみ、送信され得る。

１つまたはそれを上回る基準が、位置特定を要求するかどうかを決定するために適用されてもよい。基準は、デバイスが、ある閾値時間量後、位置特定を要求し得るように、時間の経過を含んでもよい。例えば、位置特定が、ある閾値時間量内に試行されなかった場合、プロセスは、決定ブロック６２０７から行為６２０８に継続し得、そこで、位置特定が、クラウドから要求される。その閾値時間量は、例えば、２５秒等の１０～３０秒であってもよい。代替として、または加えて、位置特定は、デバイスの運動によってトリガされてもよい。プロセス６２００を実行するデバイスは、ＩＭＵおよび／またはその追跡マップを使用して、その運動を追跡し、デバイスが最後に位置特定を要求した場所からの閾値距離を超える運動の検出に応じて、位置特定を開始してもよい。閾値距離は、例えば、３～５メートル等の１～１０メートルであってもよい。

位置特定がトリガされる方法にかかわらず、トリガされると、プロセス６２００は、行為６２０８に進み得、そこで、デバイスは、位置特定サービスによって位置特定を実施するために使用されるデータを含む、位置特定サービスのための要求を送信する。いくつかの実施形態では、複数の画像フレームからのデータが、位置特定試行のために提供されてもよい。位置特定サービスは、例えば、複数の画像フレーム内の特徴が一貫した位置特定結果をもたらさない限り、位置特定成功と見なされ得ない。いくつかの実施形態では、プロセス６２００は、特徴のセットおよび付加された姿勢情報をバッファの中に保存することを含んでもよい。バッファは、例えば、最も最近捕捉されたフレームから抽出された特徴のセットを記憶する、巡回バッファであってもよい。故に、位置特定要求は、バッファ内に蓄積された特徴のいくつかのセットとともに送信されてもよい。

デバイスは、位置特定要求の一部として、バッファのコンテンツを位置特定サービスに転送してもよい。他の情報も、特徴点および付加された姿勢情報と併せて、伝送されてもよい。例えば、いくつかの実施形態では、地理的情報が、伝送されてもよく、これは、それに対して位置特定を試みるべきマップを選択することを補助し得る。地理的情報は、例えば、デバイス追跡マップまたは現在の持続姿勢と関連付けられる、ＧＰＳ座標または無線シグネチャを含んでもよい。

６２０８において送信される要求に応答して、クラウド位置特定サービスは、特徴のセットを処理し、デバイスをサービスによって維持される規準マップまたは他の持続マップの中に位置特定してもよい。例えば、クラウドベースの位置特定サービスは、規準マップのマッチングする特徴に対してデバイスから送信される特徴セットの姿勢に基づいて、変換を生成してもよい。位置特定サービスは、変換を位置特定結果としてデバイスに返してもよい。本結果は、ブロック６２１０において受信されてもよい。

変換がフォーマット化される方法にかかわらず、行為６２１２において、デバイスは、これらの変換を使用して、仮想コンテンツを、それに関して場所がＸＲシステムのアプリケーションまたは他のコンポーネントによってＰＣＦのいずれかに対して規定されている、レンダリングすべき場所を算出してもよい。本情報は、代替として、または加えて、デバイス上において、その中で場所がＰＣＦに基づいて規定される、任意の場所ベースの動作を実施するために使用されてもよい。

いくつかのシナリオでは、位置特定サービスは、デバイスから送信される特徴を任意の記憶された規準マップにマッチングすることができない場合があり得る、または位置特定サービスのための要求とともに通信される、位置特定成功が生じたと見なすための十分な数のセットの特徴にマッチングすることが不可能である場合がある。そのようなシナリオでは、行為６２１０に関連して上記に説明されるように、変換をデバイスに返すのではなく、位置特定サービスは、デバイスに、位置特定が失敗したことを示してもよい。そのようなシナリオでは、プロセス６２００は、行為６２３０への決定ブロック６２０９において分岐し得、デバイスは、失敗処理のための１つまたはそれを上回るアクションを講じてもよい。これらのアクションは、位置特定のために送信される特徴セットを保持する、バッファのサイズを増加させることを含んでもよい。例えば、位置特定サービスが、３つのセットの特徴がマッチングしない限り、位置特定成功と見なさない場合、バッファサイズは、５つから６つに増加され、特徴の伝送されるセットのうちの３つが位置特定サービスによって維持される規準マップにマッチングされ得る可能性を増加させてもよい。

いくつかの実施形態では、位置特定サービスによって維持される規準マップは、前もって識別および記憶されている、ＰＣＦを含有してもよい。各ＰＣＦは、６２０６において処理された各画像フレームに関して、特徴点および特徴線の混合を含み得る、複数の特徴によって表されてもよい。故に、位置特定サービスは、位置特定要求とともに送信された特徴のセットにマッチングする、特徴のセットを用いて、規準マップを識別してもよく、位置特定のための要求とともに送信される姿勢によって表される座標フレームと１つまたはそれを上回るＰＣＦとの間の変換を算出してもよい。

図示される実施形態では、位置特定結果は、抽出された特徴のセットの座標フレームを選択されたマップに対して整合させる、変換として表されてもよい。本変換は、ユーザデバイスに返されてもよく、そこで、共有マップに対して規定された場所をユーザデバイスによって使用される座標フレームに関連させる、またはその逆のために、順または逆変換のいずれかとして適用され得る。変換は、例えば、デバイスが、仮想コンテンツを、そのユーザのために、それに対してデバイスが位置特定されたマップの座標フレーム内に規定される、物理的世界に対する場所にレンダリングすることを可能にし得る。

２Ｄ／３Ｄ点および線対応を使用した姿勢推定

他の画像情報に対する特徴のセットの姿勢は、デバイスをマップに対して位置特定するために、ＸＲシステムを含む、多くのシナリオにおいて、算出され得る。図１０は、そのような姿勢を算出するために実装され得る、方法１０００を図示する。本実施例では、方法１０００は、特徴タイプの任意の混合に関して姿勢を算出する。特徴は、例えば、全ての特徴点または全ての特徴線または特徴点および特徴線の組み合わせであってもよい。方法１０００は、例えば、その中で算出された姿勢がデバイスをマップに対して位置特定するために使用される、図９に図示される処理の一部として、実施されてもよい。

方法１０００のための処理は、いったん画像フレームが処理するために捕捉されると、開始してもよい。ブロック１０１０では、特徴タイプの混合が、決定されてもよい。いくつかの実施形態では、抽出された特徴は、点および／または線であってもよい。いくつかの実施形態では、デバイスは、特徴タイプのある混合を選択するように構成されてもよい。デバイスは、例えば、特徴の設定パーセンテージを点として、残りの特徴を線として選択するようにプログラムされてもよい。代替として、または加えて、事前構成は、少なくともある数の点およびある数の線を画像からの特徴のセット内で確実にすることに基づいてもよい。

そのような選択は、例えば、特徴が同一場面の後続画像内で認識されるであろう、尤度を示す、１つまたはそれを上回るメトリックによって誘導されてもよい。そのようなメトリックは、例えば、物理的環境内のそのような構造の特徴および／または場所を生じさせる物理的構造の特性に基づいてもよい。窓または壁上に搭載される写真フレームの角は、例えば、高スコアを伴う特徴点をもたらし得る。別の実施例として、部屋の角または階段の縁は、高スコアを伴う特徴点をもたらし得る。そのようなメトリックは、画像内の最良特徴を選択するために使用されてもよい、またはそれに関してさらなる処理が実施される、画像を選択するために使用されてもよく、さらなる処理は、例えば、高スコアを伴う特徴の閾値を超える数を伴う、画像に関してのみ実施される。

いくつかの実施形態では、特徴の選択は、同一数または同一混合の点および線が、全ての画像に関して選択されように行われてもよい。規定された特徴の混合を供給しない、画像フレームは、例えば、破棄される場合がある。他のシナリオでは、選択は、物理的環境の視覚的特性に基づいて、動的であってもよい。選択は、例えば、検出された特徴に割り当てられるメトリックの大きさに基づいて、誘導されてもよい。例えば、モノクロ壁および少ない調度品を伴う、小部屋では、大メトリックを伴う特徴点を引き起こす、物理的構造が殆ど存在しない場合がある。図１１は、例えば、その中で特徴点に基づく位置特定試行が失敗する可能性が高い、環境を図示する。類似結果は、多数の類似特徴点を引き起こす構造を伴う環境でも、生じ得る。それらの環境では、選択された特徴の混合は、点より多くの線を含み得る。逆に言えば、大または屋外空間では、特徴の混合が点に向かってバイアスされるであろうように、直線縁を殆ど伴わない、特徴点を引き起こす、多くの構造が存在し得る。

ブロック１０２０では、決定された混合の特徴が、画像フレームから抽出され、処理されてもよい。ブロック１０１０および１０２０は、図示される順序で実施される必要はなく、処理は、特徴を選択し、混合を決定する処理が並行して生じ得るように、動的であってもよいことを理解されたい。画像を処理し、点および／または線を識別する、技法は、ブロック１０２０において、特徴を抽出するために適用されてもよい。さらに、１つまたはそれを上回る基準が、抽出される特徴の数を限定するために適用されてもよい。基準は、抽出された特徴のセット内に含まれる特徴の総数または特徴に関する品質メトリックを含んでもよい。

処理は、次いで、ブロック１０３０に進んでもよく、そこで、画像から抽出された特徴と以前に記憶されたマップ等の他の画像情報との間の対応が、決定される。対応は、例えば、視覚的類似性および／または特徴と関連付けられる記述子情報に基づいて、決定されてもよい。これらの対応は、抽出された特徴の姿勢を他の画像情報からの特徴に対して定義する、変換に関する制約のセットを生成するために使用されてもよい。位置特定実施例では、これらの対応は、デバイス上のカメラを用いて撮影された画像内の特徴の選択されたセットと記憶されたマップとの間である。

いくつかの実施形態では、姿勢推定のための入力として使用される画像は、２次元画像である。故に、画像特徴は、２Ｄである。他の画像情報は、特徴を３次元で表し得る。例えば、上記に説明されるようなキーリグは、複数の２次元画像から構築される、３次元特徴を有してもよい。異なる寸法であっても、対応は、それにもかかわらず、決定され得る。図１２は、例えば、対応が、３Ｄ特徴をそこから２Ｄ特徴が抽出された画像の２Ｄ平面の中に投影することによって決定され得ることを図示する。

その中で特徴のセットが抽出される、様式にかかわらず、処理は、ブロック１０４０に進み、そこで、姿勢が、算出される。本姿勢は、例えば、上記に説明されるように、ＸＲシステムにおける位置特定試行の結果としての役割を果たし得る。

いくつかの実施形態によると、方法１０００のあらゆるステップは、本明細書に説明されるデバイス上および／または本明細書に説明されるもの等の遠隔サービス上で実施されてもよい。

いくつかの実施形態では、ブロック１０４０における処理は、画像フレームから抽出された特徴タイプの混合に基づいて、選択されてもよい。他の実施形態では、処理は、同一ソフトウェアが、例えば、点および線の恣意的混合に関して実行され得るように、汎用であってもよい。

ＰｎＰＬ問題と呼ばれる、２Ｄ／３Ｄ点または線対応を使用して、カメラの姿勢を推定するステップは、同時位置特定およびマッピング（ＳＬＡＭ）、運動からの構造復元（ＳｆＭ）、および拡張現実等の多くの用途を伴う、コンピュータビジョンにおける基本問題である。本明細書に説明されるＰｎＰＬアルゴリズムは、完全、ロバスト、かつ効率的であり得る。ここでは、「完全」アルゴリズムは、アルゴリズムが、同一処理が任意のシナリオにおいて適用され得るように、特徴タイプの混合にかかわらず、全ての潜在的入力をハンドリングすることができ、任意のシナリオにおいて適用され得ることを意味し得る。

いくつかの実施形態によると、汎用処理は、最小二乗問題を最小問題に変換することによって姿勢を対応のセットから算出するように、システムをプログラミングすることによって達成されてもよい。

ＰｎＰＬ問題を解く従来の方法は、各問題に対する個々のカスタマイズされた解と同程度に正確かつ効率的でもあるような完全アルゴリズムを提供しない。本発明者らは、１つのアルゴリズムを使用して、複数の問題を解くことによって、アルゴリズム実装における労力が有意に低減され得ることを認識している。

いくつかの実施形態によると、位置特定の方法は、ＰｎＰＬ問題に関する完全、正確、かつ効率的解を使用するステップを含んでもよい。いくつかの実施形態によると、本方法はまた、ＰｎＰＬ問題の具体的場合として、ＰｎＰおよびＰｎＬ問題を解くことが可能であり得る。いくつかの実施形態では、本方法は、最小問題（例えば、Ｐ３Ｌ、Ｐ３Ｐ、および／またはＰｎＬ）および／または最小二乗問題（例えば、ＰｎＬ、ＰｎＰ、ＰｎＰＬ）を含む、複数の多重タイプの問題を解くことが可能であり得る。例えば、本方法は、Ｐ３Ｌ、Ｐ３Ｐ、ＰｎＬ、ＰｎＰ、およびＰｎＰＬ問題のいずれかを解くことが可能であり得る。文献では、問題毎にカスタム解が存在するが、実践では、手間がかかりすぎて、問題毎に具体的解を実装することができない。

図１３は、汎用であり得、かつ最小二乗問題として従来解かれる問題の最小問題への変換をもたらし得る、処理の実施例である。図１３は、いくつかの実施形態による、効率的姿勢推定の方法１３００を図示する、フローチャートである。方法１３００は、例えば、図１０におけるブロック１０３０において決定された、例えば、対応に実施されてもよい。本方法は、数ｎの２Ｄ／３Ｄ点対応およびｍの２Ｄ／３Ｄ線対応を前提として、２×（ｍ＋ｎ）個の制約を取得するステップ（行為１３１０）から開始してもよい。

方法１３００は、制約のセットを再構成するステップ（行為１３２０）と、部分的線形化方法を使用して、方程式系を取得するステップとを含んでもよい。本方法はさらに、方程式系を解き、回転行列を取得するステップ（行為１３３０）と、回転行列およびｔの閉形式を使用して、平行移動ベクトルである、ｔを取得するステップ（行為１３４０）とを含む。回転行列および平行移動ベクトルはともに、姿勢を定義し得る。いくつかの実施形態によると、方法１３００のあらゆるステップは、本明細書に説明されるデバイス上および／または本明細書に説明されるもの等の遠隔サービス上で実施されてもよい。

２Ｄ／３Ｄ点および線対応を使用した姿勢推定のための統合された解

いくつかの実施形態によると、ＰｎＰＬ問題を解くことは、Ｎ個の２Ｄ／３Ｄ点対応（すなわち、

と、Ｍ個の２Ｄ／３Ｄ線対応（すなわち、

）とを使用して、カメラ姿勢（すなわち、Ｒおよびｔ）を推定することを意味し得る。
Ｐ_ｉ＝［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］^Ｔは、３Ｄ点を表し得、ｐ_ｉ＝［ｕ_ｉ，ｖ_ｉ］^Ｔは、画像内の対応する２Ｄピクセルを表し得る。同様に、Ｌ_ｉは、３Ｄ線を表し得、ｌ_ｉは、対応する２Ｄ線を表し得る。２つの３Ｄ点（Ｑ_ｉ ^１およびＱ_ｉ ^２等）は、３Ｄ線Ｌ_ｉを表すために使用されることができ、２つのピクセル（ｑ_ｉ ^１およびｑ_ｉ ^２等）は、対応する２Ｄ線ｌ_ｉを表すために使用されることができる。表記を簡略化するために、正規化されたピクセル座標も、使用されてもよい。

１３００の方法の例示的実施形態では、以下の表記も、使用されてもよい。ＰｎＰＬ問題は、Ｎ個の２Ｄ／３Ｄ点対応

と、Ｍ個の２Ｄ／３Ｄ線対応

とを使用した、カメラ姿勢（すなわち、Ｒおよびｔ）の推定を含んでもよい。Ｐ_ｉ＝［ｘ_ｉ，ｙ_ｉ，ｚ_ｉ］^Ｔは、３Ｄ点を表し得、ｐ_ｉ＝［ｕ_ｉ，ｖ_ｉ］^Ｔは、画像内の対応する２Ｄピクセルを表し得る。同様に、Ｌ_ｉは、３Ｄ線を表すことができ、ｌ_ｉは、対応する２Ｄ線を表すことができる。２つの３Ｄ点Ｑ_ｉ ^１およびＱ_ｉ ^２は、Ｌ_ｉを表すために使用されてもよく、２つのピクセルｑ_ｉ ^１およびｑ_ｉ ^２は、ｌ_ｉを表すために使用されてもよい。表記を簡略化するために、我々は、正規化されたピクセル座標を使用する。

いくつかの実施形態によると、行為１３１０において、数ｎの２Ｄ／３Ｄ点対応およびｍの２Ｄ／３Ｄ線対応を前提として、２×（ｍ＋ｎ）個の制約を取得するステップは、点対応を使用するステップを含んでもよく、ｉ番目の２Ｄ／３Ｄ点対応

は、以下、すなわち、（１）に示されるように、Ｒ＝［ｒ_１；ｒ_２；ｒ_３］に関する２つの制約を提供し、ｒ_ｉ、ｉ＝１，２，３は、Ｒの３つの行であって、ｔ＝［ｔ_１；ｔ_２；ｔ_３］^Ｔである。

いくつかの実施形態によると、方法１３００の行為１３１０において、２×（ｍ＋ｎ）個の制約を取得するステップはさらに、（１）における分母を方程式の両辺に対して乗算し、以下をもたらすステップを含む。

次いで、ｌ＝［ａ；ｂ；ｃ］^Ｔを定義することができ、ａ^２＋ｂ^２＝１である。ｉ番目の２Ｄ／３Ｄ線対応

に関して、以下の２つの制約を有するであろう。

式中、・は、ドット積を表す。（２）および（３）内に提供される方程式は、以下と同一形式で記述されることができる。

式中、ａは、１×３行列であり得、ｂは、３×１ベクトルであり得る。（３）における線からの制約に関して、ａ＝ｃ＝ｌ^Ｔおよびｂ＝Ｑ_ｉ ^ｊ，ｊ＝１，２であることが明白である。（２）における第１の方程式に関して、以下を有する。

同様に、（２）における第２の方程式は、（５）におけるｕ_ｉとｖ_ｉを置換することによって、（４）と同一形式を有することを示し得る。ｎ個の２Ｄ／３Ｄ点対応およびｍ個の２Ｄ／３Ｄ線対応を前提として、Ｍ＝２×（ｎ＋ｍ）個の制約が、取得され得る（４）。

いくつかの実施形態によると、方法１３００の行為１３２０において、制約のセットを再構成するステップは、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚパラメータ化およびｔの閉形式を使用する、Ｒの表現である、制約を使用して、二次系を生成するステップを含んでもよい。

（４）としてのＭ＝２×（ｎ＋ｍ）個の制約は、ｎ個の２Ｄ／３Ｄ点対応およびｍ個の２Ｄ／３Ｄ線対応を前提として取得される。ｉ番目の制約に関して、以下が定義されてもよい。

式中、δ_ｉは、スカラーであってもよい。Ｍ個の制約をスタックすることで、ｔに対する線形方程式系が、以下のように取得されることができる。

式中、Δ＝［δ_１；…；δ_Ｍ］およびＣ＝［ｃ_１；…；ｃ_Ｍ］である。

（７）は、ｔに対して線形であるため、ｔの閉形式は、以下のように記述されることができる。

いくつかの実施形態によると、方程式（８）は、ＱＲ、ＳＶＤ、またはＣｈｏｌｅｓｋｙを採用することによって、解かれてもよい。いくつかの実施形態では、方程式（８）の線形系は、正規方程式を使用して、解かれてもよい。いくつかの実施形態によると、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚパラメータ化を使用したＲの表現は、ｔを（７）の中に逆代入し、以下を求めることによって計算されてもよい。

式中、Ｋ＝－Ｃ（Ｃ^ＴＣ）^－１Ｃ^Ｔである。

Ｒに関する解が、次いで、決定され得る。Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化である、３次元ベクトルｓが、以下のように、Ｒを表すために使用されてもよい。

式中、

である。

（１０）を（９）の中に代入し、（６）を拡張させることによって、結果として生じる系は、以下となる。

Ａの階数は、有する対応の数にかかわらず、９より大きくなることはできない。したがって、

が９つの項を有するため、直接線形変換（ＤＬＴ）によってｓを解かない。Ｒを以下のように記述する。

（９）に関して、（６）におけるΔの要素δ_ｉを拡張させる場合、以下を求めることができる。

式中、

であって、Ｂの第ｉ行は、

としての形式を伴う、ｒに対するδ_ｉの係数であって、

は、Ｋｒｏｎｅｃｋｅｒ積である。
以下と定義する。

式中、Ｈは、Ｎ×９の行列である。計算に関して具体的理論的基礎によって拘束されるわけではないが、以下の補題を有するとする。

補題１：Ｈの階数は、雑音を伴わないデータに関して、９より小さい。
証明：方程式（１３）は、同次線形系である。９つの要素を伴うｒは、（１３）の非自明解である。したがって、Ｈは、特異であるべきであって、そうでなければ、本同次系は、ゼロ（または自明）解のみを有する。これは、ｒが（１３）の解であるという事実と矛盾する。
定理１：（１１）におけるＡの階数は、雑音を伴わないデータに関して９より小さい。
証明：（１０）におけるＣＧＲ表現、（１３）におけるｒ、および（１１）における

の使用は、以下によって関連され得る。

式中、

（１５）を（１３）の中に代入し、非ゼロ分母１＋ｓ^Ｔｓを排除すると、Ａ＝（Ｉ＋Ｋ）ＢＭを有することになる。（１４）におけるＨの定義を使用して、Ａ＝ＨＭを書き換えることができる。代数的理論に従って、ｒａｎｋ（Ａ）≦ｍｉｎ（ｒａｎｋ（Ｈ），ｒａｎｋ（Ｍ））を有する。ｒａｎｋ（Ｈ）＜９であるため、ｒａｎｋ（Ａ）＜９を有する。

いくつかの実施形態によると、階数近似が、雑音除去のために使用されてもよい。行列Ａは、階数落ちであり得る。いくつかの実施形態では、概して、

および＞５に関して、行列Ａの階数は、それぞれ、３、５、７、および８であり得る。データが、雑音を伴うとき、行列Ａは、汚染され得、階数は、最大になり得る。汚染された行列は、

として表されることができる。いくつかの実施形態では、雑音の影響を低減させるステップは、係数行列Ａが

に取って代わるべき階数を伴う、行列

を使用するステップを含んでもよい。例えば、これは、ＱまたはＳＶＤおよび／または同等物を使用して達成されてもよい。例えば、

のＳＶＤが、

であって、階数が、ｋである場合、

であって、式中、

は、Ｓの第１のｋ個の特異値である。本ステップは、雑音の影響を低減させることができる。表記を簡略化するために、Ａが、依然として、本行列を表すために使用されるであろう。

いくつかの実施形態によると、方法１３００の行為１３２０において、部分的線形化方法を使用して、方程式系を取得するステップは、部分的線形化方法を使用して、ＰｎＰＬ問題を必須最小公式（ＥＭＦ）に変換するステップと、方程式系を生成するステップとを含んでもよい。いくつかの実施形態では、部分的線形化方法は、

を２つの部分に分割するステップを含んでもよく、第１の部分

は、それらが

および

として記述され得るように、３つの単項式を含んでもよく、残りの部分

は、７つの単項式を有してもよい。部分的線形化はまた、いくつかの実施形態によると、適宜、

の分割に基づいて、（１１）における行列ＡをＡ_３およびＡ_７に分割するステップと、（１１）を以下のように再記述するステップとを含んでもよく、

における３つの要素は、個々の未知数として取り扱われてもよく、

における残りの単項式は、既知として取り扱われてもよい。次いで、以下のように、

に対する

に関する閉形式解を有することができる。

（Ａ_３ ^ＴＡ_３）^－１Ａ_３ ^ＴＡ_７は、３×７行列である。Ｃ_７をＣ_７＝－（Ａ_３ ^ＴＡ_３）^－１Ａ_３ ^ＴＡ_７として定義する。本明細書に説明されるように、Ａの階数は、任意の実行可能数の対応Ｎ≧３に関して、少なくとも３である。したがって、上記のアルゴリズムは、任意の数の対応のために使用されることができる。

方程式（１７）は、以下のように書き換えられてもよい。

これは、３つの未知数をｓ内に伴う、３つの二次多項式の方程式を含む。方程式はそれぞれ、以下のような形式を有する。

いくつかの実施形態によると、方程式系を解き、回転行列を取得するステップ（行為１３３０）は、方程式が（１９）の形式である、方程式系を解くことによって、回転行列を取得するステップを含んでもよい。いくつかの実施形態によると、回転行列およびｔの閉形式を使用して、ｔを取得するステップ（行為１３４０）は、ｓを解いた後、ｔを（８）から取得するステップを含んでもよい。

例示的結果

図１４－１７は、他の既知のＰｎＰＬソルバと比較した、効率的位置特定の方法の実施形態の実験結果の略図である。図１４Ａ－１４Ｄは、それぞれ、“Ａｃｃｕｒａｔｅ ａｎｄ ｌｉｎｅａｒ ｔｉｍｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ａｎｄ ｌｉｎｅｓ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”， Ａｌｅｘａｎｄｅｒ Ｖａｋｈｉｔｏｖ， Ｊａｎ Ｆｕｎｋｅ， ａｎｄ Ｆｒａｎｃｅｓｃ Ｍｏｒｅｎｏ Ｎｏｇｕｅｒ， Ｓｐｒｉｎｇｅｒ， ２０１６ および“ＣｖｘＰｎＰＬ： Ａ ｕｎｉｆｉｅｄ ｃｏｎｖｅｘ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ ｆｒｏｍ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ” ｂｙ Ａｇｏｓｔｉｎｈｏ， Ｓｅｒｇｉｏ， Ｊｏａｏ Ｇｏｍｅｓ， ａｎｄ Ａｌｅｓｓｉｏ Ｄｅｌ Ｂｕｅ， ２０１９（両方とも参照することによってその全体として本明細書に組み込まれる）に説明される、ＯＰｎＰＬおよびｅｖｘｐｎｐｌを含む、異なるＰｎＰＬソルバの平均値および中央値回転および平行移動誤差を示す。

図１４Ａは、度単位における、異なるＰｎＰＬアルゴリズムの中央値回転誤差を示す。図１４Ｂは、パーセンテージ単位における、異なるＰｎＰＬアルゴリズムの中央値平行移動誤差を示す。図１４Ｃは、度単位における、異なるＰｎＰＬアルゴリズムの平均値回転誤差を示す。図１４Ｄは、パーセンテージ単位における、異なるＰｎＰＬアルゴリズムのパーセンテージ単位における、平均値平行移動誤差を示す。図１４Ａ－Ｄでは、ｐｎｐｌ曲線４０１００Ａ－Ｄは、いくつかの実施形態による、本明細書に説明される方法を使用した、回転および平行移動における誤差を示す。ＯＰｎＰＬ曲線４０２００Ａ－Ｄおよびｃｖｘｐｎｐｌ曲線４０３００Ａ－Ｄは、ｐｎｐｌ曲線４０１００のものより一貫してより高い、パーセンテージおよび度単位における、誤差を示す。

図１５Ａは、異なるＰｎＰＬアルゴリズムの算出時間の略図である。図１５Ｂは、異なるＰｎＰＬアルゴリズムの算出時間の略図である。本明細書に説明される方法を使用して、ＰｎＰＬ問題を解く算出時間は、５０１００Ａ－Ｂによって表され、ＯＰｎＰＬ曲線５０２００Ａ－Ｂおよびｃｖｘｐｎｐｌ曲線５０３００Ａ－Ｂは、本明細書に説明されるアルゴリズムの実施形態を含む、方法より一貫して高い算出時間を示す。

図１６Ａは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ある範囲の誤差のインスタンスの数対ＰｎＰＬ解の対数誤差を示す。

図１６Ｂは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解の箱ひげ図を示す。

図１６Ｃは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解のラジアン単位における平均値回転誤差を示す。本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、ＰｎＰＬ解は、誤差６０１００Ｃを有し、これは、ＵＰｎＰ解６０２００Ｃに関する誤差未満であることが分かり得る。

図１６Ｄは、本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、Ｐ３ＰおよびＵＰｎＰ解と比較した、ＰｎＰＬ解のメートル単位における平均値位置誤差を示す。本明細書に説明されるいくつかの実施形態による、ＰｎＰ問題に関する、ＰｎＰＬ解は、誤差６０１００Ｄを有し、これは、ＵＰｎＰ解６０２００Ｄに関する誤差未満であることが分かり得る。

図１７Ａ－Ｄは、ＯＡＰｎＬ、ＤＬＴ、ＬＰｎＬ、Ａｎｓａｒ、Ｍｉｒｚａｅｉ、ＯＰｎＰＬ、およびＡＳＰｎＬを含む、異なるＰｎＬアルゴリズムの平均値および中央値回転および平行移動誤差を示す。ＯＡＰｎＬは、"Ａ Ｒｏｂｕｓｔ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ＰｎＬ ｐｒｏｂｌｅｍ Ｕｓｉｎｇ Ａｌｇｅｂｒａｉｃ Ｄｉｓｔａｎｃｅ ｔｏ Ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ Ｒｅｐｒｏｊｅｃｔｉｏｎ Ｄｉｓｔａｎｃｅ，" ｂｙ Ｚｈｏｕ， Ｌｉｐｕ， ｅｔ ａｌ．， ２０１９に説明され、参照することによってその全体として本明細書に組み込まれる。ＤＬＴは、“Ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ” ｂｙ Ｐｉｂｙｌ， Ｂ．， Ｚｅｍｋ， Ｐ．， ａｎｄ Ａｄｋ， Ｍ．， ２０１７に説明され、参照することによってその全体として本明細書に組み込まれる。ＬＰｎＬは、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ” ｂｙ Ｘｕ， Ｃ．， Ｚｈａｎｇ， Ｌ．， Ｃｈｅｎｇ， Ｌ．， ａｎｄ Ｋｏｃｈ， Ｒ．， ２０１７に説明され、参照することによってその全体として本明細書に組み込まれる。Ａｎｓａｒは、“Ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ｏｒ ｌｉｎｅｓ” ｂｙ Ａｎｓａｒ， Ａ．， ａｎｄ Ｄａｎｉｉｌｉｄｉｓ， Ｋ．， ２００３に説明され、参照することによってその全体として本明細書に組み込まれる。Ｍｉｒｚａｅｉは、“Ｇｌｏｂａｌｌｙ ｏｐｔｉｍａｌ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ” ｂｙ Ｍｉｒｚａｅｉ， Ｆ． Ｍ．， ａｎｄ Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ． Ｉ．， ２０１１に説明され、参照することによってその全体として本明細書に組み込まれる。本明細書に説明されるように、ＯＰｎＰＬは、“Ａｃｃｕｒａｔｅ ａｎｄ ｌｉｎｅａｒ ｔｉｍｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ａｎｄ ｌｉｎｅｓ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”において対処されている。本明細書に説明されるように、ＡＳＰｎＬの側面は、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ”に説明される。

図１７Ａは、度単位における、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。図１７Ｂは、パーセンテージ単位における、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。図１７Ｃは、度単位における、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。図１７Ｄは、パーセンテージ単位における、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。曲線７０１００Ａ－Ｄは、本明細書に説明される方法を使用した、ＰｎＰＬ解の中央値および平均値回転および平行移動誤差を示す。

特徴線を使用した姿勢推定

いくつかの実施形態では、汎用アプローチの代わりに、またはそれに加え、効率的プロセスが、線のみが特徴として選択されるとき、姿勢を算出するために適用されてもよい。図１８は、図１０における方法１０００の代替である、方法１８００を図示する。方法１０００におけるように、方法１８００は、ブロック１８１０および１８２０において、特徴混合を決定するステップと、その混合を用いて、特徴を抽出するステップとから開始してもよい。ブロック１８１０における処理では、特徴混合は、線のみを含んでもよい。例えば、線のみが、図１１に図示されるように、環境内で選択されてもよい。

同様に、ブロック１８３０では、対応が、上記に説明されるように、決定されてもよい。これらの対応から、姿勢が、サブプロセス１８３５において、算出されてもよい。本実施例では、処理は、特徴が少なくとも１つの点を含むかどうかに応じて、分岐し得る。該当する場合、姿勢は、少なくとも１つの点を含む、特徴のセットに基づいて、姿勢を解き得る技法を用いて、推定されてもよい。上記に説明されるような汎用アルゴリズムが、例えば、ボックス１８３０において、適用されてもよい。

逆に言えば、特徴のセットが、線のみを含む場合、処理は、その場合に正確かつ効率的結果を送達する、アルゴリズムによって実施されてもよい。本実施例では、処理は、ブロック３０００に分岐する。ブロック３０００は、下記に説明されるように、視点ｎ線（ＰｎＬ：Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｌｉｎｅ）問題を解いてもよい。線は、多くの場合、存在し、容易に認識可能な特徴としての役割を果たし得るため、その中で姿勢推定が所望され得る、環境では、線のみを使用して、特徴セットに関する解を具体的に提供することは、そのような環境で動作するデバイスのために効率または正確度利点を提供し得る。

いくつかの実施形態によると、方法１８００のあらゆるステップは、本明細書に説明されるデバイス上および／または本明細書に説明されるもの等の遠隔サービス上で実施されてもよい。

本明細書に説明されるように、ＰｎＰＬ問題の特殊な場合は、視点ｎ線（ＰｎＬ）問題を含み、カメラの姿勢は、いくつかの２Ｄ／３Ｄ線対応から推定されることができる。ＰｎＬ問題は、“Ａ ｄｉｒｅｃｔ ｌｅａｓｔ－ｓｑｕａｒｅｓ （ｄｌｓ） ｍｅｔｈｏｄ ｆｏｒ ｐｎｐ” ｂｙ Ｈｅｓｃｈ， Ｊ．Ａ．， Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ．Ｉ．、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， “Ｕｐｎｐ： Ａｎ ｏｐｔｉｍａｌ ｏ （ｎ） ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ａｂｓｏｌｕｔｅ ｐｏｓｅ ｐｒｏｂｌｅｍ ｗｉｔｈ ｕｎｉｖｅｒｓａｌ ａｐｐｌｉｃａｂｉｌｉｔｙ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．” ｂｙ Ｋｎｅｉｐ， Ｌ．， Ｌｉ， Ｈ．， Ｓｅｏ， Ｙ．、“Ｒｅｖｉｓｉｔｉｎｇ ｔｈｅ ｐｎｐ ｐｒｏｂｌｅｍ： Ａ ｆａｓｔ， ｇｅｎｅｒａｌ ａｎｄ ｏｐｔｉｍａｌ ｓｏｌｕｔｉｏｎ” Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｂｙ Ｋｕａｎｇ， Ｙ．， Ｓｕｇｉｍｏｔｏ， Ｓ．， Ａｓｔｒｏｍ， Ｋ．， Ｏｋｕｔｏｍｉ， Ｍ．に説明されるように、ＰｎＰ問題の線対応物として説明されることができ、全て、参照することによってその全体として本明細書に組み込まれる。

ＰｎＬ問題は、同時位置特定およびマッピング（ＳＬＡＭ）、運動からの構造復元（ＳｆＭ）、および拡張現実（ＡＲ）を含む、多くの用途を伴う、コンピュータビジョンおよびロボットにおける基本問題である。概して、カメラ姿勢は、いくつかのＮ個の２Ｄ－３Ｄ線対応から決定されることができ、Ｎ≧３である。線対応の数Ｎが、３である場合、問題は、Ｐ３Ｌ問題としても知られる、最小問題と呼ばれ得る。対応の数Ｎが、３より大きい場合、問題は、最小二乗問題として知られ得る。最小問題（例えば、Ｎ＝３）および最小二乗問題（例えば、Ｎ＞３）は、概して、異なる方法で解かれる。最小限および最小二乗問題に対する両方の解は、種々のロボットおよびコンピュータビジョンタスクにおいて重要な役割を果たす。その重要性に起因して、多くの労力が、両方の問題を解くために行われている。

ＰｎＬ問題に関して提案されている、従来の方法およびアルゴリズムは、概して、異なるアルゴリズムを使用して、最小問題（Ｐ３Ｌ問題）および最小二乗問題を解く。例えば、従来のシステムでは、最小問題は、方程式系として公式化される一方、最小二乗問題は、最小化問題として公式化される。最小問題を最小二乗問題にアップグレードすることによって、理論上、最小の場合をハンドリングし得る、他の最小二乗解は、非効率的最小解をもたらし、最小解が、ＲＡＮＳＡＣフレームワークにおいて、複数回、起動することが要求されるため、リアルタイム用途において使用するために非実践的である（例えば、その全体として本明細書に組み込まれる、Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ” ｂｙ Ｆｉｓｃｈｌｅｒ， Ｍ．Ａ．， Ｂｏｌｌｅｓ， Ｒ．Ｃ．に説明されるように）。

最小解としての最小二乗問題に対処する、他の従来のシステムもまた、リアルタイム用途において使用するために非効率的である。最小問題に対する解は、概して、８次多項式につながるが、本明細書では、一般最小公式（ＧＭＦ）として説明される、最小二乗問題解は、より複雑な方程式系を解くことを要求する。

最小二乗を最小解として対処することによって、従来のシステムは、最小二乗解の要求されるより複雑な方程式系を用いて最小解に対処することによって、最小解を解く際、非効率的である。例えば、Ｍｉｒｚａｅｉのアルゴリズム（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｏｐｔｉｍａｌ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ ｉｎ ａ Ｍａｎｈａｔｔａｎ ｗｏｒｌｄ． Ｉｎ： ２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ’ ｂｙ Ｍｉｒｚａｅｉ， Ｆ．Ｍ．， Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ．Ｉ．に説明されるように）は、３つの５次多項式の方程式の根を見出すことを要求し、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるアルゴリズムは、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”（参照することによってその全体として本明細書に組み込まれる）に説明されるように、２７次単変量多項式の方程式をもたらし、’Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０（４）， ６０３｛６１４ （２０１９）’ ｂｙ Ｗａｎｇ， Ｐ．， Ｘｕ， Ｇ．， Ｃｈｅｎｇ， Ｙ．， Ｙｕ， Ｑ．（参照することによってその全体として本明細書に組み込まれる）は、サブセットベースの解を提案しており、これは、１５次単変量多項式の方程式を解く必要がある。

本明細書に説明されるように、最小（Ｐ３Ｌ）問題は、概して、８次単変量方程式を解くことを要求する、したがって、いくつかの具体的幾何学的構成の場合を除き、最大で８つの解を有する（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ” ｂｙ Ｘｕ， Ｃ．， Ｚｈａｎｇ， Ｌ．， Ｃｈｅｎｇ， Ｌ．， Ｋｏｃｈ， Ｒ．に説明されるように）。最小（Ｐ３Ｌ）問題に関する１つの広く採用されている方略は、いくつかの幾何学的変換によって問題を簡略化するものである（例えば、“Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ ａｔｔｉｔｕｄｅ ｏｆ ３ｄ ｏｂｊｅｃｔｓ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”、 “Ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ－ｔｏ－ｐｌａｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： ｅｘｉｓｔｅｎｃｅ ｃｏｎｄｉｔｉｏｎ ａｎｄ ｃｌｏｓｅｄ－ｆｏｒｍ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ” Ｃｈｅｎ， Ｈ．Ｈ．、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”、“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０” ｂｙ Ｗａｎｇ， Ｐ．， Ｘｕ， Ｇ．， Ｃｈｅｎｇ， Ｙ．， Ｙｕ， Ｑ．に説明されるように）。

具体的には、引用される参考文献の側面は、単変量方程式をもたらす、未知の数を低減させるためのいくつかの具体的中間座標系について議論する。これらの方法の問題は、変換が、極小の値であり得る、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ” ｂｙ Ｘｕ， Ｃ．， Ｚｈａｎｇ， Ｌ．， Ｃｈｅｎｇ， Ｌ．， Ｋｏｃｈ， Ｒ．の方程式（４）における分数の分母等、ある構成に関して、いくつかの数値的に不安定な演算を伴い得ることである。“Ａ ｓｔａｂｌｅ ａｌｇｅｂｒａｉｃ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｉｎｉｍａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｏｆ ２ｄ／３ｄ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” ｂｙ Ｚｈｏｕ， Ｌ．， Ｙｅ， Ｊ．， Ｋａｅｓｓ， Ｍ．の側面では、四元数が、回転をパラメータ化するために使用され、Ｐ３Ｌ問題に関する代数解を導入した。いくつかの研究は、Ｚ形状を形成する３つの線（例えば、参照することによってその全体として本明細書に組み込まれる、“Ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ａｃｔａ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ” ２００８， ｂｙ Ｌｉ－Ｊｕａｎ， Ｑ．， Ｆｅｎｇ， Ｚ．に説明されるように）、または平面な３線合流問題（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｔｈｅ ｐｌａｎａｒ ｔｈｒｅｅ－ｌｉｎｅ ｊｕｎｃｔｉｏｎ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｂｌｅｍ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｐｏｌｙｇｏｎａｌ ｐａｔｔｅｒｎｓ． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ２６（１１）， １６０３｛１６１８ （１９９３）’ ｂｙ Ｃａｇｌｉｏｔｉ， Ｖ．に説明されるように）、または既知の垂直方向を伴うＰ３Ｌ問題（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｎｌ ｗｉｔｈ ａ ｋｎｏｗｎ ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ． ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ ４（４）， ３８５２｛３８５９ （２０１９）’ ｂｙ Ｌｅｃｒｏｓｎｉｅｒ， Ｌ．， Ｂｏｕｔｔｅａｕ， Ｒ．， Ｖａｓｓｅｕｒ， Ｐ．， Ｓａｖａｔｉｅｒ， Ｘ．， Ｆｒａｕｎｄｏｒｆｅｒ， Ｆ．に説明されるように）等のＰ３Ｌ問題の具体的構成に焦点を当てた。

最小二乗ＰｎＬ問題に対する解に関する初期の研究は、主に、誤差関数公式および反復解に焦点を当てた。Ｌｉｕ ｅｔ ａｌ．（参照することによってその全体として本明細書に組み込まれる、’Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｃａｍｅｒａ ｌｏｃａｔｉｏｎ ｆｒｏｍ ２－ｄ ｔｏ ３－ｄ ｌｉｎｅ ａｎｄ ｐｏｉｎｔ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ １２（１）， ２８｛３７ （１９９０）’ ｂｙ Ｌｉｕ， Ｙ．， Ｈｕａｎｇ， Ｔ．Ｓ．， Ｆａｕｇｅｒａｓ， Ｏ．Ｄ．）は、２Ｄ－３Ｄ点および線対応からの制約を研究し、回転および平行移動の推定を分離した。ＫｕｍａｒおよびＨａｎｓｏｎ（参照することによってその全体として本明細書に組み込まれる、’Ｒｏｂｕｓｔ ｍｅｔｈｏｄｓ ｆｏｒ ｅｓｔｉｍａｔｉｎｇ ｐｏｓｅ ａｎｄ ａ ｓｅｎｓｉｔｉｖｉｔｙ ａｎａｌｙｓｉｓ． ＣＶＧＩＰ： Ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ ６０（３）， ３１３｛３４２ （１９９４）’ ｂｙ Ｋｕｍａｒ， Ｒ．， Ｈａｎｓｏｎ， Ａ．Ｒ．）は、反復方法において、回転および平行移動をともに最適化することを提案した。彼らは、初期推定を得るためのサンプリングベースの方法を提示した。後の研究（例えば、両方とも参照することによってその全体として本明細書に組み込まれる、’Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｒｅａｌ－Ｔｉｍｅ Ｉｍａｇｉｎｇ ５（３）， ２１５｛２３０ （１９９９）’ ｂｙ Ｄｏｒｎａｉｋａ， Ｆ．， Ｇａｒｃｉａ， Ｃ． およびＩｔｅｒａｔｉｖｅ ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ （１９９９）に説明されるように）は、反復を弱透視または疑似透視カメラモデルによって推定される姿勢から開始することを提案した。反復アルゴリズムの正確度は、初期解の品質および反復アルゴリズムのパラメータに依存する。反復方法が収束するであろうという保証は、存在しない。大部分の３Ｄ視覚問題として、線形公式が、重要な役割を果たす（例えば、参照することによって全体として本明細書に組み込まれる、’Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｃａｍｂｒｉｄｇｅ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ （２００３）’ ｂｙ Ｈａｒｔｌｅｙ， Ｒ．， Ｚｉｓｓｅｒｍａｎ， Ａ．に説明されるように）。直接線形変換（ＤＬＴ）は、姿勢を算出するための簡単な方法を提供する（例えば、’Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｃａｍｂｒｉｄｇｅ ｕｎｉｖｅｒｓｉｔｙ ｐｒｅｓｓ （２００３）’ ｂｙ Ｈａｒｔｌｅｙ， Ｒ．， Ｚｉｓｓｅｒｍａｎ， Ａ．に説明されるように）。本方法は、少なくとも６つの線対応を要求する。Ｐｒｉｂｙｌ ｅｔ ａｌ．（例えば、’Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ ｕｓｉｎｇ ｐｌｎ ｕｃｋｅｒ ｃｏｏｒｄｉｎａｔｅｓ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０８．０２８２４ （２０１６）’ ｂｙ Ｐｒｉｂｙｌ， Ｂ．， Ｚｅｍｃｉｋ， Ｐ．， Ｃａｄｉｋ， Ｍ．に説明されるように）は、少なくとも９つの線を必要とする、３Ｄ線のｐｌｕｃｋｅｒ座標に基づいて、新しいＤＬＴ方法を導入した。その後の研究（例えば、’Ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ １６１， １３０｛１４４ （２０１７）’ ｂｙ Ｐｒｉｂｙｌ， Ｂ．， Ｚｅｍｃｉｋ， Ｐ．， Ｃａｄｉｋ， Ｍ．に説明されるように）では、彼らは、２つのＤＬＴ方法を組み合わせ、これは、改良された性能を示し、線対応の最小数を５まで低減させた。ＰｎＰおよびＰｎＬ問題から導出される制約間の類似性を探索することによって、ＥＰｎＰアルゴリズムは、ＰｎＬ問題を解くように拡張される（例えば、’Ａｃｃｕｒａｔｅ ａｎｄ ｌｉｎｅａｒ ｔｉｍｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ａｎｄ ｌｉｎｅｓ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ｐｐ． ５８３｛５９９． Ｓｐｒｉｎｇｅｒ （２０１６）’ および“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ” ｂｙ Ｘｕ， Ｃ．， Ｚｈａｎｇ， Ｌ．， Ｃｈｅｎｇ， Ｌ．， Ｋｏｃｈ， Ｒ．に説明されるように）。ＥＰｎＰベースのＰｎＬアルゴリズムは、Ｎ＝４に関して適用可能であるが、Ｎが小さいとき、安定せず、平面ＰｎＬ問題（すなわち、全ての線は、平面上にある）に関する具体的処理を必要とする。線形公式は、未知の制約を無視する。これは、あまり正確ではない結果をもたらし、その可用性を狭める。上記の問題を解決するために、多項公式に基づく方法が、提案された。Ａｎｓａｒ ｅｔ ａｌ． （’Ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ｏｒ ｌｉｎｅｓ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２５（５）， ５７８｛５８９ （２００３）’ ｂｙ Ａｎｓａｒ， Ａ．， Ｄａｎｉｉｌｉｄｉｓ， Ｋ．）は、制約を表すために二次系を採用し、本系を解くための線形化アプローチを提示した。そのアルゴリズムは、Ｎ≧４に適用可能であるが、Ｎが大きいとき、あまりに低速である。ＲＰｎＰアルゴリズムが動機となって、サブセットベースのＰｎＬアプローチが、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ” ｂｙ Ｘｕ， Ｃ．， Ｚｈａｎｇ， Ｌ．， Ｃｈｅｎｇ， Ｌ．， Ｋｏｃｈ， Ｒ．および“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０”において提案された。彼らは、Ｎ個の線対応をＮ－２個のトリプレットに分割し、各トリプレットは、Ｐ３Ｌ問題である。次いで、彼らは、各Ｐ３Ｌ問題から導出される二乗多項式の和を最小にする。サブセットベースのＰｎＬアプローチは、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”（参照することによってその全体として本明細書に組み込まれる）に示されるように、Ｎが大きいとき、時間がかかるであろう。Ｇｒｏｂｎｅｒ基本技法（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｇｅｏｍｅｔｒｙ， ｖｏｌ． １８５． Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ ＆ Ｂｕｓｉｎｅｓｓ Ｍｅｄｉａ （２００６）’ ｂｙ Ｃｏｘ， Ｄ．Ａ．， Ｌｉｔｔｌｅ， Ｊ．， Ｏ’ｓｈｅａ， Ｄ．に説明されるように）を使用して、直接、多項式系を解くことが可能である。これは、一連の直接最小化方法をもたらす。文献では、ＣＧＲ（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｏｐｔｉｍａｌ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ ｉｎ ａ ｍａｎｈａｔｔａｎ ｗｏｒｌｄ． Ｉｎ： ２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ｐｐ． ２４５４｛ ２４６１． ＩＥＥＥ （２０１１）’ ｂｙ Ｍｉｒｚａｅｉ， Ｆ．Ｍ．， Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ．Ｉ． および’Ｇｌｏｂａｌｌｙ ｏｐｔｉｍａｌ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： ２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ． ｐｐ． ５５８１｛５５８８． ＩＥＥＥ （２０１１）’ ｂｙ Ｍｉｒｚａｅｉ， Ｆ．Ｍ．， Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ．Ｉ．）および四元数（例えば、参照することによってその全体として本明細書に組み込まれる、’Ａｃｃｕｒａｔｅ ａｎｄ ｌｉｎｅａｒ ｔｉｍｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ａｎｄ ｌｉｎｅｓ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ｐｐ． ５８３｛５９９． Ｓｐｒｉｎｇｅｒ （２０１６）’ ｂｙ Ｖａｋｈｉｔｏｖ， Ａ．， Ｆｕｎｋｅ， Ｊ．， Ｍｏｒｅｎｏ－Ｎｏｇｕｅｒ， Ｆ．に説明されるように）が、回転をパラメータ化するために採用され、これは、多項式コスト関数をもたらした。次いで、Ｇｒｏｂｎｅｒ基本技法が、コスト関数の第１の最適性条件を解くために使用される。
Ｇｒｏｂｎｅｒ基本技法は、数値問題に遭遇し得るため（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｇｅｏｍｅｔｒｙ， ｖｏｌ． １８５． Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ ＆ Ｂｕｓｉｎｅｓｓ Ｍｅｄｉａ （２００６）’ ｂｙ Ｃｏｘ， Ｄ．Ａ．， Ｌｉｔｔｌｅ， Ｊ．， Ｏ’ｓｈｅａ， Ｄ． ａｎｄ ’Ｆａｓｔ ａｎｄ ｓｔａｂｌｅ ｐｏｌｙｎｏｍｉａｌ ｅｑｕａｔｉｏｎ ｓｏｌｖｉｎｇ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ８４（３）， ２３７｛２５６ （２００９）’ ｂｙ Ｂｙｒｏｄ， Ｍ．， Ｊｏｓｅｐｈｓｏｎ， Ｋ．， Ａｓｔｒｏｍ， Ｋ．に説明されるように）、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるように、Ｚｈｏｕ ｅｔ ａｌ．は、隠れ変数多項式ソルバを導入した。彼らは、改良された正確度を示したが、依然として、線形公式に基づくアルゴリズムの大部分より有意に低速であった。ＰｎＬ問題は、ある用途に関して、いくつかの拡張を有する。いくつかの用途は、複数のカメラを伴う。Ｌｅｅ（例えば、参照することによってその全体として本明細書に組み込まれる、’Ａ ｍｉｎｉｍａｌ ｓｏｌｕｔｉｏｎ ｆｏｒ ｎｏｎ－ｐｅｒｓｐｅｃｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ｐｐ． １７０｛１８５． Ｓｐｒｉｎｇｅｒ （２０１６）’ ｂｙ Ｌｅｅ， Ｇ．Ｈ．に説明されるように）は、マルチカメラシステムに関する閉形式のＰ３Ｌ解を提案した。最近、Ｈｉｃｈｅｍ（例えば、参照することによってその全体として
本明細書に組み込まれる、’Ａ ｄｉｒｅｃｔ ｌｅａｓｔ－ｓｑｕａｒｅｓ ｓｏｌｕｔｉｏｎ ｔｏ ｍｕｌｔｉ－ｖｉｅｗ ａｂｓｏｌｕｔｅ ａｎｄ ｒｅｌａｔｉｖｅ ｐｏｓｅ ｆｒｏｍ ２ｄ－３ｄ ｐｅｒｓｐｅｃｔｉｖｅ ｌｉｎｅ ｐａｉｒｓ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｗｏｒｋｓｈｏｐｓ （２０１９）’ ｂｙ Ａｂｄｅｌｌａｌｉ， Ｈ．， Ｆｒｏｈｌｉｃｈ， Ｒ．， Ｋａｔｏ， Ｚ．に説明されるように）が、マルチカメラシステムのＰｎＬ問題に関する直接最小二乗解を提案した。いくつかの用途では、垂直方向は、あるセンサ（例えば、ＩＭＵ）から把握される。これは、姿勢推定のための先行値として使用されることができる（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｎｌ ｗｉｔｈ ａ ｋｎｏｗｎ ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ． ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ ４（４）， ３８５２｛３８５９ （２０１９）’および’Ａｂｓｏｌｕｔｅ ａｎｄ ｒｅｌａｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ａ ｍｕｌｔｉ－ｖｉｅｗ ｃａｍｅｒａ ｓｙｓｔｅｍ ｕｓｉｎｇ ２ｄ－３ｄ ｌｉｎｅ ｐａｉｒｓ ａｎｄ ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ． Ｉｎ： ２０１８ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ： Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ （ＤＩＣＴＡ）． ｐｐ． １｛８． ＩＥＥＥ （２０１８）’ ｂｙ Ａｂｄｅｌｌａｌｉ， Ｈ．， Ｋａｔｏ， Ｚｍに説明されるように）。単一カメラに関するＰｎＬ解は、マルチカメラシステムに拡張されることができるため（例えば、’Ａ ｄｉｒｅｃｔ ｌｅａｓｔ－ｓｑｕａｒｅｓ ｓｏｌｕｔｉｏｎ ｔｏ ｍｕｌｔｉ－ｖｉｅｗ ａｂｓｏｌｕｔｅ ａｎｄ ｒｅｌａｔｉｖｅ ｐｏｓｅ ｆｒｏｍ ２ｄ－３ｄ ｐｅｒｓｐｅｃｔｉｖｅ ｌｉｎｅ ｐａｉｒｓ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｗｏｒｋｓｈｏｐｓ （２０１９）’に説明されるように）、本紙は、単一カメラに関するＰｎＬ問題に焦点を当てた。

望ましいＰｎＬ解は、それが、任意の可能性として考えられる入力に関して正確かつ効率的であることである。上記に述べられたように、線形公式に基づくアルゴリズムは、概して、小さいＮに関して、不安定または実行不可能であって、具体的処理を必要とする、またはさらに、平面の場合に関しては、機能しない。他方では、多項公式に基づくアルゴリズムは、より良好な正確度を達成し得、より広いＰｎＬ入力に適用可能であるが、より算出上需要が高い。さらに、最小および最小二乗問題に関して統合された解を欠いている。したがって、従来から、本明細書の技法によって提供されるような最先端ＰｎＬ解に優る改良に関する有意な余地が存在している。

いくつかの実施形態によると、位置特定の方法は、視点ｎ線（ＰｎＬ）問題に関する完全、正確、かつ効率的解を含み得る。いくつかの実施形態では、最小二乗問題は、一般最小公式（ＧＭＦ）に変換されてもよく、これは、新規隠れ変数方法によって、最小問題と同一形態を有することができる。いくつかの実施形態では、Ｇｒａｍ－Ｓｃｈｍｉｄｔプロセスが、変換における特異な場合を回避するために使用されてもよい。

図３０は、いくつかの実施形態による、効率的位置特定の方法３０００を図示する、フローチャートである。本方法は、数ｎの２Ｄ／３Ｄ点対応およびｍの２Ｄ／３Ｄ線対応を前提として、抽出された特徴の対応のセットを決定するステップ（行為３０１０）と、２Ｎ個の制約を取得するステップ（行為３０２０）とから開始してもよい。方法３０００は、部分的線形化方法を使用して、制約のセットを再構成し、方程式系を取得するステップ（行為３０３０）を含んでもよい。本方法はさらに、方程式系を解き、回転行列を取得するステップ（行為３０４０）と、回転行列およびｔの閉形式を使用して、ｔを取得するステップ（行為３０５０）とを含む。

いくつかの実施形態によると、方法３０００のあらゆるステップは、本明細書に説明されるデバイス上および／または本明細書に説明されるもの等の遠隔サービス上で実施されてもよい。

いくつかの実施形態によると、方法３０００の行為３０２０の２Ｎ個の制約は、Ｎ個の線対応

毎に、形式ｌ_ｔ（ＲＰ_ｉｊ＋ｔ）＝０（ｊ＝１，２）で記述され得る、２つの制約を含んでもよい。例えば、これは、図１９と併せてさらに説明される。

図１９は、いくつかの実施形態による、

からの制約の例示的概略図である。ＰｎＬ問題は、回転Ｒおよび平行移動ｔを含む、カメラ姿勢を、数Ｎ≧３の２Ｄ－３Ｄ線対応

から推定するステップを含んでもよい。Ｐ_ｉｊからカメラへの投影は、ｐ_ｉｊ＝Ｋ（ＲＰ_ｉｊ＋ｔ）として記述されることができ、式中、ｐ_ｉｊは、同次座標のものである。ｌ_ｉは、３次元ベクトルとして、例えば、形式ｌ_ｉ＝［ａ_ｉ；ｂ_ｉ；ｃ_ｉ］^Ｔ（式中、ａ_ｉ ^２＋ｂ_ｉ ^２＝１である）において、定義されてもよい。ｐ_ｉｊは、２Ｄ線ｌ_ｉ上にあるべきである。したがって、ｌ_ｉ ^ＴＫ（ＲＰ_ｉｊ＋ｔ）＝（Ｋ^Ｔｌ_ｉ）^Ｔ（ＲＰ_ｉｊ＋ｔ）＝０を有する。Ｋは、既知であるため、Ｋ^Ｔｌ_ｉが、最初に、算出されてもよい。表記は、ｌ_ｉを使用して、Ｋ^Ｔｌ_ｉを表すことによって、簡略化されてもよい。そうすることによって、ｉ番目の対応に関する２つの制約は、ｌ_ｉ（ＲＰ_ｉｊ＋ｔ）＝０，ｊ＝１，２として記述され得る。本明細書に説明されるように、ＰｎＬ問題は、回転Ｒおよび平行移動ｔを含む、カメラ姿勢を推定するステップを含んでもよい。いくつかの実施形態によると、回転Ｒおよび平行移動ｔは、合計６自由度を有してもよい。本明細書に議論されるように、各線対応

は、以下のように記述され得る、２つの制約をもたらし得る。

回転Ｒおよび平行移動ｔに関して、合計６自由度が存在してもよい。各線対応

は、（１’）に示されるように、２つの制約をもたらすため、少なくとも３つの対応が、姿勢を決定するために要求される。Ｎ＝３は、ＰｎＬ問題に関する最小の場合であって、文献では、Ｐ３Ｌ問題と呼ばれる。いくつかの具体的構成（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）を除き、本問題に関して、最大で８つの解が存在する。回転推定は、Ｐ３Ｌ問題に不可欠である。基本的に、Ｒの３つの未知数のうちの１つである、σにおいて、８次方程式まで低減されることができる（例えば、“Ａ ｓｔａｂｌｅ ａｌｇｅｂｒａｉｃ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｉｎｉｍａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｏｆ ２ｄ／３ｄ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”， “Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”， および“Ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ－ｔｏ－ｐｌａｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： ｅｘｉｓｔｅｎｃｅ ｃｏｎｄｉｔｉｏｎ ａｎｄ ｃｌｏｓｅｄ－ｆｏｒｍ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）。

方程式（２’）は、Ｐ３Ｌ問題に関する一般最小公式（ＧＭＦ）である。最小二乗ＰｎＬ問題はまた、本明細書に説明される方法を使用して、ＧＭＦにまとめられることができる。

いくつかの実施形態によると、方法３０００の行為３０２０において制約のセットを再構成するステップは、制約、すなわち、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化を使用したＲの表現およびｔの閉形式を使用することによって、二次系を生成するステップを含んでもよい。いくつかの実施形態では、ＣＧＲは、例えば、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に議論されるように、Ｒを表すために使用されてもよい。例えば、３次元ベクトルが、ｓ＝［Ｓ_１，Ｓ_２，Ｓ_３］として示されてもよい。いくつかの実施形態によると、ＣＧＲパラメータ化を使用したＲの表現は、以下の方程式（３’）によって説明される形式であってもよい。（３’）では、Ｉ_３は、３×３単位行列であってもよく、［ｓ］_ｘは、３次元ベクトルｓの歪行列である。（３’）では、

の各要素は、３次元ベクトルｓ内の二次式である。

いくつかの実施形態によると、行為３０２０のｔの閉形式は、τ＝－（Ｂ^ＴＢ）Ｂ^ＴＡｒの形式にあってもよい。いくつかの実施形態では、ｔの閉形式は、最初に、（３’）を（１’）に代入し、項（１＋Ｓ^ＴＳ）を両辺に対して乗算し、以下をもたらすことによって、導出されてもよい。

第２に、以下のように、（４’）における

項を拡張し、ｓおよびｔにおける多項式を導出する。

式中、ａ_ｉｊは、ｓおよびｔにおける、１０次元ベクトルであって、（１＋ｓ^Ｔｓ）は、３次多項式である。

方程式（５’）は、以下を定義し、

（５’）を以下のように書き換えることによって、簡略化されてもよい。

Ｎ個の２Ｄ－３Ｄ対応を前提として、２Ｎ個の方程式を（７’）として有することができる。（７’）の２Ｎ個の方程式をスタックすることは、以下を与えることができる。

式中、Ａ＝［ａ_１１，ａ_１２，…，ａ_Ｎ１,ａ_Ｎ２］^ＴおよびＢ＝［ｌ_１，ｌ_１，…，ｌ_Ｎ，ｌ_Ｎ］^Ｔである。以下に関して、（８’）をτにおける線形方程式系として取り扱い、閉形式の解を求めることができる。

いくつかの実施形態によると、行為３０２０の二次系は、ｓ_１，ｓ_２，およびｓ_３における二次系であってもよく、以下の形式にあってもよい。

いくつかの実施形態によると、部分的線形化方法を使用して、方法３０００の行為３０２０における方程式系を取得するステップは、部分的線形化方法を使用して、ＰｎＬ問題を一般最小公式（ＧＭＦ）に変換するステップと、方程式系を生成するステップとを含んでもよい。

いくつかの実施形態では、部分的線形化方法は、（５’）に定義されるｒにおける単項式を２つの群ｒ_３＝［ｓ_１ ^２，ｓ_２ ^２，ｓ_３ ^２］^Ｔおよびｒ_７＝［ｓ_１ｓ_２，ｓ_１ｓ_３，ｓ_２ｓ_３，ｓ_２，ｓ_３，１］^Ｔに分割するステップと、適宜、（１０’）における行列ＫをＫ_３およびＫ_７に分割し、さらに、（１０’）を以下のように書き換えるステップとを含んでもよい。

（１１’）は、次いで、以下のように書き換えられてもよい。

式中、ｒ_３の要素は、個々の未知数として取り扱われ得る。いくつかの実施形態によると、本方法は、ｒ_３に関する行列Ｋ_３が完全階数であることを要求し得る。いくつかの実施形態によると、ｒ_７に対するｒ_３に関する閉形式解は、以下のように記述されてもよい。

式中、方程式（１３’）の－（Ｋ_３ ^ＴＫ_３）^－１Ｋ_３ ^ＴＫ_７は、３×７行列を表し得る。いくつかの実施形態によると、Ｋ_９（（１０’）のＫ）が、最大階数であるとき、ｒ_３は、恣意的に選定されてもよい。いくつかの実施形態によると、行列Ｋ_９（すなわち、（１０’）のＫ）は、雑音を伴わないデータに関する恣意的数の２Ｄ－３Ｄ線対応に関して、階数落ちであり得る。いくつかの実施形態では、Ｋ_９（すなわち、（１０’）のＫ）が、階数落ちであるとき、ある入力は、ｒ_３の固定された選択肢に対してＫ_３を階数落ちにさせる、または階数落ちに近似させ得る。

いくつかの実施形態によると、Ｋ_３は、列ピボットを伴う、Ｇｒａｍ－Ｓｃｈｍｉｄｔプロセスによって決定され、３つの独立列をＫ_９から選択し、Ｋ_３を生成してもよい。

方程式（１６’）は、使用されてもよく、Ｋのｉ番目、ｊ番目、およびｋ番目の列が、Ｋ_３であるように選択され、対応する単項式は、ｒ_３を形成し得る。残りの列は、Ｋ_７を形成するように選択されてもよく、対応する単項式は、ｒ_７を形成してもよい。いくつかの実施形態によると、方程式（１６’）は、他の多項式ソルバを使用して、解かれてもよい。

（１３’）の表記は、Ｃ_７＝（Ｋ_３ ^ＴＫ_３）^－１Ｋ_３ ^ＴＫ_７に簡略化されてもよく、（１３’）は、以下のように、書き換えられてもよい

上記の方程式系は、ｓ_１，ｓ_２，およびｓ_３において、３つの二次方程式を含む。３つの二次方程式はそれぞれ、以下の形式を有してもよい。

いくつかの実施形態によると、方程式系を解き、回転行列を取得するステップ（行為３０３０）は、方程式が（１５’）の形式である、方程式系を解くことによって、回転行列を取得するステップを含んでもよい。いくつかの実施形態によると、方程式系は、Ｇｒｏｂｎｅｒ基本アプローチを使用して、解かれてもよい。いくつかの実施形態によると、方程式系は、Ｋｕｋｅｌｏｖａ ｅｔ ａｌ．（例えば、参照することによってその全体として本明細書に組み込まれる、“Ｅｆｆｉｃｉｅｎｔ ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ ｔｈｒｅｅ ｑｕａｄｒｉｃｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ” ｂｙ Ｋｕｋｅｌｏｖａ， Ｚ．， Ｈｅｌｌｅｒ， Ｊ．， Ｆｉｔｚｇｉｂｂｏｎ， Ａ．に説明されるように）に説明される方法およびアプローチを使用して、解かれてもよく、Ｚｈｏｕによって説明されるアプローチを使用して、安定性を改良してもよい。

いくつかの実施形態によると、隠れ変数方法が、方程式系（１４’）を解くために使用されてもよい。いくつかの実施形態では、カスタマイズされた隠れ変数方法が、方程式系を解くために使用されてもよい。例えば、カスタマイズされた隠れ変数方法は、“Ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｇｅｏｍｅｔｒｙ， ｖｏｌ． １８５． Ｓｐｒｉｎｇｅｒ Ｓｃｉｅｎｃｅ ＆ Ｂｕｓｉｎｅｓｓ Ｍｅｄｉａ （２００６）”に説明される。いくつかの実施形態では、カスタマイズされた隠れ変数方法は、（１５’）において既知のものを定数として取り扱うことによって実装されてもよい。例えば、ｓ_３は定数として取り扱われてもよい一方、ｓ_１およびｓ_２は、方程式系（１５’）が以下の様式において記述され得るように、未知数として取り扱われる。

式中、ｐ_ｉ１（ｓ_３）＝ｃ_１５ｓ_３＋ｃ_１７，ｐ_ｉ２（ｓ_３）＝ｃ_ｉ６ｓ_３＋ｃ_ｉ８およびｐ_ｉ３（ｓ_３）＝ｃ_ｉ３ｓ_３ ^２＋ｃ_ｉ９ｓ_３＋ｃ_１０である。補助変数ｓ_０が、（１５’）における全ての単項式が次数２を有するように、（１５’）を同次二次方程式にするために使用されてもよい。これは、以下の系を生成する。

ｓ_０＝１であるとき、Ｆ_ｉ＝ｆ_ｉであって、したがって、Ｆ_０，Ｆ_１，およびＦ_２のＪａｃｏｂｉａｎ行列の行列式Ｊは、以下のように記述されてもよい。

Ｊは、ｓ_０，ｓ_１，およびｓ_２における３次同次方程式であることができ、その係数は、ｓ_３における多項式である。ｓ_０，ｓ_１，およびｓ_２に対するＪの部分導関数全て、Ｆ_ｉと同一形成を伴う、ｓ_０，ｓ_１，およびｓ_２における二次同次方程式であり得る、すなわち、以下である。

ｑ_ｉｊ（ｓ_３）は、ｓ_３における多項式であり得る。Ｆ_０＝Ｆ_１＝Ｆ_２＝０の全ての非自明解において、Ｇ_０＝Ｇ_１＝Ｇ_２＝０である（例えば、［１０］に説明されるように）。したがって、それらは、組み合わせられ、（２１’）のように、ｓ_０，ｓ_１，およびｓ_２に対する新しい同次系を形成し得る。

Ｑ（ｓ_３）は、６×６行列であってもよく、その要素は、ｓ_３およびｕ＝［ｓ_１ ^２，ｓ_１ｓ_２，ｓ_２ ^２，ｓ_０ｓ_１，ｓ_０ｓ_２，ｓ_０ ^２］^Ｔにおける多項式である。線形代数理論に基づいて、同次線形系（２１’）は、ｄｅｔ（Ｑ（ｓ_３））＝０である場合、かつその場合のみ、非自明解を有し得、式中、ｄｅｔ（Ｑ（ｓ_３））＝０は、ｓ_３における８次多項式であって、これは、ＧＭＦと同一形式である。最大で８つの解が、存在し得る。

いくつかの実施形態によると、ｓ_３を求めた後、ｓ_３は、（２１’）の中に逆代入され、ｕに対する線形同次方程式系を導出することができる。いくつかの実施形態によると、ｓ_１およびｓ_２は、ｓ_３を（２１’）の中に逆代入し、ｓ_０＝１を設定することによって、線形系（２１’）を通して算出されてもよい。

いくつかの実施形態によると、方法３０００において回転行列を取得するステップ（行為３０３０）は、いったんｓ_１，ｓ_２，およびｓ_３が、取得されると、（３’）を用いて、Ｒを算出するステップを含んでもよい。いくつかの実施形態によると、τは、（６’）によって計算されてもよい。いくつかの実施形態によると、ｔを取得するステップ（行為３０３０）は、方程式（９’）を使用して、ｔを取得するステップを含んでもよい。

いくつかの実施形態によると、反復方法が、例えば、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”， “Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”および“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０”に説明されるように、解を精緻化するために使用されてもよい。解は、ｓおよびｔにおける６次多項式である、コスト関数を最小限にすることによって、精緻化されてもよい（例えば、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるように）。いくつかの実施形態では、減速ニュートンステップが、解を精緻化するために使用されてもよい（例えば、参照することによってその全体として本明細書に組み込まれる、“Ｒｅｖｉｓｉｔｉｎｇ ｔｈｅ ｐｎｐ ｐｒｏｂｌｅｍ： Ａ ｆａｓｔ， ｇｅｎｅｒａｌ ａｎｄ ｏｐｔｉｍａｌ ｓｏｌｕｔｉｏｎ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ” ｂｙ Ｚｈｅｎｇ， Ｙ．， Ｋｕａｎｇ， Ｙ．， Ｓｕｇｉｍｏｔｏ， Ｓ．， Ａｓｔｒｏｍ， Ｋ．， Ｏｋｕｔｏｍｉ， Ｍ． および “Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるように）。具体的には、ｋ番目のステップに関して、ｓおよびｔに対するコスト関数のＨｅｓｓｉａｎＨ_ｋおよび勾配ｇ_ｋを算出する。次いで、解は、［ｓ_ｋ＋１，ｔ_ｋ＋１］＝［ｓ_ｋ，ｔ_ｋ］－（Ｈ_ｋ＋λＩ_６）^－１ｇ_ｋとなる。式中、λは、Ｌｅｖｅｎｂｅｒｇ／Ｍａｒｑｕａｒｄｔアルゴリズムに従って、各ステップにおいて調節され（例えば、参照することによってその全体として本明細書に組み込まれる、“Ｔｈｅ ｌｅｖｅｎｂｅｒｇ－ｍａｒｑｕａｒｄｔ ａｌｇｏｒｉｔｈｍ： ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ｔｈｅｏｒｙ． Ｉｎ： Ｎｕｍｅｒｉｃａｌ ａｎａｌｙｓｉｓ” ｂｙ Ｍｏｒｅ， Ｊ．Ｊ．に説明されるように）、ステップ毎にコストを低減させる。最小コストを伴う解は、解と見なされ得る。

いくつかの実施形態によると、本明細書に説明されるＰｎＬ解は、Ｎ≧３個の２Ｄ／３Ｄ線対応に適用可能である。いくつかの実施形態では、ＰｎＬ問題を解く方法は、４つのステップを含んでもよい。いくつかの実施形態では、第１のステップは、２Ｎ個の制約（４’）を３つの方程式（１５’）にまとめるステップを含んでもよい。いくつかの実施形態では、方程式系である、３つの方程式（１５’）は、隠れ変数方法によって解かれ、回転Ｒおよび平行移動ｔを復元させてもよい。いくつかの実施形態によると、ＰｎＬ解はさらに、減速ニュートンステップによって、精緻化されてもよい。図３１は、いくつかの実施形態による、ＰｎＬ問題を解くための例示的アルゴリズム３１００を示す。

アルゴリズム３１００のステップ２（行為３１２０）およびステップ３（行為３１３０）の算出複雑性は、対応の数から独立するため、Ｏ（１）である。ステップ１の主要な算出コストは、線形最小二乗問題（９’）および（１３’）を解くためのものである。ステップ４の主要な算出コストは、二乗距離関数の総和を計算するためのものである。これらのステップの算出複雑性は、Ｎに対する線形性を増加させる。要するに、アルゴリズム３１００の算出複雑性は、Ｏ（Ｎ）である。

いくつかの実施形態によると、本明細書に説明されるＰｎＬ問題の解のアルゴリズムの成分は、ＭｉｎＰｎＬと称される。図２４－２７は、いくつかの実施形態による、ＭｉｎＰｎＬアルゴリズムと、以前のＰ３Ｌおよび最小二乗ＰｎＬアルゴリズムの比較を示す。Ｐ３Ｌおよび最小二乗ＰｎＬアルゴリズムを解くための比較されるアルゴリズムは、Ｐ３Ｌ問題に関して、３つの最近の研究ＡｌｇＰ３Ｌ（例えば、“Ａ ｓｔａｂｌｅ ａｌｇｅｂｒａｉｃ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｉｎｉｍａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｏｆ ２ｄ／３ｄ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”に説明されるように）、ＲＰ３Ｌ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、およびＳＲＰ３Ｌ（例えば、参照することによってその全体として本明細書に組み込まれる、 ’Ａ ｎｏｖｅｌ ａｌｇｅｂｒａｉｃ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ－ｔｈｒｅｅｌｉｎｅ ｐｏｓｅ ｐｒｏｂｌｅｍ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｐ． １０２７１１ （２０１８）’ ｂｙ Ｗａｎｇ， Ｐ．， Ｘｕ， Ｇ．， Ｃｈｅｎｇ， Ｙ．に説明されるように）、および最小二乗問題に関して、ＯＡＰｎＬ、ＳＲＰｎＬ（例えば、’Ａ ｎｏｖｅｌ ａｌｇｅｂｒａｉｃ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ－ｔｈｒｅｅｌｉｎｅ ｐｏｓｅ ｐｒｏｂｌｅｍ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｐ． １０２７１１ （２０１８）’に説明されるように）、ＡＳＰｎＬ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、Ａｎｓａｒ（例えば、’Ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ｏｒ ｌｉｎｅｓ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２５（５）， ５７８｛５８９ （２００３）’に説明されるように）、Ｍｉｒｚａｅｉ（例えば、’Ｏｐｔｉｍａｌ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔｓ ｉｎ ａ ｍａｎｈａｔｔａｎ ｗｏｒｌｄ． Ｉｎ： ２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”に説明されるように）、ＬＰｎＬ ＤＬＴ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、ＤＬＴ Ｃｏｍｂｉｎｅｄ Ｌｉｎｅｓ（例えば、’Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ ｕｓｉｎｇ ｐｌｎ ｕｃｋｅｒ ｃｏｏｒｄｉｎａｔｅｓ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０８．０２８２４ （２０１６）’に説明されるように）、ＤＬＴ Ｐｌｕｃｋｅｒ Ｌｉｎｅｓ（例えば、“Ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ”に説明されるように）、ＬＰｎＬ Ｂａｒ ＬＳ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、ＬＰｎＬ Ｂａｒ ＥＮｕｌｌ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、ｃｖｘＰｎＰＬ（例えば、“’Ｃｖｘｐｎｐｌ： Ａ ｕｎｉｆｉｅｄ ｃｏｎｖｅｘ ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｐｒｏｂｌｅｍ ｆｒｏｍ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ”に説明されるように）、ＯＰｎＰＬ、およびＥＰｎＰＬ Ｐｌａｎａｒ（例えば、“Ａｃｃｕｒａｔｅ ａｎｄ ｌｉｎｅａｒ ｔｉｍｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｐｏｉｎｔｓ ａｎｄ ｌｉｎｅｓ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．”に説明されるように）を含む。

図２４－２７では、以下のメトリック（例えば、以前の研究“Ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ” および“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるように）が、推定誤差を測定するために使用されている。具体的には、Ｒ_ｇｔおよびｔ_ｇｔが、グラウンドトゥルース回転および平行移動であって、

が、推定されるものであると仮定すると、回転誤差は、

の軸角度表現の角度（度）として、平行移動誤差Δｔは、

として計算され得る。

図２４－２６に関して、合成データが、異なるアルゴリズムの性能を評価するために使用されている。方程式系（１５’）に関する多項式ソルバが、最初に、Ｇｒａｍ－Ｓｃｈｍｉｄｔプロセスの影響とともに比較される、次いで、ＭｉｎＰｎＬが、最先端Ｐ３Ｌおよび最小二乗ＰｎＬアルゴリズムと比較される。

図２４－２６における比較の目的のために使用される、合成データは、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ” 、“Ｔｈｅ ｐｌａｎａｒ ｔｈｒｅｅ－ｌｉｎｅ ｊｕｎｃｔｉｏｎ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｂｌｅｍ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｐｏｌｙｇｏｎａｌ ｐａｔｔｅｒｎｓ． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ”、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”、および“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０”（参照することによって本明細書に組み込まれる）に説明されるものと同様に生成されている。具体的には、カメラ分解能は、６４０×４８０ピクセルに、焦点距離は、８００に設定されてもよい。オイラー角α、β、γが、回転行列を生成するために使用されてもよい。試行毎に、カメラは、［－１０ｍ；１０ｍ］^３立方体内にランダムに設置され、オイラー角は、α、γ∈［０°,３６０°］およびβ∈［０°,１８０°］から均一にサンプリングされる。次いで、Ｎ ２Ｄ／３Ｄ線対応が、ランダムに生成される。２Ｄ線の終点が、最初に、ランダムに生成され、次いで、３Ｄ終点が、２Ｄ終点を３Ｄ空間の中に投影することによって生成される。３Ｄ終点の深度は、［４ｍ；１０ｍ］内である。次いで、これらの３Ｄ終点は、世界フレームに変換される。

ヒストグラムおよび箱ひげ図が、推定誤差を比較するために使用されてもよい。ヒストグラムは、誤差の主要な分布を提示するために使用され得る一方、箱ひげ図は、大誤差をより良好に示すために使用されてもよい。箱ひげ図では、各ボックスの中心マークは、中央値を示し、下縁および上縁は、それぞれ、２５および７５パーセンタイルを示す。ひげは、＋／－２．７標準偏差まで延在し、本範囲外の誤差は、「＋」記号を使用して、個々にプロットされる。隠れ変数（ＨＶ）多項式ソルバの数値安定性は、１０，０００回の試行を使用して、Ｇｒｏｂｎｅｒ、Ｅ３Ｑ３、およびＲＥ３Ｑ３アルゴリズムと比較される（例えば、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるように）。

図２０Ａ－Ｂは、結果を示す。隠れ変数ソルバは、他のアルゴリズムより安定することが明白である。“Ｅｆｆｉｃｉｅｎｔ ｓｏｌｖｅｒｓ ｆｏｒ ｍｉｎｉｍａｌ ｐｒｏｂｌｅｍｓ ｂｙ ｓｙｚｙｇｙ－ｂａｓｅｄ ｒｅｄｕｃｔｉｏｎ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ”、“Ｕｐｎｐ： Ａｎ ｏｐｔｉｍａｌ ｏ（ｎ） ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ａｂｓｏｌｕｔｅ ｐｏｓｅ ｐｒｏｂｌｅｍ ｗｉｔｈ ｕｎｉｖｅｒｓａｌ ａｐｐｌｉｃａｂｉｌｉｔｙ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”、および“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に説明されるアルゴリズムは、大誤差を生成する。Ｇｒｏｂｎｅｒ方法のように、Ｅ３Ｑ３およびＲＥ３Ｑ３は全て、行列の逆数を算出するステップを伴い、それらは、数値問題に遭遇し得、これは、これらの大誤差をもたらし得る。

本明細書に説明される方法の１つの重要なステップは、Ｋｒ＝０（１０’）をＫ_３ｒ_３＝－Ｋ_７ｒ_７（１３’）として再編成することである。ｒ_３に関する８４個の選択肢が存在する。異なる選択肢は、異なる影響を数値安定性に及ぼし得る。それぞれ、ＭｉｎＰｎ＿ｓ_ｉ ^２、ＭｉｎＰｎＬ＿ｓ_ｉｓ_ｉ、およびＭｉｎＰｎＬ＿ｓ_ｉと命名された、ｒ_３の３つの選択肢、すなわち、［Ｓ_１ ^２，Ｓ_２ ^２，Ｓ_３ ^２］、［ｓ_１ｓ_２，ｓ_１ｓ_３，ｓ_２ｓ_３］および［ｓ_１，ｓ_２，ｓ_３］を考慮する。本比較のために、対応Ｎの数は、４から２０まで増加されており、雑音の標準偏差は、２ピクセルに設定されている。Ｎ毎に、１，０００回の試行が、性能を試験するために行われている。

図２３Ａ－Ｂは、結果を実証する。図２３Ａは、異なるＰ３Ｌアルゴリズム間の度単位における平均値回転誤差の比較を示す。図２３Ｂは、異なるＰ３Ｌアルゴリズム間の回転誤差の箱ひげ図を示す。ｒ_３の固定された選定は、Ｋ_３が特異行列に近似するとき、数値問題に遭遇し得る。本明細書に説明されるアルゴリズムに対する解のいくつかの実施形態で使用される、Ｇｒａｍ－Ｓｃｈｍｉｄｔプロセスは、本問題を解決し、したがって、より安定した結果を生成することができる。

本明細書に説明されるようなＰ３Ｌ問題に対する解である、ＭｉｎＰ３Ｌが、ＡｌｇＰ３Ｌ（例えば、“Ａ ｓｔａｂｌｅ ａｌｇｅｂｒａｉｃ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｉｎｉｍａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｏｆ ２ｄ／３ｄ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”に説明されるように）、ＲＰ３Ｌ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、およびＳＲＰ３Ｌを含む、以前のＰ３Ｌアルゴリズムと比較されてもよい。性能を公平に比較するために、比較されるアルゴリズムが精緻化を有していないため、結果は、反復精緻化を伴わない。異なるアルゴリズムの数値安定性、すなわち、雑音を伴わない推定誤差が、検討されなければならない。１０，０００回の試行が、正確度を試験するために行われた。図２２Ａ－Ｂは、結果を示す。図２２Ａは、本明細書に説明されるアルゴリズムのある実施形態およびアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３Ｌ、およびＳＲＰ３Ｌの回転誤差の箱ひげ図を示す。図２２Ｂは、本明細書に説明されるアルゴリズムのある実施形態および以前のアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３ＬおよびＳＲＰ３Ｌの平行移動誤差の箱ひげ図を示す。本明細書に説明される方法および技法を使用して実装される、ＭｉｎＰ３Ｌの回転および平行移動誤差は、１０^－５より小さい。他のアルゴリズムは全て、図２２の箱ひげ図内のより長い末尾によって示されるように、大誤差をもたらす。次いで、Ｐ３Ｌアルゴリズムの挙動は、変動雑音レベル下で検討される。ガウス雑音が、２Ｄ線の終点に追加される。標準偏差は、０．５から５ピクセルまで増加する。図２３Ａ－Ｂは、結果を示す。図２３Ａは、本明細書に説明されるアルゴリズムのある実施形態および以前のアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３Ｌ、およびＳＲＰ３Ｌの平均値回転誤差を示す。図２３Ｂは、本明細書に説明されるアルゴリズムのある実施形態および以前のアルゴリズムＡｌｇＰ３Ｌ、ＲＰ３Ｌ、およびＳＲＰ３Ｌの平均値平行移動誤差を示す。

本明細書に説明される技法を使用して実装される、ＭｉｎＰ３Ｌアルゴリズムは、安定性を示す。雑音のない場合と同様に、比較されるアルゴリズム（例えば、“Ａ ｓｔａｂｌｅ ａｌｇｅｂｒａｉｃ ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｍｉｎｉｍａｌ ｃｏｎｆｉｇｕｒａｔｉｏｎｓ ｏｆ ２ｄ／３ｄ ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、はそれぞれ、本明細書に説明される技法を使用して展開されたアルゴリズムより長い末尾を有する。これは、これらのアルゴリズム内の数値的に不安定動作によって生じ得る。

参考文献“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”、および“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０”に議論されるように、心合される場合（例えば、２Ｄ線分は、画像全体内に均一に分散される）と、心合されない場合（例えば、２Ｄ線分は、［０，１６０］×［０，１２０］内に制約される）とを含む、２Ｄ線分の２つの構成が、検討された。以下の結果は、５００回の独立試行からのものである。

第１の実験では、ＰｎＬアルゴリズムの性能が、変動数の対応に関して検討される。２Ｄ線終点に追加されるガウス雑音の標準偏差は、２ピクセルに設定される。第２の実験では、増加する雑音レベルの状況を検討する。σは、０．５ピクセルから５ピクセルまで０．５ピクセルずつ段階的であって、Ｎは、１０に設定される。図２４Ａ－Ｄおよび２５Ａ－Ｄは、平均値および中央値誤差を示す。図２４Ａは、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。図２４Ｂは、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。図２４Ｃは、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。図２４Ｄは、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。図２５Ａは、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。図２５Ｂは、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。図２５Ｃは、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。図２５Ｄは、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。

典型的には、多項公式に基づく解は、線形解より安定する。他のアルゴリズムは、明らかに、より大きい誤差を提供する。さらに、平面構成におけるＰｎＬアルゴリズムの性能もまた、検討される（すなわち、全ての３Ｄ線が平面上にあるとき）。平面構成は、人工環境内に広く存在する。しかしながら、多くのＰｎＬアルゴリズムは、“Ａ ｒｏｂｕｓｔ ａｎｄ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｐｎｌ ｐｒｏｂｌｅｍ ｕｓｉｎｇ ａｌｇｅｂｒａｉｃ ｄｉｓｔａｎｃｅ ｔｏ ａｐｐｒｏｘｉｍａｔｅ ｔｈｅ ｒｅｐｒｏｊｅｃｔｉｏｎ ｄｉｓｔａｎｃｅ”に示されるように、平面構成に関して実行不可能である。ここで、図２６Ａ－Ｄおよび２７Ａ－Ｄに示されるように、５つのＰｎＬアルゴリズムと比較する。図２６Ａは、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。図２６Ｂは、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。図２６Ｃは、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。図２６Ｄは、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。図２７Ａは、異なるＰｎＬアルゴリズムの平均値回転誤差を示す。図２７Ｂは、異なるＰｎＬアルゴリズムの平均値平行移動誤差を示す。図２７Ｃは、異なるＰｎＬアルゴリズムの中央値回転誤差を示す。図２７Ｄは、異なるＰｎＬアルゴリズムの中央値平行移動誤差を示す。

本明細書に説明される技法および方法を使用して実装される、ＭｉｎＰｎＬは、最良 結果を達成する。ｃｖｘＰｎＰＬおよびＡＳＰｎＬ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）は、範囲外にある、大誤差を生成する。

特徴を使用してカメラの姿勢を見出すための本明細書に説明されるいくつかの方法および技法は、特徴点および特徴線が同一平面上に存在するときでも機能し得る。

実施例

実際のデータもまた、ＰｎＬアルゴリズムを評価するために使用された。ＭＰＩおよびＶＧＧデータセットが、性能を評価するために使用される。それらは、合計１０個のデータセットを含み、その特性は、表１に列挙される。ここで、グラウンドトゥルース平行移動が、ある場合には、［０；０；０］であるため、シミュレーションにおいて、相対的誤差の代わりに、絶対平行移動誤差

を使用する。図２８は、結果を提示する、表１を示す。Ｍｉｒｚａｅｉ（例えば、参照することによってその全体として本明細書に組み込まれる、’Ｇｌｏｂａｌｌｙ ｏｐｔｉｍａｌ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ． Ｉｎ： ２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ． ｐｐ． ５５８１｛５５８８． ＩＥＥＥ （２０１１）’ ｂｙ Ｍｉｒｚａｅｉ， Ｆ．Ｍ．， Ｒｏｕｍｅｌｉｏｔｉｓ， Ｓ．Ｉ．に説明されるように）、ＡＳＰｎＬ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）、およびＳＲＰｎＬ（例えば、“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ： ａ ｆａｓｔ， ｒｏｂｕｓｔ ａｎｄ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ３０”に説明されるように）等のいくつかのアルゴリズムは、数百本の線に関してさえ、ＢＢデータセット上で大誤差を生成する。アルゴリズムＭｉｎＰｎＬは、ＯＡＰｎＬの結果より若干不良である、ＭＣ２データセットを除き、比較されるアルゴリズムの中で最良結果を達成する。しかし、ＭｉｎＰｎＬアルゴリズムは、次の節に示されるように、はるかに高速である。

Ｍａｔｌａｂ ２０１９ａを用いて、３．１ ＨＺ ｉｎｔｅｌ ｉ７ラップトップ上で、ＰｎＬアルゴリズムの算出時間が、決定された。５００回の独立試行からの結果が、図２９Ａ－Ｃに図示される。アルゴリズムＡｎｓａｒおよびｃｖｘＰｎＰＬは、低速であって、したがって、グラフの範囲内に示されない。図２９Ａ－Ｃから分かるように、ＬＰｎＬＢａｒＬＳは、それらの試験されるもののうちで最速であるが、しかしながら、安定しない。上記に示されるように、ＯＡＰｎＬおよび本明細書に説明される実施形態によるアルゴリズムは、概して、最も安定する２つのアルゴリズムである。図２９Ｂに示されるように、本明細書に説明される実施形態によるアルゴリズムは、ＯＡＰｎＬより約２倍高速である。ＭｉｎＰｎＬアルゴリズムは、線形アルゴリズムＤＬＴＣｏｍｂｉｎｅｄ（例えば、“Ａｂｓｏｌｕｔｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ”に説明されるように）およびＤＬＴ Ｐｌｕｃｋｅｒ（例えば、“Ｃａｍｅｒａ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅｓ ｕｓｉｎｇ ｐｌｎ ｕｃｋｅｒ ｃｏｏｒｄｉｎａｔｅｓ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ”に説明されるように）と比較して類似し、Ｎが１００以内であるとき、ＬＰｎＬ Ｂａｒ ＥＮｕｌｌ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）より若干速く、Ｎが大きいとき、ＬＰｎＬ ＤＬＴ（例えば、“Ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ｌｉｎｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ： Ａ ｃｏｍｐｌｅｔｅ ａｎａｌｙｓｉｓ ａｎｄ ａ ｓｅｒｉｅｓ ｏｆ ｓｏｌｕｔｉｏｎｓ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ”に説明されるように）より高速である、起動時間を有する。

図２９Ａは、多くのアルゴリズムの算出時間の略図である。

図２９Ｂは、多項式系を伴うアルゴリズムの算出時間と比較した、本明細書に説明されるアルゴリズムのある実施形態の算出時間の略図である。

図２９Ｃは、線形変換に基づくアルゴリズムの算出時間と比較した、本明細書に説明されるアルゴリズムのある実施形態の算出時間の略図である。

さらなる考慮点

図３２は、コンピュータシステム１９００の例示的形式における機械の略図表現を示し、機械に本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施させるための命令のセットが、いくつかの実施形態に従って実行されてもよい。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々にまたはともに、命令のセット（または複数のセット）を実行し、本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施する、機械の任意の集合を含むものと捉えられるものとする。

例示的コンピュータシステム１９００は、プロセッサ１９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）と、メインメモリ１９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、動的ランダムアクセスメモリ（ＤＲＡＭ）、例えば、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）等）と、静的メモリ１９０６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）等）とを含み、これらは、バス１９０８を介して相互に通信する。

コンピュータシステム１９００はさらに、ディスクドライブユニット１９１６と、ネットワークインターフェースデバイス１９２０とを含んでもよい。

ディスクドライブユニット１９１６は、その上に本明細書に説明される方法論または機能のうちの任意の１つまたはそれを上回るものを具現化する、１つまたはそれを上回る命令のセット１９２４（例えば、ソフトウェア）が記憶される、機械可読媒体１９２２を含む。ソフトウェアはまた、コンピュータシステム１９００、メインメモリ１９０４、およびプロセッサ１９０２によるその実行の間、完全にまたは少なくとも部分的に、メインメモリ１９０４内および／またはプロセッサ１９０２内に常駐し、同様に機械可読媒体を構成してもよい。

ソフトウェアはさらに、ネットワーク１８を経由して、ネットワークインターフェースデバイス１９２０を介して、伝送または受信されてもよい。

コンピュータシステム１９００は、プロジェクタを駆動し、光を生成するために使用される、ドライバチップ１９５０を含む。ドライバチップ１９５０は、その独自のデータ記憶装置１９６０と、その独自のプロセッサ１９６２とを含む。

機械可読媒体１９２２が、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、１つまたはそれを上回る命令のセットを記憶する、単一媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に、本発明の方法論のうちの任意の１つまたはそれを上回るものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。

種々の実施形態によると、通信ネットワーク１９２８は、ローカルエリアネットワーク（ＬＡＮ）、携帯電話ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、インターネット、または任意の他のそのようなネットワークであってもよい。

いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。

一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、またはより一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。

別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。

そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。

本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、ＣＰＵチップ、ＧＰＵチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の１つまたはそれを上回るプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ＡＳＩＣ等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、１つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。

さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形式のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。

また、コンピュータは、１つまたはそれを上回る入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力／出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および／または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力／出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。

そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカルエリアネットワークまたは広域ネットワークを含む、任意の好適な形式の１つまたはそれを上回るネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。

また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用する、１つまたはそれを上回るプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。

本側面では、本開示は、１つまたはそれを上回るコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される本開示の種々の実施形態を実装する方法を行う、１つまたはそれを上回るプログラムで符号化される、コンピュータ可読記憶媒体（または複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つまたはそれを上回るフロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、光学ディスク、デジタルビデオディスク（ＤＶＤ）、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形式においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、上記に記載されるように、その上に記憶される１つまたは複数のプログラムが、本開示の種々の側面を実装するように１つまたはそれを上回る異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造（すなわち、製造品）または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。

用語「プログラム」または「ソフトウェア」は、上記に記載されるように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。

加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、１つまたはそれを上回るコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。

コンピュータ実行可能命令は、１つまたはそれを上回るコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形式であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。

また、データ構造は、任意の好適な形式でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。

本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。

また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。

請求項要素を修飾するための請求項における「第１」、「第２」、「第の」等の順序の用語の使用は、単独では、別の要素と比べた１つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、（順序の用語の使用のためであるが）ある名前を有する１つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。

また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「～を含む」、「～を備える」、または「～を有する」、「～を含有する」、「～を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。

いくつかの値は、「最小化」または「最適化」することによって導出されるものとして説明されている。「最小化」および「最適化」等の単語は、最小または最大可能値を見出すステップを伴い得るが、そうである必要はないことを理解されたい。むしろ、これらの結果は、ある階数のプロセスの反復または反復間の変化が閾値を下回るまでのプロセスの連続反復の実行等、実践的制約に基づいて、最小または最大値を見出すことによって達成されてもよい。

Claims (37)

1. カメラを用いて捕捉された１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定する方法であって、前記姿勢は、回転行列および平行移動行列として表され、前記方法は、
   前記１つまたはそれを上回る画像および前記マップ内の点および／または線の組み合わせ間の対応を展開することと、
   前記対応を３つの二次多項式の方程式のセットに変換することと、
   前記回転行列に関する方程式のセットを解くことと、
   前記回転行列に基づいて、前記平行移動行列を算出することと
   を含む、方法。
2. 前記点および／または線の組み合わせは、前記１つまたはそれを上回る画像の特性に基づいて、動的に決定される、請求項１に記載の方法。
3. コスト関数を最小限にすることによって、前記姿勢を精緻化することをさらに含む、請求項１に記載の方法。
4. 減速ニュートンステップを使用することによって、前記姿勢を精緻化することをさらに含む、請求項１に記載の方法。
5. 前記対応を３つの二次多項式の方程式のセットに変換することは、
   制約のセットを前記対応から導出することと、
   前記平行移動行列の閉形式表現を形成することと、
   ３Ｄベクトルを使用して、前記回転行列のパラメータ化を形成することと
   を含む、請求項１に記載の方法。
6. 前記対応を３つの二次多項式の方程式のセットに変換することはさらに、階数近似によって、雑音除去することを含む、請求項１に記載の方法。
7. 前記回転行列に関する方程式のセットを解くことは、隠れ変数方法を使用することを含む、請求項１に記載の方法。
8. ３Ｄベクトルを使用して、前記回転行列のパラメータ化を形成することは、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化を使用することを含む、請求項１に記載の方法。
9. 前記平行移動行列の閉形式表現を形成することは、前記制約のセットを使用して、線形方程式系を形成することを含む、請求項５に記載の方法。
10. カメラを用いて捕捉された１つまたはそれを上回る画像に基づいて、マップに対するカメラの姿勢を決定する方法であって、前記姿勢は、回転行列および平行移動行列として表され、前記方法は、
    前記１つまたはそれを上回る画像および前記マップ内の点および／または線の組み合わせ間の複数の対応を展開することと、
    前記対応を複数の変数における方程式の優決定系セットとして表すことと、
    前記方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化することであって、前記メタ変数はそれぞれ、前記複数の変数の群を表す、ことと、
    前記方程式の最小セットに基づいて、前記メタ変数の値を算出することと、
    前記姿勢を前記メタ変数から算出することと
    を含む、方法。
11. 前記点および／または線の組み合わせは、前記１つまたはそれを上回る画像の特性に基づいて、動的に決定されてもよい、請求項１０に記載の方法。
12. 前記姿勢を前記メタ変数から算出することは、
    前記回転行列を算出することと、
    前記回転行列に基づいて、前記平行移動行列を算出することと
    を含む、請求項１１に記載の方法。
13. 前記回転行列に基づいて、前記平行移動行列を算出することは、前記平行移動行列を、前記回転行列に基づいて、前記複数の対応を表し、前記平行移動行列に対して線形である方程式から算出することを含む、請求項１１に記載の方法。
14. 前記平行移動行列を算出することは、
    制約のセットを前記対応から導出することと、
    前記平行移動行列の閉形式表現を形成することと、
    前記制約のセットを使用して、線形方程式系を形成することと
    を含む、請求項１２に記載の方法。
15. 非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を記憶しており、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、方法を実施させ、前記方法は、
    １つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の対応を展開することと、
    前記対応を３つの二次多項式の方程式のセットに変換することと、
    回転行列に関する方程式のセットを解くことと、
    前記回転行列に基づいて、平行移動行列を算出することと
    を含む、非一過性コンピュータ可読記憶媒体。
16. 前記１つまたはそれを上回る画像内の前記点および／または線は、２次元特徴であり、
    前記マップ内の対応する特徴は、３次元特徴である、
    請求項１５に記載の非一過性コンピュータ可読記憶媒体。
17. 非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を記憶しており、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、方法を実施させ、前記方法は、
    １つまたはそれを上回る画像およびマップ内の点および／または線の組み合わせ間の複数の対応を展開することと、
    前記対応を複数の変数における方程式の優決定系セットとして表すことと、
    前記方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化することであって、前記メタ変数はそれぞれ、前記複数の変数の群を表す、ことと、
    前記方程式の最小セットに基づいて、前記メタ変数の値を算出することと、
    前記姿勢を前記メタ変数から算出することと
    を含む、非一過性コンピュータ可読記憶媒体。
18. ポータブル電子デバイスであって、
    ３Ｄ環境の１つまたはそれを上回る画像を捕捉するように構成されるカメラと、
    コンピュータ実行可能命令を実行するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
    前記３Ｄ環境の前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定することと、
    位置特定サービスに、前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、マップに対する前記カメラの姿勢を決定することと、
    前記位置特定サービスから、回転行列および平行移動行列として表される前記マップに対する前記カメラの姿勢を受信することと
    を含む、前記１つまたはそれを上回る画像に基づいて、マップに対する前記カメラの姿勢を決定するための命令
    を備える、少なくとも１つのプロセッサと
    を備える、ポータブルデバイス。
19. 前記位置特定サービスは、前記ポータブル電子デバイス上に実装される、請求項１８に記載のポータブルデバイス。
20. 前記位置特定サービスは、前記ポータブル電子デバイスから遠隔のサーバ上に実装され、前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報は、ネットワークを経由して、前記位置特定サービスに送信される、請求項１８に記載のポータブルデバイス。
21. 前記マップに対する前記カメラの姿勢を決定することは、
    前記１つまたはそれを上回る画像および前記マップ内の点および／または線の組み合わせ間の対応を展開することと、
    前記対応を３つの二次多項式の方程式のセットに変換することと、
    前記回転行列に関する方程式のセットを解くことと、
    前記回転行列に基づいて、前記平行移動行列を算出することと
    を含む、請求項１９または２０に記載のポータブルデバイス。
22. 前記点および／または線の組み合わせは、前記１つまたはそれを上回る画像の特性に基づいて、動的に決定される、請求項２１に記載のポータブルデバイス。
23. 前記マップに対する前記カメラの姿勢を決定することはさらに、コスト関数を最小限にすることによって、前記姿勢を精緻化することを含む、請求項２１に記載のポータブルデバイス。
24. 前記マップに対する前記カメラの姿勢を決定することはさらに、減速ニュートンステップを使用することによって、前記姿勢を精緻化することを含む、請求項２１に記載のポータブルデバイス。
25. 前記対応を３つの二次多項式の方程式のセットに変換することは、
    制約のセットを前記対応から導出することと、
    前記平行移動行列の閉形式表現を形成することと、
    ３Ｄベクトルを使用して、前記回転行列のパラメータ化を形成することと
    を含む、請求項２１に記載のポータブルデバイス。
26. 前記対応を３つの二次多項式の方程式のセットに変換することはさらに、階数近似によって、雑音除去することを含む、請求項２１に記載のポータブルデバイス。
27. 前記回転行列に関する方程式のセットを解くことは、隠れ変数方法を使用することを含む、請求項２１に記載のポータブルデバイス。
28. ３Ｄベクトルを使用して、前記回転行列のパラメータ化を形成することは、Ｃａｙｌｅｙ－Ｇｉｂｂｓ－Ｒｏｄｒｉｇｕｅｚ（ＣＧＲ）パラメータ化を使用することを含む、請求項２５に記載のポータブルデバイス。
29. 前記平行移動行列の閉形式表現を形成することは、前記制約のセットを使用して、線形方程式系を形成することを含む、請求項２５に記載のポータブルデバイス。
30. 前記マップに対する前記カメラの姿勢を決定することは、
    前記１つまたはそれを上回る画像および前記マップ内の点および／または線の組み合わせ間の対応を展開することと、
    前記対応を複数の変数における方程式の優決定系セットとして表すことと、
    前記方程式の優決定系セットをメタ変数の方程式の最小セットとしてフォーマット化することであって、前記メタ変数はそれぞれ、前記複数の変数の群を表す、ことと、
    前記方程式の最小セットに基づいて、前記メタ変数の値を算出することと、
    前記姿勢を前記メタ変数から算出することと
    を含む、請求項１９または２０に記載のポータブルデバイス。
31. 前記点および／または線の組み合わせは、前記１つまたはそれを上回る画像の特性に基づいて、動的に決定される、請求項３０に記載のポータブルデバイス。
32. 前記姿勢を前記メタ変数から算出することは、
    前記回転行列を算出することと、
    前記回転行列に基づいて、前記平行移動行列を算出することと
    を含む、請求項３０に記載のポータブルデバイス。
33. 前記回転行列に基づいて、前記平行移動行列を算出することは、前記平行移動行列を、前記回転行列に基づいて、前記複数の対応を表し、前記平行移動行列に対して線形である方程式から算出することを含む、請求項３２に記載のポータブルデバイス。
34. 前記平行移動行列を算出することは、
    制約のセットを前記対応から導出することと、
    前記平行移動行列の閉形式表現を形成することと、
    前記制約のセットを使用して、線形方程式系を形成することと
    を含む、請求項３２に記載のポータブルデバイス。
35. 前記１つまたはそれを上回る画像内の点および線は、２次元特徴であり、
    前記マップ内の対応する特徴は、３次元特徴である、
    請求項３０に記載のポータブルデバイス。
36. カメラによって捕捉された３Ｄ環境の１つまたはそれを上回る画像に基づいて、マップに対する前記カメラの姿勢を決定するための方法であって、
    前記３Ｄ環境の前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定することと、
    位置特定サービスに、前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、前記マップに対する前記カメラの姿勢を決定することと、
    前記位置特定サービスから、回転行列および平行移動行列として表される前記マップに対する前記カメラの姿勢を受信することと
    を含む、方法。
37. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、少なくとも１つのプロセッサによる実行のためのコンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、
    ３Ｄ環境の１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を決定することと、
    位置特定サービスに、前記１つまたはそれを上回る画像内の点および／または線の組み合わせについての情報を送信し、マップに対するカメラの姿勢を決定することと、
    前記位置特定サービスから、回転行列および平行移動行列として表される前記マップに対する前記カメラの姿勢を受信することと
    を含む、カメラによって捕捉された３Ｄ環境の１つまたはそれを上回る画像に基づいて、マップに対する前記カメラの姿勢を決定するための命令
    を備える、非一過性コンピュータ可読媒体。

Images