JP6001776B2 - 固定されていないカメラによる点群構築 - Google Patents

Description

本願の開示は、画像を処理する方法およびシステムに関するものである。

２つの異なる位置から撮られた画像の任意のペアが、シーンにおける種々のオブジェクトへの範囲に関係する視差情報を含むことは周知である。特徴／オブジェクトの三次元点群を、種々のシーン特徴に対するステレオ・レンジング測定から構築することができる。しかしながら、カメラの物理的位置が知られていないならば、点群の物理的サイズは、分からないままであり、点群は、シールドされていないものとして規定される。点群を適切に、その本当の物理ディメンジョンに、スケーリングするために、カメラの焦点距離（または、角度キャリブレーション）と同様に、本当のカメラ位置を知らなければならない。

カメラが、ある軌道に沿って、３つの規定されていない位置に動かされると、画像の少なくとも２つのステレオ・ペアを生成することが可能である。これらの画像ペアの各々は、シーン特徴の三次元点群を生成することができる。しかしながら、複数の未知のカメラ位置から生成される点群の再スケーリング、回転、および、マージは、挑戦的な仕事である。この問題は、カメラが複数の位置の方へ動かされると、画像の複数のステレオ・ペアをつくるようにする。

複数画像から点群をマージするための既存の技術は、満足な結果を提供しない。既存の技術で得られるマージされた点群は、モデル化されているオリジナルの構造を概略的に近似するだけである。また、これらの技術は、シーンのすべての主要部分が、すべての画像に対して見えることを必要とする。

１つの実施形態は、ステレオ・レクティフィケーションを行った画像の処理方法であって、各々のステレオ・レクティフィケーションを行った画像は、カメラ位置と結びついており、該方法は、ステレオ・レクティフィケーションを行った画像の第１のペアを選択するステップと、ステレオ・レクティフィケーションを行った画像の前記ペアからの特徴の第１の点群を決定するステップと、第１の点群の基準特徴に関して、前記第１の点群の特徴の位置を決定するステップと、前記第２のペアのうちの１つのステレオ・レクティフィケーションを行った画像が、前記第１のペアと共通であるように、ステレオ・レクティフィケーションを行った画像の第２のペアを選択するステップと、特徴の第１の点群に、ステレオ・レクティフィケーションを行った画像の前記第２のペアと結びついた特徴の第２の点群をスケーリングするステップと、を含む、方法に関するものである。

別の実施形態は、ステレオ・レクティフィケーションを行った画像の処理方法を実行するためのマシン実行可能命令でコード化された物理的固定コンピュータ読取り可能媒体を備える製造物品であって、各々のステレオ・レクティフィケーションを行った画像は、カメラ位置と結びついており、該方法は、ステレオ・レクティフィケーションを行った画像の第１のペアを選択するステップと、ステレオ・レクティフィケーションを行った画像の前記ペアからの特徴の第１の点群を決定するステップと、第１の点群の基準特徴に関して、前記第１の点群の特徴の位置を決定するステップと、前記第２のペアのうちの１つのステレオ・レクティフィケーションを行った画像が、前記第１のペアと共通であるように、ステレオ・レクティフィケーションを行った画像の第２のペアを選択するステップと、特徴の第１の点群に、ステレオ・レクティフィケーションを行った画像の前記第２のペアと結びついた特徴の第２の点群をスケーリングするステップと、を含む、製造物品に関するものである。

本願開示のこれら、および、他の態様は、関連した構造の要素の動作と機能の方法、およびパーツの組合せ、および製造の経済と並んで、以下の説明、および、添付の特許請求の範囲の請求項を、添付の図面を参照して、考慮すれば、すぐに明らかになる。これらのすべてが、この明細書等の部分を形成し、ここで、同様の参照番号が、種々の数字において、対応するパーツを示す。本願開示の１つの例において、ここに図示される構造コンポーネントは、一定の比率で描かれている考えることができる。しかしながら、多くの他の構成が、可能であり、図面は、例示、図示、説明のみの目的であり、そして、定義、あるいは、本願開示の範囲を制限することを意図しないことを明確に理解するべきである。また、ここに明らかにされる１つの実施形態の特徴は、ここに開示された他の実施形態において、使うことができることも、理解すべきである。本願明細書において、および、請求項において使われるように、「ａ」、「ａｎ」および「ｔｈｅ」は、文脈において、明確に断らない限り、複数形を含める。

種々の実施形態を、次に、対応する参照符号が、対応するパーツを示す添付の概略図を参照して、例を示すだけのために、開示する。ここで、
図１は、第１のシナリオにしたがう、シーンをキャプチャしているカメラを図示する。 図２は、第２のシナリオにしたがう、シーンをキャプチャしているカメラを図示する。 図３および図４は、２つの異なる位置に移動するカメラの、あるいは、実施形態にしたがう、２つの任意の方向のカメラの幾何的関係を示す。 図３および図４は、２つの異なる位置に移動するカメラの、あるいは、実施形態にしたがう、２つの任意の方向のカメラの幾何的関係を示す。 図５は、実施形態にしたがう、ステレオ・レクティフィケーションを行った画像を処理する方法を示す。 図６は、実施形態にしたがう、ステレオ・ベースラインとポイントによって、規定された平面におけるポイントの幾何を示す。 図７は、実施形態にしたがう、ステレオ・レクティフィケーションを行った画像のペアの幾何を示す。 図８は、実施形態にしたがう、特徴の三次元テストパターンのシミュレーションの結果を示す。 図９は、実施形態にしたがう、ステレオ・カメラに対するローカル座標系の一般的な関係を示す。 図１０は、実施形態にしたがう、基準面、基準特徴、および、任意に選択された特徴の側面図を示す。 図１１は、実施形態にしたがう、基準特徴の座標系における任意に選択された特徴の座標を示す。 図１２は、実施形態にしたがう、第１、第２および第３のカメラの相対位置を示す。 図１３は、実施形態にしたがう、第１および第２のカメラの座標系における第３のカメラの位置を示す。 図１４および図１５は、実施形態にしたがう、複数の位置を通って移動し、シーン特徴を観察するカメラを示す。 図１４および図１５は、実施形態にしたがう、複数の位置を通って移動し、シーン特徴を観察するカメラを示す。 図１６は、実施形態にしたがう、カメラの間でのペア毎のオーバーラップの例を示す。 図１７は、実施形態にしたがう、複数のカメラをチェイニングするプロセスを示す。 図１８は、実施形態にしたがう、画像を処理するシステムを示す。

本願開示は、複数の未知のカメラ位置から撮られる画像から特徴点群を自動的に構築し、マージし、スケーリングする方法を提供する。本願開示は、ステレオ・レクティフィケーションを行った画像の複数のペアにおける特徴点の視差位置から三次元点群を再構築するための方法論と方程式を提供する。その画像は、複数のカメラから、あるいは、１つの移動カメラから撮ることができる。

本願開示は、固定されていないカメラを使用した複数のステレオ・レクティフィケーションを行った画像ペアから単一の、相関している点群をつくる。例えば、カメラが、ある任意のカーブした軌道に沿って進むと、それは、複数の視点から地形と構造を見る。このカメラは、この関心領域は、すべての方向から見られるように、関心領域のまわりのすべてを動くことができる。

本願発明の実施形態において、ここに開示される方法およびシステムは、以下のシナリオにしたがって、複数のキャプチャされた画像から生成される点群をマージし、および／または、スケーリングするように構成される。これらのシナリオは、困難度が増加する順序でリストされる。

シナリオ１：これらのカメラは、高精度慣性航法システム（ＩＮＳ（登録商標）：Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）に接続されるこのシナリオにおいて、各々の画像に対する、順番のカメラ位置と方向（ポーズ）は、かなりの精度で知られている。

シナリオ２：図１に示される、このシナリオにおいて、シーン特徴１ ａ−ｄの相当な数が、すべてのカメラ位置２ａ−ｄから、可観測である。旋回している航空機から見下ろしている写真撮影は、典型的例である。この状況において、ＩＮＳ（登録商標）は、非常に有用であるが、しかし、それは必須ではない。自動ステレオ・レクティフィケーションおよび、点群登録が、十分でなければならない。寄与する点群のすべてが、シーン特徴をシェアするからである。

シナリオ３：このシナリオにおいて、動作は束縛されており、そして、そこに主な曖昧化がある。典型的状況は、建物のまわりをドライブするときに、自動車から撮られる画像のシーケンスである。この制約は、車道によって提供される。平らな地形の上では、この制約は、問題の自由度をかなり減らす。一方、建物の前側と周りの領域は、車両が裏側にあるときは、見えなくなる。このように、特徴点の開始アンサンブルは、新たな特徴が見えてくると、次第に見えなくなる。点群が、カメラが新しい位置に動くと、成長するアンサンブル・クラウドと継続的にマージされることが望ましい。本当の困難は、カメラが、その出発位置に動いて戻る、または、近づく（すなわち、円を閉じる）ときに、起こる。実施形態においては、ここに開示される方法およびシステムは、本当の物理状況に対する最良の可能なマッチングを得るために、個々の点群を調節する。

シナリオ４：図２に示される、このシナリオにおいて、不明瞭にしている構造のまわりを動くときに、カメラ軌道またはポーズへの制約がない。オリジナルの点群は、すべてのカメラ位置から観察されることができない。典型的状況は、大きな建物のまわりを飛んでいるが、しかし、その大きな建物の頂上より下にある小型航空機に接続されるカメラである。図２は、カメラ位置２ａ−ｄ、および、建物３ａ−ｃを示す。

図３は、カメラが、どのように、２つの異なる位置において、図１および図２のシーンにおいて、１つのオブジェクトを見るのかについて示す。このカメラは、左位置から右位置へ移動する（または、その逆）。このカメラは、２つの位置で、外界における、ポイントＷを観察している。これは、カメラから、外へのある距離である。この議論は、また、単一の移動カメラの代わりに、オブジェクトＷを見る２つ以上の異なるカメラに適用できるものであることが理解される。

このカメラは、カメラ・センター、および画像平面により、規定される。図３は、右カメラ・センターＲＣＣ、左カメラ・センターＬＣＣ、右画像平面ＲＩＰ、および左画像平面ＬＩＰを示す。実際のカメラにおいて、本当のカメラ・センターは、レンズのノーダルポイントであり、そして、前記焦点面（または、本当の画像平面）のの前方にある。これは、焦点面の上の倒立像の投影の結果となる。便宜上、カメラ・センター（すなわちレンズ・ノーダルポイント）は、人工的に規定された画像平面の後のポイントであると規定されている。これは、直立した画像の結果となる。

このカメラは、（カメラに付随した）ローカル座標系ｘ、ｙ、ｚを持つ。カメラ・センターにセンターが置かれる。このローカル座標系において、カメラ・センターから画像平面のセンターへのベクトルｚ、主ベクトルが存在する。このｚベクトルは、画像平面に対して垂直であり、そして、画像中央点ｃにおいて画像平面に触れている。カメラ・センターから画像平面ｆへの距離は、カメラの焦点距離である。このローカル座標系において、ｘ軸とｙ軸とは、画像平面に平行である。慣例通りに、ｙ軸は、垂直方向にある。

図３は、また、ステレオ・ベースラインＳＢを示す。これは、２つのカメラ・センターＲＣＣおよびＬＣＣを結ぶ線である。１つの実施形態において、２つのカメラ位置から三次元シーンを再構築することを可能にする軸である。この軸は、また、距離測定のための測定ベースラインでもある。ステレオ・ベースラインＳＢが、左右の画像平面ＬＩＭ、ＲＩＰを貫通するポイントは、左右のエピポール（ｅ_Ｌおよびｅ_Ｒ）と呼ばれている。

２つのカメラは、共通のワールド・ポイントＷを観察している。このポイントは、２つのカメラ・センターＲＣＣ、ＬＣＣと一緒に、共通平面ＣＰと呼ばれる平面を規定する。ベースラインも、また、２つのカメラ・センターに加わるので、したがって、ステレオ・ベースラインＳＢは、この平面ＣＰに存在する。この共通平面ＣＰには無限の数のポイントが存在することが理解される。任意の２つのポイントが、その画像平面における線の端部を形成する。

図３に見られるように、カメラ・センターから共通ポイントＷへの光線は、ポイントｐにおいて、画像平面を通過する。左画像に対してポイントｐ_Ｌ、そして、右画像に対してポイントｐ_Ｒが存在する。

ポイントＷにおけるシーン・オブジェクトは、カメラで見られるように、その位置のどちらにおいても、カメラ・センターに関して、ベクトル座標Ｘ_ＷＬ、Ｙ_ＷＬ、Ｚ_ＷＬ、または、Ｘ_ＷＲ、Ｙ_ＷＲ、Ｚ_ＷＲを有する。単一のカメラ位置からは、オブジェクトＷが、カメラ・センターから、どれくらい遠く離れているかを決定することは可能ではない。方向は知ることができるが、距離を知ることはできない。カメラの向きについての方向は、画像平面の上のＷの画像の位置から既知である。カメラ・センターとＷとの間の光線は、画像平面を、ベクトル位置、ｘ_ｐ、ｙ_ｐ、ｆにおいてインターセプトする。このように、このオブジェクトの画像位置は、ベクトルｐ＝［ｘ_ｐ，ｙ_ｐ，ｆ］によって規定することができる。カメラの焦点距離は、ユニティ：ｆ＝１に調節することができる。再スケーリングは、すべてのベクトル・コンポーネントをｆによって、割り算する結果となる。これは、合理的な再スケーリングである。多くのケースにおいて、焦点距離は、知られていないがしかし、種々のオブジェクト位置への角度は測定することができるからである。Ｗの抽象的な画像が、したがって、ベクトル［ｘ_ｐ，ｙ_ｐ，１］によって規定されている。ここで、焦点距離は、画像ベクトルの一部として保持される。

一般に、観察されたファー・フィールドにおいて、多数のワールド・ポイント、Ｗ_ａ、Ｗ_ｂ、Ｗ_ｃが存在する。これらのポイントの各々が、それ自身の共通平面を持ち、そして、これらの共通平面の各々が、ステレオ・ベースラインを横切る。その結果、これらの平面は、ステレオ・ベースラインから広がる。図４は、一般的な構成を示す。放射状に広がる平面のこのアンサンブルは、面束（ｐｅｎｃｉｌ ｏｆ ｐｌａｎｅｓ）と、そして、これらの平面の各々は、束平面（ｐｅｎｃｉｌ ｐｌａｎｅ）と呼ばれることができる。図４において見られるように、カメラ・センターから共通ポイント、Ｗ_ａ、Ｗ_ｂ、Ｗ_ｃへの光線は、画像平面を、右、および、左カメラに対して、ポイントｐ_ａ、ｐ_ｂ、ｐ_ｃにおいて通過する。

ファー・フィールドにおけるオブジェクト、または、特徴、Ｗ_ａ、Ｗ_ｂ、Ｗ_ｃ、光線によってカメラ・センターに接続している。これらの特徴の画像が、それらの光線は、画像平面をポイントｐ_ａ、ｐ_ｂ、ｐ_ｃにおいて通過するところに起こる。各々のファー・フィールド特徴は、三角形の１つの角であって、他の角が、カメラ・センターである。そのような三角形は、ステレオ・ベースラインＳＢを通過する延長した平面の一部である。この特徴平面が、また、画像平面を通過する場合には、この交差は、エピポーラ線ＥＬとして規定されている。各々の平面および特徴は、エピポールから放射状に広がる対応するエピポーラ線ＥＬを有する。具体的には、図４に示されるように、エピポーラ線ＥＬは、エピポールｅ_Ｒ、ｅ_Ｌから放射状に広がる。ここで、ステレオ・ベースラインＳＢは、画像平面ＲＩＰ、ＬＩＰを貫通する。これらの放射状に広がるエピポーラ線は、光線の一種の「星」、または、扇を作る。エピポーラ・スターは、画像平面での束平面の交差に対応する。カメラが、画像平面が平行であるように、互いに向き合っているときには、左および右カメラにおけるエピポーラ・スターは、互いのミラー画像であることが理解される。

図３および図４の相対的なカメラ幾何は、ラフに互いを指すカメラを有する。この相対的な方向は、その画像におけるエピポールが、適切に配置されることを確実にする。しかしながら、他の状況において、それらが互いからいくぶん離れてポイントするように、カメラは広がることができることが理解される。この場合、ステレオ・ベースラインＳＢは、画像平面と交差する前にカメラ・センターを通り抜ける。このように、エピポールは画像の反対側に移動する。

別のケースにおいては、カメラは、両方とも、ステレオ・ベースラインＳＢに対して垂直にポイントすることができる。この場合、エピポールは、無限となり、そして、有限のエピポールを規定することはもはや可能でない。カメラが、また、平行である限り、− ステレオ・レクティフィケーションを行われたとして規定される状態 −種々のオブジェクトまでの相対的な距離を、それらの相対的な視差動作によって決定することができる。しかしながら、カメラが相対的な傾きを有する（カメラが、それらが互いともはや平行でないように、ステレオ・ベースラインまわりで異なる角度に回転する）ならば、画像動作は混乱する。ステレオ・レクティフィケーションを行われたカメラ位置に対する補正なしでは、範囲測定は、難しくなる。

ステレオ・レクティフィケーションは、カメラを、ステレオ・ベースラインＳＢに対して垂直に、そして、互いに平行に整列させることを含む。これが行われるとき、左カメラのすべての特徴は、右カメラにおけるそれらの位置に達するように平行な、そして、水平な線にそって移動する。エピポールｅ_Ｒ、ｅ_Ｌは、両方のカメラにおいて、無限にある。実際には、これらのカメラ（または、１つの移動カメラ）は、典型的には、画像は形成されるときに、ステレオ・レクティフィケーションを行われた位置にはない。オリジナル画像の仮想的な、またはホモグラフィックな写像が、したがって、ステレオ・レクティフィケーションを行った画像の望ましいペアをつくるために実行されなければならない。

つぎに、図５を参照すると、この図は、実施形態にしたがう、ステレオ・レクティフィケーションを行った画像を処理する方法５００を示す。

この方法５００は、ステレオ・レクティフィケーションを行った画像の第１のペアが選択される動作５１０を含む。実施形態においては、画像のペアのステレオ・レクティフィケーションが、「ステレオ・レクティフィケーション方法」と題され、２０１２年４月１２日に出願された同時係属米国特許出願第１３／４４５，４５４号において記述される１つ以上の方法にしたがって、実行される。上記出願の開示全体が、参照により、ここに組み込まれる。しかしながら、これは、制限するものではなく、他の実施形態において、たとえば、基本行列の構造に基づいたものを含む、他の方法にしたがって、画像にステレオ・レクティフィケーションを行うことが考えられる。

次に、方法５００は、ステレオ・レクティフィケーションを行った画像のペアから特徴の第１の点群が決定される動作５２０に進む。特徴の第１の点群は、画像によってキャプチャされる１つ以上のオブジェクトおよび／またはオブジェクト特徴を含む。

１つの実施形態において、動作５２０は、画像のテレオ・レクティフィケーションを行われたペアから、各々の特徴に対するアンスケール範囲を決定することを含むことができる。これは、以下のように行われる。例えば、図６は、ステレオ・ベースラインＳＢとポイントＰによって、規定された平面におけるポイントまたは特徴Ｐの幾何を示す。

図６は、２つのカメラ、左カメラと右カメラを示す。これらのカメラは、互いに平行した向きにあり、それらの主軸ＲＣＰＡおよびＬＣＰＡの方向に面している。これらのカメラは、ステレオ・ベースライン、ＳＢにより切り離され、そして、このベースラインに対して垂直の向きにされる。

カメラは、ファー・フィールドにおける特徴を観察する。この特徴は、ステレオ・ベースライン（の拡張）に対して、距離Ｒで、垂直である。この特徴は、また、ステレオ・ベースラインに沿った左カメラから距離ｘである。

このオブジェクトへの光線と主軸との間の角度は、βである。この光線とステレオ・ベースラインとの間の余角は、αである。

これらの定義で、次に、ステレオ・ベースラインからのオブジェクトの距離Ｒ、および、左カメラ位置からステレオ・ベースラインに沿ったオブジェクトの距離ｘの方程式をたてることが可能である。

図６の中で見られるように、

方程式（２）を、方程式（１）に代入して、整理すると、Ｒを次のように定義することができる。

三角法の代入を用いて、方程式（３）は、次のようになる。

α_Ｌ＝９０−β_Ｌおよび、α_Ｒ＝９０−β_Ｒであることに留意する。これらの関係を方程式（４）に代入し、そして、適切な三角法の変換を使用すると、以下になる。

距離、ｘは、以下によって与えられる。

方程式（４）を整理して、Ｂを出し、そして、これを、方程式（２）と一緒に、方程式（６）に代入すると、そして、いくらかの操作三角法の代入の後に、方程式（７）が得られる。

更なる操作で、角度差異正弦の三角法の拡大からの結果、これは、望ましい形になる。

角度βは、その特徴および、２つのカメラ・センターによって規定される共通平面ＣＰの中の特徴への方向を言うために使用される。しかしながら、この共通平面は、各々のそのような特徴に対して異なる方向であることが理解される。カメラがステレオ・レクティフィケーションを行われたとすると、平行で、ある任意の方向において、ポイントしている。次に、そのカメラは、両方のカメラの画像センターを通過する（すなわち、平面がｘ軸に沿っている）基準面を規定する。一般に、特定の特徴およびカメラ・センター（すなわち、ステレオ・ベースライン）によって規定される平面は、この標準的なカメラ基準面と一致しない。この２つの平面は、それらの間で、角度ηで交差する。図７は、幾何を示す。図７は、カメラ・センターＣＣ、ステレオ・ベースラインＳＢ、画像平面ＩＰ、画像センターＩＣ、カメラ基準面ＣＲＰ、主軸焦点距離ｆｌ、遠隔特徴の画像ＩＤＦ、距離特徴の光線ＲＤＦ、および、ステレオ・ベースラインＳＢおよび特徴Ｐの共通平面を示す。

角度βは、共通ステレオ平面の中の遠隔特徴への方向を規定する。このように、この角度は、基準ベクトル、ｒ_ｙ、について規定される。そして、それはまた、この平面の中に存在する。ベクトルｒ_ｙは画像平面において終端する。しかし、その長さは、カメラ焦点距離と等しくない。角度βは、このように以下により与えられる。

角度ηは、以下により与えられる。

ステレオ視差測定からの三次元点群の構築において、両方のカメラが同じに傾くように、基準方向を提供することが望ましい。１つの実施形態において、この方向は、基準特徴となるべき特徴の１つを任意に割り当てることによってつくられる。左および右カメラ画像の視点回転を通して、この基準特徴は、左および右画像の両方において、ｘ軸に置かれる。基準特徴をｘ軸に動かすことは、同様にすべての他の特徴の対応する透視投影変換動作の結果となることが理解される。一旦、カメラは、平行で、完全にステレオ・レクティフィケーションを行われるように、これらの回転が完了すると、角度ηは、基準特徴に関して、各々の特徴の垂直基準角を提供する。

代替的スキームは、基準特徴を両方のカメラにおける任意のｙ軸位置に持ってきて、そして、次に、単に、各々の他の特徴に対して、相対的な角度η_ｉを計算することである。

図８は、特徴の三次元テストパターンのシミュレーションの結果を示す。このパターンは、ステレオ・レクティフィケーションを行われたカメラによって観察されるように、特徴の動作を示す、カメラのステレオ・レクティフィケーションを達成すると、即座に、すべての特徴の動作は、画像平面のｘ軸と平行となる。画像運動線の長さは、前述の方程式で見られるように、ステレオ・ベースラインからの特徴の距離および、ステレオ・ベースラインの長さに関連する。距離測定は、点群特徴に対してローカルであり、したがって、正確である。

図５に戻って、この方法は、第１の点群における基準特徴に関する第１の点群の特徴の位置が、決定される、動作５３０に進む。

前述したように、キャプチャされた画像のこれらの特徴は、ワールドにおいて、外のあるオブジェクトの要素であると推定される。実施形態においては、これらの特徴の、各々の他に対する幾何的な関係を見つけるために、特徴の位置が埋め込まれているローカル・デカルト座標系が、確立される。

このローカル座標系は、ワールド・オブジェクトとステレオ・カメラ・ペアとの間での関係に関連する。一般に、ローカル座標系は、グランド平面の延びた座標系に対応しない。むしろ、ローカル座標系は、あるワールド・オブジェクト特徴をローカル・座標系の原点として選択することによって確立することができる。この基準平面は、この特徴の位置、および、２つのカメラ・センターによって規定された平面である。

図９は、ステレオ・カメラに対するローカル・座標系の一般的な関係を示す。図が示すように、基準平面は、本当のグランド平面ＴＧＰから独立しており、したがって、ローカル座標系Ｘ、Ｙ、Ｚである。ローカル座標系の原点は、基準特徴Ｐの位置である。ローカル座標系において、Ｘは、ステレオ・ベースラインＳＢと平行であり、Ｚは、ステレオ・ベースラインＳＢに対して垂直であり、そして、Ｙは、カメラ・プラス基準特徴基準平面に対して垂直である。

座標系原点は、主要特徴Ｐである。主要基準平面ＲＰは、この特徴から２つのアンカー・カメラ（および、カメラ・センターＬＣＣとＲＣＣ）を通過する。

図１０は、基準面ＲＰ（基準特徴Ｐ）の側面図、および、インデックスｉによって示される任意に選択された特徴を示す。図１０において、基準平面とｉ特徴との間の角度は、η_ｉである。

特徴ｉのローカルｘ、ｙ座標は、以下の通りである。

そして、方程式（１０）を使って、

第３のローカル座標Ｘ_ｉは、図３を、再び調べることにより見つかる。図１１は、図６に対する適切な修正を示す。

方程式（８）を使って、方程式（１３）が得られる。

前述の実施形態は、どのように、基準特徴ポイントＰに関して複数の特徴点の位置を計算するか、を示す。この実施形態において、基準特徴Ｐは、ローカル・デカルト座標系の原点に位置する。そして、このローカル座標系の向きは、２つのカメラの位置によってコントロールされる。前述の実施形態において、どんな特徴点でも、ローカル座標系の原点としての役割を果たすことができることが理解される。

図５に戻って、第１の点群において、基準特徴Ｐに関して第１の点群の特徴を位置を決定した後に、方法５００は、動作５４０に進み、ここで、ステレオ・レクティフィケーションを行った画像の第２のペアが、１つのステレオ・レクティフィケーションを行った画像が、第１および第２のペアに共通であるように、選択される。これは、動作５５０において、ステレオ・レクティフィケーションを行った画像の第２のペアから生成された特徴の前記点群を、ステレオ・レクティフィケーションを行った画像の第１のペアからの特徴の第１の点群とマージおよび／またはスケーリングするために行われる。

実施形態においては、これは、第３のカメラ方向を、第１および第２のカメラ方向にリンクすることによって、行われる。これは、実施形態においては、マスター・ローカル座標系を構築および／または規定することによって、行われる。

図１２は、マスター・ローカル座標系がどのように規定されるか、を示す。第１に、２つのカメラ位置Ｃ１、Ｃ２が、位置のシーケンスから、任意に選択される。２つのカメラ・センターの間の線が、主要ステレオ・ベースラインとして規定され、図１２の中で、ＳＢ_１２として識別される。図６の定義にしたがって、垂直セグメントＲ_１２が、ベースライン・インターセプト・ポイントＢＩ_１２でのステレオ・ベースラインＳＢ_１２から、選択された基準特徴Ｐに引かれる。次に、このセグメントは、このベースラインを距離Ｂ_１２およびｂ_１２に分ける。Ｂ_１２は、ローカル・デカルト座標系の負のｘ−方向におけるカメラＣ１からＲ_１２の距離である。ステレオ・ベースラインＳＢ_１２からのローカル・座標系の原点の距離Ｒ_１２は、方程式（５）によって与えられる。

一旦、Ｒ_１２が、スケール基準距離として決定されるならば、次のように、単純な三角法によって、同様にスケーリングされたＢ_１２、ｂ_１２、ｒ_１とｒ_２を得ることが可能である。

図１２の示されるように、カメラＣ３は、典型的には、カメラＣ１およびＣ２、および、基準特徴ポイントＰによって形成される基準平面にない。さらに、ＳＢ_１２ステレオ・ベースラインとＳＢ_２３ステレオ・ベースラインとの間の角度ε_１２３が、知られているが、ＳＢ_２３の長さは、知られていない。また、既知の基準平面および基準ローカル座標系に関する仰角ＳＢ_２３も知られていない。しかしながら、ＳＢ_２３のＳＢ_１２との比を決定することができる。ＳＢ_１２の長さが知られていないことがあり得るので、ＳＢ_２３の正確な長さを得ることは可能ではない。しかし、３つのカメラ位置Ｃ１、Ｃ２とＣ３のすべてにおいてなされる測定から特徴点群の適切にスケーリングされたモデルを組み立てることが可能である。

実施形態においては、カメラＣ３の位置は、以下の手続きによって、ローカル座標系において決定される。

第１に、ステレオ・ベースラインＳＢ_１２とＳＢ_２３との間の角度ε_１２３が、決定される。これは、カメラＣ２からのレクティフィケーションされてない初期の画像で行うことができる。カメラＣ１およびカメラＣ２画像のステレオ・レクティフィケーションのプロセスの間に、カメラＣ２のオリジナル画像におけるカメラＣ１エピポールの位置をリカバーすることが可能である。これは、多視点幾何（Ｍｕｌｔｉｖｉｅｗ Ｇｅｏｍｅｔｒｙ）コミュニティによって開発された標準的な技術によって達成される。同様に、カメラＣ２およびＣ３からの画像に、別々にステレオ・レクティフィケーションを行うプロセスの間に、そのシーンのカメラＣ２のオリジナル画像において、カメラＣ３エピポールの位置をリカバーすることが可能である。カメラ・センターに関して、これらの２つのエピポール間の角度は、ε_１２３である。

カメラＣ２とＣ３とが一緒にステレオ・レクティフィケーションを行われた後に、基準特徴Ｐが位置し、新たにレクティフィケーションを行われたカメラＣ２およびカメラＣ３画像は、この特徴Ｐの画像が、カメラＣ２とＣ３のｘ軸に沿っているように、実質的に傾けられる。これは、カメラＣ２、カメラＣ３、および、基準特徴Ｐにおける三角形の角で、新たな平面を確立する。

この新たな平面で、座標、ｘ’、ｙ’、ｚ’によって規定される第２のローカル・デカルト座標系をつくることが可能である。これらの座標は、カメラＣ２とＣ３、および、基準特徴Ｐによって規定された平面に向いている。しかし、それらは、ＳＢ_２３ステレオ・ベースラインに向いている。この新しいローカル座標系は、図１３に図示される。

ＳＢ_２３ベースラインとのＲ_２３のインターセプトＢＩ_２３を決定するために、ｘ’、ｙ’、ｚ’座標系を、基準ｘ、ｙ、ｚ座標系に変換するための変換が規定される。

実施形態においては、あるｘ’、ｙ’、ｚ’位置におけるオブジェクトを、その等しいｘ、ｙ、ｚ座標に運ぶ行列方程式にしたがう、望ましい変換が規定される。

マトリックス［Ａ］の９つの係数は、次のように、決定することができる。

図１０および図１１、および、方程式（１１）から（１３）に結びついた手続きは、種々の特徴点の座標が、基準ｘ、ｙ、ｚ座標系において決定されるように、続くことを仮定する。これらの特徴のすべてが、カメラＣ３位置から見られるわけではない。そうであるから、３つのカメラのすべてによって見ることができる、これらの特徴が、観察された特徴の全体アンサンブルから選択される。実施形態においては、最小二乗法は、［Ａ］の係数を推定するために、共通機能のこのサブセットを用いる。実施形態による方法は、エピポールについての知識と結合された最小２乗座標変換を用いる。基準特徴と同一平面上にない共通のサブセットにおいて少なくとも３つの異なった（そして、非同一平面上の）特徴が存在する。

第２のカメラＣ２の位置が、当初に知られていないので、ステレオ・ベースラインＳＢ_２３から基準特徴、および、他の共通特徴セットへの距離も、また、知られていない。このように、この共通特徴点群の見た目のサイズは、通常、カメラ・ペアＣ１−Ｃ２に対するものは、カメラ・ペアＣ２−Ｃ３に対するものから異なっている。ｘ、ｙ、ｚ座標系を、ｘ’、ｙ’、ｚ’座標系に結合させる変換行列を見つけることは、したがって、向き以外のすべてにおいてマッチするように、両方の点群の再スケーリングを含む（動作５５０）。

実施形態においては、再スケーリング・プロセスは、以下のように行われる。各々の点群は、１つのベクトルとして扱われ、そして、ベクトルのノルムが、決定される。次に、各々のポイントは、このノルムによってそれを割り算することによって点群において再スケーリングされる。このように、以下の方程式が得られる。

および、

次に、特徴点の測定された位置が、特徴点の正規化した位置と入れ替えられる。

次に、マトリックス変換がつくられる。マトリックス変換は、過剰決定されるかもしれない２つの特徴点マトリックスの間でつくられる。望ましいソリューションは、特徴位置誤差の影響を最小にするように可能な限り多くの良い特徴を使わなければならない。方程式（２２）は、開始マトリックスの記載を提供する。

便宜上、方程式（２２）を書き直す。

次に、方程式（２３）の両側に、Ｘ’の転置を右から掛ける。

次に、相関関係（または自己相関）マトリックスが、規定される。

方程式（２４）は、下のように書くことができる。

最後に、両側に、［Ｃ］のインバースを右から掛ける。
［Ｘ］［Ｘ’］^Ｔ［Ｃ］^−１＝［Ａ］［Ｃ］［Ｃ］^−１＝［Ａ］

このようにして、［Ａ］は、次のように定義される。

方程式（２７）は、更なる相関行列を持つ。

方程式（２７）は、２つの座標系の間の関係を提供する。

方程式（２３）は、ステレオ・ベースラインＳＢ_２３とのインターセプトに対してＲ_２３に沿って方向を見つけるために使うことができる。しかし、第１に、Ｒ_２３の長さが決定されなければならない。これは、以下のように行うことができる。

カメラＣ２のステレオ・レクティフィケーションを行った画像における簡単な測定から、カメラＣ２センター（レクティフィケーションを行われるＳＢ_２３）に関する基準特徴の角度α_２３が、決定される。方程式（１７）および、カメラＣ１およびＣ２からのレクティフィケーションを行われた画像を使用して、ローカル基準座標系の原点への距離ｒ_２が、決定される。図１３から、単純な関係が決定される。

および、

ＢＩ_２３を見つけるために、ｚ’方向が、基準座標系ｘ、ｙ、ｚに変換される。そして、結果として生じるベクトルが、距離Ｒ_２３、ベースライン・インターセプトＢＩ_２３へ延びる。これは、変換される座標の適切な正規化で行われる。

望ましい方向ベクトルが、方程式（２３）を使用してつくられる。

ここで、正規化ファクタは、以下である。

基準ローカル座標系におけるＢＩ_２３の位置は、したがって、以下のコンポーネントを有するベクトル位置である。

次に、相対的なカメラ座標が、決定される。次に、ローカル基準座標系ｘ、ｙ、ｚにおける３つのカメラＣ１、Ｃ２およびＣ３の位置を見出すことが可能である。図１２にしたがい、カメラＣ１の位置は、ローカル基準座標系において、以下の座標を持つ。

同様に、カメラＣ２は、以下に位置する。

カメラＣ３の位置を決定するために、ベクトルが、カメラ２からインターセプトＢＩ_２３を通って、カメラＣ２から位置ＳＢ_２３に伸ばされる。カメラＣ２からインターセプトＢＩ_２３への距離は、方程式（３３）および（３５）を使って、以下になる。

長さＳ_２３も、また、決定される。そうするために、長さｂ_２３が決定される。図１３を参照すると、角度α３は、カメラＣ２−Ｃ３エピポールと基準特徴Ｐとの間の角度である。ステレオ・レクティフィケーションの後には、これは、基準特徴と画像センター（ｘ軸に沿って）との間の角度である。Ｒ_２３が知られているので、ｂ_２３が得られる。

したがって、カメラＣ２からカメラＣ３までの距離は、以下の通りである。

ベクトル位置（３３と（３５）および方程式（３８）を用いて、基準座標系ｘ、ｙ、ｚにおける第３のカメラＣ３の座標は、以下の通りである。

前述の実施形態は、どのように、３つのカメラを一緒につなぐか、そして、ステレオ・レクティフィケーションを行った画像の前記第２のペアからの特徴を、ステレオ・レクティフィケーションを行った画像の第１のペアにつなぐかを記述する。これは、カメラＣ１、Ｃ２およびＣ３に見えるシーン特徴（例えばＰ）が存在するので、行うことができる。一旦、第３のカメラ位置が決定されるならば、第２の点群を再スケーリングし、前記第１の点群とマージすることができる。このように、前述のプロセスは、ステレオ・レクティフィケーションを行った画像の第１のペアと結びついた第１の点群の特徴に対してステレオ・レクティフィケーションを行った画像の第２のペアと、関連する第２の点群の特徴を再スケーリングし、マージするのに用いられる。これは、上で規定されるマトリックス変換を使って行われる。

実施形態においては、前述のチェイニング・プロセスは、複数のカメラ位置に一般化される。実施形態においては、これは、以下ように行われる。

つぎに、図１４を参照すると、この図は、複数の位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６およびＰ７を通過して移動し、そして、シーン特徴ＳＦを観察するカメラを示す。移動カメラの代わりに、位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６およびＰ７において、シーンを観察する複数のカメラを、使うことができることに留意する。すべての特徴が、各々のカメラで観察されるわけではない。いくつかの場合において、２つのカメラの間で共通の特徴が存在しない。図１５は、各々のカメラが見るもの分けている。

図１６は、カメラの間でのペア毎のオーバーラップの例を示す。

実施形態においては、チェイニングのための基本手順は、各々のカメラが、少なくとも２つの他のカメラとペアにされる（さらに、十分な特徴が共有される）ように、カメラをペアにすることである。ステレオ・レクティフィケーションを行った画像は、カメラの各々ペアに対してつくられる。これらのレクティフィケーションを行った画像ペアから、三次元特徴点群が、各々の画像ペアに対して、つくられる。この方法は、図５で概説される。

実施形態において、チェイニング・プロセスは、少なくとも３つのカメラ位置から見えるそれらの特徴点の連続した観察を含む。このプロセスは、チェーンの最初の２つのカメラ位置Ｐ１で、Ｐ２スタートする。上述された実施形態にしたがって、これらの２つのカメラは、マスター座標系の原点の役割をする特定の目立った特徴を選択することによってマスター座標系を構築する。第３のカメラ（または第３のカメラ位置Ｐ３）は、次に、上述された方法によって、最初の２つのカメラ（または最初の２つのカメラ位置Ｐ１、Ｐ２）にリンクされる。これは最初の２つのカメラおよび基準座標系に関して、第３のカメラの位置Ｐ３を決定する。それは、また、第２および第３のカメラに関して、特徴点の位置を記述する方法を提供する。また、それは、第２および第３のカメラによって生成される点群を第１および第２のカメラによってつくられる基準点群にスケーリングする。

第４のカメラまたは第４のカメラ位置Ｐ４が、次に、ミックスに追加される。そして、第２のカメラ・トリプレットが、次に、第２、第３および第４のカメラ（または、第２、第３および第４のカメラ位置Ｐ２、Ｐ３、Ｐ４）からつくられる。これらの３つのカメラは、追跡可能な特徴の異なるミックスを見る。特徴のこの新たなコレクションを、古いコレクションに、登録するために、オリジナルのトリプレットおよび新たなトリプレットによって見える新しい基準点Ｐ’が、確立される。次に、この新しい基準点Ｐ’は、構築されているチェーンのリンクとしての役割を行う。図１７は、このプロセスを示す。

このチェイニング・プロセスにおいて、第２の点群のポイントは、主要点群に、適切に（間接的にでも）登録される。これは、第２の点群が、オリジナル基準座標系にマッチするように適切に再スケーリングされ、向いていることを意味する。これを可能にするために、カメラ１、カメラ２および、基準点座標系における第４のカメラの位置Ｐ４が、決定される。上記の実施形態で概説された手続きは、使用される座標変換を提供する。

次に、チェイニングは、最後のカメラ位置に達するまで、すなわち、オリジナル・マスター座標系において、すべての新たな特徴点が登録されるまで、続く。オール・ラウンドの点群構築のために、連続したカメラ・トリプレット（カメラＮ、Ｎ＋１、および、Ｎ＋２）からの特徴点群は、出発点に達するまで、連続してマージされる。以下のダブル・ペアリングは、最小のケースである。カメラ１とカメラ２とカメラ３、．．．カメラＮ−１とカメラＮとカメラ１。

最後のダブル・ペアリングは、カメラ位置とポーズにおける推定を調整するように前方へ、と並んで、後方へチェーンすることを可能にする。実施形態において、２つのチェーンが確立される。カメラ１から２へ、２から３へ、３から４へ、などである。また、カメラ１からＮへ、ＮからＮ−１へ、Ｎ−１からＮ−２へ、などである。

上に記載されたチェイニングは、すべての特徴点の同時の可視性を必要としないことが理解される。

各々のカメラ位置に対する位置およびポーズ推定を補正するために、時計回りおよび反時計回りのチェーンの完全な巡回を実行することができる。反チェイニングを、３６０°の飛行の後に、見逃しエラーを補正するために、使うことができる。実施形態において、各々のカメラ位置に対する位置とポーズ推定は、つぎに、２つのチェーンの間で、平均化することができる。この新しい位置情報は、次に、点群断片を修正し、そして、それらを再マージするために使用される。このプロセスは、つぎに、それが安定した平衡に達するまで繰り返される。

図１８を参照すると、この図は、１つの実施形態にしたがって、画像を処理するシステム１８００を示す。

システム１８００は、（例えば、リアルタイムにキャプチャした）画像１８０１にステレオ・レクティフィケーションを行うように構成されたステレオ・レクティフィケーション・モジュール１８１１を含む。システム１８００は、また、第１の点群において、基準特徴に関する第１の点群の特徴の位置を決定するように構成される位置決定モジュール１８１２を含む。そして、特徴の第１の点群に、ステレオ・レクティフィケーションを行った画像の第２のペアと結びついた特徴の第２の点群をスケーリングし、マージするように構成されたスケーリングおよびマージング・モジュール１８１３を含む。システム１８００は、リンクされた画像１８０２のストリームを出力する。

位置決定モジュール１８１２、および、スケーリングおよびマージング・モジュール１８１３は、上述の１つ以上の変換を実行するように構成される。

図１８の異なるモジュールは、要求された動作を実行するために、１つ以上のプロセッサ、メモリ、および／または、専用回路を含むことができる。

この上述の方法は、たとえば、軍事および商用アプリケーションを含む多くのアプリケーションにおいて、画像を処理するために使うことができる。軍事アプリケーションは、改善された状況認識、持続的な監視、トレーニング、戦闘リハーサル、ターゲット認知およびターゲティング、ＧＰＳ使用不可領域における高精度ナビゲーション、センサー融合、ミッション・システム統合、および、軍事のロボット工学を含むことができる。商用および産業アプリケーションは、地理学およびマッピング、映画およびレビジョン・アプリケーション、アーキテクチャおよび建築計画、広告、産業および一般ロボット工学、警察および消防、および、学校教育を含むことができる。しかしながら、これは、制限するものではなく、上に記述された方法およびシステムを他のアプリケーションに使用することが考えられる。

また、上記の実施形態にしたがって、記述された、画像の処理は、リアルタイムに実行することができる。

画像を処理することに含まれる異なる動作は、ハードウェア、ソフトウェア、または、ハードウェアおよびソフトウェアの組合せにより、実行することができることが理解される。ソフトウェアは、マシン実行可能命令またはコードを含むことができる。これらの実行可能なマシン命令は、プロセッサーモジュールのデータ記憶媒体に埋め込むことができる。たとえば、マシン実行可能命令は、図１８のシステムのモジュール１８１１、１８１２および１８１３のデータ記憶媒体に埋め込まれることができる。

ソフトウェア・コードは、汎用計算機で実行可能である。動作においてコードおよび、おそらく関連するデータ・レコードは、汎用計算機プラットフォームの中に格納することができる。ほかの時には、しかしながら、ソフトウェアは、他の場所に格納することができ、および／または、適切な汎用コンピュータ・システムにロードのために運搬されることができる。それゆえに、上述の実施形態は、１つ以上のソフトウェアまたはコンピュータ製品を、少なくとも１つの物理的、固定的、機械読み取り可能媒体により運搬されるコードの１つ以上のモジュールの形で、含む。そのようなコードの、コンピュータ・システムのプロセッサによる実行は、プラットフォームが、本質的に、ここに議論し、図示した実施形態で実行された態様における、機能をインプリメントすることを可能にする。

ここで用いられるように、コンピュータまたはマシン「読取り可能媒体」などの用語は、実行のための命令をプロセッサに提供することに参加するいかなる媒体をも指すものである。そのような媒体は、固定不揮発性媒体および揮発性媒体を含む多くの形をとることができる。しかし、これらに限定されるものではない。不揮発性媒体は、たとえば、上で示したように、任意のコンピュータで動作する任意の記憶装置などの、光学または磁気ディスクを含む。揮発性媒体は、コンピュータ・システムのメイン・メモリなどのダイナミック・メモリを含む。コンピュータ読取り可能媒体の共通な形は、したがって、たとえば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、任意の他の光学的媒体、穿孔カード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、および、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他のメモリーチップまたはカートリッジなどの、あまり一般的には用いられない媒体を含む。コンピュータ読取り可能媒体のこれらの形の多くが、実行のためにプロセッサに、１以上の命令の１つ以上のシーケンスを運ぶ際に含まれることができる。

本願開示が、現在最も実際的であり、そして、好ましい実施形態であると考えられることに基づいて、説明の目的のために詳細に記載されたが、そのような詳細は、単に、そのような目的のためにあるものであり、本願開示は、開示された実施形態に限定されるものではなく、逆に、本願発明の趣旨と添付の請求項の範囲の中である修正および均等な構成をカバーすることを意図するものであることが理解されるべきである。例えば、本願開示は、可能な限り、任意の実施形態の１つ以上の特徴は、任意の他の実施形態の１つ以上の特徴と結合されることができると考えることが理解されるべきである。

Claims (17)

1. ステレオ・レクティフィケーションを行った画像の処理方法であって、各々のステレオ・レクティフィケーションを行った画像は、カメラ位置と結びついており、
   該処理方法は、
   ステレオ・レクティフィケーションを行った画像の第１のペアを選択するステップと、
   ステレオ・レクティフィケーションを行った画像の前記ペアから特徴の第１の点群を決定するステップと、
   前記第１の点群の基準特徴に関して、前記第１の点群の前記特徴の位置を決定するステップと、
   ステレオ・レクティフィケーションを行った画像の第２のペアを選択するステップであって、第２のペアのうちの１つのステレオ・レクティフィケーションを行った画像が、前記第１のペアと共通であるように、選択するステップと、
   特徴の前記第１の点群に、ステレオ・レクティフィケーションを行った画像の前記第２のペアと結びついた特徴の第２の点群をスケーリングするステップであって、該スケーリングするステップは、各々の点群を単一のベクトルとして扱い、各単一のベクトルに対するノルムを決定することを含む、ステップと、
   を含む、方法。
2. 前記スケーリングするステップは、基準点に対して前記第１のペアと共通でない画像の前記第２のペアのうちの前記ステレオ・レクティフィケーションを行った画像と結びついたカメラ位置を決定するステップを含む、請求項１に記載の方法。
3. 第３のペアにおけるステレオ・レクティフィケーションを行った画像の１つが、前記第２のペアと共通であるように、ステレオ・レクティフィケーションを行われた画像の第３のペアを選択するステップと、
   ステレオ・レクティフィケーションを行った画像の前記第１および第２のペアと結びついた特徴の点群に対して、ステレオ・レクティフィケーションを行った画像の前記第２および第３のペアと結びついた特徴の第３の点群をスケーリングするステップと、を更に含む請求項１に記載の方法。
4. 前記第３の点群をスケーリングするステップは、基準点に対して前記第２のペアと共通でない画像の前記第３のペアにおいて、前記ステレオ・レクティフィケーションを行った画像と結びついた前記カメラ位置を決定するステップを含む、請求項３に記載の方法。
5. ｎ＋２番目のペアにおけるステレオ・レクティフィケーションを行った画像の１つが、ステレオ・レクティフィケーションを行った画像のｎ＋１番目と共通であるように、ステレオ・レクティフィケーションを行われた画像のｎ＋２番目のペアを選択するステップと、
   ステレオ・レクティフィケーションを行った画像の第ｎ番目および第ｎ＋１番目ペアに結びついた特徴の点群に対して、ステレオ・レクティフィケーションを行った画像の前記ｎ＋２番目およびｎ＋１番目のペアと結びついた特徴の点群をスケーリングするステップと、
   を更に含み、
   ここで、ｎは、１以上の整数である、請求項１に記載の方法。
6. ステレオ・レクティフィケーションを行われた画像の前記ｎ＋２番目のペアを選択するステップと、
   ステレオ・レクティフィケーションを行った画像の前記ｎ＋２番目およびｎ＋１番目のペアと結びついた特徴の前記点群をスケーリングするステップと、
   を、ステレオ・レクティフィケーションを行った画像の前記ｎ＋２番目のペアが、前記第１のペアのうちのステレオ・レクティフィケーションを行った画像を含むまで反復することを更に含む請求項５に記載の方法。
7. 前記ステレオ・レクティフィケーションを行った画像は、１つの移動カメラでキャプチャされた画像である、請求項１に記載の方法。
8. ステレオ・レクティフィケーションを行った画像は、複数のカメラによりキャプチャされた画像である、請求項１に記載の方法。
9. 前記基準特徴は、ステレオ・レクティフィケーションを行った画像の前記第１および第２のペアの前記ステレオ・レクティフィケーションを行った画像における画像特徴である、請求項１に記載の方法。
10. ステレオ・レクティフィケーションを行った画像の処理方法を実行するためのコンピュータ・プログラムであって、
    各々のステレオ・レクティフィケーションを行った画像は、カメラ位置と結びついており、
    該方法は、
    ステレオ・レクティフィケーションを行った画像の第１のペアを選択するステップと、
    ステレオ・レクティフィケーションを行った画像の前記ペアからの特徴の第１の点群を決定するステップと、
    前記第１の点群の基準特徴に関して、前記第１の点群の特徴の位置を決定するステップと、
    前記第２のペアのうちの１つのステレオ・レクティフィケーションを行った画像が、前記第１のペアと共通であるように、ステレオ・レクティフィケーションを行った画像の第２のペアを選択するステップと、
    特徴の前記第１の点群に、ステレオ・レクティフィケーションを行った画像の前記第２のペアと結びついた特徴の第２の点群をスケーリングするステップであって、該スケーリングするステップは、各々の点群を単一のベクトルとして扱い、各単一のベクトルに対するノルムを決定することを含む、ステップと、
    を含む、コンピュータ・プログラム。
11. 第３のペアにおけるステレオ・レクティフィケーションを行った画像の１つが、前記第２のペアと共通であるように、ステレオ・レクティフィケーションを行われた画像の第３のペアを選択するステップと、
    ステレオ・レクティフィケーションを行った画像の前記第１および第２のペアと結びついた特徴の点群に対して、ステレオ・レクティフィケーションを行った画像の前記第２および第３のペアと結びついた特徴の第３の点群をスケーリングするステップと、
    を更に含む請求項１０に記載のコンピュータ・プログラム。
12. 前記第３の点群をスケーリングするステップは、基準点に対して前記第２のペアと共通でない画像の前記第３のペアにおいて、前記ステレオ・レクティフィケーションを行った画像と結びついた前記カメラ位置を決定するステップを含む、請求項１１に記載のコンピュータ・プログラム。
13. ｎ＋２番目のペアにおけるステレオ・レクティフィケーションを行った画像の１つが、
    ステレオ・レクティフィケーションを行った画像のｎ＋１番目と共通であるように、ステレオ・レクティフィケーションを行われた画像のｎ＋２番目のペアを選択するステップと、
    ステレオ・レクティフィケーションを行った画像の第ｎ番目および第ｎ＋１番目ペアに結びついた特徴の点群に対して、ステレオ・レクティフィケーションを行った画像の前記ｎ＋２番目およびｎ＋１番目のペアと結びついた特徴の点群をスケーリングするステップと、
    を更に含み、ここで、ｎは、１以上の整数である、請求項１０に記載のコンピュータ・プログラム。
14. ステレオ・レクティフィケーションを行われた画像の前記ｎ＋２番目のペアを選択するステップと、
    ステレオ・レクティフィケーションを行った画像の前記ｎ＋２番目およびｎ＋１番目のペアと結びついた特徴の前記点群をスケーリングするステップと、を、ステレオ・レクティフィケーションを行った画像のｎ＋２番目のペアが、前記第１のペアのうちのステレオ・レクティフィケーションを行った画像を含むまで反復することを更に含む請求項１３に記載のコンピュータ・プログラム。
15. 前記ステレオ・レクティフィケーションを行った画像は、１つの移動カメラでキャプチャされた画像である、請求項１０に記載のコンピュータ・プログラム。
16. ステレオ・レクティフィケーションを行った画像は、複数のカメラによりキャプチャされた画像である、請求項１０に記載のコンピュータ・プログラム。
17. 前記基準特徴は、ステレオ・レクティフィケーションを行った画像の前記第１および前記第２のペアの前記ステレオ・レクティフィケーションを行った画像における画像特徴である、請求項１０に記載のコンピュータ・プログラム。

Images