JP5538617B2 - 複数カメラのキャリブレーション用の方法および構成 - Google Patents

Description

本発明は、複数カメラ間のキャリブレーション・データを算出するための方法に関する。

異なる視点からの複数カメラのキャリブレーション・データは、１つのカメラからのデータが別のカメラからのデータに関係しなければならない場合、例えばこれらのカメラによって見られたシーンのフル３Ｄ再構成中に、人々の３Ｄトラッキングを実行しているときに、または、例えば増強されたリアリティ・アプリケーションの中で使用されるようなコンピュータ生成グラフィックスのアプリケーション中に、常に使用される。

通常、キャリブレーション・データは、内部および外部のカメラ・パラメータを含む。前者は、ピクセル・サイズ、アスペクト比、ゆがみ、および主点などの、カメラ自体の内部のメトリクスに関連する。外部キャリブレーション・データは、指定された世界フレーム、または別の（基準）カメラを基準とした、カメラの位置および視野角に関連する。

内部キャリブレーション・パラメータはカメラの位置に依存せず、したがって、これらは、一般にカメラ・ベンダによって与えられるかまたは推定されるので、既知であるとみなすことができる。

一方、カメラの相対位置ならびに視野角は未知の変数である。それらは、カメラが転置または移動するたびに、例えば、映像の製作中、またはモバイル装置を使用した画像取り込み中、または画像を取り込むウェブカメラの移動中、変化する。

これら外部キャリブレーション・データを提供するための既知の技法は、通常、一部人間の介入を伴い、これらの位置が手動で測定されたり、またはいくつかの手動介入技法によって取得されたりする。完全自動の技法は存在するが、さまざまな視点から生じた画像における変形を扱うのが困難なので、カメラ間の位置および視野角における差異のケースだけに限定される。これらの限定されたケースは、例えば、小さい角度の視点の差異だけでなく、カメラ間の短い距離を参照するだけである。

したがって、本発明の実施形態の目的は上記既知の種類の方法を提供することであるが、それが完全自動で、複数カメラの相対位置にかかわらずそれらの役に立つことができる。

本発明の実施形態によれば、この目的は、同じシーンを前記カメラによって撮影したそれぞれの画像上で少なくとも１つのそれぞれのホモグラフィ変換を識別するためのそれぞれのパラメータを、前記それぞれの画像上でそれぞれの幾何解析を実行することによって算出するステップと、前記それぞれの画像上で少なくとも１つのそれぞれの結合ホモグラフィ変換／特徴検出ステップを実行し、それによってそれぞれの変換された画像上でそれぞれの特徴のセットを取得するステップとを含む方法によって達成され、その結果前記キャリブレーション・データは前記それぞれの特徴のセットの間で求められた一致から取得される。

このようにして、同じシーンをカメラによって取り込んだそれぞれの画像上の少なくとも１つの適正なホモグラフィ変換を識別するパラメータを算出することによって、汎用的で完全に自動化された技法が得られる。これらのホモグラフィ変換は、それ自体カメラおよびシーンのセットアップに依存し、それぞれの画像の幾何解析を実行することによって算出される。さらに、それぞれの変換された画像上のそれぞれの特徴のセットの間の、対応する項目または一致を求めることによって、１つのカメラからの外部キャリブレーション・パラメータをその他と比べて取得することができる。

この手順は、必要に応じ全セットの中の任意の一対のカメラで繰り返して、大多数のカメラのキャリブレーションを達成することができる。

したがって、キャリブレーション・データは、カメラ間の相対位置および／または相対視野角の差異に関する情報を含むことができる。相対位置は相対距離によって表現することができ、一方、相対視野角の差異はカメラ間の相対的なチルティング角度、ローリング角度、およびパンニング角度の差異によって表現することができる。

それぞれのホモグラフィ変換を識別するパラメータは、取り込んだシーン、したがってそれぞれの画像の幾何解析によって算出することができる。この文書のさらに先の部分に記載される実施形態から明らかになるように、これは多くの比較的簡単な方法で行うことができる。１つの変形形態はカメラのそれぞれの画像の中で検出されたライン・セグメントの使用を含むことができ、一方、別の変形形態は、例えばこれらの画像上のカーブ・セグメントの比較を含むことができる。また、長方形の検出および平坦な物体認識のようなより高度な技法のように、ライン角度、直角度および平行の解析を活用することができる。さらに他の変形形態では、これらの技法を組み合わせて使用することができる。

使用されるシーンの幾何解析のタイプに応じて、画像毎に１つまたは複数のホモグラフィ変換を計算することができる。

さらなる特徴は、添付特許請求の範囲およびその説明において、さらに先に記載される。

同様に、本発明は、本方法の実施形態を実行するための装置、本方法の実施形態のいずれかを実行するように適合されたコンピュータ・プログラム、および、そのようなコンピュータ・プログラムを含むコンピュータ可読記憶媒体に関する。

特許請求の範囲において使用される用語「含む」は、その後に列記された手段に限定されるように解釈すべきでないことに留意すべきである。したがって、表現「手段ＡおよびＢを含む装置」の範囲は、構成要素ＡおよびＢだけからなる装置に限定すべきでない。本発明に関して装置に関連するにすぎない構成要素がＡおよびＢであるという意味である。

添付図面と併用して実施形態の以下の説明を参照することにより、本発明の上記その他の目的および特徴がより明白になり、本発明自体を最も良く理解することができよう。

方法の実施形態を示す高度概略ブロック図である。 図１ａの高度ブロック図の第１の変形実施形態を示す図である。 図１ａの高度ブロック図の第２の変形実施形態を示す図である。 カメラの内部キャリブレーション・パラメータを図式的に示す図である。 カメラの外部キャリブレーション・パラメータを図式的に示す図である。 図１ｃに描写された第２の変形実施形態のコンピュータ実装形態を示す図である。 内部キャリブレーション・パラメータも計算される、図３ａの実装形態の変形形態を示す図である。 好ましくは非自然的なシーンで使用することができる、図３ａの実施形態のより詳細な実施形態を示す図である。 好ましくは非自然的なシーンで使用することができる、図３ａの実施形態のより詳細な実施形態を示す図である。

説明および図面は本発明の原理を示すにすぎない。したがって、明細書において明確に記載または図示されていなくても、当業者は本発明の原理を具現化し、その精神および範囲内に含まれるさまざまな構成を考案できることが理解されよう。さらに、本明細書に列挙されたすべての例は、主に、本発明の原理および発明者によって当技術分野を進展させるのに貢献した概念を、読者が理解するのを助ける教育目的のみを明確に意図しており、そのように具体的に列挙された例および条件に限定するものではないと解釈されるべきである。その上、本明細書において本発明の原理、態様、および実施形態を列挙するすべての記述、ならびにその具体例は、その均等物を包含するものである。

本明細書の中のいずれのブロック図も本発明の原理を具現化する例示的な電気回路の概念図を表すことを、当業者は理解すべきである。同様に、いずれのフローチャート、流れ図、状態遷移図、疑似コードなども、実質的にコンピュータ可読媒体の中で表現され、コンピュータまたはプロセッサが明確に示されていてもいなくても、そのようなコンピュータまたはプロセッサによって実行され得る、さまざまな処理を表すことが理解されよう。

図の中に示されたさまざまな構成要素の機能は、専用ハードウェア、ならびに適切なソフトウェアと共同してソフトウェアを実行する能力があるハードウェアの使用を介して提供することができる。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、または、一部は共用されている場合もある複数の個別のプロセッサによって、提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行する能力があるハードウェアに排他的に言及するものと解釈すべきでなく、限定なしに、デジタル・シグナル・プロセッサ（ＤＳＰ）ハードウェア、ネットワーク・プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、ソフトウェア格納用リード・オンリ・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性記憶装置を暗黙的に含むことができる。従来の、および／または特別仕様の他のハードウェアも含むことができる。同様に、図に示されたいずれのスイッチも概念的にすぎない。それらの機能は、プログラム論理回路の動作を介して、専用論理回路を介して、プログラム制御と専用論理回路との相互作用を介して、または、文脈からより具体的に理解されるように実装者によって選択可能な特定の技法を使用して手動でも実行することができる。

図１ａは、２台のカメラについてキャリブレーション・データを算出する方法の高度な実施形態を示す。この実施形態が２台を超えるカメラを伴う複数カメラの状況にも適用できることは明白である。一般に、キャリブレーション・データは、内部カメラ・パラメータおよび外部カメラ・パラメータを含む。これらは、それぞれ図２ａおよび図２ｂに示される。内部カメラ・パラメータは、図２ａに示したように、例えば、主点の２つの成分ｐｘおよびｐｙ、ならびにピクセルの幅（ａｘ）、高さ（ａｙ）およびゆがみ（ｓ）に関係する、カメラ自体の内部のメトリクスに関連する。

図２ｂは、これらのカメラ間の相対位置およびこれらの視野角に関係する、外部カメラ・パラメータを示す。一般に、１台のカメラが基準カメラになり、次いで、セットのすべての個別のカメラについて、その他のカメラの相対位置および相対視野角がこの基準カメラに対して算出される。相対位置は（ｄｘ，ｄｙ，ｄｚ）と表記され、基準カメラに対するカメラ１の位置ベクトルの３つの成分を表す。パンニング角度、チルティング角度、およびローリング角度は、基準カメラの基準視野角に対するカメラ１の視野角における差異の３つの成分を含む。

キャリブレーション・データが算出されるカメラは、多視点位置の中に配置され、それらがすべて多かれ少なかれ同じシーンから写真を撮影することができることを意味する。シーンとは、カメラによって光学的に位置合わせすることができる、風景、人間、アニメーションなどの任意の対象を意味する。したがって、「シーン」は、人間、風景などの普通の写真に限定されるだけでなく、カメラによって検出可能な仮想または現実どちらの対象にも限定される。

従来技術の方法とは反対に、本方法の実施形態は、これらのカメラ間の相対距離および方向付けにおける差異にかかわらず、外部カメラ・キャリブレーション・データを生成することができる。

したがって、これらの外部カメラ・パラメータは、距離における差異、例えば、カメラの２つの焦点の間、または１つのカメラの焦点と基準フレームの起点との間の差異に関連する。一般に、この差異は、図２ｂに描写されたように、これら３つの異なる距離成分を含む位置ベクトルとして表現することができる。３つの回転角度における差異は、図２ｂで示され、当業者によってよく知られているようなチルト、パンおよびロールの角度であり、一般に、これら３つの角度α、β、γから計算することができる回転行列Ｒによって表現される。

異なるカメラ間のこれらのキャリブレーション・データを取得するために、それぞれの画像は、それぞれのカメラによって同じシーンすなわち対象から撮影される。図１ａの実施形態では、これらの写真は、それぞれ画像１、画像２と表記される。これらの画像は、その後、これらの画像上またはその部分上で実行されるべき、少なくとも１つのホモグラフィ変換を定義するパラメータを算出するために使用される。この目的を達成するために、シーンの幾何形状が解析される。このステップは、図１ａに示されたように、画像１の幾何解析に対して１００と表記される。

この幾何解析を実行するためのさまざまな方法が存在し、一部をさらなる実施形態において説明する。画像上のすべてのタイプのホモグラフィ変換を完全に試してみる他の方法と対照的に、本発明の実施形態で使用される幾何解析ステップは、１つまたは複数の適切なホモグラフィ変換を迅速に識別することができる。これによって、キャリブレーション・パラメータを算出するための計算時間が減少し、この後のステップによって使用される正しい特徴一致の数の特徴一致の総数に対する比、したがってその有用性および正確性が増加する。

ホモグラフィ変換は、水平面の矯正、鳥瞰図の模倣、または垂直面の矯正を含んで、前面図または側面図、．．．を作成することができる。そのようなホモグラフィ変換は、画像の各ピクセル（ｘ，ｙ）上で実行される変換行列Ｈによって算出される。

次いで、変換された各ピクセル座標（ｘ’，ｙ’）は同次座標（ｘ’_ｈ，ｙ’_ｈ，ｔ’_ｈ）によって表現することができ、ｔ’_ｈはピクセル毎に以下の変換が実行されるような比率因子を表す。

図１ａに戻ると、画像１用のそれぞれのホモグラフィ変換の算出がステップ２００として表記される。次のステップは、そこからシーンの幾何形状パラメータが変換パラメータの生成を可能にするように引き出されたそれぞれの画像に適用された、結合ホモグラフィ変換／特徴検出を含む。

図１ａ上で画像１用に３００と表記された、この結合変換／特徴検出ステップは、完全な画像の完全変換３０２を含むことができ、図１ｂに示されたように、そのステップの後、特徴検出３０１が変換された画像上で実行される。さらに他の実施形態では、図１ｃに示されたように、検出器が画像の中のピクセルにアクセスするたびに、ホモグラフィ変換３００２によってピクセル座標が最初に変換された後、元の画像の中のピクセル情報が取り出されるような方法で、特徴検出ステップ３００１が適用される。これらすべての実施形態の場合、結合変換／特徴検出ステップ３００の結果は、変換された画像上のそれぞれの特徴のセットになり、図１ａ、図１ｂおよび図１ｃ上で、画像１用特徴セット１および画像２用特徴セット２と表記される。

特徴検出は、類似性不変の特徴検出方法に基づいて実行することができる。Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍの略語であるＳＩＦＴ、Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓの略語であるＳＵＲＦ、Ｇｒａｄｉｅｎｔ Ｌｏｃａｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍの略語であるＧＬＯＨ、Ｈａｒｒｉｓ、Ｍａｘｉｍａｌｙ Ｓｔａｂｌｅ Ｅｘｔｅｒｎａｌ Ｒｅｇｉｏｎｓの略語であるＭＳＥＲ、Ｔｏｍａｓｉ、ブロック・マッチング、．．．などの方法を使用して、エッジ、コーナ、斑点または領域を検出するような、この目的に対していくつかの異なるアルゴリズムが存在する。これらのアルゴリズムはすべて、わずかな拡大縮小、変換および回転を伴う類似性以外の変形下で不適切に実行される傾向があるので、それらは入力画像上に直接適用することはできない。したがって、最初にホモグラフィ変換を実行する必要がある。

変換された画像上で特徴が検出されると、一致が検索される。一致した特徴は、対応するピクセル、対応するライン、対応する物体、対応する領域などを含むことができる。第１の段階で抽出されたシーンの幾何形状のタイプが許す場合、特徴は、両方のカメラから生じた、対応する変換された画像の間で一致する。そうでない場合、１台のカメラのすべてのホモグラフィ変換から生じたすべての特徴は、第２のカメラから生じたすべての特徴に対して比較される。したがって、図３ａ〜ｂの中で描写された実施形態のようないくつかの実施形態において、これらのホモグラフィ変換のうちのいくつかは、１つの幾何解析がいくつかの適切なホモグラフィをもたらすことができる場合があるので、それぞれの画像上で算出される。次いで、これは、再びすべての算出した変換用のそれぞれの画像の結合変換／特徴検出ステップに続き、その結果、変換された特徴のセットを再び取得し、次いで、このセットはすべてのホモグラフィ変換についてのすべての変換された特徴を含む。次いで、両方の画像用の変換された特徴のセットの間で、一致した項目が再び見つけられるはずである。

両方の変換された画像について一致した項目または属性のセットは、図１ａ〜ｃおよび図３ａ〜ｂの中でｍ１からｍｋと表記され、２つの変換された画像の間の一致した属性のｋ個のペアを表す。次いで、これらの一致した項目は、前述の回転行列および位置ベクトルのような、キャリブレーション・データを算出するために使用することができる。

より詳細な実施形態で説明するように、やはり第１ステップのシーン幾何形状のタイプに応じて、マッチングのステップおよびキャリブレーション・データの抽出は、シーンのパラメータまたはそれら自体のホモグラフィ変換によって支援することができる。

したがって、変換された画像の対応する特徴は、２台のカメラ間の外部キャリブレーション・パラメータを引き出すために使用される。変換された画像の中で特徴は薄らぐので、これらの特徴を使用してキャリブレーション・データを抽出するときに、それぞれのホモグラフィ変換が考慮に入れられる。シーンの幾何形状パラメータのタイプに応じて、これらのパラメータは、必要ではないが、実現可能なキャリブレーション解法の部分空間の改良をさらに助けることもできる。エピポーラ幾何学または他の背面投影技法を使用して、対応関係から相対位置ベクトルおよび回転行列を計算することができる。

図３ａおよび図３ｂは、記載した方法のそれぞれのコンピュータ実装形態を描写する。図３ａに示された変形形態は、図１ｃの変形方法に基づき、さらに、ステップ２００におけるいくつかのホモグラフィの選択を含む。さらに、外部キャリブレーション・パラメータの計算中、一致のセットが考慮に入れられるだけでなく、特徴自体も考慮に入れられる。これらの実施形態においてこれは興味深い。この位置はキャリブレーション・データの算出用に使用されるので、一致自体は元の画像自体の中の特徴の位置に関係する情報を含まない。図１ａ〜ｃを参照した実施形態では、一致はこの情報を含むと仮定する。

図３ｂに描写された変形形態は図３ａの変形形態と似ているが、ステップ５００では、外部キャリブレーション・データだけでなく、内部キャリブレーション・データもさらに計算される。

ここで、幾何解析および特徴検出およびマッチングのステップの詳細説明を含む、より詳細なコンピュータで実現可能な実施形態を、図４ａ〜ｂを参照して記載する。この実施形態は、好ましくは人為的なシーンで使用され、したがって、通常、平行な線、整列した物体などを特徴とする、室内シーン、都会シーンなどの非自然的な、しばしば人為的なシーンとも表記されるシーンを取り込むカメラをキャリブレーションするために使用される。この実施形態は、シーンの中の豊富な垂直線、およびそれほどではないにせよ水平線を採用して、共通の垂直消滅点を見つける。

キャリブレーションされる各カメラは、再びシーンの写真を撮影する。実行されるべきステップは両方のカメラについて同様なので、第１のカメラを参照するステップだけが図４ａおよび図４ｂで示される。

カメラ１によって撮影された画像上の幾何解析１００は、図４ａの中では画像１と表記されているが、人為的なシーンからの画像が一般に多くのラインを含むので、ライン・セグメント検出ステップ１０１の実行を含む。これを行うための方法は、ハフ変換、ＬＳＤ、曲率解析、ＳＬＩＤＥ、組合せ最適化法、クラスタリング、．．．を含むことができる。別の変形形態では、方法は初期フィルタリング・ステップも含むことができる。

ライン・セグメントが検出されると、ステップ１０２において、それらはチルト角度およびロール角度の推定を実行するために使用することができる。これは垂直消滅点の検索を含む。

チルト角度およびロール角度の推定に基づいて、パンニング角度の推定がステップ１０３で実行される。

パンニング角度を含むこれらすべての角度が推定されると、ｇ^１ _１．．ｇ^１ _Ｎ１と表記される幾何形状パラメータのセットは完全になる。次いで、ホモグラフィ変換パラメータは、このセットに基づいて算出することができる。この場合、これらは鳥瞰図ホモグラフィに基づく。

そのような鳥瞰図ホモグラフィ変換は矯正に対応し、パラメータの詳細計算は後の段落で説明する。

次いで、このように計算されたパラメータ（ｈ^１ _００，．．．，ｈ^１ _２２）は、異なる画像上でこれらの矯正を実行するために使用することができる。次いで、このように取得された矯正画像は、それぞれマッチングまたは対応する特徴の検索を受ける。やはり、これはさまざまな方法で行うことができる。

前に説明したように、特徴は変換された画像上で検出することができ、そのステップの後、一致はそれぞれの特徴セットから求められる。スケール不変の特徴検出方法に基づく実装形態を、図４ｂを参照して再び説明する。

さらに、この図４ｂは、図４ａに概説されたさまざまなステップのそれぞれについて、いくつかのさらに詳細な実施形態を与える。

ライン・セグメント検出に関係する図４ａの段階１０１に関して、図４ｂに描写された実施形態は、各画像上の初期フィルタリング・ステップを含む。図４ｂのこの実施形態では、これはエッジ検出フィルタによって実現される。それによって、ネットワークの中の各カメラの画像は、画像の中のすべてのエッジを示すバイナリ画像にフィルタリングされる。この初期フィルタリング・ステップを実行するためのさまざまな可能性があるが、好ましい解決法は、キャニー・エッジ検出器の使用であり、なぜならそれは多くのアプリケーションで堅固であり、多くのパラメータ設定を必要としないからである。アルゴリズムは画像の中のエッジに沿って走るので、次のステップと早く統合された実装形態が実現可能である。代替物は、ソーベル・フィルタ、ラプラシアン・フィルタ、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎフィルタ、．．．などの単純傾斜法の使用を含むことができる。

このエッジ検出フィルタリングの後、フィルタリング動作によって生成されたバイナリ・エッジ出力の中でライン・セグメントを検出するためのステップが続く。やはり、ライン・セグメント検出はさまざまな方法で行うことができる。従来のフィルタリング・ステップとの早い統合を可能にする好ましい実施形態は、エッジ検出ステップの中でそれに沿って走る間、エッジの曲率の測定を含む。累積曲率が高いエッジのピクセルでは、エッジがカットされ、新しい実現可能なライン・セグメントが形成される。短いライン・セグメントは廃棄される。同じラインを表すライン・セグメントはマージされる。

次いで、ライン・セグメントが検出されると、チルト角度およびロール角度の推定段階１０２がそれらの上で実行される。これは、それ自体の中に３つのステップを含む、垂直消滅点の検索によって行うことができる。垂直消滅点とは、実際の世界では平行であるラインの投影図が、画像の中で交差するように見える点である。第１のステップは、ライン・セグメントを、恐らく垂直なライン・セグメントと水平面の中にあるようなライン・セグメントとに、大まかに分類する。この特定の実施形態の場合、カメラが大きなロール角度（＝光軸のまわりの回転、図２ｂ参照）をもたないと仮定され、また、シーンの中の垂直なラインの投影図が多かれ少なかれ垂直であると仮定することができる。したがって、例えば垂直から２０度未満の異なる角度をもつすべてのラインは、これらの例えば垂直から２０度の偏差を閾値とする閾値処理によって、その他のラインから区別され、図４ｂの中で「水平」と表記される。他の、より単純化された実施形態はこのような仮定を必要としないことに留意されたい。

Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓの略語であるＲＡＮＳＡＣは、垂直消滅点の良い候補を選択し、誤った候補を除去するための堅固な変形形態であり、次に、選択された垂直ラインに適用される。これは、反復型の方法で実行することができ、各繰り返し中に前の段階からの２本の恐らく垂直なラインが選択される。次いで、この２本のラインの交点は、垂直消滅点の候補として推薦される。多くの他の恐らく垂直なラインが、ある制限値未満の距離でこの点を通過した場合、この点候補がより高い得点を得る。次いで、この反復が何回も繰り返される。「インライア」と表記された、最も高い得点および対応する垂直ラインをもつ消滅点の候補が、「再推定」と表記された最後の改良ステップまで通る。「アウトライア」と表記された残りのラインは、前に実行された閾値処理ステップから水平に分類されたリストに追加される。

この「再推定」ステップは、前のステップにおけるように２本だけのラインの交点を計算するよりむしろ、閾値未満のすべての垂直ラインから選択された最適の消滅点を改良する。この時点で、垂直方向に関するカメラの方向付けは、チルト角度および光軸のまわりであり、ロール角度であることは既知である。なぜなら、式１から、これら２つの角度は、この消滅点の正規化された同次座標によって正しく定義された回転行列の１つの列だけに依存しているからである。

この時点で、いかなら水平面も、異なるカメラの２つの視点間の類似性クラスに対する変形を削減する方法（すなわち、単なる変換、回転および拡大縮小）でホモグラフィ変換によって矯正することができることに気付くべきである。したがって、パンニング角度推定ステップ１０３を省略し、変換ステップに直進することが可能である。しかしながら、この後者のステップを容易にし、正確性を改善するために、この実施形態ではパンニング角度の推定が存在する。

パンニング角度は垂直軸のまわりの角度である（図２ｂ参照）。その算出は３つのサブステップを含むことができる。第１のサブステップでは、各視点の視野が計算される。この視野は、画像の中で水平面のすべての投影図が交差するラインに対応する。水平面の中の任意の方向のすべての消滅点は、このライン上にある。このライン上の点と水平方向角度との間には１対１の関係さえある。このラインは、垂直消滅点、および図２ａに示されたカメラの前述の内部キャリブレーション・パラメータから計算することができる。より具体的には、このライン上の点は、正規化された消滅点の数学的なゼロ空間と同じ部分空間を形成する。内部キャリブレーションが知られていない場合、推定はこの段階での目的には十分良い。なぜなら、技法は視野のかすかな変化に対して堅固であるからである。推定は、当然知られている画像の幅および高さのみから容易に引き出すことができる。

視野が取得されると、各垂直でないラインは、水平に閾値処理されたラインとＲＡＮＳＡＣによって廃棄されたラインとの集合体であり、この視野と交差してその水平方向を引き出す。ラインの計測、視野の推定および交点の探索は、騒音の影響を大いに受けるので、画像毎のライン方向のヒストグラムが生成される。この結果、各ラインはその長さによって重さを量られる。

第２のサブステップは、シーンに対する直接キャリブレーションを可能にする「主方向」を、これらのヒストグラムの中で検索することを含む。ヒストグラムの中の最大値は、シーンの中で豊富な水平ラインの方向に対応する。人々は整理されていない物体より美的に整列された物体を見つける傾向があるので、これはしばしば人為的なシーンで起こる。さらに、これらの最大値とそれらに対応する主方向は、しばしば９０度離れており、最大値探索アルゴリズムによって採用することができ、視点毎に２つの主方向をもたらし、その結果パンニング角度は、ｎ＊９０度までの不明確さで定義される。この不明確さは、段階４（ホモグラフィ変換およびＳＩＦＴ）の中のステップを、パンニング角度ｐｈｉ、ｐｈｉ＋９０、ｐｈｉ＋１８０およびｐｈｉ＋２７０について、４回実行することによって解決することができる。しかし、次の段階におけるほとんどのステップが一度に４つの角度を行うことができるので、これは４倍倍増した複雑さを意味しない。

しかしながら、ヒストグラムからは主方向が現れないことが起きる場合がある。この場合、ヒストグラムを共通の基準フレームに関係づけるよりむしろ、常にカメラと基準カメラの間のパンニング角度における差異の探索に頼ることができる。画像毎のヒストグラムは、現在比較されている一対の画像を生成した２台のカメラ間の相対的なパンニング角度を引き出すために、お互いに対して比較される。この目的に対して、１つの視点の平滑化されたヒストグラムは、パンニング角度検索空間の標本化されたサブセットによって、その他の平滑化されたヒストグラムとの何らかの距離基準を最小化するまで、シフトされなければならない。基準としてカルバック・ライブラー・ダイバージェンス、および平滑化用に簡単なパルツェン窓を使用することができる。当然他の選択が利用可能である。

「主方向」パスおよび「パンニング角度差異」パスが両方とも失敗した場合、優先権選択ステップは、両方の画像用のランダムなパンニング角度を選択し、図４ｂの段階４のマッチング・ステップまでこの不明確さの解決をやめる。この時点では、お互いに対する、場合により−主方向が見つかった場合−シーンの中の主方向に対するカメラの完全な方向付けは、チルト角度、ロール角度およびパン角度の算出によって見つけられる。次のステップはカメラの位置の探索を扱う。

シーン自体について何も知られていないので、お互いに対するカメラの相対位置だけが引き出される。したがって、これは、最初にそれぞれの画像を矯正することによって実行され、そのステップの後、対応する成分または属性が検索される。

したがって、図４ｂの段階２および段階３の結果は、カメラ毎に１つの適正なホモグラフィ変換を定義するシーンの幾何形状パラメータとして使用することができる。変換は、シーンの鳥瞰図を模倣するように選択される。カメラからの元の画像の中で傾斜した角度から見た水平面は、真上から見たような画像に変換される。この変換は実際の世界から変換された画像への角度メトリクスを保存するので、この変換は「矯正する」と言われる。

段階の最後で、２つのそれぞれの画像は、すべての視点間に類似性が存在するような方法で変換されることに留意されたい。類似性は、４つの自由度：変換用に２つ、回転用に１つ、および均一な拡大縮小を含む。これらは、カメラのパンニング角度および位置の３つの自由度に対応する。段階３は、ヒストグラム間の類似性測定の正確性、または絶対的なケースにおける様式性に依存して、すでにパンニング角度を除去した可能性がある。

各画像上で矯正を実行した後、対応する特徴が検索される。図４ｂに描写された実施形態では、Ｓｉｍｉｌａｒｉｔｙ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）と呼ばれる技法が使用される。これは、画像の中で低レベルの似ている特徴を検索し記述する、既知の技法である。

したがって、この技法は、複数カメラのうちの１つとして選択された基準カメラから撮影された基準画像と他のすべてのカメラからの他のすべての画像との間で、対応する特徴を検索するのに適用される。これらの特徴は、ＳＩＦＴ技法に従って記述される。多くの特徴が水平面内で見つかるので、それらのＳＩＦＴ記述は、類似性の変化のみが存在するので、すべての視線の間で不変のままである。パンニング角度がすでに第３段階によって説明された場合、したがって、優先権をもたらす最初の２つのパスのうちの１つが続くステップを選択すると、ＳＩＦＴ記述子は、回転記述を排除することによって簡易化される。別のオプションは、次のステップの間のマッチング・アルゴリズム上の追加の制約として記述子の中で回転を使用することである。別のＲＡＮＳＡＣライクなステップは、共通の変換、倍率、および（必要なら）回転角度を見つけるために使用される。この時点で、１つの視点の中の水平面を別の視点の中の同じ面に完全に位置合わせする第２のホモグラフィ行列（回転だけを説明した前述の行列とは別の行列）が知られている。

最後に、視点毎のこの第２のホモグラフィ行列は、カメラ毎に有効な回転行列および変換ベクトルに分解することができる。段階２および段階３からの方向付けパラメータに関する知識を使用することはこの分解を容易にするが、必要ではない。

このキャリブレーションは、それ自体で、または、良い初期化推定を必要とするバンドル調節装置のような改良方法への入力として使用することができる。

他の実施形態では、シーンの中のラインの存在も採用されるが、いくつかの消滅点、例えばそれらのうちの３つを探すことができることに気付くことができる。続けて、それらは回転行列Ｒの有効な列を構成する。これは、ＲＡＮＳＡＣのより拡張されたバージョンおよび段階２の再推定ステップによって行うことができる。

シーンの中の３つの主方向Ｘ、ＹおよびＺに対応する３つの消滅点すべての堅固な推定を見つけた後、３つの異なるホモグラフィ変換がカメラ毎に計算される。それぞれは異なる側面図（上面、前面および側面）を模倣する。ここで、段階４は、１台のカメラの中の各変換された視点からの特徴を、基準カメラの対応する特徴に一致させて、対応関係の良いセットを取得し、そこから段階５は再びすべてのキャリブレーション・データを計算することができる。

（図の中には示されない）代替の実施形態は、シーンの中で長方形の物体を検索することができる。しばしば、非自然的なシーンは、窓、テーブル、ドア、コンピュータ画面、数枚の紙を特徴とし、それらすべては形として長方形である。より困難な技法を必要とする、これらの物体を実際に識別する代わりに、それらは一般に投影された画像の中で不規則四辺形に対応するものとして考えることができるので、シーンの中で長方形を探すことで一般に十分である。このための方法はライン検出用の方法と似ている。

次いで、次の段階は、これらの不規則四辺形をそれらの元の長方形の形状に矯正する、すべてのホモグラフィ変換を計算する。多くの他の（また長方形でない）物体は、これらの長方形の物体（例えば、テーブルに置かれた物体、窓の隣の壁につり下げられた物体、．．．）と整列されているので、それらは同じ適切な方法で変換され、後のスケール不変特徴検出ステップが、複数の視点の中で多くの同じ特徴を見つけることを可能にする。他の段階の中の前と同じ方法を使用して、やはり、これはすべてのカメラの完全なキャリブレーションを可能にする。

同様の実施形態は、例えば、ＣＤ、カップ、丸いボタン、．．．を描写するシーンのケースで楕円を円に矯正すること、または、規則的に間隔を空けた物体、例えばキーボード上のボタン、壁紙、タイル、カーテン、クローゼットのドア、．．．を伴うシーンの画像を扱うホモグラフィ変換と考えられる。ここに記載されたこれらすべての例は、うまく組み合わせることもできる。

本発明の原理を特定の装置と関連して記載したが、この説明は、例として作成されたにすぎず、本発明の範囲を限定するものではなく、添付特許請求の範囲の中で定義されるものとして、明確に理解されるべきである。

Claims (15)

1. 複数の視点位置の中で少なくとも２台のカメラ（カメラ１、カメラ２）用にキャリブレーション・データを算出するための方法であって、前記方法が、
   同じシーンを前記カメラによって撮影したそれぞれの画像（画像１、画像２）上で少なくとも１つのそれぞれのホモグラフィ変換を識別するためのそれぞれのパラメータ（（ｈ^１ _００，．．．，ｈ^１ _２２），（ｈ^２ _００，．．．，ｈ^２ _２２））を、前記それぞれの画像（画像１、画像２）上でそれぞれの幾何解析を実行することによって算出するステップと、
   前記それぞれの画像上で少なくとも１つのそれぞれの結合ホモグラフィ変換／それぞれの画像上で特徴検出ステップを実行し、それによってそれぞれの変換された画像上でそれぞれの特徴のセット（特徴セット１、特徴セット２）を取得するステップとを含み、その結果前記キャリブレーション・データが前記それぞれの特徴のセットの間で求められた一致（ｍ_１，．．．，ｍ_ｋ）から取得される、方法。
   
2. 前記キャリブレーション・データが前記カメラ間の相対位置に関する情報を含む、請求項１に記載の方法。
   
3. 前記キャリブレーション・データが前記カメラ間の相対視野角の差異に関する情報を含む、請求項１または２に記載の方法。
   
4. 前記少なくとも１つのそれぞれの結合ホモグラフィ変換／特徴検出ステップ（３００）が、前記それぞれの画像を変換するステップ（３０２）と、それに続く前記変換された画像内で特徴を検出するステップ（３０１）とを含む、請求項１乃至３のいずれか１項に記載の方法。
   
5. 前記少なくとも１つのそれぞれの結合ホモグラフィ変換／特徴検出ステップ（３００）が、前記それぞれの画像（画像１）のすべてのピクセル座標が変換されるまで、前記それぞれの画像のピクセル座標変換（３００２）とそれに続く部分的に変換された画像の特徴検出（３００１）とを反復する処理を含む、請求項１乃至３のいずれか１項に記載の方法。
   
6. 前記それぞれの幾何解析を実行すること（１００）が前記それぞれの画像上のライン・セグメントを求めるステップを含む、請求項１乃至５のいずれか１項に記載の方法。
   
7. 前記それぞれの幾何解析を実行すること（１００）が前記それぞれの画像上のカーブ・セグメントを求めるステップを含む、請求項１乃至５のいずれか１項に記載の方法。
   
8. 前記それぞれの幾何解析を実行すること（１００）が前記それぞれの画像上の物体認識を実行するステップを含む、請求項１乃至５のいずれか１項に記載の方法。
   
9. 前記それぞれのライン・セグメントが前記少なくとも２台のカメラ間の視点角度の差異を算出するためにさらに使用される、請求項６に記載の方法。
   
10. 前記キャリブレーション・データが前記それぞれの特徴のセットからさらに算出される、請求項１乃至９のいずれか１項に記載の方法。
    
11. 前記キャリブレーション・データが前記それぞれのホモグラフィ変換を識別するための前記パラメータからさらに算出される、請求項１乃至１０のいずれか１項に記載の方法。
    
12. 前記キャリブレーション・データがその値を前記一致に基づいてさらに最適化することができる内部カメラ・パラメータをさらに含む、請求項１乃至１１のいずれか１項に記載の方法。
    
13. 請求項１乃至１２に提示されたようなステップのいずれかを実行するように適合された装置。
    
14. 請求項１乃至１３のいずれか１項に記載の方法のいずれかを実行するように適合されたコンピュータ・プログラム。
    
15. 請求項１４に記載のコンピュータ・プログラムを含むコンピュータ可読記憶媒体。

Images