JP6769010B2 - ステレオカメラの自己調整 - Google Patents

Description

本発明は、ステレオカメラの自己調整（self-rectification）のための方法、ならびに、そのような方法を実行するように構成されたデバイスおよびそのようなデバイスを備える車両に関する。

以下では、「復元」という表現は、選択された調整モデルのパラメータの推定に関係する。調整は、
Ｐ＝［Ｒ ｔ］
と定義される相対ポーズＰを復元することと等価であり、ここで、Ｒは回転であり、ｔは位置成分であり、２つのカメラの間の相対ポーズをコード化する。Ｐは３×４の行列である。Ｈ∞は、無限遠における平面のホモグラフィを表す。パラメータｆＢは、調整された画像の焦点距離と基線（２つのカメラ間の距離）の積である。さらに、それは、２つの光軸間の水平角用のパン（またはパン角）と呼ばれ、この角度は偏揺れとしても知られ、この測定値は、ステレオカメラシステムの両眼転導角（vergence angle）と呼ばれることがある。

ステレオカメラの用途の１つの典型的な分野は、自動車分野であり、特に、乗用車などの自動車である。そのようなステレオカメラがステレオカメラの適正な働きを保証するために何らかの種類の自己調整を実行できれば、極めて有利である。車両内のステレオカメラは、通常、いわゆるステレオリグによって車両に取り付けられる。自己調整は、通常、自然条件において観測するものから、ステレオリグの較正／幾何形状を復元するために行われる。復元は、直接推定（すなわち、工場組立の後）のために、または衝撃もしくは温度などの不測の要因に起因して較正が工場とは異なってしまうので、必要とされる場合がある。

しかしながら、自己調整は困難とされており、多くの自動車メーカーは、逆較正問題と、較正を復元する（すなわち、信頼性のある方法で自己調整を実行する）ことの難しさのせいで、ステレオビジョンを使用することを止めたか、または、システムのコストを大幅に増大させる堅固なカメラフレームを製造した。自己調整について文献にいくつかの提案があるが、それらのうちのどれも、十分確実な自己調整に達する上で満足なものとは言えない。

たとえば、独国特許出願公開第１０２００８００８６１９Ａ１号明細書は、車両内でステレオカメラシステムを較正するための方法を提示する。しかしながら、それはモデルを３つのパラメータに制限する。パンは既知の距離を使用して推定される。しかしながら、毎日の運転状況では、本発明の範囲を限定するこの情報に依存することは不可能である。（たとえば、ボンネットの終端において）自動車の要素を探索することによって可能であるが、それは正確な計算には小さすぎる距離につながる。

米国特許出願公開第２０１２／２４２８０６Ａ１号明細書は、ステレオカメラ較正システムを記載し、単に垂直シフトおよび水平シフトを介して調整を補正することを提案する。それは概算推定としては良い。しかしながら、それは十分正確ではなく、すべてのタイプの逆較正に対処しない。

欧州特許出願公開第２０２６５８９Ａ１号明細書は、精細な両眼転導の動きを含むステレオカメラシステムのオンライン較正を開示する。それは、精細な両眼転導の補正を提案
するが、本発明の範囲を限定し、調整プロセスを複雑にするステレオカメラ上のアクチュエータを使用する。

独国特許出願公開第１０２００８００８６１９Ａ１号明細書 米国特許出願公開第２０１２／２４２８０６Ａ１号明細書 欧州特許出願公開第２０２６５８９Ａ１号明細書

上述されたように、当技術分野で知られているステレオカメラシステムのための自己調整方法は、いくつかの欠点を有する。特に、それらはまったく信頼性が高くなく、車両内のそれらの実装は高価である。したがって、信頼性が高く、精密で、車両内に実装するのにあまり高価でない、ステレオカメラシステムのための自己調整方法を提供することが本発明の目的である。

この問題は、ステレオカメラの自己調整のための方法によって解決され、ステレオカメラは第１のカメラと第２のカメラとを備え、方法は、それぞれ、第１のカメラによって撮られた複数の第１の画像および第２のカメラによって撮られた複数の第２の画像から複数の画像ペアを、それぞれ、第１のカメラおよび第２のカメラによって基本的に同時に撮られた２つの画像を各画像ペアが備えるように、作成することを備える。「基本的に同時に」という表現は、各画像ペアが第１のカメラによって撮られた１つの写真および第２のカメラによって撮られた１つの写真を備えるように理解されるべきであり、第１のカメラおよび第２のカメラは、同時に２つの画像を撮るなどのために同期され、ある同期は除外できず、ある程度まで許容可能である。自己調整のためのこの方法は、画像ペアごとに、各画像ペアの２つの画像内の対応する点から複数の一致点ペア（matching point pair）を
、それぞれの画像ペアの第１の画像からの１つの点およびそれぞれの画像ペアの第２の画像からの１つの点を各一致点ペアが備えるように、作成することを備える。言い換えれば、各画像ペアの２つの画像内の対応する点は、画像ペアごとに一定数の一致点ペアを作成するために照合される。この点に関連して、「点」という表現はサブピクセルまたはピクセルに関係することができる。自己調整のためのこの方法では、画像ペアごとに複数の視差（disparity）が作成され、得られた複数の視差が自己調整のために考慮に入れられる
ように、一致点ペアごとに視差が計算される。その中で、「視差」という表現は、ピクセル単位で測定された特定の一致点ペアの２つの点の間の相対水平オフセットとして理解されるべきである。視差を計算する前に一致点ペアの一部を形成する点の調整を実行することは有利である。そのような調整は、相対ポーズＰから導出された特定のホモグラフィを各画像に加えることにより、両方の画像を前額平行および垂直に整列させることと等価な古典的なプロセスである。この調整を仮定すると、「視差」という表現は、調整された画像内においてピクセル単位で測定された特定の一致点ペアの２つの点の間の相対水平オフセット（左−右）として理解されるべきであり、「左」はステレオカメラシステムの最も左のカメラを指し、「右」はステレオカメラシステムの最も右のカメラを指す。言い換えれば、左のカメラは、通常、左眼に対応し、右のカメラは、通常、右眼に対応する。たとえば、２つのカメラが水平に整列されるようにステレオカメラが設置された車両の前方の運転方向を見ているとき、最も左のカメラは左のカメラと呼ぶことができ、最も右のカメラは右のカメラと呼ぶことができる。

本発明は、ステレオカメラのための現在利用可能な自己調整方法が、遠方シーンとも呼ばれる無限遠におけるシーン（すなわち、たとえば、目に見える地平線を有する風景シー
ン）と、近接シーン（すなわち、ステレオカメラシステムが設置された車両の前方を走行している車両などの近い物体を備えるシーン）との間を適正に区別できないこと、ステレオカメラのためのこれらの利用可能な自己調整方法が、さらにパンを適正に推定できないこと、現在利用可能な自己調整方法が、自己調整用の関連パラメータの推定における複数の問題を提示すること、ならびにすべてのこれらの問題が、視差を計算して、得られた複数の視差を自己調整方法の考慮に入れることによってより良く対処できることの理解に基づく。通常、少なくとも１００、好ましくは少なくとも２００、より好ましくは少なくとも５００の一致点ペアが、画像ペアごとに作成される。通常、少なくとも１００、好ましくは少なくとも２００、より好ましくは少なくとも５００の画像ペアが、方法を実行する間に作成される。

好ましい実施形態では、画像ペアごとに、複数の視差から視差ヒストグラムが作成され、自己調整はこの視差ヒストグラムに基づく。このようにして、画像ペアごとに、通常、ｘ軸上に視差値を有し、ｙ軸上に各視差値の大きさを有するヒストグラムが作成される。そのような視差ヒストグラムを使用することの利点は、自己調整方法の効率性および信頼性を高めるような標準化および構造化された方式でソートされた画像ペアごとに複数の視差があることである。しかしながら、ヒストグラムの使用は必須ではない。たとえば、統計的方法を直接適用することにより、画像ペアごとに異なるように複数の視差を分析することも可能であるはずである。

好ましい実施形態では、画像ペアごとに、対応する視差ヒストグラムが負の視差値における関連ピークを備えるかどうかが判定され、わずかに正の視差値における関連ピークも、好ましくは負の視差値における関連ピークとして解釈される。この文脈では、「関連ピーク」という表現は、「他の相対値よりも大きい相対値を有し、および／またはある大きさのしきい値より上の絶対値を有するピーク」として理解されるべきである。好ましくは、不明確な場合、最も左のピークが選ばれる。好ましくは、特に負および／またはわずかに正の視差値の範囲内で２番目に大きい大きさを有するピークの大きさよりも少なくとも５０％、好ましくは少なくとも７５％、より好ましくは少なくとも１００％高い大きさを有するピークは、関連ピークと考えられる。この文脈では、大きさは、たとえば、ピークの総数（population）によって特徴付けられ、場合によっては、一致上で取られた確実性によって重み付けされたエネルギーと呼ぶこともできる。この文脈では、わずかに正の視差値は、通常、０ピクセルと０．６ピクセルとの間、好ましくは０ピクセルと０．４ピクセルとの間、より好ましくは０ピクセルと０．２ピクセルとの間の視差値である。しかしながら、数学的に負の視差値におけるピークのみを負の視差値におけるピークとして解釈することも可能である。自己調整方法の基となる数学的理論は、原理的に、負の視差値の発生を許容しないので、負および／またはわずかに正の視差値における関連ピークの決定は有利である。その結果、負の視差値における関連ピークが存在すると、さらなる処理なしに自己調整方法において使用されることに適さない、特に正確なパン角を推定することに直接的に適さない問題および／または画像ペアを識別可能になる。言い換えれば、負の視差値におけるピークは、ある誤差の存在を意味する。したがって、パンの直接推定を適用できないが、パン角全体を推定するために対応する別個のパン値（pan value）を使用
することを可能にするために、それを補正することは可能である。しかしながら、負の視差値における関連ピークを識別することは、絶対に必須であるとはかぎらない。代替として、負の視差値をまったく考慮に入れないか、またはすべての視差値を考慮に入れることも可能であろう。

好ましい実施形態では、方法は、画像ペアごとに別個のパン値を決定し、複数の別個のパン値をもたらすことを備え、方法は、好ましくはいくつかの別個のパン値を補正し、残りの別個のパン値を補正しないことにより、複数の別個のパン値から複数の補正されたパン値を作成することを備え、方法は、複数の補正されたパン値からのパン角全体の推定を
備える。言い換えれば、一定量の別個のパン値から一定量の補正されたパン値が確立され、この量の補正されたパン値からパン角全体が推定される。これは、統計的に連続したパン角全体の推定を行う利点を有する。しかしながら、理論的には、ただ１つの別個のパン値および／または１つの補正されたパン値からパン角全体を決定することも可能であろう。複数の補正されたパン値を作成するため、および／またはパン角全体を推定するために、好ましくは少なくとも１０、より好ましくは少なくとも１００、最も好ましくは少なくとも５００の別個のパン値が使用される。好ましくは、パン角全体の推定は、方法の中の進行中プロセスであり、ならびに／または、パン角全体は、何度も、および／もしくは反復的に、および／もしくは基本的に無限ループで推定される。

好ましい実施形態では、負の視差値における関連ピークが検出された場合、対応する画像ペアの別個のパン値は補正され、および／または負の視差値における関連ピークが検出されなかった場合、対応する画像ペアの別個のパン値は補正されない。パン補正は、画像の変換とほぼ等価である。したがって、各別個のパン値は、無限遠のピークが０の視差に位置するように補正できる。負の視差値における関連ピークを提示する画像ペアの別個のパン値のそのような補正は、誤ったデータが除去および／または補正されるので、より厳密にパンの推定を行う利点を有する。好ましくは、別個のパン値のヒストグラムは、別個のパン値を補正するため、および／またはパン角全体を推定するために作成および／または使用される。

好ましい実施形態では、方法を実行するために使用される数学モデルは、画像ペアごとに、可能なモデルのグループから選ばれ、複数の視差が考慮に入れられ、好ましくは、視差ヒストグラムが考慮に入れられる。画像ペアが近接シーンに関係するか遠方シーンに関係するかを判定するために画像ペアの視差分布を使用でき、したがってシーンタイプごとに適切なモデルを選ぶことができるので、複数の視差および／または視差ヒストグラムにモデルの選択を基づかせることは有利である。しかしながら、理論的には、たとえば、固有の技術パラメータを有するカメラおよび／または技術的に高性能のカメラが使用される場合、あらゆるシーンタイプに同一のモデルを使用し、および／または、適応型モデルを使用しないことも可能である。好ましくは、遠方シーンには３つのパラメータを有するモデルが選択され、近接シーンには５つのパラメータを有するモデルが選択される。

さらに好ましい実施形態では、ヒストグラムが少なくとも一定量の大きい視差を備える場合、モデルのグループから位置成分を備える数学モデルが選ばれ、ヒストグラムが一定量よりも少ない大きい視差を備える場合、モデルのグループから位置成分をもたない数学モデルが選ばれる。好ましくは、一定量は、すべての視差の少なくとも２０％、好ましくは少なくとも３０％、より好ましくは少なくとも５０％、および／または少なくとも５０、好ましくは少なくとも１００、より好ましくは少なくとも２００の視差である。好ましくは、少なくとも４ピクセル、好ましくは少なくとも６ピクセル、より好ましくは少なくとも１０ピクセルのサイズの視差は、「大きい視差」と考えられる。近接シーンを示す画像は、通常、比較できるほどに大量の大きい視差を備えるので、大きい視差の量にモデルの選択を基づかせることは有利である。しかしながら、異なるようにモデルを選ぶこと、および／または適応型モデルをまったく使用しないことも可能である。

好ましい実施形態では、方法は、画像ペアごとに別個のチルト値を決定し、複数の別個のチルト値をもたらすことを備え、方法は、複数の別個のチルト値からのチルト角全体の推定をさらに備える。好ましくは、方法は、画像ペアごとに別個のロール値を決定し、複数の別個のロール値をもたらすことをさらに備え、および／または、方法は、複数の別個のロール値からのロール角全体の推定をさらに備える。その中で、チルト角全体は、好ましくは、パン角全体が推定される前、および／またはロール角全体が推定される前に推定され、パン角全体は、好ましくは、ロール角全体が推定される前に推定される。チルト角
全体の計算は単純明快なので、それを最初に決定することは有利である。視差を考慮に入れることによりパン角の推定における誤差の補償が可能であり、したがって、パン角全体はロール角全体よりも確実に推定でき、したがって、最後にロール角全体を決定することは考えられる最も小さい誤差をもたらすように想像できるので、ロール角全体より前にパン角全体を決定することは有利である。好ましくは、チルト角全体、パン角全体、および／もしくはロール角全体の推定は、方法の中の進行中プロセスであり、ならびに／または、チルト角全体、パン角全体、および／もしくはロール角全体は、何度も、および／もしくは反復的に、および／もしくは基本的に無限ループで推定される。

好ましい実施形態では、自己調整のために補償テーブルが考慮に入れられ、補償テーブルは複数のフロー補償値を備え、各フロー補償値は各一致点ペアの１つの点に潜在的に適用されるフロー補償を示す。補償テーブルは、通常、ステレオカメラの系統的誤差を反映する。フロー補償値は、通常、画像内の特定の点の垂直オフセットに対応し、オフセットは正または負のいずれかである。そのような補償テーブルの使用は、調整中に発生する系統的誤差を特に単純および効率的な方法で除去でき、したがって自己調整の品質を改善するという利点を有する。

好ましい実施形態では、フロー補償は、各画像ペアの１つの画像、好ましくは各画像ペアの右の画像のみに適用され、フロー補償は、フロー補償が適用されるべき画像をグリッド、好ましくは１６×１２のグリッドとして細分化し、こうして複数のバケット、好ましくは１９２個のバケットを作成し、こうしてフロー補償が適用される画像のあらゆる点を１つの特定のバケットに入るようにするステップであって、各バケットが補償テーブルの１つのフロー補償値に対応する、ステップと、対応するフロー補償値によって示されたフロー補償をあらゆるバケット内の各点に適用するステップとを備える。そのようにフロー補償を実行することは、迅速性と正確性との間の良好なトレードオフを提供するので有利である。

好ましい実施形態では、方法は、画像ペアごとに別個の幾何形状値を決定することを備え、別個の幾何形状値はパン角ではなく、ロール角ではなく、チルト角ではなく、別個の幾何形状値は、好ましくは変換値であり、複数の別個の幾何形状値、好ましくは変換値をもたらし、方法は、複数の別個の幾何形状値から、幾何形状値全体、好ましくは変換全体を推定することを備える。好ましくは、幾何形状値全体は、次いで、自己調整中に使用される。パンでもなくチルトでもなくロールでもない幾何形状値と連携することは、パン補正および／またはロール補正および／またはチルト補正に基づく較正が所望の効果をもたない場合に、さらなる較正の可能性を提供する利点を有する。

好ましい実施形態では、方法は、補償テーブルを作成する手順を備え、補償テーブルを作成する手順は、強力な較正手順、特に３Ｄグリッドおよび／またはチェッカーボードを使用する較正手順によってステレオカメラの内部パラメータを定義するステップと、好ましくは、３Ｄ基準距離を使用することにより、基準パン角および／もしくは基準幾何形状値、好ましくは変換を見出すステップ、または、前に記載された自己調整用ステップのうちのいずれか、好ましくは前に記載されたパン角補正用ステップのうちのいずれかを適用することにより、基準パン角および／もしくは基準幾何形状値を見出すステップとを備える。そのように補償テーブルを作成することは、補償テーブルを作成するために最良の利用可能な較正を選ぶことを可能にする利点を有する。この文脈では、「チェッカーボード」という用語は較正グリッドを指し、「３Ｄ基準距離」という用語は、装置からの既知の距離における物体の使用を指す。この既知の距離は、次いで、（ステレオアルゴリズムから）再構成された距離と比較され、較正パラメータは、再構成された距離が適合するように調整される。

本発明によるデバイス、特にステレオカメラシステムが、本発明による方法を実行するように構成される。そのようなデバイスは、通常、少なくとも２つのカメラ、コンピューティングユニット、バスシステム、取付け部分、および／または耐候性筐体を備える。

本発明による車両は、本発明による少なくとも１つのデバイスを備える。

本発明による、非線形システム内の系統的誤差を補償するための方法は、非線形システムの系統的残差（systematical residual）を学習し、対応する補償値を補償テーブルに
記憶するステップと、非線形システムの解決策を推定するときに補償値を使用して系統的誤差を局所的に除去するステップとを備える。この文脈では、「系統的残差を学習すること」は、モデルの最良の可能なパラメータの使用にかかわらず、観測空間のいくつかの点において、目的関数が系統的残差を測定できることを意味する。したがって、それらによって損なわれることを回避するために、この残差を学習し除去可能である。

好ましい実施形態では、非線形システムの観測空間は、好ましくは複数のバケットが作成されるように、細分化される。そのような細分化は、補償を実行する系統的な、標準化された、効率的な手順を提供する利点を有する。

以下では、図表および図面によって本発明が詳細に記載される。

パラメータ「チルト」、「パン」、および「ロール」を視覚化する図である。 図２（ａ）はパンについての典型的なフロー図である。図２（ｂ）はチルトについての典型的なフロー図である。図２（ｃ）はロールについての典型的なフロー図である。 ある画像ペアについての視差ヒストグラムの図である。 複数の画像ペア用の別個のパン値を表示するグラフである。 複数の補正されたパン値を表示するグラフである。 本発明による方法の１つの典型的な実施形態を視覚化するフローチャートである。 本発明による補償テーブルとともに使用されるべき細分化された画像の図である。

２つのカメラを備えるステレオカメラシステムのための自己調整方法の典型的な実施形態では、カメラの内部パラメータは、既知であり一定であると考えられる。実際には、これは完全に真であるとはかぎらないが、この仮定は、本発明のニーズに十分である。この理由は、カメラの相対ポーズＰのパラメータを調整することが、過剰適合に起因する内部パラメータの小さい偏差を補償するのに十分であると考えることができることである。内部パラメータは、（どのような選択されたモデル、たとえば、径方向、接線方向、等距離、．．．でも）焦点距離、アスペクト比、ゆがみ、主点、および非線形ひずみなどの、古典的な線形パラメータを含む。ステレオカメラシステムの調整は、これらのパラメータ、およびカメラの相対ポーズＰに依存する。調整を実施する正確な方法は本明細書では明示されず、当技術分野で知られている多くのアルゴリズムが存在する。しかし、それらの大部分は、これらの係数に従属するもの、またはそれらの組み換えである。（ユークリッド空間内のエピポーラ幾何形状の相手方である）基本的な幾何形状を特徴付ける基本行列Ｅ：
Ｅ＝ｔ＾Ｒ
を使用することが好都合であり、ｔは位置成分を表し、Ｒは回転を表す。

ステレオカメラが通常どのように調整されるかを正しく理解するために、まず第１に、ステレオカメラシステム内に３つの主要なパラメータ、すなわち、ロール、チルト、およびパンが存在することの理解が重要である。これらのパラメータは、図１において視覚化される。

図１は、両方のカメラについての古典的な表記
Ｐ_０＝［Ｉ_３ Ｏ_３］、および
Ｐ_１＝Ｐ＝［Ｒ ｔ］
を有する第１のカメラの基準フレーム内に見られるように、３つのオイラー角を有する回転Ｒのモデルを示す。

その中で、Ｐ_０は右のカメラのポーズを符号化する３×４の行列であり、Ｉ_３はＲ＾３内の単位行列であり、Ｏ_３はＲ＾３内のヌルベクトルであり、Ｐ_１は右のカメラの基準フレーム内で左のカメラのポーズを符号化する３×４の行列であり、回転ＲはＯ^＋（Ｒ＾３）内の３×３の行列であり、位置成分ｔはＲ＾３内のベクトルである。

図１に基づいて、回転Ｒは以下のように表現でき、
Ｒ＝Ｒ（ｒｏｌｌ，ｚ）＊Ｒ（ｔｉｌｔ，ｘ）＊Ｒ（ｐａｎ，ｙ）
Ｒ（ｒｏｌｌ，ｚ）はｚ軸のまわりのロール角の回転であり、Ｒ（ｔｉｌｔ，ｘ）はｘ軸のまわりのチルト角の回転であり、Ｒ（ｐａｎ，ｙ）はｙ軸のまわりのパン角の回転である。

位置成分ｔの基準は、（３Ｄ再構成のスケールの選択を表すので）エピポーラ制約条件によって復元できないので、２つのパラメータは位置成分ｔを記述し、広域的に、５つのパラメータは任意の基本行列Ｅを記述する。位置成分ｔの基準は基線Ｂであり、それは、固定された既知のパラメータだと想像される。

この好ましい実施形態において使用されるアルゴリズムは、ステレオカメラシステムから画像を取得することにあり、各画像内のいくつかの点を抽出し、それらを照合し、場合によっては、それらをフレームごとに収集する。十分な一致（match）が収集され、それ
らの２Ｄ分布が十分であると、これらの一致は、内部パラメータの情報に基づいてユークリッド空間に送られ、次いで、基本行列Ｅが推定される。通常、基本行列Ｅは、エピポーラ制約条件
ｍ_ｉ０ ^ｔＥｍ_ｉ１＝０
を満たすべきであり、ｍ_ｉｊは射影座標内で表されたそれぞれの画像０または１の中の一致ｉ、すなわち、形式（ｘ，ｙ，１）＾ｔのベクトルであり、（ｘ、ｙ）はそれぞれｘ軸およびｙ軸上の座標である。

任意の一致ｉについて画像０から画像１まで、これらの制約条件は、通常、２乗和残差（ＳＳＲ）方法によって最小化される。この方法のステップは、一致の外れ値（outlier
）を除去する古典的な堅固な方式を含む。

ここまで、方法によって使用されたアルゴリズムは、当技術分野で知られており、古典的と見なすことができる。しかし、得られた基本行列Ｅは、正確な距離測定にはノイズが多すぎる。このノイズは少なくとも３つの誤差のソースに起因することが発明者には分かっている。

１．モデルの選択：本発明は、ステレオカメラシステムの自己調整のための方法において適切な数学モデルの選択が重要であることの理解に基づく。しかしながら、たとえば、
自動車セクタ内の文献は、主に、回転Ｒのみをモデル化するが、位置成分ｔをモデル化しない。本発明は、さらに、これは、理論的には、無限遠におけるシーン、すなわち遠方シーンには適しているが、たとえば、駐車するとき、または別の車両に接近するときの近接シーンの場合、位置成分ｔが（ｆＢパラメータ−焦点距離、基線に応じて）重要であり、それを無視することは、場合によっては復元を偏らせる、という理解に基づく。より近い環境、たとえば、統計的にダウンタウンまたは自宅に入ると、取得された調整は最適ではなく、距離の認知における誤差の原因になる場合がある。

言い換えれば、基本行列Ｅのモデルは慎重に選択されるべきである。実際、一致が遠いときはいつでも、いかなる変換成分も無限遠を見て推定できず、ｔ＾Ｒは任意の位置成分ｔに対する解であるので、一致は、基本行列Ｅの回転成分Ｒを推定するためだけに有用であり、位置成分ｔを推定できないという制約条件をもたらす。したがって、モデルは、シーン状況に応じて、３つのパラメータ（すなわち、回転Ｒのみ）または５つのパラメータ（すなわち、回転Ｒおよび位置成分ｔ）をもつべきである。

２．パンを推定する難しさ：この難しさは、エピポーラ幾何形状（下記参照）の使用に起因する。パンは、距離の推定に対して直接的な影響を有するので、重要である。一般に、この問題は、自動車コミュニティの外部の（および時々このコミュニティの中でも）汎用調整方法によって対処されない。実際、最優先に（at first order）、パンの修正はエピポーラ制約条件を破らず、したがって難しさを破らない。これは、古典的な回転のフロー、すなわち、画像（矩形）の点（小さいドット）が所与の回転の下（の所与のベクトルの終端）で行くところを示す、図２ａ、図２ｂ、および図２ｃにおいて観測できる。回転は、図２ａ／図２ｂ／図２ｃにおいて、それぞれ、０．１ラディアンのパン／チルト／ロールである。較正内の誤差はフローを作成し、質問は、このフローがエピポーラ残差を使用して観測可能であるかどうかを知ることである。図２ａでは、パンフローは、主に画像の行（すなわち、たとえば赤において調整される画像ペアのエピポーラ線）に平行であり、したがって、最優先に、フローは、エピポーラ制約条件を破らない。逆に、（図２ｂの）チルトの場合、フローは、大部分が垂直、したがって大部分がエピポーラ線に直交し、したがって、より容易に観測可能である。図２ｃでは、ロールの場合、フローは、位置に応じて観測可能である（大部分が水平であるｙ−上｜下 ｘ−中央エリアでは観測可能でないが、大部分が垂直であるｘ−左｜右 ｙ−中央エリアでは観測可能である）。文献は、たとえば、ハイウェイ上でのみ走行することにより、回転ＲをＨ∞として見ることを可能にする無限遠のビューを課す。これは、エピポーラ制約条件（点から線）をホモグラフィ制約条件（点から点）として変換する。しかし、たとえば別の自動車によって水平線が隠されているときに何が発生するかは不明である。この問題は、既知の自己調整方法を強く偏らせる。

言い換えれば、（両眼転導角または偏揺れと呼ばれる場合もある）パンは、パンの修正がエピポーラ制約条件（図２参照）を破らないので、取得困難である。

３．数値上の問題：そのような問題は関係するパラメータの推定時に発生し、何故なら、すべてのこれらのパラメータは必ずしも直交（互いに影響）しないからであり、それらは意味がないことがある（過剰適合問題）からである。文献は、エピポーラ制約条件の残差、またはＨ∞の残差、または再投影誤差）、またはカルマンフィルタのコスト関数（一般に、２乗平均（ＲＭＳ）または等価的にＳＳＲ）の最小化にもかかわらず、専用数値方式を提案しない。特に、以下のタイプの数値上の問題が存在する。
・エピポーラ制約条件は、リジッド（固定）または無限遠におけるシーンに限定されないので、特有の汎用制約条件であり、したがって、広く使用される。しかしながら、最優先に、パン摂動は調整されるカメラのエピポーラ制約条件（水平変位−まれな垂直フロー−図２参照）を破らないので、精細なパン推定には十分には差別的でない。
・Ｈ∞の残差は、離れた環境、たとえばハイウェイに限定されるか、または、特に近接と遠方との間の境界が画定されていない近接／遠方環境を選び出す堅固な方式を必要とする。
・（古典的なバンドル調整技法を使用する）再投影誤差は、時間的な一致、ポーズ推定を必要とし、煩雑ではない場合、解決するには複雑である。それらは、誤差の別の重要なソースを追加し、一致の品質は環境に依存する。したがって、この技法は、毎日の状況の中で使用困難である。
・カルマンフィルタは、モデルも観測値も線形ではなく、状態の信念（belief）もガウス分布ではないので、必ずしも適切とはかぎらず、それらは、そのような技法のすべての理論上の前提条件である。直観的に、（たとえば、潜在的に間違った内部パラメータおよび一致の外れ値に起因する）偏りは、特に様々なパラメータが大いに相関するので、フィルタの能力を損なう。

数値方式は、パンを正確に復元できないので、キーポイントである。したがって、パラメータは互いに容易に補償できるので、復元は捕捉でき、ＲＭＳまたはフローなどの統計値は変換することがより困難である。

言い換えれば、一致内の偏り、または既知の内部パラメータの仮説に応じて、パラメータが互いを補償できるので、エネルギーが平坦であり、局所的な最小値でいっぱいなので、数値方式は適合されるべきである。

図５は、本発明の好ましい実施形態の概要を与える。図５は、ステレオカメラシステムのための１つの典型的な自己調整方法を視覚化するフローチャートである。自己調整関数は、ステレオカメラシステム内で（たとえば、無限ループによって）継続的に稼働している可能性があるか、または、オンデマンドもしくはある間隔で実行できる。

自己調整方法が始まると、第１のカメラによって撮られた画像および第２のカメラによって撮られた画像の中のそれぞれの対応する点に基づいて、Ｓ０１において、一致点ペアが作成される。これらの画像は、２つのカメラによって基本的に同時に撮られ、画像ペアを構成する。ステップＳ０２において、これらの一致点ペアから最も強い外れ値が除去される。次いで、ステップＳ０３において、現在のシーン、すなわち現在の画像ペアに対応するシーンが遠方シーンか近接シーンかが判定される。これは、たとえば、一致点ペアごとの視差を計算し、計算された視差に基づいて視差ヒストグラムを作成し、すべての視差の少なくとも５０％が１０ピクセルよりも大きい場合に、シーンが近接シーンであると判定し、すべての視差の５０％未満が１０ピクセルよりも大きい場合に、シーンが遠方シーンであると判定することによって行われる。

ステップＳ０４において、ステップＳ０３において行われた判定に基づいて、基本行列Ｅのモデルが選ばれる。特に、遠方シーンに対処するときに３つのパラメータ（すなわち、回転Ｒのみ）を有するモデルが選ばれ、近接シーンに対処するときに５つのパラメータ（すなわち、回転Ｒおよび位置成分ｔ）を有するモデルが選ばれる。

言い換えれば、ステップＳ０３およびＳ０４において、モデルが３つまたは５つのパラメータに適合される。３つのパラメータが選択されたとき、しかしながら、位置成分ｔがさらに必要である。現在の推定（すなわち、自己調整方法の前の繰返しにおいて使用された推定）を保持すること、または、画像を調整するときに画像の変形を最小限に抑える能力を有する
ｔ＝ｓｑｒｔ（Ｒ）＊（−Ｂ，０，０）^ｔ
などの模擬モデルを使用することのいずれかが可能である。モデルの選択は、（左の画像と右の画像との間の）視差の分布に依存する。この分布が十分大きい視差を含んでいる
場合、位置成分ｔはモデルに含まれなければならず、そうでない場合、位置成分ｔは除去されなければならない。そうするために、大きい視差の総数が所与のしきい値と比較される。

ステップＳ０５において、次いで、基本行列Ｅが確実に推定され、それは、いくつかの外れ値を再び検出および抑制できることを意味する。ステップＳ０６において、現在の画像ペアの一致点ペアの数があるしきい値よりも大きいかどうかが確認される。十分な一致が存在しない場合、自己調整関数の現在の繰返しが停止される。

十分な一致が存在する場合、ステップＳ０７〜Ｓ２９が実行される。（生成されたフローがエピポーラ線と直接直交するので−図２参照）チルトが最も安定したパラメータなので、チルトが最初に、すなわちＳ０７〜Ｓ０８において推定される。そうするために、現在の画像ペアについてチルトが推定され（ステップＳ０７参照）、その推定値は、ステップＳ０８参照のように、フレームごと、および／または画像ペアごとにヒストグラムに累積される。このヒストグラム内にピークが現れるときはいつでも、すなわち、ステップＳ０９における妥当性検査が真である場合、このピークの値は、ステップＳ１０においてチルト推定値ｔｉｌｔ０として受け入れられる。そうでない場合、現在のチルト推定値ｔｉｌｔ０が保持される、すなわち、それは更新されない。次いで、カスケードでは、基本行列Ｅの推定値は、所与のチルトを用いて再計算される（すなわち、位置成分ｔが使用されるか否かに応じて、４つまたは２つのパラメータを有する）。

次いで、ステップＳ１２〜Ｓ１３において、パンが推定される。これは以下のように行われる。現在の基本行列Ｅの場合、特に、視差ヒストグラムにより、一致点ペアの視差の分布が分析される。図３は、そのような視差ヒストグラムの一例を示す。特に、図３は、ｄ＝０の付近での視差のヒストグラムの一例を示す（ｘ軸が視差であり、ｙ軸が総数である）。ｄ＝−１．３のまわりに総数のピークがあり、これは許容できない。ピークの左側の総数は、一致内の小さい誤差に起因し、右側の総数は、シーンの様々な物体として解釈されるかもしれない。実際、この総数は、０の付近のピークを統計的に明らかにする。次に、任意の視差ｄについて、ｄ≧０でなければならないという事実が活用される。ピークの位置が０より下（すなわち、負の側）である場合、それは許容できず、このピークが０に来るようにパンを補正できる。これは、視差を変換すること、たとえば、オフセットを追加することによって実行可能であり、それは、１つの画像の点に水平にオフセットＸ_{ｏｆｆｓｅｔ}を追加することと等価である。我々は小さい角度を取り扱っているので、最優先にｘに沿って水平に変換することは、ｙに沿って垂直に回転することと等価である。したがって、視差の代わりに、むしろパンを補正可能である。焦点距離ｆの場合、
ｐａｎ_{ｏｆｆｓｅｔ}≒Ｘ_{ｏｆｆｓｅｔ}／ｆ
であることが分かり、Ｘ_{ｏｆｆｓｅｔ}は無限遠のピークを０に変換するために必要なオフセットであり、ｆは焦点距離であり、ｐａｎ_{ｏｆｆｓｅｔ}はパンを調整するための補正値である。

次いで、前のパン推定値が、
ｐａｎ_ｎｅｗ←ｐａｎ_ｏｌｄ＋ｐａｎ_{ｏｆｆｓｅｔ}
を使用して補正され、ｐａｎ_ｏｌｄはこの特定の画像ペア用のパンの現在の推定値であり、ｐａｎ_ｎｅｗは補正されたパン、すなわち、０における視差のピークにつながるパンである。

そうすることにより、推定されたパンの総数における良い影響を及ぼす偏りがもたらされる。たとえば、パンがその真の値のまわりで均一に推定された場合、この方式は、良いパンの総数を強く補強する。Ｘ_{ｏｆｆｓｅｔ}≧０であるとき、シーンが近い物体を有するものとして解釈できることも留意されたい。この状況では、パンは補正されず、それは許
容可能であるが、（パンが不正確なままである場合があり、これが未知のままであるシーンにおいて）まだ曖昧な状況が存在する。

言い換えれば、ステップＳ１２において、現在の画像ペア用の別個のパン値が決定される。図５の関数は何度も繰り返されるので、別個の複数のパン値がこのように作成される。さらに、好ましくは上記で概説されたパン補正方法を使用して、（様々な画像ペアについて図４ａに示されている）これらの別個のパン値から、（図４ｂに示されている）複数の補正されたパン値が作成される。さらにＳ１２において、補正を実行するために、現在の画像ペアについて、図３に示された視差ヒストグラムが作成される。この視差ヒストグラムが負の視差値（たとえば、図３に示された−１．３の値）において関連ピークを示す場合、現在の画像ペアの別個のパン値が補正され、特に、複数の補正されたパン値にこの補正された別個のパン値を加えることにより、この補正された別個のパン値がパン角全体の推定中に考慮に入れられる。好ましい実施形態では、わずかに正の視差値、たとえば０．５ピクセルまでの視差値における視差ヒストグラム内のピークも、負の視差値におけるピークとして解釈される。言い換えれば、特定の画像ペアについて、わずかに正の視差値におけるピークが存在する場合も、対応する別個のパン値の補正に着手し、得られた補正されたパン値を複数の補正されたパン値に加えることは有利であり得る。

パンを推定するこの方法は、パンの補正がたいてい不安定であることの理解に基づく。しかしながら、統計的に、走行しているとき、車両は、遠方視認性で位置にアクセスする（が、人はこれらの状況、すなわち、たとえば、それらがいつ発生したかに気付くことができない）。この趣旨では、一致点ペアの総数がしばしば無限遠において累積することが分かっている（理論上、無限遠はアクセス不可能であるが、数値的な無限遠、すなわち、非常に小さい視差を有する一致は、ｆＢパラメータに応じて、２０、５０、または１００ｍにおいてある）。

ステップＳ１３において、複数の補正されたパン値から、パン角全体が推定される。すなわち、チルトの推定と同様に、パンの推定は、フレームごとおよび／または画像ペアごとに、ヒストグラムに累積される。このヒストグラム内にピークが現れるときはいつでも、すなわち、ステップＳ１４における妥当性検査が真である場合、このピークの値は、ステップＳ１５においてパン推定値ｐａｎ０として受け入れられる。そうでない場合、現在のチルト推定値ｐａｎ０が保持され、すなわち、それは更新されない。

次いで、ステップＳ１６において、ロールに対して所与のチルトおよびパンを用いて基本行列Ｅが再計算され、ロール値がヒストグラム内に累積される（ステップＳ１７およびＳ１８）。ピークが現れると、この値はロールの推定値として受け入れられる（ステップＳ１９およびＳ２０）。この段階において、回転Ｒ用の新しい候補が取得され、ステップＳ２１において、基本行列Ｅが作り直される。次いで、ステップＳ２２〜Ｓ２５において、必要な場合−すなわち、ステップＳ０３において、現在のシーンが近接シーンとして分類された場合、回転Ｒに基づいて新しい位置成分ｔが推定され、−見出された位置成分ｔが妥当である場合（ステップＳ２４参照）、ステップＳ２５において、現在使用されている位置成分ｔ０および現在使用されている基本行列が更新される。位置成分ｔは、たとえば、エピポーラ制約条件から位置成分ｔ内の線形システムを構成し、既知の回転Ｒを使用することによって推定される。新しい（Ｒ，ｔ）は、新しい候補の基本行列Ｅを作成する。ステップＳ２６において、この新しい候補の基本行列Ｅが古い基本行列Ｅ（すなわち、現在の信念）と比較される。統計的に、たとえば、連続フレームを数え上げることにより、新しい基本行列Ｅがエピポーラ残差に関して古い基本行列Ｅよりも良い場合、ステップＳ２７およびＳ２８において、新しい基本行列Ｅが採用され、現在の信念になる。ステップ２９において、できる限り収集された一致から収集された外れ値が除去される。

上記に提示された実施形態では、適応型モデルを使用することにより、および、制約条件ｄ≧０を活用して統計的にパンを評価することにより、問題がこうして解決される。「統計的」は、十分遠方の点を観測できるやいなや、パンが各フレーム上では評価されないが、一連のフレーム上で評価されることを意味する。「遠方」はリグに依存するが、たとえば、２０ｍまたは４０ｍを意味することができる。さらに、カスケードで階層的に、関連するパラメータを評価する数値方式が使用される。

より正確には、シーンおよびリグの特異性に従ってそれ自体を調整する適応型モデルが使用される。適応型モデルは、フレームごとに、状況に応じて最適なパラメータを自動的に選択する。それは、視差の分布を評価することに基づく。大きい視差の総数が十分強いとき、位置成分ｔが加えられ、そうでない場合、位置成分ｔが除去され、たとえば、模擬的位置成分ｔと置き換えられる。

さらに、特に小さい基線リグに、すべての「エピポーラ方法」の主な難点であるパンの推定に対する統計的解決策が、使用される。それは、無限遠における視差の総数のピークを探して行われる。このピークを識別することにより、それはパンの別の推定値を作成する。次いで、制約条件ｄ≧０（視差は理論上常に正であり、負の値は誤差の可能性がある）を活用すると、パンの推定値を統計的に補正し、その推定値の総数の中に良い影響を及ぼす偏りをもたらすことが可能になる。

さらに、パラメータの階層的評価を伴うコヒーレントな数値方式が適用される。各パラメータは、同じ役割を演じず、同じ難しさに悩まされることもない。１つの可能性は、最初にチルト、次いでパン、次いでロール、次いで場合によっては位置成分ｔを、カスケードで推定することである。各ステップにおいて、コヒーレントな推定の十分な累積が収集されなければならない。最終的に、統計的に最良の残差を有する解決策が保持される。

本発明による自己調整の品質を最適化するために、適用されたモデルのある欠点によって誘導され得る、ある系統的誤差を考慮に入れることがさらに可能である。実際には、発明者は、驚いたことに、可能性があるいくつかの状況下で、上述された方法が実行されると、いくつかの一致点ペアの２点間のある系統的な垂直変位または垂直オフセットが発生する可能性があることを発見した。垂直変位は、単に「フロー」とも呼ばれ（対して、水平オフセットは「視差」と呼ばれる）、自己調整の品質に極めて悪い影響を有する。したがって、これらの系統的フロー誤差を除去することが望ましい。

系統的フロー誤差を補正するために、残差評価中に補償テーブルが確立され、すなわち、システムの系統的誤差が学習され、フロー補償値と呼ばれる対応するオフセット値が補償テーブルに書き込まれる。フロー補償値の使用によって系統的誤差を補償することにより、残差のＳＮＲが上げられる。したがって、自己調整はより安定する。

そのような補償テーブルによる系統的誤差の除去は、以下でより詳細に記載される。

フロー補償は、残りの垂直フローの大部分が局所的に系統的である場合、それらを学び、言い換えればそれらを「学習」し、次いで、任意のさらなる残差の推定値を補償可能であるという考えに基づく。

最初に、フロー補償が実行されるべき画像が、１６×１２のグリッドとして細分化される。各セルはバケットと呼ばれる。この細分化は、基準画像（右の画像）においてのみ有効であり、左の画像における視差は、一般に、バケットの幅と比較して小さいと考えられる。したがって、第１の近似として、任意の一致点ペアは、右の画像内のその右の成分によって定義されたバケットに入る。各バケットでは、完全なシーケンスの一致点ペア（ま
たは右の画像に対応する各一致点ペアの点）が収集され、局所的な残差が学ばれる。中央値が残差のローカルモデルになる。残差の標準偏差が大きすぎる場合、または中央値がその近傍の値とあまりに異なる場合、このバケットは省略される。したがって、ささいなスキップテーブル、すなわち、任意の一致が拒絶されるいくつかのバケットの識別情報を導入する必要がある。これは図６において視覚化され、そこでは、スキップテーブルを読み取った画像が示され、省略されるべきバケットが×印でマークされている。省略されるバケットは、（この場合）画像の円を観測でき、たぶん、対象の擬似点を作成している遠方の周辺にかかっている。画像によって完全にカバーされる他のバケットの場合、中心から離れた投影モデルの品質が粗雑になると想定される。それは、中心対称も課されている。魚眼レンズを取り扱うと、エピポールは画像の内部または画像の近くにあるかもしれず、近くの点は、調整プロセス中に、ｙ方向に沿って無限遠に向かって送られ、それらそれぞれの残差またはそれらのｙフローを使用不可にすることに留意されたい。この全体はそれらの拒絶を説明する。

スキップテーブルが確立されると、補償テーブル自体は、バケット当たりの許容された中央値のｙフローを記憶することによって確立される。後で、基本幾何形状を推定するために任意のエピポーラ制約条件が評価されるとき、関連する学習されたフローを有するあらゆる点を垂直に変換することにより、残差が補償される。この段階において、補償テーブルは選択された較正に依存することに留意されたい。

補償テーブルを使用することにより、パン（および他の角度）の推定は、通常、それを使用しない場合よりも安定する。たとえば、標準偏差は堅固ではなく、隔離された強力な誤差によってだまされるので、安定性を定量的に測定することは困難である。

しかしながら、発明者は、インコヒーレントなｐａｎ_０およびｐａｎ_∞も観測している。実際、補償テーブルの適用後、これら２つのパンの間で、約０．８°の差異が検出されている。したがって、当然に「どちらが正しいか？」という疑問がある。

コヒーレンシーを予想することは道理にかなう。３Ｄ距離によれば、ｐａｎ_∞が正しい。しかしながら、強力な較正手順によれば、ｐａｎ_０が正しい。裁定することは困難であるので、以下の解釈を与えることができる。

ｐａｎ_０がｐａｎ_∞になるようにパラメータを調整することは困難である。逆に、距離が保たれ、ｐａｎ_∞がｐａｎ_０になるように、パラメータを調整することは容易である。実際、これまで、発明者は、他の多くの人々とともに、内部パラメータが固定され既知であるように考えられ得ると想定していた。多くの著者は、過剰適合のエピポーラシステムを推定することに成功するために、システムをＥの推定に簡約化することが必要であること、または言い換えれば、Ｅはステレオラグの変形の多くに対処できることを想定する。それは、いくつかの構成の場合であるが、本発明の基礎をなす構成の場合ではない。本明細書では、１つの画像をわずかに水平に変換し、パンを反対方向に修正する場合、これら２つの変形は、最優先に補償できる。主点、特に（その画像の水平変換に対応する）ｕ _０ 成分は、この変形に対処する良い候補のように見える。

透視投影によれば、ｔａｎθ＝ｘ／ｆであり、したがって、小さい角度の場合最優先に、θ＝ｘ／ｆである。したがって、
ｕ_０’←ｕ_０＋ｆΔθ
を用いてｕ_０を修正する場合、ｐａｎ_０およびｐａｎ_∞はコヒーレントになり、３Ｄ距離は保たれる（本明細書では、それは左のカメラのｕ_０であり、Δθ＝θ_∞−θ_０であり、右のカメラのｕ_０を変更したい場合、符号は反転される必要がある）。実際、ｐａｎ_０の推定は、一見したところ、１つの画像の小さい水平変換に実際には依存していない。ｐ
ａｎ_∞は、観測された視差に直接依存するので逆である。

実際には、（たとえば、「Fiedler, D. & Muller, H. Impact of thermal and environmental conditions on the kinect sensor. LNCS 7854: 21-31, 2013」において提案された）熱的効果が考えられる場合、ｕ_０の変形は、相対配向、またはさらに焦点距離の修正と同様に発生しそうである。モンタージュの品質に応じて、いかなるタイプの変換も行われる可能性がある。画像が熱変形によって変換され、この変換がパラメータによってより良くモデル化されるとき、無限遠のピークが負の側にある場合、Ｅのみを用いて調整を調整することは、（予想される確度に応じて）十分であるかもしれないが、ピークが正の側にある場合、代わりにｕ _０ を調整する方がより良いかもしれない。これは、調整の精細な推定の難しさを示す。この難しさは、十分に適合されていないシステムと過剰適合されたシステムとの間を均衡させるパラメータの選択にある。この選択は、変形と、シーンの内容に依存する（たとえば、ｔは遠方の点を用いて推定できない）。

２つのｕ_０、すなわち画像当たり１つのｕ_０が存在するので、どちらを移動させるべきかが疑問となる。小さい変換が対処されているので（本明細書では、１０分の数ピクセルについて話しており、もう一度過剰適合された問題を説明している）、それらのうちのいずれか、または送り出された必要な変化のうちの２つと半分、または画像の中心に向かっている１つ、または遠く離れている１つ、または他のいずれかを恣意的に移動させることが可能である。

上述されたように、補償テーブルが学習されると、選択された較正が重要である。このテーブルは較正（またはその一部）を評価するために導入されるので、「鶏と卵」問題を有する。

この問題に対処するために、補償テーブルを確立するための以下の手順が使用される。
＃１ 強力な較正手順によって提案されたように、すなわち、３Ｄグリッド／チェッカーボードを使用して、内部パラメータを取得する。
＃２ ３Ｄ距離を使用してｐａｎ_ｒｅｆを見つける。それは「右」パンではないかもしれないが、それは、この段階において利用可能な最良の推定である。
＃３ 多くの一致点ペア、特に遠方の一致点ペア（たとえば、数１００ｋ、すなわち、たとえば５０００００の一致点ペア）を用いて移動シーケンスを行う。
＃４ シーケンス上で、「最良」のパラメータ（パン、チルト、ロール、およびｔ）、ならびにｐａｎ_∞を推定する（これらのパラメータは、図５に記載されたように前にもたらされたパラメータを指す）。ｐａｎ_∞が十分に明白である場合、それがｐａｎ_ｒｅｆと可干渉であることを確認する。そうでない場合、（実験的なセットアップからの誤差の様々なソースに応じて）最も信頼するものを取得する。次いで、２つのパンの間の非干渉性Δθを評価し、上記で説明されたように、それに応じてｕ_０を更新する。
＃５ 識別された較正（更新されたｕ_０、「最良」のパラメータ）を用いてすべての一致を調整する。
＃６ 上記で説明されたように残りのフローを学習する。
＃７ 確認するためだけに、補償テーブルを使用してシーケンス上の完全な推定を再開する。安定したパンを観測するべきである。
＃８ 新しい安定したパンの推定が＃５において使用されたパンとあまりに異なる場合、この新しいパン、場合によっては新しいｕ_０を用いて学習するフロー上の段階＃５からループできる。

上述された細分化が関係するかぎり、通常の１６×１２のグリッドを使用でき、７２０Ｐの解像度の場合、バケット当たり８０×６０ピクセルにつながる。このグリッドは、残りのフローの統計的学習を可能にするほど精細すぎるべきではない。一方、発明者は、本
明細書を用いて、残りのフロー内（すなわち、系統的誤差内）の反復構造も観測している。実際、バケット当たり、残りのフローの符号（すなわち、正または負）の遠心分布を観測できる。この反復構造は、以下の証拠となる。
・補償テーブル内に包括的な傾向／平滑性が存在する。
・この１６×１２の解像度は、正確に補償をサンプルするには少し粗雑である。

分析はこれ以上強要されず、最適ではない場合、この解像度は、十分正確なパン推定を可能にする。一方、この構造は良いパンを明らかにすることを助ける可能性があることに気付いた。実際、十分に推定されていないパンは、画像の左上隅に負のフローを、右上隅に正のフローを作成し、最下行では逆である。したがって、この色パターンが水平に均衡されると、良いパンを予想できる。さらに、系統的誤差内の第２のパターンが観測されている。画像側面上のバケットの列を見ると、直線によってほぼ分離された２つのクラスタ（すなわち、正および負のフロー総数）を観測できる。この線が左に曲げられた場合、パンは十分に推定されておらず、逆に、この線が右に曲げられた場合、パンは過剰推定されている。垂直線は、パンの良い推定を査定する。もちろん、それは主観的および定性的な基準であり、実際には興味深いことが分かる。

発明者は、ステレオカメラの自己調整中に使用される上述された補償テーブルの基礎をなす概念は一般化できることをさらに発見している。

実は、我々の方法の本題は、残差の何らかの部分が関連情報の一部を隠すと言うことである。実際、残差は、観測値（たとえば、一致）内のノイズ、間違ったパラメータ値（解法が調整するシステムのパラメータ値、たとえばＥパラメータ）、および間違ったモデル選択（たとえば、内部パラメータの選択）に起因する。言い換えれば、間違ったモデルがもたらす不利益が多すぎるとき、最良の解決策は、目的関数（たとえば、ＲＭＳ）の最小値にはない。本明細書で提案された方法は、モデル選択の質問と比較して、外れ値、選ばれた基準、収束、または局所的な最小値の存在の質問の重要性を低減する。そのようなシステムを解決する際の難しさは、むしろ、モデルの間違った選択に起因する。しかしながら、良いモデルを選択することは困難である。特に、不十分な適合／過剰適合の質問が観測値に依存するとき、ＡＩＣを使用することには、通常、いくつかの難しさが存在する。モデル（この場合、内部較正モデル）の間違った選択は、解決策に過大な影響を及ぼす強力すぎる残差を作成する。この影響は観測値（たとえば、一致の位置）に依存するので、不安定な解決策（たとえば、不安定なエピポーラ幾何形状）を観測可能である。たとえば、右上隅と比較して多い左上隅の一致は、モデルの忠実度に応じて、パンを不十分に推定／過剰推定する傾向がある。

汎用の解決策は、これらの系統的残差を学習すること、およびさらなる推定値内でそれらを局所的に除去することから構成される。（バケットグリッドについて上述されたように）観測空間を細分化でき、（中央値について上述されたように）系統的残差を統計的に推定できるとき、この解決策は常に動作する。この場合、この系統的残差を局所的に学習し、将来の推定中にそれを局所的に除去できる。

これは、なぜいくつかの合成モデルがしばしば実際の状況よりもかなり良く動作するかも説明する。合成モデルでは、間違ったモデルの選択に起因する残差をまれにしかもたらさないからである。残差内にＳＮＲが存在し、古典的に、観測値はランダムノイズ（たとえば、ホワイトまたはガウシアン）をもたらすが、モデル上の誤差は系統的誤差、解決策の偏りをもたらす。観測値が動いているとき、偏りは異なり、不安定な解決策につながる。この系統的ノイズを除去することにより、残差のＳＮＲが簡単に上がり、より安定した解決策が取得される。

Claims (9)

1. ステレオカメラの自己調整のための方法であって、
   ａ）前記ステレオカメラが、第１のカメラと第２のカメラとを備え、
   ｂ）前記方法が、それぞれ、前記第１のカメラによって撮られた複数の第１の画像および前記第２のカメラによって撮られた複数の第２の画像から複数の画像ペアを、それぞれ、前記第１のカメラおよび前記第２のカメラによって基本的に同時に撮られた２つの画像を各画像ペアが備えるように、作成するステップを備え、
   ｃ）前記方法が、画像ペアごとに、各画像ペアの前記２つの画像内の対応する点から複数の一致点ペアを、前記それぞれの画像ペアの前記第１の画像からの１つの点および前記それぞれの画像ペアの前記第２の画像からの１つの点を各一致点ペアが備えるように、作成する（Ｓ０１）ステップを備え、
   ｄ）画像ペアごとに複数の視差が作成され、前記得られた複数の視差が前記自己調整のために考慮に入れられるように、一致点ペアごとに視差が計算され（Ｓ０３）方法において、
   画像ペアごとに、前記複数の視差から視差ヒストグラムが作成され（Ｓ０３）、前記自己調整がこの視差ヒストグラムに基づく（Ｓ０３、Ｓ１２）ことと、
   画像ペアごとに、前記対応する視差ヒストグラムが負の視差値における関連ピークを備えるかどうかが判定され（Ｓ１２）、関連ピークとは、他のピークの相対値よりも高い相対値を有するピーク、および／または、ある大きさのしきい値より上の絶対値を有するピークであり、わずかに正の視差値における関連ピークも、好ましくは負の視差値における関連ピークとして解釈されることと、
   ａ）前記方法が、画像ペアごとにパン値を決定し（Ｓ１２）、複数の決定されたパン値をもたらすステップを備え、
   ｂ）前記方法が、好ましくは、ある決定されたパン値を補正し、残りの決定されたパン値を補正しない（Ｓ１２）ことにより、前記複数の決定されたパン値から複数の補正されたパン値を作成するステップを備え、
   ｃ）前記方法が、前記複数の補正されたパン値からのパン角全体の推定（Ｓ１３）を備えることと、
   負の視差値における関連ピークが検出された場合、前記対応する画像ペアの前記決定されたパン値が補正され、および／または負の視差値における関連ピークが検出されなかった場合、前記対応する画像ペアの前記決定されたパン値が補正されない（Ｓ１２）ことと
   、
   前記方法を実行するために使用される数学モデルが、画像ペアごとに、可能なモデルのグループから選ばれ（Ｓ０４）、前記複数の視差が考慮に入れられ、前記視差ヒストグラムが考慮に入れられる
   ことを特徴とする、方法。
2. ａ）前記ヒストグラムが少なくとも所定の量の大きい視差を備える場合、位置成分（ｔ）を備える数学モデルが前記モデルのグループから選ばれ（Ｓ０４）、
   ｂ）前記ヒストグラムが前記所定の量よりも少ない大きい視差を備える場合、位置成分（ｔ）をもたない数学モデルが前記モデルのグループから選ばれる（Ｓ０４）
   ことを特徴とする、請求項１に記載の方法。
3. ａ）前記方法が、画像ペアごとにチルト値を決定し（Ｓ０７）、複数の決定されたチルト値をもたらすステップを備え、
   ｂ）前記方法が、前記複数の決定されたチルト値からのチルト角全体の推定（Ｓ０７）を備え、
   ｃ）前記方法が、画像ペアごとにロール値を決定し、複数の決定されたロール値をもたらす（Ｓ１２）ステップを備え、および／または
   ｄ）前記方法が、前記複数の決定されたロール値からのロール角全体の推定（Ｓ１２）を備え、
   ｅ）前記チルト角全体が、前記パン角全体が推定される前、および／または前記ロール角全体が推定される前に推定され、
   ｆ）前記パン角全体が、前記ロール角全体が推定される前に推定される
   ことを特徴とする、請求項１または２に記載の方法。
4. 前記自己調整のために補償テーブルが考慮に入れられ、前記補償テーブルが複数のフロー補償値を備え、各フロー補償値が各一致点ペアの１つの点に潜在的に適用されるフロー補償を示す
   ことを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記フロー補償が、各画像ペアの１つの画像、好ましくは各画像ペアの右の画像のみに適用され、前記フロー補償が、
   ａ）前記フロー補償が適用されるべき前記画像をグリッド、好ましくは１６×１２のグリッドとして細分化し、こうして複数のバケット、好ましくは１９２個のバケットを作成し、こうして前記フロー補償が適用される前記画像のあらゆる点を１つの特定のバケットに入るようにするステップであって、各バケットが前記補償テーブルの１つのフロー補償値に対応する、ステップと、
   ｂ）前記対応するフロー補償値によって示された前記フロー補償をあらゆるバケット内の各点に適用するステップと
   を備えることを特徴とする、請求項４に記載の方法。
6. 前記方法が、画像ペアごとの別個の位置補償テーブルを決定するステップを備え、前記別個の位置補償テーブルがパン角、及び／又は、ロール角、及び／又は、チルト角から作成されたものではなく、前記別個の位置補償テーブルが、好ましくは複数の別個の位置補償テーブルをもたらす垂直オフセットテーブルであり、若しくは好ましくは垂直オフセットテーブルであり、前記方法が、前記複数の別個の位置補償テーブルから、位置補償テーブル全体、好ましくは垂直オフセットテーブル全体を推定するステップを備える
   ことを特徴とする、請求項４または５に記載の方法。
7. 前記方法が、前記補償テーブルを作成する手順を備え、
   前記補償テーブルを作成する前記手順が、
   ａ）強力な較正手順、特に３Ｄグリッドおよび／またはチェッカーボードを使用する較正手順によって前記ステレオカメラの内部パラメータを定義するステップと、好ましくは、
   ｂ）３Ｄ基準距離を使用することにより、基準パン角および／もしくは基準幾何形状値、好ましくは変換を見つけるステップ、または
   ｃ）請求項４から６のいずれか一項に記載の前記ステップを適用することにより、前記基準パン角および／または前記基準幾何形状値を見つけるステップのいずれかと
   を備えることを特徴とする、請求項４から６のいずれか一項に記載の方法。
8. 請求項１から７のいずれか一項に記載の方法を実行するように構成された、デバイス、特にステレオカメラシステム。
9. 請求項８に記載のデバイスを備える、車両。