JP4410521B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に係り、特に、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体面の傾き算出処理に関する。

従来より、ステレオカメラから出力される一対の撮像画像に基づいて、物体の三次元位置を認識する画像処理装置が知られている（例えば、特許文献１参照）。この画像処理装置では、撮像画像が複数の小領域に分割され、分割された小領域毎に、ステレオマッチングを用いて視差が算出される。そして、小領域毎に算出された視差群（距離データ）に基づいて、撮像画像に写し出された物体の三次元認識、例えば、道路形状認識や立体物認識といった車両の前方認識が行われる。

また、特許文献２には、ステレオカメラを用いて地表を含む景色を撮像し、一対の撮像画像に基づいて、距離データを算出することにより、地表の起伏形状を認識する装置が開示されている。この装置では、距離データにおいて、互いに隣接した地表部分で、かつ、平坦な地表と見なせるほどに距離（すなわち、視差）が接近した地表部分をグループ化することにより、実空間における平坦な地表が特定される。また、この装置によれば、距離データに基づいて、特定された地表の平面性や傾斜の度合いといった地表状態を評価することができる。
特開平１１−２１３１３８号公報 特開２００１−３２８６００号公報

撮像画像において、遠方に存在する物体は、近傍に存在する物体よりも画像領域に占める割合が小さくなる。したがって、遠方に存在する物体に該当する視差の数も、近傍に存在する物体に該当する視差の数よりも少なくなるため、遠方に存在する物体ほど、認識における分解能が低くなる。例えば、車両の前方認識において、自車両の遠方に、離散的な電柱が道路に沿って連続的に存在するといったケースでは、これらを個別に認識することが難しく、例えば、ガードレールのような連続した物体として誤認識される可能性がある。また、山道を走行しているといったケースでは、道路面と、路肩側の山肌とを切り分けて認識することが困難となり、道路形状の認識精度が低下する可能性がある。

そこで、特許文献２に開示されているように、視差のグループ化を行った上で、このグループの平面性や傾斜の度合から、例えば、平坦な道路面と、道路面に対して傾いた山肌とを切り分け、認識の精度向上を図ることも考えられる。しかしながら、特許文献２では、グループ化された領域が面として見なされるので、視差の算出単位、すなわち、小領域レベルで物体の面の傾きを求めることが難しい。そのため、遠方の景色などのように、グループ化できるだけの数の視差が存在しない場合には、物体の面の傾きを算出できないという問題がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、撮像画像に写し出される物体の面の傾きを小領域レベルで算出することである。

かかる課題を解決するために、第１の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置を提供する。この画像処理装置は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する設定部と、伸縮率を示す伸縮パラメータに基づいて、設定された小領域をエピポーラライン方向に伸縮する変形部と、輝度特性の相関を評価することにより、伸縮された小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、伸縮パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、特定された伸縮パラメータに基づいて、ステレオカメラの垂直軸回りにおける物体の面の傾きを算出する算出部とを有する。

ここで、第１の発明において、変形部は、せん断変形量を示すせん断パラメータに基づいて、伸縮された小領域に対して、エピポーラライン方向にせん断変形を行い、第１のマッチング処理部は、輝度特性の相関を評価することにより、せん断変形が行われた小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定し、算出部は、せん断パラメータを変化させることにより特定される第２の相関先のそれぞれにおいて、第２の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、特定されたせん断パラメータと、特定された伸縮パラメータとに基づいて、垂直軸を含む三次元空間における物体の面の傾きを算出することが好ましい。

また、第１の発明において、変形部は、せん断変形量を示すせん断パラメータに基づいて、他方の撮像画像を処理対象として、エピポーラライン方向にせん断変形を行い、第１のマッチング処理部は、輝度特性の相関を評価することにより、伸縮された小領域と輝度的に対応する第２の相関先を、せん断変形が行われた他方の撮像画像において特定し、算出部は、せん断パラメータを変化させることにより特定される第２の相関先のそれぞれについて、第２の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、特定されたせん断パラメータと、特定された伸縮パラメータとに基づいて、垂直軸を含む三次元空間における物体の面の傾きを算出することが好ましい。

さらに、第１の発明において、画像処理装置は、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第３の相関先を、他方の撮像画像において特定する第２のマッチング処理部をさらに有していてもよい。この場合、変形部は、他方の撮像画像において、第３の相関先を含み、かつ、第３の相関先のエピポーラライン方向に延在する複数の画素列を含む中領域に対して、せん断変形を行い、第１のマッチング処理部は、せん断変形が行われた中領域において、第３の相関先を基準に設定される所定範囲を処理対象として、第２の相関先を特定することが好ましい。

第２の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置を提供する。この画像処理装置は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する設定部と、伸縮率を示す伸縮パラメータに基づいて、他方の撮像画像を処理対象として、エピポーラライン方向に伸縮する変形部と、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第１の相関先を、伸縮された他方の撮像画像において特定する第１のマッチング処理部と、伸縮パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、特定された伸縮パラメータに基づいて、ステレオカメラの垂直軸回りにおける物体の面の傾きを算出する算出部とを有する。

ここで、第２の発明において、変形部は、せん断変形量を示すせん断パラメータに基づいて、伸縮された他方の撮像画像を対象として、エピポーラライン方向にせん断変形を行い、第１のマッチング処理部は、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第２の相関先を、せん断変形が行われた他方の撮像画像において特定し、算出部は、せん断パラメータを変化させることにより特定される第２の相関先のそれぞれにおいて、第２の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、特定されたせん断パラメータと、特定された伸縮パラメータとに基づいて、垂直軸を含む三次元空間における物体の面の傾きを算出することが好ましい。

この場合、画像処理装置は、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第３の相関先を、他方の撮像画像において特定する第２のマッチング処理部をさらに有していてもよい。この場合、変形部は、他方の撮像画像において、特定された第３の相関先を処理対象として、他方の撮像画像を伸縮するとともに、伸縮された他方の撮像画像に対して、せん断変形を行うことが好ましい。

さらに、第２の発明において、変形部は、せん断変形量を示すせん断パラメータに基づいて、設定された小領域に対して、エピポーラライン方向にせん断変形を行い、第１のマッチング処理部は、輝度特性の相関を評価することにより、せん断変形が行われた小領域と輝度的に対応する第２の相関先を、伸縮された他方の撮像画像において特定し、算出部は、せん断パラメータを変化させることにより特定される第２の相関先のそれぞれについて、第２の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、特定されたせん断パラメータと、特定された伸縮パラメータとに基づいて、垂直軸を含む三次元空間における物体の面の傾きを算出することが好ましい。

第３の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置を提供する。この画像処理装置は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する設定部と、せん断変形量を示すせん断パラメータに基づいて、設定された小領域に対して、エピポーラライン方向にせん断変形を行う変形部と、輝度特性の相関を評価することにより、せん断変形が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、せん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、特定されたせん断パラメータに基づいて、ステレオカメラの水平軸回りにおける物体の面の傾きを算出する算出部とを有する。

ここで、第３の発明において、変形部は、伸縮率を示す伸縮パラメータに基づいて、せん断変形が行われた小領域を、エピポーラライン方向に伸縮し、第１のマッチング処理部は、輝度特性の相関を評価することにより、伸縮された小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定し、算出部は、伸縮パラメータを変化させることにより特定される第２の相関先のそれぞれにおいて、第２の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、特定された伸縮パラメータと、特定されたせん断パラメータとに基づいて、水平軸を含む三次元空間における物体の面の傾きを算出することが好ましい。

また、第３の発明において、変形部は、伸縮率を示す伸縮パラメータに基づいて、他方の撮像画像を処理対象として、エピポーラライン方向に伸縮し、第１のマッチング処理部は、輝度特性の相関を評価することにより、せん断変形が行われた小領域と輝度的に対応する第２の相関先を、伸縮された他方の撮像画像において特定し、算出部は、伸縮パラメータを変化させることにより特定される第２の相関先のそれぞれについて、第２の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、特定された伸縮パラメータと、特定されたせん断パラメータとに基づいて、水平を含む三次元空間における物体の面の傾きを算出することが好ましい。

この場合、画像処理装置は、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第３の相関先を、他方の撮像画像において特定する第２のマッチング処理部をさらに有していてもよい。この場合、変形部は、他方の撮像画像において、第３の相関先を伸縮し、第１のマッチング処理部は、伸縮された第３の相関先を基準に設定される所定範囲を処理対象として、第２の相関先を特定することが好ましい。

第４の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置を提供する。この画像処理装置は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する設定部と、他方の撮像画像を処理対象として、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う変形部と、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第１の相関先を、少なくとも一方の処理が行われた他方の撮像画像において特定する第１のマッチング処理部と、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定する第２のマッチング処理部と、伸縮パラメータまたはせん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いパラメータを特定するとともに、特定されたパラメータに基づいて、ステレオカメラの垂直軸回りまたはステレオカメラの水平軸回りにおける物体の面の傾きを算出する算出部とを有する。この場合、変形部は、他方の撮像画像において、特定された第２の相関先を含み、かつ、第２の相関先のエピポーラライン方向に延在する複数の画素列を含む中領域に対して処理を行うことを特徴とする。

第５の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置を提供する。この画像処理装置は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する設定部と、設定された小領域に対して、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う変形部と、輝度特性の相関を評価することにより、少なくとも一方の処理が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定する第２のマッチング処理部と、伸縮パラメータまたはせん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いパラメータを特定するとともに、特定されたパラメータに基づいて、ステレオカメラの垂直軸回りまたはステレオカメラの水平軸回りにおける物体の面の傾きを算出する算出部とを有する。この場合、第１のマッチング処理部は、他方の撮像画像において、特定された第２の相関先を基準に設定される所定範囲を処理対象として、第１の相関先を特定する。

第６の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法を提供する。この画像処理方法は、一方の撮像画像に面の傾きの算出対象となる小領域を設定する第１のステップと、伸縮率を示す伸縮パラメータに基づいて、設定された小領域をエピポーラライン方向に伸縮する第２のステップと、輝度特性の相関を評価することにより、伸縮された小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、伸縮パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、特定された伸縮パラメータに基づいて、ステレオカメラの垂直軸回りにおける物体の面の傾きを算出する第５のステップとを有する。

第７の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法を提供する。この画像処理方法は、コンピュータが、一方の撮像画像に面の傾きの算出対象となる小領域を設定する第１のステップと、コンピュータが、伸縮率を示す伸縮パラメータに基づいて、他方の撮像画像を処理対象として、エピポーラライン方向に伸縮する第２のステップと、コンピュータが、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第１の相関先を、伸縮された他方の撮像画像において特定する第３のステップと、コンピュータが、伸縮パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータを特定するとともに、コンピュータが、特定された伸縮パラメータに基づいて、ステレオカメラの垂直軸回りにおける物体の面の傾きを算出する第４のステップとを有する。

第８の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法を提供する。この画像処理方法は、コンピュータが、一方の撮像画像に面の傾きの算出対象となる小領域を設定する第１のステップと、コンピュータが、せん断変形量を示すせん断パラメータに基づいて、設定された小領域に対して、エピポーラライン方向にせん断変形を行う第２のステップと、コンピュータが、輝度特性の相関を評価することにより、せん断変形が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、コンピュータが、せん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いせん断パラメータを特定するとともに、コンピュータが、特定されたせん断パラメータに基づいて、ステレオカメラの水平軸回りにおける物体の面の傾きを算出する第４のステップとを有する。

第９の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法を提供する。この画像処理方法は、コンピュータが、一方の撮像画像に面の傾きの算出対象となる小領域を設定する第１のステップと、コンピュータが、他方の撮像画像を処理対象として、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う第２のステップと、コンピュータが、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第１の相関先を、少なくとも一方の処理が行われた他方の撮像画像において特定する第３のステップと、コンピュータが、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定する第４のステップと、コンピュータが、伸縮パラメータまたはせん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いパラメータを特定するとともに、コンピュータが、特定されたパラメータに基づいて、ステレオカメラの垂直軸回りまたはステレオカメラの水平軸回りにおける物体の面の傾きを算出する第５のステップとを有する。この場合、第２のステップは、コンピュータが、他方の撮像画像において、特定された第２の相関先を含み、かつ、第２の相関先のエピポーラライン方向に延在する複数の画素列を含む中領域に対して処理を行う。

第１０の発明は、ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法を提供する。この画像処理方法は、コンピュータが、一方の撮像画像に面の傾きの算出対象となる小領域を設定する第１のステップと、コンピュータが、設定された小領域に対して、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う第２のステップと、コンピュータが、輝度特性の相関を評価することにより、少なくとも一方の処理が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、コンピュータが、輝度特性の相関を評価することにより、設定された小領域と輝度的に対応する第２の相関先を、他方の撮像画像において特定する第４のステップと、コンピュータが、伸縮パラメータまたはせん断パラメータを変化させることにより特定される第１の相関先のそれぞれにおいて、第１の相関先に対して評価された輝度特性の相関が最も高いパラメータを特定するとともに、コンピュータが、特定されたパラメータに基づいて、ステレオカメラの垂直軸回りまたはステレオカメラの水平軸回りにおける物体の面の傾きを算出する第５のステップとを有する。この場合、第３のステップは、コンピュータが、他方の撮像画像において、特定された第２の相関先を基準に設定される所定範囲を処理対象として、第１の相関先を特定する。

本発明によれば、一対の撮像画像に対して、伸縮またはせん断変形を行った上で、輝度特性の相関を評価し、小領域に相当する相関元と、他方の画像における相関先とが特定される。そして、輝度特性の相関が最も高くなる伸縮率を示す伸縮パラメータ、または、輝度特性の相関が最も高くなるせん断変形量を示すせん断パラメータを特定することにより、物体の傾きを求めることができる。また、小領域を最小単位として、面方向を算出することができるので、従来よりも高い分解能で面の傾きを算出することができる。

図１は、本実施形態にかかる画像処理装置１のブロック構成図である。ステレオカメラ２は一対のカメラ２ａ，２ｂで構成されており、それぞれのカメラ２ａ，２ｂには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像を撮像し、サブカメラ２ｂは、比較画像を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。

デジタル化された一対の画像データは、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。これにより、一対のカメラの取付位置は、等価的に平行等位とみなすことができる。

このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。画像データは、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｘ−ｙ座標系で表現され、それぞれのカメラ２ａ，２ｂのカメラの光学中心線との交点をそれぞれの画像平面における原点として、水平方向をｘ座標軸、垂直方向をｙ座標軸とする。一フレーム相当のステレオ画像データは、画像データメモリ６に格納される。

マイクロコンピュータ７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されている。このマイクロコンピュータ７は、画像データメモリ６に格納されている基準画像データおよび比較画像データを読み込む。そして、一フレーム相当のステレオ画像データに基づいて、基準画像を構成する所定面積の小領域内に写し出された物体の面の傾き（以下「面方向」という）を算出する。マイクロコンピュータ７は、これを機能的に捉えた場合、設定部８と、通常マッチング処理部９と、変形部１０と、変形マッチング処理部１１と、算出部１２とで構成される。

設定部８は、基準画像データによって規定される画像平面において、小領域ＳＡxyを設定する。通常マッチング処理部９は、輝度特性の相関を評価することにより、小領域ＳＡxyと輝度的に対応する相関先を、比較画像データによって規定される画像平面において特定する。一方、変形部１０は、伸縮率を示す伸縮パラメータβに基づいて、設定された小領域ＳＡxyを、エピポーラライン方向に伸縮する。これとともに、変形部１０は、せん断変形量を示すせん断パラメータαに基づいて、比較画像を処理対象として、エピポーラライン方向にせん断変形を行う。これらの処理が行われると、変形マッチング処理部１１は、輝度特性の相関を評価することにより、伸縮された小領域ＳＡ'xyと輝度的に対応する相関先を、せん断変形した比較画像において特定する。伸縮された小領域ＳＡ'xyに関する相関先を特定する場合、この変形マッチング処理部１１は、通常マッチング処理部９によって特定された相関先の位置を参照する。

算出部１２は、伸縮パラメータβおよびせん断パラメータαを変化させることにより、変形マッチング処理部１１によって特定される相関先のそれぞれにおいて、この相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータβおよびせん断パラメータαを特定する。そして、この特定された伸縮パラメータβに基づいて、ステレオカメラ２の垂直軸回りにおける物体の面の傾きが算出されるとともに、せん断パラメータαに基づいて、ステレオカメラ２の水平軸回りにおける物体の面の傾きが算出される。

ここで、「ステレオカメラの垂直軸」とは、撮像面に平行で、かつ、エピポーララインに直行する方向の軸をいい、「ステレオカメラの水平軸」とは、エピポーラライン方向の軸をいう。これらの軸は、ステレオ画像認識において、実空間を規定する三次元軸の一つの軸として機能し、水平面に対して平行等位にステレオカメラ２を配置した場合、垂直軸は水平面の鉛直方向と一致し、水平軸はカメラ基線方向と一致する。本実施形態において、ステレオカメラ２の垂直軸は後述するＹ軸に相当し、水平軸は後述するＸ軸に相当する。

図２は、本実施形態にかかる面方向の算出処理を示すフローチャートである。まず、ステップ１では、基準画像において、小領域ＳＡxyが設定される。この小領域ＳＡxyはこの領域内に写し出される物体に関する面方向の算出対象となる領域であり、この小領域ＳＡxyが面方向が算出される算出単位となる。面方向は、小領域ＳＡxyに写し出された物体の面を三次元の平面式で定義することにより、この平面の法線ベクトル（ａ，ｂ，ｃ）で表される。そのため、小領域ＳＡxyは、この領域内に写し出された物体の面が平面と見なせる程度にまで小さな面積に設定されることが好ましい。ただし、この小領域ＳＡxyは、ステレオマッチングの処理対象領域としても機能するため、ある程度の大きさが確保されていることが望ましい。なぜならば、小領域ＳＡxy内の画素数が多いほど、輝度情報が増えるため、マッチング精度が向上するからである。そこで、本実施形態では、小領域ＳＡxyとして、8×4画素の領域を用いる。図３は、基準画像に設定される小領域ＳＡxyの説明図である。例えば、基準画像が512×200画素で構成されている場合、一フレーム相当の基準画像から、小領域ＳＡxyの個数相当（64×50個）の面方向が算出され得る。

ステップ２において、設定された小領域ＳＡxyを処理対象として、視差ｄxyが算出される（通常マッチング処理）。周知のように、視差ｄxyは、その算出単位である小領域ＳＡxyに関する水平方向のずれ量であり、小領域ＳＡxyに写し出された対象物までの距離と大きな相関がある。すなわち、小領域ＳＡxy内に写し出されている対象物がカメラ２ａ，２ｂに近いほど、この小領域ＳＡxyの視差ｄxyは大きくなり、対象物が遠いほど視差ｄxyは小さくなる（無限に遠い場合、視差ｄは0になる）。

ある小領域ＳＡxy（相関元）に関する視差ｄxyを算出する場合、この小領域ＳＡxyの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる小領域ＳＡxyのｙ座標と同じ水平線（エピポーラライン）上を探索すればよい。通常マッチング処理部９は、相関元のｘ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その小領域ＳＡxyの視差ｄxyとする。算出された視差ｄxyは、小領域ＳＡxyを構成する各画素の画像平面上の位置（ｘ，ｙ）と対応付けられる。

２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１xyは一方の小領域のｘｙ番目の画素の輝度値であり、ｐ２xyは他方の小領域のｘｙ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１xy，ｐ２xyの差（絶対値）の小領域全体における総和であって、その差が小さいほど両小領域の相関が高いことを意味している。
（数式１）
ＣＢ＝Σ｜ｐ１xy−ｐ２xy｜

基本的に、エピポーラライン上に存在する小領域毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる小領域が相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄxyとなる。

ステップ３では、小領域ＳＡxyについて算出された視差ｄxyが有効であるか否か、すなわち、値としての信頼性が高いか否かが判断される。この判断を設ける理由は、ステレオマッチングによって算出される視差ｄxyには、ミスマッチング等の影響によって、誤差が含まれていることがあるからである。そこで、算出された視差ｄxyの信頼性を評価し、信頼性が高い視差ｄxyについて有効との判定を行う。この有効判定は、以下に示す条件を具備した視差ｄxyについて、行われる。
（条件１） シティブロック距離ＣＢの最小値が第１のしきい値ＣＢth1以下である。
（条件２） 探索範囲内において算出されたシティブロック距離ＣＢのうち、最大値と最小値との差が第２の判定値ＣＢth2以上である。

条件１により、最も相関性が高いと評価されたものの、相関元と相関先との輝度特性が大きく異なっている状況において算出された視差ｄxyが無効となる。また、条件２により、探索範囲内における輝度にバラツキが少なく、ミスマッチングが生じやすい状況において算出された視差ｄxyが無効となる。このステップ３において肯定判定された場合、すなわち、視差ｄxyが有効である場合には、ステップ４における面方向算出処理に進む。一方、ステップ３において否定判定された場合、すなわち、視差ｄxyが無効である場合には、ステップ４における面方向算出処理を行わず、本ルーチンを抜ける。

図４は、面方向算出処理の手順を示すフローチャートである。まず、ステップ１０において、初期化作業が行われ、各種パラメータの値が初期値にリセットされる。

ステップ１１において、伸縮パラメータβが設定される。この伸縮パラメータβは、基準画像に設定された小領域ＳＡxyをエピポーラライン方向に伸縮させる程度、すなわち、伸縮率を示すパラメータである。図５は、伸縮パラメータβの説明図である。例えば、伸縮パラメータβが「0.5」に設定されるケースでは、小領域ＳＡxyはその大きさが半分に縮小され、伸縮パラメータβが「2」に設定されるケースでは、小領域ＳＡxyはその大きさが2倍に伸張される。この伸縮パラメータβは、所定のステップ値ΔＡ刻みで変化し、所定の初期値βsから終了値βfまでの範囲の値が段階的に設定される。上述したステップ１０の初期化作業により、初期的には、伸縮パラメータβが初期値βs（本実施形態では「0.5」）に設定される。そして、ステップ１２において、設定された伸縮パラメータβに基づいて、小領域ＳＡxyの伸縮処理が行われる。この伸縮処理では、線形補間等の手法を用いて、小領域ＳＡxyが伸縮される（以下、「伸縮小領域ＳＡ'xy」という）。

ステップ１２に続くステップ１３において、せん断パラメータαが設定される。このせん断パラメータαは、比較画像をエピポーラライン方向にせん断変形させる程度、すなわち、せん断変形量を示すパラメータである。このせん断パラメータαは、所定のステップ値ΔＢ刻みで変化し、所定の初期値αsから終了値αfまでの範囲の値が段階的に設定される。上述したステップ１０の初期化作業により、初期的には、せん断パラメータαが初期値αs（本実施形態では「-3」）に設定される。

ステップ１４において、設定されたせん断パラメータαに基づいて、比較画像を処理対象として、せん断変形処理が行われる。この変形処理では、周知の幾何学的な手法を用いることができる。比較画像の全域を対象としてせん断変形を行った場合、比較画像を構成する小領域を対象としてそれを行った場合と比べ、演算量が増えるため、マイクロコンピュータ７の処理負荷が大きい。また、このせん断変形処理は、伸縮小領域ＳＡ'xyの相関先を比較画像において特定するマッチング処理の前提として行われるにすぎない。さらに、図３に示すステップ２における視差ｄxyの算出処理において、小領域ＳＡxyの相関先は比較画像において特定されている。以上の理由から、このせん断変形処理は、比較画像全体を対象に行う必要はなく、ステレオマッチングを行う上で必要とされる程度の領域（以下「中領域」という）に対して、せん断変形を行えば足りる。本実施形態では、視差ｄxyに対応する相関先を含み、かつ、この相関先の左右にそれぞれ存在する複数の画素列を中領域として用いる。

図６は、せん断変形処理の説明図である。せん断パラメータαが「-3」に設定されるケースでは、このせん断変形処理により、中領域の上辺を基準に、下辺が-3画素、すなわち、左方向に3画素分ずれるように、中領域全体が変形される。これに対して、せん断パラメータαが「3」に設定されるケースでは、このせん断変形処理により、中領域の上辺を基準に、下辺が3画素、すなわち、右方向に3画素分ずれるように、中領域全体が変形される。

ステップ１５において、伸縮小領域ＳＡ'ijと中領域とのマッチング処理が行われる（変形マッチング処理）。具体的には、せん断変形された中領域において、エピポーライン上を所定のステップ値ずつシフトしながら、伸縮小領域ＳＡ'ijを基準とした8×4画素の領域（相関元）と、相関先の候補との相関性が順次評価される（ステレオマッチング）。マッチングを取る範囲は、通常マッチング処理における小領域ＳＡxyの相関先（視差ｄxy）を基準に設定されている。図７は、マッチング処理の説明図である。本実施形態では、この視差ｄxy（そのｘ座標「ｘ1c」）の前2画素の位置から視差ｄxyの後2画素の位置までの間において、相関元を0.25画素ずつシフトしながら、相関性がそれぞれ評価される。なお、同図は、説明の便宜上、変形小領域ＳＡ'ijと中領域とをオフセットさせて示している。相関性の評価には、上述したシティブロック距離ＣＢを用いることができる。そして、原則として、最も相関が高いと判断される相関先（相関先の候補のうちのいずれか）のシフト量を、小領域ＳＡijの視差ｄxyに加味することにより、伸縮小領域ＳＡ'xyの視差ｄ'xyとする。この場合、伸縮小領域ＳＡ'xyと、視差ｄ'xyに対応する相関先との間で算出されるシティブロック距離ＣＢの値は、最小となる。以下、この最小値となるシティブロック距離を、最小シティブロック距離ＣＢminという。

なお、伸縮パラメータβによっては、伸縮小領域ＳＡ'ijが、相関元に相当する8×4画素の領域よりも小さかったり、逆に、8×4画素の領域よりも大きかったりすることがある。例えば、図５に示すように、伸縮パラメータβが「0.5」に設定されているケースでは前者の状況が発生し、伸縮パラメータβが「2」に設定されているケースでは後者の状況が発生する。この場合、前者の状況では、相関元が8×4画素の領域となるように、伸縮前の小領域ＳＡijの右側、すなわち、ｘ座標ｘ2sよりも右側に存在する画素列が伸縮小領域ＳＡ'ijに追加される。一方、後者の状況では、相関元が8×4画素の領域となるように、伸縮小領域ＳＡ'ijにおけるｘ座標ｘ1s〜ｘ2sまでの画素列が、相関元として選択される。

ステップ１６において、算出された最小シティブロック距離ＣＢminが、最小値を更新したか否かが判断される。具体的には、現在設定されている伸縮パラメータβとせん断パラメータαとの組合わせにおいて算出された最小シティブロック距離ＣＢminが、このタイミング以前に算出された最小シティブロック距離ＣＢminと比較される。そして、以前に算出された最小シティブロック距離ＣＢminよりも、現在の最小シティブロック距離ＣＢminが小さい場合に、最小値が更新されたと判断される。ステップ１６において否定判定された場合、すなわち、算出された最小シティブロック距離ＣＢminが最小値を更新しない場合には、ステップ１７をスキップして、ステップ１８に進む。一方、このステップ１６において肯定判定された場合、すなわち、算出された最小シティブロック距離ＣＢminが最小値を更新した場合には、ステップ１７に進む。

ステップ１７において、面方向を算出するための演算パラメータが、以下に示す如く設定・更新される。具体的には、種々のパラメータが設定された伸縮小領域ＳＡ'xyと中領域の相関先とにおいて、最も相関が高いと判断された両者の組合わせに設定されている伸縮パラメータβとせん断パラメータαとが演算パラメータに設定・更新される。これとともに、最も相関が高いと判断された両者の組合わせにおける視差ｄ'xyも演算パラメータに設定される。
Ｗc1/Ｗs ← β
Ｗcd ← α
ｄ0 ← ｄ'xy

ステップ１７に続くステップ１８において、せん断パラメータαが、この値の取り得る範囲の上限値αf（本実施形態では「3」）に到達したか否かが判断される。ステップ１８において否定判定された場合、すなわち、せん断パラメータαが終了値αfに相当する3に到達していない場合には、ステップ１３に戻る。そして、ステップ１３において、現在のせん断パラメータαにステップ値ΔＢを加算することにより、新たなせん断パラメータαが設定される。本実施形態において、このステップ値ΔＢは、せん断パラメータαが初期値-3から終了値3の範囲を16段階で変化するような値に設定されている。したがって、ステップ１８において否定判定されることにより、せん断パラメータαが、それぞれが異なるせん断変形量を示す複数の値に設定されることとなる。一方、このステップ１８において肯定判定された場合、すなわち、せん断パラメータαが3に到達した場合には、ステップ１９に進む。

ステップ１９において、伸縮パラメータβが、この値の取り得る範囲の上限値βf（本実施形態では「2」）に到達したか否かが判断される。ステップ１９において否定判定された場合、すなわち、伸縮パラメータβが終了値βfに相当する2に到達していない場合には、ステップ１１に戻る。そして、ステップ１１において、現在の伸縮パラメータβにステップ値ΔＡを加算することにより、新たな伸縮パラメータβが設定される。本実施形態において、このステップ値ΔＡは、伸縮パラメータβが初期値0.5から終了値2.0の範囲を32段階で変化するような値に設定されている。したがって、ステップ１９において否定されることにより、伸縮パラメータβが、それぞれが異なる伸縮率を示す複数の値に設定されることとなる。一方、このステップ１９において肯定判定された場合、すなわち、伸縮パラメータβが2に到達した場合には、ステップ２０に進む。

ステップ２０において、設定された演算パラメータが有効であるか否かが判定される。この有効判定は、図３におけるステップ３に示す視差ｄxyの有効判定と同様の手法が用いられる。具体的には、演算パラメータｄ0の現在値に設定されている視差ｄ'xyを処理対象として、この視差ｄ'xyの算出にあたり算出されたシティブロック距離ＣＢの最小値および最大値に基づいて、有効判定が行われる。このステップ２０において肯定判定された場合、すなわち、視差ｄ'xyが有効である場合には、ステップ２０に進む。一方、ステップ２０において否定判定された場合、すなわち、視差ｄ'xyが無効である場合には、ステップ２１をスキップして、本ルーチンを抜ける。

ステップ２１において、設定されている演算パラメータに基づいて、面方向が一義的に算出される。なお、Ｂはカメラ基線長、ｆは焦点距離、ｈは小領域ＳＡxyとする。
ａ ← （Ｗc1/Ｗs−1）/Ｂ
ｂ ← Ｗcd/（ｈ・Ｂ）
ｃ ← （ｄ0/Ｂ−ａ・ｘs−ｂ・ｙs）/ｆ

マイクロコンピュータ７は、小領域ＳＡxyを二次元的に移動させながら、基準画像の全域に亘り、上述した処理を実行する。これにより、基準画像に設定された各小領域ＳＡxyについて、面方向（法線ベクトル（ａ，ｂ，ｃ））が算出される。

以下、伸縮パラメータβおよびせん断パラメータαの詳細について説明する。図８は、伸縮パラメータβの原理を説明する図である。距離方向（撮像面垂直方向）をＺ軸、カメラの基線長方向をＸ軸、ステレオカメラの垂直方向をＹ軸とするＸＹＺ空間において、この三次元座標の原点位置Ｏに、メインカメラ２ａの焦点が位置するように、一対のカメラを平行等位で設置する。同図（ａ）は、設置されたステレオカメラＳＣをＹ軸上方より眺めた二次元平面図である。このステレオカメラＳＣから所定距離だけ離間した位置には、ＸＹ軸を含む平面と平行な矩形物体Ｏ1が、Ｙ軸回りに所定の角度θ1だけ回転させた上で配置されている。カメラ側から眺めた場合、物体Ｏ1は、回転角θ1により、物体Ｏ1の左辺がその右辺よりも遠方に位置する。同図（ｂ）には、物体Ｏ1を含む前方の景色をステレオカメラＳＣで撮像することにより出力された基準画像と比較画像とが示されている。同図（ｂ）から分かるように、カメラの幾何学的な性質に起因して、比較画像に写し出された物体Ｏ1は、基準画像に写し出された物体Ｏ1よりも水平方向に伸張する。ステレオ法の原理は、いわゆる、この幾何学的な性質を利用したものであり、それ故に、物体Ｏ1の左辺の視差は、その右辺の視差よりも小さくなる。そのため、比較画像では、視差に応じたずれ量が水平方向に生じているので、物体Ｏ1が伸張して写し出される。なお、一対のカメラが平行等位で配置されている場合、画像上の水平方向とエピポーラライン方向とは一致する。

基準画像における物体Ｏ1の水平方向幅Ｗsに対する比較画像における物体Ｏ1の水平方向幅Ｗcとの比（Ｗ1c/Ｗ1s）、いわゆる、伸縮率は、物体Ｏ1のＹ軸回りの回転角θ1に起因する値である。したがって、伸縮率と回転角θ1との相関関係が分かっていれば、この伸縮率を適切に特定することにより、物体Ｏ1の回転角θ1を求めることができる。伸縮率の算出手法としては、基準画像において物体Ｏ1が写し出された領域（以下「物体領域」という）を水平方向に伸縮させつつ、比較画像に対してステレオマッチングを行う。この場合、ある伸縮率において、物体領域の水平方向幅Ｗ1sが、比較画像に写し出された物体Ｏ1の水平方向幅Ｗ1cと一致し、かつ、物体領域が比較画像に写し出された物体Ｏ1と位置的に対応した場合に、両者の輝度特性の相関は最も高くなる。そこで、このステレオマッチング処理により、シティブロック距離ＣＢが最も小さくなることを条件として、適切な伸縮率を求めることができる。

図９は、せん断パラメータαの原理を説明する図である。同図（ａ）は、ステレオカメラＳＣをＸ軸方向より眺めた二次元平面図であり、図８（ａ）と同様のレイアウトでステレオカメラＳＣが配置されている。同図（ａ）に示すように、このステレオカメラＳＣから所定距離だけ離間した位置には、ＸＹ軸を含む平面と平行な矩形物体Ｏ2が、Ｘ軸回りに所定の角度θ2だけ回転させた上で配置されている。同図（ｂ）には、物体Ｏ2を含む前方の景色をステレオカメラＳＣで撮像することにより出力された基準画像と比較画像とが示されている。同図（ｂ）から分かるように、カメラの光学的な性質に起因して、比較画像では、基準画像に写し出された物体Ｏ2が水平方向にせん断変形されて写し出される。カメラ側から眺めた場合、物体Ｏ2は、回転角θ2により、物体Ｏ2上辺がその下辺よりも遠方に存在する。すなわち、物体Ｏ2の上辺の視差は、その下辺の視差よりも小さくなる。そのため、比較画像では、視差に応じたずれ量が水平方向に生じているので、物体Ｏ2がせん断変形して写し出される。

比較画像における物体Ｏ2の上辺に対する下辺とのずれ量Ｗd、いわゆる、せん断変形量は、物体Ｏ2のＸ軸回りの回転角θ2に起因する値である。したがって、せん断変形量と回転角θ2との相関関係が予め分かっていれば、このせん断変形量を適切に特定することにより、物体Ｏ2の回転角θ2を求めることができる。せん断変形量の算出手法としては、基準画像において物体Ｏ2が写し出された領域（以下「物体領域」という）をせん断変形させつつ、比較画像に対してステレオマッチングを行う。この場合、あるせん断変形量において、物体領域における上辺と下辺とのずれ量Ｗdが、比較画像に写し出された物体Ｏ2における上辺と下辺とのずれ量Ｗdと一致し、かつ、物体領域が比較画像に写し出された物体Ｏ2と位置的に対応した場合に、両者の輝度特性の相関は最も高くなる。そこで、このステレオマッチング処理により、シティブロック距離ＣＢが最も小さくなることを条件として、適切なせん断変形量を求めることができる。

このようなステレオ画像の特性を踏まえた上で、小領域における面方向、すなわち、法線ベクトル（ａ，ｂ，ｃ）の算出原理を説明する。図１０は、法線ベクトルの算出原理の説明図である。三次元空間上の点Ｐ（Ｘ，Ｙ，Ｚ）における基準画像での投影点ｐsを（ｘs，ｙs）、比較画像での投影点ｐcを（ｘc，ｙc）とする。一対のカメラが平行等位に配置されている場合、点Ｐおよび両投影点ｐs，ｐcの間には、以下に示す数式２の関係が成立する。なお、ｄは投影点ｐsの視差、Ｂはカメラ基線長、ｆは焦点距離とする。
（数式２）
ｘc ＝ ｘs＋ｄ，ｙc＝ｙs
Ｘ ＝ Ｂ/ｄ×ｘs，Ｙ＝Ｂ/ｄ×ｙs，Ｚ＝Ｂ/ｄ×ｆ

点Ｐが、法線ベクトル（ａ，ｂ，ｃ）の平面上に存在する場合、数式３に示す関係が成立する。
（数式３）
ａＸ＋ｂＹ＋ｃＺ＝１

図１１は、小領域ＳＡxyに関する説明図である。基準画像に設定される小領域ＳＡxyの水平方向における幅をｗ1とする。基準画像で投影されている物体の面（小領域ＳＡxy相当）について、比較画像での投影像の上辺の幅をＷc1、下辺の幅をＷc2とする。また、小領域ＳＡxyの上辺における視差と、下辺における視差との差、すなわち、せん断変形量をＷcdとする。なお、小領域ＳＡxyの高さｈは、基準画像と比較画像とで等しい。ここで、小領域ＳＡxyにおける４つの頂点（0,1,2,3）の視差をｄi（i＝0,1,2,3）とすると、各視差ｄiは以下に示す数式４で表すことができる。
（数式４）
ｄ0＝ａ・ｘs・Ｂ＋ｂ・ｙs・Ｂ＋ｃ・Ｂ・ｆ
ｄ1＝ｄ0＋ａ・ｗs・Ｂ
ｄ2＝ｄ0＋ｂ・ｈ・Ｂ
ｄ3＝ｄ0＋ａ・ｗs・Ｂ＋ｂ・ｈ・Ｂ

また、比較画像における上辺の幅Ｗc1は数式５で表すことができる。
（数式５）
Ｗc1＝Ｗs＋ｄ1−ｄ0

比較画像における上辺の幅Ｗclおよび下辺の幅Ｗc2、さらには、せん断変形量Ｗcdは、数式４および数式５に基づいて、数式６で表すことができる。
（数式６）
Ｗc1＝Ｗs（1＋ａ・Ｂ）
Ｗcd＝ｈ・ｂ・Ｂ
Ｗc2＝Ｗs（1＋ａ・Ｂ）＋ｈ・ｂ・Ｂ＝Ｗcl＋Ｗcd

また、基準画像の小領域ＳＡxyに対する比較画像での投影像の横方向の伸縮率は、縦方向には無関係で、Ｗc1/Ｗsで表される。したがって、法線ベクトルは、この伸縮率Ｗc1/Ｗs、せん断変形量Ｗcd、小領域ＳＡxyの頂点０における基準画像における位置（ｘs，ｙs）、およびその視差ｄに基づいて、下式で算出される。
（数式７）
ａ＝（Ｗc1/Ｗs−1）/Ｂ
ｂ＝Ｗcd/（ｈ・Ｂ）
ｃ＝（ｄ0/Ｂ−ａ・ｘs−ｂ・ｙs）/ｆ

本実施形態によれば、このような原理を踏襲し、ステレオマッチングを用いて伸縮パラメータβおよびせん断パラメータαを適切に設定することにより、法線ベクトル（面方向）を求めることができる。本発明者らが検討を行った結果、伸縮率、すなわち、伸縮パラメータβが1.5まで検出できれば、Ｙ軸回りに概ね70°まで回転した物体面の法線ベクトルを求めることができる。また、せん断変形量、すなわち、せん断パラメータαが3まで検出できれば、Ｘ軸回りに概ね70°まで回転した物体面の法線ベクトルを求めることができる。これらのパラメータβ，αは、面方向の算出レベル、すなわち、どの程度の範囲までで面方向を算出したいのかに応じて、カメラパラメータ、例えば、焦点距離ｆ、画素ピッチ、カメラ基線長Ｂまたは対象物までの距離を考慮した上で、その適切な値の範囲が設定される。一般な面検出であれば、Ｙ軸またはＸ軸回りに概ね70°となるように、これらのパラメータβ，αの値の範囲を設定することが好ましい。

また、例えば、8×4画素といった小領域を最小単位として、面方向を算出することができる。この小領域の大きさは、視差ｄxyの算出単位と同等のレベルであり、従来よりも高い分解能で面方向の算出を行うことができる。そのため、物体の三次元認識に対して、この面方向算出処理を適用し、物体の傾きまでも考慮することで、認識精度の向上を図ることができる。

なお、本実施形態では、伸縮処理とせん断変形処理とを別個の撮像画像、すなわち、基準画像と比較画像とに対して行ったが、伸縮された小領域ＳＡ'xyに対してさらにせん断変形処理を行い、基準画像のみにおいて変形を行ってもよい。ただし、この手法によれば、8×4画素程度の小領域では、変形を重ねて行うことで、小領域ＳＡxyの画像劣化（画像のぼけ）に繋がり、マッチング精度が低下してしまう可能性がある。そのため、本実施形態のように、伸縮処理とせん断変形処理とを別個の撮像画像に対して行うことで、このような問題が発生することを抑制することができる。なお、基準画像の小領域ＳＡxyのみ伸縮・せん断変形する場合には、せん断パラメータαに基づいて、伸縮小領域ＳＡ'xyに対して、エピポーラライン方向にせん断変形が行われる。また、ステレオマッチングを用いて、せん断変形が行われた伸縮小領域ＳＡ'xyと輝度的に対応する相関先を、比較画像において特定する。そして、せん断パラメータαを変化させることにより特定される相関先のそれぞれにおいて、相関が最も高い伸縮パラメータβと、せん断パラメータαとを特定することにより、面方向が算出される。

（第２の実施形態）
第２の実施形態では、基準画像に小領域ＳＡxyを設定し、これとは異なる撮像画像、すなわち、比較画像を処理対象として、伸縮・せん断変形処理を行うことにより、面方向を算出する。具体的には、まず、比較画像を処理対象として、伸縮パラメータβに基づいて、エピポーラライン方向に伸縮する。輝度特性の相関を評価することにより、設定された小領域ＳＡxyと輝度的に対応する相関先を、伸縮された他方の撮像画像において特定する。伸縮パラメータβを変化させることにより特定される相関先のそれぞれにおいて、相関先に対して評価された輝度特性の相関が最も高い伸縮パラメータβを特定する。また、伸縮された比較画像を処理対象として、せん断パラメータαに基づいてせん断変形がさらに行われる。そして、せん断パラメータαを変化させることにより特定される相関先のそれぞれにおいて、この相関先に対して評価された輝度特性の相関が最も高いせん断パラメータαを特定することにより、垂直軸を含む三次元空間における面方向が算出される。

なお、比較画像の伸縮・せん断変形を行う場合には、画像領域のすべてを処理対象とする必要はなく、第１の実施形態のように、通常マッチングにおいて特定された相関先を参照し、その相関先、或いは相関先を含む領域に対して変形を行えば足りる。また、伸縮・せん断変形処理の両者を行うのであれば、比較画像を処理対象として両処理を実行するのみならず、比較画像を伸縮させた上で、小領域ＳＡxyに対してせん断変形を行うことで、面方向を算出してもよい。

なお、第１または第２の実施形態では、面方向を法線ベクトル、すなわち、三次元空間内における傾きとして求めたが、伸縮パラメータβに基づいて、ステレオカメラ２の垂直軸回りの傾きのみを求めてもよい。また、せん断パラメータαに基づいて、ステレオカメラ２の水平軸回りの傾きのみを求めることもできる。具体的には、基準画像に面の傾きの算出対象となる小領域ＳＡxyを設定し、せん断パラメータαに基づいて、設定された小領域ＳＡxyに対して、エピポーラライン方向にせん断変形が行われる。そして、輝度特性の相関を評価することにより、せん断変形が行われた小領域ＳＡxyと輝度的に対応する相関先が、比較画像において特定される。この場合、算出部は、せん断パラメータαを変化させることにより特定される相関先のそれぞれにおいて、輝度特性の相関が最も高いせん断パラメータαを特定し、この特定されたせん断パラメータαに基づいて、平軸回りにおける物体の面の傾きを算出する。

また、本実施形態によれば、各パラメータα，βが適切に設定された小領域ＳＡxyの視差ｄ'xyが算出されているため、この視差ｄ'xyを用いて、通常マッチング処理で算出された小領域ＳＡxyの視差ｄxyを調整してもよい。上述したように、小領域ＳＡxyについて算出された視差ｄxyは、この小領域ＳＡxyの位置（ｘ，ｙ）と対応付けられている。そこで、例えば、伸縮やせん断変形の影響を受けづらい小領域ＳＡxyの中心近傍の視差ｄxyを視差ｄ'xyで更新するといった如くである。

本実施形態では、画像の全域に亘り、小領域ＳＡxyを設定して、面方向を算出している。ただし、これ以外にも、画像平面上の所定の領域、例えば、複数の小領域で構成される小領域群や、単一の小領域を対象として、面方向を特定してもよい。このケースでは、オプティカルフローやパターンマッチング等の手法を用いて、面方向の算出対象となる物体が写し出された領域を予め特定しておくことにより、効率的に面方向の算出を行うことができる。

また、本実施形態では、面方向の算出処理とともに、小領域ＳＡxyの視差ｄxyを求めたが、事前にハードウェア構成によって、各小領域ＳＡxyにおける視差ｄxyを算出しておいてもよい。なお、ハードウェア構成で実現されたステレオ画像処理部の詳細については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。

本実施形態にかかる画像処理装置のブロック構成図 本実施形態にかかる面方向の算出処理を示すフローチャート 基準画像に設定される小領域ＳＡxyの説明図 面方向算出処理の手順を示すフローチャート 伸縮パラメータβの説明図 せん断変形処理の説明図 マッチング処理の説明図 伸縮パラメータβの原理を説明する図 せん断パラメータαの原理を説明する図 法線ベクトルの算出原理の説明図 小領域ＳＡxyに関する説明図

符号の説明

１ 画像処理装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ Ａ／Ｄコンバータ
４ Ａ／Ｄコンバータ
５ 画像補正部
６ 画像データメモリ
７ マイクロコンピュータ
８ 設定部
９ 通常マッチング処理部
１０ 変形部
１１ 変形マッチング処理部
１２ 算出部

Claims (28)

1. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置において、
   一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する設定部と、
   伸縮率を示す伸縮パラメータに基づいて、前記設定された小領域をエピポーラライン方向に伸縮する変形部と、
   輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、
   前記伸縮パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、当該特定された伸縮パラメータに基づいて、前記ステレオカメラの垂直軸回りにおける前記物体の面の傾きを算出する算出部と
   を有することを特徴とする画像処理装置。
2. 前記変形部は、せん断変形量を示すせん断パラメータに基づいて、前記伸縮された小領域に対して、エピポーラライン方向にせん断変形を行い、
   前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定し、
   前記算出部は、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項１に記載された画像処理装置。
3. 前記変形部は、せん断変形量を示すせん断パラメータに基づいて、前記他方の撮像画像を処理対象として、前記エピポーラライン方向にせん断変形を行い、
   前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第２の相関先を、前記せん断変形が行われた他方の撮像画像において特定し、
   前記算出部は、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項１に記載された画像処理装置。
4. 輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第２のマッチング処理部をさらに有し、
   前記変形部は、前記他方の撮像画像において、前記第３の相関先を含み、かつ、当該第３の相関先の前記エピポーラライン方向に延在する複数の画素列を含む中領域に対して、前記せん断変形を行い、
   前記第１のマッチング処理部は、前記せん断変形が行われた中領域において、前記第３の相関先を基準に設定される所定範囲を処理対象として、前記第２の相関先を特定することを特徴とする請求項３に記載された画像処理装置。
5. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置において、
   一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する設定部と、
   伸縮率を示す伸縮パラメータに基づいて、前記他方の撮像画像を処理対象として、エピポーラライン方向に伸縮する変形部と、
   輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第１の相関先を、前記伸縮された他方の撮像画像において特定する第１のマッチング処理部と、
   前記伸縮パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、当該特定された伸縮パラメータに基づいて、前記ステレオカメラの垂直軸回りにおける前記物体の面の傾きを算出する算出部と
   を有することを特徴とする画像処理装置。
6. 前記変形部は、せん断変形量を示すせん断パラメータに基づいて、前記伸縮された他方の撮像画像を対象として、前記エピポーラライン方向にせん断変形を行い、
   前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記せん断変形が行われた他方の撮像画像において特定し、
   前記算出部は、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項５に記載された画像処理装置。
7. 輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第２のマッチング処理部をさらに有し、
   前記変形部は、前記他方の撮像画像において、前記特定された第３の相関先を処理対象として、前記他方の撮像画像を伸縮するとともに、当該伸縮された他方の撮像画像に対して、せん断変形を行うことを特徴とする請求項６に記載された画像処理装置。
8. 前記変形部は、せん断変形量を示すせん断パラメータに基づいて、前記設定された小領域に対して、前記エピポーラライン方向にせん断変形を行い、
   前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記伸縮された他方の撮像画像において特定し、
   前記算出部は、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項５に記載された画像処理装置。
9. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置において、
   一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する設定部と、
   せん断変形量を示すせん断パラメータに基づいて、前記設定された小領域に対して、エピポーラライン方向にせん断変形を行う変形部と、
   輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、
   前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、当該特定されたせん断パラメータに基づいて、前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する算出部と
   を有することを特徴とする画像処理装置。
10. 前記変形部は、伸縮率を示す伸縮パラメータに基づいて、前記せん断変形が行われた小領域を、エピポーラライン方向に伸縮し、
    前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定し、
    前記算出部は、前記伸縮パラメータを変化させることにより特定される前記第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、当該特定された伸縮パラメータと、前記特定されたせん断パラメータとに基づいて、前記水平軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項１に記載された画像処理装置。
11. 前記変形部は、伸縮率を示す伸縮パラメータに基づいて、前記他方の撮像画像を処理対象として、前記エピポーラライン方向に伸縮し、
    前記第１のマッチング処理部は、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記伸縮された他方の撮像画像において特定し、
    前記算出部は、前記伸縮パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、当該特定された伸縮パラメータと、前記特定されたせん断パラメータとに基づいて、前記水平軸を含む三次元空間における前記物体の面の傾きを算出することを特徴とする請求項１に記載された画像処理装置。
12. 輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第２のマッチング処理部をさらに有し、
    前記変形部は、前記他方の撮像画像において、前記第３の相関先を伸縮し、
    前記第１のマッチング処理部は、前記伸縮された第３の相関先を基準に設定される所定範囲を処理対象として、前記第２の相関先を特定することを特徴とする請求項１１に記載された画像処理装置。
13. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置において、
    一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する設定部と、
    前記他方の撮像画像を処理対象として、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、前記エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う変形部と、
    輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第１の相関先を、前記少なくとも一方の処理が行われた他方の撮像画像において特定する第１のマッチング処理部と、
    輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定する第２のマッチング処理部と、
    前記伸縮パラメータまたは前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高いパラメータを特定するとともに、当該特定されたパラメータに基づいて、前記ステレオカメラの垂直軸回りまたは前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する算出部とを有し、
    前記変形部は、前記他方の撮像画像において、前記特定された第２の相関先を含み、かつ、当該第２の相関先の前記エピポーラライン方向に延在する複数の画素列を含む中領域に対して前記処理を行うことを特徴とする画像処理装置。
14. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理装置において、
    一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する設定部と、
    前記設定された小領域に対して、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、前記エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う変形部と、
    輝度特性の相関を評価することにより、前記少なくとも一方の処理が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第１のマッチング処理部と、
    輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定する第２のマッチング処理部と、
    前記伸縮パラメータまたは前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記パラメータを特定するとともに、当該特定されたパラメータに基づいて、前記ステレオカメラの垂直軸回りまたは前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する算出部とを有し、
    前記第１のマッチング処理部は、前記他方の撮像画像において、前記特定された第２の相関先を基準に設定される所定範囲を処理対象として、前記第１の相関先を特定することを特徴とする画像処理装置。
15. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法において、
    コンピュータが、一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する第１のステップと、
    コンピュータが、伸縮率を示す伸縮パラメータに基づいて、前記設定された小領域をエピポーラライン方向に伸縮する第２のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、
    コンピュータが、前記伸縮パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、コンピュータが、当該特定された伸縮パラメータに基づいて、前記ステレオカメラの垂直軸回りにおける前記物体の面の傾きを算出する第５のステップと
    を有することを特徴とする画像処理方法。
16. 前記第２のステップは、コンピュータが、せん断変形量を示すせん断パラメータに基づいて、前記伸縮された小領域に対して、エピポーラライン方向にせん断変形を行うステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記せん断パラメータを変化させることにより特定される第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、コンピュータが、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項１５に記載された画像処理方法。
17. 前記第２のステップは、コンピュータが、せん断変形量を示すせん断パラメータに基づいて、前記他方の撮像画像を処理対象として、前記エピポーラライン方向にせん断変形を行うステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第２の相関先を、前記せん断変形が行われた他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、コンピュータが、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項１５に記載された画像処理方法。
18. コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第５のステップをさらに有し、
    前記第２のステップは、コンピュータが、前記他方の撮像画像において、前記第３の相関先を含み、かつ、当該第３の相関先の前記エピポーラライン方向に延在する複数の画素列を含む中領域に対して、前記せん断変形を行い、
    前記第３のステップは、コンピュータが、前記せん断変形が行われた中領域において、前記第３の相関先を基準に設定される所定範囲を処理対象として、前記第２の相関先を特定することを特徴とする請求項１７に記載された画像処理方法。
19. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法において、
    コンピュータが、一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する第１のステップと、
    コンピュータが、伸縮率を示す伸縮パラメータに基づいて、前記他方の撮像画像を処理対象として、エピポーラライン方向に伸縮する第２のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第１の相関先を、前記伸縮された他方の撮像画像において特定する第３のステップと、
    コンピュータが、前記伸縮パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、コンピュータが、当該特定された伸縮パラメータに基づいて、前記ステレオカメラの垂直軸回りにおける前記物体の面の傾きを算出する第４のステップと
    を有することを特徴とする画像処理方法。
20. 前記第２のステップは、コンピュータが、せん断変形量を示すせん断パラメータに基づいて、前記伸縮された他方の撮像画像を対象として、前記エピポーラライン方向にせん断変形を行うステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記せん断変形が行われた他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、コンピュータが、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項１９に記載された画像処理方法。
21. コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第５のステップをさらに有し、
    前記第２のステップは、コンピュータが、前記他方の撮像画像において、前記特定された第３の相関先を処理対象として、前記他方の撮像画像を伸縮するとともに、コンピュータが、当該伸縮された他方の撮像画像に対して、せん断変形を行うことを特徴とする請求項２０に記載された画像処理方法。
22. 前記第２のステップは、コンピュータが、せん断変形量を示すせん断パラメータに基づいて、前記設定された小領域に対して、前記エピポーラライン方向にせん断変形を行うステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記伸縮された他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記せん断パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、コンピュータが、当該特定されたせん断パラメータと、前記特定された伸縮パラメータとに基づいて、前記垂直軸を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項１９に記載された画像処理方法。
23. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法において、
    一コンピュータが、方の撮像画像に前記面の傾きの算出対象となる小領域を設定する第１のステップと、
    コンピュータが、せん断変形量を示すせん断パラメータに基づいて、前記設定された小領域に対して、エピポーラライン方向にせん断変形を行う第２のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、
    コンピュータが、前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記せん断パラメータを特定するとともに、コンピュータが、当該特定されたせん断パラメータに基づいて、前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する第４のステップと
    を有することを特徴とする画像処理方法。
24. 前記第２のステップは、コンピュータが、伸縮率を示す伸縮パラメータに基づいて、前記せん断変形が行われた小領域を、エピポーラライン方向に伸縮するステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記伸縮された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記伸縮パラメータを変化させることにより特定される前記第２の相関先のそれぞれにおいて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、コンピュータが、当該特定された伸縮パラメータと、前記特定されたせん断パラメータとに基づいて、前記水平軸を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項２３に記載された画像処理方法。
25. 前記第２のステップは、コンピュータが、伸縮率を示す伸縮パラメータに基づいて、前記他方の撮像画像を処理対象として、前記エピポーラライン方向に伸縮するステップを含み、
    前記第３のステップは、コンピュータが、輝度特性の相関を評価することにより、前記せん断変形が行われた小領域と輝度的に対応する第２の相関先を、前記伸縮された他方の撮像画像において特定するステップを含み、
    前記第４のステップは、コンピュータが、前記伸縮パラメータを変化させることにより特定される前記第２の相関先のそれぞれについて、当該第２の相関先に対して評価された前記輝度特性の相関が最も高い前記伸縮パラメータを特定するとともに、コンピュータが、当該特定された伸縮パラメータと、前記特定されたせん断パラメータとに基づいて、前記水平を含む三次元空間における前記物体の面の傾きを算出するステップを含むことを特徴とする請求項２３に記載された画像処理方法。
26. コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第３の相関先を、前記他方の撮像画像において特定する第５のステップをさらに有し、
    前記第２のステップは、コンピュータが、前記他方の撮像画像において、前記第３の相関先を伸縮し、
    前記第３のステップは、コンピュータが、前記伸縮された第３の相関先を基準に設定される所定範囲を処理対象として、前記第２の相関先を特定することを特徴とする請求項２５に記載された画像処理方法。
27. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法において、
    コンピュータが、一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する第１のステップと、
    コンピュータが、前記他方の撮像画像を処理対象として、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、前記エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う第２のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第１の相関先を、前記少なくとも一方の処理が行われた他方の撮像画像において特定する第３のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定する第４のステップと、
    コンピュータが、前記伸縮パラメータまたは前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高いパラメータを特定するとともに、コンピュータが、当該特定されたパラメータに基づいて、前記ステレオカメラの垂直軸回りまたは前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する第５のステップとを有し、
    前記第２のステップは、コンピュータが、前記他方の撮像画像において、前記特定された第２の相関先を含み、かつ、当該第２の相関先の前記エピポーラライン方向に延在する複数の画素列を含む中領域に対して前記処理を行うことを特徴とする画像処理方法。
28. ステレオカメラから出力される一対の撮像画像に基づいて、撮像画像に写し出された物体の面の傾きを算出する画像処理方法において、
    コンピュータが、一方の撮像画像に前記面の傾きの算出対象となる小領域を設定する第１のステップと、
    コンピュータが、前記設定された小領域に対して、伸縮率を示す伸縮パラメータに基づいて、エピポーラライン方向に伸縮する伸縮処理、または、せん断変形量を示すせん断パラメータに基づいて、前記エピポーラライン方向にせん断変形を行うせん断変形処理の少なくとも一方の処理を行う第２のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記少なくとも一方の処理が行われた小領域と輝度的に対応する第１の相関先を、他方の撮像画像において特定する第３のステップと、
    コンピュータが、輝度特性の相関を評価することにより、前記設定された小領域と輝度的に対応する第２の相関先を、前記他方の撮像画像において特定する第４のステップと、
    コンピュータが、前記伸縮パラメータまたは前記せん断パラメータを変化させることにより特定される前記第１の相関先のそれぞれにおいて、当該第１の相関先に対して評価された前記輝度特性の相関が最も高い前記パラメータを特定するとともに、コンピュータが、当該特定されたパラメータに基づいて、前記ステレオカメラの垂直軸回りまたは前記ステレオカメラの水平軸回りにおける前記物体の面の傾きを算出する第５のステップとを有し、
    前記第３のステップは、コンピュータが、前記他方の撮像画像において、前記特定された第２の相関先を基準に設定される所定範囲を処理対象として、前記第１の相関先を特定することを特徴とする画像処理方法。

Images