JP6202356B2 - 画像処理装置及び方法、並びに撮像装置 - Google Patents

Description

本発明は、ステレオカメラの撮像画像を処理する画像処理装置及び方法、並びに、該画像処理装置を備えた撮像装置に関する。

近年、２つ１組の左右カメラからなるステレオカメラを自動車などの移動体に搭載して、該ステレオカメラにて移動体前方等を撮影し、該撮影したステレオ画像から対象物までの距離を測定し、その測定結果に応じて衝突防止のために運転者に警告を行ったり、車間距離維持のためにブレーキ、ステアリングなどの制御を行う運転支援システムが実用化されている。

このような運転支援システムでは、ステレオカメラを構成する左右カメラで同一対象物を撮影して得られたステレオ画像の一方を基準画像、他方を参照画像として、ブロックマッチングによる対応点探索を行って対応点の位置ずれ（視差）を検出し、三角測量の原理により対象物までの距離を計算している。

ところで、ステレオカメラを構成する左右カメラの撮像面（センサ）が相対的に傾いていると、これら左右カメラで撮像された画像間には縦横のずれが生じ、画像も相対的に歪んだものとなり、正しく視差を検出することができない。正しく視差が検出されないと、測距精度が低下し、運転支援システムの信頼性や安全性が損なわれてしまう。そのため、視差検出に先立って、左右カメラで撮像された画像間の縦横のずれを補正する必要がある。

例えば、特許文献１には、ステレオカメラを構成する２つのカメラのレンズ焦点距離の不揃いやレンズ歪み等に起因する視差検出誤差を補正する技術が記載されているが、２つのカメラの撮像面（センサ）の相対的な傾きに起因する画像間の縦横のズレを補正することは考慮されていない。

従来、ステレオカメラを構成する左右カメラの撮像面（センサ）が相対的に傾いている場合、これら左右カメラで撮像されたそれぞれの画像について、理想の撮像位置に対する実際の撮像位置のずれを調べ、それぞれずれを補正していた。また、縦ずれを補正するには縦ずれを、横ずれを補正するには横ずれを、それぞれ調べる必要があった。

本発明の課題は、ステレオカメラを構成する左右カメラで撮像されたそれぞれの画像について、理想の撮像位置に対する実際の撮像位置のずれを調べることなく、また、縦横両方のずれを調べることなく、左右カメラの撮像面（センサ）が相対的に傾いていることに起因する画像間の縦横のズレを補正することにある。

本発明は、ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理装置であって、前記左右カメラの撮像画像における２組以上の特徴点の組ごとに対応する２つ以上の相対的な縦ずれを検出する縦ずれ検出手段と、検出された前記２つ以上の相対的な縦ずれから、前記左右カメラの撮像面の横方向軸まわりにおける相対的な傾き角を算出する傾き角算出手段と、前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正手段と、を有することを特徴とする。

本発明によれば、ステレオカメラを構成する左右カメラの撮像面の相対的な傾きに起因する画像内の縦横のずれを、縦ずれを検出するだけで補正することが可能になる。

本発明の一実施形態に係るハードウエア構成図である。 本発明の一実施形態に係る機能ブロック図である。 左右カメラの撮像面の相対的な傾きを示す図である。 左右カメラの撮像画像を示す図である。 左右カメラの撮像画像の縦ずれ検出の具体例を示す図である。 傾き角の算出を説明する図である。 平面から平面への透視変換を説明する図である。 平面と平面上の座標系の指定を説明する図である。 透視変換の手順を説明する図である。 左右カメラの撮像面を三次元空間の座標系で定義した図である。 縦横ずれ補正処理の具体例を示した図である。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本発明の画像処理装置及び撮像装置を実現するための一実施形態のハードウエア構成図である。図１において、ＣＰＵ１０、ＲＯＭ２０、ＲＡＭ３０、カメラインタフェース回路（カメラＩ／Ｆ）４０、画像メモリ５０等は、互いにバス６０で接続されている。また、カメラＩ／Ｆ４０にはステレオカメラ７０が接続されている。

ＣＰＵ１０は、全体の動作を制御すると共に、種々の処理を実行する。本発明に関して云えば、ステレオカメラ７０を構成する左右カメラ７１，７２の撮像面（センサ）が相対的に傾いていることは起因する画像間のずれを補正する処理を実行する。ＲＯＭ２０は、ＣＰＵ１０で実行するプログラムや各種パラメータ等を格納している。ＲＡＭ３０は作業用メモリであり、ＣＰＵ１０で実行するプログラムがＲＯＭ２０から読み出されて格納されたり、ＣＰＵ１０での処理途中のデータ等が格納される。

ステレオカメラ７０を構成する左カメラ７１と右カメラ７２は、両者の光軸が平行に所定の間隔（基線長）で配置され、ＣＰＵ１０の制御下で互いに同期して動作して、それぞれ異なる視点から被写体を撮影し、その光学像をアナログ電気信号に変換し、更にデジタル信号に変換して画像データとして出力する。画像データは、例えば８ビット／画素からなる。

カメラＩ／Ｆ４０は、ＣＰＵ１０の制御下で、ステレオカメラ７０を構成する左カメラ７１と右カメラ７２から出力される画像データを取り込んで画像メモリ５０へ転送する。画像メモリ５０は、カメラＩ／Ｆ４０から転送された左右カメラ７１，７２の画像データを保持する。さらに、画像メモリ５０は、ＣＰＵ１０での処理後の画像データも保持する。

図２は、本発明の一実施形態に係る画像処理装置の機能ブロック図である。本画像処理装置は、縦ずれ検出部１１０、傾き角算出部１２０、縦横ずれ補正部１３０からなる。実際には、図１のＣＰＵ１０がＲＯＭ２０に保持されたプログムをＲＡＭ３０に読み出して実行することで、図２の各部の処理機能が実現される。なお、本発明の画像処理方法は、図２の各部をステップと読み替えればよい。

以下、図２の各部１１０〜１３０の処理動作を説明する。なお、画像データは単に画像と略称する。また、以下では、左カメラ７１の撮像画像を基準として、それに右カメラ７２の撮像画像を合わせるとするが、逆でもよい。

縦ずれ検出部１１０は、左カメラ７１の撮像画像１０１及び右カメラ７２の撮像画像１０２を入力して、該撮像画像１０１，１０２の相対的な縦ずれを検出する。

図３は、撮像装置をピンホールカメラと仮定し、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きの関係を示した図である。便宜上、図３では、左カメラ７１は撮像面に傾きがなく（撮像面が光軸と直交）、右カメラ７２が、撮像面に傾きがあると想定している。左右カメラ７１，７２の撮像面の相対的な傾きは、角度φで示される。

図３に示すように、左カメラ７１は撮像面に傾きが無く（撮像面が光軸と直交）、右カメラ７２が、その撮像面が光軸と直交する面から傾いている場合、左右カメラ７１，７２の撮像画像１０１，１０２は、図４のようになる。便宜上、被写体は矩形図形とする。すなわち、左カメラ７１の撮像画像１０１は被写体と同じ矩形となるが、右カメラ７２の撮像画像１０２は台形の形に歪み、しかも、傾きがない場合の理想位置から縦横にずれる。ここで、縦方向のずれａ，ｂが傾き角φに関係する。逆に、縦方向のずれａ，ｂが分かれば、傾き角φが求まる。傾き角φが分かれば、右カメラ７２の撮像画像も補正可能である。すなわち、図４（ｂ）の点線で示す矩形に戻すことができ、図４（ａ）の左カメラ１１の撮像画像１０１の矩形とは、被写体からの距離に応じた差分だけ横方向にずれた画像とすることができる。

縦ずれ検出部１１０では、左右カメラ７１，７２の撮像画像１０１，１０２について、一方を基準画像（ここでは、撮像画像１０１）他方を参照画像（撮像画像１０２）として、基準画像から特徴点を抽出し、周知のブロックマッチング手法等により、参照画像から同一特徴点を探索し、基準画像の特徴点と参照画像の同一特徴点の位置関係から、撮像画像１０１，１０２の相対的な縦ずれを検出する。

図５は、縦ずれ検出の具体的イメージを示した図である。すなわち、図５では、左右カメラ７１，７２で前方車両を撮像するとし、左カメラ７１の撮像画像１０１、右カメラ７２の撮像画像１０２から前方車両の右上角ｍ，ｍ’及び左テールランプ位置ｎ，ｎ’を特徴点として抽出して、縦ずれａ，ｂを検出する。

傾き角算出部１２０は、縦ずれ検出部１１０で検出された縦ずれから、左右カメラ７１，７２の撮像面（センサ）の相対的傾き角φを算出する。

ここで、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きの関係が、図３の如くとする。この場合、図６から次式（１），（２）が成立する。
ｈ’＝ｈ×cos（θ）÷cos（θ＋φ） （１）
ｈ”＝ｈ×cos（θ）÷cos（θ−φ） （２）
ここで、θ＝ａｒｃｔａｎ（ｈ／ｆ）である。

すなわち、ｈ，ｈ’，ｈ”，θが分かれば、左右カメラ７１，７２の撮像面（センサ）の相対的な傾き角φが求まる。ｈとｈ’とｈとｈ”の差が縦ずれａ，ｂである。

傾き角算出部１２０では、縦ずれ検出部１１０で検出された縦ずれの値により、式（１）あるいは式（２）のいずれかを適用して、左右カメラ７１，７２の撮像面（センサ）の相対的な傾き角φを計算する。なお、式（１）あるいは（２）のいずれを適用するかは任意である。いずれの式を適用しても、結果は同じである。

縦横ずれ補正部１３０は、傾き角算出部１２０で求まった傾き角φをもとに、あらかじめ導出しておいたずれ補正式（座標変換式）を用いて、参照画像（ここでは、右カメラ７２の撮像画像）について縦ずれ及び横ずれを補正する。ずれ補正式（座標変換式）は、左右カメラ７１，７２の撮像面の相対的な傾き角と、縦ずれ補正値及び横ずれ補正値との関係を表わした式であり、例えば、非特許文献１に記載の透視変換（射影変換）の手法を適用して以下のようにして導出される。

図７に示すように、３次元空間内のある点（Ｅ）を投影中心として、ひとつの平面（Π₀）上の点（Ｐ）を、別の平面（Π₁）上の点（Ｑ）へ投影する透視変換を考える。まず、３次元空間内での投影中心と二つの平面、および二つの平面上での座標系が与えられた時に、平面Π_０上の２次元空間Ｒ_０上の座標（ｓ₀，ｔ₀）から、平面Π₁上の２次元空間Ｒ₁上の座標（ｓ₁，ｔ₁）への透視変換行列を決定する手順を説明する。なお、斉次座標、射影空間内の平面などの概念は非特許文献１を参照する。また、非特許文献１に倣い行ベクトルの斉次座標表現を用いる。

３次元空間内の平面は、参照点（ｐ）と法線ベクトル（ｎ）で指定する。点ｐ＝（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）を含み、ベクトルｎ＝（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）を法線とする平面方程式は、
ｎ_ｘ（ｘ−ｐ_ｘ）＋ｎ_ｙ（ｙ−ｐ_ｙ）＋ｎ_ｚ（ｚ−ｐ_ｚ）＝０ （３）
であり、この平面の斉次座標は、
［μ₀,μ₁,μ₂,μ₃］＝［ｎ_ｘ,ｎ_ｙ,ｎ_ｚ,−ｎ_ｘｐ_ｘ−ｎ_ｙｐ_ｙ−ｎ_ｚｐ_ｚ］
（４）
となる。

この平面上の座標系は、参照点ｐと、互いに直交する平面上の二つの単位ベクトルｕ，ｖにより指定する。つまり、平面上で点ｐを原点、ｕに向きを横（ｓ）方向、ｖを縦（ｔ）方向とする。

このように、参照点：ｐ、法線ベクトル：ｎ、縦横方向単位ベクトル：ｕ，ｖにより、３次元空間中の平面、および平面上の座標系が指定できる。図８はこれを示したものである。

目的とする変換は、元の２次元空間（Ｒ_０）上の座標から、変換先の２次元空間（Ｒ_１）の座標への変換であるが、これを図９に示すように、３段階に分けて考える。

まず、２次元空間Ｒ_０の２次元座標（ｓ₀，ｔ₀）から、３次元空間内の平面Π_０上の３次元座標（ｘ₀，ｙ₀，ｚ₀）へ変換する（ステップ１）。これを斉次座標表現で３×４行列：Ａで表す。

この変換は、平面Π₀とその上の座標系だけによって決まる。平面Π₀の参照点をｐ₀＝［ｐ_0ｘ，ｐ_0ｙ，ｐ_0ｚ］、縦横単位ベクトルをｕ₀＝［ｕ_0ｘ，ｕ_0ｙ，ｕ_0ｚ］，ｖ_０＝［ｖ_0ｘ，ｖ_0ｙ，ｖ_0ｚ］とすると、行列Ａは、

となる。
次に、３次元空間内の（平面Π_０上の）３次元座標（ｘ₀，ｙ₀，ｚ₀）から、同じ３次元空間内の平面Π_１上の３次元座標（ｘ₁，ｙ₁，ｚ₁）への、Ｅを投影中心とした透視変換を行う（ステップ２）。これを４×４行列：Ｂで表す。

行列Ｂは、投影中心（Ｅ）と、投影先平面（Π₁）から決まる（行列Ｂは３次元空間内の全ての点から平面Π₁への投影を表すので、Π₀は関係しない）。

投影中心Ｅと平面Π₁をそれぞれ斉次座標表現で、ｅ＝［ｅ₁，ｅ₂，ｅ₃，ｅ₄］，μ＝［μ₁，μ₂，μ₃，μ₄］とすると、投影行列Ｂは、

と書ける。ただし、（ｘ・ｙ）はベクトルｘとｙの通常の内積を表す。

次に、３次元空間内の平面Π_１上の３次元座標（ｘ₁，ｙ₁，ｚ₁）から２次元空間Ｒ_１の２次元座標（ｓ₁，ｔ₁）へ変換を行う（ステップ３）。これを４×３行列：Ｃで表す。

行列Ｃは、平面Π₁についてのステップ１の変換の逆変換と考えられる。まず、平面Π₁について、Ｃと逆方向の変換を表す行列Ａ１を考える。これは平面Π₁の参照点と縦横単位ベクトルを使って、

と書ける。

求める行列Ｃは、このＡ₁の一般化右逆行列、

として求められる。

最終的に求める［ｓ₀，ｔ₀］から［ｓ₁，ｔ₁］への透視変換を表す３×３行列：Ｍは、単純に行列Ａ，Ｂ，Ｃの積をとれば求められる（座標が列ベクトルなので右から順にかける）。すなわち、
Ｍ＝ＡＢＣ （10）
として求められる。

さて、図３に示した左右カメラ７１，７２の撮像面（センサ）を３次元空間の座標系ＸＹＺ上で重ねた場合、図１０のように表わすことができる。ここで、平面Π₁が左カメラ７１の撮像面１０１、平面Π₀が右カメラ７２の撮像面１０２である。右カメラ７２の撮像画像の縦ずれ及び横ずれを補正することは、透視変換では、平面Π₀上の２次元空間Ｒ₀上の座標［ｓ₀，ｔ₀］を平面Π₁上の２次元空間Ｒ₁上の座標［ｓ₁，ｔ₁］に変換することに相当する。

透視変換に必要なパラメータは、
（１）投影中心点Ｅ（ｘ，ｙ，ｚ）
（２）Π₀における参照点ｐ₀（ｘ，ｙ，ｚ）
（３）Π₁における参照点ｐ₁（ｘ，ｙ，ｚ）
（４）Π₁の横方向を表すベクトルｕ₁（ｘ，ｙ，ｚ）
（５）Π₁の縦方向を表すベクトルｖ₁（ｘ，ｙ，ｚ）
（６）Π₀の横方向を表すベクトルｕ₀（ｘ，ｙ，ｚ）
（７）Π₀の縦方向を表すベクトルｖ₀（ｘ，ｙ，ｚ）
である。

図１０で、投影中心点Ｅは（０，０，１０）である。また、Π₀およびΠ₁における参照点は両平面の中心で共通点であり、ｐ₀＝ｐ₁＝（０，０，０）である。

Π₁はｚ＝０の平面とし、センサ上向きをＹ軸の正方向、センサ右向きをＸ軸の正方向と定めることで、Π₁の横方向を表わすベクトルとΠ₁の縦方向を表わすベクトルは、ｕ₁＝（１，０，０）、ｖ₁＝（０，１，０）となる。Π１の横方向を表すベクトルは、Ｘ軸回転であれば、Π₀の横方向と一致する。したがって、ｕ₀＝ｕ₁＝（１，０，０）となる。

Π₀の縦方向を表すベクトルは、Ｘ軸まわりのセンサ回転量φに依存する。Π₀の縦方向は、図１０に示す太線のベクトル方向である。したがって、ｖ₀＝（０，cos（φ），-sin（φ））となる。

以上のように、（１）〜（７）のパラメータ値が決まると、式（１０）の変換行列Ｍ＝ＡＢＣは以下のように求まる。なお、ここではΠ₀からΠ₁への変換を考えるので、先の変換（Π₁からΠ₀への変換）とは逆の変換となっている。

投影中心点Ｅ＝［０ ０ １０］の斉次座標表現ｅ＝［０ ０ １０ １］、平面Π₁の斉次座標表現μ＝［０ ０ １ ０］であることから、

よって、

以上より、

となる。

この変換行列Ｍを使って、Π₀上の点（ｘ0，ｙ0）（斉次表現では（ｘ0，ｙ0，１））からΠ₁上の点（ｘ1，ｙ1）（斉次表現では（ｘ1，ｙ1，１））への変換は、以下のように計算される。

ここで斉次表現ではない２次元平面上の座標に変換するため、ｗ1＝１となるように全体を割る、つまり、

とする。

なお、図１０では、投影中心点Ｅ（ｘ，ｙ，ｚ）を（０，０，１０）と仮想したが、一般にｚは任意でよく、Ｅ＝（０，０，ｃ）とすることができる。ここで、ｃは任意の定数である。すると、式（１１）は、

となる。

縦横ずれ補正部１３０では、傾き角算出部１２０で求まった傾き角φをもとに、式（１２）により、右カメラ７２の撮像画像１０２について、座標（ｘ0，ｙ0）の画素を座標（ｘ1，1）の位置に変換する。これを右カメラ７２の撮像画像の各画素について実施することで、左右カメラ７１，７２の撮像面（センサ）の相対的な傾きに起因する左右カメラ７１，７２の撮像画像１０１，１０２の間の相対的な縦ずれ及び横ずれが補正される。

図１１は、図４に示した左右カメラ７１，７２の撮像画像１０１，１０２について、縦横ずれ補正部１３０の具体的処理イメージを示した図である。図４と同様に、図１１（ａ）は左カメラ７１の撮像画像１０１、図１１（ｂ）は右カメラ７２の撮像画像１０２を示している。ここで、左カメラ７１の撮像画像１０１はそのままである。一方、右カメラ７１の撮像画像１０２は、図１１（ｂ）に矢印で示すように、各画素位置を補正する。これにより、補正前の台形図形が、左カメラ７１の撮像画像１０１と同様の矩形図形に戻される。すなわち、左右カメラ７１，７２の撮像画像１０１，１０２は、被写体からの距離に応じた差分（視差；ｄ−ｃ）だけ横方向にずれた同じ矩形図形となる。

したがって、左カメラ７１の撮像画像１０１と補正後の右カメラ７２の撮像画像１０２について、周知のブロックマッチングを適用することで、高精度に視差を検出することが可能になる。そして、この検出された視差を用いて、被写体までの距離を高精度に算出することが可能になる。

なお、被写体までの距離Ｚは、視差を用いて、三角測量の原理に基づき、次式により求まる。
Ｚ＝Ｂ×ｆ／ｄ （１３）
式（１２）において、Ｂはステレオカメラ７０を構成する左右カメラ７１，７２の光軸間の距離（基線長）、ｆはカメラの焦点距離、ｄは視差である。

以上、実施形態では、左カメラ７１は、撮像面（センサ）が光軸と直交していると仮定したが、左右カメラ７１，７２とも、撮像面が光軸と直交していない場合でも、透視変換の原理により、縦横ずれ補正部１３０で使用するずれ補正式（座標変換式）は、左右カメラ７１，７２の撮像面の相対的な傾き角φに依存する式となる。

また、実施形態では、右カメラ７２の撮像画像１０２について縦ずれ及び横ずれを補正するとしたが、左カメラ７１の撮像画像１０１について補正処理することでもよい。一般に左右カメラのいずれの撮像画像を補正処理の対象とするかは任意である。例えば、撮像面（センサ）の傾きが大きい方のカメラの撮像画像を補正処理の対象とすればよい。

７０ ステレオカメラ
７１ 左カメラ
７２ 右カメラ
１０１ 左カメラ画像
１０２ 右カメラ画像
１１０ 縦ずれ検出部
１２０ 傾き角検出部
１３０ 縦横ずれ補正部

特許第３２６１１１５号公報

出口光一郎著，センシング／認識シリーズ第５巻，「画像と空間」（コンピュータビジョンの幾何学），（株）昭晃堂，１９９１年，ｐ９９〜１１９

Claims (7)

1. ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理装置であって、
   前記左右カメラの撮像画像における２組以上の特徴点の組ごとに対応する２つ以上の相対的な縦ずれを検出する縦ずれ検出手段と、
   検出された前記２つ以上の相対的な縦ずれから、前記左右カメラの撮像面の横方向軸まわりにおける相対的な傾き角を算出する傾き角算出手段と、
   前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正手段と、を有することを特徴とする画像処理装置。
2. 前記縦横ずれ補正手段は、前記算出された傾き角に応じて、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換して、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記縦横ずれ補正手段は、下記の座標変換式
   

   

   φ ；傾き角
   ｃ ；任意の定数
   ｘ₀，ｙ₀ ；変換前の座標値
   ｘ₁，ｙ₁ ；変換後の座標値により、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換することを特徴とする請求項２に記載の画像処理装置。
4. ステレオカメラを構成する左右カメラで撮像された撮像画像を処理する画像処理方法であって、
   前記左右カメラの撮像画像における２組以上の特徴点の組ごとに対応する２つ以上の相対的な縦ずれを検出する縦ずれ検出ステップと、
   検出された前記２つ以上の相対的な縦ずれから、前記左右カメラの撮像面の横方向軸まわりにおける相対的な傾き角を算出する傾き角算出ステップと、
   前記算出された傾き角に応じて、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正する縦横ずれ補正ステップと、を有することを特徴とする画像処理方法。
5. 前記縦横ずれ補正ステップは、前記算出された傾き角に応じて、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換して、前記左右カメラの撮像画像の相対的な縦ずれ及び横ずれを補正することを特徴とする請求項４に記載の画像処理方法。
6. 前記縦横ずれ補正ステップは、下記の座標変換式
   

   

   φ ；傾き角
   ｃ ；任意の定数
   ｘ₀，ｙ₀ ；変換前の座標値
   ｘ₁，ｙ₁ ；変換後の座標値により、前記左右カメラのいずれか一方の撮像画像の各画素を座標変換することを特徴とする請求項５に記載の画像処理方法。
7. 左右カメラからなるステレオカメラと、
   請求項１乃至３のいずれか１項に記載の画像処理装置と、を備えていることを特徴とする撮像装置。

Images