JP4539400B2 - ステレオカメラの補正方法、ステレオカメラ補正装置 - Google Patents

Description

本発明は、ステレオカメラにおけるカメラ間のカメラパラメータを補正するステレオカメラ補正方法及びステレオカメラ補正装置に関する。

車両にＣＣＤ等の固体撮像素子を車載して、撮像した画像を処理して車外の状態を認識し所定の制御を行う車載カメラが知られている。車載カメラにより車外の状態を認識するためには、撮像画像に基づき撮像対象物までの距離を検出することが必要となるため、２台のカメラ（以下、ステレオカメラという）を車載して、いわゆるステレオ対応付けの方法により撮像対象物までの距離を求める場合が多い。

ステレオ対応付けにより撮像対象物までの距離を求める場合、ステレオカメラにより撮像された一対の画像の間には視差以外に位置的なずれが存在しないことで、求められた距離の精度が向上する。しかしながら実際には、ステレオカメラの取り付け位置は、機械的な取り付け精度に起因した誤差の範囲においてずれてしまう。

そこで、ステレオカメラの位置ずれを、一対の画像に撮像された特徴部の位置に基づいて補正する方法が提案されている（例えば、特許文献１参照。）。特許文献１記載の補正方法では、一方の画像の画素ブロックごとに当該画素ブロックの輝度特性と相関を有する領域を他方の画像において特定し、これらの対応関係に基づき変換パラメータを設定することで、ステレオ画像の位置ずれを補正する。
特開２００１−８２９５５号公報

しかしながら、特許文献１記載の位置ずれの補正方法は、一方の画像と他方の画像の対応付けを行うために多くの複雑な処理を必要とするという問題がある。すなわち、輝度特性が相関する領域を他方の画像において特定するため、エッジ検出、ヒストグラムの作成等の処理が必要となり、ステレオカメラ搭載のコスト増大の要因となっている。

本発明は、上記問題に鑑み、簡易な処理でステレオカメラの補正を行うことができるステレオカメラ補正方法及びステレオカメラ補正装置を提供することを目的とする。

上記課題を解決するため、本発明は、複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正方法において、第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップ（Ｓ１）と、スミア検出ステップにより検出された二つの画像データのスミアの位置が略一致するように、カメラパラメータを算出するカメラパラメータ算出ステップ（Ｓ３）と、を有することを特徴とする。

本発明によれば、簡易な処理でステレオカメラの補正を行うことができるステレオカメラ補正方法を提供することができる。

また、本発明のステレオカメラの補正方法の一形態において、カメラパラメータは、第１と第２のカメラの相対位置を補正する位置補正情報（例えば、後述のアフィンパラメータ）であることを特徴とする。本発明によれば、二つのカメラの相対位置をスミアの位置の違いにより補正することができる。

また、本発明のステレオカメラの補正方法の一形態において、スミア検出ステップにより検出された二つの画像データのスミアの画素値が等しくなるように、カメラの電気特性パラメータ（例えば、後述の電気特性パラメータ）を決定するステップ、を有することを特徴とする。

また、本発明は、複数のカメラを有するステレオカメラの電気的特性を定める電気特性パラメータを補正するステレオカメラの補正方法において、第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップと、スミア検出ステップにより検出されたスミアの生じた画像データの輝度情報に基づき、二つの画像データのスミアの位置が略一致するように、第１又は第２のカメラの電気特性パラメータを算出する電気特性パラメータ算出ステップと、を有することを特徴とする。

本発明によれば、二つのカメラの電気的特性をスミアが検出された画像データの輝度により補正することができる。

また、本発明は、複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正装置において、第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段（図１のスミア検出部１８）と、スミア検出ステップにより検出された二つの画像データのスミアの位置が略一致するように、カメラパラメータを算出するカメラパラメータ算出手段（図１のスミア検出部１８が行う）と、を有することを特徴とする。

また、本発明のステレオカメラ補正装置において、カメラパラメータは、第１と第２のカメラの相対位置を補正する位置補正情報（例えば、後述のアフィンパラメータ）であることを特徴とする。

また、本発明のステレオカメラ補正装置において、カメラパラメータ算出手段は、検出された二つの画像データのスミアの画素値が等しくなるように、カメラの電気特性パラメータ（例えば、後述の電気特性パラメータ）を決定する、ことを特徴とする。

また、本発明は、複数のカメラを有するステレオカメラの電気的特性を定める電気特性パラメータを補正するステレオカメラ補正装置において、第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、スミア検出手段により検出されたスミアの生じた画像データの輝度情報に基づき、二つの画像データのスミアの位置が略一致するように、第１又は前記第２のカメラの電気特性パラメータを算出する電気特性パラメータ算出手段と、を有することを特徴とする。

簡易な処理でステレオカメラの補正を行うことができるステレオカメラの補正方法及びステレオカメラ補正装置を提供することができる。

以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。

図１は、本実施の形態に係るステレオカメラ補正装置又はステレオカメラの補正方法が適用されたステレオカメラのブロック図を示す。車両前方の所定範囲を撮像するステレオカメラは、例えばルームミラーの高さに所定距離離して取り付けられ、ＣＣＤ等の固体撮像素子を内蔵した一対のカメラ１１，１２を有する。

各カメラ１１，１２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース１３において調整される。また、アナログインターフェース１３が有するゲインコントロールアンプにより画像の明るさバランスが調整される。

アナログインターフェース１３において調整されたアナログ画像は、各画素毎にＡ／Ｄコンバータ１４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。カメラ１１、１２で撮影されたデジタル画像（以下、単に画像データという）は、スミア検出部１８へ送出される。なお、カメラ１１により撮影された画像データはステレオ画像処理部１５に、カメラ１２により撮影された画像データはアフィン変換部１９にも送出される。

スミアとは、ＣＣＤのような光／電子変換素子を用いた場合に見られる現象であり、ＣＣＤのある素子に一定以上の過剰な信号（光）が入力され、縦又は横方向の信号が全体的に変化し、擬似信号として認識されることをいう。例えば、暗環境（ＣＣＤの感度を上げている状態）で光点（過剰な入力信号）を撮影すると、点が線として写る現象である。スミア検出部１８は、カメラ１１、１２で撮影された画像データに、スミアにより生じる、輝度が所定よりも大きい線状の部位がある場合それを検出する。

ところで、車両に搭載されたカメラ１１、１２に対しては、太陽光が過剰な入力信号となることがある。太陽は、無限遠にある光源であるため複数のカメラで撮像した場合それぞれのカメラに対し太陽は同じ位置あるものとみなされる。スミア検出部１８はかかる原理を利用して、カメラ１１とカメラ１２のカメラパラメータを補正する。本実施の形態のカメラパラメータとは、機械的な位置ずれを補正するためのパラメータ（後述のアフィンパラメータ）、及び、露出など画像データの電気的な特定を補正するパラメータ（電気特性パラメメータ）をいう。

図２（ａ）は太陽光が入射したカメラ１１で撮影した画像データを、図２（ｂ）は太陽光が入射したカメラ１２で撮影した画像データの一例を示す。図２（ａ）と（ｂ）は、ある瞬間又は動画として車両前方を撮影したものである。したがって、機械的な位置とカメラパラメータが理想的に設定されていれば、無限遠の物体（太陽）はカメラ１１と１２の画像データで同じ位置に結像する。

図２では、各マスが画素を示し、画素に記された数値が輝度（数値が高いほど明るい）を示す。例えば、輝度が２００以上の線状の画素部が検出された場合にスミアが生じたと判定すると、図２（ａ）では画素部Ａに、図２（ｂ）では画素部Ｂにそれぞれスミアが生じたことが検出できる。スミア検出部１８は、画素部ＡとＢの位置の違い（図ではＸ方向に２画素、Ｙ方向に３画素）を検出し、画素部ＡとＢの位置が一致するように後述のアフィンパラメータを決定する。

なお、スミアの生じた画素部を正確に取得するため、スミアが生じた場合にはレンズの絞りや露光時間を調整する。

また、スミア検出部１８はスミアの生じた画素やその周辺の画素の輝度の違いを検出する。画素部ＡとＢは共に太陽光によりスミアが生じたものであるので同じ輝度となることがステレオカメラの電気特性の設定条件として好ましい。したがって、画素部ＡとＢの輝度が等しくなるように、カメラの露出、ＣＣＤ感度、ホワイトバランス等、カメラの電気特性パラメータを決定する。なお、太陽光から得られる信号が強すぎ過ぎる場合、画素部Ａ及びＢの周辺の画素を用いればよい。

また、カメラ１１と１２の電気特性パラメータに起因して、スミアの発生位置が異なることがあるので、かかる場合には、画素部ＡとＢの位置が一致するように電気特性パラメータを定めてもよい。

ステレオカメラの機械的な位置調整について説明する。ステレオカメラは、車両等に搭載して組み立て出荷される際に、カメラ１１及び１２の機械的な位置関係が調整されて固定される。機械的な位置関係の調整とは、カメラ１１とカメラ１２とが、視差以外に位置的なずれがないように固定することである。しかしながら、カメラ１１及び１２には、経時変化や振動・衝撃により、出荷時の状態と比較して機械的な位置ずれが生じる。また、出荷時に、精密に機械的な位置関係を調整して固定することは、ステレオカメラのコストを上昇させる。機械的な位置関係の調整が不充分な場合、撮像対象面のテクスチャへの適応能力や距離情報の精度が低下し、ステレオカメラを用いたシステム全体の信頼性を低下させる。

このため本実施の形態では、カメラ１２側の系統にアフィン変換部１９を備える。アフィン変換は、画像を平行移動、回転、拡大、縮小等して別の画像に座標変換である。アフィン変換は、例えば次式のよう表される。

… （１）
ａ、ｂ、ｃ、ｄを要素とする２次行列は画像の回転のパラメータを、ｌ、ｍは平行移動のパラメータをそれぞれ表す。これらのアフィンパラメータは、出荷時に調整した機械的な位置関係に対して、視差以外にカメラ１１と１２の画像データの位置ずれがないように設定されている。

また、経時変化や振動・衝撃により、カメラ１１と１２に機械的な位置ずれが生じた場合、アフィンパラメータを変更することで、機械的な位置ずれの補正を行うことができる。

アフィンパラメータの変更は、スミア検出部１８が検出した各画像データのスミアの位置（図２では画素部ＡとＢ）に基づき、スミア検出部１８が行う。スミア検出部１８は、線上に現れる画素部Ａの座標を式（１）のｘ‘ｙ’に、画素部Ｂの座標をｘ、ｙにそれぞれ代入し、式（１）の関係を満たすアフィンパラメータを算出する。なお、最新のアフィンパラメータはアフィン変換部１９に保持されている。

ステレオカメラの電源投入直後や、太陽が撮影される度に、アフィンパラメータを設定することで、ステレオカメラのわずかな機械的な位置ずれを補正することができる。

したがって、ステレオ画像処理の対象となる一対の元画像データは、カメラ１１で撮影された画像データとカメラ１２で撮影された画像データにアフィン変換した画像データとなる。なお、カメラ１１側の系統にもアフィン変換回路を設けてもよい。

カメラ１２の画像データがアフィン変換部１９を経ることで、一対の画像間に視差以外に位置的なずれが存在しないステレオ画像がステレオ画像処理部１５に入力される。ステレオ画像処理部１５は、カメラ１１に撮影された画像とカメラ１２に撮影された画像に基づき、距離データを算出する。

距離データは、周知のステレオマッチングにより決定する。例えば4×4画素の画素ブロックを単位として、一対の画素ブロックにおいて相関のある輝度特性を有する領域を探索することにより特定する。ステレオ画像に映し出された対象物までの距離は、ステレオ画像における視差、すなわち、一対の画像の間における水平方向のずれ量として現れる。したがって、画像間で探索を行う場合、対象画素ブロックの同じ水平線（エピポーラライン）上を探索すればよい。両画像における相対的なずれ量である視差から、三角測量の原理を用いて距離データが算出される。

ステレオ画像処理部１５は、エピポーラライン上を一画素ずつシフトしながら、４×４画素の画素ブロック毎に相関を評価する。２つの画素ブロックの相関は、例えば、シティブロック距離を算出することにより評価できる。

シティブロック距離とは、パターン間の類似性を数値として示す尺度の一つであり、次のように定義される。
Ｃ＝Σ｜Ｂ１n−Ｂ２n｜ …（２）
ここでＢ１n、Ｂ２nはそれぞれカメラ１１、カメラ１２で撮影された画像データにおいて、エピポーラライン上のn番目の画素の輝度（２５６階調）である。総和は４×４の画素ブロックに渡って行う。したがって、Ｃが小さいほど２つの画素ブロックの相関が大きいと評価される。

エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離Ｃのうち、その値が最小となる画素ブロックが対象画素ブロックの相関先と判断される。相関先の画素ブロックの、カメラ１１と１２の画像データ上における位置から視差が求められる。視差が知られれば、カメラの焦点距離、画角、カメラ１１と１２の距離、に基づき画像データ上の各対象物までの距離を算出できる。

画像認識部１６は、画像データと距離データに基づき道路形状（白線）や車輌前方の立体物（走行車）等を認識する。したがって、画像認識部１６により、例えば白線や障害物の検出が可能となる。

また、車両には、運転者の操作によらず舵角を制御する舵角制御装置、アクセルのスロットル開度を制御するスロットル制御装置、各車輪の制動力を制御する制動力制御装置が備えられている。これら制御装置１７は、画像データや距離データに基づき認識したレーンキーピング走行や、障害物の自動回避等を可能にする。また、画像データや距離データに基づいて、前方のカーブや障害物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置を作動させてドライバーに注意を促す。

以上の構成に基づき、ステレオカメラの補正方法の実施例を説明する。図３は、ステレオカメラの補正の手順を示すフローチャート図である。ステレオカメラの補正は、電源投入直後にのみ許可してもよいし、車両走行中も補正可能としてもよい。

本実施例の補正方法は、スミア検出部１８がスミアを検出するとスタートする（Ｓ１）。スミアの検出は、例えば、所定以上の輝度の輝線がカメラ１１と１２の双方の画像データに検出されることで行う。

次いで、スミアを生じさせた光源が太陽か否かを判定する（Ｓ２）。太陽とそれ以外の光（夜間の街灯、対向車のライト等）とは光の強度が大きく異なることから、スミアを生じさせた光源が太陽か否かは容易に判別できる。スミア検出部１８は、画像データ全体の輝度が下がるように画像調整を行うことで、スミアを生じさせた光源が太陽か否かを判定する。輝度を下げるには、シャッタースピード（電子シャッター）を早くしたり、絞りを絞ったり、又、ゲインを低下（ＣＣＤの感度低下）させ、なおスミアが生じた画素が所定以上の輝度であった場合、スミアを生じさせた光源が太陽であると判定する。

光源が太陽でないと判定された場合（ステップＳ２のＮｏ）、光源が無限遠にあると保証されない、すなわち、カメラ１１、１２の画像データの同じ位置にスミアが発生している保証がないため、アフィンパラメータ及び電気特定パラメータの補正を行わず図３のフローチャートの処理が終了する。

光源が太陽であると判定された場合（ステップＳ２のＹｅｓ）、スミア検出部１８は、カメラ１１、１２の画像データのスミアの位置が同一座標になるように、式（１）に基づきアフィンパラメータを算出する（Ｓ３）。また、スミア検出部１８は、カメラ１１、１２の画像データの輝度が等しくなるように、カメラの露出、ＣＣＤ感度、ホワイトバランス等、カメラの電気特性パラメータを決定する。これにより、ステレオカメラを構成するカメラ１１とカメラ１２のカメラパラメータを互いに一致させることができ、撮像対象面のテクスチャへの適応能力や距離情報の精度を維持することができる。

以上のように、本実施の形態のステレオカメラの補正方法又はステレオカメラの補正装置によれば、太陽の撮影という簡易な方法で、機械的な取付け精度や経時的な変化に起因したステレオカメラの取付け位置を補正することができる。また、ステレオカメラの電気的な特性に基づくカメラパラメータをカメラ１１，１２において一致させることができる。太陽を撮影してカメラパラメータを補正する場合、二つの画像データのエッジ検出やヒストグラムの作成等の処理が不要であるので、ステレオカメラのコストを低減することができる。

本実施の形態に係るステレオカメラ補正装置が適用されたステレオカメラのブロック図である。 スミアの生じた画像データの一例である。 ステレオカメラの補正の手順を示すフローチャート図である。

符号の説明

１１、１２ カメラ
１３ アナログインターフェイス
１４ Ａ／Ｄコンバータ
１５ ステレオ画像処理部
１６ 画像認識部
１７ 制御装置
１８ スミア検出部
１９ アフィンパ変換部

Claims (8)

1. 複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正方法において、
   第１及び第２のカメラにより太陽を撮影して得られた画像データからスミアを検出するスミア検出ステップと、
   前記スミア検出ステップにより検出された二つの前記画像データのスミアの位置が略一致するように、前記カメラパラメータを算出するカメラパラメータ算出ステップと、
   を有することを特徴とするステレオカメラの補正方法。
2. 前記カメラパラメータは、前記第１のカメラと前記第２のカメラの相対位置を補正する位置補正情報である、
   ことを特徴とする請求項１記載のステレオカメラの補正方法。
3. 前記スミア検出ステップにより検出された二つの前記画像データのスミアの画素値が等しくなるように、カメラの電気特性パラメータを決定するステップ、
   を有することを特徴とする請求項１又は２記載のステレオカメラの補正方法。
4. 複数のカメラを有するステレオカメラの電気的特性を定める電気特性パラメータを補正するステレオカメラの補正方法において、
   第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップと、
   前記スミア検出ステップにより検出されたスミアの生じた前記画像データの輝度情報に基づき、二つの前記画像データのスミアの位置が略一致するように、前記第１又は前記第２のカメラの前記電気特性パラメータを算出する電気特性パラメータ算出ステップと、
   を有することを特徴とするステレオカメラの補正方法。
5. 複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正装置において、
   第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、
   前記スミア検出手段により検出された二つの前記画像データのスミアの位置が略一致するように、前記カメラパラメータを算出するカメラパラメータ算出手段と、
   を有することを特徴とするステレオカメラ補正装置。
6. 前記カメラパラメータは、前記第１のカメラと前記第２のカメラの相対位置を補正する位置補正情報である、
   ことを特徴とする請求項５記載のステレオカメラ補正装置。
7. 前記カメラパラメータ算出手段は、検出された二つの前記画像データのスミアの画素値が等しくなるように、カメラの電気特性パラメータを決定する、
   を有することを特徴とする請求項５又は６記載のステレオカメラ補正装置。
8. 複数のカメラを有するステレオカメラの電気的特性を定める電気特性パラメータを補正するステレオカメラ補正装置において、
   第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、
   前記スミア検出手段により検出されたスミアの生じた前記画像データの輝度情報に基づき、二つの前記画像データのスミアの位置が略一致するように、前記第１又は前記第２のカメラの前記電気特性パラメータを算出する電気特性パラメータ算出手段と、
   を有することを特徴とするステレオカメラ補正装置。

Images