JP5365387B2 - 位置検出装置 - Google Patents

Description

本発明は、一対のカメラを有するステレオカメラにより撮影されたステレオ画像に基づいて、物体の位置を検出する位置検出装置に関する。

所定の基線長で配置された一対のカメラ（左カメラ、右カメラ）を有するステレオカメラで同時に撮影されたステレオ画像に基づいて、カメラ視野内に存在する物体の位置（距離）を三角測量の原理で検出する位置検出装置が知られている（例えば、下記特許文献１参照）。このようなステレオカメラによる位置検出装置は、レーダ等のアクティブ測距とは異なり、一度の撮影で広い範囲の距離情報及び形状等が得られるという利点から、最近では、車の安全装置、ロボット、監視カメラ等に使用されている。

ステレオ法による測距を行う場合、左右のカメラで撮影した位置検出対象の像の左右のカメラ画像（ステレオ画像）中の位置ずれ（視差）に基づいて、その距離が求められる。
視差を求める際に、位置検出対象である像がステレオ画像の一方の画像（基準画像という）に対して、他方の画像（比較画像という）内のどこに存在するかを探索する必要があり、この探索には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法等の相関処理が一般に用いられている。

相関処理は、基準画像を複数のブロックに区切り、各ブロックをテンプレートとして、エピポーラ（Ｅｐｉｐｏｌａｒ）線上で設定した比較画像上の探索範囲内で該テンプレートと同サイズのウインドウを動かし、該テンプレートと最も相関のあるブロック（例えば、ＳＡＤ法では、各ピクセル毎の差分の絶対値の積算値が最も小さいブロック）を決定する処理である。このような処理は、計算量が膨大であり、瞬時に形状や距離を判断する必要がある用途では、高速なハードウェアが必要でコスト高となり、あるいは検出速度面で十分な性能を実現できない場合がある。

このような問題に対して、特許文献１では、低解像度画像により求めた距離情報に基づいて、高解像度画像における視差算出ための対応点探索のウインドウサイズを変化させることによって、計算量の削減、処理負担の軽減を図っている。

特開２００８−３０９６３７号公報

ところで、左右カメラの光学的な歪みや光軸のずれ等に起因して、あるいは広範囲に渡って距離を測定する場合や対象物が近距離にある場合等には広角又は魚眼等のレンズが用いられることから、撮影された画像に歪みを生じる。このため、撮影されたステレオ画像を補正した上で、距離算出のための相関演算等を用いるマッチング処理が行われる。

しかしながら、特許文献１に記載の技術では、上述したような画像に生じている光学的な歪みの補正による影響が考慮されていないため、画像の補正が行われた場合に、マッチング処理におけるマッチング精度が低い場合があり、十分な位置検出精度を得ることができない場合があるという問題があった。

本発明はこのような点に鑑みてなされたものであり、処理の高速化及び装置の低コスト化を図りつつ、画像補正が行われた場合であっても高い位置検出精度を実現できる位置検出装置を提供することを目的とする。

本発明に係る位置検出装置は、一対の画像からなるステレオ画像を等距離射影から中心射影へ補正する際に、当該ステレオ画像に生じている光学的な歪みを部分的に異なる補正量で補正して補正ステレオ画像を出力する補正手段と、前記補正ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内に設定される検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、前記探索手段が探索に用いる前記検出対象領域のサイズを、前記基準画像中の当該検出対象領域を設定すべき位置における前記補正手段による補正量に応じて変更するサイズ変更手段と、前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、撮影された物体の撮影地点からの距離を算出する距離算出手段とを備えて構成される。

本発明によれば、処理の高速化及び装置の低コスト化を図りつつ、画像補正が行われた場合であっても高い位置検出精度を実現することができるという効果がある。

本発明の実施形態のステレオカメラシステムの全体構成を示すブロック図である。 本発明の実施形態の位置検出装置の機能構成を示すブロック図である。 本発明の実施形態の等距離射影の画像を示す図である。 本発明の実施形態の中心射影に補正した画像を示す図である。 本発明の実施形態の補正量に応じたウインドウサイズの設定例を説明するための基準画像を示す図である。 本発明の実施形態の補正量に応じたウインドウサイズの設定例を説明するための比較画像を示す図である。 本発明の実施形態の補正量に応じたウインドウサイズの他の設定例を説明するための基準画像を示す図である。 本発明の実施形態の補正量に応じたウインドウサイズの他の設定例を説明するための比較画像を示す図である。 本発明の実施形態の位置検出装置による処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の説明では、後述するステレオカメラ（カメラ２Ｌ，２Ｒ）の光軸に沿う方向をＺ方向（Ｚ軸）とし、ステレオカメラの基線長の方向をＸ方向（Ｘ軸）とし、これらに直交する方向をＹ方向（Ｙ軸）とした正規直交座標系を適宜に参照しつつ説明する。本実施形態では、Ｘ方向が水平方向に、Ｙ方向が鉛直上方向に設定されている。

図１に本発明の実施形態のステレオカメラシステムの全体構成が示されている。このステレオカメラシステム１は、一対のカメラ（左カメラ２Ｌ、右カメラ２Ｒ）を有するステレオカメラ本体とこのステレオカメラ本体で撮像されたステレオ画像（所定の基線長をもって同時撮影された一対の画像）に基づいて、ステレオカメラ本体の撮影視野内に存在する物体（物体の部分を含む）の撮影地点（ステレオカメラ本体）からの距離を含む該物体の位置を検出する位置検出装置３とを備えている。物体上の複数箇所で距離を含む位置を検出することにより、該物体の形状を求めることもできる。

ステレオカメラ本体が備える左カメラ２Ｌ及び右カメラ２Ｒは、所定の基線長をもって左右（Ｘ方向）に配置されており、これらのカメラ２Ｌ，２Ｒは、ＣＣＤやＣＭＯＳ等からなるイメージセンサ（撮像素子）４Ｌ，４Ｒ及び撮影視野内の被写体の像をイメージセンサ４Ｌ，４Ｒの撮像面上に結像させる撮影レンズ（撮影光学系）５Ｌ，５Ｒをそれぞれ有している。

左カメラ２Ｌ及び右カメラ２Ｒで撮影されたステレオ画像は、所定のフレーム間隔（フレームレート）で順次に出力され、左画像バッファ６Ｌ及び右画像バッファ６Ｒを介して、それぞれ位置検出装置３に順次に出力される。位置検出装置３は、画像内に存在する物体までの距離を含む位置を検出し、検出された情報は、距離画像メモリ７を介して、アプリケーション８に出力され、該アプリケーション８の機能に応じて処理される。

位置検出装置３の機能構成が図２に示されている。位置検出装置３は、画像取得手段（左画像取得部１１Ｌ、右画像取得部１１Ｒ）、補正手段（左歪み補正部１２Ｌ、左歪み補正テーブル１３Ｌ、右歪み補正部１２Ｒ、右歪み補正テーブル１３Ｒ）、探索手段（探索部１４）、サイズ変更手段（ウインドウサイズ変更部１５）、距離算出手段（距離算出部１６）を備えて構成されている。

左画像取得部１１Ｌは、左カメラ２Ｌで撮影された左画像を左画像バッファ６Ｌを介して順次に取得する。右画像取得部１１Ｒは、右カメラ２Ｒで撮影された右画像を右画像バッファ６Ｒを介して順次に取得する。

左歪み補正部１２Ｌは、左画像取得部１１Ｌで取得された左画像に生じている光学的な歪みを補正して、部分的に補正量の異なる補正画像（左補正画像）を出力する。左カメラ２Ｌで撮影された左画像に生じている光学的な歪み（撮影レンズ５Ｌの所定の基準に対する軸ずれ等を含む製造誤差に起因して生じる歪みや撮影レンズ５Ｌの仕様（広角レンズ、魚眼レンズ等）に基づき生じる歪み等）は、予め測定されて歪み補正データとして左歪み補正テーブル１３Ｌに記憶されており、左歪み補正部１２Ｌは、この左歪み補正テーブル１３Ｌに基づいて、左画像を部分的に異なる補正量で補正（縮小、拡大、シフト、回転等）して、補正後の画像（左補正画像）を探索部１４に対して出力する。

右歪み補正部１２Ｒは、右画像取得部１１Ｒで取得された右画像に生じている光学的な歪みを補正して、部分的に補正量の異なる補正画像（右補正画像）を出力する。右カメラ２Ｒで撮影された右画像に生じている光学的な歪み（撮影レンズ５Ｒの前記所定の基準に対する軸ずれ等を含む製造誤差に起因して生じる歪みや撮影レンズ５Ｒの仕様（広角レンズ、魚眼レンズ等）に基づき生じる歪み等）は、予め測定されて歪み補正データとして右歪み補正テーブル１３Ｒに記憶されており、右歪み補正部１２Ｒは、この右歪み補正テーブル１３Ｒに基づいて、右画像を部分的に異なる補正量で補正（縮小、拡大、シフト、回転等）して、補正後の画像（右補正画像）を探索部１４に対して出力する。

例えば、撮影レンズ５Ｌ，５Ｒとして、魚眼レンズが用いられている場合には、図３にそのイメージを示すように、その画像は等距離射影の画像となる。この場合、図４にそのイメージを示すように、中心射影の画像へと補正されることになる。このように、等距離射影から中心射影へと補正が行われた場合、補正後の画像では、周辺の解像度に補正量に応じた劣化が生じる。各射影方式において、光軸からの角度をθとし、焦点距離をｆとすると、結像の高さｒは、下式で求めることができる。
等距離射影：ｒ＝ｆθ
中心射影：ｒ＝ｆｔａｎθ

等距離射影から中心射影へと補正された画像は、中心から周辺にかけて放射状に伸びる画像となり、中心部では補正されない又は補正量が小さいため比較的に高解像度となるが、周辺部では補正量が大きいため比較的に低解像度の画像となる。

なお、ここでは、便宜的に、左右画像バッファ６Ｌ，６Ｒから左右画像取得部１１Ｌ，１１Ｒを介して取得された左右画像を左右歪み補正部１２Ｌ，１２Ｒで補正するようにしたが、左右画像バッファ６Ｌ，６Ｒに一時記憶された左右画像に対してそれぞれ左右歪み補正部１２Ｌ，１２Ｒにより補正を実施して、補正された画像を左右画像取得部１１Ｌ，１１Ｒを介して取得して、探索部１４に出力するようにしてもよい。

探索部１４は、左歪み補正部１２Ｌで補正された左補正画像を基準画像とし、右歪み補正部１２Ｒで補正された右補正画像を比較画像として、後述するウインドウサイズ変更部１５により設定されるウインドウサイズに従って、該基準画像内で定められるマッチングの元となる領域である検出対象領域とマッチングする該比較画像内のマッチング領域を探索する。この探索処理は、後述するウインドウサイズ変更部１５により設定されるウインドウサイズに従うブロックを検出対象領域とし、これをテンプレートとして、該テンプレートと相関の高い（マッチングする）比較画像内のブロックをマッチング領域とするマッチング処理である。

マッチング処理としては、公知の各種のものを用いることができるが、本実施形態では、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法を用いるものとする。ＳＡＤ法は、基準画像内で設定されたテンプレートとこれと相関をとるべき比較画像内のブロックとの互いに対応する各ピクセル（画素）の輝度値の差の絶対値の積算値を算出して評価値とし、該評価値が最も小さいものに係る比較画像内のブロックをマッチング領域とするものである。

ウインドウサイズ変更部１５は、左歪み補正テーブル１３Ｌ及び右歪み補正テーブル１３Ｒに基づいて、補正ステレオ画像（左補正画像、右補正画像）中の各部分における補正量を求め、該補正量に応じて、探索部１４がマッチング（探索）に用いる検出対象領域のサイズ（ウインドウサイズ）を変更する。なお、この実施形態では、画像中の各部分における補正量は、左右歪み補正テーブル１３Ｌ，１３Ｒに基づいて求めるものとするが、別途左右補正量テーブルを設けて、これらの左右補正量テーブルから画像中の各部分における補正量を取得するようにしてもよい。

なお、本願においては、補正量という語には、当該補正量のみならず、当該補正量に相当する量（歪み量、解像度等）が含まれる。すなわち、当該補正量は画像中の各部分における歪み量又は解像度と実質的に同義であるので、当該歪み量又は解像度に応じてウインドウサイズを変更するようにしてもよい。

ここで、「ウインドウサイズを変更する」とは、画像中の補正が行われていない部分に設定するウインドウサイズを基準サイズとして、画像の歪み補正に伴う部分的な拡大又は縮小等に応じて（すなわち、補正量の大小に応じて）、ウインドウサイズを拡大又は縮小することを意味し、面積を変更することのみならず、形状の変更も含まれる。

例えば、図５に示す基準画像（左補正画像）において、中央部は補正量が小さく高解像度であるので、当該中央部ではブロックＢＬ１に示すような小さなウインドウサイズで検出対象領域を設定し、図６に示す比較画像（右補正画像）において、ブロックＢＬ１に対応するブロック（又はその近傍のブロック）ＢＬ１’から図中矢印Ａ１で示すように探索（マッチング）を行う。

また、図５に示す基準画像（左補正画像）において、四隅部（例えば、左上隅部）は補正量が大きく低解像度であるので、当該四隅部ではブロックＢＬ２に示すような大きなウインドウサイズで検出対象領域を設定し、図６に示す比較画像（右補正画像）において、ブロックＢＬ２に対応するブロック（又はその近傍のブロック）ＢＬ２’から図中矢印Ａ２で示すように探索（マッチング）を行う。

加えて、例えば、図７に示す基準画像（左補正画像）において、中央部は補正量が小さく高解像度であるので、当該中央部ではブロックＢＬ３に示すような小さなウインドウサイズで検出対象領域を設定し、図８に示す比較画像（右補正画像）において、ブロックＢＬ３に対応するブロック（又はその近傍のブロック）ＢＬ３’から図中矢印Ａ３で示すように探索（マッチング）を行う。

また、図７に示す基準画像（左補正画像）において、上下辺の中央部（例えば、上辺中央部）は補正量が横方向に大きいが縦方向には小さいので、該上下辺中央部ではブロックＢＬ４に示すような横方向に寸法を拡大したウインドウサイズで検出対象領域を設定し、図８に示す比較画像（右補正画像）において、ブロックＢＬ４に対応するブロック（又はその近傍のブロック）ＢＬ４’から図中矢印Ａ４で示すように探索（マッチング）を行う。

さらに、図７に示す基準画像（左補正画像）において、左右辺の中央部（例えば、左辺中央部）は補正量が縦方向に大きいが横方向には小さいので、該左右辺中央部ではブロックＢＬ５に示すような縦方向に寸法を拡大したウインドウサイズで検出対象領域を設定し、図８に示す比較画像（右補正画像）において、ブロックＢＬ５に対応するブロック（又はその近傍のブロック）ＢＬ５’から図中矢印Ａ５で示すように探索（マッチング）を行う。

なお、上述した探索は、比較画像においてエピポーラ線上の全範囲を探索範囲としてマッチングを実行するようにしてもよいし、あるいは例えば直近に処理されたフレームについて求められた距離（Ｚ方向の位置）や別途アクティブ測距装置等を用いて測定した距離に応じて、該エピポーラ線上の全範囲よりも狭い範囲で変更設定される探索範囲に従って、マッチングを実行するようにしてもよい。

距離算出部１６は、基準画像内の検出対象領域の位置及び探索部１４により特定された比較画像内のマッチング領域の位置から求まる視差（位置ずれ）に基づいて、当該部分の撮影地点からの距離を算出する。すなわち、左右のカメラ２Ｌ，２Ｒが互いに平行等位に配置されているものとして、位置検出の対象となる物体（対象物）までの距離ｚは、基線長をＬ、焦点距離をｆ、視差をＤとして、ｚ＝Ｌ×ｆ／Ｄで算出することができる。各検出対象領域についてそれぞれ算出された距離（ｚ１、ｚ２，ｚ３，…）、すなわちＺ方向の位置は、該距離の算出に係る位置（ブロックのＸ方向の位置、Ｙ方向の位置）が特定できる状態で距離画像メモリ７に格納される。

次に、この実施形態の位置検出装置３による処理を、図９に示すフローチャートを参照して説明する。

処理が開始されると、ステレオカメラ本体による撮影が開始される（ステップＳ１）。これにより、左右カメラ２Ｌ，２Ｒの各イメージセンサ４Ｌ，４Ｒからの撮像信号をデジタル変換した画像データ（フレームデータ）が、それぞれ左画像バッファ６Ｌ及び右画像バッファ６Ｒを介して位置検出装置３に順次出力される。

次いで、位置検出装置３において、左歪み補正部１２Ｌ及び右歪み補正部１２Ｒにより、左歪み補正テーブル１３Ｌ及び右歪み補正テーブル１３Ｒからそれぞれ歪み補正データが読み込まれ（ステップＳ２）、これらの歪み補正データに従って左画像及び右画像に生じている光学的な歪みがそれぞれ補正される（ステップＳ３）。ここでは、説明を簡単にするため、例えば、図３に示した等距離射影の画像が、図４に示した中心射影の画像に補正されるものとする。

次いで、左画像中の検出対象領域として設定すべき位置における補正量が所定のしきい値と比較判断され（ステップＳ４）、所定のしきい値よりも小さいと判断された場合（Ｙｅｓの場合）には、ステップＳ５に進んで、検出対象領域として設定すべきウインドウサイズとして、図５のブロックＢＬ１に示すようなサイズの小さいウインドウ（ウインドウサイズ小）が選択される。

ステップＳ４において、左画像中の検出対象領域として設定すべき位置における補正量が所定のしきい値よりも大きいと判断された場合（Ｎｏの場合）には、ステップＳ９に進んで、検出対象領域として設定すべきウインドウとして、サイズの大きいウインドウ（ウインドウサイズ大）が選択される。

次いで、左画像中の検出対象領域として設定すべき位置が画像中の上下（上辺中央部又は下辺中央部）であるか、左右（左辺中央部又は右辺中央部）であるか、四隅（左上隅部、左下隅部、右上隅部、又は右下隅部）であるかが判断され（ステップＳ１０）、上下と判断された場合には図７のブロックＢＬ４に示すような横方向に大きく拡大されたウインドウ（横長ウインドウ）が選択され、左右と判断された場合には図７のブロックＢＬ５に示すような縦方向に大きく拡大されたウインドウ（縦長ウインドウ）が選択され、四隅と判断された場合には図５のブロックＢＬ２に示すような縦横方向共に拡大されたウインドウサイズ（四隅ウインドウ）が選択される。

次いで、ステップＳ６では、ステップＳ５、Ｓ１１、Ｓ１２又はＳ１３で選択されたウインドウサイズで、ステレオ画像の対応点の検出、すなわち当該選択されたウインドウサイズに従って基準画像内で設定された検出対象領域に対応する比較画像内のマッチング領域が探索される。

次いで、全てのマッチング処理が終了したか否かが判断され（ステップＳ７）、終了していないと判断された場合（Ｎｏの場合）にはステップＳ４に戻って、基準画像内に設定すべき検出対象領域の位置を変更しつつ同様の処理を繰り返し、終了していると判断された場合（Ｙｅｓの場合）には、基準画像内の各検出対象領域とこれらにそれぞれ対応する比較画像内の各マッチング領域とから各領域についての距離をそれぞれ算出し（ステップＳ８）、距離画像として出力して、この処理を終了する。なお、距離画像とは、距離を算出した各領域の位置と当該距離とをパラメータとする画像である。

上述した実施形態によると、画像中の補正量が小さい部分（すなわち高解像度の部分）については比較的に小さいサイズのウインドウを用い、補正量が大きい部分（すなわち低解像度の部分）については比較的に大きいサイズのウインドウを用いてマッチング処理を行うようにしたので、高解像度の部分では小さいウインドウを用いることによってマッチング処理の計算量を削減することができ、処理負担の軽減、処理の高速化を図ることができる。一方、低解像度の部分では大きいウインドウを用いることによって画像の特徴部分を多くとることができるため、低解像度の部分においても高いマッチング精度を実現することができ、高い精度で位置（距離）を検出することができる。従って、処理の高速化及び装置の低コスト化を図りつつ、画像補正が行われた場合であっても高い位置検出精度を実現することができる。

なお、上述した実施形態では、基準画像としての左画像についての歪み補正量に応じてウインドウサイズを設定したが、比較画像としての右画像についての歪み補正量を用いてもよく、また両者を用いてもよい。また、上述した実施形態では、魚眼レンズを用いて撮影された等距離射影の画像を中心射影の画像に補正する場合について説明したが、これは説明を単に簡単にするための一例であり、これと異なる補正を行う場合であっても適用できる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…ステレオカメラシステム、２Ｌ…左カメラ、２Ｒ…右カメラ、３…位置検出装置、１１Ｌ…左画像取得部、１１Ｒ…右画像取得部、１２Ｌ…左歪み補正部、１２Ｒ…右歪み補正部、１３Ｌ…左歪み補正テーブル、１３Ｒ…右歪み補正テーブル、１４…探索部、１５…ウインドウサイズ変更部、１６…距離算出部、ＢＬ１〜ＢＬ５…ブロック（検出対象領域）。

Claims (2)

1. 一対の画像からなるステレオ画像を等距離射影から中心射影へ補正する際に、当該ステレオ画像に生じている光学的な歪みを部分的に異なる補正量で補正して補正ステレオ画像を出力する補正手段と、
   前記補正ステレオ画像のうちの一方を基準画像、他方を比較画像として、該基準画像内に設定される検出対象領域にマッチングする前記比較画像内のマッチング領域を探索する探索手段と、
   前記探索手段が探索に用いる前記検出対象領域のサイズを、前記基準画像中の当該検出対象領域を設定すべき位置における前記補正手段による補正量に応じて変更するサイズ変更手段と、
   前記基準画像内の前記検出対象領域の位置及び前記探索手段により探索された前記比較画像内の前記マッチング領域の位置から求まる視差に基づいて、撮影された物体の撮影地点からの距離を算出する距離算出手段と
   を備えることを特徴とする位置検出装置。
2. 前記サイズ変更手段は、前記補正手段による補正量が大きくなるに従って前記検出対象領域のサイズを大きいサイズに変更することを特徴とする請求項１に記載の位置検出装置。

Images