JP5489897B2 - ステレオ測距装置及びステレオ測距方法 - Google Patents

Description

本発明は、ステレオ測距装置及びステレオ測距方法に関する。

従来、ステレオカメラによって撮影された２つの画像を用いてターゲット（つまり、撮像対象）との距離を測るステレオ測距装置が知られている。ステレオカメラには、まず、第１のカメラと第２のカメラとを互いの光軸を平行に配置した第１の形態がある。

また、上記した第１の形態よりもステレオカメラ全体の撮影範囲を拡げる目的で、非平行に（つまり、両カメラの光軸を互いに遠ざかる方向に向けて）配置した第２の形態も提案されている（例えば、特許文献１参照）。

特許文献１に開示されているステレオ測距装置は、両カメラの視野で重なっている領域に対応する２つの画像内の画像領域（つまり、重畳領域）を用いて画像間の視差を算出し、この視差値に基づいてターゲットとの距離を算出する。これに対して、非重畳領域は、オプティカルフローなどの一般的な物体の動き情報に基づく物体検出に用いられる。

しかしながら、上記した第２の形態では、重畳領域に映し出されるターゲット画像の像高（つまり、レンズ主点に対応する画像中心からの距離）が両画像で大きく異なるケースが頻繁に発生する。画像領域の像高が小さければその画像領域は鮮明となる一方、像高が大きいと、レンズの球面収差の影響によって、その画像領域はぼけてしまう。従って、上記した第２の形態では、互いに異なるカメラで撮影された画像に含まれ且つ「ぼけ味（blur）」の互いに異なる２つの画像領域を用いて測距されることになる。そして、「ぼけ味（blur）」の互いに異なる２つの画像領域を用いて測距されると、測距精度が劣化してしまう問題がある。

ここで、「ぼけ味（blur）」とは、物体等の一点から反射された光線がレンズにより一点に収束することなくある空間領域に広がっている程度を表し、画像の場合は一点から反射された光線がＣＣＤ等の撮像素子サイズより広がって撮像された場合に不鮮明に撮像された状態の程度を表す。

ところで、一般的に、複数のレンズの相対関係又はステレオカメラを構成する複数のカメラの相対関係を校正する処理が知られている。前者は、レンズ歪みを補正する歪み補正処理であり、後者は、両カメラの光軸を平行化する平行化補正処理である（特許文献２参照）。しかし、これらの処理は、球面収差に起因するぼけ味を補正する処理ではない。

これに対して、特許文献３には、レンズのピント調整機構を利用する、ぼけ味補正方法が開示されている。

特開２００５−２４４６３号公報 特開平１１−３２５８８９号公報 特開２００８−２４１４９１号公報

しかしながら、従来のぼけ味補正方法をステレオ測距装置に適用する場合には、レンズのピント調整機構を搭載する必要があるため、装置が複雑化してしまう問題がある。さらに、従来のぼけ味補正方法によればカメラ画像全体に対して一律にぼけ味補正を行うことになるので、カメラ画像におけるターゲット画像の位置が変わることでぼけ味が変化する度に、レンズのピント調整機構を物理的に制御する必要がある。従って、測距処理の前処理が頻繁に行われることになるので、結果として、測距処理に掛かる時間が長くなってしまう問題がある。

本発明は、かかる点に鑑みてなされたものであり、カメラ画像自体を調整することによってぼけ味を補正することにより、測距処理時間が長くなることを防止しつつ視差検出精度を向上することができるステレオ測距装置及びステレオ測距方法を提供することを目的とする。

本発明の一態様のステレオ測距装置は、第１画像及び第２画像を含むステレオ画像を用いて、視差を計測する視差計測手段と、前記計測された視差に基づいて、ターゲットとの間の距離を算出する算出手段と、前記視差計測手段によって用いられる前記第１画像及び前記第２画像の内で、ぼけ味の弱い方の画像のぼけ味を、ぼけ味調整フィルタを用いてぼけ味の強い方の画像のぼけ味に合わせる調整手段と、を具備する。

本発明の一態様のステレオ測距方法は、第１画像及び第２画像を含むステレオ画像を用いて、視差を計測し、前記計測された視差に基づいて、ターゲットとの間の距離を算出するステレオ測距方法であって、前記視差の計測に用いられる前記第１画像及び前記第２画像の内で、ぼけ味の弱い方の画像のぼけ味を、ぼけ味調整フィルタを用いてぼけ味の強い方の画像のぼけ味に合わせるステップを含む。

本発明によれば、球面収差に起因するぼけの影響によってステレオ画像の構成画像間にぼけ味の差が生じる場合でも、カメラ画像自体を調整することによってぼけ味を補正することにより、測距処理時間が長くなることを防止しつつ視差検出精度を向上することができるステレオ測距装置及びステレオ測距方法を提供することができる。

本発明の実施の形態１におけるステレオ測距装置の構成を示すブロック図 ぼけ味調整部の構成を示すブロック図 ステレオ測距装置の動作説明に供するフロー図 ぼけ味調整フィルタ係数の説明に供する図 ぼけ味合致処理の説明に供するフロー図 ぼけ味合致処理の説明に供する図 視差の説明に供する図 ピクセル視差計測処理の説明に供する図 本発明の実施の形態２におけるステレオ測距装置の構成を示すブロック図 ステレオ測距装置の動作説明に供するフロー図 本発明の実施の形態３におけるステレオ測距装置の構成を示すブロック図 ステレオ測距装置の動作説明に供するフロー図 本発明の実施の形態４におけるステレオ測距装置の構成を示すブロック図 ステレオ測距装置の動作説明に供するフロー図 ぼけ味調整フィルタ係数の算出処理の説明に供するフロー図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［ステレオ測距装置１００の構成］
図１は、本発明の実施の形態１におけるステレオ測距装置１００の構成を示すブロック図を示す。ステレオ測距装置１００は、第１の撮像系（以下、第１のカメラ）によって撮影された第１画像に含まれる部分画像であって且つ測距対象（以下、ターゲット）が撮影された第１ターゲット画像、及び、第２の撮像系（以下、第２のカメラ）によって撮影された第２画像に含まれる部分画像であって且つターゲットが撮影された第２ターゲット画像を用いて、ステレオ測距装置１００とターゲットとの間のターゲット距離を算出する。

以下では、第１のカメラが右カメラであり、第１画像は基準画像である一方、第２のカメラが左カメラであり、第２画像が参照画像であるものとして説明する。なお、第１のカメラ及び第２のカメラを含む撮像部は、第１画像及び第２画像を取得し、ステレオ測距装置１００に対して出力する。

図１において、ステレオ測距装置１００は、フィルタ記憶部１０１と、ぼけ味調整部１０２と、視差計測部１０３と、距離算出部１０４とを有する。

フィルタ記憶部１０１は、基準画像内の像高と参照画像内の像高との組み合わせ候補と、ぼけ味調整フィルタ係数との対応関係を記憶する。この対応関係については、後に詳しく説明する。

ぼけ味調整部１０２は、視差計測部１０３によって視差計測に用いられる基準画像及び参照画像の部分画像について、ぼけ味の弱い方（高品質）の画像のぼけ味を、ぼけ味調整フィルタを用いてぼけ味の強い方（低品質）の画像のぼけ味に合わせる調整処理を行う。

詳細には、ぼけ味調整部１０２は、基準画像及び参照画像を含むステレオ画像データを入力とする。ぼけ味調整部１０２は、基準画像における第１ターゲット画像の像高と、参照画像における第１ターゲット画像とターゲットが共通する第２ターゲット画像の像高との組み合わせ、及び対応テーブルによって対応付けられたぼけ味調整フィルタ係数を取得する。このぼけ味調整フィルタ係数が、ぼけ味の調整処理において用いられる。

具体的には、ぼけ味調整部１０２は、図２に示すように、ぼけ味調整フィルタ取得部１１１と、フィルタ適用画像判定部１１２と、フィルタ適用部１１３とを有する。

ぼけ味調整フィルタ取得部１１１は、基準画像における像高と参照画像における像高との組み合わせ、及び対応テーブルによって対応付けられたぼけ味調整フィルタ係数を取得する。

フィルタ適用画像判定部１１２は、ぼけ味調整フィルタ取得部１１１によって取得されたぼけ味調整フィルタ係数を、基準画像（の輝度信号）及び参照画像（の輝度信号）の内のいずれに適用するかを判定する。

フィルタ適用部１１３は、ぼけ味調整フィルタ取得部１１１によって取得されたぼけ味調整フィルタ係数を、フィルタ適用画像判定部１１２によって選択された画像へ適用する。

視差計測部１０３は、基準画像及び参照画像を用いて、視差を計測する。視差とは、基準画像における視差基準点の位置と参照画像における対応点の位置との、画像Ｘ軸方向の差である。なお、本実施の形態においてはステレオカメラの両カメラを横方向に設置しているとして説明しているため、視差はＸ軸方向の差であるが、ステレオカメラの両カメラを縦方向に設定する場合においては、視差はＹ軸方向の差である。

具体的には、視差計測部１０３は、ピクセル視差計測処理とサブピクセル視差計測処理との２段階で、視差計測を行う。ピクセル視差計測処理は、ピクセル精度（整数精度）の視差計測であり、サブピクセル視差計測処理は、サブピクセル精度（小数精度）の視差計測である。ピクセル視差計測処理では、視差計測部１０３は、まず、基準画像内の視差基準点と、当該視差基準点に対応する、参照画像内の探索領域とを設定する。そして、視差計測部１０３は、視差基準点と探索領域内の複数の探索点との画像輝度を順次比較し、最も相違度の低い探索点を対応点（参照点）として選択する。そして、サブピクセル視差計測処理では、視差基準点とピクセル視差計測処理で選択された参照点とについての小数点以下の視差を、画像輝度を用いて算出する。

距離算出部１０４は、視差計測部１０３で計測された視差に基づいて、ターゲットとの間の距離を算出する。

［ステレオ測距装置１００の動作］
以上の構成を有するステレオ測距装置１００の動作について説明する。図３は、ステレオ測距装置１００の動作説明に供するフロー図である。

ぼけ味調整部１０２は、不図示の撮像部からステレオ画像データを取得する。ステレオ画像データは、左右に並んだ二つのレンズを搭載したステレオカメラによって同時に撮影した、一対の画像データ（つまり、基準画像データ及び参照画像データ）である。ステレオ画像データでは、基準画像の水平方向と参照画像の水平方向とがステレオカメラの基線長方向に平行化されている。平行化された状態とは、参照画像におけるエピポーラ線（一方のカメラの光軸をもう一方のカメラで撮影した画像へ投影した線）が画像Ｘ軸と平行である状態をいう。

ステップＳ２０１において、ぼけ味調整部１０２は、視差計測部１０３による視差計測に用いられる基準画像及び参照画像のぼけ味を、ぼけ味調整フィルタ係数を用いて、合致させる調整処理を行う。すなわち、ぼけ味調整部１０２は、基準画像の基準点のぼけ味と、参照画像の探索点のぼけ味とを合致させる。ここでは、ピクセル単位でぼけ味の調整処理が実行されている。

ここで、ぼけ味調整フィルタ係数は、フィルタ記憶部１０１によって記憶されている。図４は、ぼけ味調整フィルタ係数の説明に供する図である。図４に示すように、基準画像のぼけ味は、ステレオ測距を行う基準画像の像高（画像主点からの距離）に基づいて決まるＭＴＦ特性（光学伝達関数（ＯＴＦ）の絶対値、Modulation Transfer Function）に依存する（図４Ｂ参照）。参照画像のぼけ味も、同様である（図４Ａ参照）。従って、基準画像のぼけ味と参照画像のぼけ味とを合致させるためのフィルタ係数は、ステレオ測距を行う基準画像の像高及び参照画像の像高を指定すれば一意に決まる。

そして、図４Ｃに示すように、基準画像内の像高と参照画像内の像高との組み合わせ候補と、ぼけ味調整フィルタ係数との対応テーブルが、フィルタ記憶部１０１に記憶されている。例えば、図４Ａの像高＝２と、図４Ｂの像高＝３との組み合わせに対応するフィルタ係数は、図４Ｃのマトリクスの領域（３、２）内に保持されている。

図５は、ぼけ味合致処理の説明に供するフロー図である。

まず、ぼけ味調整フィルタ取得部１１１は、基準画像の基準点と、当該基準点に対応する、参照画像内の探索領域及び初期探索点とを設定する。なお、探索点は、ステップＳ２０３からステップＳ２０１へ戻る度に、探索領域内で順次変更される。また、基準点は、ステップＳ２０５からステップＳ２０１へ戻る度に、基準画像内で順次変更される。

そして、ステップＳ３０１でぼけ味調整フィルタ取得部１１１は、基準点の像高と参照点の像高との組み合わせ、及び対応テーブルによって対応付けられたぼけ味調整フィルタ係数を取得する。

具体的には、ぼけ味調整フィルタ取得部１１１は、視差基準点の位置から像高（つまり、基準画像における画像中心から視差基準点までの長さ）を算出すると共に、探索点の位置から像高（つまり、参照画像における画像中心から探索点までの長さ）を算出する。そして、ぼけ味調整フィルタ取得部１１１は、視差基準点の像高及び探索点の像高をインデックスとして、対応テーブルからぼけ味調整フィルタ係数を取得する。

ステップ３０２でフィルタ適用画像判定部１１２は、ぼけ味調整フィルタ取得部１１１で取得されたぼけ味調整フィルタ係数を、基準点（の輝度信号）及び探索点（の輝度信号）の内のいずれに適用するかを判定する。この判定基準には、視差基準点の位置及び探索点の位置が用いられる。

具体的には、フィルタ適用画像判定部１１２は、視差基準点の像高と探索点の像高とを比較し、像高値の小さい方をフィルタ係数の適用画像として選択する。

ステップＳ３０３でフィルタ適用部１１３は、ぼけ味調整フィルタ取得部１１１において取得されたぼけ味調整フィルタ係数を、フィルタ適用画像判定部１１２において選択された画像へ適用する。この適用処理は、次の式（１）によって表すことができる。

ここで、式（１）において、Ｊ（ｘ）は、ぼけ味が補正された後の輝度信号であり、Ｉ（ｘ）は、輝度信号であり、ａ_ｉ，ｊ（ｕ）は、輝度係数である。また、Ｎは、抽出した画像領域のピクセル数を表し、ｕは、ぼけ味調整フィルタ係数の次元数を表し、ｉは、視差基準点の像高値を表し、ｊは、参照点の像高値を示す。そして、ｘは、抽出した画像領域に対する画像Ｘ軸（水平軸）の取り得る値（０＜ｘ＜Ｎ−１）であり、Ｍは、ｕの取り得る範囲を規定する値である。そして、ＭとＮとは、２Ｍ＋１≦Ｎの関係を満たす。

なお、ここでは、ぼけ味調整フィルタ係数が画像Ｘ軸方向の一次元の配列であるものとして記載しているが、画像Ｘ軸方向（水平方向）と画像Ｙ軸方向（鉛直方向）との二次元の配列であるものとすることができる。これにより、Ｙ軸方向のぼけ味も調整することができる。

図３に戻り、ステップＳ２０２で視差計測部１０３は、ぼけ味が調整された、基準点及び探索点を用いて、ピクセル視差計測処理を行う。具体的には、視差計測部１０３は、基準点の輝度信号と探索点の輝度信号との相違度を算出し、今回までに算出された複数の探索点に関する相違度の中で最も小さい相違度と当該相違度が得られた探索点とを保持する。ピクセル視差計測処理については、後に図を用いて説明する。

ステップＳ２０３で視差計測部１０３は、探索範囲内の全ての探索点についてステップＳ２０１及びステップＳ２０２の処理を行ったか否かを判定する。そして、未だ探索点が残っている場合（ステップＳ２０３：ＮＯ）には、処理がステップＳ２０１に戻り、探索点が残っていない場合（ステップＳ２０３：ＹＥＳ）には、処理がステップＳ２０４へ移る。このとき、ステップＳ２０２で最後に保持されていた探索点、つまり相違が最も小さい探索点が、参照点として選択される。

ステップＳ２０４で視差計測部１０３は、視差基準点とピクセル視差計測処理で選択された参照点とについての小数点以下の視差を、画像輝度を用いて算出する。

ステップＳ２０３で視差計測部１０３は、基準画像内の全ての基準点についてステップＳ２０１〜ステップＳ２０４の処理を行ったか否かを判定する（ステップＳ２０６）。

基準画像内の全ての基準点についてステップＳ２０１〜ステップＳ２０４の処理が完了した場合（ステップＳ２０５：ＹＥＳ）には、距離算出部１０４は、視差計測部１０３で計測された視差に基づいて、ターゲットとの間の距離を算出する。

具体的には、距離算出部１０４は、下記式（２）によって距離を算出する。

ここで、基線長は、ステレオカメラにおけるレンズ焦点間の距離であり、焦点距離は、レンズの仕様から決まるパラメータであり、画素ピッチは、撮像素子の大きさである。

以上のように、ぼけ味合致処理及びピクセル視差計測処理は、探索領域全体に対して探索点が走査されることにより繰り返えされ、サブピクセル視差計測処理は、基準画像全体に対して視差基準点が走査されることにより繰り返えされる。これにより、基準画像全体の視差が推定され、画像範囲全体の視差の二次元配列が推定される。なお、視差基準点の走査は必ずしも画像全体で行われる必要はなく、道路内の領域のみで走査されても良い。すなわち、視差基準点が操作される領域は任意で良い。

＜ぼけ味合致処理の説明＞
次に、ぼけ味合致処理について、図６を参照して説明する。

ぼけ味調整部１０２は、基準画像（図６Ｂ参照）及び参照画像（図６Ａ参照）を含むステレオ画像を入力とする。

図６Ｃ及び図６Ｄには、参照領域（参照画像内のステレオマッチング処理対象の領域）の輝度信号及び基準領域（基準画像内のステレオマッチング処理対象の領域）の輝度信号の一例がそれぞれ示されている。また、図６Ｅ及び図６Ｆには、参照領域の輝度信号に関する振幅特性及び基準領域の輝度信号に関する振幅特性がそれぞれ示されている。また、図６Ｇには、ぼけ味調整後の参照信号の輝度信号に関する振幅特性が示されている。図６Ｃ、図６Ｄ、図６Ｇにおいて、横軸は、画像Ｘ軸（水平軸）を表し、縦軸は、輝度値を表す。

図６Ｃに示される参照画像の輝度信号は、図６Ｄに示される基準画像の輝度信号よりも、なまりが小さい。すなわち、図６Ｅの振幅特性には、図６Ｆに比べて、高周波数側の成分が現れている。

すなわち、この状況は、基準領域のぼけ味と参照領域のぼけ味とが異なっていることを示している。このような基準領域及び参照領域を用いて視差を検出する場合には、視差の標準偏差が増加して精度が劣化する。これは、ぼけ味の異なる信号間でステレオマッチングを行った場合、或る空間周波数において振幅成分の無い信号と、その空間周波数において振幅成分の在る信号とをマッチングすることになり、視差検出精度の劣化要因となるためである。

これに対して、ぼけ味の弱い参照領域のぼけ味を、フィルタ係数を用いてぼけ味の強い基準領域のぼけ味に調整した後に視差を検出することにより、視差検出の精度が向上する。これは、ぼけ味が合わされているため、視差の標準偏差が劣化しないためである。

＜視差の説明＞
ここで、視差について、説明する。図７は、視差の説明に供する図である。図７には、カメラ前方に物体が存在する場合のステレオ画像が示されており、図７Ａは、参照画像を示し、図７Ｂは、基準画像を示す。

参照画像における物体画像の位置は、基準画像における物体画像の位置と比較して右にずれた位置となる。このズレが視差であり、カメラと物体との距離によって変化する。

具体的には、基準画像における測距対象物の左端の座標をｘｂ、参照画像における測距対象物の左端の座標をｘｒとすると、物体の左端の視差ｄは、ｘｒ−ｘｂにより求めることができる。

＜視差計測処理の説明＞
図８は、ピクセル視差計測処理の説明に供する図である。図８Ａには、探索領域及び対応点が示された参照画像が示され、図８Ｂには、基準点が示された基準画像が示されている。図８Ａの探索領域は、図８Ｂの基準点に対応して設定されたものである。

ピクセル視差計測処理では、探索領域内の全ての探索点について基準点の輝度との相違度が算出され、最も相違度の小さい探索点が対応点として選択される。探索領域内の全ての探索点についての基準点の輝度との相違度は、図８Ａの下図に示すように、横軸を視差、縦軸を輝度の相違度とする一次元の分布となる。

輝度の相違度には、例えば、視差基準点を中心として８×８ピクセルの小領域と、探索領域内の各点を中心とした８×８ピクセルの小領域との、画像輝度の差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられる。そして、相違度が最小となる対応点の位置は、視差基準点における視差を示す。

なお、ここでは相違度を算出するための小領域を８×８ピクセルとして説明したが、これに限定されるものではない。すなわち、任意の大きさの矩形を用いることができる。また、ここでは相違度に画像輝度を用いるものとして説明したが、本発明はこれに限定されるものではない。また、画像の前処理としてラプラシアンフィルタ又はＬｏＧフィルタなどの画像フィルタを適用することもできる。さらに、相違度には、差分二乗和（ＳＳＤ）などを用いても良い。すなわち、相違度としては、完全に一致した場合に値が最小となるような任意の相違度を用いることができる。また、相違度としては、正規化相関（ＮＣＣ）などを用いても良い。すなわち、完全一致した場合に値が最大となるような類似度の指標を正負逆にして利用することもできる。

サブピクセル視差計測処理では、視差基準点を中心とした画像Ｘ軸３１ピクセルの小領域の画像輝度と、対応点を中心とした画像Ｘ軸３１ピクセルの小領域の画像輝度とを用いて、周波数特性の位相差からサブピクセルの差が算出される。

なお、サブピクセル視差を算出する小領域を画像Ｘ軸３２ピクセルとして説明したが、これに限定されるものではない。すなわち、任意の大きさの矩形を用いることができる。また、ここでは相違度に画像輝度を用いるものとして説明したが、本発明はこれに限定されるものではない。また、画像の前処理としてラプラシアンフィルタ又はＬｏＧフィルタなどの画像フィルタを適用することもできる。また、サブピクセル視差には、位相限定相関（ＰＯＣ：Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）などの周波数特性に基づいたあらゆるマッチング手段を用いることができる。また、サブピクセル視差の算出には、等角直線フィッティング又はパラボラフィッティングなどの、最小値を推定するあらゆる方式を用いることができる。この場合には、ピクセル視差計測処理で用いられた画像輝度の相違度が用いられる。

なお、以上の説明では、ステレオカメラは左右に並んだ二つのレンズを搭載したカメラであるとして説明したが、本発明はこれに限定されるものではなく、二つのカメラで代替することもできる。また、ステレオカメラは左右に並んだ二つのレンズを搭載したカメラであるとして説明したが、本発明はこれに限定されるものではなく、上下に並べるなど任意の位置関係において実現可能である。

以上のように本実施の形態によれば、ステレオ測距装置１００において、ぼけ味調整部１０２が、視差計測部１０３によって視差計測に用いられる基準画像及び参照画像の部分画像について、ぼけ味の弱い方の画像のぼけ味を、ぼけ味調整フィルタを用いてぼけ味の強い方の画像のぼけ味に合わせる。

こうすることで、カメラ画像自体を調整することによってぼけ味を補正することができる。そして、ぼけ味の弱い方の画像のぼけ味をぼけ味の強い方の画像のぼけ味に合わせることにより、フィルタを適用するという簡単な処理によって、視差検出に用いられる画像間のぼけ味を合わせることができる。従って、視差検出の精度を向上することができると共に、測距処理を高速に行うことができる。

そして、視差計測部１０３は、ピクセル視差計測処理とサブピクセル視差計測処理との２段階で、視差を計測し、ぼけ味調整部１０２は、ピクセル視差計測処理の前に、ピクセル単位でぼけ味の調整処理を実行する。

なお、上記説明では、視差計測部１０３がピクセル視差計測処理とサブピクセル視差計測処理との２段階で視差を計測するものとして説明したが、本発明はこれに限定されるものではなく、ピクセル視差計測処理のみの１段階で視差を計測しても良い。このように視差計測処理を省いても、本実施の形態ではピクセル視差計測処理の前にぼけ味の調整処理を実行しているので、サブピクセル視差検出精度が保たれる。

［実施の形態２］
実施の形態２では、ぼけ味合致処理が、ピクセル視差計測処理の後で且つサブピクセル視差計測処理の前にサブピクセル単位で実行される。

［ステレオ測距装置４００の構成］
図９は、本発明の実施の形態２におけるステレオ測距装置４００の構成を示すブロック図を示す。図９において、ステレオ測距装置４００は、視差計測部４０１と、ぼけ味調整部４０２とを有する。

視差計測部４０１は、実施の形態１の視差計測部１０３と基本的に同じ機能を有する。また、ぼけ味調整部４０２は、実施の形態１のぼけ味調整部１０２と同じ機能を有する。ただし、上記したようにぼけ味合致処理実行されるタイミングが、実施の形態１と異なっている。

［ステレオ測距装置４００の動作］
図１０は、ステレオ測距装置４００の動作説明に供するフロー図である。

図１０に示すように、ステレオ測距装置４００では、ぼけ味合致処理と無関係に、ピクセル視差計測処理が行われる（ステップＳ２０２、ステップＳ２０３）。すなわち、この段階で、基準点と対応する対応点が選択されている。

そして、ステップＳ５０１でぼけ味調整部４０２は、基準画像の基準点のぼけ味と、参照画像の対応点のぼけ味とを合致させる。すなわち、実施の形態２では、ぼけ味合致処理を行う対象が基準点と対応点との１つに絞られているので、探索範囲内の全ての探索点に対してぼけ味合致処理を行っていた実施の形態１に比べて、処理量を削減することができる。この結果、測距処理をさらに高速に行うことができる。

そして、ステップＳ２０４で視差計測部４０１は、ぼけ味が調整された、基準点及び対応点を用いて、ピクセル視差計測処理を行う。

以上のように本実施の形態によれば、ステレオ測距装置４００において、ぼけ味調整部４０２は、ピクセル視差計測処理の後で且つサブピクセル視差計測処理の前に、サブピクセル単位でぼけ味の調整処理を実行する。こうすることで、測距処理をさらに高速に行うことができる。

［実施の形態３］
実施の形態３では、ぼけ味合致処理が、視差の計測処理が開始される前に実行される。

［ステレオ測距装置６００の構成］
図１１は、本発明の実施の形態３におけるステレオ測距装置６００の構成を示すブロック図を示す。図１１において、ステレオ測距装置６００は、ぼけ味調整部６０１と、視差計測部６０２とを有する。

ぼけ味調整部６０１は、実施の形態１の視差計測部１０３と基本的に同じ機能を有する。ただし、ぼけ味調整部６０１は、基準画像及び参照画像において最もぼけ味の強い箇所のぼけ味に、当該箇所を含む画像と異なるもう一方の画像全体のぼけ味を合わせる。従って、フィルタ記憶部１０１には、全体の振幅特性を一度だけ補正するためのフィルタが保持されている。

視差計測部６０２は、実施の形態１のぼけ味調整部１０２と同じ機能を有する。ただし、上記したようにぼけ味合致処理実行されるタイミングが、実施の形態１と異なっている。

［ステレオ測距装置６００の動作］
図１２は、ステレオ測距装置６００の動作説明に供するフロー図である。

まず、ぼけ味調整部６０１は、基準画像及び参照画像において最もぼけ味の強い箇所を特定する。

そして、ステップＳ７０１でぼけ味調整部６０１は、最もぼけ味の強い箇所に対応するぼけ味調整フィルタ係数をフィルタ記憶部１０１から取得すると共に、その箇所を含む画像と異なるもう一方の処理対象画像の内の処理対象点のぼけ味を、その取得されたぼけ味調整フィルタ係数を用いて調整する。

ステップＳ７０２でぼけ味調整部６０１は、処理対象画像内の全ての処理対象点候補についてぼけ味合致処理が完了したか否かを判定する。

このように本実施の形態によれば、ステレオ測距装置６００において、ぼけ味調整部６０１は、視差計測部６０２による視差の計測処理が開始される前に、基準画像又は参照画像の全体に対するぼけ味の調整を一括処理する。こうすることで、測距処理をさらに高速に行うことができる。

［実施の形態４］
実施の形態４では、ぼけ味調整フィルタ係数を都度算出する。

［ステレオ測距装置８００の構成］
図１３は、本発明の実施の形態４におけるステレオ測距装置８００の構成を示すブロック図を示す。図１３において、ステレオ測距装置８００は、ぼけ味算出部８０１を有する。

ぼけ味算出部８０１は、ぼけ味調整フィルタ係数を算出する。算出されたぼけ味調整フィルタ係数は、ぼけ味調整部１０２へ出力される。

［ステレオ測距装置８００の動作］
図１４は、ステレオ測距装置８００の動作説明に供するフロー図である。

ステップＳ９０１でぼけ味算出部８０１は、ステレオ画像データを入力とし、このステレオ画像データを用いて、ぼけ味調整フィルタ係数を算出する。

図１５は、ぼけ味調整フィルタ係数の算出処理の説明に供するフロー図である。

まず、ぼけ味算出部８０１は、基準画像及び参照画像のそれぞれに対して、ステップＳ１００１〜ステップＳ１００４の処理を行う。

具体的には、基準画像に関して、ぼけ味算出部８０１は、視差基準点を中心とした小領域の画像輝度信号をゼロ平均化し（ステップＳ１００１）、ゼロ平均化された信号に対してハニング窓処理を行い（ステップＳ１００２）、ハニング窓処理された信号をフーリエ変換し（ステップＳ１００３）、フーリエ変換された信号に対してゼロ位相化処理を行う（ステップＳ１００４）。これにより、視差基準点を中心とした小領域についてのぼけ味が算出される。

また、参照画像に関して、ぼけ味算出部８０１は、探索点を中心とした小領域の画像輝度信号をゼロ平均化し（ステップＳ１００１）、ゼロ平均化された信号に対してハニング窓処理を行い（ステップＳ１００２）、ハニング窓処理された信号をフーリエ変換し（ステップＳ１００３）、フーリエ変換された信号に対してゼロ位相化処理を行う（ステップＳ１００４）。これにより、探索点を中心とした小領域についてのぼけ味が算出される。

そして、ぼけ味算出部８０１は、視差基準点におけるぼけ味と探索点におけるぼけ味に基づいて、周波数特性算出処理を行い（ステップＳ１００５）、逆フーリエ変換処理を行い（ステップＳ１００６）、ハニング窓処理を行い（ステップＳ１００７）、正規化処理を行う（ステップＳ１００８）。これにより、ぼけ味合致フィルタ係数が算出される。

次に、上記各処理について具体的に説明する。

〈ゼロ平均化処理：ステップＳ１００１〉
ぼけ味算出部８０１は、画像輝度信号を、全体の平均がゼロとなるように変換する。

〈ハニング窓処理：ステップＳ１００２〉
ぼけ味算出部８０１は、窓関数ｗ（ｘ）を下記式（３）に基づいて算出し、算出された窓関数を輝度信号に重ね合わせる。

ただし、Ｎは、輝度信号のサンプリング数である。

なお、ゼロ平均化処理（ステップＳ１００１）及びハニング窓処理（ステップＳ１００２）は、次のフーリエ変換処理（ステップＳ１００３）において算出される周波数特性を頑健に導出するために必要な前処理であり、他の一般的な窓処理などの前処理と代替可能である。

〈フーリエ変換処理：ステップＳ１００３〉
ぼけ味算出部８０１は、ハニング窓処理において算出された輝度信号に対してフーリエ変換を行う。

〈ゼロ位相化処理：ステップＳ１００４〉
ぼけ味算出部８０１は、フーリエ変換処理で導出された周波数特性の位相成分をゼロにし、振幅成分と位相成分との二乗和の平方根を振幅特性として算出する。このゼロ位相化処理は、振幅特性を頑健に算出するための後処理である。

〈周波数特性算出処理：ステップＳ１００５〉
ぼけ味算出部８０１は、振幅特性の差を算出する。具体的には、振幅特性差は、各空間周波数における振幅特性間の商として算出される。例えば、或る空間周波数ｕにおいて、視差基準点における振幅特性をＦ（ｕ）、探索点における振幅特性をＧ（ｕ）とし、視差基準点の像高が探索点の像高より小さい場合には、振幅特性差Ｈ（ｕ）は、Ｇ（ｕ）／Ｆ（ｕ）として算出される。一方、視差基準点の像高が探索点の像高より大きい場合には、振幅特性差Ｈ（ｕ）は、Ｆ（ｕ）／Ｇ（ｕ）として算出される。

なお、ここでは、商の関係を像高の大きさによって決めるものとして記載したが、この限りではなく、振幅特性の値の大小を以って商の関係を決めても良い。

〈逆フーリエ変換処理：ステップＳ１００６〉
ぼけ味算出部８０１は、振幅特性差Ｈ（ｕ）を逆フーリエ変換する。

〈ハニング窓処理：ステップＳ１００７〉
ぼけ味算出部８０１は、ステップＳ１００２と同様にして算出されたハニング窓を、逆フーリエ変換後の振幅特性差Ｈ（ｕ）に重ね合わせる。すなわち、逆フーリエ変換処理の後処理として、ハニング窓処理が行われている。これにより、逆フーリエ変換処理（ステップＳ１００６）によって算出された振幅特性差ｈ（ｕ）の高周波成分を削除することができる。

〈正規化処理：ステップＳ１００８〉
ぼけ味算出部８０１は、ハニング窓処理（ステップＳ１００７）で算出された振幅特性差ｈ（ｘ）を、足して１になるように正規化する。これは、空間フィルタとして適用する際に、画像輝度値を変化させないようにするためである。

以上のようにして算出されたぼけ味調整フィルタ係数は、ぼけ味調整部１０２へ出力され、ぼけ味調整部１０２におけるぼけ味合致処理に用いられる。

なお、以上の説明では、実施の形態１のステレオ測距装置１００の構成において、フィルタ記憶部１０１の代わりにぼけ味算出部８０１を適用したものを、ステレオ測距装置８００の構成とした。同様にして、実施の形態２のステレオ測距装置４００の構成において、フィルタ記憶部１０１の代わりにぼけ味算出部８０１を適用しても良いし、実施の形態３のステレオ測距装置６００の構成において、フィルタ記憶部１０１の代わりにぼけ味算出部８０１を適用しても良い。

［他の実施の形態］
（１）実施の形態１乃至実施の形態４では、ステレオカメラの構成カメラ（又はレンズ）が平行に配置されるのか非平行に配置されるのかについては特に言及していないが、本発明はステレオカメラの設置形態によって限定されるものではない。すなわち、本発明は、球面収差によるぼけの影響によってステレオ画像を構成する画像間にぼけ味に関して差が生じる場合であれば、適用可能である。ただし、非平行配置の場合には、ぼけ味の差が大きくなるので、顕著な効果が得られる。

（２）実施の形態１及び実施の形態２では、基準画像内で順次変更される視差基準点群のすべてについて、ぼけ味調整処理を実行するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、特定の視差基準点候補についてのみぼけ味調整処理を実行するようにしても良い。具体的には、ステレオ測距装置１００（４００）に処理要否判定部を設け、ぼけ味調整部１０２（４０２）が、処理要否判定部において現在の処理対象である基準点が特定の視差基準点候補であると判定される場合にのみ、ぼけ味合致処理を実行するようにしても良い。これにより、ぼけ味合致処理を高精度な測距が必要な領域でのみ行うことができるので、処理時間を低減することができる。例えば、特定の視差基準点候補は、アプリケーションにより決まり、事前に定義されている。例えば、前方を監視する車載カメラに関するアプリケーションであれば、特定の視差基準点候補は、高精度な測距を必要とする車両前方中心領域等の高精度な測距が必要とされる領域となる。

（３）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本発明のステレオ測距装置及びステレオ測距方法は、カメラ画像自体を調整することによってぼけ味を補正することにより、測距処理時間が長くなることを防止しつつ視差検出精度を向上することができるものとして有用である。

１００，４００，６００，８００ ステレオ測距装置
１０１ フィルタ記憶部
１０２，４０２，６０１ ぼけ味調整部
１０３，４０１，６０２ 視差計測部
１０４ 距離算出部
１１１ ぼけ味調整フィルタ取得部
１１２ フィルタ適用画像判定部
１１３ フィルタ適用部
８０１ ぼけ味算出部

Claims (5)

1. 第１画像及び第２画像を含むステレオ画像を用いて、視差を計測する視差計測手段と、
   前記計測された視差に基づいて、ターゲットとの間の距離を算出する算出手段と、
   前記視差計測手段によって用いられる前記第１画像及び前記第２画像の内で、画像における前記ターゲットの像高が低い方の画像のぼけ味を、画像における前記ターゲットの像高が高い方の画像のぼけ味に合わせる調整手段と、
   を具備するステレオ測距装置。
2. 前記調整手段は、前記第１画像における前記ターゲットの像高と、前記第２画像における前記ターゲットの像高との関係によって対応付けられたぼけ味調整フィルタを用いてぼけ味を調整する、
   請求項１に記載のステレオ測距装置。
3. 前記第１画像内の像高と前記第２の画像内の像高との組み合わせ候補と、ぼけ味調整フィルタ係数との対応関係を記憶する記憶手段、をさらに具備する、
   請求項２に記載のステレオ測距装置。
4. 基準画像及び参照画像を含むステレオ画像を用いて、ターゲットとの間の距離を測定するステレオ測距装置であって、
   前記基準画像に含まれる基準点と、前記参照画像に含まれる複数の探索点の其々とを比較し、ぼけ味の弱い一方の点のぼけ味を、ぼけ味の強い他方の点のぼけ味に合わせる調整手段と、
   前記ぼけ味の調整された基準点または複数の探索点を用いたステレオマッチング処理によって、前記基準点と、前記基準点に対応する、前記参照画像に含まれる対応点との組合せを選択し、前記組合せに基づいて視差を算出する視差計測手段と、
   前記算出された視差に基づいて、前記ターゲットとの間の距離を算出する算出手段と、
   を具備するステレオ測距装置。
5. 第１画像及び第２画像を含むステレオ画像を用いて、視差を計測し、前記計測された視差に基づいて、ターゲットとの間の距離を算出するステレオ測距方法であって、
   前記視差の計測に用いられる前記第１画像及び前記第２画像の内で、画像における前記ターゲットの像高が低い方の画像のぼけ味を、画像における前記ターゲットの像高が高い方の画像のぼけ味に合わせるステップを含む、ステレオ測距方法。

Images