JPWO2012001982A1 - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

Abstract

ＳＡＤ方式と同等の処理量を維持しつつ、視差の算出精度を向上するステレオ画像処理装置及びステレオ画像処理方法。ステレオ画像処理装置（２００）において、データ削除部（２０１）が、画像マッチング部（１０２）及びフィルタ部（１０３）の前段に設けられ、基準画像及び参照画像を間引くことにより、間引き基準画像及び間引き参照画像を形成する。そして、フィルタ部（１０３）は、位相相関に基づくマッチング処理である、逆位相フィルタを用いたフィルタリング処理を行う。こうして間引き処理をすることにより、マッチング精度を維持しつつ、画像データ量を削減することができ、画像マッチング部（１０２）及びフィルタ部（１０３）の処理量を削減できる。さらに、フィルタ部１０３が位相相関に基づくマッチング処理である、逆位相フィルタを用いたフィルタリング処理を行うので、間引き処理を行っても視差算出精度を維持できる。

Description

本発明は、ステレオ画像処理装置およびステレオ画像処理方法に関する。

従来から、ステレオカメラを用いて同一の対象物を撮影したときのステレオ画像（つまり、基準画像及び参照画像）から画像間のズレを算出し、そのズレに基づいて対象物までの距離を測定するステレオ画像処理装置が知られている。

ステレオ画像処理装置は、例えば、前方車両までの距離を測定する車載装置、又は、車内カメラからドライバーの顔の部品（目や鼻など）までの距離を測定してドライバーの顔の向きを推定する車載装置などへ適用されることが検討されている。

そして、近年のカメラ（車載カメラ又は車内カメラなど）の小型化により、カメラの基線長（カメラの間隔）が短くなっている。その結果、ステレオ画像間のズレも小さくなることから、ステレオ画像処理装置には、高精度の視差演算機能が要求されるようになってきている。

また、従来、ステレオ画像処理装置では、ステレオマッチング（ステレオ画像処理の視差演算）の方式として、例えば、ＳＡＤ（Sum of Absolute Differences）方式、又は、ＰＯＣ（Phase Only Correlation）方式などが用いられている。

ＳＡＤ方式では、基準画像から矩形窓を用いて切出された第１の部分画像と、参照画像から同様に矩形窓を用いて切出された第２の部分画像との輝度値の差の絶対値を、部分画像全体で総和をとることにより、ＳＡＤ値が算出される。ＳＡＤ値は、画像輝度の相違度を示す。そして、参照画像の矩形窓の位置をカメラの基線長方向に１ピクセルずつずらして行き、ＳＡＤ値が最小となったときの、基準画像における第１の部分画像の位置と参照画像における第２の部分画像の位置とのズレを「ピクセルレベルの視差」として求める。その後、ＳＡＤ値が最小になる位置のＳＡＤ値と、その両隣（ステレオカメラの基線長方向が水平の場合には左と右）の位置において計算される２つのＳＡＤ値を用いて等角直線フィッティングを行ない、「サブピクセルレベルの視差」を算出する。基準画像と参照画像の間のズレは、「ピクセルレベルの視差」に「サブピクセルレベルの視差」を加算したものである。

ＳＡＤ方式は、分析分解能が高く、比較的に演算量が少ない。しかしながら、ＳＡＤ方式は、サブピクセルレベルの視差演算の精度が低い。そのため、視差算出の精度は、１／４〜１／１６ピクセル程度が限界である。

そこで、近年では、視差演算の精度が高いＰＯＣ方式が注目されている。ＰＯＣ方式では、ハニング窓等により画像切り出しされた第１の部分画像及び第２の部分画像に対して２次元フーリエ変換を施し、得られた２次元フーリエ変換後の第１の部分画像及び第２の部分画像を合成する。そして、その合成画像の振幅成分を正規化した後に、２次元逆フーリエ変換を施すことにより、位相限定相関係数を求める。そして、位相限定相関係数の相関ピークに基づいて画像のズレ量が算出される。

このようなＰＯＣ方式（２次元ＰＯＣ方式という）には、視差演算の精度が非常に高いという利点がある。ところが、２次元ＰＯＣ方式は視差演算の演算量が膨大であり、短時間で演算処理を行うことが極めて困難である。また、２次元ＰＯＣ方式は、分析分解能（距離の異なる物体を区別して測距できる画面上での大きさ）の点で、ＳＡＤ方式より劣っている。

そこで、最近では、２次元ＰＯＣ方式の演算量を軽減した１次元ＰＯＣ方式も提案されている（例えば、特許文献１参照）。この１次元ＰＯＣ方式では、ハニング窓等により画像切出しされた第１の部分画像及び第２の部分画像に対して１次元フーリエ変換を施し、１次元フーリエ変換後の第１の部分画像及び第２の部分画像を合成する。そして、その合成画像の振幅成分を正規化した後に、１次元逆フーリエ変換を施すことにより、位相限定相関係数を求めている。すなわち、２次元フーリエ変換の代わりに、１次元フーリエ変換を行うことにより、演算量の削減を図っている。

特開２００８−１２３１４１号公報

しかしながら、従来の１次元ＰＯＣ方式を用いても視差演算に要する演算量は、ＳＡＤ方式に比べれば膨大である。従って、従来の１次元ＰＯＣ方式を用いても、短時間で演算処理を行うことは容易ではない。また、この１次元ＰＯＣ方式は、分析分解能（距離の異なる物体を区別して測距できる画面上での大きさ）の点で、ＳＡＤ方式より劣る。

本発明の目的は、ＳＡＤ方式と同等の処理量を維持しつつ、視差の算出精度を向上するステレオ画像処理装置及びステレオ画像処理方法を提供することである。

本発明の一態様のステレオ画像処理装置は、基準画像及び参照画像を含むステレオ画像を取得する取得手段と、前記基準画像及び前記参照画像を間引くことにより、間引き基準画像及び間引き参照画像を形成する間引き手段と、前記間引き基準画像と前記間引き参照画像とのピクセル単位のズレ量を算出する第１の算出手段と、前記間引き基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記間引き参照画像を前記算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果を出力するフィルタリング処理手段と、前記フィルタリング処理手段から出力されたフィルタリング結果におけるピークを検出することにより、前記間引き基準画像と前記間引き参照画像とのサブピクセル単位のズレ量を算出する第２の算出手段と、を具備する。

本発明の一態様のステレオ画像処理方法は、基準画像及び参照画像を含むステレオ画像を取得し、前記基準画像及び前記参照画像を間引くことにより、間引き基準画像及び間引き参照画像を形成し、前記間引き基準画像と前記間引き参照画像とのピクセル単位のズレ量を算出し、前記間引き基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記間引き参照画像を前記算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果におけるピークを検出することにより、前記間引き基準画像と前記間引き参照画像とのサブピクセル単位のズレ量を算出する。

本発明によれば、ＳＡＤ方式と同等の処理量を維持しつつ、視差の算出精度を向上するステレオ画像処理装置及びステレオ画像処理方法を提供することができる。

本発明の実施の形態１に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 画像マッチング部の処理の説明に供する図 サブ単位演算処理の詳細を示すフロー図 フィルタ部の処理の説明に供する図 フィルタ算出処理及びフィルタリング処理の説明に供する図 ｓｉｎｃ関数を用いたピーク位置検出の説明に供する図 二次曲線近似を用いたピーク位置検出の説明に供する図 本発明の実施の形態２に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 間引き処理が実行されない場合に得られる光信号（画像信号）と、間引き処理が実行された場合に得られる光信号とを比較する図 本発明の実施の形態３に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 高周波数成分の抑制処理が実行されない場合に得られる、空間周波数に対する振幅特性と、高周波数成分の抑制処理が実行された場合に得られる、空間周波数に対する振幅特性とを比較する図 本発明の実施の形態４に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 カラーフィルタによって得られるベイヤ配列画像の説明に供する図 Ｒチャネル画像のみの光信号（画像信号）を示す図 本発明の実施の形態５に係るステレオ画像処理装置の構成を示すブロック図 本発明の実施の形態６に係るステレオ画像処理装置の構成を示すブロック図 相互相関処理の説明に供する図 従来のＳＡＤ方式、一次元ＰＯＣ方式、及び、本願のステレオ画像処理方法を用いた場合の測距精度を比較する図 ＳＡＤ方式、一次元ＰＯＣ方式、及び本方式を用いた場合における視差計算の演算時間を比較する図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［ステレオ画像処理装置１００の構成］
図１は、本発明の実施の形態１に係るステレオ画像処理装置１００の構成を示す。図１において、ステレオ画像処理装置１００は、ステレオ画像取得部１０１と、画像マッチング部１０２と、フィルタ部１０３と、ピーク位置検出部１０４とを有する。

＜ステレオ画像取得部１０１＞
ステレオ画像取得部１０１は、２つ以上の撮像系（つまり、カメラ）で撮影されたステレオ画像を取得する。ステレオ画像には、２つの異なる撮像系によって同一対象物が撮影された基準画像及び参照画像が含まれる。

＜画像マッチング部１０２＞
画像マッチング部１０２は、ステレオ画像取得部１０１で取得された基準画像及び参照画像に基づいて画像マッチング処理を行うことにより、基準画像と参照画像との「ズレ量ｎ」を算出する。画像マッチング部１０２で算出されるズレ量ｎの単位は、例えば、ピクセルである。一方、後述するピーク位置検出部１０４によって得られる、基準画像と参照画像との「視差」の単位は、例えば、サブピクセルである。すなわち、画像マッチング部１０２では、基準画像と参照画像とのズレが所定の検出単位で粗く検出され、その後に、ピーク位置検出部１０４によってズレがサブ単位で細かく検出される。

具体的には、画像マッチング部１０２は、基準画像に含まれる任意の１ピクセルを「基準点」とし、基準点を中心とした周辺の部分画像（以下、「単位基準画像」という）を基準画像から切り出す。また、画像マッチング部１０２は、単位基準画像と同一サイズの部分画像（以下、「単位参照画像」という）を、参照画像の異なる位置から複数切り出す。そして、画像マッチング部１０２は、切り出された複数の単位参照画像から、単位基準画像とのマッチング度が最大である単位参照画像を抽出する。

この抽出された単位参照画像において、「基準点」に対応する１ピクセルが、参照画像上の「対応点」になる。マッチング度を表す指標としては、例えば、輝度相違度を示すＳＡＤ値が用いられる。ステレオカメラの場合、基準画像と参照画像との視差はカメラの基線長方向にのみ発生するため、複数の単位参照画像を切り出す場合、基線長方向に切出し位置を変更して切り出せばよい。そして、基準画像における基準点の位置と、参照画像における対応点の位置とのズレ量が、上記したズレ量ｎとして算出される。

＜フィルタ部１０３＞
フィルタ部１０３は、画像マッチング部１０２から基準点の位置、及びズレ量ｎ、並びに、ステレオ画像取得部１０１からステレオ画像を取得する。

そして、フィルタ部１０３は、基準画像に基づいてフィルタ係数を算出し、算出されたフィルタ係数を用いて参照画像をフィルタリングする。すなわち、フィルタ部１０３は、まず、基準画像から部分画像をサブピクセル推定用単位基準画像として抽出し、当該サブピクセル推定用単位基準画像からフィルタ係数を算出する。フィルタ部１０３は、次に、参照画像から部分画像をサブピクセル推定用単位参照画像として抽出し、当該サブピクセル推定用単位参照画像に対して、算出したフィルタ係数を用いてフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０４へ出力する。

＜ピーク位置検出部１０４＞
ピーク位置検出部１０４は、フィルタ部１０３から取得されたフィルタリング結果におけるピーク位置を検出することにより、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像とのサブピクセル単位のズレ量を算出する。ここで、ピーク位置は、フィルタリング結果が最大値となる位置である。このサブピクセル単位のズレと、ピクセル単位のズレ量ｎとの和が、基準画像と参照画像の正確なズレ量である。

［ステレオ画像処理装置１００の動作］
以上の構成を有するステレオ画像処理装置１００の動作について説明する。なお、以下では、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。

図２は、ステレオ画像処理装置１００の動作説明に供するフロー図である。なお、以下では、基準画像における任意の１つの基準点についての処理を説明するが、ステレオ画像処理装置１００では、基準点を順次変更することにより基準画像における測距対象領域全ての画素について視差が算出される。

＜分析基準位置決定処理＞
ステップＳ１で、画像マッチング部１０２は、分析基準位置を決定する。分析基準位置とは、基準画像において視差を算出する対象となる１座標点であり、上述した基準点である。

＜単位基準画像の切出し処理＞
ステップＳ２で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る基準画像から、ステップＳ１で決定された分析基準位置を基準とした部分画像である、単位基準画像を切り出す。この単位基準画像の大きさの単位は、例えば、ピクセルである。

＜サーチ範囲及びサーチ開始位置の決定処理＞
ステップＳ３で、画像マッチング部１０２は、ステップＳ２で決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。ステレオカメラの視差は、カメラ間の距離である基線長およびレンズの焦点距離、ならびにステレオカメラから対象物までの距離により決定される。よって、サーチ範囲は、ステレオカメラから測距の対象物までの距離に基づいて決定すればよい。また、ステレオカメラから無限遠にある対象物は基準画像と参照画像の同じ位置に撮像されるため、参照画像におけるサーチ開始位置は基準画像における基準点と同じ座標を設定すればよい。

＜単位参照画像の切出し処理＞
ステップＳ４で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る参照画像から、ステップＳ３で決定されたサーチ開始位置を中心とした周辺の部分画像を単位参照画像として切り出す。この単位参照画像の大きさの単位は、例えば、ピクセルである。

＜マッチング度の算出処理＞
ステップＳ５で、画像マッチング部１０２は、単位基準画像と単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値や輝度類似度が用いられる。

＜サーチ範囲の終了判定処理＞
ステップＳ６で、画像マッチング部１０２は、サーチ範囲の終了判定処理を行う。ここでサーチ範囲が終了していないと判定される場合（ステップＳ６：ＮＯ）には、画像マッチング部１０２は、ステップＳ３で決定したサーチ範囲内において切り出す位置を１ピクセルずらして、ステップＳ４で新たな単位参照画像を切り出す。このようにして、ステップＳ４〜Ｓ６までの処理は、サーチ範囲が終了するまで繰り返される。

＜マッチング度の最大位置＞
ステップＳ７で、画像マッチング部１０２は、ステップＳ４〜Ｓ６の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。マッチング度として輝度相違度を用いられている場合には、画像マッチング部１０２は、輝度相違度が極小ないし最小となる単位参照画像を特定する。

ここで、ステップＳ２〜ステップＳ７の処理を、図３を参照して具体的に説明する。

ステップＳ２で、図３に示すように、画像マッチング部１０２は、分析基準位置を中心とした周辺の部分画像を単位基準画像として切り出す。単位基準画像の切出しには、所定サイズの矩形窓（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）が用いられる。図３において、分析基準位置は、基準点（ｘａ，ｙａ）である。

なお、ここでは、窓関数によって規定される矩形窓の中心と分析基準位置とを一致させるものとして説明を行うが、厳密に中心でなくても、矩形窓の中心付近に分析基準位置が存在していればよい。

次に、画像マッチング部１０２は、ステップＳ３で、ステップＳ１において決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。サーチ開始位置（参照画像において単位参照画像を切り出す初期座標）は、例えば、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。

次に、画像マッチング部１０２は、ステップＳ４で、参照画像から、サーチ開始位置を中心とした周辺の部分画像を単位参照画像として切り出す。この単位参照画像の切出しには、単位基準画像の切出しに用いられる矩形窓と同じ矩形窓が用いられる。

そして、画像マッチング部１０２は、ステップＳ５で、単位基準画像と単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値が用いられる。このＳＡＤ値は、次の式（１）によって算出される。

そして、画像マッチング部１０２は、ステップＳ６で、サーチ範囲が終了していないと判定される場合には、切り出す位置をずらして新たな単位参照画像を参照画像から切り出す。切り出す位置は、ここでは１ピクセルずつずらされる。ずらす方向は、図３における参照画像の座標（ｘａ，ｙａ）から伸びる右矢印の方向である。

このようにして、単位基準画像と複数の単位参照画像とのマッチング度（例えば、ＳＡＤ値）が算出される。そして、画像マッチング部１０２は、ステップＳ７で、ステップＳ４〜Ｓ６の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。具体的には、画像マッチング部１０２は、複数のＳＡＤ値のうち、例えば最小のＳＡＤ値に対応する単位参照画像を特定する。この特定された単位参照画像における「基準点」に対応する１ピクセルが、参照画像上の「対応点」になる。対応点の座標を（ｘａ＋ｎ、ｙａ）とすると、ｎは、ピクセル単位のズレ量となる。

なお、ここでは、マッチング度の指標としてＳＡＤ値を用いたが、本発明はこれに限定されるものではなく、マッチング度の指標として用いることができるものであれば代用することができる。例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられてもよい。

＜サブ単位演算処理＞
ステップＳ８で、フィルタ部１０３及びピーク位置検出部１０４は、ステップＳ７で得られた対応点、並びに、ステレオ画像取得部１０１から受け取る基準画像及び参照画像に基づいて、サブ単位演算処理を行う。

図４は、サブ単位演算処理の詳細を示すフロー図である。図５は、サブ単位演算処理の概念の説明に供する図である。

（サブピクセル推定用単位基準画像の切出し処理）
ステップＳ１１で、フィルタ部１０３は、基準画像からサブピクセル推定用単位基準画像を切り出す。

また、サブピクセル推定用単位基準画像の切出しには、窓関数が用いられる。窓関数には、例えば、式（２）で表されるハニング窓の窓関数ｗ（ｍ）を用いることができる。

なお、ここでは、ハニング窓の窓関数を用いる場合について説明するが、本発明はこれに限定されるものではなく、窓関数として、ハミング窓、ブラックマン窓、カイザー窓などを用いてもよい。これらの窓関数は、サブピクセル推定用単位基準画像の特性（例えば、周波数パワー特性、位相特性、切出し端連続性）の内、どの特性を重要視するかによって選択される。例えば、位相特性を重要視するときカイザー窓が選択され、演算量削減を重要視するときハニング窓が選択される。

ここで、サブピクセル推定用単位基準画像の切出し処理では、サブピクセル単位のズレを正確に求めるために、切り出された画像にノイズが含まれないことが重要である。一方、画像マッチング部１０２における画像切出し処理では、例えば、ピクセル単位で行われるため、精度よりも演算回数を削減することが重要である。従って、画像マッチング部１０２で用いられる第１の窓関数には、単に画像データを切り出すだけの窓関数が用いられる。

これに対して、サブピクセル単位での画像切出し処理で用いられる第２の窓関数は、ノイズが少ないことが重要視されるため、第１の窓関数に比べて、窓の両端における変化が連続的である関数（つまり、１周期の最初及び最後の値がゼロである関数）であることが好ましい。このような第２の窓関数を用いることにより、サブピクセル推定用単位基準画像の信号列の連続性が保たれ、切出しによるノイズ成分を低減することができる。

なお、第１の窓関数と第２の窓関数とを周波数特性について比較すると、第１の窓関数の方が、第２の窓関数よりも、メインローブ（ｍａｉｎ−ｌｏｂｅ）の幅が狭く、サイドローブ（ｓｉｄｅ−ｌｏｂｅ）の振幅が大きい。

図５において、第２の窓関数ｗ（ｍ）は、縦軸サイズが１ピクセル（画素）であり横軸サイズが“Ｋ−Ｊ”ピクセルであるハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、第２の窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。図５において、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度信号列を表している。

（サブピクセル推定用単位参照画像の切出し処理）
ステップＳ１２で、フィルタ部１０３は、参照画像から、ステップＳ７で検出された対応点を中心としたサブピクセル推定用単位参照画像を切り出す。サブピクセル推定用単位参照画像の切出し処理において、サブピクセル推定用単位基準画像の場合と同じ第２の窓関数が用いられる。ただし、第２の窓関数は、対応点（ｘａ＋ｎ、ｙａ）を中心に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。図５において、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度信号列を表している。

なお、以上の説明では、縦軸サイズが１ピクセル（画素）で、横軸サイズが“Ｋ−Ｊ”ピクセルである第２の窓関数ｗ（ｍ）を用いているが、このサイズは一例であり、これに限定されるものではない。例えば、縦軸サイズが３ピクセルである第２の窓関数を用いてもよい。その場合には、まず、第２の窓関数を用いて、基準画像と参照画像それぞれから、縦軸サイズが３ピクセルである部分画像を切り出す。そして、切り出した部分画像において、座標の縦軸の値が同じである３つの画素の輝度の平均（平均輝度）を算出し、平均輝度によって構成される、縦軸サイズが１ピクセルのサブピクセル推定用単位基準画像、或いは、サブピクセル推定用単位参照画像としてもよい。

また、縦軸サイズが１ピクセルの第２の窓関数を用いた場合でも、例えば、上の行と下の行を含む３行でそれぞれ切り出された部分画像において、座標の縦軸の値が同じである画素の輝度値の平均を算出し、平均輝度によって構成される、サブピクセル推定用単位基準画像、或いは、サブピクセル推定用単位参照画像としてもよい。なお、平均輝度を算出する際には、重み付けをして加算した上で算出てもよい。この場合に用いられる重み付け係数は、２次元POCのように、窓関数によって決定されてもよい。このように、近傍のピクセルの平均輝度を用いることにより、ノイズに対してロバストになる。

（フィルタ算出処理）
ステップＳ１３で、フィルタ部１０３は、サブピクセル推定用単位基準画像に基づいて逆位相フィルタ係数を算出する。具体的には、フィルタ部１０３は、サブピクセル推定用単位基準画像における各座標の輝度値を順番に並べた信号列（つまり、輝度値信号列）を逆の順番に並べ換える（つまり、反転させる）ことにより、逆位相フィルタ係数を算出する。すなわち、逆位相フィルタのタップ長は、サブピクセル推定用単位基準画像の横軸サイズ（つまり、窓関数の窓長）と等しい。

（フィルタリング処理）
ステップＳ１４で、フィルタ部１０３は、ステップＳ１３で算出された逆位相フィルタ係数を用いてサブピクセル推定用単位参照画像をフィルタリングし、フィルタリング結果をピーク位置検出部１０４へ出力する。

ここで、上記した逆位相フィルタ係数算出処理及びフィルタリング処理の詳細について、図６を参照して説明する。図６においては、窓関数ｗ（ｍ）の窓長（Ｋ−Ｊ）が５画素であり、サブピクセル推定用単位基準画像の輝度値信号列が「１，２，３，４，５」であるものとして説明する。また、サブピクセル推定用単位参照画像の輝度値信号列ｘ（ｍ）は、「１，２，３，４，５」である。

サブピクセル推定用単位基準画像の輝度値信号列が「１，２，３，４，５」の場合、逆位相フィルタ係数ｈ（ｋ）として、「５，４，３，２，１」が算出される。

そして、フィルタ部１０３は、逆位相フィルタ係数ｈ（ｋ）を用いて、サブピクセル推定用単位参照画像の輝度値信号列に対してフィルタリング処理を施す。

具体的には、サブピクセル推定用単位参照画像の任意の構成信号の座標をｋとした場合、構成信号の座標が「ｋ−２、ｋ−１、ｋ、ｋ＋１、ｋ＋２」となる信号列に対して、逆位相フィルタ係数ｈ（ｋ）を乗算することによりフィルタリング処理が施され、各乗算結果の総和ｚ（ｍ）が算出される。ここで、ｍは整数値をとる。

ここで、サブピクセル推定用単位参照画像の周辺の座標点における輝度がゼロである場合には、サブピクセル推定用単位参照画像の周辺の座標点の輝度を考慮すると、サブピクセル推定用単位参照画像の両隣の２ピクセルずつを含む画像の輝度値信号列ｘ（ｍ）は、「０，０，１，２，３，４，５，０，０」となる。図６におけるｍ（ｍ：０〜４）をサブピクセル推定用単位参照画像の座標点とした場合（つまり、ｘ（０）＝１、ｘ（１）＝２、ｘ（２）＝３、ｘ（３）＝４、ｘ（４）＝５）、フィルタリング処理は、次のように行われる。

ｍ＝０の場合には、ｍ＝０を中心とする輝度値信号列「０、０、１、２、３」が逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理され、総和ｚ（０）は、２６（＝０×１＋０×２＋１×３＋２×４＋３×５）となる。

ｍ＝１の場合には、ｍ＝１を中心とする輝度値信号列「０、１、２、３、４」が逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理され、総和ｚ（１）は、４０（＝０×１＋１×２＋２×３＋３×４＋４×５）となる。

同様にして、総和ｚ（２）は、５５となり、総和ｚ（３）は、４０となり、総和ｚ（４）は、２６となる。

従って、信号列ｚ（ｍ）として「２６、４０、５５、４０、２６」が得られる。

このようなフィルタリング処理は、次の式（３）によって表される。

式（３）において、サブピクセル推定用単位基準画像の輝度値信号列が反転されたｆ’（−ｋ）は、逆位相フィルタのフィルタ係数ｈ（ｋ）として用いられている。また、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度値である。

信号列ｚ（ｍ）が示すように、逆位相フィルタを用いたフィルタリング処理の処理結果は、対称（図６では、ｍ＝２を中心として左右対称）であって、且つ中央付近にピークが存在するという特徴を有する。また、逆位相フィルタは、いわゆるＦＩＲフィルタの一種であり、線形推移不変システムであるという特徴を有する。ここで、線形推移不変システムとは、入力信号にズレがある場合には、出力信号にも入力信号と同じだけのズレが生じるシステムである。すなわち、上記した具体例では、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との間にズレがない場合を例にとって説明したが、サブピクセル推定用単位参照画像がサブピクセル推定用単位基準画像に対してサンプリング間隔より小さなズレが存在する場合、フィルタリング結果である信号列ｚ（ｍ）にも同じだけのズレが生じることになる。

なお、逆位相フィルタのタップ長は、ピクセル単位のマッチングで検出されたピクセル単位のズレ量ｎの大きさに応じて設定される。例えば、ピクセル単位のズレ量ｎが小さい場合には、それに応じて逆位相フィルタのタップ長も短く設定される。すなわち、実空間において同じサイズの物体の視差を求める場合、物体が遠くに存在する場合は近くに存在する場合よりも視差は小さく、ピクセル単位のズレ量ｎも小さくなる。それと同時に、画像中に撮影されるサイズも小さくなるため、ズレ量ｎの大きさに応じてサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のサイズを変更することにより、逆位相フィルタのタップ長も適応的に変更することができる。これにより測距対象の物体のサイズに合わせた視差を算出することができる。

また、フィルタリング結果は、線形推移不変システムの出力であるので、レンズの歪補正の誤差、ＣＣＤなどのイメージセンサに起因するゲインノイズ等の誤差、窓掛けによる画像切出しの演算精度の誤差を除けば、理論的には真のズレ量を表現していることになる。よって、ピクセル単位で離散化されている逆位相フィルタの出力をサンプリング定理に従ってピクセル間の数値を補間することにより、サブピクセル単位での真のピーク位置を求めることができる。

（ピーク位置の検出処理）
ステップＳ１５で、ピーク位置検出部１０４は、フィルタリング結果におけるピーク位置を検出する。このピーク位置に基づいて、基準画像と参照画像とのサブピクセル単位のズレ量を検出することができる。

このピーク位置の検出には、ｓｉｎｃ関数が用いられる。ｓｉｎｃ関数は、ｓｉｎ（πｘ）／πｘで定義される関数であり、離散化されたサンプリングデータを元の連続データに戻す場合に用いられる関数である。サンプリングされた離散データとｓｉｎｃ関数との畳み込み演算を行うことにより、元の連続データを完全に復元可能であることが、サンプリング定理によって証明されている。

従って、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算することにより、ピクセル単位間隔の信号データを補間することができ、サブピクセル単位でも理論的に信号データが補間されたフィルタリング結果ｚ（ｍ）の真のピーク位置を導出することができる。

図７は、ｓｉｎｃ関数を用いたピーク位置検出の説明に供する図であり、曲線７０１は、Ｓ１４で算出したフィルタリング結果である信号列ｚ（ｍ）とｓｉｎｃ関数との畳み込み演算を行った結果の例である。フィルタリング結果ｚ（１）とｚ（２）の間の数値と、ｚ（２）とｚ（３）の間の信号データが補間されている。ピーク位置検出部１０４は、信号データが補間されたフィルタリング結果ｚ（ｍ）のピーク位置を２分探索によって検出する。

図７は、フィルタリング結果である信号列ｚ（ｍ）において、ｍ＝２のときにピークが現れている場合の例を示している。このような場合、ピーク位置検出部１０４は、ｍ＝２を位置Ａ（つまり、２分探索基準点）とする。そして、ピーク位置検出部１０４は、その位置Ａから左右に１ピクセルずつずれた位置のフィルタリング結果であるｚ（３）とｚ（１）とを比較し、値が大きい方の位置（ここでは、ｍ＝３）を位置Ｂ（つまり、２分探索使用点）とする。

そして、ピーク位置検出部１０４は、２分探索基準点Ａと２分探索使用点Ｂとの中点である位置Ｃ（図７においては、ｍ＝１／２）の値７０２を、サンプリング定理に基づいて以下の式（４）を用いて算出する。

そして、ピーク位置検出部１０４は、位置Ｃを新たな２分探索基準点として、上記と同様の処理を繰り返す。この処理の繰り返し回数は、必要なサブピクセル精度に応じた数とすることができる。すなわち、必要なサブピクセル精度が１／２ピクセルであれば、上記した処理を１回行えば良く、１／４ピクセル精度であれば２回、１／８ピクセルであれば３回と、必要なサブピクセル精度に応じて繰り返し回数が決定される。そして、ピーク位置検出部１０４は、最後に得た中点を、検出したピーク位置δとして扱う。

なお、以上の説明では、ｓｉｎｃ関数及び２分探索方を用いてピーク位置を検出する方法について説明を行った。しかしながら、本発明はこれに限定されるものではなく、ｓｉｎｃ関数及び勾配法の組み合わせによって、ピーク位置を探索してもよい。要は、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算することにより、ピクセル単位間隔の信号データを補間した後に、いずれの最大値検出方法も用いることができる。

又は、ピーク位置検出部１０４は、二次曲線近似を用いてピーク位置を検出してもよい。これにより、演算量を削減することができる。二次曲線近似を用いたピーク位置の検出処理では、離散化されているフィルタリング結果を二次曲線でフィッティングし、その二次曲線の極大値の位置を、ピーク位置として検出する。これにより、離散化の間隔以下の精度でピーク位置を求めることができる。

図８は、二次曲線近似を用いたピーク位置検出の説明に供する図である。図８に示すように、ピクセル単位間隔のフィルタリング結果ｚ（ｍ）が最大となる位置ｍ＝０における値ｚ（０）と、その最大位置から左右に１ピクセルずつずれた位置のフィルタリング結果であるｚ（＋１）とｚ（−１）との３点を通り二次曲線を求め、さらにその二次曲線が極大値をとる位置を、ピーク位置δとして検出する。このピーク位置δは、次の式（５）によって算出される。
基準画像における分析基準位置の視差は、ピクセル単位のズレｎとサブピクセル単位のずれδを加算することによって求められる。

＜測距対象領域の終了判定処理＞
ステップＳ９では、測距対象領域の終了判定処理が行われ、未だステップＳ１〜ステップＳ８までの処理が行われていない未処理領域が存在する場合には、分析基準位置をずらしてその未処理領域についてステップＳ１〜ステップＳ８までの処理を行う。

以上のように本実施の形態によれば、ステレオ画像処理装置１００において、画像マッチング部１０２が、基準画像と参照画像とのピクセル単位のズレ量を算出する。そして、フィルタ部１０３が、基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、算出した逆位相フィルタ係数を用いて参照画像をフィルタリングする。そして、ピーク位置検出部１０４が、フィルタリング結果におけるピークを検出することにより、基準画像と参照画像とのサブピクセル単位のズレ量を算出する。視差は、ピクセル単位のズレ量とサブピクセル単位のズレ量を加算することによって求められる。

［実施の形態２］
実施の形態２では、基準画像及び参照画像を間引いた後に、画像マッチング部１０２の処理及びフィルタ部１０３の処理を行う。これにより、処理量が削減される。

［ステレオ画像処理装置２００の構成］
図９は、本発明の実施の形態２に係るステレオ画像処理装置２００の構成を示す。図９において、ステレオ画像処理装置２００は、データ削除部２０１を有する。

データ削除部２０１は、基準画像及び参照画像の画像データを間引くことにより、間引き基準画像及び間引き参照画像を形成する。具体的には、データ削除部２０１は、所定のサンプリング周期によってサンプリングすることにより、基準画像及び参照画像の画像データを間引く。

データ信号を間引くことによりダウンサンプリングする場合、間引く前後のデータ信号が、互いに情報量が同じであるようにするためには、データ信号を間引く前にローパスフィルタを用いて帯域制限する必要がある。すなわち、元のデータ信号に対してローパスフィルタを用いて帯域制限し、帯域制限されたデータ信号に対して、間引きをすることで、間引き後のデータ信号（ダウンサンプリングされたデータ信号）を得る。このようにすることで、帯域制限されたデータ信号は、この帯域制限されたデータを間引いたデータ信号と比較して、データ量は多いが、情報量は等しくなる。

カメラを用いる場合には、レンズの焦点距離を調整することにより、画像データ（データ信号）の高帯域成分を取り除くことが可能である。つまり、データ信号を間引く前に、ぼけた画像（解像度を落とした画像）にしておくことにより、間引き前のデータ信号と間引き後のデータ信号を同等とみなすことができる。例えば、横６４０×縦４８０の解像度を持つＶＧＡ画像を、横３２０×縦２４０の解像度を持つＱＶＧＡ画像に縮小する場合、解像度が半分になるようにレンズの焦点距離を調整して撮影し、得られた画像データを１画素置きにサンプリングすればよい。

この間引き基準画像及び間引き参照画像は、画像マッチング部１０２及びフィルタ部１０３へ出力される。従って、ステレオ画像処理装置２００において、画像マッチング部１０２及びフィルタ部１０３は、間引き基準画像及び間引き参照画像を処理対象とする。

［ステレオ画像処理装置２００の動作］
以上の構成を有するステレオ画像処理装置２００の動作について説明する。なお、本実施の形態のステレオ画像取得部１０１は、カメラのレンズの焦点距離を調整することにより、高周波成分を取り除いたぼけた画像（解像度を落とした画像）を取得し、データ削除部２０１に受け渡すものとする。

図１０は、ステレオ画像処理装置２００の動作説明に供するフロー図である。

ステップＳ２１で、データ削除部２０１は、基準画像及び参照画像の画像データを間引くことにより、間引き基準画像及び間引き参照画像を形成する。

図１１は、間引き処理が実行されない場合に得られる光信号（画像信号）（図１１Ａ）と、間引き処理が実行された場合に得られる光信号（図１１Ｂ）とを比較する図である。図１１Ａおよび図１１Ｂのそれぞれの上段のＸＹ平面は、いずれも解像度が半分になるようにレンズの焦点距離が調整された状態で撮影された画像（基準画像又は参照画像）であるとする。つまり、ＸＹ平面で示される画像は、元の画像から高周波成分が取り除かれている状態である。また、ＸＹ平面に含まれる複数の矩形は、それぞれ画素を示している。

図１１Ａにおける光信号は、ＸＹ平面に含まれる白い矩形で示される画素（つまり、全ての画素）から得られている（つまり、間引き処理が実行されていない）。また、図１１Ｂにおける光信号は、ＸＹ平面に含まれる白い矩形で示される画素（つまり、１画素おき）から得られている（つまり、間引き処理が実行されている）。図１１Ａ（間引き処理が実行されていない場合）、図１１Ｂ（間引き処理が実行されている場合）のいずれの場合も、解像度を半分にすることにより元の画像の高周波成分が取り除かれている。また、画素を等間隔にサンプリングしているため、サンプリング定理により、それぞれの場合において再現される光信号を同等とみなすことが可能となる。

一方、間引き処理でなく、例えば、複数画素（例えば、４画素）で平均をとる場合でも、画像データ量を削減することはできるが、この処理は線形処理ではないため、以後の処理において信号処理理論を前提とした処理が無意味になる。

ここで、位相相関に基づかない一般的なマッチング処理では、理論的には、式（６）に示すように、解像度が画素ピッチに影響し、精度を劣化させてしまう場合がある。例えば、解像度が１／２になった場合には、画素ピッチが２倍となるため、マッチング方式の視差算出精度とは関係なく、距離誤差は約２倍となる。

本発明の特徴とする位相相関に基づいたマッチングの場合には、レンズの焦点距離の調整により画像データの高周波成分が取り除かれていても、それ以外の帯域の画像データのみから、位相相関を正確に計算するために必要な位相特性を取得することができる。つまり、間引き処理をすることにより、画像データ量を削減して演算量の削減を行っても、マッチング精度を理論的には維持することができる。

以上のように本実施の形態によれば、ステレオ画像処理装置２００において、データ削除部２０１が、画像マッチング部１０２及びフィルタ部１０３の前段に設けられ、基準画像及び参照画像の画像データを間引くことにより、間引き基準画像及び間引き参照画像を形成する。そして、フィルタ部１０３は、位相相関に基づくマッチング処理である、逆位相フィルタを用いたフィルタリング処理を行う。

このように間引き処理をすることにより、マッチング精度を維持しつつ、画像データ量を削減することが可能となり、画像マッチング部１０２及びフィルタ部１０３の処理量を削減することができる。さらに、フィルタ部１０３が位相相関に基づくマッチング処理である、逆位相フィルタを用いたフィルタリング処理を行うので、間引き処理を行っても視差算出精度を維持することができる。

［実施の形態３］
実施の形態３では、実施の形態２における間引き処理の前段に、基準画像及び参照画像の画像データ（データ信号）を構成する低周波数成分及び高周波数成分の内、高周波数成分を抑制することにより、低周波数成分のみを抽出する処理を行う。これにより、ステレオ画像を他の用途にも応用する場合などで、レンズの焦点距離を調整することにより、ぼけた画像にすることが望ましくない場合にも精度劣化を防止して演算量を削減することができる。

［ステレオ画像処理装置３００の構成］
図１２は、本発明の実施の形態３に係るステレオ画像処理装置３００の構成を示す。図１２において、ステレオ画像処理装置３００は、高周波成分削除部３０１を有する。

高周波成分削除部３０１は、基準画像及び参照画像の画像データ（データ信号）を構成する低周波数成分及び高周波数成分の内、高周波数成分を抑制することにより、低周波数成分のみを抽出する処理を行う。高周波数成分とは、ここでは、データ削除部２０１におけるサンプリング周波数の１／２周波数以上の成分をいう。高周波成分削除部３０１は、例えば、低域通過フィルタ（ローパスフィルタ）で構成される。このフィルタは、ＦＩＲフィルタなどの線形フィルタであればよい。

［ステレオ画像処理装置３００の動作］
以上の構成を有するステレオ画像処理装置３００の動作について説明する。図１３は、ステレオ画像処理装置３００の動作説明に供するフロー図である。

ステップＳ３１で、高周波成分削除部３０１は、基準画像及び参照画像の画像データ（データ信号）を構成する低周波数成分及び高周波数成分の内、高周波数成分を抑制することにより、低周波数成分のみを抽出する処理を行う。

図１４は、高周波数成分の抑制処理が実行されない場合に得られる、空間周波数に対する振幅特性（図１４Ａ）と、高周波数成分の抑制処理が実行された場合に得られる、空間周波数に対する振幅特性（図１４Ｂ）とを比較する図である。図１４Ｂは、後段のデータ削除部２０１におけるサンプリング周波数の１／２周波数以上の周波数成分を抑制した場合の、空間周波数に対する振幅特性を示す。図１４Ａ上段に示すＸＹ平面は、高周波成分が抑制されていない画像データ（データ信号）であり、図１４Ｂ上段に示すＸＹ平面は、高周波成分が抑制された画像データ（データ信号）である。以降のデータ削除部２０１の処理は、実施の形態２と同じである。

線形フィルタによって画像データの高周波数成分を除去しても、位相相関に基づくマッチング処理に必要な位相特性は低周波数成分のみからでも得ることができる。よって、高精度に視差を算出することができる。これに対して、線形フィルタによって高周波数成分を除去しない場合には、間引き処理を行う際に高周波成分が折り返しノイズとして低周波数成分に重畳するため、低周波成分における位相特性が変化してしまい、結果として視差精度が劣化してしまうことになる。

以上のように本実施の形態によれば、ステレオ画像処理装置３００において、基準画像及び参照画像の信号を構成する低周波数成分及び高周波数成分の内、高周波数成分を抑制することにより、低周波数成分のみを抽出する処理を行う。

このようにすることで、カメラ画像をぼかすことなく演算量の削減を行うとともに高精度の視差演算を行うことができる。

［実施の形態４］
実施の形態４では、特に、基準画像及び参照画像のそれぞれが、複数のチャネル画像（例えば、Ｒ（赤）チャネル画像、Ｇ（緑）チャネル画像、Ｂ（青）チャネル画像）から構成される。そして、実施の形態４では、複数のチャネル画像の内の１つのみが抽出されるか、又は、種類が異なる複数のチャネル画像が平均化される。これにより、実施の形態２における間引きと同等の効果が得られる。

［ステレオ画像処理装置４００の構成］
図１５は、本発明の実施の形態４に係るステレオ画像処理装置４００の構成を示す。図１５において、ステレオ画像処理装置４００はカラー画像データ削除部４０１を有する。

カラー画像データ削除部４０１は、基準画像及び参照画像から、１つのチャネル画像（例えば、Ｒチャネル画像）のみを抽出する。これにより、他のチャンネル画像を削除することができるので、後段の画像マッチング部１０２の処理及びフィルタ部１０３の処理における処理量を削減することができる。

［ステレオ画像処理装置４００の動作］
以上の構成を有するステレオ画像処理装置４００の動作について説明する。図１６は、ステレオ画像処理装置４００の動作説明に供するフロー図である。

ステップＳ４１で、カラーが画像データ削除部４０１は、基準画像及び参照画像から、１つのチャネル画像のみを抽出する。

図１７は、カラーフィルタによって得られるベイヤ配列画像の説明に供する図である。図１７に示すように、ベイヤ配列画像は、Ｒ画素，Ｇ画素，Ｇ画素，Ｂ画素を１つの構成単位（つまり、カラー画素ユニット）として構成されている。ここでは、カラー画像データ削除部４０１は、基準画像及び参照画像それぞれの画像データから、Ｒチャネル画像のみを抽出する。ベイヤ配列画像において、Ｒ画素は、１画素置きに配置されている。そのため、Ｒチャネル画像のみの光信号（画像信号）を抽出すると、基準画像及び参照画像の画像データを間引く処理と同等になる。

図１８は、Ｒチャネル画像のみを抽出する際のイメージ図であり、図１４で説明した内容と同等の効果を得ることができる。

以上のように本実施の形態によれば、ステレオ画像処理装置４００において、基準画像及び参照画像のそれぞれが複数のチャネル画像から構成され、カラー画像データ削除部４０１が、基準画像及び参照画像から、複数のチャネル画像の内で１つのチャネル画像のみを抽出することにより、間引き基準画像及び間引き参照画像を形成する。よって、画像データ量を削減することが可能となり、画像マッチング部１０２及びフィルタ部１０３の処理量を削減することができる。

また、フィルタ部１０３は位相相関に基づくマッチング処理である、逆位相フィルタを用いたフィルタリング処理を行う。位相相関に基づくマッチング精度を維持するために十分な位相特性は、１つのチャネル画像のみからでも得ることが可能である。よって、上記のような間引き処理を行っても視差算出精度を維持することができる。

また、視差算出は基線長方向に行われるため、基線長方向に対して垂直方向に並ぶ画素同士で輝度信号の和をとることにより、Ｓ／Ｎ比を向上させることができる。例えば、水平に並べられたカメラによって撮像されたカラーステレオ画像の場合には、左右方向が基線長方向となる。このため、上下方向に並ぶ画素同士で輝度信号の和をとることにより、Ｓ／Ｎ比を向上させることができる。すなわち、上記したカラー画素ユニットを例にとれば、Ｒ画素の画素値と、Ｒ画素の下に存在するＧ画素の画素値との和をとることにより、視差算出精度を向上させることができる。なお、基線長方向に対して垂直方向に並ぶ画素同士で輝度信号の和をとる場合には、同じ波長の画素同士で画素値の和をとってもよい。

さらに、視差を算出する対象物は、カメラから略同じ距離に存在する面が存在すると考えられる。このため、基線長方向に並ぶ画素同士でも和をとることにより、Ｓ／Ｎ比を向上させることができる。例えば、水平に並べられたカメラによって撮像されたカラーステレオ画像の場合には、左右方向が基線長方向となる。このため、左右方向に並ぶ画素同士で輝度信号の和をとることにより、Ｓ／Ｎ比を向上させることができる。すなわち、上記したカラー画素ユニットを例にとれば、Ｒ画素の画素値と、Ｒ画素の下に存在するＧ画素の画素値との和をとることにより、視差算出精度を向上させることができる。ただし、水平座標（Ｘ座標）が異なり、且つ、同じ波長の画素同士では、和をとらない。なぜならば、光信号のサンプリング間隔が１画素置きではなく、連続した２画素を平均しながらサンプリングしていることと等価となり、光信号の周波数特性を維持できなくなるためである。例えば、ベイヤ配列のＲ（赤）とＧ（緑）とＧ（緑）とは和をとらない。

また、ここに示したベイヤ配列は一例であって、本発明はこれに限定されるものではない。

［実施の形態５］
実施の形態５では、実施の形態４と同様に、基準画像及び参照画像のそれぞれが、複数のチャネル画像（例えば、Ｒ（赤）チャネル画像、Ｇ（緑）チャネル画像、Ｂ（青）チャネル画像）から構成される。実施の形態５では、カラー画素ユニットがＲ画素，第１のＧ画素，第２のＧ画素，Ｂ画素の４画素から構成されている場合に、Ｒ画素，第１のＧ画素，及びＢ画素から成る第１の画素グループと、第２のＧ画素から成る第２の画素グループとにグルーピングし、第１の画素グループ内で輝度値の線形合成を行う。

図１９は、本発明の実施の形態５に係るステレオ画像処理装置５００の構成を示す。図１９において、ステレオ画像処理装置５００は、データ削除部５０１と、画像マッチング部５０２と、フィルタ部５０３とを有する。

データ削除部５０１は、カラー画素ユニットを構成する複数の画素が分けられた２つの画素グループ中の第１の画素グループ内で輝度値を線形合成することにより、１つのチャネル合成画像を形成する。このチャネル合成画像は、基準画像及び参照画像のそれぞれについて形成される。つまり、チャネル合成基準画像及びチャネル合成参照画像が形成される。

カラー画素ユニットがＲ画素，第１のＧ画素，第２のＧ画素，Ｂ画素の４画素から構成されている場合に、第１の画素グループは、Ｒ画素，第１のＧ画素，及びＢ画素から成る。一方、第２の画素グループは、第２のＧ画素から成る。こうすることで、カラー画素ユニットの構成画素単位で存在した４個の輝度値が、２つの輝度値に削減される。すなわち、ここでは、チャネル合成基準画像及び第２の画素グループの基準画像の両方が、間引き基準画像に相当し、チャネル合成参照画像及び第２の画素グループの参照画像の両方が、間引き参照画像に相当する。

画像マッチング部５０２は、基本的には、画像マッチング部１０２と同じ機能を有する。ただし、画像マッチング部５０２は、チャネル合成基準画像及びチャネル合成参照画像を処理対象とし、チャネル合成基準画像及びチャネル合成参照画像に基づいて、マッチング処理を行う。画像マッチング部５０２は、マッチング処理の結果、基準点及び「ズレ量ｎ」をフィルタ部５０３へ出力する。なお、画像マッチング部５０２は、第２の画素グループの基準画像及び第２の画素グループの参照画像は処理対象としない。

フィルタ部５０３は、基準画像の第１の画素グループについてのチャネル合成基準画像、及び、第２の画素グループの画像に基づいて、第１のフィルタ係数及び第２のフィルタ係数をそれぞれ算出する。

そして、フィルタ部５０３は、第１のフィルタ係数を用いてチャネル合成参照画像をフィルタリングすることにより、第１のフィルタリング結果を得る。また、フィルタ部５０３は、第２のフィルタ係数を用いて参照画像の第２の画像グループの画像を第２のフィルタ係数を用いてフィルタリングすることにより、第２のフィルタリング結果を得る。そして、フィルタ部５０３は、第１のフィルタリング結果と第２のフィルタリング結果とを足し合わせることにより、最終的なフィルタリング結果を得る。この最終的なフィルタリング結果が、ピーク位置検出部１０４へ出力される。

このように第１のフィルタリング結果と第２のフィルタリング結果を足し合わせた最終的なフィルタリング結果を用いてピーク位置の検出を行うことにより、ピーク検出精度を向上させることができる。

［実施の形態６］
実施の形態６では、フィルタ算出処理及びフィルタリング処理の代わりに、相互相関処理を行う。

［ステレオ画像処理装置６００の構成］
図２０は、本発明の実施の形態６に係るステレオ画像処理装置６００の構成を示す。図２０において、ステレオ画像処理装置６００は、相互相関部６０１を有する。

相互相関部６０１は、フィルタ部１０３と同様に、対応点を基準とする単位参照画像から、サブピクセル推定用単位参照画像を切り出す。そして、相互相関部６０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との相互相関を算出する。

［ステレオ画像処理装置６００の動作］
以上の構成を有するステレオ画像処理装置６００の動作について説明する。図２１は、相互相関処理の説明に供する図である。

相互相関部６０１は、対応点を基準とする単位参照画像から、サブピクセル推定用単位参照画像を切り出す。サブピクセル推定用単位参照画像の切出し処理にも、サブピクセル推定用単位基準画像の場合と同じ第２の窓関数が用いられる。ただし、第２の窓関数は、対応点（ｘａ＋ｎ、ｙａ）に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。

そして、相互相関部６０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との相互相関を算出する。この相互相関の算出は、式（７）によって算出される。

式（７）においてｉを−ｋで置き換えると、Σの中は、式（３）と等価になり、Σの加算の範囲は−Ｊから−Ｋになる。ＪとＫとはゼロを中心とした窓関数の範囲を示すものである。ＪとＫとは符号が逆である。このため、基本的には、加算の順番が数式上異なるだけであり、式（３）と同等の算出結果を得ることができる。すなわち、逆位相フィルタによる計算を、相互相関の計算に置き換えることができる。よって、相互相関を用いた場合でも、逆位相フィルタを用いた方式と同様に、高精度なサブピクセルレベルのマッチングを行うことができる。

ここで、最後に、従来のＳＡＤ方式、一次元ＰＯＣ方式、及び、本願のステレオ画像処理方法（以下、本方式）を用いた場合の測距精度を比較した結果を図２２に示す。測距精度は、測距対象までの距離と測距結果の標準偏差との特性で示される。

図２２が示す結果は、測距対象が車両であって、ステレオカメラからの距離を１０ｍ間隔で変化させて撮影されたステレオ画像に基づいて算出されている。評価指標は、レンズ歪みの補正やステレオカメラの平行化補正の誤差要因を排除するために、測距結果の標準偏差を用いている。図２２において、測距結果の標準偏差が小さい方式が、精度の高い方式である。ここで、標準偏差とは、測距結果のばらつきである。

測距結果の標準偏差は、撮影されたステレオ画像に含まれる画素のうち、目視により抽出された車両領域内の画素をサンプル点として算出されている。本方式のサブピクセル推定には、最も演算量が少なくなる２次曲線近似を用いた。図２２が示すように、ＰＯＣ方式（◆印）と本方式（■印）は同等の特性を示し、ＳＡＤ方式（▲印）より標準偏差が小さくなっている。

図２３は、ＳＡＤ方式、一次元ＰＯＣ方式、及び本方式を用いた場合における視差計算の演算時間を比較した結果を示す。

図２３が示す結果は、ハーフＶＧＡ画像（６４０ｘ２４０）の１フレームをパソコン（３．３３ＧＨｚ）で演算するのに必要な時間である。本方式はＳＡＤ方式に比べて約１．２５倍の演算時間が必要だが、一次元ＰＯＣ方式は本方式に比べて３０倍以上の演算時間が必要である。

以上のように、図２２及び図２３の結果から、本願発明に係るステレオ画像処理方法は、ＳＡＤ方式と同等の演算時間であり、かつ、一次元ＰＯＣ方式と同等の測距精度を実現できるという効果を奏する。

［他の実施の形態］
（１）上記各実施の形態では、ステレオ画像取得部で取得されたステレオ画像を画像マッチング部及びフィルタ部へ直接入力したが、入力前の前処理として次の処理が行われてもよい。

すなわち、画像マッチング部及びフィルタ部の前段に平行化補正部を設け、この平行化補正部が、ステレオ画像のレンズの歪補正処理及び光軸を平行にする平行化補正処理を行ってもよい。具体的には、歪補正処理では、予め用意しておいたキャリブレーションデータを用いて、実空間で直線である物体がカメラ画像においても直線に映るように補正する処理である。また、平行補正処理では、カメラ光軸方向の距離が一定である物体がカメラ画像中のどの位置に撮像されても同じ大きさの物体画像となるように座標を変換する座標変換処理と、カメラの光軸を平行にして無限遠点にある物体が二つのカメラ映像中の同じ位置になるようにする画像シフト処理とが含まれる。なお、ここでは座標変換処理後に画像シフト処理によって平行化補正を行っているが、本発明はこれに限定されるものではなく、レンズ歪補正と同時に座標変換によって平行化補正を行ってもよい。要は、レンズの歪補正と、二つのカメラの位置関係の補正との両方を行うことができれば、その方法は特に限定されるものではない。

また、前処理として、通常の画像処理で行うコントラストの補正又はラプラシアンフィルタを用いたエッジ強調などが行われてもよい。コントラストの補正を行った場合には、基準画像と参照画像との輝度変化のダイナミックレンジを合わせることができるので、より正確な画像マッチングを行うことができる。また、ラプラシアンフィルタを用いたエッジ強調を行えば、カメラの個体差から生じる直流成分（つまり、基準画像と参照画像との明るさの差）を除外することができ、より正確な画像マッチングを行うことができる。

また、一般に、画像の座標変換及びシフトを行なう際に、ピクセル単位で（整数値の位置で）サンプリングされた輝度情報を、実数値の位置の輝度情報に変換することになる。この変換処理には、例えば、線形補間を用いたインターリニア法、又は、変換対象位置の周辺の輝度情報を用いるバイキュービック法などを用いればよい。

（２）また、上記各実施の形態で説明したステレオ画像処理装置には、フィルタリング結果に基づいて、ピクセルレベルのマッチングエラーを検出するマッチングエラー検出部を設けてもよい。このマッチングエラー検出部は、フィルタ部からの出力が対称（つまり、左右対称）でない場合に、ピクセルレベルのマッチングが誤マッチングであると判定する。又は、このマッチングエラー検出部は、ＳＡＤ値の極小位置とフィルタ部からの出力のピーク位置がピクセルレベルで異なる場合（つまり、フィルタ部からの出力にピークが現れない場合など）に、マッチングエラーであると判定する。これにより、バックマッチング処理を行う必要がなくなり、その分の演算量が軽減される。

（３）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１０年６月３０日出願の特願２０１０−１４９４２５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明のステレオ画像処理装置及びステレオ画像処理方法は、ＳＡＤ方式と同等の処理量を維持しつつ、視差の算出精度を向上するものとして有用である。

１００，２００，３００，４００，５００，６００ ステレオ画像処理装置
１０１ ステレオ画像取得部
１０２，５０２ 画像マッチング部
１０３，５０３ フィルタ部
１０４ ピーク位置検出部
２０１，５０１ データ削除部
３０１ 高周波成分削除部
４０１ カラー画像データ削除部
６０１ 相互相関部

Claims (6)

1. 基準画像及び参照画像を含むステレオ画像を取得する取得手段と、
   前記基準画像及び前記参照画像を間引くことにより、間引き基準画像及び間引き参照画像を形成する間引き手段と、
   前記間引き基準画像と前記間引き参照画像とのピクセル単位のズレ量を算出する第１の算出手段と、
   前記間引き基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記間引き参照画像を前記算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果を出力するフィルタリング処理手段と、
   前記フィルタリング処理手段から出力されたフィルタリング結果におけるピークを検出することにより、前記間引き基準画像と前記間引き参照画像とのサブピクセル単位のズレ量を算出する第２の算出手段と、
   を具備するステレオ画像処理装置。
2. 前記間引き手段の前段に設けられ、前記間引き手段に入力される前記基準画像及び前記参照画像の信号を構成する低周波数側成分及び高周波数側成分の内、前記高周波数側成分を抑制することにより、前記低周波数側成分のみを抽出し、前記高周波数側成分が除かれた、前記基準画像及び前記参照画像を前記間引き手段へ出力する抽出手段、
   をさらに具備する請求項１に記載のステレオ画像処理装置。
3. 前記基準画像及び前記参照画像のそれぞれは、複数のチャネル画像から構成され、
   前記間引き手段は、前記基準画像及び前記参照画像から、前記複数のチャネル画像の内で１つのチャネル画像のみを抽出することにより、前記間引き基準画像及び前記間引き参照画像を形成する、
   請求項１に記載のステレオ画像処理装置。
4. 前記基準画像及び前記参照画像のそれぞれは、複数のチャネル画像から構成され、
   前記間引き手段は、前記複数のチャネル画像を合成して１つの合成チャネル画像を形成することにより、前記間引き基準画像及び前記間引き参照画像を形成する、
   請求項１に記載のステレオ画像処理装置。
5. 前記基準画像及び前記参照画像のそれぞれは、複数のカラー画素ユニットから構成され、
   各カラー画素ユニットは、赤画素、第１の緑画素、第２の緑画素、青画素の４画素から構成され、
   前記赤画素、前記第１の緑画素、及び前記青画素は第１の画素グループを構成し、前記第２の緑画素は第２の画素グループを構成し、
   前記間引き手段は、前記基準画像の前記第１の画素グループ内でチャネル合成基準画像を形成することにより、前記チャネル合成基準画像と前記第２の画素グループの前記基準画像とから成る前記間引き基準画像を形成し、前記参照画像の前記第１の画素グループ内でチャネル合成参照画像を形成することにより、前記チャネル合成参照画像と前記第２のグループの前記参照画像とから成る前記間引き参照画像を形成し、
   前記第１の算出手段は、前記チャネル合成基準画像及び前記チャネル合成基準画像に基づいて、前記ピクセル単位のズレ量を算出し、
   前記フィルタリング処理手段は、前記チャネル合成基準画像及び前記第２の画素グループの前記基準画像から、第１の逆位相フィルタ係数及び第２の逆位相フィルタ係数を算出し、
   前記チャネル合成参照画像を前記第１の逆位相フィルタ係数を用いてフィルタリングし、前記第２のグループの前記参照画像を前記第２の逆位相フィルタ係数を用いてフィルタリングすることにより得られた第１のフィルタリング結果及び第２のフィルタリング結果を足し合わせることによって得られた最終的なフィルタリング結果を前記第２の算出手段へ出力する、
   請求項１に記載のステレオ画像処理装置。
6. 基準画像及び参照画像を含むステレオ画像を取得し、
   前記基準画像及び前記参照画像を間引くことにより、間引き基準画像及び間引き参照画像を形成し、
   前記間引き基準画像と前記間引き参照画像とのピクセル単位のズレ量を算出し、
   前記間引き基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記間引き参照画像を前記算出された逆位相フィルタ係数を用いてフィルタリングし、
   フィルタリング結果におけるピークを検出することにより、前記間引き基準画像と前記間引き参照画像とのサブピクセル単位のズレ量を算出する、
   ステレオ画像処理方法。