JP5874039B2 - ステレオ画像処理装置及びステレオ画像処理方法 - Google Patents

Description

本発明は、同一の対象物を撮影したステレオ画像（基準画像と参照画像）から、視差を算出するステレオ画像処理装置及びステレオ画像処理方法に関する。

従来から、ステレオカメラを用いて対象物を撮影した二つの画像（基準画像と参照画像）から画像のずれを算出し、そのずれに基づいて対象物までの距離を算出するステレオ画像処理装置が知られている。ステレオ画像処理装置は、例えば、車両及び歩行者を含むステレオ画像に基づいて、車両及び歩行者までの距離を測定する車載装置への適用が検討されている。ところが、近年、カメラの小型化によってカメラ間隔が小さくなり、視差も小さくなる。そのため、高精度なステレオマッチングが要求されている。

従来、高精度なステレオマッチング（ステレオ画像処理の視差演算）の方式として、例えば、１次元ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）方式が提案されている（例えば、特許文献１参照）。１次元ＰＯＣ方式においては、基準画像及び参照画像からハニング窓を用いて部分画像（１次元画像データ列）が切り出される。切り出された部分基準画像及び部分参照画像は、１次元フーリエ変換が施されて、合成される。合成された画像データは、振幅成分が正規化された後に、１次元逆フーリエ変換が施される。これにより、位相限定相関係数が算出され、位相限定相関係数の相関ピークに基づいて、画像のズレ量（視差）が算出される。

特開２００８−１２３１４１号公報

しかしながら、従来技術は、ステレオ画像において、基線長方向の画像領域サイズが小さい対象物（例えば、遠方の歩行者など）については、高精度に視差を算出することが困難であった。なぜなら、基線長方向の画像領域サイズが小さい場合、周辺領域の影響を低減するために１次元画像データ列を小さくする必要があるが、１次元画像データ列が小さいほど相関ピークの精度が低くなるからである。

本発明は、基線長方向の画像領域が小さい対象物について、高精度に視差を算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供することを目的とする。

本発明の一態様のステレオ画像処理装置は、ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸１ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸１ピクセルの分割参照画像をＭ個抽出する抽出手段と、抽出されたＭ個の各分割基準画像における輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像における輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成する連結手段と、前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングするフィルタリング手段と、フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する算出手段と、を具備する。

本発明の一態様のステレオ画像処理方法は、ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸１ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸１ピクセルの分割参照画像をＭ個抽出し、抽出されたＭ個の各分割基準画像における輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像における輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成し、前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングし、フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する。

本発明によれば、基線長方向の画像領域サイズが小さい対象物ついて、高精度に視差を算出することができるステレオ画像処理装置及びステレオ画像処理方法を提供することができる。

本発明の実施の形態１に係るステレオ画像処理装置の構成を示すブロック図 フィルタ部の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 画像マッチング部の処理の説明に供する図 サブピクセル単位演算処理の詳細を示すフロー図 サブピクセル単位演算処理の概念の説明に供する図 画像結合部の処理の概念の説明に供する図 本発明の実施の形態２に係るフィルタ部の構成を示すブロック図 サブピクセル単位演算処理の詳細を示すフロー図 低周波成分抑制処理の概念の説明に供する図 本発明の実施の形態３に係るフィルタ部の構成を示すブロック図 サブピクセル単位演算処理の詳細を示すフロー図 高周波成分判定処理の概念の説明に供する図 画像結合部の処理の概念の説明に供する図 逆位相フィルタ係数によるフィルタリングの概念を説明するための模式図 ｓｉｎｃ関数を用いたピーク位置検出の処理の一例の概要を示す模式図 二次曲線近似を用いたピーク位置検出の処理の一例の概要を示す模式図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。なお、以下、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。

［実施の形態１］
［ステレオ画像処理装置１００の構成］
図１は、本発明の実施の形態１に係るステレオ画像処理装置１００の構成を示す。図１において、ステレオ画像処理装置１００は、ステレオ画像取得部１０１と、画像マッチング部１０２と、フィルタ部１０３と、ピーク位置検出部１０４とを有する。

ステレオ画像取得部１０１は、２つ以上の撮像系（つまり、カメラ）で撮影されたステレオ画像を取得する。ステレオ画像には、２つの異なる撮像系によって同一対象物（ターゲット）が撮影された基準画像及び参照画像が含まれる。なお、本実施の形態において、ステレオ画像は、基線長方向が水平方向にほぼ一致する２つのカメラにより撮影された画像として説明する。なお、ステレオ画像取得部１０１は、例えば、回路装置における入力端子である。

画像マッチング部１０２は、ステレオ画像取得部１０１からステレオ画像を取得し、基準画像及び参照画像に対して画像マッチング処理を行うことにより、基準画像の基準点に対応する、参照画像のピクセルレベルの対応点を抽出する。画像マッチング部１０２は、基準画像と参照画像との「ピクセルレベルのズレ量ｎ」を算出する。

なお、後述するピーク位置検出部１０４において得られる、基準画像と参照画像との「視差」の単位はサブピクセルである。すなわち、画像マッチング部１０２において、基準画像と参照画像とのズレは、「ピクセル単位」で粗く検出され、ピーク位置検出部１０４において、基準画像と参照画像とのズレは、「サブピクセル単位」で細かく検出される。

具体的には、画像マッチング部１０２は、基準画像に含まれる所定の１ピクセルである「基準点」を含む部分画像（以下、「単位基準画像」という）を基準画像から切り出す。また、画像マッチング部１０２は、単位基準画像と同一サイズである部分画像（以下、「単位参照画像」という）を参照画像から複数切り出す。複数の単位参照画像は、参照画像において、異なる位置から切り出される。

ステレオカメラの場合、基準画像と参照画像との視差はカメラの基線長方向にしか発生しない。従って、画像マッチング部１０２は、基線長方向に切出し位置を変更して、複数の単位参照画像を切り出す。そして、基準画像における基準点の位置と、参照画像における対応点の位置とのズレ量が、上記したズレ量ｎとして算出される。

そして、画像マッチング部１０２は、切り出された複数の単位参照画像のうち、単位基準画像とのマッチング度が最大となる単位参照画像を特定する。特定された単位参照画像において、「基準点」に対応する１ピクセルが、参照画像における「ピクセルレベルの対応点」である。マッチング度を表す指標としては、例えば、輝度相違度を意味するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）値が用いられる。

フィルタ部１０３は、ステレオ画像取得部１０１から、ステレオ画像を取得する。また、フィルタ部１０３は、画像マッチング部１０２から、基準点及びズレ量ｎを取得する。

フィルタ部１０３は、基準画像に基づいてフィルタ係数を算出し、算出されたフィルタ係数を用いて参照画像に対するフィルタリング処理を行う。すなわち、フィルタ部１０３は、基準画像及び基準点の位置に基づいてフィルタ係数を算出する。更に、フィルタ部１０３は、算出されたフィルタ係数を用いて、参照画像のピクセルレベルの対応点周辺に対してフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０４へ出力する。なお、フィルタ係数は、「逆位相フィルタ係数」と呼ぶ。

図２は、フィルタ部１０３の構成を示す。図２において、フィルタ部１０３は、画像切り出し部４０１と、画像結合部４０２と、フィルタリング部４０３とを有する。

画像切り出し部４０１は、基準画像から、ステレオ画像の基線長方向に平行な複数の画素行と、複数の画素列とからなる部分画像を、サブピクセル推定用単位基準画像として切り出す。また、画像切り出し部４０１は、同様に、参照画像から、サブピクセル推定用単位基準画像と同一の画素行、画素列（同一サイズ）からなる部分画像を、サブピクセル推定用単位参照画像として切り出す。

そして、画像切り出し部４０１は、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を、画像結合部４０２へ出力する。

なお、本実施の形態において、画像切り出し部４０１は、サブピクセル推定用単位基準画像に基準点が含まれるように、基準画像における画像の切り出し位置を決定する。また、画像切り出し部４０１は、サブピクセル推定用単位参照画像にピクセルレベルの対応点が含まれるように、画像の切り出し位置を決定する。

具体的には、画像切り出し部４０１は、単位基準画像から、当該単位基準画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。同様に、画像切り出し部４０１は、単位基準画像とのマッチング度が最も大きい単位参照画像から、当該単位参照画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位参照画像をＭ個抽出する。すなわち、サブピクセル推定用単位基準画像は、単位基準画像がＹ軸の方向でＮ分割されたＮ分割単位基準画像である。また、サブピクセル推定用単位参照画像は、単位基準画像とのマッチング度が最も大きい単位参照画像がＹ軸の方向でＮ分割されたＮ分割単位参照画像である。また、画像切り出し部４０１は、Ｍの値及びＮの値を、画像マッチング部１０２で算出されたズレ量ｎに基づいて設定する。なお、演算量削減のため、画像切り出し部４０１は、Ｍの値及びＮの値を、一定として設定しても良い。

サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を切り出す方向は、ステレオ画像のエピポーラ線に沿って平行な方向である。そして、サブピクセル推定用単位基準画像（又はサブピクセル推定用単位参照画像）を切り出す位置は、基準点（又は対応点）から上下（つまり、Ｙ軸方向）にずれた位置とする。ただし、切り出す位置は、上下に限らず、基準点（又は対応点）の任意の周辺位置でも良いし、基準点（又は対応点）を含んでも良い。

そして、切り出されたサブピクセル推定用単位基準画像（サブ単位基準画像）とサブピクセル推定用単位参照画像（サブ単位参照画像）は、画像結合部４０２へ出力される。なお、サブピクセル推定用単位基準画像列及びサブピクセル推定用単位参照画像において、各構成データは、Ｘ座標の値が小さいデータから大きいデータの順に並ぶものとする。

画像結合部４０２は、画像切り出し部４０１から出力された複数のサブピクセル推定用単位基準画像と複数のサブピクセル推定用単位参照画像を入力とする。そして、画像結合部４０２は、複数のサブピクセル推定用単位基準画像を直列に結合した１次元のデータ列（以下、「結合基準画像」という）を形成する。また、同様に、画像結合部４０２は、複数のサブピクセル推定用単位参照画像を直列に結合した１次元のデータ列（以下、「結合参照画像」という）を形成する。

フィルタリング部４０３は、画像結合部４０２において形成された結合基準画像の各画素値の順序を反転させることにより、逆位相フィルタ係数を算出する。各画素値の順序は、前後方向で反転される。そして、フィルタリング部４０３は、算出した逆位相フィルタ係数を用いて、結合参照画像に対するフィルタリング処理を行う。そしてフィルタリング部４０３は、フィルタリング処理の結果（以下、「フィルタリング結果」という）をピーク位置検出部１０４へ出力する。なお、フィルタリング処理の詳細については後述する。

図１に戻り、ピーク位置検出部１０４は、フィルタ部１０３から受け取るフィルタリング結果において、結合基準画像と結合参照画像との相関度が最も高くなる相対位置関係を検出する。そして、ピーク位置検出部１０４は、取得した相対位置関係に基づいて、サブピクセル推定用単位基準画像と、基準点に対するサブピクセル推定用単位参照画像におけるサブピクセルレベルの対応点との視差（ズレ量）を算出する。

具体的には、ピーク位置検出部１０４は、フィルタリング結果におけるピークの位置を検出することにより、かかるズレ量を算出する。ここで、フィルタリング結果におけるピークとは、フィルタリング結果が最大値となる位置である。このサブピクセル単位のズレ量と、画像マッチング部１０２において算出されるピクセル単位のズレ量（上記したズレ量ｎ）を加算することにより、基準画像と参照画像と間の正確なズレ量が算出される。

ステレオ画像処理装置１００は、例えば、ＣＰＵ、ＲＡＭなどの記憶媒体を有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。

［ステレオ画像処理装置１００の動作］
以上の構成を有するステレオ画像処理装置１００の動作について説明する。なお、以下では、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして説明する。また、説明の便宜のため、エピポーラ線の方向（基線長方向）は、画像全体において、Ｘ軸に平行であるとする。

図３は、ステレオ画像処理装置１００の動作説明に供するフロー図である。なお、以下では、基準画像におけるある１つの基準点についての処理を説明するが、ステレオ画像処理装置１００は、基準画像の全体で基準点を順次移動させ、以下のステップＳ１〜Ｓ９の動作を、測距対象領域内の全ての画素について行う。

＜分析基準位置決定処理＞
ステップＳ１で、画像マッチング部１０２は、測距対象領域において分析の対象となる基準点の位置（以下、「分析基準位置」という）を決定する。

＜単位基準画像の切り出し処理＞
ステップＳ２で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る基準画像から、単位基準画像を切り出す。単位基準画像は、ステップＳ１において決定された分析基準位置（つまり、基準点）を基準とした部分領域の画像（画像範囲）である。単位基準画像の大きさの単位は、ピクセルである。つまり、単位基準画像は、複数のピクセル行（画素行）×複数のピクセル列（画素列）の画像である。

＜サーチ範囲及びサーチ開始位置の決定処理＞
ステップＳ３で、画像マッチング部１０２は、ステップＳ２で決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。ステレオ画像の視差は、カメラ間の距離である基線長と、レンズの焦点距離と、ステレオカメラから対象物までの距離とに基づいて算出される。従って、サーチ範囲は、ステレオカメラから測距の対象物までの距離に基づいて定まる。また、ステレオカメラから無限遠にある対象物は、基準画像及び参照画像において同じ位置に撮像されるため、参照画像におけるサーチ開始位置は基準画像における基準点と同じ座標を設定すればよい。

＜単位参照画像の切り出し処理＞
ステップＳ４で、画像マッチング部１０２は、切り出し基準位置を決定し、参照画像から、単位基準画像と同一サイズの単位参照画像を切り出す。画像マッチング部１０２は、ステップＳ３で決定されたサーチ開始位置を、例えば最初の切り出し基準位置に決定し、以降、切り出し基準位置を移動させていく。

＜マッチング度の算出処理＞
ステップＳ５で、画像マッチング部１０２は、単位基準画像と、単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値または輝度類似度が用いられる。

＜サーチ範囲の終了判定処理＞
ステップＳ６で、画像マッチング部１０２は、サーチ範囲に対する処理の終了判定処理を行う。すなわち、画像マッチング部１０２は、切り出し基準位置の移動によりサーチ範囲を網羅したか否かを判断する。ここでサーチ範囲が終了していないと判定される場合（ステップＳ６：Ｎｏ）、画像マッチング部１０２は、ステップＳ４へ戻る。この結果、画像マッチング部１０２は、ステップＳ４での単位参照画像の切り出し領域がずれるように切り出し基準位置をサーチ範囲内において移動させる。このようにして、ステップＳ４〜Ｓ６までの処理は、サーチ範囲に対するが終了するまで（ステップＳ６：Ｙｅｓ）、繰り返される。

＜マッチング度の最大位置＞
ステップＳ７で、画像マッチング部１０２は、ステップＳ４〜Ｓ６までの処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像の位置を特定する。マッチング度として輝度相違度が用いられている場合には、画像マッチング部１０２は、輝度相違度が極小ないし最小となる単位参照画像を特定する。

ここで、ステップＳ２〜ステップＳ７の処理を、図４を参照して具体的に説明する。

図４に示すように、画像マッチング部１０２は、上述のステップＳ２において、分析基準位置（基準点）（ｘａ，ｙａ）を中心とした周辺の部分画像を、単位基準画像として切り出す。この単位基準画像の切り出しには、所定サイズ（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。なお、ここでは、窓関数によって規定される矩形窓の中心と分析基準位置とを一致させるものとして説明を行うが、厳密に中心でなくても良く、矩形窓の中心付近に分析基準位置が存在していれば良い。

次に、画像マッチング部１０２は、上述のステップＳ３において、ステップＳ１において決定された分析基準位置に基づいて、参照画像におけるサーチ範囲およびサーチ開始位置を決定する。サーチ開始位置（参照画像において単位参照画像を切り出す初期座標）は、例えば、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。次に、画像マッチング部１０２は図４に示すように、切り出し基準位置を順次ずらしながら、ステップＳ４において、サーチ開始位置を中心とした周辺の部分画像を参照画像から単位参照画像として切り出す。切り出し基準位置は、ここでは１ピクセルずつずらされる。この単位参照画像の切り出しには、単位基準画像の切り出しに用いられる矩形窓と同じ矩形窓が用いられる。また、参照画像における切り出し基準位置の初期座標は、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。

そして、画像マッチング部１０２は、上述のステップＳ５において、単位基準画像と各単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値が用いられる。このＳＡＤ値は、次の式（１）によって算出される。

そして、図４に示すように、画像マッチング部１０２は、上述のステップＳ６において、サーチ範囲が修了していないと判定される場合には、切り出す位置をずらしてステップS４に戻り、新たな単位参照画像を参照画像から切り出す。切り出す位置は、ここでは１ピクセルずつずらされる。なお、図４において、参照画像の座標（ｘａ，ｙａ）からＸ軸方向に、切り出す位置がずらされる。

このようにして、画像マッチング部１０２は、１つの単位基準画像に対して、複数の単位参照画像それぞれのＳＡＤ値を算出する。そして、画像マッチング部１０２は、ステップＳ７で、ステップＳ５の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。具体的には、画像マッチング部１０２は、複数のＳＡＤ値の内で、例えば最小のＳＡＤ値に対応する単位参照画像を特定する。この特定された単位参照画像の切り出し基準位置の座標を（ｘａ＋ｎ、ｙａ）とすると、ｎは、ピクセル単位のズレ量となる。

そして、画像マッチング部１０２は、ＳＡＤ値が最小となる切り出し基準位置を、分析基準位置（基準点）のピクセルレベルの対応点とする。なお、ここでは、マッチング度の指標としてＳＡＤ値を用いたが、本発明はこれに限定されるものではなく、マッチング度の指標として用いることができるものであれば代用することができる。例えば、マッチング度の指標として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられても良い。以上で、ステップＳ２〜Ｓ７の処理についての具体的な説明を終える。

＜サブピクセル単位演算処理＞
図３のステップＳ８で、フィルタ部１０３及びピーク位置検出部１０４は、ステップＳ７で得られたピクセルレベルの対応点と、ステレオ画像取得部１０１から受け取る基準画像及び参照画像に基づいて、サブピクセル単位演算処理を行う。

図５は、サブピクセル単位演算処理の詳細を示すフロー図である。図６は、サブピクセル単位演算処理の概念の説明に供する図である。

（サブピクセル推定用単位基準画像の切り出し処理）
ステップＳ１２で、フィルタ部１０３の画像切り出し部４０１は、単位基準画像から複数のサブピクセル推定用単位基準画像を切り出す。すなわち、画像切り出し部４０１は、単位基準画像から、当該単位基準画像がＮ（Ｎは、２以上の自然数）個に分割されたＮ分割単位基準画像（以下、「サブピクセル推定用単位基準画像」という）をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。

サブピクセル推定用単位基準画像の大きさの単位は、ピクセルである。複数のサブピクセル推定用単位基準画像を切り出す位置は、基準点から上下方向にずれた位置である。また、複数のサブピクセル推定用単位基準画像を切り出す向きは、エピポーラ線に沿って平行であるＸ軸方向である。すなわち、サブピクセル推定用単位基準画像は、単位基準画像がＹ軸の方向でＮ分割されたＮ分割単位基準画像である。

なお、サブピクセル推定用単位基準画像を切り出す位置は、上下に限らず、基準点（又は対応点）の任意の周辺位置でも良いし、基準点（又は対応点）を含んでも良い。

画像切り出し部４０１が、基準点から上下方向にずれた位置で切り出すのは、測距の対象物が、歩行者のように縦長の形状をしているためである。例えば、対象物が斜め方向に傾いている形状であれば、複数のサブピクセル推定用単位基準画像は、斜め方向にずれた位置で切り出されることが望ましい。すなわち、複数のサブピクセル推定用単位基準画像は、ステレオカメラから同じ距離にある対象物が映り込んだ画像領域に対して、切り出されることが望ましい。また、サブピクセル推定用単位基準画像のサイズは、対象物の画像領域上でのサイズに合わせた設計値とすることが望ましい。

また、サブピクセル推定用単位基準画像の切り出しには、窓関数が用いられる。この窓関数には、例えば、式（２）で表されるハニング窓の窓関数ｗ（ｍ）を用いられる。

なお、ここでは、ハニング窓の窓関数が用いられる場合について説明するが、本発明はこれに限定されるものではなく、窓関数として、ハミング窓、ブラックマン窓、カイザー窓などを用いてもよい。窓関数は、サブピクセル推定用単位基準画像の特性（例えば、周波数パワー特性、位相特性、切り出し端連続性）の内、どの特性を重要視するかに応じて選択されるからである。

ここで、サブピクセル単位で視差を推定するための画像切り出し処理では、切り出された画像にノイズが含まれないことが重要である。これは、サブピクセル単位のズレを正確に求めるためである。一方、画像マッチング部１０２における画像切り出し処理は、例えば、ピクセル単位で行われるため、精度よりも演算回数を削減することに重きが置かれる。従って、画像マッチング部１０２で用いられる第１の窓関数には、単に画像データを切り出すだけの窓関数が用いられる。これに対して、サブピクセル推定用単位基準画像の切り出し処理で用いられる第２の窓関数は、ノイズが少ないことが重要視される。そのため、第２の窓関数は、第１の窓関数に比べて、窓の両端における変化が連続的である関数（つまり、１周期の最初及び最後の値がゼロである関数）であることが好ましい。

このような第２の窓関数を用いることにより、サブピクセル推定用単位基準画像信号の連続性が保たれ、後述する逆位相フィルタの特性に含まれる、切り出しによるノイズ成分を低減することができる。なお、第１の窓関数と第２の窓関数とを周波数特性について比較すると、第１の窓関数の方が、第２の窓関数よりも、メインローブ（ｍａｉｎ−ｌｏｂｅ）の幅が狭く、サイドローブ（ｓｉｄｅ−ｌｏｂｅ）の振幅が大きい。

図６において、第２の窓関数ｗ（ｍ）は、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、第２の窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。同様に、基準点（ｘａ，ｙａ＋１）を中心に設定された第２の窓関数ｗ（ｍ）を用いて、基準点（ｘａ，ｙａ＋１）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。ここでは、２つのサブピクセル推定用単位基準画像を切り出す例を示すが、２つでなくともよく、３つ以上の場合も同様に切り出すことが可能である。

（サブピクセル推定用単位参照画像の切り出し処理）
ステップＳ１３において、画像切り出し部４０１は、ステップＳ７で検出された、単位基準画像とのマッチング度が最大となる単位参照画像から、当該単位参照画像がＮ個に分割されたＮ分割単位参照画像（つまり、サブピクセル推定用単位参照画像）をＭ個抽出する。ここで、Ｎは、２以上の自然数であり、Ｍは、２以上Ｎ以下の自然数である。サブピクセル推定用単位参照画像の切り出し処理にも、サブピクセル推定用単位基準画像の場合と同じ第２の窓関数が用いられる。

ただし、第２の窓関数は、対応点（ｘａ＋ｎ、ｙａ）に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。

図６において、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度値を表している。同様に、対応点（ｘａ，ｙａ＋１）を中心に設定された第２の窓関数ｗ（ｍ）を用いて、対応点（ｘａ，ｙａ＋１）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。ここでは、２つのサブピクセル推定用単位参照画像を切り出す例を示すが、２つでなくともよく、３つ以上の場合も同様に切り出すことが可能である。

なお、以上の説明では、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持つ第２の窓関数ｗ（ｍ）が用いられているが、このサイズは一例であり、これに限定されるものではない。例えば、縦サイズを３ピクセルとする場合には、１ピクセル毎に上記した処理を行い、得られた結果を平均しても良い。

更に、例えば、縦サイズが複数のピクセルを含む場合、縦１ピクセルずつに上述した処理を行い、縦サイズに含まれる複数のピクセルごとの結果を重み付けして平均化しても良い。この場合に用いられる重み付け係数は、２次元ＰＯＣのように、窓関数によって決定されても良い。画像切り出し部４０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像の縦サイズが２ピクセル以上である場合には、上記したような平均化などを行う。そして、画像切り出し部４０１は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像それぞれを１次元のデータ列に変換する。

（サブピクセル推定用単位基準画像結合処理）
ステップＳ１４で、画像結合部４０２は、Ｍ個のサブピクセル推定用単位基準画像のデータ列（平均化などによって１次元のデータ列に変換されている場合には、変換後のサブピクセル推定用単位基準画像のデータ列）を直列に結合する。それにより、画像結合部４０２は、１次元のデータ列（以下、「結合基準画像データ列」という）を形成する。

（サブピクセル推定用単位参照画像結合処理）
ステップＳ１５で、画像結合部４０２は、Ｍ個のサブピクセル推定用単位参照画像のデータ列（平均化などによって１次元のデータ列に変換されている場合には、変換後のサブピクセル推定用単位参照画像のデータ列）を直列に結合する。それにより、画像結合部４０２は、１次元のデータ列（以下、「結合参照画像データ列」という）を形成する。

図７は、画像結合部４０２の処理の概念の説明に供する図である。図７（ａ）は、基準画像からサブピクセル推定用単位基準画像が切り出される様子と、切り出された２つのサブピクセル推定用単位基準画像が結合された画像７０１を示す。図７（ｂ）は、図７（ａ）の結合された画像７０１のデータ列（つまり、結合基準画像データ列）の輝度信号を示す。図７（ｃ）は、参照画像からサブピクセル推定用単位参照画像が切り出される様子と、切り出された２つのサブピクセル推定用単位参照画像が結合画像７０２を示す。図７（ｄ）は、図７（ｃ）の結合された画像７０２のデータ列（つまり、結合参照画像データ列）の輝度信号を示す。

また、図７では、単位基準画像及び単位参照画像のそれぞれにおいて、縦線７０３（例えば、測距する対象である歩行者に相当）によって輝度値の変化の頻度が高い画像領域が存在（つまり、輝度信号に高周波成分が存在）する場合が示されている。結合されたサブピクセル単位推定用単位基準画像７０１と結合されたサブピクセル推定用単位参照画像７０２には、縦線７０３に対応する輝度値変化が複数個現れていることが分かる。

このように、ステレオ画像処理装置１００は、擬似的に発生させた、窓サイズ程度離れて複数存在する輝度値変化（窓サイズ相当周期の低周波成分）も利用することができるので、視差算出精度を向上させることができる。

なお、画像結合部４０２は、Ｍ個のサブピクセル推定用単位基準画像（もしくは、サブピクセル推定用単位参照画像）を直列に結合する前に、各画像のデータ列の端部を滑らかに結合するための画像データ列端部平滑化処理を行っても良い。ただし、サブピクセル推定用単位基準画像（もしくは、サブピクセル推定用単位参照画像）を切り出す場合に、ハニング窓など画像データ列端部を滑らかに切り出す窓関数を使用している場合には必要としない。

（逆位相フィルタ係数算出処理）
ステップＳ１６で、フィルタリング部４０３は、結合基準画像データ列から逆位相フィルタ係数を算出する。具体的には、フィルタ部１０３は、結合基準画像データ列の対応する各画素の位置を、前項方向において反転させる形で、データ列を逆の順番に並べ換える。

（フィルタリング処理）
ステップＳ１７で、フィルタリング部４０３は、結合参照画像データ列をステップＳ１６で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０４へ出力する。

ここで、フィルタリングの概念について説明する。図１５は、逆位相フィルタ係数によるフィルタリングの概念を説明するための模式図である。図１５において、窓関数ｗ（ｍ）の長さ（Ｎ）は、５画素であるものとする。そして、結合基準画像データは、「１，２，３，４，５」であるものとする。また、結合参照画像データｘ（ｍ）も、「１，２，３，４，５」であるものとする。また、フィルタリングに用いる画素値は、輝度値であるものとする。
結合基準画像データが「１，２，３，４，５」の場合、フィルタ部１０３は、逆位相フィルタ係数ｈ（ｋ）として、「５，４，３，２，１」を算出する。

そして、フィルタ部１０３は、図１５（Ｂ）に示すように、逆位相フィルタ係数ｈ（ｋ）を用いて、結合参照画像データに対してフィルタリング処理を施す。このフィルタリング処理は、具体的には次のように行われる。結合参照画像データにおける、任意の構成信号の座標をｋとした場合、フィルタ部１０３は、構成信号の座標が「ｋ−２、ｋ−１、ｋ、ｋ＋１、ｋ＋２」となる信号列に対して、逆位相フィルタ係数ｈ（ｋ）を乗算する。それにより、フィルタ部１０３は、信号列に対してフィルタリング処理を施し、各乗算結果の総和を、フィルタリング結果ｚ（ｍ）として算出する。ここで、ｍは、１〜５の整数値を取る。

ここで、結合参照画像データの両端の外部に、輝度が０の仮想的な座標点を考慮すると図１５（Ａ）に示すように、結合参照画像データｘ（ｍ）は、「０，０，１，２，３，４，５，０，０」となる。図１５（Ａ）におけるｍ（ｍ：０〜４）を結合参照画像データの座標点とした場合（つまり、ｘ（０）=１、ｘ（１）=２、ｘ（２）=３、ｘ（３）=４、ｘ（４）=５）、フィルタリング処理は、次のように行われる。

フィルタ部１０３は、ｍ＝０の場合、ｍ＝０を中心とする輝度値信号列「０、０、１、２、３」を、逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理する。この結果、ｚ（０）は、２６（＝０×１＋０×２＋１×３＋２×４＋３×５）となる。
また、フィルタ部１０３は、ｍ＝１の場合、ｍ＝１を中心とする輝度値信号列「０、１、２、３、４」を、逆位相フィルタ「５、４、３、２、１」によってフィルタリング処理する。この結果、ｚ（１）は、４０（＝０×１＋１×２＋２×３＋３×４＋４×５）となる。

同様にして、ｚ（２）は、５５となり、ｚ（３）は、４０となり、ｚ（４）は、２６となる。したがって、フィルタ部１０３は、フィルタリング結果ｚ（ｍ）として、「２６、４０、５５、４０、２６」を得る。

このようなフィルタリング処理は、式（３）によって表される。式（３）において、結合基準画像データが反転されたｆ'（−ｋ）は、逆位相フィルタのフィルタ係数ｈ（ｋ）として用いられている。また、ｇ'（ｍ）は、結合参照画像データの輝度値である。

逆位相フィルタを用いたフィルタリング処理によるフィルタリング結果ｚ（ｍ）は、図１５（Ｃ）に示すように、対称（図１５では、ｍ＝２を中心として左右対称）になると共に、中央付近にピークが存在するという特徴を有する。

また、逆位相フィルタは、いわゆるＦＩＲフィルタの一種に相当するものであり、線形推移不変システムであるという特徴を有する。ここで、線形推移不変システムとは、入力信号にずれがある場合には、出力信号にも入力信号と同じだけのずれが生じるシステムである。

上述した具体例では、結合参照画像データと結合基準画像データとの間にズレがない場合を例にとって説明した。ところが、結合参照画像データと結合基準画像データの間に小さなずれが存在する場合、フィルタリング結果であるｚ（ｍ）にも同じだけのずれが生じることになる。

なお、実空間において同一サイズの対象物の視差を求める場合、対象物がステレオカメラから遠くに存在する場合は近くに存在する場合よりも視差は小さく、ピクセル単位のズレ量ｎも小さくなる。またそれと同時に、当該対象物の基線長方向の画像領域サイズも小さくなる。

したがって、逆位相フィルタのタップ長は、画像マッチング部１０２で検出されたピクセル単位のズレ量ｎの大きさに応じて設定されることが望ましい。例えば、ピクセル単位のズレ量ｎが小さい場合には、それに応じて逆位相フィルタのタップ長も短く設定される。ステレオ画像処理装置１００は、ズレ量ｎに対して適応的にサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のサイズを変更することにより、逆位相フィルタのタップ長も適応的に変更することができる。

これにより、対象物のサイズに応じた視差算出が可能となる。

また、フィルタリング結果は、線形推移不変システムの出力である。したがって、フィルタリング結果は、レンズの歪補正の誤差、ＣＣＤなどのイメージセンサに起因するゲインノイズ等の誤差、窓掛けによる画像切り出しの演算精度の誤差を除けば、理論的には真のずれ量を表現していることになる。よって、ピクセル単位で離散化されている逆位相フィルタの出力をサンプリング定理に従ってピクセル間の数値を補間することにより、サブピクセル単位での真のピーク位置を求めることができる。以上で、フィルタリングの概念についての説明を終える。

次に、フィルタリング結果におけるピーク位置検出の処理（ステップS１８）の概要を説明する。図１６は、ｓｉｎｃ関数を用いたピーク位置検出の処理の一例の概要を示す模式図である。

ｓｉｎｃ関数は、ｓｉｎ（πｘ）／πｘで定義される関数であり、離散化されたサンプリングデータを元の連続データに戻す場合に用いられる関数である。サンプリングされた離散データとｓｉｎｃ関数との畳み込み演算を行うことにより、元の連続データを完全に復元可能であることは、サンプリング定理によって証明されている。

したがって、ピーク位置検出部１０４は、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算する。これにより、ピーク位置検出部１０４は、ピクセル単位間隔の信号データを補間することができ、サブピクセル単位でも理論的に信号データが補間されたフィルタリング結果ｚ（ｍ）の真のピーク位置を導出することができる。

図１６に示すように、ピーク位置検出部１０４は、例えば、２分探索によって、ピーク位置を検出する。

例えば、ピーク位置検出部１０４は、ピクセル単位間隔のフィルタリング結果ｚ（ｍ）が最大となる位置ｍ＝０を、位置Ａ（つまり、２分探索基準点）とする。ピーク位置検出部１０４は、その最大位置Ａから左右に１ピクセルずつずれた位置のフィルタリング結果であるｚ（＋１）とｚ（−１）とを比較する。そして、ピーク位置検出部１０４は、大きい方の位置（ここでは、ｍ＝１）を、位置Ｂ（つまり、２分探索使用点）とする。

そして、ピーク位置検出部１０４は、２分探索基準点Ａと２分探索使用点Ｂとの中点である位置Ｃの値を、サンプリング定理に基づき、例えば以下の式（４）を用いて算出する。なお、Ｔは、サンプリング間隔（画素ピッチ）である。

そして、ピーク位置検出部１０４は、位置Ｃを新たな２分探索基準点として、上記と同様の処理を繰り返す。

この処理の繰り返し回数は、必要な精度に応じた数とすることができる。すなわち、ピーク位置検出部１０４は、必要なサブピクセル精度が１／２ピクセルであれば、上記した処理を１回行えばよい。また、ピーク位置検出部１０４は、必要なサブピクセル精度が１／４ピクセル精度であれば２回、１／８ピクセルであれば３回と、必要なサブピクセル精度に応じて繰り返し回数を決定すればよい。

そして、ピーク位置検出部１０４は、最後に得られた中点を、検出したピーク位置δとして扱う。

なお、以上の説明では、ｓｉｎｃ関数および２分探索方を用いてピーク位置を検出する方法について説明を行った。しかしながら、本発明はこれに限定されるものではなく、例えば、ピーク位置検出部１０４は、ｓｉｎｃ関数と勾配法との組み合わせによって、ピーク位置を探索してもよい。すなわち、ピーク位置検出部１０４は、離散化されているフィルタリング結果をｓｉｎｃ関数によって畳み込み演算してピクセル単位間隔の信号データを補間した後であれば、各種の最大値検出方法を用いることができる。

または、ピーク位置検出部１０４は、二次曲線近似を用いてピーク位置を検出してもよい。これにより、ピーク位置検出部１０４は、ピーク位置検出のための演算量を削減することができる。この場合、ピーク位置検出部１０４は、離散化されているフィルタリング結果を二次曲線でフィッティングし、その二次曲線の極大値の位置を、ピーク位置として検出する。これにより、ピーク位置検出部１０４は、離散化の間隔以下の精度でピーク位置を求めることができる。

図１７は、二次曲線近似を用いたピーク位置検出の処理の一例の概要を示す模式図である。

図１７に示すように、ピーク位置検出部１０４は、まず、ピクセル単位間隔のフィルタリング結果ｚ（ｍ）が最大となる、位置ｍ＝０における値ｚ（０）を求める。また、ピーク位置検出部１０４は、その最大位置ｍ＝０から左右に１ピクセルずつずれた、位置ｍ＝＋１、−１のフィルタリング結果である、ｚ（＋１）、ｚ（−１）を取得する。そして、ピーク位置検出部１０４は、これら３点を通る二次曲線を求め、さらにその二次曲線が極大値をとる位置を、ピーク位置δとして検出する。このピーク位置δは、例えば、次の式（５）を用いて算出することができる。

基準画像における分析基準位置の視差は、ピクセル単位のずれｎと、サブピクセル単位のずれδ'を、加算することによって求められる。

以上で、フィルタリング結果におけるピーク位置検出の処理の概要についての説明を終える。また、ステップＳ１６〜Ｓ１８の処理についての具体的な説明を終える。

（測距対象領域の終了判定処理）
ステップＳ９では、画像マッチング部１０２は、測距対象領域の終了判定処理が行う。すなわち、画像マッチング部１０２は、基準画像の全体において、未だステップＳ１〜ステップＳ８までの処理が行われていない未処理領域が存在するか否かを判断する。画像マッチング部１０２は、未処理領域が存在する場合には（Ｓ９：Ｎｏ）、ステップＳ１へ戻り、分析基準位置をずらしてその未処理領域についてステップＳ１〜ステップＳ８までの処理を行う。また、画像マッチング部１０２は、未処理領域が存在しない場合には（Ｓ９：Ｙｅｓ）、一連の動作を終了する。

以上のように本実施の形態によれば、ステレオ画像処理装置１００において、画像切り出し部４０１が、基準画像内の第１の部分領域（ここでは、単位基準画像）がＮ（Ｎは、２以上の自然数）分割された分割基準画像をＭ（Ｍは、２以上Ｎ以下の自然数）個抽出する。さらに、画像切り出し部４０１が、参照画像における、前記第１の部分領域に対応する第２の部分領域（ここでは、単位参照画像）がＮ分割された分割参照画像をＭ個抽出する。そして、画像結合部４０２が、各データ列が各分割基準画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第１の結合データ列（ここでは、結合基準画像データ列）を形成する。さらに、画像結合部４０２が、各データ列が各分割参照画像における輝度値から成るＭ個のデータ列を直列に連結することにより、第２の結合データ列（ここでは、結合参照画像データ列）を形成する。そして、フィルタリング部４０３が、第１の結合データ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、前記第２の結合データ列に対して前記逆位相フィルタ係数を用いてフィルタリングする。そして、ピーク位置検出部１０４が、フィルタリング部４０３のフィルタリング結果におけるピーク位置に基づいて、ズレ量ｎを算出する。

このように、結合基準画像データ列と結合参照画像データ列とに基づいて視差を算出することにより、短い幅の輝度値変化に関する情報を複数個同時に利用することができる。さらに、短い幅の輝度値変化が窓サイズ程度離れて複数存在することで擬似的に窓サイズ相当周期の低周波成分も利用することができるので、視差算出精度を向上させることができる。

［実施の形態２］
実施の形態２では、画像切り出し処理の前処理として、低周波成分抑制処理を行う。

図８は、本発明の実施の形態２に係るフィルタ部１０３の構成を示す。図８において、フィルタ部１０３は、低周波成分抑制部５０１を有する。

低周波成分抑制部５０１は、ステレオ画像取得部１０１において取得された基準画像及び参照画像を入力とし、基準画像及び参照画像の低周波成分の振幅を相対的に抑制する。高周波成分の振幅に対して相対的に低周波成分の振幅を抑制すれば良いので、低周波成分抑制部５０１は、高周波成分の振幅を強調させても良い。

図９は、実施の形態２に係るサブピクセル単位演算処理の詳細を示すフロー図である。

（低周波成分抑制処理）
ステップＳ２１で、低周波成分抑制部５０１は、単位基準画像及び単位参照画像の低周波成分を相対的に抑制する。高周波成分の振幅に対して相対的に低周波成分の振幅を抑制すれば良いので、低周波成分抑制部５０１は、高周波成分の振幅を強調させても良い。高周波成分の振幅強調処理は、一般的な処理を利用してよく、例えば、ＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを利用することで実現できる。

図１０は、低周波成分抑制処理の概念の説明に供する図である。図１０（ａ），（ｂ）は、高周波の輝度信号と周波数特性をそれぞれ表し、図１０（ｃ），（ｄ）は、低周波の輝度信号と周波数特性をそれぞれ表す。Ｔは、図６における窓長（Ｋ−Ｊ）を表す。図１０（ａ）のように窓関数による切り出し幅Ｔに対して短い周期を持つ輝度信号は、図１０（ｂ）のように空間周波数で１／（２Ｔ）以上の周波数を持つ輝度信号である。一方、図１０（ｃ）のように窓関数による切り出し幅Ｔに対して長い周期を持つ輝度信号は、図１０（ｄ）のように空間周波数で１／（２Ｔ）より低い周波数を持つ輝度信号である。低周波成分抑制処理では、１／（２Ｔ）が、強調対象である高周波の輝度信号であるか又は抑制対象である低周波の輝度信号であるかを判定するための判定基準（つまり、判定閾値）として用いられる。

ここで、切り出し幅Ｔに対して長い周期を持つ輝度信号は、切り出し幅Ｔにおいては表現できない周波数を持つ信号である。すなわち、切り出し幅Ｔに対して長い周期を持つ輝度信号は、切り出し幅Ｔにおいては１周期の波形すら表現されない。そして、このような輝度信号は、周波数を用いたマッチング（つまり、信号の周波数成分に着目するマッチング）の精度を劣化させる要因となる。従って、低周波成分はできる限り抑制した上で、後段の切り出し処理を行うことが望ましい。

以上のように本実施の形態によれば、ステレオ画像処理装置１００において、低周波成分抑制部５０１が、第１の部分領域に対応する画像信号及び前記第２の部分領域に対応する画像信号における低周波数成分を高周波数成分に対して相対的に抑制する。ここでは、第１の部分領域は単位基準画像となり、第２の部分領域は単位参照画像となる。

こうすることで、周波数を用いたマッチング（つまり、信号の周波数成分に着目するマッチング）の精度を劣化させる要因となる低周波数成分を抑制することができるので、視差算出精度を向上することができる。

なお、以上の説明では、実施の形態１に係るフィルタ部１０３に低周波成分抑制部５０１を適用する場合について説明したが、これに限定されるものではない。例えば、画像結合部４０２を有さない（つまり、１つの単位基準画像と、これに対応する１つの単位参照画像とによって視差を算出する）ステレオ画像処理装置に低周波成分抑制部５０１を適用しても良い。また、次のような画像マッチング部と、フィルタ部とを具備するステレオ画像処理装置において、フィルタ部に、基準画像及び参照画像のそれぞれにおける低周波成分を抑制する低周波成分抑制部を設けても良い。画像マッチング部は、基準画像と参照画像とのピクセル単位のズレ量を算出する。フィルタ部は、基準画像内の輝度値から成るデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、参照画像に対して逆位相フィルタ係数を用いてフィルタリングする。

［実施の形態３］
実施の形態３では、画像切り出し処理の前段に、高周波成分の振幅に基づいて画像切り出し処理以降の処理を実行するか否かを判定する。

図１１は、本発明の実施の形態３に係るフィルタ部１０３の構成を示す。図１１において、フィルタ部１０３は、高周波成分判定部６０１を有する。

高周波成分判定部６０１は、低周波成分抑制部５０１において低周波成分の振幅が相対的に抑制された基準画像及び参照画像と、画像マッチング部１０２からの基準点及びズレ量ｎとを入力とし、これらに基づいて、後段の処理を実行するか否かを判定する。この判定は、具体的には、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさに応じて実行される。参照画像の対応点とは、つまり、参照画像において基準点と同じ座標からズレ量ｎだけずれた点である。また、後段の処理とは、ここでは、画像切り出し部４０１、画像結合部４０２、フィルタリング部４０３、及びピーク位置検出部１０４における処理である。

図１２は、実施の形態３に係るサブピクセル単位演算処理の詳細を示すフロー図である。

（高周波成分判定処理）
ステップＳ３１で、高周波成分判定部６０１は、低周波成分抑制部５０１において低周波成分の振幅が相対的に抑制された基準画像及び参照画像と、画像マッチング部１０２からの基準点及びズレ量ｎとを入力する。そして、高周波成分判定部６０１は、これらに基づいて、後段の処理を実行するか否かを判定する。この判定は、具体的には、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさに応じて実行される。参照画像の対応点とは、つまり、参照画像において基準点と同じ座標からズレ量ｎだけずれた点である。そして、基準画像の基準点における画像データ列の高周波成分の振幅の大きさ、及び、参照画像の対応点における画像データ列の高周波成分の振幅の大きさの両方が所定の閾値以上の場合（つまり、振幅が大きいと判定される場合）には、後段の処理が実行される。一方、所定の閾値未満の場合には、サブピクセル単位演算処理が終了される。

図１３は、高周波成分判定処理の概念の説明に供する図である。図１３（ａ），（ｂ）は、低周波成分抑制後の高周波の輝度信号と周波数特性をそれぞれ表し、図１３（ｃ），（ｄ）は、低周波成分抑制後の低周波の輝度信号と周波数特性をそれぞれ表す。高周波成分の振幅の有無を判定するためには、フーリエ変換などの周波数変換処理を利用しても良いし、演算量を削減するために、輝度信号の変化率の絶対値の和を取るなどの簡易的な処理を利用しても良い。

上述の通り窓関数の切り出し幅との関係により、低周波成分によっては正確なマッチングが実現できないので、高周波成分の振幅が小さい信号は、視差がゼロの信号と等価である。すなわち、高周波成分の振幅が小さい信号によっては、正確な視差を算出することが難しい。従って、所定の閾値未満の場合には、サブピクセル単位演算処理が終了されることにより、無駄な処理が実行されることを防止することができる。

図１４は、画像結合部４０２の処理の概念の説明に供する図である。図１４（ａ）は、基準画像からサブピクセル推定用単位基準画像が切り出される様子と、切り出された２つのサブピクセル推定用単位基準画像が結合された１次元の画像のデータ列（つまり、結合基準画像データ列）を示す。図１４（ｂ）は、結合基準画像データ列の輝度信号を示す。図１４（ｃ）は、参照画像からサブピクセル推定用単位参照画像が切り出される様子と、切り出された２つのサブピクセル推定用単位参照画像が結合された１次元の画像のデータ列（つまり、結合参照画像データ列）を示す。図１４（ｄ）は、結合参照画像データ列の輝度信号を示す。図１４には、単位基準画像及び単位参照画像のそれぞれにおいて、高い頻度での輝度値変化が存在しない（つまり、輝度信号に高周波成分がほとんど存在しない）場合が示されている。

このようにサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のそれぞれにおいて、高い頻度での輝度値変化が存在せず、且つ、サブピクセル推定用単位基準画像間又はサブピクセル推定用単位参照画像間では輝度値が変化する（つまり、Ｙ軸方向（縦方向）の輝度値が変化する）場合を検討する。この場合には、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との視差（サブピクセル推定用単位基準画像の輝度信号とサブピクセル推定用単位参照画像の輝度信号との位相差）が擬似的にゼロとなってしまう。このため、正しい視差を算出することができず、視差算出精度劣化の大きな要因となる。このため、このような低周波成分は、画像結合処理を行う前に高周波判定処理において削除されることが好ましい。

以上のように本実施の形態によれば、ステレオ画像処理装置１００において、高周波成分判定部６０１が、次の場合にのみ、画像切り出し部４０１、画像結合部４０２、フィルタリング部４０３、及びピーク位置検出部１０４の処理を実行させる。上記の場合とは、第１の部分領域（ここでは、単位基準画像）に対応する画像信号及び第２の部分領域（ここでは、単位参照画像）に対応する画像信号における高周波数成分の振幅が閾値以上である場合である。

こうすることで、正確な視差を算出することが難しい場合に無駄な処理が実行されることを防止することができる。

なお、以上の説明では、実施の形態２に係るフィルタ部１０３に高周波成分判定部６０１を適用した場合について説明したが、これに限定されるものではなく、実施の形態１に係るフィルタ部１０３に高周波成分判定部６０１を適用しても良い。

上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

［他の実施の形態］
（１）上記各実施の形態では、画像マッチング部１０２で基準画像と参照画像とのズレが「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４によってズレが「サブピクセル単位」で細かく検出される場合について説明を行った。すなわち、２段階でズレが算出される場合について説明を行った。しかしながら、本発明はこれに限定されるものではなく、１段階でズレを算出する場合にも適用可能である。

（２）上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１０年１１月５日出願の特願２０１０−２４８６９１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明のステレオ画像処理装置及びステレオ画像処理方法は、ターゲット画像領域が撮像画像上で小さな領域しか占めない場合にも、視差を高精度に算出することができるものとして有用である。

１００ ステレオ画像処理装置
１０１ ステレオ画像取得部
１０２ 画像マッチング部
１０３ フィルタ部
１０４ ピーク位置検出部
４０１ 画像切り出し部
４０２ 画像結合部
４０３ フィルタリング部
５０１ 低周波成分抑制部
６０１ 高周波成分判定部

Claims (7)

1. ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸１ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸１ピクセルの分割参照画像をＭ個抽出する抽出手段と、
   抽出されたＭ個の各分割基準画像における輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像における輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成する連結手段と、
   前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングするフィルタリング手段と、
   フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する算出手段と、
   を具備するステレオ画像処理装置。
2. 前記抽出手段の入力段に設けられ、前記第１部分領域に対応する画像信号及び前記第２部分領域に対応する画像信号における低周波数成分を高周波数成分に対して相対的に抑制する抑制手段、をさらに具備する請求項１に記載のステレオ画像処理装置。
3. 前記第１部分領域に対応する画像信号及び前記第２部分領域に対応する画像信号における高周波数成分の振幅が閾値以上である場合にのみ、前記抽出手段、前記連結手段、前記フィルタリング手段、及び前記算出手段の処理を実行させる制御手段、をさらに具備する請求項１に記載のステレオ画像処理装置。
4. 前記低周波数成分と前記高周波数成分とを分ける周波数値は、１／（２Ｔ）であり、Ｔは、前記第１部分領域及び前記第２部分領域の幅である、
   請求項２に記載のステレオ画像処理装置。
5. ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸ｎ（ｎは２以上の自然数）ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸ｎピクセルの分割参照画像をＭ個抽出する抽出手段と、
   抽出されたＭ個の各分割基準画像において縦軸のｎピクセルの値が平均化された輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像において縦軸のｎピクセルの値が平均化された輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成する連結手段と、
   前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングするフィルタリング手段と、
   フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する算出手段と、
   を具備するステレオ画像処理装置。
6. ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸１ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸１ピクセルの分割参照画像をＭ個抽出し、
   抽出されたＭ個の各分割基準画像における輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像における輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成し、
   前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングし、
   フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する、
   ステレオ画像処理方法。
7. ステレオカメラによって撮影されたステレオ画像に含まれる基準画像内の第１部分領域から前記ステレオカメラの基線長方向に切り出された縦軸ｎ（ｎは２以上の自然数）ピクセルの分割基準画像をＭ（Ｍは２以上の自然数）個抽出し、前記ステレオ画像に含まれる参照画像内の、前記第１部分領域に対応する第２部分領域から前記基線長方向に切り出された縦軸ｎピクセルの分割参照画像をＭ個抽出し、
   抽出されたＭ個の各分割基準画像において縦軸のｎピクセルの値が平均化された輝度値から成る１次元データ列を連結して１次元の第１結合データ列を形成し、抽出されたＭ個の各分割参照画像において縦軸のｎピクセルの値が平均化された輝度値から成る１次元データ列を連結して１次元の第２結合データ列を形成し、
   前記第１結合データ列のデータ順序を反転させることで算出された逆位相フィルタ係数を用いて、前記第２結合データ列をフィルタリングし、
   フィルタリング結果におけるピーク位置に基づいて前記基準画像と前記参照画像とのズレ量を算出する、
   ステレオ画像処理方法。

Images