JP5891415B2 - ステレオ画像処理装置 - Google Patents

Description

本発明は、同一の対象物を撮影したステレオ画像（基準画像と参照画像）から、視差に起因する画像のずれを算出するステレオ画像処理装置に関する。

従来から、ステレオカメラを用いて同一の対象物を撮影したときの二つの画像（基準画像と参照画像）から画像のずれを算出し、その画像のずれに基づいて対象物までの距離を測定するステレオ画像処理装置が知られている。このステレオ画像処理装置は、例えば、車載カメラで撮影した前方の車両又は歩行者のステレオ画像からその車両又は歩行者までの距離を測定する装置などへの適用が検討されている。ところが、近年のカメラ（車載カメラなど）の小型化の影響により、カメラ間隔も小さくなり、その結果、ステレオ画像のずれも小さくなっている。したがって、ステレオ画像処理装置には、高精度な視差演算機能が要求されるようになってきている。

従来、ステレオ画像処理装置における、高精度なステレオマッチング（ステレオ画像処理の視差演算）の方式として、例えば１次元ＰＯＣ（Phase Only Correlation）方式が提案されている（例えば、特許文献１参照）。この１次元ＰＯＣ方式では、先ず、基準画像及び参照画像のそれぞれからハニング窓を用いて部分画像（１次元画像データ列）が切り出される。次に、切り出された部分基準画像及び部分参照画像は、１次元フーリエ変換が施されてフーリエ画像データとされた後に合成される。次に、合成されたフーリエ画像データは、その振幅成分が正規化された後に、１次元逆フーリエ変換が施される。これにより、位相限定相関係数が求められる。そして、位相限定相関係数の相関ピークに基づいて、画像のズレ量（視差）が算出される。

特開２００８−１２３１４１号公報

しかしながら、従来技術は、遠くに位置する歩行者など、ステレオ画像上で占める基線長方向における画像領域のサイズ（以下「基線長方向の画像領域サイズ」という）が小さい対象物については、高精度に視差を算出することが難しいという課題を有する。なぜなら、基線長方向の画像領域サイズが小さい場合、背景周囲の画像の影響を低減するために１次元画像データ列を小さくする必要があるが、１次元画像データ列が小さいほど上述の相関ピークの精度は低くなるからである。

本発明は、かかる点に鑑みてなされたものであり、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができる、ステレオ画像処理装置を提供することを目的とする。

本発明の一態様のステレオ画像処理装置は、第１の窓関数を用いて、ステレオ画像のうち基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数を用いて、前記ステレオ画像のうち参照画像からサブピクセル推定用単位参照画像を切り出す切り出し手段と、前記第１の窓関数を用いて切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより第１の逆位相フィルタ係数を算出し、前記第１の窓関数を用いて切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列に対して前記第１の逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果におけるピーク位置に基づいて、前記基準画像と前記参照画像とのサブピクセル単位の第１のズレ量を算出する算出手段と、前記第１のズレ量に基づいて前記第１の窓関数をシフトすることにより形成した第２の窓関数を、前記切り出し手段に設定する窓関数設定手段と、を具備し、前記切り出し手段は、前記第２の窓関数を用いて前記参照画像からサブピクセル推定用単位参照画像を切り出し、前記算出手段は、前記第１の窓関数を用いて切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列から第２の逆位相フィルタ係数を算出し、前記第２の窓関数を用いて切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列と、前記第２の逆位相フィルタ係数とに基づいて、サブピクセル単位の第２のズレ量を算出する。

本発明によれば、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができるステレオ画像処理装置を提供することができる。

本発明の実施の形態１に係るステレオ画像処理装置の構成を示すブロック図 フィルタ部の構成を示すブロック図 高精度フィルタ部の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図 画像マッチング部の処理の説明に供する図 サブピクセル単位演算処理の詳細を示すフロー図 サブピクセル単位演算処理の概念の説明に供する図 サブピクセル単位演算処理の概念の説明に供する図 窓シフト部の処理の概念の説明に供する図 窓シフト部の処理の概念の説明に供する図 本発明の実施の形態２に係るステレオ画像処理装置の構成を示すブロック図 ステレオ画像処理装置の動作説明に供するフロー図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。なお、以下、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。

［実施の形態１］
［ステレオ画像処理装置１００の構成］
図１は、本発明の実施の形態１に係るステレオ画像処理装置１００の構成を示す。図１において、ステレオ画像処理装置１００は、ステレオ画像取得部１０１と、画像マッチング部１０２と、フィルタ部１０３と、ピーク位置検出部１０４，１０６と、高精度フィルタ部１０５とを有する。

ステレオ画像取得部１０１は、２つ以上の撮像系（つまり、カメラ）で撮影されたステレオ画像を取得する。ステレオ画像には、２つの異なる撮像系によって同一対象物が撮影された基準画像及び参照画像が含まれる。そして、ステレオ画像取得部１０１は、取得したステレオ画像を、画像マッチング部１０２、フィルタ部１０３、および高精度フィルタ部１０５へ出力する。なお、本実施の形態において、ステレオ画像取得部１０１は、基線長方向が水平方向にほぼ一致する２つのカメラにより撮影されたステレオ画像を取得するものとする。

画像マッチング部１０２は、基準画像の基準点に対する参照画像のピクセルレベルの対応点を取得する。具体的には、画像マッチング部１０２は、ステレオ画像取得部１０１において取得された基準画像及び参照画像に対して画像マッチング処理を行うことにより、基準画像の基準点に対する参照画像のピクセルレベルの対応点を取得する。そして、画像マッチング部１０２は、基準画像と参照画像との「ピクセルレベルのズレ量ｎ」を算出する。一方、後述するピーク位置検出部１０４及びピーク位置検出部１０６によって得られる、基準画像と参照画像との「視差」の単位は、サブピクセルである。すなわち、画像マッチング部１０２では、基準画像と参照画像とのズレが「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４及びピーク位置検出部１０６によって、基準画像と参照画像とのズレが「サブピクセル単位」で細かく検出される。

具体的には、画像マッチング部１０２は、基準画像に含まれる所定の１ピクセルを「基準点」とし、基準点を中心とした周辺の部分画像（以下、「単位基準画像」という）を基準画像から切り出す。また、画像マッチング部１０２は、単位基準画像と同一サイズである部分画像（以下、「単位参照画像」という）を参照画像から複数切り出す。複数の単位参照画像は、参照画像において、異なる位置から切り出される。単位基準画像と基準参照画像の切り出しには、例えば、所定サイズの矩形窓（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。なお、この矩形窓を規定する窓関数を以下、「ピクセル単位推定用窓関数」という。

ステレオカメラの場合、基準画像と参照画像との視差はカメラの基線長方向にしか発生しない。したがって、画像マッチング部１０２は、基線長方向に切出し位置を変更して、複数の単位参照画像を切り出せばよい。そして、基準画像における基準点の位置と、参照画像における対応点の位置とのズレ量が、上記したピクセル単位のズレ量ｎとして算出される。

画像マッチング部１０２は、切り出された複数の単位参照画像の中で、単位基準画像とのマッチング度が最も大きい単位参照画像を特定する。特定された単位参照画像における「基準点」に対応する１ピクセルが、参照画像における、「ピクセルレベルの対応点」になる。マッチング度を表す指標としては、例えば、輝度相違度を意味するＳＡＤ（Sum of Absolute Differences）値が用いられる。

フィルタ部１０３は、画像マッチング部１０２からの基準点及びズレ量ｎ、並びに、ステレオ画像取得部１０１からのステレオ画像を入力とする。

そして、フィルタ部１０３は、基準画像および基準点の位置に基づいて逆位相フィルタ係数を算出し、算出された逆位相フィルタ係数を用いて、参照画像のピクセルレベルの対応点周辺に対するフィルタリング処理を行う。

図２は、フィルタ部１０３の構成を示す。図２において、フィルタ部１０３は、画像切り出し部４０２とフィルタリング部４０３とを有する。

画像切り出し部４０２は、ステレオ画像の基線長方向に、基準画像から部分画像をサブピクセル推定用単位基準画像として切り出す。サブピクセル推定用単位基準画像の切り出しには、サブピクセル単位推定用窓関数が用いられる。サブピクセル単位推定用窓関数としては、例えば、ハニング窓の窓関数を用いることができる。また、画像切り出し部４０２は、サブピクセル単位推定用窓関数を用いて、参照画像から、サブピクセル推定用単位基準画像と同一サイズの部分画像を、サブピクセル推定用単位参照画像として切り出す。

そして、画像切り出し部４０２は、サブピクセル推定用単位基準画像およびサブピクセル推定用単位参照画像を、フィルタリング部４０３へ出力する。

なお、本実施の形態において、画像切り出し部４０２は、サブピクセル推定用単位基準画像に基準点が含まれるように、基準画像における画像の切り出し位置を決定するものとする。また、画像切り出し部４０２は、サブピクセル推定用単位参照画像にピクセルレベルの対応点が含まれるように、画像の切り出し位置を決定するものとする。

フィルタリング部４０３は、画像切り出し部４０２によって切り出されたサブピクセル推定用単位基準画像の各画素値の位置を、前後方向において反転させて得られる、逆位相フィルタ係数を算出する。そして、フィルタリング部４０３は、算出した逆位相フィルタ係数を用いて、サブピクセル推定用単位参照画像に対するフィルタリング処理を行う。そして、フィルタ生成部４０３は、フィルタリング処理の結果（以下、「フィルタリング結果」という）をピーク位置検出部１０４へ出力する。

ピーク位置検出部１０４は、フィルタ部１０３から受け取るフィルタリング結果において、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像との相関度が最も高くなる相対位置関係を取得する。そして、ピーク位置検出部１０４は、取得した相対位置関係に基づいて、サブピクセル推定用単位基準画像と、基準点に対するサブピクセル推定用単位参照画像におけるサブピクセルレベルの対応点との視差（ズレ量）を算出する。

高精度フィルタ部１０５は、画像マッチング部１０２からの基準点及びズレ量ｎ、ステレオ画像取得部１０１からのステレオ画像、並びに、ピーク位置検出部１０４からのサブピクセル単位のズレ量を入力とする。

そして、高精度フィルタ部１０５は、フィルタ部１０３と同様に、サブピクセル推定用単位基準画像に基づいて逆位相フィルタ係数を算出し、算出された逆位相フィルタ係数を用いてサブピクセル推定用単位参照画像をフィルタリングする。すなわち、高精度フィルタ部１０５は、フィルタ部１０３と同様に、まず、基準画像からサブピクセル推定用単位基準画像を切り出し、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。すなわち、基準画像から抽出されたサブピクセル推定用単位基準画像に基づいて、逆位相フィルタ係数が算出される。

ただし、次に、高精度フィルタ部１０５は、フィルタ部１０３と異なり、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４から入力されたサブピクセル単位のズレ量分シフトすることにより、高精度フィルタ部１０５においてサブピクセル推定用単位参照画像の切り出しに用いられるサブピクセル単位推定用シフト窓関数を形成する。そして、サブピクセル単位推定用シフト窓関数を用いて、高精度フィルタ部１０５は、参照画像からサブピクセル推定用単位参照画像を切り出し、算出した逆位相フィルタ係数を用いて、サブピクセル推定用単位参照画像に対してフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０６へ出力する。

図３は、高精度フィルタ部１０５の構成を示す。図３において、高精度フィルタ部１０５は、窓関数シフト部４１１と、画像切り出し部４１２と、フィルタリング部４１３とを有する。

窓関数シフト部４１１は、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４において算出されたサブピクセル単位のズレ量分シフトすることにより、高精度フィルタ部１０５においてサブピクセル推定用単位参照画像の切り出しに用いられるサブピクセル単位推定用シフト窓関数を形成する。

画像切り出し部４１２は、基準点を含むサブピクセル推定用単位基準画像を基準画像から切り出す。また、画像切り出し部４１２は、窓関数シフト部４１１において形成されたサブピクセル単位推定用シフト窓関数を用いて、対応点（つまり参照画像において基準点と同じ座標からズレ量ｎだけずれた点）を含むサブピクセル推定用単位参照画像を参照画像から切り出す。すなわち、画像切り出し部４１２は、基本的に、画像切り出し部４０２と同じ機能を有する。

フィルタリング部４１３は、画像切り出し部４１２において切り出されたサブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。そして、フィルタリング部４１３は、サブピクセル推定用単位参照画像に対して、算出した逆位相フィルタ係数を用いてフィルタリング処理を行い、フィルタリング結果をピーク位置検出部１０６へ出力する。すなわち、フィルタリング部４１３は、基本的に、フィルタリング部４０３と同じ機能を有する。

図１に戻り、ピーク位置検出部１０６は、高精度フィルタ部１０５から受け取るフィルタリング結果におけるピークの位置を検出することにより、基準画像と参照画像とのサブピクセル単位のズレ量を算出する。ここで、ピークとは、フィルタリング結果が最大値となる位置である。

［ステレオ画像処理装置１００の動作］
以上の構成を有するステレオ画像処理装置１００の動作について説明する。

なお、以下では、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるものとして説明する。また、説明の便宜のため、エピポーラ線の方向（基線長方向）は、画像全体において、Ｘ軸に平行であるものとする。

図４は、ステレオ画像処理装置１００の動作説明に供するフロー図である。なお、以下では、基準画像におけるある１つの基準点についての処理を説明するが、ステレオ画像処理装置１００は、基準画像の全体で基準点を順次移動させ、以下のステップＳ１〜Ｓ９の動作を、測距対象領域内の全ての画素について行う。

＜分析基準位置決定処理＞
ステップＳ１で、画像マッチング部１０２は、測距対象領域において分析の対象となる基準点の位置（以下、「分析基準位置」という）を決定する。

＜単位基準画像の切り出し処理＞
ステップＳ２で、画像マッチング部１０２は、ステレオ画像取得部１０１から受け取る基準画像から、単位基準画像を切り出す。単位基準画像は、ステップＳ１において決定された分析基準位置（つまり、基準点）を基準とした部分領域の画像（画像領域）である。単位基準画像の大きさの単位はピクセルである。つまり、単位基準画像は、複数のピクセル行（画素行）×複数のピクセル列（画素列）の画像である。

＜サーチ範囲及びサーチ開始位置の決定処理＞
ステップＳ３で、画像マッチング部１０２は、ステップＳ１で決定された分析基準位置に基づいて、参照画像におけるサーチ範囲及びサーチ開始位置を決定する。ステレオ画像の視差は、カメラ間の距離である基線長とレンズの焦点距離と、ステレオカメラから対象物までの距離とから、決定される。よって、画像マッチング部１０２は、ステレオカメラから測距しようとする対象物までの距離に基づいてサーチ範囲を決定すればよい。また、ステレオカメラから無限遠にある対象物は基準画像と参照画像の同じ位置に撮像されるため、画像マッチング部１０２は、基準画像における基準点と同じ座標を、参照画像におけるサーチ開始位置として設定すればよい。

＜単位参照画像の切り出し処理＞
ステップＳ４で、画像マッチング部１０２は、切り出し基準位置を決定し、単位基準画像と同一サイズの単位参照画像を参照画像から切り出す。画像マッチング部１０２は、ステップＳ３で決定されたサーチ開始位置を、例えば最初の切り出し基準位置に決定し、以降、切り出し基準位置を移動させていく。

＜マッチング度の算出処理＞
ステップＳ５で、画像マッチング部１０２は、単位基準画像と、単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値又は輝度類似度が用いられる。

＜サーチ範囲の終了判定処理＞
ステップＳ６で、画像マッチング部１０２は、サーチ範囲に対する処理の終了判定処理を行う。すなわち、画像マッチング部１０２は、切り出し基準位置の移動によりサーチ範囲を網羅したか否かを判定する。ここでサーチ範囲が終了していないと判定される場合（ステップＳ６：Ｎｏ）には、画像マッチング部１０２は、ステップＳ４へ戻る。この結果、画像マッチング部１０２は、ステップＳ４での単位参照画像の切り出し領域がずれるように、サーチ範囲内において切り出し基準位置を移動させる。このようにして、ステップＳ４〜Ｓ６までの処理は、サーチ範囲が終了するまで（ステップＳ６：Ｙｅｓ）繰り返される。

＜マッチング度の最大位置＞
ステップＳ７で、画像マッチング部１０２は、ステップＳ４〜Ｓ６までの処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像の位置を特定する。マッチング度として輝度相違度が用いられている場合には、画像マッチング部１０２は、輝度相違度が極小ないし最小となる単位参照画像を検出する。

ここで、ステップＳ２〜ステップＳ７の処理を、図５を参照して具体的に説明する。

図５に示すように、画像マッチング部１０２は、上述のステップＳ２において、分析基準位置（基準点）（ｘａ，ｙａ）を中心とした周辺の部分画像を、単位基準画像として切り出す。この単位基準画像の切り出しには、ピクセル単位推定用窓関数で規定される、所定サイズ（縦サイズ：ｗｖピクセル、横サイズ：ｗｈピクセル）の矩形窓が用いられる。また、ここでは、ピクセル単位推定用窓関数によって規定される矩形窓の中心と分析基準位置とを一致させるものとして説明を行うが、厳密に中心でなくても良く、矩形窓の中心付近に分析基準位置が存在していれば良い。

次に、画像マッチング部１０２は、上述のステップＳ３において、ステップＳ１において決定された分析基準位置に基づいて、参照画像におけるサーチ範囲およびサーチ開始位置を決定する。サーチ開始位置（参照画像において単位参照画像を切り出す初期座標）は、例えば、基準画像における分析基準位置と同じ座標（ｘａ，ｙａ）が用いられる。次に、画像マッチング部１０２は、図５に示すように、切り出し基準位置を順次ずらしながら、ステップＳ４において、サーチ開始位置を中心とした周辺の部分画像を参照画像から単位参照画像として切り出す。切り出し基準位置は、ここでは１ピクセルずつずらされる。この単位参照画像の切り出しには、単位基準画像の切り出しに用いられる矩形窓と同じ矩形窓が用いられる。つまり、単位基準画像と単位参照画像の切り出しには、同じピクセル単位推定用窓関数で規定される矩形窓が用いられる。

そして、画像マッチング部１０２は、上述のステップＳ５において、単位基準画像と各単位参照画像とのマッチング度を算出する。このマッチング度には、例えば、輝度相違度を示すＳＡＤ値が用いられる。このＳＡＤ値は、次の式（１）によって算出される。

そして、図５に示すように、画像マッチング部１０２は、上述のステップＳ６において、サーチ範囲が終了していないと判定される場合には、切り出す位置をずらしてステップＳ４に戻り、新たな単位参照画像を参照画像から切り出す。切り出す位置は、ここでは１ピクセルずつずらされる。また、ずらす方向は、図５における参照画像の座標（ｘａ，ｙａ）から伸びる右矢印の方向である。

このようにして、画像マッチング部１０２は、１つの単位基準画像に対して、複数の単位参照画像それぞれのＳＡＤ値を算出する。そして、画像マッチング部１０２は、ステップＳ７で、ステップＳ５の処理によって得られた複数のマッチング度に基づいて、マッチング度が最大となる単位参照画像を特定する。具体的には、画像マッチング部１０２は、複数のＳＡＤ値の内で、例えば最小のＳＡＤ値に対応する単位参照画像を特定する。この特定された単位参照画像の切り出し基準位置の座標を（ｘａ＋ｎ、ｙａ）とすると、ｎは、ピクセル単位のズレ量となる。そして、画像マッチング部１０２は、ＳＡＤ値が最小となる切り出し基準位置を、分析基準位置（基準点）のピクセルレベルの対応点とする。なお、ここでは、マッチング度の指標としてＳＡＤ値を用いたが、本発明はこれに限定されるものではなく、マッチング度の指標として用いることができるものであれば代用することができる。例えば、画像マッチング部１０２は、マッチング度の指標として、ＳＳＤ（Sum of Squared Differences）を用いても良い。

以上で、ステップＳ２〜Ｓ７の処理についての具体的な説明を終える。

＜サブピクセル単位演算処理＞
図４のステップＳ８で、フィルタ部１０３及びピーク位置検出部１０４は、ステップＳ７で得られたピクセルレベルの対応点と、ステレオ画像取得部１０１から受け取る基準画像及び参照画像に基づいて、サブピクセル単位演算処理を行う。

図６は、サブピクセル単位演算処理の詳細を示すフロー図である。図７は、サブピクセル単位演算処理の概念の説明に供する図である。

（サブピクセル推定用単位基準画像の切り出し処理）
ステップＳ１２で、画像切り出し部４０２は、単位基準画像からサブピクセル推定用単位基準画像を切り出す。サブピクセル推定用単位基準画像の大きさの単位は、ピクセルである。サブピクセル推定用単位基準画像を切り出す位置は、基準点の位置から、向きはエピポーラ線に沿って平行な、Ｘ軸方向の向きとする。

また、サブピクセル推定用単位基準画像の切り出しには、サブピクセル単位推定用窓関数が用いられる。サブピクセル単位推定用窓関数として、例えば、式（２）で表されるハニング窓の窓関数ｗ（ｍ）が用いられる。

なお、ここでは、サブピクセル単位推定用窓関数としてハニング窓の窓関数が用いられる場合について説明するが、本発明はこれに限定されるものではなく、窓関数として、ハミング窓、ブラックマン窓、カイザー窓などを用いても良い。これらの窓関数は、サブピクセル推定用単位基準画像の特性（例えば、周波数パワー特性、位相特性、切り出し端連続性）の内、どの特性を重要視するかに応じて選択される。例えば、位相特性を重要視する場合には、カイザー窓が適している。ただし、カイザー窓を用いると、演算がかなり複雑となる。一方、演算量削減の観点からは、ハニング窓が適している。

ここで、サブピクセル単位で視差を推定するための画像切り出し処理では、切り出された画像にノイズが含まれないことが重要である。これは、サブピクセル単位のズレ量を正確に求めるためである。一方、画像マッチング部１０２における画像切り出し処理はピクセル単位で行われるため、精度よりも演算回数を削減することに重きが置かれる。このため、画像マッチング部１０２で用いられるピクセル単位推定用窓関数には、単に画像データを切り出すだけの窓関数が用いられる。これに対して、サブピクセル推定用単位基準画像の切り出し処理で用いられるサブピクセル単位推定用窓関数は、ノイズが少ないことが重要視されるため、ピクセル単位推定用窓関数に比べて、窓の両端における変化が連続的である関数（つまり、１周期の最初及び最後の値がゼロである関数）であることが好ましい。

このようなサブピクセル単位推定用窓関数を用いることにより、サブピクセル推定用単位基準画像信号の連続性が保たれ、後述する逆位相フィルタの特性に含まれる、切り出しによるノイズ成分を低減することができる。なお、ピクセル単位推定用窓関数とサブピクセル単位推定用窓関数とを周波数特性について比較すると、ピクセル単位推定用窓関数の方が、サブピクセル単位推定用窓関数よりも、メインローブ（ｍａｉｎ−ｌｏｂｅ）の幅が狭く、サイドローブ（ｓｉｄｅ−ｌｏｂｅ）の振幅が大きい。

図７において、サブピクセル単位推定用窓関数ｗ（ｍ）は、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、サブピクセル単位推定用窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。

（サブピクセル推定用単位参照画像の切り出し処理）
ステップＳ１３で、画像切り出し部４０２は、ステップＳ７で検出された、単位基準画像とのマッチング度が最大となる単位参照画像から、サブピクセル推定用単位参照画像を切り出す。サブピクセル推定用単位参照画像の切り出し処理にも、サブピクセル推定用単位基準画像の場合と同じサブピクセル単位推定用窓関数が用いられる。ただし、サブピクセル単位推定用窓関数は、対応点（ｘａ＋ｎ、ｙａ）に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。図７において、ｇ’（ｍ）は、サブピクセル推定用単位参照画像の輝度値を表している。

なお、以上の説明では、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持つサブピクセル単位推定用窓関数ｗ（ｍ）が用いられているが、このサイズは一例であり、これに限定されるものではない。例えば、縦サイズを３ピクセルとする場合には、１ピクセル毎に上記した処理を行い、得られた結果を平均しても良い。更に、例えば、縦サイズが複数のピクセルを含む場合、縦１ピクセルずつに上述した処理を行い、縦サイズに含まれる複数のピクセルごとの結果を重み付けして平均化しても良い。この場合に用いられる重み付け係数は、２次元ＰＯＣのように、窓関数によって決定されても良い。画像切り出し部４０２は、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像の縦サイズが２ピクセル以上である場合には、上記したような平均化などを行い、サブピクセル推定用単位基準画像とサブピクセル推定用単位参照画像それぞれを１次元のデータ列に変換する。

（逆位相フィルタ係数算出処理）
ステップＳ１４で、フィルタリング部４０３は、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。具体的には、フィルタ部１０３は、サブピクセル推定用単位基準画像の構成データ列の各画素の位置を反転させる形で、データ列を逆の順番に並べ換える。

（フィルタリング処理）
ステップＳ１５で、フィルタリング部４０３は、サブピクセル推定用単位参照画像をステップＳ１４で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０４へ出力する。

なお、実空間において同一サイズの対象物の視差を求める場合、対象物がステレオカメラから遠くに存在する場合は近くに存在する場合よりも視差は小さく、ピクセル単位のズレ量ｎも小さくなる。またそれと同時に、当該対象物の基線長方向の画像領域サイズも小さくなる。

したがって、逆位相フィルタのタップ長は、画像マッチング部１０２で検出されたピクセル単位のズレ量ｎの大きさに応じて設定されることが望ましい。例えば、ピクセル単位のズレ量ｎが小さい場合には、それに応じて逆位相フィルタのタップ長も短く設定される。ステレオ画像処理装置１００は、ズレ量ｎに対して適応的にサブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像のサイズを変更することにより、逆位相フィルタのタップ長も適応的に変更することができる。これにより、対象物のサイズに応じた視差算出が可能となる。

また、フィルタリング結果は、線形推移不変システムの出力である。したがって、フィルタリング結果は、レンズの歪補正の誤差、ＣＣＤなどのイメージセンサに起因するゲインノイズ等の誤差、窓掛けによる画像切り出しの演算精度の誤差を除けば、理論的には真のずれ量を表現していることになる。よって、ピクセル単位で離散化されている逆位相フィルタの出力をサンプリング定理に従ってピクセル間の数値を補間することにより、サブピクセル単位での真のピーク位置を求めることができる。

（ピーク位置（サブピクセル単位のずれ）検出）
ステップＳ１６で、ピーク位置検出部１０４は、フィルタリング結果に基づいてピーク位置を検出し、基準画像と参照画像とのサブピクセル単位のズレ量（つまり、ピーク位置のＸ軸方向の変位）を算出する。そして、ピーク位置検出部１０４は、その算出結果を高精度フィルタ部１０５へ出力する。

（窓関数シフト）
ステップＳ１７で、窓関数シフト部４１１は、フィルタ部１０３においてサブピクセル推定用単位参照画像の切り出しに用いたサブピクセル単位推定用窓関数を、ピーク位置検出部１０４において算出された、基準画像と参照画像とのサブピクセル単位のズレ量分、シフトすることにより、サブピクセル単位推定用シフト窓関数を形成する。サブピクセル単位推定用シフト窓関数は、画像切り出し部４１２においてサブピクセル推定用単位参照画像の切り出しに用いられる。窓関数シフト部４１１は、サブピクセル単位推定用シフト窓関数を画像切り出し部４１２へ出力する。これにより、サブピクセル単位推定用シフト窓関数が画像切り出し部４１２に設定される。

（サブピクセル推定用単位基準画像の切り出し処理）
ステップＳ１８で、画像切り出し部４１２は、サブピクセル単位推定用窓関数を用いて、単位基準画像からサブピクセル推定用単位基準画像を切り出す。ステップＳ１８での切り出し処理は、ステップＳ１２での処理と同様である。

（サブピクセル推定用単位参照画像の切り出し処理）
ステップＳ１９で、画像切り出し部４１２は、サブピクセル単位推定用シフト窓関数を用いて、ステップＳ７で特定されたマッチング度が最大となる単位参照画像の位置を基準とするサブピクセル推定用単位参照画像を切り出す。ステップＳ１９での切り出し処理は、ステップＳ１３での処理と基本的には同じであるが、サブピクセル推定用単位参照画像を切り出す際に用いられる窓関数が異なる。すなわち、両ステップで用いられる窓関数（つまり、サブピクセル単位推定用窓関数とサブピクセル単位推定用シフト窓関数）は、ステップＳ１６にて検出されたズレ量に対応する間隔だけずれている。

（逆位相フィルタ係数算出処理）
ステップＳ２０で、フィルタリング部４１３は、サブピクセル推定用単位基準画像から逆位相フィルタ係数を算出する。ステップＳ２０での算出処理は、ステップＳ１４での処理と同じである。

（フィルタリング処理）
ステップＳ２１で、フィルタリング部４１３は、サブピクセル推定用単位参照画像をステップＳ２０で算出された逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果をピーク位置検出部１０６へ出力する。

（ピーク位置（サブピクセル単位のずれ）検出）
ステップＳ２２で、ピーク位置検出部１０６は、フィルタリング結果に基づいてピーク位置を検出し、基準画像と参照画像とのサブピクセル単位のズレ量（つまり、ピーク位置のＸ軸方向の変位）を算出する。

ここで、高精度フィルタ部１０５における処理の概念について説明する。

図８は、高精度フィルタ部の処理の概念の説明に供する図である。図８において、基準画像に対するサブピクセル単位推定用窓関数ｗ（ｍ）としては、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持つハニング窓が用いられている。そして、ｍは、Ｊ以上Ｋ以下の整数である。そして、サブピクセル単位推定用窓関数ｗ（ｍ）は、基準点（ｘａ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位基準画像として、基準点（ｘａ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。また、ｆ’（ｍ）は、サブピクセル推定用単位基準画像の輝度値を表している。

一方、参照画像に対するサブピクセル単位推定用シフト窓関数ｗ（ｍ）としては、縦軸が１ピクセルで、横軸が“Ｋ−Ｊ”ピクセルのサイズを持ち、且つ、サブピクセル単位推定用窓関数ｗ（ｍ）がピーク位置検出部１０４において算出されたサブピクセル単位のズレ量分シフトされた、ハニング窓が用いられている。そして、サブピクセル単位推定用シフト窓関数ｗ（ｍ）は、対応点（ｘａ＋ｎ，ｙａ）を中心に設定される。これにより、サブピクセル推定用単位参照画像として、対応点（ｘａ＋ｎ，ｙａ）を中心に、縦軸サイズが１ピクセルであり横軸サイズが“Ｋ−Ｊ”ピクセルである画像が切り出される。

図９は、窓関数シフト部４１１の処理の概念の説明に供する図である。図９（ａ）は、切り出される範囲（例えば、１５ピクセル）における基準画像の輝度信号と、切り出される範囲における参照画像の輝度信号とを示す。すなわち、図９（ａ）には、１５ピクセル分の基準画像及び参照画像それぞれの、各ピクセルにおける輝度値がプロットされている。図９（ｂ）は、フィルタ部１０３における、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像の切り出しのためのサブピクセル単位推定用窓関数を示す。

図９（ｃ）は、図９（ａ）において示された基準画像及び参照画像に、図９（ｂ）において示されたサブピクセル単位推定用窓関数を掛け合わせた結果を示す。すなわち、図９（ｃ）は、サブピクセル単位推定用窓関数を掛けたことで端点での不連続性の影響が低減された輝度信号を示す。図９（ｄ）は、高精度フィルタ部１０５における、サブピクセル推定用基準画像切り出しのためのサブピクセル単位推定用窓関数とサブピクセル推定用参照画像切り出しのためのサブピクセル単位推定用シフト窓関数を示す。ここで、サブピクセル単位推定用窓関数とサブピクセル単位推定用シフト窓関数とのズレ量（つまり、サブピクセル単位推定用シフト窓関数に与えられているシフト量）は、図９（ｃ）における、基準画像に対してサブピクセル単位推定用窓関数が掛け合わされた結果（画像切り出し部４０２が出力するサブピクセル推定用基準画像）と、参照画像に対してサブピクセル単位推定用窓関数が掛け合わされた結果（画像切り出し部４０２が出力するサブピクセル推定用参照画像）との間の位相差に対応する。

図９（ｅ）は、図９（ａ）において示された基準画像及び参照画像に、サブピクセル単位推定用窓関数及びサブピクセル単位推定用シフト窓関数をそれぞれ掛け合わせた結果（画像切り出し部４０２が出力するサブピクセル推定用基準画像と、画像切り出し部４１２が出力するサブピクセル推定用基準画像）を示す。

図１０は、窓関数シフト部４１１の処理による効果の説明に供する図である。図１０において、横軸は、窓関数として用いられるsin関数の周期を表し、縦軸は、視差の真値と、算出された基準画像と参照画像とのサブピクセル単位のズレ量との差分値を表す。

図１０においてプロットされた「◆」によって形成される曲線１００１は、図９（ｃ）に示された、サブピクセル単位推定用窓関数を掛け合わせることによって基準画像から切り出された、サブピクセル推定用単位基準画像の画素データ列と、サブピクセル単位推定用窓関数を掛け合わせることによって参照画像から切り出された、サブピクセル推定用単位参照画像の画素データ列とに基づいて行われたピーク位置検出の結果を示す。

一方、図１０においてプロットされた「▲」によって形成される曲線１００２は、図９（ｅ）に示された、サブピクセル単位推定用窓関数を掛け合わせることによって基準画像から切り出された、サブピクセル推定用単位基準画像の画素データ列と、サブピクセル単位推定用シフト窓関数を掛け合わせることによって参照画像から切り出された、サブピクセル推定用単位参照画像の画素データ列とに基づいて行われたピーク位置検出の結果を示す。

図１０の曲線１００１と曲線１００２からわかるように、サブピクセル単位推定用窓関数をシフトしない場合には、算出されるサブピクセル単位のズレ量と真値との差分値（誤差）が大きくなるのに対して、サブピクセル単位推定用窓関数をシフトする場合には、算出されるサブピクセル単位のズレ量と真値との差分値（誤差）がほぼ０に近くなっている。すなわち、サブピクセル単位推定用窓関数のシフトによって、算出されるサブピクセル単位のズレ量の精度を改善することができる。

このようにサブピクセル単位推定用窓関数をシフトしない場合とサブピクセル単位推定用窓関数をシフトする場合とで、真値との誤差に差が生じる理由は、次の通りである。

図９（ａ）で示す基準画像と参照画像は、画像マッチング部１０２において算出された「ズレ量ｎ」に基づいて参照される画像データ列である。画像マッチング部１０２において算出された「ズレ量ｎ」と真値との間には、最大０．５ピクセル、最小０ピクセルの誤差が存在する。誤差が最大となる場合（すなわち、誤差が０．５ピクセルの場合）に、基準画像及び参照画像の両方に対し、図９（ｂ）で示すような同じサブピクセル単位推定用窓関数が用いられると（つまり、基準画像に対して用いられる窓関数と参照画像に対して用いられる窓関数との間のシフト間隔をゼロとすると）、真値との差である０．５ピクセルよりも、基準画像及び参照画像の両方に対して用いられる窓関数の位相差が０ピクセルであることによる影響を大きく受けたサブピクセル単位のズレが算出されてしまう。このため、図１０に示すように、算出されるサブピクセル単位のズレと真値との間に差分値（誤差）が発生する。

一方、「ズレ量ｎ」と真値との間の誤差に対応するシフト間隔が与えられた、サブピクセル単位推定用窓関数及びサブピクセル単位推定用シフト窓関数のペア（図９（ｄ）参照）を用いる場合には、「ズレ量ｎ」と真値との間の誤差に応じた画像切り出しを行うことができる。このように切り出された画像データを用いて算出されたサブピクセル単位のズレはより真値に近い値となり、図１０に示すように真値との差分値（誤差）を大幅に削減することができる。

なお、サブピクセル単位推定用窓関数をシフトすることによる、視差算出精度の改善効果は、ピクセル単位の「ズレ量ｎ」と真値との誤差が大きい程大きくなる。また、ピクセル単位の「ズレ量ｎ」と真値との誤差は、カメラの基線長（ステレオカメラ間の距離）、レンズの焦点距離、及び、カメラと対象物との間の距離に依存する。

また、窓関数シフト部４１１は、サブピクセル単位推定用窓関数をシフトした後、サブピクセル単位推定用シフト窓関数の係数を正規化しても良い。係数の正規化により、さらに視差算出の高精度化を図ることができる。係数を正規化されたサブピクセル単位推定用シフト窓関数は、例えば、次の式によって表される。

また、図６における、ステップＳ１８及びステップＳ２０の処理は、ステップＳ１２及びステップＳ１４と重複するので、省かれても良い。この場合には、ステップＳ１２及びステップＳ１４によって得られた逆位相フィルタをメモリ（図示せず）に保存しておき、ステップＳ２１では、この保存された逆位相フィルタが用いられても良い。このようにすることで、演算量を削減することができる。

＜測距対象領域の終了判定処理＞
ステップＳ９では、測距対象領域の終了判定処理が行われ、未だステップＳ１〜ステップＳ８までの処理が行われていない未処理領域が存在する場合には、その未処理領域についてステップＳ１〜ステップＳ８までの処理が行われる。

以上のように本実施の形態によれば、ステレオ画像処理装置１００において、画像切り出し部４０２が基準画像及び参照画像からサブピクセル単位推定用窓関数を用いて、サブピクセル推定用単位基準画像及びサブピクセル推定用単位参照画像を切り出し、フィルタリング部４０３が、画像切り出し部４０２によって切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、サブピクセル推定用単位参照画像の輝度値からなるデータ列に対して逆位相フィルタ係数を用いてフィルタリングし、ピーク位置検出部１０４が、フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、サブピクセル単位のズレ量を算出する。

そして、窓関数シフト部４１１が、ピーク位置検出部１０４によって算出されたサブピクセル単位のズレ量に基づいて、サブピクセル単位推定用窓関数をシフトすることによりサブピクセル単位推定用シフト窓関数を形成し画像切り出し部４１２に設定する。

そして、画像切り出し部４１２が、サブピクセル単位推定用窓関数を用いて、サブピクセル推定用単位基準画像を基準画像から切り出し、窓関数シフト部４１１によって設定されたサブピクセル単位推定用シフト窓関数を用いて、参照画像からサブピクセル推定用単位参照画像を切り出し、フィルタリング部４１３が、画像切り出し部４１２によって切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより逆位相フィルタ係数を算出し、サブピクセル推定用単位参照画像の輝度値からなるデータ列に対して逆位相フィルタ係数を用いてフィルタリングし、ピーク位置検出部１０６が、フィルタリング手段のフィルタリング結果におけるピーク位置に基づいて、サブピクセル単位のズレ量を算出する。

こうすることで、「ズレ量ｎ」と真値との間の誤差に応じた画像切り出しを行うことができる。このように切り出された画像データを用いて算出されたサブピクセル単位のズレはより真値に近い値となり、結果として、視差算出精度を向上させることができる。

［実施の形態２］
実施の形態２では、高精度フィルタ処理の前に、当該高精度フィルタ処理を実行するか否かの判定を行い、当該判定結果に応じて、高精度フィルタ処理を実行する。

［ステレオ画像処理装置９００の構成］
図１１は、本発明の実施の形態２に係るステレオ画像処理装置９００の構成を示す。図１１において、ステレオ画像処理装置９００は、高精度フィルタ実行判定部９０１と、出力部９０２とを有する。

高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に応じて、高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させるか否かを判定する。ピーク位置検出部１０４にて算出されたサブピクセル単位のズレ量は、ゼロから最大値までの間のいずれかの値をとる。そして、ゼロから基準値までの範囲が、「不実行領域」とされ、基準値から最大値までの範囲が、「実行領域」とされる。ここで、基準値は運用時に処理時間と要求される視差の精度とのトレードオフで決定すればよい。例えば、視差についてはそれほど高い精度が要求されないが、処理時間を短くしたいという場合には、基準値を高めの値とすればよい。

高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出されたサブピクセル単位のズレ量の値が「不実行領域」及び「実行領域」のいずれに属しているかを判定する。そして、「不実行領域」に属していると判定される場合には、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４から出力されたサブピクセル単位のズレ量を、出力部９０２へ出力する。一方、「実行領域」に属していると判定される場合には、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４から出力されたサブピクセル単位のズレ量を、高精度フィルタ部１０５へ出力する。

出力部９０２は、高精度フィルタ実行判定部９０１又はピーク位置検出部１０６から出力されたサブピクセル単位のズレ量を出力する。

［ステレオ画像処理装置９００の動作］
図１２は、実施の形態２に係るサブピクセル単位演算処理の詳細を示すフロー図である。図６に示されるフロー図と比べて、図１２に示されるフロー図では、高精度フィルタ実行判定のステップＳ３１が設けられている。

ステップＳ３１では、高精度フィルタ実行判定部９０１は、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に応じて、高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させるか否かを判定する。

実行すると判定される場合（ステップＳ３１：Ｙｅｓ）には、ステップＳ１７〜ステップＳ２２の処理が実行される。

一方、実行しないと判定される場合（ステップＳ３１：Ｎｏ）には、図１２に示されるフローが終了する。

ここで、上述のように、サブピクセル単位推定用窓関数をシフトすることによる、視差算出精度の改善効果は、ピクセル単位の「ズレ量ｎ」と真値との誤差が大きい程大きくなる。従って、高精度フィルタ実行判定部９０１が、ピーク位置検出部１０４にて算出された、サブピクセル単位のズレ量に基づく判定により、視差算出精度の改善効果が大きい場合にのみ高精度フィルタ部１０５及びピーク位置検出部１０６の処理を実行させることができる。これにより、視差算出精度の改善効果が小さい場合には、高精度フィルタ部１０５及びピーク位置検出部１０６を省くことができるので、演算量を削減することができる。

［他の実施の形態］
（１）上記各実施の形態では、画像切り出し部４０２と画像切り出し部４１２、フィルタリング部４０３とフィルタリング部４１３、及びピーク位置検出部１０４とピーク位置検出部１０６を、別個の機能部として説明を行った。しかしながら、本発明はこれに限定されるものではなく、画像切り出し部４０２と画像切り出し４１２とを単一の機能部、フィルタリング部４０３とフィルタリング部４１３とを単一の機能部、ピーク位置検出部１０４とピーク位置検出部１０６とを単一の機能部としても良い。

（２）上記各実施の形態では、ステップＳ１７、ステップＳ１９、ステップＳ２１及びステップＳ２２の処理は、１回に限らず、単純に複数回繰り返されても良いし、ステップＳ２２で検出されたサブピクセル単位のずれ量の値が基準値以下となるまで繰り返されても良い。これにより、さらに、視差検出精度を向上させることができる。この場合、２回目以降のステップＳ１７では、直前のステップＳ２２にて検出されたサブピクセル単位のずれ量分シフトされた窓関数がサブピクセル単位推定用シフト窓関数として用いられる。

（３）上記各実施の形態では、画像マッチング部１０２で基準画像と参照画像とのズレ量が「ピクセル単位」で粗く検出され、その後に、ピーク位置検出部１０４によってズレ量が「サブピクセル単位」で細かく検出される場合について説明を行った。すなわち、２段階でズレ量が算出される場合について説明を行った。しかしながら、本発明はこれに限定されるものではなく、「ピクセル単位」での検出を行わず、直接「サブピクセル単位」でズレ量を算出する場合にも適用可能である。

（４）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。

（５）上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１０年１２月２０日出願の特願２０１０−２８３６２２の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明のステレオ画像処理装置は、基線長方向の画像領域サイズが小さい対象物についても、高精度に視差を算出することができるものとして有用である。

１００，９００ ステレオ画像処理装置
１０１ ステレオ画像取得部
１０２ 画像マッチング部
１０３ フィルタ部
１０４，１０６ ピーク位置検出部
１０５ 高精度フィルタ部
４０２，４１２ 画像切り出し部
４０３，４１３ フィルタリング部
４１１ 窓関数シフト部
９０１ 高精度フィルタ実行判定部
９０２ 出力部

Claims (2)

1. 第１の窓関数を用いて、ステレオ画像のうち基準画像からサブピクセル推定用単位基準画像を切り出し、前記第１の窓関数を用いて、前記ステレオ画像のうち参照画像からサブピクセル推定用単位参照画像を切り出す切り出し手段と、
   前記第１の窓関数を用いて切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列のデータ順序を反転させることにより第１の逆位相フィルタ係数を算出し、前記第１の窓関数を用いて切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列に対して前記第１の逆位相フィルタ係数を用いてフィルタリングし、フィルタリング結果におけるピーク位置に基づいて、前記基準画像と前記参照画像とのサブピクセル単位の第１のズレ量を算出する算出手段と、
   前記第１のズレ量に基づいて前記第１の窓関数をシフトすることにより形成した第２の窓関数を、前記切り出し手段に設定する窓関数設定手段と、
   を具備し、
   前記切り出し手段は、前記第２の窓関数を用いて前記参照画像からサブピクセル推定用単位参照画像を切り出し、
   前記算出手段は、前記第１の窓関数を用いて切り出されたサブピクセル推定用単位基準画像の輝度値からなるデータ列から第２の逆位相フィルタ係数を算出し、前記第２の窓関数を用いて切り出されたサブピクセル推定用単位参照画像の輝度値からなるデータ列と、前記第２の逆位相フィルタ係数とに基づいて、サブピクセル単位の第２のズレ量を算出する、
   ステレオ画像処理装置。
2. 前記第１のズレ量に応じて、前記窓関数設定手段の処理を実行させるか否かを判定する判定手段、をさらに具備する請求項１に記載のステレオ画像処理装置。

Images