JP5845034B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行し、その信頼性を評価する画像処理装置に関する。

従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。

先行車両との車間距離は、例えば、異なる位置で撮像された一対の画像データにおける対象物の視差から求めることができる。また、一対の画像データにおける対象物の視差は、画像間のパターンマッチングに基づいて導出される。パターンマッチングとしては、画像間で所定の大きさのブロック同士を比較し（マッチングし）、相関性が高いブロックを特定するといったことが一般的に行われている。

また、このようなパターンマッチングにより一対の画像データそれぞれで特定されたブロックの相関値の変化等に基づいて、パターンマッチングの信頼性も評価することができる（例えば、特許文献３）。さらに、パターンマッチングの際、相関値に応じてパターンマッチングの対象となるブロックの大きさを再設定し、再設定された大きさのブロックについて評価を行う技術も知られている（例えば、特許文献４）。また、パターンマッチングの相関性の評価に用いられる閾値をデータ領域全体で固定とせず、その一部（サブ領域単位）毎に可変とすることで、サブ領域に生じるノイズを排除する技術も開示されている（例えば、特許文献５）。さらに、エッジ検出の領域と閾値とを適切に設定することで耐ノイズ性を有するエッジ検出を行う技術も知られている（例えば、特許文献６）。

特許第３３４９０６０号 特開平１０−２８３４６１号公報 特開２００７−２４９６８２号公報 特開２００７−１７２５００号公報 特開２００７−２４９６７８号公報 特許第４６１３１３９号

上述したパターンマッチングの信頼性を評価する方法として、例えば、パターンマッチングの対象となるブロックのテクスチャ（画像模様）度合いを判定する等、様々な方法を採用することができる。また、パターンマッチングおよび信頼性評価においては、特許文献４のように、一対の画像データ内において、相関値に応じてマッチングの対象となるブロックの大きさを異ならせ、その異なるブロックサイズ毎に視差および評価関数を通じた評価値を与える場合がある。しかし、このようにブロックサイズが異なる場合においてまで、一律にテクスチャ度合いを判定してしまうと、その相関関係が維持できず、正当な評価ができないという問題があった。

本発明は、このような課題に鑑み、パターンマッチングの対象となるブロックサイズが異なる場合においても、その信頼性を正当に評価可能な画像処理装置を提供することを目的としている。

上記課題を解決するために、本発明の画像処理装置は、一対の画像データそれぞれから、対象物との相対距離に応じた大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、特定されたブロックのブロックサイズが基準ブロックサイズより大きい場合、特定されたブロックの信頼性を示す評価値を、特定されたブロックのブロックサイズに基づいて基準ブロック毎に導出する信頼性評価部と、基準ブロック毎に導出された評価値の和と、評価値の数と、基準ブロックに対する特定されたブロックの面積比とを用い、評価値の和／評価値の数×面積比…（数式１）に基づいて評価値を正規化し、特定されたブロックに関連付ける正規化部と、を備えることを特徴とする。

マッチング処理部は、ＳＡＤ、ＳＳＤ、ＮＣＣまたは正規化相関に基づいてパターンマッチングを遂行し、信頼性評価部は、ＳＡＤ、ＳＳＤ、ＮＣＣまたは正規化相関における相関値を評価値としてもよい。

本発明によれば、パターンマッチングの対象となるブロックサイズが異なる場合においても、その信頼性を正当に評価可能となる。したがって、環境認識システムに適用したとしても、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。

環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 ブロックサイズと評価値との関係を説明するための説明図である。 画像処理装置の概略的な機能を示した機能ブロック図である。 座標変換処理を説明するための説明図である。 パターンマッチングにおける相関値（差分値）の推移を示した説明図である。 画像処理方法の全体的な処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
画像処理装置は、任意の目的を適切に達成するため撮像された画像を加工処理することを目的としている。例えば、画像処理装置を、車両周囲の環境を認識するための環境認識システムに採用した場合、画像処理装置は、撮像装置で撮像された画像を加工処理し、画像内の対象物の相対距離を特定するためその画像の視差情報を導出する。ここでは、画像処理装置の理解を容易にするため、まず、画像処理装置を用いた一実施形態である環境認識システムを説明し、その後、画像処理装置の具体的な構成を詳述する。

図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。

（撮像装置１１０）
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得する。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。また、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。

撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。

（画像処理装置１２０）
画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した一対の画像データの相関性を評価し、画像中の任意のブロック（所定数の画素を集めたもの）の両画像間の視差を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平８画素×垂直８画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導出する。そして、導出された視差は、その水平８画素×垂直８画素の配列に所定の規則にしたがって関連付けられる、例えば水平４画素×垂直４画素に与えられる。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。また、同時にパターンマッチングの信頼性が評価され、その評価値が視差と共に水平４画素×垂直４画素に与えられる。かかるパターンマッチングおよび信頼性の評価に関しては後ほど詳述する。

ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。

図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

（環境認識装置１３０）
環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６の視差情報に基づく車両（自車両）１との相対距離とを用いて検出領域１２２における対象物がいずれの物（車両、信号機、道路、ガードレール、テールランプ、ウィンカー、信号機の各点灯部分等）に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

（車両制御装置１４０）
車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。

（パターンマッチングの信頼性評価における問題点とその解決手段）
画像処理装置１２０では、一対の輝度画像１２４に対しパターンマッチングを遂行し、そのパターンマッチングの結果に対して信頼性評価が為される。これは、パターンマッチングの結果が信頼に足るものかを予め評価しておき、環境認識装置１３０において対象物との相対距離を導出する際のフィルタリング（重み付けや排除）を適切に行ったり、後述するフィルタ処理部１７８において、視差を加工したりするためである。

しかし、より適切なパターンマッチングを行うため、一対の輝度画像１２４内において、マッチングの対象となるブロックサイズを異ならせ、その異なるブロックサイズ毎に視差および評価関数を通じた評価値を与える場合がある。これは、相対距離が短い対象物と長い対象物とでテクスチャ（画像模様）の密度が異なるからであり、テクスチャの絶対量を確保すべく、相対距離が短い手前の対象物の画像はブロックサイズを大きくとり、相対距離が長い遠くの画像はブロックサイズを小さくとる。このとき、ブロックサイズに応じて評価値も異なることとなる。

図３は、ブロックサイズと評価値との関係を説明するための説明図である。例えば、図３（ａ）の如く、水平８画素×垂直８画素のブロック単位（領域１５０）でパターンマッチングを行い、その結果に対して評価値を導出するとする。そして、水平８画素×垂直８画素のブロックに対して導出されたその評価値を、ブロック中央におけるさらに小領域（水平４画素×垂直４画素）１５２に与える。

また、図３（ｂ）の如く、水平１２画素×垂直８画素のブロック１５４単位でパターンマッチングを行い、その結果に対して評価値を導出するとする。ここで、評価値は水平８画素×垂直８画素を対象に導出される。したがって、水平１２画素×垂直８画素のブロックにおいては、水平左端から水平８画素×垂直８画素（図中領域１５０ａで示す）および水平右端から水平８画素×垂直８画素（図中領域１５０ｂで示す）に対して２つの評価値が導出される。

パターンマッチングは、そのブロックサイズが大きいほど、理論上、評価値は大きくなるはずである。したがって、水平１２画素×垂直８画素のブロックに対して、領域１５０ａの評価値のみを適用するとブロックサイズに対して評価値が低すぎることとなる。しかし、水平１２画素×垂直８画素のブロックに対して、領域１５０ａに対する評価値および領域１５０ｂに対する評価値の和を適用してしまうと、今度はブロックサイズに対して評価値が高すぎることとなる。このように、ブロックサイズが異なる場合においても、評価値を一律に適用してしまうと、その相関関係が維持できず、正当な評価ができない問題があった。

例えば、領域１５０ａの評価値のみを与えると、ブロックサイズに対して評価値が低すぎてしまい、後段のフィルタリングにおいて閾値未満となり、その視差がほとんど無効化されてしまう。また、領域１５０ａの評価値および領域１５０ｂの評価値の和を与えてしまうと、今度はブロックサイズに対して評価値が高すぎ、最早適切な評価ができなくなってしまう。このとき、評価値を最大値でクリッピング（飽和）させることもできるが、そうすると評価値を複数用いる場合には、ほとんど最大値にクリッピングされることとなり、やはり適切な評価ができなかった。

そこで、本実施形態では、パターンマッチングの対象となるブロックサイズが異なる場合においても、ブロックサイズに合わせた適切な評価値を導出し、その信頼性を正当に評価することを目的とする。以下、このような評価値の導出を実現する画像処理装置１２０の構成を具体的に述べる。

（画像処理装置１２０）
図４は、画像処理装置１２０の概略的な機能を示した機能ブロック図である。図７に示すように、画像処理装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。

Ｉ／Ｆ部１６０は、撮像装置１１０や環境認識装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。

中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０やデータ保持部１６２を制御する。また、本実施形態において、中央制御部１６４は、座標変換部１７０、マッチング処理部１７２、信頼性評価部１７４、正規化部１７６、フィルタ処理部１７８としても機能する。

座標変換部１７０は、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき、撮像装置１１０から取得された一対の画像データ（輝度画像１２４）の各画素を座標変換し、座標変換後の画素の輝度を色復元する。座標変換は、撮像装置１１０を通じたことにより本来の位置から歪んで取得されてしまった対象物を本来の位置に戻すための処理である。例えば、図５（ａ）に示す魚眼レンズを通じたような位置ズレ特性を有する映像を、水平方向や垂直方向への単純シフトやアフィン変換等を用いた回転移動により、図５（ｂ）のような水平方向や垂直方向が直線となる画像に補正する。かかる座標変換は、特許第３２８４１９０号等、既存の様々な技術を採用することができるので、ここではその詳細な説明を省略する。

マッチング処理部１７２は、座標変換部１７０によって座標変換された一対の画像データ（輝度画像１２４）それぞれから、対象物の相対距離に応じた大きさのブロックを抽出してパターンマッチングを行い、相関性の高いブロック同士を特定する。ただし、相対距離は１フレーム前に計算された前回値を利用するとする。

このパターンマッチングとしては、２つの画像データ（輝度画像１２４）間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）、基準画像と入力画像との一致度を演算する正規化相関等の手法がある。

マッチング処理部１７２は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。具体的に、一方の輝度画像１２４において水平８画素×垂直８画素のブロックを指示し、他方の輝度画像１２４から同一の大きさ（水平８画素×垂直８画素）のブロックを抽出して相関値を導出する。続いて他方の輝度画像１２４のブロックを水平方向にずらし、同様に相関値を導出する。このような相関値の導出を他方の輝度画像１２４のブロックの全ての候補について繰り返し実行した後、相関値が最も高かった他方の輝度画像１２４のブロックを特定する。そして、相関値が最も高かった他方の輝度画像１２４のブロックと一方の輝度画像１２４のブロックとの相対水平画素数を視差とする。また、その視差は、一方の輝度画像１２４のブロック中央におけるさらに小領域の水平４画素×垂直４画素に与えられる。ここでは、比較するブロックを水平８画素×垂直８画素、その結果を与えるブロックを水平４画素×垂直４画素としているが、ブロックの画素数は任意に設定することができる。かかる視差は視差情報として後段の環境認識装置１３０に利用される。

また、マッチング処理部１７２は、上述したように、テクスチャを確保すべく、対象物の相対距離に応じて、画像データ内の対象となるブロックサイズを変更し、変更されたブロックサイズ毎に視差を導出する。例えば、上記では、水平８画素×垂直８画素のブロックをパターンマッチングの対象とし、その結果（視差）を水平４画素×垂直４画素のブロックに与えている例を挙げた。しかし、さらに大きな水平（８＋４×ｎ）画素×垂直８画素のブロック（ｎは整数）をパターンマッチングの対象とし、その結果を水平４画素×垂直４画素のブロックに与えたり（図３（ｂ）参照）、小さな水平４画素×垂直４画素のブロックをパターンマッチングの対象としてもよい。ただし、いずれのブロックサイズであっても、最終的な結果が与えられるブロックは水平４画素×垂直４画素のブロックとなる。

また、マッチング処理部１７２は、画素単位よりさらに細かい単位で視差を導出することもできる。以下、図６を用いてマッチング処理部１７２の具体的な動作を述べる。

図６における軌跡は、ブロック単位のパターンマッチングにおける相関値（差分値）の推移を示している。このように、ブロック同士をリニアにシフトすることができれば、相関値が最大となる（ここでは差分値が最小となる）具体的な点Ｄを求めるのが可能となる。しかし、実際は画素単位の段階的な移動しかできず、画素単位で移動した…Ｅ_ｎ−２、Ｅ_ｎ−１、Ｅ_n、Ｅ_ｎ＋１、Ｅ_ｎ＋２…（ｎは整数）における相関値（ここでは差分値）のみしか取得することができない。そうすると相関値が最大の点（差分値が最小の点）は、点Ｅ_nとなる。

ここでは、図６のように相関値の推移が、相関値が最大になる点から上下に延伸した線に対して線対称となっていることを利用し、さらに細かい分解能で水平方向のシフト量を導出する。例えば、マッチング処理部１７２は、特定されたブロック同士の相関値（相関値が最大と判定された点Ｅ_nの相関値）と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値（点Ｅ_ｎ−１、Ｅ_ｎ＋１の相関値）とに基づいて、画素単位より分解能の高いマッチング位置を導出する。

具体的に、マッチング処理部１７２は、相関値が最大と判定された、即ち、差分値が最小の点Ｅ_nと差分値が最小から３番目の点Ｅ_ｎ−１の相関値との結線１９０を生成する。次に、当該結線１９０と符号は反転しているが傾きの大きさが等しく、かつ、差分値が最小から２番目の点Ｅ_ｎ＋１を通る線分１９２を生成する。そして、その交点１９４に相当するマッチング位置Ｆを新たに導出する。かかるマッチング位置Ｆは真に相関値が最大となる点Ｄとは少しずれることもあるが、ほぼ相関値が最大となる点を示している。また、このようにして導出された点は、画素単位に比べ８〜１６倍程度の分解能で表される。したがって、より詳細なパターンマッチングが可能となる。

信頼性評価部１７４は、マッチング処理部１７２によって特定されたブロックの信頼性を示す評価値を、ブロックの大きさに基づいて１または複数導出する。ここでは、評価方法として、テクスチャ強度による方法を挙げて説明するが、既存の様々な評価関数を用いることができる。信頼性評価部１７４は、このようなブロック毎の評価値を視差と共にブロックに関連付けて保持させる。また、信頼性評価部１７４は、このような評価値の導出をパターンマッチングの対象ブロック全てに対して実行する。

テクスチャの強度（ブロック内の輝度変化の程度）が低くなるほど、パターンマッチングにおいてミスマッチの発生率が高くなる。即ち、テクスチャの強度はパターンマッチングの結果（視差）の信頼性と相関性を有する。そこで、テクスチャ強度による方法では、ブロック内における水平方向の輝度エッジ（ＤＣＤＸ）の個数を計数する。

具体的に、水平方向に隣接した画素対の輝度変化量（差分）の絶対値が、所定の閾値以上となるか否か判定し、所定の閾値以上であれば有効なポイント、所定の閾値未満であれば無効なポイントとする。そして、そのポイントをブロック単位で累積した値を評価値とする。ただし、同ブロック内に水平方向に隣接する画素が存在しない水平方向左端（または右端）の画素に関しては、水平方向に隣接するブロックの水平方向右端（または左端）の画素との輝度変化量の絶対値が用いられる。なお、この時点では、水平８画素×垂直８画素に対する評価値、即ち、最大値が６４となっている。

そしてその結果が図３（ａ）の如くブロック中央におけるさらに小領域の水平４画素×垂直４画素の領域１５２で１〜１６の１６段階の評価ができるよう、最大値が１６となるように調整する。したがって、８×８のブロックについて導出された値に４×４／（８×８）を乗算して評価値を導出することとなる。ただし、ここでは、１６段階を１〜１６の数値で示すが、０〜１５で示してもよい。こうして、水平８画素×垂直８画素のブロックに対して導出された評価値を水平４画素×垂直４画素のブロックに与えることができる。

ここで、パターンマッチングの対象となるブロックが水平１２画素×垂直８画素の場合を考える。上述したテクスチャ強度による方法では水平画素の数と垂直画素の数とが等しい場合を想定して評価値を導出しているので、図３（ｂ）で示したように、水平１２画素×垂直８画素のブロックに対して２回の評価が行われる。したがって、水平左端から水平８画素×垂直８画素（図中領域１５０ａで示す）および水平右端から水平８画素×垂直８画素（図中領域１５０ｂで示す）に対して２つの評価値が導出される。しかし、上述したように、水平１２画素×垂直８画素のブロックに対して、領域１５０の評価値および領域１５２の評価値の和を与えてしまうと、ブロックサイズに対して評価値が高すぎることとなる。そこで、以下に示す正規化部１７６によって、ブロックサイズに合わせた適切な評価値に正規化される。

正規化部１７６は、信頼性評価部１７４が導出した評価値と、マッチング処理部１７２においてパターンマッチングを行ったブロックサイズとを取得し、その評価値の最大値が基準ブロックにおける評価値の最大値の面積比となるように正規化し、特定されたブロックに関連付ける。ここで基準ブロックは水平８画素×垂直８画素の大きさを有するブロックとするが任意に設定することが可能である。正規化部１７６は、以下の数式１を用いて評価値を正規化する。
（評価値の和）／（評価値の数）×（面積比）…（数式１）
ここで、評価値の和は、対象となるブロックに対して導出された１または複数の評価値の和であり、評価値の数は、対象となるブロックに対して導出された１または複数の評価値の数であり、面積比は、基準ブロック（例えば、水平８画素×垂直８画素）に対する対象となるブロック（例えば、水平１２画素×垂直８画素）の面積比（当該ブロックサイズ／基準ブロックサイズ）である。また、ここで、評価値の和を求めているのは、同一のブロックで複数の評価値が導出された場合、その和を用いた方がより正確にブロックの評価を表すことができるからである。

したがって、図３（ｂ）の場合、領域１５０ａに対する評価値Ｂと領域１５０ｂに対する評価値Ｃとを用いて、（Ｂ＋Ｃ）／２個×（９６画素／６４画素）＝（Ｂ＋Ｃ）×３／４となる。すると、評価値の最大値は、ＢおよびＣの最大値を１６とすると、（１６＋１６）×３／４で２４となる。このように、図３（ａ）に対しブロックサイズの面積が大きくなると、その面積比分だけ評価値（信頼性）も高くなる。

また、図３（ｂ）のうち、領域１５０ａに対する評価値Ｂのみを用いる場合、Ｂ／１×（９６画素／６４画素）＝Ｂ×３／２となり、やはり評価値の最大値は１６×３／２で２４となる。

したがって、上記の数式１を用いることで、ブロックサイズや導出された評価値の数に拘わらず、ブロックサイズの面積比に応じた最大値が維持され、確立された共通の評価が可能となる。

フィルタ処理部１７８は、信頼性評価部１７４の評価値に応じて、マッチング処理部１７２が導出した視差にフィルタリングを施す。フィルタリングの方法は、既存の様々な方法を適用可能であるが、ここでは、理解を容易にするため、評価値が閾値未満となる視差をクリアするフィルタリングを用いることとする。

したがって、評価値が閾値（例えば５）以上の視差はそのまま後段の環境認識装置１３０に距離画像１２６として送信され、閾値未満の視差は無効な値として処理される。

（画像処理方法）
以下、画像処理装置１２０の具体的な処理を図７のフローチャートに基づいて説明する。図７は、画像処理装置１２０が輝度画像１２４を受信した場合の割込処理に関する全体的な流れを示している。また、ここでは、４×４画素のブロックを挙げており、６００×２００画素の輝度画像１２４の左下隅を原点とし、画像水平方向に最大１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で当該画像処理方法による処理を遂行する。

（座標変換処理）
図７に示すように、輝度画像１２４の受信を契機に当該環境認識方法による割込が発生すると、当該画像処理方法の処理が開始される。座標変換部１７０は、撮像装置１１０に応じて予め定められた画素毎の位置ズレ（歪み）特性に基づき、撮像装置１１０から取得された一対の画像データ（輝度画像１２４）の各画素を座標変換し、座標変換後の画素の輝度を色復元する（Ｓ２００）。

（パターンマッチング処理）
そして、マッチング処理部１７２は、座標変換部１７０によって座標変換された一対の画像データ（輝度画像１２４）それぞれから、対象物の相対距離に応じた大きさのブロックを抽出してパターンマッチングを行い、相関性の高いブロック同士を特定し、ブロック毎に視差を導出する（Ｓ２０２）。

パターンマッチングによってブロック毎の視差が導出されると、信頼性評価部１７４は、画素を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ２０４）。続いて、信頼性評価部１７４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ２０６）。次に、信頼性評価部１７４は、水平変数ｉに「１」を加算する（Ｓ２０８）。ここで、水平変数ｉや垂直変数ｊを設けているのは全てのブロックに対して信頼性評価処理を実行するためである。

（信頼性評価処理）
続いて、信頼性評価部１７４は、一方の輝度画像１２４からブロック（ｉ，ｊ）の視差を読み出し、対応する他方の輝度画像１２４のブロックとの評価値を導出する（Ｓ２１０）。このとき、マッチング処理部１７２が基準ブロック（８×８画素）より大きいブロックに対してパターンマッチングを行っていた場合、その大きさに応じて、１または複数の評価値を導出する。

（正規化処理）
次に、正規化部１７６は、当該ブロック（ｉ，ｊ）が基準ブロックであるか否かを判定し（Ｓ２１２）、基準ブロックではないと判定した場合（Ｓ２１２におけるＮＯ）、信頼性評価部１７４が導出した評価値を、上述した数式１に従って正規化する（Ｓ２１４）。

（フィルタリング処理）
そして、フィルタ処理部１７８は、信頼性評価部１７４の評価値、または、さらに正規化された評価値が所定の閾値未満であるか否かを判定し（Ｓ２１６）、所定の閾値未満であれば、マッチング処理部１７２が導出した視差をクリアする（Ｓ２１８）。

次に、水平変数ｉが水平画素の最大値（ブロックの大きさによって変動）を超えたか否か判定し（Ｓ２２０）、水平変数ｉが最大値を超えていなければ（Ｓ２２０におけるＮＯ）、ステップＳ２０８の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ２２０におけるＹＥＳ）、信頼性評価部１７４は、垂直変数ｊが垂直画素の最大値（ここでは２００）を超えたか否か判定する（Ｓ２２２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ２２２におけるＮＯ）、ステップＳ２０６の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ２２２におけるＹＥＳ）、当該画像処理方法を終了する。

以上、説明した画像処理装置１２０では、パターンマッチングの対象となるブロックサイズが異なる場合においても、その信頼性を正当に評価可能となる。したがって、環境認識システムに適用したとしても、視差情報を適切に導出でき、対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を適切に行うことが可能となる。

また、コンピュータを、画像処理装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、画像処理装置１２０を環境認識システム１００に適用する例を挙げて説明したが、パターンマッチングを用いるシステムであれば様々なシステムに適用することが可能である。

また、上述した実施形態においては、テクスチャ強度による方法を用いて信頼性を評価する例を挙げたが、かかる場合に限られず、様々な評価方法を用いることができる。例えば、テクスチャ強度による方法における輝度変化量を比較する閾値を可変して評価する（拡張ＤＣＤＸ）ことが考えられる。かかる閾値は、特許第４６１３１３９号に記載されている如く、ゲインコントロールアンプ（ＧＣＡ）におけるゲインＧ、輝度補正の度合いγや周囲温度Ｔに基づいて一義的に導出される基礎値Ｔｂａｓｅと、ブロック内の輝度の代表値Ｄｒｅｐに基づいて一義的に導出される補正値Ｔａｍｄとを例えば加算することで求められる。かかる構成により、例えば、周囲温度Ｔが上昇するに従って、また、ブロック内の輝度が高まるに連れて増加するノイズのバラツキの影響を抑制し、適切な評価を行うことが可能となる。

また、例えば、図６を用いて説明した、相関値が最大（差分値が最小）と判定された点Ｅ_nの相関値と、特定されたブロック同士の一方を水平方向左右に単位画素シフトしたときの２つの相関値（点Ｅ_ｎ−１、Ｅ_ｎ＋１の相関値）とを用いて評価を行ってもよい。ここでは、点Ｅ_nの相関値と、２つの相関値（点Ｅ_ｎ−１、Ｅ_ｎ＋１の相関値）のうち相関値が高い（差分値が低い）方の相関値との差分に基づいて信頼性を評価する。そして、差分が大きいほど評価値が高く、差分が小さい程評価値が低いとする。かかる評価値の具体的な導出方法に関しては特開２００７−２４９６８２号公報の記載を参照することができる。

また、パターンマッチングとして、ＳＡＤ、ＳＳＤ、ＮＣＣまたは正規化相関等を用いた場合に、その相関値（例えば、差分値）そのものを評価値として利用してもよい。

また、上述した実施形態においては、２つの撮像装置１１０を用いて同時に取得した輝度画像１２４を利用してパターンマッチングを実行しているが、１つの撮像装置１１０を用いて時系列に対応する一対の輝度画像１２４を用いることもできる。また、撮像装置１１０の数は１や２に限らず、３以上の複眼にも適用可能である。

また、上述した実施形態では、一対の画像データとして、２つの撮像装置１１０で同時に取得された２つの輝度画像１２４を用いる例を挙げて説明した。しかし、一対の画像データは、かかる場合に限られず、例えば、１つの撮像装置１１０で取得された撮像時刻の異なる輝度画像１２４等、画像が対応しさえすれば、様々な画像データを適用することができる。

また、上述した実施形態では、パターンマッチングの結果を、同一の輝度画像１２４におけるブロックに与える例を挙げて説明した。しかし結果を与えるブロックは、かかる場合に限らず、例えば、パターンマッチングの結果を一対の輝度画像１２４の他方のブロックに与えたり、時系列が異なる一対の輝度画像１２４（例えば、１フレーム後の輝度画像１２４）のブロックに与えたりすることができる。

さらに、上述した実施形態では、撮像装置１１０を介して取得した画像データのみを対象としているが、電波レーザレーダを用い、周波数フィルタを異ならせて上述した特定の色相に相当するレーザ光を取得するとしてもよい。ここで、電波レーザレーダは、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、その反射光を分析するものである。さらに、温度測定装置でも、温度測定素子毎の画像データに当該実施形態を適用することも可能である。

また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。

本発明は、撮像した一対の画像データに基づいてパターンマッチングを実行し、その信頼性を評価する画像処理装置に利用することができる。

１ …車両
１００ …環境認識システム
１１０ …撮像装置
１２０ …画像処理装置
１２４ …輝度画像
１３０ …環境認識装置
１４０ …車両制御装置
１７２ …マッチング処理部
１７４ …信頼性評価部
１７６ …正規化部
１７８ …フィルタ処理部

Claims (2)

1. 一対の画像データそれぞれから、対象物との相対距離に応じた大きさのブロックを抽出してマッチングを行い、相関性の高いブロック同士を特定するマッチング処理部と、
   前記特定されたブロックのブロックサイズが基準ブロックサイズより大きい場合、前記特定されたブロックの信頼性を示す評価値を、前記特定されたブロックのブロックサイズに基づいて前記基準ブロック毎に導出する信頼性評価部と、
   前記基準ブロック毎に導出された評価値の和と、前記評価値の数と、前記基準ブロックに対する前記特定されたブロックの面積比とを用い、
   評価値の和／評価値の数×面積比…（数式１）
   に基づいて前記評価値を正規化し、前記特定されたブロックに関連付ける正規化部と、
   を備えることを特徴とする画像処理装置。
2. 前記マッチング処理部は、ＳＡＤ、ＳＳＤ、ＮＣＣまたは正規化相関に基づいてパターンマッチングを遂行し、
   前記信頼性評価部は、前記ＳＡＤ、ＳＳＤ、ＮＣＣまたは正規化相関における相関値を評価値とすることを特徴とする請求項１に記載の画像処理装置。

Images