JP4204818B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一方の撮像画像における所定面積の画像領域の相関先を他方の撮像画像において特定する画像処理装置に関する。
【０００２】
【従来の技術】
近年、一対の撮像画像に基づき、この撮像画像に写し出された対象物の認識を行う画像処理装置が注目されている。この類の画像処理装置では、ステレオ画像に基づいて対象物に関する距離（すなわち、視差）を算出することにより、或いは、時系列的に並ぶ一対の撮像画像に基づいて対象物の位置的な変化を求めることにより、対象物の認識が行われる。具体的には、画像処理装置は、一方の撮像画像（基準画像）において、この基準画像の一部を構成する小領域毎の画素群（以下、単に「画像領域」と称する）に関して、その相関先を他方の撮像画像（比較画像）において特定する。これにより、例えば、前者の一例であるステレオ画像処理装置は、相関元と相関先とにおける画像領域の水平方向のずれ量、すなわち、両撮像画像に写し出された同一対象物に関する位置的なずれ量を、視差として算出する。
【０００３】
この点に関し、特開平５−１１４０９９号公報では、シティブロック距離を算出することにより、相関元と相関先との両画像領域に関する相関関係を定量的な評価量を用いて評価する手法が開示されている。ある画像領域（相関元）に関し、その相関先を特定する場合、その相関先の候補となる画像領域群が比較画像において特定される。そして、原則として、最も相関が高いと判断される画像領域（相関先）の候補が、真の相関先として決定される。そして、この相関先と決定された画像領域に関するずれ量が視差として特定されるが、同公報では、ある条件をクリアした場合にのみ、このずれ量を視差として決定している。このような条件の一つは、シティブロック距離の最小値（すなわち、最も相関が高い評価値）が第１の判定値以下となることである。また、同公報では、シティブロック距離の最大値（すなわち、最も相関が低い評価値）と最小値との差分値が第２の判定値以下となること、相関元の画像領域内の輝度差が第３の判定値以下となることを、この条件にさらに含めることも提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された従来技術では、これら判定値のそれぞれは、一フレーム相当の撮像画像に関する画像領域のそれぞれにおいて、不変、すなわち、一定値として定義されている。これらの判定値は撮像画像の輝度値と大きな相関があるが、これらの判定値のそれぞれが一フレームの撮像画像に関して不変であるが故に、必ずしも有効な判断を与えるための判定値とはなり得ない可能性がある。例えば、判定値のそれぞれを撮像画像の明るい領域（すなわち、輝度の高い領域）に合わせて設定したと仮定する。この場合、輝度のダイナミックレンジが大きな画像では、暗い領域（すなわち、輝度の低い領域）において、正確にマッチングが行われている画像領域であっても、相関先と相関元とが画像的に対応していないとして、不適と判断される可能性がある。一方、判定値のそれぞれを撮像画像の暗い領域に合わせて設定したと仮定する。この場合には、明るい領域（すなわち、輝度の高い領域）において、不正確にマッチングが行われている画像領域であっても、相関先と相関元とが画像的に対応しているとして、適正と判断される可能性がある（すなわち、ミスマッチングの数が増える可能性がある）。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、例えば、輝度のダイナミックレンジが大きな撮像画像であっても、一方の撮像画像における画像領域の相関先を他方の撮像画像において正確に特定することである。
【０００６】
また、本発明の別の目的は、このように一方の撮像画像における画像領域の相関先を他方の撮像画像において特定することにより、撮像画像に写し出される対象物を正確に認識することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一方の撮像画像における所定面積の画像領域の相関先を他方の撮像画像において特定する画像処理装置において、カメラと、演算部と、検出部と、判断部と、判定値制御部とを有する画像処理装置を提供する。かかる画像処理装置において、カメラは、一対の撮像画像を出力する。演算部は、一対の撮像画像に基づいて、一方の撮像画像において相関元となる画像領域を特定し、特定された画像領域の相関先の候補となる画像領域群を他方の撮像画像において特定する。それとともに、演算部は、相関元と相関先の候補との相関関係を定量的な評価値として算出する。検出部は、算出された評価値の中で相関関係が最も高い評価値を、第１の評価値として検出する。判断部は、少なくとも検出された第１の評価値と第１の判定値とを比較する。これにより、画像領域群の中で第１の評価値として相関関係が評価された相関先の候補を、相関先として決定するか否かが判断される。また、判定値制御部は、相関元として特定された画像領域内の輝度値に応じて、第１の判定値の値を、一フレーム相当の撮像画像における画像領域毎に可変に制御する。ここで、検出部は、算出された評価値の中で相関関係が最も低い評価値を、第２の評価値としてさらに検出する。このとき、判断部は、第１の評価値と第２の評価値との差分値と、第２の判定値とをさらに比較する。そして、判定値制御部は、相関元として特定された画像領域内の輝度値に応じて、第２の判定値の値を、一フレーム相当の撮像画像における画像領域毎に可変に制御する。
【０００９】
また、第１の発明において、判断部は、相関元として特定された画像領域における隣接画素間の輝度差と、第３の判定値とをさらに比較してもよい。この場合、判定値制御部は、相関元として特定された画像領域内の輝度値に応じて、第３の判定値の値を、一フレーム相当の撮像画像における画像領域毎に可変に制御することが好ましい。
【００１０】
また、第１の発明において、第１の判定値、第２の判定値および第３の判定値は、それぞれ所定の規定値と、判定パラメータとに基づき決定される値であることが好ましい。この場合、判定値制御部は、この判定パラメータを、相関元として特定された画像領域内の輝度値に対応付けて制御することが望ましい。
【００１１】
さらに、第１の発明は、相関元として特定された画像領域と、相関先と決定された画像領域との画像平面上の位置的なずれ量を算出することが好ましい。
【００１５】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ画像処理装置のブロック構成図である。同図に示すステレオ画像処理装置１は、一例として、車外監視装置の一部として機能しており、一対の撮像画像を用いてステレオ画像処理を行うとともに、この処理された情報に基づき、自車両前方の状況を認識・監視する。
【００１６】
車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、ＣＣＤまたはＣＭＯＳセンサ等のイメージセンサを内蔵した一対のカメラ２，３で構成されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各撮像画像（すなわち、一対のアナログ画像）は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００１７】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１８】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理ユニット７に出力されるとともに、画像データメモリ１６に格納される。
【００１９】
ステレオ画像処理ユニット７は、基準画像データ（以下、単に「基準画像」と称する）と比較画像データ（以下、単に「比較画像」と称する）とに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、8×4画素（ｉ×ｊ））の画素ブロック（すなわち、画像領域）毎に１つ算出される。
【００２０】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が512×200画素（ｉ×ｊ）で構成されている場合、その中の420×160（ｉ×j）画素を視差算出対象としたならば、一フレームの撮像画像から、画素ブロックＰＢijの個数相当（40×52個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２１】
図３は、図１に示すステレオ画像処理ユニット７のブロック構成図である。ステレオ画像処理ユニット７は、これを機能的に捉えた場合、演算部８と、平均値算出部９と、検出部１０と、判断部１１と、判定値制御部１２とを有する。
【００２２】
演算部８は、一対の撮像画像（本実施形態では、画像補正部６から出力された基準画像および比較画像）に基づき、基準画像において相関元となる画素ブロックＰＢij、すなわち、視差ｄの算出対象となる画素ブロックＰＢijを特定する。この特定された画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。
【００２３】
図４は、基準画像における相関元の画素ブロックＰＢijと比較画像における相関先の候補となる画素ブロックＰＢ’ijとの関係を示した図である。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。そこで、演算部８は、相関元のｉ座標を基準に設定された探索範囲内において、8×4画素の領域をエピポーラライン上で一画素ずつシフトさせることにより、相関先の候補となる画素ブロックＰＢ’ijを比較画像において特定する。換言すれば、この探索範囲は、相関先の候補となる画像領域ＰＢ’ijの集合（すなわち、画像領域ＰＢ’ij群）である。このとき、演算部８は、相関元（ＰＢij）と相関先の候補（ＰＢ’ij）との間の相関関係を順次評価する（ステレオマッチング）。
【００２４】
２つの画素ブロックの相関関係は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１に、シティブロック距離ＣＢの一例を示す。同数式において、ｐmijは一方（相関元）の画素ブロックＰＢijのｉｊ番目の画素の輝度値であり、ｐsijは他方（相関先の候補）の画素ブロックＰＢ’ijのｉｊ番目の輝度値である。また、ＡＭは一方（相関元）の画素ブロックＰＢijにおける輝度値の平均値であり、ＳＭは他方（相関先の候補）の画素ブロックＰＢ’ijにおける輝度値の平均値である。
【数１】
ＣＢ＝Σ｜（ｐmij−ＡＭ）−（ｐsij−ＳＭ）｜
【００２５】
数式１から理解されるように、シティブロック距離ＣＢでは、一方の画素ブロックＰＢijにおけるある輝度値と輝度平均値との差（ｐmij−ＡＭ）と、他方の画素ブロックＰＢ’ijにおけるある輝度値と輝度平均値との差（ｐsij−ＳＭ）とが演算対象とされる。そして、位置的に対応した画素に関する演算対象同士の差（絶対値）の画素ブロック全体における総和が、シティブロック距離ＣＢとして算出される。このシティブロック距離ＣＢでは、その差が小さいほど両画素ブロックＰＢij，ＰＢ’ijの相関が大きいことを意味している。換言すれば、シティブロック距離ＣＢは、相関元として特定された画素ブロックＰＢijと、相関先の候補として特定された画素ブロックＰＢ’ijとの相関関係の定量的な評価値である。
【００２６】
ここで、同数式に示す各画素ブロックＰＢij，ＰＢ’ijにおける輝度値の平均値ＡＭ，ＳＭは、平均値算出部９によってそれぞれ算出される。平均値算出部９は、取得した基準画像データに基づき、相関元として特定される画素ブロックＰＢijに対応する8×4画素領域における輝度値の平均値（Σｐmij／32）を算出する。そして、算出された画素ブロックＰＢijに関する輝度平均値が、メイン平均値メモリ１３に格納される。また、平均値算出部９は、取得した比較画像データに基づき、相関先の候補となる画素ブロックＰＢ’ijに対応する8×4画素領域における輝度値の平均値（Σｐsij／32）を算出する。すなわち、平均値算出部９は、探索範囲内において、この8×4画素領域を水平方向に１画素ずつシフトさせながら輝度値の平均値をそれぞれ算出することとなる。そして、相関先の候補となる画素ブロックＰＢijに対応する8×4画素領域について算出された輝度平均値のそれぞれが、サブ平均値メモリ１４に格納される。これにより、演算部８が各平均値メモリ１３，１４から画素ブロックＰＢij，ＰＢ’ijに対応する平均値ＡＭ，ＳＭを読み出すことにより、シティブロック距離ＣＢが算出される。
【００２７】
上述したように、シティブロック距離ＣＢは、相関元の画素ブロックＰＢijに関し、相関先の候補となる画素ブロックＰＢ’ijのそれぞれについて計算される。このとき、図３に示す検出部１０は、シティブロック距離ＣＢの値が算出される度に、その算出された値と、これまで算出された値のうちの最大値ＣＢmax、最小値ＣＢminとを比較している。そして、算出された値が現在の最大値ＣＢmaxより大きい、或いは、現在の最小値ＣＢminより小さい場合には、最大値ＣＢmaxまたは最小値ＣＢminが、算出された値で更新される。この結果、探索範囲における最後の画素ブロックＰＢ’ij（相関先の候補）に関するシティブロック距離ＣＢの算出と同期して、算出されたシティブロック距離ＣＢのうち、最大値ＣＢmaxおよび最小値ＣＢminが求められる。換言すれば、検出部１０は、算出された評価値（本実施形態では、シティブロック距離ＣＢ）の中で相関関係が最も高い評価値を第１の評価値、すなわち、最小値ＣＢminとして検出している。また、検出部１０は、算出された評価値の中で相関関係が最も低い評価値を第２の評価値、すなわち、最大値ＣＢmaxとしてさらに検出している。
【００２８】
基本的に、画素ブロックＰＢ’ij群の中で第１の評価値として相関関係が評価された画素ブロックＰＢ’ij（相関先の候補の一つ）が、相関先として決定される。すなわち、数式１に示すシティブロック距離ＣＢでは、その値が最小値ＣＢminとなる画素ブロックＰＢ’ijが、相関先と決定される。そして、原則として、第１の評価値（本実施形態では、最小値ＣＢmin）として相関関係が評価された各画素ブロックＰＢij，ＰＢ’ijに関する画像平面上での位置的なずれ量ｄ’が、視差ｄとなる。
【００２９】
ただし、本実施形態では、シティブロック距離ＣＢが最小値ＣＢminとなる両画素ブロックＰＢij，ＰＢ’ijが、真に対応するものであるか否かの判断が、判断部１１によって行われる。換言すれば、この判断部１１は、最小値ＣＢmin（第１の評価値）として相関関係が評価された相関先の候補を、相関先として決定するか否かを判断する。そして、この判断を満足した場合にのみ、各画素ブロックＰＢij，ＰＢ’ijに関するずれ量ｄ’が、視差ｄとして決定される。この判断基準となる条件は、例えば、以下に示す３つである。
（１）最小値ＣＢmin≦第１の判定値Ｄ1
（２）最大値ＣＢmax−最小値ＣＢmin≧第２の判定値Ｄ2
（３）相関元の画素ブロックＰＢijの横方向（ｉ方向）における隣接画素間の輝度差＞第３の判定値Ｄ3
【００３０】
例えば、（１）において、最小値ＣＢmin（第１の評価値）と第１の判定値Ｄ1とを比較することで、最も相関関係が高いと評価された画素ブロックＰＢ’ijが明らかに異なる相関先を特定しているか否かの判断基準となる。また、（２）において、最大値ＣＢmax（第２の評価値）と最小値ＣＢmin（第１の評価値）との差分値と、第２の判定値Ｄ2とを比較することにより、得られた最小値ＣＢminがノイズによる揺らぎより低くなっているか否かの判断基準となる。このとき最小値ＣＢminに近傍の値との差を評価するのではなく、最大値ＣＢmaxとの差を評価することにより、曲面などの緩やかに輝度の変わる物体に関しても、相関先が特定可能である否かを判断することできる。さらに、（３）において、相関元として特定された画素ブロックＰＢijにおける隣接画素の輝度差と、第３の判定値Ｄ3とを比較することにより、相関元の画素ブロックＰＢijが不適であるか否かの判断基準となる。これは、輝度変化のない画素ブロックＰＢijでは、相関先を特定し難いというシティブロック距離の原理に基づくものである。なお、（３）において、第３の判定値Ｄ3と比較対象となる画素ブロックＰＢijの隣接画素間の輝度差は、輝度差算出部１５によって、相関元として特定される画素ブロックＰＢijのそれぞれを処理対象として算出されている。
【００３１】
これらの判断基準となる第１〜第３の判定値Ｄ1〜Ｄ3のそれぞれは、判定値制御部１２によって算出され、そしてこれらの判定値Ｄ1〜Ｄ3のそれぞれが、判断部１１に対して出力される。本実施形態では、これらの判定値Ｄ1〜Ｄ3は、相関元として特定された画素ブロックＰＢij内の輝度値に応じて、一フレーム相当の基準画像における画素ブロック毎に可変な値である。具体的には、これらの判定値Ｄ1〜Ｄ3は、個々の判定値Ｄ1〜Ｄ3毎に予め定められた基準値と、判定パラメータとに基づき、決定される。このとき、判定値制御部１２は、この判定パラメータを、処理対象とする画素ブロックＰＢijの輝度平均値ＡＭに対応付けて制御する。例えば、判定値制御部１２は、判定パラメータを、輝度平均値ＡＭそのものの値、或いは、ある輝度値を基準とした場合の輝度平均値ＡＭの比率として取り扱うといった如くである。そして、判定値制御部１２は、例えば、この基準値のそれぞれと、判定パラメータとを乗ずることにより、判定値Ｄ1〜Ｄ3を可変に制御することができる。この結果、一フレームの撮像画像において、輝度平均値が高い（すなわち、明るい）画素ブロックＰＢijでは第１〜第３の判定値Ｄ1〜Ｄ3の値は相対的に高くなる。また、輝度平均値が低い（すなわち、暗い）画素ブロックＰＢijでは第１〜第３の判定値Ｄ1〜Ｄ3の値は相対的に低くなる。
【００３２】
そして、上述した（１）から（３）の条件を具備した場合に、シティブロック距離ＣＢが最小値ＣＢminとなる各画素ブロックＰＢij，ＰＢ’ijの画像平面上のずれ量ｄ’が、視差ｄとして決定される。一方、これらの条件を具備しない場合には、このずれ量ｄ’を採用せずに視差ｄを、例えば、”０”として決定する。そして、上述した処理が１フレーム相当の基準画像において、相関元として特定される全ての画素ブロックＰＢijのそれぞれについて行われる。そして、画像上の位置（ｉ，ｊ）に対応付けられた視差ｄの集合、すなわち、距離データＤが、距離データメモリ１７に格納される。
【００３３】
マイクロコンピュータ１８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１９、制御部２０を有する。認識部１９は、画像データメモリ１６および距離データメモリ１７に格納された各情報に基づき、車両前方の道路状態等を認識したり（道路形状認識）、車両前方の立体物（走行車）等を認識する（立体物認識）。また、制御部２０は、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置（図示せず）を作動させてドライバーに注意を促す。また、必要に応じて制御装置（図示せず）を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。
【００３４】
以上説明したように、本実施形態に示す画像処理手法では、基準画像中のある画素ブロックＰＢij（相関元）に関する相関先を決定する際に、その相関関係を示す評価値を、判定値と比較している。このとき、この判定値は、その画素ブロックＰＢijの輝度値に応じて、一フレーム相当の撮像画像内における画素ブロック毎に可変に制御することができる。これにより、一フレーム相当の撮像画像の中でも輝度の高い部分、低い部分に拘わらず、基準画像上の画素ブロックＰＢijの相関先を、比較画像において正確に特定することができる。例えば、一フレームの輝度のダイナミックレンジが大きな画像であっても、正確にマッチングが行われている相関先を不適と判断することがない。また、同様に、一フレームの輝度のダイナミックレンジが大きな画像であっても、ミスマッチングの数が増える可能性を低減することができる。また、このような手法を用いて、ある画素ブロックＰＢijの相関先を比較画像において特定することにより、視差を正確に算出することができる。また、このように精度よく算出された視差、すなわち、距離データを用いることで、撮像画像に写し出される先行車や障害物または道路といった対象物を正確に認識することができる。
【００３５】
なお、上述した実施形態では、シティブロック距離ＣＢを求める際に、各画素ブロックＰＢｉｊ，ＰＢ’ｉｊの平均値が加味された数式１に示す算出式を用いている。しかしながら、本発明において、シティブロック距離ＣＢの算出手法は、数式１に示した手法に限定されず、その他の手法を用いることもできる。数式２にシティブロック距離ＣＢの基本形を示す。
【数２】
ＣＢ＝Σ｜ｐｍｉｊ−ｐｓｉｊ｜
【００３６】
なお、本実施形態では、判定値Ｄ1〜Ｄ3の値を決定するべく、画素ブロックＰＢij，ＰＢ’ijの平均値ＡＭ，ＳＭを用いている。したがって、この算出された平均値ＡＭ，ＳＭを用いることで、算出されるシティブロック距離ＣＢの信頼性を、数式２に示した基本形よりも向上させることができるので有利である。
【００３７】
また、上述した実施形態では、条件（１）から（３）の全てを具備することで、相関先の決定を判断している。しかしながら、これらの条件のうち少なくとも一つ以上、或いは、２つ以上を具備することを条件としてもよい。例えば、（１）に示す条件を必要条件として、その他の（２）および（３）の条件を、選択的に条件に加えるような構成であってもよい。
【００３８】
なお、本実施形態では、車外監視を例にとって説明したが、踏切監視、地形認識または高度測定といった様々な用途において、このようなステレオ画像処理手法を用いた三次元認識を適用することができる。
【００３９】
さらに、本発明の画像処理手法は、ステレオカメラから出力される一対の撮像画像を用いてステレオ画像処理を行うことに限定されない。例えば、単眼カメラから出力される一対の時系列的な画像を用いて、一方の撮像画像における所定面積の画像領域の相関先を他方の撮像画像において特定し、オプティカルフローを求めるような場合にも適用可能である。
【００４０】
【発明の効果】
このように、本発明にかかる画像処理装置および画像処理方法によれば、一方の撮像画像における画像領域（相関元）に関する相関先を特定する際に、その相関関係を示す評価値を、判定値と比較している。このとき、この判定値は、その相関元の画像領域の輝度値に応じて、一フレーム相当の撮像画像内における画像領域毎に可変に制御することができる。これにより、一フレーム相当の撮像画像の中でも輝度の高い部分、低い部分に拘わらず、一方の撮像画像における画像領域の相関先を、他方の撮像画像において正確に特定することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ画像処理装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】ステレオ画像ユニットのブロック構成図
【図４】基準画像における相関元の画素ブロックと比較画像における相関先の候補となる画素ブロックとの関係を示した図
【符号の説明】
１ ステレオ画像処理装置
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理ユニット
８ 演算部
９ 平均値算出部
１０ 検出部
１１ 判断部
１２ 判定値制御部
１３ メイン平均値メモリ
１４ サブ平均値メモリ
１５ 輝度差算出部
１６ 画像データメモリ
１７ 距離データメモリ
１８ マイクロコンピュータ
１９ 認識部
２０ 制御部

Claims (4)

1. 一方の撮像画像における所定面積の画像領域の相関先を他方の撮像画像において特定する画像処理装置において、
   一対の撮像画像を出力するカメラと、
   前記一対の撮像画像に基づき、一方の撮像画像において相関元となる画像領域を特定し、当該特定された画像領域の相関先の候補となる画像領域群を他方の撮像画像において特定するとともに、前記相関元と前記相関先の候補との相関関係を定量的な評価値として算出する演算部と、
   前記算出された評価値の中で前記相関関係が最も高い評価値を、第１の評価値として検出する検出部と、
   少なくとも前記検出された第１の評価値と第１の判定値とを比較することにより、前記画像領域群の中で前記第１の評価値として相関関係が評価された前記相関先の候補を、相関先として決定するか否かを判断する判断部と、
   前記相関元として特定された画像領域内の輝度値に応じて、前記第１の判定値の値を、一フレーム相当の撮像画像における前記画像領域毎に可変に制御する判定値制御部ととを有し、
   前記検出部は、前記算出された評価値の中で前記相関関係が最も低い評価値を、第２の評価値としてさらに検出し、
   前記判断部は、前記第１の評価値と前記第２の評価値との差分値と、第２の判定値とをさらに比較し、
   前記判定値制御部は、前記相関元として特定された画像領域内の輝度値に応じて、前記第２の判定値の値を、一フレーム相当の撮像画像における前記画像領域毎に可変に制御することを特徴とする画像処理装置。
2. 前記判断部は、前記相関元として特定された画像領域における隣接画素間の輝度差と、第３の判定値とをさらに比較し、
   前記判定値制御部は、前記相関元として特定された画像領域内の輝度値に応じて、前記第３の判定値の値を、一フレーム相当の撮像画像における前記画像領域毎に可変に制御することを特徴とする請求項１に記載された画像処理装置。
3. 前記第１の判定値、第２の判定値および第３の判定値は、それぞれ所定の規定値と、判定パラメータとに基づき決定される値であり、
   前記判定値制御部は、当該判定パラメータを、前記相関元として特定された画像領域内の輝度値に対応付けて制御することを特徴とする請求項２に記載された画像処理装置。
4. 前記相関元として特定された画像領域と、前記相関先と決定された画像領域との画像平面上での位置的なずれ量を算出することを特徴とする請求項１から３のいずれかに記載された画像処理装置。

Images