JP6202367B2 - 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム - Google Patents

Description

本発明は、複数の撮像手段により撮像して得られる複数の撮像画像の１つである基準画像上の視差算出対象箇所と他の撮像画像である比較画像上の対応箇所との視差を算出する画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラムに関するものである。

この種の画像処理装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置、移動体の運転者に有益な情報を提供する情報提供装置などの測距処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような運転者支援システムにおいては、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲に存在する各種測距対象物（例えば、他車両、歩行者、車線やマンホール蓋などの路面構成物、電柱やガードレールなどの路端構造物など）の種類や距離などを、精度よく検出することが重要である。

特許文献１には、基準画像を撮像する基準カメラと参照画像（比較画像）を撮像する参照カメラのそれぞれで撮像して得られる基準画像と参照画像とを用いて測距対象物の視差を算出する三次元形状計測装置が開示されている。この三次元形状計測装置では、基準画像中に設定されるウィンドウ（検索対象領域）内の画像部分における変化率、行列固有値、分散値等の特徴量を算出し、同様の特徴量をもつウィンドウが参照画像におけるエピポーラライン上のどの箇所に存在するかを検索するマッチング処理を行う。そして、このマッチング処理により特定された参照画像中のウィンドウの中心点（対応箇所）に映し出されている物体上の地点は、基準画像中のウィンドウの中心点（視差算出対象箇所）に映し出されている物体上の地点と同地点であるとして、これらの中心点間の画像上のずれ量から視差値を算出する。このようにして視差値が算出できれば、三角測量の原理を利用して、当該物体上の地点までの距離を算定することができる。

撮像シーン等によっては、基準画像中に設定されるウィンドウ内の画像部分が、参照画像のエピポーラライン上の各ウィンドウ内の画像部分との比較において十分な特徴を有しない場合がある。この場合、基準画像中のウィンドウ内に映し出されている物体部分と同じものを映し出している参照画像中のウィンドウを、参照画像中における他のウィンドウと区別して特定することが困難となる。そのため、基準画像中に設定されるウィンドウについての特徴量と同様の特徴量を有する参照画像中のウィンドウが、参照画像中におけるエピポーラライン上に分布する複数の箇所で検出されてしまう。その結果、基準画像中のウィンドウに映し出されている物体とは全く別の物体あるいは同じ物体上の全く別の箇所を映し出している参照画像内のウィンドウを誤ってマッチングしてしまうミスマッチが発生しやすい。したがって、適切なマッチング処理を実現できず、基準画像中のウィンドウの中心点（視差算出対象箇所）に映し出されている物体上の地点についての適切な視差値を算出することが困難となる。

前記特許文献１に記載の三次元形状計測装置においては、マッチング処理の際、基準画像中に設定されたウィンドウ内の画像部分を評価し、その評価結果に応じてマッチング処理に用いるウィンドウのサイズを変更する処理を行う。具体的には、ウィンドウ内の画像部分についての変化率、行列固有値、分散値等の特徴量を算出し、その特徴量が閾値よりも大きくなるまで当該ウィンドウのサイズを拡大させるという処理を行う。この三次元形状計測装置によれば、十分に大きな特徴量を用いてマッチング処理を実行できるので、基準画像中のウィンドウに映し出されている物体部分と同じものを映し出している参照画像中のウィンドウを、参照画像中におけるエピポーラライン上の他のウィンドウと区別して特定することが容易になる。その結果、上述したミスマッチの発生を抑制して、適切なマッチング処理を実現することが容易となる。

本発明者らが検討したところ、基準画像中に設定されるウィンドウ（検索対象領域）の最適なサイズというは、そのウィンドウの中心点（視差算出対象箇所）に映し出されている物体についての画像領域（物体画像領域）の大きさとの対応関係によって決まる。具体的には、図１０の左図に示すように、ウィンドウ内に映し出されている物体（先行車両）についての物体画像領域に対してウィンドウサイズが適切な範囲内となっていれば、十分に大きな特徴量が得られ、当該物体についての適切な視差値を算出することが可能である。しかしながら、図１０の右図に示すように、ウィンドウ内に映し出されている物体（先行車両）についての物体画像領域に対してウィンドウサイズが小さすぎると、そのウィンドウ内に当該物体を構成する同一部材（後部ガラス）だけが映し出される結果、そのウィンドウについて十分な特徴量が得られず、ミスマッチが発生して適切な視差値を算出することが困難となる。

前記特許文献１に記載の三次元形状計測装置においては、特徴量が閾値よりも大きくなるまでウィンドウサイズを拡大させるという処理を行うので、結果的には、ウィンドウの中心点（視差算出対象箇所）に映し出されている物体についての物体画像領域の大きさに対して適切な範囲のウィンドウサイズが設定されるとも考えられる。しかしながら、前記特許文献１に記載の三次元形状計測装置においては、設定するウィンドウごとに、その特徴量を算出し、その特徴量が閾値よりも大きくなるまで当該ウィンドウのサイズを拡大させるという処理を行う。そのため、ウィンドウサイズを決定するための処理負荷が大きく、処理時間も長いという問題がある。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができる画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラムを提供することである。

前記目的を達成するために、本発明は、所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在し、該視差算出対象箇所から基線方向に各々所定のずれ量離れた複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて該視差算出対象箇所の視差値を算出する視差算出手段を備えた画像処理装置において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。

本発明によれば、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができるという効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 実施形態の視差演算部のブロック図である。 基準ウィンドウと比較ウィンドウとの間のずれ量に応じた類似度の分布の一例を示すグラフである。 ウィンドウ幅とウィンドウ高さの設定データの一例を示す表である。 実施形態における類似度算出処理の流れを示すフローチャートである。 実施形態におけるウィンドウ設定の内容の一例を示す説明図である。 実施形態におけるウィンドウ設定の内容の他の例を示す説明図である。 図７に示した例におけるウィンドウ設定の内容を示す説明図である。 ウィンドウ内に映し出されている被写体までの距離が遠いほど、そのウィンドウ内の画像の特徴を示す指標値である特徴量が大きくなる傾向を説明するための説明図である。

以下、本発明に係る画像処理装置を、車両システムとしての車載機器制御システムに用いられる距離測定装置としての物体検出装置に適用した一実施形態について説明する。
なお、本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて被写体までの距離を測定する距離測定装置を搭載したその他のシステムにも適用できる。具体例としては、自動車の緊急時制動制御システム、自動巡航機器システム、産業用ロボットの操作制御システムなどに用いることが考えられる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、移動体としての自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、例えば、自車両１００の前方に存在する他車両の位置、方角、距離を算出する。他車両の検出では、視差情報に基づいて路面上の識別対象物を車両として検出する。

また、画像解析ユニット１０２の算出結果は、移動体機器制御手段としての車両走行制御ユニット１０６にも送られる。車両走行制御ユニット１０６は、例えば、先行車両の検出結果に基づいて、その先行車両との車間距離が狭くなった場合や広くなった場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

また、画像解析ユニット１０２の算出結果は、移動体機器制御手段としてのヘッドランプ制御ユニット１０３にも送られる。ヘッドランプ制御ユニット１０３は、例えば、対向車両の検出結果に基づいて、ヘッドランプ１０４のビーム方向をハイビーム又はロービームに切り替えるなどの制御を行う。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるデジタル電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量を示すアナログ電気信号をデジタル信号に変換したもの）に所定の処理を施して撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データ、視差画像データが出力される。

また、撮像ユニット１０１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等によって実現される画像処理手段としての処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、マイコンとプログラムとを組み合わせて実現してもよい。処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像箇所に映し出されている物体上の地点についての視差値を演算する視差算出手段としての視差演算部１２１を備えている。

ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像箇所（視差算出対象箇所）に対する比較画像上の画像箇所（対応箇所）の画像上の位置ずれ量（基線方向の位置ずれ量）を、下記の式（１）に示すように、当該画像箇所の視差値ｄとして算出したものである。なお、下記の式（１）において、「ｘ１」は、基準画像上の画像箇所（視差算出対象箇所）についての基線（エピポーラライン）上の位置座標である。また、「ｘ２」は、基準画像上の当該画像箇所に映し出されている物体上の地点と同じ地点を映し出している比較画像上の画像箇所（対応箇所）についての基線（エピポーラライン）上の位置座標である。だたし、本明細書では、基線方向とエピポーラライン方向は一致しているものとして説明する。
ｄ ＝ ｘ１ − ｘ２ ・・・（１）

三角測量の原理を利用することで、この視差値ｄから、下記の算出式（２）より、当該画像箇所（視差算出対象箇所）に対応した撮像領域内の当該同一地点までの距離Ｚを算出することができる。なお、下記の式（２）において、「Ｂ」は、２つの撮像部１１０Ａ，１１０Ｂ間における基線長であり、「ｆ」は撮像部の焦点距離である。
Ｚ ＝ Ｂ×ｆ／ｄ ・・・（２）

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて各種の認識処理を実行する。

画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオードを用いている。フォトダイオードは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

次に、本発明の特徴部分である視差算出処理について説明する。
図３は、本実施形態の視差演算部１２１のブロック図である。
本実施形態の視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの撮像画像データを基準画像データとし、他方の撮像部１１０Ｂの撮像画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像箇所について算出される視差値をそれぞれの画像箇所の画素値として表した視差画像を示すものである。

視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂから出力される画像データを、それぞれ、画像データバスを介して受け取り、これらの画像データを画像バッファ１２２Ａ，１２２Ｂに保持する。画像バッファ１２２Ａに保持された基準画像データは、順次、検索対象領域としての基準ウィンドウを切り出す基準ウィンドウ切り出し部１２３Ａに送られる。この基準ウィンドウ切り出し部１２３Ａでは、基準画像上の各画像箇所（１つの画素又は２以上の画素で構成される画像領域。本実施形態では１つの画素。）を、視差算出対象箇所としての対象画素として順次決定する。そして、決定した対象画素に関連付けられる検索対象領域としての基準ウィンドウを切り出す処理を行う。

また、画像バッファ１２２Ｂに保持された比較画像データは、順次、対応候補領域としての比較ウィンドウを切り出す比較ウィンドウ切り出し部１２３Ｂに送られる。この比較ウィンドウ切り出し部１２３Ｂでは、基準画像上の対象画素（視差算出対象箇所）と同じエピポーラライン上に存在する各対応候補箇所である対応候補画素にそれぞれ関連付けられた各対応候補領域としての比較ウィンドウを順次切り出す処理を行う。そして、基準画像中から切り出された基準ウィンドウに映し出されている物体部分と同じ物体部分を映し出している比較画像中の比較ウィンドウを探索するマッチング処理を行う。そして、このマッチング処理で特定した対応領域としての比較ウィンドウに関連付けられている対応箇所としての対応画素を用い、対象画素と対応画素との間のエピポーラライン上のずれ量（基線方向のずれ量）から、対象画素の視差値が算出される。

このマッチング処理は、主に、類似度算出部１２４と視差値算出部１２５で実行される。具体的には、基準ウィンドウ切り出し部１２３Ａ及び比較ウィンドウ切り出し部１２３Ｂにおいて切り出された基準ウィンドウ及び比較ウィンドウ内の画素値（輝度値）のデータは、類似度算出部１２４へ送られる。類似度算出部１２４では、例えば、ＳＡＤ（Sum of Squared Difference）、ＳＳＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などの方法を単一または組み合わせて用い、類似度を算出する。この類似度は、基準ウィンドウ切り出し部１２３Ａによって切り出される基準ウィンドウと、比較ウィンドウ切り出し部１２３Ｂによって切り出される同じエピポーラライン上の各比較ウィンドウとの間でそれぞれ算出されるものであり、両ウィンドウ間における画像の類似性を示す指標値である。類似度は、ＳＳＤやＳＡＤ等で算出した場合には、類似しているほど値が小さくなり、ＮＣＣやＺＮＣＣ等で算出した場合には、類似度が高いほど値も大きくなる。

図４は、基準ウィンドウと比較ウィンドウとの間のずれ量ｄに応じた類似度の分布の一例を示すグラフである。なお、図４の例は、類似しているほど類似度の値が大きくなる例である。
類似度とずれ量との関係は、一般に、図４に示すように、類似度がピークを示すずれ量が存在する分布を示す。類似度算出部１２４では、基準ウィンドウ切り出し部１２３Ａから受け取った基準ウィンドウと、比較ウィンドウ切り出し部１２３Ｂから順次受け取る各比較ウィンドウとの間の類似度を算出し、算出した類似度を、順次、視差値算出部１２５へ送る。

視差値算出部１２５では、同じ基準ウィンドウについて類似度算出部１２４から送られてくる類似度の中から、ピークを示す類似度を特定する。そして、特定した類似度に対応する比較ウィンドウと基準ウィンドウとのずれ量ｄを視差値として算出する。ピークを示す類似度の特定方法は、単純に類似度の最大値を抽出する方法のほか、多項式でのフィッティングや等角直線法などの方法を用い、サブピクセル単位での視差を求める方法を採用してもよい。

以上の処理を、基準画像上の各画素について行うことにより、基準画像上の各画素に映し出されている物体上の地点についての視差値が求まり、視差画像データが生成される。

ここで、本実施形態においては、類似度を算出するにあたり、ずれ量ｄに応じてウィンドウサイズを変更する処理を行う。この処理を実現するにあたり、本実施形態では、視差演算部１２１内のウィンドウ設定テーブル記憶部１２６に、予め、ずれ量ｄと、ウィンドウの設定データとの対応関係を示すウィンドウ設定テーブルを保持している。このウィンドウ設定テーブルは、基準ウィンドウからの基線方向のずれ量（エピポーラライン上のずれ量）が大きい比較ウィンドウほど、ウィンドウの外縁が拡がるような内容となっている。なお、本実施形態では、基準ウィンドウと比較ウィンドウには、同じ設定データを用いる。また、ここでいう設定データは、例えば、図５に示すように、ずれ量ｄとウィンドウ幅ｗ及びウィンドウ高さｈとの対応関係を特定するためのテーブルデータを用いることができるが、これに限られるものではない。

図６は、本実施形態における類似度算出処理の流れを示すフローチャートである。
視差演算部１２１では、まず、ずれ量ｄをゼロにセットし（Ｓ１）、セットしたずれ量ｄに対応するウィンドウ設定データをウィンドウ設定テーブルから取得する（Ｓ２）。そして、ウィンドウ設定データに従って、対象画素に関連付けられた基準ウィンドウを設定し、基準画像データから基準ウィンドウ内の画素データを切り出す処理を行う（Ｓ３）。また、ウィンドウ設定データに従って、対応画素に関連付けられる比較ウィンドウを設定し、比較画像データから比較ウィンドウ内の画素データを切り出す処理を行う（Ｓ４）。

図７は、本実施形態におけるウィンドウ設定の内容の一例を示す説明図である。
図７に示す例においては、基準ウィンドウからの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が大きい比較ウィンドウについての類似度を算出するときほど、ウィンドウ幅ｗ及びウィンドウ高さｈのいずれもが拡大される設定例である。ウィンドウの幅と高さが拡大してウィンドウの外縁が拡がるにしたがって画素数が増える。この例では、ウィンドウの基線方向長さ（エピポーラライン方向長さ）であるウィンドウ幅ｗとずれ量ｄとの関係は、ｗ＝ｐ×ｄ（ｐは定数）の関係となっている。ただし、ハードウェアの制約等で自由なウィンドウ幅ｗを設定できないときは、ウィンドウ幅ｗはハードウェアで設定できるｐ×ｄに最も近い値とみなして使用してもよい。なお、この例では、ウィンドウの幅と高さの両方をずれ量ｄに応じて拡大するものとなっているが、ウィンドウの幅と高さのいずれか一方を拡大するようにしてもよい。

このような設定される基準ウィンドウ及び比較ウィンドウから画素データを切り出したら、これらの画素データ間の類似度を算出し、出力する（Ｓ５）。例えば、類似度に正規化相互相関（ＺＮＣＣ）を用いる場合、ＺＮＣＣ値Ｒ_ＺＮＣＣは、ずれ量ｄ、ウィンドウ幅ｗ、ウィンドウ高さｈ、基準ウィンドウ内の画素（輝度）値Ｂ_Ｒ（ｘ，ｙ）、比較ウィンドウ内の画素（輝度）値Ｂ_Ｌ（ｘ，ｙ）、基準ウィンドウ内の平均画素値（輝度平均値）Ｂ_Ｒave及び比較ウィンドウ内の平均画素値（輝度平均値）Ｂ_Ｌaveを用いて、下記の式（３）より算出することができる。

このようにしてずれ量ｄの比較ウィンドウについての類似度を算出したら、ずれ量ｄに１を加算した値ｄ＋１をセットし（Ｓ６）、ずれ量ｄがｄｍａｘを超えるまで（Ｓ７）、ウインドウの外縁を拡大しながら、類似度を算出していく（Ｓ２〜Ｓ６）。そして、すべてのずれ量ｄについて類似度を算出、出力したら、類似度算出処理を終了する。なお、ここでｄｍａｘは、ウィンドウ設定テーブル記憶部１２６に記憶されたずれ量ｄの最大値である。

図８は、本実施形態におけるウィンドウ設定の内容の他の例を示す説明図である。
図８に示す例においては、ウィンドウ内の画素数を変えずに、基準ウィンドウからの基線方向（エピポーラライン上のずれ量）のずれ量ｄが大きい比較ウィンドウについての類似度を算出するときほど、ウィンドウの外縁が拡大される設定例である。この例においては、どの比較ウィンドウについての類似度を算出する際にも、そのウィンドウに含まれる画素数が一定であるため、ウィンドウの外縁が拡大しても処理時間の増加は少ないというメリットがある。ただし、間隔をあけて画素値を取得するため、折り返し歪み等の影響を受けやすくなる。これに対し、図７に示した設定例においては、図９に示すように、ウィンドウの外縁拡大に応じてウィンドウに含まれる画素数が増大するため、処理時間が増加するが、折り返し歪み等の影響は受けにくい。これらの設定例は、回路規模やレンズのボケ特性に応じて使い分けることができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
所定の基線上に配置された撮像部１１０Ａ，１１０Ｂ等の２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の対象画素等の視差算出対象箇所に関連付けられた基準ウィンドウ等の検索対象領域についての画素（輝度）値等の特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補画素等の対応候補箇所にそれぞれ関連付けられた各比較ウィンドウ等の対応候補領域についての画素（輝度）値等の特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量ｄを該視差算出対象箇所の視差値として算出する視差演算部１２１等の視差算出手段を備えた画像処理装置において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量ｄが大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、視差算出対象箇所からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が相対的に大きい対応候補箇所については、その対応候補領域（比較ウィンドウ）の特徴量と比較される検索対象領域（基準ウィンドウ）の外縁が拡がる。本態様によれば、視差算出対象箇所（対象画素）からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が当該対象画素に映し出されている物体上の地点までの距離に対応するずれ量よりも小さい対応候補箇所については、その比較ウィンドウの特徴量と比較される基準ウィンドウの外縁（サイズ）が、当該物体の画像領域についての最適サイズよりも狭めに設定される。この場合、ウィンドウ内に当該物体を構成する同一部材だけが映し出され、そのウィンドウについて十分な特徴量が得られない。したがって、マッチング処理の際に、このような比較ウィンドウが対応領域として特定されるというミスマッチが軽減される結果、ミスマッチによって適切な視差値を算出できないケースを効果的に減らすことができる。そして、視差算出対象箇所（対象画素）からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が当該対象画素に映し出されている物体上の地点までの距離に対応するずれ量と同等か、それよりも大きい対応候補箇所については、その比較ウィンドウの特徴量と比較される基準ウィンドウの外縁（サイズ）が、当該物体の画像領域に対して好適な範囲内又は広めに設定される。この場合、比較的大きな特徴量が得られるので、適切なマッチング処理が可能である。
ただし、基準ウィンドウの外縁（サイズ）が当該物体の画像領域に対して広すぎる場合、当該物体に関する特徴が他の物体に関する特徴によって希釈化されてウィンドウの特徴量に十分に反映されなくなるおそれがある。この場合、マッチング処理において同様の特徴量を有する比較ウィンドウがいくつも検出されてしまい、ミスマッチが発生しやすい。しかしながら、このようなミスマッチが発生したとしても、以下に説明するように、これによる視差値の算出誤差は軽微なものである。
この点について説明すると、基準画像中のウィンドウの中心点についてのエピポーラライン上の位置をｘ１とし、基準画像中のウィンドウの中心点に映し出されている物体上の地点と同じ地点を映し出している参照画像中の点についてのエピポーラライン上の位置をｘ２とする。このとき、ミスマッチにより特定された参照画像中のウィンドウの中心点ｘ２’と、基準画像中のウィンドウの中心点に映し出されている物体上の地点と実際に同じ地点を映し出している参照画像中の点ｘ２との間の画像上の位置誤差を、マッチング誤差ε_ｘとする。本来の視差値ｄがｄ＝ｘ１−ｘ２から求められるとすると、ミスマッチによるマッチング誤差ε_ｘが存在している場合に算出される視差値ｄ’は、ｄ’＝ｘ１−ｘ２’＝ｘ１−ｘ２−ε＝ｄ−ε_ｘとなる。算出される視差値ｄ’の誤差に対してマッチング誤差ε_ｘが与える影響を、視差値誤差率ε_ｄ＝（ｄ−ｄ’）／ｄ＝ε_ｘ／ｄを用いて考えると、その影響は、本来の視差値ｄが大きいほど小さいものとなる。言い換えると、基準画像中のウィンドウの中心点に映し出されている物体上の地点までの距離が近いほど、算出される視差値ｄ’の誤差に対してマッチング誤差ε_ｘが与える影響は小さいものとなる。したがって、視差算出対象箇所からの基線方向のずれ量ｄ（エピポーラライン上のずれ量）が相対的に大きい対応候補箇所については、検索対象領域（基準ウィンドウ）の外縁を拡げてミスマッチが発生したとしても、算出される視差値（ずれ量）の誤差に与える影響は小さい。
以上のように、本態様によれば、基準ウィンドウ内の視差算出対象箇所（対象画素）に映し出されている物体上の地点までの距離に対応する視差値よりも小さい視差値に対応する対応候補領域については、当該物体の物体画像領域に対して相対的に狭い基準ウィンドウが設定される結果、得られる特徴量が小さく、そのような対応候補領域が対応領域として特定されるというミスマッチが軽減される。よって、ミスマッチによって適切な視差値を算出できないケースを効果的に減らすことができる。しかも、本態様によれば、視差算出対象箇所と対応候補箇所との基線方向のずれ量ｄ（エピポーラライン上のずれ量）に応じて、基準ウィンドウの外縁（サイズ）を決定するので、基準ウィンドウ内の特徴量を算出してこれが閾値よりも大きくなるまでウィンドウのサイズを拡大させるという処理を繰り返し行うことによりウィンドウサイズを決定する前記特許文献１に記載の三次元形状計測装置と比較して、処理負荷が小さく、処理時間が短くて済む。

（態様Ｂ）
前記態様Ａにおいて、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量ｄが大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数を変えずに該検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる処理時間の増大を抑制できる。

（態様Ｃ）
前記態様Ａにおいて、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数が増えるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる高いミスマッチ軽減効果を得ることができる。

（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の基線方向の長さが長くなるように、該検索対象領域を設定することを特徴とする。
これによれば、検索対象領域の外縁を拡げたことによる高いミスマッチ軽減効果を得ることができる。

（態様Ｅ）
所定の基線上に配置された２つの撮像手段と、前記２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出手段を備えた画像処理手段とを有し、前記画像処理手段により算出された視差値に基づいて、基準画像上の視差算出対象箇所に映し出されている被写体までの距離を測定する距離測定装置において、前記画像処理手段として、前記態様Ａ〜Ｄのいずれかの態様に係る画像処理装置を用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切な距離測定が可能となる。

（態様Ｆ）
所定の基線上に配置され、移動体周囲を撮像領域として撮像する２つの撮像手段により得られる２つの撮像画像から、撮像領域内に存在する被写体までの距離を測定する距離測定手段と、前記距離測定手段の測定結果に基づいて、前記移動体に搭載された警告機器や制動機器やヘッドランプ１０４等の所定の機器を制御するヘッドランプ制御ユニット１０３や車両走行制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記距離測定手段として、前記態様Ｅに係る距離測定装置を用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切に距離が測定された結果に基づいて、移動体に搭載された機器を適切に制御することが可能となる。

（態様Ｇ）
所定の機器を搭載して移動する移動体において、前記所定の機器を制御する手段として、前記態様Ｆに係る移動体機器制御システムを用いたことを特徴とする。
これによれば、遠距離の物体でも近距離の物体でも適切に距離が測定された結果に基づいて適切に搭載機器を制御できる移動体を提供することが可能となる。

（態様Ｈ）
所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行するマッチング処理工程と、前記マッチング処理工程で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出工程とを、画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、前記マッチング処理工程では、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする。
これによれば、より簡易な処理で視差値の算出誤差の少ないウィンドウサイズを設定することができる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１２２Ａ，１２２Ｂ 画像バッファ
１２３Ａ 基準ウィンドウ切り出し部
１２３Ｂ 比較ウィンドウ切り出し部
１２４ 類似度算出部
１２５ 視差値算出部
１２６ ウィンドウ設定テーブル記憶部

特開２０００−３３１１４８号公報

Claims (8)

1. 所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在し、該視差算出対象箇所から基線方向に各々所定のずれ量離れた複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて該視差算出対象箇所の視差値を算出する視差算出手段を備えた画像処理装置において、
   前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数を変えずに該検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理装置。
3. 請求項１の画像処理装置において、
   前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の画素数が増えるように、該検索対象領域を設定することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記視差算出手段は、前記マッチング処理の際、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の基線方向の長さが長くなるように、該検索対象領域を設定することを特徴とする画像処理装置。
5. 所定の基線上に配置された２つの撮像手段と、
   前記２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在する複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行し、該マッチング処理で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出手段を備えた画像処理手段とを有し、
   前記画像処理手段により算出された視差値に基づいて、基準画像上の視差算出対象箇所に映し出されている被写体までの距離を測定する距離測定装置において、
   前記画像処理手段として、請求項１乃至４のいずれか１項に記載の画像処理装置を用いたことを特徴とする距離測定装置。
6. 所定の基線上に配置され、移動体周囲を撮像領域として撮像する２つの撮像手段により得られる２つの撮像画像から、撮像領域内に存在する被写体までの距離を測定する距離測定手段と、
   前記距離測定手段の測定結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   前記距離測定手段として、請求項５の距離測定装置を用いたことを特徴とする移動体機器制御システム。
7. 所定の機器を搭載して移動する移動体において、
   前記所定の機器を制御する手段を有し、
   前記手段として、請求項６の移動体機器制御システムを用いたことを特徴とする移動体。
8. 所定の基線上に配置された２つの撮像手段により撮像して得られる２つの撮像画像のうちの一方である基準画像上の視差算出対象箇所に関連付けられた検索対象領域についての特徴量と、該２つの撮像画像のうちの他方である比較画像上で該視差算出対象箇所と同じエピポーラライン上に存在し、該視差算出対象箇所から基線方向に各々所定のずれ量離れた複数の対応候補箇所にそれぞれ関連付けられた各対応候補領域についての特徴量とを比較し、該検索対象領域についての特徴量と一致し又は所定の近似範囲内の特徴量を有する対応候補領域を対応領域として特定するマッチング処理を実行するマッチング処理工程と、
   前記マッチング処理工程で特定した対応領域に関連付けられている対応箇所と前記視差算出対象箇所との間の基線方向のずれ量に基づいて視差値を算出する視差算出工程とを、画像処理装置のコンピュータに実行させるための画像処理用プログラムにおいて、
   前記マッチング処理工程では、前記視差算出対象箇所からの基線方向のずれ量が大きい対応候補箇所ほど、当該対応候補箇所に関連付けられる対応候補領域の特徴量と比較される検索対象領域の外縁が拡がるように、該検索対象領域を設定することを特徴とする画像処理用プログラム。

Images