JP5267101B2 - 車両用対象物検出装置 - Google Patents

Description

本発明は、車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と該比較カメラより撮像された比較画像との比較を基に、車両外方に存在する歩行者などの障害物である対象物を検出する車両用対象物検出装置に関する技術分野に属する。

従来より、車両の車室内に設けられた車載カメラによりウィンドガラスを通して撮像した車両外の画像を画像処理することで、走行道路上の白線検出や障害物検出を行うようにした車両用対象物検出装置は知られている。このような検出装置では、例えば、車載カメラによりフロントウィンドガラスを通して車両外方を撮像する場合に、その周辺のダッシュボードやダッシュボード上の載置物が光の反射によりフロントウィンドガラスに映り込んで、画像処理時にその映り込み画像を検出対象物として誤検出してしまうという問題があり、この誤検出を防止するべく、これまでにも様々な技術が提案されている。

例えば、特許文献１に示すものでは、車載カメラの撮像タイミングに合わせて点灯、消滅を交互に繰り返す照明装置をダッシュボード付近に設けるとともに、照明時の撮像画像と非照明時の撮像画像との差分画像を作成し、この作成した差分画像の各画素の画素値の時間的ばらつきが小さい画素を抽出する（ローパスフィルタ処理を施す）ことで映り込み画像を検出するようにしている。
特開２００２−２３０５６３号公報

しかしながら、上述の特許文献１に示す車両用対象物検出装置では、撮像画像に対してローパスフィルタ処理を施す必要があるため、演算処理負担が増大するという問題があり、また、映り込み画像を検出するべく照明装置を車室内に搭載する必要があるため、装置の高コスト化及び複雑化を招くという問題がある。

本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、車両外方を車室内からウィンドガラスを通して撮像する撮像カメラを備え、該撮像カメラにより撮像された撮像画像を基に該車両外方に存在する対象物を検出する車両用対象物検出装置に対して、その構成に工夫を凝らすことで、演算処理負担の低減を図りながら、簡単な構成で、撮像画像中に含まれるフロントウィンドガラスの映り込み画像からなる非対象物画像を容易に抽出（識別）しようとすることにある。

上記の目的を達成するために、請求項１の発明では、車両外方を撮像する撮像手段を基準カメラと比較カメラとの一対のカメラで構成するとともに、ウィンドガラスへの車両固定物の映り込みを両カメラにより撮像したときに該各カメラにより撮像された基準画像及び比較画像間に生じるであろう視差データ（第１視差データ）を予め記憶しておき、基準カメラにより撮像された基準画像中の特徴点が映り込み画像の特徴点である場合にその対応点が存在すると予測される比較画像内の予測領域を、上記第１視差データを基に推定し、該推定した予測領域内にて対応点を見つかった特徴点を抽出することで非対象物画像である映り込み画像を識別するようにした。

具体的には、この発明では、車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と、該比較カメラより撮像された比較画像との比較を基に該基準画像中に含まれる対象物の画像を非対象物画像とは識別して検出することで、該車両外方に存在する該対象物を検出する車両用対象物検出装置を対象とする。

そして、上記非対象物画像は、上記ウィンドガラスにその周辺が映り込むことに起因して上記基準画像中に写し出された映り込み画像であり、上記基準画像中にて特徴点を検出する特徴点検出手段と、上記ウィンドガラスへの車両固定物の映り込みを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離と該ウィンドガラスから該車両固定物までの距離との合計距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第１視差量を第１視差データとして記憶する映り込み視差データ記憶手段と、上記特徴点検出手段により検出された上記基準画像中の特徴点が上記映り込み画像の特徴点であるとした場合に、その対応点が存在すると予測される比較画像内の予測領域を、上記第１視差データを基に推定するとともに、該推定した予測領域内において当該特徴点の対応点を探索する対応点探索手段と、上記基準画像中に含まれる上記特徴点のうち上記対応点探索手段による対応点探索によって対応点が見つかった特徴点を基に上記映り込み画像を推定する非対象物画像推定手段と、上記基準カメラにより撮像された上記基準画像と、上記非対象物画像推定手段により推定された該基準画像中の映り込み画像とを基に、該基準画像中に含まれる対象物画像を検出することで、上記車両外方の対象物検出を行う対象物検出手段と、を備えているものとする。

この構成によれば、車両外方の対象物検出を行う際には、特徴点検出手段によって基準画像内の特徴点が検出され、対応点探索手段によって、該検出された特徴点が映り込み画像の特徴点である場合にその対応点が存在すると予測される比較画像内の予測領域が推定されるとともに、該予測領域内において当該特徴点に対応する対応点探索が実行される。そして、上記特徴点が映り込み画像の特徴点である場合には、予測領域内にてその対応点が見つかるため、対応点が見つかった特徴点を非対象物画像推定手段により抽出することで、基準画像中の映り込み画像を推定することができる。そうして、対象物検出手段によって、この推定された映り込み画像と基準画像とを基に対象物画像を検出して、車両外方の対象物を検出することができる。

ここで、ウィンドガラスへの車両固定物（例えばダッシュボード等）の映り込みにより生じる基準画像内の映り込み画像と比較画像の映り込み画像とは、互いに対応する画素間で、各カメラからウィンドガラスまでの距離とウィンドガラスから車両固定物までの距離との合計距離に応じた視差量（＝第１視差量）が生じる。このため、両画素の画像原点からの座標位置は、互いに一致せずに該視差量に対応する量だけずれることになる。

本発明では、この座標位置のずれ量（＝第１視差量）を基準画像の各画素ごとに、又は基準画像を複数に分割した小領域ごとに第１視差データとして記憶しておくとともに、対応点探索手段による上記予測領域の推定を該第１視差データを基に行うようにしたから、予測領域を容易に推定することができる。尚、上記特徴点が例えば車両固定物の周辺に置かれた載置物の映り込み画像の特徴点である場合であっても、各カメラからウィンドガラスまでの距離とウィンドガラスから載置物での距離との合計距離と、上記第１視差量に対応する合計距離との大小関係から、第１視差データを基に予測領域を容易に推定することができる。

そして本発明では、上記推定した予測領域内に限定して、対応点探索手段による対応点探索を実行するようにしたから、対応点探索に伴う演算処理負担を低減することができる。

請求項２の発明では、請求項１の発明において、上記ウィンドガラスは、上記車両のフロントウィンドガラスであり、上記車両固定物は、上記フロントウィンドガラスの下端縁に沿って車室内側に設けられるダッシュボードを含み、上記特徴点検出手段は、上記基準画像内における上記映り込み画像が生じる領域に対応して予め設定された所定領域内に含まれる特徴点を検出するように構成されており、上記第１視差データは、上記基準画像における上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第１視差量を設定してなるデータであり、上記対応点探索手段は、上記第１視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第１視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置しかつ該特徴点との間の視差量が該求めた第１視差量以上となる画素範囲を上記予測領域として推定するように構成されている
ものとする。

この構成によれば、基準画像中に含まれるダッシュボードの映り込み画像のように、基準画像及び比較画像間の視差量が第１視差量に一致する画像のみならず、ダッシュボード上に置かれた載置物の映り込み画像のように、基準画像及び比較画像間の視差量が第１視差量を超える画像を映り込み画像として推定することができる。

また、対応点探索を実行する探索領域が、比較画像中におけるエピポーラ線上で、基準画像内の特徴点との間の視差量が１視差量以上の領域に限定されるため、対応点探索に伴う演算処理負担を確実に低減することができる。

請求項３の発明では、請求項２の発明において、上記ウィンドガラスを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第２視差量を第２視差データとして記憶するウィンド視差データ記憶手段をさらに備え、上記第２視差データは、上記基準画像における少なくとも上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第２視差量を設定してなるデータであり、上記対応点探索手段は、上記第１視差データ及び第２視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第１視差量及び第２視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置するとともに該特徴点との間の視差量が該求めた第１視差量以上でかつ第２視差量以下となる画素範囲を上記予測領域として推定するように構成されているものとする。

この構成によれば、対応点探索を実行する探索領域を、請求項２の発明における探索領域よりもさらに絞り込むことができ、対応点探索に伴う演算処理負担をより一層確実に低減することができる。

ここで、ダッシュボード上の載置物の映り込みにより生じる基準画像内の映り込み画像と比較画像内の映り込み画像との間の視差量は、各カメラからウィンドガラスまでの距離とウィンドガラスから載置物までの距離との合計距離（つまり各カメラからウィンドガラスまでの距離以上の距離）に応じて生じる視差量であるため上記第２視差量を超えることはない。したがって、本発明の如く、対応点探索領域（予測領域）として、基準画像内にて検出された特徴点との間の視差量が第２視差量以下となる画素範囲を設定したとしても、映り込み画像の推定精度が低下することもない。

請求項４の発明では、請求項１乃至３のいずれか一つの発明において、上記第１視差データを上記映り込み視差データ記憶手段に記憶させるための視差データ記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するモード切換え手段をさらに備え、上記第１視差データは、上記モード切換え手段により上記視差データ記憶モードが設定されている場合において、上記ウィンドガラスに上記車両固定物が映り込む所定条件下で、上記両カメラにより当該映り込みを撮像することで得られる上記基準画像及び比較画像内の映り込み画像を基に設定されるデータであるものとする。

これによれば、メータフード等をダッシュボードに後付けすることで車両固定物の形状が変化した場合であっても、モード切換え手段により視差データ記憶モードを設定して、車両固定物の映り込みを撮像し直すことで、第１視差データを現在の車両固定物の形状に対応した最新のデータに更新することができる。

請求項５の発明では、請求項４の発明において、上記モード切換え手段は、上記車両のイグニッションキースイッチを含んでいて、該キースイッチを所定操作することで上記両モードを切り換え可能に構成されているものとする。

これによれば、視差データ記憶モードと対象物検出モードとを、イグニッションキースイッチを操作するだけで容易に切り換えることができる。

請求項６の発明では、請求項１乃至５のいずれか一つの発明において、上記基準カメラにより撮像された基準画像と、上記非対象物画像推定手段により推定された非対象物画像との差分画像を生成する差分画像生成手段をさらに備え、上記対象物検出手段は、上記差分画像生成手段により生成された差分画像内の対象物画像を検出することで、上記車両外方の対象物検出を行うように構成されているものとする。

この構成によれば、上記基準カメラにより撮像された基準画像中から非対象物画像を差し引いた差分画像を基に対象物検出を行うことで、非対象物を対象物として誤検出するのを確実に防止し、対象物の検出精度を向上させることができる。

以上説明したように、本発明の車両用対象物検出装置によると、演算処理負担の増加を抑制しつつ、基準画像内に含まれる対象物画像を、非対象物画像である映り込み画像とは識別して確実に検出することができ、延いては、車両外方の対象物の検出精度を向上させることが可能となる。

以下、本発明の実施形態を図面に基づいて詳細に説明する。

図１は、本発明の実施形態に係る車両用対象物検出装置としての障害物検出装置１、及び該障害物検出装置１を含む車両用運転支援システムＳを搭載した車両Ａを示す。この障害物検出装置１は、車両前方に存在する歩行者や２輪車等の障害物（対象物）を検出する機能を有しており、上記車両用運転支援システムＳは、障害物検出装置１により障害物が検出された場合にはその旨を車両の乗員に報知する。障害物検出装置１は、後述するように、車両Ａのフロントウィンドガラス２に付着した付着物Ｆ（本実施形態では、汚れ、雨、及び雪。図２参照）を障害物として誤検出しないための付着物識別機能を有しており、車両用運転支援システムＳは、障害物検出装置１により識別された付着物Ｆの種類に応じて、不図示のワイパーやデフロスタ等のアクチュエータを作動させて該付着物Ｆを除去するようになっている。

障害物検出装置１は、フロントウィンドガラス２を通して車両前方を撮像する左右一対のカメラ３Ｌ，３Ｒからなるステレオカメラ３を備えていて、右側カメラ３Ｒ（基準カメラに相当）の撮像画像を基準画像ＧＲとして画像処理することで、車両前方の障害物を検出する。

障害物検出装置１は、基準画像ＧＲの画像処理を行うにあたって、後述するように左側カメラ３Ｌ（比較カメラに相当）の撮像画像である比較画像ＧＬとの間で対応点探索処理を実行することで、フロントウィンドガラス２（図２参照）に車両固定物１０（本実施形態では、フロントウィンドガラス２の下端縁に沿って車室内側に設けられるダッシュボード６、ダッシュボード６上に設置されたスピーカ８及びメータフード９とされる）やその上に置かれた雑誌等の載置物７が映り込むことで生じる基準画像内ＧＲの映り込み画像や、フロントウィンドガラス２に付着物Ｆが付着することで生じる基準画像内ＧＲの付着物画像を識別して、これらの画像を障害物画像として誤検出するのを防止する。

障害物検出装置１は、図３に示すように、上記各カメラ３Ｌ，３Ｒから出力される画像データを処理して障害物検出を行う検出ＥＣＵ１００を備えており、検出ＥＣＵ１００は、障害物を検出したときには、乗員に対して警報を行うべく警報装置１５０に作動信号を出力する。尚、警報装置１５０としては、作動信号を受けて警告音を発するスピーカや、ディスプレイに警告表示を行う表示装置等を採用することができる。

上記各カメラ３Ｌ，３Ｒは、互いの撮像領域が重複するように、車室前部の車幅方向中央部に（ルームミラーの裏側付近に）配設されている。各カメラ３Ｌ，３Ｒは、例えばＣＣＤカメラやＣＭＯＳカメラからなる。

各カメラ３Ｌ，３Ｒはそれぞれ、撮像した画像（基準画像ＧＲ及び比較画像ＧＬ）を、輝度情報（輝度値（画素値に相当））を有するｎ個の画素からなる画像として検出ＥＣＵ１００に出力する。

検出ＥＣＵ１００は、ＣＰＵやＲＯＭ及びＲＡＭ等を有する周知のマイクロコンピュータからなるものであって、モード設定部１０１と、画像記憶部１０２と、映り込み視差データ生成部１０３と、ウィンド視差データ生成部１０４と、映り込み視差データ記憶部１０５と、ウィンド視差データ記憶部１０６と、映り込み画像抽出部１０７と、付着物画像抽出部１０８と、非障害物画像生成部１０９と、差分画像生成部１１０と、障害物検出部１１１と、付着物画像記憶部１１２と、付着物種類判別部１１３と、除去装置駆動部１１４とを備えている。

モード設定部１０１は、エンジン始動用のイグニッションキースイッチ１５に信号の授受可能に接続されていて、該キースイッチ１５からの操作信号を基に、後述する映り込み視差データ（第１視差データに相当）を記憶する第１視差データ記憶モードと、ウィンド視差データ（第２視差データに相当）を記憶する第２視差データ記憶モードと、障害物検出を行う障害物検出モードとを切り換えて設定する。

具体的には、モード設定部１０１は、乗員によるイグニッションキースイッチ１５の所定操作（例えば、ＡＣＣオンとオフとの切り換えを連続して５回実行する等の操作）信号を検知した場合には、乗員によるモード切り換え要求があったものとしてモード切り換えを行う。モードの切り換えは、予め設定した順序（本実施形態では、検出モード→第１記憶モード→第２記憶モードの順）で行われる。すなわち、モード設定部１０１は、例えば検出モードが設定されている場合に上記所定操作信号を検知したときには、現モードを第１記憶モードに切り換え、第１記憶モードが設定されている場合に上記所定操作信号を検知したときには、現モードを第２記憶モードに切り換える。

画像記憶部１０２は、各カメラ３Ｌ，３Ｒによりそれぞれ撮像された画像ＧＬ，ＧＲをそれぞれ一時的に記憶する。

映り込み視差データ生成部１０３は、モード設定部１０１からのモード情報を基に、第１視差データ記憶モードが設定されていると判定した場合には、各カメラ３Ｌ，３Ｒにより撮像された画像ＧＬ，ＧＲを読み込んで、読み込んだ両画像ＧＬ，ＧＲを基に両者の視差量情報を含む映り込み視差データを生成し、生成した映り込み視差データをＥＥ−ＰＲＯＭなどからなる映り込み視差データ記憶部に出力して記憶させる。

ここで、第１記憶モード設定状態での各カメラ３Ｌ，３Ｒによる撮像処理は、主として、工場出荷時又はディーラでの車両点検時における第１所定環境下で行われる。第１所定環境下とは、車両固定物１０上に載置物７が存在せず、かつ、フロントウィンドガラス２に該車両固定物１０の映り込みが強制的に生じるような照度環境（車両固定物１０周辺の照度等により決まる環境）にある状態をいい、作業者は、上述のキースイッチ操作により第１記憶モードを設定する前に、各カメラ３Ｌ，３Ｒによる撮像環境を上記第１所定環境になるように調整しておけばよい。

映り込み視差データ生成部１０３における視差データの生成処理は、以下の手順で行われる。先ず、基準画像ＧＲ内の特徴点を画素の輝度変化などにより抽出し、次いで、比較画像ＧＬ内にて基準画像ＧＲ内の特徴点の画素の輝度変化と同じ輝度変化する画素を該各特徴点に対応する対応点として探索する。この対応点の探索は、公知の方法であるArea-based matching手法に基づいて行われる。そして、各特徴点ごとにそれぞれに対応する対応点との視差量を算出して映り込み視差データを生成するとともに、生成した映り込み視差データを映り込み視差データ記憶部１０５に出力して記憶させる。ここで、基準画像ＧＲ内にて特徴点が検出されなかった画素については、視差量を算出することができないため例えば当該画素に最も近い特徴点における視差量を使用すればよい。

そうして生成される映り込み視差データは、図４に示すように、基準画像ＧＲ内における車両固定物１０の映り込みが生じる領域内の各画素ごとに、又は上記所定領域を複数に分割した小領域ごとに、比較画像ＧＬ内の対応点との視差量である第１視差量ａｉｊを設定したデータであって、各画素の座標原点Ｏからの座標位置（ｘｉ，ｙｊ）と、該各画素が所属する小領域ごとに設定された第１視差量ａｉｊとに関する情報を含んでいる。映り込み視差データは、各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離Ｌ２（図１０参照）と該フロントウィンドガラス２から該車両固定物１０までの距離Ｌ１との合計距離ＬＡに応じて生じる両画像ＧＬ，ＧＲの互いに対応する画素間の視差量ａｉｊを設定したデータである。

同様に、ウィンド視差データ生成部１０４は、モード設定部１０１からのモード情報を基に、第２記憶部モードが設定されていると判定した場合には、各カメラ３Ｌ，３Ｒにより撮像された画像ＧＬ，ＧＲを読み込んで、読み込んだ両画像ＧＬ，ＧＲ間を基に両者の視差量情報を含むウィンド視差データを生成するとともに、生成したウィンド視差データをＥＥ−ＰＲＯＭなどからなるウィンド視差データ記憶部１０６に出力して記憶させる。

ここで、第２記憶モード設定状態での各カメラ３Ｌ，３Ｒによる撮像処理は、主として、工場出荷時又はディーラでの車両点検時における第２所定環境下で行われる。第２所定環境下とは、フロントウィンドガラス２の全面にテストパターンを貼り付けた状態で、かつ、各カメラ３Ｌ，３Ｒによる撮像画像にテストパターンのパターンがはっきりと映し出されるような照度環境にある状態をいい、作業者は、上述のキースイッチ操作により第２記憶モードを設定する前に、各カメラ３Ｌ，３Ｒによる撮像環境を上記第２所定環境になるように調整しておけばよい。尚、テストパターンとしては、例えばフロントウィンドガラス上の座標位置に応じてそれぞれ異なる濃淡値を有するグラディエーションパターンを採用すればよい。

ウィンド視差データ生成部１０４における視差データの生成処理は、映り込み視差データ生成部１０３における処理と同様に、基準画像ＧＲ内の特徴点に対応する比較画像ＧＬ内の対応点を探索して、各特徴点ごとにそれぞれの対応点との視差量を算出するという手順で行われる。

そうして生成されるウィンド視差データは、図５に示すように、基準画像ＧＲ内におけるフロントウィンドガラス２に対応する領域（本実施形態では基準画像ＧＲの全域）内の各画素ごとに又は上記領域を複数に分割した小領域ごとに比較画像ＧＬ内の対応点との視差量である第２視差量ｂｉｊ（ウィンド視差量）を設定したデータであって、各画素の座標原点Ｏからの座標位置（ｘｉ，ｙｊ）と、該各画素が所属する小領域ごとに設定された第２視差量ｂｉｊとに関する情報を含んでいる。ウィンド視差データは、各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離Ｌ２（図１０参照）に応じて生じる両画像ＧＬ，ＧＲの互いに対応する画素間の視差量ｂｉｊを設定したデータである。

映り込み画像抽出部１０７は、基準画像ＧＲ中からフロントウィンドガラス２に映り込んだ車両固定物１０やその上の載置物７の画像（映り込み画像）を抽出する。

付着物画像抽出部１０８は、基準画像ＧＲ中からフロントウィンドガラス２上の付着物Ｆの画像を抽出する。

非障害物画像生成部１０９は、映り込み画像抽出部１０７にて抽出した映り込み画像と、付着物画像抽出部１０８にて抽出した付着物画像とを重畳して非障害物画像として生成する（図６参照）。

差分画像生成部１１０は、図６に示すように、画像記憶部１０２に記憶された基準画像ＧＲと、非障害物画像生成部１０９にて生成された非障害物画像との差分画像を生成する。

障害物検出部１１１は、差分画像生成部１１０にて生成された差分画像に対して障害物検出処理を実行する。具体的には、本実施形態では、障害物として、歩行者、車両、及び二輪車等を検出するようになっており、障害物検出部１１１は、予め記憶したこれらのテンプレート画像を基に、上記差分画像に対してパターンマッチング処理を実行することで、車両前方に障害物が存在するか否かを検出する。そして、該障害物検出部１１１は、障害物を検出したときには、警報装置１５０に対して作動信号を出力する。

警報装置１５０は、障害物検出部１１１からの作動信号を受けて、乗員に対して警告音を発することで車両前方に障害物が存在する旨を報知する。

付着物画像記憶部１１２は、付着物Ｆのうちその形状に特徴があるもの（本実施形態では雨及び雪）の形状データを予め記憶している。具体的には、雨粒に対応する形状は縦長の粒形状とされ、雪に対応する形状は星型形状とされている。

付着物種類判別部１１３は、付着物画像抽出部１０８にて抽出された付着物画像に対して、付着物画像記憶部１１２に記憶された形状データをテンプレート画像として形状マッチング処理を実行することで付着物Ｆの種類を判別する。具体的には、付着物種類判別部１１３は、形状マッチング処理を実行した結果、付着物画像と雪形状データとのマッチング度が所定値以上である場合には、付着物Ｆを雪と判定し、付着物画像と雨粒形状データとのマッチング度が所定値以上である場合には、付着物Ｆを雨と判定し、いずれのデータに基づくマッチング度も所定値を下回る場合には、付着物Ｆを汚れと判定する。

尚、この判定は、形状マッチング処理に限らず、例えば、雪や雨の特性を利用した画像処理によって行うようにしてもよい。具体的には、付着物画像が直ぐに消えてなくなる場合には該付着物Ｆは雪であると判定し、付着物画像の位置がフロントウィンドガラス２の下方に向かって移動していく場合には、付着物Ｆは雨であると判定し、付着物画像の位置が変化しない場合には、付着物Ｆは汚れであると判定するようにすればよい。

除去装置駆動部１１４は、付着物種類判別部１１３にて判定された付着物Ｆの種類に応じて、該付着物Ｆを除去するために必要な除去装置１２０（本実施形態では、ワイパー駆動装置１２０ａ、デフロスタ１２０ｂ、及びウォッシャ装置１２０ｃからなる）を駆動する。具体的には、除去装置駆動部１１４は、付着物種類判別部１１３にて、付着物Ｆが雨であると判定された場合には、ワイパー駆動装置１２０ａを駆動し、付着物Ｆが雪であると判定された場合には、ワイパー駆動装置１２０ａ及びデフロスタ１２０ｂを駆動し、付着物Ｆが汚れであると判定された場合には、ワイパー駆動装置１２０ａ及びウォッシャ装置１２０ｃを駆動する。これにより、フロントウィンドガラス２に付着した付着物Ｆをその種類に応じて効率的に除去することができる。

さらに、ワイパー駆動装置１２０によりワイパー駆動させたにもかかわらず、付着物Ｆが除去されないことが検出されるときには、ワイパーブレードの劣化と判定して、ワイパーブレードの交換を指示する警報を出力させることとしても良い。

次に、検出ＥＣＵ１００における画像処理の全体の流れについて、図７のフローチャートを基に説明する。

先ず、最初のステップＳ１では、各カメラ３Ｌ，３Ｒからの画像情報、及びモード設定部１０１にて現在設定されているモード設定情報を読み込む。

ステップＳ２では、ステップＳ１で読み込んだモード設定情報を基に、検出モードが設定されているか否かを判定し、このステップＳ２の判定がＮＯであるときにはステップＳ７に進む一方、ＹＥＳであるときにはステップＳ３に進む。

ステップＳ３では、映り込み画像抽出部１０７において、ステップＳ１で読み込んだ基準画像ＧＲ内に含まれる映り込み画像を抽出する。このステップＳ３の処理の詳細については後述する。

ステップＳ４では、付着物画像抽出部１０８において、ステップＳ１で読み込んだ基準画像ＧＲ内に含まれる付着物画像を抽出する。このステップＳ４の処理の詳細については後述する。

ステップＳ５では、非障害物画像生成部１０９にて、ステップＳ３で抽出した映り込み画像とステップＳ４で抽出した付着物画像とを基に障害物画像を生成し、差分画像生成部１１０にて、基準画像ＧＲと障害物画像との差分画像を生成し、障害物検出部１１１にて差分画像を基に障害物検出を行う。

ステップＳ６では、付着物種類判別部１１３において、ステップＳ４で抽出した付着物画像を基に付着物Ｆの種類を判定し、その判定情報を除去装置駆動部１１４へと出力する。そして、除去装置駆動部１１４において、この判定情報を基に、付着物Ｆの種類に応じて予め設定された除去装置１２０ａ乃至１２０ｃに対して必要な作動信号を出力し、しかる後にリターンする。

ステップＳ２の判定がＮＯであるときに進むステップＳ７では、ステップＳ１で読み込んだモード設定情報を基に、第１記憶モードが設定されているか否かを判定し、このステップＳ７の判定がＮＯであるときにはステップＳ９に進み、ＹＥＳであるときにはステップＳ８に進む。

ステップＳ８では、映り込み視差データ生成部１０３において、ステップＳ１で読み込んだ基準画像ＧＲ及び比較画像ＧＬを基に映り込み視差データを生成するとともに、生成した映り込み視差データを映り込み視差データ記憶部１０５に記憶させ、しかる後にリターンする。

ステップＳ９では、上記第２記憶モードが設定されているものと判断し、ウィンド視差データ生成部１０４において、ステップＳ１で読み込んだ基準画像ＧＲ及び比較画像ＧＬを基にウィンド視差データを生成するとともに、生成したウィンド視差データをウィンド視差データ記憶部１０６に記憶させ、しかる後にリターンする。

次に、検出ＥＣＵ１００（映り込み画像抽出部１０７）における映り込み画像抽出処理の詳細を、図８のフローチャートを参照しながら説明する。

ステップＳ３０１では、基準画像ＧＲ内における映り込み画像が生じる領域として予め設定された所定領域内にて画素の輝度変化により特徴点を検出するとともにその座標位置（ｘｉ，ｙｊ）を算出する。

ステップＳ３０２では、映り込み視差データ記憶部１０５に記憶された映り込み視差データ（図４参照）と、ステップＳ３０１で検出した特徴点の座標位置（ｘｉ，ｙｊ）とを基に、当該特徴点の座標位置（ｘｉ，ｙｊ）が属する小領域の視差データである第１視差量ａｉｊを読み込む（算出する）。例えば、特徴点の座標位置が図４のＸ方向に左から２番目、Ｙ方向に下から３番目の小領域に属するものであればａｉｊ＝５１０ｐｉｘｅｌが読み込まれる
ステップＳ３０３では、ウィンド視差データ記憶部１０６に記憶されたウィンド視差データ（図５参照）と、ステップＳ３０１で検出した特徴点の座標位置（ｘｉ，ｙｊ）とを基に、当該特徴点の座標位置（ｘｉ，ｙｊ）が属する小領域の視差データである第２視差量ｂｉｊを読み込む（算出する）。例えば、特徴点の座標位置が図５のＸ方向に左から２番目、Ｙ方向に下から３番目の小領域に属するものであればｂｉｊ＝７１０ｐｉｘｅｌが読み込まれる
ステップＳ３０４では、ステップＳ３０１で検出した基準画像ＧＲ中の特徴点が映り込み画像の特徴点である場合にその対応点が存在すると予測される比較画像ＧＬ内の予測領域を設定する。具体的には、比較画像ＧＬ内において、ｙ＝ｙｊでかつｘｉ＋ａｉｊ≦ｘ≦ｘｉ＋ｂｉｊとなる画素範囲、換言すると、該特徴点に対応するエピポーラ線上に位置しかつｘｉ＋ａｉｊ≦ｘ≦ｘｉ＋ｂｉｊとなる画素範囲を予測領域として設定する。上記例であれば、比較画像ＧＬ内において、基準画像の特徴点位置から、５１０ｐｉｘｅｌ〜７１０ｐｉｘｅｌの位置にある領域を予測領域として設定する。

尚、映り込み視差データに含まれる誤差等を考慮して当該画素範囲を含む若干大きめの領域を予測領域として設定するようにしてもよい。

ステップＳ３０５では、ステップＳ３０４で設定した予測領域内にて（予測領域内のみで）、ステップＳ３０１で検出した特徴点との対応点を探索するとともに、この探索の結果、対応点が見つかったか否かを判定する。そして、このステップＳ３０５の判定がＮＯであるときにはステップＳ３０７に進み、ＹＥＳであるときにはステップＳ３０６に進む。尚、本ステップＳ３０５における対応点探索は、公知の方法であるArea-based matching手法に基づいて行われる。

ステップＳ３０６では、ステップＳ３０１で算出した特徴点の座標位置（ｘｉ，ｙｊ）と輝度からなる画素データを記憶する。

ステップＳ３０７では、基準画像ＧＲの上記所定領域内に含まれる全ての特徴点を検出し終えたか否かを判定し、この判定がＮＯであるときにはステップＳ３０１に戻る一方、ＹＥＳであるときにはステップＳ３０８に進む。

ステップＳ３０８では、ステップＳ３０６で記憶した画素を読み出して、読み出した画素により形成される画像を映り込み画像として抽出し、しかる後にリターンする。

次に、検出ＥＣＵ１００（付着物画像抽出部１０８）における付着物画像抽出処理の詳細を、図９のフローチャートを参照しながら説明する。

上記映り込み画像抽出処理と同様に、ステップＳ４０１では、基準画像ＧＲ内の特徴点を検出するとともにその座標位置（ｘｉ，ｙｊ）を算出する。

ステップＳ４０２では、ウィンド視差データ記憶部１０６に記憶されたウィンド視差データと、ステップＳ４０１で検出した特徴点の座標位置（ｘｉ，ｙｊ）とを基に、当該特徴点の座標位置（ｘｉ，ｙｊ）が属する小領域の視差データである第２視差量ｂｉｊを読み込む（算出する）。例えば、特徴点の座標位置が図５のＸ方向に左から２番目、Ｙ方向に下から４番目の小領域に属するものであればｂｉｊ＝７３０ｐｉｘｅｌが読み込まれる。

ステップＳ４０３では、ステップＳ４０１にて検出した特徴点が付着物画像の特徴点である場合にその対応点が存在すると予測される比較画像ＧＬ内の予測領域を設定する。具体的には、比較画像ＧＬ内において、ｙ＝ｙｊでかつｘ＝ｘｉ＋ｂｉｊとなる画素、換言すると、該特徴点に対応するエピポーラ線上に位置しかつｘ＝ｘｉ＋ｂｉｊとなる画素を該予測領域（画素）として設定する。上記例であれば、比較画像ＧＬ内において、基準画像の特徴点位置から、７３０ｐｉｘｅｌの位置にある領域（画素）を予測領域として設定する。尚、ウィンド視差データに含まれる誤差等を考慮して当該画素を含む若干大きめの領域（例えば３×３の画素領域）を予測領域として設定するようにしてもよい。

ステップＳ４０４では、ステップＳ４０３の処理で設定した対応点探索画素が、ステップＳ４０１で検出した特徴点の対応点であるか否かを、公知の方法であるArea-based matching手法に基づいて判定し、この判定がＮＯであるときにはステップＳ４０６に進む一方、ＹＥＳであるときにはステップＳ４０５に進む。

ステップＳ４０５では、ステップＳ４０１で算出した特徴点の座標位置（ｘｉ，ｙｊ）と輝度からなる画素データを記憶する。

ステップＳ４０６では、基準画像ＧＲ内に含まれる全ての特徴点を検出し終えたか否かを判定し、この判定がＮＯであるときにはステップＳ４０１に戻る一方、ＹＥＳであるときにはステップＳ４０７に進む。

ステップＳ４０７では、ステップＳ４０５で記憶した画素を読み出して、読み出した画素により形成される画像を付着物画像として抽出し、しかる後にリターンする。

ところで、フロントウィンドガラス２への車両固定物１０の映り込みにより生じる基準画像ＧＲ内の映り込み画像と比較画像ＧＬ内の映り込み画像とは、互いに対応する画素間で、各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離Ｌ２と該ウィンドガラス２から車両固定物１０までの距離Ｌ１（図１０参照）との合計距離ＬＡ（＝Ｌ１＋Ｌ２）に応じた第１視差量ａｉｊが生じる。このため、両画素の画像原点Ｏからの座標位置は、図１１に示すように、互いに一致せずに第１視差量ａｉｊ分だけずれる。

一方、車両固定物１０上に載置される載置物７がフロントウィンドガラス２に映り込むことにより生じる基準画像ＧＲ内の映り込み画像と比較画像ＧＬ内の映り込み画像とは、互いに対応する画素間で、各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離Ｌ２と、該ウィンドガラス２から載置物７までの距離Ｌ１′（図１０参照）との合計距離ＬＢ（＝Ｌ１′＋Ｌ２）に応じた視差量を生じる。この視差量（つまり両画素間の位置ずれ量）は、ＬＢ＜ＬＡであることから第１視差量ａｉｊよりも大きくなるがＬＢ≧Ｌ２であることから第２視差量ｂｉｊ（各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離Ｌ２に応じた視差量）以下となる。

したがって、上記実施形態のように、予め第１視差量ａｉｊを含む映り込み視差データ及び第２視差量ｂｉｊを含むウィンド視差データをそれぞれ各視差データ記憶部１０５，１０６に記憶しておくことで、基準画像ＧＲ内にて検出された特徴点が映り込み画像の特徴点である場合にその対応点が存在するであろう比較画像ＧＬ内の予測領域を、ｙ＝ｙｊで（特徴点に対応するエピポーラ線上に位置し）かつｘｉ＋ａｉｊ≦ｘ≦ｘｉ＋ｂｉｊの範囲内の画素領域として容易に推定することができる。

そして、上記実施形態では、ステップＳ３０５の処理で、比較画像ＧＬ内のうち上記推定した予測領域内に限定して対応点探索を実行するとともに、ステップＳ３０８の処理で、対応点が見つかった特徴点の集合を映り込み画像として抽出するようにしたことで、演算処理負担の低減を図りつつ、基準画像ＧＲ内に含まれる映り込み画像を容易に抽出することができ、延いては、ステップＳ５における障害物検出精度を向上させることが可能となる。

また、基準画像ＧＲ内の付着物画像と比較画像ＧＬ内の付着物画像とは、互いに対応する画素間で、各カメラ３Ｌ，３Ｒから付着物Ｆまでの距離、すなわち各カメラ３Ｌ，３Ｒからフロントウィンドガラス２までの距離に応じた視差量ｂｉｊを生じることから、上記実施形態におけるステップＳ４０３の処理で基準画像ＧＲ内の特徴点が付着物画像の特徴点である場合にその対応点が存在すると予測される比較画像ＧＬ内の画素を、ｙ＝ｙｊで（特徴点に対応するエピポーラ線上に位置し）かつｘ＝ｘｉ＋ｂｉｊに位置する画素として容易に推定することができる。

そして、上記実施形態では、ステップＳ４０４の処理で比較画像ＧＬ内のうち上記推定した予測画素に限定して対応点探索を実行するとともに、ステップＳ４０７の処理で対応点が見つかった特徴点を集合をして付着物画像として抽出するようにしたことで、演算処理負担の低減を図りつつ、基準画像ＧＲ内に含まれる付着物画像を容易に抽出することができる。

（他の実施形態）
本発明の構成は、上記実施形態に限定されるものではなく、それ以外の種々の構成を包含するものである。すなわち、上記実施形態では、検出ＥＣＵ１００において付着物画像と映り込み画像とを抽出するようにしているが、これに限ったものではなく、映り込み画像のみを抽出して非障害物画像としてもよい。

また、上記実施形態では、映り込み視差データ及びウィンド視差データをそれぞれ、第１記憶モード及び第２モードにおいて各カメラ３Ｌ，３Ｒにより実際に撮像した画像ＧＲ，ＧＬを基に設定するようにしているが、これに限ったものではなく、理論計算により求めるようにしてもよい。具体的には、各カメラ３Ｌ，３Ｒから車両固定物１０上の各撮像点までの距離は設計段階で既知とされるため、この距離値から三角測量の原理に基づいて映り込み視差データを求めることができ、同様に、各カメラ３Ｌ，３Ｒからフロントウィンドガラス２上の各撮像点までの距離は設計段階で既知とされるため、この距離値から三角測量の原理に基づいてウィンド視差データを求めることができる。

また、上記実施形態では、各カメラ３Ｌ，３Ｒによりフロントウィンドガラス２を通して撮像される車両前方の撮像画像ＧＲ，ＧＬを基に、車両前方に存在する障害物を検出する例を示したが、これに限ったものではなく、例えば、各カメラ３Ｌ，３Ｒによりリヤウィンドガラスを通して車両後方を撮像して、撮像した画像を基に後方車両等を検出するようにしてもよい。

また、上記実施形態では、映り込み視差データとウィンド視差データとを基に、ｙ＝ｙｊでかつｘｉ＋ａｉｊ≦ｘ≦ｘｉ＋ｂｉｊとなる画素範囲を予測領域として設定するようにしているが、例えば、映り込み視差データのみに基づいて、ｙ＝ｙｊでかつｘｉ＋ａｉｊ≦ｘとなる画素範囲を予測領域として設定するようにしてもよい。

また、上記実施形態では、対象物検出装置の一例として、車両前方の障害物を検出する障害物検出装置１を示したが、これに限ったものではなく、例えば、走行道路上の白線を検出する白線検出装置等であってもよい。

本発明は、車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と該比較カメラより撮像された比較画像との比較を基に、車両外方に存在する対象物を検出する車両用対象物検出装置に有用であり、特に、車両前方に存在する歩行者等の障害物を検出する場合に有用である。

本発明の実施形態に係る車両用障害物検出装置及び該障害物検出装置を含む車両用運転支援システムを搭載した車両を示す、その上側から視た模式図である。 フロントウィンドガラスへの映り込み画像を示す、該フロントウィンドガラスを車室内側から見た模式図である。 車両用障害物検出装置を含む車両用運転支援システムの制御構成を示すブロック図である。 映り込み視差データを示す模式図である。 ウィンド視差データを示す模式図である。 基準画像と非障害物画像との差分処理を示す模式図である。 検出ＥＣＵ１００における画像処理の全体流れを示すフローチャートである。 検出ＥＣＵ１００における映り込み画像抽出処理を示すフローチャートである。 検出ＥＣＵ１００における付着物画像抽出処理を示すフローチャートである。 各カメラと車両固定物と車両固定物上の載置物との位置関係を示す車両左側から見た模式図である。 基準画像及び比較画像間に生じる視差量についての説明図である。

Ａ 車両
Ｆ 付着物
ＧＲ 基準画像
ＧＬ 比較画像
ａｉｊ 第１視差量
ｂｉｊ 第２視差量（ウィンド視差量）
１ 障害物検出装置（車両用対象物検出装置）
２ フロントウィンドガラス
３Ｒ 右側カメラ（基準カメラ）
３Ｌ 左側カメラ（比較カメラ）
６ ダッシュボード（車両固定物）
８ スピーカ（車両固定物）
９ メータフード（車両固定物）
１０ 車両固定物
１５ イグニッションキースイッチ（モード切換え手段）
１０１ モード設定部（モード切換え手段）
１０５ 映り込み視差データ記憶部（映り込み視差データ記憶手段）
１０６ ウィンド視差データ記憶部（ウィンド視差データ記憶手段）
１０７ 映り込み画像抽出部（特徴点検出手段、対応点探索手段、非対象物画像推定手段）
１０８ 付着物画像抽出部
１１０ 差分画像生成部（差分画像生成手段）
１１１ 障害物検出部（対象物検出手段）
１１２ 付着物画像記憶部
１１３ 付着物種類判別部
１１４ 除去装置駆動部
１２０ 除去装置

Claims (6)

1. 車両外方をウィンドガラスを通して撮像する基準カメラ及び比較カメラを備え、該基準カメラにより撮像された基準画像と、該比較カメラより撮像された比較画像との比較を基に該基準画像中に含まれる対象物の画像を非対象物画像とは識別して検出することで、該車両外方に存在する該対象物を検出する車両用対象物検出装置であって、
   上記非対象物画像は、上記ウィンドガラスにその周辺が映り込むことに起因して上記基準画像中に写し出された映り込み画像であり、
   上記基準画像中にて特徴点を検出する特徴点検出手段と、
   上記ウィンドガラスへの車両固定物の映り込みを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離と該ウィンドガラスから該車両固定物までの距離との合計距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第１視差量を第１視差データとして記憶する映り込み視差データ記憶手段と、
   上記特徴点検出手段により検出された上記基準画像中の特徴点が上記映り込み画像の特徴点であるとした場合に、その対応点が存在すると予測される比較画像内の予測領域を、上記第１視差データを基に推定するとともに、該推定した予測領域内において当該特徴点の対応点を探索する対応点探索手段と、
   上記基準画像中に含まれる上記特徴点のうち上記対応点探索手段による対応点探索によって対応点が見つかった特徴点を基に上記映り込み画像を推定する非対象物画像推定手段と、
   上記基準カメラにより撮像された上記基準画像と、上記非対象物画像推定手段により推定された該基準画像中の映り込み画像とを基に、該基準画像中に含まれる対象物画像を検出することで、上記車両外方の対象物検出を行う対象物検出手段と、を備えていることを特徴とする車両用対象物検出装置。
2. 請求項１記載の車両用対象物検出装置において、
   上記ウィンドガラスは、上記車両のフロントウィンドガラスであり、
   上記車両固定物は、上記フロントウィンドガラスの下端縁に沿って車室内側に設けられるダッシュボードを含み、
   上記特徴点検出手段は、上記基準画像内における上記映り込み画像が生じる領域に対応して予め設定された所定領域内に含まれる特徴点を検出するように構成されており、
   上記第１視差データは、上記基準画像における上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第１視差量を設定してなるデータであり、
   上記対応点探索手段は、上記第１視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第１視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置しかつ該特徴点との間の視差量が該求めた第１視差量以上となる画素範囲を上記予測領域として推定するように構成されていることを特徴とする車両用対象物検出装置。
3. 請求項２記載の車両用対象物検出装置において、
   上記ウィンドガラスを上記両カメラにより撮像した場合に、該各カメラから該ウィンドガラスまでの距離に応じて生じる、上記基準画像及び上記比較画像の互いに対応する画素間の視差量である第２視差量を第２視差データとして記憶するウィンド視差データ記憶手段をさらに備え、
   上記第２視差データは、上記基準画像における少なくとも上記所定領域内の各画素ごとに、又は該所定領域を複数に分割した小領域ごとに上記第２視差量を設定してなるデータであり、
   上記対応点探索手段は、上記第１視差データ及び第２視差データを基に、上記特徴点検出手段により検出された上記基準画像中の特徴点に対応する上記第１視差量及び第２視差量を求めるとともに、上記比較画像中において、当該特徴点に対応するエピポーラ線上に位置するとともに該特徴点との間の視差量が該求めた第１視差量以上でかつ第２視差量以下となる画素範囲を上記予測領域として推定するように構成されていることを特徴とする車両用対象物検出装置。
4. 請求項１乃至３のいずれか一項に記載の車両用対象物検出装置において、
   上記第１視差データを上記映り込み視差データ記憶手段に記憶させるための視差データ記憶モードと、上記対象物検出を行うための対象物検出モードとを切り換えて設定するモード切換え手段をさらに備え、
   上記第１視差データは、上記モード切換え手段により上記視差データ記憶モードが設定されている場合において、上記ウィンドガラスに上記車両固定物が映り込む所定条件下で、上記両カメラにより当該映り込みを撮像することで得られる上記基準画像及び比較画像内の映り込み画像を基に設定されるデータであることを特徴とする車両用対象物検出装置。
5. 請求項４記載の車両用対象物検出装置において、
   上記モード切換え手段は、上記車両のイグニッションキースイッチを含んでいて、該キースイッチを所定操作することで上記両モードを切り換え可能に構成されていることを特徴とする車両用対象物検出装置。
6. 請求項１乃至５のいずれか一項に記載の車両用対象物検出装置において、
   上記基準カメラにより撮像された基準画像と、上記非対象物画像推定手段により推定された映り込み画像との差分画像を生成する差分画像生成手段をさらに備え、
   上記対象物検出手段は、上記差分画像生成手段により生成された差分画像内の対象物画像を検出することで、上記車両外方の対象物検出を行うように構成されていることを特徴とする車両用対象物検出装置。

Images