JP4991384B2 - 接近物検知装置及び接近物検知プログラム - Google Patents

Description

本発明は、車両に設けられた撮像装置による撮像結果を用いて、車両に接近する接近物を検知する接近物検知装置及び接近物検知プログラムに関する。

従来、見通しの悪い交差点、信号が設置されていない交差点等に自車両を進入させる場合に、自車両の左右から接近してくる接近物（他車両等）を運転者に知らせるために、自車両の左右を撮像装置で撮像し、撮像結果を自車両内部に設置されたディスプレイに表示する装置が開発されている。このような技術として、特許文献１には、撮像結果を処理して接近物を検知し、接近物が検知された場合に運転手に対して警報を発生する技術が開示されている。

しかし、自車両の走行中に、障害物（樹木、電柱等）の後方を走行する遠方の接近物を検知するときには、接近物だけでなく障害物も相対的に移動するため、接近物を検知するのが困難な場合がある（図１８参照）。このように接近物が存在するにも関わらず検知することができない状態が発生すると、運転手による装置への信頼性が低下してしまうおそれがある。
このような問題を解決するための技術として、特許文献２には、画像を用いて接近物を検知する画像処理手段と、画像を用いて接近物の検知が可能であるか否かを判定する判定手段と、を備え、判定手段による判定結果が不可能である場合に、画像処理手段による接近物検知を停止する技術が開示されている。
また、特許文献３には、カメラで撮像した画像を処理して対象物を抽出する対象物抽出手段と、対象物の視認難易度を判定する視認難易度判定手段と、を備え、視認難易度が所定値を超えた場合に、対象物の拡大画像をカメラで撮像した画像に合成して表示する技術が開示されている。

特開平１１−３５３５６５号公報 特開２０００−２５１９９８号公報 特開２００６−４２１４７号公報

しかしながら、特許文献２に開示された技術は、画像処理手段が接近物を検知することができていたとしても、判定手段が検知不可能であると判定した場合には、接近物の検知を運転手に知らせることができないという問題を有している。
また、特許文献３に開示された技術は、対象物を検知することができない場合に対応することができないという問題を有している。

本発明は、前記した問題を解決すべく創案されたものであり、接近物を検知可能な場合に加えて、接近物を検知不能な場合であっても運転者による的確な安全確認作業を可能とする接近物検知装置及び接近物検知プログラムを提供することを課題とする。

前記課題を解決するため、本発明の接近物検知装置は、車両の周辺に関する周辺データを取得する周辺データ取得部と、前記周辺データに含まれる撮像データに基づいて、車両に接近する接近物を検知する接近物検知部と、前記撮像データが接近物検知に好適であるか否かを判定する好適判定部と、接近物が検知された場合には、接近物を検知した旨を通知するデータを出力し、接近物が検知されず、かつ、前記撮像データが接近物検知に不適であると判定された場合には、接近物を検知することができない旨を通知するデータを出力する通知データ出力部と、を備え、前記好適判定部は、前記撮像データから縦エッジを抽出した縦エッジ画像を生成し、前記縦エッジ画像に基づいて、水平座標の濃度値を垂直座標方向に累積した縦エッジプロファイルを生成し、前記縦エッジプロファイルと判定基準との交差数に基づいて複雑度を算出し、前記複雑度が閾値未満である場合に、前記撮像データが接近物検知に好適であると判定し、前記複雑度が閾値以上である場合に、前記撮像データが接近物検知に不適であると判定するものであって、前記撮像データを複数の領域に分割して領域ごとに好適であるか不適であるかを判定し、前記接近物を検知することができない旨を通知するデータは、接近物検知に不適であると判定された領域を強調する画像データを含むことを特徴とする。

また、本発明の接近物検知プログラムは、コンピュータを、車両の周辺に関する周辺データを取得する周辺データ取得部、前記周辺データに含まれる撮像データに基づいて、車両に接近する接近物を検知する接近物検知部、前記撮像データが接近物検知に好適であるか否かを判定する好適判定部、及び、接近物が検知された場合には、接近物を検知した旨を通知するデータを出力し、接近物が検知されず、かつ、前記撮像データが接近物検知に不適であると判定された場合には、接近物を検知することができない旨を通知するデータを出力する通知データ出力部、として機能させ、前記好適判定部は、前記撮像データから縦エッジを抽出した縦エッジ画像を生成し、前記縦エッジ画像に基づいて、水平座標の濃度値を垂直座標方向に累積した縦エッジプロファイルを生成し、前記縦エッジプロファイルと判定基準との交差数に基づいて複雑度を算出し、前記複雑度が閾値未満である場合に、前記撮像データが接近物検知に好適であると判定し、前記複雑度が閾値以上である場合に、前記撮像データが接近物検知に不適であると判定するものであって、前記撮像データを複数の領域に分割して領域ごとに好適であるか不適であるかを判定し、前記接近物を検知することができない旨を通知するデータは、接近物検知に不適であると判定された領域を強調する画像データを含むように前記コンピュータを機能させることを特徴とする。

本発明によれば、接近物を検知可能な場合に加えて、接近物を検知不能な場合であっても運転者による的確な安全確認作業を可能とすることができる。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。

＜接近物検知システム＞
図１は、本発明の実施形態に係る接近物検知装置が適用された接近物検知システムを示すブロック図である。図１に示すように、接近物検知システムは、車両に設けられるシステムであり、撮像装置１１と、ナビゲーションシステム１２と、ワイパースイッチ１３と、フォグランプスイッチ１４と、車速センサ１５と、接近物検知装置２０と、出力装置３０と、を備えている。

撮像装置１１は、車両の左右を撮像し、撮像データを接近物検知装置２０に出力する装置（例えば、ビデオカメラ）である。図２は、撮像装置の設置例を説明するための図である。図２（ａ）の例では、撮像装置１１は、車両Ｃの前部左右にそれぞれ設けられたカメラ１１ａ，１１ｂである。カメラ１１ａは車両Ｃの左からの接近物を撮像し、カメラ１１ｂは車両Ｃの右からの接近物を撮像する。図２（ｂ）の例では、撮像装置１１は、車両Ｃの前部に設けられた広視野角のカメラ１１ｃである。図２（ａ）（ｂ）におけるハッチング領域が、各カメラ１１ａ，１１ｂ，１１ｃの視野を表している。

図１に示すように、ナビゲーションシステム１２は、自車両Ｃの周辺の地図情報に関する地図データと、交通情報に関する交通データと、天候に関する天候データと、を接近物検知装置２０に出力する装置である。

ワイパースイッチ１３は、運転手の操作によりワイパーを動作させるスイッチである。ワイパースイッチ１３のＯＮ／ＯＦＦ信号は、接近物検知装置２０に出力される。

フォグランプスイッチ１４は、運転手の操作によりフォグランプを動作させるスイッチである。フォグランプスイッチ１４のＯＮ／ＯＦＦ信号は、接近物検知装置２０に出力される。

車速センサ１５は、自車両Ｃの車両速度を検出するセンサである。検出された車両速度は、接近物検知装置２０に出力される。

≪接近物検知装置２０≫
接近物検知装置２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力回路を備えており、接近物が検知された場合には、接近物を検知した旨を運転手に通知し、接近物が検知されず、かつ、周辺データが接近物検知に不適であると判定された場合には、接近物を検知することができない旨を運転手に通知する装置である。接近物検知装置２０は、機能部として、周辺データ取得部２１と、接近物検知部２２と、好適判定部２３と、汚れ判定部２４と、天候判定部２５と、通知データ出力部２６と、閾値設定部２７と、撮像データ記憶部２８と、動作開始部２９と、を備えている。

周辺データ取得部２１は、自車両Ｃの周辺に関する周辺データを取得するものであり、撮像データ取得部２１ａと、地図データ取得部２１ｂと、天候データ取得部２１ｃと、を備えている。

撮像データ取得部２１ａは、撮像装置１１により得られた撮像データを取得する。この撮像データは、周辺データの一例である。取得された撮像データは、接近物検知部２２、好適判定部２３、汚れ判定部２４及び通知データ出力部２６に出力される。

地図データ取得部２１ｂは、ナビゲーションシステム１２から自車両Ｃ周辺の地図データと、交通データと、を取得する。この地図データ及び交通データは、周辺データの一例である。取得された地図データ及び交通データは、好適判定部２３に出力される。

天候データ取得部２１ｃは、天候データとして、撮像装置１１により得られた撮像データ、ナビゲーションシステム１２からの自車両Ｃ周辺の天候データ、ワイパースイッチ１３のＯＮ／ＯＦＦ信号及びフォグランプスイッチ１４のＯＮ／ＯＦＦ信号の少なくとも一つを取得する。この天候データは、周辺データの一例である。取得された天候データは、天候判定部２５に出力される。

接近物検知部２２は、撮像データに基づいて接近物を検知する。接近物の検知手法については後記する。検知結果は、通知データ出力部２６に出力される。

好適判定部２３は、撮像データの複雑度に基づいて、撮像データが接近物検知に好適であるか否かを判定する。複雑度の判定手法については後記する。判定結果は、通知データ出力部２６に出力される。なお、好適判定部２３は、地図データの複雑度に基づいて、撮像データが接近物検知に好適であるか否かを判定してもよい。
また、好適判定部２３は、複雑度が閾値以上である撮像データを撮像データ記憶部２８に記憶させる。

汚れ判定部２４は、撮像データに基づいて、撮像装置１１に汚れが付着しているか否かを判定する。汚れの判定手法については後記する。判定結果は、通知データ出力部２６に出力される。

天候判定部２５は、撮像装置１１により得られた撮像データ、ナビゲーションシステム１２からの自車両Ｃ周辺の天候データ、ワイパースイッチ１３のＯＮ／ＯＦＦ信号及びフォグランプスイッチ１４のＯＮ／ＯＦＦ信号の少なくとも一つに基づいて、天候が不良であるか否かを判定する。例えば、天候判定部２５は、天候が雨又は霧の場合に、不良であると判定し、それ以外の場合に、良好であると判定する。天候の判定手法については後記する。判定結果は、通知データ出力部２６に出力される。

通知データ出力部２６は、接近物検知部２２の検知結果、好適判定部２３の判定結果、汚れ判定部２４の判定結果及び天候判定部２５の判定結果に基づいて、通知データを生成する。生成された通知データは、出力装置３０に出力される。

閾値設定部２７は、利用者（運転手等）によるナビゲーションシステム１２（ディスプレイ３２）からの入力に基づいて、好適判定部２３における複雑度判定の閾値又は判定基準を設定・変更する。

撮像データ記憶部２８は、複雑度が閾値以上である撮像データを記憶する。

動作開始部２９は、撮像装置１１の撮像データ、ナビゲーションシステム１２の地図データ及び車速センサ１５の検出結果の少なくとも一つに基づいて、接近物検知装置２０の他の機能部の動作を開始させる。
例えば、動作開始部２９は、自車両Ｃが交差点に接近した場合、又は、自車両Ｃが交差点に接近し、かつ、車両速度が所定速度（例えば、１０ｋｍ／ｈ）以下である場合に、動作を開始させる。

出力装置３０は、通知データを運転手に知らせるための装置であり、スピーカ３１と、ディスプレイ３２と、を備えている。出力装置３０は、前記したナビゲーションシステム１２と一体化されていてもよい。

≪接近物の検知手法≫
続いて、接近物検知部２２による接近物の検知手法について説明する。図３は、接近物検知部による接近物の検知手法を説明するための図であり、（ａ）は画像を示す図、（ｂ）は縦エッジ画像を示す図、（ｃ）は縦エッジプロファイルを示す図である。図４は、接近物検知部による接近物の検知手法を説明するための図であり、テンプレートマッチングを説明するための図である。図５は、接近物検知部による接近物の検知手法を説明するための図であり、移動量と接近物領域との関係を示す図である。図６は、接近物検知部による接近物の検知手法を説明するための図であり、接近物領域を示す図である。

接近物検知部２２は、撮像装置１１により撮像された撮像画像５１の処理範囲５２内の画像（図３（ａ）参照）から縦エッジを抽出した縦エッジ画像５３（図３（ｂ）参照）を生成し、処理範囲５２内において水平座標ｘの濃度値を垂直座標ｙ方向に累積した縦エッジプロファイル５４（図３（ｃ）参照）を生成する。図３（ｃ）に示すように、縦エッジプロファイル５４は、横軸が撮像画像の水平座標ｘ、縦軸が濃度累積値を示す１次元の波形であり、縦エッジに対応する部分が、大きい値を有する。

続いて、図４に示すように、接近物検知部２２は、縦エッジプロファイル５４のうち、水平座標ｘ_０から長さｍの波形をテンプレート５５とし、所定時間Δｔ_１前の縦エッジプロファイル５６の水平座標ｘ_０の前後ｎを探索範囲５７としてテンプレート５５と類似する波形を探索する。類似度ｒ（ｘ_１）は、下記式（１）により表される。
ｒ（ｘ_１）＝Σ｛ｆ（ｘ_０＋ｉ−ｘ_１）−ｔ（ｘ_０＋ｉ）｝^２ …式（１）
ここで、ｔ（ｘ_０＋ｉ）はテンプレート５５の波形を表し、ｆ（ｘ_０＋ｉ−ｘ_１）は時刻ｔ−Δｔ_１における縦エッジプロファイル５６の探索範囲５７の波形を表す。ここで、類似度ｒ（ｘ_１）が最小となるｘ_１が、テンプレート５５に最も近い波形が存在する水平座標を表す。接近物検知部２２は、このｘ_１を用いて、移動量ｄ（ｘ_０）＝ｘ_０−ｘ_１を算出する。続いて、接近物検知部２２は、座標ｘ_０を変更してテンプレートを決定し、このテンプレートに最も近い波形を時刻ｔ−Δｔ_１の縦エッジプロファイルから探索する。接近物検知部２２は、このテンプレートマッチングを繰り返し、全てのｘ_０についての移動量ｄ（ｘ_０）を算出する。

自車両Ｃの右方向を撮像する撮像装置１１ｂ（図２参照）の場合には、接近物は画像上を右から左に移動するので、接近物検知部２２は、左移動すなわち移動量が負の領域を算出すればよい。図５の場合には、（ｘ_０，ｘ_２）が接近物領域５８となる。

図６に示すように、接近物検知部２２は、接近物領域５８（ｘ_０，ｘ_２）について、横エッジを抽出して横エッジプロファイル５９を算出する。接近物検知部２２は、横エッジプロファイル５９が所定値以上となるｙ座標の上下端を接近物のｙ座標（ｙ_０，ｙ_２）とし、これら（ｘ_０，ｘ_２）（ｙ_０，ｙ_２）に囲まれた領域を最終的な接近物領域６０とする。

接近物検知部２２は、接近物の有／無（１／０）と、接近物領域座標（ｘ_０，ｘ_２）（ｙ_０，ｙ_２）を通知データ出力部２６に出力する。なお、接近物検知部２２による接近物の検知手法は、前記した手法に限定されず、特開２００５−２５１１９８号公報に開示された、接近物の移動ベクトルを算出するオプティカルによる手法を用いてもよい。

≪複雑度の判定手法≫
続いて、好適判定部２３による複雑度の判定手法について説明する。図７は、好適判定部による複雑度の判定手法を説明するための図であり、（ａ）は縦エッジプロファイルを示す図、（ｂ）は縦エッジプロファイルと判定基準との交差数と、複雑度との関係を示す図、（ｃ）は複雑度と最終複雑度との関係を示す図、（ｄ）は画像の領域と最終複雑度との関係を示す図である。

まず、好適判定部２３は、接近物検知部２２と同様の手法により、撮像装置１１により撮像された撮像画像の画像から縦エッジを抽出した縦エッジ画像を生成し、水平座標ｘの濃度値を垂直座標ｙ方向に累積した縦エッジプロファイル６１を生成する。この縦エッジプロファイル６１は、接近物だけでなく樹木、電柱、標識等の縦エッジを含むので、多くのピークを有する。

続いて、好適判定部２３は、縦エッジプロファイル６１と判定基準との交差数を算出する。好適判定部２３は、交差数を複雑度としてもよく、図７（ｂ）に示すグラフ（所定の関数）を用いて複雑度を算出してもよい。

なお、好適判定部２３は、撮像画像を複数の領域に分割し、領域ごとに複雑度を判定してもよい。図７（ａ）では、（０，ｘ_３）を領域１、（ｘ_３，ｘ_４）を領域２、（ｘ_４，ｘ_ｅ）を領域３というように、撮像画像が三つの領域に分割されている。

図８は、撮像画像の領域決定手法を説明するための図であり、（ａ）は撮像装置とマーカとの関係を示す図、（ｂ）は撮像画像を示す図、（ｃ）は道路交差角と、車両回転角と、撮像装置１１の光軸と道路とがなす角と、の関係を示す図である。
図７（ａ）における各領域の境界ｘ_３，ｘ_４は、撮像装置１１からの距離に基づいて決定することができる。
まず、図８（ａ）に示すように、撮像装置１１（ここでは、撮像装置１１ｂ）の光軸と角度θをなす直線道路上において、例えば、撮像装置１１から２０ｍ、６０ｍの距離のマーカ６２，６３を設置する。撮像装置１１によるマーカ６２，６３の撮像結果をパソコンに取り込み、ディスプレイに表示する。続いて、図８（ｂ）に示すように、マウスのカーソル６４をマーカ６２，６３上に移動させてクリックすることにより、マーカ６２，６３のｘ座標を取得する。このように、各マーカ６２，６３のｘ座標を取得することにより、各領域の境界ｘ_３，ｘ_４を設定することができる。
ここで、図８（ｃ）に示すように、撮像装置１１の光軸と道路とがなす角θは一定ではなく、道路の交差角βと自車両Ｃの回転角δとに応じて変化する。ナビゲーションシステム１２に道路の交差角βが記憶されている場合には、好適判定部２３ａは、ヨーレートセンサ、操舵角センサ等の検出結果に基づいて算出された自車両Ｃの回転角δと撮像装置１１ｂの設置角度αとから、角θを、下記式（２）により算出することができる。
θ＝α−β＋δ …式（２）
好適判定部２３は、θとｘ_３，ｘ_４とを関連付けたテーブルを予め作成して記憶していれば、式（２）により算出されたθごとに領域を設定することができる。

好適判定部２３は、前記したように算出された複雑度をそのまま利用することもできるが、撮像データの複雑度が小さくても接近物検知が困難な場合や、交差道路が渋滞しており、渋滞車両Ｃ１，Ｃ１，…により縦エッジプロファイル６５に多くのピークができ（図９（ａ）（ｂ）参照）、複雑度が大きくなる場合がある。
これらの場合にも好適判定部２３の好適な動作を確保するため、ナビゲーションシステム１２による自車両Ｃ近辺の地図情報に関するデータ及び交通情報に関する交通データを利用することが考えられる。図１０は、好適判定部の動作例を説明するためのフローチャートである。

まず、好適判定部２３が、撮像データに基づいて複雑度を算出する（ステップＳ１）。具体的には、好適判定部２３は、撮像データから縦エッジプロファイルを算出し、領域１，２，３ごとに複雑度（交差数）を算出する。図７（ａ）の例では、領域１の複雑度は２、領域２の複雑度は４、領域３の複雑度は１２となる。領域ごとに複雑度をまとめると、｛（０，ｘ_３），２｝，｛（ｘ_３，ｘ_４），４｝，｛（ｘ_４，ｘ_ｅ），１２｝となる。
続いて、好適判定部２３が、地図データ取得部２１ｂを介してナビゲーションシステム１２から車線情報に関する車線データを取得する（ステップＳ２）。
続いて、好適判定部２３が、撮像データが自車両Ｃの左を撮像する撮像装置１１ａのものであり、かつ、交差点で交差する道路が２車線以上であるか否かを判定する（ステップＳ３）。このステップは、車両が左側通行である場合のものであり、交差点で交差する道路が２車線以上である場合には、対向車両（接近物）が小さく撮像されることと、中央分離帯にブッシュが存在して対向車両を撮像することができない場合等に、複雑度が小さくても接近物検知部２２が接近物検知に失敗するおそれがあること、を考慮したものである。

ステップＳ３でＮｏの場合には、好適判定部２３が、地図データ取得部２１ｂを介してナビゲーションシステム１２から交通情報に関する交通データを取得する（ステップＳ４）。続いて、好適判定部２３が、交通データに基づいて、交差点で交差する道路が渋滞であるか否かを判定する（ステップＳ５）。

ステップＳ３でＹｅｓの場合と、ステップＳ５でＹｅｓの場合とには、好適判定部２３が、複雑度を最大値に設定する（ステップＳ６）。ステップＳ１において領域ごとに複雑度を算出した場合には、全ての領域の複雑度を最大値に設定する。ここで、最大値を２５５とする。
｛（０，ｘ_３），２｝→｛（０，ｘ_３），２５５｝
｛（ｘ_３，ｘ_４），４｝→｛（ｘ_３，ｘ_４），２５５｝
｛（ｘ_４，ｘ_ｅ），１２｝→｛（ｘ_４，ｘ_ｅ），２５５｝

ステップＳ６の実行後、又は、ステップＳ５でＮｏの場合に、好適判定部２３が、閾値設定部２７により設定された閾値と複雑度とを比較し（ステップＳ７）、複雑度が閾値以上である場合（ステップＳ７でＹｅｓ）には最終複雑度を１とし（ステップＳ８）、複雑度が閾値よりも小さい場合（ステップＳ７でＮｏ）には最終複雑度を０とする（ステップＳ９）。そして、好適判定部２３は、領域の座標と最終複雑度とを組み合わせた領域データ（判定結果）｛（０，ｘ_３），０｝，｛（ｘ_３，ｘ_４），０｝，｛（ｘ_４，ｘ_ｅ），１｝を通知データ出力部２６に出力する。

好適判定部２３は、撮像データを複数の領域に分割し、領域ごとに複雑度を判定していたが、縦エッジプロファイル６１と判定基準との交差が密な部分を複雑度が大きい領域（図７（ａ）の（ｘ_５，ｘ_ｅ））としてもよい。
この場合、好適判定部２３は、ｘ_４の座標をｘ_ｅの方向に移動させ、最初に縦エッジプロファイル６１と判定基準とが交差する座標をｘ_５とする。この場合、領域（ｘ_０，ｘ_３）（ｘ_３，ｘ_５）（ｘ_５，ｘ_ｅ）が新たに設定され、前記した領域データは、｛（０，ｘ_３），０｝，｛（ｘ_３，ｘ_５），０｝，｛（ｘ_５，ｘ_ｅ），１｝となる。

なお、本実施形態に係る好適判定部２３は、撮像データから算出された縦エッジプロファイル６１に基づいて複雑度を算出したが、参考例として、以下の手法により複雑度を算出してもよい。
他の手法では、好適判定部２３は、三上直樹著，はじめて学ぶディジタルフィルタと高速フーリエ変換，ＣＱ出版，２００５年４月に記載された手法を用いて、縦エッジプロファイルの波形をフーリエ変換して周波数分布を算出して周波数ごとのパワースペクトルを算出する。そして、好適判定部２３は、算出されたパワースペクトルと、複雑ではない画像から予め算出しておいたパワースペクトルとを比較することにより、複雑度を算出する。
さらに他の手法では、好適判定部２３は、特開平６−３４３１４０号公報に開示された手法を用いて、撮像データに関して、図形の複雑さを表すフラクタル次元を算出することにより、複雑度を算出する。

≪閾値の設定手法≫
続いて、閾値設定部２７による閾値の設定手法について説明する。図１１は、閾値を設定するためのディスプレイの画面例を説明するための図である。
図１１に示すように、ディスプレイ３２の画面には、接近物が枠６６に囲まれて強調表示されており、右上には「接近物あり」という文字が表示されている。また、左上には閾値を設定するためのボタン６７が表示されている。ディスプレイ３２はタッチパネルであり、利用者（運転者等）が、ボタン６７を操作することにより、閾値変更指示が出力される構成となっている。具体的には、左矢印ボタン６７ａが操作されると、閾値を小さくする旨の閾値変更指示が出力され、右矢印ボタン６７ｂが操作されると、閾値を大きくする旨の閾値変更指示が出力される。閾値設定部２７は、この閾値変更指示を取得し、閾値変更指示に基づいて好適判定部２３の閾値を設定する。
また、閾値設定部２７は、閾値変更指示に基づいて、好適判定部２３の判定基準を設定する構成であってもよい。
閾値が小さく設定される場合には、接近物検知装置２０は、接近物を検知することができなかった場合において撮像データがあまり複雑ではない場合であっても、後記する接近物確認用の画面を表示することができる。

≪汚れの判定手法≫
続いて、汚れ判定部２４による汚れの判定手法について説明する。図１２は、汚れ判定部による汚れの判定手法を説明するための図であり、（ａ）は汚れが付着した場合の画像を示す図、（ｂ）は縦エッジプロファイルを示す図である。

撮像装置１１の光学系に泥ハネ、昆虫等の汚れ６９が付着した場合には、図１２（ａ）に示すように、撮像画像６８に汚れ６９が映ってしまうので、接近物検知、複雑度判定に支障をきたすおそれがある。まず、汚れ判定部２４は、接近物検知部２２と同様の手法により、撮像データに基づいて縦エッジプロファイル７０を算出する。図１２（ｂ）に示すように、縦エッジプロファイル７０の汚れ６９に対応する部分は、大きなピークを有する。続いて、汚れ判定部２４は、大きなピークの移動量を算出する。汚れ判定部２４は、移動量が常にゼロである場合に、汚れ６９が付着していると判定し、汚れの有／無（１／０）（判定結果）を通知データ出力部２６に出力する。

≪天候の判定手法≫
続いて、天候判定部２５による天候の判定手法について説明する。
天候判定部２５は、例えば、特開２００５−１９５５６６号公報に開示されているように、撮像装置１１による撮像データを用いて、光源から照射された光の反射光を計測することにより、撮像装置１１の光学系に付着した雨滴を検知することができる。
また、天候判定部２５は、特開２００１−２８７４６号公報に開示されているように、撮像データ全体の平均輝度と判定用閾値との大小関係に基づいて、霧による画像ぼけが生じているか否かを判定することができる。
また、天候判定部２５は、ワイパースイッチ１３のＯＮ／ＯＦＦ信号又は車両Ｃに設置された雨滴センサの検出結果に基づいて、雨を判定してもよく、フォグランプスイッチ１４のＯＮ／ＯＦＦ信号に基づいて霧を判定してもよい。
天候判定部２５は、天候が雨又は霧である場合に、接近物検知に不適であると判定し、それ以外である場合に、接近物検知に好適であると判定し、天候不良／良（１／０）（判定結果）を通知データ出力部２６に出力する。

≪通知データ出力部２６の詳細構成≫
続いて、通知データ出力部２６の詳細について説明する。図１３は、通知データ出力部を示す詳細ブロック図である。
図１３に示すように、通知データ出力部２６は、選択データ決定部２６ａと、接近物強調処理部２６ｂと、確認領域強調処理部２６ｃと、音声データ出力部２６ｄと、画像データ出力部２６ｅと、を備えている。

選択データ決定部２６ａは、各判定部２３，２４，２５の判定結果に基づいて、選択データ決定部２６ａ内に予め記憶されたテーブル（図１４参照）を用いて、音声選択データと画像選択データとを決定する。図１４のテーブルで用いられる最終複雑度は、好適判定部２３から取得された領域データ｛（０，ｘ_３），０｝，｛（ｘ_３，ｘ_５），０｝，｛（ｘ_５，ｘ_ｅ），１｝における最終複雑度の最大値（ここでは、１）である。すなわち、選択データ決定部２６ａは、撮像装置１１から取得された撮像データの中に複雑な領域が含まれていれば、その撮像データは接近物検知に不適であるとみなす。
（１）撮像装置１１に汚れが付着している場合（汚れ：１）には、選択データ決定部２６ａは、他のデータに関わらず汚れを通知することができるように、音声選択データを４、画像選択データを１とする。
（２）汚れがなく、かつ、天候が不良である場合には（汚れ：０，天候：１）、選択データ決定部２６ａは、他のデータに関わらず天候不良を通知することができるように、音声選択データを３、画像選択データを１とする。
（３）汚れがなく、かつ、天候が良好である場合には（汚れ：０，天候：０）、選択データ決定部２６ａは、接近物検知結果と最終複雑度の値とによって音声選択データと画像選択データとを決定する。接近物が検知された場合には（接近物：１）、選択データ決定部２６ａは、最終複雑度の値によらずに接近物検知を通知することができるように、音声選択データを１とし、接近物を強調した画像を表示することができるように、画像選択データを０とする。
（４）接近物が検知されず、かつ、最終複雑度が１である場合には（接近物：０，最終複雑度：１）、選択データ決定部２６ａは、撮像装置１１による撮像データが複雑で接近物を検知することができないことを通知することができるように、音声選択デ−タを２とし、確認用画像を表示することができるように、画像選択データを１とする。
（５）接近物が検知されず、かつ、最終複雑度が０である場合には（接近物：０，最終複雑度：０）、選択データ決定部２６ａは、音声選択データを０とし、画像選択データを０とする。
音声選択データは音声データ出力部２６ｄに出力され、画像選択データは画像データ出力部２６ｅに出力される。

接近物強調処理部２６ｂは、撮像装置１１により撮影された画像と、接近物領域を強調した画像（例えば、接近物領域を所定色の矩形枠で囲んだ画像）と、を合成した、合成画像７１を表示させるための合成画像データを生成する（図１５参照）。合成画像データは画像データ出力部２６ｅに出力される。

確認領域強調処理部２６ｃは、撮像装置１１により撮影された画像と、汚れがある領域又は最終複雑度が１である領域を強調した画像と、を合成した、合成画像７２を表示させるための合成画像データを生成する（図１６参照）。合成画像データは、画像データ出力部２６ｅに出力される。なお、画像を強調する手法としては、例えば、接近物領域とは異なる色の矩形枠で囲んだり、この矩形枠を所定周期で点滅させたり、強調する領域を拡大したり、という手法が可能である。

音声データ出力部２６ｄは、音声選択データに基づいて、音声データ出力部２６ｄ内に予め記憶されたテーブル（図１７参照）を用いて、音声データを決定する。
音声選択データが４である場合には、撮像装置１１に汚れが付着しているので、音声データ出力部２６ｄは、汚れの付着により接近物を好適に検出することができない旨を伝える警報（例えば「カメラが汚れています。画面を確認ください。」という警報）を、スピーカ３１を介して出力する。
音声選択データが３である場合には、天候が不良であるので、音声データ出力部２６ｄは、天候不良により接近物を好適に検出することができない旨を伝える警報（例えば「天候が不良です。画面を確認ください。」という警報）を、スピーカ３１を介して出力する。
音声選択データが２である場合には、接近物が検知されておらず、かつ、撮像装置１１による撮像データが接近物検知に不適であるので、音声データ出力部２６ｄは、撮像データが接近物検知に不適である旨を伝える警報（例えば、「接近物が検知できません。画面を確認ください。」という警報）を、スピーカ３１を介して出力する。
音声選択データが１である場合には、接近物が検知されているので、音声データ出力部２６ｄは、接近物が検知された旨を伝える警報（例えば、「接近物がいます。」という警報）を、スピーカ３１を介して出力する。
音声選択データが０である場合には、接近物が検知されず、かつ、撮像装置１１による撮像データが接近物検知に好適であるので、音声データ出力部２６ｄは、スピーカ３１を介して警報を出力しない（無音）。

画像データ出力部２６ｅは、画像選択データに基づいて、各処理部２６ｂ，２６ｃから出力された画像データを出力する。画像選択データが０の場合には、接近物強調処理部２６ｂによる合成画像データが出力され、画像選択データが１の場合には、確認領域強調処理部２６ｃによる合成画像データ（接近物確認用の画面に対応）が出力される。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。本発明は、コンピュータを前記した接近物検知装置として機能させるプログラムとして具現化することも可能である。

本発明の実施形態に係る接近物検知装置が適用された接近物検知システムを示すブロック図である。 撮像装置の設置例を説明するための図である。 接近物検知部による接近物の検知手法を説明するための図であり、（ａ）は画像を示す図、（ｂ）は縦エッジ画像を示す図、（ｃ）は縦エッジプロファイルを示す図である。 接近物検知部による接近物の検知手法を説明するための図であり、テンプレートマッチングを説明するための図である。 接近物検知部による接近物の検知手法を説明するための図であり、移動量と接近物領域との関係を示す図である。 接近物検知部による接近物の検知手法を説明するための図であり、接近物領域を示す図である。 好適判定部による複雑度の判定手法を説明するための図であり、（ａ）は縦エッジプロファイルを示す図、（ｂ）は縦エッジプロファイルと判定基準との交差数と、複雑度との関係を示す図、（ｃ）は複雑度と最終複雑度との関係を示す図、（ｄ）は画像の領域と最終複雑度との関係を示す図である。 撮像画像の領域決定手法を説明するための図であり、（ａ）は撮像装置とマーカとの関係を示す図、（ｂ）は撮像画像を示す図、（ｃ）は道路交差角と、車両回転角と、撮像装置１１の光軸と道路とがなす角と、の関係を示す図である。 （ａ）は渋滞した交差道路の撮像画像を示す図、（ｂ）は縦エッジプロファイルを示す図である。 好適判定部の動作例を説明するためのフローチャートである。 閾値を設定するためのディスプレイの画面例を説明するための図である。 汚れ判定部による汚れの判定手法を説明するための図であり、（ａ）は汚れが付着した場合の画像を示す図、（ｂ）は縦エッジプロファイルを示す図である。 通知データ出力部を示す詳細ブロック図である。 選択データ決定部に記憶されたテーブルである。 接近物強調処理部による合成画像を示す図である。 確認領域強調処理部による合成画像を示す図である。 音声データ出力部に記憶されたテーブルである。 障害物の後方を走行する車両の撮像画像を示す図である。

符号の説明

２０ 接近物検知装置
２１ 周辺データ取得部
２２ 接近物検知部
２３ 好適判定部
２４ 汚れ判定部
２５ 天候判定部
２６ 通知データ出力部

Claims (8)

1. 車両の周辺に関する周辺データを取得する周辺データ取得部と、
   前記周辺データに含まれる撮像データに基づいて、車両に接近する接近物を検知する接近物検知部と、
   前記撮像データが接近物検知に好適であるか否かを判定する好適判定部と、
   接近物が検知された場合には、接近物を検知した旨を通知するデータを出力し、接近物が検知されず、かつ、前記撮像データが接近物検知に不適であると判定された場合には、接近物を検知することができない旨を通知するデータを出力する通知データ出力部と、
   を備え、
   前記好適判定部は、前記撮像データから縦エッジを抽出した縦エッジ画像を生成し、前記縦エッジ画像に基づいて、水平座標の濃度値を垂直座標方向に累積した縦エッジプロファイルを生成し、前記縦エッジプロファイルと判定基準との交差数に基づいて複雑度を算出し、前記複雑度が閾値未満である場合に、前記撮像データが接近物検知に好適であると判定し、前記複雑度が閾値以上である場合に、前記撮像データが接近物検知に不適であると判定するものであって、前記撮像データを複数の領域に分割して領域ごとに好適であるか不適であるかを判定し、
   前記接近物を検知することができない旨を通知するデータは、接近物検知に不適であると判定された領域を強調する画像データを含む
   ことを特徴とする接近物検知装置。
2. 前記周辺データ取得部は、ナビゲーションシステムから地図データを取得する地図データ取得部を備えており、
   前記好適判定部は、前記撮像データが自車両の非中央線側を撮像したものであり、前記地図データが交差点で交差する道路が２車線以上であることを示す場合には、全ての領域の前記複雑度を最大値に設定する
   ことを特徴とする請求項１に記載の接近物検知装置。
3. 前記地図データ取得部は、前記ナビゲーションシステムから交通情報に関する交通データを取得し、
   前記好適判定部は、前記交通データが交差点で交差する道路が渋滞であることを示す場合には、全ての領域の前記複雑度を最大値に設定する
   ことを特徴とする請求項２に記載の接近物検知装置。
4. 前記閾値を設定する閾値設定部をさらに備える
   ことを特徴とする請求項１に記載の接近物検知装置。
5. 前記周辺データ取得部は、天候に関する天候データを取得する天候データ取得部を備えており、
   さらに、前記天候データに基づいて、当該天候が不良であるか否かを判定する天候判定部を備えており、
   前記通知データ出力部は、当該天候が不良であると判定された場合に、その旨を通知するデータを出力する
   ことを特徴とする請求項１に記載の接近物検知装置。
6. さらに、前記撮像データに基づいて、前記撮像装置に汚れが付着しているか否かを判定する汚れ判定部を備えており、
   前記通知データ出力部は、汚れが付着していると判定された場合に、その旨を通知するデータを出力する
   ことを特徴とする請求項１に記載の接近物検知装置。
7. 前記好適判定部は、前記撮像データを撮影する撮影装置からの距離に基づいて前記複数の領域を設定する
   ことを特徴とする請求項１に記載の接近物検知装置。
8. コンピュータを、
   車両の周辺に関する周辺データを取得する周辺データ取得部、
   前記周辺データに含まれる撮像データに基づいて、車両に接近する接近物を検知する接近物検知部、
   前記撮像データが接近物検知に好適であるか否かを判定する好適判定部、及び、
   接近物が検知された場合には、接近物を検知した旨を通知するデータを出力し、接近物が検知されず、かつ、前記撮像データが接近物検知に不適であると判定された場合には、接近物を検知することができない旨を通知するデータを出力する通知データ出力部、
   として機能させ、
   前記好適判定部は、前記撮像データから縦エッジを抽出した縦エッジ画像を生成し、前記縦エッジ画像に基づいて、水平座標の濃度値を垂直座標方向に累積した縦エッジプロファイルを生成し、前記縦エッジプロファイルと判定基準との交差数に基づいて複雑度を算出し、前記複雑度が閾値未満である場合に、前記撮像データが接近物検知に好適であると判定し、前記複雑度が閾値以上である場合に、前記撮像データが接近物検知に不適であると判定するものであって、前記撮像データを複数の領域に分割して領域ごとに好適であるか不適であるかを判定し、
   前記接近物を検知することができない旨を通知するデータは、接近物検知に不適であると判定された領域を強調する画像データを含む
   ように前記コンピュータを機能させることを特徴とする接近物検知プログラム。

Images