JP6185367B2 - 運転支援装置 - Google Patents

Description

本発明は運転支援装置に関し、特に左右カメラで撮像された画像を用いた車両の運転支援制御の停止判定に関する。

特開２００１−８８５７４号公報 特開２００６−６９４４３号公報

オートクルーズや衝突回避といった運転支援制御が知られている。これらの制御は例えば車両前方を被写体としてフロントガラス内に左右離間して設置されたカメラによって得られる画像から周囲環境を判断し、その周囲環境に応じて車両を制御する。例えば車両進行方向の障害物を検知して走行停止制御を行ったり、先行車両を認識し、所定の車間距離を保つような加減速制御である。
上記特許文献１，２には、雨天等での先行車認識精度が低下している場合の判定手法や、走行制御のホルト（HALT）判定（制御停止判定）を行うことが記載されている。

豪雨などにより、画像処理に基づく周囲環境判断精度が低下した場合、運転支援制御を停止することが、安全のために必要である。
このため、周囲環境判断精度が低下した状況となった場合に、そのような状態をなるべく迅速に検出してホルト判定できることが望ましい。もちろん一方で、運転支援制御の停止による安全性の低下は避けなければならないため不要なホルト判定は避けなければならない。

そこで本発明では、画像処理結果に基づいて、豪雨等の周囲状況に応じて、迅速かつ正確にホルト判定（運転支援制御の停止判定）を行うことができるようにする。

第１に、本発明の運転支援制御装置は、車体正面側を被写体方向として左右に離間して配置された第１カメラ部、第２カメラ部により撮像された第１撮像画像データ、第２撮像画像データに対する画像処理により、周囲環境情報を得る画像処理部と、前記画像処理部で得られた周囲環境に応じて運転支援制御を行う運転支援制御部とを備える。そして前記画像処理部は、各フレームの前記第１撮像画像データと前記第２撮像画像データの一方又は両方を用いて得られた情報から、前記運転支援制御部による運転支援制御を停止させるべき状況であるか否かを判定する制御停止判定処理と、前記第１撮像画像データと前記第２撮像画像データについてのエッジ情報又は輝度情報の差分を求め、該差分に基づいて、前記制御停止判定処理での前記判定の対象とはしない除外フレームを判定する除外フレーム判定処理とを行うものである。
例えば左右のカメラによって撮像された或る同一時間のフレームにおける第１撮像画像データ、第２撮像画像データで画像状態が大きく異なる場合、そのフレームから得られる情報は周囲環境を適切に表したものとはなりにくい。このようなフレームは、制御停止判定（ホルト判定）処理に使用しないようにする。

第２に、上記した本発明に係る運転支援制御装置においては、前記画像処理部は、車両のフロントガラスのワイパー動作が行われている期間に、前記除外フレーム判定処理を行う。
同一フレームにおける第１撮像画像データ、第２撮像画像データで画像状態が大きく異なる典型的な例は、左右ワイパーの動作範囲と第１カメラ部、第２カメラ部の配置位置の都合により、雨天時に、第１撮像画像データはワイパーで雨滴が拭き取られた直後の画像、第２撮像画像データはワイパーで雨滴が拭き取られる直前の画像となる場合である。このような状況下で、適切にフレーム除外を行う。

第３に、上記した本発明に係る運転支援制御装置においては、前記画像処理部は、前記制御停止判定処理において、運転支援制御を停止させるべき状況が観測されることに応じて制御停止判定ポイントを更新し、該制御停止判定ポイントと所定値の比較結果により運転支援制御を停止させるべき状況の判定を行うとともに、前記除外フレーム判定処理により除外フレームと判定されたフレームに対応する処理の際は前記制御停止判定ポイントを維持することが望ましい。
除外フレームの場合に制御停止判定ポイントをリセットやデクリメントせずにキープすることで、除外フレームの影響のないホルト判定を行う。

本発明によれば、第１カメラ部、第２カメラ部により撮像された或るフレームにおいて第１撮像画像データと第２撮像画像データのエッジ情報又は輝度情報の差分から除外フレーム判定を行うことで、制御停止判定にとって不適切なフレームを除外することができる。これによって迅速な制御停止判定と、その精度向上を実現できる。

実施の形態の車両制御システムの構成を示した図である。 実施の形態で実行される画像処理について説明するための図である。 豪雨時の撮像画像状態の説明図である。 ワイパー動作とカメラ位置の関係の説明図である。 実施の形態の制御停止判定処理のフローチャートである。 実施の形態の除外フレーム判定処理のフローチャートである。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての運転支援装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に関連する要部の構成のみを抽出して示している。
車両制御システム１は、自車両に取り付けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、センサ・操作子類１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、及びバス１５を備えて構成される。

画像処理部３は、撮像部２が自車両の前方を撮像して得た撮像画像データに基づき、車外環境を認識するための所定の画像処理を実行する。画像処理部３による画像処理は、例えば不揮発性メモリとされたメモリ４を用いて行われる。なお、撮像部２の内部構成や画像処理部３が実行する具体的な処理の詳細については後述する。

運転支援制御部５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１０で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９の各制御部とバス１５を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。例えば障害物に対する衝突回避のブレーキ制御や、オートクルーズ制御等を実行する。

センサ・操作子類１０は、自車両に設けられた各種のセンサや操作子を包括的に表している。
図ではセンサ・操作子類１０においては、車速センサ１０Ａ、ブレーキ操作に応じてオン／オフされるブレーキスイッチ１０Ｂ、アクセル開度センサ１０Ｃ、ワイパー操作のためのワイパースイッチ１０Ｄ、舵角センサ１０Ｅ、ヨーレートセンサ１０Ｆ、Ｇセンサ１０Ｇを示している。
但し以上はセンサ・操作子類１０としての例示であって、実際に設けられるセンサや操作子はこれら以外にもある。センサとしては例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等がある。また、操作子としては例えば、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチ、ヘッドライトスイッチ、ウィンカースイッチなどがある。

表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表す。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。
表示制御部６は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。

エンジン制御部７は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。
なおエンジン制御部７はメイン制御部としてエンジン系以外の制御も行う。例えばワイパースイッチ１０Ｄの操作があった場合、エンジン制御部７は図示しないワイパー駆動機構部に指示してワイパー動作（間欠／通常／高速ワイパー動作）を実行させる。

トランスミッション制御部８は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。

ブレーキ制御部９は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。

＜２．本実施の形態で実行される画像処理＞
図２により、本実施の形態で実行される画像処理について説明する。
なお、図２では画像処理について説明するため、画像処理部３の構成と共に図１に示した撮像部２の内部構成及びメモリ４も併せて示している。先ず、画像処理に用いる撮像画像データを得るための撮像部２について簡単に説明しておく。
撮像部２には、第１カメラ部２０−１、第２カメラ部２０−２、Ａ／Ｄ変換器２１−１、Ａ／Ｄ変換器２１−２、及び画像補正部２２が設けられている。
第１カメラ部２０−１、第２カメラ部２０−２は、それぞれカメラ光学系と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えて構成され、前記カメラ光学系により前記撮像素子の撮像面に被写体像が結像され、該撮像素子にて受光光量に応じた電気信号が画素単位で得られる。
第１カメラ部２０−１、第２カメラ部２０−２は、いわゆるステレオ法による測距が可能となるように設置される。本例における第１カメラ部２０−１、第２カメラ部２０−２は、自車両のフロントガラスの上部付近において車幅方向（左右方向）に所定間隔を空けて配置されている。第１カメラ部２０−１、第２カメラ部２０−２の光軸は平行とされ、焦点距離はそれぞれ同値とされる。またフレーム周期は同期し、フレームレートも一致している。

第１カメラ部２０−１の撮像素子で得られた電気信号はＡ／Ｄ変換器２１−１に、第２カメラ部２０−２の撮像素子で得られた電気信号はＡ／Ｄ変換器２１−２に供給され、それぞれＡ／Ｄ変換が行われる。これにより、画素単位で所定階調による輝度値を表すデジタル画像信号（画像データ）が得られる。
画像補正部２２には、Ａ／Ｄ変換器２１−１を介して得られる第１カメラ部２０−１による撮像画像に基づく画像データ（以下「第１撮像画像データ」と表記）と、Ａ／Ｄ変換器２１−２を介して得られる第２カメラ部２０−２による撮像画像に基づく画像データ（以下「第２撮像画像データ」と表記）とが入力される。画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対し、第１カメラ部２０−１、第２カメラ部２０−２の取り付け位置の誤差に起因するずれの補正を例えばアフィン変換等を用いて行う。また画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対しノイズの除去等を含む輝度値の補正も行う。

撮像部２で得られた第１撮像画像データ、第２撮像画像データは、画像処理部３によってメモリ４に記録・保持される。
画像処理部３は、例えばマイクロコンピュータで構成され、起動されたプログラムに従って第１撮像画像データ、第２撮像画像データに基づく各種の画像処理を実行する。
図２においては、画像処理部３が実行する各種の画像処理を機能ごとに分けてブロック化して示している。図のように画像処理部３は、機能ごとに大別すると、距離画像生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、先行車両検出処理部３Ｄ、制御停止判定処理部３Ｅ、及び除外フレーム判定処理部３Ｆを有している。

距離画像生成処理部３Ａが実行する距離画像生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する処理となる。具体的に、距離画像生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差として算出し、該視差を用いて三角測量の原理により実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。

車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の距離画像生成処理で生成された距離画像データ（対応点としての画素ごとの距離情報）とに基づき、自車両が走行する路面上に形成された車線を検出する処理となる。具体的に、車線検出処理では、先ず基準画像の各画素の輝度値と各画素の実空間における距離とに基づいて基準画像上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出する。例えば、基準画像上の１画素幅の水平ライン上を左右方向に１画素ずつオフセットしながら探索し、基準画像の各画素の輝度値に基づいて各画素の輝度微分値（＝エッジ強度）が閾値以上に大きく変化する条件を満たす画素を車線候補点として検出する。この処理を、上記探索の対象とする水平ラインを基準画像の例えば下側から上向きに１画素幅ずつオフセットさせながら順次行う。これにより、自車両の右側領域及び左側領域のそれぞれに車線候補点を検出する。

車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出で検出された左右の車線候補点の情報に基づき、Ｘ，Ｙ，Ｚの各軸（Ｘ軸は左右方向、Ｙ軸は高さ方向、Ｚ軸は車両進行方向）で定義される三次元空間上における車線モデルを形成する処理である。具体的には、車線検出部で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）を例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。

なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開２００８−３３７５０号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

先行車両検出処理部３Ｄが実行する先行車両検出処理は、基準画像と距離画像とに基づき自車両の前方に存在する先行車両を検出する処理である。この先行車両検出処理では、先ず、距離画像に基づき物体検出処理を行い、画像内に存在する物体を該物体までの距離の情報も含めて検出する。例えばこの物体検出処理としては、距離画像を、該距離画像を縦方向に仕切る複数の縦領域に分割し、縦領域ごとに画像縦方向（Ｙ方向）の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離をその縦領域内に存在する物体の代表距離とする。そして、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離や方向などの関係性から、同一物体とみなされる画素範囲をグループ化し、画像内に存在する各物体の範囲を特定する。これにより、画像内に存在する物体が該物体までの距離の情報も含めて検出される。
ここで、距離画像はフレームごとに順次生成されるものである。先行車両検出処理では、複数フレームにわたって検出物体の距離の情報をモニタすることで、自車両の走行路上に存在する物体であって、自車両と略同じ方向に所定の速度で移動するものを先行車両として抽出する。このとき、車両以外の物体の誤検出を抑制するために、基準画像を用いたパターンマッチング（例えばブレーキランプ等の車両の特徴点に基づくパターンマッチング）も併せて行う。
先行車両を検出した場合は、先行車両検出情報として先行車距離（＝自車両との車間距離）、先行車速度（＝車間距離の変化割合＋自車速）、先行車加速度（＝先行車速の微分値）を算出する。
なお、上記の先行車両検出処理の手法は特開２０１２−６６７５９号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

例えば以上の先行車両検出処理、車線検出処理、及び車線モデル形成処理で得られた情報により、外部環境として車線や先行車を認識できる。画像処理部３がこれらの情報を運転支援制御部５に与えることで、運転支援制御部５は各種運転支援制御を実行することができる。

但し、豪雨その他の影響で、先行車両検出等の情報の精度が低下している状況では、運転支援制御を行うことが、逆に安全性を低下させたり、快適な走行を妨げることもある。そこで、状況に応じて運転支援制御を停止させる必要がある。いわゆるホルト制御である。
制御停止判定処理部３Ｅにより実行される制御停止判定処理は、ホルト判定、つまり運転支援制御を停止すべき状況であるか否かを判定する処理である。具体例は後述するが、制御停止判定処理により、制御停止すべき状況と判定された場合、運転支援制御部５は運転支援制御を停止する。
また本実施の形態の場合、制御停止（ホルト）判定をすべき場合に迅速な判定を可能とし、なおかつ制御停止判定の精度を高めるために、除外フレーム判定処理部３Ｆが除外フレーム判定を行う。これは、或るフレームの情報を制御停止判定に用いないようにするための処理であり、詳しくは後述する。

＜３．運転支援制御のホルト＞
実際上、運転支援制御を停止すべき状況としては各種考えられる。例えば豪雨、雪、霧、フロントガラスの曇りや汚れなどの影響で先行車等の外部環境認識の精度が低下したような場合は、運転支援制御を停止することが適切である。これらの状況は第１撮像画像データや第２撮像画像データ、或いはこれらに基づく上述の距離画像を用いて判定できる。
但し、例えば雪や雨などでワイパーを駆動している場合、次のような不都合が生ずる。
図３Ａは、第１撮像画像データ、第２撮像画像データにより観測される車両前方の様子を示している。例えば本来、このような前方光景が撮像されるはずであるところ、豪雨の影響で図３Ｂのような画像が撮像されることがある。大まかにいえば、このような前方が見えにくい状況の画像では、検出されるエッジ数が減少したり、距離画像として得られる距離データ数が減少するなどの事象が生ずる。従って基本的には、撮像画像上で「見えにくい状況」を検知した場合に、制御停止すべき状況と判定して運転支援制御を停止させればよい。
ところが、各フレームの撮像画像としては、第１撮像画像データと第２撮像画像データの同一フレーム（同一時点のフレーム）の一方が図３Ｂのように「見えにくい状況」であるにも関わらず、他方が図３Ｃのように前方が観測できる状況である場合もある。これはワイパー動作範囲と第１，第２カメラ部２０−１，２０−２の設置位置の関係による。

図４で説明する。図４はフロントガラス上での左右のワイパーＷＬ、ＷＲの動きを模式的に示したものである。第１カメラ部２０−１、第２カメラ部２０−２の位置も合わせて示している。
図４ＡはワイパーＷＬ、ＷＲのそれぞれによる拭き取り範囲ＡＷＬ、ＡＷＲを示したものである。第１カメラ部２０−１、第２カメラ部２０−２は、拭き取り範囲を通して前方を撮像するように配置されている。
図４Ｂ、図４Ｃ、図４Ｄはワイパー動作過程を示している。ワイパーＷＬ、ＷＲは、それぞれ図４Ａ→図４Ｂ→図４Ｃ→図４Ｄ→図４Ｃ→図４Ｂ→図４Ａ・・・というように駆動される。ここで豪雨時は、ワイパーＷＬ、ＷＲを駆動していても、第１、第２カメラ部２０−１、２０−２による撮像画像のほとんどのフレームでは図３Ｂのように見えにくい画像となる。雨量が多いとワイパーＷＬ、ＷＲで拭き取っても、すぐにフロントガラス上に雨滴が乗るためである。ところがワイパーＷＬ、ＷＲが図４Ｂ→図４Ｃと移動した瞬間では、第２カメラ部２０−２の視界は雨でぼやけているが、第１カメラ部２０−１の視界が拭き取られ、第１撮像画像データのみ、数フレームは図３Ｃのような比較的明瞭な画像となる。またワイパーＷＬ、ＷＲが図４Ｃ→図４Ｂと移動した瞬間では、第１カメラ部２０−１の視界は雨でぼやけているが、第２カメラ部２０−２の視界が拭き取られ、第２撮像画像データのみ、数フレームは図３Ｃのような比較的明瞭な画像となる。
このように、第１，第２撮像画像データにおいて同一フレームで、一方が図３Ｂのように見えにくい画像であり、他方が図３Ｃのような比較的明瞭な画像であると、適正な制御停止判定が困難になる。距離画像が正確に得られなかったり、そもそも距離画像生成や先行車等の物体認識のための画像エッジがばらつくためである。
そこで本実施の形態では、このように第１，第２撮像画像データの状況が大きく異なる場合には、そのフレームは制御停止判定に使用しないようにする。

以下、制御停止判定処理及び除外フレーム判定処理について具体例を説明する。
図５は画像処理部３（制御停止判定処理部３Ｅ）で行われる制御停止判定処理の一例を示している。図５は撮像画像としての各フレーム間隔のタイミングで行われる処理である。
画像処理部３はステップＳ１０１で除外フラグＦｎｃを確認する。これについては後述する。
除外フラグＦｎｃがオフであれば、現在のフレームのホルト判定要素を取得する。ホルト判定要素とは、制御停止判定の指標となる情報であり、次のように各種考えられる。
・第１，第２撮像画像データで検出されるエッジ数（対応点として把握されるエッジ数。なお、第１，第２撮像画像データのうちの一方のエッジ数、つまり輝度変化点の数でもよい）
・距離画像に反映される距離データ数
・孤立データ数（車線や物体等の認識のためのグループ化から外れた、離散的に存在する距離データの数）
・孤立データ数と全距離データ数の比率
・所定距離以上遠方とされた距離データ数
・輝度の分散値

図３Ｂに示したような雨等によってぼやけた画像では、検出されるエッジ数が大きく下がり、これに応じて距離データの数も低下する。さらにこのために白線や物体としての認識のためにグループ化できない距離データ（孤立データ）も多くなる。また画像上、遠方は視界が極度に低下し、画像のぼやけ具合が大きくエッジ数は極端に低下し、距離データも得られにくい。また全体がぼやけることで輝度の分散具合が低下する（例えば或る程度低い輝度値に集中する）。
これらの理由により、上掲した各要素は、雨等による「見にくい状況」を判断する指標となる。そこで画像処理部３はステップＳ１０２において、現フレームにおいての上記のうちのいずれか、又は複数種類のホルト判定要素を取得する。

ステップＳ１０３で画像処理部３は、取得した現フレームについての１又は複数のホルト判定要素を所定の係数演算で判定要素ポイントＰＴに変換する。
そしてステップＳ１０４で制御停止判定ポイントＰｈを求める。つまり制御停止判定ポイントＰｈに現フレームでの判定要素ポイントＰＴを加算する。
ステップＳ１０５では画像処理部３は、制御停止判定ポイントＰｈを停止判定閾値ｔｈＨと比較する。そして制御停止判定ポイントＰｈが停止判定閾値ｔｈＨ以上になっていなければ、そのまま現フレームについての図５の処理を終えるが、制御停止判定ポイントＰｈが停止判定閾値ｔｈＨ以上になっていればステップＳ１０６で運転支援制御を停止すべき状況と判定する。この場合は、画像処理部３は運転支援制御部５に対して、制御停止判定の情報を送信する。運転支援制御部５は、これに応じて運転支援制御の一部又は全部を停止させるとともに、表示制御部６に停止情報を通知する。表示制御部６は表示部１１でドライバーに対し運転支援制御の停止を知らせるための表示制御を実行する。

なお、このような図５の処理における制御停止判定ポイントＰｈは、例えば画像処理部３の起動時や、運転支援制御を再開する際にリセットすることが考えられる。
また判定要素ポイントＰＴは正値に限ってもよいが負値になるようにしてもよい。
正値に限る場合は、ホルト判定要素が、通常の範囲の値（制御停止すべきでない場合の値）である場合や、算出した判定要素ポイントＰＴが所定値以下の場合は、判定要素ポイントＰＴ＝０とすることが適切である。制御停止判定ポイントＰｈが加算されないようにするためである。

判定要素ポイントを正値又は負値とする場合は、見えにくい状況か否かに応じて制御停止判定ポイントＰｈが増減することになる。制御停止判定の迅速性を妨げないためには、制御停止判定ポイントＰｈの下限値は“０”としておくことが好適である。
またこの場合、運転支援制御の停止中も図５の処理を継続して、制御停止判定ポイントＰｈが所定値以下になったら、運転支援制御を再開できる状況と判定してもよい。

例えば以上のように各フレーム毎にホルト判定要素を確認して制御停止判定ポイントＰｈを演算し、制御停止判定ポイントＰｈが停止判定閾値ｔｈＨ以上となったら制御停止と判定するわけであるが、上述のように第１，第２撮像画像データの差異が大きいフレームでは、ホルト判定要素自体が不正確になっていることが想定される。
そこで画像処理部３は、除外フレーム判定処理部３Ｆとしての機能により、図５の処理と並行して図６の除外フレーム判定処理を行うようにしている。この図６の処理はフレームタイミング毎に行う。

画像処理部３はステップＳ２０１でワイパー動作中であるか否かで処理を分岐する。ワイパーが停止されている場合は、ステップＳ２０７で除外フラグＦｎｃをオフとして現フレームについての図６の処理を終える。
ワイパー動作中であれば、画像処理部３はステップＳ２０２に進み、現フレームでの第１，第２撮像画像データにおけるエッジ数と輝度を判定する。即ち第１撮像画像データ、第２撮像画像データのそれぞれにおけるエッジ（画像内での輝度変化点）の数を取得し、またそれぞれの全体の輝度値を求める。全体の輝度値とは、例えば各画素の輝度の平均値、輝度値分散における代表輝度値、輝度積算値などとすればよい。例えば図３Ｂと図３Ｃの画像では、エッジ数と輝度に顕著な差異が生ずるためである。

ステップＳ２０３で画像処理部３は、第１，第２撮像画像データのそれぞれについて差分判定ポイントＰ１、Ｐ２を生成する。例えば変換係数ｋｐ、個別係数ｋｅ，ｋｙを用いて
Ｐ１＝ｋｐ（ｋｅ・Ｅ１＋ｋｙ・Ｙ１）
Ｐ２＝ｋｐ（ｋｅ・Ｅ２＋ｋｙ・Ｙ２）
とする。Ｅ１、Ｅ２は第１，第２撮像画像データの各エッジ数、Ｙ１，Ｙ２は第１，第２撮像画像データの全体輝度値である。
そしてステップＳ２０４で画像処理部３は、第１、第２撮像画像データの差分Ｄｆを求める。即ち
Ｄｆ＝｜Ｐ１−Ｐ２｜とする。

ステップＳ２０５では、このように求めた差分Ｄｆを除外判定閾値ｔｈＤＦと比較する。差分Ｄｆが除外判定閾値ｔｈＤＦ以上となっていたら、現フレームの第１、第２撮像画像データは、差分が大きいとして、ステップＳ２０６に進んで除外フラグＦｎｃをオンとする。例えば現フレームでは、一方が図３Ｂ、他方が図３Ｃのような状況と判断するものである。
また差分Ｄｆが除外判定閾値ｔｈＤＦ以上でなければステップＳ２０７で除外フラグＦｎｃをオフとする。

画像処理部３が各フレームにおける第１，第２撮像画像データについての差分を、この図６のように判定して除外フラグＦｎｃを設定する。上述の図５の処理では、現フレームについて設定された除外フラグＦｎｃをステップＳ１０１で確認する。
従って、第１、第２撮像画像データの差分があまりなく、除外フラグＦｎｃがオフの場合のみ、そのフレームについての情報（ホルト判定要素）が、制御停止判定に用いられる。第１，第２撮像画像データの差分が大きい場合、除外フラグＦｎｃがオンとされることで、図５の処理はステップＳ１０１から処理を終える。従ってそのフレームでは制御停止判定ポイントＰｈについての加減算は行われない。

＜４．まとめ＞
以上説明したように本実施の形態では、画像処理部２は、車体正面側を被写体方向として左右に離間して配置された第１カメラ部２０−１、第２カメラ部２０−２により撮像された第１、第２撮像画像データに対する画像処理により、周囲環境情報を得る。運転支援制御部５は、画像処理部２で得られた周囲環境に応じて運転支援制御を行う。この場合に、画像処理部２は、各フレームの第１、第２撮像画像データの一方又は両方を用いて得られた情報（ホルト判定要素）を用いて、運転支援制御を停止させるべき状況であるか否かを判定する制御停止判定処理（図５の処理）と、第１、第２撮像画像データについてのエッジ情報及び輝度情報の差分Ｄｆを求め、差分Ｄｆに基づいて、制御停止判定処理での判定の対象とはしない除外フレームを判定する除外フレーム判定処理とを行う。
これにより、第１，第２撮像画像データの画像差がある場合は、そのフレームの情報は制御停止判定に用いられないようにすることができ、これによって制御停止すべき否かの判定の精度が低下してしまうことを防ぐことができる。またこれによって正しいホルト判定要素が用いられることになるため、不正確な情報によって制御停止判定が遅れてしまうことを回避できる。つまり迅速かつ正確な運転支援制御の停止判定が可能となる。

またワイパー動作が行われている期間に、除外フレーム判定処理を行うことで、ワイパー動作範囲と第１カメラ部２０−１、第２カメラ部２０−２の設置位置の関係で、同一フレームにおける第１、第２撮像画像データの画像状態が大きく異なるという場合において、上記効果を発揮させることができ、雨や雪の状況に応じての迅速かつ正確な運転支援制御停止が実現される。

また制御停止判定処理において、運転支援制御を停止させるべき状況が観測されることに応じて制御停止判定ポイントＰｈを更新し、制御停止判定ポイントＰｈと所定値（停止判定閾値ｔｈＨ）の比較結果により運転支援制御を停止させるべき状況の判定を行う。この場合に、除外フレーム判定処理により除外フレームと判定されたフレームに対応する処理の際は制御停止判定ポイントＰｈを維持する。除外フレームの場合に制御停止判定ポイントＰｈをリセットやデクリメント等せずにキープすることで、完全に除外フレームの影響のない制御停止判定（ホルト判定）を行うことができ、制御停止判定の正確性、迅速性に好ましい。

＜５．変形例＞
以上、本発明に係る実施の形態について説明したが、本発明は上記で例示した具体例に限定されるべきものではなく、多様な変形例が考えられる。
図６の除外フレーム判定処理では、差分判定ポイントＰ１，Ｐ２の生成にエッジ数と全体輝度の両方を用いたが、エッジ数と輝度のいずれか一方で除外判定を行うようにしてもよい。

また図４及び図５の処理は、各フレームタイミング（各フレームを対象とする処理タイミングで毎回実行するものとしたが、間欠的なフレームタイミングで実行してもよい。但し、迅速な制御停止判定を行うには全フレームタイミングで実行することが好ましい。

また、実施の形態では豪雨や降雪時のワイパー動作によって、左右画像に差異が生ずるフレームを除外するものとしたが、それ以外の何らかの状況で左右の画像が大きく異なった場合も本発明を適用できる。つまりワイパー動作中以外でも図６のステップＳ２０２〜Ｓ２０７を行うようにしてもよい。

また、制御停止判定処理における上述したホルト判定要素は、画面の一部の情報を用いてもよいし、除外フレーム判定処理の差分判定ポイントＰ１，Ｐ２の生成も、画面の一部のエッジ数や輝度を用いてもよい。例えば対象範囲を図３Ａの領域ＡＲ１のように絞って、これらの処理を行ってもよい。これにより演算処理負担を軽減できる。

また運転支援制御を停止する場合には、ドライバーに対しては、表示部１１における視覚的な制御停止の提示だけでなく、アナウンス音等による聴覚的な制御停止の通知を行うこともできる。

１…車両制御システム、３…画像処理部、３Ｄ…先行車両検出処理部、３Ｅ…制御停止判定処理部、３Ｆ…除外フレーム判定処理部、５…運転支援制御部、６…表示制御部、７…エンジン制御部、８…トランスミッション制御部

Claims (3)

1. 車体正面側を被写体方向として左右に離間して配置された第１カメラ部、第２カメラ部により撮像された第１撮像画像データ、第２撮像画像データに対する画像処理により、周囲環境情報を得る画像処理部と、
   前記画像処理部で得られた周囲環境に応じて運転支援制御を行う運転支援制御部と、
   を備え、
   前記画像処理部は、
   各フレームの前記第１撮像画像データと前記第２撮像画像データの一方又は両方を用いて得られた情報から、前記運転支援制御部による運転支援制御を停止させるべき状況であるか否かを判定する制御停止判定処理と、
   前記第１撮像画像データと前記第２撮像画像データについてのエッジ情報又は輝度情報の差分を求め、該差分に基づいて、前記制御停止判定処理での前記判定の対象とはしない除外フレームを判定する除外フレーム判定処理とを行う
   運転支援装置。
2. 前記画像処理部は、車両のフロントガラスのワイパー動作が行われている期間に、前記除外フレーム判定処理を行う
   請求項１に記載の運転支援装置。
3. 前記画像処理部は、
   前記制御停止判定処理において、運転支援制御を停止させるべき状況が観測されることに応じて制御停止判定ポイントを更新し、該制御停止判定ポイントと所定値の比較結果により運転支援制御を停止させるべき状況の判定を行うとともに、前記除外フレーム判定処理により除外フレームと判定されたフレームに対応する処理の際は前記制御停止判定ポイントを維持する
   請求項１又は請求項２に記載の運転支援装置。

Images