JP5723561B2 - 運転支援装置 - Google Patents

Description

本発明は、車両に搭載したステレオカメラで撮像した画像をステレオ処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置に関する。

近年、車両の運転支援装置として、車載のステレオカメラや単眼カメラにより前方の走行環境を撮像して画像認識処理し、前方障害物に対して警報制御を行う技術や、認識した走行環境から先行車を検出し、先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。

このようなドライバに対する運転支援では、ドライバに対する情報提示が必要不可欠であり、例えば、特許文献１には、車線追従の制御信頼性や将来的な状態の変化に対応する情報として、走行路の認識レベルを色又は形状のうちの少なくとも一方を変化させて車両前方画像の仕切線上に合成して表示する技術が開示されている。

特開２００５−３８２２５号公報

特許文献１に開示されているような従来の運転支援装置は、画像認識システムの認識感度や認識信頼性をドライバに情報提示するには至っておらず、ドライバは車両システムによる走行環境の認識状態を容易に把握することができない。そのため、システムによる運転支援制御に対してドライバの取るべき対応に迷いが生じたり、違和感を抱く虞がある。

本発明は上記事情に鑑みてなされたもので、走行環境をステレオ画像に基づいて認識する車両システムの認識状態をドライバが容易に把握することのできる運転支援装置を提供することを目的としている。

上記目的を達成するため、本発明による運転支援装置は、車両に搭載したステレオカメラで撮像した画像をステレオ処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、上記ステレオカメラの撮像画像による走行環境の認識状態を監視し、上記ステレオカメラの撮像開始から認識結果が出力されるまでの時間に基づく認識感度と、上記ステレオ処理による認識結果に対する認識信頼性とを評価する認識状態評価部と、上記認識状態評価部の評価結果をドライバに提示する視覚情報に変換する評価結果表示制御部とを備えたことを特徴とする。

本発明によれば、走行環境をステレオ画像に基づいて認識する車両システムの認識状態をドライバが容易に把握することができる。

運転支援装置の全体構成図 認識状態表示に係る機能ブロック図 認識状態の表示例を示す説明図 認識状態の他の表示例を示す説明図

以下、図面を参照して本発明の実施の形態を説明する。
図１に示す運転支援装置１は、図示しない自動車等の車両に搭載されて外部の走行環境を認識し、ドライバに対する各種運転支援を行うものである。この運転支援装置１による運転支援制御としては、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等がある。

運転支援装置１は、３次元の画像認識による走行環境認識及び運転支援制御を行うステレオカメラユニット２を中心として構成され、ステレオカメラユニット２に、ＣＡＮ等からなる通信バス１０を介して、各種制御ユニットが接続されている。通信バス１０に接続される制御ユニットは、エンジン制御用のエンジンコントローラ３、変速機制御用のトランスミッションコントローラ４、車体挙動制御用のビークルダイナミクスコントローラ（ＶＤＣ）５、マルチファンクションディスプレイ（ＭＦＤ）等からなるメータの表示制御を行うメータ制御ユニット６、自車両の現在位置を検出して地図上に表示し、経路案内等を行うナビゲーションユニット７等である。

ステレオカメラユニット２は、２台のカメラからなるステレオカメラ２０を走行環境の認識センサとして備えている。ステレオカメラ２０は、例えばＣＣＤやＣＭＯＳ等の撮像素子を有する１組の（左右の）カメラ２０ａ，２０ｂで構成されており、シャッター速度可変で互いに同期した２台のカメラ２０ａ，２０ｂを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定し、対象物を異なる視点から撮像する。

このようなステレオカメラ２０を備えるステレオカメラユニット２は、ステレオカメラ２０と、ステレオカメラ２０で撮像した一対のステレオ画像を処理して３次元の距離情報を高速に算出する画像処理エンジン２１と、ステレオカメラ２０からの元画像と３次元距離情報とを用いて道路の白線や先行車、路上の障害物等の物体認識処理を行う認識コントローラ２２と、認識結果に基づいて運転支援のための各制御を統括する制御コントローラ２３とを一体化したユニットとして構成され、車室内上部のフロントウィンドウ内側に設置されている。

画像処理エンジン２１は、ステレオカメラ２０で撮像した自車両外部の周辺環境のステレオ画像対から対応する位置のズレ量をブロックマッチング等によって算出し、このズレ量に基づく距離画像を距離情報として生成する。また、画像処理エンジン２１は、各カメラ２０ａ，２０ｂのシャッタ速度制御、両カメラ間の幾何学的及び光学的ズレ補正や輝度バランス補正等を行う機能も担っており、ステレオカメラ２０で撮像した画像が、例えば１フレーム／０．１秒の割合（テレビ画像で３枚に１枚の割合）で処理される。

画像処理エンジン２１と認識コントローラ２２とは、内部バス２ａを介して相互に接続されている。認識コントローラ２２は、画像処理エンジン２１からの距離情報に対して、所定の閾値内にあるデータをグループ化するグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。

認識した各データは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。

更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。

制御コントローラ２３には、認識コントローラ２２から白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等が入力される。また、制御コントローラ２３には、通信バス１０を介して自車両の車速やヨーレート等の車両情報が入力され、これらの情報に基づいて、プリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御等のドライバに対する運転支援制御を指令する。

また、制御コントローラ２３は、認識コントローラ２２からの情報に基づいてステレオカメラ２０による走行環境の認識結果を監視し、認識状態を評価する。この走行環境の認識状態を評価するため、制御コントローラ２３は、図２に示すように、認識状態評価部２３ａと評価結果表示制御部２３ｂとを備えており、画像処理エンジン２１及び認識コントローラ２２からの出力に基づいて走行環境の認識感度や認識信頼性を評価し、その評価結果を通信バス１０を介して出力し、メータ制御ユニット６或いはナビゲーションユニット７によるディスプレイ出力としてドライバに提示することで、車両システムによる走行環境の認識状態をドライバが容易に把握できるようにする。

認識状態評価部２３ａにおける認識感度の評価は、例えば、ステレオカメラ２０のシャッタ制御による撮像開始から認識結果が出力されるまでの時間に基づいて行うことができる。すなわち、ステレオカメラ２０で車外環境を撮像した後、画像処理エンジン２１による３次元情報の算出を経て認識コントローラ２２による処理が完了し、認識結果が出力されるまでの処理時間を測定し、この計測した処理時間を予め標準的な状態で設定された基準値と比較することにより、認識感度を評価する。

例えば、高速道路上で自車両前方に先行車両が比較的少ない走行環境、市街地の混雑した走行環境、急カーブやアップダウンの連続する走路環境等、刻々と変化する走行環境においてカメラの視野内に入った物体を認識するまでの処理時間を計測し、この処理時間を基準値と比較して感度の指標値を算出することができる。この感度の指標値は、計測した処理時間と基準との差分や処理時間と基準値との比を用いることができ、処理時間の基準値に対する比を感度の指標値として用いる場合には、指標値が１より大きくなる程、認識感度が低下しているものとする。

また、認識の信頼性は、撮像画像のステレオマッチングにおける対応点探索の信頼性、環境条件の変化、ステレオカメラ２０の元画像を用いた認識結果との整合性等を考慮して評価する。例えば、環境条件の変化として、逆光や夜間、雨天、降雪等の環境条件の変化、フロントウィンドウの汚れや曇りがある場合、これらの影響は、ステレオカメラ２０の撮像画像中に画像の明るさの変化として現れる。従って、このような場合においても、標準的な環境下における画像全体の明るさや領域毎の明るさを基準値として予めシステムに保有し、これらを比較して、著しく明るい場合や暗い場合、認識の信頼性が低下しているものと判断することができる。

更に、ステレオカメラ２０の左右元画像（単眼画像）を用いて、ステレオ画像による認識結果の信頼性を判定することもできる。例えば、先行車等の物体を認識している状態でロストが発生した場合、右又は左の元画像を用いてエッジ抽出やパターンマッチング等により物体を抽出し、ステレオ画像による認識結果と照合して信頼性を判定する。

認識状態評価部２３ａにおける認識感度及び認識信頼性の評価結果は、評価結果表示制御部２３ｂに送られる。評価結果表示制御部２３ｂは、認識状態評価部２３ａからの評価結果を、所定フレーム数或いは所定時間毎に平均化する等して統計処理し、ドライバに提示する視覚情報に変換する。この視覚情報は、通信バス１０を介してメータ制御ユニット６やナビゲーションユニット７に送信され、図３，図４に示すようなアイコン表示Ａ，Ｂを介してドライバに提示される。

図３のアイコン表示Ａは、テレビ映像の受信不良状態を模した砂嵐状の表示とするものであり、認識感度や認識信頼性が低下した場合に表示される。この砂嵐状の表示では、粒子が疎の状態で認識感度や認識信頼性が低下していることを表現し、粒子が密の状態に変化すると、認識システムが停止していることを表現する。また、図４のアイコン表示Ｂは、棒グラフ状の表示であり、主として棒の本数で認識感度の大小を表現する。棒の数が少なくなる程、認識感度が低下していることを表し、棒の数が多くなると認識感度が高いことを表している。

これらの表示は、マルチファンクションディスプレイやナビゲーションユニット７のディスプレイ画面に表示されるが、ナビゲーション画面に表示する場合には、地図上の自車両の現在位置に透過率或いは表示間隔を適宜設定して重ねることにより、ドライバはどのような走行環境下で認識性能が低下するか否かを把握することができる。また、これらの認識状態の表示は、その他の表示装置、例えばフロントガラス内面に透過性反射板であるコンバイナを設けたヘッドアップディスプレイ装置等を用いて表示しても良い。

このように本実施の形態においては、ステレオカメラ２０による撮像画像を処理して走行環境を３次元的に認識し、ドライバに対する運転支援を行う際、ステレオカメラ２０の撮像画像による走行環境の認識状態を監視して認識感度及び認識信頼性を評価し、視覚情報として提示するので、ドライバは車両システムによる走行環境の認識状態を容易に把握することができる。

１ 運転支援装置
２ ステレオカメラユニット
２０ ステレオカメラ
２１ 画像処理エンジン
２２ 認識コントローラ
２３ 制御コントローラ
２３ａ 認識状態評価部
２３ｂ 評価結果表示制御部

Claims (3)

1. 車両に搭載したステレオカメラで撮像した画像をステレオ処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、
   上記ステレオカメラの撮像画像による走行環境の認識状態を監視し、上記ステレオカメラの撮像開始から認識結果が出力されるまでの時間に基づく認識感度と、上記ステレオ処理による認識結果に対する認識信頼性とを評価する認識状態評価部と、
   上記認識状態評価部の評価結果をドライバに提示する視覚情報に変換する評価結果表示制御部と
   を備えたことを特徴とする運転支援装置。
2. 上記評価結果表示制御部は、ドライバに提示する視覚情報を砂嵐状の表示とすることを特徴とする請求項１記載の運転支援装置。
3. 上記評価結果表示制御部は、ドライバに提示する視覚情報を棒グラフ状の表示とすることを特徴とする請求項１記載の運転支援装置。

Images