JP5936258B2

JP5936258B2 - 運転支援装置

Info

Publication number: JP5936258B2
Application number: JP2012066185A
Authority: JP
Inventors: 中川　亮; 亮中川
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2016-06-22
Anticipated expiration: 2032-03-22
Also published as: JP2013196639A

Description

本発明は、車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置に関する。

近年、車両前方の走行環境を認識して前方障害物に対する警報を行ったり、認識した走行環境から先行車両を検出し、先行車両に対して追従制御や警報制御を行う等してドライバの運転操作を支援する運転支援装置が開発され、実用化されている。

例えば、特許文献１には、燃費向上運転を支援する運転支援装置が提案されており、この装置では、交差点に設置された信号機の信号サイクル情報、及び交差点にて交わる複数の道路のうち自車両が走行する道路の停止線の手前に位置する所定領域に存在する他車両の存在状況を示す存在状況情報を、交差点に設置された路側送信機から受信し、信号サイクル情報及び存在状況情報に基づいて自車両が停止する停止位置を予測することで、燃費向上運転を支援する。

特開２０１１−９５８２８号公報

しかしながら、特許文献１に開示の技術は、全ての交通環境下で適用できるわけではなく、光ビーコンや路車間通信のインフラが整っていない横断歩道や小規模の交差点等においては、運転支援を行うことができない。このため、インフラが整備されていない交差点を通過する場合も含めて、あらゆる交通環境において有効に運転支援をすることは困難である。

本発明は上記事情に鑑みてなされたもので、インフラが整備されていない交通環境においても確実に運転支援を実施することのできる運転支援装置を提供することを目的としている。

本発明による運転支援装置は、車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置であって、交通信号機の点灯色と自車両前方の他車両の存在とに基づいて、前記交通信号機の手前で自車両を停止させるか否かを判断する信号機停止判断部と、自車両を停止させると判断されたとき、前記ステレオカメラの画像を処理して得られる前記他車両或いは前記交通信号機までの距離情報と自車両の速度とに基づいて、自車両を停止させる目標停止位置を設定する目標停止位置設定部と、自車両を前記目標停止位置に停止させるブレーキ制御量を設定する停止制御部と、を備え、前記信号機停止判断部は、前記交通信号機の点灯色が赤又は黄色の場合、自車両を停止させると判断し、前記交通信号機の点灯色が青の場合、前記交通信号機の付近に前記他車両が存在する場合に自車両を停止させると判断し、前記目標停止位置設定部は、自車両の前方に前記他車両が存在しない場合、前記交通信号機の手前の停止線の位置に前記目標停止位置を設定し、自車両の前方に前記他車両として先行車両が存在する場合、前記先行車両から自車両までの距離と前記先行車両に対する自車両の速度とに基づいて、前記先行車両の後方の所定位置に前記目標停止位置を設定し、自車両の前方に前記他車両として停止車両が存在する場合、前記停止車両から自車両までの距離と前記停止車両に対する自車両の速度とに基づいて、前記停止車両の後方の所定位置に前記目標停止位置を設定するものである。

本発明によれば、インフラが整備されていない交通環境においても、自車両を信号機手前で停止させる等の運転支援を確実に実施することができる。

運転支援装置の全体構成図信号機周辺の運転支援処理に係る機能ブロック図信号機周辺の運転支援処理のフローチャート

以下、図面を参照して本発明の実施の形態を説明する。
図１に示す運転支援装置１は、図示しない自動車等の車両に搭載されて外部の走行環境を認識し、ドライバに対する各種運転支援を行うものである。この運転支援装置１による運転支援制御としては、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等がある。

運転支援装置１は、３次元の画像認識による走行環境認識及び運転支援制御を行うステレオカメラユニット２を中心として構成され、ステレオカメラユニット２に、ＣＡＮ等からなる通信バス１０を介して、各種制御ユニットが接続されている。通信バス１０に接続される制御ユニットは、エンジン制御用のエンジンコントローラ３、変速機制御用のトランスミッションコントローラ４、車体挙動制御用のビークルダイナミクスコントローラ（ＶＤＣ）５、マルチファンクションディスプレイ（ＭＦＤ）等からなるメータの表示制御を行うメータ制御ユニット６、自車両の現在位置を検出して地図上に表示し、経路案内等を行うナビゲーションユニット７等である。

ステレオカメラユニット２は、２台のカメラからなるステレオカメラ２０を走行環境の認識センサとして備えている。ステレオカメラ２０は、例えばＣＣＤやＣＭＯＳ等の撮像素子を有する１組の（左右の）カメラ２０ａ，２０ｂで構成されており、シャッター速度可変で互いに同期した２台のカメラ２０ａ，２０ｂを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定し、対象物を異なる視点から撮像する。

このようなステレオカメラ２０を備えるステレオカメラユニット２は、ステレオカメラ２０と、ステレオカメラ２０で撮像した一対のステレオ画像を処理して３次元の距離情報を高速に算出する画像処理エンジン３０と、ステレオカメラ２０からの元画像と３次元距離情報とを用いて道路の白線や先行車両、路上の障害物等の物体認識処理を行う認識コントローラ４０と、認識結果に基づいて運転支援のための各制御を統括する制御コントローラ５０とを一体化したユニットとして構成され、車室内上部のフロントウィンドウ内側に設置されている。

画像処理エンジン３０は、ステレオカメラ２０で撮像した自車両外部の周辺環境のステレオ画像対から対応する位置のズレ量をブロックマッチング等によって算出し、このズレ量に基づく距離画像を距離情報として生成する。また、画像処理エンジン３０は、各カメラ２０ａ，２０ｂのシャッタ速度制御、両カメラ間の幾何学的及び光学的ズレ補正や輝度バランス補正等を行う機能も担っており、ステレオカメラ２０で撮像した画像が、例えば１フレーム／０．１秒の割合（テレビ画像で３枚に１枚の割合）で処理される。

画像処理エンジン３０と認識コントローラ４０とは、内部バス２ａを介して相互に接続されている。認識コントローラ４０は、画像処理エンジン３０からの距離情報に対して、所定の閾値内にあるデータをグループ化するグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。

認識した各データは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。

更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。

制御コントローラ５０には、認識コントローラ４０から白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等が入力される。また、制御コントローラ５０には、通信バス１０を介して自車両の車速やヨーレート等の車両情報が入力され、これらの情報に基づいて、プリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御等のドライバに対する運転支援制御を指令する。

ここで、本実施の形態においては、ステレオカメラ２０を構成するカメラ２０ａ，２０ｂは、カラー撮像可能な撮像素子を有している。認識コントローラ４０は、画像処理エンジン３０からの距離情報に基づく立体物として、交差点や横断歩道付近に設置された交通信号機（以下、単に「信号機」と記載）を認識した場合、その信号機が赤信号、黄信号、青信号の何れの点灯色で点灯しているかを識別する。信号機の点灯色は、例えば、ステレオ画像を処理して信号機の信号灯を特定し、ステレオ処理前の元画像の対応する領域の色成分を抽出することで識別する。

制御コントローラ５０は、認識コントローラ４０で認識した信号機の点灯色、先行車両や停止車両の有無等の交通状況に応じて自車両を停止させる等の運転支援制御を、例えばクルーズ制御の一機能として実行する。このため、制御コントローラ５０は、信号機周辺の運転支援制御に係る機能として、図２に示すように、信号機停止判断部５１、目標停止位置設定部５２、停止制御部５３を備えている。制御コントローラ５０は、これらの機能部により、光ビーコン等の道路付帯設備の無い交差点や横断歩道においても、信号機周辺の交通状況を正確に把握して運転支援を実行する。

信号機停止判断部５１は、認識コントローラ４０で認識した信号機の点灯色と自車両前方の他車両の有無とに基づいて、信号機の手前で自車両を停止させるか否かを判断する。信号機の点灯信号が赤信号又は黄信号の場合には、自車両を停止させると判断して、自車両前方に先行車両や信号待ちをしている停止車両等の他車両が存在するか否かを確認し、目標停止位置設定部５２に目標停止位置の設定を指示する。また、信号機が青信号である場合には、他車両が存在する場合に自車両を停止させると判断して目標停止位置設定部５２に目標停止位置の設定を指示し、他車両が存在しない場合には目標停止位置の設定を指示せず、安全が確保される限り運転支援を実施しないものとする。

目標停止位置設定部５２は、信号機停止判断部５１から自車両を停止させる目標停止位置の設定を指示されたとき、他車両の存在の有無と、認識コントローラ４０から得られる距離情報と速度情報とに基づいて目標停止位置を設定する。自車両の前方に先行車両が存在すると認識されている場合には、先行車両から自車両までの距離と、先行車両に対する自車両の速度（相対速度）とに基づいて、先行車両の後方の所定位置に、所定の減速度で停止可能な目標停止位置を設定する。また、先行車両は認識されていないが、信号待ちしている停止車両が存在する場合には、停止車両から自車両までの距離と、停止車両に対する自車両の速度（相対速度）とに基づいて、停止車両の後方の所定位置に、所定の減速度で停止可能な目標停止位置を設定する。更に、先行車両が認識されておらず、信号待ちしている停止車両も存在しない場合には、信号機から自車両までの距離と車両の速度とに基づいて信号機手前の停止線の位置に目標停止位置を設定する。

停止制御部５３は、目標停止位置設定部５２で設定された目標停止位置が入力されたとき、この目標停止位置に自車両を停止させるべく、目標停止位置と自車両の車速に基づいてブレーキ制御量を設定する。例えば、自車両の速度と設定した減速度とに基づいて制動距離を推定し、この制動距離が現在の自車両の位置と目標停止位置との距離に一致するように、ブレーキ制御量を設定する。このブレーキ制御量は、通信バス１０を介してＶＤＣ５に送信され、ＶＤＣ５で図示しないブレーキ系の要求液圧に換算されて自車両を減速させるブレーキ制御が実行される。

以上の信号機周辺の運転支援処理は、図３のフローチャートに示すプログラム処理によって実行される。次に、図３のフローチャートに示す運転支援処理について説明する。

この運転支援処理は、最初のステップＳ１において、認識コントローラ４０から信号機までの距離及び点灯色を読み込むと、ステップＳ２へ進み、点灯している信号灯が赤信号又は黄信号であるかを調べる。そして、赤信号又は黄信号の場合には、ステップＳ２からステップＳ３へ進み、赤信号でも黄信号でもなく青信号である場合には、ステップＳ２からステップＳ６以降へ進む。

先ず、信号機が赤信号又は黄信号である場合の処理について説明する。この場合、ステップＳ３では、先行車両を認識しているか否かを調べ、先行車両を認識していない場合、更に、ステップＳ４で信号待ちをしている停止車両があるか否かを調べる。

そして、ステップＳ３で先行車両を認識している場合、或いはステップＳ４で信号待ちをしている停止車両がある場合には、ステップＳ３或いはステップＳ４からステップＳ８へ進む。ステップＳ８では、先行車両又は停止車両に対して自車両が停止する目標停止位置を設定し、この目標停止位置へのブレーキ制御により運転支援を実施する。

一方、ステップＳ４において停止車両がいない場合には、ステップＳ４からステップＳ５へ進む。ステップＳ５では、信号機に対する自車両の目標停止位置（信号機手前の停止線等）を設定して、この目標停止位置へのブレーキ制御により運転支援を実施する。

次に、信号機が青信号である場合のステップＳ６以降の処理について説明する。この場合には青信号に切り換わった直後の状態を想定して、ステップＳ６で信号機の付近に発進直後の速度の遅い車両も含めて未だ発進していない停止車両がいるか否かを調べる。

その結果、停止車両がある場合には、ステップＳ６から前述のステップＳ８へ進んで運転支援を実施し、停止車両がいない場合には、ステップＳ６からステップＳ７へ進む。ステップＳ７では、信号無視の車両や歩行者等が検出されない等して自車両前方の安全が確認される限り、運転支援を実施することなく交差点を通過させる。

このように本実施の形態においては、光ビーコンや路車間通信用の路側送信機等のインフラが整備されていない交差点においても、正確に交通状況を把握して自車両を確実に信号機手前で停止させることができる。しかも、先行車両が信号の切り換わりタイミングで通過してしまった場合等においても、自車両の目標停止位置を正確に設定することでき、また、信号待ちの停止車両の台数に左右されることなく、目標停止位置を設定することができる等、あらゆる交通環境下において燃費向上運転を可能とする等、確実に運転支援を実施することができる。

１運転支援装置
２ステレオカメラユニット
２０ステレオカメラ
３０画像処理エンジン
４０認識コントローラ
５０制御コントローラ
５１信号機停止判断部
５２目標停止位置設定部
５３停止制御部

Claims

車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置であって、
交通信号機の点灯色と自車両前方の他車両の存在とに基づいて、前記交通信号機の手前で自車両を停止させるか否かを判断する信号機停止判断部と、
自車両を停止させると判断されたとき、前記ステレオカメラの画像を処理して得られる前記他車両或いは前記交通信号機までの距離情報と自車両の速度とに基づいて、自車両を停止させる目標停止位置を設定する目標停止位置設定部と、
自車両を前記目標停止位置に停止させるブレーキ制御量を設定する停止制御部と、
を備え、
前記信号機停止判断部は、
前記交通信号機の点灯色が赤又は黄色の場合、自車両を停止させると判断し、前記交通信号機の点灯色が青の場合、前記交通信号機の付近に前記他車両が存在する場合に自車両を停止させると判断し、
前記目標停止位置設定部は、
自車両の前方に前記他車両が存在しない場合、前記交通信号機の手前の停止線の位置に前記目標停止位置を設定し、
自車両の前方に前記他車両として先行車両が存在する場合、前記先行車両から自車両までの距離と前記先行車両に対する自車両の速度とに基づいて、前記先行車両の後方の所定位置に前記目標停止位置を設定し、
自車両の前方に前記他車両として停止車両が存在する場合、前記停止車両から自車両までの距離と前記停止車両に対する自車両の速度とに基づいて、前記停止車両の後方の所定位置に前記目標停止位置を設定する
ことを特徴とする運転支援装置。