JP4394476B2 - 車両用運転支援装置 - Google Patents

Description

本発明は、少なくともステレオカメラや単眼カメラ等の撮像手段で撮像した画像情報に基づいて、車両前方の車外環境を認識する車両用運転支援装置に関する。

従来より、ステレオカメラや単眼カメラ等の撮像手段や、ミリ波レーダや赤外線レーザレーダ等のレーダ手段等を用いて車両前方の車外環境を認識し、認識した車外環境に基づいて自車の走行制御等を行う車両用運転支援装置については様々な提案がなされている。

ところで、この種の車両用運転支援装置は、撮像手段で直接的に撮像した立体物や、立体物から直接的に受信したミリ波や赤外線レーザ等の反射波に基づいて先行車や対向車等を検出するため、前方路が建築物等で遮蔽された見通しの悪い交差点やカーブ等への侵入時に、自車と干渉する可能性の高い他の進入車両等を認識することが困難な場合がある。

これに対処し、例えば特許文献１には、各車両に電波の発信機及び受信機を搭載するとともに道路上の各カーブミラー（道路ミラー）内に電波反射板を設け、他の車両から発信されて道路ミラー内の電波反射板で反射された電波を自車の受信機で受信することにより、見通しの悪い交差点等においても他の侵入車両の自車との干渉を予測する技術が開示されている。
特開平１１−３５３５９６号公報

しかしながら、上述の特許文献１に開示された技術は、自車及び他車が発信機及び受信機を搭載した車両である場合に限って有効な技術であり、また、道路上の各道路ミラーにも電波反射板が設けられることが前提となるため、必要とされる全ての場面で有効な技術とは言い難い。

本発明は上記事情に鑑みてなされたもので、特別なインフラ整備等を必要とすることなく、見通しの悪い交差点やカーブへの侵入時にも的確な障害物認識を実現することのできる車両用運転支援装置を提供することを目的とする。

本発明は、車外環境を撮像する撮像手段と、上記撮像手段で撮像した撮像画像から道路ミラーを検出するミラー検出手段と、上記ミラー検出手段で検出した上記道路ミラー内に映し出された物体の移動を認識する認識手段とを備えたことを特徴とする。

本発明の車両用運転支援装置によれば、特別なインフラ整備等を必要とすることなく、見通しの悪い交差点やカーブへの侵入時にも的確な障害物認識を実現することができる。

以下、図面を参照して本発明の形態を説明する。図１乃至図８は本発明の形態に係わり、図１は運転支援装置を搭載した車両の概略構成図、図２は車両用運転支援装置の概略構成を示す機能ブロック図、図３は道路ミラー認識ルーチンを示すフローチャート、図４はエッジの分布画像上での道路ミラー検索領域を示す説明図、図５は検索枠内のエッジ度数を示すヒストグラム、図６は道路ミラーと一致時の検索枠を示す説明図、図７はフレーム間で推移する小領域とその移動方向との関係を示す説明図、図８は単眼カメラ式の運転支援装置に適用した場合のエッジの分布画像上での道路ミラー検索領域を示す説明図である。

先ず、本形態の車両用運転支援装置の概略構成について説明する。
図１において、符号１は自動車等の車両（自車）を示し、この車両１には運転支援装置（ＡＤＡ；Active Drive Assist system）２が搭載されている。図２に示すように、運転支援装置２は、撮像手段としてのステレオカメラユニット３と、レーダ手段としてのミリ波レーダユニット４と、イメージプロセッシングユニット（ＩＰＵ）５と、プレビューコントロールユニット（ＰＣＵ）６と、エンジンコントロールユニット（ＥＣＵ）７と、ビークルダイナミクスコントロールユニット（ＶＤＣ）８と、統合ユニット９とを有し、これらがＣＡＮ（Controller Area Network）等の多重通信系で接続されている。また、統合ユニット９には、例えば、通信速度の異なる他の通信系（車体側通信系）を介して、センターディスプレイ１０と、コンビネーションメータ１１と、オーディオ装置１２と、クラクション１３と、ヘッドランプ１４とが接続されている。

ステレオカメラユニット３は、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラを有して構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔をもって取付けられ（図１参照）、車外の対象を異なる視点で撮像する。そして、ステレオカメラユニット３は、左右のＣＣＤカメラで撮像した各画像（基準画像及び比較画像）にＡ／Ｄ変換やアフィン変換等を行い、これらの画像信号をＩＰＵ５に出力する。

ミリ波レーダユニット４は、例えば、車両１のフロントバンパ構造材に取付けられている（図１参照）。このミリ波レーダユニット４は送受信部（図示せず）を有し、送受信部は、車両１の水平方向に、所定の走査範囲で、一定の間隔毎にミリ波を送受信する。そして、ミリ波レーダユニット４は、送信したミリ波が立体物等の反射対象で反射されて戻ってくるまでの時間差を基に、自車前方の立体物の二次元分布情報からなるレーダ画像を生成し、これをＩＰＵ５に出力する。

ＩＰＵ５は、ステレオカメラユニット３及びミリ波レーダユニット４からの各画像信号に基づいて、車外環境の認識を行う。

具体的に説明すると、ＩＰＵ５は、ステレオ画像に基づき、三角測量の原理等を用いた周知の演算処理により、道路上の白線、道路に沿って存在するガードレールや縁石等の側壁、車両等の立体物を認識する。すなわち、ＩＰＵ５は、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけだし、基準画像全体に渡る距離分布を求める。さらに、ＩＰＵ５は、基準画像上の各画素について隣接する画素（例えば右側及び下側で隣接する画素）との輝度差を調べ、これらの輝度差がともに閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ＩＰＵ５は、距離画像に対して周知のグルーピング処理を行うことにより、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で継続して監視する。その際、車両等の立体物は２以上の面がコーナーを介して連続して認識されることが多いため、ＩＰＵ５は、このような車両等の可能性が高い立体物を、コーナー状立体物として別途登録する。

また、ＩＰＵ５は、レーダ画像上の距離値が連続する部分を１つの立体物として抽出することで、レーダ画像に基づく立体物認識を行う。そして、ＩＰＵ５は、認識した立体物に係る各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎に継続して監視する。

そして、ＩＰＵ５は、ステレオ画像に基づいて認識した立体物（以下、画像立体物と称す）情報とレーダ画像に基づいて認識した立体物（以下、レーダ立体物と称す）情報とを融合することで、更なる立体物認識を行う（再認識を行う）。すなわち、ＩＰＵ５は、各画像立体物と各レーダ立体物の位置や移動速度に基づいて、各画像立体物と各レーダ立体物の各組み合わせ全てについての同一確率の判定を行い、同一確率が所定以上で最も一致する画像立体物とレーダ立体物の各組み合わせを特にフュージョン立体物として認識する。これにより、ＩＰＵ５では、画像立体物単体により認識された立体物、レーダ立体物単体により認識された立体物、或いは、フュージョン立体物の何れかの形態からなる各立体物を自車前方の道路上に認識する。

また、ＩＰＵ５は、ステレオ画像から認識した白線、側壁等の情報や、ＶＤＣ８から得られる自車１の走行状態情報等に基づいて自車走行レーンの推定を行い、さらに、推定した自車走行レーン上での先行車の捕捉・離脱判定を行う。

ＰＣＵ６は、運転支援装置２の各機能を統括するもので、ＩＰＵ５やＶＤＣ８から得られる情報等に基づいて警報や加減速制御等の要否判定を行う。そして、これらの判定結果に応じて、ＰＣＵ６は、センターディスプレイ１０やコンビネーションメータ１１への表示信号の出力、コンビネーションメータ１１、オーディオ装置１２に接続するスピーカ１１ａ、１２ａへのブザー（或いは音声）信号の出力、ＥＣＵ７、ＶＤＣ８への制御信号の出力等を適宜行うことで、各種運転支援機能を実現する。

例えば、ＰＣＵ６は、自車走行レーン上に先行車を捕捉している場合において、先行車との車間距離が所定の警報車間距離以下になったとき、コンビネーションメータ１１の警報灯を表示するとともに、スピーカ１１ａからブザーを出力する（車間距離警報機能）。

また、ＰＣＵ６は、自車走行レーンの白線と自車１との位置関係から、予め設定された前方距離内で、白線と自車１の外側側壁の延長線の間隔とが略”０”となると判定したとき、コンビネーションメータ１１の警報灯を点灯表示するとともに、スピーカ１１ａからブザーを出力する（車線逸脱警報機能）。

また、ＰＣＵ６は、ＥＣＵ７やＶＤＣ８を通じた加減速制御によって、自車走行レーン上での先行車の捕捉時に先行車に対する追従走行制御を行うとともに、自車走行レーンからの先行車の離脱を判定したとき、設定車速での定速走行制御へと移行する（ＡＣＣ機能；車間距離制御クルーズコントロール機能）。

また、ＰＣＵ６は、自車１と白線との関係に基づいて自車走行レーン上でのふらつきを計測し、その周波数分析からよそ見や居眠りに関係の深いふらつきを検出したとき、車線逸脱警報の警報タイミングを早める。さらに、車線逸脱を検出した際にスピーカ１２ａからの音声による警報を行う（ふらつき警報機能）。

また、ＰＣＵ６は、ドライバによるブレーキ踏み込み時の前後輪の車輪速差を検出し、この値が所定値を越えたとき、タイヤがスリップしやすい状態にあると判断し、センターディスプレイ１０を通じてその旨を表示する（グリップ予測機能）。

また、ＰＣＵ６は、自車走行レーン上を走行する先行車や、対向車との車間距離情報をセンターディスプレイ１０を通じて表示する。また、先行車に自車が一定速度以上の速さで接近しているとき、スピーカ１２ａからブザーを出力する（視界支援機能）。

ここで、センターディスプレイ１０には、タッチスイッチ機能が設けられており、ＰＣＵ６は、ドライバによるタッチスイッチの操作に応じて、各運転支援機能の実行／解除やセンターディスプレイ１０の表示切り替え等を行う。

このような構成において、さらに、ＩＰＵ５は、認識した立体物の中から道路ミラーの検出を行い、この道路ミラー内に映し出された物体の移動を認識する。具体的には、ＩＰＵ５は、認識した立体物の中から、エッジの分布画像に基づいて道路ミラーを検出する。そして、ＩＰＵ５は、検出した道路ミラー内の領域に対応して基準画像から抽出した画像（以下、ミラー内画像と称する）と、前フレームのミラー内画像との間で、小領域毎のパターンマッチングを行い、フレーム間で対応する各小領域の道路ミラー内での移動状態を調べることにより、自車方向に移動する物体の有無を判定する。すなわち、ＩＰＵ５は、ミラー検出手段及び認識手段としての機能を有する。

そして、ミラー内画像に基づいてＩＰＵ５で自車方向に移動する物体の存在が判定されると、ＰＣＵ６は、必要に応じて、例えば、ＶＤＣ８を通じた減速制御を行うとともに、コンビネーションメータ１１の警報灯の点灯表示やスピーカ１１ａからのブザー出力等によりドライバへの警報を行い、さらに、クラクション１３からの警報音出力やヘッドライト１４の点灯等によりミラー内の物体に対して自車の存在を報知する。

次に、ＩＰＵ５で行われる道路ミラーの検出及びミラー内物体の認識処理について、図３に示す道路ミラー認識ルーチンのフローチャートに従って説明する。このルーチンは、例えば、ステレオカメラ３による撮像が行われる毎に（すなわち、フレーム毎に）繰り返し実行されるもので、ルーチンがスタートすると、ＩＰＵ５は、先ず、ステップＳ１０１において、エッジ分布画像から道路ミラーの検出を行う。

ここで、道路ミラーは路面から所定高さ以上に位置することが一般的であるため、本形態では、例えば、図４に示すように、ＩＰＵ５は、路面から設定高さ（例えば、１．５ｍ）以上に認識された立体物を含む所定領域を、エッジ分布画像上の道路ミラー検索領域２０として設定し、この検索領域２０に対して限定的に道路ミラーの検出を行う。なお、路面から設定高さ以上に複数の立体物が認識されている場合には、検索領域２０は、エッジ分布画像上に複数設定される。

具体的に説明すると、ＩＰＵ５は、エッジ分布画像上に、検索領域２０内の各画素を中心とする所定画素半径の円形の検索枠２１を順次設定し、この検索枠２１内において、当該検索枠２１の中心を基準とする同心円毎にエッジの個数をカウントすることで、例えば図５に示すように、検索枠２１の中心からの距離とその度数との関係を示すヒストグラムを生成する。そして、ＩＰＵ５は、ヒストグラムの度数が予め設定された閾値を超えているか否かを調べ、度数が閾値を超えている場合に道路ミラーの存在を判定する。

すなわち、通常、道路ミラーは円形であるため、道路ミラーを撮像した画像から抽出されるエッジは略円環状に分布する。従って、このような略円環状のエッジ分布の中心と検索枠２１の中心とが一致した場合（図６参照）、検索枠２１中心からある所定距離に分布するエッジの度数が極端に大きくなる。そこで、道路ミラーを撮像した画像に基づく実験やシミュレーション等に基づいて設定された道路ミラー判定のための閾値と、検索枠２１毎のエッジの度数とを比較することにより、道路ミラーの検出が可能となる。なお、撮像された画像上における道路ミラーの半径が大きい程、エッジの数も増加するため、図５に破線で示すように、道路ミラーの判定閾値は、検索枠２１の中心からの距離が大きくなる程、大きな値に設定される。

続くステップＳ１０２において、ＩＰＵ５は、ステップＳ１０１の処理によって道路ミラーが検出されたか否かを調べ、道路ミラーが検出されていない場合には、そのままルーチンを抜け、一方、道路ミラーが検出された場合には、ステップＳ１０３に進む。

ステップＳ１０２からステップＳ１０３に進むと、ＩＰＵ５は、前フレームで同一の道路ミラーが検出されたか否かを調べ、同一の道路ミラーが検出されてない場合には、そのままルーチンを抜け、一方、同一の道路ミラーが検出されている場合には、ステップＳ１０４に進む。

ステップＳ１０３からステップＳ１０４に進むと、ＩＰＵ５は、道路ミラー内の領域に対応するミラー内画像を基準画像から抽出し、前フレームのミラー内画像との間で、例えば４×４画素の小領域毎のパターンマッチングを行い、フレーム間で対応する各小領域の道路ミラー内での移動状態を調べる。すなわち、ＩＰＵ５は、前フレームのミラー内画像（例えば、図７（ａ）参照）上の各小領域の輝度或いは色のパターンを現フレームのミラー内画像（例えば、図７（ｂ）参照）と比較して対応する領域を検索し、対応する小領域が存在する場合には、これら小領域のフレーム間における道路ミラー上での移動状態を調べる（図７（ｃ）参照）。

ここで、道路ミラー上に映し出された物体が静止物である場合、この物体は、自車の道路ミラーへの接近に伴い、道路ミラー上を斜め上方に僅かずつ移動する。また、道路ミラー上に映し出された物体が自車から離間する移動物である場合、この物体は、道路ミラー上を斜め上方に移動する。一方、道路ミラー上に映し出された物体が自車に接近する移動物である場合、この物体は、道路ミラー上を斜め下方に移動する。そこで、ＩＰＵ５は、前フレーム内画像の各小領域と現フレーム内画像とのパターンマッチングが終了してステップＳ１０５に進むと、自車に接近する車両等の物体の有無を判定するため、前フレーム内画像上の小領域と対応する現フレーム内画像上の小領域の中に、道路ミラー内で下方の移動成分を有して移動した小領域が存在するか否かを調べる。

そして、ステップＳ１０５において、ＩＰＵ５は、下方に移動する小領域が存在しない場合には、そのままルーチンを抜ける一方、下方に移動す小領域が存在する場合には、ステップＳ１０６に進み、自車方向に移動する物体が存在すると判定した後、ルーチンを抜ける。ここで、ステップＳ１０５による判定は、ミラー内画像上のノイズ等の影響による誤判定を防止するため、下方への移動成分を有する小領域が設定個数以上存在する場合に、ステップＳ１０６に進むよう設定することが好ましい。

このような形態によれば、撮像画像に基づいて道路ミラーを検出し、検出した道路ミラー内に映し出された物体の移動を認識することにより、特別なインフラ整備等を必要とすることなく、見通しの悪い交差点やカーブへの進入時にも的確な物体認識（障害物認識）を行うことができる。

その際、道路ミラーが一般的に円形であることに着目し、撮像画像から抽出したエッジの分布状態に基づいて道路ミラーの検索を行うことにより、簡単な処理で精度よく道路ミラーの検出を実現することができる。

また、道路ミラーの検索に際し、道路ミラーが一般的に路面から所定高さ以上に存在することに着目し、ステレオ画像処理により認識した所定高さ以上の立体物に基づいて道路ミラーの検索領域２０を設定することにより、道路ミラーの検索範囲を適切な範囲に絞り込むことができる。

また、自車に接近する移動物の有無の判定を、フレーム間で対応するミラー内画像上の各小領域の移動状態に基づいて行うことにより、ミラー内画像の少ない情報を効率的に用いて、適切な判定を行うことができる。

すなわち、静止物や自車から離間する移動物は道路ミラー上で上方への移動成分を有して移動するのに対し、自車に接近する移動物は道路ミラー上で下方への移動成分を有して移動するという各物体の道路ミラー上での固有の挙動に着目し、自車に接近する移動物の有無の判定を、ミラー内画像上の各小領域の移動状態に基づいて行うことにより、情報量の乏しいミラー内画像上において、各物体に対するグルーピング処理等の個別の認識処理を行うことなく簡単な処理で的確に行うことができる。

ここで、上述の道路ミラーに基づく物体認識は、ステレオカメラユニット３に代えて単眼式のカメラユニットを備えた運転支援装置にも適用が可能である。この場合、ＩＰＵ５は、単眼式のカメラで撮像された画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出し、エッジの分布画像を生成する。

そして、ＩＰＵ５は、図８に示すように、生成したエッジ分布画像上に道路ミラーの検索領域２０を設定し、検索領域２０内の各画素を中心とする検索枠２１を設定することで道路ミラーの存在を判定する。その際、設定される検索領域２０は、エッジ分布画像上部の所定領域が一義的に設定される。すなわち、カメラユニットにおいては、視野角や光軸等に基づいて自車前方で常に路面を撮像する領域が一義的に求まるため、ＩＰＵ５は、この領域を除外したエッジ分布画像上部の領域を検索領域２０として設定する。このように検索領域２０を設定することにより、道路ミラーの検索範囲を適切な範囲に絞り込むことができる。

運転支援装置を搭載した車両の概略構成図 車両用運転支援装置の概略構成を示す機能ブロック図 道路ミラー認識ルーチンを示すフローチャート エッジの分布画像上での道路ミラー検索領域を示す説明図 検索枠内のエッジ度数を示すヒストグラム 道路ミラーと一致時の検索枠を示す説明図 フレーム間で推移する小領域その移動方向との関係を示す説明図 単眼カメラ式の運転支援装置に適用した場合のエッジの分布画像上での道路ミラー検索領域を示す説明図

符号の説明

１ … 車両
２ … 運転支援装置
３ … ステレオカメラユニット（撮像手段）
５ … イメージプロセッシングユニット（ミラー検出手段、認識手段）
２０ … 検索領域（道路ミラー検索領域）
２１ … 検索枠
代理人 弁理士 伊 藤 進

Claims (7)

1. 車外環境を撮像する撮像手段と、
   上記撮像手段で撮像した撮像画像から道路ミラーを検出するミラー検出手段と、
   上記ミラー検出手段で検出した上記道路ミラー内に映し出された物体の移動を認識する認識手段とを備えたことを特徴とする車両用運転支援装置。
2. 上記ミラー検出手段は、上記撮像画像から抽出したエッジの分布画像上に所定の検索枠を順次設定し、上記検索枠毎に設定形状の物体検出を行うことで上記道路ミラーを検出することを特徴とする請求項１記載の車両用運転支援装置。
3. 上記検索枠は円形であることを特徴とする請求項２記載の車両用運転支援装置。
4. 上記ミラー検出手段は、上記検索枠内において、当該検索枠の中心を基準とする同心円毎に上記エッジの個数をカウントしたヒストグラムを生成し、上記ヒストグラムの度数が設定値を超えた場合に上記道路ミラーの存在を判定することを特徴とする請求項２または請求項３に記載の車両用運転支援装置。
5. 上記認識手段は、上記撮像画像から抽出した上記道路ミラー内の画像に対し、小領域毎のパターンマッチングをフレーム間で行い、フレーム間で対応する上記各小領域の上記道路ミラー内での移動状態に基づいて自車方向に移動する物体の有無を判定することを特徴とする請求項１乃至請求項４の何れかに記載の車両用運転支援装置。
6. 上記認識手段は、上記道路ミラー内で下方に移動した上記小領域を検出したとき、自車方向に移動する物体の存在を判定することを特徴とする請求項５記載の車両用運転支援装置。
7. 上記ミラー検出手段は、路面から設定高さ以上に認識した立体物を含む領域を道路ミラー検索領域として設定し、該道路ミラー検索領域に対してミラー検出を行うことを特徴とする請求項１または請求項２記載の車両運転支援装置。

Images