JP4926437B2 - 車両の運転支援装置 - Google Patents

Description

本発明は、ドライバの前方注視状態に応じて適切な警報を行うことができる車両の運転支援装置に関する。

近年、車両においては、車載したカメラ等により前方の走行環境を検出し、前方障害物に対して警報制御を行う様々な技術が開発され、実用化されており、また、こうした警報制御において、ドライバ状態に応じて、自然な警報が行えるようにする技術も提案されている。例えば、特開２００４−２９５４７２号公報では、所定距離内に位置する障害物に対し、障害物の方向と視線の方向とが一致していれば、警報を出力しない又は弱い警報を出力する構成が開示されている。
特開２００４−２９５４７２号公報

しかしながら、上述の特許文献１による技術では、あくまでもドライバの注視する方向を求めるのみであるため、ドライバが障害物以外に視線を注いでいる場合にはドライバが注目している距離を推定することができず、ドライバが近距離に注意を注いでいるのか、遠方に注意を注いでいるのかを把握することができないという問題がある。このため、ドライバが遠方に注目している場合、近くに存在する障害物に対する注意が疎かになり、この近くに存在する障害物の挙動（前方飛び出し等の挙動等）によっては、その後、たとえ近くに存在する障害物に視線の方向が一致したとしても、警報を出力しなかったり又は弱くしたりすることは適当ではない。

本発明は上記事情に鑑みてなされたもので、ドライバの注視する方向のみならず遠近をも考慮して自然で適切な警報制御等を行うことができる車両の運転支援装置を提供することを目的としている。

本発明は、前方環境に存在する立体物の位置情報を当該立体物までの距離情報を含んで撮像画像上の座標により生成する前方環境認識手段と、運転者の視線位置を検出する視線位置検出手段と、上記位置情報と上記視線位置とに基づき、運転者が注視する上記撮像画像上の座標を特定し、運転者の注視距離の推定値として出力する注視距離推定手段と、上記前方環境認識手段により認識した前方に存在する立体物の中から警報の対象とする対象立体物を抽出して該対象立体物の存在を警報する警報手段を有し、上記警報手段は、上記対象立体物が上記注視距離より近くに存在する場合には、上記対象立体物が上記注視距離より遠くに存在する場合の警報よりも頻度の高い警報を発生することを特徴としている。

本発明による車両の運転支援装置によれば、ドライバの注視する方向のみならず遠近をも考慮して自然で適切な警報制御等を行うことが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図４は本発明の実施の形態を示し、図１は車両に搭載した運転支援装置の概略構成図、図２は警報制御プログラムのフローチャート、図３は視線位置座標から注視距離を求めるまでの座標変換の流れの説明図、図４はＬ≦ｚ２の場合とＬ＞ｚ２の場合の警報の違いの説明図である。

図１において、符号１は自動車等の車両（自車両）で、自車両１には、先行車や前方障害物を対象とする警報制御を行う運転支援装置２が搭載されている。

この運転支援装置２は、車外前方を捉えるステレオカメラ３、このステレオカメラ３からの信号を処理するステレオ画像認識装置４、ドライバの眼球運動を捉える視野カメラ５、赤外線ランプ６、視野カメラ５と赤外線ランプ６を用いてドライバの視線位置を検出する視線位置検出装置７、制御ユニット８、警報を表示するモニタ９、及び、警報を発する音声発生装置１０を備えて主要に構成されている。

また、自車両１には、車速を検出する車速センサ１１が設けられており、この車速センサ１１からの車速はステレオ画像認識装置４と制御ユニット８に入力される。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラで構成される。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に所定間隔をもって取り付けられ、車外の対象（立体物）を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。

ステレオ画像認識装置４は、ステレオカメラ３からの画像データ、車速等の各信号が入力され、画像データに基づき自車両１前方の立体物データと側壁データと白線データ等の前方情報を検出し、これら前方情報や自車両１の運転状態から自車両１の進行路（自車進行路）を推定する。そして、自車進行路を基に走行領域を設定し（自車進行路を略中心として、例えば、左右約１．１ｍの幅の領域）、この走行領域に対する立体物の存在状態に応じて、自車両１前方の先行車を識別して抽出し、この結果を制御ユニット８に出力する。

ステレオ画像認識装置４における、ステレオカメラ３からの画像データの処理は、例えば以下のように行われる。まず、ステレオカメラ３のＣＣＤカメラで撮像した自車両１前方のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、車両等の立体物データを抽出する。

こうして抽出された白線データ、側壁データ、立体物データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速の関係から、停止している停止物と、自車両１と略同方向に移動する順方向移動物等に分類されて出力される。そして、例えば、自車走行領域内に突出した順方向移動物の中で、所定時間連続して検出され、自車両１から最も近い立体物が先行車として登録される。

このように、本実施の形態においては、ステレオカメラ３、及び、ステレオ画像認識装置４により前方環境認識手段が構成されている。

一方、本実施の形態におけるドライバの視線位置の検出は、所謂、瞳孔／角膜反射法により検出するものである。従って、視野カメラ５は赤外線ＣＣＤを備えたカメラであり、赤外線ランプ６はＬＥＤランプである。そして、視線位置検出装置７は、角膜上の赤外線ランプ６による虚像が、角膜と眼球の回転中心の違いにより、眼球運動によって平行移動するのを視野カメラ５で瞳孔中心も同時に検出しながら瞳孔中心を基準として検出することで視線位置の検出を行うようになっている。尚、視線位置の検出は、この検出法に限るものではなく、可能であれば、他の検出法（ＥＯＧ（Electro-Oculography）法、強膜反射法、角膜反射法、サーチコイル法等）により検出するものであっても良い。すなわち、視野カメラ５、赤外線ランプ６、視線位置検出装置７は、視線位置検出手段として設けられている。

制御ユニット８は、ステレオ画像認識装置４から自車進行路、走行領域、先行車情報、先行車以外の立体物情報が、視線位置検出装置７からドライバの視線位置の信号が、車速センサ１１から自車速が入力される。

制御ユニット８は、視線位置検出装置７からのドライバの視線位置から、視線位置座標（ｘ１，ｙ１）を取得し（図３（ａ））、この視線位置座標（ｘ１，ｙ１）をステレオカメラ３における一方のカメラ（例えば、ステレオマッチングを行う際に基準画像とする画像を撮像するカメラ）による撮像画像上の座標（ｘ２，ｙ２）に座標変換する（図３（ｂ））。そして、変換した座標（ｘ２，ｙ２）に対応した距離画像による距離情報をｚ座標として付加し、各座標毎に距離情報を備えた３次元座標（ｘ２，ｙ２，ｚ２）を生成する（図３（ｃ））。すなわち、このｚ２が、推定されたドライバの注視距離とする。図３（ｃ）の例では、先行車の距離がドライバの注視距離として推定される。

ここで、座標（ｘ１，ｙ１）、及び、座標（ｘ２，ｙ２）は、平面中心を原点とした相対座標だが、ｚ２が付加された３次元座標（ｘ２，ｙ２，ｚ２）は、絶対座標としてみなすことができる。

また、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への座標変換に関しては、例えば、簡略化して、以下のように演算できる。ドライバの視線位置による画像の解像度がａ×ｂ（pix）、ステレオカメラ３のうち座標変換を行う画像を撮像するカメラの画像の解像度がｃ×ｄ（pix）である場合、
ｘ２＝（ｃ／ａ）・ｘ１ …（１）
ｙ２＝（ｄ／ｂ）・ｙ１ …（２）

尚、上述の（１）式、及び、（２）式は、ドライバの視線位置による画像とステレオカメラ３からの画像とのズレなどによる誤差を考慮していない式であるが、実際には、画面上の「どのターゲット（立体物、白線等）を見ているのか」ということが重要であり、「どのターゲット（立体物、白線等）のどの位置を見ているのか」というような事柄までは要求していないため、精度はそれ程考慮せずとも良い。

また、本実施の形態のように、視線位置検出装置７からのドライバの視線位置から視線位置座標（ｘ１，ｙ１）を取得する際には、左眼単眼データ、右眼単眼データといった、片眼データのみを使用するものであっても良いが、左右両眼データを使用するようにすれば、より精度の良い座標位置を得ることができる。左右両眼データ取得時に、片眼のデータが不良データである場合が多い際には、左右両眼データのパララックス補正値を用いるようにしても良い。

そして、制御ユニット８は、前方に警報領域を設定し、該警報領域内に警報対象とする立体物が存在するか否か判定し、警報対象とする立体物（対象立体物）が存在する場合、上述の如く演算したドライバの注視距離（すなわち、ｚ２）と、対象立体物までの距離Ｌとを比較して、対象立体物までの距離Ｌが注視距離ｚ２より近い場合には、通常の警報状態（第１の警報）とし、対象立体物までの距離Ｌが注視距離ｚ２より遠い場合には、第１の警報より頻度の低い警報状態（第２の警報）とする。

すなわち、図４（ａ）に示すように、対象立体物までの距離Ｌが注視距離ｚ２より近い場合（Ｌ≦ｚ２の場合）には、警報フラグが立つ全ての場合に警報を行うが、図４（ｂ）に示すように、対象立体物までの距離Ｌが注視距離ｚ２より遠い場合（Ｌ＞ｚ２の場合）には、全ての警報フラグの立ったときに警報を行うのではなく、第１の警報から間引いて、頻度の低い警報状態（第２の警報）とする。換言すれば、対象立体物が注視距離ｚ２より近くに存在する場合には、対象立体物が注視距離ｚ２より遠くに存在する場合の警報よりも頻度の高い警報とする。

また、本実施の形態においては、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への座標変換を行う場合、座標（ｘ２，ｙ２）が、ステレオカメラ３による撮像画像の座標領域から外れるような異常を検出した場合で、これが一定時間以上（例えば、５秒以上）連続する場合には、ドライバが前方を注視していないと判定し、前方注意警報を発生するようになっている。この警報は、例えば、音声等により「前方に注意してください」等で行われる。

このように、制御ユニット８は、注視距離推定手段、及び、警報手段としての機能を有して構成されている。

次に、制御ユニット８で実行される、警報制御プログラムについて、図２のフローチャートで説明する。まず、ステップ（以下、「Ｓ」と略称）１０１で必要な情報の読み込みが行われる。

次いで、Ｓ１０２に進み、ステレオカメラ３により画像情報が取得されているか否か判定し、画像情報が取得されていないのであれば、そのままプログラムを抜ける。

画像情報が取得されているのであれば、Ｓ１０３に進み、視線位置検出装置７により、視線位置情報が取得されているか否か判定し、視線位置情報が取得されていないのであれば、そのままプログラムを抜ける。

視線位置情報が取得されているのであれば、Ｓ１０４に進み、視線位置情報から視線位置座標（ｘ１，ｙ１）を取得する。

その後、Ｓ１０５に進み、前述の（１）式、及び、（２）式により、視線位置座標（ｘ１，ｙ１）をステレオカメラ３の平面上に表現できる座標（ｘ２，ｙ２）に座標変換する。

次に、Ｓ１０６に進み、変換座標（ｘ２，ｙ２）は正常か否か、すなわち、座標（ｘ２，ｙ２）が、ステレオカメラ３による座標の領域から外れるような異常が無いか否かを判断し、異常が有る場合は、Ｓ１０７に進み、この異常な状態が一定時間（例えば、５秒以上）継続したか否か判断し、一定時間継続した場合は、ドライバが前方を注視していないと判定し、Ｓ１０８に進んで、例えば、音声等により「前方に注意してください」等の前方注意警報を発生してプログラムを抜ける。また、Ｓ１０７の継続時間の判定で、一定時間継続していない場合は、そのままプログラムを抜ける。

一方、Ｓ１０６の判定の結果、変換座標（ｘ２，ｙ２）が正常と判定した場合は、Ｓ１０９に進み、Ｓ１０５で変換した座標（ｘ２，ｙ２）に、対応するステレオカメラ３からの距離画像による距離情報をｚ座標として付加し、各座標毎に距離情報を備えた３次元座標（ｘ２，ｙ２，ｚ２）を生成する。このｚ２が、推定されたドライバの注視距離である。

次いで、Ｓ１１０に進み、前方に警報領域を設定する。この警報領域は、例えば、自車速に応じて設定され、自車速が高速になるほど前方に長く設定される。また、警報領域の幅は、自車進行路を略中心として、左右約１．３ｍの幅の領域とする。

次に、Ｓ１１１に進み、Ｓ１１０で設定した警報領域内に、立体物が存在するか否か判定し、立体物が存在しない場合には、そのままプログラムを抜ける。逆に、立体物が存在する場合は、Ｓ１１２に進み、警報領域内の直近の立体物を、警報の対象立体物として抽出する。ここで、対象立体物までの距離をＬとする。

次いで、Ｓ１１３に進み、対象立体物までの距離Ｌと、ドライバの注視距離ｚ２とを比較し、対象立体物までの距離Ｌが、ドライバの注視距離ｚ２以下の場合（Ｌ≦ｚ２の場合）は、図４（ａ）に示すように、警報フラグが立つ全ての場合に警報を行う第１の警報を行って、ドライバに飛び出し等の注意を促し、プログラムを抜ける。

すなわち、ドライバが遠方に注目している場合、近くに存在する障害物に対する注意が疎かになり、この近くに存在する障害物の挙動（前方飛び出し等の挙動等）によっては、衝突等の可能性が高くなる。このため、第１の警報を行うことにより、ドライバの注意を喚起するのである。

一方、Ｓ１１３の比較の結果、対象立体物までの距離Ｌが、ドライバの注視距離ｚ２よりも遠方の場合（Ｌ＞ｚ２の場合）は、図４（ｂ）に示すように、全ての警報フラグの立ったときに警報を行うのではなく、第１の警報から間引いて、頻度の低い警報状態（第２の警報）とし、プログラムを抜ける。すなわち、この第２の警報では、警報に対する煩わしさを軽減させるのである。

このように本発明の実施の形態によれば、ドライバの注視する方向のみならず、その注視距離をも求め、この注視距離による遠近をも考慮して、対象立体物に対する警報制御を行うようになっているので、自然で適切な警報制御を行うことが可能である。

尚、視線位置検出装置７によるドライバの視線位置を補正するために、ドライバの頭部位置及び眼球位置を検出する目的で、シートスライド量、シートバック角度、ステアの上下位置量、インナーミラー角度等の値を求め、これらの値と比較して補正するようにしても良い。また、サイドピラー部に、補正に用いる単眼カメラを設け、この単眼カメラからの画像を基に、視線位置検出装置７によるドライバの視線位置を補正するようにしても良い。

尚、本発明の実施の形態では、ステレオカメラの一方のカメラによる撮像画像に視線位置を変換し、距離画像との対応をとる構成としたが、これには限定されず、視線位置座標を直接に距離画像上の座標に変換させる構成としてもよい。

車両に搭載した運転支援装置の概略構成図 警報制御プログラムのフローチャート 視線位置座標から注視距離を求めるまでの座標変換の流れの説明図 Ｌ≦ｚ２の場合とＬ＞ｚ２の場合の警報の違いの説明図

符号の説明

１ 自車両
２ 運転支援装置
３ ステレオカメラ（前方環境認識手段）
４ ステレオ画像認識装置（前方環境認識手段）
５ 視野カメラ（視線位置検出手段）
６ 赤外線ランプ（視線位置検出手段）
７ 視線位置検出装置（視線位置検出手段）
８ 制御ユニット（注視距離推定手段、警報手段）
９ モニタ
１０ 音声発生装置

Claims (3)

1. 前方環境に存在する立体物の位置情報を当該立体物までの距離情報を含んで撮像画像上の座標により生成する前方環境認識手段と、
   運転者の視線位置を検出する視線位置検出手段と、
   上記位置情報と上記視線位置とに基づき、運転者が注視する上記撮像画像上の座標を特定し、運転者の注視距離の推定値として出力する注視距離推定手段と、
   上記前方環境認識手段により認識した前方に存在する立体物の中から警報の対象とする対象立体物を抽出して該対象立体物の存在を警報する警報手段を有し、
   上記警報手段は、上記対象立体物が上記注視距離より近くに存在する場合には、上記対象立体物が上記注視距離より遠くに存在する場合の警報よりも頻度の高い警報を発生することを特徴とする車両の運転支援装置。
2. 上記前方環境認識手段は、一対の撮像画像の対応する位置のズレ量に基づき三次元の距離分布を表す距離画像を生成し、
   上記注視距離推定手段は上記距離画像に対する視線位置に基づき運転者の注視距離を推定することを特徴とする請求項１記載の車両の運転支援装置。
3. 上記前方環境認識手段は、上記前方環境における三次元の距離分布を生成し、
   上記注視距離推定手段は、上記視線位置に対応する上記距離分布中の距離情報を上記注視距離として推定することを特徴とする請求項１記載の車両の運転支援装置。

Images