JP4981566B2 - 運転支援装置および運転支援方法 - Google Patents

Description

本発明は、運転を支援する運転支援装置に関する。

従来から、車両の運転を支援する様々な技術が提案されている。例えば、特許文献１は、カメラ等で車両周辺状況を監視し、接近する対象物等の情報をモニタで運転者に提示する運転支援システムを開示している。特許文献２は、車両間の通信によって、自車と周辺車両が走行情報を交換することにより、自車の周辺状況を把握できるようにした車両用運転支援装置を開示している。特許文献３は、走行状態等に応じて情報提示方法やタイミングを動的に選択する車両運転支援システムを開示している。
特開２００５−３１９８８８号公報 特開２００５−２２２３２５号公報 特開２００５−２１２７０９号公報

運転者を支援するためには、運転に必要な情報を適切なタイミングで提供することが必要である。上記した特許文献１および特許文献２では、運転者に情報を提示するタイミングについては考慮していない。特許文献３では、走行状況等に応じて情報提示を行うので、一応、情報提示のタイミングについて考慮している。すなわち、特許文献３では、例えば、同文献中の図９等に見られるように、接近車両がある場合に、フロントモニタにカメラ画像を表示する。

しかしながら、特許文献３に記載された情報提示のタイミングは、外部の状況によって決定されるものであり、ドライバの意図とは関係なく情報が提示される。例えば、ドライバが後方の車両の状況を知りたいと思わなくても接近車両の画像がモニタに表示されてしまう。逆に、例えば、車線変更等を行うとき等に、後方の車両の状況を知りたいと思うタイミングで、必ずしも後方の様子がモニタに表示されるとは限らない。

本発明は、上記背景に鑑み、適切なタイミングでドライバにとって必要な情報を提供する運転支援装置を提供することを目的とする。

本発明の運転支援装置は、車両に搭載されたカメラと、車両のインストルメントパネルに設けられたモニタと、ドライバの視線を検出する視線検出部と、前記視線検出部にて検出した視線に基づいて、モニタに表示すべき表示対象を決定する表示対象決定部とを備え、前記モニタは、前記カメラにて撮影した前記表示対象の映像を表示する。

この構成により、ドライバが見たいと思った表示対象を適切なタイミングでモニタに表示できる。また、モニタはインストルメントパネルに設けられているので、ドライバは前方から視線を逸らすことなく対象を見ることができる。なお、カメラは、車両の内外に複数搭載してもよいし、一台のカメラを搭載することとしてもよい。一台のカメラを用いる場合には、表示対象を撮影可能な方向にカメラを向けることができるように、カメラの撮像方向を変更可能な構成とする。カメラとして、一台のカメラで周囲の状況を一枚の画像で撮像することが可能な全方位カメラを用いることもできる。

本発明の運転支援装置において、前記表示対象決定部は、前記視線検出部にて検出した視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定してもよい。

ドライバがサイドミラーあるいはルームミラーを見るときには、車両後方の状況を確認したい場合である。本発明の構成によれば、ドライバの意図に従って、車両後方をモニタに表示するので、ドライバは前方から視線を逸らさなくても後方の状況を確認でき、安全運転に資することができる。

本発明の運転支援装置において、前記表示対象決定部は、前記視線検出部にて検出した視線に基づいて、ドライバが右のサイドミラーを見たと判定した場合に右側の車両後方を前記表示対象として決定し、ドライバが左のサイドミラーを見たと判定した場合に左側の車両後方を前記表示対象として決定してもよい。

この構成により、運転を支援する適切な情報を適切なタイミングでドライバに提供することができる。

本発明の運転支援装置は、前記映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成する注意喚起情報生成部を備え、前記モニタは、前記表示対象と共に前記注意喚起情報を表示してもよい。

このように移動物体に基づく注意喚起情報をモニタに表示することにより、注意が必要か否かの判断を助け、ドライバが映像を見て注意すべきか否かを考える時間を短縮できる。これにより、ドライバがモニタを見る時間を短縮できるので、安全性を向上できる。なお、移動物体には、車両が含まれるほか、自転車や歩行者も含まれる。

本発明の運転支援装置において、前記モニタは、前記モニタの一部に所定の色を表示することによって、前記注意喚起情報を表示してもよい。

このように注意喚起情報を色によって表示することにより、文字等を読むのと異なり、注意喚起情報を直感的に判断することができる。

本発明の運転支援装置において、前記モニタは、前記移動物体の周りを前記所定の色で縁取りして表示してもよい。

このように移動物体の周りを縁取りして表示することにより、どの移動物体に注意すべきかを直感的に把握できる。

本発明の運転支援装置において、前記モニタは、前記所定の色として、安全なことを示す色と危険を示す色を有し、前記注意喚起情報の内容に応じて色を表示してもよい。

このように色によって安全か危険かを示すことによって、ドライバは直感的に状況を把握できる。なお、安全か危険かの２段階だけでなく、安全と危険の度合いを複数の段階に分割し、各段階で色を変えることとしてもよい。

本発明の運転支援装置において、前記モニタは、安全なことを示す色として青色を用い、危険を示す色として赤色を用いてもよい。

このようにドライバに非常に馴染みのある信号と同じ色を用いることにより、注意が必要か否かを直感的に判断できる。なお、安全なことを示す青色は、信号と同様に、所定の運転行動を起こしても良いことを示す色として用いてもよい。例えば、ドライバが車線変更をしようとしているときには、青色を車線変更ＯＫのサインとして用いてもよい。また、危険を示す赤色も、信号と同様に、所定の運転行動を行ってはいけないことを示す色として用いてもよい。

本発明の運転支援装置において、前記モニタは、前記移動物体のうち最も近くにある移動物体の画像を抽出し、前記カメラにて撮像した背景画像に重ね合わせて表示してもよい。

このように最も近い移動物体のみが表示されるので、他の移動物体に気を取られることなく、最も注意すべき移動物体を速やかに把握できる。

本発明の運転支援装置において、前記モニタは、前記移動物体を含む所定の範囲を切り出して表示してもよい。

このように移動物体を含む所定の範囲を切り出すことにより、移動物体を速やかに把握できる。なお、切り出しの対象となる範囲は、例えば、小さく映っている移動物体を含む所定の範囲としてもよい。小さく映っている移動物体（例えばバイク等）を含む範囲を切り出して、モニタの画面サイズに合うように表示することにより、移動物体とその周辺の映像が拡大して表示されるので、移動物体が見えやすくなる。

本発明の運転支援装置は、前記車両から前記移動物体までの距離を求める距離算出部を備え、前記注意喚起情報生成部は、前記車両から前記移動物体までの距離に応じて、前記注意喚起情報の内容を決定してもよい。

この構成により、移動物体までの距離に応じた適切な注意喚起情報を生成できる。例えば、移動物体までの距離が離れているときには安全であることを示す注意喚起情報を生成し、移動物体までの距離が近いときには危険であることを示す注意喚起情報を生成する。

本発明の運転支援装置は、前記移動物体の移動速度を求める移動速度算出部を備え、前記注意喚起情報生成部は、前記移動物体の移動速度に応じて、前記注意喚起情報の内容を決定してもよい。

この構成により、移動物体の速度に応じた適切な注意喚起情報を生成できる。例えば、移動物体の速度が大きく、自車両に急接近している場合には危険であることを示す注意喚起情報を生成し、移動物体の速度が小さく、自車両から遠ざかっている場合には安全であることを示す注意喚起情報を生成する。

本発明の運転支援装置において、前記注意喚起情報生成部は、前記映像中に映る移動物体の大きさに基づいて前記注意喚起情報の内容を決定してもよい。

移動物体の大きさとその変化に基づいて、移動物体までの距離や移動物体が近づいているか遠ざかっているか等を簡易に分析できるので、簡易な構成で注意喚起情報を生成することができる。

本発明の運転支援装置において、前記モニタは、前記移動物体がカメラにて撮影された映像から消えたときに、前記モニタの表示を停止してもよい。

このように移動物体がカメラで撮影した映像から消えた場合には、移動物体に注意する必要がないので、モニタの表示を停止することにより、前方に集中できる。

本発明の運転支援装置において、前記モニタは、前記注意喚起情報が安全であることを示す内容となったときに、前記モニタの表示を停止してもよい。

このように注意喚起情報が安全であることを示す内容となったときには、移動物体に注意する必要性が低下したので、モニタを停止することにより、前方に集中できる。

本発明の運転支援装置は、車両の現在位置を検出する現在位置検出部と、地図情報を記憶した地図情報記憶部とを備え、前記表示対象決定部は、前記視線検出部にて検出した視線と、前記現在位置検出部にて検出した車両の現在位置と、前記地図情報記憶部に記憶した地図情報とに基づいて、ドライバが見た施設を特定し、前記施設を表示対象として決定してもよい。

このようにドライバが見た施設をインストルメントパネルに設けたモニタに表示することにより、前方からほとんど視線を逸らさないで施設を見ることができるので、ドライバのよそ見の回数を減らし、安全運転に資することができる。

本発明の運転支援装置において、前記表示対象決定部は、前記視線検出部にて検出した視線に基づいて、ドライバが車両内の所定の位置を見たと判定したときに、後部座席を前記表示対象として決定してもよい。

このように後部座席の様子をインストルメントパネルに設けたモニタに表示することにより、前方からほとんど視線を逸らさないで後部座席の様子を見ることができるので、ドライバのよそ見の回数を減らし、安全運転に資することができる。

本発明の運転支援装置において、前記モニタは、前記視線検出部による検出の結果に基づいて、ドライバが前記モニタを所定時間継続して見ていないときに、前記モニタの表示を停止してもよい。

この構成により、ドライバがモニタを見なくなったときに、自動的にモニタの表示を停止することができる。

本発明の運転支援装置において、前記表示対象決定部は、前記視線検出部にて検出した視線に基づいて求めたドライバが見た対象物に基づいて、前記表示対象を決定し、前記モニタは、ドライバが見た対象物に応じて形状の外枠をモニタに表示し、その枠内にカメラ映像を表示してもよい。

このように対象物に応じた形状の外枠を表示し、その枠内にカメラ映像を表示することにより、ドライバは、モニタに表示された映像がどの対象物に関する映像であるかを直感的に把握できる。例えば、ドライバが見た対象物がサイドミラーであった場合には、サイドミラーの鏡面の形状と同じ形状の外枠をモニタに表示する。ドライバが見た対象物がルームミラーであった場合には、ルームミラーの鏡面の形状と同じパノラマの形状の外枠をモニタに表示する。

本発明の運転支援方法は、車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援する方法であって、ドライバの視線を検出するステップと、ドライバの視線に基づいて、モニタに表示すべき表示対象を決定するステップと、前記表示対象を前記カメラにて撮影するステップと、前記カメラの映像を前記モニタに表示するステップとを備える。

この構成により、本発明の運転支援装置と同様に、ドライバが見たいと思った表示対象を適切なタイミングでモニタに表示するので、ドライバは前方から視線を逸らすことなく対象を見ることができる。なお、本発明の運転支援装置の各種の構成を本発明の運転支援方法に適用することが可能である。

本発明のプログラムは、車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援するためのプログラムであって、コンピュータに、ドライバの視線を検出するステップと、ドライバの視線に基づいて、モニタに表示すべき表示対象を決定するステップと、前記表示対象を前記カメラにて撮影するステップと、前記カメラの映像を前記モニタに表示するステップとを実行させる。

この構成により、本発明の運転支援装置と同様に、ドライバが見たいと思った表示対象を適切なタイミングでモニタに表示するので、ドライバは前方から視線を逸らすことなく対象を見ることができる。なお、本発明の運転支援装置の各種の構成を本発明のプログラムに適用することが可能である。

本発明によれば、ドライバが見たいと思った表示対象を適切なタイミングでモニタに表示し、ドライバは前方から視線を逸らすことなく対象を見ることができるという効果を有する。

以下、本発明の実施の形態の運転支援装置について、図面を参照して説明する。
（第１の実施の形態）
図１は、本実施の形態の運転支援装置１の構成を示す図である。運転支援装置１は、ナビゲーション装置４０に接続されている。最初に、ナビゲーション装置４０について説明する。ナビゲーション装置４０は、ナビゲーション装置４０を制御する制御部４０と、車両の現在位置を検出する車両位置検出部４４と、地図情報を記憶した地図データベース（以下、「地図ＤＢ」という）４６とを有している。

車両位置検出部４４としては、例えば、地磁気センサ、ジャイロスコープ、距離センサ、ＧＰＳ受信機、ステアリングの回転センサ、各転動輪の車両センサ等を用いることができる。車両位置検出部４４は、これらのいくつかのセンサを用いて構成してもよい。これらのセンサは、性質の異なる誤差を持っているので、複数のセンサで補完することにより、車両の現在位置を精度良く検出できる。

図２は、地図ＤＢ４６に記憶されたデータの例を示す図である。地図ＤＢ４６には、施設の位置座標のデータと高さのデータが記憶されている。位置座標は、施設のある場所の経度および緯度のデータである。

なお、本実施の形態では、運転支援装置１をナビゲーション装置４０と別に構成した例について説明するが、運転支援装置１にナビゲーション装置の機能を持たせ、経路案内等のサービスも含めて運転支援を行うこととしてもよい。この場合、運転支援装置１が車両位置検出部４４および地図ＤＢ４６を有することになる。

次に、運転支援装置１について説明する。運転支援装置１は、ドライバを撮影するドライバモニタリングカメラ１０と、車外を撮影する車外カメラ１２と、車外カメラ１２で撮影した映像を表示するモニタ１４とを有している。車外カメラ１２は、例えば、車両の後方を撮影する位置に設置される。車外カメラ１２は、一台であってもよいし、複数台であってもよい。モニタ１４は、インストルメントパネルの中央付近に設ける。これにより、ドライバは、前方からほとんど目を逸らさずに、モニタ１４に表示された映像を確認することができる。

また、運転支援装置１は、ドライバの視線に基づいてモニタ１４に表示する画像を生成し、画像に表示する制御部１６を備えている。制御部１６は、視線を検出する視線検出部１８と、モニタ１４に表示すべき対象を決定する表示対象決定部２０と、表示対象を撮像したカメラ映像を取得するカメラ映像取得部２２と、モニタ１４に画像を表示するためのモニタ制御部２４とを有している。

図１では、制御部１６が有する機能を機能ブロックで示しているが、制御部１６の機能は、例えば、メモリに格納したプログラムをＣＰＵによって実行することで実現することができる。

図３は、運転支援装置１の制御部１６の機能を実現するための運転支援プログラム５０の例を示す図である。運転支援プログラム５０は、視線検出サブプログラム５２、表示対象決定サブプログラム５４、カメラ映像取得サブプログラム５６、モニタ制御サブプログラム５８とを有している。視線検出サブプログラム５２をＣＰＵによって実行することにより、制御部１６の視線検出部１８の機能が実現される。これにより、運転支援装置１は、ドライバモニタリングカメラ１０にて撮像した映像からドライバの視線を検出する。同様に、表示対象決定サブプログラム５４、カメラ映像取得サブプログラム５６、モニタ制御サブプログラム５８をそれぞれ実行することにより、制御部１６の表示対象決定部２０、カメラ映像取得部２２、モニタ制御部２４の機能が実現される。

また、運転支援装置１は、車載機器の位置を示す情報を記憶した車載機器データベース（以下、「車載機器ＤＢ」という）２６と、表示対象を決定するための情報を記憶した表示対象決定用データベース（以下、「表示対象決定用ＤＢ」という）２８とを有している。

図４は、車載機器ＤＢ２６に記憶されたデータの例を示す図である。車載機器ＤＢ２６には、車載機器の位置を表す位置座標のデータが記憶されている。位置座標は、車両内部の座標系によって車載機器の位置を示している。車両内部の座標系は、例えば、ドライバのシートのヘッドレストの所定点を原点とし、車両の進行方向をＸ軸、高さ方向をＹ軸、ＸＹ平面に垂直な方向をＺ軸とする座標系である。なお、本実施の形態では、車載機器ＤＢ２６は、車載機器の位置を表すデータのみを記憶しているが、車載機器の大きさを示すデータを記憶することとしてもよい。

図５は、表示対象決定用ＤＢ２８に記憶されたデータの例を示す図である。表示対象決定用ＤＢ２８には、ドライバが見た対象物のデータに対応付けて表示対象を示すデータが記憶されている。これにより、ドライバが見た対象物に応じて表示対象を決定することができる。例えば、図５に示す例では、ドライバが見た対象物が右のサイドミラーである場合には、表示対象は車両の右側後方と判定することができる。

図１を再び参照して、運転支援装置１の制御部１６の各構成について説明する。視線検出部１８は、ドライバモニタリングカメラ１０にて撮影した映像から、ドライバの顔および眼球の向きを解析することによって、ドライバの視線を検出し、車両内の座標系によって視線の方向を表す。また、視線検出部１８は、位置検出部１６にて検出した車両の位置および向きのデータを用いて、車両内の座標系によって表現された視線の方向を、地球を基準とした座標系、すなわち経度、緯度を用いて表現された絶対座標系に変換する。これにより、個々の車両によって異なるローカルな座標系で表現された視線の方向を、絶対的な座標系で表現できる。以上のように、視線検出部１８は、ドライバの視線を検出し、車両内の座標系と絶対座標系の２つの座標系によって視線の方向を求める。なお、本実施の形態では、顔および眼球の向きを用いて視線を求めることとしているが、計算処理を軽減するために顔の向きのみを用いて、近似によって視線を検出してもよい。

表示対象決定部２０は、モニタ１４に表示すべき対象を決定する機能を有する。表示対象決定部２０は、まず、視線検出部１８にて検出されたドライバの視線に基づいてドライバが見た対象物を検出する。そして、表示対象決定部２０は、ドライバが見た対象物に基づいて、ドライバの意図を推定し、モニタ１４に表示すべき対象を決定する。本実施の形態においては、表示対象決定部２０は、表示対象決定用ＤＢ２８を参照して、表示対象を決定する。すなわち、表示対象決定用ＤＢ２８には、ドライバが見た対象物に関連付けて、ドライバが見たいと意図しているであろう表示対象をあらかじめ記憶しておき、表示対象決定部２０は、対象物に対応する表示対象を読み出すことによって表示対象を決定する。表示対象決定部２０は、表示対象決定用ＤＢ２８にドライバが見た対象物が記憶されていない場合には、ドライバが見た対象物を車両外にある施設から検索し、検索された施設を表示対象として決定する。施設の検索は、運転支援装置１からナビゲーション装置４０に対してドライバの視線の情報を送信することにより、ナビゲーション装置４０によって行う。なお、ナビゲーション装置の機能も含めた運転支援装置を構成する場合には、運転支援装置の制御部から地図ＤＢ４６に直接アクセスして施設の検索を行う。

カメラ映像取得部２２は、表示対象決定部２０にて決定された表示対象を撮像したカメラ映像を取得する機能を有する。複数の車外カメラ１２を有する場合には、表示対象を撮像している車外カメラ１２を特定し、その車外カメラ１２により撮影した映像を取得する。車外カメラ１２が１台の場合には、その車外カメラ１２を表示対象の方向に向け、車外カメラ１２にて撮像した映像を取得する。

モニタ制御部２４は、モニタ１４を制御して、車外カメラ１２から取得した映像をモニタ１４に表示する。モニタ制御部２４は、ドライバの視線が所定の時間（例えば、５秒間）に亘って一度もモニタ１４に向けられていない場合には、モニタ１４を制御して表示を停止する。ここでは、ドライバがモニタを見ていないときにモニタの表示を停止する例について説明しているが、モニタ制御部２４は、映像の表示から一定時間経過後にモニタの表示を停止するように制御してもよい。

図６は、運転支援装置１の動作を示すフローチャートである。運転支援装置１は、まず、ドライバの視線を検出する（Ｓ１０）。具体的には、運転支援装置１は、車両の動作中に、ドライバモニタリングカメラ１０にてドライバを撮影する。制御部１６は、撮影された映像を解析し、ドライバの頭部および眼球の向きからドライバの視線を検出する。上記したように、制御部１６は、検出した視線の方向を、車両内の座標系および絶対座標系の２つの座標系によって表現する。次に、運転支援装置１は、検出された視線に基づいてドライバが見た対象物を検出する（Ｓ１２）。

図７は、視線に基づいてドライバが見た対象物を検出する動作を示すフローチャートである。制御部１６は、ドライバの視線上に車載機器があるか否かを判定する（Ｓ２０）。具体的には、制御部１６は、車内座標系で表現されたドライバの視線と車載機器ＤＢ２６に記憶された車載機器の位置とに基づいて、ドライバの視線上に車載機器があるか否かを判定する。なお、車載機器は所定の大きさを有しているので、車載機器がドライバの視線と完全に一致しない場合でも、車載機器の付近を通れば、車載機器を見たと判断する。車載機器とドライバの視線がどの程度近接していれば車載機器を見たと判定するかの閾値は、設計によって適宜設定することができる。なお、車載機器ＤＢ２６に車載機器の大きさのデータを記憶している場合には、車載機器の大きさに応じて閾値を設定してもよい。

ドライバの視線上に車載機器がある場合には（Ｓ２０でＹＥＳ）、制御部１６は、当該車載機器をドライバが見た対象物であると判定する（Ｓ２２）。ドライバの視線上に車載機器がない場合には（Ｓ２０でＮＯ）、制御部１６は、ドライバの視線上に施設があるか否かを判定する（Ｓ２４）。具体的には、制御部１６は、絶対座標系で表現されたドライバの視線の情報をナビゲーション装置４０に送信する。ナビゲーション装置４０はドライバの視線と地図ＤＢ４６に記憶された施設の位置および高さとに基づいて、ドライバの視線上に施設があるか否かを検索し、検索された施設の情報を運転支援装置１に返す。ナビゲーション装置４０から送信された検索結果に基づいて、ドライバの視線上に施設があると判定された場合には（Ｓ２４でＹＥＳ）、制御部１６は、当該施設をドライバが見た対象物であると判定する（Ｓ２６）。ドライバの視線上に施設がないと判定された場合には（Ｓ２４でＮＯ）、制御部１６は、ドライバが見た対象物が見つからなかったと判断する（Ｓ２８）。

図６を再び参照して、運転支援装置１の動作について説明する。視線に基づいて、ドライバが見た対象物が決定されると、運転支援装置１は、その対象物に基づいて、モニタ１４に表示すべき表示対象を決定する（Ｓ１４）。具体的には、運転支援装置１は、表示対象決定用ＤＢ２８の中から、ドライバが見た対象物に対応する表示対象のデータを読み出す。例えば、ドライバが見た対象物が右のサイドミラーである場合には、運転支店装置１は、車両の右側後方を表示対象として決定する。例えば、ドライバが見た対象物が施設である場合には、運転支援装置１はドライバが見た施設を表示対象として決定する。なお、ドライバが見た対象物が見つからなかった場合、カメラ映像をモニタ１４に表示することなく、視線を検出する処理（Ｓ１０）に戻る。

表示対象が決定した後、運転支援装置１は、その表示対象を撮影している車外カメラ１２を特定し、その車外カメラ１２にて撮影している映像を取得する（Ｓ１６）。運転支援装置１は、取得した映像をモニタ１４に表示する（Ｓ１８）。図８は、左サイドミラーに映る車両後方の様子をモニタ１４に表示した例を示す図である。
以上、第１の実施の形態の運転支援装置１の構成および動作について説明した。

第１の実施の形態の運転支援装置１は、ドライバモニタリングカメラ１０の映像からドライバの視線を検出し、ドライバの視線に基づいて表示対象を決定し、決定された表示対象を車両のモニタ１４に表示する。これにより、ドライバが見たいと思った対象の映像を、見たいと思ったタイミングに、運転支援情報としてドライバに提供できる。例えば、追い越し車線（右側の車線）に車線変更を行うときに、ドライバが右のサイドミラーを見ると、車両の右側後方の様子がモニタ１４に表示される。従って、ドライバは、モニタ１４を見て、右側後方の様子を確認できるので、安全に車線変更を行える。

本実施の形態では、モニタ１４がインストルメントパネルの中央付近に設けられているので、ドライバは前方からほとんど目を逸らすことなく、モニタ１４に表示された映像を見ることができ、安全性を向上できる。

本実施の形態では、ドライバがモニタ１４を見ていないときにモニタ１４の表示を停止するので、省電力化を図ることができる。

（第２の実施の形態）
図９は、第２の実施の形態の運転支援装置２の構成を示す図である。第２の実施の形態の運転支援装置２の基本的な構成は、第１の実施の形態の運転支援装置１と同じである。第２の実施の形態においては、運転支援装置２は、車外カメラ１２から取得した映像をそのまま表示するのではなく、ドライバが把握しやすいように映像を加工して表示する。この機能を実現するため、第２の実施の形態では、制御部１６は、注意喚起信号生成部３０と、表示画像生成部３２とを有している。また、注意喚起信号生成部３０にて、注意喚起信号の生成に用いるデータを取得するためのミリ波レーダー３４を備えている。

ミリ波レーダー３４は、ミリ波を出射し、対象物から反射してきた電波を受信し、伝搬時間やドップラー効果によって生じる周波数差に基づいて、対象物の位置を測定する。本実施の形態では、運転支援装置２は、後方車両までの距離を検出する。

注意喚起信号生成部３０は、ドライバの注意を喚起する信号を生成する。なお、注意を喚起する信号には、危険な状況を喚起する信号だけでなく、安全な状況を喚起する信号も含まれる。本実施の形態においては、注意喚起信号生成部３０は、車外カメラ１２にて撮像された映像中から移動物体を検出し、検出した移動物体の位置や速度に基づいて（１）危険、（２）安全、（３）安全と危険の中間、の３種類の注意喚起信号を生成する。以下、本明細書では、３種類の注意喚起信号を注意レベル１〜３と表す。注意レベル１は安全を示し、注意レベル２は安全と危険の中間を示し、注意レベル３は危険を示すものとする。

注意喚起信号生成部３０は、ミリ波レーダー３４から最も近接する後方車両までの距離を示すデータを受信する。また、注意喚起信号生成部３０は、ミリ波レーダー３４から受信した距離を示すデータに基づいて、後方車両の自車両に対する相対速度を求める。そして、注意喚起信号生成部３０は、後方車両が自車両の現在位置に到達する時間および後方車両の相対速度に基づいて注意レベルを決定する。後方車両が自車両の現在位置に到達する時間は、自車両がその場に停止したと仮定したときに後方車両が自車両に衝突するまでの時間であり、後方車両までの距離と後方車両の絶対速度によって求める。

図１０は、注意喚起信号の生成処理を説明する図である。注意喚起信号生成部３０は、図１０に示す基準に従って、適切な注意レベルの注意信号を生成する。例えば、図１０に示すように、後方車両の到達時間が０〜２（ｓ）のときは、注意喚起信号生成部３０は注意レベル３の注意信号を生成する。後方車両の到達時間が２〜４（ｓ）のときは、注意喚起信号生成部３０は注意レベル２または注意レベル３の注意信号を生成する。すなわち、後方車両の相対速度がマイナスの場合（後方車両が遠ざかっている場合）には注意レベル２、後方車両の相対速度がプラスの場合（後方車両が近づいている場合）には注意レベル３の注意喚起信号を生成する。なお、後方車両が停車している場合、すなわち速度が０の場合には、距離を０で割ることができないので、後方車両が自車両の現在位置に到達する時間を求めることができない。この場合、相対速度がマイナスの場合には注意レベル１、相対速度が０の場合には注意レベル２、相対速度がプラスの場合（自車両がバックしている場合）には注意レベル３とする。

表示画像生成部３２は、車外カメラ１２にて撮影された映像を加工して、モニタ１４に表示する画像を生成する機能を有する。表示画像生成部３２は、移動物体の周辺の画像を切り出し、切り出した画像をモニタ１４の画面サイズに合致するように拡大する。次に、表示画像生成部３２は、注意喚起信号生成部３０にて生成された注意喚起信号に応じた所定の色を車外カメラ１２の映像に対して合成する。表示画像生成部３２は、注意レベル１の注意喚起信号が生成された場合には、移動物体を青色で縁取りし、注意レベル２の注意喚起信号が生成された場合には、移動物体を黄色で縁取りし、注意レベル３注意喚起信号が生成された場合には、移動物体を赤色で縁取りして表示する。

図１１は、運転支援装置２の動作を示すフローチャートである。運転支援装置２は、まず、ドライバの視線を検出し（Ｓ３０）、検出された視線に基づいてドライバが見た対象物を検出する（Ｓ３２）。次に、運転支援装置１は、検出された対象物に基づいて、モニタ１４に表示すべき表示対象を決定し（Ｓ３４）、その表示対象を撮影しているカメラから映像を取得する（Ｓ３６）。ここまでの動作は、第１の実施の形態の運転支援装置１の動作（Ｓ１０〜Ｓ１６）と同じである。以下では、後方車両の映像を取得した例を挙げて説明する。

第２の実施の形態の運転支援装置２は、カメラ映像を取得した後、カメラ映像中から最も近接している車両を抽出し、その車両までの距離および相対速度に基づいて注意喚起信号を生成する（Ｓ３８）。次に、運転支援装置２は、車外カメラ１２から得られた映像を加工して、表示画像を生成する（Ｓ４０）。運転支援装置２は、後方車両の周辺の映像を切り出し、切り出した画像をモニタ１４の表示範囲に合致するように拡大する。続いて、運転支援装置２は、後方車両を注意レベルに応じた色によって縁取りした映像を生成する。運転支援装置２は、注意レベル１の場合には青色で縁取りし、注意レベル２の場合には黄色で縁取りし、注意レベル３の場合には赤色で縁取りする。運転支援装置２は、生成した表示画像をモニタ１４に表示する（Ｓ４２）。

図１２は、後方車両に縁取り６０を付して表示した画面の例を示す図である。図１２では色彩が表現されていないが、実際には、注意レベルに応じた色彩（青色、黄色、赤色）を付与する。以上、第２の実施の形態の運転支援装置２の構成および動作について説明した。

第２の実施の形態の運転支援装置２は、第１の実施の形態と同様に、ドライバが見たいと思った対象の映像を、適切なタイミングで提供することができるという効果を有する。

また、第２の実施の形態の運転支援装置２は、注意レベルに応じた色彩によって後方車両を縁取りして表示するので、後方車両の位置や現在の状態を直感的に把握することができる。特に、本実施の形態では、ドライバにとってきわめて馴染みの深い信号と同じ色によって注意レベルを示しているので、例えば、赤で縁取りが表示されたときには後方車両が接近しており危険なので車線変更を行えない、青で縁取りが表示されたときには後方車両が離れているので安全に車線変更を行える等、瞬時に適切な判断をすることが可能である。

また、第２の実施の形態の運転支援装置２は、後方車両を含む所定の範囲を切り出し、切り出した画像をモニタに表示しているので、後方車両を速やかに識別できる。

以上、本発明の運転支援装置について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、ドライバモニタリングカメラ１０にてドライバを撮影し、ドライバの頭部や眼球の向きを画像解析することによって視線を検出する例について説明したが、視線を検出する構成は上記実施の形態で説明した構成に限定されない。例えば、アイマークカメラを用いてドライバの視線を検出することとしてもよい。

上記した実施の形態では、車外カメラ１２にて撮影した映像をモニタ１４に表示する例について説明したが、モニタ１４に表示する映像は必ずしも車外の映像に限られない。例えば、後部座席を撮影する後部座席カメラを設置し、ドライバがそのカメラを見たとき、あるいは後部座席を見たときに、モニタ１４に後部座席カメラで撮影した映像をモニタ１４に表示することとしてもよい。これにより、例えば、後部座席に幼児を乗せている場合等に、後部座席の様子をインストルメントパネルに設けたモニタ１４によって把握することができるので、ドライバがその都度後部座席を振り返る必要がなくなり、安全運転に資することができる。

上記した実施の形態では、車両機器に対応する表示対象を表示対象決定用ＤＢ２８に記憶しておき、このデータベースに従って表示対象を決定したが、より多くの情報に基づいて表示対象を決定してもよい。例えば、視線の情報に加えて、走行中の経路の情報や、車両の情報、あるいはユーザの嗜好等の情報に基づいて、ドライバが関心を持った対象を確率推論等によって決定し、関心を持った対象を撮影した映像をモニタ１４に表示してもよい。

上記した第２の実施の形態では、ミリ波レーダー３４を用いて後方の車両までの距離を求める例について説明したが、例えば、後方を撮影したカメラ映像を解析することによって、後方車両までの距離を求めてもよい。

また、上記した第２の実施の形態では、ミリ波レーダー３４を用いて後方の車両までの距離を求め、距離に基づいて注意喚起信号を生成する例について説明したが、カメラ映像に映る車両の大きさを用いて、簡易な構成で注意喚起信号を生成することも可能である。例えば、後方を撮影したカメラ映像に映る車両の大きさを求め、車両の大きさが次第に大きくなっている場合に注意レベル３の注意喚起信号を生成し、車両の大きさが次第に小さくなっている場合に注意レベル１の注意喚起信号を生成してもよい。

上記した第２の実施の形態では、後方車両までの距離および相対速度に基づいて注意レベルを決定する例について説明したが、例えば、移動物体として歩行者や自転車を検出した場合には、別の基準によって注意レベルを決定してもよい。例えば、交差点において左折する際に、自転車が左側後方にある場合には、その距離に基づいて注意レベルを決定してもよい。

上記した第２の実施の形態では、後方車両を縁取りして表示する例について説明したが、例えば、注意喚起信号に基づいて決定した周期で移動物体を点滅表示する等してもよい。また、上記実施の形態では、最も近接した移動物体に対して縁取りを付与したが、最も相対速度の速い移動物体に対して縁取りを付してもよい。

上記した実施の形態では、モニタを停止するタイミングについて、ドライバがモニタを所定時間継続して見ていない場合および映像の表示から一定時間経過後に自動的にモニタを停止する例を挙げたが、モニタを停止するタイミングを後方車両や注意喚起信号に基づいて決定することもできる。例えば、モニタは、後方車両がカメラ映像から消えたときや注意喚起信号が注意レベル１となったときに、表示を停止してもよい。カメラ映像に後方車両が映っていない場合や注意喚起信号の注意レベル１の場合には、後方に関しては安全なので、モニタを停止することによって、ドライバは前方に集中することができる。

また、上記実施の形態において、ドライバが見た対象物に応じた形状の外枠をモニタに表示し、その枠内にカメラ映像を表示してもよい。図１３は、ドライバが見た対象物がルームミラーであったときのモニタの表示例を示す図である。図１３に示すように、モニタ１４は、ルームミラーの鏡面と相似形の外枠６２を表示し、その枠内にカメラ映像を表示する。これにより、ドライバは、モニタ１４を見ただけで、ルームミラーに映る映像であることを直感的に把握できる。

本発明によれば、ドライバが見たいと思った表示対象を適切なタイミングでモニタに表示することにより、ドライバが前方から視線を逸らすことなく、対象を見ることができるという効果を有し、運転を支援する運転支援装置等として有用である。

第１の実施の形態の運転支援装置の構成を示す図である。 地図ＤＢに記憶されたデータの例を示す図である。 運転支援プログラムの例を示す図である。 車載機器ＤＢに記憶されたデータの例を示す図である。 表示対象物決定用ＤＢに記憶されたデータの例を示す図である。 第１の実施の形態の運転支援装置の動作を示すフローチャートである。 表示対象決定の動作を示すフローチャートである。 第１の実施の形態の運転支援装置のモニタの表示例を示す図である。 第２の実施の形態の運転支援装置の構成を示す図である。 注意喚起信号を生成する処理を説明するための図である。 第２の実施の形態の運転支援装置の動作を示すフローチャートである。 第２の実施の形態の運転支援装置のモニタの表示例を示す図である。 変形例におけるモニタの表示例を示す図である。

符号の説明

１，２ 運転支援装置
１０ ドライバモニタリングカメラ
１２ 車外カメラ
１４ モニタ
１６ 制御部
１８ 視線検出部
２０ 表示対象決定部
２２ カメラ映像取得部
２４ モニタ制御部
２６ 車載機器ＤＢ
２８ 表示対象決定用ＤＢ
３０ 注意喚起信号生成部
３２ 表示画像生成部
３４ ミリ波レーダー
４０ ナビゲーション装置
４２ 制御部
４４ 位置検出部
４６ 地図ＤＢ
５０ 運転支援プログラム
５２ 視線検出サブプログラム
５４ 表示対象決定サブプログラム
５６ カメラ映像取得サブプログラム
５８ モニタ制御サブプログラム
６０ 縁取り
６２ 外枠

Claims (12)

1. 車両に搭載されたカメラと、
   車両のインストルメントパネルに設けられたモニタと、
   ドライバの視線を検出する視線検出部と、
   前記視線検出部にて検出した視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定する表示対象決定部と、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成する注意喚起情報生成部と、
   を備え、
   前記モニタは、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示し、前記移動物体がカメラにて撮影された映像から消えたときに、前記モニタの表示を停止する運転支援装置。
2. 前記モニタは、前記注意喚起情報が安全であることを示す内容となったときに、前記モニタの表示を停止する請求項１に記載の運転支援装置。
3. 車両の現在位置を検出する現在位置検出部と、
   地図情報を記憶した地図情報記憶部と、を備え、
   前記表示対象決定部は、前記視線検出部にて検出した視線と、前記現在位置検出部にて検出した車両の現在位置と、前記地図情報記憶部に記憶した地図情報とに基づいて、ドライバが見た施設を特定し、前記施設を表示対象として決定する請求項１または２に記載の運転支援装置。
4. 車両に搭載されたカメラと、
   車両のインストルメントパネルに設けられたモニタと、
   ドライバの視線を検出する視線検出部と、
   前記視線検出部にて検出した視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定し、ドライバが車両内の所定の位置を見たと判定した場合に、後部座席を前記表示対象として決定する表示対象決定部と、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成する注意喚起情報生成部と、
   を備え、
   前記モニタは、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示する運転支援装置。
5. 前記モニタは、前記視線検出部による検出の結果に基づいて、ドライバが前記モニタを所定時間継続して見ていないときに、前記モニタの表示を停止する請求項１〜４のいずれかに記載の運転支援装置。
6. 車両に搭載されたカメラと、
   車両のインストルメントパネルに設けられたモニタと、
   ドライバの視線を検出する視線検出部と、
   前記視線検出部にて検出した視線に基づいて求めたドライバが見た対象物に基づいて表示対象を決定する表示対象決定部であって、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定する表示対象決定部と、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成する注意喚起情報生成部と、
   を備え、
   前記モニタは、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示すると共に、ドライバが見た対象物に応じた形状の外枠をモニタに表示し、その枠内にカメラ映像を表示する運転支援装置。
7. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援する方法であって、
   ドライバの視線を検出するステップと、
   前記視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定するステップと、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
   前記モニタが、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示するステップと、
   前記モニタが、前記移動物体がカメラにて撮影された映像から消えたときに、前記モニタの表示を停止するステップと、
   を備える運転支援方法。
8. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援する方法であって、
   ドライバの視線を検出するステップと、
   前記視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定し、ドライバが車両内の所定の位置を見たと判定した場合に、後部座席を前記表示対象として決定するステップと、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
   前記モニタが、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示するステップと、
   を備える運転支援方法。
9. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援する方法であって、
   ドライバの視線を検出するステップと、
   前記視線に基づいて求めたドライバが見た対象物に基づいて表示対象を決定するステップであって、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定するステップと、
   前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
   前記モニタが、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示すると共に、ドライバが見た対象物に応じた形状の外枠をモニタに表示し、その枠内にカメラ映像を表示するステップと、
   を備える運転支援方法。
10. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援するためのプログラムであって、コンピュータに、
    ドライバの視線を検出するステップと、
    前記視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定するステップと、
    前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
    前記モニタに、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示するステップと、
    前記モニタが、前記移動物体がカメラにて撮影された映像から消えたときに、前記モニタの表示を停止するステップと、
    を実行させるプログラム。
11. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援するためのプログラムであって、コンピュータに、
    ドライバの視線を検出するステップと、
    前記視線に基づいて、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定し、ドライバが車両内の所定の位置を見たと判定した場合に、後部座席を前記表示対象として決定するステップと、
    前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
    前記モニタに、前記カメラにて撮影した前記表示対象の映像を表示すると共に前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示するステップと、
    を実行させるプログラム。
12. 車両に搭載されたカメラにて撮影した映像を車両のインストルメントパネルに設けられたモニタに表示することによって運転を支援するためのプログラムであって、コンピュータに、
    ドライバの視線を検出するステップと、
    前記視線に基づいて求めたドライバが見た対象物に基づいて表示対象を決定するステップであって、ドライバがサイドミラーあるいはルームミラーを見たと判定した場合に、車両後方を表示対象として決定するステップと、
    前記カメラにて撮影した前記表示対象の映像中に映る移動物体に基づいて、ドライバの注意を喚起する注意喚起情報を生成するステップと、
    前記モニタに、前記カメラにて撮影した前記表示対象の映像を表示すると共に、前記モニタの一部に所定の色を表示することによって前記注意喚起情報を表示すると共に、ドライバが見た対象物に応じた形状の外枠をモニタに表示し、その枠内にカメラ映像を表示するステップと、
    を実行させるプログラム。

Images