JP4935571B2 - 運転支援装置 - Google Patents

Description

本発明は、車両の運転者による車外風景の視認を支援する運転支援装置に関する。

従来より、車両の運転者に対して各種情報や指令を視覚的或いは聴覚的に提供することにより運転者による車両の運転を支援する運転支援装置が、種々提案・実用化されている。

この種の運転支援装置として、例えば、運転者の注視点が車外にあるか車内に相当する部品にあるかを判定すると共に、注視点が特定方向のままある一定時間継続したら脇見運転と判定して警報を出力するものが知られている（例えば、特許文献１参照。）。

また、運転中にリモコン操作をすることでその操作時に運転者が視線を向けていた方向の拡大画像を撮影してメモリに記録しておき、信号待ち等で車両を停車させた際にリモコン操作にてその拡大画像を液晶ディスプレイに表示させる技術も知られている（例えば、特許文献２参照。）。
特開平６−２５１２７２号公報 特開２００６−１７２２１５号公報

しかしながら、特許文献１に記載の技術では、運転者の注視点が車内にあるか車外にあるかの判定や、脇見運転をしているか否かの判定を行うことはできるが、例えば注視点が車外と判定することまではできても、具体的に車外の何を見ているのかということまでは判定・認識できない。

一方、特許文献２に記載の技術によれば、走行中に運転者がはっきりと確認できなかった車両前方の建造物・歩行者・道路標識などがあっても、それをリモコン操作にて撮影・記録しておけば、後から拡大画像として確認することができる。

しかし、運転者が視線を向けた方向に存在する物・場所を拡大画像として提供することはできるものの、そのためには、運転中に運転者がモコン操作をして画像撮影を行う必要がある。しかも、その撮影した画像に基づいて拡大画像を表示させるためには、撮影した後、例えば信号待ち等での車両を停車させた上で、再びリモコン操作を行う必要がある。

そのため、運転者が運転中に視線を向けた注視対象の拡大画像を、運転者に対してリアルタイムに見せることはできない。更に、液晶ディスプレイに表示されるのはあくまでも拡大画像のみであるため、その拡大画像を見ただけでは周囲の風景との位置関係（換言すれば、周囲風景全体におけるその拡大画像部分の位置づけ）がわかりにくくなるおそれもある。

本発明は上記課題に鑑みなされたものであり、運転者が運転中に視線を向けた注視対象の画像を、リアルタイムで且つわかりやすく運転者が視認できるように提供することを目的とする。

上記課題を解決するためになされた請求項１記載の発明は、車両に搭載され、該車両の運転者による車外風景の視認を支援する運転支援装置であって、運転者に対し、車外風景を直接又は間接的に視認可能に提供する車外風景提供手段と、この車外風景提供手段が提供する車外風景に対し、所定の画像を、該車外風景中に重畳された状態で運転者に視認されるように表示する重畳表示手段と、運転者の視線方向を検出する視線方向検出手段と、車外風景のうち視線方向検出手段により検出された視線方向にある特定の物又は領域を注視対象とし、該注視対象を撮影して注視対象画像を得る注視対象撮影手段とを備える。

そして、その得られた注視対象画像を、拡大重畳表示制御手段が、重畳表示手段に対して、車外風景中の注視対象の大きさよりも大きい拡大画像として運転者に視認されるよう、しかもその拡大画像が車外風景中の注視対象の存在位置に重畳された状態で運転者に視認されるように表示させる。

更に、減速制御手段が、拡大重畳表示制御手段により重畳表示手段に拡大画像が表示される際、車両の走行速度を減速制御する。そして、拡大重畳表示制御手段は、重畳表示手段に対して拡大画像を表示させる際、該拡大画像の外周全体に隣接する環状の画像であって、該拡大画像から車外風景にかけて画像が連続的に繋がった状態で運転者に視認されるように画像の縮小処理が施された周囲縮小画像を、該拡大画像と共に表示させる。
ここでいう減速制御とは、ある一定の上限速度を基準としてその上限速度より低くなるように減速させること、現在の走行速度を基準としてその走行速度から減速させること、又はその両者をともに満たすもの、のいずれも含むものである。

このように構成された運転支援装置では、運転者が運転中に注視した（視線を向けた）注視対象を撮影し、それを拡大画像として、車外風景提供手段が提供する車外風景中におけるその注視対象の存在位置に重畳表示する。

また、単に車外風景中に注視対象の拡大画像を重畳表示させるだけでは、拡大画像部分と他の車外風景との境界部が不連続になるのに加えて車外風景の一部が拡大画像の後ろに隠れて見えなくなり、運転者にとって逆に視界が不安定となるおそれがある。

そこで本発明では、単に注視対象を拡大させた拡大画像を重畳表示させるのではなく、拡大画像と元の車外風景との間に、両者間が連続的に繋がって視認されるように画像を縮小処理して表示させる領域（周囲縮小画像）を設けている。これにより、拡大画像から元の車外風景にかけて、縮小処理による画像のひずみは生じるものの、画像の連続性・繋がりが確保される。

従って、請求項１記載の運転支援装置によれば、運転者が運転中に視線を向けた注視対象の画像を、リアルタイムで且つわかりやすく運転者が視認することができる。また、減速制御手段を備えることで、拡大画像の重畳表示中における車両の走行安全性をより高めることができる。
次に、請求項２に記載の発明は、車両に搭載され、該車両の運転者による車外風景の視認を支援する運転支援装置であって、運転者に対し、車外風景を直接又は間接的に視認可能に提供する車外風景提供手段と、この車外風景提供手段が提供する車外風景に対し、所定の画像を、該車外風景中に重畳された状態で運転者に視認されるように表示する重畳表示手段と、運転者の視線方向を検出する視線方向検出手段と、車外風景のうち視線方向検出手段により検出された視線方向にある特定の物又は領域を注視対象とし、該注視対象を撮影して注視対象画像を得る注視対象撮影手段とを備える。
そして、その得られた注視対象画像を、拡大重畳表示制御手段が、重畳表示手段に対して、車外風景中の注視対象の大きさよりも大きい拡大画像として運転者に視認されるよう、しかもその拡大画像が車外風景中の注視対象の存在位置に重畳された状態で運転者に視認されるように表示させる。また、拡大重畳表示制御手段は、重畳表示手段に対して拡大画像を表示させる際、該拡大画像の外周全体に隣接する環状の画像であって、該拡大画像から車外風景にかけて画像が連続的に繋がった状態で運転者に視認されるように画像の縮小処理が施された周囲縮小画像を、該拡大画像と共に表示させる。
また、視線方向検出手段は、運転者の少なくとも両目を撮影する運転者撮影手段と、運転者撮影手段により撮影された両目の画像を画像処理することにより、両目それぞれの視線を検出する両目視線検出手段と、両目視線検出手段により検出された両目それぞれの視線に基づき、視線方向を示すベクトルである視線ベクトルを検出する視線ベクトル検出手段と、を備える。
また、注視対象撮影手段は、ズーム比率を変更可能な拡大画像撮影手段と、拡大画像撮影手段の光軸が視線方向と一致するように該拡大画像撮影手段を駆動する駆動手段と、視線ベクトル検出手段により検出された視線ベクトルに基づいて焦点距離を算出する焦点距離算出手段と、焦点距離算出手段により算出された焦点距離に基づいて拡大画像撮影手段のズーム比率を算出するズーム比率算出手段と、拡大画像撮影手段のズーム比率を、ズーム比率算出手段にて算出された値に設定するズーム比率設定手段と、を備え、該ズーム比率設定手段にて設定されたズーム比率にて拡大画像撮影手段が注視対象を撮影することにより注視対象画像を得る。
このように構成された運転支援装置によれば、両目それぞれの視線から視線ベクトルを検出するため、注視対象の方向がわかると共に注視対象までの距離もわかる。そして、視線方向（視線ベクトルが示す方向）に向けて拡大画像撮影手段を駆動し、視線ベクトルが示す注視対象までの距離に応じてズーム比率を設定して、注視対象が拡大された画像を直接撮影することができる。
そのため、注視対象が拡大された画像を確実に撮影することができ、拡大画像中の中心拡大領域に表示させる画像を確実に得ることができる。
なお、運転者撮影手段の撮影対象は、運転者の両目のほかにも、例えば鼻、口、或いは顔全体などを含むようにしてもよく、撮影した画像に基づいて運転者の視線を検出でき、延いては視線ベクトルを検出できる限り、その撮影対象は適宜設定すればよい。
周囲縮小画像をどのように生成するかは種々考えられるが、例えば請求項３に記載のように、運転者視界撮影手段によって運転者が視認可能な風景を撮影し、この撮影された風景画像のうち周囲縮小画像として表示させるべき範囲の画像を拡大重畳表示制御手段が縮小処理することにより、周囲縮小画像を生成するようにしてもよい。

このようにすれば、拡大画像については注視対象撮影手段が撮影した画像（注視対象画像）に基づいて生成する一方、周囲縮小画像については運転者視界撮影手段が撮影した風景画像に基づいて生成できるため、各画像を確実に生成でき、拡大画像から周囲縮小画像を経て車外風景に至るまでの画像の連続性が良好に保たれる。

ここで、拡大画像をどのタイミングで重畳表示させるかは種々考えられるが、例えば請求項４記載のように、第１注視対象変化判定手段が、視線方向検出手段により検出された視線方向に基づき、予め設定された第１判定時間の間に、注視対象の変化量が予め設定された第１許容範囲を超えたか否かを判定し、この第１注視対象変化判定手段により第１判定時間の間に変化量が第１許容範囲を超えたと判定されなかった場合に、拡大重畳表示制御手段が重畳表示手段に対して拡大画像を表示させるようにしてもよい。

つまり、ある一定時間（第１判定時間）運転者が同じ注視対象に視線を向けていた場合に、その注視対象の拡大画像を表示するのであり、これにより運転者に対して適切なタイミングで拡大画像を提供（重畳表示）することができる。

一方、拡大画像を重畳表示させた後、そのまま表示させ続けると、運転者の視界を必要以上に妨げて運転に支障を及ぼすおそれがあるため、適当なタイミングでその重畳表示を停止させるのが好ましい。この、重畳表示を停止させるタイミングも種々考えられるが、例えば請求項５記載のように、第２注視対象変化判定手段が、重畳表示手段により拡大画像が表示された後、視線方向検出手段により検出された視線方向に基づき、予め設定された第２判定時間の間に注視対象の変化量が予め設定された第２許容範囲を超えたか否かを判定し、この第２注視対象変化判定手段により第２判定時間の間に注視対象が第２許容範囲を超えて変化したと判定されなかった場合に、 前記拡大重畳表示制御手段が重畳表示手段に対して拡大画像の表示を停止させるようにしてもよい。

つまり、重畳表示中は運転者がその重畳表示された拡大画像を見続けて周囲に対する注意が緩慢になるおそれがあるが、それを事前に防ぐべく、拡大画像表示後に、ある一定時間（第２判定時間）経過しても同じ注視対象を見続けていた場合は、拡大画像の重畳表示を停止するのである。これにより、過度な拡大画像の提供を抑え、運転への支障を確実に抑えることができる。

ところで、運転者に車外風景を提供する車外風景提供手段は、具体的には、例えば液晶ディスプレイなどの表示装置を設け、車外風景をカメラ等の撮影手段で撮影してその撮影画像（車外風景）をその表示装置に表示させることで実現してもよいが、そのようにすると、その表示装置において重畳表示手段が拡大画像を重畳表示したとき、その重畳表示された拡大画像を運転者が確認するためには、運転者は運転中に視線をそらして表示装置を見る必要がある。

そこで、例えば請求項６に記載のように、車外風景提供手段は、光を透過且つ反射するものであって当該車外風景提供手段を介して運転者が車外風景を視認可能に構成されたものであり、重畳表示手段は、車外風景提供手段へ画像情報を光で投射して該投射した画像情報を車外風景提供手段で反射させて運転者の目に入力させることにより、運転者に、該画像情報を車外風景に重畳された虚像として視認させるよう構成されたものであるとよい。

そして、より具体的には、例えば請求項７記載のように、車外風景提供手段は、車両のフロントガラス、又は、該フロントガラスに設けられ光を透過且つ反射する反射部材であるとよい。

上記請求項６又は請求項７に記載の運転支援装置によれば、運転者は、運転中に車外風景提供手段を介して車外風景を視認しつつ、拡大画像が重畳表示される際には、車外風景提供手段を介して実際に視認している車外風景中における注視対象の位置に重なるようにその注視対象の拡大画像が虚像として表示されることになる。そのため、運転者の視線移動を抑えつつ、注視対象の拡大画像を確実に運転者に提供することができる。

以下に、本発明の好適な実施形態を図面に基づいて説明する。
まず、本発明の運転支援装置が適用された実施形態の運転支援システム１の構成を、図１及び図２に基づいて説明する。図１は、運転支援システム１が搭載された車両４０の概略構成を示す図であり、図１（ａ）は、車両４０における前部座席近傍の構成を表す斜視図、図１（ｂ）は、車両４０の正面図である。

図１に示す如く、本実施形態の車両４０は、運転席４１及び助手席４２を備えると共に、フロントガラス４３の下端から車室内側へ延出するインストルメントパネル４４を備えている。また、フロントガラス４３の上端近傍にはルームミラー４７が設置されている。

インストルメントパネル４４の運転席４１側には、メータディスプレイ４５及びハンドル４６が設けられている。メータディスプレイ４５は、車両４０の速度、エンジン回転数、冷却水温度、燃料残量など、車両４０に関する各種情報が表示される周知の表示装置である。なお、表示方式がアナログ方式又はディジタル方式のどちらであるかは任意である。

そして、本実施形態の車両４０には、運転支援システム１を構成する主要構成要素としての、ナビＥＣＵ２、ヘッドアップディスプレイ装置（以下、「ＨＵＤ」と略す）３、前方撮影カメラ４、ドライバ撮影カメラ５、拡大画像撮影カメラ６、照度センサ７、照明装置８、ナビ液晶ディスプレイ１０が備えられている。

ナビＥＣＵ２は、インストルメントパネル４４の内部に収納され、図２に示すように、上述した運転支援システム１を構成する各装置・カメラ等と電気的に接続されている。そして、これら各装置・カメラ等は、ナビＥＣＵ２からの制御信号に基づいて（或いはナビＥＣＵ２と相互に信号授受を行いつつ）動作する。

ＨＵＤ３は、主として、フロントガラス４３における車室内側に設けられたコンバイナ５２（本発明の車外風景提供手段に相当）と、インストルメントパネル４４内に設けられてコンバイナ５２へ画像を投射するプロジェクタ５１（本発明の重畳表示手段に相当）とからなる。コンバイナ５２は、車両前方からの光を透過させて車室内へ導くと共にプロジェクタ５１から投射された画像を反射させてドライバへ視認させる。

つまり、プロジェクタ５１が画像を投射すると、ドライバには、フロントガラス４３及びコンバイナ５２を介して直接視認される自車前方の実際の風景中に、その投射された画像が虚像として重畳された状態で視認されることとなる。なお、フロントガラス４３自身がコンバイナ５２と同等の機能を有している場合は、コンバイナ５２は不要であり、プロジェクタ５１から投射された画像をフロントガラス４３で反射させてドライバの目に入力させるようにすればよい。

前方撮影カメラ４は、車室内においてフロントガラス４３の上端近傍（ルームミラー４７の近傍）に設置され、ドライバが視認可能な自車前方の風景を撮影する。
ドライバ撮影カメラ５は、車室内において、インストルメントパネル４４の上面であってドライバの正面の位置に設置され、ドライバの顔全体を撮影する。

拡大画像撮影カメラ６は、前方撮影カメラ４と隣接するように設置され、後述するように、自車前方の風景全体のうち、ドライバが注視していると判断された注視対象領域を拡大撮影することにより、その注視対象領域の拡大画像を得るものである。

照度センサ７は、フロントガラス４３の上端における運転席４１正面側に設置され、ドライバの顔周辺の照度を測定する。照明装置８は、照度センサ７と隣接するように設置され、後述するように、ドライバの顔周辺の照度が予め定められた所定値になるよう、ドライバの顔又はその近傍を照らすものである。

ナビ液晶ディスプレイ１０は、インストルメントパネル４４の中央部に設置され、道路地図や目的地までの経路案内表示、周辺スポット情報など、ナビゲーションシステム（詳細説明は省略）における各種画像情報が表示される。なお、前方撮影カメラ４、ドライバ撮影カメラ５、拡大画像撮影カメラ６の各々で撮影された画像をナビ液晶ディスプレイ１０に表示させることができるように構成してもよい。

また、図１（ｂ）に示すように、車両４０の両側面にそれぞれ左サイドミラー４８、右サイドミラー４９が設けられているほか、さらに車両４０の前部には、レーダ送受信部１２が設けられている。このレーダ送受信部１２も、図２に示すようにナビＥＣＵ２と電気的に接続されている。ナビＥＣＵ２は、このレーダ送受信部１２との間で相互に信号の授受を行うことにより、後述するように、先行車までの距離や相対速度、先行車の進行方向などを検出する。

次に、ナビＥＣＵ２の構成について、図２に基づいてより詳しく説明する。図２は、本実施形態の運転支援システム１の電気的構成の概要を示すブロック図である。図２に示す如く、本実施形態の運転支援システム１は、ナビＥＣＵ２に上述した各種カメラや装置、センサ等が接続され、これら各種カメラや装置、センサ等がナビＥＣＵ２によって制御されるよう構成されている。

ナビＥＣＵ２は、当該ナビＥＣＵ２における各種制御を統括するマイコン１５を備えている。このマイコン１５は、各種制御処理を実行するＣＰＵ１６と、ＣＰＵ１６により実行される各種プログラム等が格納されたＲＯＭ１７と、ＣＰＵ１６が各種制御処理を実行する際に一時的にデータ等が格納されるＲＡＭ１８と、車両４０内の部品の座標データをはじめ、マイコン１５が各種制御処理を実行する際に用いるデータやプログラム等が格納されたフラッシュメモリ１９とを備えるほか、周知のタイマ２０、Ａ／Ｄコンバータ（ＡＤＣ）２１、Ｄ／Ａコンバータ（ＤＡＣ）２２も備え、これらがバスライン２３を介して相互に接続されている。

また、ナビＥＣＵ２は、ＨＵＤ制御回路３１、カメラインターフェース回路３２、拡大画像撮影カメラ制御回路３３、ＣＡＮインターフェース回路３４、照明駆動回路３５、アンプ３６、表示制御回路３７、信号処理部３８を備えている。

ＨＵＤ制御回路３１は、マイコン１５の指令に従ってＨＵＤ３を制御するものである。ＨＵＤ３においては、このＨＵＤ制御回路３１からの信号に応じてプロジェクタ５１からの画像投射が行わる。本実施形態では、後述するように、ドライバの注視対象領域を拡大撮影し、実際の注視対象領域に拡大画像がちょうど重畳するように、プロジェクタ５１からその拡大画像を投射する。これにより、ドライバはその投射された拡大画像を実風景中における注視対象領域の位置に重畳表示された虚像として視認できるようになる。

このように、ＨＵＤ３において、運転風景の中にある物体に関連する情報をその物体の近くに表示する重畳表示技術は、近年盛んに研究が進められ、一部は自動車等で実用化されてもいるため、この重畳表示技術そのものについての詳細な原理説明は省略する。

カメラインターフェース回路３２は、前方撮影カメラ４、ドライバ撮影カメラ５、及び拡大画像撮影カメラ６のそれぞれの動作を制御すると共に、各カメラにて撮影された画像を適宜画像処理してマイコン１５へ出力する。

拡大画像撮影カメラ６は、方向・ズーム比率調整機構１３を備え、撮影対象や撮影時のズーム比率を調整・変更できるように構成されている。即ち、方向・ズーム比率調整機構１３は、より詳しくは、拡大画像撮影カメラ６の光軸が撮影対象（ドライバの注視対象領域）の方向と一致するように拡大画像撮影カメラ６を駆動させると共に、拡大画像撮影カメラ６のズーム比率を、マイコン１５にて算出された値に設定する。

ＣＡＮインターフェース回路３４は、車両４０内に構築された車載ネットワーク（本実施形態ではＣＡＮ）を介してナビＥＣＵ２が他のＥＣＵや装置等との間でデータ通信を行えるよう、データ・信号の送受信を行うものである。

本実施形態では、自車の前後方向・左右方向の傾きを検出する車両姿勢検知センサ、車両速度を検出する車速センサ、操蛇角を検出するステアリングセンサ、車両４０の揺れを検出する加速度センサ、車両４０の角速度を検出するヨーレートセンサ、アクセル開度を検出するアクセルセンサ、車高センサなどの各種センサ（いずれも図示略）からの信号（各種車両状態信号）が車載ネットワークを介してナビＥＣＵ２に入力される。

また、本実施形態では、後述するように、拡大画像を重畳表示する際に減速制御を行う場合があるが、その際、ナビＥＣＵ２から、減速すべき旨を示す速度制御信号を、車載ネットワークを介してエンジン制御ＥＣＵ（図示略）へ出力する。また、拡大画像の重畳表示を停止する際にはその減速制御も停止するが、その際にも、減速制御を停止すべき旨の速度制御信号を、車載ネットワークを介してエンジン制御ＥＣＵへ出力する。エンジンＥＣＵは、これら速度制御信号に基づいて車両４０の走行速度を制御する。

照明駆動回路３５は、照明装置８の照度を制御するものである。照明装置８は、照明駆動回路３５からの信号が示す照度にて、ドライバの顔又はその近傍を照らす。
表示制御回路３７は、ナビ液晶ディスプレイ１０への画像表示を制御するものである。

信号処理部３８は、レーダ送受信部１２にて送受信される信号を処理する。即ち、マイコン１５からの指令に応じてレーダ送受信部１２から所定の電磁波（例えばミリ波）を出力したり、或いは、レーダ送受信部１２にて受信された電磁波を適宜処理して必要に応じてマイコン１５へ出力したりする。

また、ナビＥＣＵ２には、ＧＰＳ用の人工衛星からの送信電波を受信するＧＰＳ受信機１１が接続されている。信号処理部３８は、このＧＰＳ受信機１１にて受信された電波に基づく信号処理を行い、車両４０の位置を検出する。

更に、ナビＥＣＵ２には、後述するようにドライバに対して各種警報や注意喚起を行うためのスピーカ９が接続されている。このスピーカ９は、ナビＥＣＵ２内のアンプ３６（音声信号処理機能を搭載）から出力される音声信号に基づき、後述する各種警告音を発生させるほか、ナビゲーションシステムにおける各種音声（例えば経路案内音声）などを出力する。

次に、ナビＥＣＵ２内のＣＰＵ１６が実行する各種制御処理のうち、運転支援システム１としての主要制御処理の１つである注視対象表示制御処理について、図３に基づいて説明する。この注視対象表示制御処理は、車両の電源スイッチ（例えばイグニションスイッチ）のオン後、継続して行われるものである。

この処理が開始されると、ＣＰＵ１６は、まずＳ１１０にて注視対象領域特定処理を行う。この注視対象領域特定処理の詳細を、図４に示す。
図４に示すように、注視対象領域特定処理（図３のＳ１１０）では、まずＳ３１０にて、照度センサ７を用いてドライバの顔周辺の照度を測定する。そして、測定した照度に基づき、Ｓ３２０にて、ドライバの顔周辺の照度が予め設定した一定値になるように、照明装置８にてドライバに照明を当てる。このようにしてドライバの顔周辺の照度を一定値に保持した上で、Ｓ３３０にて、ドライバ撮影カメラ５を用いてドライバの顔画像を撮影する。

そして、Ｓ３４０にて、撮影した顔画像を画像処理することにより、ドライバ撮影カメラ５とドライバ両目の相対位置、及び左右２つの目の視線角度を検出する。
図６に、ドライバの両目の位置座標と視線角度（ベクトル）の一例を示す。なお、図６（ａ）は路面に垂直な面からみた座標図であり、図６（ｂ）は路面に平行な面からみた座標図である。Ｓ３４０では、Ｓ３３０にて撮影されたドライバの顔画像を画像処理することにより、図６に示すように、ドライバ６０の左目６１の座標（ＸｅＬ，ＹｅＬ，ＺｅＬ）、右目６２の座標（ＸｅＲ，ＹｅＲ，ＺｅＲ）、左目６１の視線角度（ＸＩＬ，ＹＩＬ，ＺＩＬ）、及び右目６２の視線角度（ＸＩＲ，ＹＩＲ，ＺＩＲ）を検出する。ドライバ撮影カメラ５の位置座標は予めフラッシュメモリ１９に記憶されているため、ドライバ撮影カメラ５とドライバの両目６１，６２それぞれとの相対位置も検出できる。

なお、視線角度の検出は、例えば、ドライバ撮影カメラ５にて撮影された顔画像を画像認識処理（例えばパターンマッチング）することにより、口やまゆげの端点といった特徴点を抽出し、それらを事前に生成されてフラッシュメモリ１９に記憶されたドライバの顔モデルにフィッティングすることで行うことができる。

続くＳ３５０では、車載ネットワークを介して入力される各種センサからの信号（車両姿勢検知センサ、車速センサ、加速度センサ、ステアリングセンサ等からの信号）に基づいてドライバ撮影カメラ５と車外領域との相対位置を算出すると共に、ドライバの視線ベクトル（ＸＩ，ＹＩ，ＺＩ）を算出する。

視線ベクトル（ＸＩ，ＹＩ，ＺＩ）は、図７に示すように、左目６１の視線角度（ＸＩＬ，ＹＩＬ，ＺＩＬ）、と右目６２の視線角度（ＸＩＲ，ＹＩＲ，ＺＩＲ）の交点と、左右両目の中点とを結んでなるベクトルである。

そして、Ｓ３６０にて、Ｓ３５０で算出した相対位置（ドライバ撮影カメラ５と車外領域との相対位置）及び視線ベクトル（ＸＩ，ＹＩ，ＺＩ）に基づいて、その視線ベクトル（ＸＩ，ＹＩ，ＺＩ）が示す注視対象領域（即ち、視線ベクトルが示す方向に存在する、ドライバの中心視野内の領域）を特定する。

ここで、上述した注視対象領域特定処理（図４）では、単に視線ベクトル（ＸＩ，ＹＩ，ＺＩ）に基づいて注視対象領域を特定しているのではなく、視線ベクトル（ＸＩ，ＹＩ，ＺＩ）に、ドライバ撮影カメラ５と車外領域との相対位置を加味して（Ｓ３５０）、注視対象領域を特定している。

これは、車両４０の挙動によって車外領域とドライバ撮影カメラ５との相対位置が変化するためである。即ち、ドライバが自車前方のある特定のものを注視しているときに、それを見続けているにもかかわらず車両４０が揺れると、計算上の視線ベクトル（ＸＩ，ＹＩ，ＺＩ）は変化する。つまり、ドライバは同じ注視対象を見続けているにも拘わらず、車外領域（注視対象）に対して車両４０が揺れることで、両者の相対位置は変化し、故に視線ベクトル（ＸＩ，ＹＩ，ＺＩ）も変化するのであり、そうなると、システムとしてはあたかもドライバがキョロキョロしているものと判定してしまう。

そこで本実施形態では、車両４０の揺れを考慮した上で、注視対象領域を確実に特定できるように、ドライバ撮影カメラ５と車外領域との相対位置を算出し、これと視線ベクトル（ＸＩ，ＹＩ，ＺＩ）とに基づいて注視対象領域を特定するようにしている。

そのため、仮に車両４０に揺れが生じず、車両４０と車外領域との相対位置が常に不変ならば、視線ベクトル（ＸＩ，ＹＩ，ＺＩ）のみに基づいて注視対象領域を特定することができる。

なお、仮にドライバの動きや車両の揺れが全くない、或いは無視できるという場合は、上述した各相対位置を検出・考慮することなく、視線ベクトルのみに基づいて注視対象領域を特定するようにしてもよい。またその場合、後述するＳ１２０，Ｓ２１０，及びＳ６２０の判断処理は、注視対象領域に変えて視線ベクトル（ＸＩ，ＹＩ，ＺＩ）に基づいて行うことができる。

一方、ＣＰＵ１６は、Ｓ３３０においてドライバ撮影カメラ５によりドライバの顔画像を撮影したとき、これに同期して、前方撮影カメラ４により自車前方の風景を撮影する処理、即ちＳ３３５の自車前方撮影制御処理を実行する。この自車前方撮影制御処理の詳細を、図５に示す。

図５の自車前方撮影制御処理が開始されると、まず、Ｓ４１０にて、前方撮影カメラ４を用いて自車前方の風景を撮影する。その撮影した画像の一例を図８（ａ）に示す。
続くＳ４２０では、Ｓ４１０にて撮影した自車前方の風景画像を画像処理（例えば白線認識処理等）することにより、自車前方の道路形状を推定する。

そして、その推定した道路形状に基づき、Ｓ４３０にて、自車前方領域を３つの領域に分割する。具体的には、図８（ｂ）に示すように、左側境界７１及び右側境界７２を境界として、道路右側領域７３、道路左側領域７４、及び自車正面領域７５の３つの領域に分割する。

そして、Ｓ４４０にて、自車正面領域７５をさらに２つの領域に分割する。具体的には、図８（ｃ）に示すように、車室内外境界７６を境界として、正面車室外領域７５ａと正面車室内領域７５ｂとに分割する。なお、車室内の各部品の位置座標は、予めフラッシュメモリ１９に記憶されているため、これに基づいて上記の領域分割が行われる。

このように、結果として自車前方の風景画像を４つの領域に分割したが、車両４０には、走行状況に応じて傾きが生じる。そのため、Ｓ４５０にて、自車の前後方向及び左右方向の傾きを検出し、続くＳ４６０にて、その検出した傾きを用いて、上記分割した４つの領域を補正する。図８（ｄ）に、補正された４つの領域の一例を示す。

このようにして、Ｓ１１０の注視対象領域特定処理（詳細は図４）によってドライバの注視対象領域を特定すると共に、これに同期して（詳細にはＳ３３０の顔画像撮影に同期して）実行されるＳ３３５の自車前方撮影制御処理（図５参照）によって自車前方の風景画像を領域分割した後は、Ｓ１２０（図３）に進み、Ｓ１１０にて特定された注視対象領域が一定幅以上変化したか否か、即ち運転者が注視している対象が変化したか否かを判断する。この判断は、注視対象表示制御処理の開始後最初にＳ１１０で特定された注視対象領域を基準として行われる。

ここで、変化した場合は、Ｓ１５０に進んで、計測時間（Ｓ１３０にて計測開始される時間）をクリアし、再びＳ１１０に戻るが、変化していない場合は、Ｓ１３０に進み、タイマ２０にて時間計測を行う。そして、Ｓ１４０にて、その計測時間が一定時間経過したか否かを判断し、まだ一定時間経過していない場合は再びＳ１１０に戻る（但し時間計測は継続する）が、一定時間経過した場合は、ドライバがある同一の物・領域を注視していると判断して、Ｓ１６０に進む。

Ｓ１６０では、自車内外領域全体における、注視対象領域の存在位置を推定する。この推定は、Ｓ１１０で特定した注視対象領域と、図５の自車前方撮影制御処理により分割された各領域とに基づき、視線ベクトルが示す注視対象領域と自車前方の風景画像（図８参照）とのマッピングを行うことにより行う。

推定の結果、注視対象領域が正面車室外領域７５ａ内にあると判断された場合は、Ｓ１７０に進み、注視対象領域が正面車室内領域７５ｂ内にあると判断された場合は、Ｓ２１０に進み、注視対象領域が道路右側領域７３又は道路左側領域７４内にあると判断された場合は、Ｓ３００に進む。

注視対象領域が正面車室内領域７５ｂ内にあると判断された場合は、車室内の例えばインストルメントパネル４４の各部品等を注視していることが想定される。そのため、Ｓ２１０に進んで、注視対象領域が一定時間内に変化したか否かを判断し、変化しなかった場合、つまり車室内の同一対象を一定時間注視し続けている場合は、Ｓ２２０に進んで警報を出力する。これは、ドライバに対して車外前方を見るよう警告を行うものであり、例えばスピーカ９から警報音或いは音声を出力することにより行う。

また、注視対象領域が正面車室外領域７５ａ内にあると判断された場合は、先行車を注視し続けていることが考えられ、場合によっては衝突のおそれが生じることも考えられる。そこで、まずＳ１７０にて、先行車までの距離や相対速度、先行車の進行方向を、レーダ送受信部１２を用いて測定する。そして、続くＳ１８０にて、先行車までの距離、先行車の相対速度に基づいて、追突するまでの時間（ＴＴＣ）を算出する。

そして、Ｓ１９０にて、先行車の進行方向が自車の進行方向とほぼ等しく、且つ、追突までの時間ＴＴＣが予め設定した一定値よりも短いか否か（つまり追突するおそれがあるか否か）を判断する。このとき、追突するおそれがあると判断された場合は、Ｓ２２０に進み、上述したように警報を出力する。この場合の警報は、衝突するおそれがあることをドライバに知らせるためのものである。また、追突するおそれがないと判断された場合は、Ｓ３００に進む。

Ｓ１６０の処理において注視対象領域が道路右側領域７３又は道路左側領域７４内にあると判断された場合、又は、Ｓ１９０の処理において追突しない（追突のおそれがない）と判断された場合は、Ｓ３００に進み、注視対象拡大画像重畳表示処理を実行する。

この注視対象拡大画像重畳表示処理は、詳細には図９に示す通りであり、まずＳ５１０にて、拡大画像撮影カメラ６を視線ベクトル（ＸＩ，ＹＩ，ＺＩ）の方向に向ける。つまり、拡大画像撮影カメラ６の光軸上に注視対象領域が存在するように拡大画像撮影カメラ６の光軸を調整する。

そして、Ｓ５２０にて、視線ベクトル（ＸＩ，ＹＩ，ＺＩ）の長さを焦点距離Ｌとして算出し（図７参照）、Ｓ５３０にて、その算出した焦点距離Ｌに基づいて拡大画像撮影カメラ６のズーム比率を算出する。そして、Ｓ５４０にて、その算出したズーム比率にて、拡大画像撮影カメラ６により注視対象領域の拡大画像を撮影する。

注視対象領域の拡大画像を撮影した後は、Ｓ５５０にて、その撮影した拡大画像の輝度が一定範囲内にあるか否かを判断する。このとき、輝度が一定範囲内にあればＳ５７０に進むが、輝度が一定範囲内にない場合は、最終的にＨＵＤ３にて拡大画像を重畳表示した際に拡大画像が眩しかったり或いはうすくて見にくかったりするおそれがある。そのため、Ｓ５６０にて輝度を一定範囲内に調整した上で、Ｓ５７０に進む。

Ｓ５７０では、拡大画像の周辺を縮小処理する。この縮小処理及びその必要性について、図１０に基づいて説明する。図１０（ａ）は、拡大画像が重畳される前の元の車外風景を示すものである。

本実施形態では、図１０（ａ）に示すように、元の風景中の注視対象８２を拡大撮影して拡大画像を得て、その拡大画像を、重畳表示領域８１内（つまり元の風景中における注視対象８２の実際の位置）に重畳した状態でドライバに視認されるよう表示する。

このとき、仮に図１０（ｂ）に示すように、単に注視対象８２を拡大した拡大画像８３をそのまま重畳表示させるようにすると、同図から明らかなように、拡大画像８３と、それ以外の元の風景との間で、画像が不連続となり、両者の相対関係が認識しづらくなる。加えて、元の風景の一部が拡大画像８３に隠れて見えなくなる。

そこで、本実施形態では、図１０（ｃ）に示すように、重畳表示領域８１内に表示させる拡大重畳表示画像８４として、注視対象８２が拡大された拡大画像８５と、この拡大画像８５の外周全体に隣接する環状の画像（領域）であって、拡大画像８５から元の風景にかけて画像が連続的に繋がった状態でドライバに視認されるように画像の縮小処理が施された周囲縮小画像８６とからなる画像を生成する。

この周囲縮小画像８６を生成するのがＳ５７０の処理である。具体的には、前方撮影カメラ４で撮影した自車前方の風景画像を用い、この風景画像のうち周囲縮小画像として表示させるべき範囲の画像を縮小処理することにより生成する。

このようにして、拡大画像８５の周辺に相当する画像を縮小処理することにより周囲縮小画像８６を生成した後は、Ｓ５８０にて、拡大画像の重畳表示（詳しくは周囲縮小画像と共に重畳表示）を開始する旨の注意喚起を行う。この注意喚起は、例えばスピーカ９から警報音或いは音声を出力することにより行う。

更に、Ｓ５９０にて、ドライバがアクセルを操作中か否かを判断し、操作中ならば車両の走行速度が低くなるよう減速制御する。具体的には、例えば、ある一定の上限速度を基準としてその上限速度より低くなるように減速させてもよいし、現在の走行速度を基準としてその走行速度から必ず減速させるようにしてもよい。

Ｓ６００による減速制御の後、又は、Ｓ５９０にてアクセル操作中と判断された場合は、Ｓ６１０に進み、ＨＵＤ３による拡大画像の重畳表示を行う。具体的には、図１０（ｃ）に例示するように、拡大画像８５及びその周囲の周囲縮小画像８６からなる拡大重畳表示画像８４を、重畳表示領域８１に重畳表示する。即ち、注視対象を拡大した拡大画像８５が、元の風景中における注視対象の実際の位置に重畳して表示されるように、ＨＵＤ３を制御し、表示させる（プロジェクタ５１から拡大重畳表示画像８４を投射）するのである。

拡大画像８５の重畳表示後は、Ｓ６２０にて、注視対象領域が一定幅以上変化したか否かを判断する。より詳しくは、ここでＳ１１０と同じ処理（注視対象領域特定処理）を再び実行し、先に特定されたものから変化しているか否かを判断する。

このとき、注視対象領域が一定幅以上変化したと判定されたならば、ドライバによる注視対象の確認は終了したものと判断できるため、拡大画像８５の重畳表示（詳しくは拡大重畳表示画像８４）を停止し、さらにＳ６４０にて減速制御（Ｓ６００で実行）を停止して、この注視対象拡大画像重畳表示処理を終了する。

一方、拡大重畳表示画像８４の重畳表示後、Ｓ６２０にて、注視対象領域が一定幅以上変化したと判定されなかった場合は、Ｓ６５０に進み、ドライバの注視対象領域が固定されている時間（固定時間）を計測する。そして、Ｓ６６０にて、計測した固定時間が一定時間以上経過したか否かを判断する。

このとき、まだ一定時間以上経過していない場合は、Ｓ６７０にて、固定時間に基づいてズーム比率を計算した上で再びＳ５４０以降の処理に戻るが、一定時間以上経過した場合は、Ｓ６３０に進み、拡大画像の表示を停止する。つまり、一定時間以上経過してもドライバの注視対象領域に一定幅以上の変化がみられない場合は、ドライバが同じものを長時間注視し続けている（あるいはそのおそれがある）と判断し、安全性を優先して、重畳表示を停止するのである。

ここで、図１１に、車両４０の前方風景中にＨＵＤ３により注視対象の拡大画像が重畳表示された状態の一例を示す。ここでは、図１１（ａ）に示すように、ドライバが道路左側の歩道に立っている子供を注視しているものとする。このとき、仮に、注視対象である子供の画像をそのまま拡大して重畳表示させただけだと、図１１（ｂ）に示すように、重畳表示された画像に元の風景が隠れてしまう。また、元の風景と拡大画像との間で画像が不連続となり、ドライバは状況を正確に認識しづらい。

そこで、本実施形態では、図１１（ｃ）に示すように、注視対象たる子供が拡大された拡大画像と、その拡大画像の周囲の画像であって拡大画像から元の風景画像へと画像が連続的に繋がるように縮小処理された周囲縮小画像とからなる、拡大重畳表示画像を生成して、これをＨＵＤ３にて重畳表示させる。これにより、周囲の風景との画像連続性が保たれた状態で、注視対象たる子供の様子をよりはっきりと視認することができる。

以上詳述した本実施形態の運転支援システム１によれば、自車前方の風景中における特定の領域を注視したとき、拡大画像撮影カメラ６がその注視対象領域を拡大撮影すると共に、その撮影された拡大画像が、自車前方の風景中において実際に視認される注視対象の存在位置に、リアルタイムで重畳表示される。

しかも、単に拡大画像を自車前方の風景中に重畳表示させるのではなく、注視対象が拡大された拡大画像の周囲を、拡大画像から元の風景にかけて画像が連続的に繋がった状態でドライバに視認されるように画像の縮小処理が施された周囲縮小画像として、この周囲縮小画像を拡大画像と共に重畳表示させる。これにより、拡大画像から元の自車前方の風景にかけて、画像の連続性・繋がりが確保される。

そのため、ドライバは、運転中に視線を向けた注視対象の画像を、リアルタイムで且つわかりやすく（拡大され且つ周囲との連続性が保たれた状態で）視認することができる。
また、周囲縮小画像は、拡大画像撮影カメラ６とは別に設けられた前方撮影カメラ４で撮影した自車前方の風景画像に基づき、この風景画像のうち周囲縮小画像として表示すべき範囲の画像を抽出・縮小処理することにより生成している。そのため、周囲縮小画像を確実に生成でき、画像の連続性を良好に保つことができる。

また、ドライバの両目６１，６２のそれぞれの視線角度に基づいて視線ベクトルを算出しているため、算出した視線ベクトルに基づいて注視対象の方向及び注視対象までの距離（焦点距離Ｌ）もわかる。よって、視線ベクトルが示す方向に向けて拡大画像撮影カメラ６の光軸を調整し、視線ベクトルが示す焦点距離Ｌに応じて拡大画像撮影カメラ６のズーム比率を設定して、拡大画像を直接撮影することができる。そのため、注視対象領域の拡大画像を確実に撮影することができる。

更に、拡大画像（拡大重畳表示画像）の重畳表示後、一定時間以上経過してもドライバの注視対象領域に一定幅以上の変化がみられない場合は、重畳表示を停止するようにしている。そのため、ドライバが重畳表示された拡大画像を長時間注視し続けてしまうのを防止でき、安全性を高めることができる。

しかも、拡大画像を重畳表示する際、ドライバによるアクセル操作がなされていない場合は、減速制御を行うようにしている。そのため、拡大画像の重畳表示中における車両の走行安全性をより高めることができる。

また、本実施形態では、ＨＵＤ３を用いて、ドライバに自車前方の風景を直接視認可能にすると共に、拡大画像を虚像として自車前方の風景に重畳表示させるようにしている。そのため、ドライバの視線移動を抑えつつ、拡大画像を確実にドライバに提供することができる。

更に、本実施形態では、図４で説明したように、車両の揺れやドライバの目の位置の変動が生じることを考慮し、ドライバ撮影カメラ５とドライバ両目６１，６２の相対位置、ドライバ撮影カメラ５と車外領域との相対位置を加味して、ドライバが見ている真の注視対象領域を特定するようにしている。そのため、単に視線ベクトルだけに基づいて注視対象領域を特定し、更には注視しているか否かを判定する方法に比べて、より確実に注視対象領域の特定及び注視しているか否かの判定を行うことができる。

なお、本実施形態において、前方撮影カメラ４は本発明の運転者視界撮影手段に相当し、
ドライバ撮影カメラ５は本発明の注視対象撮影手段に相当し、方向・ズーム比率調整機構１３は本発明の駆動手段及びズーム比率設定手段に相当する。

また、図３の注視対象表示制御処理において、Ｓ１２０及びＳ１４０の処理は本発明の第１注視対象変化判定手段が実行する処理に相当し、図４の注視対象領域特定処理において、Ｓ３４０の処理は本発明の両目視線検出手段が実行する処理に相当し、Ｓ３５０の処理は本発明の視線ベクトル算出手段が実行する処理に相当する。

また、図９の注視対象拡大画像重畳表示処理において、Ｓ５２０の処理は本発明の焦点距離算出手段が実行する処理に相当し、Ｓ５３０の処理は本発明のズーム比率算出手段が実行する処理に相当し、Ｓ６２０及びＳ６６０の処理は本発明の第２注視対象変化判定手段が実行する処理に相当する。

以上、本発明の実施形態について説明したが、本発明の実施の形態は、上記実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。

例えば、上記実施形態では、拡大画像（拡大重畳表示画像）をＨＵＤ３にて重畳表示させる場合を例に挙げて説明したが、これはあくまでも一例であり、ドライバに対して自車前方風景（車外風景）を直接又は間接的に視認可能に提供できる種々の表示装置・表示デバイスを用い、これに拡大画像を重畳表示させるようにしてもよい。

例えば、ナビ液晶ディスプレイ１０に自車前方の風景を表示させることによりドライバが自車前方の風景をナビ液晶ディスプレイ１０にて間接的に視認できるようにすると共に、そのナビ液晶ディスプレイ１０に表示された自車前方の風景画像中に、注視対象の拡大画像を重畳表示させるようにしてもよい。図１２に、上記実施形態で説明した図１１の重畳表示例をナビ液晶ディスプレイ１０にて実現した場合の表示例を示す。

このように、ナビ液晶ディスプレイ１０に拡大画像を重畳表示するよう構成した場合も、ドライバが注視対象の拡大画像を視認するためにナビ液晶ディスプレイ１０に視線を移す必要があるものの、上記実施形態と同等の作用・効果を得ることができる。尚、この場合、ナビ液晶ディスプレイ１０に表示させる自車前方の風景は、前方撮影カメラ４で撮影された画像を用いればよい。

また、メータディスプレイ４５として、液晶ディスプレイのような表示デバイスが採用されている場合は、このメータディスプレイ４５に、前方風景の画像及び注視対象の拡大画像を表示できるようにしてもよい。具体的には、例えば、通常は車両速度、エンジン回転数、冷却水温度、燃料残量等を表示させるようにし、拡大表示させる所定期間のみ「前方画像＋拡大重畳表示」に表示切り替えすることができる。

或いは、メータディスプレイ４５及びナビ液晶ディスプレイ１０とは別に、拡大画像を重畳表示するためのディスプレイを別途設けてもよい。例えばインストルメントパネル４４におけるメータディスプレイ４５の上部（ドライバの正面）に設けることができる。

更には、フロントガラス４３への表示（画像投射）に限らず、サイドウィンドウ、或いはリヤウィンドウに拡大画像が重畳表示されるよう構成してもよい。このようにすれば、ドライバが例えば自車の右側にある物体を注視したときにその注視対象の拡大画像が右ドアのウィンドウに重畳表示さる、ということが実現できる。

また、車両のウィンドウ、ガラスに画像を投射・反射させてドライバに虚像として提供するものに限らず、例えば頭部装着ディスプレイ（ヘッドマウントディスプレイ）に拡大画像を重畳表示させてもよい。

さらには、近年注目を浴びている半透明シート状ディスプレイのように、光を一部透過させつつ自ら画像の表示を行うことも可能なディスプレイを用いてもよい。ドライバが、このディスプレイを介して前方景色を視認しつつ所定の条件成立時（重畳拡大表示時）にはこのディスプレイに拡大重畳表示（ドライバからみて実際の注視対象物の位置に重畳されるように）するようにしてもよい。

また、上記実施形態では、図３の注視対象領域特定処理において、注視対象有無の判定基準となる時間を一定としたが（Ｓ１４０）、この時間を、例えば、ドライバの熟練度や車速等に基づいて演算により求めるようにしてもよい。具体的には、ドライバの熟練度が低いほどこの判定時間を短くしたり、或いは、車速が高いほど判定時間を短くしたりするなど、適宜設定することができる。

更に、上記実施形態では、焦点距離Ｌを算出するために、左・右両目の視線角度を検出するようにしたが、拡大画像撮影カメラ６としてオートフォーカス機能付きのカメラを用いれば、上記のように両目の視線角度を検出する（延いては焦点距離Ｌを算出する）必要がなくなる。

また、図９の注視対象拡大画像重畳表示処理では、Ｓ５９０〜Ｓ６００に示すように、ドライバがアクセル操作をしていない場合に減速制御を行うようにしたが、逆に、ドライバがアクセル操作をしている場合に減速制御を行うようにしてもよい。或いは、アクセル操作の有無に拘わらず、拡大画像の重畳表示を行う際は必ず減速制御するようにしてもよい。

実施形態における運転支援システムが搭載された車両の概略構成を示す図であり、（ａ）は車両における前部座席近傍の構成を表す斜視図、（ｂ）は車両の正面図である。 実施形態における運転支援システムの電気的構成の概要を示すブロック図である。 実施形態における注視対象表示制御処理を示すフローチャートである。 図３の注視対象表示制御処理におけるＳ１１０の注視対象領域特定処理の詳細を示すフローチャートである。 図４の注視対象領域特定処理におけるＳ３３５の自車前方撮影制御処理を示すフローチャートである。 実施形態におけるドライバの両目の位置及び視線角度を説明するための座標図であり、（ａ）は路面に垂直な面からみた座標図、（ｂ）は路面に平行な面からみた座標図である。 実施形態におけるドライバの視線ベクトル（ＸＩ，ＹＩ，ＺＩ）を示す座標図である。 実施形態における車両前方風景の領域分割の一例を示す説明図である。 図３の注視対象表示制御処理におけるＳ３００の注視対象拡大画像重畳表示処理の詳細を示すフローチャートである。 実施形態における風景画像中の拡大画像の重畳表示を説明するための説明図である。 実施形態における風景画像中の拡大画像の重畳表示を説明するための説明図である。 重畳表示を行う表示デバイスの他の例を示す説明図である。

符号の説明

１・・・運転支援システム、２・・・ナビＥＣＵ、３・・・ヘッドアップディスプレイ（ＨＵＤ）、４・・・前方撮影カメラ、５・・・ドライバ撮影カメラ、６・・・拡大画像撮影カメラ、７・・・照度センサ、８・・・照明装置、９・・・スピーカ、１０・・・ナビ液晶ディスプレイ、１１・・・ＧＰＳ受信機、１２・・・レーダ送受信部、１３・・・方向・ズーム比率調整機構、１５・・・マイコン、１６・・・ＣＰＵ、１７・・・ＲＯＭ、１８・・・ＲＡＭ、１９・・・フラッシュメモリ、２０・・・タイマ、２１・・・Ａ／Ｄコンバータ、２２・・・Ｄ／Ａコンバータ、２３・・・バスライン、３１・・・ＨＵＤ制御回路、３２・・・カメラインターフェース回路、３３・・・拡大画像撮影カメラ制御回路、３４・・・ＣＡＮインターフェース回路、３５・・・照明駆動回路、３６・・・アンプ、３７・・・表示制御回路、３８・・・信号処理部、４０・・・車両、４３・・・フロントガラス、４４・・・インストルメントパネル、４５・・・メータディスプレイ、４７・・・ルームミラー、５１・・・プロジェクタ、５２・・・コンバイナ、６０・・・ドライバ、６１・・・左目、６２・・・右目、７３・・・道路右側領域、７４・・・道路左側領域、７５・・・自車正面領域、７５ａ・・・正面車室外領域、７５ｂ・・・正面車室内領域、７６・・・車室内外境界、８１・・・重畳表示領域、８２・・・注視対象、８３，８５・・・拡大画像、８４・・・拡大重畳表示画像、８６・・・周囲縮小画像

Claims (7)

1. 車両に搭載され、該車両の運転者による車外風景の視認を支援する運転支援装置であって、
   運転者に対し、車外風景を直接又は間接的に視認可能に提供する車外風景提供手段と、
   前記車外風景提供手段が提供する車外風景に対し、所定の画像を、該車外風景中に重畳された状態で運転者に視認されるように表示する重畳表示手段と、
   運転者の視線方向を検出する視線方向検出手段と、
   前記車外風景のうち前記視線方向検出手段により検出された視線方向にある特定の物又は領域を注視対象とし、該注視対象を撮影して注視対象画像を得る注視対象撮影手段と、
   前記重畳表示手段に対し、前記注視対象画像を、前記車外風景中の前記注視対象の大きさよりも大きい拡大画像として、該拡大画像が前記車外風景中の前記注視対象の存在位置に重畳された状態で運転者に視認されるよう表示させる拡大重畳表示制御手段と、
   前記拡大重畳表示制御手段により前記重畳表示手段に前記拡大画像が表示される際、前記車両の走行速度を減速制御する減速制御手段と、
   を備え、
   前記拡大重畳表示制御手段は、前記重畳表示手段に対して前記拡大画像を表示させる際、該拡大画像の外周全体に隣接する環状の画像であって、該拡大画像から前記車外風景にかけて画像が連続的に繋がった状態で運転者に視認されるように画像の縮小処理が施された周囲縮小画像を、該拡大画像と共に表示させる
   ことを特徴とする運転支援装置。
2. 車両に搭載され、該車両の運転者による車外風景の視認を支援する運転支援装置であって、
   運転者に対し、車外風景を直接又は間接的に視認可能に提供する車外風景提供手段と、
   前記車外風景提供手段が提供する車外風景に対し、所定の画像を、該車外風景中に重畳された状態で運転者に視認されるように表示する重畳表示手段と、
   運転者の視線方向を検出する視線方向検出手段と、
   前記車外風景のうち前記視線方向検出手段により検出された視線方向にある特定の物又は領域を注視対象とし、該注視対象を撮影して注視対象画像を得る注視対象撮影手段と、
   前記重畳表示手段に対し、前記注視対象画像を、前記車外風景中の前記注視対象の大きさよりも大きい拡大画像として、該拡大画像が前記車外風景中の前記注視対象の存在位置に重畳された状態で運転者に視認されるよう表示させる拡大重畳表示制御手段と、
   を備え、
   前記拡大重畳表示制御手段は、前記重畳表示手段に対して前記拡大画像を表示させる際、該拡大画像の外周全体に隣接する環状の画像であって、該拡大画像から前記車外風景にかけて画像が連続的に繋がった状態で運転者に視認されるように画像の縮小処理が施された周囲縮小画像を、該拡大画像と共に表示させ、
   前記視線方向検出手段は、
   運転者の少なくとも両目を撮影する運転者撮影手段と、
   前記運転者撮影手段により撮影された両目の画像を画像処理することにより、両目それぞれの視線を検出する両目視線検出手段と、
   前記両目視線検出手段により検出された両目それぞれの視線に基づき、前記視線方向を示すベクトルである視線ベクトルを検出する視線ベクトル検出手段と、
   を備え、
   前記注視対象撮影手段は、
   ズーム比率を変更可能な拡大画像撮影手段と、
   前記拡大画像撮影手段の光軸が前記視線方向と一致するように該拡大画像撮影手段を駆動する駆動手段と、
   前記視線ベクトル検出手段により検出された前記視線ベクトルに基づいて焦点距離を算出する焦点距離算出手段と、
   前記焦点距離算出手段により算出された焦点距離に基づいて前記拡大画像撮影手段のズーム比率を算出するズーム比率算出手段と、
   前記拡大画像撮影手段のズーム比率を、前記ズーム比率算出手段にて算出された値に設定するズーム比率設定手段と、
   を備え、該ズーム比率設定手段にて設定されたズーム比率にて前記拡大画像撮影手段が前記注視対象を撮影することにより前記注視対象画像を得る
   ことを特徴とする運転支援装置。
3. 請求項１又は請求項２記載の運転支援装置であって、
   運転者が視認可能な風景を撮影する運転者視界撮影手段を備え、
   前記拡大重畳表示制御手段は、前記運転者視界撮影手段により撮影された風景画像のうち前記周囲縮小画像として表示させるべき範囲の画像を縮小処理することにより、該周囲縮小画像を生成する
   ことを特徴とする運転支援装置。
4. 請求項１〜３いずれかに記載の運転支援装置であって、
   前記視線方向検出手段により検出された視線方向に基づき、予め設定された第１判定時間の間に、前記注視対象の変化量が予め設定された第１許容範囲を超えたか否かを判定する第１注視対象変化判定手段を備え、
   前記拡大重畳表示制御手段は、前記第１注視対象変化判定手段により前記第１判定時間の間に前記変化量が前記第１許容範囲を超えたと判定されなかった場合に、前記重畳表示手段に対して前記拡大画像を表示させる
   ことを特徴とする運転支援装置。
5. 請求項１〜４いずれかに記載の運転支援装置であって、
   前記重畳表示手段により前記拡大画像が表示された後、前記視線方向検出手段により検出された視線方向に基づき、予め設定された第２判定時間の間に、前記注視対象の変化量が予め設定された第２許容範囲を超えたか否かを判定する第２注視対象変化判定手段を備え、
   前記拡大重畳表示制御手段は、前記第２注視対象変化判定手段により前記第２判定時間の間に前記注視対象が前記第２許容範囲を超えて変化したと判定されなかった場合は、前記重畳表示手段に対して前記拡大画像の表示を停止させる
   ことを特徴とする運転支援装置。
6. 請求項１〜５いずれかに記載の運転支援装置であって、
   前記車外風景提供手段は、光を透過且つ反射するものであって当該車外風景提供手段を介して運転者が車外風景を視認可能に構成され、
   前記重畳表示手段は、前記車外風景提供手段へ画像情報を光で投射して該投射した画像情報を該車外風景提供手段で反射させて運転者の目に入力させることにより、運転者に、該画像情報を前記車外風景に重畳された虚像として視認させるよう構成されている
   ことを特徴とする運転支援装置。
7. 請求項６記載の運転支援装置であって、
   前記車外風景提供手段は、車両のフロントガラス、又は、該フロントガラスに設けられ光を透過且つ反射する反射部材である
   ことを特徴とする運転支援装置。