JP6136237B2 - 走行支援システム、走行支援方法及びコンピュータプログラム - Google Patents

Description

本発明は、車両の乗員の視線に基づく案内を行うことによって走行の支援を行う走行支援システム、走行支援方法及びコンピュータプログラムに関する。

近年、車両の乗員に対する走行支援の一つとして、車両に搭載されたカメラにより車両の進行方向前方の周辺環境を撮像し、撮像画像から進行方向前方に位置する人や他車両などの障害物を検出して案内を行う技術について提案されている（例えば特開２００７−７３０１１号公報）。また、上記障害物に対する案内を適切に行う場合には、案内を行う対象となる乗員が現在どこを視認しているのかを特定することが重要である。

例えば、乗員が障害物を視認していない場合には、障害物を乗員に気付かせる為の案内を行うのが望ましい。一方、乗員が障害物を既に視認している場合には、障害物を乗員に気付かせる為の案内は不要であり、乗員が視認する障害物に関する詳細を案内するのが望ましい。そして、乗員が現在どこを視認しているのかを特定する手段としては、例えば特開２００６−２４２８５９号公報に、車両に搭載されたカメラにより車両の進行方向前方の周辺環境を撮像するとともに、車内に設置されたカメラによって乗員の視線方向を検出し、撮像画像中の乗員が視認している部分を特定する技術について提案されている。

特開２００４−３２２７７１号公報（第５−７頁、図２） 特開２００６−２４２８５９号公報（第９−１０頁、図４）

しかしながら、上記特許文献１に記載の技術では、進行方向前方に位置する人や他車両などの障害物に関する案内を行うことは可能であるが、案内を行う対象となる乗員が現在どこを視認しているのかについて考慮していないので、乗員にとって不要な案内が行われたり、必要な案内が行われない場合が生じていた。また、上記特許文献２に記載の技術では、乗員が現在どこを視認しているのかについて特定することは可能であるが、乗員が視認する障害物がどのような障害物であって、その障害物をどのように視認しているかについては特定することができなかった。

本発明は前記従来における問題点を解消するためになされたものであり、車両の進行方向前方にある特徴物を検出し、該特徴物と乗員の視線位置とに基づいて該特徴物に関する案内情報を案内することによって、乗員に対して不要な案内を行うことなく、現在の乗員に必要な案内を必要なタイミングで行うことが可能な走行支援システム、走行支援方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る走行支援システム（１）は、車両（５１）の進行方向前方の周辺環境を撮像する周辺環境撮像手段（１３）と、特徴物の画像を記憶した特徴物画像情報（３３）を取得する特徴物画像情報取得手段（１３）と、前記車両の乗員（５２）の視線開始点及び視線方向を検出する視線検出手段（１３）と、前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定する視線位置特定手段（１３）と、前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出する特徴物検出手段（１３）と、前記撮像画像に基づいて前記前方特徴物の位置を特定する位置特定手段（１３）と、前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定する視認態様特定手段（１３）と、前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行う案内手段（１３）と、を有することを特徴とする。

尚、「視認態様」には、乗員が特徴物を視認しているか否かに加えて、視認している場合には特徴物をどのように視認しているかを含む。

また、請求項２に係る走行支援システム（１）は、請求項１に記載の走行支援システムにおいて、前記前方特徴物の種類を識別する種類識別手段（１３）を有し、前記特徴物画像情報取得手段（１３）は、前記特徴物の画像を前記特徴物の種類毎に記憶した前記特徴物画像情報（３３）を取得し、前記種類識別手段は、前記特徴物画像情報取得手段によって取得された前記特徴物画像情報に基づいて前記前方特徴物の種類を識別し、前記案内手段は、前記種類識別手段によって識別された前記前方特徴物の種類と該前方特徴物への前記乗員の視認態様に基づいて前記前方特徴物に関する案内を行うことを特徴とする。

また、請求項３に係る走行支援システム（１）は、請求項１又は請求項２に記載の走行支援システムにおいて、前記視認態様特定手段（１３）によって特定された前記視認態様に基づいて、前記前方特徴物を前記乗員（５２）が注視しているか否かを判定する注視判定手段（１３）を有し、前記案内手段（１３）は、前記注視判定手段の判定結果に基づいて前記特徴物に関する案内を行うことを特徴とする。

また、請求項４に係る走行支援システム（１）は、請求項１乃至請求項３のいずれかに記載の走行支援システムにおいて、前記視認態様特定手段（１３）によって特定された前記視認態様に基づいて、前記前方特徴物を前記乗員（５２）が視認しているか否かを判定する視認判定手段（１３）を有し、前記案内手段（１３）は、前記視認判定手段の判定結果に基づいて前記前方特徴物に関する案内を行うことを特徴とする。

また、請求項５に係る走行支援システム（１）は、請求項１乃至請求項４のいずれかに記載の走行支援システムにおいて、前記特徴物は、道路を走行する前記車両（５１）の乗員（５２）が認視する対象となる物であることを特徴とする。

また、請求項６に係る走行支援方法は、周辺環境撮像手段が、車両（５１）の進行方向前方の周辺環境を撮像するステップと、特徴物画像情報取得手段が、特徴物の画像を記憶した特徴物画像情報（３３）を取得するステップと、視線検出手段が、前記車両の乗員（５２）の視線開始点及び視線方向を検出するステップと、視線位置特定手段が、前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定するステップと、特徴物検出手段が、前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出するステップと、位置特定手段が、前記撮像画像に基づいて前記前方特徴物の位置を特定するステップと、視認態様特定手段が、前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定するステップと、案内手段が、前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行うステップと、を有することを特徴とする

更に、請求項７に係るコンピュータプログラムは、コンピュータを、車両（５１）の進行方向前方の周辺環境を撮像する周辺環境撮像手段と、特徴物の画像を記憶した特徴物画像情報（３３）を取得する特徴物画像情報取得手段と、前記車両の乗員（５２）の視線開始点及び視線方向を検出する視線検出手段と、前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定する視線位置特定手段と、前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出する特徴物検出手段と、前記撮像画像に基づいて前記前方特徴物の位置を特定する位置特定手段と、前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定する視認態様特定手段と、前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行う案内手段と、して機能させることを特徴とする。

前記構成を有する請求項１に記載の走行支援システムによれば、車両の進行方向前方にある特徴物を特徴物画像情報に基づいて検出するとともに、該特徴物と乗員の視線位置とに基づいて該特徴物に関する案内情報を案内するので、乗員に対して不要な案内を行うことなく、現在の乗員に必要な案内を必要なタイミングで行うことが可能となる。

また、請求項１に記載の走行支援システムによれば、特徴物への乗員の視認態様を特定し、特定された視認態様に基づいて特徴物に関する案内を行うので、現在の乗員にとって必要な情報を乗員の特徴物への視認態様から適切に特定することが可能となる。

また、請求項２に記載の走行支援システムによれば、車両の進行方向前方にある特徴物の種類と該特徴物への乗員の視認態様に基づいて特徴物に関する案内を行うので、特に特徴物の種類に応じた乗員に必要な情報を案内することが可能となる。

また、請求項３に記載の走行支援システムによれば、特徴物を乗員が注視しているか否かに基づいて特徴物の案内を行うので、特徴物への乗員の視認態様に応じた適切な案内を行うことが可能となる。例えば、乗員が特徴物を注視していない場合には、特徴物への注視を促し、特徴物を注視させることが可能である。また、乗員が特徴物を注視している場合には、乗員が注視する（即ち、乗員が関心を持つ）特徴物に関する詳細な情報を提供することが可能となる。

また、請求項４に記載の走行支援システムによれば、特徴物を乗員が視認しているか否かに基づいて特徴物の案内を行うので、特徴物への乗員の視認態様に応じた適切な案内を行うことが可能となる。例えば、乗員が特徴物を視認していない場合には、特徴物の存在を乗員に適切に認知させることが可能である。また、乗員が特徴物を視認している場合には、乗員が視認する特徴物に関する情報を提供することが可能となる。

また、請求項５に記載の走行支援システムによれば、案内対象となる特徴物は、道路を走行する車両の乗員が認視する対象となる物であるので、車両の走行に影響を及ぼす虞のある物の存在を乗員に事前に把握させ、適切に走行させることが可能となる。

また、請求項６に記載の走行支援方法によれば、車両の進行方向前方にある特徴物を特徴物画像情報に基づいて検出するとともに、該特徴物と乗員の視線位置とに基づいて該特徴物に関する案内情報を案内するので、乗員に対して不要な案内を行うことなく、現在の乗員に必要な案内を必要なタイミングで行うことが可能となる。

更に、請求項７に記載のコンピュータプログラムによれば、車両の進行方向前方にある特徴物を特徴物画像情報に基づいて検出するとともに、該特徴物と乗員の視線位置とに基づいて該特徴物に関する案内情報を案内するので、乗員に対して不要な案内を行うことなく、現在の乗員に必要な案内を必要なタイミングで行うことが可能となる。

本実施形態に係るナビゲーション装置を示したブロック図である。 車両に設置されたフロントカメラ及びドライバカメラを示した図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 視線円特定処理のサブ処理プログラムのフローチャートである。 視線位置の検出方法について説明した図である。 視線位置の検出方法について説明した図である。 視線円の特定方法について説明した図である。 視線円の特定方法について説明した図である。 視野領域特定処理のサブ処理プログラムのフローチャートである。 視野領域の特定方法について説明した図である。 特定された視野領域とフロントカメラの撮像範囲を示した図である。 特徴物検出処理のサブ処理プログラムのフローチャートである。 撮像画像内に含まれる特徴物の検出方法について説明した図である。 視認態様特定処理のサブ処理プログラムのフローチャートである。 特徴物矩形と視線円との重複態様の検出方法について説明した図である。 運転者の特徴物への視認態様を分類した各パターンについて説明した図である。 第１案内処理のサブ処理プログラムのフローチャートである。 緊急度の判定区分を示した図である。 第２案内処理のサブ処理プログラムのフローチャートである。

以下、本発明に係る走行支援システムについてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや車両の進行方向前方に位置する特徴物に関する案内等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成される。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置されたフロントカメラ１９及びドライバカメラ２０が接続されている。

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等が記憶された記憶手段である。

また、撮像画像ＤＢ３２は、フロントカメラ１９及びドライバカメラ２０によって撮像された撮像画像が格納される記憶手段である。また、撮像画像ＤＢ３２には、後述する特徴物の種類（例えばランドマーク、車両、人、信号機、道路標識、案内板等）毎に、特徴物の画像と特徴点の配置パターンとが規定された特徴物画像情報３３についても格納されている。また、特徴物画像情報３３には、特徴物の内、特にランドマークに関しては、その位置情報や名称等のランドマークに関わる詳細情報についても記憶される。また、車両に関しては、車名、車種やブランド名等の車両に関わる詳細情報についても記憶される。また、道路標識については標識の種類（案内標識、警戒標識、規制標識、指示標識等）や、道路標識がどのような規制や指示を示した標識であるかを示す内容についても記憶される。更に、撮像画像ＤＢ３２には、特徴物の種類毎に、該特徴物に関する案内情報（特徴物を案内する為の案内文や案内音声）についても記憶される。
そして、ナビゲーションＥＣＵ１３は、撮像画像ＤＢ３２に格納された撮像画像や特徴物画像情報３３に基づいて車両の進行方向前方に位置する特徴物（以下、前方特徴物という）や運転者の視線位置等を検出する。更に、検出された前方特徴物に対応付けられた案内情報を撮像画像ＤＢ３２から読み出し、読み出された案内情報に基づいて案内を行う。尚、特徴物画像情報３３はナビゲーション装置１内に記憶されるのではなく、外部のサーバに記憶され、外部のサーバからナビゲーション装置１が取得する構成としても良い。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図３参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を構成する。例えば、周辺環境撮像手段は、フロントカメラ１９によって車両の進行方向前方の周辺環境を撮像する。特徴物画像情報取得手段は、特徴物の画像を記憶した特徴物画像情報と当該特徴物に関する案内情報とを取得する。視線検出手段は、車両の乗員の視線開始点及び視線方向を検出する。視線位置特定手段は、フロントカメラ１９によって撮像された撮像画像と視線検出手段により検出された乗員の視線開始点及び視線方向とに基づいて、車両の進行方向前方の周辺環境に対して乗員の視線が位置する視線位置を、撮像画像中において特定する。特徴物検出手段は、フロントカメラ１９によって撮像された撮像画像と特徴物画像情報を照合し、車両の進行方向前方にある特徴物を前方特徴物として検出する。案内手段は、フロントカメラ１９によって撮像された撮像画像と視線位置特定手段によって特定された視線位置とに基づいて、特徴物検出手段により検出された前方特徴物について特徴物画像情報取得手段により取得した当該前方特徴物に関する案内情報を案内する。視認態様特定手段は、フロントカメラ１９によって撮像された撮像画像と視線位置特定手段によって特定された視線位置とに基づいて、前方特徴物への乗員の視認態様を特定する。案内手段は、視認態様特定手段によって特定された前方特徴物への乗員の視認態様に基づいて特徴物に関する案内を行う。種類識別手段は、前方特徴物の種類を識別する。注視判定手段は、視認態様特定手段によって特定された視認態様に基づいて、前方特徴物を乗員が注視しているか否かを判定する。視認判定手段は、視認態様特定手段によって特定された視認態様に基づいて、前方特徴物を乗員が視認しているか否かを判定する。

操作部１４は、走行開始地点としての出発地、走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。また、マイクと音声認識装置によって構成することもできる。

また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に車両の進行方向前方に位置する特徴物（人や他車両等）に関する案内についても出力する。
尚、ユーザに対する案内手段としては、上記液晶ディスプレイ１５やスピーカ１６の代わりに、車両の運転者の頭部に装着可能に構成されるヘッドマウントディスプレイ（ＨＭＤ）や車両のフロントガラスに映像を投影可能にダッシュボード上部に構成されるヘッドアップディスプレイ（ＨＵＤ）を設けても良い。

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、フロントカメラ１９は、図２に示すようにナビゲーション装置１が搭載された車両５１の天井とフロントガラスの境界付近に、車両５１の進行方向がフロントカメラ１９の撮像方向となるように設置される。そして、車両５１の進行方向前方の周辺環境を、車両５１のフロントガラスを介して撮影する。また、フロントカメラ１９の設置位置は運転者５２の目の位置（視線開始点）と略同一となるように調整される。更に、フロントカメラ１９の画角は運転者の視野角よりも広くなるように設定する。その結果、正面を向く運転者５２がフロントガラスを介して視認できる車両５１の進行方向前方の周辺環境の範囲（視野領域）を少なくとも含む範囲が撮像可能に構成されている。そして、ナビゲーションＥＣＵ１３は、後述のようにフロントカメラ１９により撮像した撮像画像に基づいて、車両５１の進行方向前方に位置する特徴物（人や他車両等）を検出する。

また、ドライバカメラ２０は、例えばＣＣＤ等の固体撮像素子を用いたものであり、図２に示すように車両５１のインストルメントパネル５３の上面に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った運転者５２の顔を撮像する。また、ナビゲーションＥＣＵ１３は、後述のようにドライバカメラ２０により撮像した撮像画像から運転者５２の目の位置（視線開始点）や視線方向を検出する。

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する走行支援処理プログラムについて図３に基づき説明する。図３は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは、車両のＡＣＣがＯＮされた後に実行され、フロントカメラ１９やドライバカメラ２０で撮像された撮像画像に基づいて車両の進行方向前方にある特徴物への視認態様を検出するとともに、検出された特徴物への運転者の視認態様に基づいて各種案内を行うプログラムである。尚、以下の図３、図４、図９、図１２、図１４、図１７及び図１９にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は直近にフロントカメラ１９とドライバカメラ２０で撮像された撮像画像をそれぞれ取得する。

次に、Ｓ２においてＣＰＵ４１は、後述の視線円特定処理（図４）を行う。尚、視線円特定処理は、ドライバカメラ２０により撮像された撮像画像に基づいて運転者の視線が位置する範囲である視線円（視線範囲）を特定する処理である。

続いて、Ｓ３においてＣＰＵ４１は、後述の視野領域特定処理（図９）を行う。尚、視野領域特定処理は、フロントカメラ１９により撮像された撮像画像中において運転者の視野領域や死角領域を特定する処理である。

その後、Ｓ４においてＣＰＵ４１は、後述の特徴物検出処理（図１２）を行う。尚、特徴物検出処理は、フロントカメラ１９により撮像された撮像画像に基づいて、車両の進行方向前方にある特徴物を検出する処理である。尚、“特徴物”は道路を走行する車両の運転者が認視する対象となる物であり、例えば他車両、人、信号機、道路標識、案内板、ランドマーク等がある。

次に、Ｓ５においてＣＰＵ４１は、前記Ｓ４の特徴物検出処理において、フロントカメラ１９により撮像された撮像画像から車両の進行方向前方にある特徴物を少なくとも一以上検出したか否か判定する。

そして、車両の進行方向前方にある特徴物を少なくとも一以上検出したと判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、車両の進行方向前方にある特徴物を検出できなかったと判定された場合（Ｓ５：ＮＯ）には、Ｓ１０へと移行する。

Ｓ６においてＣＰＵ４１は、前記Ｓ４の特徴物検出処理によって検出された各特徴物を囲む矩形（以下、特徴物矩形という）を撮像画像上に特定する。そして、特定された特徴物矩形をＲＡＭ４２等の記憶領域に記憶する。尚、特徴物矩形は、フロントカメラ１９の撮像画像上の座標系によって位置や大きさが特定される。また、前記Ｓ４の特徴物検出処理によって特徴物が複数検出された場合には、各特徴物に対して特徴物矩形を特定する。

その後、Ｓ７においてＣＰＵ４１は、後述の視線態様特定処理（図１４）を実行する。尚、視線態様特定処理は、前記Ｓ２で特定された視線円と前記Ｓ６で特定された特徴物矩形とに基づいて、車両の進行方向前方にある特徴物への運転者の視認態様を特定する処理である。

次に、Ｓ８においてＣＰＵ４１は、後述の第１案内処理（図１７）を実行する。尚、第１案内処理は、前記Ｓ７で特定された特徴物への運転者の視認態様や前記Ｓ３で特定された運転者の視野領域等に基づいて、車両の進行方向前方にある特徴物の存在を運転者に認知させる為の案内を行う処理である。

続いて、Ｓ９においてＣＰＵ４１は、後述の第２案内処理（図１９）を実行する。尚、第２案内処理は、前記Ｓ７で特定された特徴物への運転者の視認態様や対象物の種類等に基づいて、車両の進行方向前方にある特徴物の詳細を運転者に提供する為の案内を行う処理である。

一方、Ｓ１０においてＣＰＵ４１は、運転者が進行方向前方の周辺環境のいずれかの地点を注視しているか否かを判定する。具体的には、前記Ｓ２で特定された運転者の視線円が、フロントカメラ１９で撮像した撮像画像範囲内にある場合に、運転者が進行方向前方の周辺環境のいずれかの地点を注視していると判定する。また、前記Ｓ２で運転者の視線円が特定できなかった場合や、フロントカメラ１９で撮像した撮像画像範囲外に視線円がある場合には、運転者が進行方向前方の周辺環境を注視していないと判定する。

そして、運転者が進行方向前方の周辺環境のいずれかの地点を注視していると判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。それに対して、運転者が進行方向前方の周辺環境を注視していない場合（Ｓ１０：ＮＯ）、即ち運転者が注視自体をしていない又は注視していたとしても進行方向前方の周辺環境以外の地点（例えばメータ、バックミラー、ドアミラー等）を注視していると判定された場合には、案内を行うことなくＳ１へと戻る。

Ｓ１１においてＣＰＵ４１は、前記Ｓ２で特定された視線円とフロントカメラ１９で撮像された撮像画像に基づいて、進行方向前方の周辺環境において運転者が注視している箇所（以下、注視箇所）を特定する。そして、特定した注視箇所に基づく案内を行う。例えば、運転者が空を注視している場合には、今後の天気についての案内を行う。また、海や山などの地形を注視している場合には、注視している地形の名称（山の名前や湾の名前等）を案内する。また、運転者が注視する方向にある地名（市区町村名等）を案内することとしても良い。更に、案内はスピーカ１６による音声案内により行っても良いし、液晶ディスプレイ１５による表示案内としても良い。また、ＨＭＤやＨＵＤを用いて案内を行っても良い。その後、当該走行支援処理プログラムを終了する。

次に、前記Ｓ２において実行される視線円特定処理のサブ処理について図４に基づき説明する。図４は視線円特定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、前記Ｓ１で取得したドライバカメラ２０の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。ドライバカメラ２０は前記したように車両のインストルメントパネルに設置され、撮像方向を運転席に向けて設置されており（図２）、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

次に、Ｓ２２においてＣＰＵ４１は、前記Ｓ２１で検出された運転者の視線開始点や視線方向に基づいて、車両の進行方向前方の周辺環境に対して運転者の視線が位置する視線位置を特定する。
具体的には、図５に示すように、視線開始点Ｐから視線方向αへと延長した直線と検出面５４との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面５４上を座標系としたＸ座標及びＹ座標によって特定される。尚、特に本実施形態では、検出面５４はフロントカメラ１９の撮像面とする。即ち、前記Ｓ２２で特定された視線位置は、フロントカメラ１９で撮像された撮像画像中において特定された視線位置にも相当する。

続いて、Ｓ２３においてＣＰＵ４１は、前記Ｓ２２で特定された運転者の視線位置を、キャリブレーション状況、運転状況、自信度等に基づいてより正確な位置となるように補正する。

その後、Ｓ２４においてＣＰＵ４１は、前回実行された視線円特定処理のサブ処理中に検出した運転者の視線位置（後述のＳ２５で記憶される）をＲＡＭ４２等から読み出し、読み出した視線位置と今回新たに検出された運転者の視線位置（Ｓ２３の補正後の位置）とを比較し、各位置間のズレが所定距離以上であるか否かを判定する。尚、所定距離は任意に設定可能な閾値（例えば１０ｃｍ）であり、ＲＡＭ４２等に記憶される。

そして、前回検出した視線位置と今回新たに検出した視線位置とのズレが所定距離以上であると判定された場合（Ｓ２４：ＹＥＳ）には、Ｓ２７へと移行する。一方、前回検出した視線位置と今回新たに検出した視線位置とのズレが所定距離未満であると判定された場合（Ｓ２４：ＮＯ）には、Ｓ２５へと移行する。

Ｓ２５においてＣＰＵ４１は、前回検出した視線位置と今回新たに検出した視線位置（Ｓ２３の補正後の位置）との中点を特定し、特定された中点の位置を今回新たに検出した運転者の視線位置とする。即ち、Ｓ２２で特定された運転者の視線位置は、一旦Ｓ２３で補正され、更にＳ２５で特定された中点の座標へと補正され、最終的に確定される。そして、確定された運転者の視線位置の座標はＲＡＭ４２等の記憶媒体に累積的に記憶される。
例えば、図６に示すように前回検出した運転者の視線位置が位置Ａであって、Ｓ２３で補正された今回の視線位置が位置Ｂであった場合には、位置Ｂではなく位置Ａと位置Ｂとの中点の位置Ｃが今回検出した運転者の視線位置として最終的に確定される。

次に、Ｓ２６においてＣＰＵ４１は、ＲＡＭ４２等の記憶媒体に記憶された運転者の視線位置の履歴を読み出し、車両の進行方向前方の周辺環境に対して運転者の視線が位置する範囲である視線円（視線範囲）を特定する。

ここで、人間は同じ箇所を継続して見ている場合でも視線位置は完全に固定されず、移動距離は僅かであるものの常に視線位置を移動しながらその箇所付近を視認することとなる（所謂固視微動）。また、車両の振動や運転姿勢の変化によっても視線位置は移動することとなる。従って、車両の進行方向前方の周辺環境に対する運転者の視認態様を正確に特定する為には、点では無く一定の幅を持たせた範囲によって視線位置を特定するのが望ましい。

そこで、本実施形態では前記Ｓ２６において、ＣＰＵ４１は直近所定時間以内の視線位置の履歴を包含する検出面上の範囲を運転者の視線が位置する視線円として特定する。そして、後述のようにフロントカメラ１９の撮像画像に含まれる特徴物の位置と視線円とを比較することによって運転者の視認態様を特定する。尚、所定時間は後述のＳ２７で前回の視線円が初期化されてからの時間（即ち、運転者が現在視認する視認位置周辺への視認を開始してからの時間）となる。また、前記Ｓ２６で特定された視線円は、例えば中心点の座標と半径距離によって規定され、ＲＡＭ４２等の記憶媒体に累積的に記憶される。

例えば、図７に示すように先ず位置Ｄが視線位置として検出され、次に位置Ｅが視線位置として検出された場合には、位置Ｄ及び位置Ｅを含む最小の円である円５５を視線円として特定する。その後、更に位置Ｆが視線位置として検出された場合には、位置Ｄ、位置Ｅ及び位置Ｆを含む最小の円である円５６を視線円として特定する。その結果、視線円は円５５から円５６へと更新されることとなる。但し、後述のように位置Ｅと位置Ｆとの距離が大きく離れている場合には、運転者の視認する対象が変化したと推定し、視線円は一旦初期化され位置Ｆを始点として新たな視線円が形成されることとなる。また、上述したように人間の視線位置は常に移動し続けるので、運転者が同じ箇所を長時間視認すればするほど視線円内に包含される視線位置は多くなり、基本的に視線円は大きくなる。
また、特に本実施形態では、前記したように視線円が特定される検出面はフロントカメラ１９の撮像面とする。即ち、前記Ｓ２６で特定された視線円は、フロントカメラ１９で撮像された撮像画像中において特定された視線円にも相当する。また、本実施形態では車両の進行方向前方の周辺環境に対して運転者の視線が位置する範囲である視線範囲を、円形状の視線円として特定するが、円形以外の形状により視線範囲を特定しても良い。

一方、Ｓ２７においてＣＰＵ４１は、運転者の視認する対象が変化したと推定し、既存の視線円を初期化する。また、ＲＡＭ４２に記憶される過去に検出された視線位置の履歴についても初期化する。そして、今回新たに検出された運転者の視線位置（Ｓ２３の補正後の位置）の座標を視線位置の履歴としてＲＡＭ４２に記憶する。その結果、次回以降に実行されるＳ２６の処理では今回新たに検出された運転者の視線位置（Ｓ２３の補正後の位置）を始点として新たな視線円が形成されることとなる。

例えば、図８に示すように先ず位置Ｇが視線位置として検出され、次に位置Ｈが視線位置として検出され、その後に位置Ｈから大きく離れた位置Ｉが視線位置として検出された場合には、既存の位置Ｇ及び位置Ｈを含む視線円５７は一旦初期化する。その後、更に位置Ｊが視線位置として検出された場合には、新たに位置Ｉ及び位置Ｊを含む最小の円である円５８を視線円として特定する。

次に、前記Ｓ３において実行される視野領域特定処理のサブ処理について図９に基づき説明する。図９は視野領域特定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ３１においてＣＰＵ４１は、前記Ｓ１で取得したフロントカメラ１９の撮像画像と前記Ｓ２１で検出した運転者の視線開始点（目の位置）及び視線方向と運転者の視野角に基づいて、車両の進行方向前方の周辺環境に対する運転者の視野領域を、フロントカメラ１９の撮像画像中において特定する。尚、運転者の視野角は固定値としても良いし、運転者の年齢等に応じて変更しても良い。
具体的には、図１０に示すように、視線開始点Ｐから視線方向αへと延長した直線を中心軸とした視野角βの範囲が、フロントカメラ１９の撮像面６０によって切断される切断面（即ち視野角に含まれる撮像画像中の領域）を視野領域６１とする。また、特定された視野領域６１は、撮像面６０上の座標系によって位置やサイズが規定される。

ここで、図１１は、フロントカメラ１９による撮像画像の撮像範囲６２と運転者の視野領域６１とをそれぞれ示した図である。前記したようにフロントカメラ１９の設置位置は運転者５２の目の位置（視線開始点）と略同一で、車両の進行方向前方を撮像方向とする（図２）。また、運転者の視野角よりもフロントカメラ１９の画角が広くなるように設定されており、基本的に正面を向く運転者の視野領域６１は、フロントカメラ１９の撮像範囲６２に含まれることとなる。一方、撮像範囲６２内の視野領域６１に含まれない範囲は、車両の進行方向前方の周辺環境において運転者が視認できない死角領域６３となる。

その後、Ｓ３２においてＣＰＵ４１は、前記Ｓ１で取得したフロントカメラ１９の撮像画像の内、前記Ｓ３１で特定された運転者の視野領域内に含まれる画像を切り出す。

そして、Ｓ３３においてＣＰＵ４１は、前記Ｓ１で取得したフロントカメラ１９の撮像画像を、前記Ｓ３２で切り出された運転者の視野領域内に含まれる画像と、残りの運転者の視野領域に含まれない画像（即ち死角領域の画像）とに区分して撮像画像ＤＢ３２に保存する。

次に、前記Ｓ４において実行される特徴物検出処理のサブ処理について図１２に基づき説明する。図１２は特徴物検出処理のサブ処理プログラムのフローチャートである。

以下の特徴物検出処理のサブ処理では、ＣＰＵ４１はフロントカメラ１９で撮像された撮像画像と特徴物画像情報３３として予め特徴物の種類毎に記憶された特徴物の画像とを比較することによって、撮像画像内に含まれる特徴物（即ち、車両の進行方向前方に位置する特徴物）を検出する。
具体的に、先ずＳ４１においてＣＰＵ４１は、前記Ｓ１で取得したフロントカメラ１９の撮像画像の変換処理を行う。具体的には、撮像画像内に含まれる特徴物の特徴点を検出する為のエッジの抽出等を行う。

次に、Ｓ４２においてＣＰＵ４１は、撮像画像内に含まれる特徴点を検出する。更に、撮像画像ＤＢ３２に格納された特徴物画像情報３３を読み出し、検出された特徴点の配置パターンを、特徴物画像情報３３において予め特徴物の種類毎に規定された配置パターンと比較するパターン認識処理を行う。

続いてＳ４３においてＣＰＵ４１は、前記Ｓ４２のパターン認識処理の結果に基づいて、撮像画像内に含まれる特徴物の種別を識別する。具体的には、予め規定されたパターンと一致する特徴点の配置パターンが撮像画像内に含まれる場合に、該配置パターンに対応する種別の特徴物が撮像画像内に含まれると認定する。尚、“特徴物”の種別としては、車両、人、信号機、道路標識、案内板、ランドマーク等がある。また、ＣＰＵ４１は撮像画像内に特徴物が複数含まれる場合には、各特徴物について種別を識別する。更に、ＣＰＵ４１は、撮像画像内に特にランドマークが含まれる場合には、特徴物画像情報３３に基づいて該ランドマークの位置情報や名称等のランドマークに関わる詳細情報を取得する。また、撮像画像内に特に車両が含まれる場合には、特徴物画像情報３３に基づいて該車両の車名、車種、ブランド名等の車両に関わる詳細情報を取得する。また、撮像画像内に特に道路標識が含まれる場合には、特徴物画像情報３３に基づいて道路標識の種類（案内標識、警戒標識、規制標識、指示標識等）や、道路標識がどのような規制や指示を示した標識であるかを示す内容等の道路標識に関わる詳細情報を取得する。そして、後述する第２案内処理（図１９）において、運転者が特徴物であるランドマークや車両や道路標識を視認していると判定した場合には、上記取得した詳細情報を案内する。

その後、Ｓ４４においてＣＰＵ４１は、前記Ｓ４３の検出結果に基づいて、フロントカメラ１９により撮像された撮像画像内に少なくとも一以上の特徴物が含まれているか否か判定する。

そして、フロントカメラ１９により撮像された撮像画像内に少なくとも一以上の特徴物が含まれていると判定された場合（Ｓ４４：ＹＥＳ）には、Ｓ４５へと移行する。それに対して、フロントカメラ１９により撮像された撮像画像内に特徴物が含まれていないと判定された場合（Ｓ４４：ＮＯ）には、Ｓ５へと移行する。

その後、Ｓ４５においてＣＰＵ４１は、前記Ｓ４３で種別が識別された特徴物の輪郭を、撮像画像内に含まれる特徴点と、予め特徴物の種類毎に規定された輪郭パターンに基づいて検出する。例えば図１３に示す配置で撮像画像内に特徴点６５が検出された場合には、特徴物として信号機が撮像画像内に含まれていると識別する。そして、信号機の輪郭６６を検出する。その結果、フロントカメラ１９の撮像画像内に含まれる特徴物の位置や形状等が特定されることとなり、その後のＳ６において特徴物を囲む特徴物矩形６７（図１３参照）を設定することが可能となる。尚、ＣＰＵ４１は撮像画像内に特徴物が複数含まれる場合には、各特徴物について輪郭を検出する。

次に、前記Ｓ７において実行される視認態様特定処理のサブ処理について図１４に基づき説明する。図１４は視認態様特定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ５１においてＣＰＵ４１は、前記Ｓ６で特定された特徴物矩形と前記Ｓ３で特定された視線円とに基づいて、フロントカメラ１９で撮像された撮像画像内における特徴物矩形と視線円との重複態様を検出する。具体的には、図１５に示すように特徴物の全体の面積（本実施形態では特徴物を囲む特徴物矩形６７の面積を用いる）に対する視線円５５と重複する領域６８の面積の割合（以下、重複割合という）を算出する。尚、ＣＰＵ４１は前記Ｓ４の特徴物検出において複数の特徴物が検出された場合には、各特徴物について重複割合を算出する。また、特徴物の面積としては特徴物矩形６７の面積ではなく、前記Ｓ４５で検出された輪郭によって囲まれる面積を用いても良い。算出処理は複雑化するが、より正確な重複割合を算出することが可能となる。

次に、Ｓ５２においてＣＰＵ４１は、前記Ｓ３で特定された視線円の視線滞留時間を算出する。尚、視線滞留時間は、前述したＳ２７で前回の視線円が初期化された後に、新たに現在の視線円が作成されてからの時間（即ち、運転者が現在視認する視認位置周辺への視認を開始してからの時間）となる。

続いて、Ｓ５３においてＣＰＵ４１は、前記Ｓ５２で算出された視線滞留時間に基づいて、前記Ｓ５１で算出された重複割合を補正する。具体的には、視線滞留時間が閾値以上である場合に重複割合を加算し、更に、その加算値は視線滞留時間が長いほど大きくする。例えば、視線滞留時間が３ｓｅｃ以上で重複割合を１０％加算し、視線滞留時間が５ｓｅｃ以上で重複割合を２０％加算するように構成する。

ここで、前記したように運転者が同じ箇所を長時間視認すればするほど視線円内に包含される視線位置は多くなり、基本的に視線円は大きくなる（図７参照）。しかしながら、運転者が同じ箇所を長時間視認しても、視線円が大きくならない場合がある。そこで、前記Ｓ５３において視線滞留時間に応じて重複割合を補正することにより、後述のＳ５４で、より適切な運転者の特徴物への視認態様を特定することが可能となる。

次に、Ｓ５４においてＣＰＵ４１は、前記Ｓ５１で算出され、且つ前記Ｓ５３で補正された重複割合に基づいて、車両の進行方向前方にある特徴物への運転者の視認態様を特定する。より具体的には、予め規定された以下の（１）〜（４）の４つのパターンのいずれかに視認態様を特定する。
（１）運転者は特徴物を視認していない。
（２）運転者は特徴物を視認しているが注視はしていない。視認も僅かにしているのみである。
（３）運転者は特徴物を視認しているが注視はしていない。上記（２）よりもしっかり視認している。
（４）運転者は特徴物を注視している。

例えば、本実施形態では図１６に示すように重複割合が０％である場合にはパターン（１）に視認態様を特定し、重複割合が１〜４０％である場合にはパターン（２）に視認態様を特定し、重複割合が４１〜８０％である場合にはパターン（３）に視認態様を特定し、重複割合が８１％以上である場合にはパターン（４）に視認態様を特定する。そして、前記Ｓ５４で特定された視認態様は、対象となる特徴物矩形６７と対応付けてＲＡＭ４２等に記憶される。尚、図１６に示す重複割合の数値は適宜変更することが可能である。

次に、前記Ｓ８において実行される第１案内処理のサブ処理について図１７に基づき説明する。図１７は第１案内処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ６１においてＣＰＵ４１は、前記Ｓ７の視認態様特定処理において特定された車両の進行方向前方にある特徴物への運転者の視認態様に基づいて、運転者が該特徴物を注視しているか否かを判定する。具体的には、前記Ｓ７の視認態様特定処理において、上記（１）〜（４）のパターンの内、特にパターン（４）の視認態様が特徴物への視認態様として特定された場合には、運転者が特徴物を注視していると判定し、パターン（１）〜（３）の視認態様が特徴物への視認態様として特定された場合には、運転者が特徴物を注視していないと判定する。

そして、運転者が特徴物を注視していると判定された場合（Ｓ６１：ＹＥＳ）には、既に運転者は該特徴物の存在を認知していると推定し、特に特徴物に関する案内を行うことなくＳ９へと移行する。一方、運転者が特徴物を注視していないと判定された場合（Ｓ６１：ＮＯ）には、運転者は該特徴物の存在を認知していない可能性があると推定し、Ｓ６２へと移行する。

Ｓ６２においてＣＰＵ４１は、運転者が注視していないと判定された特徴物に対して、（ａ）車両から該特徴物までの距離、（ｂ）車両と該特徴物の相対速度、（ｃ）該特徴物の視認時間をそれぞれ検出する。尚、（ａ）車両から特徴物までの距離や（ｂ）車両と特徴物の相対速度については、フロントカメラ１９で撮像した撮像画像や、車両に搭載された測距センサ等を用いて検出される。また、特徴物の視認時間は、前記Ｓ５２で算出した視線滞留時間が相当する。

次に、Ｓ６３においてＣＰＵ４１は、前記Ｓ６２で検出された（ａ）車両から特徴物までの距離、（ｂ）車両と特徴物の相対速度、（ｃ）特徴物の視認時間とに基づいて、特徴物に対する案内の緊急度を判定する。基本的には、車両から特徴物までの距離が短い程、緊急度が高いと判定される。また、特徴物に車両がより早く接近する相対速度である程、緊急度が高いと判定される。また、特徴物の視認時間がより短い程、緊急度が高いと判定される。具体的には、図１８に示す態様で緊急度が『高』、『中』、『低』のいずれかに判定される。尚、緊急度は、車両の乗員に前方特徴物を認知させる必要性と車両の乗員に前方特徴物の認知に応じて車両の操作を是正させる必要性によって、『高』、『中』、『低』として予め分類されている。

図１８は、特徴物の視認時間をｘ軸、車両と特徴物の相対速度をｙ軸、車両から特徴物までの距離をｚ軸として、緊急度が『高』、『中』、『低』と判定される各区分を示した図である。
具体的には、以下の条件によって判断されることとなる。
緊急度『低』・・・以下の（Ａ）の条件を少なくとも満たす。
（Ａ）特徴物が車両から遠ざかる相対速度（ｙ≧０）である（即ち、特徴物の進行方向が車両の進行方向と同一であって、且つ車両よりも移動速度が速い）。
緊急度『中』・・・以下の（Ａ）の条件を満たし、且つ（Ｂ）、（Ｃ）の条件を一方又は両方満たす。
（Ａ）特徴物が車両に近づく相対速度（ｙ＜０）である（即ち、特徴物の進行方向が車両の進行方向と逆方向、又は同一で且つ車両よりも移動速度が遅い）。
（Ｂ）車両から特徴物までの距離が所定距離（例えば１０ｍ）以上（ｚ≧β）である。
（Ｃ）特徴物の視認時間が所定時間（例えば３ｓｅｃ）以上（ｘ≧α）である。
緊急度『高』・・・以下の（Ａ）〜（Ｃ）の条件を全て満たす。
（Ａ）特徴物が車両に近づく相対速度（ｙ＜０）である（即ち、特徴物の進行方向が車両の進行方向と逆方向、又は同一で且つ車両よりも移動速度が遅い）。
（Ｂ）車両から特徴物までの距離が所定距離（例えば１０ｍ）未満（ｚ＜β）である。
（Ｃ）特徴物の視認時間が所定時間（例えば３ｓｅｃ）未満（ｘ＜α）である。

尚、特徴物が特に道路標識である場合には、道路標識の種類に基づいて、緊急度を判定しても良い。具体的に、ＣＰＵ４１は先ずフロントカメラ１９の撮像画像と撮像画像ＤＢ３２に記憶された特徴物画像情報３３とに基づいて、車両の進行方向前方にある特徴物として検出された道路標識の種類を特定する。尚、特徴物画像情報３３には、前記したように道路標識の種類毎に道路標識の画像が記憶されている。そして、特定された道路標識の種類に基づいて、緊急度を『高』、『中』、『低』のいずれかに判定される。
例えば、特徴物が規制標識の内、特に赤の縁取りがされている標識である場合には、緊急度を『高』と判定する。
また、特徴物が警戒標識（黄地に黒色の標識）である場合には、緊急度を『中』と判定する。
また、特徴物がその他の道路標識（指示標識や規制標識の内、特に赤の縁取りがされていない標識（青地に白色の標識）等）である場合には、緊急度を『低』と判定する。
また、道路標識の種類に加えて、道路標識の視認時間、車両と道路標識の相対速度及び車両から道路標識までの距離についても考慮して緊急度を判定しても良い。例えば、車両から道路標識までの距離が所定距離（例えば１０ｍ）以内で、且つ該道路標識が規制標識の内、特に赤の縁取りがされている標識である場合に、緊急度を『高』と判定しても良い。

続いて、Ｓ６４においてＣＰＵ４１は、前記Ｓ６３の緊急度の判定の結果、緊急度が『低』と判定されたか否かを判定する。

そして、緊急度が『低』と判定された場合（Ｓ６４：ＹＥＳ）には、仮に運転者が特徴物を認知していなくても走行に大きな影響が無い、即ち、車両の運転者が前方特徴物の認知する必要がなく、運転者が車両の操作を是正する必要がないと推定し、特徴物に関する案内を行うことなくＳ９へと移行する。一方、緊急度が『中』又は『高』と判定された場合（Ｓ６４：ＮＯ）には、Ｓ６５へと移行する。

Ｓ６５においてＣＰＵ４１は、前記Ｓ６３の緊急度の判定の結果、緊急度が『中』と判定されたか否かを判定する。

そして、緊急度が『中』と判定された場合（Ｓ６５：ＹＥＳ）には、運転者が特徴物を認知していない場合に走行に影響を及ぼす可能性がある、即ち、車両の運転者が前方特徴物を認知する必要があり、運転者が車両の操作を是正する必要がないと推定し、車両の進行方向前方にある特徴物の存在を運転者に認知させる為の案内を行う（Ｓ６６）。例えば、「前方に注意して下さい。」との音声をスピーカ１６から出力する。また、特徴物が特に道路標識である場合には、「道路標識に注意して下さい。」との音声をスピーカ１６から出力する。尚、案内は液晶ディスプレイ１５による表示案内としても良いし、ＨＭＤやＨＵＤを用いて案内しても良い。また、前記Ｓ６６や以降のＳ６８、Ｓ６９で出力される案内の情報（案内文や案内音声）は、撮像画像ＤＢ３２から読み出される。撮像画像ＤＢ３２には、特徴物の種類毎且つ緊急度毎に案内情報が対応付けられて格納されている。

一方、緊急度が『高』と判定された場合（Ｓ６５：ＮＯ）には、Ｓ６７へと移行する。

Ｓ６７においてＣＰＵ４１は、前記Ｓ３で特定された運転者の視野領域に基づいて、車両の進行方向前方に位置する特徴物が運転者の視野領域内にあるか否かを判定する。具体的には、前記Ｓ３３で保存された視野領域の撮像画像内に特徴物が検出された場合には、車両の進行方向前方に位置する特徴物が運転者の視野領域内にあると判定し、前記Ｓ３３で保存された死角領域の撮像画像内に特徴物が検出された場合には、車両の進行方向前方に位置する特徴物が運転者の視野領域内にないと判定する。

そして、特徴物が運転者の視野領域内にあると判定された場合（Ｓ６７：ＹＥＳ）には、運転者が特徴物を認知していない場合に走行に大きく影響を及ぼす可能性がある、即ち、前記車両の乗員が前方特徴物を認知する必要があり、且つ運転者により車両の操作を是正する必要があると推定し、車両の進行方向前方にある特徴物の存在を運転者に認知させるとともに運転者による車両の進行方向前方にある特徴物の存在の認知に応じた車両の操作の是正を促す為の案内を行う（Ｓ６８）。その際の案内内容は、前記Ｓ６６よりも特徴物を強調した案内とする。例えば、「○○（特徴物の種別）が接近しています。前方に注意して下さい。」との音声をスピーカ１６から出力する。また、特徴物が特に道路標識である場合には、道路標識の規制内容についての案内（例えば、車両進入禁止、制限速度の案内）、例えば、車両進入禁止の道路に車両が進入しそうな場合には運転者に「車両進入禁止の道路が正面にあります。右折又は左折をして車両進入禁止の道路に進入しないようにしてください。」等の案内を行う。また、案内は液晶ディスプレイ１５による表示案内としても良いし、ＨＭＤやＨＵＤを用いて案内しても良い。更に、ＨＭＤやＨＵＤを用いる場合には、前記Ｓ６で特定された特徴物矩形を特徴物の周囲に表示しても良い。

一方、特徴物が運転者の視野領域内にない、即ち死角領域にあると判定された場合（Ｓ６７：ＮＯ）には、運転者の死角に特徴物が存在することを運転者に認知させる為の案内を行う（Ｓ６９）。その際の案内内容は、前記Ｓ６６よりも特徴物を強調した案内とし、視野領域に対する特徴物の位置を案内する。例えば、「○○（特徴物の種別）が死角に位置します。前方に注意して下さい。」との音声をスピーカ１６から出力する。また、特徴物が特に道路標識である場合には、死角にある道路標識の規制内容についての案内（例えば、車両進入禁止、制限速度の案内）を行う。また、案内は液晶ディスプレイ１５による表示案内としても良いし、ＨＭＤやＨＵＤを用いて案内しても良い。

尚、上記第１案内処理においてＣＰＵ４１は、前記Ｓ４の特徴物検出において複数の特徴物が検出された場合には、各特徴物を対象として前記Ｓ６１〜Ｓ６９の処理を実行することとしても良いし、車両から最も近い距離にある特徴物のみを対象として前記Ｓ６１〜Ｓ６９の処理を実行することとしても良い。

次に、前記Ｓ９において実行される第２案内処理のサブ処理について図１９に基づき説明する。図１９は第２案内処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ７１においてＣＰＵ４１は、前記Ｓ７の視認態様特定処理において特定された車両の進行方向前方にある特徴物への運転者の視認態様に基づいて、運転者が該特徴物を少なくとも視認（注視を含む）しているか否かを判定する。具体的には、前記Ｓ７の視認態様特定処理において、上記（１）〜（４）のパターンの内、特にパターン（２）〜（４）の視認態様が特徴物への視認態様として特定された場合には、運転者が特徴物を視認していると判定し、パターン（１）の視認態様が特徴物への視認態様として特定された場合には、運転者が特徴物を視認していないと判定する。

そして、運転者が特徴物を視認していると判定された場合（Ｓ７１：ＹＥＳ）には、Ｓ７２へと移行する。それに対して、運転者が特徴物を視認していないと判定された場合（Ｓ７１：ＮＯ）には、特徴物に関する案内を行うことなく当該走行支援処理プログラムを終了する。

次に、Ｓ７２においてＣＰＵ４１は、前記Ｓ６２で検出した車両から特徴物までの距離が所定距離以上であるか否かを判定する。尚、前記Ｓ７２の判定基準となる所定距離は、特徴物が車両の走行する道路上や道路沿いにあるか否かを判定する為に設定する距離であり、例えば１０００ｍとする。

そして、車両から特徴物までの距離が所定距離以上であると判定された場合（Ｓ７２：ＹＥＳ）には、該特徴物は車両の走行する道路上や道路沿いにある特徴物ではなく、遠方にあるランドマークとなるような大型の施設や建造物であると推定する。そして、Ｓ７３でＣＰＵ４１は、特徴物に関する情報提供として周辺の観光案内を行ったり、目的地の設定画面へと移行する。そして、目的地の設定画面へと移行した場合には、その後に特徴物を目的地に設定し、特徴物を目的地とした走行案内を行う。

一方、車両から特徴物までの距離が所定距離未満であると判定された場合（Ｓ７２：ＮＯ）には、該特徴物は車両の走行する道路上や道路沿いにある特徴物であると推定し、Ｓ７４へと移行する。

Ｓ７４においてＣＰＵ４１は、前記Ｓ６２で検出した車両と特徴物の相対速度に基づいて、特徴物が現時点で移動を行っている移動体であるか否かを判定する。

そして、特徴物が移動体であると判定された場合（Ｓ７４：ＹＥＳ）には、該特徴物は移動中の歩行者や他車両であると推定し、Ｓ７５へと移行する。それに対して、特徴物が移動体でないと判定された場合（Ｓ７４：ＮＯ）には、該特徴物は停止中の歩行者や他車両又は道路標識や信号機等の地物であると推定し、Ｓ７８へと移行する。

Ｓ７５においてＣＰＵ４１は、運転者が特徴物を注視しているか否かを判定する。尚、具体的な処理内容はＳ６１と同様であるので、詳細は省略する。

そして、運転者が特徴物を注視していないと判定された場合（Ｓ７５：ＮＯ）には、特徴物に関する情報提供として、特徴物を特定する為の特徴物固有の情報を案内する（Ｓ７６）。例えば、特徴物の位置や特徴物の種類等を案内する。それによって、運転者が視認した特徴物について、より詳細な情報を運転者に提供することが可能となる。

一方、運転者が特徴物を注視していると判定された場合（Ｓ７５：ＹＥＳ）には、情報特徴物に関する情報提供として、特徴物と自車両との関係を特定する情報等の前記Ｓ７６よりも詳細な情報を案内する（Ｓ７７）。具体的には、自車両に対する特徴物の相対速度、自車両と特徴物との間の距離、自車両に対する特徴物の移動方向（接近しているか遠ざかっているか）等を案内する。また、特徴物が車両である場合には車名、車種、ブランド名等を撮像画像ＤＢ３２から読み出し、案内する。また、特徴物が車両と接近する場合には接触までの予定時間についても案内する。それによって、運転者が注視した特徴物について、より詳細な情報を運転者に提供することが可能となる。尚、前記Ｓ７７では運転者は特徴物に強い関心を持っていると推定されるので、案内内容は特徴物を運転者が注視していない場合の案内（Ｓ７６）よりも、より特徴物の詳細について案内する内容となる。

一方、Ｓ７８においてＣＰＵ４１は、前記Ｓ４３で検出した特徴物の種別に基づいて、特徴物が地物であるか否かを判定する。尚、地物とは、道路上又は道路沿いに設置された構造物であり、例えば道路標識、案内板、施設等が該当する。

そして、特徴物が地物であると判定された場合（Ｓ７８：ＹＥＳ）には、Ｓ７９へと移行する。それに対して、特徴物が地物でないと判定された場合（Ｓ７８：ＮＯ）には、該特徴物は停止中の歩行者や他車両であると推定し、Ｓ８２へと移行する。

Ｓ７９においてＣＰＵ４１は、運転者が特徴物を注視しているか否かを判定する。尚、具体的な処理内容はＳ６１と同様であるので、詳細は省略する。

そして、運転者が特徴物を注視していないと判定された場合（Ｓ７９：ＮＯ）には、特徴物に関する情報提供として、特徴物の内容を識別する識別情報について案内する（Ｓ８０）。例えば、特徴物が案内板である場合には案内板の画像を液晶ディスプレイ１５に表示する。また、特徴物が道路標識である場合には該道路標識の内容についての案内（例えば、制限速度、一方通行、進行方向別通行区分の案内）を行う。それによって、運転者が視認した特徴物について、より詳細な情報を運転者に提供することが可能となる。

一方、運転者が特徴物を注視していると判定された場合（Ｓ７９：ＹＥＳ）には、特徴物に関する情報提供として、特徴物の内容への前記乗員の理解を補助する補助情報等の前記Ｓ８０よりも詳細な情報を案内する（Ｓ８１）。具体的には、特徴物のより詳細な情報を撮像画像ＤＢ３２から読み出し、例えば、特徴物が案内板である場合にはこの先の接続道路の案内を行う。また、特徴物がランドマーク等の施設である場合には、施設名称やジャンルについての案内を行う。また、特徴物が道路標識である場合には該道路標識の種類や該道路標識がどのような規制や指示を示した標識であるかを解説する案内を行う。それによって、運転者が注視した特徴物について、より詳細な情報を運転者に提供し、特徴物の内容について理解できない乗員に対して、特徴物の内容を理解させることが可能となる。尚、前記Ｓ８１では運転者は特徴物に強い関心を持っていると推定されるので、案内内容は特徴物を運転者が注視していない場合の案内（Ｓ８０）よりも、より特徴物の詳細について案内する内容となる。

一方、Ｓ８２においてＣＰＵ４１は、運転者が特徴物を注視しているか否かを判定する。尚、具体的な処理内容はＳ６１と同様であるので、詳細は省略する。

そして、運転者が特徴物を注視していないと判定された場合（Ｓ８２：ＮＯ）には、特徴物に関する情報提供として、特徴物の内容を識別する識別情報について案内する（Ｓ８３）。例えば、特徴物が他車両である場合には車両内の運転者の有無（即ち、走行を開始する虞があるか否か）の案内を行う。それによって、運転者が視認した特徴物について、より詳細な情報を運転者に提供することが可能となる。

一方、運転者が特徴物を注視していると判定された場合（Ｓ８２：ＹＥＳ）には、特徴物に関する情報提供として、特徴物の内容への前記乗員の理解を補助する補助情報等の前記Ｓ８３よりも詳細な情報を案内する（Ｓ８４）。具体的には、特徴物のより詳細な情報を撮像画像ＤＢ３２から読み出し、例えば特徴物が車両である場合には車種や年式の案内を行う。また、特徴物が歩行者である場合には性別や年齢層の案内を行う。それによって、運転者が注視した特徴物について、より詳細な情報を運転者に提供し、特徴物の内容について理解できない乗員に対して、特徴物の内容を理解させることが可能となる。尚、前記Ｓ８４では運転者は特徴物に強い関心を持っていると推定されるので、案内内容は特徴物を運転者が注視していない場合の案内（Ｓ８３）よりも、より特徴物の詳細について案内する内容となる。

尚、上記第２案内処理においてＣＰＵ４１は、前記Ｓ４の特徴物検出において複数の特徴物が検出された場合には、各特徴物を対象として前記Ｓ７１〜Ｓ８４の処理を実行することとしても良いし、車両から最も近い距離にある特徴物のみを対象として前記Ｓ７１〜Ｓ８４の処理を実行することとしても良い。

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１による走行支援方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、ドライバカメラで撮像された撮像画像から運転者の視線位置、視線円及び視野領域を検出し（Ｓ２、Ｓ３）、フロントカメラ１９で撮像された撮像画像や特徴物画像情報３３から車両の進行方向前方にある特徴物を検出し（Ｓ４）、各検出結果に基づいて車両の進行方向前方にある特徴物への運転者の視認態様を特定し（Ｓ７）、特定された視認態様に基づいて特徴物に関する案内を行う（Ｓ８、Ｓ９）ので、車両の運転者に対して不要な案内を行うことなく、現在の運転者に必要な案内を必要なタイミングで行うことが可能となる。また、現在の運転者にとって必要な情報を運転者の特徴物への視認態様から適切に特定することが可能となる。
また、車両の進行方向前方にある特徴物の種類と該特徴物への乗員の視認態様に基づいて特徴物に関する案内を行うので、特に特徴物の種類に応じた乗員に必要な情報を案内することが可能となる。
また、特徴物を運転者が注視しているか否かに基づいて特徴物の案内を行うので、特徴物への運転者の視認態様に応じた適切な案内を行うことが可能となる。例えば、運転者が特徴物を注視していない場合には、特徴物への注視を促し、特徴物を注視させることが可能である。また、運転者が特徴物を注視している場合には、運転者が注視する（即ち、乗員が関心を持つ）特徴物に関する詳細な情報を提供することが可能となる。
また、特徴物を運転者が視認しているか否かに基づいて特徴物の案内を行うので、特徴物への運転者の視認態様に応じた適切な案内を行うことが可能となる。例えば、運転者が特徴物を視認していない場合には、特徴物の存在を運転者に適切に認知させることが可能である。また、運転者が特徴物を視認している場合には、運転者が視認する特徴物に関する情報を提供することが可能となる。
また、案内対象となる特徴物は、道路を走行する車両の運転者が認視する対象となる物であるので、車両の走行に影響を及ぼす虞のある物の存在を運転者に事前に把握させ、適切に走行させることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、運転者の視線位置を含む視線範囲を円形状の視線円で特定するが、円形以外の形状（例えば四角形状や６角形形状）で特定しても良い。

また、本実施形態では運転者の特徴物への視認態様を図１６に示す４つのパターンにより分類することとしているが、分類するパターンの数は３以下でも５以上としても良い。また、重複割合に加えて視線円の面積についても考慮して視認態様を特定しても良い。具体的には、視線円の面積が大きければ大きい程、その特徴物を長く視認していると推定できるので、視線円の面積が所定値以上である場合に、運転者が特徴物を注視していると判定しても良い。

また、第２案内処理（図１９）で説明した特徴物に関する案内内容は一例であり、その内容は適宜変更することが可能である。例えば、特徴物の形状や移動速度を案内しても良い。

また、本実施形態では走行支援処理プログラム中において第１案内処理（図１７）と第２案内処理（図１９）を両方実行する構成としているが、いずれか一方のみを実行する構成としても良い。

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
１９ フロントカメラ
２０ ドライバカメラ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ 車両
５２ 運転者

Claims (7)

1. 車両の進行方向前方の周辺環境を撮像する周辺環境撮像手段と、
   特徴物の画像を記憶した特徴物画像情報を取得する特徴物画像情報取得手段と、
   前記車両の乗員の視線開始点及び視線方向を検出する視線検出手段と、
   前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定する視線位置特定手段と、
   前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出する特徴物検出手段と、
   前記撮像画像に基づいて前記前方特徴物の位置を特定する位置特定手段と、
   前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定する視認態様特定手段と、
   前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行う案内手段と、を有することを特徴とする走行支援システム。
2. 前記前方特徴物の種類を識別する種類識別手段を有し、
   前記特徴物画像情報取得手段は、前記特徴物の画像を前記特徴物の種類毎に記憶した前記特徴物画像情報を取得し、
   前記種類識別手段は、前記特徴物画像情報取得手段によって取得された前記特徴物画像情報に基づいて前記前方特徴物の種類を識別し、
   前記案内手段は、前記種類識別手段によって識別された前記前方特徴物の種類と該前方特徴物への前記乗員の視認態様に基づいて前記前方特徴物に関する案内を行うことを特徴とする請求項１に記載の走行支援システム。
3. 前記視認態様特定手段によって特定された前記視認態様に基づいて、前記前方特徴物を前記乗員が注視しているか否かを判定する注視判定手段を有し、
   前記案内手段は、前記注視判定手段の判定結果に基づいて前記前方特徴物に関する案内を行うことを特徴とする請求項１又は請求項２に記載の走行支援システム。
4. 前記視認態様特定手段によって特定された前記視認態様に基づいて、前記前方特徴物を前記乗員が視認しているか否かを判定する視認判定手段を有し、
   前記案内手段は、前記視認判定手段の判定結果に基づいて前記前方特徴物に関する案内を行うことを特徴とする請求項１乃至請求項３のいずれかに記載の走行支援システム。
5. 前記特徴物は、道路を走行する前記車両の乗員が認視する対象となる物であることを特徴とする請求項１乃至請求項４のいずれかに記載の走行支援システム。
6. 周辺環境撮像手段が、車両の進行方向前方の周辺環境を撮像するステップと、
   特徴物画像情報取得手段が、特徴物の画像を記憶した特徴物画像情報を取得するステップと、
   視線検出手段が、前記車両の乗員の視線開始点及び視線方向を検出するステップと、
   視線位置特定手段が、前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定するステップと、
   特徴物検出手段が、前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出するステップと、
   位置特定手段が、前記撮像画像に基づいて前記前方特徴物の位置を特定するステップと、
   視認態様特定手段が、前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定するステップと、
   案内手段が、前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行うステップと、を有することを特徴とする走行支援方法。
7. コンピュータを、
   車両の進行方向前方の周辺環境を撮像する周辺環境撮像手段と、
   特徴物の画像を記憶した特徴物画像情報を取得する特徴物画像情報取得手段と、
   前記車両の乗員の視線開始点及び視線方向を検出する視線検出手段と、
   前記周辺環境撮像手段によって撮像された撮像画像と前記視線検出手段により検出された前記乗員の視線開始点及び視線方向とに基づいて、前記車両の進行方向前方の周辺環境に対して前記乗員の視線が位置する視線位置の範囲を、前記撮像画像中において特定する視線位置特定手段と、
   前記周辺環境撮像手段によって撮像された前記撮像画像と前記特徴物画像情報を照合し、前記車両の進行方向前方にある前記特徴物を前方特徴物として検出する特徴物検出手段と、
   前記撮像画像に基づいて前記前方特徴物の位置を特定する位置特定手段と、
   前記前方特徴物の位置と前記視線位置の範囲とに基づいて前記前方特徴物の全体面積に対する前記視線位置の範囲と重複する面積の割合である重複割合を特定するとともに、特定した重複割合に基づいて前記前方特徴物への前記乗員への視認態様を特定する視認態様特定手段と、
   前記視認態様特定手段によって特定された前記前方特徴物への前記乗員への視認態様に基づいて、前記前方特徴物に関する案内を行う案内手段と、
   して機能させる為のコンピュータプログラム。

Images