JP4231884B2 - 注視対象物検出装置および注視対象物検出方法 - Google Patents

Description

ドライバの視線に基づいてドライバの注視している対象物を認識する注視対象物検出装置に関する。

従来から、ドライバの視線の方向を検出してドライバの見ている対象物（建築物等）を認識し、対象物に関する情報を提供するなどの処理を行って運転を支援する車載用ナビゲーション装置が知られていた。

特許文献１には、対象物を誤認しても容易に修正することができる車載用ナビゲーション装置が記載されている。特許文献１に記載された車載用ナビゲーション装置は、「あれは何？」「あの建物は？」等のユーザの発生する音声を認識し、音声を発したときのドライバの視線方向に基づいて、ドライバが見ていた対象物を求める。
特開２００５−２４３１３号公報

特許文献１の車載装置では、ドライバが見ている対象物を認識するために、ドライバからの音声によるトリガが必要であった。つまり、ドライバが、情報提供を受けたい対象物を意識的に特定しなくてはならなかった。

本発明は、上記背景に鑑み、ドライバからのトリガがなくても、ドライバが注視している対象物を検出できる注視対象物検出装置を提供することを目的とする。

本発明の注視対象物検出装置は、地図情報を記憶した地図情報記憶部と、車両の現在位置および向きを検出する車両位置検出部と、ドライバの視線を検出する視線検出部と、前記視線検出部にて検出された視線上に存在する対象物を、前記車両位置検出部にて検出された車両の現在位置および向きと前記地図情報記憶部に記憶された地図情報とに基づいて検出する対象物検出部と、前記対象物検出部にて検出された対象物の中から、前記対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求める注視対象物算出部とを備える。

このようにドライバの視線上に検出された複数の対象物の中から、対象物が視線上に存在する時間に基づいてドライバが注視した注視対象物を求めることにより、ドライバからのトリガがなくても注視対象物を検出することができる。これにより、ドライバが無意識に注視した対象物を注視対象物として検出することができる。なお、対象物が視線上に存在する時間は、その対象物を複数回見た場合には、各回に見た時間の合計でもよい。車両の運転中には、基本的には前方を見ている必要があるので、関心を持った対象物を見る際には、その対象物を複数回見ることが多いが、その場合には、各回に見た時間を合計し、その合計時間に基づいて注視対象物を検出することができる。

上記注視対象物検出装置において、前記注視対象物算出部は、前記対象物が視線上に存在する時間に重み付けをして評価値を求め、前記評価値が所定の閾値以上になった対象物を注視対象物として求めてもよい。

このように対象物が視線上に存在する時間に重み付けをすることにより、他の要素も含めて、ドライバが関心を持って注視した対象物を求めることができる。

上記注視対象物検出装置は、ドライバが過去に注視した対象物の属性を記憶したドライバ情報記憶部を備え、前記注視対象物算出部は、前記ドライバ情報記憶部に記憶された対象物の属性と検出された対象物の属性とに基づいて、前記対象物が視線上に存在する時間に重み付けをして前記評価値を求めてもよい。

このようにドライバが過去に注視した対象物の属性と検出された対象物の属性とに基づいて、対象物が視線上に存在する時間に重み付けを行って評価値を求めることにより、ドライバの嗜好に合わせて注視対象物を求めることができる。例えば、過去に注視した対象物の属性と同じ属性の対象物については重み付けを大きくすることにより、ドライバが過去に注視した対象物と同じ属性の対象物を、注視対象物として適切に検出することができる。逆に、過去に注視したことのない対象物の属性については重み付けを低くすることにより、ドライバが関心を持ったことのない属性の対象物を注視対象物として検出しないようにできる。

上記注視対象物検出装置は、車両の状態を検出する車両状態検出部を備え、前記注視対象物算出部は、前記車両状態検出部にて検出された車両の状態に基づいて重み付けを変えてもよい。

車両状態に応じて、ドライバが周囲を見回す行動の頻度は異なる。例えば、車両が停止している場合には、走行中に比べて周囲を見回すことが多いので、車両の停止中に走行中と同じ基準で注視対象物を検出すると、走行中より関心の度合いが低い対象物が注視対象物として検出される。また、右左折中や車線変更中は安全確認のために周囲を見回す傾向があるため、通常の走行中より関心の低い度合いが低い対象物が注視対象物として検出される。本発明では、例えば、停止中、右左折中、車線変更中に重み付けを低くするなど、車両状態に応じて重み付けを変えることにより、車両状態によらず、注視対象物を検出する基準を同程度に調整することができる。なお、車両状態としては、ここに例示した走行中、停止中、右左折中、車線変更中に限らず、その他の様々な車両状態を検出し、車両状態に応じて重み付けを変えることができる。

上記注視対象物検出装置は、設定された経路情報を記憶する経路情報記憶部を備え、前記注視対象物算出部は、前記経路情報記憶部に記憶された経路情報と車両の現在位置とに基づいて、目的地までの距離が所定の閾値以下であることを検出した場合には、目的地までの距離が所定の閾値より大きい場合より前記重み付けを低くして評価値を求めてもよい。

設定された経路の目的地付近においては、目的地を探すために周囲を見回すのが通常であるので、目的地付近において、目的地から遠い場合と同じ基準で注視対象物を検出すると、目的地から遠い場合より関心の度合いが低い対象物が注視対象物として検出される。本発明では、目的地付近にいる場合には、重み付けを低く設定することにより、目的地付近と目的地から遠い場合とで注視対象物を検出する基準を同程度に調整することができる。

上記注視対象物検出装置は、車両の過去の走行経路を示す情報を記憶した走行履歴記憶部を備え、前記注視対象物算出部は、車両の現在位置が前記走行履歴記憶部に記憶された過去の走行経路に合致するか否かを判定し、前記判定結果に基づいて前記重み付けを変えて評価値を求めてもよい。

過去に走行した経路においては、その経路にどのような対象物があるかを把握しているので、ドライバの注視行動は、はじめて走行する経路の場合とは異なる。従って、過去に走行した経路か否かに応じて、重み付けを変えることによって、適切に注視対象物を検出することができる。

上記注視対象物検出装置は、車両内の会話を集音するマイクと、前記マイクで集音した会話を解析する会話解析部とを備え、前記注視対象物算出部は、前記会話解析部による解析結果に基づいて、対象物に対する関心の度合いを求め、前記関心の度合いに基づいて前記重み付けを変えてもよい。

このように会話の解析結果から得られた対象物に対する関心の度合いに基づいて重み付けを変えることにより、適切に注視対象物を検出することができる。

本発明の情報提供装置は、上記注視対象物検出装置と、前記注視対象物検出装置にて検出された注視対象物に関する情報を出力する出力部とを備える。

これにより、ドライバからのトリガがなくても注視対象物を検出して、注視対象物に関する情報を提供できる。

本発明のドライブシーン撮影装置は、上記注視対象物検出装置と、車外の対象物を撮影する車外カメラとを備え、前記注視対象物検出装置にて検出された注視対象物を前記車外カメラにて撮像する。

これにより、ドライバからのトリガがなくても注視対象物を検出して、その注視対象物を撮像できる。

本発明の注視対象物検出方法は、車両の現在位置および向きを検出する車両位置検出ステップと、ドライバの視線を検出する視線検出ステップと、前記視線検出ステップにて検出された視線上に存在する対象物を、前記車両位置検出ステップにて検出された車両の現在位置および向きと、地図情報記憶部に記憶された地図情報とに基づいて検出する対象物検出ステップと、前記対象物検出ステップにて検出された対象物の中から、前記対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求める注視対象物算出ステップとを備える。

これにより、本発明の注視対象物検出装置と同様に、ドライバからのトリガがなくても注視対象物を検出することができ、ドライバが無意識に注視した対象物を注視対象物として検出することができる。なお、本発明の注視対象物検出装置の各種の構成を本発明の注視対象物検出方法に適用することができる。

本発明のプログラムは、ドライバの視線から注視対象物を検出するためのプログラムであって、車両の現在位置および向きを検出する車両位置検出部とドライバの視線を検出する視線検出部とを備えたコンピュータに、車両の現在位置および向きを検出するステップと、ドライバの視線を検出するステップと、検出された視線上に存在する対象物を、車両の現在位置および向きと地図情報とに基づいて検出するステップと、検出された対象物の中から、前記対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求めるステップとを実行させる。

これにより、本発明の注視対象物検出装置と同様に、ドライバからのトリガがなくても注視対象物を検出することができ、ドライバが無意識に注視した対象物を注視対象物として検出することができる。なお、本発明の注視対象物検出装置の各種の構成を本発明のプログラムに適用することができる。

本発明によれば、ドライバの視線上に検出された複数の対象物の中から、対象物が視線上に存在する時間に基づいてドライバが注視した注視対象物を求めることにより、ドライバからのトリガがなくても注視対象物を検出することができ、ドライバが無意識に注視した対象物を注視対象物として検出することができるという効果を有する。

以下、本発明の実施の形態の情報提供装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の情報提供装置１の構成を示す図である。情報提供装置１は、車載用のカーナビゲーション装置に内蔵され、ドライバが注視した対象物に関する情報を提供する。

情報提供装置１は、ドライバが注視した対象物を検出する注視対象物検出装置１１と、注視対象物検出装置１１にて検出された注視対象に関する情報を出力する情報出力部４１とを有する。情報出力部４１は、音声出力や画像表示によって注視対象物の情報を出力する。

情報出力部４１には、ＰＯＩ情報データベース（以下、「ＰＯＩ情報ＤＢ」という）４２が接続されている。ＰＯＩ情報ＤＢ４２は、対象物に関する情報を記憶している。ＰＯＩ情報ＤＢ４２には、ウェブサイトから取得した情報を加工して蓄積してもよい。情報出力部４１は、注視対象物検出装置１１にて検出された注視対象に関する情報をＰＯＩ情報ＤＢ４２から読み出し、読み出した情報を出力する。

次に、注視対象物検出装置１１について説明する。注視対象物検出装置１１は、ドライバの視線を検出する視線検出部２１と、視線検出部２１にて検出したドライバの視線上に存在する対象物を検出する対象物検出部２２と、対象物検出部２２にて検出された対象物の中からドライバが注視した注視対象物を求める注視対象物算出部２３とを備えている。

視線検出部２１は、ドライバを撮影する車内カメラと車内カメラで撮影した映像を処理する画像処理部によって構成される。視線検出部２１は、車内カメラで撮影した映像から、ドライバの顔の向き、および眼球の方向を検出し、車両を基準とするドライバの視線を検出し、検出した視線の情報を対象物検出部２２に入力する。なお、本実施の形態では、顔の向きと眼球の方向とを用いて視線を求めることとしているが、計算処理を軽減するために顔の向きのみを用いて、視線を近似してもよい。

対象物検出部２２には、車両位置検出部２４、車両周辺センサ２５、地図情報データベース（以下、「地図情報ＤＢ」という）２６が接続されている。車両位置検出部２４は、車両の現在位置および車両の向き（進行方向）を検出する機能を有する。車両位置検出部２４は、例えば、ＧＰＳ、車速センサ、ジャイロ等によって構成される。車両周辺センサ２５は、走行路や前方障害物などの車両周辺の状況を検出する機能を有する。また、車両周辺センサ２５は、検出した様々な対象物を画像処理によって識別し、歩行者、信号、道路標識等を検出する機能を有する。地図情報ＤＢ２６は、地図情報を記憶している。地図情報には、道路情報の他に、位置情報（緯度、経度）に関連付けて、建物の名称や、どのような建物であるかを示す属性の情報が含まれている。

対象物検出部２２は、視線検出部２１から入力された視線の情報と、車両位置検出部２４および車両周辺センサ２５にて検出した情報と、地図情報ＤＢ２６に記憶された地図情報とを用いて視線上に存在する対象物を検出する。

具体的には、対象物検出部２２は、まず、車両位置検出部２４にて検出された車両の向きの情報を用いて、視線検出部２１から入力された車両を基準とした視線の方向を、地球を基準とした視線の方向に変換する。つまり、車両内の座標軸という個々の車両によって異なるローカルな基準で表現された視線の方向を、絶対的な座標軸を基準として表現する。

次に、対象物検出部２２は、視線上に存在する対象物を地図情報ＤＢ２６から検索する。また、対象物検出部２２は、車両周辺センサ２５にて検出した歩行者、信号、道路標識等の位置に基づいて、視線上に存在する歩行者、信号、道路標識等を対象物として検出する。なお、信号、道路標識等は、地図情報ＤＢ２６から検索して求めてもよい。

図２（ａ）〜図２（ｃ）は、対象物検出部２２にて検出された対象物のデータの例を示す図である。対象物検出部２２は、図２（ａ）に示すように、各単位時間にドライバの視線上に存在する対象物を検出する。図２（ａ）に示す例では、対象物Ａ→対象物Ｂ→対象物Ｃ→対象物Ａ→・・・というようにドライバの視線が動いている。ドライバの視線上に２つ以上の対象物が存在する場合には、最も近い位置にある対象物を検出してもよいし、図２（ｂ）に示すように、２つ以上の対象物を検出することとしてもよい。図２（ａ）および図２（ｂ）では、所定時間を単位として視線上に存在する対象物を検出しているが、図２（ｃ）に示すように、視線上に存在する対象物が変わったタイミングで、対象物を検出してもよい。なお、所定時間（以下、「単位時間」という）で対象物を検出する方法でも、単位時間を微小時間とすれば、単位時間内に視線上の対象物が変わってしまう事態を防止できる。慣れている状態で人間が物を探すときの最速時間は約０．１秒であるので、単位時間を０．１秒とすれば、人間が探す対象物を検知することができる。

注視対象物算出部２３は、対象物検出部２２にて検出された対象物の中から、ドライバが注視した注視対象物を求める機能を有する。注視対象物算出部２３は、それぞれの対象物を検出した単位時間を足し合わせて対象物が視線上に存在した時間を評価値として求め、評価値が所定の閾値以上となった場合に、対象物が注視対象であると判定する。注視対象物算出部２３は、対象物を検出した単位時間を足し合わせる際に、そのドライバが過去に注視した対象物についての情報をドライバ情報データベース（以下、「ドライバ情報ＤＢ」という）２７から読み出し、読み出した情報を用いて、対象物を検出した単位時間に重み付けをする。

図３は、注視対象物算出部２３に接続されたドライバ情報ＤＢ２７に記憶されたデータの例を示す図である。ドライバ情報ＤＢ２７には、ドライバが過去に注視した対象物の属性を示す「注視対象の属性情報」と、その属性を有する対象物を注視した回数を示す「過去の注視回数」の情報が記憶されている。

本実施の形態では、注視対象物算出部２３は、対象物検出部２２にて検出された対象物の属性に対応する過去の注視回数を、重み付け係数として用いる。これにより、過去に注視した回数の多い属性を持つ対象物ほど、重み付け係数が大きくなるので、ドライバが関心を持っている可能性の高い対象物を注視対象物として求めることができる。このように注視対象物算出部２３がドライバ情報ＤＢ２７に記憶された情報を利用して重み付けすることにより、ドライバの嗜好に合った注視対象物を求めることができる。

図４は、注視対象物算出部２３によって計算した評価値を示す図である。図４では、図２（ａ）に示す対象物が検出された場合を例としている。図２（ａ）に示す例では、対象物Ａ（公園）および対象物Ｂ（公園）を３回ずつ検出し、対象物Ｃ（信号）を２回、対象物Ｄ（歩行者）および対象物Ｅ（道路標識）を１回ずつ検出している。注視対象物算出部２３は、図４に示すように、公園である対象物Ａに「３」、歴史的建物である対象物Ｂに「７」の重み係数を掛けて足し合わせて評価値を求める。この結果、対象物Ｂの評価値は閾値以上となるので、注視対象物算出部２３は、対象物Ｂを注視対象物として求める。

図２（ａ）の例において、対象物Ｃ（信号）、対象物Ｄ（歩行者）、対象物Ｅ（道路標識）も視線上に存在する対象物として検出されているが、信号、歩行者および道路標識は、運転するための必要から注視するのが当然であり、本実施の形態の情報提供装置１によって情報を提供する対象物とはならないので、本実施の形態では、信号、歩行者および道路標識についての評価値を計算しない。なお、信号、歩行者および道路標識について、評価値を全く計算しないのではなく、重み係数を小さく設定して評価値を計算してもよい。これにより、信号や歩行者についても注視対象物の候補とすることができる。

注視対象物算出部２３は、注視対象物を求めたときに、求めた注視対象物の属性に応じてドライバ情報ＤＢ２７の過去の注視回数を更新する。これにより、ドライバの嗜好に合わせて、ドライバ情報ＤＢ２７を学習させることができる。なお、ドライバ情報ＤＢ２７の所定の属性について過去の注視回数が多くなると、その所定の属性に対する重み係数が大きくなり、注視対象物として検出されやすくなる。その結果、所定の属性の対象物が検出され、ドライバ情報ＤＢ２７の過去の注視回数がカウントアップされるという循環が生じ、所定の属性の注視回数が著しく多くなるという現象がおき、所定の属性の対象物は、ドライバが注視していない場合にまで注視対象物として検出されるおそれがある。このような事態を防止するため、過去の注視回数が所定の回数を超える場合には、注視回数にかかわらず、重み付けの係数を一定の値とすることとしてもよい。

なお、ドライバ情報ＤＢ２７に記憶されるデータの初期値は、（１）注視回数を設定せずに、重み付けをすべて１としてもよいし、（２）平均的な人の嗜好に応じて、注視回数を設定しておくこととしてもよい。

図５は、本実施の形態の情報提供装置１の動作を示す図である。情報提供装置１は、視線検出部２１によってドライバの視線を検出し、検出された視線の方向を対象物検出部２２に入力する（Ｓ１０）。対象物検出部２２は、入力された車両基準の視線方向を車両の向きに基づいて、地球を基準とした視線方向を求め、視線上に存在する対象物を検出する（Ｓ１２）。対象物検出部２２は、検出した対象物の情報を注視対象物算出部２３に入力する。

注視対象物算出部２３は、検出された対象物について、評価値を計算する（Ｓ１４）。注視対象物算出部２３は、対象物の属性に対応する重み付け係数をドライバ情報ＤＢ２７に記憶された過去の注視回数に基づいて決定し、決定された重み付け係数を視線上に対象物が存在した時間に乗じて評価値を計算する。具体的には、注視対象物算出部２３は、対象物検出部２２から入力される対象物ごとに、計算中の評価値を記憶しておく。図４に示す例では、対象物Ａの評価値を一時的に記憶するための変数と、対象物Ｂの評価値を一時的に記憶するための変数を準備する。注視対象物算出部２３は、対象物検出部２２から検出された対象物のデータが入力されると、その対象物の評価値の変数に、対象物が検出された単位時間に重み付け係数を乗じた値をカウントアップしていく。そして、注視対象物算出部２３は、評価値が所定の閾値以上となったときに、その対象物を注視対象物と判定する。

続いて、注視対象物算出部２３は、各対象物について計算中の評価値が所定の閾値以上であるか否かを判定する（Ｓ１６）。この判定の結果、評価値が所定の閾値以上である場合には（Ｓ１６でＹＥＳ）、その対象物を注視対象物として決定し（Ｓ１８）、決定された注視対象物の情報を情報出力部４１に通知する。

情報出力部４１は、注視対象物算出部２３にて求めた注視対象に関するＰＯＩ情報をＰＯＩ情報ＤＢ４２から読み出し、読み出したＰＯＩ情報を出力する（Ｓ２０）。

注視対象物算出部２３は、評価値を計算中の各対象物の中に、前回検出されてから所定時間経過しても検出されない対象物があるか否かをチェックし、前回検出時から所定時間経過しても検出されない対象物については、評価値をクリアする（Ｓ２２）。例えば、図４に示す例は、対象物Ａが３回目に検出されてから所定時間（例えば２分）が経過しても対象物Ａが検出されないときには、対象物Ａの評価値をカウントアップするための変数をクリアする。これにより、車両の移動によって、ドライバの視界から消えたと考えられる対象物についての評価値を計算するために確保したメモリ領域をクリアし、ワーキングメモリを有効に活用できる。

注視対象物算出部２３による評価値の判定において、評価値が所定の閾値以上でないと判定された場合には（Ｓ１６でＮＯ）、注視対象物が存在しないので、情報出力を行わないで、ステップＳ２２に移行する。

情報提供装置１は、図５に示す動作を繰り返し行うことにより、ドライバの視線上に存在する対象物を順次検出し、検出された複数の対象物の中から注視対象物を求め、求められた注視対象物に関する情報を提供する。以上、第１の実施の形態の情報提供装置１の構成および動作について説明した。

本実施の形態の情報提供装置１は、注視対象物算出部２３によって、ドライバの視線に捉えられた様々な対象物の中から、ドライバが注視した注視対象物を求め、求められた注視対象物についての情報を出力するので、ドライバからの指示がなくても、ドライバが注視した対象物についての情報を提供できる。

また、本実施の形態の情報提供装置１は、ドライバが過去に注視した回数に応じて重み付けをした評価値を用いて注視対象物を求めているので、ドライバの嗜好に合った注視対象物を求めることができる。過去に注視した回数の多い属性の対象物、すなわちドライバの嗜好に合った対象物は、ドライバの視線上に存在する時間が比較的短くても注視対象物として求められるので、タイムリーな情報提供を実現できる。

（第２の実施の形態）
図６は、本発明の第２の実施の形態の情報提供装置２の構成を示す図である。第２の実施の形態の情報提供装置２は、基本的な構成は第１の実施の形態の情報提供装置１と同じであるが、注視対象物検出装置１２が車両状態検出部２８を備えている点が異なる。

車両状態検出部２８は、車両が走行中であるか停止中であるかの車両状態を検出する機能を有する。本実施の形態において、注視対象物算出部２３は、ドライバ情報ＤＢ２７に記憶された情報に加えて、車両状態検出部２８にて検出された車両状態も用いて注視対象物を求める。注視対象物算出部２３は、車両状態検出部２８にて検出された車両状態が停止中である場合には、走行中の場合に比べて重み付け係数を小さく設定する。

これにより、停止中に検出された対象物については、評価値が低く計算されるので、停止中に検出された対象物は走行中に検出された対象物より注視対象物と判断されにくくなる。車両が停止している場合には、走行中に比べて、ドライバは周りを見る傾向にあるので、停止中に検出される対象物はドライバの関心との関連が小さい。本実施の形態の情報提供装置２では、車両の停止中における重み付け係数を小さく設定することにより、停止中と走行中とで注視対象物を検出する基準を同程度に調整することができる。

本実施の形態では、車両状態検出部２８は、車両が停止中か走行中かを検出する例について説明したが、車両状態検出部２８は、ウィンカー状態検出や操舵角情報に基づいて、車両が右左折中あるいは車線変更中であるか否かを検出することとしてもよい。右左折中あるいは車線変更中は、安全確認のために周囲を見回す傾向があるため、重み付け係数を小さく設定することにより、右左折中または車線変更中と、直進走行中とで注視対象物を検出する基準を同程度に調整することができる。

（第３の実施の形態）
図７は、本発明の第３の実施の形態の情報提供装置３の構成を示す図である。第３の実施の形態の情報提供装置３は、基本的な構成は第１の実施の形態の情報提供装置１と同じであるが、注視対象物検出装置１３において、注視対象物算出部２３が経路情報ファイル２９に接続されている点が異なる。

注視対象物算出部２３は、ドライバ情報ＤＢ２７に記憶された情報に加えて、経路情報ファイル２９に記憶された車両の経路情報も用いて注視対象物を求める。本実施の形態において、注視対象物算出部２３は、経路情報ファイル２９から目的地の情報を読み出し、車両の現在位置が目的地に近いか否かの情報を用いて重み付け係数を設定する。具体的には、車両の現在位置と目的地との距離が所定の閾値以内である場合には、車両の現在位置と目的地との距離が所定の閾値より大きい場合より、重み係数を小さく設定する。

これにより、目的地付近では評価値が低く計算されるので、目的地から離れた場所にある場合より、対象物が注視対象物と判断されにくくなる。車両が目的地付近にある場合には、ドライバは目的地を探すために周りを見回す傾向があるので、目的地付近で検出される対象物はドライバの関心との関連が小さい。本実施の形態の情報提供装置３では、目的地付近では重み付け係数を小さく設定することにより、目的地付近とそうでない場合とで注視対象物を検出する基準を同程度に調整することができる。

（第４の実施の形態）
図８は、本発明の第４の実施の形態の情報提供装置４の構成を示す図である。第４の実施の形態の情報提供装置４は、基本的な構成は第１の実施の形態の情報提供装置１と同じであるが、注視対象物検出装置１４が走行履歴データベース（以下、「走行履歴ＤＢ」という）３０を備えている点が異なる。

注視対象物算出部２３は、ドライバ情報ＤＢ２７に記憶された情報に加えて、走行履歴ＤＢ３０に記憶された車両の走行履歴も用いて注視対象物を求める。本実施の形態において、注視対象物算出部２３は、走行履歴ＤＢ３０から過去の走行経路の情報を読み出し、車両の現在位置が過去の走行経路上にあるか否かの情報を用いて重み付け係数を設定する。具体的には、車両の現在位置が過去の走行経路上にある場合には、過去の走行経路上にない場合より重み係数を小さく設定する。

これにより、車両が過去の走行経路上にある場合には、評価値が低く計算されるので、はじめての走行経路の場合より注視対象物と判断されにくくなる。車両が過去の走行したことのある経路を走行している場合には、ドライバは走行経路から見える対象物をほぼ把握していると判断されるので、経路上から見える対象物に関する情報提供のニーズは小さい。本実施の形態の情報提供装置４では、走行履歴ＤＢ３０に記憶されたデータを用いて注視対象物を判定することにより、ドライバが既に知っている情報を提供しないようにし、ドライバを煩わせないようにできる。

なお、情報提供装置４にて提供する情報が対象物についての一般的な説明情報ではなく、毎日更新されるイベント情報等の場合には、車両が過去の走行経路上にある場合にも重み係数を小さくしなくてもよい。例えば、いつも見慣れている建物であっても、イベント開催などによって人が集まっていることがある。ドライバが建物に入っていく人を注視したことを検出し、その建物で開催されているイベントの情報を提供することができる。このように、過去の走行履歴を用いて注視対象物を判定する場合には、注視対象物に関して提供する情報によって重み付け係数を適宜設定することができる。

（第５の実施の形態）
図９は、本発明の第５の実施の形態の情報提供装置５の構成を示す図である。第５の実施の形態の情報提供装置５は、基本的な構成は第１の実施の形態の情報提供装置１と同じであるが、注視対象物検出装置１５が音声検出部３１および会話解析部３２を備えている点が異なる。

本実施の形態では、注視対象物算出部２３は、ドライバ情報ＤＢ２７に記憶された情報に加えて、ドライバおよび同乗者の会話の内容も用いて注視対象物を求める。

音声検出部３１は、ドライバおよび同乗者の声を検出し、検出した音声データを会話解析部３２に入力する機能を有する。音声検出部３１は、例えば、マイクによって構成される。会話解析部３２は、音声検出部３１から入力された音声データを自然言語解析し、解析結果を注視対象物算出部２３に入力する。

注視対象物算出部２３は、会話解析部３２から入力された解析結果を用いて、検出された対象物に対するドライバの関心の度合いを求める。例えば、「そこの建物、面白い」や「あれは何？」などの指示代名詞を含む会話がなされたタイミングに検出された対象物は、関心の度合いが高いと判定し、重み付け係数を高く設定する。逆に、指示代名詞を含まない会話の場合には、車外の景色には関係のない会話がなされていると判定し、重み付け係数を低く設定する。

本実施の形態では、車内での会話に基づいて関心の度合いを求め、関心の度合いによって重み付け係数を決定するので、注視対象物を適切に求めることができる。

なお、本実施の形態では、会話に指示代名詞が含まれるか否かに基づいて、対象物に対する関心の度合いを求める例を説明したが、関心の度合いを求める方法として別の方法を採用してもよい。例えば、所定のキーワードを含んでいるか否かを判定してもよいし、会話の音量等を用いて関心の度合いを求めてもよい。

（第６の実施の形態）
図１０は、本発明の第６の実施の形態のドライブシーン撮影装置６の構成を示す図である。第６の実施の形態のドライブシーン撮影装置６は、第１の実施の形態で説明した注視対象物検出装置１１を備えている。ドライブシーン撮影装置６は、注視対象物検出装置１１に車外カメラ４３が接続されている。また、ドライブシーン撮影装置６は、車外カメラ４３にて撮影された映像を記憶する映像記憶部４４を備えている。

ドライブシーン撮影装置６は、注視対象物算出部２３にて求めた注視対象物の位置情報を車外カメラ４３に入力する。車外カメラ４３は、車両の現在位置と注視対象物の位置情報とに基づいて、注視対象物を撮影し、撮影した映像を映像記憶部４４に記憶する。

本実施の形態のドライブシーン撮影装置６は、ドライバの視線に捉えられた様々な対象物の中から、ドライバが注視した注視対象物を求め、求められた注視対象物についての情報を出力するので、ドライバからの指示がなくても、ドライバが関心を持ったと思われる対象物をドライブシーンとして記憶しておくことができる。

なお、本実施の形態では、第１の実施の形態で説明した注視対象物検出装置１１を備えるドライブシーン撮影装置６について説明したが、注視対象物検出装置１１に代えて、上記の第２〜第５の実施の形態で説明したいずれの注視対象物検出装置１２〜１５を用いてもよい。

以上、本発明の注視対象物検出装置、情報提供装置およびドライブシーン撮影装置について実施の形態を挙げて説明したが、本発明は上記した実施の形態に限定されるものではない。

上記実施の形態で、様々な要素に基づいて重み付け係数の設定を変更する例について説明したが、重み付け係数の設定の変更に用いられる要素は、上記した実施の形態で説明したものに限られない。

例えば、ドライバの行動履歴に基づいて、重み付け係数を設定してもよい。例えば、車両がレストランに立ち寄った後である場合には、属性がレストランの対象物に対する重み付けを小さくしてもよい。これにより、食事後に、レストランの情報を提供される煩わしさを低減できる。同様の処理を行える対象物として、他にガソリンスタンド、コンビニエンスストア等がある。

また、通勤経路等のいつも走行する経路におけるドライバの視線の動きを履歴として記憶しておき、その履歴と異なる視線の動きがあった場合に、その視線上に存在する対象物について重み係数を高く設定することとしてもよい。いつも通っている経路では、ドライバは習慣的な行動を取るが、習慣と異なる行動をとった場合には、何かに関心が向けられたからであると考えられる。履歴を利用することにより、注視対象物を適切に求めることができる。

また、ドライバの走行中の視線の動きのパターンを記憶しておき、そのパターンと異なる動きがあった場合に、その視線上に存在する対象物について重み係数を高く設定することとしてもよい。運転中におけるドライバの視線の動かし方には癖があり、その癖とは異なる行動をとった場合には、何かに関心が向けられたからであると考えられる。視線の動きのパターンを利用することにより、注視対象物を適切に求めることができる。

また、車内カメラの映像から、ドライバの瞳孔の大きさを検出し、瞳孔が大きく見開いたタイミングで検出された対象物について重み係数を高く設定することとしてもよい。人間は、関心を持った対象を見る場合には、瞳孔が開くことが知られている。瞳孔の大きさを検出することにより、注視対象物を適切に求めることができる。

また、検出された対象物と視線の動きの関係を求め、同じ対象物の中で視線が動いた場合には、重み係数を高く設定してもよい。同じ対象物の中で視線が動く場合には、その対象物が何であるかを見極めようとしている行動であると考えられる。この構成により、注視対象物を適切に求めることができる。

上記した実施の形態では、単位時間において対象物を検出し、検出された時間に重み付け係数を乗じて評価値を求めたが、検出された対象物を見た頻度を変数として評価値を求めてもよい。すなわち、検出された対象物から目を離して再びその対象物を見た回数をカウントし、その回数が多くなるに従って、段階的に重み係数を高くしてもよい。これにより、対象物を見た時間がトータルで同じでも、頻繁に目を動かして見た場合の方が注視対象物として判定されやすくなる。なお、対象物を見た回数に応じて重み係数を高くするか低くするか、また重み係数を変えるときの変化割合は、ドライバに応じて適宜設定することが好ましい。

上記した実施の形態の情報提供装置において、情報出力部４１による情報の出力の仕方を車両の状態に応じて変更することとしてもよい。例えば、車両の走行中には、主に音声メッセージで簡潔に情報を出力することにより、運転の邪魔にならないように情報を提供し、車両の停止中には、音声メッセージと画像を用いて詳細に情報を提供することとしてもよい。

上記した実施の形態の情報提供装置１〜５では、注視対象物を求めたときに初めて、その注視対象物に関する情報を出力することとしたが、情報の提供の仕方は上記方法に限られない。例えば、設定された経路から見える代表的な建物や店などの対象物をあらかじめ抽出しておき、抽出された対象物について短いメッセージで情報提供し、その結果ドライバがその対象物を注視した場合に、詳細な情報を提供することとしてもよい。

上記した第２〜第５の実施の形態の情報提供装置２〜５では、第１の実施の形態の情報提供装置１の構成に加えて、車両状態検出部２８、経路情報ファイル２９等を備える例について説明したが、第２〜第５の実施の形態においてドライバ情報ＤＢ２７を備えない構成を採用してもよい。また、第１〜第５の実施の形態において説明した注視対象物算出部２３の重み付けの設定を変更するための各構成は、どのように組み合わせてもよい。

上記した第１の実施の形態では、ドライバ情報ＤＢ２７に過去の注視の回数についての情報を記憶することとしたが、あらかじめドライバに、嗜好についての質問に回答させ、回答から得られたドライバの嗜好に関する情報を記憶することとしてもよい。

本発明によれば、ドライバの視線に基づいてドライバの注視している対象物を自動的に認識することができ、注視対象物の情報に基づいて様々なサービスを提供することができる。本発明は、車両に搭載されるナビゲーション装置等として有用である。

第１の実施の形態の情報提供装置の構成を示す図である。 （ａ）対象物検出部にて検出された対象物のデータの例を示す図である。（ｂ）対象物検出部にて検出された対象物のデータの他の例を示す図である。（ｃ）対象物検出部にて検出された対象物のデータの他の例を示す図である。 ドライバ情報ＤＢに記憶されたデータの例を示す図である。 注視対象物算出部によって計算した評価値を示す図である。 第１の実施の形態の情報提供装置の動作を示す図である。 第２の実施の形態の情報提供装置の構成を示す図である。 第３の実施の形態の情報提供装置の構成を示す図である。 第４の実施の形態の情報提供装置の構成を示す図である。 第５の実施の形態の情報提供装置の構成を示す図である。 第６の実施の形態のドライブシーン撮影装置の構成を示す図である。

符号の説明

１〜５ 情報提供装置
６ ドライブシーン撮影装置
１１〜１５ 注視対象物検出装置
２１ 視線検出部
２２ 対象物検出部
２３ 注視対象物算出部
２４ 車両位置検出部
２５ 車両周辺センサ
２６ 地図情報ＤＢ
２７ ドライバ情報ＤＢ
２８ 車両状態検出部
２９ 経路情報ファイル
３０ 走行履歴ＤＢ
３１ 音声検出部
３２ 会話解析部
４１ 情報出力部
４２ ＰＯＩ情報ＤＢ
４３ 車外カメラ
４４ 映像記憶部

Claims (11)

1. 地図情報を記憶した地図情報記憶部と、
   車両の現在位置および向きを検出する車両位置検出部と、
   ドライバの視線を検出する視線検出部と、
   前記視線検出部にて検出された視線上に存在する対象物を、注視対象物の候補として、前記車両位置検出部にて検出された車両の現在位置および向きと前記地図情報記憶部に記憶された地図情報とに基づいて検出する対象物検出部と、
   前記対象物検出部にて検出された注視対象物の候補の中から、前記各対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求める注視対象物算出部と、
   を備える注視対象物検出装置。
2. 前記注視対象物算出部は、前記対象物が視線上に存在する時間に重み付けをして評価値を求め、前記評価値が所定の閾値以上になった対象物を注視対象物として求める請求項１に記載の注視対象物検出装置。
3. ドライバが過去に注視した対象物の属性を記憶したドライバ情報記憶部を備え、
   前記注視対象物算出部は、前記ドライバ情報記憶部に記憶された対象物の属性と検出された対象物の属性とに基づいて、前記対象物が視線上に存在する時間に重み付けをして前記評価値を求める請求項２に記載の注視対象物検出装置。
4. 車両の状態を検出する車両状態検出部を備え、
   前記注視対象物算出部は、前記車両状態検出部にて検出された車両の状態に基づいて前記重み付けを変える請求項２に記載の注視対象物検出装置。
5. 設定された経路情報を記憶する経路情報記憶部を備え、
   前記注視対象物算出部は、前記経路情報記憶部に記憶された経路情報と車両の現在位置とに基づいて、目的地までの距離が所定の閾値以下であることを検出した場合には、目的地までの距離が所定の閾値より大きい場合より前記重み付けを低くして評価値を求める請求項２に記載の注視対象物検出装置。
6. 車両の過去の走行経路を示す情報を記憶した走行履歴記憶部を備え、
   前記注視対象物算出部は、車両の現在位置が前記走行履歴記憶部に記憶された過去の走行経路に合致するか否かを判定し、前記判定結果に基づいて前記重み付けを変える請求項２に記載の注視対象物検出装置。
7. 車両内の会話を集音するマイクと、
   前記マイクで集音した会話を解析する会話解析部と、
   を備え、
   前記注視対象物算出部は、前記会話解析部による解析結果に基づいて、対象物に対する関心の度合いを求め、前記関心の度合いに基づいて前記重み付けを変える請求項２に記載の注視対象物検出装置。
8. 請求項１〜７のいずれかに記載の注視対象物検出装置と、
   前記注視対象物検出装置にて検出された注視対象物に関する情報を出力する出力部と、
   を備える情報提供装置。
9. 請求項１〜７のいずれかに記載の注視対象物検出装置と、
   車外の対象物を撮影する車外カメラと、
   を備え、
   前記注視対象物検出装置にて検出された注視対象物を前記車外カメラにて撮像するドライブシーン撮影装置。
10. 車両の現在位置および向きを検出する車両位置検出ステップと、
    ドライバの視線を検出する視線検出ステップと、
    前記視線検出ステップにて検出された視線上に存在する対象物を、注視対象物の候補として、前記車両位置検出ステップにて検出された車両の現在位置および向きと、地図情報記憶部に記憶された地図情報とに基づいて検出する対象物検出ステップと、
    前記対象物検出ステップにて検出された注視対象物の候補の中から、前記各対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求める注視対象物算出ステップと、
    を備える注視対象物検出方法。
11. ドライバの視線から注視対象物を検出するためのプログラムであって、車両の現在位置および向きを検出する車両位置検出部とドライバの視線を検出する視線検出部とを備えたコンピュータに、
    車両の現在位置および向きを検出するステップと、
    ドライバの視線を検出するステップと、
    検出された視線上に存在する対象物を、注視対象物の候補として、車両の現在位置および向きと地図情報とに基づいて検出するステップと、
    検出された注視対象物の候補の中から、前記各対象物が視線上に存在する時間に基づいて、ドライバが注視した注視対象物を求めるステップと、
    を実行させるプログラム。

Images