JP4604597B2 - 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法 - Google Patents

Description

本発明は、状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法に関する。

従来から、周辺検出用カメラで撮像した車両周辺画像から得られた車外情報と、視線検出用カメラで撮像した運転者の顔画像から検出された運転者の視線方向とから、運転者が見ている注視物を認識し、この注視物に関する情報を呈示する技術が知られている（例えば、特許文献１参照）。
特開平６−２５１２８７号公報

上記技術では、その対象物を注視する動機となっている運転者の状態、例えば生理状態や心理状態等を認識することができない。そのため、運転者の要求に適合した情報を提供することが困難である。

本発明は、上記問題点を解消する為になされたものであり、人の注視状態に影響を与える、その人の状態、例えば生理状態、心理状態等を推定することができる状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法を提供することを目的とする。

本発明に係る状態推定装置は、周囲の画像を撮像する撮像手段と、人の視線方向を検出する視線検出手段と、撮像手段により撮像された周囲画像と、視線検出手段により検出された人の視線方向とに基づいて、人が見ている対象を認識する対象認識手段と、所定時間内に対象認識手段により認識された１以上の対象について、該対象の注視時間に応じて視線配分を求める視線配分算出手段と、予め設定されている識別情報を用いて、視線配分算出手段により算出された視線配分を識別することにより、人の状態を推定する状態推定手段とを備えることを特徴とする。

本発明に係る状態推定方法は、周囲の画像を撮像する撮像ステップと、人の視線方向を検出する視線検出ステップと、撮像ステップにおいて撮像された周囲画像と、視線検出ステップにおいて検出された人の視線方向とに基づいて、人が見ている対象を認識する対象認識ステップと、所定時間内に対象認識ステップにおいて認識された１以上の対象について、該対象の注視時間に応じて視線配分を求める視線配分算出ステップと、予め設定されている識別情報を用いて、視線配分算出手段により算出された視線配分を識別することにより、人の状態を推定する状態推定ステップとを備えることを特徴とする。

本発明に係る状態推定装置又は状態推定方法によれば、まず、周囲画像と視線方向とが対応付けられて、人が見ている注視対象が認識される。次に、所定時間内における注視対象ごとの注視時間から、人がどのような対象をどのような割合で注視したかを示す視線配分が算出される。そして、算出された視線配分がどのような状態に対応するものであるかが識別情報を用いて識別される。それにより、人の状態を推定することが可能となる。

本発明に係る状態推定装置は、対象認識手段により認識された対象が有する視覚情報を認識する情報認識手段を備え、視線配分算出手段が、情報認識手段により認識された視覚情報をさらに考慮して、対象についての視線配分を算出することが好ましい。

本発明に係る状態推定方法は、対象認識ステップにおいて認識された対象が有する視覚情報を認識する情報認識ステップを備え、視線配分算出ステップでは、情報認識ステップにおいて認識された視覚情報をさらに考慮して、対象についての視線配分を算出することが好ましい。

この場合、注視対象に加え、その注視対象が有している視覚的な情報内容がさらに考慮されて視線配分が算出されるので、より的確に人の状態を推定することが可能となる。

予め設定されている上記識別情報は、所定の状態にある複数の人の視線配分に基づいて設定されることが好ましい。所定の状態にある複数の人の視線配分をサンプリングし、例えば統計的に処理することによって得られた標準的な視線配分に基づいて識別情報を設定することにより、視線配分から人の状態をより正確に推定することができる。

本発明に係る情報提供装置は、上記状態推定装置を用いた情報提供装置であって、状態推定装置により推定された人の状態に応じて、人に情報を呈示する情報呈示手段を備えることを特徴とする。

本発明に係る情報提供方法は、上記状態推定方法を用いた情報提供方法であって、状態推定ステップにおいて推定された人の状態に応じて、人に情報を呈示する情報呈示ステップを備えることを特徴とする。

本発明に係る情報提供装置又は情報提供方法によれば、人の状態に応じて情報を呈示することができるので、人の要求に適合した情報を提供することが可能となる。

本発明に係る情報提供装置は、情報呈示手段により呈示された情報中に広告情報が含まれる場合、広告情報の広告主に対価を課金する課金手段を備えることが好ましい。

本発明に係る情報提供方法は、情報呈示ステップにおいて呈示された情報中に広告情報が含まれる場合、広告情報の広告主に対価を課金する課金ステップを備えることが好ましい。

このようにすれば、人の状態に適した商品やサービス等の広告情報を呈示した場合に、広告主に対して広告に対する対価を課金することが可能となる。

なお、本明細書では、人の状態という語を、人の生理状態、心理状態、意思及び動作状態等を含む広義の意味で用いることとする。

本発明によれば、人の注視状態に影響を与える、人の状態、例えば生理状態、心理状態等を推定することができる状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法を提供することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

（第１実施形態）
まず、図１を用いて、本実施形態に係る状態推定装置１の全体構成について説明する。図１は、第１実施形態に係る状態推定装置１の全体構成を示すブロック図である。以下、車両の運転者の状態を推定する場合を例にして説明する。

状態推定装置１では、車両周囲の画像と、運転者の視線方向とから運転者が見ている対象（以下「注視対象」という）を認識する。そして、注視対象へ視線が向けられた時間配分から運転者の状態を推定する。そのために、状態推定装置１は、第１カメラ１０、第２カメラ１１及び電子制御装置（以下「ＥＣＵ」という）２０を備えており、ＥＣＵ２０に視線方向検出部２１、対象物認識部２２、視線配分算出部２３、記憶部２４、状態推定部２５が構成されている。

第１カメラ１０は、ＣＣＤカメラであり、運転者の顔部を撮像して画像データを取得する。第１カメラ１０により取得された画像データは、ＥＣＵ２０の視線方向検出部２１に出力される。第１カメラ１０は、自車両のフロントウィンドウ上部（例えば、バックミラーの表側）に運転者の方を向いて設置されている。なお、第２カメラ１１の設置場所はフロントウィンドウ上部に限られることなく、運転者の顔部の画像を撮像することができる場所であれば、他の場所に設置してもよい。

第２カメラ１１は、ＣＣＤカメラであり、車両周囲の風景を撮像して画像データを取得する。すなわち、第２カメラは撮像手段として機能する。第２カメラ１１により取得された画像データは、ＥＣＵ２０の対象物認識部２２に出力される。第２カメラ１１は、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）に前方を向いて設置されている。なお、第２カメラ１１の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像を撮像することができる場所であれば、車体のどの位置に設けてもよい。

ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及び１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

視線方向検出部２１は、第１カメラ１０により撮像された運転者の顔部の画像から、パターン認識やステレオ立体視の理論に基づく処理を行うことにより、運転者の視線方向及び視線の動き等を検出する。すなわち、第１カメラ１０及び視線方向検出部２１は視線検出手段として機能する。検出された運転者の視線方向等の情報は、対象物認識部２２に出力される。

対象物認識部２２は、第２カメラ１１により撮像された車両周辺の画像から、画像処理を行うことにより、道路案内表示、道路標識、路面表示、その他の表示物、信号、周辺車両、歩行者等の認識対象物を検出すると共に、検出された認識対象物と視線方向検出部２１により検出された運転者の視線方向とを対応付けることにより、運転者が見ている注視対象を認識する。認識された注視対象情報は、視線配分算出部２３に出力される。

視線配分算出部２３は、所定時間内に対象物認識部２２により認識されたすべての注視対象について、該注視対象へ視線が向けられた時間の割合（以下「視線配分」という）を算出する。すなわち、視線配分算出部２３は視線配分算出手段として機能する。算出された視線配分は状態推定部２５に出力される。

記憶部２４は、運転者の状態毎に予め設定された識別関数等の識別情報を記憶するものである。記憶部２４に記憶されている識別関数等は、状態推定部２５により読み出される。

状態推定部２５は、視線配分算出部２３により算出された運転者の視線配分を、記憶部２４に記憶されている状態毎の識別関数を用いて識別することにより、運転者の状態を推定する。すなわち、状態推定部２５は、状態推定手段として機能する。

次に、図１を参照して、状態推定装置１の動作及び状態推定方法について説明する。まず、第１カメラによって、運転者の顔部が撮像され、運転者顔部の画像データが取得される。続いて、視線方向検出部２１において、所定時間毎に第１カメラ１０により取得された画像データが読み込まれる。視線方向検出部２１では、読み込まれた画像データから、パターン認識やステレオ立体視の理論に基づく処理によって、運転者の眼球の３次元位置座標や視線方向ベクトル等が検出される。

一方、第２カメラ１１によって、車両周囲の風景が撮像され、車両周囲の画像データが取得される。対象物認識部２２では、所定時間毎に第２カメラ１１により取得された画像データが読み込まれる。次に、対象物認識部２２において、読み込まれた画像データを画像処理することによって、道路案内表示、道路標識、路面表示、その他の表示物、信号、周辺車両や歩行者等の認識対象物及びその３次元位置等が検出される。そして、検出された認識対象物の３次元位置と視線方向検出部２１により検出された運転者の眼球の３次元位置及び視線方向視線方向ベクトルとが対応付けられることにより、運転者が見ている認識対象物、すなわち注視対象が認識される。

視線配分算出部２３では、所定時間内に対象物認識部２２により認識されたすべての注視対象について視線配分が算出される。ここで、運転者が走り慣れた道を平常の精神状態で走行するとき、認識対象物それぞれに対して視線が向けられる時間の配分、すなわち視線配分は、ほぼ一定のパターンをとることが知られている。一般的に、周辺の車両、歩行者や信号等、安全走行に関与する対象物に対する視線配分は大きく、逆に、店の看板等の表示物への視線配分は小さい。

表１に平常状態にある運転者の視線配分の一例を示す。

表１では、認識対象物を道路案内表示、道路標識、路面表示、信号、その他の表示物、周辺車両、歩行者及びその他に分類し、認識対象物それぞれへの視線配分を百分率で示した。なお、表１に示した視線配分は一例であり、予め実験を行って各認識対象物に対する注視時間を計測し、平均的な視線配分を求めておくことが望ましい。また、認識対象物の分類はこれに限られない。

続いて、状態推定部２５では、視線配分算出部２３により算出された運転者の視線配分のパターンに基づいて運転者の状態が推定される。ここでは、視線配分算出部２３において表２に示される視線配分が算出された場合について説明する。

表２では、表１に対して道路案内表示、道路標識、路面表示及びその他の表示物への視線配分が上昇し、これら以外の対象物への視線配分が低下している。道に迷っているときには、行き先を示す道路案内表示、交通法規を示す道路標識や路面表示等に対しての視線配分が上昇する。そのため、表２のような視線配分が検出された場合、運転者が道に迷っている状態であると判定することができる。

また、運転者が空腹感を感じているときには、飲食物を販売している店舗などを探す視線行動が生じるため、その他の表示物への視線配分が大きくなる。このように、道に迷っている状態や空腹感を感じている状態等、それぞれの状態毎に特有の視線配分が生じる。そのため、運転者の視線配分を検出し、そのパターンを識別することによって、運転者の状態を推定することが可能となる。同様に、運転者の覚醒度や疲労度などについても判定することが可能である。

具体的には、運転者の状態は、視線配分算出部２３により算出された視線配分を入力とし、パターン識別により判定することができる。パターン識別には、例えば、線形識別関数等を用いることができる。この場合、算出された視線配分を入力とし、設定されている所定の状態ごとに、その状態に対応する線形識別関数を用いて、出力値を算出する。そして、出力値が最大となる線形識別関数に対応する状態が、運転者の状態であると推定される。

ここで、線形識別関数の学習について簡単に説明する。例えば、道に迷っている状態を実験的に作り出し、そのときの視線配分を観測する。より具体的には、多数の被験者（例えば１０００人）について、複数回（例えば１０回）同じ実験を繰り返して行い、視線配分を観測して記録する。同様に、空腹感を感じている状態を実験的に作り出し、そのときの視線配分を観測する。さらに、平常状態における視線配分も観測する。そして、観測された各視線配分を入力パターンとして、該入力パターンが道に迷っている状態のパターンであるか、空腹感を感じている状態のパターンであるか、又は平常状態のパターンであるかを識別することができるように各状態に対応する線形識別関数の学習を行う。なお、これら３つの状態は例示であり、運転者の状態はこれらに限られない。

線形識別関数の学習を行う際、観測したすべての視線配分データをまとめて扱ってもよいが、年齢、性別又は観測した時間帯等の属性ごとに分けて扱ってもよい。属性ごとに分けて学習した場合は、状態判定時に属性を検出し、属性が一致する線形識別関数を用いる。時間帯は車両に搭載された時計で検出できる。また、年齢や性別等の属性は、車両始動時にスイッチ等を用いて入力してもよいし、画像による顔認証の技術を用いてもよい。なお、運転者の各状態に対応して学習された線形識別関数は、記憶部２４に記憶され、運転者の状態判定時に、状態推定部２５により読み出される。

本実施形態によれば、運転者の視線配分が算出され、算出された視線配分がどのような状態に対応するものであるかが線形識別関数を用いて識別されるので、運転者の状態を推定することが可能となる。

（第２実施形態）
次に、図２を用いて、第２実施形態に係る状態推定装置２の全体構成について説明する。図２は、状態推定装置２の全体構成を示すブロック図である。なお、図２において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第１実施形態と異なるのは、対象物認識部２２により運転者が見ていると認識された対象が有する視覚情報を認識する情報認識部２６をさらに備えている点である。情報認識部２６は、情報認識手段として機能する。その他の構成については、第１実施形態と同一又は同様であるので、ここでは説明を省略する。

次に、状態推定装置２の動作及び状態推定方法について説明する。ここでは、第１実施形態と異なる点を中心に説明する。

情報認識部２６では、対象物認識部２２により認識された運転者の注視対象が読み込まれる。情報認識部２６では、注視対象の画像を画像処理することによって、該注視対象が有する視覚情報を認識する。注視対象が有する視覚情報としては、例えば、道路標識の制限速度の数字、走行可能方向の矢印の向き、路面表示の走行指示矢印の向き、Ｕターン禁止の記号、道路案内表示の地名、道路名、看板の文字や店舗のロゴ等が挙げられる。情報認識部２６で認識された視覚情報は視線配分算出部２３に出力される。

視線配分算出部２３では、情報認識部２６により認識された視覚情報がさらに考慮されて、注視対象についての視線配分が算出される。ここで、例えば運転者が空腹感を感じている場合、レストランやコンビニエンスストア等の食べ物に関係する店舗を探すという行動をとることが予想される。その結果、レストランやコンビニエンスストア等の看板に対する視線配分が増大する。したがって、運転者の注視対象が、レストラン等の食べ物に関係の深い店舗の看板であることを認識することができれば、より正確に運転者が空腹感を感じていると判定することが可能となる。以下、具体的に説明する。

視線配分算出部２３では、注視対象の視覚情報、すなわち表示内容毎に設定された重み値に応じて、該注視対象の注視時間が補正され、補正後の新たな視線配分が求められる。重み値は推定される運転者の状態ごとに設定されており、状態ごとに新たな視線配分が算出される。

表３に、運転者が空腹感を感じている状態に対応した、注視対象の表示内容と重み値の一例を示す。

表３に示される注視対象の表示内容及び重み値は、予め設定されて記憶部２４に記憶されている。表示内容の一覧は、所定の状態、例えば空腹感を感じている状態にある運転者に車両を運転させ、そのときに運転者が注視した表示物の内容に基づいて設定することができる。

また、空腹状態と視線行動との関連を数値化した重み値が表示内容毎に設定される。表３に示されるように、「ラーメン」「焼き肉」「ランチ」等の食事に直接関係する表示内容には、重み値として標準値（１．０）より大きな値、１．５が付与されている。「○○ストア」といった店舗のロゴマークには、この店舗が食品を主に販売している店舗であるが、食品以外の商品も扱っているため、１．２という重み値が与えられている。「スーパー◇◇」には、このスーパーが食品以外にも様々な物品を販売しているため、１．０という標準的な重み値が与えられている。「△△電器」は、食品を扱っていないため、重み値は０．０に設定されている。ただし、これらの数値は一例である。多数の被験者（例えば１０００人）について、例えば「（看板やのぼりなどの写真を呈示しつつ）あなたは空腹のときに、どの店に入りますか。０．０〜２．０の数値で答えてください。」等といったアンケートを実施し、アンケート結果の平均値から重み値を設定することができる。また、運転者ごとに適切な重み値を設定してもよい。

次に、１０秒間の観測において「その他の表示物」への注視時間が１秒であり、注視された表示物の内容及び表示内容毎の注視時間が表４に示されるとおりであったと仮定し、新たな視線配分の算出方法について説明する。

視線配分算出部２３では、まず、表示内容毎に注視時間と重み値とが乗算されて補正後の新注視時間が算出される。そして、すべての表示内容の新注視時間が加算された合計値（表４では１．２９秒）が、「その他の表示物」の新たな注視時間とされる。同様にして、上述した「道路標識」「路面表示」等の注視対象それぞれについて新たな注視時間が算出される。そして、算出された新たな注視時間に基づいて新たな視線配分が求められる。

同様にして、空腹感を感じている状態以外の状態、例えば、道に迷っている状態や平常状態等の状態についても、それぞれの状態に対応した重み値を用いて新たな視線配分が算出される。

上述したように、運転者の各状態に対応した線形識別関数が記憶部２４に記憶されている。状態推定部２５では、視線配分算出部２３において状態毎に算出された補正後の視線配分を入力とし、対応する状態の線形識別関数を用いて、所定の状態毎に出力値を算出する。そして、出力値が最大となる線形識別関数に対応する状態が運転者の状態と推定される。

本実施形態によれば、注視対象に加え、その注視対象が有している視覚的な情報内容がさらに考慮されて視線配分が算出されるので、より的確に運転者の状態を推定することが可能となる。

また、本実施形態によれば、例えば、食事ができる施設に行くといった運転者の行動を予測することが可能である。さらに、特定の食べ物、例えばラーメンという語を含んだ表示物への注視時間が他の表示物と比較して長い場合、運転者はラーメンを食べることができる店を探していると推定することもできる。

（第３実施形態）
次に、図３を用いて、第３実施形態に係る情報提供装置３の全体構成について説明する。図３は、情報提供装置３の全体構成を示すブロック図である。なお、図３において第２実施形態と同一又は同等の構成要素については同一の符号が付されている。

情報提供装置３は、状態推定装置２を用いた情報提供装置である。情報提供装置３は、状態推定装置２により推定された運転者の状態に応じて、運転者に情報を提供する。そのために、情報提供装置３は、状態推定装置２に加え、車両位置検出部２７、地図情報記憶部２８及び地図情報生成部２９を備えている。また、情報提供装置３は、情報の呈示手段としてナビゲーション等の様々な機能を有する情報出力装置３０を備えている。その他の構成については、第２実施形態に係る状態推定装置２と同一又は同様であるので、ここでは説明を省略する。

車両位置検出部２７は、自車両位置を特定するものであり、カーナビゲーションシステムに用いられているＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やジャイロ等が用いられる。

地図情報記憶部２８は、運転者に呈示する地図情報を記憶するものである。地図情報生成部２９は、状態推定装置２から入力された運転者の状態情報、車両位置検出部２７から入力された自車両の位置情報に基づいて、地図情報記憶部２８に記憶されている地図情報を検索すると共に、運転者に呈示する情報を構成するものである。

情報出力装置３０は、地図情報生成部２９から入力された地図情報を運転者に呈示するものである。情報出力装置３０は、映像情報を表示するためのディスプレイ、音声情報を再生するためのスピーカ等を含んで構成される。地図情報生成部２９及び情報出力装置３０は、情報提供手段として機能する。

次に、情報提供装置３の動作及び情報提供方法について説明する。なお、情報提供装置３に用いられている状態推定装置２の動作については、上述した内容と同一又は同様であるので、ここでは説明を省略する。

車両位置検出部２７では、３個又は４個の異なる衛星から発せられた電波が受信され、電波の到達時間の差に基づいて自車両の位置（緯度、経度、高度）が算定される。なお、ジャイロ等によって自車両位置の補正を行ってもよい。車両位置検出部２７で検出された自車両の位置情報は、地図情報生成部２９に出力される。

一方、状態推定装置２では、運転者の視線配分に基づいて運転者の状態が推定される。ここでは、運転者が、特定の地名、道路名、国道番号等を表示する道路案内表示や、進行可能方向を示す道路標識（指定方向外進行禁止標識／進行方向別通行区分標識）等をより長く注視している場合を例にして説明する。このように、特定の地名等をより長く注視する視線配分が算出された場合、状態推定装置２では、運転者が道に迷っている状態であると推定されると共に、運転者が、その地名に示される目的地に行くための道を探していると推定される。

具体的には、まず、一定時間（例えば３分間）、注視対象の道路案内表示に表示されている地名等の注視時間が記録される。そして、特定の地名についての注視時間の累計が、所定時間（例えば５秒）を超えた場合、運転者は道に迷っている状態であり、その地名に示される目的地に行くための道を探していると判断される。なお、注視時間の累計が所定時間を超える地名が複数あり、それらが別々の方向であって、運転者が向かいたいと考えている目的地を特定することができない場合には、運転者が注視する道路標識のうち、進行可能な方向を表す矢印を記録する。そして、複数の矢印のうち、もっとも注視時間の長い矢印が示す方向にある地域を、運転者が向かいたい目的地であると推定する。状態推定装置２で推定された、目的地等を含む運転者の状態情報は、地図情報生成部２９に出力される。

地図情報生成部２９では、状態推定装置２から入力された目的地の情報と、車両位置検出部２７から入力された自車両の位置情報と、地図情報記憶部２８に記憶されている地図情報とに基づいて、目的地までの進路が検索される。地図情報生成部２９により検索された目的地までの進路は、情報出力装置３０に出力される。

情報出力装置３０では、地図情報生成部２９から入力された目的地までの進路を示した地図がディスプレイに表示される。

本実施形態によれば、状態推定装置２により推定された運転者の状態に応じて情報が提供されるので、運転者の要求に合った有益な情報を自動的に提供することが可能となる。

（第４実施形態）
次に、図４を用いて、第４実施形態に係る情報提供装置４の全体構成について説明する。図４は、情報提供装置４の全体構成を示すブロック図である。なお、図４において第３実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第３実施形態と異なるのは、車両に搭載されたＥＣＵ２０に構成されている地図情報記憶部２８が、車両外部に設置されている基地局（サービスセンタ）４０に設けられている点である。それに伴って、ＥＣＵ２０には、ＥＣＵ２０と基地局４０との間で情報の交換を行う通信モジュール３１が構成されている。一方、基地局４０は、地図情報記憶部２８の他、地図情報生成部２９、通信モジュール４１及び平均視線配分算出部４２を備えている。その他の構成については、第３実施形態と同一又は同様であるので、ここでは説明を省略する。

通信モジュール３１は、状態推定装置２によって推定された運転者の状態情報や車両位置検出部２７により検出された自車両の位置情報等を基地局４０に送信すると共に、基地局４０から送信された地図情報を受信して、情報出力装置３０に出力するものである。通信モジュール４１は、ＥＣＵ２０から送信された運転者の状態情報等を受信して地図情報生成部２９に出力すると共に、地図情報生成部２９から出力された地図情報をＥＣＵ２０に送信するものである。ＥＣＵ２０と基地局４０とは、通信モジュール３１及び通信モジュール４１を介して相互に情報の交換を行うことができるように構成されている。

平均視線配分算出部４２は、複数の車両から位置情報及び視線配分情報を受信し、同一地域内を走行している複数の車両の運転者の視線配分情報から、特定地域における平均的な視線配分を求めるものである。求められた平均視線配分情報は、通信モジュール４１，３１を介して状態推定部２５に出力される。地図情報記憶部２８及び地図情報生成部２９は、第３実施形態のものと同一又は同様であるので、ここでは説明を省略する。

次に、情報提供装置４の動作及び情報提供方法について説明する。

通信モジュール３１では、状態推定装置２において求められた運転者の状態情報、視線配分情報、及び車両位置検出部２７により検出された自車両の位置情報等が基地局４０へ送信される。

基地局４０に設けられた通信モジュール４１では、通信モジュール３１から送信された状態情報、視線配分情報及び車両位置情報等を受信する。通信モジュール４１は、受信し状態情報及び車両位置情報等を地図情報生成部２９に出力すると共に、視線配分情報及び車両位置情報等を平均視線配分算出部４２に出力する。

地図情報生成部２９では、通信モジュール４１から入力された状態情報と、車両位置情報と、地図情報記憶部２８に記憶されている地図情報とに基づいて、目的地までの進路が検索される。地図情報生成部２９により検索された目的地までの進路は、通信モジュール４１，３１を介して情報出力装置３０に出力される。情報出力装置３０では、通信モジュール３１から入力された目的地までの進路を示した地図をディスプレイに表示する。

平均視線配分算出部４２では、通信モジュール４１で受信された複数の車両の位置情報、及び各車両を運転する運転者の視線配分情報が読み込まれる。そして、同一地域を走行している車両の運転者の視線配分情報から、該地域における平均的な視線配分が算出される。以下、具体的に説明する。

同一地域を走行している複数の車両から受信した、複数の運転者の視線配分の平均値（平均視線配分）の一例を表５に示す。

ここで、同一地域として、例えば、所定の道路における特定の信号から別の特定の信号までの範囲を設定してもよいし、特定の市区町村の番地を単位として設定してもよい。目的に応じて適切な範囲を設定することが望ましい。

次に、情報提供装置４を搭載した車両の運転者の視線配分を、表６の観測視線配分に示す。

平均視線配分を１としたとき（表６の平均視線値）、運転者の視線配分は、表６に示される観測視線値のようになる。平均視線配分算出部４２で算出された観測視線値は、通信モジュール４１，３１を介して状態推定部２５に出力される。そして、状態推定部２５では、平均視線配分算出部４２で算出された観測視線値を入力として、運転者の状態が推定される。なお、本実施形態では、視線配分に代えて、視線値を用いて線形識別関数の学習が行われる。また、平均視線値が、平常状態時の視線値とされる。

走行する道路によって周辺環境が異なるため、運転者の状態が同じであっても、走行する道路によって視線配分が異なるときがある。また、同じ道路であっても、工事中の場合には、視線配分が通常と異なったものになる。したがって、このような場合には、状態推定や行動予測について誤った結果が出力されるおそれがある。

本実施形態によれば、複数の車両の位置情報、及び各車両を運転する運転者の視線配分情報が読み込まれ、同一地域を走行している車両の運転者の視線配分情報から、該地域における平均視線配分が算出される。そして、平均視線配分と運転者の視線配分との比率に応じて算出された観測視線値を入力として、運転者の状態が推定される。その結果、走行している道路環境に影響されることなく、運転者の状態推定及び行動予測を行うことが可能となる。

また、本実施形態によれば、地図情報を記憶する地図情報記憶部２８が車両外部に設置されている基地局４０に設けられており、運転者は、道路や施設等の情報の更新を行う必要がないので、情報提供装置４の利便性が向上する。

（第５実施形態）
次に、図５を用いて、第５実施形態に係る情報提供装置５の全体構成について説明する。図５は、情報提供装置５の全体構成を示すブロック図である。なお、図５において第４実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第４実施形態と異なるのは、第４実施形態の構成に加え、地図情報生成部２９に接続された生成情報記憶部４４及び生成情報記憶部４４に接続された課金部４５を備えている点である。その他の構成については、第４実施形態と同一又は同様であるので、ここでは説明を省略する。

生成情報記憶部４４は、地図情報生成部２９で生成された情報に含まれる広告情報の呈示回数、呈示時間帯及び運転者の状態等の情報を記憶するものである。課金部４５は、生成情報記憶部４４に記憶されている情報に基づいて、広告情報の広告主に対して広告情報呈示の対価を課金するものである。すなわち、課金部４５は課金手段として機能する。

次に、情報提供装置５の動作及び情報提供方法について説明する。ここでは、状態推定装置２により推定された運転者の状態が空腹状態であった場合を例にして説明する。また、運転者が注視した表示物の表示内容では、ラーメンがもっとも多かったと仮定する。このような場合、運転者が空腹状態であり、ラーメン屋を探していると判断される。ここで、自車両の周辺にラーメン屋があった場合、情報出力装置３０により、ラーメン屋の位置が地図上に表示されると共に、現在地点からの進路が呈示される（図６参照）。

一方、特定のラーメン屋との間で、地図上に該ラーメン屋の表示を優先的又は強調して表示する契約を予め締結しておく。そして、上述したように、契約を締結しているラーメン屋の広告情報を呈示した場合、生成情報記憶部４４に呈示回数等の情報を記憶する。そして、課金部４５において、生成情報記憶部４４に記憶されている情報に基づいて、契約を締結している広告主に対して広告情報呈示に対する対価を課金する。

なお、自車両の周辺に飲食店が少ない場合には、例えばラーメン屋のように、運転者が探している特定の飲食店を注視対象の表示内容から推定することは困難である。このような場合には、過去に運転者が注視した表示物のなかから、累計注視時間が長い飲食店を、運転者が探している飲食店とみなすこともできる。

本実施形態によれば、運転者の状態に適した商品やサービス等の広告情報を呈示した場合に、広告主から、商品やサービスの広告に対する対価を徴収することが可能になる。

また、本実施形態によれば、飲食店だけでなく、駐車場や電気機器販売店等、視線から推定された運転者の状態に応じて適切な施設や店舗等を地図上に表示すると共に、現在地点からの進路を呈示することにより、広告主に対して課金することもできる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、状態推定装置及び情報提供装置の搭載場所は車両に限られるものではない。また、情報の提供を受ける人は車両の運転者に限られない。

第１実施形態に係る状態推定装置の全体構成を示すブロック図である。 第２実施形態に係る状態推定装置の全体構成を示すブロック図である。 第３実施形態に係る情報提供装置の全体構成を示すブロック図である。 第４実施形態に係る情報提供装置の全体構成を示すブロック図である。 第５実施形態に係る情報提供装置の全体構成を示すブロック図である。 情報呈示画面の一例を示す図である。

符号の説明

１，２…状態推定装置、３，４，５…情報提供装置、１０…第１カメラ、１１…第２カメラ、２０…ＥＣＵ、２１…視線方向検出部、２２…対象物認識部、２３…視線配分算出部、２４…記憶部、２５…状態推定部、２６…情報認識部、２７…地図情報記憶部、２８…地図情報生成部、２９…車両位置検出部、３０…情報出力装置、３１…通信モジュール、４０…基地局、４１…通信モジュール、４２…平均視線配分算出部、４４…生成情報記憶部、４５…課金部。

Claims (8)

1. 周囲の画像を撮像する撮像手段と、
   人の視線方向を検出する視線検出手段と、
   前記撮像手段により撮像された周囲画像と、前記視線検出手段により検出された前記人の視線方向とに基づいて、前記人が見ている対象を認識する対象認識手段と、
   前記対象認識手段により認識された前記対象が有する視覚情報を認識する情報認識手段と、
   所定時間内に前記対象認識手段により認識された１以上の前記対象について、該対象の注視時間に応じて視線配分を求める視線配分算出手段と、
   予め設定されている識別情報を用いて、前記視線配分算出手段により算出された視線配分を識別することにより、前記人の状態を推定する状態推定手段と、を備え、
   前記視線配分算出手段は、前記情報認識手段により認識される前記視覚情報に対して設定された値であって運転者の状態ごとに設定されている重み値に応じて前記対象の注視時間を補正して、前記対象についての視線配分を算出することを特徴とする状態推定装置。
2. 予め設定されている前記識別情報は、所定の状態にある複数の人の視線配分に基づいて設定されることを特徴とする請求項１に記載の状態推定装置。
3. 請求項１又は２に記載の状態推定装置を用いた情報提供装置であって、
   前記状態推定装置により推定された人の状態に応じて、前記人に情報を呈示する情報呈示手段を備えることを特徴とする情報提供装置。
4. 前記情報呈示手段により呈示された情報中に広告情報が含まれる場合、前記広告情報の広告主に対価を課金する課金手段を備えることを特徴とする請求項３に記載の情報提供装置。
5. 周囲の画像を撮像する撮像ステップと、
   人の視線方向を検出する視線検出ステップと、
   前記撮像ステップにおいて撮像された周囲画像と、前記視線検出ステップにおいて検出された前記人の視線方向とに基づいて、前記人が見ている対象を認識する対象認識ステップと、
   前記対象認識ステップにおいて認識された前記対象が有する視覚情報を認識する情報認識ステップと、
   所定時間内に前記対象認識ステップにおいて認識された１以上の前記対象について、該対象の注視時間に応じて視線配分を求める視線配分算出ステップと、
   予め設定されている識別情報を用いて、前記視線配分算出ステップにおいて算出された視線配分を識別することにより、前記人の状態を推定する状態推定ステップと、を備え、
   前記視線配分算出ステップでは、前記情報認識ステップにおいて認識される前記視覚情報に対して設定された値であって運転者の状態ごとに設定されている重み値に応じて前記対象の注視時間を補正して、前記対象についての視線配分を算出することを特徴とする状態推定方法。
6. 予め設定されている前記識別情報は、所定の状態にある複数の人の視線配分に基づいて設定されることを特徴とする請求項５に記載の状態推定方法。
7. 請求項５又は６に記載の状態推定方法を用いた情報提供方法であって、
   前記状態推定ステップにおいて推定された人の状態に応じて、前記人に情報を呈示する情報呈示ステップを備えることを特徴とする情報提供方法。
8. 前記情報呈示ステップにおいて呈示された情報中に広告情報が含まれる場合、前記広告情報の広告主に対価を課金する課金ステップを備えることを特徴とする請求項７に記載の情報提供方法。

Images