JP6449504B1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】ドライバの関心度をセンシングすることができる情報処理装置を実現する。
【解決手段】ドライバの顔情報を取得し、取得した顔情報から視線を検出し、上記ドライバの視界に存在する各オブジェクトを検出し、検出した視線と検出したオブジェクトとから、上記ドライバが視認しているオブジェクトを判定し、判定したオブジェクトに対する上記ドライバの関心度を示す関心度情報を生成する。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

従来、定点カメラを用いて、特定の人の視線情報分析、および装着型の脳波計による脳情報分析を行い、消費者の注目している箇所を追跡する方法がある。例えば、特許文献１には、表示画像内で注目している箇所および内容等の視聴する側の動向を把握する携帯端末装置が開示されている。

特開２００９−５０９４号公報

一方で、発明者は、自動車などの移動体の運転者が視認する建物などのオブジェクトに対して、当該運転者がどの程度の関心を示しているのかを評価することができれば、効果的な広告や街づくりの観点から有効であるとの知見を得た。

このような技術は、従来のように固定カメラを用いた構成では実現することができない。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、ドライバの関心度をセンシングすることができる情報処理装置を実現することにある。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ドライバの顔情報を取得する顔情報取得部と、上記顔情報取得部から取得した顔情報から視線を検出する視線検出部と、上記ドライバの視界に存在する各オブジェクトを検出するオブジェクト検出部と、上記視線検出部が検出した視線と上記オブジェクト検出部が検出したオブジェクトとから、上記ドライバが視認しているオブジェクトを判定する視認オブジェクト判定部と、上記視認オブジェクト判定部が判定したオブジェクトに対する上記ドライバの関心度を示す関心度情報を生成する関心度情報生成部とを備えている。

本発明の一態様によれば、ドライバの関心度をセンシングすることができる情報処理装置を実現することできる。

本発明の実施形態１に係る情報処理装置の構成要素を示すブロック図である。 本発明の実施形態１に係る情報処理装置における、撮像部が撮影する車外の景色の撮像画像の一例を示す図である。 本発明の実施形態１に係る情報処理装置の処理の流れの一例を示すフローチャートである。 本発明の実施形態２に係る情報処理装置の構成要素を示すブロック図である。 本発明の実施形態２に係る情報処理装置の処理の流れを示すフローチャートである。 本発明の実施形態３に係る情報処理システムの構成要素を示すブロック図である。

＜実施形態１＞
以下、本発明の一実施形態について、詳細に説明する。以下の特定の項目（実施形態）における構成について、それが他の項目で説明されている構成と同じである場合は、説明を省略する場合がある。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。

〔情報処理装置〕
本実施形態に係る情報処理装置１は、顔情報取得処理、視線検出処理、オブジェクト検出処理、視認オブジェクト判定処理、関心度情報生成処理等を行う装置である。情報処理装置１は、例えば、車両等に実装されるが、これは本実施形態を限定するものではない。

携帯端末装置２は、スマートフォン、タブレット端末等であってよい。

図１は、本実施形態に係る情報処理装置１の構成要素を示すブロック図である。

情報処理装置１は、顔情報取得部１２と、視線検出部１３と、オブジェクト検出部１１と、視認オブジェクト判定部１４と、関心度情報生成部１５と、リコメンドエンジン（提案情報生成部）１６と、目的地提示部（ナビゲーションシステム）１７とを備えている。

（顔情報取得部）
顔情報取得部１２は、ドライバの顔情報を取得する。顔情報取得部１２が取得するドライバの顔情報は、例えば、ドライバの撮像画像である。このドライバの撮像画像を取得するため、情報処理装置１が実装される車両等には、ドライバの顔を撮像する撮像装置が配置される。

ただし、視線検出部１３が視線を検出するために十分な情報を含んでいれば、顔情報取得部１２が取得するドライバの顔情報は、ドライバの撮像画像から抽出した顔の各パーツの位置情報等であってもよい。顔情報取得部１２がドライバの顔情報を取得する方法は特に限定されないが、例えば、人物の顔を取得するための公知の技術を搭載した顔情報取得装置を用いてドライバの顔情報を取得することができる。顔情報取得部１２は、取得した顔情報を視線検出部１３に出力する。

（視線検出部）
視線検出部１３は、顔情報取得部１２から取得した顔情報から視線を検出する。つまり、視線検出部１３は、取得した顔画像に含まれるドライバの視線方向を検出する。具体的には、視線検出部１３は、顔情報である顔画像に撮像されているドライバの視線角度を特定し、視線角度と視線方向との対応関係を示す視線方向特定情報を参照して、特定した視線角度に対応する視線方向を特定する。

視線方向特定情報において、視線角度と視線方向との対応関係は、適宜設定すればよく、視線方向を所定の数設定してもよいし、対応する視線角度の範囲を任意に設定してよい。

視線方向特定情報は、予め設定されるものである。ただし、カメラの位置およびドライバの顔の位置に基づいて、視線角度と視線方向との対応関係を設定することが望ましいため、ドライバ毎にまたは視線方向を設定する度に、視線方向特定情報を補正することが望ましい。

また、視線検出部１３は、所定の期間に撮影された複数の画像から、それぞれ複数の視線角度を特定し、その複数の視線角度の平均値、最多頻出角度または中間値等に対応する視線方向を特定してもよい。これにより、ドライバの視線角度が安定しない場合であっても、信頼度の高いドライバの視線方向を特定することができる。

また、視線検出部１３は、画像に撮像されているドライバの視線角度を特定し、特定した視線角度そのものを視認オブジェクト判定部１４に出力してもよい。

なお、画像からユーザの視線方向を検出する方法は上記のものに限らず、公知の技術を用いることが可能である。例えば、虹彩の位置に基づいて視線方向を検出してもよい。

例えば、視線の検出方法としては、特に限定されないが、情報処理装置１に、点光源（不図示）を設け、点光源からの光の角膜反射像を撮像部で所定時間撮影することにより、ユーザの視線の移動先を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、ユーザに不快感を与えることなく、視線の検出をすることができる。視線の検出において、視線が所定時間以上移動しない場合は、同じ場所を注視しているといえる。

視線検出部１３は、ドライバの視線を検出するだけでなく、ドライバの瞳孔の状態および瞬きの回数等を参照して、ドライバの状態を検出してもよい。

瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。一般的に、人間は、集中している場合に開瞳する傾向にあるため、瞳孔のサイズを検出することで、ドライバの集中の度合いを評価することができる。例えば、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間は、ドライバがある対象を注視している可能性が高いといえる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。

また、瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光をドライバの目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きをする傾向にあるため、瞬きの回数を検出することで、ドライバの集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、ドライバがある対象を注視している可能性が高いといえる。

視線検出部１３は、ドライバの視線を少なくとも検出すればよいが、ドライバの視線と、瞳孔の状態とを、またはドライバの視線と、瞬きの回数とを組み合わせることが好ましい。このように検出方法を組み合わせることで、視線検出部１３は、あるオブジェクトを視認しているときのドライバの集中度を好適に評価することができる。

なお、上述のドライバの集中度は、後述するドライバの関心度を評価するための指標として用いることができる。

視線検出部１３は、ドライバが視認しているオブジェクトに対する注視時間を計測する。

視線検出部１３は、特定した視線方向を視認オブジェクト判定部１４に出力する。

（オブジェクト検出部）
オブジェクト検出部１１は、ドライバの視界に存在する各オブジェクトを検出する。

オブジェクト検出部１１は、撮像部とオブジェクト抽出部とを含んで構成される。撮像部は、車外の景色を撮影して撮像画像を生成する。

図２は、オブジェクト検出部１１の撮像部が撮影した車外の景色を示す撮像画像１００の一例を示す図である。なお、オブジェクト検出部１１の撮像部が撮影した撮像画像１００には、車外の景色の画像が主として含まれていればよく、車内の景色の画像が含まれていてもよい。車内の景色の画像に含まれるオブジェクトとしては、例えば、燃料メータ、時計、ナビゲーションシステムの表示画面、同乗者等が挙げられる。

オブジェクト抽出部は、上記撮像部から取得した撮像画像１００から、オブジェクトを抽出する。

オブジェクト抽出部は、上記撮像部から取得した撮像画像１００からオブジェクトを検出して、検出したオブジェクトを抽出するものである。オブジェクト抽出部は、抽出したオブジェクトを示すオブジェクト情報を生成し、生成したオブジェクト情報を視認オブジェクト判定部に出力する。

また、オブジェクト抽出部は、オブジェクト情報を生成する際に、各オブジェクトの撮像画像１００における位置およびサイズをそれぞれ示す位置情報およびサイズ情報を当該オブジェクトの付加情報として、オブジェクト情報に付加してもよい。

なお、本明細書において、オブジェクトとは、撮像画像に含まれる対象物一般のことを指すが、より具体的な例として、車外のオブジェクトとしては、例えば、店舗、ビル等の建物及び看板、道路、交通標識、信号機、人物、動物等が挙げられる。また、車内のオブジェクトとしては、例えば、燃料メータ、時計、ナビゲーションシステムの表示画面、同乗者等が挙げられる。

また、オブジェクト情報とは、撮像画像１００中のオブジェクトの領域の画素群の画素値を示す情報であってもよいし、また、オブジェクトのエッジ（輪郭）を示すエッジ情報などのオブジェクトの特徴量を示す情報であってもよい。また、上記オブジェクトの付加情報は、位置情報およびサイズ情報の両方を含んでいなくてもよく、少なくとも１つを含んでいればよい。

一例として、オブジェクト抽出部は、物体検出部および領域抽出部を備え、より詳細には、物体検出部および領域抽出部が、オブジェクト情報を生成する。

物体検出部は、オブジェクトの標準的な画像である画像テンプレートを、情報処理装置１が更に備える記憶部から読み出す。そして、撮像画像と画像テンプレートとのマッチングを行い、撮像画像の中に、マッチングした画像テンプレートと同じオブジェクトが含まれているか否かを判定するものである。物体検出部は、マッチングした画像テンプレートと同じオブジェクトが含まれていると判定すると、当該オブジェクトを撮像画像から抽出し、抽出したオブジェクトを示すオブジェクト情報を生成する。

また、物体検出部は、オブジェクトの標準的な画像の特徴量を示す特徴量テンプレートを記憶部から読み出すと共に、撮像画像の特徴量を算出し、撮像画像の特徴量と特徴量テンプレートとのマッチングを行う。そして、撮像画像の中に、マッチングした特徴量テンプレートの示す特徴量を有するオブジェクトと同じオブジェクトが含まれているか否かを判定する。物体検出部は、マッチングした特徴量テンプレートの示す特徴量を有するオブジェクトと同じオブジェクトが含まれていると判定すると、当該オブジェクトを撮像画像から抽出し、抽出したオブジェクトを示すオブジェクト情報を生成する。

物体検出部は、上述した車外のオブジェクトまたは車内のオブジェクトを検出する。

また、物体検出部は、画像テンプレートまたは特徴量テンプレートに当該テンプレートの示すオブジェクトの名称が対応付けられている場合、抽出したオブジェクトを示すオブジェクト情報に、当該オブジェクトの名称を示すオブジェクト名称情報を付加情報として付加してもよい。

領域抽出部は、Saliency Map、領域分割処理（セグメンテーション）などのアルゴリズムを用いて、クエリ画像の中から特徴的な領域（画素群）を抽出し、抽出した領域をオブジェクトの領域として特定し、オブジェクト情報を生成するものである。

領域抽出部は、例えば、Saliency Mapを用いる場合、撮像画像から、色、輝度、エッジ等の特徴量のコントラストを示すfeature mapをそれぞれ生成し、各feature mapの各画素を加算平均してsaliency map（ＳＭ）を生成し、ＳＭにおけるコントラストが高い領域（例えば、画素値が所定値以上の画素群）を抽出する。Saliency Mapは、人間の視覚処理をモデル化したものであり、Saliency Mapを用いて領域を抽出することにより、人間が注目しやすい（注目すると考えられる）領域を自動的に特定することができる。

また、領域分割処理として、具体的には、近接画素の統合による領域分割処理、画素特徴量のクラス分けによる領域分割処理、または、エッジを利用したスネーク（snakes）と呼ばれる手法による領域分割処理等を適用してもよい。

また、物体検出部及び領域抽出部は、後述する視認オブジェクト判定部１４と同様に、機械学習を用いて実現される構成としてもよい。

（視認オブジェクト判定部）
視認オブジェクト判定部１４は、視線検出部１３が検出した視線とオブジェクト検出部１１が検出したオブジェクトとから、ドライバが視認しているオブジェクトを判定する。視認オブジェクト判定部１４の具体的な処理について、図２を用いて説明する。

例えば、図２のように、撮像画像１００に、各オブジェクトの画像が配置されている場合を想定する。視認オブジェクト判定部１４は、ドライバが搭乗する車両の位置情報、および当該車両の位置情報の至近の地図情報を参照して、各オブジェクトの画像領域における座標を取得することができる。視認オブジェクト判定部１４は、取得した各オブジェクトの画像領域の座標と、視線検出部１３から取得した視線情報とを照合して、ドライバの視線の位置座標が、どのオブジェクトの画像領域の座標内にあるかを判定する。例えば、図２に示されるように、ドライバの視線の先Ａの位置座標が、オブジェクトＯＢの画像領域の座標内にあると判定された場合、視認オブジェクト判定部１４は、ドライバの視線の位置座標が、オブジェクトＯＢの画像領域の座標内に留まっている時間のカウントを開始する。このように、ドライバの視線の位置座標と、オブジェクトの画像領域の座標とを照合することで、ドライバがどのオブジェクトを視認しているかを好適に判定することができる。また、視線の情報に加えて、（視線検出部）で記載したように、瞳孔の状態および瞬きの回数の検出結果を参照することで、ドライバがどのオブジェクトを集中して視認しているかをさらに好適に判定することができる。

視認オブジェクト判定部１４は、視線移動時間を検出してもよい。視線移動時間を検出する方法としては、特に限定されないが、例えば、特定のオブジェクトの一部が撮像画像に表示されてから、ドライバの視線の位置座標が、当該オブジェクトの画像領域の座標内に移動するまでの時間を計測する方法が挙げられる。また、ドライバの視線の位置座標が特定のオブジェクトから他のオブジェクトに移動するまでの時間を計測する方法であってもよい。

視認オブジェクト判定部１４は、計測された時間、ドライバの表情の変化等を参照して、ドライバの関心度が高いオブジェクトを好適に判定することができる。

なお、視認オブジェクト判定部１４は、ドライバが視認しているオブジェクト情報を、機械学習により算出することもできる。ドライバが視認しているオブジェクト情報を取得するための学習処理の具体的な構成は本実施形態を限定するものではないが、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データアーギュメンテーション（Deta Argumentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

（関心度情報生成部）
関心度情報生成部１５は、視認オブジェクト判定部１４が判定したオブジェクトに対するドライバの関心度を示す関心度情報を生成する。例えば、関心度情報生成部１５は、オブジェクト検出部１１によって検出したオブジェクト数、視線検出部１３によって検出した注視時間、視線移動時間、瞳孔の状態、瞬きの回数、及び集中度の少なくとも何れかを参照して関心度情報を作成する。

関心度情報生成部１５が参照する各種の情報と、生成する関心度情報との関係は、例えば以下のようなものが挙げられる。

（オブジェクト数）
関心度情報生成部１５は、撮像画像中のオブジェクト数に対する、ドライバが視認したオブジェクト数の割合が小さいほど、当該ドライバが視認したオブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

例えば、撮像画像中のオブジェクトが２０個あり、ドライバが視認したオブジェクトが１個である場合は、注視時間が同じであるとき、撮像画像中のオブジェクトが１個しかなく、ドライバが視認したオブジェクトが１個である場合よりも、ドライバは視認したオブジェクトにより注目しているといえる。それゆえ、前者の場合は、後者の場合よりもドライバが視認したオブジェクトに対する関心度が高いと判定する。

また、撮像画像中のオブジェクトが１０個あり、ドライバが視認したオブジェクトが１個である場合は、撮像画像中のオブジェクトが１０個あり、ドライバが視認したオブジェクトが５個である場合よりも、ドライバは視認したオブジェクトにより注目しているといえる。それゆえ、前者の場合は、後者の場合よりもドライバが視認したオブジェクトに対する関心度が高いと判定する。

（注視時間）
関心度情報生成部１５は、あるオブジェクトに対する注視時間が長いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を生成する。

（視線移動時間）
関心度情報生成部１５は、特定のオブジェクトの一部が撮像画像に表示されてから、ドライバの視線の位置座標が、当該オブジェクトの画像領域の座標内に移動するまでの時間が短いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

また、関心度情報生成部１５は、ドライバの視線の位置座標が特定のオブジェクトから他のオブジェクトに移動するまでの時間間隔が長いほど、当該ドライバが視認した各オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（瞳孔の状態）
関心度情報生成部１５は、あるオブジェクトを視認しているときのドライバの瞳孔のサイズが大きくなっているほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（瞬きの回数）
関心度情報生成部１５は、あるオブジェクトを視認しているときのドライバの瞬きが低い頻度で安定した間隔で行われているほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（集中度）
関心度情報生成部１５は、あるオブジェクトを視認しているときのドライバの集中度が高いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

関心度情報生成部１５は、参照する各種の情報に対する所定の閾値を設けることにより、関心度が高いか否かを判定すればよい。

なお、関心度情報生成部１５は、視認オブジェクト判定部１４と同様に、関心度情報を機械学習により算出する構成としてもよい。

関心度情報生成部１５は、作成した関心度情報をリコメンドエンジン１６に出力する。

（リコメンドエンジン）
リコメンドエンジン１６は、関心度情報生成部１５が生成した関心度情報を参照して、上記ドライバへの提案情報を生成する。

リコメンドエンジン１６は、一例として、関心度情報生成部１５が生成した関心度情報に含まれるドライバの潜在的な関心が示唆されたオブジェクトの情報を参照して、当該潜在的な関心が示唆されたオブジェクトに関連する提案を含む提案情報を生成する。

リコメンドエンジン１６により生成された提案情報は、目的地提示部１７によって、表示又は音声にてドライバに通知される。また、リコメンドエンジン１６により生成された提案情報は、直接的に、又は他のサーバや基地局を介して携帯端末装置２に送信され、当該携帯端末装置２が提案情報を表示してもよい。

以下、表１を参照して、リコメンドエンジン１６が作成する具体的な関心度情報を例示する。

（ＣＡＳＥ１）
関心度情報生成部１５が生成した関心度情報に、ドライバが第１のカテゴリに属する店舗又は看板に注目していることを示す情報が含まれる場合に、リコメンドエンジン１６は、休憩場所およびトイレの少なくとも何れかに立ち寄る旨の提案を提案情報に含ませる。

表１のＣＡＳＥ１は、町のよくある光景で注目した対象物、および当該対象物に応じた提案情報の一例を示す。第１のカテゴリに属する店舗としては、例えば、表１に示すように、コンビニ、ガソリンスタンド等の燃焼供給所、給電所、ファミレス等の飲食店等が挙げられる。

（ＣＡＳＥ２）
関心度情報生成部１５が生成した関心度情報に、ドライバが第２のカテゴリに属する店舗又は看板に注目していることを示す情報が含まれる場合に、リコメンドエンジン１６は、飲食店およびトイレの少なくとも何れかに立ち寄る旨の提案を提案情報に含ませる。

表１のＣＡＳＥ２は、町のよくある光景で注目した第２のカテゴリに属する店舗又は看板、および当該第２のカテゴリに属する店舗又は看板に応じた提案情報の一例を示す。第２のカテゴリに属する店舗としては、例えば、表１に示すように、ファミレス、ファストフード等の飲食店、ショッピングセンター等が挙げられる。

（ＣＡＳＥ３）
関心度情報生成部１５が生成した関心度情報に、車内の所定のオブジェクトに注目していることを示す情報が含まれる場合に、リコメンドエンジン１６は、燃料供給所、給電所、および自動車用品店の少なくとも何れかに立ち寄る旨の提案を提案情報に含ませる。

表１のＣＡＳＥ３は、車内で目移りした車内のオブジェクト、および当該車内のオブジェクトに応じた提案情報の一例を示す。車内のオブジェクトとしては、例えば、燃料メータ、時計、ナビゲーションシステムの表示画面、同乗者等が挙げられる。燃料供給所には、ガソリンスタンドおよび水素供給所が含まれる。

（ＣＡＳＥ４）
関心度情報生成部１５が生成した関心度情報に、ドライバが特定のロゴ又はマークに注目していることを示す情報が含まれている場合に、リコメンドエンジン１６は、上記特定のロゴ若しくはマーク、又は、上記特定のロゴ若しくはマークに関連する商品に関する情報を提案情報に含ませる。

表１のＣＡＳＥ４は、町中で注目したディスプレイ、および当該ディスプレイに応じた提案情報の一例を示す。上記特定のロゴ若しくはマーク、又は、上記特定のロゴ若しくはマークに関連する商品に関する情報は、運転を終えた帰宅後、スマートフォン等の携帯端末装置に出力されてもよい。

（ＣＡＳＥ５）
関心度情報生成部１５が生成した関心度情報に、ドライバが特定の車種に注目していることを示す情報が含まれている場合に、リコメンドエンジン１６は、上記特定の車種、又は、上記特定の車種に属する自動車に関する情報を提案情報に含ませる。

表１のＣＡＳＥ５は、路上で注目した自動車、および当該自動車に応じた提案情報の一例を示す。車種は、メーカー名であってもよいし、各メーカーの自動車の型名であってもよい。

（目的地提示部）
目的地提示部１７は、関心度情報生成部１５が生成したドライバへの提案情報を参照して、当該ドライバに目的地を提示する。目的地提示部１７は、音声で目的地を提示してもよいし、表示部に画像で目的地を提示してもよく、それらを組み合わせて目的地を提示してもよい。また、目的地提示部１７は、目的地までのルートを提示してもよい。

例えば、表１に示すように、ＣＡＳＥ１およびＣＡＳＥ２の場合には、目的地提示部１７は、至近のスポットの数と、スポットまでの距離および時間を音声案内する。また、ＣＡＳＥ３の場合には、目的地提示部１７は、目的地および最短ルートを設定する。

〔情報処理装置の処理例１〕
次に、図３のフローチャートを参照して、情報処理装置１の処理について説明する。

まず、情報処理装置１の使用を開始し、ステップ（以下、「ステップ」は省略する）Ｓ１１およびＳ１４に進む。

Ｓ１１では、顔情報取得部１２が、ドライバの顔情報を取得する。処理の詳細は、（顔情報取得部）に記載の通りである。顔情報取得部１２は、取得した顔情報を視線検出部１３に送信し、Ｓ１２に進む。

Ｓ１２では、視線検出部１３が、取得した顔画像から視線を検出し、抽出する。処理の詳細は、（視線検出部）に記載の通りである。

Ｓ１３では、視線検出部１３が、検出した視線からドライバの視線が注目していたか否かを判定し、注目していた場合は（Ｓ１３のＹｅｓ）、特定した視線方向を視認オブジェクト判定部１４に送信し、Ｓ１５に進む。また、ドライバの視線が注目していなかった場合は（Ｓ１３のＮｏ）、Ｓ１１の処理を再度行う。

Ｓ１４では、オブジェクト検出部１１が、ドライバの視界に存在する各オブジェクトを検出し、抽出する。具体的には、撮像部は、車外の景色を撮影した後、オブジェクト抽出部が、取得した撮像画像１００から、オブジェクトを抽出する。処理の詳細は、（オブジェクト検出部）に記載の通りである。オブジェクト検出部１１のオブジェクト抽出部は、抽出したオブジェクトを視認オブジェクト判定部に送信し、Ｓ１５に進む。

Ｓ１５では、視認オブジェクト判定部１４が、視線検出部１３が検出した視線とオブジェクト検出部１１が検出したオブジェクトとから、ドライバが視認しているオブジェクトを抽出し、Ｓ１６に進む。

Ｓ１６では、視認オブジェクト判定部１４が、抽出したドライバが視認しているオブジェクトにおいて、ドライバが一定時間注目していたか否かを判定し、ドライバが一定時間注目していた場合（Ｓ１６のＹｅｓ）、Ｓ１７に進む。処理の詳細は、（視認オブジェクト判定部）に記載の通りである。ドライバが一定時間注目していなかった場合（Ｓ１６のＮｏ）、Ｓ１５の処理を再度行う。

Ｓ１７では、関心度情報生成部１５が、ドライバの関心度に関する関心度情報を生成する。処理の詳細は、（関心度情報生成部）に記載の通りである。関心度情報生成部１５は、作成した関心度情報をリコメンドエンジン１６に送信し、Ｓ１８に進む。

Ｓ１８では、リコメンドエンジン１６が、関心度情報生成部が生成した関心度情報を参照して、ドライバへの提案情報を生成する。処理の詳細は、（リコメンドエンジン）に記載の通りである。

＜実施形態２＞
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図４は、本実施形態に係る情報処理装置１の構成要素を示すブロック図である。

情報処理装置１は、位置情報取得部２１と、表情推定部２２とを更に備えている。

（位置情報取得部）
位置情報取得部２１は、ドライバが搭乗する車両の位置情報を取得する。位置情報取得部２１は、ＧＰＳアンテナ、Ｗｉ−Ｆｉ（登録商標）アンテナ、方位磁石、および加速度センサ等の少なくとも何れかを備えて構成される。位置情報取得部２１は、車両の向いている方角と現在位置等の位置情報と検出可能に構成された位置検出部（図示せず）から位置情報を取得することができる。または、位置情報取得部２１は、位置検出部以外から車両の位置を取得してもよい。例えば、車両が無線通信を行いながら移動するものである場合、無線通信の基地局から、車両の位置情報を取得してもよい。なお、本実施形態の説明において単に位置情報といった場合、車両の位置情報を指すものとする。位置情報取得部２１は、取得したドライバが搭乗する車両の位置情報をオブジェクト検出部１１に出力する。

（表情推定部）
表情推定部２２は、ドライバの顔情報からドライバの表情を推定する。表情推定部２２は、ドライバ顔情報から当該ドライバの表情を示す表情情報を取得することによって、当該ドライバの表情を推定する。表情推定部２２は、視線検出部１３で検出した目の特徴量を使用することに加えて、顔情報として顔の各部位の特徴量を組み合わせて使用し、ドライバの表情を推定する。

ドライバの顔情報は、ドライバの表情を推定するために十分な表情情報を含んでいればよいが、例えば、ドライバの笑顔度を示す笑顔情報、悲哀度を示す悲哀情報、緊張度を示す緊張情報等の感情情報を含む。表情推定部２２がドライバの表情を推定する方法は、特に限定されないが、例えば、ＯＫＡＯ（登録商標）Ｖｉｓｉｏｎ等の人物の表情を推定するための公知の技術を搭載した表情推定装置を用いて表情を推定することができる。

表情推定部２２は、顔情報を参照して、ドライバの表情を推定し、表情情報を算出する。表情推定部２２は、表情情報を、関心度情報生成部１５に出力する。なお、表情推定部２２は、車両に設けられていても、後述するように、サーバ等の車両外に設けられていてもよい。

なお、表情推定部２２は、視認オブジェクト判定部１４と同様に、ドライバの表情に関する情報を機械学習により算出する構成としてもよい。

表情推定部２２は、推定した感情情報を関心度情報生成部１５に出力する。

（関心度情報生成部）
関心度情報生成部１５は、車両の位置情報およびドライバの表情を更に参照して、関心度情報を生成する。

（位置情報）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの車両の位置が、交通量のより多い場所であるほど、当該オブジェクトに対する関心度が高いと判定する。また、関心度情報生成部１５は、あるオブジェクトを視認したときの車両の位置が、所定の場所である場合に、当該当該オブジェクトに対する関心度が高いと判定してもよい。そして、関心度情報生成部１５は、判定結果を含む関心度情報を作成する。

（ドライバの表情）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの表情が喜んでいるほど、又は驚いているほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

関心度情報生成部１５は、ドライバの生体情報、日時情報、および気象情報のうち少なくとも１つを更に参照して関心度情報を生成してもよい。

生体情報には、例えば、ドライバの脳情報、バイタル情報等が含まれる。脳情報には、ドライバの脳波等の情報が含まれる。脳波を測定する方法としては、特に限定されないが、例えば、公知の脳波計により測定する方法が挙げられる。バイタル情報には、例えば、ドライバの脈拍、血圧、体温、発汗量等の情報が含まれる。バイタルを測定する方法としては、特に限定されないが、例えば、公知の脈拍計、血圧計、体温計、発汗量検出計等により測定する方法が挙げられる。日時情報は、ドライバの運転時の日時情報であり、気象情報は、位置情報取得部２１から取得した車両の位置の気象情報である。

（脳波）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの脳波が所定の周波数の範囲であるとき、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（脈拍）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの脈拍数が多いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（血圧）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの血圧が高いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（体温）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの体温が高いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（発汗量）
関心度情報生成部１５は、ドライバがあるオブジェクトを視認したときの当該ドライバの発汗量が多いほど、当該オブジェクトに対する関心度が高いと判定し、判定結果を含む関心度情報を作成する。

（リコメンドエンジン）
リコメンドエンジン１６は、一例として、関心度情報生成部１５が車両の位置情報およびドライバの表情を更に参照して生成した関心度情報に含まれるドライバの潜在的な関心が示唆されたオブジェクトの情報を参照して、当該潜在的な関心が示唆されたオブジェクトに関連する提案を含む提案情報を生成する。

具体的な提案情報としては、実施形態１に説明した例が挙げられる。

また、リコメンドエンジン１６は、事故が起こったことを示す事故情報を取得し、上記事故情報が示す事故発生時刻の前の所定の期間においてドライバが視認したオブジェクトを示すオブジェクト情報を含む事故情報を生成してもよい。
なお、上記事故情報は、車両に搭載された衝撃センサ（加速度センサ）が、所定の値以上の衝撃を検知した場合に、当該車両に搭載された事故情報生成部によって生成される構成としてもよいし、そのような衝撃情報を、各車両からサーバに送信し、当該サーバが、当該衝撃情報を参照して事故情報を生成する構成としてもよい。

リコメンドエンジン１６は、事故が起こったときの日時情報、車両の位置情報、および気象情報を事故情報に含ませてもよい。生成した事故情報は、安全運転の技能評価の情報として活用することができる。

〔情報処理装置の処理例２〕
次に、図５のフローチャートを参照して、情報処理装置１の処理について説明する。Ｓ１１〜Ｓ１７については、〔情報処理装置の処理例１〕で説明した通りであり、相違する点のみ説明する。

まず、情報処理装置１の使用を開始し、Ｓ１１およびＳ２１に進む。

Ｓ２１では、位置情報取得部２１が、ドライバが搭乗する車両の位置情報を取得する。処理の詳細は、（位置情報取得部）に記載の通りである。位置情報取得部２１は、取得したドライバが搭乗する車両の位置情報をオブジェクト検出部１１に送信し、Ｓ１４に進む。

Ｓ１６では、ドライバが一定時間オブジェクトに注目していた場合（Ｓ１６のＹｅｓ）、Ｓ２２に進む。

Ｓ２２では、表情推定部２２が、ドライバの顔情報からドライバの表情を推定し、Ｓ２３に進む。処理の詳細は、（表情推定部）に記載の通りである。

Ｓ２３では、表情推定部２２が、視認オブジェクトへの感情変化を測定し、測定した感情情報を関心度情報生成部１５に送信し、Ｓ１７に進む。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

（情報処理システムの構成）
図６は、本発明の実施形態３に係る情報処理システムの構成を示すブロック図である。図６に示すように、情報処理システムは、車両３と、サーバ４と、携帯端末装置２とを備えている。

車両３は、車載カメラ３１と、目的地提示部１７とを備えている。実施形態１では、目的地提示部１７は、情報処理装置１が備える構成であったが、本実施形態では、目的地提示部１７は車両３に備えられている。

サーバ４は、顔情報取得部１２と、視線検出部１３と、オブジェクト検出部１１と、視認オブジェクト判定部１４と、関心度情報生成部１５と、リコメンドエンジン１６とを備えている。このように、本実施形態に係るサーバ４は、実施形態１に係る情報処理装置１の備える構成のうち、目的地提示部１７以外の構成を備えている。

サーバ４は、実施形態２で説明した位置情報取得部２１、及び表情推定部２２の少なくとも１つを更に備える構成としてもよい。

また、サーバ及び情報処理装置は、図示しない通信部を備えており、サーバと情報処理装置との情報のやり取りは当該通信部を介して行われる。

車載カメラ３１は、実施形態１において説明したオブジェクト検出部１１が備える撮像部と同様の構成であり、車外の景色を撮影して周辺環境情報を取得し、取得した周辺環境情報をサーバ４のオブジェクト検出部１１に出力する。また、車載カメラ３１は、ドライバの顔を撮影して顔情報を取得し、取得した顔情報をサーバ４の顔情報取得部１２に出力する。

リコメンドエンジン１６は、実施形態１、２と同様に、生成したドライバへの提案情報を目的地提示部１７に出力する。

このように、車両３に、視認オブジェクト判定部１４、関心度情報生成部１５、リコメンドエンジン等が含まれていない態様であっても、サーバ４を経由することにより、処理を行うことができる。

このような構成であっても、ドライバの関心度をセンシングすることができるという効果を奏する。

〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１に含まれる各部は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 情報処理装置
２ 携帯端末装置
３ 車両
４ サーバ
１１ オブジェクト検出部
１２ 顔情報取得部
１３ 視線検出部
１４ 視認オブジェクト判定部
１５ 関心度情報生成部
１６ リコメンドエンジン（提案情報生成部）
１７ 目的地提示部（ナビゲーションシステム）
２１ 位置情報取得部
２２ 表情推定部
３１ 車載カメラ

Claims (20)

1. ドライバの顔情報を取得する顔情報取得部と、
   上記顔情報取得部から取得した顔情報から視線を検出する視線検出部と、
   上記ドライバの視界に存在する各オブジェクトを検出するオブジェクト検出部と、
   上記視線検出部が検出した視線と上記オブジェクト検出部が検出したオブジェクトとから、上記ドライバが視認しているオブジェクトを判定する視認オブジェクト判定部と、
   上記視認オブジェクト判定部が判定したオブジェクトに対する上記ドライバの関心度を示す関心度情報を生成する関心度情報生成部と
   を備え、
   上記関心度情報生成部は、上記オブジェクト検出部が検出したオブジェクト数を参照して関心度情報を生成することを特徴とする情報処理装置。
2. 上記関心度情報生成部は、上記ドライバの瞳孔の状態を更に参照して、関心度情報を生成することを特徴とする請求項１に記載の情報処理装置。
3. 上記関心度情報生成部は、上記ドライバの瞬きの回数を更に参照して、関心度情報を生成することを特徴とする請求項１又は２に記載の情報処理装置。
4. 上記関心度情報生成部は、上記ドライバの発汗量を更に参照して、関心度情報を生成することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
5. 上記関心度情報生成部は、上記ドライバの脳波を更に参照して、関心度情報を生成することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
6. 上記ドライバが搭乗する車両の位置情報を取得する位置情報取得部を更に備え、
   上記関心度情報生成部は、上記車両の位置情報を更に参照して、関心度情報を生成することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
7. 上記ドライバの顔情報から上記ドライバの表情を推定する表情推定部を更に備え、
   上記関心度情報生成部は、上記ドライバの表情を更に参照して、関心度情報を生成することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
8. 上記関心度情報生成部は、上記ドライバの生体情報を更に参照して、関心度情報を生成することを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
9. 上記関心度情報生成部は、日時情報を更に参照して、関心度情報を生成することを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
10. 上記関心度情報生成部は、気象情報を更に参照して、関心度情報を生成することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
11. 上記関心度情報生成部が生成した関心度情報を参照して、上記ドライバへの提案情報を生成する提案情報生成部を更に備えている
    ことを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
12. 上記提案情報生成部は、
    事故が起こったことを示す事故情報を取得し、
    上記事故情報が示す事故発生時刻の前の所定の期間において上記ドライバが視認したオブジェクトを示すオブジェクト情報を含む事故情報を生成する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 上記関心度情報生成部が生成した関心度情報に、上記ドライバが第１のカテゴリに属する店舗又は看板に注目していることを示す情報が含まれる場合に、
    上記提案情報生成部は、休憩場所およびトイレの少なくとも何れかに立ち寄る旨の提案を上記提案情報に含ませる
    ことを特徴とする請求項１１又は１２に記載の情報処理装置。
14. 上記関心度情報生成部が生成した関心度情報に、上記ドライバが第２のカテゴリに属する店舗又は看板に注目していることを示す情報が含まれる場合に、
    上記提案情報生成部は、飲食店およびトイレの少なくとも何れかに立ち寄る旨の提案を上記提案情報に含ませる
    ことを特徴とする請求項１１〜１３の何れか１項に記載の情報処理装置。
15. 上記関心度情報生成部が生成した関心度情報に、車内の所定のオブジェクトに注目していることを示す情報が含まれる場合に、
    上記提案情報生成部は、燃料供給所、給電所、および自動車用品店の少なくとも何れかに立ち寄る旨の提案を上記提案情報に含ませる
    ことを特徴とする請求項１１〜１４の何れか１項に記載の情報処理装置。
16. 上記提案情報を参照して、上記ドライバに目的地を提示する目的地提示部を更に備えている
    ことを特徴とする請求項１１〜１５の何れか１項に記載の情報処理装置。
17. 上記関心度情報生成部が生成した関心度情報に、上記ドライバが特定のロゴ又はマークに注目していることを示す情報が含まれている場合に、
    上記提案情報生成部は、
    上記特定のロゴ若しくはマーク、又は、
    上記特定のロゴ若しくはマークに関連する商品
    に関する情報を上記提案情報に含ませる
    ことを特徴とする請求項１１〜１６の何れか１項に記載の情報処理装置。
18. 上記関心度情報生成部が生成した関心度情報に、上記ドライバが特定の車種に注目していることを示す情報が含まれている場合に、
    上記提案情報生成部は、
    上記特定の車種、又は、
    上記特定の車種に属する自動車
    に関する情報を上記提案情報に含ませる
    ことを特徴とする請求項１１〜１７の何れか１項に記載の情報処理装置。
19. 情報処理装置によって実行される情報処理方法であって、
    ドライバの顔情報を取得する顔情報取得ステップと、
    顔情報取得ステップにおいて取得した顔情報から視線を検出する視線検出ステップと、
    ドライバの視界に存在する各オブジェクトを検出するオブジェクト検出ステップと、
    上記視線検出ステップにおいて検出した視線とオブジェクト検出ステップにおいて検出したオブジェクトとから、上記ドライバが視認しているオブジェクトを判定する視認オブジェクト判定ステップと、
    上記視認オブジェクト判定ステップにおいて判定したオブジェクトに対する上記ドライバの関心度を示す関心度情報を生成する関心度情報生成ステップと
    を含み、
    上記関心度情報生成ステップでは、上記オブジェクト検出ステップにおいて検出したオブジェクト数を参照して関心度情報を生成することを特徴とする情報処理方法。
20. 請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記関心度情報生成部としてコンピュータを機能させるための情報処理プログラム。

Images