JP7427177B2 - 提案装置および方法 - Google Patents

Description

この発明は、提示対象を提案または提供する技術に関する。

自動車の車内で使いたいサービスとして、「音楽を聴く」というニーズは高く、現在でも多くのドライバが音楽を聴きながらドライブを楽しんでいる。また、最近では多くのドライバがネットストリーミングサービスを利用して音楽を聴いている。

自動車の運転中に「音楽を聴く」際には、運転中に音楽端末に対して、複雑な「オペレーション」が困難で、多くのドライバはあらかじめ自分で用意した楽曲もしくはプレイリストを使っている。そのため、新しい音楽への出会いや、ドライブの状況にあわせた選曲といった体験をすることは難しい。

運転中の選曲を簡単に行う方法の１つとして、音声による操作がある。これは、実際に、Ａｐｐｌｅ Ｓｉｒｉ（登録商標）／Ａｍａｚｏｎ Ａｌｅｘａ（登録商標）／Ｇｏｏｇｌｅ ｈｏｍｅ（登録商標）といったサービスで実現されており、たとえば、「Ａｌｅｘａ」（アレクサ）といった予約語のあとに「リラックスできる曲をかけて」「海の曲かけて」「ＸＸＸのＹＹＹかけて」（ＸＸＸはアーティスト名、ＹＹＹは曲名）といった発話を投げかけることにより、該当する音楽を聴くことができる。

また、現在の位置情報と、地図を用いた地点情報と連動させ、現在の位置が「海」に近ければ、「海」に関連した曲を選曲したり、「東京タワー」といったランドマークの近くで「東京タワー」にちなんだ曲を流すといったことも技術的には容易に実現可能である。

なお、サービスとして提供されるコンテンツ（対象）としては、楽曲の他に、商品、記事、画像、動画等があり、それぞれのコンテンツの特徴を表すタグ情報を付加することで、コンテンツのカテゴライズごとの表示、検索、ユーザ嗜好分析などを実現できる。

ところで、コンテンツの提案は、その過程が複雑であり、従来の手法では対処できない。

例えば、自動車のドライブ中に長い「渋滞」に巻き込まれたときのことを考える。「渋滞」の入り口、「渋滞」の最中、「渋滞」から抜けた時の３つのシチュエーションごとにドライバの主な感情状態は異なり、一般的には、それぞれ以下のような感情をもつことが想定される。
ケース１：「渋滞」の入り口 ：驚き、不安
ケース２：「渋滞」の最中 ：苛立ち、退屈
ケース３：「渋滞」から抜けた時 ：安堵、嬉しい
従来のシステムではこのように、「渋滞」の複数の状態を対して、それぞれの状況を区別して自動検知し、その時のドライバの感情状態を推測し、それに応じた適切な音楽を流すといった音楽選曲を実施することは困難である。ドライバが「苛立ち」、「退屈」、「不安」といったネガティブな感情状態であるとき、その状態を緩和してポジティブな感情状態に誘導するような曲や応答文を提供することは従来のシステムではできない。

運転中のドライバの感情としては例えば図２０に示すものがある。運転状況に起因するものとしては、「クルマが流れてきた」という状況で「安堵」の感情が生じ、「お迎えの時間に間に合わない」という状況で「イライラ」の感情が生じ、その他、体調、天候、景色、行先、目的、同乗者等、種々の要因に応じた状況で多様な感情が生じる。このような種々の感情に対して、最適な感情を持つようにドライバを誘うことが望まれる。

ドライバに最適な感情状態を推測して音楽等の対象を選択・提案することが望まれる。

なお、この発明に関連する先行技術文献としては、特開２０２１－０６０９２７号公報がある。この先行技術文献は、ドライバの運転負荷に基づいてコンテンツを選択する技術を開示している。

なお、本発明は、上述の課題により限定的に理解されるべきでなく、その内容は特許請求の範囲に規定され、以下に実施例を用いて詳細に説明される。

特開２０１８－００４４６１号公報

ドライバ等、ユーザに最適な感情状態を推測してコンテンツ（対象）を提示・提案することが望まれる。

ここでは、この発明の理解を容易にするために、原理的な例を説明する。ただし、これは、この発明を限定するものとして理解するべきでなく、この発明の範囲については特許請求の範囲の記載に基づいて決定される。

この発明の一例のシステムにおいては、例えば「渋滞」といった走行状態、ドライバの発言、その他を自動検知し、運転状況に対するドライバ等の感情状態を推測し、それに応じた適切なコンテンツ（例えば楽曲）や応答メッセージを提供・提案する。

このシステムの要素となる仕組みは以下のとおりである。すなわち、ドライバの発話した内容、ドライバの声のトーンの変化、ドライバの表情の変化、走行状態の変化といった複数の情報から現在のドライバの感情状態を推定する。そして、現在の感情状態の情報から、コンテンツ等の提供よってもたらされる目標となる感情状態を推定する。そして、目標となる感情状態にマッチしたコンテンツ等をドライバに推薦する。現在の感情状態の情報と、目標の感情状態の情報とを使用して、応答メッセージを作成し、コンテンツ等を提案し、もしくは、これらを選択してドライバ等に提示する。

なお、本出願人は、提示対象に対して感性的なメタデータを付与して、感性的なワードを用いて提示対象を検索・推薦する方法を提案している（特許第６５７１２３１号、特願２０２０－０７８９４２号）。この発明において、これら手法を採用して良いけれども、この発明はこれに限定されないことはもちろんである。

つぎに、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。

この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。

この発明の一側面によれば、上述の目的を達成するために、複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案装置に：車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と；車両乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と；上記感情状態決定手段により決定された上記車両乗員感情状態および上記状態推移確率保持手段に保持されている上記状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と；上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と；上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを設けるようにしている。

この構成によれば、車両乗員の状況から、提示対象によってもたらされるべき目標となる車両乗員の感情を推定し、最適な提示対象を案内することができる。

この構成において、提案装置は、さらに、上記車両乗員の状況を検出して上記車両乗員状況データを生成する車両乗員状況検出手段を有して良い。

また、上記感情状態決定手段は、所定はイベントに基づいて上記車両乗員感情状態の決定処理を開始して良い。イベントは例えば車両乗員のつぶやき、走行状態の変化であって良い。イベントは時間の経過であってもよい。

また、上記状態推移確率保持手段は、上記車両乗員感情状態の所定の履歴ごとに状態推移確率を保持して良い。所定の履歴は、直前の感情状態であって良く、例えば、直前の主たる感情状態がポジティブ、ネガティブ、現在の状態と同一の状態、その他の状態の４つのカテゴリ（種別ともいう）で表されて良いけれども、これに限定されない。

また、上記車両乗員感情状態は、複数の個別の感情状態の尤度を要素とするベクトルで表されて良いが、これに限定されない。個別の感情状態のそれぞれは、例えば、「嬉しい・喜び」、「心地よい」、「安堵」、「落ち着いた」、「退屈」、「不快・後悔」、「悲しみ・失望」、「不快・後悔」、「苛立ち・怒り」、「驚き・昂ぶり」、「願望・期待」、「楽しい・感動」の１２個の感情状態に関する要素からなるベクトルで表され、ベクトルは１に正規化され良い。

また、上記対象のメタ情報は、上記対象の印象を表す感性的なメタ情報であって良いけれどもこれに限定されない。

また、上記車両乗員感情状態の感情状態が、上記メタ情報に対応付けられて良い。また、先の感情状態自体をメタ情報として良い。

また、上記車両乗員は典型的には上記車両のドライバであるけれども、これに限定されない。

提示対象（コンテンツ）は、商品、記事、楽曲、画像、動画、メッセージその他であり、それぞれの提示対象の特徴を表すタグ情報を付加することで、提示対象のカテゴライズごとの表示、検索、ユーザ嗜好分析などに用いられて良い。

この発明の他の側面によれば、複数の対象から提示すべき対象を選択してユーザに対して提案する提案装置に：ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段と；ユーザ乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と；上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と；上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と；上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを設けている。

この構成によれば、ユーザの状況から、提示対象によってもたらされるべき目標となるユーザの感情を推定し、最適な提示対象を案内することができる。

この構成において、携帯型端末が、上記ユーザ状況データを上記感情状態決定手段に供給し、提示対象の提示・提案を受領して良い。

携帯型端末は、メガネ型ウェアラブル端末や、スマートウォッチ（小型のタッチスクリーンおよびＣＰＵを搭載した、多機能な腕時計型のウェアラブル端末）であって良いけれども、これに限定されない。

また、この発明のさらに他の側面によれば、危険運転判定装置に：車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と；上記車両乗員感情状態が危険な運転状態に対応する危険運転感情状態に至った危険運転対応頻度を求める危険運転頻度決定手段とを設け；上記危険運転対応頻度に基づいて車両乗員の運転危険度を判定するようにしている。

この構成によれば、ドライバに潜在するリスクを判定することができ、例えば、損害保険料の算出に利用してよいけれども、これに限定されない。

上記危険運転感情状態は、例えば、急激にネガティブな感情に変化した状態である。

また、この発明のさらに他の側面によれば、地理上の位置に特性を付与する位置特性付与装置に：車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と；上記車両乗員感情状態が所定の感情状態に至ったときに、上記車両乗員または上記車両乗員が搭乗している車両の位置情報を取得する位置情報取得手段とを設け；上記位置情報取得手段が取得した位置情報と、対応する所定の感情状態に基づいて、当該位置情報の示す位置に、上記所定の感情状態に対応する特性を付与するようにしている。

この構成によれば、地理上の位置に簡易に特性を付与することができる。

この構成において、上記所定の感情状態は、急激にネガティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は警戒特性である。また、上記所定の感情状態は、急激にポジティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は良好特性である。一般ユーザは、位置特性を利用して警戒を行ったり、行先決定に利用したりできる。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品（コンピュータプログラム）もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。

この発明によれば、典型的には、車両乗員の状況から、提示対象によってもたらされるべき目標となる車両乗員の感情を推定し、最適な提示対象を案内することが可能であるけれども、これに限定されず、その内容は特許請求の範囲期記載のとおりである。

この発明の実施例の提案システム１００を全体として示す図である。 図１の提案システム１００のコンテンツ情報提供サーバ１２０の構成例を説明するブロック図である。 図２のコンテンツ情報提供サーバを構成するためのハードウェア構成を説明する図である。 図１の提案システム１００の動作概要を説明するフローチャートである。 図１の提案システム１００における感情タイプの例を説明する図である。 図５の感情タイプの相互関係を示す２次元マップである。 感情タイプの推移マップの例を説明する図である。 感情推移確率の例を説明する図である。 感情推移確率の例を説明する図である。 感情推移確率の例を説明する図である。 感情推移確率テーブルの例を説明する図である。 目標感情状態の予測例を説明する図である。 感情状態の履歴を評価関数とともに採用する例を説明する図である。 図１１の評価関数の例を説明する図である。 推移確率のパーソナライズ化の例を説明する図である。 感情タイプの類似ワードの例を説明する図である。 提示対象に付与される印象表現を説明する図である。 応答メッセージの例を説明する図である。 この発明の他の実施例を提案システム１００Ａを説明する図である。 この発明のさらに他の実施例の危険運転判定システム４００を説明する図である。 この発明のさらに他の実施例の位置特性付与システム５００を説明する図である。 運転中の状況およびドライバの感情の例を説明する図である。

以下、この発明の実施例の提案システム１００について図を参照して説明する。この提案システム１００は、例えば「渋滞」といった走行状態、ドライバの発言、その他を自動検知し、運転状況に対するドライバ等の感情状態を推測し、それに応じた適切なコンテンツ（楽曲等）や応答メッセージを提供するものである。例えばドライバの発話した内容、ドライバの声のトーンの変化、ドライバの表情の変化、走行状態の変化といった複数の情報から現在のドライバの感情状態を推定する。そして、現在の感情状態の情報から、コンテンツ等の提供によってもたらされる目標となる感情状態を推定する。そして、目標となる感情状態にマッチしたコンテンツ等をドライバに推薦する。現在の感情状態の情報と、目標の感情状態の情報とを使用して、応答メッセージを作成し、コンテンツ等を提案し、もしくは、これらを選択してドライバに提示する。

図１は、この提案システム１００を全体として示しており、この図において、提案システム１００は、自動車１１０の車載装置１１１および通信ネットワーク２００（図２）上に配置されたコンテンツ情報提供サーバ１２０、音楽データサーバ１３０、地図情報サーバ１４０、走行状態判定サーバ１５０、音楽配信サーバ１６０、音声認識・合成サーバ１７０等から構成される。この例では音楽コンテンツ（楽曲）を配信することを例に挙げて説明するけれど、メッセージの提供・提示、商品の提示、画像や動画の提供・提示を行っても良く、この場合には、適宜なコンテンツ用のデータサーバや映像・動画コンテンツ配信サーバ等を設けて良い。

自動車１１０に設けられた車載装置１１１は、自動車１１０の電気系統回路部（図示しない）に実装されたＬＳＩ等により実現されて良く、ドライバとのユーザインターフェース、その他のサービスを実現するものであるけれども、これに限定されない。車載装置１１１はユーザインターフェース部１１２および走行情報抽出部１１３を含む。

車載装置１１１のユーザインターフェース部１１２は、音声・テキスト間変換およびプレーヤ（楽曲再生等）制御を担当するものであり、ドライバ等の乗員の音声をマイク（図示しない）により音声データに変換して、音声認識・合成サーバ１７０に送り、それに対応するテキストを音声認識・合成サーバ１７０から受け取る。ドライバ等の音声は、楽曲の選択等の関するもの（例えば、「リラックスできる曲をかけて」、「ＸＸＸ（曲名）をかけて」等のメッセージ）や、ドライバ等の感情を表すもの等がある。変換されたテキスト、その他のデータは、コンテンツ情報提供サーバ１２０に送られる。また、ユーザインターフェース部１１２は、ドライバ等に供給すべき情報を表示するテキストを音声認識・合成サーバ１７０に送り、その音声合成結果を音声認識・合成サーバ１７０から受け取り、当該情報を音声としてドライバに供給する。コンテンツ情報提供サーバ１２０は、ドライバ等に対するメッセージや、楽曲を特定する情報（楽曲ｕｒｌ）をテキストとしてユーザインターフェース部１１２に供給し、テキストメッセージを音声認識・合成サーバ１７０で音声に変換してドライバ等に音声メッセージとして供給する。また、ユーザインターフェース部１１２は、受け取った楽曲ｕｒｌ等を引数として楽曲再生命令を音楽配信サーバ１６０に供給して、自動車内で楽曲を再生可能にする。音声認識・合成サーバ１７０に替えて、車載装置１１１に音声認識・合成ボード（図示しない）を設けても良い。

ドライバ等の発話に関しては、音声認識によるテキスト情報および音声スペクトラムの時間変換等が検出される。これら発話に関する情報および後述の自動車の走行状況の情報に基づいてドライバの感情が推定される。この例では発話の対象はドライバとするけれども、他の同乗者を対象としても良い。この場合、発話した話者を特定する技術を利用して良いけれども、これに限定されない。

車載装置１１１の走行情報抽出部１１３は、車載カメラ（図示しない）から画像・映像、車載センサからの自動車各部の情報等から自動車の走行情報を抽出し、これを走行状態判定サーバ１５０に供給して走行状況データを取得する。図１の例では、ハンドル、アクセル、ブレーキ操作等の情報が走行状況データに含まれるけれども、例えば、自動運転が適用される場合には、それに応じた状況の走行状況データを選択して良い。走行状況データは、ドライバの感情を推定できるものであれば、どのようなものであっても良い。

走行情報抽出部１１３に供給される、走行状況に関する情報は、位置情報（ＧＰＳ、車の走行位置、地図情報との連携）、目的地、出発地点等のリアルタイム情報（現在の天気、気温、現在の日時情報）、車載カメラ（走行方向映像）、車内映像車両情報（メータの走行速度、ハンドル操作）等であって良いけれども、これに限定されない。走行情報抽出部１１３は、走行状態判定サーバ１５０を参照して走行状況に関する情報を生成し、これは、例えば、（１）走行場所（市街地、郊外、高速道路、海岸線、山道）、（２）平均速度、（３）ハンドル操作頻度、（４）出発点、目的地までの距離、（５）道路状況（暗い、視界が悪い、狭い、人が多い、車間距離が狭い、明るい、視界が良い、広い、人が少ない、車間距離が広い、前方の明るさの時間変化、速度の時間変化に基づく渋滞レベルの推定値）であって良いけれども、これに限定されない。

コンテンツ情報提供サーバ１２０は、車載装置１１１のユーザインターフェース部１１２および走行情報抽出部１１３から、ドライバの発話に関連する情報、および走行状況に関する情報をそれぞれ入力して、現在のドライバの感情状態を推定し、この現在の感情状態の情報から、コンテンツ等の提供によってもたらされる目標となる感情状態（目標感情状態）を推定する。そして、コンテンツ情報提供サーバ１２０は、目標感情状態にマッチした楽曲を音楽データサーバ１３０を参照して決定し、その楽曲リストを車載装置１１１のユーザインターフェース部１１２に返す。また、コンテンツ情報提供サーバ１２０は、メッセージデータベース１２０Ａを参照して現在感情状態および目標感情状態に基づいて最適なメッセージテキストをユーザインターフェース部１１２に返して、ユーザに適切なメッセージ音声を供給して良い。

コンテンツ情報提供サーバ１２０の構成例については図２を参照して後に説明する。

この実施例の具体的な構成例においては、現在の感情状態および目標感情状態は、図５に示す１２種類の感情タイプにより表されて良いけれども、これに限定されない。１２種類の感情タイプに中立的な感情として「平常状態」がある。感情状態のデータは、１２種類の感情タイプの要素をもつベクトル値として構成される。たとえば、現在の感情状態の感情タイプの要素の比率を［苛立ち・怒り］８０％、［不安・緊張］２０％とすると、［感情状態のベクトル］＝［「嬉しい・喜び」，「心地よい」，「安堵」，「落ち着いた」，「退屈」，「不快・後悔」，「悲しみ・失望」，「不快・後悔」，「苛立ち・怒り」，「驚き・昂ぶり」，「願望・期待」，「楽しい・感動」］＝［０，０，０，０，０，０，０，０，０，０．８，０．２，０］と表現される。また、平常状態は上述の１２次元のベクトルでは、初期値として、［０，０，０，０，０，０，０，０，０，０，０，０］として表現され、実際には、各ドライバのパーソナライズ嗜好に応じた値を有して良い。

図５に示す感情タイプは、図６に示すように、２次元マップにおいて表示され、ポジティブ－ネガティブの縦軸、能動的－受動的の横軸に沿って表示され二次元上の位置に応じて特性を有する。

目標感情状態に適切な楽曲やメッセージを選択するために、楽曲やメッセージにはメタ情報が付与されている。メタ情報は図５に示す感情タイプに対応付けが可能であり、これに基づいて、感情状態ベクトルに対応するベクトルとして扱うことができ、両者の内積を計算して適合度を算出して良いけれども、これに限定されない。

図２は、コンテンツ情報提供サーバ１２０の構成例を示しており、この図において、コンテンツ情報提供サーバ１２０は、現在感情状態決定部１２１、目標感情状態決定部１２２、および提示対象決定部１２３を含んで構成されている。コンテンツ情報提供サーバ１２０は、図３に示すようなコンピュータ１０００から構成されて良く、これはＣＰＵ１００１、主メモリ１００２、入出６インターフェース１００３、外部記憶装置１００４を含んで構成される。アプリケーション１００５をコンピュータ１０００にインストールすることによりコンテンツ情報提供サーバ１２０を構成して良い。

図２において、現在感情状態決定部１２１は、車載装置１１１のユーザインターフェース部１１２および走行情報抽出部１１３から、ドライバの発話に関連する情報、および走行状況に関する情報をそれぞれ入力して、現在のドライバの感情状態を推定し、ドライバの現在の感情状態および更新イベント種別を出力する。更新イベント種別は、ドライバの現在の感情状態の判定を行うきっかけ（トリガ）となる入力情報のタイプである、これについては後に説明する。現在の感情状態のデータは、先に説明したように１２種類の感情タイプ（図５、図６）の要素をもつベクトル値として構成されて良い。

現在感情状態決定部１２１は、ドライバの発話に関連する情報、および走行状況に関する情報に基づいて状況ごとに表引きにより現在感情状態のベクトルの要素の値を決定して良い。自動車の走行状況と各感情タイプとの関係について例をあげる。例えば、渋滞に関しては状況に応じて、以下のような走行状況に遭遇したときは該当する感情タイプ（括弧内で示す）のスコア値を高くする。
例１：順調に走っていたときに渋滞に入った時には［苛立ち・怒り］、［悲しみ・失望］
例２：渋滞のなかで時間が長く続いている時には［退屈］、［苛立ち・怒り］
例３：渋滞から抜けて順調に走り始めた時には［安堵］、［心地よい］
また、通常の走行状態から走行状態が変化した場合については、以下のような感情タイプのスコア値を高くする。
例４：「視界が悪い、狭い、人が多い、ハンドル操作頻度が高い」という状態に変化した時には「不安・緊張」
例５：通常の走行状態から「明るい、視界が良い、広い」という状態に変化した時には「楽しい・感動」、「嬉しい」

増分値は、それぞれの状況ごと設定されていて良い。

ドライバの現在の感情状態の判定は、所定のイベントを検出したときに行って良い。このような現在の感情状態の判定をおこなうきっかけ（トリガ）となる入力情報のタイプ（更新イベント種別、カテゴリ）には例えば以下のようなものがあって良い。
（１）ドライバのコンテンツの属性に対する直接的な要求：ｅｖｅｎｔ＿ｔｙｐｅ＝１
例えば、以下のようなものである。
「リラックスできる曲をかけて」
「悲しいラブソングが聴きたい」
「スカッとするハードロックがいい」
（２）上述の（１）以外のドライバの［つぶやき］や［発話］：ｅｖｅｎｔ＿ｔｙｐｅ＝２
例えば、以下のようなものである。
「なんか疲れたなぁ」
「明日はデートなんだ」
「仕事が一段落したよ」
（３）上述の（１）、（２）以外の、走行状態の変化によるもの：ｅｖｅｎｔ＿ｔｙｐｅ＝３
例えば、以下のようなものである。
＜渋滞を抜けた＞
＜急に視界が悪くなった＞
＜高速道路に入った＞
（４）上述の（１）（２）（３）以外：ｅｖｅｎｔ＿ｔｙｐｅ＝４
これら更新イベント種別に基づいて現在感情状態の履歴を選択的または重み付けして使用することができる。

現在感情状態決定部１２１は、決定した現在感情状態を目標感情状態決定部１２２に供給するとともに現在感情状態履歴保持部１２４に保持する。現在感情状態履歴保持部１２４は、以下の情報を、ストレージもしくはメモリ上で保存、管理する。
ユーザＩＤ
感情状態
更新日時情報
更新イベント種別

この履歴は、各ユーザアカウント単位で、一定期間、一定数を新しい順に保持し、古いものから順に破棄していく。現在感情状態履歴保持部１２４からは以下の推移履歴を出力する。
短期的感情推移：過去数時間の間での感情状態の推移履歴
長期的感情推移：数時間単位の感情状態の平均値に対する推移履歴
この実施例においては、「短期的感情状態履歴」を「感情状態履歴」として説明する。

目標感情状態決定部１２２は、現在の感情状態を有するドライバにとって感情状態の推移先としてどのような感情状態が最適かを決定するものであり、ここでは、推移先として最適な感情状態を目標感情状態と呼んでいる。目標感情状態決定部１２２は、現在感情状態のデータ（全剤感情状態ベクトル）に基づいて状態推移確率情報データベース１２５を参照して目標感情状態を決定する。提示対象決定部１２３は、目標感情状態に基づいて提供するコンテンツ（メッセージや楽曲）を選択することにより、ドライバを最適な感情状態に誘うことができる。

すなわち、現在感情状態決定部１２１で現在の感情状態を判定しても、そのまま現在の感情状態にマッチするコンテンツを提供した場合には問題が生じることがある。例えば、「ネガティブな気持ち」の状態に対して、これに合致したコンテンツを提案すると、いつまでも「ネガティブな気持ち」の状態にとどまってしまうことが想定される。他方、サービスを通して「人を楽しませたい・喜ばせたい」というコンセプトがある場合、「ネガティブな気持ち」に長くとどまらせることなく、段階的に「ポジティブな気持ち」にシフトさせていくことが望ましい。また、現在、ユーザが、「退屈」と感じていたら、「退屈」な気持と同じコンテンツではなく、段階的に「楽しい」気持ちになるように誘導していくといった提案が必要になる。この実施例においては、現在の感情状態に対して、感情推移確率をもとに、サービスを介して提供すべき感情状態の予測を行い、提供するコンテンツをその予測した感情状態に関連させるようにすることで、そのような問題を解決するものである。

図７は感情タイプの推移の例である。現在の感情タイプから推移する感情タイプとの関係を示している。感情状態は複数の感情タイプが多重化したものであり、感情タイプごとに独立して推移を考慮して良い。

目標感情状態決定部１２２の入力情報および出力情報は以下のとおりである。
［入力情報］：
ドライバの現在感情状態
更新イベント種別
感情状態履歴
［出力情報］：
目標感情状態（提供すべきコンテンツの感情状態）

提供すべきコンテンツの感情状態（目標感情状態）は、つぎのように算出できる。すなわち、１つ前の履歴の感情状態、現在の感情状態、将来または目標の感情状態を考慮すると、感情タイプが平常状態を含めると１３個であるから過去、現在、将来にわたる推移経路には１３×１３×１３の経路が想定でき、これら（１３×１３×１３）個の経路について、当該経路の過去の感情状態の感情タイプに該当する感情状態ベクトル要素の値（スコア値）と、現在の感情状態の感情タイプに該当する感情状態ベクトル要素の値（スコア値）と、その経路をたどる推移確率との積をとり、これを目標状態の感情タイプごとに合計を取る。すなわち、最終的な目標感情状態の感情タイプｋ（ｋ＝０～１２）がｋ'となる経路をｐｋ'（１３×１３個の経路）とし、その経路において過去の感情状態のベクトルの該当する要素のスコアをｅ１（ｐｋ'）とし、現在の感情状態のベクトルの該当する要素のスコアをｅ２（ｐｋ'）とし、その経路ｐｋ'の推移確率をＬ（ｐｋ'）とすると、目標感情状態が感情タイプｋ'をとる確率は、他の感情タイプとの関係では、
Ｅ３（ｋ'）＝Σ_ｐｋ'（ｅ１（ｐｋ'）×ｅ２（ｐｋ'）×Ｌ（ｐｋ'））
をすべての経路ｐｋ'について求めたものになり、このＥ３（ｋ'）をｋ＝０～１２についてすべて求めて、その合計で正規化したものが、目標感情タイプｋ'についてのスコア（目標感情状態のベクトルの要素ｋ'についてのスコアｅ３（ｋ'））になる。
ｅ３（ｋ'）＝Ｅ３（ｋ'）／Σ_{ｋ＝０～１２}Ｅ３（ｋ）

図４は実施例の提案システム１００の動作概略を説明するものであり、この図において、車載装置１１１のユーザインターフェース部１１２および走行情報抽出部１１３がドライバ状況情報を取得する（Ｓ１０）。コンテンツ情報提供サーバ１２０の現在運転状態決定部１２１は、そのドライバ状況情報に基づいてトリガを検出して、これが直接的な楽曲等の指示である場合には（Ｓ１１、更新イベント種別が「１」）、ステップＳ１５に進み、直接的な指示に基づく提案・提示を行う。ステップＳ１１において、更新イベントが直接的な楽曲等の指示でない場合、つぎのステップ１２に進み、現在感情状態をドライバ状況情に基づいて決定する。現在感情状態は、１２個の感情タイプを要素とするベクトルとして表されて良いけれども、これに限定されない。この現在感情状態は、履歴データ保持部に保管され（ステップＳ１３）、さらに、現在感情状態および推移確率（状態推移確率情報データベース１２５）に基づいて目標感情状態が決定される（ステップＳ１４）。こののち、ステップＳ１５に進み、ここで、現在感情状態および目標感情状態に基づいて例えば応答メッセージが決定され、提示・提案され、また、目標感情状態に基づいて提示対象のコンテンツが提示・提案される。

コンテンツ情報提供サーバ１２０（提示対象決定部１２３）は、予め、ユーザ（ドライバ等）の提供コンテンツの属性条件（嗜好等）を予め取得して、ステップＳ１５において、提示コンテンツの絞り込みを行って良い。

図１０は、目標感情状態決定部１２２の動作例を示す。この図に示されるように、目標感情状態決定部１２２はステップＳ１００で推移確率による、提供する感情状態の計算を行い、ステップＳ１０１で計算結果の正規化を行い、目標感情状態のスコア（ベクトルの要素）を決定する。なお、現在の感情状態のベクトル、状態推移確率のベクトルが正規化され、パス全体ですでに正規化が行われている場合には、ここの計算で正規化する必要はない。

目標感情状態の計算については、過去の感情状態については主たる感情タイプのカテゴリ（ポジティブ、ネガティブ、同一、その他）に単純化し、目標感情タイプについても有意な（非ゼロの）限られた数の感情タイプのみ考慮して単純化して良い。

この場合、感情タイプの主たるカテゴリごとに４つの推移確率サブテーブルが準備される。たとえば、１つ前の感情状態の感情タイプの主たるカテゴリがポジティブの場合（ｃ０）、ポジティブ用の推移確率サブテーブルを参照して、目標感情状態が感情タイプｋ'をとる確率は、他の感情タイプとの関係では、
Ｅ３（ｋ'）_ｃ０＝Σ（ｅ２（ｊ）×Ｌ（ｃ０｜ｊ→ｋ'））
である。ここでＬ（ｃ０｜ｊ→ｋ'）は、１つ前の主たる感情タイプのカテゴリｃ０において、現在の感情タイプｊから目標の感情タイプｋ'に推移する確率を表す。この計算を、ネガティブ（ｃ１）、同一（ｃ２）、その他（ｃ３）のカテゴリについても適用して、
Ｅ３（ｋ'）_ｃ１＝Σ_ｊ（ｅ２（ｊ）×Ｌ（ｃ１｜ｊ→ｋ'））
Ｅ３（ｋ'）_ｃ２＝Σ_ｊ（ｅ２（ｊ）×Ｌ（ｃ２｜ｊ→ｋ'））
Ｅ３（ｋ'）_ｃ３＝Σ_ｊ（ｅ２（ｊ）×Ｌ（ｃ３｜ｊ→ｋ'））
を求める。
Ｅ３（ｋ'）＝Ｅ３（ｋ'）_ｃ０＋Ｅ３（ｋ'）_ｃ１＋Ｅ３（ｋ'）_ｃ２＋Ｅ３（ｋ'）_ｃ３
であり、
ｅ３（ｋ'）＝Ｅ３（ｋ'）／Σ_{ｋ＝０～１２}Ｅ３（ｋ）
である。

なお、主たる感情タイプが複数ある（最も大きな値を取る感情タイプが複数ある）場合には、感情タイプの間で定めた優先順位に従って、１のカテゴリを選定して良い。代替的には、それぞれの主たる感情タイプについて対応するカテゴリで計算を行い、それぞれの計算結果の和に対して、その個数で除算を行っても良い。

図８Ａ～図８Ｃは、履歴感情状態の主たる感情タイプのカテゴリに基づいて単純化した例を示し、図８Ａにおいて、現在の感情状態の「心地よい」という感情タイプに着目して、過去の感情状態の感情タイプのカテゴリごとに推移確率を割り当てている。この図において、数字の列（横の列）、例えば、「０．１１／０．０５／０．０５／０．１８」はそれぞれ過去の感情状態の主たる感情タイプが（Ａ）ポジティブ、（Ｂ）ネガティブ、（Ｃ）その他、（Ｄ）同一の場合（目標感情タイプと同一の場合）の、現在の感情状態の感情タイプ「心地よい」から目標の感情状態の感情タイプ「落ち着いた」への推移確率を示す。また、過去の感情状態の主たる感情タイプが（Ａ）ポジティブの場合、目標の感情状態の感情タイプ「落ち着いた」への推移確率が「０．１１」であることに加え、目標の感情状態の感情タイプ「平常状態」への推移確率が「０．１７」（上から２番目の数字列の「０．１７／０／０．０５／０．３」中の「０．１７」）であり、目標の感情状態の感情タイプ「心地よい」への推移確率が「０．７２」（上から３番目の数字列の「０．７２／０．９５／０．９／０．５２」中の「０．７２」）であることがわかる。同様に図８Ｂおよび図８Ｃは、現在の感情状態の感情タイプ「苛立ち・怒り」および「期待・願望」のそれぞれについての推移確率が示される。

ここで、感情状態の初期値（すべての感情タイプがゼロ：「平常状態」）から出発して現在の感情状態の感情タイプに関して、「心地よい」（図８Ａ）、および「期待・願望」（図８Ｃ）だけが有意なスコアを有し（それぞれ０．８、０．２のスコアを有すると仮定する）、その他の要素はゼロである（現在感情状態ベクトル［「嬉しい・喜び」，「心地よい」，「安堵」，「落ち着いた」，「退屈」，「不快・後悔」，「悲しみ・失望」，「不快・後悔」，「苛立ち・怒り」，「驚き・昂ぶり」，「願望・期待」，「楽しい・感動」］＝［０，０．８，０，０，０，０，０，０，０，０，０．２，０）とする。目標感情タイプが「平常状態」の場合に、履歴のカテゴリタイプ（種別）は「同一」になり、目標感情タイプがそれ以外の場合には、「その他」（図５に示すように「平常状態」は「その他」の種別になる）になる。

目標感情状態の感情タイプ「落ち着いた」の合計スコアは、推移確率を掛け合わせて累計して、０．８×０．０５(「心地よい」から「落ち着いた」／その他）＋０．２×０．２（「期待・願望」から「落ち着いた」／その他）＝０．０８になる。同様に、目標感情状態の感情タイプ「平常状態」の合計スコアは、０．８×０．３（「心地よい」から「平常状態」／同一）＝０．２４になる。同様に、目標感情状態の感情タイプ「心地よい」の合計スコアは０．８×０．９（「心地よい」から「心地よい」／その他）＋０．２×０．３（「期待・願望」から「心地よい」／その他）＝０．７８であり、目標感情状態の感情タイプ「嬉しい・喜び」の合計スコアは０．２×０．３（「期待・願望」から「嬉しい・喜び」／その他）＝０．０６であり、目標感情状態の感情タイプ「期待・願望」の合計スコアは０．２×０．２（「期待・願望」から「期待・願望」／その他）＝０．０４である。これらスコアの最終的な累計は、０．０８（「落ち着いた」）＋０．２４（「平常状態」）＋０．７８（「心地よい」）＋０．０６（「嬉しい・喜び」）+０．０４（「期待・願望」）＝１．２となり、この累計値で、正規化する。、「落ち着いた」、「心地よい」、「安堵」、「平常状態」、「心地よい」、「嬉しい・喜び」、「期待・願望」のスコアは、正規化して、０．０６７、０．２００、０．６５０、０．０５０、０．０３になる。「平常状態」は、すべての感情タイプがゼロであらわされ、最終的には、無視される。この例では、直前の感情状態の主たる感情タイプは、遷移確率を切り替えるのに使用されるけれども、さらに、付加する重みを切り替えるために使用されて良い。

これら目標感情状態の感情タイプの値に基づいてメッセージや楽曲等のコンテンツが選択される。

先の例では、履歴を目標感情タイプとの関係で同一かどうかを判別したけれども、これに限定されない。例えば、現在の感情状態の感情タイプとの関係で同一かどうかを判別して良い。その他、種々の集計態様を採用して良い。

図１１は、目標感情状態決定部１２２の変形例を説明するものである。ここでは、上述のとおり、人の感じている現在の「気持ち」を感情スコア値を使って求めた値を「感情状態」と定義している。人の「気持ち」は常に変化していくものである。一般的に「感情状態」も最新の感情に対して、過去の感情の影響を受ける。また、より新しい感情のほうが、古い感情よりも影響が大きい。図１１においては、この過程を単純化する評価関数を定義し、現在の時間と履歴が残された時間差による重み係数を用いる（ステップＳ１０２）。

図１１は、ここで利用する以下の評価関数１～３の例を示すけれども、評価関数はこれに限定されない。
評価関数１：
ｗｅｉｇｈｔ ｖａｌｕｅ＝１．０－ｔ （０＜＝ｔ＜＝１）
評価関数２：
ｗｅｉｇｈｔ ｖａｌｕｅ＝１．０-ｔ^２ （０＜＝ｔ＜＝１）
評価関数３：
ｗｅｉｇｈｔ ｖａｌｕｅ＝－２×ｔ＋１．０ （０＜ｔ＜＝０．５）
ｗｅｉｇｈｔ ｖａｌｕｅ＝２×（ｔ^２－２×ｔ＋１．０） （０．５＜ｔ＜＝１）
ただし、評価関数１～３のすべてで
ｗｅｉｇｈｔ ｖａｌｕｅ＝１．０ （ｔ＜０）
ｗｅｉｇｈｔ ｖａｌｕｅ＝０．０ （１＜ｔ）
なお、図１２において、ｔｉｍｅ＿ｄｅｌｔａは現在の時間と履歴が残された時間差であり、
ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈは過去のどのくらいまでの時間の感情を考慮するかの設定値である。

実際の評価関数は、評価対象のコンテンツ、サービスによって適切なものが選択されて良い。

この実施例における感情状態スコアの履歴を以下の形式で保持しているものとする。ここで［ｓ...］は正規化前の感情スコア値、ｄａｔｅ＿ｔｉｍｅは感情スコア値が生成された日時を示す。
［ｓ１－１，ｓ１－２，ｓ１－３，ｓ１－４，ｓ１－５，ｓ１－６，ｓ１－７，ｓ１－８，ｓ１－９，ｓ１－１０，ｓ１－１１，ｓ１－１２］，ｄａｔｅ＿ｔｉｍｅ＿１
［ｓ２－１，ｓ２－２，ｓ２－３，ｓ２－４，ｓ２－５，ｓ２－６，ｓ２－７，ｓ２－８，ｓ２－９，ｓ２－１０，ｓ２－１１，ｓ２－１２］，ｄａｔｅ＿ｔｉｍｅ＿２
［ｓ３－１，ｓ３－２，ｓ３－３，ｓ３－４，ｓ３－５，ｓ３－６，ｓ３－７，ｓ３－８，ｓ３－９，ｓ３－１０，ｓ３－１１，ｓ３－１２］，ｄａｔｅ＿ｔｉｍｅ＿３

図１１における評価関数の横軸は時間軸である。評価関数を使う際には、過去の感情スコア（ｅｍｏｔｉｏｎ＿ｓｃｏｒｅ＿ｘ：ｘは履歴番号で０が最新、値が大きいほど時間が経過した履歴を）の影響する最大時間（ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈ）、現在の時間（ｃｕｒｒｅｎｔ＿ｔｉｍｅ）、過去の感情スコア―値が生成された時間（ｄａｔｅ＿ｔｉｍｅ＿ｘ）との関係で与えられる。すなわち、
ｔｉｍｅ＿ｄｅｌｔａ＿ｘ＝（ｃｕｒｒｅｎｔ＿ｔｉｍｅ－ｄａｔｅ＿ｔｉｍｅ＿ｘ）／ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈ
ｗｅｉｇｈｔ＿ｖａｌｕｅ＿ｘ＝Ｅｖ（ｔｉｍｅ＿ｄｅｌｔａ＿ｘ，ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈ）
である。この評価方法例においては、ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈが長くなると、過去の感情が影響を受ける程度が高くなることを意味する。ｍａｘ＿ｔｉｍｅ＿ｌｅｎｇｔｈの初期値はコンテンツの特徴やサービスの内容によって決められるけれども、ユーザ（ドライバ）がサービスを利用した際の反応結果から、ユーザごとの特徴を学習することで、一定の範囲内で調整される。

なお、この実施例ではすべての感情カテゴリで同じ評価関数を使用しているけれども、感情の種別ごとに評価関数を変更しても良い。感情状態の値（ｅｍｏｔｉｏｎ＿ｓｔａｔｕｓ）の計算例は以下のとおりである。
ｅｍｏｔｉｏｎ＿ｓｔａｔｕｓ＿ｖｅｃｔｏｒ＝Σｗｅｉｇｈｔ＿ｖａｌｕｅ＿ｘ×ｅｍｏｔｉｏｎ＿ｓｔａｔｕｓ

ここでは、感情状態の履歴をつかって、提供する感情状態を決定しているけれども、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。ＲＮＮは、「ある時点の入力がそれ以降の出力に影響を与える」ニューラルネットワークのことである。ＲＮＮでは過去の連続したデータから学習した結果を次の層の入力として再利用することで、時系列のデータを学習することができる。このようなＲＮＮによる手法を用い、感情状態の推移と、期待値となる感情状態の組み合わせを教師データとして機械学習し、モデル化することで求めることが可能である。なお、モデル化による判定と、推移確率テーブルの手法による判定方法を併用することも可能である。

このように求められた推移確率の値は、この推移計算をおこなったコンテンツを扱うサービスの初期値として設定される。実際のサービスにおいては、提供するサービスやコンテンツの内容や、ユーザのプロファイルや嗜好傾向によって違いが生じる。よって、提供したサービスやコンテンツの内容に対するユーザの反応を元に、この推移確率を、個々のユーザの実際の推移パターンにより近い値に学習によって調整をおこなうことが想定できる。

図１３は推移確率のパーソナライズの例を模式的に示すものである。この実施例において、パーソナライズ係数を推移確率テーブルに対応するテーブル（１３行×１３列のテーブルを１３個、または図９に対応して１３行×１３列のテーブルを４個）として持ち、提供する感情状態の計算の際に、推移確率テーブルの重み係数として乗じるものである。代替的には、推移確率テーブルを含めて機械学習モデルとして各ユーザもしくは類似ユーザグループごとに定期的に学習して良い。

図２の提示対象決定部１２３の入力情報および出量情報は例えば以下のものである。
［入力情報］
現在のユーザの感情状態
提供するコンテンツの感情状態
提供するコンテンツの条件
（ジャンル、年代、楽曲テーマ、季節感、アーティストなどの感性的な要素以外の属性に対する選曲条件）
［出力情報］
提供する感情状態に関連するコンテンツ情報 （コンテンツＩＤ，ＵＲＬ等）
応答メッセージ

提供されるコンテンツとしては、ドライブの状況や乗員の気分感情に関連する、音楽、画像、動画、関連情報（商品、店、場所、提供中のコンテンツや場所に関する詳細情報、記事）、応答テキスト情報が想定される。音楽、映像など音声を伴うコンテンツにおいては、音量を一時的に低くするといった制御も含まれるものとする。以下の例では、このうち、音楽および応答テキスト情報に絞って説明するけれども、これに限定されない。

提供する対象となるコンテンツには、ジャンル、リリース年、楽曲テーマ、季節感、アーティストといったコンテンツの詳細属性情報と、コンテンツの印象を表す感性メタ属性（印象ワード）を備えているものとする。ここで、感性メタ属性とはたとえば以下のような感性ワードとスコア値の集合体で表されるものとする。
優しい：０．３、温かい：０．２５、ゆったりした０．２：、穏やかな：０．１５、美しい：０．１

この発明のシステムでは、目標感情状態を推定し、この感情状態の感性タイプと感性メタとを関連付けして推薦候補コンテンツグループを作成できる仕組みを備えている。
提供するコンテンツの選別方法例としては以下の手順が考えれられる。
［選別手順例］
Ａ：選曲条件にマッチしたコンテンツを絞り込む
Ｂ：現在の感情状態にマッチした感性メタをもつコンテンツに絞りこむ
Ｃ：Ａ、Ｂで絞り込まれた候補のうちさらにユーザの嗜好を考慮したコンテンツを優先する。また、過去の一定時間に選択した同じコンテンツの優先度は下げるといった処理をおこなうといった後処理を行う。
ここでＡとＢの処理はどちらが先でもかまわない。ここで、応答テキスト文としてはこれから提供する音楽を選択した理由、音楽の雰囲気やシチュエーションに加えて、ユーザの気持ちを和らげたり、ドライブの安全を促すための言葉が含まれる。

目標感情状態の感情タイプは、図１４のようにマッピングすることができ、それぞれの感情タイプは類似ワード、関連ワードに読み替えて処理することができる。他方、コンテンツ（この例では楽曲）の印象表現は、図１５のようにマッピングすることができ、印象タイプは感情タイプと同様に類似ワード、関連ワードに読み替えて処理することができる。この実施例においては、この感情ワードマップと印象表現マップに対して、能動的－ダイナミック、受動的－スタティック、ポジティブ－陽気、ネガティブ－陰気と読み替えて軸を合わせることで、感情ワードと印象表現ワードを関連付けさせるものとする。

例えば、コンテンツ（楽曲、応答メッセージ）に印象表現ワード（図１５に示すワード）がタグとして付与され、感情ワードと印象表現ワードとの関連付けを通じて、図１４の感情タイプに1対1で対応付けられる。所定のコンテンツの目標感情状態に対する関連度は、当該コンテンツに付与される１または複数の印象表現ワードについて対応する感情タイプのスコアを累積することにより求めることができ、この累積値に応じてコンテンツを選択して良いけれども、これに限定されない。関連度を算出するのに、本出願人が提案した特許第６５７１２３１号、または、特願２０２０－０７８９４２号の手法を採用して良い。

提供する応答文は以下のように選択されて良い。応答テキスト文としてはこれから提供する音楽を選択した理由、音楽の雰囲気やシチュエーションに加えて、ユーザの気持ちを和らげたり、ドライブの安全を促すための言葉が含まれる。また、応答テキスト文には、提供するコンテンツの推薦理由に関する内容が含まれてもよい。特に、現在の主感情と提供する主感情が異なる場合には、ユーザが違和感を感じないようにするために、変更された理由（推薦理由）を同時に提供することが求められる。

応答メッセージは図１６のように、あらかじめメタ情報が付与された形式でリスト化されているものから、提供する感情状態とコンテンツの検索条件にマッチしたものの中から選択するという方法で対応できるけれども、この方法に限定されるものではなく、提供する感情状態とコンテンツの検索条件を元に文章を自動生成する方法でも良い。

タグ情報をコンテンツに付加する方法としては、一般的には以下のような手法が用いられる。

対象コンテンツ（ｅｘ．商品）の説明文、紹介記事、ブログ、投稿欄への書き込み、などのテキスト情報に対して、形態素解析などの手法を用いて、ワードや、フレーズを抽出し、商品の特徴を表すものをタグ情報として管理する。

音楽コンテンツの場合には、音楽コンテンツに関するテキスト情報から得られるタグ情報に加えて、例えば、音楽信号のテンポ、音の大きさの時系列変化、周波数スペクトラム成分の時系列変化といった情報、歌詞の情報、ジャンル情報、歌手の声質や歌い方の特徴などに関係する情報をタグ情報として管理する

映像コンテンツの場合には、映像コンテンツに関する記事やシナリオといったテキスト情報から得られるタグ情報に加えて、映像シーンの色彩の変化、演出、ＢＧＭの印象、出演者のキャラクタ設定やセリフ、声優、監督など複数の要素から判定された情報をタグ情報として管理する。

この実施例によれば、走行位置、走行状態、現在の天気、季節、時間帯といった情報に加えて、クルマの乗員の感情を推測して、それに対応する適切なコンテンツと応答メッセージを提供することができる。その際、乗員（ドライバ）の現在の感情の推定結果がネガティブだった場合、ユーザのネガティブ気持ちを段階的に和らげるコンテンツと応答メッセージを提供することで、より快適な車内空間を作り出すことができる。

つぎにこの発明の他の実施例の提案システム１００Ａについて説明する。

図１７は、この発明の他の実施例の提案システム１００Ａを示している。この図において図１と対応する箇所には対応する符号を付した。図１７においては、ユーザ３００がメガネ型ウェアラブル端末やスマートウォッチとうの携帯端末１１１Ａを携行している。携帯端末１１１Ａはユーザの音声をマイクロホン（図示しない）で取得し、また、ユーザ等の画像、動画をカメラを介して取得し、また、心拍、脳波等の身体情報を測定センサを介して取得している。携行者情報抽出部１１３Ａは、携行者情報・特徴量を抽出して、携行者状況判定サーバ１５０Ａに供給し、携行者状況を取得し、これをコンテンツ情報提供サーバ１２０に供給する。コンテンツ情報提供サーバ１２０は、携行者状況に基づいて携行者の現在の感情を判定し、状態推移確率に基づいて目標感情状態を決定し、これに基づいて提示対象を決定し、これをユーザに提案・提示する。この動作は、図１の実施例と同様である。

この実施例によれば、メガネ型ウェアラブル端末やスマートウォッチとうの携帯端末１１１Ａを携行しているユーザに対して適切な対象（楽曲やメッセージ等）を提案・提示することができる。

つぎに、この発明を危険運転判定システム４００に適用した実施例について説明する。

図１８は、この実施例を全体として示しており、この図において、コンテンツ情報提供サーバ１２０Ａは、危険運転判定部としても動作しており、現在感情状態決定部１２１から出力される現在感情に基づいて、危険運転判定部１２６が、危険運転を判定する。例えば、ドライバの感情の値が、通常値に対してネガティブに大きく変化した場合、安全上の問題があるとして、危険運転があったと判定し、他のネットワークサービス（危険運転情報管理サーバ１８０）に通知する。危険運転情報管理サーバ１８０は、危険運転と判定された回数が多い場合には、ドライバに対するリスクとして、例えば損害保険料を高くする等のペナルティを付与して良い。危険運転判定部１２６は、危険運転情報管理サーバ１８０に設けられても良い。なお、コンテンツ情報提供サーバ１２０Ａは、危険運転判定に不必要な部分を省略して良いことはもちろんである。

つぎに、この発明を位置特性付与システム５００に適用した実施例について説明する。

図１９は、この実施例を全体として示しており、この図において、コンテンツ情報提供サーバ１２０Ｂは、現在感情状態決定部１２１から出力される現在感情状態を、位置情報および時刻情報とともに、位置特性付与サーバ１９０に供給する。位置特性付与サーバ１９０は、ドライバの感情の値が、通常値に対してネガティブに大きく変化した場合、その場所と時間とを取得し、さらに他のドライバからの通知も取得し、これを集計して、頻度が高い場所（場所・時間）は、「警告ポイント」として提示することができる。また、ドライバの感情の値が 通常値に対してポジティブに大きく変化した場合も、その場所と時間とを取得し、、さらに他のドライバからの通知も取得し、これを集計して、頻度が高い場所（場所・時間）は、「推奨ポイント」として提示することができる。なお、コンテンツ情報提供サーバ１２０Ｂ、位置特性付与に不必要な部分を省略して良いことはもちろんである。

以上で実施例の説明を終了する。

なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。

１００ 提案システム
１１０ 自動車
１１１ 車載装置
１１２ ユーザインターフェース部
１１３ 走行情報抽出部
１２０ コンテンツ情報提供サーバ
１２０Ａ メッセージデータベース
１２１ 現在感情状態決定部
１２２ 目標感情状態決定部
１２３ 提示対象決定部
１２４ 現在感情状態履歴保持部
１２５ 状態推移確率情報データベース
１３０ 音楽データサーバ
１４０ 地図情報サーバ
１５０ 走行状態判定サーバ
１６０ 音楽配信サーバ
１７０ 音声認識・合成サーバ
２００ 通信ネットワーク
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主メモリ
１００３ 入出６インターフェース
１００４ 外部記憶装置
１００５ アプリケーション

Claims (16)

1. 複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案装置において、
   車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と、
   車両乗員感情状態から目標感情状態への推移が当該提案装置においてどのくらい期待さ れるかを表す状態推移確率を保持する状態推移確率保持手段と、
   上記感情状態決定手段により決定された車両乗員感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて、期待される目標感情状態を決定する目標感情状態決定手段と、
   上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
   上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを有することを特徴とする提案装置。
2. 上記車両乗員の状況を検出して上記車両乗員状況データを生成する車両乗員状況検出手段をさらに有する請求項１記載の提案装置。
3. 上記感情状態決定手段は、所定のイベントに基づいて上記車両乗員感情状態の決定処理を開始する請求項１または２記載の提案装置。
4. 上記状態推移確率保持手段は、上記車両乗員感情状態の所定の履歴ごとに状態推移確率を保持する請求項１～３のいずれかに記載の提案装置。
5. 上記車両乗員感情状態は、複数の個別の感情状態の尤度を要素とするベクトルで表される請求項１～４のいずれかに記載の提案装置。
6. 上記対象のメタ情報は、上記対象の印象を表すメタ情報である請求項１～５のいずれかに記載の提案装置。
7. 上記車両乗員感情状態の感情状態が、上記メタ情報に対応付けられている請求項６記載の提案装置。
8. 上記車両乗員は上記車両のドライバである請求項１～７のいずれかに記載の提案装置。
9. 複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案方法において、
   感情状態決定手段が、車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定するステップと、
   目標感情状態決定手段が、上記感情状態決定手段により決定された車両乗員感情状態と、状態推移確率保持手段に保持されている、車両乗員感情状態から目標感情状態への推移が当該提案方法においてどのくらい期待されるかを表す状態推移確率とに基づいて、期待 される目標感情状態を決定するステップと、
   提示対象決定手段が、上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて、上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段を参照して、提示すべき対象を決定するステップとを有することを特徴とする提案方法。
10. 複数の対象から提示すべき対象を選択して車両乗員に対して提案するための提案用コンピュータプログラムにおいて、
    コンピュータを、
    車両乗員状況を検出する車両乗員状況検出手段、
    車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段、
    車両乗員感情状態から目標感情状態への推移が当該車両乗員に対して提案するにあたりどのくらい期待されるかを表す状態推移確率を保持する状態推移確率保持手段、
    感情状態決定手段により決定された車両乗員感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて、期待される目標感情状態を決定する目標感情状態決定手段、
    上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段、および、
    上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段、
    として実現されるために使用される、複数の対象から提示すべき対象を選択して車両乗員に対して提案するための提案用コンピュータプログラム。
    
11. 複数の対象から提示すべき対象を選択してユーザに対して提案する提案装置において、
    ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段と、
    ユーザ感情状態から目標感情状態への推移が当該提案装置においてどのくらい期待され るのかを表す状態推移確率を保持する状態推移確率保持手段と、
    上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて、期待される目標感情状態を決定する目標感情状態決定手段と、
    上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
    上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを有することを特徴とする提案装置。
12. 携帯型端末をさらに有し、上記携帯型端末は上記ユーザ状況データを上記感情状態決定手段に供給する請求項１１記載の提案装置。
13. 上記携帯型端末は、メガネ型ウェアラブル端末である請求項１２記載の提案装置。
14. 上記携帯型端末は、スマートウォッチである請求項１２記載の提案装置。
15. 複数の対象から提示すべき対象を選択してユーザに対して提案する提案方法において、
    感情状態決定手段が、ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定するステップと、
    目標感情状態決定手段が、上記感情状態決定手段により決定されたユーザ感情状態と、状態推移確率保持手段に保持されている、ユーザ感情状態から目標感情状態への推移が当 該提案方法においてどのくらい期待されるかを表す状態推移確率とに基づいて、期待され る目標感情状態を決定するステップと、
    上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
    提示対象決定手段が、上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて、上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段を参照して、提示すべき対象を決定するステップとを有することを特徴とする提案方法。
16. 複数の対象から提示すべき対象を選択してユーザに対して提案するための提案用コンピ ュータプログラムにおいて、
    コンピュータを、
    ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段、
    ユーザ乗員感情状態から目標感情状態への推移が当該ユーザに対して提案するにあたり どのくらい期待されるのかを表す状態推移確率を保持する状態推移確率保持手段、
    上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて、期待される目標感情状態を決定する目標感情状態決定手段、
    上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段、および、
    上記目標感情状態決定手段により決定された上記期待される目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段、
    として実現されるために使用される、複数の対象から提示すべき対象を選択してユーザに対して提案するための提案用コンピュータプログラム。

Images