JP7434015B2 - 情報提供システム、情報提供装置、情報提供装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、情報提供システム、情報提供装置、情報提供装置の制御方法、及び、プログラム情報提供装置に関する。

従来、車両に搭載された装置が、ユーザに対してパーソナルアシスタンスを提供することにより、ユーザが物を置く等のイベントを認識し、ユーザにイベントを思い出させる技術が提案されている（例えば、特許文献１参照）。特許文献１記載の装置は、例えば、ユーザが鍵を置くというイベントを認識した場合に、鍵の位置に関連するデータを能動的かつ自動的に出力するというものである。

特開２０１９－３２８４３号公報

車両等の移動体の利用者にとって有用な情報は、利用者自身が行ったイベントに関する情報に限られず、多様な情報が考えられる。また、利用者に情報を提供するタイミングが適切であることが望まれる。
本発明はかかる背景に鑑みてなされたものであり、移動体の利用者にとって有用な情報を、適切なタイミングで効果的に提供することを目的とする。

上記目的を達成するための第１態様として、移動体に配置される移動体端末装置と、前記移動体端末装置と通信可能なサーバとを備え、前記移動体端末装置は、前記移動体に搭乗している利用者が発話する音声を集音するマイクと、前記マイクにより集音した音声に関する発話データを送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信する移動体通信部と、を備え、前記サーバは、前記発話データを受信するサーバ通信部と、前記発話データに基づき前記利用者の発話内容を認識する音声認識部と、前記音声認識部の認識結果に基づいて前記利用者の発話内容を解釈する意味解釈部と、前記意味解釈部の解釈処理の結果に基づき、前記レコメンド情報を生成するレコメンド情報生成部と、を備え、前記移動体端末装置は、前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄するレコメンド情報出力部を備え、前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である、情報提供システムが挙げられる。

上記情報提供システムにおいて、前記意味解釈部の解釈処理の結果、及び／または前記レコメンド情報を記憶するレコメンド情報記憶部と、前記利用者の行動を認識する利用者行動認識部と、を備え、前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する構成としてもよい。

上記情報提供システムにおいて、前記移動体端末装置は、前記移動体の位置情報を前記移動体通信部により前記サーバに送信し、前記サーバが備える前記サーバ通信部は、前記移動体の位置情報を受信し、前記レコメンド情報生成部は、前記移動体の位置情報と、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する構成としてもよい。

上記情報提供システムにおいて、前記移動体端末装置は、前記利用者に関する利用者プロファイルを前記サーバに送信し、前記サーバが備える前記サーバ通信部は、前記利用者プロファイルを受信し、前記レコメンド情報生成部は、前記利用者プロファイルと、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する構成としてもよい。

上記情報提供システムにおいて、前記サーバは、前記発話データの送信の契機となる契機キーワードを前記サーバ通信部により送信し、前記移動体端末装置は、前記移動体通信部により受信した前記契機キーワードを記憶するキーワード記憶部と、前記マイクにより集音した音声から、前記契機キーワードを検出するキーワード検出部と、を備え、前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声に関する前記発話データを、前記移動体通信部により送信する構成としてもよい。

上記情報提供システムにおいて、前記移動体端末装置は、前記マイクにより集音した音声を記憶する音声記憶部を備え、前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声、及び、その前後の所定時間における音声に関する前記発話データを、前記移動体通信部により送信する構成としてもよい。

上記目的を達成するための第２態様として、移動体に配置される情報提供装置であって、前記移動体の利用者が発話する音声を集音するマイクと、前記マイクにより集音した音声に関する発話データをサーバに送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信する移動体通信部と、前記レコメンド情報を記憶するレコメンド情報記憶部と、前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄するレコメンド情報出力部と、を備え、前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である、情報提供装置が挙げられる。

上記情報提供装置において、前記移動体に搭乗している利用者の行動を認識する利用者行動認識部を備え、前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する構成としてもよい。

上記情報提供装置において、前記レコメンド情報に基づく購入操作を受け付ける受付部を備え、前記受付部により前記購入操作を受け付けた場合に、前記レコメンド情報出力部により出力した前記レコメンド情報に基づく購入要求を、前記移動体通信部によって送信する構成としてもよい。

上記目的を達成するための第３態様として、移動体に配置される情報提供装置の制御方法であって、前記移動体の利用者が発話する音声をマイクにより集音し、前記マイクにより集音した音声に関する発話データをサーバに送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信し、前記レコメンド情報を記憶し、前記移動体が所定の状態になったときに、受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄し、前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である、情報提供装置の制御方法が挙げられる。

上記目的を達成するための第４態様として、移動体に配置される情報提供装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータにより、前記移動体の利用者が発話する音声をマイクにより集音させ、前記マイクにより集音した音声に関する発話データを移動体通信部によってサーバに送信させ、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を前記移動体通信部によって受信させ、前記レコメンド情報をレコメンド情報記憶部に記憶させ、前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存させ、前記移動体の停止中に前記レコメンド画面をレコメンド情報出力部に出力させ、所定時間が経過した場合は前記レコメンド画面を破棄させ、前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である、プログラムが挙げられる。

上記構成によれば、移動体の利用者が発話した内容に関連する商品やサービスに関する情報を、移動体が停車しているときに提供する。これにより、利用者が移動体による移動から解放されてリラックスし、レコメンド情報に注意を向けることが可能な状態で、商品やサービスのレコメンド情報を出力することにより、適切なタイミングで有用な情報を提供できる。

情報提供システムの概要を示す説明図。 情報提供装置が搭載された車両の構成図。 情報提供装置の構成図。 情報提供サーバのブロック図。 情報提供システムの動作を示すシーケンス図。 情報提供装置の動作を示すフローチャート。 情報提供サーバの動作を示すフローチャート。 情報提供装置の動作を示すフローチャート。 レコメンド画面の一例を示す図。

［１．情報提供システムの概要］
図１を参照して、本実施形態の情報提供システム２００の概要を説明する。
情報提供システム２００は、車両Ｖに搭載された情報提供装置１が、通信ネットワーク５００を介して情報提供サーバ３００と通信を実行し、車両Ｖに乗車している利用者Ｕに対してレコメンド情報を提供するシステムである。車両Ｖは、本発明の移動体に相当する。

図１のＣ１に示したように、情報提供装置１は、車両Ｖが停車している間、より詳細には、情報提供装置１が駐車地点Ｐａに駐車し、利用者Ｕが車両Ｖから降車する行動が認識されたタイミングで、タッチパネル９０にレコメンド画面を表示する。

レコメンド画面は、利用者Ｕに対し、商品の購入やサービスの利用を提案する情報を含み、商品の購入やサービスの利用を申し込む入力部を有する。利用者Ｕは、レコメンド画面の入力部に対して操作を行うことで、商品の購入やサービスの利用を簡単に申し込むことが可能である。

ここで、利用者Ｕが降車する状況では、利用者Ｕは、それまで行ってきた車両Ｖの運転の緊張から解放されてリラックスし、タッチパネル９０に表示されたレコメンド画面を自然に注視すると想定される。そのため、レコメンド画面の訴求効果が極めて高いと期待される。

情報提供サーバ３００は、通信ネットワーク５００を通じて、１または複数のＷｅｂサーバ４１０と通信を実行する。Ｗｅｂサーバ４１０は、商品の販売やサービスの提供の受付を行うサーバであり、情報提供サーバ３００からの要求に応じて、販売する商品やサービスに関する情報を情報提供サーバ３００に送信する。
レコメンド画面により利用者Ｕに提案される商品やサービスは、情報提供サーバ３００が、Ｗｅｂサーバ４１０から情報を取得することにより決定する。

また、Ｗｅｂサーバ４１０は、利用者Ｕが情報提供装置１を操作することにより、商品やサービスの購入を指示した場合、商品やサービスの手配や決済を行う機能を有していてもよい。例えば、利用者Ｕがレコメンド画面により洗車サービスの利用を指示した場合、Ｗｅｂサーバ４１０は、洗車サービス店４５０に予約受付の指示Ｇｄｅを送信する。これにより、利用者Ｕは、洗車サービス店４５０で車両Ｖの洗車を依頼できる。

情報提供装置１は、利用者Ｕが車両Ｖの車内で発話した音声を取得して、取得した音声に関するデータを情報提供サーバ３００に送信する。情報提供サーバ３００は、利用者Ｕが発話した内容を認識し、発話内容に基づいてレコメンド情報を生成する。情報提供装置１は、情報提供サーバ３００からレコメンド情報を受信し、受信したレコメンド情報に基づきレコメンド画面を表示する。情報提供サーバ３００は、車両Ｖの位置情報や、利用者Ｕのプロファイルを反映して、レコメンド情報を生成してもよい。

［２．車両の構成］
図２を参照して、情報提供装置１が搭載された車両Ｖの構成について説明する。車両Ｖは、乗車定員５名の乗用車であり、運転席７ａ、助手席７ｂ、リア右席７ｃ、リア中央席７ｄ、及びリア左席７ｅを備えている。各席７ａ～７ｅには、不図示のシートベルトの装着の有無を検出するシートベルトスイッチ６０～６４と、着座センサ７０～７４とが設けられている。

図２では、車両Ｖの携帯鍵１６０を所持した利用者Ｕが、運転席７ａに着座している状況を示している。また、利用者Ｕにより使用される利用者端末１５０が、助手席７ｂに置かれている。車両Ｖは、右前ドア２、左前ドア３、右後ドア４、及び左後ドア５を備えており、右前ドア２のドアノブには、ドアタッチセンサ５３が設けられている。携帯鍵１６０を所持した利用者Ｕは、ドアタッチセンサ５３に触れることによって、車両Ｖのドア２～６を解錠することができる。

車両Ｖの前部には車両Ｖの前方を撮影するフロントカメラ４０が設けられ、車両Ｖの後部には車両Ｖの後方を撮影するリアカメラ４３が設けられている。車両Ｖの右側部には車両Ｖの右側方を撮影する右サイドカメラ４１が設けられ、車両Ｖの左側部には車両Ｖの左側方を撮影する左サイドカメラ４２が設けられている。

車室のダッシュボードには、運転席７ａ及び助手席７ｂに着座している利用者を撮影する前席カメラ４５、タッチパネル９０、スピーカ９１、及び、マイク９２が設けられている。車室の天井には、リア右席７ｃ、リア中央席７ｄ、及びリア左席７ｅに着座している利用者を撮影する後席カメラ４６が設けられている。

マイク９２は、音声を集音する。マイク９２は、車両Ｖに搭乗している人が発話する音声を集音するために設けられる。例えば、マイク９２は、車両Ｖを運転する利用者Ｕや助手席７ｂに着座している人が発話する音声を集音しやすいように、ダッシュボードまたはルーフコンソール等に配置される。マイク９２は、車両Ｖの車室に複数設けられてもよい。例えば、リア右席７ｃ、リア中央席７ｄ、及びリア左席７ｅに着座する人が発話する音声を集音するマイクを、ダッシュボードとは別の位置に設けてもよい。

各ドア２～５にはドアの開閉を検知するドアスイッチ８０～８３が設けられている。テールゲート６にも、テールゲート６の開閉を検知するドアスイッチ８４が設けられている。さらに、運転席７ａの付近には、電源スイッチ５４と、シフトレバー５５のシフト位置を検知するシフトスイッチ５５ａが備えられている。また、車両Ｖは、アクセルペダル５０への踏力を検出するアクセルペダルセンサ５０ａ、ブレーキペダル５１への踏力を検出するブレーキペダルセンサ５１ａ、及びサイドブレーキペダル５２のオン／オフを検出するサイドブレーキスイッチ５２ａを備えている。

さらに、車両Ｖは、各ドア２～５及びテールゲート６を施錠するドアロック機構１００～１０４、車両Ｖの走行速度を検出する速度センサ１２０、通信ユニット１３０、及びナビゲーション装置１４０を備えている。通信ユニット１３０は、利用者端末１５０、携帯鍵１６０、情報提供サーバ３００等との間で通信を行う。ナビゲーション装置１４０は、不図示のＧＰＳ（Global Positioning System）センサと地図データを有し、ＧＰＳセンサにより検出される車両Ｖの位置と地図データとに基づいて、目的地までのルート案内等を実行する。通信ユニット１３０は、移動体通信部の一例に対応する。通信ユニット１３０は、情報提供装置１の一部を構成するものであってもよい。

［３．情報提供装置の構成］
図３を参照して、情報提供装置１の構成について説明する。情報提供装置１は、情報提供装置１の各部を制御する制御部１０、及び、プログラムやデータを記憶する記憶部３０を備える。制御部１０は、ＣＰＵ（Central Processing Unit）やマイコン等のプロセッサにより、記憶部３０が記憶する制御用プログラム３１を実行することにより、情報提供装置１の各種の機能を実現する。図３には、制御部１０が構成する機能部として、利用者行動認識部１１、通信制御部１２、発話音声処理部１３、キーワード検出部１４、レコメンド情報出力部１５、サービス依頼受付部１６、位置情報取得部１７、及び、速度認識部１８を示す。これらの各機能部は、例えば、プロセッサがプログラムを実行することにより、ソフトウェアとハードウェアの協働により実現される。また、これらの機能部に相当するハードウェアを制御部１０が備える構成であってもよい。制御部１０は、不図示のインターフェイス回路を備えてもよい。

記憶部３０は、半導体メモリデバイスや磁気記録装置により構成され、プログラムやデータを不揮発的に記憶する。記憶部３０は、制御用プログラム３１に加え、契機キーワード３３、起動キーワード３４、レコメンド情報３５、及び、利用者プロファイル３６を記憶する。記憶部３０は、キーワード記憶部の一例に対応する。また、記憶部３０の記憶領域を利用して、音声記憶部３２が設けられる。

音声記憶部３２は、音声データを一時的に記憶する記憶領域であり、リングバッファとして機能し、後述するように発話音声処理部１３が出力する最新の所定時間分の音声データを記憶する。

契機キーワード３３は、情報提供システム２００がレコメンド情報の生成および出力を行う処理のトリガーとなる特定の語、或いは語句である。契機キーワード３３は、後述するように、マイク９２が集音する音声から、キーワード検出部１４によって検出される。このため、利用者Ｕが、自由会話において発話する可能性がある語または語句であることが好ましく、自由会話で用いられるように短い語または語句であるとよい。契機キーワード３３は特定の１つの語または語句に限らず、関連する複数の語または語句を含んでも良い。契機キーワード３３は、情報提供サーバ３００が、後述するように所定の周期で情報提供装置１に配信する。

契機キーワード３３は、社会的なトレンドとなっている商品やサービスの名称や内容に関連する語とすることができる。例えば、季節性感染症が流行している時期には、マスク等の衛生用品、医薬品、健康食品等の名称が契機キーワード３３となり得る。また、例えば、入学式、卒業式、運動会、文化祭、夏期休暇、入社式など、学校や企業において季節的なイベントが開催される時期には、これらのイベントに関連する語句が契機キーワード３３となり得る。

契機キーワード３３は、利用者Ｕの個人的な属性や経験に関する情報に基づき選択されてもよい。例えば、利用者Ｕの購買履歴、サービス利用履歴から抽出されてもよいし、利用者Ｕの趣味嗜好や、職業や家族構成等の社会的属性に関連する語句が契機キーワード３３となり得る。例えば、家族に乳幼児が含まれる場合には、おむつ、ミルク、ベビーフード等が契機キーワード３３となり得る。また、例えば、利用者Ｕの家族に就学児童或いは学生が含まれる場合には、学用品、飲み物、菓子等の名称が契機キーワード３３となり得る。また、例えば、利用者Ｕの家族に高齢者が含まれる場合には、介護食や介護用品等の名称が契機キーワード３３となり得る。また、利用者Ｕがペットを飼育している場合には、ペット用の食品やペット飼育用品の等の名称が契機キーワード３３となり得る。

契機キーワード３３は、天候や季節に応じて必要とされる物品やサービスに関連する語或いは語句であってもよい。例えば、降雪期にスタッドレスタイヤを契機キーワード３３として選択してもよいし、天気予報に基づき、日傘等の暑季対策商品の名称が契機キーワード３３となり得る。

契機キーワード３３は、ナビゲーション装置１４０に設定された目的地やナビゲーション装置１４０が案内する経路に関連する語や語句であってもよい。例えば、観光地の名産品や観光施設等の名称が契機キーワード３３となり得る。

契機キーワード３３は、利用者Ｕのスケジュールに関連する語や語句であってもよい。例えば、情報提供サーバ３００が、利用者Ｕのスケジュール情報を管理する、不図示のスケジュール情報サーバから情報を取得可能な構成において、利用者Ｕの行動予定において必要な物品や行動予定に関連するサービス等の名称が契機キーワード３３となり得る。

起動キーワード３４は、利用者Ｕが情報提供システム２００の起動を指示する語または語句として予め設定されている。利用者Ｕは、情報提供システム２００の動作開始を意図的に指示したい場合に、起動キーワード３４を発話する。つまり、起動キーワード３４は、利用者Ｕが認識している指示用の語または語句である。

レコメンド情報３５は、情報提供サーバ３００が情報提供装置１に送信するレコメンド情報Ｄｒｅに含まれる情報である。レコメンド情報Ｄｒｅは、利用者Ｕが発話した音声に契機キーワード３３が含まれる場合に、利用者Ｕが発話した契機キーワード３３に関連する情報として、情報提供サーバ３００が生成し、送信する。

利用者プロファイル３６は、車両Ｖを使用する利用者Ｕに関する情報であり、予め記憶部３０に記憶される。利用者プロファイル３６は、例えば、情報提供装置１が利用者端末１５０と通信を実行して、利用者端末１５０から取得してもよい。また、利用者Ｕがタッチパネル９０を操作して、入力してもよい。利用者プロファイル３６は、利用者Ｕの購買履歴、サービス利用履歴から抽出されてもよいし、利用者Ｕの趣味嗜好や、職業や家族構成等の社会的属性を示す情報を含んでもよい。また、利用者プロファイル３６は、利用者Ｕの居住地域や勤務先の位置情報を含んでもよい。また、利用者プロファイル３６は、利用者Ｕのスケジュールに関する情報を含んでもよい。

情報提供装置１には、フロントカメラ４０、右サイドカメラ４１、左サイドカメラ４２、及びリアカメラ４３に撮影された車両Ｖの周囲の画像が入力される。また、情報提供装置１には、前席カメラ４５、及び後席カメラ４６により撮影された車両Ｖの車室内の画像が入力される。また、情報提供装置１には、マイク９２が集音した音声の音声信号が、マイク９２から入力される。マイク９２は、情報提供装置１の一部を構成するものであってもよい。

さらに、情報提供装置１には、アクセルペダルセンサ５０ａ、ブレーキペダルセンサ５１ａ、サイドブレーキスイッチ５２ａ、ドアタッチセンサ５３、電源スイッチ５４、シフトスイッチ５５ａ、シートベルトスイッチ６０～６４、着座センサ７０～７４、ドアスイッチ８０～８４の検出信号、及びドアロック機構１００～１０４に備えられた不図示のドアロックセンサによる各ドア２～５とテールゲート６のロック検出信号が入力される。

また、情報提供装置１には、タッチパネル９０のタッチ位置検出信号、速度センサ１２０の速度検出信号、及びナビゲーション装置１４０により検出される車両Ｖの現在位置（緯度、経度）の情報が入力される。

情報提供装置１から出力される制御信号により、タッチパネル９０の画面表示、スピーカ９１から出力される音（音声ガイダンス、チャイム音等）が制御される。

利用者行動認識部１１は、フロントカメラ４０、右サイドカメラ４１、左サイドカメラ４２、及びリアカメラ４３による車両Ｖの周囲の撮影画像、前席カメラ４５及び後席カメラ４６による車両Ｖの車室内の撮影画像、アクセルペダルセンサ５０ａ、ブレーキペダルセンサ５１ａ、サイドブレーキスイッチ５２ａ、ドアタッチセンサ５３、電源スイッチ５４、シフトスイッチ５５ａ、シートベルトスイッチ６０～６４、着座センサ７０～７４、ドアスイッチ８０～８４の検出信号、及びドアロック機構１００～１０４に備えられた不図示のドアロックセンサによる各ドア２～５とテールゲート６のロック検出信号等に基づいて、利用者Ｕの行動を認識する。

通信制御部１２は、通信ユニット１３０を制御して、利用者端末１５０、携帯鍵１６０、情報提供サーバ３００等との間で通信を行う。通信制御部１２は、情報提供サーバ３００から受信した情報を、必要に応じて記憶部３０に記憶させる。

発話音声処理部１３は、マイク９２により集音された音声信号をデジタル音声データに変換して処理する。発話音声処理部１３は、音声データを音声記憶部３２に記憶させる。

キーワード検出部１４は、発話音声処理部１３が出力する音声データを解析して、契機キーワード３３に該当する音声を検出する。また、キーワード検出部１４は、発話音声処理部１３が出力する音声データを解析して、起動キーワード３４に該当する音声を検出する。これらの処理において、キーワード検出部１４は、例えば、音声データに対する音声認識処理を実行して、音声データをテキストデータに変換し、変換したテキストデータにおいて契機キーワード３３や起動キーワード３４を検出する。

発話音声処理部１３は、キーワード検出部１４によって契機キーワード３３が検出された場合に、発話データＤｖｏを生成する。発話データＤｖｏは、キーワード検出部１４が契機キーワード３３を検出したときの音声のデータと、契機キーワード３３に相当する音声の前後に発話された音声のデータとを含む。すなわち、発話音声処理部１３は、音声記憶部３２に記憶された音声データから、キーワード検出部１４が検出した契機キーワード３３の音声データ、契機キーワード３３より前の所定時間に集音された音声データ、及び、契機キーワード３３より後の所定時間に集音された音声データを抽出する。所定時間は、例えば秒単位で予め設定されていてもよいし、発話音声処理部１３が、利用者Ｕの発話の切れ目を検出して、所定時間を決定してもよい。発話音声処理部１３が生成する発話データＤｖｏは、通信制御部１２により送信される。発話データＤｖｏは、音声データとともに、位置情報取得部１７がナビゲーション装置１４０から取得する位置情報、及び、利用者プロファイル３６を含んでもよい。

レコメンド情報出力部１５は、利用者行動認識部１１により、利用者Ｕが車両Ｖから降りると推定される特定行動が認識されたときに、レコメンド情報３５に基づいてレコメンド画面をタッチパネル９０に表示する。レコメンド画面のタッチパネル９０への表示は、レコメンド情報の出力に相当する。なお、レコメンド情報の出力を、スピーカ９１からの音声出力によって行うようにしてもよい。

サービス依頼受付部１６は、レコメンド画面に表示される注文ボタンのタッチ操作に応じて、商品購入またはサービス提供の依頼を受け付ける。通信制御部１２は、通信ユニット１３０を介した通信の制御を行い、サービス依頼受付部１６により商品購入またはサービス提供の依頼が受け付けられたときに、購入情報を、通信ユニット１３０を介して情報提供サーバ３００に送信する。サービス依頼受付部１６は、受付部の一例に対応する。なお、利用者端末１５０を通信ユニットとして用いてもよい。

通信制御部１２は、情報提供サーバ３００からの要求に応じて、位置情報および利用者プロファイル３６を通信ユニット１３０により送信する。
通信制御部１２は、発話音声処理部１３が生成する発話データＤｖｏを通信ユニット１３０により送信する。
通信制御部１２は、情報提供サーバ３００が送信するキーワード情報Ｄｋｗを受信し、キーワード情報Ｄｋｗから契機キーワード３３を抽出して、記憶部３０に記憶させる。また、通信制御部１２は、情報提供サーバ３００が送信するレコメンド情報Ｄｒｅを通信ユニット１３０により受信し、レコメンド情報Ｄｒｅからレコメンド情報３５を抽出して、記憶部３０に記憶させる。

速度認識部１８は、速度センサ１２０の検出信号に基づいて、車両Ｖの速度を認識する。

［４．情報提供サーバの構成］
図４は、情報提供サーバ３００の機能的構成を示すブロック図である。情報提供サーバ３００は、情報提供サーバ３００の各部を制御するサーバ制御部３１０、及び、プログラムやデータを記憶するサーバ記憶部３２０を備える。サーバ制御部３１０は、ＣＰＵやマイコン等のプロセッサにより、サーバ記憶部３２０が記憶する不図示の制御用プログラムを実行することにより、情報提供サーバ３００の各種の機能を実現する。図４には、サーバ制御部３１０が構成する機能部として、音声認識部３１１、意味解釈部３１２、レコメンド情報生成部３１３、及び、契機キーワード配信部３１４を示す。これらの各機能部は、例えば、プロセッサがプログラムを実行することにより、ソフトウェアとハードウェアの協働により実現される。また、これらの機能部に相当するハードウェアをサーバ制御部３１０が備える構成であってもよい。サーバ制御部３１０は、不図示のインターフェイス回路を備えてもよい。

サーバ記憶部３２０は、半導体メモリデバイスや磁気記録装置により構成され、プログラムやデータを不揮発的に記憶する。サーバ記憶部３２０は、不図示の制御用プログラムに加え、装置ＩＤ３２１、利用者プロファイル３２２、位置情報３２３、及び、レコメンド情報３２４を記憶する。

装置ＩＤ３２１は、情報提供装置１に固有の識別情報である。情報提供サーバ３００は、情報提供サーバ３００と通信を行う複数の情報提供装置１について、装置ＩＤ３２１を記憶することができる。

情報提供サーバ３００は、サーバ通信部３０１を備える。サーバ通信部３０１は、サーバ制御部３１０の制御に従って、通信ネットワーク５００を通じて情報提供装置１やＷｅｂサーバ４１０と通信を実行する。

例えば、サーバ通信部３０１は、情報提供装置１から利用者プロファイル３６を受信した場合、受信した情報を利用者プロファイル３２２として、装置ＩＤ３２１に対応づけてサーバ記憶部３２０に記憶させる。また、サーバ通信部３０１は、情報提供装置１から位置情報を受信した場合、受信した情報を位置情報３２３として、装置ＩＤ３２１に対応づけてサーバ記憶部３２０に記憶させる。

音声認識部３１１は、サーバ通信部３０１が情報提供装置１から受信する発話データＤｖｏから音声データを抽出し、抽出した音声データの認識処理を行う。例えば、音声認識部３１１は、音声データのテキスト変換を行う。
意味解釈部３１２は、音声認識部３１１による音声データの認識結果に基づき、音声データの内容の意味解釈を行う。例えば、意味解釈部３１２は、音声認識部３１１が音声データを変換したテキストデータの形態素解析及び言語解析を実行することにより、利用者Ｕが発話した内容を解釈する。

レコメンド情報生成部３１３は、意味解釈部３１２の解釈の結果に基づいて、レコメンド情報３２４を生成し、サーバ記憶部３２０に記憶する。レコメンド情報生成部３１３は、例えば、意味解釈部３１２が解釈した発話内容に適合する商品やサービスに関する情報を、Ｗｅｂサーバ４１０等から収集し、これらの商品やサービスを利用者Ｕに提案するためのレコメンド情報３２４を生成する。レコメンド情報生成部３１３は、意味解釈部３１２の解釈処理の結果に加え、利用者プロファイル３２２や位置情報３２３を用いてレコメンド情報３２４を生成してもよい。例えば、レコメンド情報生成部３１３は、利用者プロファイル３２２に基づき、利用者Ｕの家族構成や購買履歴に関連の高い商品やサービスに関するレコメンド情報３２４を生成する。また、例えば、レコメンド情報生成部３１３は、位置情報３２３に基づき、情報提供装置１の現在の位置に関連する商品や、情報提供装置１の現在の位置から近い場所で提供されるサービスに関するレコメンド情報３２４を生成する。レコメンド情報生成部３１３は、生成したレコメンド情報３２４を含むレコメンド情報Ｄｒｅを、サーバ通信部３０１により情報提供装置１に送信させる。

契機キーワード配信部３１４は、予め設定された周期で、契機キーワード３３を生成し、契機キーワード３３を含むキーワード情報Ｄｋｗを生成する。契機キーワード配信部３１４は、生成したキーワード情報Ｄｋｗを、サーバ通信部３０１により送信させる。

［５．契機キーワードの配信］
図５のシーケンス図を参照して、契機キーワード３３の配信に係る情報提供システム２００の動作を説明する。
情報提供サーバ３００は、予め設定された周期に基づき、契機キーワード３３の更新タイミングが到来したことを検知すると（ステップＳＴ１）、情報提供装置１に対し、起動確認の信号を送信する（ステップＳＴ２）。情報提供サーバ３００が契機キーワード３３を配信する対象の情報提供装置１が複数ある場合、情報提供サーバ３００は、各々の情報提供装置１に対して起動確認を送信する。ここで、起動確認の送信先の情報提供装置１が動作していない場合、情報提供サーバ３００は、情報提供装置１から応答がないことから、起動確認が失敗したと判定する（ステップＳＴ３）。この場合、情報提供サーバ３００は、該当の情報提供装置１に対し、次の更新タイミングに契機キーワード３３を配信する。

情報提供サーバ３００は、次の更新タイミングが到来したことを検知すると（ステップＳＴ４）、ステップＳＴ２と同様に、情報提供装置１に対し、起動確認の信号を送信する（ステップＳＴ５）。対象の情報提供装置１が動作中である場合、情報提供装置１は、情報提供サーバ３００が送信する起動確認を受信し（ステップＳＴ２１）、位置情報取得部１７が取得した位置情報と利用者プロファイル３６とを含む応答を、情報提供サーバ３００に送信する（ステップＳＴ２２）。

情報提供サーバ３００は、情報提供装置１からの応答を受信し、起動確認に成功したと判定する（ステップＳＴ６）。ここで、情報提供サーバ３００は、情報提供装置１が送信した利用者プロファイル３６を、サーバ記憶部３２０に利用者プロファイル３２２として記憶させる。また、情報提供サーバ３００は、情報提供装置１が送信した位置情報を、位置情報３２３としてサーバ記憶部３２０に記憶させる。

情報提供サーバ３００は、利用者プロファイル３２２を参照し（ステップＳＴ７）、位置情報３２３を参照する（ステップＳＴ８）。情報提供サーバ３００は、利用者プロファイル３２２及び位置情報３２３に基づき、契機キーワードを作成する（ステップＳＴ９）。情報提供サーバ３００は、作成した契機キーワードを含むキーワード情報Ｄｋｗを、情報提供装置１に送信する（ステップＳＴ１０）。情報提供装置１は、情報提供サーバ３００からキーワード情報Ｄｋｗを受信し、（ステップＳＴ２３）、キーワード情報Ｄｋｗから契機キーワード３３を抽出して、記憶部３０に記憶する（ステップＳＴ２４）。

［６．レコメンド情報の出力］
図６は、情報提供装置１の動作を示すフローチャートであり、契機キーワード３３の検出に関する動作を示す。図７は、情報提供サーバ３００の動作を示すフローチャートであり、レコメンド情報の送信に関する動作を示す。図８は、情報提供装置１の動作を示すフローチャートであり、レコメンド情報の出力に関する動作を示す。これら図６、図７及び図８と、図９のレコメンド画面の例とを参照して、情報提供システム２００の動作を説明する。

発話音声処理部１３は、マイク９２から入力される音声信号に基づく音声データの記録を開始する（ステップＳＴ３１）。ステップＳＴ３１の後、発話音声処理部１３は、音声データを音声記憶部３２に順次書き込む処理を行う。

キーワード検出部１４は、発話音声処理部１３が生成する音声データから契機キーワード３３及び起動キーワード３４を検出する処理を開始する（ステップＳＴ３２）。発話音声処理部１３は、キーワード検出部１４が音声データから起動キーワード３４を検出したか否かを判定し（ステップＳＴ３３）、起動キーワード３４を検出したと判定した場合（ステップＳＴ３３；ＹＥＳ）、後述するステップＳＴ４０に移行する。

起動キーワード３４を検出していないと判定した場合（ステップＳＴ３３；ＮＯ）、発話音声処理部１３は、キーワード検出部１４が契機キーワード３３を検出したか否かを判定する（ステップＳＴ３４）。発話音声処理部１３は、契機キーワード３３を検出したと判定した場合（ステップＳＴ３４；ＹＥＳ）、音声記憶部３２の音声データを抽出する（ステップＳＴ３５）。詳細には、ステップＳＴ３５で、発話音声処理部１３は、音声記憶部３２に記憶された音声データから、契機キーワード３３の前Ｘ秒と、契機キーワード３３に相当する音声データと、契機キーワード３３の後Ｙ秒とを含む音声データを抽出する。Ｘ秒及びＹ秒は上記の所定時間であり、それぞれ予め設定されている。

発話音声処理部１３は、ステップＳＴ３５で抽出した音声データを含む発話データＤｖｏを生成し、通信ユニット１３０により送信する（ステップＳＴ３６）。ステップＳＴ３６で、発話音声処理部１３は、音声データに加え、位置情報取得部１７が取得した位置情報と、利用者プロファイル３６とを含む発話データＤｖｏを生成して送信してもよい。

通信制御部１２は、通信ユニット１３０によって情報提供サーバ３００からレコメンド情報Ｄｒｅを受信し（ステップＳＴ３７）、レコメンド情報３５として記憶部３０に記憶させる（ステップＳＴ３８）。通信制御部１２は、記憶部３０が既にレコメンド情報３５を記憶している場合、ステップＳＴ３８でレコメンド情報３５を更新する。ステップＳＴ３８で、通信制御部１２は、レコメンド情報３５を置き換えてもよいし、先に記憶されていたレコメンド情報３５に、ステップＳＴ３７で受信したレコメンド情報Ｄｒｅの内容を追加してもよい。

制御部１０は、情報提供装置１の動作を停止するか否かを判定し（ステップＳＴ３９）、動作を停止する場合には（ステップＳＴ３９；ＹＥＳ）、所定のシャットダウンシーケンスを実行して、本処理を終了する。情報提供装置１の動作を停止しない場合（ステップＳＴ３９；ＮＯ）、制御部１０はステップＳＴ３３に戻る。
また、発話音声処理部１３が、契機キーワード３３を検出していないと判定した場合（ステップＳＴ３４；ＮＯ）、制御部１０はステップＳＴ３９の判定を実行する。

一方、発話音声処理部１３により、キーワード検出部１４が起動キーワード３４を検出したと判定された場合（ステップＳＴ３３；ＹＥＳ）、制御部１０はアシスタンス機能を起動する（ステップＳＴ４０）。アシスタンス機能は、制御部１０が、スピーカ９１から音声を出力することにより、利用者Ｕの発話に対して音声で答え、擬似的な自由会話を行う機能である。例えば、制御部１０は、利用者Ｕの発話による指示を受け付けて、利用者Ｕに対して指示を受け付けた旨の音声をスピーカ９１から出力し、指示された処理を実行する。

キーワード検出部１４は、アシスタンス機能の実行中においても、発話音声処理部１３が生成する利用者Ｕの発話音声の音声データから契機キーワード３３の検出を実行する。発話音声処理部１３は、キーワード検出部１４が契機キーワード３３を検出したか否かを判定する（ステップＳＴ４１）。発話音声処理部１３は、契機キーワード３３を検出したと判定した場合（ステップＳＴ４１；ＹＥＳ）、ステップＳＴ３５と同様に、音声記憶部３２の音声データを抽出する（ステップＳＴ４２）。

発話音声処理部１３は、ステップＳＴ４２で抽出した音声データを含む発話データＤｖｏを生成し、通信ユニット１３０により送信する（ステップＳＴ４３）。ステップＳＴ４３で、発話音声処理部１３は、音声データに加え、位置情報取得部１７が取得した位置情報と、利用者プロファイル３６とを含む発話データＤｖｏを生成して送信してもよい。

通信制御部１２は、通信ユニット１３０によって情報提供サーバ３００からレコメンド情報Ｄｒｅを受信し（ステップＳＴ４４）、レコメンド情報３５として記憶部３０に記憶させる（ステップＳＴ４５）。ステップＳＴ４４及びステップＳＴ４５の動作は、ステップＳＴ３７、ＳＴ３８と同様である。その後、制御部１０は、アシスタンス機能を停止するか否かを判定する（ステップＳＴ４６）。例えば、制御部１０は、利用者Ｕの発話によりアシスタンス機能の停止が指示された場合、ステップＳＴ４６で肯定判定する（ステップＳＴ４６；ＹＥＳ）。この場合、制御部１０は、ステップＳＴ３９に移行する。また、アシスタンス機能の停止が指示されていない場合（ステップＳＴ４６；ＮＯ）、制御部１０はステップＳＴ４１に戻る。

制御部１０は、情報提供装置１の動作を停止するか否かを判定し（ステップＳＴ３９）、動作を停止する場合には（ステップＳＴ３９；ＹＥＳ）、所定のシャットダウンシーケンスを実行して、本処理を終了する。情報提供装置１の動作を停止しない場合（ステップＳＴ３９；ＮＯ）、制御部１０はステップＳＴ３３に戻る。

図７には、図６の動作と並行して、情報提供サーバ３００がサーバ制御部３１０により実行する動作を示す。
サーバ通信部３０１は、情報提供装置１がステップＳＴ３６、ＳＴ４３で送信する発話データＤｖｏを受信し（ステップＳＴ５１）、発話データＤｖｏから音声データを抽出する。音声認識部３１１は、ステップＳＴ５１で受信した音声データに対する音声認識処理を実行する（ステップＳＴ５２）。意味解釈部３１２は、ステップＳＴ５１の音声認識処理の結果に基づき、意味解釈処理を実行する（ステップＳＴ５３）。

意味解釈部３１２は、意味解釈の結果から、利用者Ｕが発話した契機キーワード３３を検出する（ステップＳＴ５４）。さらに、意味解釈部３１２は、契機キーワード３３の前後に発話された内容から、契機キーワード３３に関連する語句を抽出する（ステップＳＴ５５）。例えば、意味解釈部３１２は、契機キーワード３３が「洗車」である場合に、意味解釈部３１２は、「をする」、「をしたい」等の利用者Ｕの意図を表す語句や、「今日」、「早く」等の時期を表す語句を抽出する。ステップＳＴ５５で抽出される語句は、契機キーワード３３と組み合わされて、契機キーワード３３が表す事柄についての利用者Ｕの詳細な要望を示す。

レコメンド情報生成部３１３は、発話データＤｖｏに、情報提供装置１の位置情報及び／または利用者プロファイル３６が含まれる場合に、これらの情報を取得する（ステップＳＴ５６）。レコメンド情報生成部３１３は、ステップＳＴ５４で意味解釈部３１２が検出した契機キーワード３３、ステップＳＴ５５で意味解釈部３１２が抽出した語句、及び、ステップＳＴ５６で取得した情報に基づいて、レコメンド情報３２４を生成する（ステップＳＴ５７）。レコメンド情報生成部３１３は、ステップＳＴ５７で生成したレコメンド情報３２４を含むレコメンド情報Ｄｒｅを生成し、サーバ通信部３０１によって情報提供装置１に送信する（ステップＳＴ５８）。

このように、情報提供装置１は、利用者Ｕが契機キーワード３３を発話したことを検知し、情報提供サーバ３００が、利用者Ｕが発話した契機キーワード３３に関連するレコメンド情報を生成して情報提供装置１に送信する。これにより、利用者Ｕの発話の内容に関連する商品やサービスに関する有用な情報を、利用者Ｕに提供することができる。また、情報提供装置１は、情報提供サーバ３００から予め配信された契機キーワード３３を記憶し、制御部１０の機能により、利用者Ｕの発話から契機キーワード３３を検出できる。このため、契機キーワード３３を検出する処理を迅速に実行することができる。これにより、情報提供装置１と情報提供サーバ３００との間の通信状態に依存せず、速やかに契機キーワード３３を検出して、利用者Ｕの発話に対応できる。また、レコメンド情報３２４を生成する処理を情報提供サーバ３００が実行するので、情報提供装置１の処理能力の制約を受けることなく高精度で有用なレコメンド情報を提供できる。

図８の動作は、情報提供装置１の制御部１０により実行される。
レコメンド情報出力部１５は、速度認識部１８により検出された車両Ｖの速度、及び／または、ナビゲーション装置１４０に設定された目的地と車両Ｖの現在位置との距離を取得して判定を行い、肯定判定するまで待機する（ステップＳＴ６１）。ステップＳＴ６１で、レコメンド情報出力部１５は、時速１０ｋｍ以下であるか否かの判定、及び／または、現在位置から目的地までの距離が所定距離以下となったか否かの判定を行う。すなわち、レコメンド情報出力部１５は、ステップＳＴ６１で、車両Ｖが停止すると推定される状態になったか否かを判定、該当する状態になるまで待機する。
車速が１０ｋｍ／ｈ以下、あるいは、目的地までの距離が所定距離以下となった場合、レコメンド情報出力部１５は肯定判定し（ステップＳＴ６１；ＹＥＳ）、処理を進める。

レコメンド情報出力部１５は、レコメンド情報３５に基づいて、レコメンド画面をタッチパネル９０に表示させるための画面データを準備し、記憶部３０に一時的に保存する（ステップＳＴ６２）。

ここで、レコメンド画面の一例を図９に示す。
図９に示すレコメンド画面６００は、案内部６０１、及び、注文ボタン６０２を含む。案内部６０１には、利用者Ｕに対する商品やサービスの具体的な提案内容が表示される。図９の例で、案内部６０１には、洗車サービスを利用することを提案するメッセージが表示される。注文ボタン６０２は、利用者Ｕによって操作される操作部であり、利用者Ｕの操作を受け付ける受付部である。注文ボタン６０２は、案内部６０１に表示された商品やサービスの購入或いは利用の申し込みを受け付ける。図９の例では、注文ボタン６０２はボタンであり、利用者Ｕが注文ボタン６０２にタッチ操作を行うと、洗車サービスの申し込みが受け付けられる。

利用者行動認識部１１は、利用者Ｕの行動を認識する（ステップＳＴ６３）。レコメンド情報出力部１５は、利用者行動認識部１１により利用者Ｕが車両Ｖから降車すると推定される特定行動が認識されたか否かを判定する（ステップＳＴ６４）。

ここで、利用者行動認識部１１は、電源スイッチ５４のオフ操作を、利用者Ｕが車両Ｖから降車すると推定される特定行動として認識する。なお、前席カメラ４５の撮影画像から、利用者Ｕが車両から降車する推定される特定行動を認識してもよい。また、右前ドア２のドアスイッチ８０の検出信号がオフ（ドア開状態）になったとき、シフトポジションをパーキングへ変更したとき、パーキングブレーキをかけたとき、ドアロックの解除、或いは、運転席７ａのシートベルトスイッチ６０の検出信号がオフ（シートベルトが外された状態）であるときに、利用者Ｕが特定行動をしたと認識するようにしてもよい。
また、利用者Ｕが降車すると推定される特定行動に、車両Ｖの位置が利用者Ｕの自宅や車両保管場所等の特定の場所にあることを条件として含んでもよい。

利用者行動認識部１１により特定行動が認識された場合（ステップＳＴ６４；ＹＥＳ）、レコメンド情報出力部１５は、ステップＳＴ６２で準備したデータに基づき、レコメンド画面をタッチパネル９０に表示させる（ステップＳＴ６５）。

一方、利用者行動認識部１１が特定行動を認識していない場合（ステップＳＴ６４；ＮＯ）、レコメンド情報出力部１５は、レコメンド画面を準備してから予め設定された時間が経過したか否かを判定する（ステップＳＴ６６）。レコメンド情報出力部１５は、設定時間が経過していない場合は（ステップＳＴ６６；ＮＯ）、ステップＳＴ６４に戻る。また、設定時間が経過した場合（ステップＳＴ６６；ＹＥＳ）、レコメンド情報出力部１５は、ステップＳＴ６２で作成したデータを破棄し（ステップＳＴ６７）、ステップＳＴ６１に戻る。

レコメンド画面を表示した後、レコメンド情報出力部１５は、タッチパネル９０の受付部により利用者Ｕの操作を受け付けたか否かを判定する（ステップＳＴ６８）。

レコメンド情報出力部１５が受付部によって利用者Ｕのタッチ操作を認識した場合（ステップＳＴ６８；ＹＥＳ）、サービス依頼受付部１６は、洗車サービスの購入要求を示す購入情報を、情報提供サーバ３００に送信する（ステップＳＴ６９）。これにより、情報提供サーバ３００は、Ｗｅｂサーバ４１０を介して洗車サービス店４５０に、洗車サービスを依頼する指示Ｇｄｅを送信する。これにより、利用者Ｕは、洗車サービス店４５０で車両Ｖの洗車を依頼できる。

操作を受け付けていない場合（ステップＳＴ６８；ＮＯ）、レコメンド情報出力部１５は、利用者Ｕが車両Ｖから降車したことを判断するための降車判定条件が成立したか否かを判断する（ステップＳＴ７０）。本実施形態では、降車判定条件として、右前ドア２のドアスイッチ８０の検出信号がオン（閉状態検出）→オフ（開状態検出）→オン（閉状態検出）と切替わったことが、認識されることが設定されている。なお、ドアスイッチ８０による判定以外に、或いはドアスイッチ８０による判定に加えて、右前ドア２のドアロック機構１００のロックスイッチの検出信号、前席カメラ４５の撮影画像、後席カメラ４６の撮影画像、右サイドカメラ４１の撮影画像等を用いて、利用者Ｕが車両Ｖから降車したことを認識するようにしてもよい。

降車判定条件が成立していない場合（ステップＳＴ７０；ＮＯ）、レコメンド情報出力部１５はステップＳＴ６８に戻る。つまり、降車判定条件が成立するまで、レコメンド情報出力部１５は、ステップＳＴ６８－ＳＴのループにより、利用者Ｕの操作を受け付け可能である。

レコメンド情報出力部１５は、降車判定条件が成立した場合（ステップＳＴ７０；ＹＥＳ）、レコメンド画面のタッチパネル９０への表示を終了する。

［７．他の実施形態］
上記実施形態では、本発明の所定サービスとして、洗車サービスを例示したが、本発明の所定サービスはこれに限られない。例えば、電気自動車を対象とした給電サービス、車両Ｖへの物品の配達サービス等であってもよい。また、本発明の所定サービスは、車両に関連するサービスに限られない。例えば、日用品や飲食物の利用者の自宅への配達等であってもよい。

上記実施形態では、本発明の移動体として、四輪車両Ｖを例示したが、本発明は、二輪車両、飛行体、船体等、種々の乗用の移動体に対して適用可能である。

上記実施形態では、レコメンド情報出力部１５は、レコメンド画面をタッチパネル９０に表示することによって、レコメンド情報を出力した。他の実施形態として、レコメンド画面の表示に代えて、或いはレコメンド画面の表示とともに、スピーカ９１からレコメンド音声を出力することによって、レコメンド情報を出力してもよい。この場合、タッチパネル９０に対するタッチ操作に加え、或いはタッチ操作に替えて、マイク９２により利用者Ｕの音声を認識することで依頼を受け付けてもよい。

上記実施形態では、情報提供装置１が通信ユニット１３０を利用して情報提供サーバ３００と通信する構成を例示したが、情報提供装置１は、無線通信装置を内蔵してもよい。また、情報提供装置１は、車両Ｖに固定的に設置されるものに限定されず、例えば、スマートフォンや携帯型電話機等の可搬型の装置を情報提供装置１として利用してもよい。また、利用者端末１５０が情報提供装置１の機能を備えてもよい。

上記実施形態では、情報提供装置１が記憶部３０を備え、情報提供サーバ３００が生成するレコメンド情報３５を、レコメンド情報出力部１５が出力するまで記憶部３０に記憶する構成を例示した。本発明はこれに限定されず、例えば、情報提供サーバ３００が、レコメンド情報を、レコメンド情報出力部１５がレコメンド情報３５を出力するまで記憶または保持する構成であってもよい。

上記実施形態では、情報提供装置１がレコメンド情報を出力する構成を例示したが、本発明はこれに限定されず、例えば、情報提供サーバ３００が利用者端末１５０と通信を実行し、利用者端末１５０にレコメンド情報を出力してもよい。また、情報提供サーバ３００が、情報提供装置１及び利用者端末１５０とは異なる装置を用いて、レコメンド情報を出力してもよい。

上記実施形態において、レコメンド情報出力部１５は、利用者行動認識部１１により利用者Ｕの降車行動が認識されたときに、レコメンド画面をタッチパネル９０に表示したが、これは一例である。レコメンド情報出力部１５は、車両Ｖが停車したときに、タッチパネル９０にレコメンド画面を表示してもよい。例えば、ステップＳＴ６４で、車両Ｖの速度が時速０ｋｍであるか否かを判定し、時速０ｋｍであった場合に、ステップＳＴ６５に移行してレコメンド画面を表示してもよい。また、例えば、ステップＳＴ６４で、車両ＶのパーキングブレーキがＯＮになったか否かを判定し、パーキングブレーキがＯＮになった場合にレコメンド画面を表示してもよい。また、上記実施形態において、レコメンド画面が表示されている状態で、車両Ｖが走行を開始した場合に、レコメンド画面の表示を一時的に停止してもよい。この場合、車両Ｖが停止したときに、レコメンド画面の表示を再開してもよい。

他の実施形態として、レコメンド情報が複数ある場合にレコメンド情報に優先順位を設定し、優先順位が高いレコメンド情報を利用者Ｕの降車行動が認識されてから利用者Ｕの降車が完了するまでの第１所定期間に出力し、優先度が低いレコメンド情報を、第１所定期間以外で設定された第２所定期間に出力するようにしてもよい。レコメンド情報の優先順位は、例えば、レコメンド情報の出力に対してサービスの提供者が支払うコストに応じて、コストが高いほど優先順位が高く設定される。

また、第１所定期間においては、上述したように注文ボタンを表示して注文の即座の受付を可能とし、第２期間においては、注文ボタンを非表示としてもよい。また、第１所定期間においては、画面表示と音声によりレコメンド情報を出力し、第２所定期間においては、音声によるレコメンド情報の出力のみを行うようにしてもよい。

なお、図３及び図４は、本願発明の理解を容易にするために、情報提供装置１及び情報提供サーバ３００の機能構成を、主な処理内容により区分して示した概略図であり、情報提供装置１及び情報提供サーバ３００の構成を、それぞれ、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図５～図８に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

［８．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

（第１項）移動体に配置される移動体端末装置と、前記移動体端末装置と通信可能なサーバとを備え、前記移動体端末装置は、前記移動体に搭乗している利用者が発話する音声を集音するマイクと、前記マイクにより集音した音声に関する発話データを送信する移動体通信部と、を備え、前記サーバは、前記発話データを受信するサーバ通信部と、前記発話データに基づき前記利用者の発話内容を認識する音声認識部と、前記音声認識部の認識結果に基づいて前記利用者の発話内容を解釈する意味解釈部と、前記意味解釈部の解釈処理の結果に基づき、商品またはサービスのレコメンド情報を生成するレコメンド情報生成部と、を備え、前記移動体の停止中に前記レコメンド情報を出力するレコメンド情報出力部と、を備える情報提供システム。
第１項の情報提供システムによれば、移動体の利用者が発話した内容に関連する商品やサービスに関する情報を、移動体が停車しているときに提供する。これにより、利用者が移動体による移動から解放されてリラックスし、レコメンド情報に注意を向けることが可能な状態で、商品やサービスのレコメンド情報を出力することにより、適切なタイミングで有用な情報を提供できる。

（第２項）前記意味解釈部の解釈処理の結果、及び／または前記レコメンド情報を記憶するレコメンド情報記憶部と、前記利用者の行動を認識する利用者行動認識部と、を備え、前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する、第１項に記載の情報提供システム。
第２項の情報提供システムによれば、移動体の利用者が移動体から降りると推定されるタイミングでレコメンド情報を出力するので、より効果的に、レコメンド情報を提供できる。

（第３項）前記移動体端末装置は、前記移動体の位置情報を前記移動体通信部により前記サーバに送信し、前記サーバが備える前記サーバ通信部は、前記移動体の位置情報を受信し、前記レコメンド情報生成部は、前記移動体の位置情報と、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する第１項または第２項に記載の情報提供システム。
第３項の情報提供システムによれば、移動体の利用者が発話した内容と、移動体の位置とを加味して生成された、より有用性の高いレコメンド情報を、利用者に提供できる。

（第４項）前記移動体端末装置は、前記利用者に関する利用者プロファイルを前記サーバに送信し、前記サーバが備える前記サーバ通信部は、前記利用者プロファイルを受信し、前記レコメンド情報生成部は、前記利用者プロファイルと、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する第１項から第３項のうちいずれか１項に記載の情報提供システム。
第４項の情報提供システムによれば、移動体の利用者が発話した内容と、利用者のプロファイルとを加味して生成された、より有用性の高いレコメンド情報を、利用者に提供できる。

（第５項）前記サーバは、前記発話データの送信の契機となる契機キーワードを前記サーバ通信部により送信し、前記移動体端末装置は、前記移動体通信部により受信した前記契機キーワードを記憶するキーワード記憶部と、前記マイクにより集音した音声から、前記契機キーワードを検出するキーワード検出部と、を備え、前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声に関する前記発話データを、前記移動体通信部により送信する第１項から第４項のうちいずれか１項に記載の情報提供システム。
第５項の情報提供システムによれば、発話データの送信の契機となる契機キーワードを移動体端末装置が検出するので、移動体端末装置とサーバとの通信を介さずに、契機キーワードを速やかに検出できる。これにより、利用者の発話に速やかに対応して、有用な情報を利用者に提供できる。

（第６項）前記移動体端末装置は、前記マイクにより集音した音声を記憶する音声記憶部を備え、前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声、及び、その前後の所定時間における音声に関する前記発話データを、前記移動体通信部により送信する第５項に記載の情報提供システム。
第６項の情報提供装置によれば、契機キーワードに加え、契機キーワードの前後に利用者が発話した内容に基づき、より有用性の高いレコメンド情報を生成し、利用者に提供できる。

（第７項）移動体に配置される情報提供装置であって、前記移動体の利用者が発話する音声を集音するマイクと、前記マイクにより集音した音声に関する発話データをサーバに送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信する移動体通信部と、前記レコメンド情報を記憶するレコメンド情報記憶部と、前記移動体の停止中に前記レコメンド情報を出力するレコメンド情報出力部と、を備える情報提供装置。
第７項の情報提供装置によれば、移動体の利用者が発話した内容に関連する商品やサービスに関する情報を、移動体が停車しているときに提供する。これにより、利用者が移動体による移動から解放されてリラックスし、レコメンド情報に注意を向けることが可能な状態で、商品やサービスのレコメンド情報を出力することにより、適切なタイミングで有用な情報を提供できる。

（第８項）前記移動体に搭乗している利用者の行動を認識する利用者行動認識部を備え、前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する第７項に記載の情報提供装置。
第８項の情報提供装置によれば、移動体の利用者が移動体から降りると推定されるタイミングでレコメンド情報を出力するので、より効果的に、レコメンド情報を提供できる。

（第９項）前記レコメンド情報に基づく購入操作を受け付ける受付部を備え、前記受付部により前記購入操作を受け付けた場合に、前記レコメンド情報出力部により出力した前記レコメンド情報に基づく購入要求を、前記移動体通信部によって送信する第７項または第８項に記載の情報提供装置。
第９項の情報提供装置によれば、利用者が、情報提供装置により提供された情報に基づき、提案された商品やサービスを容易に購入または利用できる。

（第１０項）移動体に配置される情報提供装置の制御方法であって、前記移動体の利用者が発話する音声をマイクにより集音し、前記マイクにより集音した音声に関する発話データをサーバに送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信し、前記レコメンド情報を記憶し、前記移動体の停止中に前記レコメンド情報を出力する情報提供装置の制御方法。
第１０項の情報提供装置の制御方法によれば、移動体の利用者が発話した内容に関連する商品やサービスに関する情報を、移動体が停車しているときに提供する。これにより、利用者が移動体による移動から解放されてリラックスし、レコメンド情報に注意を向けることが可能な状態で、商品やサービスのレコメンド情報を出力することにより、適切なタイミングで有用な情報を提供できる。

（第１１項）移動体に配置される情報提供装置を制御するコンピュータが実行可能なプログラムであって、前記コンピュータにより、前記移動体の利用者が発話する音声をマイクにより集音させ、前記マイクにより集音した音声に関する発話データを移動体通信部によってサーバに送信させ、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を前記移動体通信部によって受信させ、前記レコメンド情報をレコメンド情報記憶部に記憶させ、前記移動体の停止中に前記レコメンド情報をレコメンド情報出力部に出力させるためのプログラム。
第１１項のプログラムによれば、情報提供装置により、移動体の利用者が発話した内容に関連する商品やサービスに関する情報を、移動体が停車しているときに提供する。これにより、利用者が移動体による移動から解放されてリラックスし、レコメンド情報に注意を向けることが可能な状態で、商品やサービスのレコメンド情報を出力することにより、適切なタイミングで有用な情報を提供できる。

１…情報提供装置（移動体端末装置）、１０…制御部、１１…利用者行動認識部、１２…通信制御部、１３…発話音声処理部、１４…キーワード検出部、１５…レコメンド情報出力部、１６…サービス依頼受付部（受付部）、１７…位置情報取得部、１８…速度認識部、３０…記憶部（キーワード記憶部）、３１…制御用プログラム、３２…音声記憶部、３３…契機キーワード、３４…起動キーワード、３５…レコメンド情報、３６…利用者プロファイル、９０…タッチパネル、９１…スピーカ、９２…マイク、１２０…速度センサ、１３０…通信ユニット（移動体通信部）、１４０…ナビゲーション装置、１５０…利用者端末、２００…情報提供システム、３００…情報提供サーバ、３０１…サーバ通信部、３１０…サーバ制御部、３１１…音声認識部、３１２…意味解釈部、３１３…レコメンド情報生成部、３１４…契機キーワード配信部、３２０…サーバ記憶部、３２１…装置ＩＤ、３２２…利用者プロファイル、３２３…位置情報、３２４…レコメンド情報、５００…通信ネットワーク、６００…レコメンド画面、６０１…案内部、６０２…注文ボタン、Ｄｋｗ…キーワード情報、Ｄｒｅ…レコメンド情報、Ｄｖｏ…発話データ、Ｕ…利用者、Ｖ…車両（移動体）。

Claims (11)

1. 移動体に配置される移動体端末装置と、前記移動体端末装置と通信可能なサーバとを備え、
   前記移動体端末装置は、
   前記移動体に搭乗している利用者が発話する音声を集音するマイクと、
   前記マイクにより集音した音声に関する発話データを送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信する移動体通信部と、を備え、
   前記サーバは、
   前記発話データを受信するサーバ通信部と、
   前記発話データに基づき前記利用者の発話内容を認識する音声認識部と、
   前記音声認識部の認識結果に基づいて前記利用者の発話内容を解釈する意味解釈部と、
   前記意味解釈部の解釈処理の結果に基づき、前記レコメンド情報を生成するレコメンド情報生成部と、を備え、
   前記移動体端末装置は、
   前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄するレコメンド情報出力部を備え、
   前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である
   情報提供システム。
2. 前記意味解釈部の解釈処理の結果、及び／または前記レコメンド情報を記憶するレコメンド情報記憶部と、
   前記利用者の行動を認識する利用者行動認識部と、を備え、
   前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する
   請求項１に記載の情報提供システム。
3. 前記移動体端末装置は、前記移動体の位置情報を前記移動体通信部により前記サーバに送信し、
   前記サーバが備える前記サーバ通信部は、前記移動体の位置情報を受信し、
   前記レコメンド情報生成部は、前記移動体の位置情報と、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する
   請求項１または請求項２に記載の情報提供システム。
4. 前記移動体端末装置は、前記利用者に関する利用者プロファイルを前記サーバに送信し、
   前記サーバが備える前記サーバ通信部は、前記利用者プロファイルを受信し、
   前記レコメンド情報生成部は、前記利用者プロファイルと、前記意味解釈部の解釈処理の結果とに基づいて、前記レコメンド情報を生成する
   請求項１から請求項３のうちいずれか１項に記載の情報提供システム。
5. 前記サーバは、前記発話データの送信の契機となる契機キーワードを前記サーバ通信部により送信し、
   前記移動体端末装置は、
   前記移動体通信部により受信した前記契機キーワードを記憶するキーワード記憶部と、
   前記マイクにより集音した音声から、前記契機キーワードを検出するキーワード検出部と、を備え、
   前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声に関する前記発話データを、前記移動体通信部により送信する
   請求項１から請求項４のうちいずれか１項に記載の情報提供システム。
6. 前記移動体端末装置は、
   前記マイクにより集音した音声を記憶する音声記憶部を備え、
   前記キーワード検出部により前記契機キーワードを検出した場合に、前記契機キーワードを含む発話音声、及び、その前後の所定時間における音声に関する前記発話データを、前記移動体通信部により送信する
   請求項５に記載の情報提供システム。
7. 移動体に配置される情報提供装置であって、
   前記移動体の利用者が発話する音声を集音するマイクと、
   前記マイクにより集音した音声に関する発話データをサーバに送信し、前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信する移動体通信部と、
   前記レコメンド情報を記憶するレコメンド情報記憶部と、
   前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄するレコメンド情報出力部と、を備え、
   前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である
   情報提供装置。
8. 前記移動体に搭乗している利用者の行動を認識する利用者行動認識部を備え、
   前記利用者行動認識部により、前記利用者が前記移動体から降りると推定される特定行動が認識されたときに、前記レコメンド情報記憶部に記憶された前記レコメンド情報を前記レコメンド情報出力部により出力する
   請求項７記載の情報提供装置。
9. 前記レコメンド情報に基づく購入操作を受け付ける受付部を備え、
   前記受付部により前記購入操作を受け付けた場合に、前記レコメンド情報出力部により出力した前記レコメンド情報に基づく購入要求を、前記移動体通信部によって送信する
   請求項７または請求項８記載の情報提供装置。
10. 移動体に配置される情報提供装置の制御方法であって、
    前記移動体の利用者が発話する音声をマイクにより集音し、
    前記マイクにより集音した音声に関する発話データをサーバに送信し、
    前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を受信し、
    前記レコメンド情報を記憶し、
    前記移動体が所定の状態になったときに、記憶した前記レコメンド情報に基づいてレコメンド画面を準備して保存し、
    前記移動体の停止中に前記レコメンド画面を出力し、所定時間が経過した場合は前記レコメンド画面を破棄し、
    前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である
    情報提供装置の制御方法。
11. 移動体に配置される情報提供装置を制御するコンピュータが実行可能なプログラムであって、
    前記コンピュータにより、
    前記移動体の利用者が発話する音声をマイクにより集音させ、
    前記マイクにより集音した音声に関する発話データを移動体通信部によってサーバに送信させ、
    前記サーバが前記発話データに基づき生成する商品またはサービスのレコメンド情報を前記移動体通信部によって受信させ、
    前記レコメンド情報をレコメンド情報記憶部に記憶させ、
    前記移動体が所定の状態になったときに、前記移動体通信部にて受信した前記レコメンド情報に基づいてレコメンド画面を準備して保存させ、
    前記移動体の停止中に前記レコメンド画面をレコメンド情報出力部に出力させ、所定時間が経過した場合は前記レコメンド画面を破棄させ、
    前記所定の状態は、前記移動体の速度が所定速度以下である、及び／または、前記移動体の目的地と前記移動体の位置との距離が所定距離以下となった、状態である、
    プログラム。

Images