JP7177922B2 - エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラム - Google Patents

Description

本発明は、エージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムに関する。

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている（例えば、特許文献１参照）。

特開２００６－３３５２３１号公報

しかしながら、従来では、ユーザが所定の販売業者で購入した結果と、エージェント機能とを連携させることについては考慮されていなかった。そのため、ユーザに所定の販売業者での購入意欲を向上させることができない場合があった。

本発明は、このような事情を考慮してなされたものであり、ユーザに所定の販売業者での購入意欲を向上させることができるエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係るエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るエージェントシステムは、ユーザの発話および／またはジェスチャーに応じて、音声による応答を含むサービスを提供するエージェント機能部と、前記ユーザが所定の販売業者から製品またはサービスを購入したことを示す情報を取得する取得部と、を備え、前記エージェント機能部は、前記取得部により取得された情報に基づいて、前記エージェント機能部が実行可能な機能を変更する、エージェントシステムである。

（２）：上記（１）の態様において、前記エージェント機能部により提供されるサービスとして前記ユーザとのコミュニケーションを行うエージェントの画像または音声を出力部に出力させる出力制御部を更に備え、前記出力制御部は、前記取得部により取得された前記ユーザの購入履歴に基づいて、前記出力部に出力される前記エージェントの画像または音声の出力態様を変更させるものである。

（３）：上記（２）の態様において、前記エージェント機能部は、前記ユーザが購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、前記エージェントを成長させるものである。

（４）：上記（２）の態様において、前記エージェント機能部は、前記ユーザが購入した製品またはサービスが車両に関係する場合に、前記車両に対応付けてエージェントを設定するものである。

（５）：上記（４）の態様において、前記エージェント機能部は、前記ユーザが車両を買い替えるまたは買い増す場合、或いは車両に対するサービスを購入する場合に、買い替えまたは買い増す前、或いは購入する前のユーザに対応付けられていたエージェントを、買い替えまたは買い増した後、或いはサービス購入後の車両、または前記ユーザの端末装置で継続して使用可能とするものである。

（６）：上記（４）または（５）の態様において、前記製品には、前記車両に電力を供給する蓄電池を含み、前記エージェント機能部は、前記蓄電池の状態に対応付けられたキャラクタ画像を前記エージェントの画像として用いるものである。

（７）：上記（１）～（６）のうち何れか一つの態様において、前記エージェント機能部は、前記ユーザが購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、前記エージェント機能部が実行可能な機能な機能を追加または拡張するものである。

（８）：本発明の他の態様に係るエージェントサーバは、ユーザの発話および／またはジェスチャーを認識する認識部と、前記認識部により認識された結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成する応答内容生成部と、前記応答内容生成部により生成された応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供する情報提供部と、前記ユーザが所定の販売業者から製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させるエージェント管理部と、を備えるエージェントサーバである。

（９）：本発明の他の態様に係るエージェントサーバの制御方法は、コンピュータが、ユーザの発話および／またはジェスチャーを認識し、認識した結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成し、生成した応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供し、前記ユーザが所定の販売業者から製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させる、エージェントサーバの制御方法である。

（１０）：本発明の他の態様に係るプログラムは、コンピュータが、ユーザの発話および／またはジェスチャーを認識させ、認識された結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成させ、生成された応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供させ、前記ユーザが所定の販売業者から製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させる、プログラムである。

上記（１）～（１０）の態様によれば、ユーザに所定の販売業者での購入意欲を向上させることができる。

エージェント装置１００を含むエージェントシステム１の構成図である。 実施形態に係るエージェント装置１００の構成と、車両Ｍ１に搭載された機器とを示す図である。 表示・操作装置２０およびスピーカユニット３０の配置例を示す図である。 バッテリ９０の状態に応じて表示されるキャラクタの一例を示す図である。 実施形態に係る携帯端末２００の機能構成の一例を示す図である。 実施形態の顧客サーバ３００の機能構成の一例を示す図である。 購入データ３７２の内容について説明するための図である。 エージェントサーバ４００の構成と、エージェント装置１００および携帯端末２００の構成の一部とを示す図である。 パーソナルプロファイル４４４の内容の一例を示す図である。 エージェント管理情報４５０の内容の一例を示す図である。 実施形態のエージェントシステム１によるエージェントの提供方法の一例を示すシーケンス図である。 エージェントを設定するための画像ＩＭ１の一例を示す図である。 エージェントＡが選択された後に表示される画像ＩＭ２の一例を示す図である。 ユーザＵ１がエージェントＡと対話を行っている場面の一例を示す図である。 エージェント機能部１５０により出力部に出力させる応答結果について説明するための図である。 成長したエージェントを含む画像ＩＭ５の一例を示す図である。 成長したエージェントによって提供される内容の違いについて説明するための図である。 エージェントの衣装の着せ替えが行われた後の画像ＩＭ６の一例を示す図である。 アプリ実行部２５０の処理によって携帯端末２００のディスプレイ２３０に表示される画像の一例を示す図である。 ユーザＵ１の車両の購入につき、車両Ｍ１の第１ディスプレイ２２に表示される画像ＩＭ８の一例を示す図である。 他のエージェントとの対話を利用して対話を行うことについて説明するための図である。 バッテリ９０の状態に対応付けたキャラクタ画像をエージェントとして表示させることについて説明するための図である。

以下、図面を参照し、本発明のエージェントシステム、エージェントサーバ、エージェントサーバの制御方法、およびプログラムの実施形態について説明する。エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両に搭載され、一以上のエージェント機能を備えたエージェント装置について説明する。車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。エージェント機能とは、例えば、車両のユーザと対話をしながら、ユーザの発話および／またはジェスチャーの中に含まれる要求（コマンド）に基づく各種の情報提供を行ったり、ユーザのスケジュールを管理したり、ネットワークサービスを仲介したりする機能である。また、エージェント機能の中には、車両内の機器（例えば運転制御や車体制御に関わる機器）の制御等を行う機能を有するものがあってよい。エージェント機能は、エージェントの成長レベル（育成レベル）によって実行可能な機能が変更されてもよい。

エージェント機能は、例えば、ユーザの音声を認識する音声認識機能（音声をテキスト化する機能）に加え、自然言語処理機能（テキストの構造や意味を理解する機能）、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてよい。また、これらの機能を行うための構成の一部（特に、音声認識機能や自然言語処理解釈機能）は、車両の車載通信装置または車両に持ち込まれた汎用通信装置と通信可能なエージェントサーバ（外部装置）に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体（サービス・エンティティ）をエージェントと称する。また、「エージェント」の表現は、適宜、「コンシェルジェ」に読み替えてもよい。

＜全体構成＞
図１は、エージェント装置１００を含むエージェントシステム１の構成図である。エージェントシステム１は、例えば、ユーザＵ１に対応付けられた車両Ｍ１に搭載されるエージェント装置１００と、ユーザＵ１に対応付けられた携帯端末２００と、顧客サーバ３００と、エージェントサーバ４００とを備える。「ユーザＵ１に対応付けられる」とは、例えば、ユーザＵ１が所有する、ユーザＵ１が管理する、或いはユーザＵ１に割り当てられていることに相当する。

エージェント装置１００は、ネットワークＮＷを介して、携帯端末２００、顧客サーバ３００、エージェントサーバ４００等と通信する。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、電話回線、無線基地局等のうち一部または全部を含む。ネットワークＮＷには、各種ウェブサーバ５００が接続されており、エージェント装置１００、携帯端末２００、顧客サーバ３００、およびエージェントサーバ４００は、ネットワークＮＷを介して各種ウェブサーバ５００からウェブページを取得することができる。各種ウェブサーバ５００には、所定の販売業者が管理、運営するオフィシャルサイトが含まれてよい。

エージェント装置１００は、ユーザＵ１と対話を行い、ユーザＵ１からの音声をエージェントサーバ４００に送信し、エージェントサーバ４００から得られた回答に基づく応答内容を、音声出力や画像表示の形でユーザＵ１に提供する。ここで、エージェント装置１００は、ユーザＵ１が車両内に存在する場合には、車両Ｍ１に搭載された表示部やスピーカユニットを用いて情報提供を行い、ユーザＵ１が車両Ｍ１に存在しない場合には、ユーザＵ１の携帯端末２００に情報提供を行ってもよい。また、エージェント装置１００は、ユーザからの要求に基づいて車両機器５０に対する制御等を行ってもよい。

携帯端末２００は、ユーザＵ１の操作によって、エージェント装置１００と同様の機能が、アプリケーションプログラム（以下、アプリと称する）等によって提供される。携帯端末２００は、例えば、スマートフォンやタブレット端末の端末装置である。

顧客サーバ３００は、ディーラー等の少なくとも１つの販売店舗で管理される端末（以下、販売店舗端末と称する）によって管理されたユーザ（顧客）の情報を集約して顧客履歴情報として管理する。販売店舗には、例えば、車両や車載機器、アイテム等の所定の製品の販売を行ったり、カーシェアリングやレンタカー等の各種サービスの提供等を行う所定の系列店舗が含まれる。また、販売店舗には、所定の販売業者と提携している他の販売業者の関連販売店舗が含まれてよい。例えば、販売業者が車両や車載機器の販売事業者である場合、関連販売店舗は、例えば旅行会社、車検会社、車両以外のサービス提供会社等である。以下では、説明の便宜上、二つの販売店舗端末ＤＴ１およびＤＴ２を用いて説明するものとする。販売店舗端末ＤＴ１およびＤＴ２のそれぞれには、来店者（ユーザ）の個人情報や来店履歴、ユーザによる製品やサービスの購入履歴、その他のユーザ関連情報が管理されていてもよい。販売店舗端末ＤＴ１およびＤＴ２は、ユーザへの販売内容やユーザ関連情報を所定の周期または所定のタイミングで顧客サーバ３００に送信する。所定の周期とは、例えば、日ごと、週ごと等の周期である。また、所定のタイミングとは、例えば、ユーザが来店したタイミング、ユーザが製品やサービスを購入したタイミング、ユーザ関連情報が更新したタイミング等である。

顧客サーバ３００は、販売店舗端末ＤＴ１、ＤＴ２から送信された情報を集約し、顧客の販売店舗端末での購入データの管理を行う。顧客サーバ３００は、管理している購入データを、エージェントサーバ４００等に送信する。

エージェントサーバ４００は、例えば、エージェントシステム１の提供者が運営するものである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者等が挙げられ、任意の主体（法人、団体、個人等）がエージェントシステムの提供者となり得る。

［車両］
図２は、実施形態に係るエージェント装置１００の構成と、車両Ｍ１に搭載された機器とを示す図である。車両Ｍ１には、例えば、一以上のマイク１０と、表示・操作装置２０と、スピーカユニット３０と、ナビゲーション装置４０と、車両機器５０と、車載通信装置６０と、乗員認識装置８０と、エージェント装置１００とが搭載される。また、スマートフォン等の汎用通信装置７０が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置２０と、スピーカユニット３０とを合わせたものが、車両Ｍ１における「出力部」の一例である。

マイク１０は、車室内で発せられた音を収集する音声入力部である。表示・操作装置２０は、画像を表示するとともに、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置２０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置２０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置を含んでもよい。スピーカユニット３０は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ（音声出力部）を含む。表示・操作装置２０は、エージェント装置１００とナビゲーション装置４０とで共用されてもよい。これらの詳細については後述する。

ナビゲーション装置４０は、ナビＨＭＩ（Human Machine Interface）と、ＧＰＳ（Global Positioning System）等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置（ナビゲーションコントローラ）とを備える。マイク１０、表示・操作装置２０、およびスピーカユニット３０のうち一部または全部がナビＨＭＩとして用いられてもよい。ナビゲーション装置４０は、位置測位装置によって特定された車両Ｍ１の位置から、ユーザＵ１によって入力された目的地まで移動するための経路（ナビ経路）を探索し、経路に沿って車両Ｍ１が走行できるように、ナビＨＭＩを用いて案内情報を出力する。経路探索機能は、ネットワークＮＷを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置４０は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置１００は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置１００は、ハードウェア上は一体に構成される。

車両機器５０は、例えば、車両Ｍ１に搭載される機器である。車両機器５０は、例えば、エンジンや走行用モータ等の駆動力出力装置、操舵装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、窓開閉装置、空調装置等を含む。

車載通信装置６０は、例えば、セルラー網やＷｉ－Ｆｉ網を利用してネットワークＮＷにアクセス可能な無線通信装置である。

乗員認識装置８０は、例えば、着座センサ、車室内カメラ、画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員（ユーザ）の有無、顔向き、乗員のジェスチャー、運転者、乗員の状態（例えば、体調の具合が悪い）等を認識する。ジェスチャーとは、例えば、手や腕、顔、頭の動作と所定の要求とが対応付けられたものである。したがって、乗員は、ジェスチャーによって、エージェント装置１００に要求を伝えることができる。乗員認識装置８０による認識結果は、例えば、エージェント装置１００やエージェントサーバ４００に出力される。

図３は、表示・操作装置２０およびスピーカユニット３０の配置例を示す図である。表示・操作装置２０は、例えば、第１ディスプレイ２２と、第２ディスプレイ２４と、操作スイッチＡＳＳＹ２６とを含む。表示・操作装置２０は、更に、ＨＵＤ２８を含んでもよい。また、表示・操作装置２０は、更に、インストルメントパネルのうち運転席ＤＳに対面する部分に設けられるメーターディスプレイ２９を含んでもよい。第１ディスプレイ２２と、第２ディスプレイ２４と、ＨＵＤ２８と、メーターディスプレイ２９とを合わせたものが「表示部」の一例である。

車両Ｍ１には、例えば、ステアリングホイールＳＷが設けられた運転席ＤＳと、運転席ＤＳに対して車幅方向（図中Ｙ方向）に設けられた助手席ＡＳとが存在する。第１ディスプレイ２２は、インストルメントパネルにおける運転席ＤＳと助手席ＡＳとの中間辺りから、助手席ＡＳの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第２ディスプレイ２４は、運転席ＤＳと助手席ＡＳとの車幅方向に関する中間あたり、且つ第１ディスプレイ２２の下方に設置されている。例えば、第１ディスプレイ２２と第２ディスプレイ２４は、共にタッチパネルとして構成され、表示部としてＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）、プラズマディスプレイ等を備えるものである。操作スイッチＡＳＳＹ２６は、ダイヤルスイッチやボタン式スイッチ等が集積されたものである。ＨＵＤ２８は、例えば、風景に重畳させて画像を視認させる装置であり、一例として、車両Ｍ１のフロントウインドシールドやコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる。メーターディスプレイ２９は、例えば、ＬＣＤや有機ＥＬ等であり、速度計や回転速度計等の計器類を表示する。表示・操作装置２０は、乗員によってなされた操作の内容をエージェント装置１００に出力する。上述した各表示部が表示する内容は、エージェント装置１００によって決定されてよい。

スピーカユニット３０は、例えば、スピーカ３０Ａ～３０Ｆを含む。スピーカ３０Ａは、運転席ＤＳ側の窓柱（いわゆるＡピラー）に設置されている。スピーカ３０Ｂは、運転席ＤＳに近いドアの下部に設置されている。スピーカ３０Ｃは、助手席ＡＳ側の窓柱に設置されている。スピーカ３０Ｄは、助手席ＡＳに近いドアの下部に設置されている。スピーカ３０Ｅは、第２ディスプレイ２４の近傍に設置されている。スピーカ３０Ｆは、車室の天井（ルーフ）に設置されている。また、スピーカユニット３０は、右側後部座席や左側後部座席に近いドアの下部に設置されてもよい。

係る配置において、例えば、専らスピーカ３０Ａおよび３０Ｂに音を出力させた場合、音像は運転席ＤＳ付近に定位することになる。「音像が定位する」とは、例えば、乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。また、専らスピーカ３０Ｃおよび３０Ｄに音を出力させた場合、音像は助手席ＡＳ付近に定位することになる。また、専らスピーカ３０Ｅに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ３０Ｆに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット３０は、ミキサーやアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。

バッテリ９０は、車両Ｍによる駆動源機構により発電された電力または外部電源によるプラグイン充電された電力を蓄える蓄電池である。バッテリ９０は、例えば、リチウムイオン電池等の二次電池である。バッテリ９０は、例えば、複数の二次電池を含むバッテリユニットでもよい。バッテリ９０は、車両Ｍ１の駆動源機構または車載機器等に電力を供給する。

［エージェント装置］
図２に戻り、エージェント装置１００は、例えば、管理部１１０と、エージェント機能部１５０と、バッテリ管理部１６０と、記憶部１７０とを備える。以下では、エージェント機能部１５０とエージェントサーバ４００が協働して出現させるものを「エージェント」と称する場合がある。

エージェント装置１００の各構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

記憶部１７０は、上記の各種記憶装置により実現される。記憶部１７０には、各種データやプログラムが格納される。記憶部１７０には、例えば、バッテリプロファイル情報１７２、バッテリキャラクタ画像１７４、プログラム、およびその他の情報が格納される。バッテリプロファイル情報１７２には、バッテリ管理部１６０により取得されるバッテリ９０に関するプロファイル情報が格納される。プロファイル情報には、例えば、バッテリ９０の充電率（ＳＯＣ；State Of Charge）、バッテリ９０の劣化度合等が含まれる。バッテリキャラクタ画像１７４には、バッテリ９０に状態に応じて選択されるキャラクタ画像が含まれる。

管理部１１０は、ＯＳ（Operating System）やミドルウェア等のプログラムが実行されることで機能する。管理部１１０は、例えば、音響処理部１１２と、ＷＵ（Wake Up）判定部１１４と、エージェント設定部１１６と、出力制御部１２０とを備える。出力制御部１２０は、例えば、表示制御部１２２と、音声制御部１２４とを備える。

音響処理部１１２は、マイク１０から収集される音を受け付け、受け付けた音に対して、エージェントに予め設定されているウエイクアップワード（起動ワード）を認識するのに適した状態になるように音響処理を行う。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。また、音響処理部１１２は、音響処理された音声を、ＷＵ判定部１１４や起動中のエージェント機能部に出力する。

ＷＵ判定部１１４は、エージェント機能部１５０のそれぞれに対応して存在し、エージェントごとに予め定められているウエイクアップワードを認識する。ＷＵ判定部１１４は、音響処理が行われた音声（音声ストリーム）から音声の意味を認識する。まず、ＷＵ判定部１１４は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。ＷＵ判定部１１４は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声識別および非音声識別に基づく区間検出を行ってもよい。

次に、ＷＵ判定部１１４は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、ＷＵ判定部１１４は、テキスト化した文字情報がウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、ＷＵ判定部１１４は、対応するエージェント機能部１５０を起動させる。なお、ＷＵ判定部１１４に相当する機能がエージェントサーバ４００に搭載されてもよい。この場合、管理部１１０は、音響処理部１１２によって音響処理が行われた音声ストリームをエージェントサーバ４００に送信し、エージェントサーバ４００がウエイクアップワードであると判定した場合、エージェントサーバ４００からの指示に従ってエージェント機能部１５０が起動する。なお、各エージェント機能部１５０は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部１１０がＷＵ判定部１１４を備える必要はない。

また、ＷＵ判定部１１４は、上述した手順と同様の手順で、発話された音声に含まれる終了ワードを認識した場合であり、且つ、終了ワードに対応するエージェントが起動している状態（以下、必要に応じて「起動中」と称する）である場合、起動しているエージェント機能部を停止（終了）させる。なお、起動中のエージェントは、音声の入力を所定時間以上受け付けなかった場合や、エージェントを終了させる所定の指示操作を受け付けた場合に、エージェントを停止させてもよい。また、ＷＵ判定部１１４は、乗員認識装置８０により認識されたユーザＵ１のジェスチャーからウエイクアップワードおよび終了ワードを認識して、エージェントの起動および停止を行ってもよい。

エージェント設定部１１６は、ユーザＵ１への応答時におけるエージェントの応答時の出力態様を設定する。出力態様とは、例えば、エージェント画像またはエージェント音声のうち、一方または双方である。エージェント画像とは、例えば、車室内でユーザＵ１とのコミュニケーションを行う擬人化されたエージェントの画像である。また、エージェント画像は、例えば、ユーザＵ１に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体（胴体や手足）の画像を含むことで、エージェントの動作や振る舞い、姿勢等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。エージェント音声とは、疑似的にエージェント画像が発していると聴者に認識させるための音声である。

エージェント設定部１１６は、ユーザＵ１またはエージェントサーバ４００により選択されたエージェント画像およびエージェント音声を、エージェントに対するエージェント画像およびエージェント音声として設定する。

出力制御部１２０は、管理部１１０またはエージェント機能部１５０からの指示に応じて表示部またはスピーカユニット３０に応答内容等の情報を出力させることで、ユーザＵ１にサービス等の提供を行う。出力制御部１２０は、例えば、表示制御部１２２と、音声制御部１２４とを備える。

表示制御部１２２は、出力制御部１２０からの指示に応じて表示部の少なくとも一部の領域に画像を表示させる。以下では、エージェントに関する画像を第１ディスプレイ２２に表示させるものとして説明する。表示制御部１２２は、出力制御部１２０の制御により、エージェント画像を生成し、生成したエージェント画像を第１ディスプレイ２２に表示させる。例えば、表示制御部１２２は、乗員認識装置８０により認識された乗員（例えば、ユーザＵ１）の位置に近い表示領域にエージェント画像を表示させたり、乗員の位置に顔を向けたエージェント画像を生成して表示させてもよい。

音声制御部１２４は、出力制御部１２０からの指示に応じて、スピーカユニット３０に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部１２４は、複数のスピーカユニット３０を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近（例えば、２～３［ｃｍ］以内）の位置である。

エージェント機能部１５０は、対応するエージェントサーバ４００と協働してエージェントを出現させ、車両の乗員の発話および／またはジェスチャーに応じて、音声による応答を含むサービスを提供する。エージェント機能部１５０には、車両Ｍ１（例えば、車両機器５０）を制御する権限が付与されたものが含まれてよい。

バッテリ管理部１６０は、例えば、ＢＭＵ（Ｂａｔｔｅｒｙ Ｍａｎａｇｅｍｅｎｔ Ｕｎｉｔ；制御部）を備える。ＢＭＵは、バッテリ９０の充電や放電を制御する。例えば、ＢＭＵは、バッテリが車両Ｍ１に装着されているときには、バッテリ９０に対する充放電を制御する。また、バッテリ管理部１６０は、バッテリセンサ（不図示）等により検出されるバッテリ９０の充電率を管理したり、バッテリ９０の劣化度合を管理する。バッテリ管理部１６０は、バッテリ９０に関する管理情報をバッテリプロファイル情報１７２に記憶させる。また、バッテリ管理部１６０は、バッテリ９０に関する管理情報を出力制御部１２０によりユーザＵ１に通知させる。その場合、バッテリ管理部１６０は、記憶部１７０に記憶された複数のバッテリキャラクタ画像１７４のうち、バッテリ９０の状態に対応するキャラクタ画像を選択し、選択したキャラクタ画像を第１ディスプレイ２２に表示させる。

図４は、バッテリ９０の状態に応じて表示されるキャラクタの一例を示す図である。図４の例では、バッテリ９０を新規で購入してからの劣化度合に応じて６つのキャラクタ画像ＢＣ１～ＢＣ６が示されている。なお、キャラクタ画像は、擬人化したキャラクタに代えて、動物や植物を用いてもよい。バッテリ管理部１６０は、例えば、バッテリセンサ（不図示）等によりバッテリ９０の電気容量や内部抵抗値を測定し、測定した値に対応付けられた劣化度合を、予め記憶されたテーブルや所定関数を用いて取得する。また、バッテリ管理部１６０は、バッテリ９０を購入してからの年数に基づいて劣化度合を取得してもよい。バッテリ管理部１６０は、取得した劣化度合に基づいてキャラクタ画像ＢＣ１～ＢＣ６のうち何れかの画像を選択し、選択した画像を出力制御部１２０により第１ディスプレイ２２等に表示させる。バッテリ９０の状態を擬人化したキャラクタ画像で表示させることで、ユーザＵ１にバッテリ９０の状態を直感的に認識させることができる。

［携帯端末］
図５は、実施形態に係る携帯端末２００の機能構成の一例を示す図である。携帯端末２００は、例えば、通信部２１０と、入力部２２０と、ディスプレイ２３０と、スピーカ２４０と、アプリ実行部２５０と、出力制御部２６０と、記憶部２７０とを備える。通信部２１０と、入力部２２０と、アプリ実行部２５０と、出力制御部２６０とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。上述のプログラムは、予め携帯端末２００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置、例えば、記憶部２７０）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ、メモリカード等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置やカードスロット等に装着されることで携帯端末２００の記憶装置にインストールされてもよい。ディスプレイ２３０と、スピーカ２４０とを合わせたものが、携帯端末２００における「出力部」の一例である。

通信部２１０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ、ＬＡＮ、ＷＡＮ、インターネット等のネットワークを利用して、車両Ｍ１や顧客サーバ３００、エージェントサーバ４００、各種ウェブサーバ５００、その他の外部装置と通信を行う。

入力部２２０は、例えば、各種キーやボタン等の操作によるユーザＵ１の入力を受け付ける。ディスプレイ２３０は、例えば、ＬＣＤ（Liquid Crystal Display）等である。入力部２２０は、タッチパネルとしてディスプレイ２３０と一体に構成されていてもよい。ディスプレイ２３０は、出力制御部２６０の制御により、実施形態におけるエージェントに関する情報、その他携帯端末２００を使用するために必要な情報を表示する。スピーカ２４０は、例えば、出力制御部２６０の制御により、所定の音声を出力する。

アプリ実行部２５０は、記憶部２７０に記憶されたエージェントアプリ２７２が実行されることで実現される。エージェントアプリ２７２は、例えば、ネットワークＮＷを介して車両Ｍ１、エージェントサーバ４００、各種ウェブサーバ５００と通信を行い、ユーザＵ１からの指示や要求を送信したり、情報を取得するアプリである。アプリ実行部２５０は、例えば、所定の販売業者から製品やサービスを購入したときに提供される製品情報（例えば、車両ＩＤ）やサービス管理情報に基づいて、エージェントアプリ２７２の認証を行い、エージェントアプリ２７２を実行する。また、アプリ実行部２５０は、エージェント装置１００の音響処理部１１２、ＷＵ判定部１１４、エージェント設定部１１６、およびエージェント機能部１５０と同様の機能を有していてもよい。また、アプリ実行部２５０は、出力制御部２６０によりエージェント画像をディスプレイ２３０に表示させたり、エージェント音声をスピーカ２４０から出力させる制御を実行する。

出力制御部２６０は、ディスプレイ２３０に表示させる画像の内容や表示態様、スピーカ２４０に出力させる音声の内容や出力態様を制御する。また、出力制御部２６０は、エージェントアプリ２７２により指示された情報や携帯端末２００を使用するために必要な各種情報をディスプレイ２３０およびスピーカ２４０から出力させてもよい。

記憶部２７０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２７０には、例えば、エージェントアプリ２７２、プログラム、およびその他の各種情報が記憶される。

［顧客サーバ］
図６は、実施形態の顧客サーバ３００の機能構成の一例を示す図である。顧客サーバ３００は、例えば、通信部３１０と、入力部３２０と、ディスプレイ３３０と、スピーカ３４０と、購入管理部３５０と、出力制御部３６０と、記憶部３７０とを備える。通信部３１０と、入力部３２０と、購入管理部３５０と、出力制御部３６０とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。上述のプログラムは、予め顧客サーバ３００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置、例えば、記憶部３７０）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ、メモリカード等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置やカードスロット等に装着されることで顧客サーバ３００の記憶装置にインストールされてもよい。

通信部３１０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ、ＬＡＮ、ＷＡＮ、インターネット等のネットワークを利用して、販売店舗端末ＤＴ１、ＤＴ２、車両Ｍ１、携帯端末２００、エージェントサーバ４００、その他の外部装置と通信を行う。

入力部３２０は、例えば、各種キーやボタン等の操作によるユーザＵ１の入力を受け付ける。ディスプレイ３３０は、例えば、ＬＣＤ等である。入力部３２０は、タッチパネルとしてディスプレイ３３０と一体に構成されていてもよい。ディスプレイ３３０は、出力制御部３６０の制御により、実施形態における顧客情報、その他顧客サーバ３００を使用するために必要な情報を表示する。スピーカ３４０は、例えば、出力制御部３６０の制御により、所定の音声を出力する。

購入管理部３５０は、販売店舗端末ＤＴ１およびＤＴ２のような所定の販売業者またはその関連施設等でユーザが購入した製品、サービスの購入履歴を管理する。購入管理部３５０は、購入履歴を購入データ３７２として記憶部３７０に格納する。図７は、購入データ３７２の内容について説明するための図である。購入データ３７２は、例えば、ユーザを識別する識別情報であるユーザＩＤに、購入履歴情報が対応付けられている。購入履歴情報には、例えば、購入日時、製品管理情報、およびサービス管理情報が含まれる。購入日時は、例えば、販売店舗端末ＤＴ１およびＤＴ２によって、製品またはサービスを購入した日時に関する情報である。製品管理情報は、例えば、販売店舗端末ＤＴ１およびＤＴ２で購入した製品の種別、個数、料金、ポイント等の情報が含まれる。製品には、例えば、車両、車載機器、車両のパーツ等の車両に関係する製品、歩行アシストシステム、その他のアイテムが含まれる。車載機器とは、例えば、マイク１０、表示・操作装置２０、スピーカユニット３０、ナビゲーション装置４０、車両機器５０、車載通信装置６０、乗員認識装置８０、バッテリ９０等である。また、車両のパーツとは、例えば、タイヤやホイール、マフラー等である。アイテムとは、例えば、携帯端末、洋服、腕時計、帽子、玩具、雑貨、文房具、書籍、カーライフグッズ（キーリング、キーケース）等である。サービス管理情報には、例えば、ユーザに提供されるサービスの種別、料金、ポイント等の情報が含まれる。サービスとは、例えば、車検（継続検査）、定期点検整備、修理、カーシェアリングサービス、レンタカーサービス等である。

購入管理部３５０は、購入データ３７２を所定のタイミングでエージェントサーバ４００に送信する。また、購入管理部３５０は、エージェントサーバ４００からの問い合わせに対して購入データ３７２をエージェントサーバ４００に送信する。

出力制御部３６０は、ディスプレイ３３０に表示させる画像の内容や表示態様、スピーカ３４０に出力させる音声の内容や出力態様を制御する。また、出力制御部３６０は、や顧客サーバ３００を使用するために必要な各種情報をディスプレイ３３０およびスピーカ３４０から出力させてもよい。

記憶部３７０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部３７０には、例えば、購入データ３７２、プログラム、およびその他の各種情報が記憶される。

［エージェントサーバ］
図８は、エージェントサーバ４００の構成と、エージェント装置１００および携帯端末２００の構成の一部とを示す図である。以下では、ネットワークＮＷを用いた物理的な通信についての説明を省略する。

エージェントサーバ４００は、通信部４１０を備える。通信部４１０は、例えば、ＮＩＣ（Network Interface Card）等のネットワークインターフェースである。更に、エージェントサーバ４００は、例えば、音声認識部４２０と、自然言語処理部４２２と、対話管理部４２４と、ネットワーク検索部４２６と、応答内容生成部４２８と、情報提供部４３０と、プロファイル取得部４３２と、エージェント管理部４３４と、記憶部４４０とを備える。これらの構成要素は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置、例えば、記憶部４４０）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音声認識部４２０と、自然言語処理部４２２とを合わせたものが「認識部」の一例である。エージェント管理部４３４は、「取得部」の一例である。

記憶部４４０は、上記の各種記憶装置により実現される。記憶部４４０には、例えば、辞書ＤＢ（データベース）４４２、パーソナルプロファイル４４４、知識ベースＤＢ４４６、応答規則ＤＢ４４８、エージェント管理情報４５０等のデータやプログラムが格納される。

エージェント装置１００において、エージェント機能部１５０は、例えば、音響処理部１１２等から入力される音声ストリーム、或いは圧縮や符号化等の処理を行った音声ストリームを、エージェントサーバ４００に送信する。エージェント機能部１５０は、ローカル処理（エージェントサーバ４００を介さない処理）が可能なコマンド（要求内容）が認識できた場合には、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置１００が備える記憶部１７０を参照することで応答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、記憶部１７０内に存在する電話帳データから特定者の名前を検索し、合致した名前に対応付けられた電話番号に電話をかける（相手を呼び出す）コマンドである。つまり、エージェント機能部１５０は、エージェントサーバ４００が備える機能の一部を有してもよい。

また、携帯端末２００のアプリ実行部２５０は、例えば、入力部２２０により入力された音声から得られる音声ストリームを、エージェントサーバ４００に送信する。

音声ストリームを取得すると、音声認識部４２０が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部４２２が文字情報に対して辞書ＤＢ４４２を参照しながら意味解釈を行う。辞書ＤＢ４４２は、例えば、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書ＤＢ４４２は、同義語や類義語の一覧情報を含んでもよい。音声認識部４２０の処理と、自然言語処理部４２２の処理は、段階が明確に分かれるものではなく、自然言語処理部４２２の処理結果を受けて音声認識部４２０が認識結果を修正する等、相互に影響し合って行われてよい。

自然言語処理部４２２は、例えば、認識結果として、「今日の天気は」、「天気はどうですか」等の意味が認識された場合、標準文字情報「今日の天気」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部４２２は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。

対話管理部４２４は、入力されたコマンドに基づいて、パーソナルプロファイル４４４や知識ベースＤＢ４４６、応答規則ＤＢ４４８を参照しながら車両Ｍ１の乗員に対する応答内容（例えば、ユーザＵ１への発話内容や出力部から出力する画像、音声）を決定する。

図９は、パーソナルプロファイル４４４の内容の一例を示す図である。パーソナルプロファイル４４４は、例えば、ユーザＩＤごとに、個人情報、趣味嗜好、および利用履歴が対応付けられている。個人情報には、例えば、ユーザＩＤに対応付けられたユーザの氏名や性別、年齢、自宅の住所、実家の住所、家族構成、家族の状態、携帯端末２００と通信を行うためのアドレス情報等が含まれる。また、個人情報には、顔や容姿、音声の特徴情報が含まれてもよい。趣味嗜好は、例えば、対話内容に基づく解析結果や問い合わせに対する回答、ユーザによる設定等により得られた趣味や嗜好に関する情報である。また、利用履歴は、例えば、過去に利用したエージェントに関する情報や、エージェントごとの対話履歴に関する情報である。

知識ベースＤＢ４４６は、物事の関係性を規定した情報である。応答規則ＤＢ４４８は、コマンドに対してエージェントが行うべき動作（回答や機器制御の内容等）を規定した情報である。

対話管理部４２４は、コマンドが、ネットワークＮＷを介して検索可能な情報を要求するものである場合、ネットワーク検索部４２６に検索を行わせる。ネットワーク検索部４２６は、ネットワークＮＷを介して各種ウェブサーバ５００にアクセスし、所望の情報を取得する。「ネットワークＮＷを介して検索可能な情報」とは、例えば、車両Ｍ１の周辺にあるレストランの一般ユーザによる評価結果であったり、車両Ｍ１の位置に応じた天気予報であったりする。また、「ネットワークＮＷを介して検索可能な情報」には、電車や飛行機等の交通機関を用いた移動プランであってもよい。

応答内容生成部４２８は、対話管理部４２４により決定された発話の内容が車両Ｍ１のユーザＵ１に伝わるように、応答内容を生成し、生成した応答内容をエージェント装置１００に送信する。応答内容には、例えば、ユーザＵ１に提供する応答文や各制御対象機器に対する制御コマンド等が含まれる。また、応答内容生成部４２８は、乗員認識装置８０による認識結果をエージェント装置１００から取得し、取得した認識結果によりコマンドを含む発話を行ったユーザＵ１がパーソナルプロファイル４４４に登録されたユーザであることが特定されている場合に、ユーザＵ１の名前を呼んだり、ユーザＵ１またはユーザＵ１の家族の話し方に似せた話し方にした応答内容を生成してもよい。

情報提供部４３０は、応答内容生成部４２８により生成された応答内容に対し、記憶部４４０に記憶されたエージェント管理情報４５０を参照し、エージェントの出力態様に対応する応答内容を生成する。

図１０は、エージェント管理情報４５０の内容の一例を示す図である。エージェント管理情報４５０には、例えば、ユーザＩＤおよび車両を識別する識別情報である車両ＩＤに、エージェントＩＤ、属性情報、およびエージェント設定情報が対応付けられている。属性情報とは、例えば、エージェントＩＤに対応するエージェントを使用した期間や成長レベル（育成レベル）、性別、性格、エージェントが実行できる機能等の情報である。エージェント設定情報には、例えば、エージェント設定部１１６で設定されたエージェント画像情報およびエージェント音声情報が含まれる。

例えば、情報提供部４３０は、エージェント機能部１５０から音声と共に送信されたユーザＩＤおよび車両ＩＤを用いて、記憶部４４０に記憶されたエージェント管理情報４５０を参照し、ユーザＩＤおよび車両ＩＤに対応付けられたエージェント設定情報や属性情報を取得する。そして、情報提供部４３０は、エージェント設定情報や属性情報に対応させた応答内容を生成し、生成した応答内容を、音声を送信したエージェント機能部１５０または携帯端末２００に送信する。

エージェント装置１００のエージェント機能部１５０は、エージェントサーバ４００から応答内容を取得した場合、音声合成等を行ってエージェント音声を出力するように音声制御部１２４に指示する。また、エージェント機能部１５０は、音声出力に合わせてエージェント画像を生成し、生成したエージェント画像や応答結果に含まれる画像等を表示するように表示制御部１２２に指示する。

携帯端末２００のアプリ実行部２５０は、エージェントサーバ４００から応答内容を取得した場合、応答内容に基づいてエージェント画像やエージェント音声を生成し、生成したエージェント画像をディスプレイ２３０に出力させ、生成したエージェント音声をスピーカ２４０から出力させる。このようにして、仮想的に出現したエージェントによって、車両Ｍ１の乗員（ユーザＵ１）に応答するエージェント機能が実現される。

プロファイル取得部４３２は、エージェント装置１００や携帯端末２００から取得したユーザＵ１の発話および／またはジェスチャーの内容や、エージェントの利用状況に基づいて、パーソナルプロファイル４４４を更新する。また、プロファイル取得部４３２は、顧客サーバ３００から購入データ３７２を取得し、取得した購入情報に基づいて、パーソナルプロファイル４４４を更新してもよい。

エージェント管理部４３４は、顧客サーバ３００から購入データ３７２を取得し、取得した購入情報に基づいて、エージェントが実行可能な機能を変更する。例えば、エージェント管理部４３４は、所定の販売業者で購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、エージェントが実行可能な機能を追加させたり、機能を拡張する制御を行う。購入頻度には、例えば、販売店舗で購入可能な製品（例えば、車両）および／または製品に関連するアイテム（例えば、玩具や模型、ラジコン、プラモデル）等を購入した頻度が含まれる。利用ポイントには、例えば、販売店舗の来店時に付与される来店ポイントや、車両に試乗可能なサーキット場や工場等に来た場合またはイベント（プログラム）に参加した場合に付与される参加ポイントが含まれる。また、エージェント管理部４３４は、所定の販売業者で購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、エージェント画像やエージェント音声の出力態様を変化させてもよい。

[エージェントシステムによる処理]
次に、実施形態のエージェントシステム１による処理の流れについて具体的には説明する。図１１は、実施形態のエージェントシステム１によるエージェントの提供方法の一例を示すシーケンス図である。以下では、一例として、携帯端末２００と、車両Ｍ１と、販売店舗端末ＤＴ１と、顧客サーバ３００と、エージェントサーバ４００とを用いて処理の流れを説明するものとする。また、図１１の例では、主にユーザＵ１が販売業者にて車両Ｍ１と購入したときのエージェントシステムの処理の流れを中心として説明する。

まず、ユーザＵ１が販売店舗で車両Ｍ１を購入すると、購入した販売店舗の端末（以下、販売店舗端末ＤＴ１）は、ユーザＵ１のユーザ登録を行うと共に（ステップＳ１００）、購入データを登録する（ステップＳ１０２）。次に、販売店舗端末ＤＴ１は、顧客サーバ３００にユーザ登録によって得られたユーザ関連情報と、購入データに関する情報を顧客サーバ３００に送信する（ステップＳ１０４）。

顧客サーバ３００は、販売店舗端末ＤＴ１により送信されたユーザ情報および購入データに関する情報を記憶部３７０に記憶し、購入履歴を管理する（ステップＳ１０６）。また、顧客サーバ３００は、所定の製品（例えば、車両）またはユーザＵ１の購入金額の合計が所定金額以上になった場合に、エージェントの利用を許可し、ユーザＵ１にエージェントの利用を許可させる情報をエージェントサーバ４００に送信する（ステップＳ１０８）。

エージェントサーバ４００は、ユーザＵ１にエージェントを選択させるための情報を車両Ｍ１に送信する（ステップＳ１１０）。車両Ｍ１のエージェント設定部１１６は、エージェントサーバ４００から受信した情報に基づいて、エージェントを選択させるための画像または音声のうち一方または双方を生成し、生成した情報を出力部に出力させる。

次に、エージェント設定部１１６は、ユーザＵ１にエージェントを設定させる（ステップＳ１１２）。ステップＳ１１２の処理の詳細については後述する。エージェント設定部１１６は、エージェントの設定情報をエージェントサーバ４００に送信する（ステップＳ１１４）。エージェントサーバ４００は、エージェント設定部１１６により設定されたエージェントを登録する（ステップＳ１１６）。

次に、車両Ｍのエージェント機能部１５０は、設定されたエージェントによって、車両Ｍ１のユーザＵ１との対話を行い、対話内容をエージェントサーバ４００に送信する（ステップＳ１１８）、また、エージェント機能部１５０は、エージェントサーバ４００から応答結果を受信し、受信した応答結果に対応するエージェント画像やエージェント音声を生成して、出力部に出力させる（ステップＳ１２０）。ステップＳ１１８～Ｓ１２０の処理の詳細については後述する。

また、携帯端末２００のアプリ実行部２５０は、ユーザＵ１とエージェントを用いた対話を行い、対話内容をエージェントサーバ４００に送信する（ステップＳ１２２）。また、アプリ実行部２５０は、エージェントサーバ４００からの応答結果を受信し、受信した応答結果に対応するエージェント画像やエージェント音声を生成して、ディスプレイ２３０およびスピーカ２４０により出力させる（ステップＳ１２４）。ステップＳ１２２～Ｓ１２４の処理の詳細については後述する。

［ステップＳ１１２の処理：エージェント設定部の機能］
次に、上述したステップＳ１１２の処理におけるエージェント設定部１１６の機能について具体的に説明する。エージェント設定部１１６は、エージェントサーバ４００からユーザＵ１にエージェントを選択させるための情報を受信した場合に、ユーザＵ１が車両Ｍ１に最初に乗車したタイミング、または、ユーザＵ１が最初にエージェントを呼び出したタイミングで、エージェントを設定するための画像を表示制御部１２２に生成させ、生成させた画像をエージェント設定画面として表示・操作装置２０の表示部に出力させる。

図１２は、エージェントを設定するための画像ＩＭ１の一例を示す図である。なお、画像ＩＭ１に表示される内容やレイアウト等については、これに限定されるものではない。以下の画像の説明についても同様とする。画像ＩＭ１には、例えば、文字表示領域Ａ１１と、エージェント選択領域Ａ１２と、ＧＵＩ（Graphical User Interface）スイッチ選択領域Ａ１３とが含まれる。

文字表示領域Ａ１１には、予めエージェントサーバ４００に登録された複数のエージェント画像の中から、ユーザＵ１にエージェント画像を選択させるための文字情報が表示される。図１２の例において、文字表示領域Ａ１１には、「エージェントを選択してください。」という文字情報が表示されている。

エージェント選択領域Ａ１２には、例えば、ユーザＵ１が選択可能なエージェント画像が表示される。エージェント画像は、例えば、ユーザＵ１が所定の販売業者により車両Ｍ１を購入したことによって選択可能となった画像である。

また、実施形態におけるエージェントは、容姿等を成長（育成）させることができるエージェントであってもよい。この場合、購入時に最初に選択されるエージェントは、例えば、子供のエージェントである。図１２の例では、二人の少女のエージェント画像ＡＧ１０、ＡＧ２０が表示されている。エージェント画像は、予め設定された画像でもよく、ヒューザＵ１が指定したユーザでもよい。また、エージェント画像は、家族や友人等の顔画像をコラージュさせた画像であってもよい。これにより、ユーザＵ１は、より親近感を持ってエージェントと対話を行うことができる。

ユーザＵ１は、表示部におけるエージェント画像ＡＧ１０またはＡＧ２０の何れかの表示領域をタッチすることで、エージェント画像が選択される。図１２の例において、エージェント選択領域Ａ１２には、エージェント画像ＡＧ１０が選択された状態として、エージェント画像ＡＧ１０の周囲に枠線が示されている。なお、エージェント選択領域Ａ１２には、複数のエージェント音声うち、何れかの一つを選択させるための画像が表示されてもよい。エージェント音声には、例えば、合成音声や、声優や著名人、タレント等の音声が含まれる。また、エージェント音声には、予め登録された家族等の音声を解析することで得られるエージェント音声が含まれてもよい。また、エージェント選択領域Ａ１２には、選択されたエージェントの名前や性格を設定したり、エージェントを呼び出すためのウエイクアップワードを設定する領域を有していてもよい。

ＧＵＩスイッチ選択領域Ａ１３には、ユーザＵ１が選択可能な各種ＧＵＩボタンが表示される。図１２の例において、ＧＵＩスイッチ選択領域Ａ１３には、例えば、エージェント選択領域Ａ１２で選択した内容での設定を許可することを受け付けるためのＧＵＩアイコンＩＣ１１（ＯＫボタン）と、選択した内容を拒否することを受け付けるためのＧＵＩアイコンＩＣ１２（ＣＡＮＣＥＬボタン）とが含まれる。

なお、出力制御部１２０は、上述した画像ＩＭ１を表示することに加えて（または代えて）、文字情報表示領域Ａ１に表示される文字情報と同様の音声または他の音声をスピーカユニット３０から出力させてもよい。

例えば、表示・操作装置２０によりＧＵＩアイコンＩＣ２の操作を受け付けた場合、エージェント設定部１１６は、エージェント画像の設定を許可せず、画像ＩＭ１の表示を終了させる。また、表示・操作装置２０によりＧＵＩアイコンＩＣ１１の操作を受け付けた場合、エージェント設定部１１６は、エージェント選択領域Ａ１２で選択されたエージェント画像やエージェント音声を、車両Ｍ１に対応するエージェント（以下、エージェントＡ）に対応付けられたエージェント画像およびエージェント音声として設定する。エージェントＡが設定された場合、エージェント機能部１５０は、設定されたエージェントＡによるユーザＵ１との対話を実行させる。なお、エージェント機能部１５０における機能は、予め使用可能な機能が設定され、車両等の所定の製品またはサービスを購入したと同時に使用できるように制御されてもよい。また、エージェント機能部１５０における機能は、顧客サーバ３００やエージェントサーバ４００等により所定の製品またはサービスを購入したことが取得された場合にエージェントサーバ４００またはその他のサーバ等からダウンロードされてもよい。

図１３は、エージェントＡが選択された後に表示される画像ＩＭ２の一例を示す図である。画像ＩＭ２には、例えば、文字表示領域Ａ２１と、エージェント表示領域Ａ２２とが含まれる。文字表示領域Ａ２１には、エージェント設定部１１６により設定されたエージェントＡが対話を行うことをユーザＵ１に認識させるための文字情報が含まれる。図１３の例において、文字表示領域Ａ２１には、「エージェントＡが対話を行います。」という文字情報が表示されている。

エージェント表示領域Ａ２２は、エージェント設定部１１６により設定されたエージェント画像Ａ１０が表示される。なお、図１１の例において、エージェント機能部１５０は、「よろしくね～」という音声をエージェント画像ＡＧ１０の表示位置付近に音像定位させて出力させてもよい。

［ステップＳ１１８～Ｓ１２０の処理：エージェント機能部１５０の機能］
次に、ステップＳ１１８～Ｓ１２０の処理におけるエージェント機能部１５０の機能について説明する。図１４は、ユーザＵ１がエージェントＡと対話を行っている場面の一例を示す図である。図１４の例では、ユーザＵ１と対話を行うエージェントＡのエージェント画像ＡＧ１０を含む画像ＩＭ３が第１ディスプレイ２２に表示されている例が示されている。

画像ＩＭ３には、例えば、文字表示領域Ａ３１と、エージェント表示領域Ａ３２とが含まれる。文字表示領域Ａ３１には、対話を行うエージェントをユーザＵ１に認識させるための情報が含まれる。図１４の例において、文字表示領域Ａ３１には、「エージェントＡが対話を行います。」という文字情報が表示されている。

エージェント表示領域Ａ３２は、エージェント設定部１１６により設定されたエージェントに対応付けられたエージェント画像Ａ１０が表示される。ここで、ユーザＵ１が「今度の連休に実家に帰ろうと思う。」、「５月１日の１０時ごろに飛行機に乗るスケジュールを組んで欲しい。」といった発話を行ったとする。この場合、エージェント機能部１５０は、発話内容を認識し、認識結果に基づく応答内容を生成して出力する。図１４の例において、エージェント機能部１５０は、エージェント表示領域Ａ３２に表示されたエージェント画像ＡＧ１０の表示位置（具体的には、口の表示位置）に、「了解です。」、「すぐ調べるね」という音声を音像定位させて出力させてもよい。

エージェントサーバ４００は、エージェント機能部１５０により得られる音声を認識し、意味解釈を行い、解釈した意味に基づいて、各種ウェブサーバ５００や販売店舗端末ＤＴ１、ＤＴ２等を参照し、解析結果の問い合わせに対応する回答を取得する。例えば、自然言語処理部４２２は、記憶部４４０に記憶されたパーソナルプロファイル４４４からユーザＵ１のプロファイル情報を取得し、自宅および実家の住所を取得する。次に、自然言語処理部４２２は、「５月１日」、「１０時」、「飛行機」、「乗る」、「スケジュール」、「組む」等の単語に基づいて、各種ウェブサーバ５００や旅行会社等の販売店舗端末にアクセスして、自宅から実家までの移動のプランを検索する。そして、エージェントサーバ４００は、検索結果として得られたプランに基づいて、応答内容を生成し、生成した応答内容を車両Ｍ１のエージェント機能部１５０に送信する。

エージェント機能部１５０は、応答結果を出力部に出力させる。図１５は、エージェント機能部１５０により出力部に出力させる応答結果について説明するための図である。図１５の例では、主に応答結果として第１ディスプレイ２２に表示される画像ＩＭ４が示されている。

画像ＩＭ４には、例えば、文字表示領域Ａ４１と、エージェント表示領域Ａ４２とが含まれる。文字表示領域Ａ４１には、応答結果の内容を示す情報が含まれる。図１５の例において、文字表示領域Ａ４１には、自宅から実家までの５月１日の移動プランの一例が表示されている。移動プランには、例えば、利用する移動手段（交通機関等）、経由地点、各地点の出発または到着時間、料金に関する情報が含まれる。なお、料金については、例えば、車両を購入した販売業者と提携している旅行会社のプランである場合に、正規料金ではなく、提携に伴う割引を行った料金（図１５の例では、「エージェント割引料金」）を出力する。これにより、所定の販売業者やその提携会社のプランをユーザＵ１に選択させ易くすることができる。

また、出力制御部１２０は、エージェント表示領域Ａ４２にエージェント画像Ａ１０を表示させると共に、エージェント画像ＡＧ１０の表示位置に「こんなプランはどうですか？」という音声を音像定位させて出力させてもよい。

ここで、エージェント機能部１５０は、エージェント機能部１５０は、ユーザＵ１の「良いプランだね。これにするよ！」という音声を受け付けた場合、移動プランの購入手続の処理行い、購入結果に基づいて顧客サーバ３００の購入管理部３５０に購入データ３７２を更新させる。

なお、エージェント機能部１５０は、ユーザＵ１の「別のプランを出して。」という発話を受け付けた場合に、他の移動プランに関する情報を出力する。また、エージェント機能部１５０は、予め複数のプランがある場合に、エージェント表示領域Ａ４２に複数のプランを表示させてもよい。この場合、エージェント機能部１５０は、エージェント割引料金が存在するプランを優先して、または他のプランよりも強調して表示させてもよい。

また、エージェント機能部１５０は、上述した実家に帰るまでの移動手段のプランだけでなく、実家や空港等の移動先（経由先も含む）地点の近く（移動先の地点から所定距離範囲内）のホテルやキャンプ場、テーマパーク等の施設の提案や、その地点の近くで行われるコンサートやスポーツ観戦等のイベントの提案、レンタカーサービスやカーシェアリングサービス等の提案を行ってもよい。この場合、提案内容に加えて価格の提示を行ってもよい。

また、エージェント機能部１５０は、ユーザＵ１に提案した内容のうち、少なくとも一つの内容が選択された場合に、その提案に対する予約処理や決済処理を行ってもよい。エージェントＡを通じて決済処理までを行うことで、エージェントＡは、簡易に全てのスケジュールに必要な予約や決済を一元化することができる。なお、この場合には、エージェント提供者は、ユーザＵ１、またはユーザＵ１にサービス等を提供するサービス提供者等から手数料を取得してもよい。

更に、エージェント機能部１５０は、上述した各種の提案を行うだけでなく、提案した内容に必要なアイテム等の提案を行ってもよい。例えば、エージェントＡは、提示した提案のうち、ユーザＵ１の指示によりキャンプ場の予約を行なった後に、「ユーザＵ１は、タープテントを持っていなかったと思いますが、この機会に購入されては如何でしょうか？」、「タープテントは、以下のようなものがあります。」のような発話を行い、提携している企業等のタープテントを提示して勧める処理を行う。提案するアイテムによっては、エージェント割引料金が適用されてもよい。これによりその、ユーザＵ１は、安価にアイテムを取得することができると共に、店舗に買い物に行く手間も省ける。なお、上述したアイテムの購入等も、所定の販売業者で購入した製品またはサービスの購入額の総額、購入頻度、利用ポイントのうち少なくとも一つとしてカウントされる。

このように、エージェントＡは、ユーザＵ１と四六時中一緒にいることで、ユーザＵ１の嗜好等を学習し、ユーザＵ１が一日をより楽しく過ごせるように、必要なサービスやアイテム等を提供することができる。

エージェントサーバ４００のエージェント管理部４３４は、ユーザＵ１の購入履歴（例えば、ユーザＵ１が購入した製品やサービスの種別、購入額の総額、購入頻度、利用ポイントのうち少なくとも一つ）に基づいて、エージェントＡを成長させる。「エージェントを成長させる」とは、例えば、エージェント画像の表示態様を成長させたり、エージェント音声の音質を変化させることである。例えば、エージェント画像が子供であれば成長した容姿の表示態様に変化させたり、声変わりした音声の出力態様に変化させることである。また、「エージェントを成長させる」とは、エージェントが実行可能な機能の種類を追加したり、機能を拡張させることでもよい。実行可能な機能の種類が追加するとは、今まで実行できなかった機能（例えば、スポーツやイベント等のプレミアチケットの予約の受付等）が追加されることである。また、機能を拡張するとは、例えば、検索可能な範囲や対象が増えたり、検索結果として得られる回答数が増えることである。また、「エージェントを成長させる」とは、エージェントの洋服の着せ替えやキャラクタの成長、キャラクタのチェンジ、キャラクタの音声チェンジ等の様々な変更が含まれてもよい。

エージェント管理部４３４は、例えば、ユーザＵ１が所定の販売業者で購入した製品がバッテリ９０である場合や旅行サービスを購入した場合、または購入額の総額が所定金額以上となった場合に、エージェントを成長させる。また、エージェント管理部４３４は、購入額の総額やサービスの利用回数、購入頻度、利用ポイントの大きさ等に応じてエージェントを段階的に成長させてもよい。

図１６は、成長したエージェントを含む画像ＩＭ５の一例を示す図である。画像ＩＭ５には、例えば、文字表示領域Ａ５１と、エージェント表示領域Ａ５２とが含まれる。文字表示領域Ａ５１には、エージェントＡが成長した理由に関する情報が含まれる。図１６の例において、文字表示領域Ａ５１には、「○○の購入によりエージェントＡが成長しました。」という文字情報が表示されている。

また、出力制御部１２０は、エージェント表示領域Ａ５２にエージェント画像ＡＧ１１を表示させると共に、エージェント画像ＡＧ１１の表示位置に「成長したよ！」という音声を音像定位させて出力させてもよい。

図１７は、成長したエージェントによって提供される内容の違いについて説明するための図である。図１７の例では、ユーザＵ１との対話によって、上述した図１５に示す画像ＩＭ４を出力させるのに代えて、画像ＩＭ４＃が表示される例を示している。以下、画像ＩＭ４と画像ＩＭ４＃との相違点について説明する。画像ＩＭ４＃には、例えば、文字情報表示領域Ａ４１＃と、エージェント表示領域Ａ４２＃とが含まれる。

文字表示領域Ａ４１＃には、画像ＩＭ４の文字表示領域Ａ４１と同様の情報が表示される。エージェント表示領域Ａ４２＃には、エージェント画像ＡＧ１０に代えて成長したエージェント画像ＡＧ１１が表示されている。成長したエージェント画像ＡＧ１１が表示されている場合、エージェント機能部１５０は、例えば、ユーザＵ１の移動プランの応答結果を出力する機能に加えて、更に実家に帰省後のユーザＵ１の行動に関するレコメンド機能を付加する。

この場合、エージェントサーバ４００の情報提供部４３０は、ユーザＵ１のプロファイル情報を参照し、参照したプロファイル情報に基づくレコメンドを行う。図１７の例において、エージェント機能部１５０は、「こんなプランはどうですか？」というエージェント音声を出力させる他、「たしか御両親は、運転免許を返納していましたよね？」、「せっかく実家に戻るなら、車でドライブにお連れしてはどうですか？」、「Ｅ空港から、レンタカーサービスを予約すれば、便利ですよ。」、および「もし、利用を検討したいのなら、見積りを出すから教えてね。」というレコメンド情報をユーザＵ１に出力させている。なお、ユーザに追加で提示されるレコメンド情報は、所定の販売業者によって提供されるレコメンドであることが好ましい。これにより、所定の販売業者によって提供される製品やサービスをユーザＵ１に利用させ易くすることができる。

上述したように、エージェントを成長させることで、ユーザＵ１は、より詳細な情報の提供を受けたり、レコメンド情報の提供を受けることができる。また、所定の販売業者で製品やサービスを購入した場合にエージェントを成長させることで、ユーザＵ１の所定の販売業者での購入意欲を向上させることができる。

また、エージェント管理部４３４は、購入履歴に基づいて、エージェントの出力態様を成長させることに代えて（または加えて）、エージェントが着用できる衣装やアクセサリー等が着せ替え可能となるように表示態様を変化させてもよい。

図１８は、エージェントの衣装の着せ替えが行われた後の画像ＩＭ６の一例を示す図である。画像ＩＭ６には、例えば、文字表示領域Ａ６１と、エージェント表示領域Ａ６２とが含まれる。文字表示領域Ａ６１には、エージェントＡの着せ替えが可能になった理由に関する情報が含まれる。図１８の例において、文字表示領域Ａ６１には、「○○の購入により、アイドルの衣装への着せ替えが可能になりました。」という文字情報が表示されている。

また、出力制御部１２０は、エージェント表示領域Ａ６２に、アイドルの衣装を着せたエージェント画像ＡＧ１２を表示させると共に、エージェント画像ＡＧ１２の表示位置に「似合うかな」という音声を音像定位させて出力させてもよい。これにより、製品やサービスの購入によって、エージェントＡの衣装の着せ替えが行われたことをユーザＵ１に認識させ易くすることができ、ユーザＵ１の購入意欲を更に高めさせることができる。

なお、エージェント機能部１５０は、エージェントのキャラクタ種別や成長レベル、衣装等に応じて、エージェントと対話可能なユーザの数を増加させたり、変更させたりしてもよい。例えば、エージェント機能部１５０は、エージェント画像がアニメキャラクタである場合にはユーザの子供との対話を可能にし、エージェント画像の衣装がアイドルの衣装である場合には、ユーザ以外の家族との対話を可能にする。なお、家族の識別は、例えば、事前に車載機器や携帯端末２００によって音声や顔画像を登録することで行われる。

また、エージェント機能部１５０は、例えば、乗員認識装置８０による認識結果やマイク１０により収集された音声により、運転者の体調の具合が悪い状態であると認識した場合に、同乗者（家族・知人等）や救急隊、警察等と対話を行い、運転者の危機回避を行ってもよい。この場合、エージェント機能部１５０は、「運転者は、昨日の夜から胃が痛いと言っていました。」等の有用な情報を相手（例えば、救急隊等）に伝えることで、迅速かつ適切な救助を支援することができる。また、エージェント機能部１５０は、上述した処理を行う緊急用エージェントを予め登録しておき、緊急時に現在起動中のエージェントから緊急用エージェントに切り替えて処理を行ってもよい。

［ステップＳ１２２～Ｓ１２４の処理：アプリ実行部２５０の機能］
次に、ステップＳ１２２～Ｓ１２４の処理におけるエージェント機能部１５０の機能について説明する。図１９は、アプリ実行部２５０の処理によって携帯端末２００のディスプレイ２３０に表示される画像の一例を示す図である。図１９に示す画像ＩＭ７には、文字表示領域Ａ７１と、ＧＵＩアイコン画像ＩＣ７１と、エージェント表示領域Ａ７２とが含まれる。文字表示領域Ａ７１には、現在アクティベートされているエージェントに伝えるべき動作の内容が表示されている。ＧＵＩアイコン画像ＩＣ７１は、ユーザＵ１によるドライブセッションの指示を受け付けるＧＵＩスイッチである。エージェント表示領域Ａ７２には、現在アクティベートされているエージェントに対応したエージェント画像ＡＧ１１が表示されている。また、アプリ実行部２５０は、エージェント画像ＡＧ１０の表示位置にエージェントの発話に擬したエージェント音声を表示させてもよい。図１９の例において、アプリ実行部２５０は、「今日の調子はどう？」、「ドライブに行こう！」というエージェント音声をエージェント画像ＡＧ１０の表示位置付近に音像定位させて出力させている。これにより、ユーザＵ１は、携帯端末２００に表示されたエージェントＡと対話を行いながら、一緒にドライブに行く感覚を得ることができる。

なお、ユーザＵ１によりＧＵＩアイコン画像ＩＣ７１が選択された場合、アプリ実行部２５０は、エージェントサーバ４００を介して車両Ｍ１と通信を行い、車両Ｍ１に関する情報や周辺環境に関する情報を、エージェントＡから通知させてもよい。車両Ｍ１に関する情報とは、例えば、車両Ｍ１の走行速度、現在位置、燃料残量、バッテリ９０の残量、車室内温度等である。また、周辺環境に関する情報とは、例えば、車両Ｍ１の周辺の天気や混雑状態等である。

また、実施形態では、ユーザＵ１が所有する車両ごとに異なるエージェントが設定されてもよい。例えば、エージェント管理部４３４は、ユーザＵ１が車両Ｍ１の他に、もう一台車両を購入した場合に、既存のエージェントＡに加えて他のエージェントを利用可能にさせる。図２０は、ユーザＵ１の車両の購入につき、車両Ｍ１の第１ディスプレイ２２に表示される画像ＩＭ８の一例を示す図である。図２０に示す画像ＩＭ８には、例えば、文字情報表示領域Ａ８１と、エージェント表示領域Ａ８２とが含まれる。

文字表示領域Ａ８１には、車両の購入によって、使用可能なエージェントが追加されたことを示す情報が表示される。図２０の例において、文字表示領域Ａ８１には、「車両の購入につき、もう一人のエージェントが使用可能になりました。」という文字情報が表示されている。

また、出力制御部１２０は、エージェント表示領域Ａ８２に、既に使用可能であったエージェント画像ＡＧ１１と共に、新たに使用可能となったエージェント（以下、エージェントＢと称する）のエージェント画像ＡＧ２１が表示させる。また、出力制御部１２０は、エージェント画像ＡＧ２１の表示位置に、エージェント画像ＡＧ２１の発話を擬したエージェント音声を出力させてもよい。図２０の例において、出力制御部１２０は、「宜しくお願いします。」という音声を音像定位させて出力させている。新たに追加されたエージェントＢは、新たに購入された車両（以下、車両Ｍ２と称する）に対応付けて管理される。車両Ｍ２は、例えば、車両Ｍ１のエージェント装置と同様の機能を備える。これにより、車両とエージェントとが関連付けられるため、各エージェントがどの車両に対応しているかをユーザＵ１に把握させ易くすることができる。

なお、エージェント設定部１１６は、新たに車両を購入してエージェントを追加する場合に、選択可能な複数のエージェントのうち、何れかのエージェントをユーザＵ１に選択させてもよい。この場合、エージェント設定部１１６は、選択可能なエージェントの数を、購入額の総額に基づいて可変に設定してもよい。これにより、ユーザＵ１による購入意欲を更に向上させることができる。

ここで、エージェントサーバ４００は、ユーザＵ１によるエージェントＡおよびＢのそれぞれの利用履歴を、他のエージェントとの対話に用いてもよい。図２１は、他のエージェントとの対話を利用して対話を行うことについて説明するための図である。図２１の例では、車両Ｍ２のエージェント機能部１５０によって、第１ディスプレイ２２に表示される画像ＩＭ９の一例を示している。画像ＩＭ９には、例えば、エージェント表示領域Ａ９１が含まれる。エージェント表示領域Ａ９１には、ユーザＵ１に対応付けられたエージェントのエージェント画像が表示される。図２１の例において、エージェント表示領域Ａ９１には、エージェントＡおよびＢに対応するエージェント画像ＡＧ１１およびＡＧ２１が表示されている。

ここで、エージェントサーバ４００は、車両Ｍ１の乗車時におけるエージェントＡとの利用履歴により、ユーザＵ１がエージェントＡとドライブに行っている場合、エージェント機能部１５０は、「先週は、Ｙ地点にドライブに行ったね。」というエージェントＡのエージェント音声を、エージェント画像ＡＧ１１の表示位置付近に音像定位させて出力させる。また、エージェント機能部１５０は、出力されたエージェント音声の内容に対応させて、エージェントＢのレコメンド情報として、「では、今日はＺ地点に行ってみませんか？」というエージェント音声を、エージェント画像ＡＧ２１の表示位置付近に音像定位させて出力させる。このように、複数のエージェントは、互いに過去の利用履歴を共有することで、ユーザに適切な情報提供やレコメンドを行うことができる。

なお、エージェント管理部４３４は、複数のエージェントの起動状態を把握し、使用されているはずのない状況下でエージェントが使用されていると推定される場合に、ユーザＵ１の携帯端末２００にその旨の通知を行ってもよい。「使用されているはずのない状況下でエージェントが使用されている」とは、例えば、車両Ｍ１でエージェントＡがユーザＵ１と対話している状況で、車両Ｍ２でエージェントＢが起動している状態である。この場合、エージェント管理部４３４は、ユーザＵ１の携帯端末２００に「車両Ｍ２のエージェントＢが起動しています」等のメッセージを通知させることで、車両Ｍの盗難等を早期に発見することができる。

実施形態のエージェントは、上述した車両Ｍに対応付けて表示させることに加えて（または代えて）、車載機器等に対応付けられたエージェントを表示させてもよい。例えば、実施形態では、上述した車両Ｍに搭載されるバッテリ９０の状態に対応付けられたキャラクタ画像をエージェントとして用いてもよい。

図２２は、バッテリ９０の状態に対応付けたキャラクタ画像をエージェントとして表示させることについて説明するための図である。図２２の例では、図２２の例では、車両Ｍ１のエージェント機能部１５０によって、第１ディスプレイ２２に表示される画像ＩＭ１０の一例を示している。画像ＩＭ１０には、例えば、エージェント表示領域Ａ１０１が含まれる。エージェント表示領域Ａ１０１には、例えば、エージェントＡのエージェント画像ＡＧ１１およびバッテリ９０の劣化度合に対応付けられたキャラクタ画像ＢＣ６が表示されている。

エージェント機能部１５０は、バッテリ９０の劣化度合に基づいて、バッテリ９０の交換を促すエージェント音声を生成し、生成したエージェント音声を出力制御部１２０に出力させる。図２２の例において、エージェント機能部１５０は、「バッテリが劣化しているようです。交換しましょう！」というエージェント音声をエージェントＡＧ１１の表示位置付近に音声定位させて出力させる。

更に、エージェント機能部１５０は、キャラクタ画像ＢＣ６に対応付けられた音声を生成してもよい。図２２の例において、エージェント機能部１５０は、「そろそろ限界じゃ！」という音声をキャラクタ画像ＢＣ６の表示位置付近に音像定位させて出力させる。上述したようにバッテリ９０の状態を擬人化したキャラクタ画像を用いることで、ユーザに、バッテリ９０の交換時期を直感的に把握させることができる。

これにより、ユーザＵ１は、車両Ｍ１を所定の販売業者に移動させ、バッテリ９０を回収させ、新たなバッテリ（例えば、ＯＥＭ（Original Equipment Manufacturing）認定バッテリ）を購入する。この場合、車載機器が購入されるため、顧客サーバ３００の購入データ３７２が更新され、購入を繰り返すことでエージェントＡを育成し続けることができる。

また、エージェント管理部４３４は、車両Ｍ１から車両Ｍ２に買い替える場合、または車両Ｍ１に加えて車両Ｍ２を買い増す場合には、車両Ｍ１またはユーザＵ１に対応付けられたエージェントＡを、車両Ｍ２または携帯端末２００で継続して使用可能としてもよい。この場合、エージェント管理部４３４は、車両Ｍ２を、車両Ｍ１と同一系列の販売業者で購入することを、エージェントを引き継ぐ条件にしてもよい。また、エージェント管理部４３４は、ユーザＵ１が車両に対するサービス（例えば、レンタカーサービスやカーシェアリングサービス）を購入する場合（追加購入も含む）に、ユーザＵ１や車両Ｍ１に対応付けられていたエージェントＡを、サービス購入後の車両、すなわち購入したサービスで利用する車両（例えば、レンタカーやシェアカー）、または携帯端末２００で継続して使用可能としてもよい。このように、ユーザＵ１にエージェントを継続して使用させることで、ユーザＵ１とエージェントとの親近感をより深めることができ、ユーザＵ１に対して、よりよいサービスを提供することができる。

また、エージェント管理部４３４は、所定期間内に所定の販売業者で製品やサービスを購入した場合に、現在使用しているエージェントを継続して使用できるようにしてもよい。また、エージェント管理部４３４は、車両が廃車される場合に、その車両に対応付けられたエージェントを有料で維持できるようにしてもよい。この場合、料金は、例えば、データ維持費用またはメンテナンス費用として支払われる。これにより、例えば長期の出張や転勤等により一時的に車両を手放す場合であっても、育成してきたエージェントは、エージェントサーバ４００で管理される。これにより、数年後等に新たに車両を購入した場合に、その車両に育成していたエージェントを対応付けて使用することができる。

なお、エージェント管理部４３４は、車両のエージェントを有料で維持する場合には、そのエージェントをユーザＵ１の携帯端末２００のエージェント機能として利用できるようにしてもよい。これにより、例えば、ユーザＵ１が外国の勤務先を歩いたり、自転車やレンタカー等の移動体に乗って移動する場合に、エージェントは、ユーザＵ１との対話を行い、経路案内や店舗の紹介等を行うことができる。

上述した実施形態に係るエージェントシステムによれば、ユーザＵ１の発話に応じて、音声による応答を含むサービスを提供するエージェント機能部１５０と、ユーザが所定の販売業者から車両、車載機器、またはサービスを購入したことを示す情報を取得する取得部とを備え、エージェント機能部は、取得部により取得された情報に基づいて、エージェント機能部が実行可能な機能を変更することにより、ユーザに所定の販売業者での購入意欲を向上させることができる。

また、実施形態によれば、例えば、製品やサービスを提供する正規ディーラー（オフィシャルサイトを含む）等の所定の販売業者で購入した場合に、エージェントを使用したり、成長させることができるため、金額が高い場合であっても正規ディーラーで購入したいというユーザの購入意欲を高めることができる。

また、実施形態において、エージェントサーバ４００は、正規の販売店舗の利用をエージェントからユーザＵ１に勧めるように制御してもよい。これにより、例えば、バッテリ９０の交換、再利用等を行うビジネスモデルにおいて、バッテリ９０の回収を効率よく行うことができる。この場合、エージェントサーバ４００は、エージェントの勧めに応じたユーザに対して、エージェントのアップグレード等のサービスを付加してもよい。

なお、上述した実施形態において、エージェント装置１００の機能のうち一部または全部は、エージェントサーバ４００に含まれていてもよい。例えば、車両Ｍに搭載されている管理部１１０や記憶部１７０は、エージェントサーバ４００に設けられてもよい。また、エージェントサーバ４００の機能のうち一部または全部は、エージェント装置１００に含まれていてもよい。つまり、エージェント装置１００およびエージェントサーバ４００における機能の切り分けは、各装置の構成要素、エージェントサーバ４００やエージェントシステムの規模等によって適宜変更されてよい。また、エージェント装置１００およびエージェントサーバ４００における機能の切り分けは、車両ごとに設定されてもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…エージェントシステム、１０…マイク、２０…表示・操作装置、３０…スピーカユニット、４０…ナビゲーション装置、５０…車両機器、６０…車載通信装置、７０…汎用通信装置、８０…乗員認識装置、１００…エージェント装置、１１０…管理部、１１２…音響処理部、１１４…ＷＵ判定部、１１６…エージェント設定部、１２０，２６０，３６０…出力制御部、１２２…表示制御部、１２４…音声制御部、１５０…エージェント機能部、１６０…バッテリ管理部、１７０，２７０，３７０…記憶部、２００…携帯端末、２１０，３１０，４１０…通信部、２２０，３２０…入力部、２３０，３３０…ディスプレイ、２４０，３４０…スピーカ、２５０…アプリ実行部、３００…顧客サーバ、３５０…購入管理部、４００…エージェントサーバ、４２０…音声認識部、４２２…自然言語処理部、４２４…対話管理部、４２６…ネットワーク検索部、４２８…応答内容生成部、４３０…情報提供部、４３２…プロファイル取得部、４３４…エージェント管理部、５００…各種ウェブサーバ

Claims (10)

1. ユーザの発話および／またはジェスチャーに応じて、音声による応答を含むサービスを提供するエージェント機能部と、
   前記ユーザが所定の販売業者から車両に関係する製品またはサービスを購入したことを示す情報を取得する取得部と、
   前記エージェント機能部により提供される前記ユーザとのコミュニケーションを行うエージェントの画像または音声を出力部に出力させる出力制御部と、を備え、
   前記エージェント機能部は、前記取得部により取得された情報に基づいて、前記エージェント機能部が実行可能な機能を変更し、
   更に前記エージェント機能部は、前記ユーザからの問い合わせに対する提案情報を提供する場合に、前記提案情報とともに、前記ユーザまたは前記提案情報に基づく付加情報を提供し、
   前記エージェントは、前記ユーザが所有する車両ごと、および／または、車載機器ごとに異なるエージェントが設定され、
   前記エージェント機能部は、前記ユーザによるそれぞれのエージェントの利用履歴を他のエージェントとの対話に用いて、前記音声による応答を含むサービスを前記ユーザに提供する、
   エージェントシステム。
2. 前記出力制御部は、前記取得部により取得された前記ユーザの購入履歴に基づいて、前記出力部に出力される前記エージェントの画像または音声の出力態様を変更させる、
   請求項１に記載のエージェントシステム。
3. 前記エージェント機能部は、前記ユーザが購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、前記エージェントを成長させる、
   請求項２に記載のエージェントシステム。
4. 前記エージェント機能部は、前記エージェントの成長度合に応じて、前記ユーザからの問い合わせに対する提案情報または前記付加情報のうち一方または双方を異ならせる、
   請求項３に記載のエージェントシステム。
5. 前記エージェント機能部は、前記ユーザが車両を買い替えるまたは買い増す場合、或いは車両に対するサービスを購入する場合に、買い替えまたは買い増す前、或いは購入する前のユーザに対応付けられていたエージェントを、買い替えまたは買い増した後、或いはサービス購入後の車両、または前記ユーザの端末装置で継続して使用可能とする、
   請求項４に記載のエージェントシステム。
6. 前記製品には、前記車両に電力を供給する蓄電池を含み、
   前記エージェント機能部は、前記蓄電池の状態に対応付けられたキャラクタ画像を前記エージェントの画像として用いる、
   請求項４に記載のエージェントシステム。
7. 前記エージェント機能部は、前記ユーザが購入した製品またはサービスの種別、購入額の総額、購入頻度、或いは利用ポイントのうち少なくとも一つに基づいて、前記エージェント機能部が実行可能な機能な機能を追加または拡張する、
   請求項１から５のうち何れか１項に記載のエージェントシステム。
8. ユーザの発話および／またはジェスチャーを認識する認識部と、
   前記認識部により認識された結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成する応答内容生成部と、
   前記応答内容生成部により生成された応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供する情報提供部と、
   前記ユーザが所定の販売業者から車両に関係する製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させるエージェント管理部と、を備え、
   前記応答内容生成部は、前記ユーザからの問い合わせに対する提案情報と、前記ユーザまたは前記提案情報に基づく付加情報とを前記応答結果として生成し、
   前記エージェント管理部は、前記ユーザが所有する車両ごと、および／または、車載機器ごとに異なるエージェントを設定し、前記ユーザによるそれぞれのエージェントの利用履歴を他のエージェントとの対話に用いて、前記ユーザに前記応答結果を提供する、
   エージェントサーバ。
9. コンピュータが、
   ユーザの発話および／またはジェスチャーを認識し、
   認識した結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成し、
   生成した応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供し、
   前記ユーザが所定の販売業者から車両に関係する製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させ、
   更に前記応答結果を生成する際、前記ユーザからの問い合わせに対する提案情報と、前記ユーザまたは前記提案情報に基づく付加情報とを前記応答結果として生成し、
   前記ユーザが所有する車両ごと、および／または、車載機器ごとに異なるエージェントを設定し、
   前記ユーザによるそれぞれのエージェントの利用履歴を他のエージェントとの対話に用いて、前記ユーザに前記応答結果を提供する、
   エージェントサーバの制御方法。
10. コンピュータに、
    ユーザの発話および／またはジェスチャーを認識させ、
    認識された結果に基づいて、前記発話および／またはジェスチャーに対する応答結果を生成させ、
    生成された応答結果を、前記ユーザとのコミュニケーションを行うエージェントの画像または音声を用いて提供させ、
    前記ユーザが車両に関係する販売業者から製品またはサービスを購入した場合に、前記エージェントの出力態様を変化させ、
    更に前記応答結果を生成する際、前記ユーザからの問い合わせに対する提案情報と、前記ユーザまたは前記提案情報に基づく付加情報とを前記応答結果として生成させ、
    前記ユーザが所有する車両ごと、および／または、車載機器ごとに異なるエージェントを設定させ、
    前記ユーザによるそれぞれのエージェントの利用履歴を他のエージェントとの対話に用いて、前記ユーザに前記応答結果を提供させる、
    プログラム。

Images