JP7338493B2 - エージェント装置、エージェントシステム及びプログラム - Google Patents

Description

本発明は、ユーザの質問に対する回答を提供するエージェント装置、エージェントシステム及びプログラムに関する。

特許文献１には、各種車載ユニットの操作に関係のある情報を提供する車両用エージェント処理装置が開示されている。

特開２００１－１４１５００号公報

特許文献１の車両用エージェント処理装置を、オーナーズマニュアルを検索するためのエージェントに適用する場合、質問を行うユーザの発話内容から当該質問の意図を推定する際の推定精度を向上させるには改善の余地がある。

本発明は、質問の意図を推定するエージェントにおいて、意図の推定精度を向上させることが可能なエージェント装置、エージェントシステム及びプログラムを提供することを目的とする。

請求項１に記載のエージェント装置は、車両から前記車両の状態についての状態情報と、ユーザからの質問を質問情報として受け付ける受付部と、前記受付部が受け付けた前記質問情報に対して前記質問の意図を推定する意図推定処理を行う推定部と、前記推定部において推定された複数の前記意図から前記状態情報を参照して一の前記意図を特定する意図特定処理を行う特定部と、前記特定部において特定された一の前記意図に基づいて前記質問の回答を取得する取得部と、を備えている。

請求項１に記載のエージェント装置は、ユーザの質問に対し、当該質問の意図が推定されることで得られた回答を取得可能に構成されている。当該エージェント装置では、質問情報を受け付ける受付部において、質問情報に加えて車両の状態情報を受け付け、質問情報を基に推定処理を行う。そして、推定された複数の意図から車両の状態情報を参照して一の意図を特定し、特定された一の意図に基づいて取得部が質問に対する回答を取得することを特徴としている。当該エージェント装置によれば、質問の意図を推定した場合に車両の状態を反映させることで、意図の推定精度を向上させることができる。

請求項２に記載のエージェント装置は、請求項１に記載のエージェント装置において、前記状態情報は、前記車両に設けられた複数の制御装置を接続する通信路における通信情報に基づいて取得される。

請求項２に記載のエージェント装置では、車両を制御する複数の制御装置同士を接続する通信路から車両の状態情報を取得可能に構成されている。当該エージェント装置によれば、車両制御用の通信情報を利用することにより、車両から当該車両の状態を容易に取得することができる。

請求項３に記載のエージェントシステムは、請求項１又は２に記載のエージェント装置と、前記車両に搭載され、前記ユーザから前記質問を受け付け、かつ前記ユーザに前記回答を通知する通知装置と、を備えている。

請求項３に記載のエージェントシステムでは、車両に通知装置が搭載されており、乗員であるユーザからの質問に対する回答を提供可能に構成されている。当該エージェントシステムによれば、車両におけるユーザの操作の利便性を向上させることができる。

請求項４に記載のプログラムは、車両から前記車両の状態についての状態情報と、ユーザからの質問を質問情報として受け付ける受付ステップと、受け付けられた前記質問情報に対して前記質問の意図を推定する意図推定処理を行う推定ステップと、推定された複数の前記意図から前記状態情報を参照して一の前記意図を特定する意図特定処理を行う特定ステップと、特定された一の前記意図に基づいて前記質問の回答を取得する取得ステップと、を備える処理をコンピュータに実行させる。

請求項４に記載のプログラムは、ユーザの質問に対し、当該質問の意図が推定されることで得られた回答を取得する処理をコンピュータが実行可能に構成されている。当該プログラムが実行されるコンピュータでは、質問情報に加えて車両の状態情報を受け付け、質問情報を用いて推定処理を行い、推定された複数の意図から車両の状態情報を参照して一の意図を特定し、特定された一の意図に基づいて質問に対する回答を取得することを特徴としている。当該プログラムによれば、質問の意図を推定する場合に車両の状態を反映させることで、意図の推定精度を向上させることができる。

本発明によれば、質問の意図を推定するエージェントにおいて、意図の推定精度を向上させることができる。

第１の実施形態に係るマニュアル提供システムの概略構成を示す図である。 第１の実施形態の車両のハードウェア構成を示すブロック図である。 第１の実施形態のサーバのハードウェア構成を示すブロック図である。 第１の実施形態のエージェントサーバの機能構成を示すブロック図である。 第１の実施形態のマニュアル提供システムの機能を説明するブロック図である。 教師データの生成方法の一例を示す図である。 第１の実施形態のマニュアル提供システムにおけるエージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理の流れを示すシーケンス図である。 エージェントへの対応がある場合におけるモニタの表示の例である。 エージェントへの対応がない場合におけるモニタの表示の例である。 第１の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。 第１の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図（図１０の続き）である。 回答情報に係る情報を乗員に提示した例を示す図である。 第２の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。 第２の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図（図１３の続き）である。 第３の実施形態のエージェントサーバの機能構成を示すブロック図である。

［第１の実施形態］
図１に示されるように、第１の実施形態のエージェントシステムであるマニュアル提供システム１０は、複数の車両１２と、複数のサーバ３０と、を含んで構成されている。各車両１２には通知装置としての車載器２０が搭載されている。また、サーバ３０は、Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（以下、「ＨＭＩ」とする）として機能するインタフェース装置としてのＨＭＩサーバ１４、エージェント装置としてのエージェントサーバ１６、オーナーズマニュアル（Ｏｗｎｅｒ’ｓ Ｍａｎｕａｌ、以下「ＯＭ」と略す場合がある）サーバ１８、及びデータサーバ１９を含んでいる。

各車両１２の車載器２０、ＨＭＩサーバ１４、ＯＭサーバ１８及びデータサーバ１９は、それぞれ、ネットワークＮ１を介して相互に接続されている。また、ＨＭＩサーバ１４とエージェントサーバ１６とは、ネットワークＮ２を通じて相互に接続されている。なお、エージェントサーバ１６は、他のサーバ３０と同様にネットワークＮ１に接続されていてもよい。

（車両）
図２に示されるように、本実施形態に係る車両１２は、車載器２０と、複数のＥＣＵ２２と、音声入力装置としてのマイク２４と、操作入力装置としての入力スイッチ２６と、表示装置としてのモニタ２８、スピーカ２９と、を含んで構成されている。

車載器２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、車内通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、車内通信Ｉ／Ｆ２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、車載器２０を制御するための制御プログラムが記憶されている。

ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

車内通信Ｉ／Ｆ２０Ｄは、ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮプロトコルによる通信規格が用いられる。車内通信Ｉ／Ｆ２０Ｄは、通信路としての外部バス２０Ｈに対して接続されている。制御装置としてのＥＣＵ２２は、車両１２の機能毎に複数設けられている。本実施形態のＥＣＵ２２としては、車両制御ＥＣＵ、エンジンＥＣＵ、ブレーキＥＣＵ、ボデーＥＣＵ、カメラＥＣＵ、マルチメディアＥＣＵが例示される。

無線通信Ｉ／Ｆ２０Ｅは、サーバ３０と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。無線通信Ｉ／Ｆ２０Ｅは、ネットワークＮ１に対して接続されている。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるマイク２４、入力スイッチ２６、モニタ２８、及びスピーカ２９と通信するためのインタフェースである。

マイク２４は、車両１２のフロントピラーやダッシュボード等に設けられ、ユーザである車両１２の乗員が発した音声を集音する装置である。

入力スイッチ２６は、インストルメントパネル、センタコンソール、ステアリングホイール等に設けられ、乗員の手指による操作を入力するスイッチである。入力スイッチ２６としては、例えば、押しボタン式のテンキーやタッチパッド等を採用することができる。

モニタ２８は、インストルメントパネル、メータパネル等に設けられ、オーナーズマニュアルや後述する回答情報に係る画像を表示するための液晶モニタである。モニタ２８は、入力スイッチ２６を兼ねたタッチパネルとして設けてもよい。

スピーカ２９は、インストルメントパネル、センタコンソール、フロントピラー、ダッシュボード等に設けられ、回答情報に係る音声を出力するための装置である。

（サーバ）
図３に示されるように、サーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ、及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、内部バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ及び通信Ｉ／Ｆ３０Ｅの機能は、上述した車載器２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ及び無線通信Ｉ／Ｆ２０Ｅと同じである。

ストレージ３０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。

ＣＰＵ３０Ａは、ストレージ３０Ｄからプログラムを読み出し、ＲＡＭ３０Ｃを作業領域としてプログラムを実行する。

本実施形態のストレージ３０Ｄには、処理プログラム１００及びデータ群１１０が記憶されている。処理プログラム１００は、サーバ３０が有する各機能を実現するためのプログラムである。

（ＨＭＩサーバ）
ＨＭＩサーバ１４は、車載器２０からの質問を受け付けると共に、オーナーズマニュアルに係る質問に対する回答をエージェントサーバ１６に照会する機能を有している。

図５に示されるように本実施形態のＨＭＩサーバ１４では、ＣＰＵ３０Ａが、処理プログラム１００を実行することで、選定部としてのＨＭＩ対話制御部３２として機能する。

ＨＭＩ対話制御部３２は、車載器２０との間で通信を行う。ＨＭＩ対話制御部３２は、車載器２０から送信された車両１２の乗員に係る音声情報を取得し、音声認識を行い、音声情報をテキスト情報に変換する。ここで、本実施形態では、車両１２の乗員による発話で質問を行うことを想定している。そのため、乗員の発話に係る音声情報が乗員により車載器２０に入力された入力情報となる。例えば、「ランプの消し方教えて」、「マルにＡのスイッチ何？」等、乗員が発話した質問に係る音声情報が入力情報となる。

また、ＨＭＩ対話制御部３２は、変換されたテキスト情報を基に、乗員の発話の意図を理解する。そして、ＨＭＩ対話制御部３２は、乗員がオーナーズマニュアルに係る質問を行ったと理解した場合、当該質問に係る照会をエージェントサーバ１６に対し実行する。そして、ＨＭＩ対話制御部３２は、質問に係るテキスト情報をエージェントサーバ１６に送信し、エージェントサーバ１６から回答に係る回答情報を受信する。

また、ＨＭＩ対話制御部３２は、エージェントサーバ１６から受信した回答情報を車載器２０に対して送信する。なお、回答情報は、質問に対する回答に係るテキスト情報及び音声情報を含む。このテキスト情報には、オーナーズマニュアルのＨＴＭＬデータを閲覧するためのＵＲＬが含まれている。

また、ＨＭＩサーバ１４は、車載器２０から取得した車両情報に基づいて、オーナーズマニュアルに係る質問を処理するエージェント（Ｏｗｎｅｒ’ｓ Ｍａｎｕａｌ Ａｇｅｎｔ（以下、「ＯＭＡ」とする））の対応状況を確認する機能を有している。当該機能の詳細については後述する。

（エージェントサーバ）
エージェントサーバ１６は、ＯＭＡとして機能する。エージェントサーバ１６は、ＨＭＩサーバ１４から車両１２の車両情報と質問に係るテキスト情報とを取得し、データサーバ１９から車両１２の状態に係る状態情報であるＣＡＮ情報を取得する。また、エージェントサーバ１６は、ＨＭＩサーバ１４に質問に対する回答に係る回答情報を提供する。

本実施形態のエージェントサーバ１６では、ＣＰＵ３０Ａが処理プログラム１００を実行することで、図４に示すＯＭＡ対話制御部３６及び意図推定部３８として機能する。また、ＯＭＡ対話制御部３６は、受付部５０、取得部５２、確認部５３、指示部５４及び提供部５６を含む。

また、エージェントサーバ１６のデータ群１１０は、図５に示す車両ＯＭ対応データ２００、意図推定ＩＤ管理データ２１０、ＱＡデータ２２０、単語正規化データ２３０及び学習済みモデル２４０を含む。

車両ＯＭ対応データ２００は、車両１２の車体番号、車種、グレード、装備品等に係る車両情報と、オーナーズマニュアル毎に付与されたＯＭ品番との対応関係を記憶したデータである。この車両ＯＭ対応データ２００は、質問に対する回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースの一例である。

意図推定ＩＤ管理データ２１０は、ＯＭ品番と意図推定エンジンとの対応関係を記憶したデータである。意図推定ＩＤ管理データ２１０には、ＯＭ品番に対応する意図推定エンジンＩＤが記憶されている。意図推定エンジンＩＤとは、後述する意図推定処理を実行する意図推定エンジン毎に付与されたＩＤである。この意図推定エンジンは、類似する又は関連するオーナーズマニュアル毎に設けられている。

ＱＡデータ２２０は、回答毎に付されるインテントラベルに紐づく回答情報を保持するデータである。ここで、「インテントラベル」とは、乗員の発話内容から意図を推定した結果として提供されるラベル番号である。回答情報には、質問に対する回答に係る表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のＵＲＬ等の情報が含まれている。

単語正規化データ２３０は、意図推定処理における前処理に使用する単語の正規化用のデータである。この前処理は、表記のゆれや表現のゆれを統一する処理である。例えば、単語正規化データ２３０は、「オフ」と「ＯＦＦ」とが同じ語であることを示す情報であって、表記ゆれを統一させるためのデータを含む。また例えば、単語正規化データ２３０は、「タイヤ空気圧警告灯」と「空気圧警告灯」とが同一のものを指す情報であって、異なる表現を統一するためのデータを含む。

学習済みモデル２４０は、後述する受付部５０がテキスト情報を受け付けた場合における受付時よりも過去の車両１２の状態と、乗員の過去の質問とに基づく教師データを使用して機械学習を行うことによって生成されたデータである。当該教師データは、車両１２の過去の状態に係るＣＡＮ情報と、当該過去の状態における質問と関連する複数の言い回しに係るテキスト情報を入力とし、当該質問に対する正解の回答に係るインテントラベルを出力としている。過去の状態に係るＣＡＮ情報は、過去状態情報の一例である。この学習済みモデル２４０は、予め、意図推定エンジン毎に学習されたものが用意されている。

図６に過去の質問及び過去のＣＡＮ情報に基づく教師データの一例を示す。図６に示されるように、車載器２０は、車両１２のＣＡＮ情報に基づく警告灯、表示灯の点灯状態、通知音の通知状態を記憶している。また車載器２０は、マイク２４に入力される音声を記憶している。

ここで、車載器２０が乗員の発話を受け付けた場合、受付時である時刻Ｂよりも所定時間前の時刻Ａから時刻Ｂに至る判定期間において、ＣＡＮ情報から点灯状態や通知状態がアクティブな項目が取得される。図６の例では、時刻Ａから時刻Ｂまでの所定時間において、表示１、表示２及び通知音１が「ＯＮ」、つまりアクティブとされている。そして教師データでは、判定期間内において一定時間以上アクティブの要素について、特徴量に「１」を付与した入力データが生成される。

また、発話した質問は音声認識によりテキスト化されて、単語が抽出される。抽出される候補となる単語は「言い回し」に相当する。図６の例では、発話に単語２が含まれているため、当該単語２について、特徴量に「１」を付与した入力データが生成される。

一方、上記のように特徴量を与えた入力に対して、発話の意図に対応するインテントラベルを出力として付与する。図６の例では、インテントラベルの１番が対応付けられている。以上、本実施形態の例では、表示１、表示２及び通知音１がアクティブな状態において、単語２を含む質問をすると、当該質問に対して１番のインテントラベルが生成されるような教師データを使用して機械学習が行われる。

図５に示すＯＭＡ対話制御部３６では、まず、受付部５０が、車両情報及び質問情報であるテキスト情報を受け付ける。また、受付部５０は車両１２の状態に係るＣＡＮ情報を受け付け可能である。次にＯＭＡ対話制御部３６では、テキスト情報が乗員の質問である場合に、取得部５２が車両情報、ＣＡＮ情報及びテキスト情報に基づいて質問に対する回答を取得する。取得される回答は、質問の意図を推定する意図推定処理を経ることで得られる。

具体的に、取得部５２は、車両ＯＭ対応データ２００を参照して、車両１２の車両情報から当該車両１２に対応するＯＭ品番を取得する。取得部５２がＯＭ品番を取得できなかった場合には、「サービス対象外」である旨をＨＭＩ対話制御部３２に通知する。また、取得部５２は、意図推定ＩＤ管理データ２１０を参照して、取得したＯＭ品番から当該車両１２に適用するＯＭＡ意図推定エンジンＩＤを取得する。

そして、取得部５２は、質問に係るテキスト情報、車両１２のＣＡＮ情報及びＯＭＡ意図推定エンジンＩＤを入力値として、意図推定部３８に照会を行い、回答に相当するインテントラベルを取得する。インテントラベルが一つも取得できなかった場合、提供部５６が「該当なし」であることを示す該当なし情報をＨＭＩサーバ１４に送信する。一方、取得部５２は、取得したインテントラベルが一つである場合には、ＱＡデータ２２０を参照して、取得したインテントラベル及びＯＭ品番を基に、対応する回答情報を取得する。

なお、取得部５２は、取得したインテントラベルが複数ある場合には、ＱＡデータ２２０を参照して、複数の回答の選択肢に係る選択肢情報を生成してもよい。選択肢情報が生成された場合、当該選択肢情報を車載器２０に送信し、車載器２０から乗員の選択結果である結果情報を取得することにより、一のインテントラベルを特定することができる。

ＯＭＡ対話制御部３６において確認部５３は、車両１２におけるＯＭＡへの対応状況を確認する機能を有している。ＯＭＡの対応状況は、乗員の全ての質問に対して回答の生成が可能か否かだけでなく、一部の質問に対して回答の生成が可能か否かで確認してもよい。確認部５３は、車両ＯＭ対応データ２００を検索し、受付部５０が受け付けた車両情報に対応するＯＭ品番の有無に基づいてＯＭＡの対応状況を確認する。

ＯＭＡ対話制御部３６において指示部５４は、確認部５３により回答の生成が不可能と確認された範囲の質問について、車載器２０において受け付けを禁止するよう車載器２０に指示する。指示部５４による機能の詳細については後述する。

また、ＯＭＡ対話制御部３６では、提供部５６が該当なし情報、回答情報及び選択肢情報の何れかをＨＭＩサーバ１４のＨＭＩ対話制御部３２に向けて送信する。補足すると、取得部５２がインテントラベルを取得できなった場合には、該当なし情報をＨＭＩサーバ１４に送信する。また、取得部５２が一のインテントラベルを取得した場合には、対応する回答情報をＨＭＩサーバ１４に送信する。さらに、取得部５２が複数のインテントラベルを取得した場合には、生成された選択肢情報をＨＭＩサーバ１４に送信する。

推定部としての意図推定部３８は、乗員の質問の意図を推定する推定処理としての意図推定処理を実行する。この意図推定処理は、意図推定エンジンＩＤに対応する意図推定エンジンを使用して実行される。意図推定処理では具体的に次の処理が実行される。まず、意図推定部３８は取得したテキスト情報に係るテキストに対し、単語正規化データ２３０を使用して前処理を行う。前処理により、表記のゆれや表現のゆれが統一される。次に、意図推定部３８は、意図推定エンジン毎に用意された学習済みモデル２４０に前処理をしたテキスト情報と車両１２のＣＡＮ情報とを入力し、インテントラベル及びその確信度を出力する。確信度とは、学習済みモデル２４０に入力されたテキスト情報が、推定されたインテントラベルである確率に相当する。そして、意図推定部３８は、確信度が所定値を超える、つまり、所定の確率以上の信頼性が担保されたインテントラベルをＯＭＡ対話制御部３６に提供する。

（ＯＭサーバ）
ＯＭサーバ１８は、オーナーズマニュアルを提供するサーバ３０である。ＯＭサーバ１８のデータ群１１０は、オーナーズマニュアルに係るＨＴＭＬデータであるＯＭデータ３００を含む。車両１２のモニタ２８に回答情報に係る画像が表示された場合、当該画像に含まれるＵＲＬを乗員が選択すると、当該ＵＲＬに対応するＨＴＭＬデータの送信要求がＯＭサーバ１８に対して実行される。これにより、ＵＲＬに対応するオーナーズマニュアルのＨＴＭＬデータが車載器２０に送信され、モニタ２８に表示される。

（データサーバ）
データサーバ１９は、車載器２０からＣＡＮ情報を取得すると共に、エージェントサーバ１６にＣＡＮ情報を提供するサーバ３０である。本実施形態のデータサーバ１９では、ＣＰＵ３０Ａが、処理プログラム１００を実行することで、データ管理部３９として機能する。

また、データサーバ１９のデータ群１１０は、車両１２の車両情報と、当該車両情報に対応するＣＡＮ情報とを含むデータであるＣＡＮデータベース４００を含む。データ管理部３９は、所定時間おきに車載器２０から車両１２のＣＡＮ情報を取得し、ＣＡＮデータベース４００に記憶する。また、データ管理部３９は、エージェントサーバ１６からの要求に基づいて当該エージェントサーバ１６にＣＡＮ情報を提供する。

なお、データサーバ１９では、車載器２０からＣＡＮ情報と共に質問に係る音声情報を取得することで、データ管理部３９が教師データを生成すると共に、機械学習を行い、新たな学習済みモデル２４０を生成することができる。生成された新たな学習済みモデル２４０は、エージェントサーバ１６に送信されて更新される。

（制御の流れ）
（１）エージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理について
各車両１２におけるＯＭＡの対応状況の確認に係る処理、及び対応状況をモニタ２８に反映させる処理について、図７のシーケンス図を用いて説明する。

まず、ＯＭＡの対応状況を確認する処理について説明する。
図７のステップＳ１０において、車載器２０は車両１２の起動を検知する。起動とは、アクセサリスイッチ（ＡＣＣ）がオンになった状態である。

ステップＳ１１において、車載器２０は車両１２の車両情報をＨＭＩサーバ１４に向けて送信する。

ステップＳ１２において、ＨＭＩサーバ１４ではＨＭＩ対話制御部３２がＯＭＡ対応状況の確認依頼を行う。すなわち、エージェントサーバ１６に対する確認要求を行う。

ステップＳ１３において、ＨＭＩ対話制御部３２は、車両情報をエージェントサーバ１６のＯＭＡ対話制御部３６に向けて送信する。

ステップＳ１４において、ＯＭＡ対話制御部３６はＯＭ品番を検索する。具体的にＯＭＡ対話制御部３６は、車両ＯＭ対応データ２００を参照して、取得した車両情報に対応するＯＭ品番があるか否かを検索する。

ステップＳ１５において、ＯＭＡ対話制御部３６はＯＭＡの対応有無を確認する。具体的にＯＭＡ対話制御部３６は、車両情報に対応するＯＭ品番を検出できた場合は、対応があることを確認し、車両情報に対応するＯＭ品番が検出できなかった場合は、対応がないことを確認する。

ステップＳ１６において、ＯＭＡ対話制御部３６はＨＭＩサーバ１４経由で車載器２０に対して対応状況を通知する。

ステップＳ１７において、車載器２０はＯＭＡの対応有無を更新する。

次に、ＯＭＡの対応状況をモニタ２８に反映させる処理について説明する。
図７のステップＳ２０において、車載器２０は発話を受け付ける。例えば、車両１２の乗員がマイク２４に向けてエージェントを起動させるためのキーワードである「Ｍｙ ａｇｅｎｔ」と発話したとする。

すると、ステップＳ２１において、車載器２０はモニタ２８にエージェント機能に係るトップ画面を表示させる。図８及び図９はモニタ２８に表示されたトップ画面の一例である。モニタ２８上には、車載器２０の機能に係る複数の入力ボタン８０が表示されている。この入力ボタン８０は、ナビゲーションボタン８０Ａ、オーディオボタン８０Ｂ、通話ボタン８０Ｃ、車両機能ボタン８０Ｄ、及びヘルプボタン８０Ｅを含んでいる。本実施形態では。ヘルプボタン８０ＥがＯＭＡに対応している。

モニタ２８にトップ画面が表示された際、ＯＭＡが「対応あり」の場合には、図８に示すように、ヘルプボタン８０Ｅが選択可能なアクティブ表示となる。一方、モニタ２８にトップ画面が表示された際、ＯＭＡが「対応なし」の場合には、図９に示すように、ヘルプボタン８０Ｅが選択不可能なトーンダウン表示となる。この場合、車載器２０はトーンダウン表示とされた車両１２の機能に係る質問を受け付けることができない。

（２）質問に対する回答を提示する場合の処理
車両１２において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図１０及び図１１のシーケンス図を用いて説明する。

図１０のステップＳ３０において、車載器２０は外部バス２０ＨからＣＡＮ情報を取得する。

ステップＳ３１において、車載器２０は車両１２の車両情報と共に、取得したＣＡＮ情報をデータサーバ１９に向けて送信する。なお、本実施形態において、車両情報及びＣＡＮ情報は、一定時間おきに車載器２０からデータサーバ１９に送信されるが、これに限らず、ＣＡＮ情報に変化があった場合に車載器２０からデータサーバ１９に送信してもよい。

ステップＳ３２において、データサーバ１９ではデータ管理部３９が取得した情報をＣＡＮデータベース４００に記憶する。記憶する情報は、車両情報、ＣＡＮ情報及び受信時刻を含む。

ステップＳ４０において、車載器２０は乗員の発話を受け付ける。具体的に、車載器２０のＣＰＵ２０Ａは、乗員がマイク２４に向かって発話した音声を音声情報として取得する。例えば、車両１２にてタイヤ空気圧警告灯が点灯した状態において、乗員が「メータのランプが光ったけど何？」と発言したとする。この場合、発話受付により、「メータのランプが光ったけど何」という発言が音声情報として取得される。

ステップＳ４１において、車載器２０は、取得した音声情報と共に、車両１２の車両情報、及び発話開始時刻をＨＭＩサーバ１４に向けて送信する。

ステップＳ４２において、ＨＭＩサーバ１４ではＨＭＩ対話制御部３２が音声認識を行う。これにより、音声情報はテキスト情報に変換される。なお、当該音声認識では、質問に相当する語句がテキスト情報に含まれている場合に音声情報が質問であると判定される。

ステップＳ４３において、ＨＭＩ対話制御部３２は、車両情報、発話開始時刻及びテキスト情報をエージェントサーバ１６のＯＭＡ対話制御部３６に向けて送信する。上記の例では、質問と判定された「メータのランプが光ったけど何」の文字列がテキスト情報として送信される。

ステップＳ４４において、ＯＭＡ対話制御部３６はＣＡＮ情報を検索する。すなわち、ＯＭＡ対話制御部３６は、データサーバ１９からＣＡＮ情報の取得を試みる。

ステップＳ４５において、ＯＭＡ対話制御部３６は車両情報及び発話開始時刻をデータサーバ１９に向けて送信する。

ステップＳ４６において、データサーバ１９ではデータ管理部３９がＣＡＮ情報又は情報なし通知をエージェントサーバ１６に送信する。送信するＣＡＮ情報は、データ管理部３９がＣＡＮデータベース４００を照会し、車両１２の車両情報、及び発話開始時刻直前の受信時刻に係るＣＡＮ情報を検索することで取得される。なお、情報なし通知とは、車両情報及び発話開始時刻に対応するＣＡＮ情報が取得できなかった場合に、ＣＡＮ情報が無い旨を示す通知である。

ステップＳ４７において、ＯＭＡ対話制御部３６は車両情報から対応するＯＭ品番を特定する。つまり、車両１２の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。なお、ＯＭ品番の特定にＣＡＮ情報を用いてもよい。この場合、ＯＭＡ対話制御部３６は、通信不良等、何らかの理由で車両１２の最新のＣＡＮ情報が取得できない場合、車種、グレード等で標準とされるＯＭ品番を特定してもよい。

ステップＳ４８において、ＯＭＡ対話制御部３６は、ＯＭ品番から対応する意図推定エンジンＩＤを特定する。つまり、車両１２のオーナーズマニュアルに対応する意図推定エンジンを特定する。なお、意図推定エンジンＩＤの特定にＣＡＮ情報を用いてもよい。この場合、ＯＭＡ対話制御部３６は、通信不良等、何らかの理由で車両１２の最新のＣＡＮ情報が取得できない場合、車種、グレード等で標準とされる意図推定エンジンＩＤを特定してもよい。

ステップＳ４９において、ＯＭＡ対話制御部３６は、ＨＭＩサーバ１４から取得したテキスト情報、データサーバ１９から取得したＣＡＮ情報、及び意図推定エンジンＩＤを意図推定部３８に提供する。

ステップＳ５０において、意図推定部３８は意図推定処理を実行する。これにより、意図推定部３８は、テキスト情報及びＣＡＮ情報に対応するインテントラベルを出力する。本実施形態の例では、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応するインテントラベルが出力される。

図１１のステップＳ５１において、意図推定部３８は、確信度が最も大きい一のインテントラベルをＯＭＡ対話制御部３６に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部３８はインテントラベルがないことを示すラベルなし情報をＯＭＡ対話制御部３６に提供する。

ステップＳ５２において、ＯＭＡ対話制御部３６はインテントラベルに基づいて回答情報を生成する。すなわち、ＯＭＡ対話制御部３６は、ＱＡデータ２２０を参照して表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のＵＲＬ等の組み合わせからなる回答情報を生成する。

ステップＳ５３において、ＯＭＡ対話制御部３６は、ＨＭＩサーバ１４に対して回答情報を送信する。

ステップＳ５４において、ＨＭＩ対話制御部３２は提示情報を生成する。提示情報は、車載器２０に送信する情報であって、インテントラベルやＯＭ品番等、モニタ２８やスピーカ２９で提示する必要のない情報を省いた回答情報である。なお、回答情報をそのまま提示情報としてもよい。

ステップＳ５５において、ＨＭＩ対話制御部３２は、車載器２０に対して提示情報を送信する。

ステップＳ５６において、車載器２０は受信した提示情報を車両１２の乗員に提示する。具体的に車載器２０のＣＰＵ２０Ａは、受信した提示情報に係る画像をモニタ２８に表示させ、受信した提示情報に係る音声をスピーカ２９から出力させる。例えば、図１２に示されるように、ＣＰＵ２０Ａはモニタ２８にタイヤ空気圧警告システムの説明を表示させ、「タイヤ空気圧警告システムの警告です。」という音声をスピーカ２９から出力させる。

（第１の実施形態のまとめ）
本実施形態のマニュアル提供システム１０では、車両１２の乗員が車載器２０を通じて入力した質問に対し、当該質問の意図が推定されることで得られた回答を、車載器２０に提供可能に構成されている。

本実施形態のエージェントサーバ１６では、テキスト情報を受け付ける受付部５０において、車両１２の起動時に車両情報を受け付ける。また、確認部５３では車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。ここで、「回答の生成が不可能」な場合には、質問に対する回答を記憶したオーナーズマニュアルが整備されていない場合、オーナーズマニュアルが更新中につき一時的に利用できない場合等がある。そして、確認部５３により回答の生成が不可能と確認された範囲の質問については、車載器２０において受け付けを禁止するように指示部５４が車載器２０に指示をする。したがって、本実施形態によれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、乗員に与える違和感を低減することができる。

また、車両１２が起動した段階で回答の生成が不可能な質問の範囲が確認されているため、誤って質問を受け付けることはなく、ユーザに与える違和感を低減することができる。なお、車両情報を受け付けるタイミングは必ずしも車両１２の起動時に限らない。

また、本実施形態のエージェントサーバ１６は、確認部５３がオーナーズマニュアルと車両１２との対応を記憶した車両ＯＭ対応データ２００を検索することで、回答の生成が不可能な質問の範囲を確認することを特徴としている。本実施形態によれば、車両１２毎のオーナーズマニュアルの有無をデータベース化することで、車載器２０における受け付け禁止の管理を容易に行うことができる。

また、本実施形態のエージェントサーバ１６では、受付部５０において、質問情報に加えて車両１２のＣＡＮ情報を受け付ける。また、意図推定部３８が、テキスト情報と共にＣＡＮ情報を用いて推定処理としての意図推定処理を行い、推定された意図に基づいて取得部５２が質問に対する回答を取得することを特徴としている。本実施形態のエージェントサーバ１６によれば、質問の意図を推定する場合に車両１２の状態を反映させることで、意図の推定精度を向上させることができる。

また、本実施形態のエージェントサーバ１６は、意図推定部３８が予め機械学習を行うことにより生成された学習済みモデル２４０を使用して意図を推定するように構成されている。本実施形態によれば、より多くの車両１２の情報や言い回しを学習させることにより、乗員の質問に対する意図の推定精度を向上させることができる。なお、データサーバ１９において、ＣＡＮ情報と質問に対する回答結果を取得することで更なる機械学習を行い、新たな学習済みモデル２４０を生成することができる。そして、エージェントサーバ１６の学習済みモデル２４０を更新することで、推定精度をさらに向上させることができる。

また、本実施形態のエージェントサーバ１６では、車両１２を制御する複数のＥＣＵ２２同士を接続する外部バス２０Ｈから車両１２のＣＡＮ情報を取得可能に構成されている。本実施形態によれば、車両制御用の通信情報を利用することにより、車両１２から当該車両１２の状態を容易に取得することができる。

また、本実施形態のエージェントサーバ１６では、図６に示されるように所定時間における車両１２の状態に基づいて機械学習を行っている。そのため、本実施形態によれば、例えば乗員が警告灯等を認識可能な時間を所定時間に設定することにより、乗員が気付くであろう車両１２の状態を意図の推定に反映させることができる。

本実施形態のマニュアル提供システム１０では、車両１２に搭載された車載器２０が乗員からの質問に対する回答を提供可能に構成されている。本実施形態によれば、車両１２における乗員の操作の利便性を向上させることができる。

また、本実施形態では、図９に示すように車載器２０が入力ボタンをトーンダウンさせてモニタ２８に表示させると共に、入力ボタン８０による操作の受付を禁止する。そのため、本実施形態によれば、乗員に対してエージェントの利用ができないことを視覚で訴えることができる。

なお、本実施形態では入力ボタン８０をトーンダウンさせることで操作の受け付けを禁止させているが、これ限らず、「未対応」等のテキストを入力ボタン８０の上に重畳表示させてもよい。

また、本実施形態の車載器２０は、車両１２に対応するオーナーズマニュアルが間もなく入手可能となる場合に、「準備中」、「取寄中」等のテキストを対応する入力ボタン８０に隣接して又は重畳して表示させてもよい。また、車載器２０は、車両１２に対応するオーナーズマニュアルの入手が完了した場合に、「ＮＥＷ」、「今日から使用できます」等のテキストを対応する入力ボタン８０に隣接して又は重畳して表示させてもよい。さらに、車載器２０は、車両１２に対応するオーナーズマニュアルの入手中から入手完了にかけて入力ボタン８０の色を経時的に変える、又はトーンダウンの程度を次第に弱めてもよい。オーナーズマニュアルに関する「入手」とは、対応するオーナーズマニュアルがＯＭサーバ１８のＯＭデータ３００に追加され、車両１２のオーナーズマニュアルへの対応情報がエージェントサーバ１６の車両ＯＭ対応データ２００に追加されることを指す。

［第２の実施形態］
第１の実施形態では、テキスト情報及びＣＡＮ情報に基づいて意図推定処理を実行し、一のインテントラベルを取得していた。これに対し、第２の実施形態では、意図推定処理において複数のインテントラベルを取得し、ＣＡＮ情報を参照して一のインテントラベルに絞り込む意図特定処理を実行している。すなわち、推定処理として、意図推定処理と意図特定処理とを実行している。以下、質問に対する回答を提示する場合の処理における第１の実施形態との相違点について説明する。

本実施形態の車両１２において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図１３及び図１４のシーケンス図を用いて説明する。

図１３のステップＳ６０からステップＳ６３までの処理については、図１０のステップＳ４０からステップＳ４３までの処理と同じである。

ステップＳ６４において、ＯＭＡ対話制御部３６は車両情報から対応するＯＭ品番を特定する。つまり、車両１２の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。

ステップＳ６５において、ＯＭＡ対話制御部３６は、ＯＭ品番から対応する意図推定エンジンＩＤを特定する。つまり、車両１２のオーナーズマニュアルに対応する意図推定エンジンを特定する。

ステップＳ６６において、ＯＭＡ対話制御部３６は、ＨＭＩサーバ１４から取得したテキスト情報、及び意図推定エンジンＩＤを意図推定部３８に提供する。

ステップＳ６７において、意図推定部３８は推定処理の一つである意図推定処理を実行する。これにより、意図推定部３８は、テキスト情報に対応するインテントラベルを出力する。例えば、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応する複数のインテントラベルが出力される。

図１４のステップＳ６８において、意図推定部３８は、確信度が所定値を超える複数のインテントラベルをＯＭＡ対話制御部３６に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部３８はインテントラベルがないことを示すラベルなし情報をＯＭＡ対話制御部３６に提供する。

ステップＳ６９において、ＯＭＡ対話制御部３６は、参照すべきＣＡＮ情報があるか否かの判定を行う。例えば、意図推定処理の結果、表示１、表示２及び表示１０に関係する警告灯についてのインテントラベルを取得しているとする。この場合、警告灯に係るＣＡＮ情報が参照できるため、参照すべきＣＡＮ情報があると判定される。ＯＭＡ対話制御部３６は、参照すべきＣＡＮ情報があると判定した場合、ステップＳ７０に進む。一方、ＯＭＡ対話制御部３６は、参照すべきＣＡＮ情報がないと判定した場合、ステップＳ７４に進む。

ステップＳ７０において、ＯＭＡ対話制御部３６はＣＡＮ情報を検索する。すなわち、ＯＭＡ対話制御部３６は、データサーバ１９からＣＡＮ情報の取得を試みる。

ステップＳ７１において、ＯＭＡ対話制御部３６は車両情報及び発話開始時刻をデータサーバ１９に向けて送信する。

ステップＳ７２において、データサーバ１９ではデータ管理部３９がＣＡＮ情報又は情報なし通知をエージェントサーバ１６に送信する。ステップの詳細については、図１０のステップＳ４６に同じである。

ステップＳ７３において、特定部としてのＯＭＡ対話制御部３６はＣＡＮ情報から推定処理の一つである意図特定処理を実行する。これにより、ＯＭＡ対話制御部３６は、複数のインテントからＣＡＮ情報に対応する一のインテントラベルを取得する。例えば、タイヤ空気圧警告灯が点灯していることを示すＣＡＮ情報が取得された場合、複数のインテントラベルからタイヤ空気圧警告システムに係るインテントラベルが取得される。すなわち、意図推定部３８による意図推定処理と、ＯＭＡ対話制御部３６による意図特定処理とにより、推定処理が実行される。

以下、ステップＳ７４からステップＳ７８までの処理については、図１１のステップＳ５２からステップＳ５６までの処理と同じである。

以上の処理を行う本実施形態のマニュアル提供システム１０によれば、第１の実施形態と同様の効果を得ることができる。

［第３の実施形態］
第１及び第２の実施形態では、ＨＭＩサーバ１４、エージェントサーバ１６及びデータサーバ１９を異なるサーバ３０としている。これに対し、第３の実施形態では、図１５に示されるように、ＨＭＩサーバ１４及びデータサーバ１９をエージェントサーバ１６に統合している。

本実施形態のマニュアル提供システム１０においても、第１及び第２の実施形態と同様の効果を得ることができる。

［備考］
上記各実施形態では、乗員の発話に基づく音声情報をＨＭＩサーバ１４に対する入力情報としていたが、これに限らず、タッチパネルであるモニタ２８に対する乗員の操作に基づく操作情報を入力情報としてもよい。この場合の操作情報とは、例えば、乗員がモニタ２８に対して入力した文字列に関するテキスト情報が挙げられる。

上記第３の実施形態では、マニュアル提供システム１０を構成するＨＭＩサーバ１４及びデータサーバ１９をエージェントサーバ１６に統合したが、さらにＯＭサーバ１８を統合してもよい。また、ＨＭＩサーバ１４、エージェントサーバ１６、ＯＭサーバ１８、データサーバ１９のうち、一部のサーバ３０を統合してもよい。また、エージェントサーバ１６においては、ＯＭＡ対話制御部３６及び意図推定部３８の機能をそれぞれ異なるサーバ３０に配置してもよい。

なお、上記実施形態でＣＰＵ２０Ａ、３０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、サーバ３０における処理プログラム１００は、ストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記各実施形態における処理は、１つのプロセッサによって実行されるのみならず、複数のプロセッサが協働して実行されるものであってもよい。上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１０ マニュアル提供システム（エージェントシステム）
１２ 車両
１６ エージェントサーバ（エージェント装置）
２０ 車載器（通知装置）
２２ ＥＣＵ（制御装置）
２０Ｈ 外部バス（通信路）
３６ ＯＭＡ対話制御部（特定部）
３８ 意図推定部（推定部）
５０ 受付部
５２ 取得部
１００ 処理プログラム（プログラム）
２４０ 学習済みモデル

Claims (4)

1. 車両から前記車両の状態についての状態情報と、ユーザからの質問を質問情報として受け付ける受付部と、
   前記受付部が受け付けた前記質問情報に対して前記質問の意図を推定する意図推定処理を行う推定部と、
   前記推定部において推定された複数の前記意図から前記状態情報を参照して一の前記意図を特定する意図特定処理を行う特定部と、
   前記特定部において特定された一の前記意図に基づいて前記質問の回答を取得する取得部と、
   を備えるエージェント装置。
2. 前記状態情報は、前記車両に設けられた複数の制御装置を接続する通信路における通信情報に基づいて取得される請求項１に記載のエージェント装置。
3. 請求項１又は２に記載のエージェント装置と、
   前記車両に搭載され、前記ユーザから前記質問を受け付け、かつ前記ユーザに前記回答を通知する通知装置と、
   を備えるエージェントシステム。
4. 車両から前記車両の状態についての状態情報と、ユーザからの質問を質問情報として受け付ける受付ステップと、
   受け付けられた前記質問情報に対して前記質問の意図を推定する意図推定処理を行う推定ステップと、
   推定された複数の前記意図から前記状態情報を参照して一の前記意図を特定する意図特定処理を行う特定ステップと、
   特定された一の前記意図に基づいて前記質問の回答を取得する取得ステップと、
   を備える処理をコンピュータに実行させるためのプログラム。