JP7287258B2 - エージェント管理装置、プログラムおよびエージェント管理方法 - Google Patents

エージェント管理装置、プログラムおよびエージェント管理方法 Download PDF

Info

Publication number
JP7287258B2
JP7287258B2 JP2019222932A JP2019222932A JP7287258B2 JP 7287258 B2 JP7287258 B2 JP 7287258B2 JP 2019222932 A JP2019222932 A JP 2019222932A JP 2019222932 A JP2019222932 A JP 2019222932A JP 7287258 B2 JP7287258 B2 JP 7287258B2
Authority
JP
Japan
Prior art keywords
control content
change
control
content
agent management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019222932A
Other languages
English (en)
Other versions
JP2021092651A (ja
Inventor
英一 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019222932A priority Critical patent/JP7287258B2/ja
Priority to US17/060,357 priority patent/US11505200B2/en
Priority to EP20201980.8A priority patent/EP3835106A1/en
Priority to RU2020136954A priority patent/RU2764958C1/ru
Priority to CN202011373750.5A priority patent/CN113051377A/zh
Priority to BR102020024696-8A priority patent/BR102020024696A2/pt
Priority to KR1020200167353A priority patent/KR102467397B1/ko
Publication of JP2021092651A publication Critical patent/JP2021092651A/ja
Application granted granted Critical
Publication of JP7287258B2 publication Critical patent/JP7287258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B60K35/10—
    • B60K35/265—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • B60K2360/148—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/045—Occupant permissions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Description

本開示は、エージェント管理装置、プログラムおよびエージェント管理方法に関する。
ユーザに最適な情報をリコメンドする技術が知られている（例えば特許文献１参照）。この技術では、車両の運転状況を学習した学習結果と、ユーザの携帯端末装置に蓄積された車外での入手情報と、に基づいて、ユーザとのコミュニケーション行為を決定し、このコミュニケーション行為を擬人化したエージェントによって操作機能の説明等のリコメンドを行う。
特開２００６－１９５５７８号公報
上述した特許文献１では、ユーザの問いかけに対して、エージェントから操作機能の説明がなされた場合であっても、ユーザがその操作機能の説明の内容を理解して判断することができないときがある。この場合、ユーザ自身がエージェントから説明された操作機能を実行することができないという問題点があった。
本開示は、上記に鑑みてなされたものであって、ユーザの問いかけに応じて提案した操作機能をユーザの代わりに実行することができるエージェント管理装置、プログラムおよびエージェント管理方法を提供することを目的とする。
本開示に係るエージェント管理装置は、ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置であって、前記プロセッサは、前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を出力し、前記乗員が前記制御内容に変更することを承認した場合、前記制御内容に変更する。
本開示に係るプログラムは、ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置であって、前記プロセッサは、前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を出力し、前記乗員が前記制御内容に変更することを承認した場合、前記制御内容に変更する。
本開示に係るエージェント管理方法は、ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置が、前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更する否かの質問を前記移動体のスピーカから出力し、前記乗員が前記制御内容に変更することを承認した場合、前記制御内容に変更する。
本開示によれば、ユーザの問いかけに応じて提案した操作機能をユーザの代わりに実行することができるという効果を奏する。
図１は、一実施の形態に係る運転支援システムの概略構成を示す模式図である。 図２は、運転支援装置の運転支援装置１０の機能構成を示すブロック図である。 図３は、エージェント管理装置３０の機能構成を示すブロック図である。 図４は、エージェント管理装置３０が実行する処理の概要を示すフローチャートである。 図５は、図４の承認確認処理の概要を示すフローチャートである。 図６は、図４の承認済み処理の概要を示すフローチャートである。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下において、同一の部分には同一の符号を付して説明する。
〔運転支援システムの構成〕
図１は、一実施の形態に係る運転支援システムの概略構成を示す模式図である。図１に示す運転支援システム１は、移動体２に搭載された運転支援装置１０と、ネットワーク２０を介して運転支援装置１０と双方向に通信を行うエージェント管理装置３０と、を備える。このネットワーク２０は、例えばインターネット回線網または携帯電話回線網等からなる。また、以下の説明では、移動体２として、自動車を例に説明するが、これに限定されることなく、バイク、電動キックボード、ドローン、飛行機、船舶および電車等であってもよい。
〔運転支援装置の構成〕
まず、運転支援装置１０の機能構成について説明する。図２は、運転支援装置１０の機能構成を示すブロック図である。
図２に示す運転支援装置１０は、移動体２に搭載され、この移動体２に搭載された他のＥＣＵ（Electronic Control Unit）と連携しながら移動体２内の乗員の運転時の操作を支援する。運転支援装置１０は、音声入力部１１と、音声出力部１２と、表示部１３と、通信部１４と、検出部１５と、記録部１６と、制御部１７と、を備える。
音声入力部１１は、乗員等が発した音声の入力を受け付け、この受け付けた音声に対してＡ／Ｄ変換処理等を行うことによって音声データを生成する。音声入力部１１は、音声データを制御部１７へ出力する。音声入力部１１は、音声の入力を受け付けて音声信号を生成するマイク、マイクから入力されたアナログの音声信号に対して増幅を行うアンプおよびアンプから入力されたアナログの音声信号をデジタルの音声信号に変換するＡ／Ｄ変換回路等を用いて実現される。
音声出力部１２は、制御部１７から入力された音声信号に対応する音声を出力する。音声出力部１２は、制御部１７から入力されたデジタルの音声信号をアナログの音声信号に変換するＤ／Ａ変換回路、アナログの音声信号を増幅するアンプ、アンプから入力された音声信号に対応する音声を出力するスピーカ等を用いて実現される。
表示部１３は、制御部１７の制御のもと、各種の情報を表示する。例えば、表示部１３は、制御部１７の制御のもと、移動体２の制御動作に関する説明を表示する。表示部１３は、有機ＥＬ（Electro Luminescence）や液晶等の表示モニタ等を用いて実現される。
通信部１４は、制御部１７の制御のもと、所定の通信規格に従ってエージェント管理装置３０と通信を行う。ここで、所定の通信規格とは、例えば４Ｇ、５Ｇ、Ｗｉ-Ｆｉ（Wireless Fidelity）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）のいずれかである。通信部１４は、無線通信可能な通信モジュールを用いて実現される。
検出部１５は、移動体２の状態を検出し、この検出結果を制御部１７へ出力する。具体的には、検出部１５は、移動体２の現在の動作モードや状態を検出し、この検出結果を制御部１７へ出力する。例えば、検出部１５は、移動体２が実行可能な複数の制御動作の一つであるトラクションコントロールのオンオフ状態を検出し、この検出結果を制御部１７へ出力する。検出部１５は、移動体２の車輪の回転を検出するセンサや車速を検出するセンサ等の各種のセンサ、移動体２に搭載された各種のアクチュエータのオンオフ状態を検出するセンサおよびＥＣＵ等を用いて実現される。
記録部１６は、運転支援装置１０に関する各種の情報、運転支援装置１０が実行する各種のプログラム、制御部１７が行う処理中の各種の情報を記録する。また、記録部１６は、移動体２の車種を示す車種情報を記録する。車種情報とは、車種名および車種の年式である。記録部１６は、ＤＲＡＭ（Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）およびＦｌａｓｈメモリ等を用いて実現される。
制御部１７は、運転支援装置１０を構成する各部の動作を制御する。制御部１７は、メモリと、ＣＰＵ（Central Processing Unit）等のハードウェアを有するプロセッサと、を用いて実現される。また、制御部１７は、通信部１４を介してエージェント管理装置３０から入力された指示信号に応じて、移動体２の制御変更を行う。例えば、制御部１７は、通信部１４を介してエージェント管理装置３０から入力された指示信号がトラクションコントロールをオフする指示信号である場合、移動体２のトラクションコントロールをオン状態からオフ状態に変更する。
〔エージェント管理装置の構成〕
次に、エージェント管理装置３０の機能構成について説明する。図３は、エージェント管理装置３０の機能構成を示すブロック図である。
図３に示すエージェント管理装置３０は、ネットワーク２０および移動体２に搭載された運転支援装置１０を介して乗員から問いかけられた質問の意図を理解し、この理解した質問の内容に応じた回答、乗員への問いかけ、および移動体２の制御変更を行う。エージェント管理装置３０は、通信部３１と、記録部３２と、制御部３３と、第１のエージェント部３４と、第２のエージェント部３５と、を備える。
通信部３１は、制御部３３の制御のもと、所定の通信規格に従って運転支援装置１０と通信を行う。通信部３１は、無線通信可能な通信モジュールを用いて実現される。
記録部３２は、エージェント管理装置３０が実行する各種のプログラム、エージェント管理装置３０が処理中の各種情報を記録する。記録部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、Ｆｌａｓｈメモリ、ＤＲＡＭおよびＲＯＭ等を用いて実現される。記録部３２は、エージェント管理装置３０が実行する各種のプログラムを記録するプログラム記録部３２１を有する。
制御部３３は、エージェント管理装置３０の構成する各部を制御する。制御部３３は、ＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを有するプロセッサを用いて構成される。制御部３３は、音声認識部３３１と、意図理解部３３２と、応答生成部３３３と、音声合成部３３４と、を有する。
音声認識部３３１は、通信部３１から入力された音声信号に対して音声認識を行い、この音声認識結果を意図理解部３３２へ出力する。音声認識部３３１は、例えば音声信号をテキストデータに変換して意図理解部３３２へ出力する。音声認識部３３１は、周知の音声変換技術を用いて実現される。
意図理解部３３２は、音声認識部３３１から入力された音声認識結果に基づいて、乗員の問いかけ（質問）の意図を処理インテントＩＤ（インテントラベル）として推定する。ここで、処理インテントＩＤとは、移動体２が実行可能な複数の制御内容（操作機能）の各々と複数の回答とを紐付けた番号である。そして、意図理解部３３２は、複数のエージェント部の中から、推定した質問の内容に該当する最適な回答を行うことができるエージェントを選択し、選択したエージェント部に対して乗員の問いかけの回答を依頼する。意図理解部３３２は、予め複数の質問に対して学習された学習モデルを用いて実現される。具体的には、意図理解部３３２は、音声認識部３３１によって変換されたテキストデータを入力データとして、出力データとして複数のエージェントから質問の内容の回答に適したエージェントを推定して出力する。意図理解部３３２は、例えば予め複数の質問のテキストデータまたは音声データを教師データとして機械学習し、出力として複数のエージェントから質問の内容の回答に適したエージェントを推定（選択）して出力する学習モデル等を用いて実現される。なお、機械学習の種類は、特に限定されないが、例えば質問と回答とを紐付けた教師用データや学習用データを用意し、この教師用データや学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。さらに、機械学習の手法としては、例えばＣＮＮ（Convolutional Neural Network）、３Ｄ－ＣＮＮ等の多層のニューラルネットワークのＤＮＮ（Deep Neural Network）に基づく手法が用いられる。さらに、音声データのような時間的に連続する時系列データを対象とする場合、機械学習の手法としては、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）やＲＮＮを拡張したＬＳＴＭ（Long Short-Term Memory units）等に基づく手法が用いられる。
応答生成部３３３は、意図理解部３３２を介して複数のエージェント部のいずれから入力された移動体２の制御内容（操作機能）を示す処理インテントＩＤに応じた回答を生成し、この回答を、通信部３１を介して移動体２へ出力する。具体的には、応答生成部３３３は、予め記録された移動体２の複数の処理インテントＩＤの各々に対応付けられた複数の回答の中から、意図理解部３３２を介してから入力された処理インテントＩＤに応じた回答を選択する。そして、応答生成部３３３は、意図理解部３３２から入力された処理インテントＩＤに応じて選択した回答または移動体２の制御内容を変更する変更信号を生成する。
音声合成部３３４は、意図理解部３３２から入力された処理インテントＩＤに応じた音声データを生成し、この音声データを、通信部３１を介して移動体２へ出力する。具体的には、音声合成部３３４は、予め記録された複数の制御内容の各々に対応付けられた複数の音声データの中から、意図理解部３３２から入力された処理インテントＩＤに応じた音声データを選択する。そして音声合成部３３４は、意図理解部３３２から入力された処理インテントＩＤに応じた選択した音声データを生成する。
第１のエージェント部３４は、意図理解部３３２から入力された乗員の問いかけの回答に該当する移動体２の制御変更に関する情報を推定し、この推定結果を意図理解部３３２へ出力する。第１のエージェント部３４は、対話制御部３４１と、エージェント意図理解部３４２と、有する。さらに、第１のエージェント部３４は、車両情報データベース３４３（以下、「車両情報ＤＢ３４３」という）と、回答情報データベース３４４（以下、「回答情報ＤＢ３３３」という）と、ログデータ情報データベース３４５（以下、「ログデータ情報ＤＢ３４５」という）と、単語正規化データベース３４６（以下、「単語正規化ＤＢ３４６」という）と、を有する。
対話制御部３４１は、意図理解部３３２から入力された乗員の問いかけに応じた対話およびＨＭＩ（Human Machine Interface）を制御する。対話制御部３４１は、ＣＰＵのハードウェアを有するプロセッサ等を用いて実現される。
エージェント意図理解部３４２は、対話制御部３４１および意図理解部３３２を介して音声認識部３３１から入力された音声認識結果に基づいて、乗員の問いかけ（質問）に応じた処理インテントＩＤを推定する。具体的には、エージェント意図理解部３４２は、後述する車両情報ＤＢ３４３、回答情報ＤＢ３３３、ログデータ情報ＤＢ３４５および単語正規化ＤＢ３４６を参照して、乗員の問いかけ（質問）に応じた処理インテントＩＤを推定する。エージェント意図理解部３４２は、推定した処理インテントＩＤを、対話制御部３４１および意図理解部３３２を介して応答生成部３３３へ出力する。エージェント意図理解部３４２は、予め複数の質問に対して学習された学習モデルを用いて実現される。具体的には、エージェント意図理解部３４２は、音声認識部３３１によって変換されたテキストデータを入力データとして、出力データとして乗員の問いかけに対応する回答に該当する処理インテントＩＤを推定して出力する。
車両情報ＤＢ３４３は、移動体２の車種と、年式と、操作マニュアルと、を対応付けた車両情報を記録する。車両情報ＤＢ３４３は、ＳＳＤ（Solid State Drive）およびＨＤＤ（Hard Disk Drive）等を用いて実現される。
回答情報ＤＢ３４４は、複数の処理インテントＩＤの各々に対応する回答するための回答情報を記録する。回答情報ＤＢ３４４は、ＳＳＤおよびＨＤＤ等を用いて実現される。
ログデータ情報ＤＢ３４５は、乗員の操作内容を示す操作情報および第１のエージェント部３４による応答内容を示す応答情報等を記録する。ログデータ情報ＤＢ３４５は、ＳＳＤおよびＨＤＤ等を用いて実現される。
単語正規化ＤＢ３４６は、エージェント意図理解部３４２が意図理解の前処理に使用する単語の正規化用のデータを記録する。単語正規化ＤＢ３４６は、ＳＳＤおよびＨＤＤ等を用いて実現される。
第２のエージェント部３５は、意図理解部３３２から入力された乗員の問いかけの回答に該当する移動体２のその他の変更に関する情報を推定し、この推定結果を意図理解部３３２へ出力する。ここで、その他の変更とは、例えば、音楽の変更、ナビゲーションによる目的地の変更等である。なお、第２のエージェント部３５は、第１のエージェント部３４と同様の構成を有するため、詳細な構成の説明は省略する。
〔エージェント管理装置による処理〕
次に、エージェント管理装置３０による処理について説明する。図４は、エージェント管理装置３０が実行する処理の概要を示すフローチャートである。なお、以下では、移動体２の乗員がエージェント管理装置３０に問いかけ、例えば乗員が「エージェント」と問いかけて、エージェント管理装置３０が起動している状態の処理について説明する。
図４に示すように、まず、音声認識部３３１は、通信部３１を介して移動体２の乗員が問いかけた質問を取得する（ステップＳ１０１）。具体的には、音声認識部３３１は、通信部３１を介して移動体２の乗員が問いかけた質問の音声信号を取得する。この場合、音声認識部３３１は、通信部３１を介して取得した移動体２の乗員が問いかけた質問の音声信号に対して音声認識を行う。
続いて、意図理解部３３２は、音声認識部３３１から入力された音声認識結果に基づいて、乗員が問いかけた質問の意図を理解する（ステップＳ１０２）。
その後、意図理解部３３２は、乗員からの問いかけが移動体２の制御内容に関する内容に対応可能な第１のエージェント部３４であるか否かを推定し（ステップＳ１０３）、乗員からの問いかけが移動体２の制御内容に関する内容に対応する第１のエージェント部３４であると推定した場合（ステップＳ１０３：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ１０４へ移行する。これに対して、乗員からの問いかけが移動体２の制御内容に関する内容に対応可能な第１のエージェント部３４でないと推定した場合（ステップＳ１０３：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ１０７へ移行する。
ステップＳ１０４において、意図理解部３３２は、音声認識部３３１から入力された音声認識結果に基づいて、乗員からの問いかけの中に移動体２の制御内容を変更することを承認する内容が含まれているか否かを推定する。意図理解部３３２によって乗員が問いかけの中に移動体２の制御内容を変更することを承認する内容が含まれていると推定した場合（ステップＳ１０４：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ１０６へ移行する。例えば、意図理解部３３２は、乗員が問いかけた内容が「雪道で滑って進まない。トラクションコントロールを切っていいよ。」の場合、「トラクションコントロールを切っていいよ」が含まれているため、移動体２の制御内容を変更するための承認が含まれていると推定する。これに対して、意図理解部３３２によって乗員が問いかけの中に移動体２の制御内容を変更することを承認する内容が含まれていないと推定した場合（ステップＳ１０４：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ１０５へ移行する。例えば、意図理解部３３２は、乗員が問いかけた内容が「雪道で滑って進まない。」の場合、移動体２の制御内容を変更するための承認が含まれていないと推定する。
ステップＳ１０５において、エージェント管理装置３０は、乗員の問いかけの回答に該当する移動体２の制御内容を変更するか否かを乗員に質問し、乗員に承認された場合に移動体２の制御内容を変更する承認確認処理を実行する。ステップＳ１０５の後、エージェント管理装置３０は、本処理を終了する。なお、承認確認処理の詳細は、後述する。
ステップＳ１０６において、エージェント管理装置３０は、乗員の承認済みであると推定して、乗員に移動体２の制御内容に変更するか否かの質問を出力せずに、移動体２の制御内容を変更する承認済み処理を実行する。ステップＳ１０６の後、エージェント管理装置３０は、本処理を終了する。なお、承認済み処理の詳細は、後述する。
ステップＳ１０７において、第２のエージェント部３５は、意図理解部３３２によって推定されたその他のエージェントによる制御内容に変更する。例えば、第２のエージェント部３５は、乗員の質問が「音楽を再生して」の場合において、移動体２において音声データが再生されていないとき、移動体２に音楽データを送信して再生する制御内容に変更する。ステップＳ１０７の後、エージェント管理装置３０は、本処理を終了する。
〔承認確認処理の概要〕
次に、図４のステップＳ１０５において説明した承認確認処理の詳細について説明する。図５は、承認確認処理の概要を示すフローチャートである。
図５に示すように、意図理解部３３２は、第１のエージェント部３４に対して、乗員からの問いかけの回答に該当する移動体２の制御内容を推定した推定結果を示す処理インテントＩＤを送信する（ステップＳ２０１）。
続いて、第１のエージェント部３４は、意図理解部３３２によって推定された処理インテントＩＤに基づいて、処理インテントＩＤの機能を説明する（ステップＳ２０２）。具体的には、まず、エージェント意図理解部３４２は、処理インテントＩＤに基づいて、移動体２に関するもの、または移動体２の制御内容に関するものであるか否かを推定する。そして、対話制御部３４１は、エージェント意図理解部３４２の推定結果に基づいて、車両情報ＤＢ３４３および回答情報ＤＢ３４４のどちらか一方から、処理インテントＩＤに対応する回答を取得する。回路を取得した後、対話制御部３４１は、取得した処理インテントＩＤの機能に関する回答を応答生成部３３３へ出力する。この場合、応答生成部３３３は、処理インテントＩＤの機能に関する回答のテキストデータを生成し、このテキストデータを、通信部３１を介して運転支援装置１０へ送信する。さらに、音声合成部３３４は、処理インテントＩＤの機能に関する回答の音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ送信する。この場合、運転支援装置１０の制御部１７は、通信部１４を介してテキストデータおよび音声データを受信し、受信したテキストデータに対応する情報を表示部１３に表示させ、かつ、音声データに対応する音声を音声出力部１２に出力させる。例えば、制御部１７は、音声出力部１２に音声として「トラクションコントロールをオフにすると雪道から脱出し易くなります。」と出力させる。
対話制御部３４１は、処理インテントＩＤに基づいて、処理インテントＩＤに対応する該当制御内容の移動体２の動作状況を確認する（ステップＳ２０３）。具体的には、対話制御部３４１は、通信部３１を介して運転支援装置１０から移動体２の現在の動作状況を取得する。より具体的には、対話制御部３４１は、通信部３１を介して運転支援装置１０から移動体２の現在の動作モード、例えばトラクションコントロールのオンオフ状況を取得する。なお、対話制御部３４１は、運転支援装置１０からだけでなく、例えば、運転支援装置１０が移動体２の動作状況を所定の間隔で逐次送信している外部のサーバから移動体２の現在の動作状況を取得してもよい。
続いて、対話制御部３４１は、移動体２の現在の動作状況に基づいて、処理インテントＩＤに該当する該当制御内容に変更可能であるか否かを判定する（ステップＳ２０４）。対話制御部３４１によって処理インテントＩＤに該当する該当制御内容の変更可能であると判定された場合（ステップＳ２０４：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ２０５へ移行する。これに対して、処理インテントＩＤに該当する該当制御内容に変更可能でないと判定された場合（ステップＳ２０４：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ２１２へ移行する。
ステップＳ２０５において、対話制御部３４１は、処理インテントＩＤに該当する該当制御内容の変更可否判断の結果を制御部３３へ出力する。この場合、対話制御部３４１は、処理インテントＩＤに該当する該当制御内容に変更可能であることを示す情報を制御部３３へ出力する。
続いて、制御部３３は、処理インテントＩＤに該当する該当制御内容に変更するか否かの質問を運転支援装置１０に向けて出力する（ステップＳ２０６）。具体的には、応答生成部３３３は、処理インテントＩＤに該当する該当制御内容に変更するか否かを質問するためのテキストデータを生成し、このテキストデータを、通信部３１を介して運転支援装置１０へ送信する。さらに、音声合成部３３４は、処理インテントＩＤに該当する該当制御内容に変更するか否かを質問するための音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ送信する。この場合、運転支援装置１０の制御部１７は、通信部１４を介してテキストデータおよび音声データを受信し、受信したテキストデータに対応する情報を表示部１３に表示させ、かつ、音声データに対応する音声を音声出力部１２に出力させる。例えば、制御部１７は、音声出力部１２に音声として「こちらでオフにしましょうか。」と出力させる。
その後、意図理解部３３２は、通信部３１を介して運転支援装置１０から乗員の回答を取得し（ステップＳ２０７）、乗員からの回答に承認があるか否かを推定する（ステップＳ２０８）。意図理解部３３２によって乗員からの回答に承認があると推定された場合（ステップＳ２０８：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ２０９へ移行する。例えば、意図理解部３３２は、乗員からの回答に「お願い。」、「いいよ。」、「やって」および「実行して。」等がある場合、乗員からの回答に承認があると推定する。これに対して、意図理解部３３２によって乗員からの回答に承認がないと推定された場合（ステップＳ２０８：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ２１２へ移行する。
ステップＳ２０９において、意図理解部３３２は、乗員の回答が一連の質問に対する承認であるか否かを推定する。例えば、意図理解部３３２は、乗員の回答が一定時間内（例えば５秒内）においてエージェント管理装置３０が質問した内容に対応する承認であるか否かを推定する。意図理解部３３２によって乗員の回答が一連の質問に対する承認であると推定された場合（ステップＳ２０９：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ２１０へ移行する。これに対して、意図理解部３３２によって乗員の回答が一連の質問に対する承認でないと推定された場合（ステップＳ２０９：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ２１１へ移行する。
ステップＳ２１０において、応答生成部３３３は、処理インテントＩＤに該当する該当制御内容に変更する。具体的には、応答生成部３３３は、通信部３１を介して移動体２の運転支援装置１０に、処理インテントＩＤに該当する該当制御内容に変更する変更信号を送信する。この場合、運転支援装置１０の制御部１７は、移動体２の状態を、通信部１４を介してエージェント管理装置３０から受信した変更信号に応じた該当制御内容に変更する。例えば、運転支援装置１０は、エージェント管理装置３０から移動体２のトラクションコントロールの状態をオフ状態に変更する変更信号が入力された場合、移動体２のトラクションコントロールをオフ状態に変更する。この場合、音声合成部３３４は、処理インテントＩＤに該当する該当制御内容に変更することを示す音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ送信する。そして、運転支援装置１０は、エージェント管理装置３０から受信した音声データに対応する音声、例えば「承知しました。」等を音声出力部１２に出力させる。これにより、乗員は、エージェント管理装置３０の制御のもと、移動体２のトラクションコントロールがオフ状態となったことを把握することができる。ステップＳ２１０の後、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。
ステップＳ２１１において、音声合成部３３４は、乗員に対する回答が意図しない回答のため、処理インテントＩＤに該当する該当制御内容に変更することができない事を出力する。具体的には、音声合成部３３４は、処理インテントＩＤに該当する該当制御の動作を変更することができない旨の音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ出力する。この場合、運転支援装置１０は、通信部１４を介してエージェント管理装置３０から受信した音声データに対応する音声、例えば「お力になれず、すいません。」を音声出力部１２に出力させる。ステップＳ２１１の後、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。
ステップＳ２１２において、通信部３１を介して運転支援装置１０から乗員の回答を取得してから所定時間（例えば３秒）経過した場合（ステップＳ２１２：Ｙｅｓ）、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。これに対して、通信部３１を介して運転支援装置１０から乗員の回答を取得してから所定時間経過していない場合（ステップＳ２１２：Ｎｏ）、エージェント管理装置３０は、ステップＳ２０７へ戻る。
ステップＳ２１３において、対話制御部３４１は、処理インテントＩＤに該当する該当制御内容の変更可否判断の結果を制御部３３へ出力する。この場合、対話制御部３４１は、処理インテントＩＤに該当する該当制御内容に変更することができないことを示す情報を制御部３３へ出力する。
続いて、音声合成部３３４は、処理インテントＩＤに該当する該当制御内容に変更することができない事を出力する（ステップＳ２１４）。具体的には、音声合成部３３４は、処理インテントＩＤに該当する該当制御の動作を変更できない旨の音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ出力する。この場合、運転支援装置１０は、通信部１４を介してエージェント管理装置３０から受信した音声データに対応する音声、例えば「お力になれず、すいません。」を音声出力部１２に出力させる。ステップＳ２１４の後、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。
〔承認済み処理の概要〕
次に、図４のステップＳ１０６において説明した承認済み処理の詳細について説明する。図６は、承認済み処理の概要を示すフローチャートである。
図６に示すように、まず、意図理解部３３２は、第１のエージェント部３４に対して、乗員からの問いかけに対する回答に該当する移動体２の制御変更を推定した推定結果を示す処理インテントＩＤを送信する（ステップＳ３０１）。
続いて、対話制御部３４１は、処理インテントＩＤに基づいて、処理インテントＩＤに対応する該当制御内容の移動体２の動作状況を確認する（ステップＳ３０２）。
その後、対話制御部３４１は、対話制御部３４１は、移動体２の現在の動作状況に基づいて、処理インテントＩＤに該当する該当制御内容に変更可能であるか否かを判定する（ステップＳ３０３）。対話制御部３４１によって処理インテントＩＤに該当する該当制御の動作変更が可能であると判定された場合（ステップＳ３０３：Ｙｅｓ）、エージェント管理装置３０は、後述するステップＳ３０４へ移行する。これに対して、処理インテントＩＤに該当する該当制御内容に変更可能でないと判定された場合（ステップＳ３０３：Ｎｏ）、エージェント管理装置３０は、後述するステップＳ３０５へ移行する。
ステップＳ３０４において、応答生成部３３３は、処理インテントＩＤに該当する該当制御内容に変更する。具体的には、応答生成部３３３は、通信部３１を介して移動体２の運転支援装置１０に、処理インテントＩＤに該当する該当制御内容に変更する変更信号を出力する。この場合、運転支援装置１０の制御部１７は、移動体２の状態を、通信部１４を介してエージェント管理装置３０から受信した変更信号に応じた該当制御内容に変更する。例えば、運転支援装置１０は、エージェント管理装置３０から移動体２のトラクションコントロールの状態をオフ状態に変更する変更信号が入力された場合、移動体２のトラクションコントロールをオフ状態に変更する。この場合、音声合成部３３４は、処理インテントＩＤに該当する該当制御内容に変更することを示す音声データを生成し、この音声データを、通信部３１を介して運転支援装置１０へ送信する。そして、運転支援装置１０は、エージェント管理装置３０から受信した音声データに対応する音声、例えば「承知しました。」を音声出力部１２に出力させる。これにより、乗員は、エージェント管理装置３０の制御のもと、移動体２のトラクションコントロールがオフ状態となったことを把握することができる。ステップＳ２１０の後、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。
ステップＳ３０５およびステップＳ３０６は、上述した図５のステップ２１３およびステップＳ２１４それぞれに対応する。ステップＳ３０６の後、エージェント管理装置３０は、図４のメインルーチンへ戻り、本処理を終了する。
以上説明した一実施の形態によれば、エージェント管理装置３０が移動体２の制御内容を、乗員からの問いかけの回答に該当する移動体２の制御内容を変更可能であるか否かを判定する。そして、エージェント管理装置３０は、移動体２の制御内容を変更可能であると判定した場合、乗員に移動体２の制御変更を実行するか否かの質問を出力する。そして、エージェント管理装置３０は、乗員が制御内容に変更することを承認した場合、乗員からの問いかけの回答に該当する移動体２の制御内容に変更する。このため、ユーザの問いかけに応じて提案した操作内容をユーザの承認を得て替わりに実行することができる。この結果、移動体２の運転操作の難易度を下げることができる。
また、一実施の形態によれば、エージェント管理装置３０が乗員からの問いかけの中に、移動体２の制御内容に変更することを承認する内容が含まれているか否かを判定する。そして、エージェント管理装置３０は、乗員の承認が含まれていると判定した場合、乗員に制御内容に変更するか否かの質問を出力せずに、乗員からの問いかけの回答に該当する移動体２の制御内容に変更する。これにより、乗員が指示した移動体２の制御内容に円滑に変更することができる。
また、一実施の形態によれば、エージェント管理装置３０が乗員からの問いかけが移動体２の制御内容に関する内容であるか否かを推定する。そして、エージェント管理装置３０は、移動体２の制御内容に関する内容であると推定した場合、乗員からの問いかけの回答に該当する移動体２の制御内容に変更可能であるか否かを判定する。このため、複数のエージェントの中から移動体２の制御内容を変更するための回答に適したエージェントを選択することができるので、乗員が問いかけた移動体２の制御変更の内容に関して円滑に回答することができる。
また、一実施の形態によれば、エージェント管理装置３０が乗員からの問いかけの回答に該当する移動体２の制御内容に変更可能であると判定した後に、移動体２の制御内容に関する説明を乗員に回答する。これにより、乗員が移動体２の制御内容を把握することができる。
また、一実施の形態によれば、エージェント管理装置３０が移動体２の動作状況を取得し、移動体２の動作状況に基づいて、移動体２の制御内容に変更可能であるか否かを判定する。そして、エージェント管理装置３０は、乗員からの問いかけの回答に該当する移動体２の制御内容に変更可能であると判定した場合、移動体２の制御内容を変更する。このため、乗員が承認した移動体２の制御内容に円滑に変更することができる。
また、一実施の形態によれば、エージェント管理装置３０が乗員に移動体２の制御内容に変更するか否かの質問を出力した後に、乗員からの回答が移動体２の制御内容に変更することを承認するための一連の回答であるか否かを判定する。そして、エージェント管理装置３０は、一連の回答である場合、乗員からの問いかけの回答に該当する移動体２の制御内容に変更する。これにより、乗員が意図しない制御変更が実行されることを防止することができる。
また、一実施の形態によれば、エージェント管理装置３０が乗員に移動体２の制御内容に変更するか否かを問いかけた後に、乗員が所定時間内に移動体２の制御内容に変更することを承認した場合、制御内容を変更する回答を出力する。これに対して、エージェント管理装置３０は、乗員が所定時間内に制御内容に変更することを承認しない場合、移動体２の制限内容を変更しない回答を出力する。これにより、乗員がエージェント管理装置３０による制御内容の変更結果を把握することができる。
また、上述した一実施の形態では、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
また、上述した一実施の形態に係るエージェント管理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した一実施の形態に係るエージェント管理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 運転支援システム
２ 移動体
１０ 運転支援装置
１１ 音声入力部
１２ 音声出力部
１３ 表示部
１４，３１ 通信部
１５ 検出部
１６，３２ 記録部
１７，３３ 制御部
２０ ネットワーク
３０ エージェント管理装置
３１ 通信部
３４ 第１のエージェント部
３５ 第２のエージェント部
２１３ ステップ
３２１ プログラム記録部
３３１ 音声認識部
３３２ 意図理解部
３３３ 応答生成部
３３４ 音声合成部
３４１ 対話制御部
３４２ エージェント意図理解部
３４３ 車両情報データベース
３４４ 回答情報データベース
３４５ ログデータ情報データベース
３４６ 単語正規化データベース

Claims (18)

  1. ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置であって、
    前記プロセッサは、
    前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を出力し、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員が所定時間内に前記制御内容に変更することを承認した場合、前記制御内容に変更する回答を出力し、かつ、前記制御内容に変更する一方、
    前記乗員が所定時間内に前記制御内容に変更することを承認しない場合、前記制御内容に変更しない回答を出力する、
    エージェント管理装置。
  2. 請求項１に記載のエージェント管理装置であって、
    前記プロセッサは、
    前記乗員からの問いかけの中に、前記制御内容に変更することを承認する内容が含まれているか否かを判定し、
    前記制御内容を変更することを承認する内容が含まれていると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を出力せずに、前記制御内容に変更する、
    エージェント管理装置。
  3. 請求項１または２に記載のエージェント管理装置であって、
    前記プロセッサは、
    前記乗員からの問いかけが前記制御内容に関する内容であるか否かを推定し、
    前記制御内容に関する内容であると推定した場合、前記制御内容に変更することができるか否かを判定する、
    エージェント管理装置。
  4. 請求項１～３のいずれか一つに記載のエージェント管理装置であって、
    前記プロセッサは、
    前記制御内容に変更可能であると判定した後に、前記制御内容に関する説明を前記乗員に出力する、
    エージェント管理装置。
  5. 請求項１～４のいずれか一つに記載のエージェント管理装置であって、
    前記プロセッサは、
    前記移動体の動作状況を取得し、
    前記動作状況に基づいて、前記制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能である判定した場合、前記制御内容に変更する、
    エージェント管理装置。
  6. 請求項１～５のいずれか一つに記載のエージェント管理装置であって、
    前記プロセッサは、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員からの回答が前記制御内容に変更することを承認するための一連の回答であるか否かを判定し、
    前記一連の回答である場合、前記制御内容に変更する、
    エージェント管理装置。
  7. ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置に、
    前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更する否かの質問を出力し、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員が所定時間内に前記制御内容に変更することを承認した場合、前記制御内容に変更する回答を出力し、かつ、前記制御内容に変更する一方、
    前記乗員が所定時間内に前記制御内容に変更することを承認しない場合、前記制御内容に変更しない回答を出力する、
    プログラム。
  8. 請求項７に記載のプログラムであって、
    前記乗員からの問いかけの中に、前記制御内容に変更することを承認する内容が含まれているか否かを判定し、
    前記制御内容を変更することを承認する内容が含まれていると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を出力せずに、前記制御内容に変更する、
    プログラム。
  9. 請求項７または８に記載のプログラムであって、
    前記乗員からの問いかけが前記制御内容に関する内容であるか否かを推定し、
    前記制御内容に関する内容であると推定した場合、前記制御内容に変更することができるか否かを判定する、
    プログラム。
  10. 請求項７～９のいずれか一つに記載のプログラムであって、
    前記制御内容に変更可能であると判定した後に、前記制御内容に関する説明を前記乗員に出力する、
    プログラム。
  11. 請求項７～１０のいずれか一つに記載のプログラムであって、
    前記移動体の動作状況を取得し、
    前記動作状況に基づいて、前記制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能である判定した場合、前記制御内容に変更する、
    プログラム。
  12. 請求項７～１１のいずれか一つに記載のプログラムであって、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員からの回答が前記制御内容に変更することを承認するための一連の回答であるか否かを判定し、
    前記一連の回答である場合、前記制御内容に変更する、
    プログラム。
  13. ハードウェアを有するプロセッサを備え、移動体の乗員からの問いかけに対する回答を生成するエージェント管理装置が、
    前記移動体の制御内容を、前記移動体の乗員からの問いかけの回答に該当する前記移動体の制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能であると判定した場合、前記乗員に前記制御内容に変更する否かの質問を前記移動体のスピーカから出力し、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員が所定時間内に前記制御内容に変更することを承認した場合、前記制御内容に変更する回答を出力し、かつ、前記制御内容に変更する一方、
    前記乗員が所定時間内に前記制御内容に変更することを承認しない場合、前記制御内容に変更しない回答を出力する、
    エージェント管理方法。
  14. 請求項１３に記載のエージェント管理方法であって、
    前記乗員からの問いかけの中に、前記制御内容に変更することを承認する内容が含まれているか否かを判定し、
    前記制御内容を変更することを承認する内容が含まれていると判定した場合、前記乗員に前記制御内容に変更するか否かの質問を前記スピーカから出力せずに、前記制御内容に変更する、
    エージェント管理方法。
  15. 請求項１３または１４に記載のエージェント管理方法であって、
    前記乗員からの問いかけが前記制御内容に関する内容であるか否かを推定し、
    前記制御内容に関する内容であると推定した場合、前記制御内容に変更することができるか否かを判定する、
    エージェント管理方法。
  16. 請求項１３～１５のいずれか一つに記載のエージェント管理方法であって、
    前記制御内容に変更可能であると判定した後に、前記制御内容に関する説明を前記スピーカから前記乗員に出力する、
    エージェント管理方法。
  17. 請求項１３～１６のいずれか一つに記載のエージェント管理方法であって、
    前記移動体の動作状況を取得し、
    前記動作状況に基づいて、前記制御内容に変更可能であるか否かを判定し、
    前記制御内容に変更可能である判定した場合、前記制御内容に変更する、
    エージェント管理方法。
  18. 請求項１３～１７のいずれか一つに記載のエージェント管理方法であって、
    前記乗員に前記制御内容に変更するか否かの質問を出力した後に、前記乗員からの回答が前記制御内容に変更することを承認するための一連の回答であるか否かを判定し、
    前記一連の回答である場合、前記制御内容に変更する、
    エージェント管理方法。
JP2019222932A 2019-12-10 2019-12-10 エージェント管理装置、プログラムおよびエージェント管理方法 Active JP7287258B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019222932A JP7287258B2 (ja) 2019-12-10 2019-12-10 エージェント管理装置、プログラムおよびエージェント管理方法
US17/060,357 US11505200B2 (en) 2019-12-10 2020-10-01 System and method for voice command vehicle systems control
EP20201980.8A EP3835106A1 (en) 2019-12-10 2020-10-15 Agent management device, program, and agent management method
RU2020136954A RU2764958C1 (ru) 2019-12-10 2020-11-11 Устройство управления агентом, энергонезависимый носитель данных и способ управления агентом
CN202011373750.5A CN113051377A (zh) 2019-12-10 2020-11-30 智能体管理装置、存储介质及智能体管理方法
BR102020024696-8A BR102020024696A2 (pt) 2019-12-10 2020-12-03 Dispositivo de gerenciamento de agente, programa e método de gerenciamento de agente
KR1020200167353A KR102467397B1 (ko) 2019-12-10 2020-12-03 에이전트 관리 장치, 프로그램, 및 에이전트 관리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019222932A JP7287258B2 (ja) 2019-12-10 2019-12-10 エージェント管理装置、プログラムおよびエージェント管理方法

Publications (2)

Publication Number Publication Date
JP2021092651A JP2021092651A (ja) 2021-06-17
JP7287258B2 true JP7287258B2 (ja) 2023-06-06

Family

ID=73020036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222932A Active JP7287258B2 (ja) 2019-12-10 2019-12-10 エージェント管理装置、プログラムおよびエージェント管理方法

Country Status (7)

Country Link
US (1) US11505200B2 (ja)
EP (1) EP3835106A1 (ja)
JP (1) JP7287258B2 (ja)
KR (1) KR102467397B1 (ja)
CN (1) CN113051377A (ja)
BR (1) BR102020024696A2 (ja)
RU (1) RU2764958C1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198122B2 (ja) * 2019-03-07 2022-12-28 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062293A1 (ja) 2003-12-05 2005-07-07 Kabushikikaisha Kenwood オーディオ機器制御装置、オーディオ機器制御方法及びプログラム
WO2015079669A1 (ja) 2013-11-26 2015-06-04 株式会社デンソー 制御装置、制御方法およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6209037B1 (en) * 1995-05-30 2001-03-27 Roy-G-Biv Corporation Motion control systems using communication map to facilitating communication with motion control hardware
DE10030819A1 (de) * 2000-06-23 2002-01-10 Werner Wolfgang Baum Verwendung eines satellitengestützten Sende- und Ortungssystems in Verbindung mit einem Kraftfahrzeug
DE602004025616D1 (de) * 2003-12-26 2010-04-01 Kenwood Corp Einrichtungssteuereinrichtung, -verfahren und -programm
JP4371057B2 (ja) 2005-01-11 2009-11-25 トヨタ自動車株式会社 車両用エージェント装置、エージェントシステム及びエージェント制御方法
DE102006008381A1 (de) * 2006-02-21 2007-08-30 Ford Global Technologies, LLC, Dearborn Verfahren und System zur Information eines Fahrers eines Kraftfahrzeugs über auftretende Meldungen eines Fahrzeugüberwachungssystems
JP4983587B2 (ja) * 2007-12-19 2012-07-25 株式会社デンソー 単音節入力装置
GB201215968D0 (en) * 2012-09-06 2012-10-24 Jaguar Cars Vehicle control system and method
KR101527518B1 (ko) * 2012-09-25 2015-06-09 한라비스테온공조 주식회사 차량용 제어장치
KR20140054652A (ko) * 2012-10-29 2014-05-09 한라비스테온공조 주식회사 차량용 제어장치
US9085303B2 (en) 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
US9443507B2 (en) * 2013-07-15 2016-09-13 GM Global Technology Operations LLC System and method for controlling a speech recognition system
US9454150B2 (en) * 2013-07-17 2016-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive automated driving system
US20150066284A1 (en) 2013-09-05 2015-03-05 Ford Global Technologies, Llc Autonomous vehicle control for impaired driver
GB2523203B (en) * 2014-02-18 2017-01-11 Jaguar Land Rover Ltd Control System and method
JP6011584B2 (ja) * 2014-07-08 2016-10-19 トヨタ自動車株式会社 音声認識装置及び音声認識システム
WO2016014640A2 (en) * 2014-07-22 2016-01-28 GM Global Technology Operations LLC Systems and methods of an adaptive interface to improve user experience within a vehicle
DE102014225383A1 (de) 2014-12-10 2016-06-16 Robert Bosch Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs, Kraftfahrzeug
US9752370B2 (en) * 2015-07-13 2017-09-05 Ford Global Technologies, Llc Rain onset detection auto-close user interface
US9467839B1 (en) * 2015-12-16 2016-10-11 International Business Machines Corporation Management of dynamic events and moving objects
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
US10347245B2 (en) * 2016-12-23 2019-07-09 Soundhound, Inc. Natural language grammar enablement by speech characterization
JP6787269B2 (ja) * 2017-07-21 2020-11-18 トヨタ自動車株式会社 音声認識システム及び音声認識方法
KR102441067B1 (ko) * 2017-10-12 2022-09-06 현대자동차주식회사 차량의 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062293A1 (ja) 2003-12-05 2005-07-07 Kabushikikaisha Kenwood オーディオ機器制御装置、オーディオ機器制御方法及びプログラム
WO2015079669A1 (ja) 2013-11-26 2015-06-04 株式会社デンソー 制御装置、制御方法およびプログラム

Also Published As

Publication number Publication date
KR20210073461A (ko) 2021-06-18
EP3835106A1 (en) 2021-06-16
KR102467397B1 (ko) 2022-11-16
BR102020024696A2 (pt) 2021-06-15
RU2764958C1 (ru) 2022-01-24
US20210171053A1 (en) 2021-06-10
JP2021092651A (ja) 2021-06-17
US11505200B2 (en) 2022-11-22
CN113051377A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
EP3675121B1 (en) Computer-implemented interaction with a user
US11151997B2 (en) Dialog system, dialog method, dialog apparatus and program
JP6639444B2 (ja) 情報提供装置及び情報提供方法
JP7192222B2 (ja) 発話システム
JP4622384B2 (ja) ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム
JP7287258B2 (ja) エージェント管理装置、プログラムおよびエージェント管理方法
JP2022000960A (ja) 音出力装置
US11074915B2 (en) Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program
JP2024041746A (ja) 情報処理装置
EP4110556A1 (en) Managing conversations between a user and a robot
JP2006313287A (ja) 音声対話装置
JP2019121970A (ja) 対話装置
JP2007334251A (ja) エージェント装置、プログラム、及び音声供給方法
CN107888652B (zh) 处理结果异常检测装置、存储介质、检测方法和移动体
JP2019074498A (ja) 運転支援装置
EP4111354A1 (en) Systems and methods for short- and long-term dialog management between a robot computing device/digital companion and a user
US20240112677A1 (en) Motor vehicle and method for summarizing a conversation in a motor vehicle
WO2023166979A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022054671A (ja) 音声対話装置、音声対話システム、および、音声対話方法
JP6502789B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
JP2023170239A (ja) 出力制御方法及び出力制御装置
Borchers et al. Towards audio-based distraction estimation in the car
JP2020064144A (ja) 対話装置
JP2021043913A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2019105711A (ja) 音声出力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7287258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151