JP7380416B2 - エージェント制御装置 - Google Patents

エージェント制御装置 Download PDF

Info

Publication number
JP7380416B2
JP7380416B2 JP2020087037A JP2020087037A JP7380416B2 JP 7380416 B2 JP7380416 B2 JP 7380416B2 JP 2020087037 A JP2020087037 A JP 2020087037A JP 2020087037 A JP2020087037 A JP 2020087037A JP 7380416 B2 JP7380416 B2 JP 7380416B2
Authority
JP
Japan
Prior art keywords
agent
request
executed
company
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020087037A
Other languages
English (en)
Other versions
JP2021182056A (ja
Inventor
聖 相原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020087037A priority Critical patent/JP7380416B2/ja
Priority to US17/225,624 priority patent/US11710484B2/en
Priority to CN202110458345.1A priority patent/CN113682320B/zh
Publication of JP2021182056A publication Critical patent/JP2021182056A/ja
Application granted granted Critical
Publication of JP7380416B2 publication Critical patent/JP7380416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42136—Administration or customisation of services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2218—Call detail recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
    • H04M3/5116—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing for emergency applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/16—Sequence circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/04—Special services or facilities for emergency applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Public Health (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザの要求に応じてエージェントに係る処理を実行するエージェント制御装置に関する。
特許文献１には、入力音声信号を受け付け、前記入力音声信号に対して音声認識処理を行い音声認識処理の結果と、エージェント情報とに基づいて、当該入力音声信号に基づく処理を何れのエージェントで行うかを決定する音声対話エージェントが開示されている。
特開２０１８－１８９９８４号公報
エージェントが通話等の継続性が求められる機能を実行する場合、他のエージェントの実行を抑制することが望ましい。他方、通話等の継続性が求められる機能以上に重要な機能、例えば、緊急事態発生時に救援活動を支援する機能等を他のエージェントが有している場合、他のエージェントの重要な機能を実行させる方が望ましい。
本発明は、通常時は継続性が求められる機能を一のエージェントが実行中に、他のエージェントが起動されて当該機能が中断されることを抑制しつつ、特定の条件時は他のエージェントの重要な機能を優先して実行させることが可能なエージェント制御装置を提供することを目的とする。
請求項１に記載のエージェント制御装置は、複数のエージェントを実行可能なエージェント制御装置であって、実行されている一の前記エージェントの各機能に対する、又は前記一のエージェントの実行状況に対する実行の中断可否を規定した中断可否リストを記憶している記憶部と、所定の契機に各前記エージェントの実行を要求する第一要求部と、特定の契機に他のエージェントの実行を要求する第二要求部と、前記一のエージェントの実行に伴い、前記中断可否リストを参照して前記他のエージェントの実行可否に係る可否情報を設定する設定部と、前記一のエージェントの実行中に前記第一要求部から前記他のエージェントの実行についての要求があり、かつ前記可否情報が前記他のエージェントの実行不可を示している場合、前記要求に応じずに前記一のエージェントを継続し、前記一のエージェントの実行中に前記第二要求部から前記他のエージェントの実行についての要求がある場合、前記要求に基づいて前記他のエージェントを実行するように管理する管理部と、を備えている。
請求項１に記載のエージェント制御装置は複数のエージェントを実行可能としている。当該エージェント制御装置では、記憶部が実行されている一のエージェントの各機能に対する、又は一のエージェントの実行状況に対する実行の中断可否を規定した中断可否リストを記憶している。また、当該エージェント制御装置では、一のエージェントが第一要求部により要求され、他のエージェントが第一要求部及び第二要求部により要求される。ここで、第一要求部が要求を行う「所定の契機」とは、例えば、ユーザのマイクに対する発話、ＰＴＴ（プッシュ・トゥ・トーク）スイッチの押下である。また、第二要求部が要求を行う「特定の契機」とは、例えば、ユーザのマイクに対する特定のフレーズによる発話、特定のスイッチの押下である。第一のエージェントが実行されると、設定部が中断可否リストを参照して他のエージェントの実行可否に係る可否情報を設定する。
そして、管理部は、一のエージェントの実行中に第一要求部から他のエージェントの実行についての要求があるものの、可否情報が他のエージェントの実行不可を示している場合には、当該要求に応じずに一のエージェントを継続するように管理する。これにより、当該エージェント制御装置では、通常時は継続性が求められる機能を一のエージェントが実行中に、他のエージェントが起動されて当該機能が中断されることを抑制することができる。
一方、管理部は、一のエージェントの実行中に第二要求部から他のエージェントの実行についての要求がある場合には、当該要求に基づいて他のエージェントを実行するように管理する。これにより、当該エージェント制御装置では、特定の条件時は他のエージェントの重要な機能を優先して実行させることができる。
請求項２に記載のエージェント制御装置は、請求項１に記載のエージェント制御装置において、前記中断可否リストには、前記一のエージェントの継続性が要求される機能に対し、中断不可と規定されており、前記他のエージェントは、緊急時に提供する機能を有しており、前記特定の契機は、緊急を想起させるフレーズによる発話である。
請求項２に記載のエージェント制御装置では、一のエージェントの継続性が要求される機能の実行中は、通常は当該機能が中断されないものの、緊急を想起させるフレーズを受けて他のエージェントの緊急時の機能が要求されると、当該緊急時の機能が実行される。そのため、当該エージェント制御装置によれば、緊急時は他のエージェントにおける救援活動を支援する機能等を優先して実行させることができる。
請求項３に記載のエージェント制御装置は、請求項１又は２に記載のエージェント制御装置において、前記管理部は、前記一のエージェントの実行中に前記第一要求部から前記他のエージェントの実行についての要求があり、かつ前記可否情報が前記他のエージェントの実行不可を示している場合、前記要求を保留して前記一のエージェントを継続させ、継続して実行されている前記一のエージェントの実行が終了した後、保留された前記要求に応じて前記他のエージェントを実行する。
請求項３に記載のエージェント制御装置は、一のエージェントの実行中に他のエージェントが実行できない場合であっても、他のエージェントの実行要求を破棄せずに保留する。そのため、当該エージェント制御装置によれば、一のエージェントの終了後において、再度、他のエージェントの要求を行うことなく、他のエージェントを実行することができる。
本発明によれば、通常時は継続性が求められる機能を一のエージェントが実行中に、他のエージェントが起動されて当該機能が中断されることを抑制しつつ、特定の条件時は他のエージェントの重要な機能を優先して実行させることができる。
第１の実施形態に係るエージェントシステムの概略構成を示す図である。 第１の実施形態の車両のハードウェア構成を示すブロック図である。 第１の実施形態の中断可否リストの内容を示す図である。 第１の実施形態のヘッドユニットの機能構成を示すブロック図である。 第１の実施形態のエージェントシステムにおける処理の流れを示すシーケンス図である。 第１の実施形態のエージェントシステムにおける処理の流れを示すシーケンス図であって、図５の続きの図である。 第２の実施形態のエージェントシステムにおける処理の流れを示すシーケンス図である。
［第１の実施形態］
図１及び図２に示されるように、第１の実施形態のエージェントシステム１０は、車両１２と、自社サーバ１４と、他社サーバ１６と、を含んで構成されている。車両１２には、エージェント制御装置としてのヘッドユニット２０と、通信装置２２と、タッチパネル２４と、スピーカ２６と、マイク２８と、が搭載されている。車両１２の通信装置２２、自社サーバ１４及び他社サーバ１６は、それぞれ、ネットワークＮを介して相互に接続されている。
自社サーバ１４は、車両１２の製造元としての自社が保有するサーバである。自社サーバ１４は、自社のサービスである自社エージェントの機能が実現されるようにユーザＵの発話の意図を推定する機能を有している。自社エージェントには、通話、天気・ニュース取得、車両情報取得、目的地検索、救援要請等の機能がある。ここで、救援要請は、緊急時にユーザＵに提供する機能であって、例えば、運転者であるユーザＵの体調不良時や車両１２の事故時にオペレータを通じて緊急車両を手配することができる。自社エージェントは他のエージェントの一例である。
他社サーバ１６は、車両１２の製造元ではない他社が保有するサーバである。他社サーバ１６は、他社のサービスである他社エージェントの機能が実現されるようにユーザＵの発話の意図を推定する機能を有している。他社エージェントには、通話、決済、天気・ニュース取得、音楽提供、オーディオブック等の機能がある。他社エージェントは一のエージェントの一例である。なお、自社エージェントと他社エージェントとで同種の機能が実現されてもよい。
（車両）
図２に示されるように、ヘッドユニット２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。
ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂ又はストレージ２０Ｄからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。
ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、ヘッドユニット２０を制御するための制御プログラムが記憶されている。
ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。
記憶部としてのストレージ２０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。本実施形態のストレージ２０Ｄは、処理プログラム１００と中断可否リスト１１０とを記憶している。
処理プログラム１００は、自社エージェント及び他社エージェントを制御するためのプログラムである。
図３に示されるように、中断可否リスト１１０は、他社エージェントの各機能の実行における当該機能の中断可否が規定されたリストである。中断可否リスト１１０では、他社エージェントの継続性が要求される機能の場合、自社エージェントが要求されても実行中の機能は中断不可に規定されている。例えば、実行される他社エージェントの機能が「通話」の場合及び「決済」の場合は、当該機能の中断を不可能とする「不可」と規定されている。
また例えば、実行される他社エージェントの機能が「天気・ニュース取得」の場合及び「音楽」の場合は、当該機能の中断を可能とする「可」と規定されている。
図２に示されるように、通信Ｉ／Ｆ２０Ｅは、通信装置２２と接続するためのインタフェースである。当該インタフェースは、例えば、ＣＡＮプロトコルによる通信規格が用いられる。通信Ｉ／Ｆ２０Ｅは、外部バス２０Ｈに対して接続されている。
入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるタッチパネル２４、スピーカ２６及びマイク２８と通信するためのインタフェースである。なお、タッチパネル２４、スピーカ２６及びマイク２８は、内部バス２０Ｇに対して直接接続されていてもよい。
通信装置２２は、自社サーバ１４及び他社サーバ１６と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。通信装置２２は、ネットワークＮに対して接続されている。
タッチパネル２４は、インストルメントパネル等に設けられ、表示部としての液晶ディスプレイと、入力部としてのタッチパッドとを兼ねている。
スピーカ２６は、インストルメントパネル、センタコンソール、フロントピラー、ダッシュボード等に設けられ、自社エージェント及び他社エージェントに係る音声を出力するための装置である。
マイク２８は、車両１２のフロントピラーやダッシュボード等に設けられ、車両１２の乗員であるユーザＵが発した音声を集音する装置である。
図４に示されるように本実施形態のヘッドユニット２０では、ＣＰＵ２０Ａが、処理プログラム１００を実行することで、第一要求部２００、第二要求部２１０、第一実行部２２０、第二実行部２３０、設定部２４０、及び管理部２５０として機能する。
第一要求部２００は、所定の契機にエージェントの実行を要求する機能を有している。ここで、「所定の契機」には、ユーザＵのマイク２８に対する発話、ステアリング等に設けられた図示しないＰＴＴ（プッシュ・トゥ・トーク）スイッチの押下などがある。第一要求部２００は、ユーザＵの発話による音声情報に自社エージェント用の通常のウェイクワードが含まれる場合、当該音声情報を自社サーバ１４に送信して自社エージェントの実行を要求する。また、第一要求部２００は、ユーザＵの発話による音声情報に他社エージェント用のウェイクワードが含まれる場合、当該音声情報を他社サーバ１６に送信して他社エージェントの実行を要求する。
第二要求部２１０は、特定の契機に他のエージェントの実行を要求する機能を有している。ここで、「特定の契機」には、ユーザＵのマイク２８に対する特定のフレーズによる発話、特定のスイッチの押下がある。特定のフレーズは、緊急を想起させるフレーズであって、例えば、「Ｈｅｌｐ」を含む語、「緊急事態」、「救援要請」等がある。また、特定のスイッチは、ＰＴＴスイッチとは別途設けられた救援要請専用のスイッチである。第二要求部２１０は、後述する占有フラグがＯＮの場合に実行される。
第一実行部２２０は、自社エージェントを実行する機能を有している。第一実行部２２０は、発話による音声情報を送信した自社サーバ１４から提供された意図情報を基に自社エージェントの機能を実行する。
第二実行部２３０は、他社エージェントを実行する機能を有している。第二実行部２３０は、発話による音声情報を送信した他社サーバ１６から提供された意図情報を基に他社エージェントの機能を実行する。
設定部２４０は、中断可否リスト１１０を参照して各エージェントの実行可否に係る可否情報を設定する機能を有している。本実施形態の可否情報はＯＮ、ＯＦＦに設定可能なフラグである占有フラグであって、設定部２４０は、中断可否リスト１１０に規定されている他社エージェントにおける機能毎の中断可否に基づいて占有フラグを設定する。具体的に、設定部２４０は他社エージェントのある機能が中断不可の場合、他社エージェントの当該機能の実行開始時に占有フラグをＯＮに設定し、当該機能の終了時に占有フラグをＯＦＦに設定する。
管理部２５０は、各エージェントの実行を管理する機能を有している。本実施形態の管理部２５０は、他社エージェントの実行中に第一要求部２００から自社エージェントの実行についての要求があり、かつ占有フラグがＯＮの場合、自社エージェントの実行についての要求に応じずに他社エージェントを継続させる。また、管理部２５０は、他社エージェントの実行中に第二要求部２１０から自社エージェントの実行についての要求がある場合、当該要求に基づいて自社エージェントを実行させる。
（制御の流れ）
本実施形態のエージェントシステム１０において実行される処理の流れについて、図５及び図６のシーケンス図を用いて説明する。ヘッドユニット２０における処理は、ＣＰＵ２０Ａが、上述した第一要求部２００、第二要求部２１０、第一実行部２２０、第二実行部２３０、設定部２４０、及び管理部２５０として機能することにより実現される。
図５のステップＳ１０において、ユーザＵはヘッドユニット２０に向けて発話を行う。例えば、ユーザＵは「Ａｇｅｎｔ、Ｘに行きたい」、「Ａｓｓｉｓｔａｎｔ、Ｙさんに電話して」などと発話をしてエージェントに対して要求を行う。
ステップＳ１１において、ヘッドユニット２０はユーザＵの発話による音声の音声認識を行う。
ステップＳ１２において、ヘッドユニット２０は音声認識による音声情報を基に、起動する自社エージェント及び他社エージェントのいずれかを検出する。例えば、ヘッドユニット２０は発話の音声に「Ａｇｅｎｔ」のウェイクワードが存在している場合、自社エージェントを起動するエージェントとして検出する。また、ヘッドユニット２０は発話の音声に「Ａｓｓｉｓｔａｎｔ」のウェイクワードが存在している場合、他社エージェントを起動するエージェントとして検出する。
ステップＳ１３において、ヘッドユニット２０は占有フラグがＯＦＦであるか否かの判定を行う。ヘッドユニット２０は占有フラグがＯＦＦではない、すなわちＯＮであると判定した場合、ステップＳ１４に進む。一方、ヘッドユニット２０は占有フラグがＯＦＦであると判定した場合、ステップＳ１５に進む。
ステップＳ１４において、ヘッドユニット２０はエージェントに対する要求を破棄する。そして、エージェントの実行処理は終了する。
ステップＳ１５において、ヘッドユニット２０はステップＳ１２において検出されたエージェントのサーバに対して、音声情報を送信する。図５は、自社エージェントに係る要求を行う例であって、「Ａｓｓｉｓｔａｎｔ、Ｙさんに電話して」とユーザＵが発話した場合、「Ｙさんに電話して」という内容の音声情報が他社サーバ１６に送信される。
ステップＳ１６において、他社サーバ１６は受信した音声情報を基に音声認識を行い、意図抽出を実行する。例えば、「Ｙさんに電話して」の音声情報からＹさんに電話を掛けるという意図を抽出する。
ステップＳ１７において、他社サーバ１６は抽出された意図を意図情報としてヘッドユニット２０に送信する。
ステップＳ１８において、ヘッドユニット２０は他社エージェントの実行を開始する。すなわち、ヘッドユニット２０は他社サーバ１６からＹさんに電話を掛けるという意図情報を受信すると通話機能を起動し、他社サーバ１６から取得した、又はストレージ２０Ｄに記憶されているＹさんの連絡先を参照してＹさんに電話を掛ける。これにより、ヘッドユニット２０では通話が開始される。
ステップＳ１９において、ヘッドユニット２０は中断可否リスト１１０を参照する。例えば図３に示されるように、他社エージェントが通話を行っている場合、他社エージェントの中断を不可能とする「不可」の情報を取得する。
図５のステップＳ２０において、ヘッドユニット２０は他社エージェントが中断不可であるか否かの判定を行う。ヘッドユニット２０は他社エージェントが中断不可であると判定した場合、ステップＳ２１に進む。一方、ヘッドユニット２０は他社エージェントが中断不可ではないと判定した場合、図６のステップＳ２２に進む。
ステップＳ２１において、ヘッドユニット２０は占有フラグをＯＮに設定する。
図６のステップＳ２２からステップＳ２４までの処理は、上述のステップＳ１０からステップＳ１２までの処理と同じである。
次に、占有フラグがＯＮの場合、ステップＳ２５において、ヘッドユニット２０は緊急状態であるか否かの判定を行う。具体的には、ステップＳ２３における音声認識の結果、緊急を想起させるフレーズが含まれている場合、ヘッドユニット２０は緊急状態であると判定する。ヘッドユニット２０は緊急状態ではないと判定した場合、ステップＳ２６に進む。一方、ヘッドユニット２０は緊急状態であると判定した場合、ステップＳ３０に進む。
ステップＳ２６及びステップＳ２７の処理は、上述のステップＳ１３及びステップＳ１４の処理と同じである。
ステップＳ２８において、ヘッドユニット２０は他社エージェントが終了しているか否かの判定を行う。ヘッドユニット２０は他社エージェントが終了していないと判定した場合、すなわち、他社エージェントがまだ実行中である場合、ステップＳ２２に戻る。一方、ヘッドユニット２０は他社エージェントが終了していると判定した場合、ステップＳ２９に進む。
ステップＳ２９において、ヘッドユニット２０は占有フラグをＯＦＦに設定する。そして、エージェントの実行処理は終了する。
ステップＳ２６において占有フラグがＯＦＦであると判定されている場合、ステップＳ３０において、ヘッドユニット２０はステップＳ２４において検出されたエージェントのサーバに対して、音声情報を送信する。図６は、自社エージェントに係る要求を行う例であって、「Ａｇｅｎｔ、Ｘに行きたい」とユーザＵが発話した場合、「Ｘに行きたい」という内容の音声情報が自社サーバ１４に送信される。また、緊急を想起させるフレーズとして「救援要請します」とユーザＵが発話した場合、当該発話の音声情報がそのまま自社サーバ１４に送信される。
ステップＳ３１において、自社サーバ１４は受信した音声情報を基に音声認識を行い、意図抽出を実行する。例えば、「Ｘに行きたい」の音声情報から目的地Ｘを検索するという意図を抽出する。また例えば、「救援要請します」の音声情報から救援要請用のオペレータと通話を行うという意図を抽出する。
ステップＳ３２において、自社サーバ１４は抽出された意図を意図情報としてヘッドユニット２０に送信する。
ステップＳ３３において、ヘッドユニット２０は自社エージェントの実行を開始する。緊急時の場合、実行中の他社エージェントが中断されて終了し、オペレータとの通話が可能となる。
（第１の実施形態のまとめ）
本実施形態のヘッドユニット２０は複数のエージェントとして、自社エージェント及び他社エージェントを実行可能としている。ヘッドユニット２０では、実行される他社エージェントの各機能に対する中断可否を規定した中断可否リスト１１０がストレージ２０Ｄに記憶されている。本実施形態では、第一要求部２００が発話、ＰＴＴスイッチの操作等による所定の契機に自社エージェント又は他社エージェントの実行を要求する。また、第二要求部２１０が特定のフレーズによる発話、特定のスイッチの操作による特定の契機に自社エージェントの実行を要求する。本実施形態では、他社エージェントが実行されると、設定部２４０が中断可否リスト１１０を参照して自社エージェントの実行可否に係る可否情報を占有フラグとして設定する。
そして、管理部２５０は、他社エージェントの実行中に第一要求部２００から自社エージェントの実行についての要求があるものの、占有フラグがＯＮの場合には、当該要求を破棄して他社エージェントを継続するように管理する。すなわち、本実施形態によれば、通常時は通話や決済等の継続性が求められる機能を他社エージェントが実行中に、自社エージェントが起動されて当該継続性が求められる機能が中断されることを抑制することができる。
一方、管理部２５０は、他社エージェントの実行中に第二要求部２１０から自社エージェントの実行についての要求がある場合には、当該要求に基づいて自社エージェントを実行するように管理する。すなわち、本実施形態によれば、特定の条件時は自社エージェントを優先して実行させることができる。
また、本実施形態では、救援活動を支援する重要な機能を特定の条件とする場合、第二要求部２１０は、緊急を想起させるフレーズを受けて自社エージェントの緊急時の機能を要求する。そのため、本実施形態によれば、特に緊急時は自社エージェントにおける救援活動を支援する機能等を優先して実行させることができる。
さらに、本実施形態によれば、可否情報として占有フラグを設けることで、異なる機能のエージェントを占有フラグのＯＮ、ＯＦＦにより一括で管理することができる。
［第２の実施形態］
第１の実施形態は、占有フラグがＯＮの場合、新たなエージェントの実行要求は破棄されるものであった。これに対して、第２の実施形態は、占有フラグがＯＮの場合、新たなエージェントの実行要求を保留するように形成されている。以下、第１の実施形態との相違点について説明する。なお、その他の構成については、第１の実施形態と同様であり、詳細な説明は省略する。
本実施形態の管理部２５０は、他社エージェントの実行中に第一要求部２００から自社エージェントの実行についての要求があり、かつ占有フラグがＯＮの場合、自社エージェントの実行についての要求を保留して他社エージェントを継続させる。そして、管理部２５０は、継続して実行されている他社エージェントが終了した後、要求が保留中の自社エージェントを実行させる。
本実施形態のエージェントシステム１０において実行される処理の第１の実施形態との相違点は図７に示すとおりである。すなわち、図６のステップＳ２７からステップＳ２９までの処理に替えて、ステップＳ４０からステップＳ４２までの処理が実行される。
ステップＳ２６において占有フラグがＯＦＦではないと判定されている場合、ステップＳ４０において、ヘッドユニット２０はエージェントに対する要求を保留する。
ステップＳ４１において、ヘッドユニット２０は他社エージェントが終了しているか否かの判定を行う。ヘッドユニット２０は他社エージェントが終了していないと判定した場合、すなわち、他社エージェントがまだ実行中である場合、ステップＳ２２に戻る。一方、ヘッドユニット２０は他社エージェントが終了していると判定した場合、ステップＳ４２に進む。
ステップＳ４２において、ヘッドユニット２０は占有フラグをＯＦＦに設定する。そしてステップＳ３０に進む。
なお、ステップＳ４０において保留されたエージェントに対する要求は、ステップＳ３０からステップＳ３３に反映される。これにより、ステップＳ３３において、保留されていた自社エージェントの実行が開始される。
（第２の実施形態のまとめ）
第２の実施形態のヘッドユニット２０は、他社エージェントの実行中に自社エージェントが実行できない場合であっても、自社エージェントの実行要求を破棄せずに保留するように形成されている。そのため、本実施形態によれば、他社エージェントの終了後において、再度、第一要求部２００が自社エージェントの要求を行うことなく、自社エージェントを実行させることができる。
［備考］
上記各実施形態は、実行される他社エージェントの機能毎に当該機能の中断の可否が判断されるものであった。しかし、これに限らず、他社エージェントの実行状態に応じて、実行中の機能の中断の可否を判断してもよい。この場合の中断可否リスト１１０は、他社エージェントの実行状況に応じたレベルに対する他社エージェントの中断可否が規定されている。
例えば、他社エージェントの機能に「ショッピング」があるとする場合、決済処理中は処理の中断を不可能とするレベルＡ、購入手続き中は自社エージェントの実行を保留とするレベルＢ、品物検索中は処理の中断を可能とするレベルＣ、と規定する。これにより、他社エージェントがショッピングを実行している場合に、その実行状況に応じて他社エージェントの中断及び自社エージェントの実行を制御することができる。
また、上記各実施形態では、通常は中断可否リスト１１０に記憶されている他社エージェントの実行可否に基づいて自社エージェントの実行を制御していたが、これに限らない。すなわち、自社エージェントの実行可否を中断可否リスト１１０に記憶し、自社エージェントの実行可否に基づいて他社エージェントの実行を制御してもよい。
第２の実施形態のヘッドユニット２０は、自社エージェントの要求を保留可能に形成されており、他社エージェントが終了した段階で保留にされていた要求が音声情報として自社サーバ１４に送信される。しかしこれに限らず、ヘッドユニット２０が自社エージェントの要求を破棄した場合、他社エージェントが終了した段階でユーザＵに対して要求を聞き返す、つまり、発話を求めるように形成してもよい。
なお、上記実施形態でＣＰＵ２０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、ヘッドユニット２０における処理プログラム１００は、ストレージ２０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
２０ ヘッドユニット（エージェント制御装置）
２０Ｄ ストレージ（記憶部）
１１０ 中断可否リスト
２００ 第一要求部
２１０ 第二要求部
２４０ 設定部
２５０ 管理部

Claims (3)

  1. 複数のエージェントを実行可能なエージェント制御装置であって、
    実行されている一の前記エージェントの各機能に対する、又は前記一のエージェントの実行状況に対する実行の中断可否を規定した中断可否リストを記憶している記憶部と、
    所定の契機に各前記エージェントの実行を要求する第一要求部と、
    特定の契機に他のエージェントの実行を要求する第二要求部と、
    前記一のエージェントの実行に伴い、前記中断可否リストを参照して前記他のエージェントの実行可否に係る可否情報を設定する設定部と、
    前記一のエージェントの実行中に前記第一要求部から前記他のエージェントの実行についての要求があり、かつ前記可否情報が前記他のエージェントの実行不可を示している場合、前記要求に応じずに前記一のエージェントを継続し、前記一のエージェントの実行中に前記第二要求部から前記他のエージェントの実行についての要求がある場合、前記要求に基づいて前記他のエージェントを実行するように管理する管理部と、
    を備えるエージェント制御装置。
  2. 前記中断可否リストには、前記一のエージェントの継続性が要求される機能に対し、中断不可と規定されており、
    前記他のエージェントは、緊急時に提供する機能を有しており、
    前記特定の契機は、緊急を想起させるフレーズによる発話である請求項１に記載のエージェント制御装置。
  3. 前記管理部は、
    前記一のエージェントの実行中に前記第一要求部から前記他のエージェントの実行についての要求があり、かつ前記可否情報が前記他のエージェントの実行不可を示している場合、前記要求を保留して前記一のエージェントを継続させ、継続して実行されている前記一のエージェントの実行が終了した後、保留された前記要求に応じて前記他のエージェントを実行する請求項１又は２に記載のエージェント制御装置。
JP2020087037A 2020-05-18 2020-05-18 エージェント制御装置 Active JP7380416B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020087037A JP7380416B2 (ja) 2020-05-18 2020-05-18 エージェント制御装置
US17/225,624 US11710484B2 (en) 2020-05-18 2021-04-08 Agent control device
CN202110458345.1A CN113682320B (zh) 2020-05-18 2021-04-27 智能体控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020087037A JP7380416B2 (ja) 2020-05-18 2020-05-18 エージェント制御装置

Publications (2)

Publication Number Publication Date
JP2021182056A JP2021182056A (ja) 2021-11-25
JP7380416B2 true JP7380416B2 (ja) 2023-11-15

Family

ID=78512774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020087037A Active JP7380416B2 (ja) 2020-05-18 2020-05-18 エージェント制御装置

Country Status (3)

Country Link
US (1) US11710484B2 (ja)
JP (1) JP7380416B2 (ja)
CN (1) CN113682320B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248200A (ja) 2012-07-10 2012-12-13 Kyocera Corp 電子機器
JP2016101785A (ja) 2014-11-27 2016-06-02 クラリオン株式会社 情報処理装置および実行管理プログラム
JP2017046285A (ja) 2015-08-28 2017-03-02 ブラザー工業株式会社 画像処理装置および画像処理装置の制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655096A (en) 1990-10-12 1997-08-05 Branigin; Michael H. Method and apparatus for dynamic scheduling of instructions to ensure sequentially coherent data in a processor employing out-of-order execution
CN100364009C (zh) 1995-08-21 2008-01-23 松下电器产业株式会社 再生设备及记录方法
JP2009251802A (ja) 2008-04-03 2009-10-29 Panasonic Corp マルチプロセッサシステムおよびマルチプロセッサシステムの割込み制御方法
US9207943B2 (en) 2009-03-17 2015-12-08 Qualcomm Incorporated Real time multithreaded scheduler and scheduling method
US8527278B2 (en) * 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
US9552206B2 (en) 2010-11-18 2017-01-24 Texas Instruments Incorporated Integrated circuit with control node circuitry and processing circuitry
TWI497419B (zh) 2011-10-20 2015-08-21 Via Tech Inc 電腦裝置及其中斷任務分配方法
CN102941852B (zh) * 2012-10-30 2015-12-02 青岛海信网络科技股份有限公司 智能车载终端
KR102057795B1 (ko) * 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
USRE49014E1 (en) 2013-06-19 2022-04-05 Panasonic Intellectual Property Corporation Of America Voice interaction method, and device
US20150139441A1 (en) * 2013-11-18 2015-05-21 Honeywell International Inc. System and method for minimizing active speech disruptions and assuring task level continuity on a flight deck
JP6331975B2 (ja) * 2014-10-31 2018-05-30 株式会社デンソー 停車時車両制御装置
US11228569B2 (en) * 2016-03-01 2022-01-18 Ford Global Technologies, Llc Secure tunneling for connected application security
US11514905B2 (en) * 2017-10-30 2022-11-29 Sony Corporation Information processing apparatus and information processing method
US10679620B2 (en) * 2018-03-06 2020-06-09 GM Global Technology Operations LLC Speech recognition arbitration logic
US11861674B1 (en) * 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
JP7380415B2 (ja) 2020-05-18 2023-11-15 トヨタ自動車株式会社 エージェント制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248200A (ja) 2012-07-10 2012-12-13 Kyocera Corp 電子機器
JP2016101785A (ja) 2014-11-27 2016-06-02 クラリオン株式会社 情報処理装置および実行管理プログラム
JP2017046285A (ja) 2015-08-28 2017-03-02 ブラザー工業株式会社 画像処理装置および画像処理装置の制御方法

Also Published As

Publication number Publication date
JP2021182056A (ja) 2021-11-25
US11710484B2 (en) 2023-07-25
CN113682320B (zh) 2024-02-02
CN113682320A (zh) 2021-11-23
US20210358495A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
US20080091433A1 (en) Control system
US7984440B2 (en) Interactive audio task system with interrupt recovery and confirmations
JP5426150B2 (ja) 車載システム、車載装置及びそのコマンドの実行制御方法
JP7380415B2 (ja) エージェント制御装置
CN113302091A (zh) 用于在操作启用了自动化助理的车辆时授权访问的形态
JP7380416B2 (ja) エージェント制御装置
CN113162964B (zh) 代理系统、终端装置以及代理程序
JP4974536B2 (ja) 音声案内装置
CN112235063A (zh) 一种车载音频播放控制方法、装置、设备及存储介质
JP2021117302A (ja) エージェントシステム、エージェントサーバおよびエージェントプログラム
US20210233538A1 (en) Agent system, terminal device, and computer readable recording medium
JP2003114691A (ja) 車両用テキスト音声合成装置
JP7318587B2 (ja) エージェント制御装置
JP2008191074A (ja) 出力調停プログラム及び装置
JPWO2014103015A1 (ja) 携帯端末装置、車載器、情報提示方法及び情報提示プログラム
CN113160824A (zh) 信息处理系统、信息处理装置及程序
KR102588610B1 (ko) 차량 내 인포테인먼트 시스템과 연계된 주식 거래 시스템 및 그에 의한 방법
Every et al. A Software-Centric Solution to Automotive Audio for General Purpose CPUs
CN113778371A (zh) 针对车机系统实现多模块声音管理控制的系统、方法、装置、处理器及其计算机存储介质
JP2022165339A (ja) エージェント装置
CN116320539A (zh) 媒体流处理方法、装置、设备及存储介质
CN115297401A (zh) 用于车辆座舱的方法、装置、设备、存储介质和程序产品
CN115472186A (zh) 车载媒体播放控制方法、装置及电子设备
JP2005326347A (ja) 車両用処理装置
JP2023008023A (ja) 情報処理装置、車両、及び、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151