JP7420109B2 - 情報出力システム、サーバ装置および情報出力方法 - Google Patents

情報出力システム、サーバ装置および情報出力方法 Download PDF

Info

Publication number
JP7420109B2
JP7420109B2 JP2021066091A JP2021066091A JP7420109B2 JP 7420109 B2 JP7420109 B2 JP 7420109B2 JP 2021066091 A JP2021066091 A JP 2021066091A JP 2021066091 A JP2021066091 A JP 2021066091A JP 7420109 B2 JP7420109 B2 JP 7420109B2
Authority
JP
Japan
Prior art keywords
intention information
output
question
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021066091A
Other languages
English (en)
Other versions
JP2022161353A (ja
Inventor
結衣 田上
敏文 西島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021066091A priority Critical patent/JP7420109B2/ja
Priority to US17/653,169 priority patent/US20220324460A1/en
Priority to CN202210349374.9A priority patent/CN115203359A/zh
Publication of JP2022161353A publication Critical patent/JP2022161353A/ja
Application granted granted Critical
Publication of JP7420109B2 publication Critical patent/JP7420109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ユーザに情報を出力する技術に関する。
特許文献1には、エージェント機能部が、マイクにより収集された音声の意味に基づいて車両の乗員に対して話しかけるエージェント音声を生成し、生成したエージェント音声をスピーカに出力させるエージェント装置が開示されている。このエージェント装置は、コマンド機能に応じて割り当てられた複数のサブエージェント機能を備え、乗員音声からコマンド入力を認識すると、認識したコマンドに割り当てられたサブエージェント機能を実行する。
国際公開第2020/070878号
ユーザが明確なコマンド入力の発話をしなくとも、エージェントと会話するやり取りで適切なコマンドを導き出せると好ましい。
本発明の目的は、ユーザの意図を適切に絞り込むことができる技術を提供することにある。
上記課題を解決するために、本発明のある態様の情報出力システムは、ユーザの発話を取得する発話取得部と、質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持する保持部と、ユーザの発話の内容が保持部に保持される意図情報のいずれに対応するか特定する特定部と、質問に対応付けられている意図情報が特定部によって特定されると当該質問を出力することを決定する出力決定部と、タスクに対応付けられている意図情報が特定部によって特定されると当該タスクを実行するタスク実行部と、過去の対話の履歴を記憶する記憶部と、を備える。保持部に保持される質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含む。出力決定部は、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定する。記憶部は、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄する。
本発明の別の態様は、サーバ装置である。このサーバ装置は、質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持する保持部と、ユーザの発話の内容が保持部に保持される意図情報のいずれに対応するか特定する特定部と、質問に対応付けられている意図情報が特定部によって特定されると当該質問を出力することを決定する出力決定部と、タスクに対応付けられている意図情報が特定部によって特定されると当該タスクを実行するタスク実行部と、過去の対話の履歴を記憶する記憶部と、を備える。保持部に保持される質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含む。出力決定部は、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定する。記憶部は、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄する。
本発明のさらに別の態様は、各ステップを情報出力システムによって実行する情報出力方法である。この方法は、ユーザの発話を取得するステップと、質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持するステップと、ユーザの発話の内容が、保持される意図情報のいずれに対応するか特定するステップと、質問に対応付けられている意図情報が特定されると当該質問を出力することを決定するステップと、タスクに対応付けられている意図情報が特定されると当該タスクを実行するステップと、を含む。保持された質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含む。質問の出力を決定するステップにおいて、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定する。記憶するステップにおいて、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄する。
本発明によれば、ユーザの意図を適切に絞り込むことができる技術を提供できる。
実施例の情報出力システムについて説明するための図であり、ユーザおよび端末装置のエージェントの会話例を示す図である。 情報出力システムの機能構成を示す図である。 情報処理部の機能構成を示す図である。 保持部によって保持される複数の意図情報を示す図である。 ユーザと対話を実行する処理のフローチャートである。
図1は、実施例の情報出力システムについて説明するための図であり、ユーザ10および端末装置12のエージェントの会話例を示す。情報出力システムは、ユーザ10と会話をする機能を有しており、端末装置12のエージェントを用いてユーザ10に画像および音声で情報を出力する。
エージェントは、端末装置に搭載されたディスプレイにキャラクタとして画像で表示され、主に対話でユーザ10と情報のやりとりをする。エージェントは、画像および音声の少なくとも一方でユーザ10と対話する。エージェントは、ユーザ10の発話の内容を認識し、発話の内容に合わせた応答をする。
ユーザ10は、「お腹が空いた。」と発話する(S10)。端末装置12は、ユーザ10の発話を解析してユーザ10が空腹を意図していると特定する(S12)。つまり、端末装置12は、ユーザ10の発話からユーザ10の意図を特定する。端末装置12のエージェントは、特定した意図に応じて「何か食べますか?」と質問する(S14)。
ユーザ10は、質問に対して「新宿で食べたい。」と返答する(S16)。端末装置12は、ユーザ10の発話を解析して外出と食事の意図を特定し(S18)、エージェントは、「何を食べますか?」と質問する(S20)。
ユーザ10は、質問に答えずに、「そういえば、新宿の天気は?」と質問する(S22)。端末装置12は、ユーザ10の発話を解析して天気の意図を特定し(S24)、天気検索のタスクを実行して、天気情報を取得する(S26)。エージェントは、取得した天気情報をもとに「新宿は晴れです。」と応答する(S28)。
ユーザ10は、エージェントの出力に応じて「やっぱり行くわ。」と発話する(S30)。端末装置12は、ユーザ10の発話を解析し、外出の意図に戻ることを決定する(S32)。エージェントは、S20と同様に「何を食べますか?」と再び質問する(S34)。
ユーザ10は、質問に対して「ラーメン。」と返答する(S36)。端末装置12は、ユーザ10の発話を解析して外食の意図を特定し(S38)、飲食店検索のタスクを実行し、飲食店情報を取得する(S40)。エージェントは、取得した飲食店をもとに「おすすめのラーメン店が2件あります。1件目は、A店、2件目は、B店をおすすめします。」と提案する。
ユーザ10は、提案に対して「1件目のラーメン店に案内して。」と応答する(S44)。端末装置12のエージェントは「了解しました。」と出力し、案内を開始する(S46)。
このように、端末装置12はエージェントを介してユーザ10と対話が可能であり、ユーザの発話から外食を希望している意図を導き出すことができる。S22で示したように、ユーザ10は質問に対して返答せずに発話することがある。この場合はS24に示すように、ユーザ10の発話に従って応答することが自然である。一方、前の対話の流れを無視することは不自然であり、S34において前の対話の流れに戻って発話する。このように、情報出力システムは、対話中に突如発生したユーザのタスク要求に合わせて応答しつつ、適切な話題復帰によって自然な対話を実現できる。
図2は、情報出力システム1の機能構成を示す。図2および後述の図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
情報出力システム1は、端末装置12およびサーバ装置14を備える。サーバ装置14は、データセンターに設けられ、端末装置12と通信可能である。サーバ装置14は、提供情報を保持しており、端末装置12に提供情報を送信する。提供情報は、例えば店舗情報であって、店名、住所および店舗の販売内容を含む。また、提供情報は、商品やサービスの広告情報、天気情報、ニュース情報等であってよい。提供情報は、ジャンル毎に分類されており、飲食店であれば、ラーメン、中華料理、和食、カレー、イタリア料理などジャンルに分類される。
端末装置12は、情報処理部24、出力部26、通信部28、入力部30および位置情報取得部32を有する。端末装置12は、ユーザが乗車する車両に搭載された端末装置であってよく、ユーザに保持される携帯端末装置であってよい。通信部28は、サーバ装置14と通信する。通信部28からサーバ装置14に送られる情報には端末IDが付される。
入力部30は、ユーザ10の入力を受け付ける。入力部30は、マイクロフォン、タッチパネル、カメラなどであってユーザ10の音声入力、操作入力、動作入力を受け付ける。位置情報取得部32は、衛星測位システムを用いて端末装置12の位置情報を取得する。端末装置12の位置情報にはタイムスタンプが付される。
出力部26は、スピーカおよびディスプレイの少なくとも一方であり、ユーザに情報を出力する。出力部26のスピーカは、エージェントの音声を出力し、出力部26のディスプレイは、エージェントおよび案内情報を表示する。
情報処理部24は、入力部30に入力されたユーザの発話を解析して、ユーザの発話の内容に対する応答を出力部26に出力させ、エージェントがユーザと会話する処理を実行する。
図3は、情報処理部24の機能構成を示す。情報処理部24は、発話取得部34、認識処理部36、出力処理部38、出力制御部40、提供情報取得部42、記憶部44および保持部46を有する。
発話取得部34は、入力部30に入力されたユーザの発話を取得する。ユーザの発話は音響信号である。発話取得部34は、入力部30に文字入力されたユーザの入力情報を取得してもよい。発話取得部34は、音声を抽出するフィルタによって音信号から発話を抽出してよい。
認識処理部36は、発話取得部34により取得されたユーザの発話の内容を認識する。認識処理部36は、ユーザの発話をテキストに変換する音声認識処理を実行し、テキストの内容を理解する言語認識処理を実行する。
提供情報取得部42は、認識処理部36によって認識したユーザの発話の内容に応じて案内情報をサーバ装置14から取得する。例えば、ユーザが「ラーメンを食べたい。」と発話した場合、提供情報取得部42は、「飲食店」や「ラーメン」のタグ情報を有する提供情報や、「ラーメン」のワードを含む提供情報を取得する。提供情報取得部42は、端末装置12の位置情報をもとに、端末装置12の周辺に位置する店舗情報を取得してもよい。つまり、提供情報取得部42は、提供情報の検索結果を取得してよく、検索せずに車両周辺に位置する店舗情報をまとめて取得してもよい。
保持部46は、複数の意図情報をタスク毎の階層構造で分類して保持する。ユーザの意図情報は、ユーザの発話を解析して得られ、ユーザが発話で伝えようとしている内容を示す。ここで、保持部46によって保持される意図情報について新たな図面を参照して説明する。
図4は、保持部46によって保持される複数の意図情報を示す図である。図4に示す例では、第1階層が最上層に位置し、第2階層が従属されている。タスクの種類によっては、階層の数が異なる。また、同じタスクの種類で、同じ階層に複数の意図情報が含まれることもある。
例えば、飲食のタスクでは、第1階層に「空腹」、第2階層に「食事」、第3階層に「外出」、第4階層に「外食」および「テイクアウト」の意図情報が関連付けて配置されている。飲食のタスクでは第4階層の意図情報、つまり「外食」および「テイクアウト」の意図情報が特定された場合に、飲食店検索のタスクが実行される。意図情報には、階層の種類と、階層のレベルとが関連付けられて保持される。
最下層の意図情報が特定された場合、その意図情報に対応するタスクが実行される。例えば、天気のタスクでは、「天気」の意図情報が特定されると天気検索が実行され、娯楽のタスクでは、「外で遊ぶ」の意図情報が特定されると娯楽情報検索が実行される。
保持部46は、対応付けられた意図情報とは別の意図情報を導出するための質問を、意図情報に対応付けて保持する。質問はテキストで保持される。特定された意図情報に対応付けられた質問を出力することで、ユーザから別の意図情報を導き出すことができる。
保持部46は、質問に対応付けられた意図情報よりも下層の意図情報を導出する内容を定めた質問を保持する。つまり、第1階層の意図情報に対応付けられた質問は、その第1階層の意図情報に従属する第2階層の意図情報を導出する内容が定められる。例えば、図4に示す「空腹」の意図情報が特定されると、それに従属する「食事」の意図情報を導出するための質問が出力される。これにより、下層の意図情報を導出する質問を予め定義することで、最終的に最下層の意図情報を特定して、タスクを実行できる。一方で最下層の意図情報が特定されるまで、タスクが実行されない。
1つの意図情報に対して、複数の質問が関連付けられてよく、対応付けられた複数の質問のうち、いずれかの質問が出力されてよく、所定の確率でいずれかの質問が選択されて出力されてよい。
保持部46は、意図情報に特定のワードを結びつけた辞書データを保持する。これにより、ユーザが特定のワードを発話した場合に、ユーザの意図情報を特定される。例えば、辞書データでは、「お腹が空いた」や「腹ぺこ」などの特定ワードが「空腹」の意図情報に結びつけられており、「晴れ」や「雨」などの特定ワードが「外の状態」の意図情報に結びつけられている。
保持部46によって階層構造で保持される意図情報には、質問に対応付けられている意図情報と、タスクに対応付けられている意図情報とが含まれる。例えば、飲食の階層構造では、第1階層から第3階層の意図情報は質問に対応付けられており、最下層である第4階層の意図情報はタスクに対応付けられている。これによって、上位の意図情報を特定した場合には質問を出力して、下位の意図情報を導出し、最終的にタスクに対応する意図情報を導出することができる。
図3に戻る。出力処理部38は、認識処理部36によって認識したユーザの発話の内容に対する応答をテキストで生成する。出力制御部40は、出力処理部38により生成された応答を出力部26から出力する制御を実行する。
出力処理部38は、ユーザの発話の内容に応じてタスクを実行して、サービスを提供できる。例えば、出力処理部38は、ユーザに提供情報を提供する案内機能を有する。出力処理部38によって提供されるサービス機能は、案内機能に限られず、音楽再生機能、経路案内機能、通話接続機能、端末設定変更機能などであってよい。
出力処理部38の特定部48は、ユーザの発話ごとに、その発話の内容が保持部46に保持される複数の意図情報のいずれの意図情報に対応するか特定する。特定部48は、ユーザの発話から特定のワードが含まれているか抽出し、抽出した特定のワードをもとにユーザの意図情報を特定する。つまり、特定部48は、意図情報と予め設定した特定ワードとの結び付きを示す辞書データを参照して、ユーザの意図情報を特定する。なお、特定部48は、ニューラルネットワークの手法等を用いてユーザの発話の内容からユーザの意図情報を特定してよい。また特定部48は、特定ワードを抽出する際に表記ゆれや小さな差分を許容してよい。また、特定部48は、ユーザの発話の内容から複数の意図情報を特定してもよい。
記憶部44は、特定部48によって特定されたユーザの意図情報や、ユーザの発話などの対話履歴を記憶する。記憶部44は、特定された意図情報が属するタスクの種類と、特定した時刻を記憶する。記憶部44は、特定部48によって特定されたユーザの意図情報を複数回分だけ記憶してよく、現在時刻から所定時間内の対話履歴を記憶してよい。つまり、記憶部44は、意図情報が所定個数溜まると古い意図情報を破棄し、特定された時刻から所定時間経過した対話履歴を破棄する。これにより、ある程度の対話履歴を記憶しつつ、古い意図情報が破棄される。
特定部48は、ユーザの発話に特定ワードが含まれない場合、ユーザが肯定または否定の回答であるか判定する。特定ワードが含まれず、ユーザが肯定または否定の回答である場合に、特定部48は、前回の意図情報と、ユーザの発話と、質問内容とをもとにユーザの意図情報を特定してよい。これにより、ユーザが「はい。」、「いいえ。」で答えた場合に、ユーザの意図を特定できる。
出力決定部50は、特定された意図情報に対応付けられた質問を保持部46から取り出し、出力することを決定する。意図情報に対応付けられた質問は、その意図情報に従属する下層の意図情報を導出するためのもので、ユーザの意図を絞り込むことができる。これにより、ユーザの意図を絞り込むことができ、ユーザの意図に沿ったスムーズな流れで対話を実現できる。出力決定部50は、特定された意図情報に対応付けられた複数の質問からいずれかを選択して、選択した質問を出力することを決定してよい。出力決定部50は、複数の質問からいずれかを選択する際に、ランダムに選択してよいが、前回の意図情報をもとに最適な質問を選択してよい。
特定部48によって特定されたユーザの意図情報をもとに応答が出力されるため、図1のS20からS28の対話例に示すように、ユーザが突然に話題を変えて別の種類のタスクを要求しても、出力処理部38は適切なタスクを導き出して対応できる。
記憶部44には、対話の履歴が記憶されており、その対話履歴には、図1のS20に示すように、回答が得られていない質問があることも記憶されている。図1のS18ではユーザの発話が別階層の意図情報に飛んだことで、階層の降下が止まっている。そこで、出力決定部50は、記憶部44に記憶された対話履歴から質問の回答がない質問を検出して、検出した質問を再度出力することを決定する。再度出力することを決定するタイミングは、図1のS34に示すように別種類のタスクが実行された直後であってよい。これにより、図1のS32およびS34に示すように、別種類のタスクを完了した後に、実行完了前のタスクを導出するための対話を再開できる。また、階層構造を上層から1段階ずつ順に下りる必要はなく、特定された意図情報の位置に容易に飛ぶことができる。
また、出力決定部50は、意図情報に対応付けられた質問を出力しないことを決定してよく、この場合、質問ではなく、単なる相づちなどが出力される。例えば、意図情報に対応付けられた質問が出力される確率が意図情報毎に予め設定されていてよい。例えば、「雑談」の意図情報が特定された場合は、質問が出力される確率が約10パーセントで相対的に低く、「空腹」の意図情報が特定された場合は、質問が出力される確率が約90パーセントと相対的に高くてよい。出力決定部50は、特定部48によって複数の意図情報が特定された場合、最も下層の意図情報に対応付けられた質問を出力することを決定してよい。
意図情報に対応付けられた質問は、下層の意図情報に絞り込むだけでなく、回答次第では別の種類の階層の意図情報を導出するための内容が定義されている。例えば、図1に示すS14の「何か食べますか?」という質問に対して、ユーザが否定的な発話をした場合、「我慢」の意図情報が特定される。この「我慢」の意図情報は、図4に示すように、食事の階層ではなく、ニュースの階層に配置される。このように、質問の回答次第では、別種類の階層に飛び、会話を継続することができる。
タスク実行部52は、最下層の意図情報が特定された場合に、対応するタスクを実行する。例えば、タスク実行部52は、図4に示す「外食」の意図情報が特定された場合に、飲食店検索を実行し、提供情報取得部42を介してサーバ装置14から飲食店情報を取得する。また、タスク実行部52は、音楽再生装置やナビゲーション装置を実行させる指示を出してよい。
生成部54は、エージェントに発話させるテキストを生成する。生成部54は、出力決定部50によって出力決定された質問をテキストで生成する。生成部54は、保持部46に保持される質問の表現をエージェントの種類に応じて設定してよく、例えば質問を訛り言葉にしてもよい。生成部54は、出力決定部50によって決定された質問以外のテキストを生成してよく、ユーザの意図情報に沿ったテキストを生成してよい。また、生成部54は、ユーザの意図情報が特定されない場合に、単なる相づちや挨拶などの日常会話を生成してよい。出力制御部40は、生成部54によって生成されたテキストを音声または画像で出力部26から出力させる。
図5は、ユーザと対話を実行する処理のフローチャートである。発話取得部34は、入力部30からユーザ10の発話を取得する(S50)。認識処理部36は、ユーザ10の発話を解析して発話の内容を認識する(S52)。
特定部48は、ユーザ10の発話が特定ワードを含むか判定する(S54)。ユーザ10の発話が特定ワードを含む場合(S54のY)、特定部48は、保持部46に保持される辞書データを参照して、特定ワードに対応付けられた意図情報とその意図情報の階層レベルを特定する(S56)。記憶部44は、特定部48によって特定された意図情報を記憶する(S58)。
タスク実行部52は、特定された意図情報に対応するタスクがあるか判定する(S60)。つまり、タスク実行部52は、特定された意図情報が最下層に位置するか判定する。特定された意図情報に対応するタスクがある場合(S60のY)、そのタスクを実行する(S62)。生成部54は、タスク実行部52の実行結果をもとに、ユーザ10に応答するテキストを生成する(S64)。出力制御部40は、生成されたテキストを出力部26から出力させ(S66)、本処理を終える。
特定された意図情報に対応するタスクがない場合(S60のN)、出力決定部50は、特定された意図情報に対応付けられた質問を出力することを決定する(S74)。この質問は従属している下層の意図情報を導き出すもので、最終的にタスクを導出することが可能となる。生成部54は、出力決定部50によって決定された質問をもとにテキストを生成する(S76)。例えば、保持部46には、質問がテキストで保持されているため、生成部54は、出力決定部50によって決定された質問を保持部46から取り出すだけでもよい。出力制御部40は、生成されたテキストを出力部26から出力させ(S66)、本処理を終える。
ユーザ10の発話が特定ワードを含まない場合(S54のN)、特定部48は、記憶部44に過去の意図情報が記憶されているか判定する(S68)。過去の意図情報が記憶されていない場合(S68のN)、生成部54は、ユーザ10の発話に応じた応答文を生成する(S78)。出力制御部40は、生成されたテキストを出力部26から出力させ(S66)、本処理を終える。
過去の意図情報が記憶されている場合(S68のY)、特定部48は、直近の意図情報と、エージェントの出力と、ユーザ10の発話とをもとにユーザ10の意図情報を特定する(S70)。例えば、エージェントが「何か食べますか?」と出力し、ユーザ10が「はい。」と返答した場合に、特定部48は、ユーザ10の意図情報を「食事」であると特定し、ユーザ10が「いいえ。」と返答した場合に、特定部48は、ユーザの意図情報を「我慢」であると特定する。記憶部44は、特定された意図情報を記憶する(S72)。その後は、上述のS60に進んで、本処理を実行する。
なお各実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では、端末装置12がサーバ装置14から提供情報を取得する態様を示したが、この態様に限られず、端末装置12が提供情報を予め保持してよい。
また、端末装置12が発話の認識処理および応答テキストを生成する処理を実行する態様に限られず、サーバ装置14が発話の認識処理および応答テキストを生成する処理の少なくとも一方を実行してもよい。例えば、端末装置12の情報処理部24の構成が、全てサーバ装置14に設けられてよい。情報処理部24がサーバ装置14に設けられる場合、端末装置12の入力部30に入力された音信号、および位置情報取得部32によって取得された位置情報は、通信部28からサーバ装置14に送信される。そしてサーバ装置14の情報処理部24が発話テキストを生成して端末装置12の出力部26から出力させる。
実施例では、特定部48が、ユーザの発話の内容をもとに、タスクに対応する意図情報を特定する態様を示したが、この態様に限られない。例えば、特定部48が、前回のユーザの発話と今回のユーザの発話の内容をもとにタスクに対応する意図情報を特定してもよく、複数の意図情報を特定すれることでタスクに対応する意図情報を特定してもよい。
1 情報出力システム、 10 ユーザ、 12 端末装置、 14 サーバ装置、 24 情報処理部、 26 出力部、 28 通信部、 30 入力部、 32 位置情報取得部、 34 発話取得部、 36 認識処理部、 38 出力処理部、 40 出力制御部、 42 提供情報取得部、 44 記憶部、 46 保持部、 48 特定部、 50 出力決定部、 52 タスク実行部、 54 生成部。

Claims (7)

  1. ユーザの発話を取得する発話取得部と、
    質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持する保持部と、
    ユーザの発話の内容が前記保持部に保持される意図情報のいずれに対応するか特定する特定部と、
    質問に対応付けられている意図情報が前記特定部によって特定されると当該質問を出力することを決定する出力決定部と、
    タスクに対応付けられている意図情報が前記特定部によって特定されると当該タスクを実行するタスク実行部と、
    過去の対話の履歴を記憶する記憶部と、を備え、
    前記保持部に保持される質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含み、
    前記出力決定部は、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定し、
    前記記憶部は、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄することを特徴とする情報出力システム。
  2. 前記保持部に保持される質問は、対応付けられている意図情報より下層の意図情報を導出するための内容を含み、
    タスクに対応付けられた意図情報は、階層構造において質問に対応付けられた意図情報よりも下層にあることを特徴とする請求項1に記載の情報出力システム。
  3. 前記特定部は、ユーザの発話と前回特定された意図情報とにもとづいてユーザの発話の内容が前記保持部に保持される意図情報のいずれに対応するか特定することを特徴とする請求項1または2に記載の情報出力システム。
  4. 前記保持部は、1つの意図情報に対して、複数の質問を対応付けて保持し、
    前記出力決定部は、1つの意図情報に対応付けられた複数の質問のうち、前回特定された意図情報をもとにいずれかの質問を選択し、選択した質問を出力することを決定することを特徴とする請求項1に記載の情報出力システム。
  5. 前記保持部は、意図情報に対応付けられた質問が出力される確率を意図情報毎に保持し、
    前記出力決定部は、前記保持された質問が出力される確率をもとに意図情報に対応付けられた質問を出力するか決定することを特徴とする請求項1に記載の情報出力システム。
  6. 質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持する保持部と、
    ユーザの発話の内容が前記保持部に保持される意図情報のいずれに対応するか特定する特定部と、
    質問に対応付けられている意図情報が前記特定部によって特定されると当該質問を出力することを決定する出力決定部と、
    タスクに対応付けられている意図情報が前記特定部によって特定されると当該タスクを実行するタスク実行部と、
    過去の対話の履歴を記憶する記憶部と、を備え、
    前記保持部に保持される質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含み、
    前記出力決定部は、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定し、
    前記記憶部は、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄することを特徴とするサーバ装置。
  7. 各ステップを情報出力システムによって実行する情報出力方法であって、
    ユーザの発話を取得するステップと、
    質問に対応付けられた意図情報と、タスクに対応付けられた意図情報とをタスク毎の階層構造で保持するステップと、
    ユーザの発話の内容が、保持される意図情報のいずれに対応するか特定するステップと、
    質問に対応付けられている意図情報が特定されると当該質問を出力することを決定するステップと、
    タスクに対応付けられている意図情報が特定されると当該タスクを実行するステップと、
    ユーザとの対話の履歴を記憶するステップと、を含み、
    保持された質問は、対応付けられている意図情報の階層とは別の階層の意図情報を導出するための内容を含み、
    前記質問の出力を決定するステップにおいて、ユーザから回答が得られていない過去に出力した質問を、その質問に対応付けられた意図情報とは別種類のタスクが実行された直後に、再度出力することを決定し、
    前記記憶するステップにおいて、ユーザの発話から特定された時刻から所定時間経過した対話の履歴を破棄することを特徴とする情報出力方法。
JP2021066091A 2021-04-08 2021-04-08 情報出力システム、サーバ装置および情報出力方法 Active JP7420109B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021066091A JP7420109B2 (ja) 2021-04-08 2021-04-08 情報出力システム、サーバ装置および情報出力方法
US17/653,169 US20220324460A1 (en) 2021-04-08 2022-03-02 Information output system, server device, and information output method
CN202210349374.9A CN115203359A (zh) 2021-04-08 2022-04-01 信息输出系统、服务器装置以及信息输出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021066091A JP7420109B2 (ja) 2021-04-08 2021-04-08 情報出力システム、サーバ装置および情報出力方法

Publications (2)

Publication Number Publication Date
JP2022161353A JP2022161353A (ja) 2022-10-21
JP7420109B2 true JP7420109B2 (ja) 2024-01-23

Family

ID=83510532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021066091A Active JP7420109B2 (ja) 2021-04-08 2021-04-08 情報出力システム、サーバ装置および情報出力方法

Country Status (3)

Country Link
US (1) US20220324460A1 (ja)
JP (1) JP7420109B2 (ja)
CN (1) CN115203359A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118152545B (zh) * 2024-05-10 2024-09-03 中移(苏州)软件技术有限公司 信息处理方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115144A (ja) 2005-10-21 2007-05-10 Aruze Corp 会話制御装置
JP2015151157A (ja) 2014-02-14 2015-08-24 三笠産業株式会社 キャップ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607046B2 (en) * 2012-12-14 2017-03-28 Microsoft Technology Licensing, Llc Probability-based state modification for query dialogues
US10037758B2 (en) * 2014-03-31 2018-07-31 Mitsubishi Electric Corporation Device and method for understanding user intent
US9607102B2 (en) * 2014-09-05 2017-03-28 Nuance Communications, Inc. Task switching in dialogue processing
US10909980B2 (en) * 2017-02-27 2021-02-02 SKAEL, Inc. Machine-learning digital assistants
US10839798B2 (en) * 2017-11-03 2020-11-17 Salesforce.Com, Inc. Intent interpreter for a visual bot builder
EP4130975A1 (en) * 2018-05-07 2023-02-08 Google LLC Determining whether to automatically resume first automated assistant session upon cessation of interrupting second session
US11790176B2 (en) * 2019-03-19 2023-10-17 Servicenow, Inc. Systems and methods for a virtual agent in a cloud computing environment
CN110096191B (zh) * 2019-04-24 2021-06-29 北京百度网讯科技有限公司 一种人机对话方法、装置及电子设备
US11935521B2 (en) * 2019-09-12 2024-03-19 Oracle International Corporation Real-time feedback for efficient dialog processing
US11308284B2 (en) * 2019-10-18 2022-04-19 Facebook Technologies, Llc. Smart cameras enabled by assistant systems
US11669697B2 (en) * 2019-10-23 2023-06-06 Bayerische Motoren Werke Aktiengesellschaft Hybrid policy dialogue manager for intelligent personal assistants
JP2023504777A (ja) * 2019-11-22 2023-02-07 ジェネシス クラウド サービシーズ ホールディングス セカンド エルエルシー コンタクトセンターシステムとそのユーザとの間の対話を管理するためのシステム及び方法
AU2020386058A1 (en) * 2019-11-22 2022-06-09 Genesys Cloud Services Holdings II, LLC Systems and methods for dialog management
CN111737411A (zh) * 2020-05-20 2020-10-02 华为技术有限公司 人机对话中的响应方法、对话系统及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007115144A (ja) 2005-10-21 2007-05-10 Aruze Corp 会話制御装置
JP2015151157A (ja) 2014-02-14 2015-08-24 三笠産業株式会社 キャップ

Also Published As

Publication number Publication date
US20220324460A1 (en) 2022-10-13
JP2022161353A (ja) 2022-10-21
CN115203359A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US11887590B2 (en) Voice enablement and disablement of speech processing functionality
US11669300B1 (en) Wake word detection configuration
CN108962217B (zh) 语音合成方法及相关设备
US11232808B2 (en) Adjusting speed of human speech playback
US10580404B2 (en) Indicator for voice-based communications
KR102100389B1 (ko) 개인화된 엔티티 발음 학습
US12087299B2 (en) Multiple virtual assistants
US10917758B1 (en) Voice-based messaging
US9495956B2 (en) Dealing with switch latency in speech recognition
US11355098B1 (en) Centralized feedback service for performance of virtual assistant
JP3945356B2 (ja) 音声対話装置及びプログラム
US8064573B2 (en) Computer generated prompting
US11776541B2 (en) Communicating announcements
US20240144933A1 (en) Voice-controlled communication requests and responses
US11238855B1 (en) Voice user interface entity resolution
US11605387B1 (en) Assistant determination in a skill
CN113113024B (zh) 语音识别方法、装置、电子设备和存储介质
US20240029743A1 (en) Intermediate data for inter-device speech processing
US20230051866A1 (en) System command processing
JP7420109B2 (ja) 情報出力システム、サーバ装置および情報出力方法
JPH11109991A (ja) マンマシンインターフェースシステム
US11024303B1 (en) Communicating announcements
US11914923B1 (en) Computer system-based pausing and resuming of natural language conversations
US11563708B1 (en) Message grouping
US11922938B1 (en) Access to multiple virtual assistants

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R151 Written notification of patent or utility model registration

Ref document number: 7420109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151