JP7020390B2 - 制御装置、音声対話装置、音声認識サーバ及びプログラム - Google Patents

制御装置、音声対話装置、音声認識サーバ及びプログラム Download PDF

Info

Publication number
JP7020390B2
JP7020390B2 JP2018238287A JP2018238287A JP7020390B2 JP 7020390 B2 JP7020390 B2 JP 7020390B2 JP 2018238287 A JP2018238287 A JP 2018238287A JP 2018238287 A JP2018238287 A JP 2018238287A JP 7020390 B2 JP7020390 B2 JP 7020390B2
Authority
JP
Japan
Prior art keywords
voice recognition
voice
recognition model
speech
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018238287A
Other languages
English (en)
Other versions
JP2020101610A (ja
Inventor
生聖 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018238287A priority Critical patent/JP7020390B2/ja
Priority to CN201911225321.0A priority patent/CN111354351B/zh
Priority to US16/715,359 priority patent/US11587554B2/en
Publication of JP2020101610A publication Critical patent/JP2020101610A/ja
Application granted granted Critical
Publication of JP7020390B2 publication Critical patent/JP7020390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/06Decision making techniques; Pattern matching strategies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、制御装置、音声対話装置、音声認識サーバ及びプログラムに関する。
対話する相手である対象者(ユーザ)の発話を解析して意味内容を把握し、発話のタイプに応じた応答を生成して音声またはテキストにより対象者に提示する音声対話システムが知られている。特許文献1や特許文献2には、このような音声対話システムにおいて、対話処理を、音声認識の精度が高いサーバ側と、応答が速いローカル(端末装置)側と、で分割処理する技術が開示されている。
特開2018-109663号公報 特開2018-045190号公報
特許文献1や特許文献2に開示された技術において、応答の精度を重視する場合、サーバ側で音声認識及び応答生成をする必要があるが、この場合、端末装置とサーバとの間の通信速度の制約により応答するまでに比較的長い時間がかかるという問題がある。特許文献2では、対象者が発話してからサーバで生成した応答を返すまでに要する期間(遅延期間)中に、適当な相づちや対象者の発話と同一内容の繰り返しといった簡易な応答を行って時間稼ぎを行う。しかしながら、遅延期間のたびにこのような時間稼ぎの応答を行うようにするのは、対話が不自然なものとなり、遅延期間中の対象者のストレスが十分に解消されない恐れがある。
本発明は、以上の背景に鑑みなされたものであり、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる、音声対話装置の制御装置、音声対話装置、音声認識サーバ及びプログラムを提供することを目的とする。
本発明の一実施態様に係る制御装置は、複数の音声認識モデルを有する音声対話装置を制御する演算部を備え、前記演算部は、対象者との対話開始時に、前記音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示し、音声認識サーバにおける前記対象者の発話についての音声認識の結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示するものである。
制御装置の演算部は、対象者との対話開始時に、音声対話装置に対し、まず、音声対話装置の有する複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する。このようにすることで音声対話装置の応答までに要する時間を短縮することができる。そして、演算部は、音声認識サーバにおける対象者の発話についての音声認識の結果に基づいて音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する。暫定的に選択した1つの音声認識モデルを、音声認識精度の高い音声認識サーバの音声認識結果に基づいて決定した最適と推定される音声認識モデルに切替えることで、応答の不自然さを軽減することが可能になる。
また、前記暫定的に選択した1つの音声認識モデルは、前記音声対話装置が有する複数の音声認識モデルのうち、過去の会話情報に基づいて最も使用頻度が高いと判定された音声認識モデルであることが好ましい。このようにすることで、暫定的に選択した1つの音声認識モデルによる応答が、対象者に違和感を与える程度を軽減させることができる。
さらに、前記演算部は、前記音声対話装置に対し、前記最適と推定される音声認識モデルへの切替えにおいて、前記暫定的に選択した1つの音声認識モデルとの類似の程度が高い音声認識モデルから段階的に前記最適と推定される音声認識モデルへと切替えするようにするのが好ましい。このようにすることで、いきなり最適と推定される音声認識モデルに切替えするよりも、対話において対象者に与える違和感を軽減することができる。
さらに、前記演算部は、前記最適と推定される音声認識モデルの決定において、前記対象者に関する音声以外の情報を考慮することが好ましい。最適と推定される音声認識モデルの決定にあたって、これらの情報を考慮することで、決定した音声認識モデルが最適である確立を高めることができる。
本発明の一実施態様に係る音声対話装置は、複数の音声認識モデルと制御部とを有し、前記制御部において、対象者との対話開始時に、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行い、音声認識サーバにおける前記対象者の発話に対する音声認識の結果に基づいて前記複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うものである。これにより、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
本発明の一実施態様に係る音声認識サーバは、制御部を有し、前記制御部において、対象者との対話開始時に、複数の音声認識モデルを有する音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示し、前記対象者の発話に対して音声認識した結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示するものである。これにより、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
本発明の一実施態様に係るプログラムは、複数の音声認識モデルを有する音声対話装置を制御するための処理手順をコンピュータに実行させるプログラムであって、前記音声対話装置に対し、対象者との対話開始時に、前記音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する処理手順と、音声認識サーバにおける前記対象者の発話に対する音声認識の結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する処理手順と、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する処理手順と、を有するものである。これにより、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
本発明によれば、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
実施の形態1に係る制御装置を含む音声対話システムの構成について説明するブロック図である。 実施の形態1に係る制御装置が内部に組み込まれた音声対話ロボットの外観の一例を示す模式図である。 音声対話システムに含まれる音声対話装置の記憶部に格納されたデータベースの一例について示す模式図である。 音声対話システムに含まれる音声認識サーバの記憶部に格納されたデータベースの一例について示す模式図である。 実施の形態1に係る制御装置の処理の流れを示すフローチャートである。 実施の形態2に係る音声対話装置を含む音声対話システムの構成について説明するブロック図である。 実施の形態3に係る音声認識サーバを含む音声対話システムの構成について説明するブロック図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
[実施の形態1]
まず、実施の形態1に係る制御装置を含む音声対話システムの構成について説明する。
図1は、実施の形態1に係る制御装置30を含む音声対話システム1の構成について説明するブロック図である。図1に示すように、音声対話システム1は、音声対話ロボット10と、音声認識サーバ40と、を有する。
音声対話ロボット10には、音声対話装置20及び制御装置30が組み込まれている。また、音声対話ロボット10は、マイク11と、スピーカ12と、通信部13と、を有している。
図2は、図1に示した音声対話装置20及び制御装置30が内部に組み込まれた音声対話ロボット10の外観の一例を示す模式図である。図2に示すように、音声対話ロボット10は、外観として動物を模しており、頭部10aと胴体部10bを有する。頭部10aのいずれかの位置には、マイク11が隠されて配置されている。音声対話ロボット10の口の位置には、スピーカ12が隠されて配置されている。
マイク11は、音声対話ロボット10が対話する相手である対象者の発話音声を音声対話装置20に入力する入力部としての機能を担う。具体的には、マイク11は、対象者の発話音声を集音し、集音した音声を音声信号に変換して音声対話装置20へ引き渡す。
スピーカ12は、音声対話装置20が生成した音声を発する出力部としての機能を担う。具体的には、スピーカ12は、音声対話装置20が生成した応答の音声信号を受け取り、音声として出力する。
再び図1を参照し、音声対話装置20は、制御部21と、記憶部26と、を有する。
制御部21は、例えばCPUによって構成され、機能ごとに実行を担う機能実行部としても動作する。制御部21は、主に、発話解析部22、応答生成部23、発話制御部24及び発話解析要求部25として動作する。
発話解析部22は、記憶部26に格納された音声認識モデルを用いて音声認識及び発話内容の解析を行う。具体的には、発話解析部22は、記憶部26に格納された音声認識モデルを用いて、マイク11から受け取った音声信号について音声認識を行ってテキスト化し、得られたテキストデータについて音声分析(形態素解析、係り受け解析等の自然言語処理)し、発話内容を解析する。記憶部26は、例えばハードディスクドライブの記憶媒体によって構成されている。
応答生成部23は、発話解析部22において音声認識及び発話内容の解析を行った結果を受け取り、記憶部26に格納された応答生成モデルを用いて対象者の発話に対する応答生成(応答文のテキストを生成)する。発話制御部24は、応答生成部23より受け取った応答文のテキストを音声信号に変換してスピーカ12へ引き渡す。
図3は、音声対話装置20の記憶部26に格納されたデータベースの一例について示す模式図である。図3に示すように、記憶部26には、複数の音声認識モデル(図3に示す例では、音声認識モデル27a、27b、27c、27d、27e)がデータベースとして格納されている。複数の異なる音声認識モデルは、例えば、性別、年齢、出身地、音声を採取した場所(例えば室内、屋外)などで層別されたものである。
また、記憶部26には、複数の異なる音声認識モデルにそれぞれ対応する複数の応答生成モデル(図3に示す例では、応答生成モデル28a、28b、28c、28d、28e)がデータベースとして格納されている。つまり、音声認識モデル27aに応答生成モデル28aが対応している。同様に、音声認識モデル27bに応答生成モデル28bが、音声認識モデル27cに応答生成モデル28cが、音声認識モデル27dに応答生成モデル28dが、音声認識モデル27eに応答生成モデル28eが、それぞれ対応している。応答生成部23は、発話解析部22における音声認識及び発話内容の解析の際に用いた音声認識モデルに対応する応答生成モデルを用いて応答生成を行う。
再び図1を参照し、発話解析要求部25は、音声認識サーバ40に対し、対象者の発話についての音声認識及び発話内容の解析を要求する。音声認識サーバ40に対し、音声認識及び発話内容の解析を要求するためには、音声対話ロボット10と音声認識サーバ40との間で通信する必要がある。発話解析要求部25は、通信部13を介して、音声認識サーバ40に対し、対象者の発話についての音声認識及び発話内容の解析を要求する指令及び対象者の発話の音声データを送信する。通信部13は、後述する音声認識サーバ40の通信部43との間で制御信号や音声データの授受を行うための通信インターフェースであり、例えば無線LANユニットである。
音声認識サーバ40は、制御部41と、記憶部42と、通信部43と、を備えている。通信部43は、上述した音声対話ロボット10の通信部13との間で制御信号や音声データの授受を行うための通信インターフェースであり、例えば無線LANユニットである。制御部41は、例えばCPUによって構成され、発話解析部41aを有する。通信部43において、対象者の発話についての音声認識及び発話内容の解析を要求する指令及び対象者の発話の音声データを受信した場合、発話解析部41aにおいて、記憶部42に格納された音声認識モデルを用いて、対象者の発話についての音声認識及び発話内容の解析を行う。音声認識サーバ40の発話解析部41aは、音声対話装置20の発話解析部22に対して演算処理能力も高い。
図4は、音声認識サーバ40の記憶部42に格納されたデータベースの一例について示す模式図である。図4に示すように、記憶部42には、複数の音声認識モデル(図4に示す例では、音声認識モデル42a、42b、42c、47d、・・・、42z)がデータベースとして格納されている。複数の異なる音声認識モデルは、例えば、性別、年齢、出身地、音声を採取した場所(例えば室内、屋外)などで層別されたものである。記憶部42は、上述した音声対話装置20の記憶部26に対して記憶容量が大きく、音声対話装置20の記憶部26(図3参照)より多くの音声認識モデルが格納されている。
再び図1を参照し、音声認識サーバ40の発話解析部41aでは、記憶部42に格納された複数の音声認識モデル(図4参照)のそれぞれを用いて、対象者の発話についての音声認識及び発話内容の解析をそれぞれ行い、音声認識モデルごとに音声認識結果及びその音声認識結果の尤もらしさ(尤度)を出力する。上述したように、音声認識サーバ40の発話解析部41aは、音声対話装置20の発話解析部22に対して演算処理能力が高い。このため、音声認識サーバ40における発話解析部41aでは、複数の音声認識モデルを用いて対象者の発話についての音声認識及び発話内容の解析を行うことができる。音声認識サーバ40で得られた、音声認識モデルごとの音声認識結果及び対応する尤度のデータは、通信部13を介して制御装置30に送られる。
制御装置30は、演算部31を有する。演算部31は、対象者との対話開始時に、音声対話装置20の発話解析部22に対し、まず、記憶部26に格納された複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する。暫定的に選択した1つの音声認識モデルは、音声対話装置が保有する複数の音声認識モデルのうち、過去の会話情報に基づいて最も使用頻度が高いと判定された音声認識モデルとするのが好ましい。このようにすることで、暫定的に選択した1つの音声認識モデルによる応答が、対象者に違和感を与える程度を軽減させることができる。
演算部31において、音声認識サーバにおける対象者の発話に対する音声認識の結果に基づいて音声対話装置20で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する。具体的には、音声対話装置20が保有する音声認識モデルのうち、音声認識サーバ40から送られてきた音声認識結果のうちで尤度が最も高いものに用いた音声認識モデルに最も類似しているものを最適と推定される音声認識モデルと決定する。
演算部31では、最適と推定される音声認識モデルの決定において、対象者に関する音声以外の情報を考慮するようにするのが好ましい。ここで、対象者に関する音声以外の情報とは、例えば、音声対話ロボット10にカメラが設置されている場合、当該カメラで撮像した対象者を含む画像から認識された対象者の顔や装着物等の情報である。これらの情報から対象者の性別や年齢層などの推定が可能である。よって、最適と推定される音声認識モデルの決定にあたって、これらの情報を考慮することで、決定した音声認識モデルが最適である確立を高めることができる。
制御装置30の演算部31は、決定した最適と推定される音声認識モデルと暫定的に選択した1つの音声認識モデルとが相違する場合には、音声対話装置20の発話解析部22に対し、当該最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する。演算部31は、音声対話装置20に対し、最適と推定される音声認識モデルへの切替えにおいて、暫定的に選択した1つの音声認識モデルとの類似の程度が高い音声認識モデルから段階的に最適と推定される音声認識モデルへと切替えするように指示するのが好ましい。
例えば、図3において、音声認識モデル27aが年齢層10代未満の音声認識モデル、音声認識モデル27bが年齢層10代の音声認識モデル、音声認識モデル27cが年齢層20代・30代の音声認識モデルとする。また、音声認識モデル27dが年齢層40代・50代の音声認識モデル、音声認識モデル27eが年齢層60代以上の音声認識モデルであるとする。暫定的に選択した1つの音声認識モデルが音声認識モデル27bであるとし、音声認識モデル27eが最適と推定される音声認識モデルに決定されたとする。このような場合に、暫定的に選択した1つの音声認識モデルである音声認識モデル27bとの類似の程度が高い(年齢的に近い)順に、音声認識モデル27c、音声認識モデル27d、音声認識モデル27eと、段階的に切替えする。このようにすることで、いきなり最適と推定される音声認識モデルに切替えするよりも、対話において対象者に与える違和感を軽減することができる。
次に、制御装置30が実行する音声対話装置20を制御するための処理の流れについて説明する。なお、以下の説明では、図1についても適宜参照する。
図5は、制御装置30の処理の流れを示すフローチャートである。図5に示すように、対象者との対話開始時に、音声対話装置20に対し、まず、記憶部26に格納された複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する(ステップS101)。続いて、音声認識サーバにおける対象者の発話についての音声認識の結果に基づいて音声対話装置20で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する(ステップS102)。続いて、当該最適と推定される音声認識モデルと暫定的に選択した1つの音声認識モデルとが相違する場合には、音声対話装置20に対し、最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する(ステップS103)。
以上より、本実施の形態に係る、音声対話装置20の制御装置30は、対象者との対話開始時に、音声対話装置20に対し、まず、音声対話装置20の有する複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する。そして、暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行っている間に音声認識サーバにおいて対象者の発話についての音声認識を行う。このようにすることで応答までに要する時間を短縮することができる。そして、音声認識サーバにおける対象者の発話についての音声認識の結果に基づいて音声対話装置20で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する。このようにすることで、対話の不自然さを軽減することが可能になる。
[実施の形態2]
以下、図面を参照して本発明の実施の形態2について説明する。
図6は、実施の形態2に係る音声対話装置120を含む音声対話システム101の構成について説明するブロック図である。図6に示すように、音声対話システム101は、音声対話ロボット110と、音声認識サーバ40と、を有する。
音声対話ロボット110の構成は、制御装置を有していない点が、実施の形態1の図1で説明した音声対話システム1における音声対話ロボット10の構成との相違である。音声対話装置120の構成は、制御部121において音声認識モデル切替え制御部125をさらに有している点が、実施の形態1の図1で説明した音声対話システム1における音声対話装置20の構成との相違である。制御部121は、例えばCPUによって構成される。音声対話システム101において、実施の形態1に係る制御装置の役割は、音声対話装置120の制御部21における音声認識モデル切替え制御部125が担う。
すなわち、音声認識モデル切替え制御部125は、対象者との対話開始時に、まず、複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行う。そして、音声認識モデル切替え制御部125は、音声認識サーバ40における対象者の発話に対する音声認識の結果に基づいて複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する。さらに、音声認識モデル切替え制御部125は、最適と推定される音声認識モデルと暫定的に選択した1つの音声認識モデルとが相違する場合には、最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう、発話解析部22に指示する。
このように、実施の形態2に係る音声対話装置120によれば、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
[実施の形態3]
以下、図面を参照して本発明の実施の形態3について説明する。
図7は、実施の形態3に係る音声認識サーバ240を含む音声対話システム201の構成について説明するブロック図である。図7に示すように、音声対話システム201は、音声対話ロボット210と、音声認識サーバ240と、を有する。
音声対話ロボット210の構成は、制御装置を有していない点が、実施の形態1の図1で説明した音声対話システム1における音声対話ロボット10の構成との相違である。音声認識サーバ240の構成は、制御部241において音声認識モデル切替え制御部241aをさらに有している点が、実施の形態1の図1で説明した音声対話システム1における音声認識サーバ40の構成との相違である。制御部241は、例えばCPUによって構成される。音声対話システム201において、実施の形態1に係る制御装置の役割は、音声認識サーバ240の制御部241における音声認識モデル切替え制御部241bが担う。
すなわち、音声認識モデル切替え制御部241bは、対象者との対話開始時に、まず、音声対話装置20の発話解析部22に対し、複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する。そして、音声認識モデル切替え制御部241bは、対象者の発話に対して音声認識した結果に基づいて音声対話装置20で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する。さらに、最適と推定される音声認識モデルと暫定的に選択した1つの音声認識モデルとが相違する場合には、音声対話装置20の発話解析部22に対し、通信部43及び通信部13を介して最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する。
このように、実施の形態3に係る音声認識サーバ240によれば、応答までに要する時間を短縮し、かつ、対話の不自然さを軽減することが可能になる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
本発明にかかる処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、制御装置、音声対話装置、音声認識サーバのいずれか一つが備えるコンピュータにおいて、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。ここで、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1、101、201 音声対話システム
10、110、210 音声対話ロボット
10a 頭部
10b 胴体部
11 マイク
12 スピーカ
13、43 通信部
20、120 音声対話装置
21、41、121、241 制御部
22、41a 発話解析部
23 応答生成部
24 発話制御部
25 発話解析要求部
26、42 記憶部
30 制御装置
31 演算部
40、240 音声認識サーバ
125、241b 音声認識モデル切替え制御部

Claims (7)

  1. 複数の音声認識モデルを有する音声対話装置を制御する演算部を備え、
    前記演算部は、対象者との対話開始時に、前記音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示し、音声認識サーバにおける前記対象者の発話についての音声認識の結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する、制御装置。
  2. 前記暫定的に選択した1つの音声認識モデルは、前記音声対話装置が有する複数の音声認識モデルのうち、過去の会話情報に基づいて最も使用頻度が高いと判定された音声認識モデルである、請求項1に記載の制御装置。
  3. 前記演算部は、前記音声対話装置に対し、前記最適と推定される音声認識モデルへの切替えにおいて、前記暫定的に選択した1つの音声認識モデルとの類似の程度が高い音声認識モデルから段階的に前記最適と推定される音声認識モデルへと切替えするようにする、請求項2に記載の制御装置。
  4. 前記演算部は、前記最適と推定される音声認識モデルの決定において、前記対象者に関する音声以外の情報を考慮する、請求項1に記載の制御装置。
  5. 複数の音声認識モデルと制御部とを有し、
    前記制御部において、対象者との対話開始時に、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行い、音声認識サーバにおける前記対象者の発話に対する音声認識の結果に基づいて前記複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行う、音声対話装置。
  6. 制御部を有し、
    前記制御部において、対象者との対話開始時に、複数の音声認識モデルを有する音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示し、前記対象者の発話に対して音声認識した結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定し、当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する、音声認識サーバ。
  7. 複数の音声認識モデルを有する音声対話装置を制御するための処理手順をコンピュータに実行させるプログラムであって、
    前記音声対話装置に対し、対象者との対話開始時に、前記音声対話装置に対し、まず、前記複数の音声認識モデルの中から暫定的に選択した1つの音声認識モデルにより音声認識及び応答生成を行うよう指示する処理手順と、
    音声認識サーバにおける前記対象者の発話に対する音声認識の結果に基づいて前記音声対話装置で保有する複数の音声認識モデルのうち最適と推定される音声認識モデルを決定する処理手順と、
    当該最適と推定される音声認識モデルと前記暫定的に選択した1つの音声認識モデルとが相違する場合には、前記音声対話装置に対し、前記最適と推定される音声認識モデルに切替えして音声認識及び応答生成を行うよう指示する処理手順と、を有するプログラム。
JP2018238287A 2018-12-20 2018-12-20 制御装置、音声対話装置、音声認識サーバ及びプログラム Active JP7020390B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018238287A JP7020390B2 (ja) 2018-12-20 2018-12-20 制御装置、音声対話装置、音声認識サーバ及びプログラム
CN201911225321.0A CN111354351B (zh) 2018-12-20 2019-12-04 控制装置、语音交互装置、语音识别服务器以及存储介质
US16/715,359 US11587554B2 (en) 2018-12-20 2019-12-16 Control apparatus, voice interaction apparatus, voice recognition server, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018238287A JP7020390B2 (ja) 2018-12-20 2018-12-20 制御装置、音声対話装置、音声認識サーバ及びプログラム

Publications (2)

Publication Number Publication Date
JP2020101610A JP2020101610A (ja) 2020-07-02
JP7020390B2 true JP7020390B2 (ja) 2022-02-16

Family

ID=71098701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018238287A Active JP7020390B2 (ja) 2018-12-20 2018-12-20 制御装置、音声対話装置、音声認識サーバ及びプログラム

Country Status (3)

Country Link
US (1) US11587554B2 (ja)
JP (1) JP7020390B2 (ja)
CN (1) CN111354351B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863913B (zh) * 2023-06-28 2024-03-29 上海仙视电子科技有限公司 一种语音控制的跨屏互动控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330484A (ja) 2002-05-17 2003-11-19 Pioneer Electronic Corp 音声認識装置及び音声認識方法
JP2005345772A (ja) 2004-06-03 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5865626A (en) * 1996-08-30 1999-02-02 Gte Internetworking Incorporated Multi-dialect speech recognition method and apparatus
US8762143B2 (en) * 2007-05-29 2014-06-24 At&T Intellectual Property Ii, L.P. Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
US9026444B2 (en) * 2009-09-16 2015-05-05 At&T Intellectual Property I, L.P. System and method for personalization of acoustic models for automatic speech recognition
US10354650B2 (en) * 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
KR20150031984A (ko) * 2013-09-17 2015-03-25 한국전자통신연구원 디바이스 구분 음향모델 누적 적응을 이용한 음성인식 시스템 및 방법
US9953634B1 (en) * 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
JP6596376B2 (ja) * 2015-04-22 2019-10-23 パナソニック株式会社 話者識別方法及び話者識別装置
WO2017112813A1 (en) * 2015-12-22 2017-06-29 Sri International Multi-lingual virtual personal assistant
CN105957516B (zh) * 2016-06-16 2019-03-08 百度在线网络技术(北京)有限公司 多语音识别模型切换方法及装置
JP6614080B2 (ja) 2016-09-16 2019-12-04 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
JP2018109663A (ja) 2016-12-28 2018-07-12 シャープ株式会社 音声処理装置、対話システム、端末装置、プログラム及び音声処理方法
JP6408080B1 (ja) * 2017-06-30 2018-10-17 ヤフー株式会社 生成装置、生成方法及び生成プログラム
KR102550932B1 (ko) * 2017-12-29 2023-07-04 삼성전자주식회사 음성 인식 모델의 개인화 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330484A (ja) 2002-05-17 2003-11-19 Pioneer Electronic Corp 音声認識装置及び音声認識方法
JP2005345772A (ja) 2004-06-03 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体

Also Published As

Publication number Publication date
JP2020101610A (ja) 2020-07-02
CN111354351B (zh) 2023-06-02
US11587554B2 (en) 2023-02-21
CN111354351A (zh) 2020-06-30
US20200202842A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
US7490042B2 (en) Methods and apparatus for adapting output speech in accordance with context of communication
JP5381988B2 (ja) 対話音声認識システム、対話音声認識方法および対話音声認識用プログラム
JP2003044088A (ja) プログラム、記録媒体、並びに音声対話装置および方法
JP6391386B2 (ja) サーバ、サーバの制御方法およびサーバ制御プログラム
CN110874137A (zh) 一种交互方法以及装置
JP2004101901A (ja) 音声対話装置及び音声対話プログラム
WO2018230345A1 (ja) 対話ロボットおよび対話システム、並びに対話プログラム
CN113299312A (zh) 一种图像生成方法、装置、设备以及存储介质
JP2018171683A (ja) ロボットの制御プログラム、ロボット装置、及びロボットの制御方法
JP7020390B2 (ja) 制御装置、音声対話装置、音声認識サーバ及びプログラム
JP6766675B2 (ja) 音声対話装置
JP2004021121A (ja) 音声対話制御装置
CN110570843B (zh) 一种用户语音识别方法和装置
KR102184053B1 (ko) 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
JPWO2017051627A1 (ja) 音声発話装置、音声発話方法及びプログラム
JP6772881B2 (ja) 音声対話装置
KR102576788B1 (ko) 로봇 인터랙션 행위 생성 장치 및 방법
US11398239B1 (en) ASR-enhanced speech compression
KR102345729B1 (ko) 영상 생성 방법 및 장치
JP2004191407A (ja) 会話システム及び会話処理プログラム
JP2021149664A (ja) 出力装置、出力方法及び出力プログラム
JP2020122861A (ja) ロボットおよびロボットの音声処理方法
JP2019213160A (ja) 動画編集装置、動画編集方法、及び動画編集プログラム
KR102018110B1 (ko) 음성파일 생성방법 및 장치
JP6822244B2 (ja) 制御方法及び制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151