JP7054607B2 - 生成装置、生成方法および生成プログラム - Google Patents

生成装置、生成方法および生成プログラム Download PDF

Info

Publication number
JP7054607B2
JP7054607B2 JP2017052981A JP2017052981A JP7054607B2 JP 7054607 B2 JP7054607 B2 JP 7054607B2 JP 2017052981 A JP2017052981 A JP 2017052981A JP 2017052981 A JP2017052981 A JP 2017052981A JP 7054607 B2 JP7054607 B2 JP 7054607B2
Authority
JP
Japan
Prior art keywords
voice
response
utterance
model
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017052981A
Other languages
English (en)
Other versions
JP2018155939A (ja
Inventor
峻平 佐野
伸裕 鍜治
学 颯々野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2017052981A priority Critical patent/JP7054607B2/ja
Priority to US15/890,666 priority patent/US20180268816A1/en
Publication of JP2018155939A publication Critical patent/JP2018155939A/ja
Application granted granted Critical
Publication of JP7054607B2 publication Critical patent/JP7054607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、生成装置、生成方法および生成プログラムに関する。
従来、利用者の発話に対して応答を出力する技術が知られている。このような技術の一例として、対話データを学習することにより、対話モデルを生成し、生成した対話モデルを用いて、利用者の発話に対する応答を生成する技術が知られている。
特開2013-105436号公報
"Sequence to Sequence Learning with Neural Networks", Ilya Sutskever, Oriol Vinyals, Quoc V. Le
しかしながら、上述した従来技術では、応答の精度向上が難しい場合がある。
例えば、従来技術においては、利用者の発話をテキストに変換する音声認識処理と、テキストから発話の意図を推定する意図推定処理と、推定した意図から応答を生成する応答生成処理とが段階的に実行されることで、発話に対する応答が生成される。しかしながら、このような従来技術では、いずれかの処理で誤りが生じた場合、後段の処理で誤りが積み重なってしまい、見当違いの応答を出力する恐れがある。
本願は、上記に鑑みてなされたものであって、応答の精度向上を容易にすることを目的とする。
本願に係る生成装置は、利用者の発話を受付ける受付部と、発話から応答を直接出力するようにパラメータ群が同時に学習された単一のモデルに前記利用者の発話を入力し、前記発話に対する応答を生成する生成部とを有することを特徴とする。
実施形態の一態様によれば、応答の精度向上を容易にできる。
図1は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。 図2は、実施形態に係る情報提供装置の構成例を示す図である。 図3は、実施形態に係る情報提供装置の効果の一例を示す図である。 図4は、実施形態に係る情報提供装置が実行する生成処理の流れの一例を示すフローチャートである。 図5は、ハードウェア構成の一例を示す図である。
以下に、本願に係る生成装置、生成方法および生成プログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法および生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。
〔1-1.情報提供装置の概要〕
まず、図1を用いて、生成処理の一例となる情報提供装置が実行する生成処理の一例について説明する。図1は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。なお、以下の説明では、情報提供装置10が実行する処理として、利用者Uの発話に対する応答を生成して出力する処理の一例について説明する。すなわち、情報提供装置10は、利用者Uとの対話を実現する対話システムである。
情報提供装置10は、インターネット等の所定のネットワークN(例えば、図2を参照。)を介して、利用者端末100と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置10は、ネットワークNを介して、任意の数の利用者端末100と通信可能であってよい。
利用者端末100は、対話システムで対話を行う利用者Uが使用する情報処理装置であり、PC(Personal Computer)、サーバ装置、スマートデバイスといった情報処理装置により実現される。例えば、利用者端末100は、利用者Uが発話した音声を取得すると、情報提供装置10に音声データを発話として情報提供装置10へと送信する。なお、利用者端末100は、利用者Uが入力した文字列を発話として情報提供装置10へと送信してもよい。
〔1-2.生成処理について〕
ここで、従来技術においては、利用者Uの発話から段階的に実行される複数の処理を実行することで、利用者Uの発話に対する応答を生成した。例えば、従来技術においては、利用者Uが発話した音声データを解析してテキスト化する音声認識処理、音声認識処理の結果であるテキストを用いて、利用者Uの発話の意図を解析する意図解析処理、および意図解析処理の結果を用いて応答を生成する応答生成処理を実行し、発話に対する応答を生成する。
すなわち、従来技術は、音声認識処理、意図解析処理、および応答生成処理といった段階的に実行させる複数の処理を含む応答処理を実行することで、利用者Uの発話から応答となるテキストや音声データを生成し、生成した応答を利用者端末100に送信する。この結果、利用者端末100は、応答として生成された各種テキストの読み上げ技術や、音声データの再生を行うことで、利用者Uとの対話を実現した。
しかしながら、このような従来技術では、応答の精度向上が難しい場合がある。例えば、従来技術では、いずれかの処理で誤りが生じた場合、後段の処理で誤りが積み重なってしまい、見当違いの応答を出力する恐れがある。
そこで、情報提供装置10は、以下の生成処理を実行する。まず、情報提供装置10は、利用者Uの発話を受付ける。このような場合、情報提供装置10は、発話から応答を直接出力するようにパラメータ群が同時に学習された単一のモデルに利用者Uの発話を入力し、発話に対する応答を生成する。
すなわち、情報提供装置10は、段階的に複数の処理を行うことで実現される機能について、単一のモデルを用いて入力から出力を生成する。例えば、情報提供装置10は、発話となる音声データが入力された際に、応答となる音声データを出力するように学習が行われたニューラルネットワーク等のモデル(以下、「応答モデル」と記載する。)を用いて、発話から応答を直接生成する。この結果、情報提供装置10は、段階的に複数の処理を行うことで実現される機能について、誤りの蓄積を防ぐことができるので、応答の精度向上を容易にすることができる。
また、段階的に複数の処理を行うことで実現される機能について、出力の精度を向上させるには、機能全体としての修正を行うか、処理ごとに修正を行うか等といった修正戦略が重要となる。例えば、利用者Uの発話に対して応答を出力する応答処理において、音声認識処理を実行する音声認識モデル、意図解析処理を実行する意図解析モデル、および応答生成処理を実行する応答生成モデルがそれぞれ個別に存在する場合、どのモデルを修正するか若しくは全てのモデルを同時に修正するかに応じて、応答の精度が変化すると考えられる。
例えば、音声認識処理を実行する音声認識モデルが誤りを生じた際に、全てのモデルを同時に再学習した場合には、誤りが生じていなかった意図解析モデルおよび応答生成モデルの処理精度が低下する恐れがある。また、各モデル間の連携を起因とする誤りが生じた場合には、個別に学習を行ったモデルの処理精度を低下させることなく、連携精度を向上させるといった学習が必要となるため、全モデルの学習処理に手間がかかる。
一方、情報提供装置10は、ある機能(すなわち、対話処理)を実現するためにパラメータ群が同時に学習された単一の応答モデルを用いて、発話から応答を直接生成する。このようなモデルを用いた場合、応答に誤りが生じた場合は、かかる誤りが生じないように(例えば、誤りが含まれる応答を不正解データとして)応答モデルの再学習を行えばよい。この結果、情報提供装置10は、学習処理の内容を簡易化することができるので、容易に応答の精度を向上させることができる。
〔1-3.モデルについて〕
ここで、情報提供装置10は、発話から応答を直接するモデルであれば、任意のモデルを応答モデルとして採用可能である。例えば、情報提供装置10は、RNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)を応答モデルとし、発話の音声データから応答の音声データを直接生成するように応答モデルの学習を行ってもよい。また、情報提供装置10は、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、応答を生成してもよい。より具体的には、情報提供装置10は、受付けられた発話の音声データを全て入力した後で応答となる音声データを出力する応答モデルを用いて、応答を生成してもよい。例えば、このような応答モデルは、RNNの拡張であるLSTM(Long short-term memory)を含むRNN(RNN-LSTM)により実現される。
例えば、情報提供装置10は、利用者Uから受付けた発話の音声データ(以下、「発話音声」と記載する)を所定の時間間隔で分割する。そして、情報提供装置10は、分割した発話音声のそれぞれについて、周波数、周波数の変動、声の大きさ(振幅)等といった特徴を示す多次元量(以下、「特徴量」と記載する。)を生成し、生成した特徴量を、発話音声に含まれる順に応答モデルに入力する。そして、情報提供装置10は、分割した全ての発話音声を入力した際に、応答モデルが出力した音声を応答の音声データ(以下、「発話音声」と記載する。)として、利用者端末100に送信してもよい。
〔1-4.決定処理の一例〕
ここで、図1を用いて、情報提供装置10が実行する処理の一例について説明する。まず、情報提供装置10は、利用者端末100から発話#1として、発話音声を受付ける(ステップS1)。このような場合、情報提供装置10は、発話音声を所定の時間間隔で分割する(ステップS2)。例えば、情報提供装置10は、発話音声TS1を所定の時間間隔で分割した発話音声TS11~TS20を生成する。
そして、情報提供装置10は、分割した発話音声のデータを順次応答モデルに入力し、応答モデルに応答となる音声を出力させる(ステップS3)。例えば、情報提供装置10は、発話音声TS11の特徴量を応答モデルRMに入力する。なお、図1に示す例では、発話音声の特徴量を受付ける入力層、入力層からの出力に基づいて各種の処理を実行するLSTM、およびLSTMからの出力に基づいて、応答音声を出力する出力層とを有する応答モデルRMについて記載した。
続いて、情報提供装置10は、発話音声TM12の特徴量を応答モデルRMに入力する。その後、情報提供装置10は、他の発話音声に対も順番に応答モデルRMに入力し、最終的に発話音声TM20の特徴量を応答モデルRMに入力する。このような場合、応答モデルRMの学習が適切に行われている場合は、発話音声TS1に対する応答音声を応答モデルRMが出力する。そこで、情報提供装置10は、応答モデルRMが出力した応答音声を、発話#1に対する応答#1として、利用者端末100に出力する(ステップS4)。
〔1-5.応答モデルの学習について〕
ここで、情報提供装置10は、応答モデルRMにおける各種のパラメータ(例えば、応答モデルが有する各ノード間の接続係数)を同時に学習するのであれば、任意の学習処理を実行してよい。例えば、情報提供装置10は、発話音声と、その発話音声が入力された際に応答モデルRMに出力させる応答音声との組を正解ペアとして取得する。このような場合、情報提供装置10は、正解ペアの発話音声が入力された際に、正解ペアの応答音声を出力するように、バックプロパゲーション等の処理を実行することで、応答モデルRMが有するパラメータの修正を行う。すなわち、情報提供装置10は、ある1つの学習データを用いた修正の対象となりうるパラメータ群であって、処理を実行する際に1つのモデルとして利用されるパラメータ群により構成されたモデルであれば、任意の応答モデルを使用して良い。
〔2.情報提供装置の構成〕
以下、上記した情報提供装置10が有する機能構成の一例について説明する。図2は、実施形態に係る情報提供装置の構成例を示す図である。図2に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
通信部20は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、利用者端末100との間で情報の送受信を行う。
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部30は、応答モデルデータベース31を記憶する。
応答モデルデータベース31には、応答モデルとして使用されるLSTMを含むRNNが登録される。例えば、応答モデルデータベース31には、ニューラルネットワークにおけるノード、ノード間の接続関係を示す情報、および接続されたノード間の接続係数が対応付けて登録される。
制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。図2に示すように、制御部40は、受付部41、分割部42、生成部43、出力部44、および学習部45を有する。
受付部41は、利用者Uの発話を受付ける。例えば、受付部41は、利用者Uが発話した音声、すなわち、発話音声を受付ける。このような場合、受付部41は、発話音声を分割部42に出力する。
分割部42は、発話音声を所定の時間間隔で分割する。例えば、分割部42は、発話音声のデータを受付けると、発話音声を所定の時間間隔(例えば、0.1秒)で分割する。そして、分割部42は、分割した発話音声を生成部43に出力する。
生成部43は、発話から応答を直接出力するようにパラメータ群が同時に学習された単一のモデルに利用者Uの発話を入力し、発話に対する応答を生成する。例えば、生成部43は、発話音声から応答音声を出力するように学習された応答モデルを用いて、発話に対する応答を生成する。
例えば、生成部43は、応答モデルデータベース31から、応答モデルを読み出す。そして、生成部43は、分割された発話音声の特徴量を示す特徴量情報を順番に応答モデルに入力し、応答モデルが出力した特徴量から応答音声を生成する。すなわち、生成部43は、応答モデルとして、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、応答を生成する。
ここで、応答モデルが出力する情報からどのように応答音声を生成するかについては、応答モデルの学習態様に応じて任意の設定が可能である。例えば、生成部43は、ある発話音声の特徴量を入力した際に、応答音声の特徴量(すなわち、応答音声として出力される音の波長、波長変化、音量等)を示す情報を出力するように応答モデルが学習がなされている場合は、発話音声の特徴量を入力し、応答モデルが出力した応答音声の特徴量から応答音声の音声データを生成すればよい。また、生成部43は、例えば、ある発話音声の波形を入力した際に、応答音声の波形を示す情報を出力するように応答モデルが学習されている場合は、応答モデルに発話音声の波形を入力し、応答モデルが出力した波形の音声データを生成すればよい。
また、生成部43は、分割した発話音声が全て入力された後で、応答音声を出力するように応答モデルの学習が行われている場合は、分割した発話音声が全て入力された後で、応答モデルが出力した応答音声を取得すればよい。また、生成部43は、分割した発話音声が入力される度に、分割された応答音声を順に出力するように応答モデルの学習が行われている場合は、分割した発話音声が入力される度に応答モデルが出力した応答音声を結合することで、利用者Uに提供する応答音声を生成すればよい。すなわち、生成部43は、ある1つのモデルを構成するパラメータ群を用いて、発話音声から応答音声を生成するのであれば、任意の学習が行われたモデルを用いて、発話に対する応答を生成すればよい。
出力部44は、生成部43によって生成された応答を出力する。例えば、出力部44は、生成部43が応答モデルを用いて生成した応答音声のデータを、利用者端末100へと送信する。
学習部45は、発話から応答を直接出力するようにパラメータ群を同時に学習する。すなわち、学習部45は、発話から応答を直接出力するように、応答モデルに含まれるパラメータ群の学習を行う。
例えば、学習部45は、外部サーバ200等から、学習データとして、ある発話と、その発話に対して適切であったと推定される応答との音声データのペアを正解ペアとして取得する。このような場合、学習部45は、応答モデルデータベース31から応答モデルを読出し、正解ペアに含まれる発話の音声データを入力した際に、正解ペアに含まれる応答の音声データを出力するように、応答モデルの学習を行う。なお、応答モデルの学習については、任意の学習手法が適用可能である。また、学習部45は、正解ペアに含まれる発話の音声データを分割し、分割した音声データを順に入力した際に、応答の音声データを出力するように、応答モデルの学習を行ってもよく、分割した音声データを入力する度に、応答の分割された音声データを出力するように、学習を行ってもよい。
〔3.情報提供装置が実行する生成処理について〕
上述した処理により、情報提供装置10は、段階的に処理が行われることによる誤りの蓄積を防ぐことができる。例えば、図3は、実施形態に係る情報提供装置の効果の一例を示す図である。例えば、図3の左側に示すように、従来の応答生成処理においては、利用者Uの発話#1から音声認識処理、意図解析処理、および応答生成処理を段階的に実行することで、発話#1に対する応答#1を生成した。しかしながら、このような処理では、音声認識処理において認識誤りが生じた場合、意図解析処理において意図解析誤りが生じた場合、若しくは、応答生成処理において発話が不十分なことによる発話誤りが生じた場合には、後段の処理等で誤りが修正されることなく応答が生成されるため、誤りが蓄積してしまう。
一方、情報提供装置10は、図3の右側に示すように、発話#1から応答モデルを用いて直接応答#1を生成する。この結果、処理の途中で誤りが生じたとしても、誤りが蓄積せず、発話#1から応答#1を生成する処理全体において、確度がより高いと推定される処理結果が応答#1として出力される。また、情報提供装置10は、発話から適切な応答を出力するように応答モデルを学習すればよい。このため、情報提供装置10は、応答の精度を容易に向上させることができる。
〔4.情報提供装置が実行する処理の流れの一例〕
続いて、図4を用いて、情報提供装置10が実行する処理の流れの一例を説明する。図4は、実施形態に係る情報提供装置が実行する生成処理の流れの一例を示すフローチャートである。
例えば、情報提供装置10は、利用者Uの発話の音声を受付ける(ステップS101)。このような場合、情報提供装置10は、音声を分割し(ステップS102)、分割した各音声の特徴量ベクトルを算出する(ステップS103)。すなわち、情報提供装置10は、周波数や周波数の変動、音の大きさ等といった各要素それぞれの特徴量をまとめた多次元量を生成する。そして、情報提供装置10は、発話順に、分割した音声の特徴量ベクトルを応答モデルに入力し(ステップS104)、応答モデルの出力から音声を生成する(ステップS105)。そして、情報提供装置10は、生成した音声を応答音声として出力し(ステップS106)、処理を終了する。
〔5.変形例〕
上記では、情報提供装置10による決定処理や強化学習の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置10が実行する提供処理や決定処理のバリエーションについて説明する。
〔5-1.適用対象について〕
上述した例では、情報提供装置10は、発話から応答を生成する際に段階的に行われていた複数の処理を、1つのモデルで実行することで、誤りの蓄積を防ぐとともに、学習を容易にした。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、画像解析や各種認証処理等、段階的に複数の処理が行われるような処理であれば、任意の処理について、単一のモデルを用いた処理を実行して良い。
〔5-2.装置構成〕
情報提供装置10は、利用者端末100とのやり取りを行うフロントエンドサーバと、生成処理を実行するバックエンドサーバとが連携して動作することにより、実現されてもよい。このような場合、フロントエンドサーバには、図2に示す受付部41が配置され、バックエンドサーバには、分割部42、生成部43、出力部44、および学習部45が配置される。
〔5-3.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
〔5-4.プログラム〕
また、上述した実施形態に係る情報提供装置10は、例えば図5に示すような構成のコンピュータ1000によって実現される。図5は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。
例えば、コンピュータ1000が情報提供装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部40の機能を実現する。
〔6.効果〕
上述したように、情報提供装置10は、利用者Uの発話を受付ける。そして、情報提供装置10は、発話から応答を直接出力するようにパラメータ群が同時に学習された単一のモデルに利用者Uの発話を入力し、発話に対する応答を生成する。このため、情報提供装置10は、誤りの蓄積を防ぐことができ、モデルの学習を容易にすることもできるので、応答の精度を容易に向上させることができる。
また、情報提供装置10は、利用者Uが発話した音声を受付け、発話の音声から応答の音声を出力するように学習されたモデルを用いて、発話に対する応答を生成する。このため、情報提供装置10は、発話音声から応答音声を直接出力する応答モデルを用いて、応答を生成するので、応答の精度を容易に向上させることができる。
また、情報提供装置10は、受付けられた音声を所定の時間間隔で分割する。そして、情報提供装置10は、分割した音声の特徴量を示す特徴量情報を順番にモデルに入力し、モデルが出力した特徴量から応答の音声を生成する。このため、情報提供装置10は、単一のモデルを用いて、発話音声から応答音声の生成を実現できる。
また、情報提供装置10は、モデルとして、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、応答を生成する。例えば、情報提供装置10は、受付けられた音声を全て入力した後でモデルが出力する音声を応答の音声とする。このため、情報提供装置10は、発話音声から適切な応答音声の生成を実現できる。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。
10 情報提供装置
20 通信部
30 記憶部
31 応答モデルデータベース
40 制御部
41 受付部
42 分割部
43 生成部
44 出力部
45 学習部
100 利用者端末
200 外部サーバ

Claims (3)

  1. 利用者が発話した音声を受付ける受付部と、
    前記受付部により受付けられた音声を所定の時間間隔で分割する分割部と、
    発話の音声を分割した各分割音声の特徴量を入力した場合に、当該発話の内容に対応する内容の応答の音声を出力するようにパラメータ群が学習された単一のモデルに、前記受付部が受け付けた音声を分割した各分割音声の特徴量を入力し、前記発話に対する応答の音声を生成する生成部と
    を有し、
    前記生成部は、前記モデルとして、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、前記応答を生成し、
    前記生成部は、前記受付部により受付けられた音声を全て入力した後で前記モデルが出力する音声を前記応答の音声とする
    ことを特徴とする生成装置。
  2. 生成装置が実行する生成方法であって、
    利用者が発話した音声を受付ける受付工程と、
    発話の音声を分割した各分割音声の特徴量を入力した場合に、当該発話の内容に対応する内容の応答の音声を出力するようにパラメータ群が学習された単一のモデルに、前記受付工程が受け付けた音声を分割した各分割音声の特徴量を入力し、前記発話に対する応答の音声を生成する生成工程と
    を含み、
    前記生成工程は、前記モデルとして、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、前記応答を生成し、
    前記生成工程は、前記受付工程により受付けられた音声を全て入力した後で前記モデルが出力する音声を前記応答の音声とする
    ことを特徴とする生成方法。
  3. 利用者が発話した音声を受付ける受付手順と、
    発話の音声を分割した各分割音声の特徴量を入力した場合に、当該発話の内容に対応する内容の応答の音声を出力するようにパラメータ群が学習された単一のモデルに、前記受付手順が受け付けた音声を分割した各分割音声の特徴量を入力し、前記発話に対する応答の音声を生成する生成手順と
    をコンピュータに実行させるための生成プログラムであって、
    前記生成手順は、前記モデルとして、入力された特徴量に応じた情報を所定の期間保持し、新たに入力された特徴量と保持した情報とに基づく情報を出力するモデルを用いて、前記応答を生成し、
    前記生成手順は、前記受付手順により受付けられた音声を全て入力した後で前記モデルが出力する音声を前記応答の音声とする
    ことを特徴とする生成プログラム
JP2017052981A 2017-03-17 2017-03-17 生成装置、生成方法および生成プログラム Active JP7054607B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017052981A JP7054607B2 (ja) 2017-03-17 2017-03-17 生成装置、生成方法および生成プログラム
US15/890,666 US20180268816A1 (en) 2017-03-17 2018-02-07 Generating device, generating method, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017052981A JP7054607B2 (ja) 2017-03-17 2017-03-17 生成装置、生成方法および生成プログラム

Publications (2)

Publication Number Publication Date
JP2018155939A JP2018155939A (ja) 2018-10-04
JP7054607B2 true JP7054607B2 (ja) 2022-04-14

Family

ID=63519429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052981A Active JP7054607B2 (ja) 2017-03-17 2017-03-17 生成装置、生成方法および生成プログラム

Country Status (2)

Country Link
US (1) US20180268816A1 (ja)
JP (1) JP7054607B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201809737UA (en) * 2018-11-01 2020-06-29 Rakuten Inc Information processing device, information processing method, and program
JP7206898B2 (ja) * 2018-12-25 2023-01-18 富士通株式会社 学習装置、学習方法および学習プログラム
KR102253032B1 (ko) * 2019-05-03 2021-05-17 에스케이텔레콤 주식회사 파형 데이터 분석 장치 및 이를 학습시키는 방법
KR20220120934A (ko) * 2021-02-24 2022-08-31 삼성전자주식회사 음성 명령 처리 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0321289A (ja) * 1989-06-19 1991-01-30 Matsushita Electric Ind Co Ltd 音声認識玩具
JP2001005488A (ja) * 1999-06-18 2001-01-12 Mitsubishi Electric Corp 音声対話システム
JP4534769B2 (ja) * 2005-01-24 2010-09-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10019983B2 (en) * 2012-08-30 2018-07-10 Aravind Ganapathiraju Method and system for predicting speech recognition performance using accuracy scores

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中川聖一、「[招待講演]再訪:ニューラルネットワークによる音声処理」、電子情報通信学会技術研究報告、2013年7月、SP2013-59、p.37~44
増田嵩志、張豪逸、磯健一、「LSTMを用いたキーワードスポッティング」、日本音響学会2017年春季研究発表会講演論文集、2017年3月15日、2-P-15、p.177~178
磯健一、「音声認識におけるDeep Learningの活用」、日本神経回路学会誌、2017年3月5日、Vol.24、No.1、p27~38

Also Published As

Publication number Publication date
JP2018155939A (ja) 2018-10-04
US20180268816A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP7054607B2 (ja) 生成装置、生成方法および生成プログラム
US20210264291A1 (en) Model training method and apparatus based on gradient boosting decision tree
US20190005399A1 (en) Learning device, generation device, learning method, generation method, and non-transitory computer readable storage medium
JP2020522817A (ja) 意味分析方法、装置、および記憶媒体
WO2022121257A1 (zh) 模型训练方法、语音识别方法、装置、设备及存储介质
CN108804526B (zh) 兴趣确定系统、兴趣确定方法及存储介质
CN112818025B (zh) 试题生成方法、装置和系统、计算机存储介质和程序产品
JP6199517B1 (ja) 決定装置、決定方法および決定プログラム
JP6958723B2 (ja) 信号処理システム、信号処理装置、信号処理方法、およびプログラム
JP6824795B2 (ja) 修正装置、修正方法および修正プログラム
JP2019079088A (ja) 学習装置、プログラムパラメータおよび学習方法
CN112863489B (zh) 语音识别方法、装置、设备及介质
JP2020034704A (ja) テキスト生成装置、テキスト生成プログラムおよびテキスト生成方法
JP6568175B2 (ja) 学習装置、生成装置、分類装置、学習方法、学習プログラム、および動作プログラム
JP2020027609A (ja) 応答推論方法及び装置
CN109857910B (zh) Xml文件的生成方法、装置、计算机设备及存储介质
JP6963988B2 (ja) 提供装置、提供方法および提供プログラム
JP6392950B1 (ja) 検出装置、検出方法、および検出プログラム
US20200382453A1 (en) Chat bot utilizing metaphors to both relay and obtain information
JP6775366B2 (ja) 選択装置、および選択方法
JP6679360B2 (ja) 情報提供装置および情報提供方法
US20220004817A1 (en) Data analysis system, learning device, method, and program
KR20210052496A (ko) Ai 창작물의 검증 장치
WO2019171027A1 (en) Ability classification
JP6429819B2 (ja) 情報提供装置および情報提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201223

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210105

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210112

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210205

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210209

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210831

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220201

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220308

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R150 Certificate of patent or registration of utility model

Ref document number: 7054607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350