JPH0638197B2 - 連続音声認識装置 - Google Patents
連続音声認識装置Info
- Publication number
- JPH0638197B2 JPH0638197B2 JP63266472A JP26647288A JPH0638197B2 JP H0638197 B2 JPH0638197 B2 JP H0638197B2 JP 63266472 A JP63266472 A JP 63266472A JP 26647288 A JP26647288 A JP 26647288A JP H0638197 B2 JPH0638197 B2 JP H0638197B2
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- parser
- state
- hmm
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【発明の詳細な説明】 ［産業上の利用分野］ この発明は連続音声認識装置に関し、特に、ＬＲテーブ
ルを入力音声データの予測に用い、この予測をＨＭＭ音
韻認識装置の音韻照合機能で検証することにより、音声
認識と言語処理を統一的に行なうような連続音声認識装
置に関する。
ルを入力音声データの予測に用い、この予測をＨＭＭ音
韻認識装置の音韻照合機能で検証することにより、音声
認識と言語処理を統一的に行なうような連続音声認識装
置に関する。
［従来の技術］ 従来より、音声を計算機上で処理する場合には、「音声
認識」と「言語処理」という２つのフェーズの処理が必
要であった。音声認識では、発生された音声データか
ら、音韻列または単語列というようなシンボリックなデ
ータを生成する。一方、言語処理は、音声認識の出力で
シンボリックなデータを解析し、言語の統語構造または
意味構造と呼ばれるものを生成する。
認識」と「言語処理」という２つのフェーズの処理が必
要であった。音声認識では、発生された音声データか
ら、音韻列または単語列というようなシンボリックなデ
ータを生成する。一方、言語処理は、音声認識の出力で
シンボリックなデータを解析し、言語の統語構造または
意味構造と呼ばれるものを生成する。
音声認識および言語処理共に従来より様々な方式が提案
されているが、以下では代表的なものとして、音声認識
についてはＨＭＭ（Ｈｉｄｄｅｎ Ｍｏｒｋｏｖ Ｍｏ
ｄｅｌ）法について説明し、言語処理についてはＬＲ
（Ｌｅｆｔ ｔｏ Ｒｉｇｈｔ）法と呼ばれるものにつ
いて説明する。
されているが、以下では代表的なものとして、音声認識
についてはＨＭＭ（Ｈｉｄｄｅｎ Ｍｏｒｋｏｖ Ｍｏ
ｄｅｌ）法について説明し、言語処理についてはＬＲ
（Ｌｅｆｔ ｔｏ Ｒｉｇｈｔ）法と呼ばれるものにつ
いて説明する。
計算機科学、特にプログラミング言語の処理系の分野で
は、構文解析の技術に関し、十分な研究がなされ、その
うちの１つの方式にＬＲパーザと呼ばれるものがある。
ＬＲパーザはいわゆるＳＨＩＦＴ−ＲＥＤＵＣＥ型のパ
ーザの１種であり、入力記号を左から右に読みながら解
析を進めるものである。ＬＲパーザは、内部に「状態」
と呼ばれるものを保持しており、現在の状態と入力記号
を用いて、次にとるべき動作を決定する。ＬＲパーザの
動作には、 ＡＣＣＥＰＴ ＥＲＲＯＲ ＳＨＩＦＴ ＲＥＤＵＣＥ の４つが許されている。ＡＣＣＥＰＴは、ＬＲパーザへ
の入力記号列が受理されたことを示す。ＥＲＲＯＲは、
ＬＲパーザへの入力記号列が受理されなかったことを示
す。ＳＨＩＦＴは、現在ＬＲパーザが見ている入力記号
および現在の状態をスタックに積む。ＲＥＤＵＣＥは、
文法規則を使って、スタックの最上段にある記号をより
大きな単位の記号に還元する。ＲＥＤＵＣＥの際には、
使われた文法規則の右辺にある文法規則の数だけ、スタ
ックから状態記号および入力記号を取除く。
は、構文解析の技術に関し、十分な研究がなされ、その
うちの１つの方式にＬＲパーザと呼ばれるものがある。
ＬＲパーザはいわゆるＳＨＩＦＴ−ＲＥＤＵＣＥ型のパ
ーザの１種であり、入力記号を左から右に読みながら解
析を進めるものである。ＬＲパーザは、内部に「状態」
と呼ばれるものを保持しており、現在の状態と入力記号
を用いて、次にとるべき動作を決定する。ＬＲパーザの
動作には、 ＡＣＣＥＰＴ ＥＲＲＯＲ ＳＨＩＦＴ ＲＥＤＵＣＥ の４つが許されている。ＡＣＣＥＰＴは、ＬＲパーザへ
の入力記号列が受理されたことを示す。ＥＲＲＯＲは、
ＬＲパーザへの入力記号列が受理されなかったことを示
す。ＳＨＩＦＴは、現在ＬＲパーザが見ている入力記号
および現在の状態をスタックに積む。ＲＥＤＵＣＥは、
文法規則を使って、スタックの最上段にある記号をより
大きな単位の記号に還元する。ＲＥＤＵＣＥの際には、
使われた文法規則の右辺にある文法規則の数だけ、スタ
ックから状態記号および入力記号を取除く。
現在の状態と入力記号から、ＬＲパーザの動作を決定す
るためには、ＬＲテーブルと呼ばれる表を参照する。Ｌ
Ｒテーブルは、ＬＲパーザでの解析に先立ち、予め用意
しておく必要がある。ＬＲテーブルは、文法規則から機
械的に構成することができる。
るためには、ＬＲテーブルと呼ばれる表を参照する。Ｌ
Ｒテーブルは、ＬＲパーザでの解析に先立ち、予め用意
しておく必要がある。ＬＲテーブルは、文法規則から機
械的に構成することができる。
第４図は文法規則の一例を示す図であり、第５図は第４
図に示した文法規則をＬＲテーブルに変換した例を示す
図である。
図に示した文法規則をＬＲテーブルに変換した例を示す
図である。
ＬＲテーブルは第５図に示すように、ＡＣＴＩＯＮテー
ブルとＧＯＴＯテーブルと呼ばれる２つの表からなって
いる。ＡＣＴＩＯＮテーブルは縦軸方向にＬＲパーザの
状態を記し、横軸方向に入力記号を記したテーブルであ
り、テーブルの１区画には、ＬＲパーザのとるべき動作
が記されている。第５図でａｃｃと記された動作はＡＣ
ＣＥＰＴのことであり、テーブル中の空欄はＥＲＲＯＲ
を示す。
ブルとＧＯＴＯテーブルと呼ばれる２つの表からなって
いる。ＡＣＴＩＯＮテーブルは縦軸方向にＬＲパーザの
状態を記し、横軸方向に入力記号を記したテーブルであ
り、テーブルの１区画には、ＬＲパーザのとるべき動作
が記されている。第５図でａｃｃと記された動作はＡＣ
ＣＥＰＴのことであり、テーブル中の空欄はＥＲＲＯＲ
を示す。
ｓで始まる記号は、ＳＨＩＦＴを表わしており、ｓの後
に記された数字は、ＳＨＩＦＴ動作を行なった後に、Ｌ
Ｒパーザがとるべき状態である。ｒで始まる記号は、Ｒ
ＥＤＵＣＥを表わしており、ｒの後に記された数字ｎは
ｎ番目の文法規則を用いた還元動作を行なうことを示し
ている。ＬＲパーザはＲＥＤＵＣＥ動作を行なった後
に、ＧＯＴＯテーブルを参照する。ＧＯＴＯテーブル
は、縦軸方向にＬＲパーザの状態を記し、横軸方向に非
終端記号を記したテーブルである。ＬＲパーザはＲＥＤ
ＵＣＥ動作の結果作られた非終端記号と現在の状態か
ら、ＧＯＴＯテーブルにより新しい状態を決定する。
に記された数字は、ＳＨＩＦＴ動作を行なった後に、Ｌ
Ｒパーザがとるべき状態である。ｒで始まる記号は、Ｒ
ＥＤＵＣＥを表わしており、ｒの後に記された数字ｎは
ｎ番目の文法規則を用いた還元動作を行なうことを示し
ている。ＬＲパーザはＲＥＤＵＣＥ動作を行なった後
に、ＧＯＴＯテーブルを参照する。ＧＯＴＯテーブル
は、縦軸方向にＬＲパーザの状態を記し、横軸方向に非
終端記号を記したテーブルである。ＬＲパーザはＲＥＤ
ＵＣＥ動作の結果作られた非終端記号と現在の状態か
ら、ＧＯＴＯテーブルにより新しい状態を決定する。
解析が開始した時点でのＬＲパーザの状態は０であり、
ＬＲパーザがＡＣＣＥＰＴ動作を行ない入力記号列を受
理するか、またはＥＲＲＯＲ動作を行ない入力記号列を
受理しないかで、解析は終了する。ＬＲパーザは、いく
つまで入力記号を先読みするかで、ＬＲテーブルに少し
ずつ違いが現われる。入力記号の先読みをしないＬＲパ
ーザをＬＲ（０）パーザ、ｎ個の入力記号の先読みを行
なうパーザをＬＲ（ｎ）パーザと一般に呼ぶが、基本的
な動作はすべて同じである。
ＬＲパーザがＡＣＣＥＰＴ動作を行ない入力記号列を受
理するか、またはＥＲＲＯＲ動作を行ない入力記号列を
受理しないかで、解析は終了する。ＬＲパーザは、いく
つまで入力記号を先読みするかで、ＬＲテーブルに少し
ずつ違いが現われる。入力記号の先読みをしないＬＲパ
ーザをＬＲ（０）パーザ、ｎ個の入力記号の先読みを行
なうパーザをＬＲ（ｎ）パーザと一般に呼ぶが、基本的
な動作はすべて同じである。
上述のＬＲパーザでは、ＬＲテーブルの動作欄にはただ
１つの動作しか記述されていないが、複数の動作を記述
することにより、入力記号列の並列的な処理を行なう手
法が近年開発された。これにより、自然言語のような曖
昧な入力を持つ言語をＬＲパーザで処理することができ
る。この発明では、単にＬＲパーザと呼んでいるのは、
この拡張されたＬＲパーザのことを指している。
１つの動作しか記述されていないが、複数の動作を記述
することにより、入力記号列の並列的な処理を行なう手
法が近年開発された。これにより、自然言語のような曖
昧な入力を持つ言語をＬＲパーザで処理することができ
る。この発明では、単にＬＲパーザと呼んでいるのは、
この拡張されたＬＲパーザのことを指している。
一方、音声認識の分野では、発話を確率的な状態遷移と
みなして認識処理する手法があり、ＨＭＭ方式と呼ばれ
ている。
みなして認識処理する手法があり、ＨＭＭ方式と呼ばれ
ている。
第６図はＨＭＭ方式で用いる典型的な音韻モデルの図で
ある。次に、第６図を参照して、ＨＭＭによる音韻認識
の方法について説明する。ＨＭＭの各弧には状態間の遷
移の確率と、記号の出力確率の値が与えられており、こ
れらの値に基づいて確率的に記号列を出力する。ＨＭＭ
方式を用いて音韻認識を行なうためには、予め音韻の種
類だけＨＭＭを用意し、それぞれ学習用音韻データの記
号列を最も高い確率で出力するように、音韻ＨＭＭの確
率値を学習しておき、次に、未知音声データの記号列に
対して、すべてのＨＭＭからその記号列が出力される確
率を計算して、最も高い確率が得られるＨＭＭに対応す
る音韻を認識結果とする。
ある。次に、第６図を参照して、ＨＭＭによる音韻認識
の方法について説明する。ＨＭＭの各弧には状態間の遷
移の確率と、記号の出力確率の値が与えられており、こ
れらの値に基づいて確率的に記号列を出力する。ＨＭＭ
方式を用いて音韻認識を行なうためには、予め音韻の種
類だけＨＭＭを用意し、それぞれ学習用音韻データの記
号列を最も高い確率で出力するように、音韻ＨＭＭの確
率値を学習しておき、次に、未知音声データの記号列に
対して、すべてのＨＭＭからその記号列が出力される確
率を計算して、最も高い確率が得られるＨＭＭに対応す
る音韻を認識結果とする。
この未知音声データに対する確率を計算する操作を音韻
照合と称する。この操作は、たとえば第６図のＨＭＭに
対しては、次のような手順で実現される。
照合と称する。この操作は、たとえば第６図のＨＭＭに
対しては、次のような手順で実現される。
（記号の定義） Ｎ：未知音声データに対する記号列の長さ Ｏｉ：未知音声データ記号列のｉ番目の記号 Ｍ：照合される音韻ＨＭＭの状態の数 ａ（ｉ，ｊ）：照合される音韻ＨＭＭにおいて状態ｉと
状態ｊを結ぶ弧の遷移確率 ｂ（ｉ，ｊ，ｋ）：照合される音韻ＨＭＭにおいて状態
ｉと状態ｊを結ぶ弧が記号ｋを出力する確率 （初期化） Ｐ（０，０）＝１．０ Ｐ（０，ｊ）＝１．０ｅ−∞（ｊ＝１…Ｍ） Ｐ（ｉ，０）＝１．０ｅ−∞（ｉ＝１…Ｎ） （漸化計算（ｉ＝１…Ｎ，ｊ＝１…Ｍ）） Ｐ（ｉ，ｊ）＝Ｐ（ｉ−１，ｊ）×ａ（ｊ，ｊ） ×ｂ（ｊ，ｊ，Ｏｉ）＋Ｐ（ｉ−１，ｊ−１） ×ａ（ｊ−１，ｊ）×ｂ（ｊ−１，ｊ，Ｏｉ） Ｑ（ｉ）＝Ｐ（ｉ，Ｍ）（ｉ＝１…Ｎ） 音素照合の結果は、確率テーブルＱ（１）…Ｑ（Ｎ）の
中に求められる。
状態ｊを結ぶ弧の遷移確率 ｂ（ｉ，ｊ，ｋ）：照合される音韻ＨＭＭにおいて状態
ｉと状態ｊを結ぶ弧が記号ｋを出力する確率 （初期化） Ｐ（０，０）＝１．０ Ｐ（０，ｊ）＝１．０ｅ−∞（ｊ＝１…Ｍ） Ｐ（ｉ，０）＝１．０ｅ−∞（ｉ＝１…Ｎ） （漸化計算（ｉ＝１…Ｎ，ｊ＝１…Ｍ）） Ｐ（ｉ，ｊ）＝Ｐ（ｉ−１，ｊ）×ａ（ｊ，ｊ） ×ｂ（ｊ，ｊ，Ｏｉ）＋Ｐ（ｉ−１，ｊ−１） ×ａ（ｊ−１，ｊ）×ｂ（ｊ−１，ｊ，Ｏｉ） Ｑ（ｉ）＝Ｐ（ｉ，Ｍ）（ｉ＝１…Ｎ） 音素照合の結果は、確率テーブルＱ（１）…Ｑ（Ｎ）の
中に求められる。
［発明が解決しようとする課題］ 従来、音声認識と言語処理は全く別のフェーズの処理と
して扱われており、これを統一的な見地から処理しよう
とする試みは皆無であった。音声認識では、連続的なデ
ータを扱うのに対して、言語処理はシンボルというディ
スクリートなデータを扱うため、これら２つの処理を融
合することは極めて困難であった。音声認識と言語処理
は、橋渡し的な中間的なデータを介して行なわれてきた
ため、非効率的で中間のデータの信頼性にも問題があっ
た。
して扱われており、これを統一的な見地から処理しよう
とする試みは皆無であった。音声認識では、連続的なデ
ータを扱うのに対して、言語処理はシンボルというディ
スクリートなデータを扱うため、これら２つの処理を融
合することは極めて困難であった。音声認識と言語処理
は、橋渡し的な中間的なデータを介して行なわれてきた
ため、非効率的で中間のデータの信頼性にも問題があっ
た。
それゆえに、この発明の主たる目的は、音声認識と言語
処理を統一的に扱うことにより、中間的なデータを介す
ることなく、信頼性の高い効率的な処理方式を提供する
ことである。
処理を統一的に扱うことにより、中間的なデータを介す
ることなく、信頼性の高い効率的な処理方式を提供する
ことである。
［課題を解決するための手段］ この発明は連続音声認識装置であって、入力された音声
の各音韻に対する確率を計算するＨＭＭ音韻照合部と、
ＬＲテーブルのアクション指定項目を音韻予測に用いる
予測ＬＲパーザ部を備え、予測ＬＲパーザ部はＨＭＭ音
韻照合部を駆動することにより、予測された音韻の存在
確率を求めるように構成される。
の各音韻に対する確率を計算するＨＭＭ音韻照合部と、
ＬＲテーブルのアクション指定項目を音韻予測に用いる
予測ＬＲパーザ部を備え、予測ＬＲパーザ部はＨＭＭ音
韻照合部を駆動することにより、予測された音韻の存在
確率を求めるように構成される。
［作用］ この発明にかかる連続音声認識装置は、ＬＲテーブルを
入力音声データ中の音韻の予測に用い、この予測をＨＭ
Ｍ音韻認識装置の音韻照合機能で検証することにより、
音声認識と言語処理を統一的に扱うようにしたものであ
る。
入力音声データ中の音韻の予測に用い、この予測をＨＭ
Ｍ音韻認識装置の音韻照合機能で検証することにより、
音声認識と言語処理を統一的に扱うようにしたものであ
る。
より具体的に説明すると、通常言語解析でＬＲパーザを
使う場合には、パーザがまず入力記号を取出し、取出さ
れた入力記号と現在の状態からＬＲテーブルを参照し、
パーザの次の動作を決定するという処理が行なわれる。
ここでのＬＲテーブルの用いられ方は、いわば事後処理
的なものである。ＬＲテーブルをこのように使えるの
は、入力が記号というシンボリックなものであるためで
あり、音声データのような連続的なデータ構造を持つも
のにそのまま適用することはできない。
使う場合には、パーザがまず入力記号を取出し、取出さ
れた入力記号と現在の状態からＬＲテーブルを参照し、
パーザの次の動作を決定するという処理が行なわれる。
ここでのＬＲテーブルの用いられ方は、いわば事後処理
的なものである。ＬＲテーブルをこのように使えるの
は、入力が記号というシンボリックなものであるためで
あり、音声データのような連続的なデータ構造を持つも
のにそのまま適用することはできない。
そこで、この発明では、ＬＲテーブルを事後処理的に用
いるのではなく、むしろこれを積極的に入力記号の予測
に用いる。すなわち、或る状態においてその状態のＡＣ
ＴＩＯＮテーブルの横１列を調べ、ＳＨＩＦＴまたはＲ
ＥＤＵＣＥの動作指定子がある音韻をすべて選び出して
音韻照合を行なう。これは文法に規定された制限下で、
次の音韻を予測していることになる。これによって、音
声認識と言語解析が一体となって行なわれるため、音声
認識と言語解析の間に中間的なデータを介することな
く、非常に効率的に音声データの処理を行なうことがで
きる。
いるのではなく、むしろこれを積極的に入力記号の予測
に用いる。すなわち、或る状態においてその状態のＡＣ
ＴＩＯＮテーブルの横１列を調べ、ＳＨＩＦＴまたはＲ
ＥＤＵＣＥの動作指定子がある音韻をすべて選び出して
音韻照合を行なう。これは文法に規定された制限下で、
次の音韻を予測していることになる。これによって、音
声認識と言語解析が一体となって行なわれるため、音声
認識と言語解析の間に中間的なデータを介することな
く、非常に効率的に音声データの処理を行なうことがで
きる。
［発明の実施例］ 第１図はこの発明の一実施例の概略ブロック図である。
まず、第１図を参照して、この発明の一実施例の構成に
ついて説明する。入力端子４００を介して音声信号がＨ
ＭＭ音韻照合部４０１に与えられる。ＨＭＭ音韻照合部
４０１はＨＭＭ音韻モデル４０２を用いて、音韻を照合
するものである。予測ＬＲパーザ部４０５は、ＬＲテー
ブル４０６から次の音韻を予測するものであり、予測さ
れた音韻が音声信号中に実際に存在するか否かを調べる
ために、制御信号をＨＭＭ音韻照合部４０１に与えてこ
れを起動させる。ＨＭＭ音韻照合部４０１による予測音
韻に対する照合結果４０４は予測ＬＲパーザ部４０５に
返される。予測ＬＲパーザ部４０５はＡＣＣＥＰＴ動作
をＬＲテーブル４０６中に見つけるまで、同様の操作を
繰返す。そして、予測ＬＲパーザ部４０５から認識結果
４０７が出力される。
まず、第１図を参照して、この発明の一実施例の構成に
ついて説明する。入力端子４００を介して音声信号がＨ
ＭＭ音韻照合部４０１に与えられる。ＨＭＭ音韻照合部
４０１はＨＭＭ音韻モデル４０２を用いて、音韻を照合
するものである。予測ＬＲパーザ部４０５は、ＬＲテー
ブル４０６から次の音韻を予測するものであり、予測さ
れた音韻が音声信号中に実際に存在するか否かを調べる
ために、制御信号をＨＭＭ音韻照合部４０１に与えてこ
れを起動させる。ＨＭＭ音韻照合部４０１による予測音
韻に対する照合結果４０４は予測ＬＲパーザ部４０５に
返される。予測ＬＲパーザ部４０５はＡＣＣＥＰＴ動作
をＬＲテーブル４０６中に見つけるまで、同様の操作を
繰返す。そして、予測ＬＲパーザ部４０５から認識結果
４０７が出力される。
次に、ＬＲテーブル４０６とＨＭＭの音韻照合機能を用
いて、音声認識と言語処理を統一的に扱う方式について
説明する。なお、「状態」という語は、ＨＭＭとＬＲの
両方で用いられるため、混乱のおそれのある場合には、
「状態（ＨＭＭ）」とか「状態（ＬＲ）」と記すことに
する。また、この方式に基づいて、連続音声を処理する
装置は、以下では単にパーザと呼ぶことにする。
いて、音声認識と言語処理を統一的に扱う方式について
説明する。なお、「状態」という語は、ＨＭＭとＬＲの
両方で用いられるため、混乱のおそれのある場合には、
「状態（ＨＭＭ）」とか「状態（ＬＲ）」と記すことに
する。また、この方式に基づいて、連続音声を処理する
装置は、以下では単にパーザと呼ぶことにする。
説明を簡単にするため、ここでは処理の結果として構文
解析木を出力するものと仮定する。ここで、構文解析木
とは文を１次元の単語列として表現し、これらの関係を
木のように表わしたものである。各文法規則に、規則が
適用されたときに駆動される手続（ＬＲパーザの用語で
はファンクション）を付随させることにより、より一般
的かつ複雑な処理を行なわせることが可能である。
解析木を出力するものと仮定する。ここで、構文解析木
とは文を１次元の単語列として表現し、これらの関係を
木のように表わしたものである。各文法規則に、規則が
適用されたときに駆動される手続（ＬＲパーザの用語で
はファンクション）を付随させることにより、より一般
的かつ複雑な処理を行なわせることが可能である。
パーザは、いくつかの可能性のある構文解析木を同時に
成長させる。構文解析木は、その構文解析木が受容され
る確率値が付与されており、この確率値が予め決められ
ているしきい値以下になると、その構文解析木は成長さ
せる価値がないとみなし、却下される。パーザは現在成
長させている構文解析木に関する情報を記憶しておくた
めの場所をいくつか持っている。この場所を以下ではセ
ルと称する。１つのセルには、１つの構文解析木が対応
している。現在までに受理されている構文解析木に対応
するセルをアクティブなセルと称する。
成長させる。構文解析木は、その構文解析木が受容され
る確率値が付与されており、この確率値が予め決められ
ているしきい値以下になると、その構文解析木は成長さ
せる価値がないとみなし、却下される。パーザは現在成
長させている構文解析木に関する情報を記憶しておくた
めの場所をいくつか持っている。この場所を以下ではセ
ルと称する。１つのセルには、１つの構文解析木が対応
している。現在までに受理されている構文解析木に対応
するセルをアクティブなセルと称する。
第２図はこの発明の一実施例の具体的な動作を説明する
ためのフロー図であり、第３図は認識の途中経過を模式
的に示した図である。
ためのフロー図であり、第３図は認識の途中経過を模式
的に示した図である。
次に、第２図および第３図を参照して、この発明の一実
施例の具体的な動作について説明する。まず、セルに記
憶される情報には、第３図に示すように以下のようなも
のがある。
施例の具体的な動作について説明する。まず、セルに記
憶される情報には、第３図に示すように以下のようなも
のがある。
ＬＲパーザの状態スタック。
前回の音韻照合で計算された確率テーブルＱ（１）
…Ｑ（Ｎ）の値。
…Ｑ（Ｎ）の値。
但し、Ｎは入力音声データに対する記号列の長さであ
る。
る。
第２図に示すように、解析が開始した時点のステップ
（図示ではＳＰと略称する）ＳＰ１において、セルＣは
ただ１つだけ存在し、そのただ１つのセルＣのＬＲパー
ザの状態スタックの最上段には、状態（ＬＲ）０がプッ
シュされる。また、このセルＣの確率テーブルＱには、
以下の値が初期値として入れられる。
（図示ではＳＰと略称する）ＳＰ１において、セルＣは
ただ１つだけ存在し、そのただ１つのセルＣのＬＲパー
ザの状態スタックの最上段には、状態（ＬＲ）０がプッ
シュされる。また、このセルＣの確率テーブルＱには、
以下の値が初期値として入れられる。
Ｑ（０）＝１．０ Ｑ（ｉ）＝１．０ｅ−∞（ｉ＝１…Ｎ） 解析はステップＳＰ２ないしＳＰ１２によって行なわれ
る。
る。
ステップＳＰ２において、予測ＬＲパーザ部４０５は、
アクティブなセルがあるか否かを判別し、なければ解析
を終了し、あればステップＳＰ３において、アクティブ
なセルを１つ選び出し、そのセルのＬＲ状態スタックの
最上段の状態（ＬＲ）Ｓを読み、ＬＲテーブルの状態
（Ｓ）に対応する動作欄を調べる。そして、予測ＬＲパ
ーザ部４０５は動作欄にある動作の数だけセルのコピー
を作る。作られたセルのコピーは、１つの動作を実行す
るのに用いられる。以下の操作は、このコピーされたセ
ルに対して行なわれる。ステップＳＰ４において、コピ
ーにより作られたセルがあるか否かが判別され、なけれ
ばステップＳＰ２に戻り、あればステップＳＰ５に進
む。ステップＳＰ５において、各セルに対応する動作が
調べられ、選ばれた動作がＳＨＩＦＴであれば、ステッ
プＳＰ６に進む。ステップＳＰ６において、ＳＨＩＦＴ
されるべき入力記号ＡがＨＭＭ音韻照合部４０１で音韻
照合される。このとき、セル中の確率テーブルの値が以
下のようにして更新される。
アクティブなセルがあるか否かを判別し、なければ解析
を終了し、あればステップＳＰ３において、アクティブ
なセルを１つ選び出し、そのセルのＬＲ状態スタックの
最上段の状態（ＬＲ）Ｓを読み、ＬＲテーブルの状態
（Ｓ）に対応する動作欄を調べる。そして、予測ＬＲパ
ーザ部４０５は動作欄にある動作の数だけセルのコピー
を作る。作られたセルのコピーは、１つの動作を実行す
るのに用いられる。以下の操作は、このコピーされたセ
ルに対して行なわれる。ステップＳＰ４において、コピ
ーにより作られたセルがあるか否かが判別され、なけれ
ばステップＳＰ２に戻り、あればステップＳＰ５に進
む。ステップＳＰ５において、各セルに対応する動作が
調べられ、選ばれた動作がＳＨＩＦＴであれば、ステッ
プＳＰ６に進む。ステップＳＰ６において、ＳＨＩＦＴ
されるべき入力記号ＡがＨＭＭ音韻照合部４０１で音韻
照合される。このとき、セル中の確率テーブルの値が以
下のようにして更新される。
（漸次計算） Ｐ（０，ｊ）＝１．０ｅ−∞（ｊ＝１…Ｍ′） Ｐ（ｉ，０）＝Ｑ（ｉ）（ｉ＝１…Ｎ） Ｐ（ｉ，ｊ）＝Ｐ（ｉ−１，ｊ）×ａ（ｊ，ｉ） ×ｂ（ｊ，ｊ，Ｏｉ）＋Ｐ（ｉ−１，ｊ−１） ×ａ（ｊ−１，ｉ）×ｂ（ｊ−１，ｊ，Ｏｉ） （ｉ＝１…Ｎ，ｊ＝１…Ｍ′） Ｑ（ｉ）＝Ｐ（ｉ，Ｍ′）（ｉ＝１…Ｎ） 但し、Ｍ′は記号ＡのＨＭＭでの状態数） 上述の計算で更新された確率テーブルＱ（１）…Ｑ
（Ｎ）の中で最も高い確率値を持つＱ（ｉ）がしきい値
よりも小さいか否かがステップＳＰ７において判別され
る。もし、最も高い確率値を持つＱ（ｉ）がしきい値よ
りも小さければ、ステップＳＰ８においてこのセルが捨
てられ、アクティブでなくなる。しかしながら、しきい
値よりも小さくなければ、ステップＳＰ９において、Ｌ
Ｒ状態スタックに新しい状態（ＬＲ）が積まれる。この
場合、セルはアクティブのままである。
（Ｎ）の中で最も高い確率値を持つＱ（ｉ）がしきい値
よりも小さいか否かがステップＳＰ７において判別され
る。もし、最も高い確率値を持つＱ（ｉ）がしきい値よ
りも小さければ、ステップＳＰ８においてこのセルが捨
てられ、アクティブでなくなる。しかしながら、しきい
値よりも小さくなければ、ステップＳＰ９において、Ｌ
Ｒ状態スタックに新しい状態（ＬＲ）が積まれる。この
場合、セルはアクティブのままである。
一方、前述のステップＳＰ５において、選ばれた動作が
ＲＥＤＵＣＥであれば、ステップＳＰ１０に進み、文法
規則による還元動作が実行される。これは通常のＬＲパ
ーザと全く同じ動作である。このとき、セルはアクティ
ブなままである。ただし、これはＬＲ（０）テーブルを
用いている場合であり、ＬＲ（ｎ）（ｎ＞０）テーブル
を用いる際には、ＲＥＤＵＣＥ動作を引き起こした入力
記号をＨＭＭで音韻照合する必要がある。この際には確
率テーブルの更新を前述のステップＳＰ６と同様にして
行なう必要がある。
ＲＥＤＵＣＥであれば、ステップＳＰ１０に進み、文法
規則による還元動作が実行される。これは通常のＬＲパ
ーザと全く同じ動作である。このとき、セルはアクティ
ブなままである。ただし、これはＬＲ（０）テーブルを
用いている場合であり、ＬＲ（ｎ）（ｎ＞０）テーブル
を用いる際には、ＲＥＤＵＣＥ動作を引き起こした入力
記号をＨＭＭで音韻照合する必要がある。この際には確
率テーブルの更新を前述のステップＳＰ６と同様にして
行なう必要がある。
また、ステップＳＲ５において、選ばれた動作がＡＣＣ
ＥＰＴであることが判別され、しかもステップＳＰ１１
において入力音声データがすべて処理されているか否か
が判別され、すべて処理されていれば、解析は終了する
（成功）。そうでなければこのセルはステップＳＰ１２
において捨てられステップＳＰ２に戻る。
ＥＰＴであることが判別され、しかもステップＳＰ１１
において入力音声データがすべて処理されているか否か
が判別され、すべて処理されていれば、解析は終了する
（成功）。そうでなければこのセルはステップＳＰ１２
において捨てられステップＳＰ２に戻る。
次に、第４図に示した文法および第５図に示したＬＲテ
ーブルを用いて、この発明における連続音声認識方法に
ついて説明する。第４図に示した文法は、次に示す４つ
の文を受理する。
ーブルを用いて、この発明における連続音声認識方法に
ついて説明する。第４図に示した文法は、次に示す４つ
の文を受理する。
ｋａｎｅｏｋｕｒｅ（金送れ） ｋａｎｅｏｋｕｒｅ（金をくれ） ｏｋｕｒｅ（送れ） ｋｕｒｅ（くれ） 今、のｏｋｕｒｅが発生されたとして、解析例を示
す。初期状態では、パーザの状態（ＬＲ）は０（スタッ
クの最上段が０）であるため、まずＡＣＴＩＯＮテーブ
ルの状態０の欄を横１列調べる。この例の場合、音韻ｋ
と音韻ｏにＳＨＩＦＴ動作が指定されているため、入力
音声の最初は音韻ｋか音韻ｏであるという予測を立て
る。
す。初期状態では、パーザの状態（ＬＲ）は０（スタッ
クの最上段が０）であるため、まずＡＣＴＩＯＮテーブ
ルの状態０の欄を横１列調べる。この例の場合、音韻ｋ
と音韻ｏにＳＨＩＦＴ動作が指定されているため、入力
音声の最初は音韻ｋか音韻ｏであるという予測を立て
る。
ここで、ＨＭＭ音韻照合を音韻ｋと音韻ｏに対して起動
する。実際の発声は「ｏｋｕｒｅ」であるため、音韻ｋ
に対するＨＭＭ音韻照合の結果得られる確率テーブル
は、低い確率値しか含んでおらず、音韻ｋで始まる構文
解析木は却下される。この結果、音韻ｏで始まる構文解
析木を成長させることになる。
する。実際の発声は「ｏｋｕｒｅ」であるため、音韻ｋ
に対するＨＭＭ音韻照合の結果得られる確率テーブル
は、低い確率値しか含んでおらず、音韻ｋで始まる構文
解析木は却下される。この結果、音韻ｏで始まる構文解
析木を成長させることになる。
状態０で、音韻ｏにはＳＨＩＦＴ５という動作が指定さ
れているので、ＳＨＩＦＴ動作を実行し状態は５にな
る。すなわち、状態５がスタックに積まれる。ＡＣＴＩ
ＯＮテーブルの状態５の欄では、音韻ｋにＳＨＩＦＴ動
作が指定されているだけなので、音韻ｋを音韻照合した
後でＳＨＩＦＴ動作を実行し、状態は１３になる。以
下、同様の操作を繰返す。
れているので、ＳＨＩＦＴ動作を実行し状態は５にな
る。すなわち、状態５がスタックに積まれる。ＡＣＴＩ
ＯＮテーブルの状態５の欄では、音韻ｋにＳＨＩＦＴ動
作が指定されているだけなので、音韻ｋを音韻照合した
後でＳＨＩＦＴ動作を実行し、状態は１３になる。以
下、同様の操作を繰返す。
状態１３で音韻ｕを照合し、ＳＨＩＦＴ１６を実行す
る。
る。
状態１６で音韻ｒを照合し、ＳＨＩＦＴ１９を実行す
る。
る。
状態１９で音韻ｅを照合し、ＳＨＩＦＴ２０を実行す
る。
る。
状態２０にはＲＥＤＵＣＥ５が指定されているので、５
番目の文法規則 ＶＰ→ｏｋｕｒｅ を用いて還元動作を実行する。還元動作では、文法規則
の右辺にある文法記号の数だけ（今の場合５）スタック
から記号を取除く。したがって、スタック最上段には状
態０があることになる。ここで、ＧＯＴＯテーブルを参
照する。スタック最上段の状態と還元動作の後得られた
記号（今の場合ＶＰ）とからＧＯＴＯテーブルを用い
て、新しいパーザの状態（今の場合３）を求める。
番目の文法規則 ＶＰ→ｏｋｕｒｅ を用いて還元動作を実行する。還元動作では、文法規則
の右辺にある文法記号の数だけ（今の場合５）スタック
から記号を取除く。したがって、スタック最上段には状
態０があることになる。ここで、ＧＯＴＯテーブルを参
照する。スタック最上段の状態と還元動作の後得られた
記号（今の場合ＶＰ）とからＧＯＴＯテーブルを用い
て、新しいパーザの状態（今の場合３）を求める。
同様にして、状態３でＲＥＤＵＣＥ２を実行して、パー
ザは状態６になる。ＡＣＴＩＯＮテーブルの状態６の欄
には、ＡＣＣＥＰＴ動作が指定されている。入力音声が
すべて処理されたことを確認して解析は終了する。
ザは状態６になる。ＡＣＴＩＯＮテーブルの状態６の欄
には、ＡＣＣＥＰＴ動作が指定されている。入力音声が
すべて処理されたことを確認して解析は終了する。
［発明の効果］ 以上のように、この発明によれば、連続音声の認識にお
いて、ＬＲテーブルを入力音声データの予測に用い、こ
の予測をＨＭＭ音韻認識部の音韻照合機能で検証するよ
うにしたので、音声認識と言語処理を統一的に扱うこと
ができる。
いて、ＬＲテーブルを入力音声データの予測に用い、こ
の予測をＨＭＭ音韻認識部の音韻照合機能で検証するよ
うにしたので、音声認識と言語処理を統一的に扱うこと
ができる。
第１図はこの発明の一実施例の概略ブロック図である。
第２図はこの発明の一実施例の動作を説明するためのフ
ロー図である。第３図は認識の途中経過を模式的に示し
た図である。第４図は文法規則の例を示した図である。
第５図は文法規則をＬＲテーブルに変換した例を示す図
である。第６図はＨＭＭの一例を示した図である。 図において、４００は入力端子、４０１はＨＭＭ音韻照
合部、４０５は予測ＬＲパーザ部、４０６はＬＲテーブ
ルを示す。
第２図はこの発明の一実施例の動作を説明するためのフ
ロー図である。第３図は認識の途中経過を模式的に示し
た図である。第４図は文法規則の例を示した図である。
第５図は文法規則をＬＲテーブルに変換した例を示す図
である。第６図はＨＭＭの一例を示した図である。 図において、４００は入力端子、４０１はＨＭＭ音韻照
合部、４０５は予測ＬＲパーザ部、４０６はＬＲテーブ
ルを示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 斎藤 博昭 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール自動翻 訳電話研究所内
Claims (1)
- 【請求項１】入力された音声の各音韻に対する確率を計
算するＨＭＭ（Hidden Morkov Model）音韻照合部と、 ＬＲ（Left to Right）テーブルのアクション指定項目
を音韻予測に用いる予測ＬＲパーザ部を備え、 前記予測ＬＲパーザ部は、前記ＨＭＭ音韻照合部を駆動
することにより、予測された音韻の存在確率を求めるこ
とを特徴とする、連続音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63266472A JPH0638197B2 (ja) | 1988-10-22 | 1988-10-22 | 連続音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63266472A JPH0638197B2 (ja) | 1988-10-22 | 1988-10-22 | 連続音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02113297A JPH02113297A (ja) | 1990-04-25 |
| JPH0638197B2 true JPH0638197B2 (ja) | 1994-05-18 |
Family
ID=17431406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63266472A Expired - Fee Related JPH0638197B2 (ja) | 1988-10-22 | 1988-10-22 | 連続音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0638197B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0595861B1 (fr) * | 1991-07-19 | 1998-03-11 | SOLVAY (Société Anonyme) | Procede de fabrication d'une solution aqueuse de chlorure de sodium |
| US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
| US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
-
1988
- 1988-10-22 JP JP63266472A patent/JPH0638197B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0595861B1 (fr) * | 1991-07-19 | 1998-03-11 | SOLVAY (Société Anonyme) | Procede de fabrication d'une solution aqueuse de chlorure de sodium |
| US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
| US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02113297A (ja) | 1990-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111480197B (zh) | 语音识别系统 | |
| Kita et al. | HMM continuous speech recognition using predictive LR parsing | |
| US5995931A (en) | Method for modeling and recognizing speech including word liaisons | |
| US6058365A (en) | Speech processing using an expanded left to right parser | |
| EP1444686B1 (en) | Hmm-based text-to-phoneme parser and method for training same | |
| JP2000075895A (ja) | 連続音声認識用ｎ最良検索方法 | |
| US11450320B2 (en) | Dialogue system, dialogue processing method and electronic apparatus | |
| WO2003005347A1 (en) | Grammars for speech recognition | |
| Moore et al. | Integrating speech and natural-language processing | |
| JP4689032B2 (ja) | シンタックス上の置換規則を実行する音声認識装置 | |
| JPH0638197B2 (ja) | 連続音声認識装置 | |
| JP2886117B2 (ja) | 音声認識装置 | |
| JP2871420B2 (ja) | 音声対話システム | |
| JP2002278579A (ja) | 音声データ検索装置 | |
| Mohri | Weighted grammar tools: the GRM library | |
| JP2905686B2 (ja) | 音声認識装置 | |
| JPS6229796B2 (ja) | ||
| JPH08248979A (ja) | 音声認識装置 | |
| JPH10187185A (ja) | 言語処理装置および方法 | |
| EP0469485B1 (en) | Language processing system using an expanded LR parser | |
| JPH11102196A (ja) | 音声対話システム及び音声対話方法及び記録媒体 | |
| Diller | Automatic lexical generation for speech recognition | |
| JP3818154B2 (ja) | 音声認識方法 | |
| JP4631076B2 (ja) | 音素単位セットを最適化する方法及びシステム | |
| JPH09281989A (ja) | 音声認識装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |