JPH01251100A - パターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、音声認識や文字認識において求められる類似
度値（又は距離）を事後確率へ変換して認識精度を高め
るようにしたパターン認識装置に係わり、特に登録語量
の内容に基づく事前確率を事後確率に反映させるように
したパターン認識装置に関する。

（従来の技術） 従来より、連続して入力される音声や文字を、単語列や
文字列単位で認識するパターン認識装置が知られている
。その一つとして複合類似度法を用いた連続数字音声認
識アルゴリズムについて説明する。

連続発声された入力音声は一定時間毎のフレームに分割
される。いま、１フレームからｍフレームまでの入力音
声区間［１，ｍ］について考えると、音声認識の前処理
においては、音声が１フレーム入力される毎にスペクト
ル変化が抽出され、その大きさにによって単語境界候補
が求められる。

そして、この単語境界候補が求められる度に単語認識部
が起動される。

単語認識部においては、［１，ｍコを二つの部分区間、
即ち、 ［１，ｋｉｌ ［ｋｉ、ｍ］ に分割する。ｋｌは、単語境界候補である。

［１，ｋｌｌは、単語列Ｗ「に相当する部分音声区間で
、［ｋｌ、ｍ］は一つの単語ｗｉに相当する単語音声区
間である。ここで、単語列Ｗ１は、Ｗｉ　−ｗｉ　＋ｗ
ｉ　　　　　　　　　　　・・・（１）で表され、これ
がｉフレームで分割されたときの音声区間［１，ｍ］の
認識単語列候補となる。この認識単語列候補Ｗ１を全て
のｋｌ　　（ｉ−１，２゜・・・、ｎ）に関して求め、
これによって得られた候補のうち最大の類似度値を有す
る単語列Ｗが音声区間［１，ｍ］の認識単語列となる。

但し、ｎは単語列認識時に記憶する部分区間に対応する
認識単語列の数であり、システムが設定するパラメータ
である。このアルゴリズムでｍを順次増やしていくこと
で、全音声区間の認識単語列を求めることができる。

ところで、このような連続音声認識の方法では、入力単
語数が未知であることから、入力音声パターンＬを正確
に単語列Ｗであると認識するには、その前提として検出
された音声区間が正しく単語と対応しているかどうかを
考慮する必要がある。

これを考慮することなしに単純に類似度を組合わせて単
語列認識を行なっても、類似度は確率的な尺度ではない
ので、認識率を上げることはできない。

そこで、従来より、得られた類似度を事後確率に変換し
、これを類似度よりも精度の高い評価値として用いるこ
とも行われている。

即ち、いま、単語集合Ｃ−（ｃｌ、ｃ２．・・・。

ｃｎｌの要素により、構成されているｎ単語の入力単語
列 Ｗ−ｗｌ　ｗ２　＝・−・−ｗｎ　　　　　ｗｌ　Ｅ　
Ｃに関し、 ■　単語境界を正確に認識すること。

■　各々の単語音声区間の内容を正確に認識すること。

の二条性を満たすように音声認識を行なう場合を考える
。ここで、第５図に示すように、単語ｗｌがそれぞれ部
分音声区間におけるパターンノｌと対応し、 Ｌ−、ｌ’１）２・・・・・・、ｉ７ｎを満たすとする
。

このとき、それぞれの音声区間が正しく対応している単
語に認識される確率は、単語列Ｗに文法構造が全くなけ
れば、ｗｉとｗｊとは独立事象とみなせるから（ｉ＋ｊ
）、 と表わせる。また、Ｐ（ＷＩＬ）の計算を行なう際、乗
算を繰返すことを避けるために、両辺の対数をとり、 と対数尤度を求めることも多い。ここで、Ｐ　（ｗｌ　
　１）ｉ）は、区間ノｌであるときに、それがｗｌであ
る条件付き確率であり、これが求める事後確率となる。

そこで、このような事後確率の分布をテーブルとして備
えておき、得られた類似度値を上記事後確率に変換する
ことで、高い認識率を得ることができる。

しかしながら、事後確率Ｐ（ｗＩＩ）Ｉ）を求めるのは
事実上困難であるため、通常は、確率値の代わりに、直
接類似度値を求めたら、適当なバイアスをかけることに
より、確率値に近似していた。例えば浮田らは、第６図
に示すような、なる指数関数で近似した（“Ａ　５ｐｅ
ａｋｅｒＩｎｄｅｐｅｎｄｅｎｔ　Ｒｅｃｏｇｎｉｔｉ
ｏｎ　ＡＩｇｏｒ１ｔｈ＋＊　Ｉ’ｏｒＣｏｎｎｅｃｔ
ｅｄ　Ｗｏｒｄ　Ｂｏｕｎｄａｒｙ　ＩＩｙｐｏｔｈｅ
ｓｌｚｅｒ、Ｐｒｏｃ。

ＩＣＡＳＳＰ、Ｔｏｋｙｏ、Ａｐｒｉｌ、１９８Ｇ）　
、上記（４）式の対数をとり、Ａ−ＢＳｍａｘ　−１，
０を利用すると、となり、類似度ＳからＳ　ｗａｘとい
う固定したバイアスを引くことで、類似度を確率値に変
換している。連続数字音声認識にこの尺度を利用した場
合、バイアスＳ　ＬＩａｘは０．９６に設定されている
。

しかし、一般に事後確率曲線は固定した曲線ではなく、
諸量数、語量の内容（似た諸量が多い等）に依存する性
質の量である。したがって、上記のように固定的な曲線
のみに基づいて事後確率へ変換する従来の方法は、高精
度の認識を行なうことができないという問題があった。

（発明が解決しようとする課Ｅ） このように、類似度から事後確率への変換を行なって類
似度の評価を行なう従来のパターン認識装置にあっては
、事後確率を得るための変換曲線として、予め諸量辞書
の内容や語数に応じた曲線を求めることが困難であるこ
とから固定的な曲線によって近似していたため、高精度
の認識が不可能であった。

そこで、本発明は、諸量内容の学習によって容易に求め
られるパラメータに基づいて、類似度−事後確率変換を
行ない、より高精度な認識が可能なパターン認識装置を
提供することを目的とする。

［発明の構成］ 、　（課題を解決するための手段） 本発明は、入カバターンの特徴と各カテゴリについての
標準パターンとから求められた類似度を事後確率に変換
する事後確率変換手段を以下のような変換パラメータ記
憶部と、変換演算部とで構成するか、若しくはこれらの
機能を１つにまとめたテーブルで構成したことを特徴と
している。

即ち、変換パラメータ記憶部は、予め与えられた学習パ
ターンと各カテゴリの標準パターンとの類似度演算によ
る認識処理で正しく認識された類似度の分布を規定する
パラメータ（α、β）と誤認識された類似度の分布を規
定するパラメータ（α、β）と、両パラメータの分布か
ら事後確率を求めるのに必要な重み係数ωとからなるパ
ラメータセットを各カテゴリ毎に記憶している。

また、変換演算部は、前記類似演算部で求められた類似
度と、上記変換パラメータ記憶部に格納されたパラメー
タセットとにより事後確率を算出するものである。

（作用） いま、部分音声パターンノＩをその属性である単語認識
結果とその類似度値（特に複合類似度を例にあげる）と
に分類すると、事後確率Ｐ　（ｗｌ　　１）ｌ）は、 Ｐ（ｗＩＩ）ｌ　）　→Ｐ　（ｗｌ　　ＩＴｉ　Ａｓｉ
　）・・・（８） 但し、ＴＩは複合類似度法によるノｌの認識結果がｗｌ
である事象 Ｓｌは単語ｗｉに関するノｉの複合 類似度 と置換える。さらに上記（６）式は、ベイズの定理を用
いることにより、 Ｐ　（ｗｌ　　ＩＴＳ　ＡＳｉ） −Ｐ　（Ｓｌ　　１　ＴＩ　Ａｗｌ’）　　・Ｐ　（Ｔ
ｌΔＷ１）／（Ｐ　（８１ｌ　ＴＩ　Ａｗｌ　）　Ｐ　
（ＴＩ　Ａｗｌ　）＋Ｐ　　（ＳＩ　　ＩＴＩ　　Δπ
）　　Ｐ　　（ＴＩ　　Ａπ））−Ｐ　（Ｓｌ　　ｌ　
ＴＩ　Ａｗｌ　）　／４Ｐ　（Ｓｌ　　ｌ　ＴＩ　Ａｗ
ｌ　）・・・（７） と変形することができる。但し、ここで、フ１−は、パ
ターンノ１がｗｌのカテゴリに属さないという事象を表
す。

次に、上記（７）式中のそれぞれの統計量について考察
する。

まず、Ｐ　（Ｓｔ　　ＩＴＩ　Ａｗｌ）について考える
。

Ｐ　（ＳＳ　　ＩＴｉΔＷｉ）は、複合類似度法による
認識結果がＷｌで、かつ入力データのカテゴリがｗｌで
ある事象が生ずる確率であり、この曲線は、以下の式で
近似できる。

Ｐ　（Ｓｌ　　１　ＴＩ　Ａｗｌ　） ここで、α、βは学習データにより得られるパラメタで
、αは複合類似度法で吸収されなかった成分数、βはそ
の分散である。このパラメータの推定方法は、例えば、
瀬用英生、「複合類似度法における類似度値の分布につ
いて」　（信学技報ＰＲ１１８７−１８．１９８７年８
月）にも示さレテイルヨうに、全カテゴリを１回発声す
れば１サンプル分求まる性質のもので、かつそれらの有
効な推定量を求めるには、サンプル数も数十程度で良い
。

次にＰ　（Ｓｌ　　１ＴＩ　Ａ）１−）について考える
。

Ｐ　（Ｓｌ　　ｌ　Ｔｉ　Ａｗｌ　）は、複合類似度法
にょうる認識結果がｗｌであるが、入力データのカテゴ
リはｗｌでない事象が生ずる確率である。連続音声認識
のときには、特に；１−が問題となり、誤認識を起こし
易いカテゴリの組合わせだけでなく、単語のカテゴリに
は属さないパターンで誤認識を起こし易いような単語コ
ンチクスト、例えば、■　ある単語の一部分 （例）　　“６　［ｒｏｋｕｌ” −ｅ　’　６−９　［ｒｏｋｕ−ｋｙｕｕ　］　”■　
単語と単語のわたりの部分 （例）　　　　　　’　　３　−　１　　　［５ａｎ−
ｉｃｊ　　コ　“→　’　３　−　２　−　１　　［５
ａｎ−ｎｉ−ｉｃｊコ　”■　二つの単語パターンの併
合 （例）　　　　　“　２　−　２　　　［ｎｌ−ｎｌ　
　］　　”→″２［ｎｌｌ″ を調べ、それらの類似度の分布についても推定しなけれ
ばいけない。類似度の分布に関しては、前記（８）式で
近似可能である。この類似度の分布のパラメータは、（
８）式の（αｌ、βＩ）と区別するために、（α１．β
ｌ）とする。これらも、パラメータ（αＩ、βｌ）と同
様、容易に求められる。

最後に、Ｐ　（ＴｉΔｗ１　）　／Ｐ　（Ｔｉ　Ａｗｌ
　）について考察する。この量は、ベイズ確率における
事前確率に相当しており、カテゴリの出現頻度の比に相
当している。ここで、Ｐ　（Ｔｉ　Ａｗｌ　）は、部分
空間法による認識結果がｗＩで、かつ入カバターンがｗ
ｌである事象が生ずる確率を表す。

この統計量は学習過程において、 Ｐ　（ＴＩ　Ａｗｌ　）　／　Ｐ　（ＴＩ　Ａｗｌ　）
綱　ω として求められていく。このωを重み係数とする。

このように、上記のパラメータセットはいずれも学習に
よって容易に求められる。得られる量である。

そして、パターン認識時においては、得られた類似度Ｓ
ｌに応じて必要なパラメータセットα。

β、α、β、ωを変換パラメータ記憶部から適宜読出し
、変換演算部で前記（７）式に基づく演算を行なうこと
により、類似度値を所望の事後確率に変換することが出
来る。また、変換演算部は、複雑な演算を含んでいるの
で、これを変換パラメータ記憶部と統合してテーブル化
すれば、処理速度の向上が図れる。

したがって、本発明によれば、少ないデータ量で精度の
良い事後確率変換手段を構成でき、これにより認識精度
の向上が図れる。

（実施例） 以下、図面に基づいて本発明の一実施例について説明す
る。

第１図は、本発明を連続数字音声認識に適用した場合の
単語列認識装置の構成を示す図である。

音声入力部１は、連続発声された音声を所定の電気信号
に変換して前処理部２に供給する。前処理部２は、音響
処理部３、スペクトル変化抽出部４、音声始終端決定部
５及び単語境界候補生成部６により構成されている。音
響処理部３は、入力される音声データを、フレーム毎に
例えば８〜３０チヤネルのフィルタバンクによりスベク
奈ル分析して特徴パターンを抽出する。スペクトル変化
抽出部４は、フレーム毎のスペクトルデータＵｍ間の差
ΔＵを抽出する。音声始終端決定部５は、抽出されたス
ペクトル変化の大きさに基づいて音声の始端及び終端を
検出する。更に単語境界候補生成部６は、スペクトル変
化ΔＵが所定のしきい値θよりも大きいときに、そのフ
レームを単語境界候補ｋｌとして出力する。

境界候補ｋｉ　　（ｉ−１〜ｎ）によって得られるｎ個
の単語区間候補［ｋｌ、ｍ］に対応する各特徴パターン
は、単語認識部７に与えられ、ここで単語辞書８を用い
た単語認識に供される。各単語区間候補の単語認識候補
は、類似度−事後確率変換部９で事後確率に変換され、
単語列認識部１０に与えられる。単語列認識部１０では
、認識単語列候補登録部１１に登録されている各単語列
区間［１，に目（ｉ−１〜ｎ）についての単語列候補と
、上記事後確率に変換された類似度とを統合して単語列
認識を行う。これによって得られた単語列認識候補は認
識単語列候補登録部１１に格納される。そして、音声始
終端決定部５により音声の終端が検出されたら、登録さ
れた単語列候補のうち最も類似度の高い候補を認識単語
として出力する。

第２図に類似度−事後確率変換部９の構成を示す。この
類似度−事後確率変換部９は、変換演算部２１と変換パ
ラメータ記憶部２２とにより構成されている。変換パラ
メータ記憶部２２は、α、β　　正解パターンの類似度
分布 α、β　　不正解パターンの類似度分布ω　　　　正解
パターンと不正解パターンに関する事前確率の比 の各パラメータを各カテゴリ毎に記憶したテーブルであ
る。これらのパラメータセットは、いずれも学習によっ
て得られる。第３図に、この学習のアルゴリズムを示す
。

即ち、学習処理は、第一学習過程３１と第二学習過程３
２とからなる。第一学習過程３１では、教師データとし
て与えられる単語境界データと単語カテゴリとに従って
単語列を発声し、複合類似度法に基づく単語音声テンプ
レートを作成する。

第二学習過程３２では、教師データとして与えられる単
語境界データと単語カテゴリとに従って再度単語列を発
声し、単語音声区間候補を生成するとともに、生成され
た単語区間候補データに基づいて前記第一学習過程で得
られた単語音声テンプレートとの単語類似度計算を行な
い、単語類似度データと単語認識結果とを得る。そして
、その結果と与えられた教師データとから正解データ及
び不正解データの類似度分布及びカテゴリの出現頻度を
それぞれ求め、類似度値に関する事後確率曲線を求める
。

このような学習の結果、得られた事後確率の曲線は、例
えば第４図に示すような曲線となる。

学習を前カテゴリについて行なうと、全カテゴリについ
てのパラメタ（αＩ、βｌ、αｌ、βｌ。

ω）が求められるので、これを変換パラメータ記憶部２
２に記憶しておく。

変換演算部２１は、 Ｐ　　（Ｓｌ　　ｌ　　ＴＩ　　Ａｗｌ　　）Ｐ　　（
ＳＩ　　ＩＴｌ　　Ａｗｌ） の両式に類似度を変換した後、 Ｐ　（ｗｉ　　ｌＴ１Δ８１） −Ｐ　（Ｓｉ　　ｌ　ＴＩ　Ａｗｌ　）　／（Ｐ　（Ｓ
ｉ　　ＩＴＩ　Ａｗｌ　） ＋Ｐ　　（Ｓｉｌ　Ｔ１　　Δπ）ＩＩω）　　　　・
・・（ｌｌ）なる変換式により、事後確率を求める。

このように、本実施例の装置にによれば、類似度−事後
確率変換部を簡単な学習処理によって作成することがで
き、得られた変換部を使用して高い精度の認識処理を行
なうことができる。

なお、事後確率への変換に際しては、認識カテゴリ毎に
異なる変換曲線を用いることが望ましいが、認識カテゴ
リ結果により共通の変換曲線を用いるため、 なる式を用いるようにしても良い。

また、変換演算部は、複雑な演算を含んでいるので、変
換演算部と変換パラメータ記憶部とを統合してテーブル
化しておくようにしても良い。この場合には、変換処理
を高速化できる。

なお、本発明は、特に音声認識に限らず、文字認識にも
適用可能である。

［発明の効果］ 以上述べたように、本発明によれば、少ないサンプル数
で正確な事後確率変換パラメータを得ることができ、こ
れを用いて認識処理の精度を大幅に向上させることがで
きる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る連続音声数字認識装置
のブロック図、第２図は同装置における類似度−事後確
率変換部の構成を示すブロック図、第３図は同変換部に
おけるパラメータの学習過程を示す流れ図、第４図は同
学習過程で得られる事後確率曲線を示す図、第５図は音
声パターンと単語列との対応を示す図、第６図は従来の
近似的な変換関数を示す図である。 １・・・音声入力部、２・・・前処理部、３・・・音響
処理部、４・・・スペクトル変化抽出部、５・・・音声
始終端決定部、６・・・単語境界候補生成部、８・・・
単語認識部、８・・・単語辞書、９・・・類似度−事後
確率変換部、１０・・・単語列認識部、１１・・・認識
単語列候補登録部。 出願人代理人　弁理士　鈴江武彦 第２図 ３１　葛−学ビ止程 阜謁奮声テンプレート　　　　　　有イ収友−屓１１変
狭パラメタ（ａ、β）、（ｉｉＪ）、ω

Claims (2)

【特許請求の範囲】
1. （１）入力されたパターンの特徴を抽出する特徴抽出部
   と、各カテゴリについての標準パターンを記憶した辞書
   と、前記特徴抽出部で抽出された特徴と前記辞書に記憶
   された標準パターンとの類似度を算出する類似度演算部
   と、この類似度演算部で求められた類似度を事後確率に
   変換する事後確率変換手段とを具備したパターン認識装
   置において、 前記事後確率変換手段は、予め与えられた学習パターン
   と各カテゴリの標準パターンとの類似度演算による認識
   処理で正しく認識された類似度の分布を規定するパラメ
   ータ（α、β）と誤認識された類似度の分布を規定する
   パラメータ（α、β）と、両パラメータの分布から事後
   確率を求めるのに必要な重み係数ωとからなるパラメー
   タセットを各カテゴリ毎に記憶した類似度−事後確率変
   換パラメータ記憶部と、前記類似演算部で求められた類
   似度と、上記変換パラメータ記憶部に格納されたパラメ
   ータセットとにより事後確率を算出するものであること
   を特徴とするパターン認識装置。
2. （２）前記変換パラメータ記憶部と前記変換演算部の代
   わりに、これらの機能を１つにまとめたテーブルを備え
   たことを特徴とする請求項１記載のパターン認識装置。