JPH0283595A

JPH0283595A - 音声認識方法

Info

Publication number: JPH0283595A
Application number: JP63236913A
Authority: JP
Inventors: Katsuyuki Futayada; 二矢田　勝行; Masakatsu Hoshimi; 昌克星見
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-09-21
Filing date: 1988-09-21
Publication date: 1990-03-23

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、人間の声を機械に認識させることを目的とし
た音声認識方法に関するものである。

従来の技術音声認識に関しては、いろいろな方法が提案されている
が、その中で音素認識を基本とする方法は、不特定話者
への対応、多数語の認識への対応、認識語いを容易に更
新できることによるシステムの柔軟性という点において
、優れた方法である。

音素認識を基本とする方法には、たとえば、二矢田他「
音素を単位とした小型・高速の不特定話者・多数語用音
声認識装置」　（日本音響学会誌４３巻４号（１９８７
）　）がある。以下、第５図によって、簡単にその構成
を説明する。

音響分析部１では、入力された音声信号を１フレーム（
１０ｍ　ｓ　）ごとにＬＰＧ分析および３チヤンネルの
フィルタで分析する。そして、１５次のＬＰＣケプスト
ラム係数と３つの帯域パワー求める。

分析された音声信号は音声区間検出部２．子音認識部３
および母音・半母音認識部４へ供給される。

まず、音声区間検出部２では、主に帯域パワーの大きさ
およびその時間変化によって、音声の始端を検出する。

始端が検出された後、次の一連の認識動作が開始される
。母音・半母音認識部４では、１フレームごとに音素標
準パターンとの類似度を計算し、類似度が最大となる音
素を認識結果として求める。

子音認識部３では、先ず帯域パワーの大きさを用いて子
音区間を検出し、子音を音素群として分類する（子音セ
グメンテーションおよび大分類部５）。子音のセグメン
テーション法を第６図を用いて説明する。パワーの時間
的な変動に注目すると、母音や半母音部よりも、子音部
の方がパワー値が小さい。日本語では、母音と子音が交
互に出現するのが原則なので、パワーの動きを検出すれ
ば子音区間を求めることができる。第６図（ａ）は語頭
におけるパワーの動きの例を示している。語頭子音部で
は、無音部からパワーが立ち上がり、後続母音部で一段
とパワー値が大きくなる。語中子音では、第６図［有］
）のように、子音部においてパワーの凹み（パワーデイ
ツプ）ができる。語頭子音では音声の始まりから後続母
音への立上りまでを子音区間とし、語中子音ではパワー
デイツプの部分を子音区間とする。パワー変化やパワー
デイツプの大きさは音素群ごとに異なるという事実を利
用して、子音を音素群への大分類している。パワー情報
として、高域パワーと低域パワーを併用することによっ
て、音素群ごとの差異を協調している（たとえば、無声
破裂音は高域、低域両方のパワー変化が大きく、有声破
裂音は低域よりも高域のパワー変化の方が大きい）。

第５図において、基準点検出部６は、パターンマツチン
グの際の時間的な基準となる部分を検出する部分である
。第６図に示すように、基準点はパワーの立上り部に設
定されている。第６図（ａ）のように、語頭の無声子音
は、無音からの立上り部を、また語頭の有声子音は子音
から母音への立上り部を基準点とする。同図（ｂ）のよ
うに、語中子音は全て子音から母音へのパワーの立上り
部を基準点とする。

第５図の子音パターンマツチング部７は、基準点検出部
６で検出された位置の付近において、音響分析部１で得
られたＬＰＣケプストラム係数と子音標準パターンとの
類似度を、大分類された音素群ごとに行ない、類似度が
最大となる音素を子音認識結果とする。

音素系列作成部８は、個々に認識された母音、半母音、
子音を統合し、これに日本語の金形規則（たとえば、子
音が連続しないなど）を適用して音素系列を作成する。

単語認識部９は、音素系列作成部８で得られた音素系列
と、単語辞書１０の各項目（音素記号で記述されている
）を１つずつ照合し、音素系列に最も近い辞書中の項目
を認識結果とする。

発明が解決しようとする課題従来例の方法は、騒音が少ない環境においては良好な音
声認識率が得られるが、騒音やその他のノイズが多い場
合には、認識率が大幅に低下する。

その第１の理由は、ノイズの混入により、音声区間（特
に始端）が正確に求まらず、語頭部分が脱落したり不必
要に長くなって、語頭音素の認識率が悪（なることであ
る。従来の方法は、音声の始端を検出した後で、その他
の処理が始まるので、語頭が不正確ならば、その後に影
響が残る。第２は、ノイズの影響によって、基準点の位
置が太きくずれることである。特に語頭子音の基準点の
ずれが大きい。従来法では、基準点近傍においてのみ類
似度を計算しているので、基準点の大きなずれには対処
できない。また基準点から外れた部分で類似度計算を行
なうと、子音の識別率が低下してしまう。第２図の曲線
１１は、例として、従来法における語頭子音／Ｚ、　ｈ
＋　ｓ、　ｃ、　Ｐ、　Ｃ１ｈ　／の平均認識率と基準
点のずれ幅の関係を示したものである。正確な基準点で
は認識率が８４．１％であるが、±３フレームずれると
６１．６％に低下してしまう。

第３の理由は、ノイズの混入により、子音の大分類率が
低下することにある。子音部にノイズが混入すると、パ
ワーデイツプが埋もれてしまい、大分類率が悪くなる。

本発明は、以上に述べた従来法の課題を解決し、ノイズ
が混入した場合においても安定した認識率を確保するこ
とを目的とする。

課題を解決するための手段本発明は、従来法の課題である、音声区間や基準点を一
意に決める方法、大分類を優先した子音識別法を廃止し
、ノイズを含む音声信号中から各々の音素を切り出す（
スポツティングする）方法によって、ノイズの影響を受
けにくい音声認識法を提供する。

各音素の標準パターンとして、各音素の特徴と共にあら
ゆる音声の情報、ノイズの情報を含んだものを作成して
おく。この標準パターンとノイズを含んだ入力音声信号
との間の類似度を、事後確率化された距離尺度を用いて
、単位時間（１フレーム）ずつシフトしながら求め、類
似度の連続性によって同一音素に属する部分を抽出する
。そして、抽出された音素をまとめて音素系列を作成し
、従来例と同様に単語認識結果を出力する。

作用本発明は、上記構成により、ノイズが混入した音声に対
しても良好な認識率が得られる。

実施例次に本発明の実施例を第１図を中心として説明する。従
来例との大きな違いは、従来例では音声区間検出、子音
検出、基準点検出を類似度計算（パターンマツチング）
よりも優先して行なっていたが、本実施例では音声区間
、子音区間、基準点の候補を求め、これらと類似度情報
を併用して音素系列を作成する。

音声信号（音声の前後のノイズ部分を含む）を音響分析
部１５で分析し、１フレーム（１０ｍ　ｓ　）ごとにＬ
ＰＣケプストラム係数とパワー情報を得る。

音声区間候補検出部１６では、主にパワーの大きさを用
いて音声の始端および終端候補を検出する。

始端、終端の位置を従来例のように一意に決めると、非
定常な騒音に対して弱くなるが、本実施例のように候補
を３つ程度検出するようにすれば、その中に正しい始端
や終端が含まれる確率が高い。

会場騒音を用いたＳ／Ｎ比２０ｄＢの音声の場合、−意
に決めると６０〜７０％の検出率であるが、３位までに
正解が入る確率は９５％以上である。

子音区間候補検出部１７は第６図（ａ）、　（ｂ）で説
明した方法と同様の方法を用いて、語頭子音および語中
子音を検出する。ただし、従来法と異なり、パワー変化
が小さいものも候補として検出しておく。

そして、パワー変化の大きさに応じて信顛度を付記して
おく、基準点候補検出部１８は、第６図と同様の方法で
、各子音候補に対して基準点を求める。

子音パターンマツチング部１９、母音パターンマ・ンチ
ング部２０、および半母音パターンマツチング部２１は
、それぞれ音響分析部１５と子音標準パターン、母音標
準パターンおよび半母音標準パターンとの類似度を計算
する部分である。従来例では類似度計算は音声区間内の
みで行ない、また子音は基準点付近のみで行なっていた
が、本実施例の方法では、ノイズ部分も含め全フレーム
に対して各音素標準パターンとの類似度計算を行なう。

そして各音素に対する類似度の時間的変化を調べ、ある
音素の類似度が大きくなる部分を抽出し、その音素が存
在する候補区間とする。すなわち、類似度情報を音素の
識別のみでなく、セグメンテーションにも利用すること
になる。このような方法を用いるためには、類似度計算
のための距離尺度を事後確率化する必要がある。さもな
いと、ノイズ区間などで類似度が大きくなり、音素区間
の抽出ができない。

次に距離尺度の説明と標準パターンの作成法を述べる。

本実施例では、調音結合や話者の違いによるパラメータ
のばらつきを吸収するために、統計的な距離尺度を用い
ている。

いま音素ω３の標準パターンとして平均値を／Ｕう。

共分散行列をＷｍとする。入力パラメータＸに対する事
後確率Ｐ（ωｍｌ’ｘ）はベイズの定理より、次のよう
になる。

Ｐ（ωｋｌＸ）＝Ｐ（ωい・Ｐ（Ｋｌωｋ）／Ｐ（Ｘ）
（］）右辺第１項は、各音素の出現確率を同じと考えれば、定
数として取り扱うことができる。ここで事前確率Ｐ（χ
１ω、）は、Ｐ（χ１ωい＝（２π）”””　ｌ　Ｗｍし１″・ｅｘ
ｐ（−１／２（Ｗ−／ｕｋ）’ｗｋ−ｉ（ｘ　　ｙｍ）
）もし入力パラメータが同一ならば右辺分母項（Ｘ）も
定数と考えて良い。

この場合、Ｐ（ω１＝Ｉｘ）　＝ｐ　（″に１ωｋ）　　　　　　
　（３）となり、事前確率と事後確率が等しくなる。し
かし、音素スポツティングを行なう場合は、入力を１フ
レームずつシフトしながら類似度を計算するので、異な
る人力パラメータに対して類似度を比較することになる
。この場合には、分母項Ｐ　（Ｘ）を考慮しなければな
らない。ｐ　（ｘ）は生起し得る全ての入力条件に対す
る確率の和であり、パラメータがＬＰＧケプストラム係
数の場合は、正規分布に近い分布形状になると考えるこ
とができる。

Ｐ　（Ｘ）が正規分布に従うと仮定し、平均値をμ、。

共分散行列をＷ９とすると、Ｐ（Ｋ）＝（２π）　−ｄ／ｌ　ｊ　Ｗｘ＋　−１／２
・ｅｘｐ（−１／２（Ｋ−＃ｘ）ｔＷ＋ｃ−’（Ｋ　　
＃Ｊ）（３）、　（４）式を（１）式に代入し、対数を
とって、定数項を省略し、さらに−２倍すると、次式を
得る。

Ｌ　ｈｒ　＝　（Ｘ　　Ｉｕ　、Ｉ）ｔ（Ｗｋ−’　（
χ−／＃ｌ１）−（′に一μ＊）　’Ｗ　ＩＩ−’　（
’に一μい＋　ｌｏｇ　　Ｉ　Ｖｌ’ｂ　Ｉ　／　ｌ　
ＸｗＸＩ　　　　　　　　　（５）（５）式は事後確率
化された式であるが、２次判別式なので、パラメータの
次元数が大きい場合は計算量が多くなり、実用性に乏し
い。

次に計算量が少ない、より実用的な距離尺度を導出する
。

＼Ｗ８を含め全ての音素の共分散行列が等しいと考える
。°すなわち、Ｗ−（’ｗ＋十県！＋−・−・・−ＭＷ、＋Ｊ）／（Ｋ
＋　１）Ｋは音素の種類の数である。

県、、ＸＷＸのかわり県と置き、（５）式の第１項、第
２項を展開すると、次のようになる。

（″に／１１　ｍ）　’ＩＶ／　ｋ−’　（Ｋ　　ｐ　
ｋ）　＝Ｘ’ｗ−’に−ａｋｔＫ＋ｂｍ　　　　（７）
（″に一／＃＋ｔ）ｔｔｗＸ−’［−ｐｘ）＝Ｘ　”％
Ｖ−’　Ｋ　　ｆｆｉ、ＬＫ　＋　ｂ　ｘ　　　　（８
）ここで、Ｍ、、＝２　　Ｗ−’−ｚｍ　　　　　　ｔ）、＝７．
ｃｒ、、’ｔＷ　−璽　・　ＩＩ　　ｋＡ、１＝２Ｗ−
’−１ｕｘ　　　ｂｘ＝ｔｕｘ’Ｗ−”ｔｕｗまた、第
３項はＯになる。したがって、（５）式は次のようにな
る。

Ｌｋ＝Ｂ、−ＡＭｔ−Ｋ　　　　　　　　　　　　（９
）Ａ、＝ａｉ、ｌ　９ｘ＝２ＣＷ−１ｚｋ−Ｗ−’、、
７ｇ、）ＱωＢ、＝ｂｋ−ｂＸ＝／１ｌｈｔ・−Ｗ−”／１ｌｒ−ｐｘＬＩＷ−Ｉ−＃ｘ
）（ＩＩ）（９）式は線形判別式なので、計算量は（５
）式に比べると格段に少ない。Ａｋ、Ｂｋは音素ω、の
新しい標準パターンである。

音素ω、の平均値と共分散行列ｇｋ、Ｗｋは、音素ωア
に属する多くのサンプルを用いて作成する。

これらのサンプルは多くの人が発生した多数の単語の中
から、目視によって正確に切り出したものである。子音
や半母音はＬＰＣケプストラム係数の時系列情報をパラ
メータとしている。いま第ｉフレーム目に相当するＬＰ
Ｃケプストラム係数の第２次の係数をＣｐ′と表わすこ
とにすると、各サンプルのパラメータはＣ＝　　　（Ｃｏ’　＋ＣＩ　’　＋　　””＋Ｃ９’
　＋　　　”・＋　Ｃｐ’＋　　”・ＩＣＯニー、Ｃｐ
’　　）実施例では■＝１２フレーム、Ｐ＝９次として
いる。平均値ｐ、および共分散行列Ｗｋは、各サンプル
の基準点の位置を揃えて計算している。

Ｐ（γ）は生起し得る全ての入力条件に対する確率の和
であるから、ｐＸ、ｗ、は類似度計算を行なう全ての入
力条件に対して作成する必要がある。本方法では、ノイ
ズを含む全音声信号に対して類似度を計算するので、音
声の前後のノイズ区間を幅広く含んだデータを用いて、
ＩＩ　Ｘ　、　Ｗｘを作成する。第３図はその１つの方
法を示したものである。音声の始端の前ｍフレームから
音声終端の後ｎフレームまでの区間を対象として、ｌフ
レーム（１＝１２）のパラメータの移動平均と移動共分
散を、多くの音声データを用いて計算し、／ＸＩｘ＋Ｗ
Ｘを作成する。このようにすれば、（５）式または（９
）式は音声区間だけでなく、ノイズ部分に対しても事後
確率化されることになる。

本方法による標準パターン作成法の効果の例を第２図の
曲線１２に示す。距離尺度は（９）式である。

従来例（曲線１１）では、基準点が少しずれると認識率
が大きく低下したが、本方法の標準パターンを用いると
、基準点が±５フレームの範囲でずれて検出された場合
でも、認識率はほとんど低下しない。つまり、周囲に影
響されず、正確な基準点の部分でのみ該当音素の類似度
が大きくなる。すなわち、音素の識別と同時にセグメン
テーションが行なわれていることになる。したがって、
この方法を用いれば、ノイズや単語音声中から必要な音
素をスポツティングすることができる。

第４図に音素スポツティングの例を示す。会場騒音環境
で［夜道Ｊ　　（／ｊＱｍ−ｉＱｃｉ／）と発声した場
合の例であり、Ｓ／Ｎ比は大体２０ｄＢである。最上段
は目視で決めた音素ラベルであり、正しい音素列である
。上段には語頭部分の音素識別結果を、また下段には語
中子音の識別結果をそれぞれ第５候補まで、ｌフレーム
ごとに示しである。識別結果の下の数値は類似度であり
、値が小さいほど類似度が大きい。この図のように、多
少の位置ずれはあるが、正しい音素の並びが第１の候補
として検出されている。

第１図の２２は音素系列作成部であり、音声区間候補、
子音区間候補、音素スポツティングの結果などを結合し
て音素系列を作成する部分である。

音声の始端は音声区間候補検出部１６の出力に対し、子
音・半母音・母音パターンマツチング部１９．２０゜２
１で得られる音素スポツティング結果の類似度を参照し
、信頼性の高いものを選ぶ。音声の終端も同様である。

子音は、子音候補検出部１７の出力のうち、基準点候補
検出部１８で検出した基準点付近において、いずれかの
子音の類似度が十分大きい場合は子音が存在するものと
見なし、子音区間を決め、類似度最大となる音素を認識
結果とする。母音と半母音は、フレームごとの音素識別
結果において、同−音素基の連続性を検出し、音素認識
結果とする。

このようにして音素の切り出しを行ない、次に日本語の
金形規則を適用して修正し、最終的な音素系列を出力す
る。

単語認識部２３は音素系列作成部２２で作成された音素
系列と単語辞書２４の項目を１つずつ比較し、類似度が
最大となる項目に対応する単語を認識結果として出力す
る。

発明の効果以上のように本発明は、ノイズを含む音声信号中から各
１２の音素を切り出すことにより、騒音環境における音
声認識率が向上した。従来は平均的なＳ／Ｎ比が高い場
合でも、非定常的な騒音が加わると、音声区間が誤まる
ために、認識できない場合が多かった。また従来は、Ｓ
／Ｎ比が低い場合には、子音の大分類誤まりやセグメン
テーション誤まりによって認識率が低下した。本発明は
、非定常騒音にも、またＳ／Ｎ比が小さい場合にも安定
した認識能力を提供する。そして、騒音のない環境にお
いても、従来例と同等の認識能力を確保できる。

【図面の簡単な説明】

第１図は本発明の一実施例における音声認識方法を具現
化する機能ブロック図、第２図は、従来例（破線１１）
と本発明の実施例（実線１２）における、語頭子音の認
識率と基準点のずれ幅の関係を示した比較図、第３図は
本発明の一実施例における、標準パターン作成法の説明
図、第４図は本発明の一実施例における、音素認識の例
を示した図、第５図は従来の音声認識方法を説明する機
能ブロック図、第６図は語頭子音および語中子音のセグ
メンテーション法と基準点検出法の説明図である。１５・・・・・・音響分析部、１６・・・・・・音声区
間候補検出部、１７・・・・・・子音区間候補検出部、
１８・・・・・・基準点候補検出部、１９・・・・・・
子音パターンマツチング部、２０・・・・・・母音パタ
ーンマツチング部、２１・・・・・・半母音パターンマ
ツチング部、２２・・・・・・音素系列作成部、２３・
・・・・・単語認識部、２４・・・・・・単語辞書。代理人の氏名　弁理士　粟野重孝　はか１泡群点かうの
ず冶ｑら第図（α）無音壬 θ 昔＜ｂ）四重３音ｑ音

Claims

【特許請求の範囲】

（１）予め多くの人の音声と音声の周囲のノイズを用い
て各音素の標準パターンを作成しておき、音声の認識時
には、これらの標準パターンと入力音声の前後のノイズ
区間を含む入力信号から抽出したパラメータとの類似度
を、入力信号の最初から単位時間ずつシフトしながら、
事後確率化された統計的距離尺度を用いて計算し、単位
時間ごとに音素識別を行ない、前記音素識別結果や類似
度を用いて音素系列を作成し、前記音素系列と語彙辞書
の内容の類似度を求めて音声を認識することを特徴とす
る音声認識方法。
（２）該当音素に属するデータのパラメータ分布および
ノイズを含む全音声データのパラメータ分布が多次元正
規分布に従うものと仮定して、事後確率化された統計的
距離尺度を構成することを特徴とする請求項（１）記載
の音声認識方法。
（３）各音素のパラメータの共分散およびノイズを含む
全音声のパラメータの共分散を共通化して統計的距離尺
度を構成することを特徴とする請求項（１）記載の音声
認識方法。（４）音声パワーの大きさ、時間変動を用い
て音声の始端、終端および音素区間の候補を求め、一方
、入力信号と各音素の類似度を事後確率化された統計的
距離尺度によって単位時間ごとに求め、類似度の大きさ
を用いて前記音声の始端、終端候補の中から音声の始端
と終端を決定し、また類似度の大きさを用いて音素区間
候補の中から音素区間を決定して音素の認識を行ない、
音素系列を作成し、前記音素系列と語彙辞書の内容の類
似度を求めて音声を認識することを特徴とする音声認識
方法。