JPH0283593A - ノイズ適応形音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、雑音に影響されにくい音声認識装置の改良に
関するものである。

（従来の技術） 従来、音声認識では、あらかじめ発声した音声データか
ら作成した標準パターンを用いて、それらと未知音声か
ら求めた音声パターンとの類似度を求め、最大の類似度
を与えるカテゴリを認識結果とする方法が一般に用いら
れている。このような方法としては、迫江、千葉の、　
ＩＥＥＥ、　Ｔｒａｎｓａｃｔｉｏｎｏｎ　Ａｃｏｕｓ
ｉｔｉｃｓ、　５ｐｅｅｃｈ、　ａｎｄ　Ｓｉｇｎａｌ
　Ｐｒｏｃｅｓｓｉｎｇ。

Ｖｏｌ、ＡＳＳＰ−２６，Ｎｏ、１．１９７８のページ
４３−４９に掲載の論文”Ｄｙｎａｍｉｃ　ｐｒｏｇｒ
ａｍｍｉｎｇ　ａｌｏｇｏｒｉｔｈｍ　ｏｐｔｉｍｉｚ
ａｔｉｏｎｆｏｒ　５ｐｏｋｅｎ　ｗｏｒｄ　ｒｅｃｏ
ｇｎｉｔｉｏｎ”（以下、文献１と称す）に述べられて
いるような認識単位に単語を用いる方法や、Ｙｅｎ−Ｌ
ｕ　Ｃｈｏｗ　５Ｒｉｃｈａｒｄ　Ｓｃｈｗａｒｔｚ　
、　ＳａｌｉｍＲｏｕｃｏｓ他の、ＩＥＥＥ、　Ｉｎｔ
ｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＡ
ｃｏｕｓｔｉｃｓ、　５ｐｅｅｃｈ、　ａｎｄ　Ｓｉｇ
ｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　、　１９８６゜３０．
９のページ１５９３−１５９６に掲載の論文”Ｔｈｅ　
Ｒｏｌｅ　ｏｆＷｏｒｄ−Ｄｅｐｅｎｄｅｎｔ　Ｃｏａ
ｒｔｉｃｕｌａｔｏｒｙ　Ｅｆｆ’ｅｃｔｓ　Ｐｈｏｎ
ｅｍｅ−Ｂａｓｅｄ　５ｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔ
ｉｏｎ　Ｓｙｓｔｅｍ”（以下、文献２と称す）に述べ
られているような認識単位に音素などの単語より小さい
単位を用いる方法がある。以下、「音素」とは、音韻論
的な意味での音声の最小基本単位という意味だけではな
く、音節や複数の音素の連結をも含む、もっと広い範囲
の音声の単位を意味する。

認識時に周囲に雑音が存在する場合、音声区間の検出誤
りや、入力された未知音声に雑音が重畳することによる
音声パターンの変化により、誤認識を起こしやすくなる
。音声区間検出の問題に対する解決方法として、例えば
、Ｊｏｈｎ　Ｓ、Ｂｒ１ｄｌｅ、Ｍｉｃｈａｅｌ　Ｄ、
　Ｂｒｏｗｎ、　　及びＲｉｃｈａｒｄ　Ｍ、　Ｃｈａ
ｍｂｅｒｌａｉｎの、ＩＥＥＥ、Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉ
ｃｓ。

５ｐｅｅｃｈ、　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓ
ｓｉｎｇ、　１９８２のページ８９９−９０２に掲載の
論文”ＡＮ　ＡＬＧＯＲＩＴＨＭ　ＦＯＲＣＯＮＮＥＣ
ＴＥＤ　ＷＯＲＤ　ＲＥＣＯＧ−ＮＩＴＩＯＮ”（以下
、文献３と称す）で述べられている方法が挙げられる。

これは、未知音声パターンと標準パターンとのマツチン
グを行う際に、標準パターンの前後に周囲の雑音から推
定された周囲雑音のパターン（以下、ノイズパターンと
呼ぶ）を付加した新しい標準パターンを作成する。未知
音声パターンは、前後にある程度の長さの周囲雑音が加
わった無音区間を含めて検出される。このように、未知
音声パターンから推定されたノイズパターンを付加した
標準パターンを用いることにより、前後に雑音を含んだ
未知音声パターンともマツチングが可能となるので、音
声区間を正確に検出する必要がなくなり、音声区間の検
出誤りの問題を回避することができる。

（発明が解決しようとする問題点） 音声が発声する際に生じる無音区間は、音声区間の前後
以外にも存在する。例えば、声道のいずれかの部分での
調音器官による呼気の完全な閉鎖およびそれに続く開放
によって調音される破裂音を発声する際の閉鎖による無
音区間や、日本語の正書法で［ツ］で表記される促音に
よる無音区間などがそうである。

音声を認識する際に存在する周囲の雑音は、発声中、常
に音声パターンに重畳されるが、特に、このような音声
中の無音区間では音声のエネルギーが小さいので周囲雑
音の影響を受けやすく、パターンは周囲雑音のパターン
そのものとなる。

文献３で用いられている方法は、要求される音声区間検
出の精度の緩和を目的としているので、音声区間の前後
に存在する無音区間にのみ注目しており、前述の破裂音
や促音により生じる語中の無音区間に対しては何の考慮
もされていない。しかし、未知音声パターンと標準パタ
ーンとのマツチングを行う際には、この語中の無音区間
もマツチングの対象となる。よって、未知音声データに
おける語中の無音区間のパターンが周囲雑音により著し
く変形した場合、誤認識の原因となってしまう。

本発明は、周囲雑音の影響を受けにくい高性能な音声認
識装置を実現することを目的とする。

（問題点を解決するための手段） 本願の第１の発明によるノイズ適応形音声認識装置は、
音声信号を分析して特徴ベクトル時系列を出力する特微
分析部と、前記音声信号と前記特徴ベクトル時系列から
ノイズパターンを作成するノイズパターン作成部と、あ
らかじめ定められた特徴ベクトル時系列と無音区間の位
置情報とを標準パターンとして蓄えておく標準パターン
記憶部と、前記標準パターン記憶部に蓄えられた標準パ
ターン中の無音区間を前記位置情報をもとに前記ノイズ
パターンと置き換えることによりノイズ適応標準パター
ンを作成するノイズ適応標準パターン作成部と、前記特
徴ベクトル時系列と前記ノイズ適応標準パターンとを比
較照合して音声を認識する認識部とを有する。

本願の第２の発明によるノイズ適応形音声認識装置は、
音声信号を分析して特徴ベクトル時系列を出力する特徴
分析部と、前記音声信号と前記特徴ベクトル時系列から
ノイズパターンを作成するノイズパターン作成部と、音
素を単位とした音素モデル及びノイズに対応するノイズ
モデルを標準モデルとしてあらかじめ蓄えておく標準モ
デル記憶部と、前記標準モデル記憶部に蓄えられたノイ
ズモデルと前記ノイズパターンとから適応ノイズモデル
を作成する適応ノイズモデル作成部と、前記標準モデル
記憶部に蓄えられた音素モデルと前記適応ノイズモデル
と前記特徴ベクトル時系列より音声を認識する認識部と
を有する。

本願の第３の発明によるノイズ適応形音声認識装置は、
前記本願の第１の発明に加え、音声信号を分析して特徴
ベクトル時系列を出力する特徴分析部と、前記音声信号
から無音区間の位置情報を求める音声区間検出部と、前
記特徴ベクトル時系列と前記無音区間の位置情報とを標
準パターンとして蓄えておく標準パターン記憶部とを有
する。

（作用） 本発明によるノイズ適応形音声認識装置の作用について
説明する。本発明は、標準パターン中の無音区間のパタ
ーンを、認識時に推定された周囲雑音のパターンと置き
換えることにより、雑音に影響されない音声認識を実現
するものである。

まず、文献１に述べられているような、認識単位として
単語を用いる場合について述べる。認識に用いる標準パ
ターンは、標準的な発声より求めた特徴ベクトル時系列
と、その音声中の無音区間の位置情報からなっている。

この特徴ベクトル時系列の求め方として、例えば、古井
著、１９８５年、東海大学出版会発行の［ディジタル音
声処理Ｊ（以下、文献４と称す）のベージ１５４−１６
０に述べられているメルケプストラムによる方法やＬＰ
Ｇ分析法などを用いることができる。人力さ°れた音声
を標準パターンとして登録する際に、その音声パターン
の前後の無音区間ならびに語中の無音区間を検出し、無
音区間の位置情報とする。無音区間の位置の検出は、視
察により検出する方法のほかに、例えば、新美著、１９
７９年、共立出版発行の「音声認識１（以下、文献５と
称す）のページ６８−７０に述べられている、エネルギ
ーと零交差回数を用いる方法などを用いることができる
。第４図に音声パターン中の無音区間の例を示す。図に
おいて、縦軸は音声のパワーを、横軸は時間を表し、点
線で区切られ”＊”の印がついている区間が無音区間で
ある。検出された無音区間の始端、終端の位置に関する
情報（８１，Ｅｌ）、　（８２，Ｅ２）、・・・は、特
徴ベクトル時系列とともに標準パターンとして保持され
る。

未知音声を認識する際には、まず、ノイズパターンを推
定する。この推定方法として、例えば、未知音声パター
ンの無音区間を文献５の方法により検出し、検出された
全ての無音区間のデータの平均値をノイズパターンとす
る方法を用いることができる。続いて、標準パターン中
の無音区間に対応するパターンを、前述の無音区間の位
置情報を用いて、全てこのノイズパターンと置き換えて
新しい標準パターン（以下、ノイズ適応標準パターンと
呼ぶ）を作成する。認識は、未知音声データとノイズ適
応標準パターンとをマツチングすることにより行われる
。マツチング方法としては、文献１に述べられているよ
うなりＰマツチングなどが利用できる。このように、無
音区間に対して認識時の周囲環境に応じたノイズパター
ンを用いることにより、雑音環境が変化しても影響をう
けないようにすることができる。

次に、文献２に述べられているような音素を単位とする
認識法を用いる場合について述べる。この場合、あらか
じめ発声された音声パターンから音素単位に標準モデル
を作成する。標準モデルとして、例えば、文献２に述べ
られているような隠れマルコフモデル（以下、ＨＭＭと
呼ぶ）を用いることができる。ＨＭＭは、確率モデルの
一種で、継続時間長のモデルａと、特徴ベクトルのモデ
ルｂの二種の要素より構成されている。そして、音素単
位のＨＭＭのパラメータは、発声中の各音素区間のパタ
ーンを用いて、文献２に述べられているようなフォワー
ド・バックワードげｏｒｗａｒｄ−ｂａｃｋｗａｒｄ）
アルゴリズムによって推定することができる。標準モデ
ルとしては、この音素毎のモデル（以下、音素モデルと
呼ぶ）のほかに無音区間に対するモデル（以下、ノイズ
モデルと呼ぶ）も作成する。ノイズモデルとしてのＨＭ
Ｍは、音素単位のＨＭＭと同様に、発声中の無声区間の
パターンを用いて推定される。また、全無音区間に対す
るモデルとして、一種類のノイズモデルを用いることも
できるが、音声区間の前後の無音区間、破裂音の前の無
音区間、促音による無音区間それぞれに対して別々のモ
デルを適用することもできる。これらの無音区間では、
それぞれの特徴ベクトルは類似しているカミ継続時間長
は異なるので、別々のモデルにすることにより個々の継
続時間長をモデル化することができる。

未知音声を認識する際には、まず、単語を認識単位とす
るときと同様の方法により、未知音声パターンの無音区
間を検出し、ノイズパターンを作成する。そして、前述
のノイズモデルの特徴ベクトルのモデルｂを、作成され
たノイ・ズパターンのモデルと置き換えて新しいノズル
モデル（以下、適応ノイズモデルと呼ぶ）を作成する。

つまり、認識時の周囲環境に応じたノイズモデルを作成
す不わけである。認識方法としては、例えば、適応ノイ
ズモデルならび音素モデルを、文献２で述べられている
ように、′音素表記された単語辞書を用いて結合して単
語単位のモデルを作成し、各モデルに対してフォワード
・バックワードアルゴリズムにより未知音声の出現確率
を求め、確率が最も高い単語を認識結果とする方法など
が適用できる。

（実施例） 本発明によるノイズ適応形音声認識装置の実施例につい
て図面を参照して説明する。第１図は本願の第１の発明
による一実施例を示す構成図である。

未知音声信号の認識手順について説明する。認識に先立
ち、標準パターンＰはあらかじめ標準パターン記憶部１
４の中に特徴ベクトル標準パターンＰＲ及び無音区間位
置情報ＩＲとして保持されている。まず、未知音声信号
Ｓは、特徴分析部１１および音声区間検出部１２へ入力
される。特徴分析部１１では、文献４で述べられている
ようなメルケブストラムによる方法を用いて、音声信号
Ｓが特徴ベクトル時系列Ｖに変換される。音声区間検出
部１２では、未知音声信号Ｓの無音区間が、文献５で述
べられているエネルギーと零交差回数を用いる方法によ
り検出される。検出された全ての無音区間の始端と終端
は無音区間位置情報Ｉとして出力される。特徴ベクトル
時系列■と無音区間位置情報Ｉは、ノイズパターン作成
部１３に入力される。ここでは、無音区間位置情報工を
用いて全ての無音区間の特徴ベクトルの平均値が求めら
れ、それがノイズパターンＮとして出力される。このノ
イズパターンＮと標準パターン記憶部１４中の標準パタ
ーンＰが、ノイズ適応標準パターン作成部１５に入力さ
れる。ノイズ適応標準パターン作成部１５では、標準パ
ターンＰ中の無音区間位置情報ＩＲを用いて、特徴ベク
トル標準パターンＦＲの無音区間内の特徴ベクトルがノ
イズパターンＮと置き換えられ、ノイズ適応標準パター
ンＰＮが作成される。そして、認識部１６において、こ
のノイズ適応標準パターンＰＮと未知音声の特徴ベクト
ル時系列Ｖが読み込まれ、ノイズ適応標準パターンＰＮ
毎に特徴ベクトル時系列Ｖとの類似度が、文献１に述べ
られているようなりＰマツチングを用いて求められ、最
も類似度が大きい標準パターンのカテゴリＯが認識結果
として出力される。

第２図は本願の第３の発明による標準パターンＰを発声
された音声より作成する一実施例を示す構成図である。

入力された登録用音声信号ＳＲは、特徴分析部２１およ
び音声区間検出部２２へ入力され、特徴ベクトル時系列
ＶＲおよび無音区間位置情報ＩＲがそれぞれ出力される
。特徴ベクトル時系列ＶＲと無音区間位置情報ＩＲは、
音声抽出部２３に人力される。ここでは、特徴ベクトル
時系列ＶＲから音声の区間が、無音区間位置情報ＩＲを
用いて切、り出され、特徴ベクトル標準パターンＦＲと
して出力される。特徴ベクトル標準パターンＦＲおよび
無音区間位置情報ＩＲは、標準パターン記憶部２４に入
力され、標準パターンＰとして記憶される。

第３図は本願の第２の発明による一実施例を示す構成図
である。

標準モデル記憶部３２の中には、文献２で述べられてい
るようなＨＭＭを用いた音素モデルＭｐおよびノイズモ
デルＭＮが保持されている。これらは、文献２で述べら
れているフォワード・バックワードアルゴリズムにより
、多量の音声データから作成できる。

未知音声信号の認識手順について説明する。まず、未知
音声信号Ｓは、特徴分析部３１で特徴ベクトル時系列Ｖ
に変換される。特徴ベクトル時系列Ｖは、未知音声信号
Ｓとともにノイズパターン作成部３３に入力される。こ
こでは、音声信号Ｓの無音区間が、文献５で述べられて
いるエネルギーと零交差回数を用いる方法により検出さ
れ、全ての無音区間の特徴ベクトルの平均値が求められ
、それがノイズパターンＮとして出力される。このノイ
ズパターンＮと、標準モデル記憶部３２中のノイズモデ
ルＭＮは適応ノイズモデル作成部３４に入力される。こ
こでは、ノイズモデルＭＮの特徴ベクトルのモデルｂを
ノイズパターンＮのモデルと置き換えて、適応ノイズモ
デルＭＡが作成される。この適応ノイズモデルＭＡ及び
標準モデル記憶部３２中の音素モデルＭｐ、さらに未知
音声の特徴ベクトル時系列Ｖが、認識部３５に入力され
る。ここでは、適応ノイズモデルＭＡならびに音素モデ
ルＭｐが、文献２で述べられているような音素表記され
た単語辞書を用いて結合され、単語単位のモデルが作成
される。そして、各単語単位のモデルに対する未知音声
の特徴ベクトル時系列Ｖの出現確率カミフォワード・バ
ックワードアルゴリズムにより求められ、確率が最も高
いモデルのカテゴリＯが認識結果として出力される。

（発明の効果） 本発明によれば、語中の無音区間のパターンとして認識
時の周囲雑音に対応したものを用いるので、雑音に影響
されない音声認識装置を実現することができる。

【図面の簡単な説明】

第１図は、本願の第１の発明による一実施例を示す構成
図、第２図は、本願の第３の発明による標準パターンを
発声された音声より作成する一実施例を示す構成図、第
３図は、本願の第２の発明による一実施例を示す構成図
、第４図は、無音区間の例を示す図である。 図において、 １１、２１．３１・・・特徴抽出部、 １２、２２・・・音声区間検出部、 １３、３３・・・ノイズパターン作成部、１４、２４・
・・標準パターン記憶部、１５・・・ノイズ適応標準パ
ターン記憶部、１６、３５・・・認識部、 ２３・・・音声抽出部、 ３２・・・標準モデル記憶部、 ３４・・・適応ノイズモデル作成部。

Claims (3)

【特許請求の範囲】
1. （１）音声信号を分析して特徴ベクトル時系列を出力す
   る特徴分析部と、前記音声信号と前記特徴ベクトル時系
   列からノイズパターンを作成するノイズパターン作成部
   と、あらかじめ定められた特徴ベクトル時系列と無音区
   間の位置情報とを標準パターンとして蓄えておく標準パ
   ターン記憶部と、前記標準パターン記憶部に蓄えられた
   標準パターン中の無音区間を前記位置情報をもとに前記
   ノイズパターンと置き換えることによりノイズ適応標準
   パターンを作成するノイズ適応標準パターン作成部と、
   前記特徴ベクトル時系列と前記ノイズ適応標準パターン
   とを比較照合して音声を認識する認識部とを有するノイ
   ズ適応形音声認識装置。
2. （２）音声信号を分析して特徴ベクトル時系列を出力す
   る特徴分析部と、前記音声信号と前記特徴ベクトル時系
   列からノイズパターンを作成するノイズパターン作成部
   と、音素を単位として音素モデル及びノイズに対応する
   ノイズモデルを標準モデルとしてあらかじめ蓄えておく
   標準モデル記憶部と、前記標準モデル記憶部に蓄えられ
   たノイズモデルと前記ノイズパターンとから適応ノイズ
   モデルを作成する適応ノイズモデル作成部と、前記標準
   モデル記憶部に蓄えられた音素モデルと前記適応ノイズ
   モデルと前記特徴ベクトル時系列より音声を認識する認
   識部とを有するノイズ適応形音声認識装置。
3. （３）音声信号を分析して特徴ベクトル時系列を出力す
   る特徴分析部と、前記音声信号から無音区間の位置情報
   を求める音声区間検出部と、前記特徴ベクトル時系列と
   前記無音区間の位置情報とを標準パターンとして蓄えて
   おく標準パターン記憶部とを有する請求項１記載のノイ
   ズ適応形音声認識装置。