JPH0844390A

JPH0844390A - 音声認識装置

Info

Publication number: JPH0844390A
Application number: JP6173990A
Authority: JP
Inventors: Kenichi Taniguchi; 賢一谷口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-07-26
Filing date: 1994-07-26
Publication date: 1996-02-16

Abstract

(57)【要約】【目的】入力雑音に追従するように周波数領域で環境
雑音を推定し、雑音の重畳した音声を入力として認識す
ることができる音声認識装置を提供することを目的とす
る。【構成】環境雑音を常時入力・更新し雑音の重畳した
音声のスペクトルから雑音のスペクトルを減算した特徴
量を求める雑音除去・特徴抽出部３２と、標準パタンの
特徴量を記憶しておく標準パタン辞書３６と、入力の特
徴量と標準パタンの特徴量を比較する類似度比較部３４
と、最終的な認識結果を判定する判定処理部３５とを構
成し、雑音の周波数特性の時間的変化に追従するように
推定雑音を更新することにより雑音の重畳した音声での
認識性能の向上が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、雑音除去処理部を備え
た音声認識装置に関するものである。

【０００２】

【従来の技術】近年、より良いマンマシンインタフェー
スが要求されるようになってきたこと、ＤＳＰ（デジタ
ルシグナルプロセッサ）などのハードウェア能力の向上
により安価なものが作れるようになったことにより、各
種の機器のマンマシンインタフェースとして音声認識装
置が採用されるようになってきた。以下、図面を参照し
ながら従来の音声認識装置について説明を行う。

【０００３】図６は従来の音声認識装置の構成を示すブ
ロック図であり、図中、１はマイク、２は雑音除去処理
部、３は特徴抽出部、４は類似度比較部、５は判定処理
部、６は標準パタン辞書である。

【０００４】以上のように構成された従来の音声認識装
置について、以下その動作を説明する。マイク１から入
力された音声は、雑音除去処理部２で周囲雑音が除かれ
た信号となり、特徴抽出部３で１０ｍｓ程度の周期で線
形予測分析あるいはフーリエ分析などの方法で周波数分
析され、かつ、音声の始端、終端の検知を行い、音声区
間の周波数分析結果が得られる。類似度計算部４では特
徴抽出部３からの音声区間の周波数分析結果と標準パタ
ン辞書６に登録されている複数の単語の音声区間の周波
数分析結果を比較し、最も類似した単語の周波数分析結
果の類似度を得る。判定処理部５では類似度計算部４か
らの類似度がある閾値よりも似ているか判定し、似てい
ればその単語を認識結果として出力する。

【０００５】さらに、従来の音声認識装置で行われてい
る雑音除去処理部２について動作を説明する。従来の雑
音除去処理部の手法として主なものが２種類ある。一つ
は１９７９年４月に発表されたＩＥＥＥＴｒａｎｓａ
ｃｉｏｎｏｎＡｃｏｕｓｔｉｃｓ，ｓｐｅｅｃｈ，
ａｎｄｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｖｏ
ｌ．ＡＳＳＰ−２７Ｎｏ．２ｐｐ．１１３−１２０
「ＳｕｐｒｅｓｓｉｏｎｏｆＡｃｏｕｓｔｉｃＮｏ
ｉｓｅＳｐｅｅｃｈＵｓｉｎｇＳｐｅｃｔｒａｌ
Ｓｕｂｔｒａｃｔｉｏｎ」で示されるスペクトルサブ
トラクション法であり、もう一つは１９８８年５月に発
表された電子情報通信学会論文誌Ａｖｏｌ．Ｊ７１−
ＡＮｏ．５ｐｐ．１１００−１１０８「雑音環境下
の単語音声認識の性能改善」で示される適応コムフィル
タ法である。

【０００６】まず、スペクトルサブトラクション法につ
いて説明する。図７は従来の音声認識装置の雑音除去部
のブロック図である。雑音の重畳した音声信号はフーリ
エ分析部１１と音声区間検知部１５に入力される。フー
リエ分析部１１では入力信号である雑音の重畳した音声
信号に対して１０ｍｓ程度の周期で２０ｍｓ程度の区間
の信号を用いてフーリエ分析する。フーリエ分析した結
果は実数部と虚数部から構成されるため、これを振幅と
位相に変換する。各周波数に対応する振幅情報は振幅引
算部１２と雑音記憶部１６に出力される。また、各周波
数に対応する位相情報は逆フーリエ処理部１４に出力さ
れる。音声区間検知部１５では入力される雑音信号の重
畳した音声信号及び音声のない区間での雑音信号から音
声のある区間のみを判別する。これは入力信号のパワー
情報を用いてパワーの大きいところでは音声のある区間
として、また、パワーの小さいところでは音声のない区
間とする。この音声のあり／なしの情報は雑音記憶部１
６に出力される。雑音記憶部１６では音声区間検知部１
５から音声なしの信号がきたとき、フーリエ分析部１１
からの各周波数に対応する振幅情報を雑音の振幅情報と
して記憶する。振幅引算部１２ではフーリエ分析部１１
からの雑音の重畳した音声信号の各周波数に対応する振
幅から雑音記憶部１６で記憶している各周波数に対する
雑音の振幅を各々の周波数について引き算し、音声のみ
の振幅を計算する。半波整流部１３では振幅引算部１２
での雑音の重畳した音声の振幅から雑音のみの振幅を引
き算した結果、振幅が負になる周波数についてその振幅
を０にする。逆フーリエ処理部１４では半波整流部１３
からの各周波数に対応する振幅とフーリエ分析部１１か
らの各信号に対応する位相から雑音が除かれた音声波形
を合成することにより、雑音のない音声波形が得られ
る。

【０００７】次に、適応コムフィルタ法について説明す
る。図８は従来の音声認識装置の雑音除去部のブロック
図である。雑音の重畳した音声信号はフーリエ分析部２
１とピッチ周波数抽出部２６に入力される。フーリエ分
析部２１では入力信号である雑音の重畳した音声信号に
対して１０ｍｓ程度の周期で２０ｍｓ程度の区間の信号
を用いてフーリエ分析する。フーリエ分析した結果は実
数部と虚数部から構成されるため、これを振幅と位相に
変換する。各周波数に対する振幅情報は線スペクトル列
抽出処理部２２と雑音バイアス推定処理部２３と雑音引
算処理部２４に出力される。また、各周波数に対応する
位相情報は逆フーリエ処理部２５に出力される。ピッチ
周波数抽出部２６では入力された雑音の重畳した音声信
号から音声ピッチ周波数の抽出を行う。ピッチ周波数の
抽出は雑音の重畳した音声信号および線形予測分析後の
残差信号の自己相関関数のうち最大値を示すものの遅延
時間をピッチの周期とする。ここでピッチ周波数は線ス
ペクトル列抽出処理部２２に、最大値の自己相関関数の
値を雑音引算処理部２４に出力する。線スペクトル列抽
出処理部２２ではフーリエ分析部２１からの各周波数に
対応する振幅からピッチ周波数抽出部２６で抽出された
ピッチ周波数の整数倍の周波数に対応する周波数の振幅
情報のみを抜き出す。抜き出された後の振幅情報はピッ
チ周波数の整数倍の部分のみに成分がある櫛形になる。
このピッチ周波数の整数倍の部分のみからなる振幅デー
タは雑音バイアス推定処理部２３と雑音引算処理部２４
に出力される。雑音バイアス推定処理部２３では、フー
リエ分析部２１からの雑音の重畳した音声のスペクトル
から線スペクトル列抽出処理部２２で抽出した音声のピ
ッチの整数倍の成分を除いた雑音のみの成分を抽出す
る。抽出した雑音成分のスペクトルは一定帯域幅のいく
つかの帯域に分割され、各帯域毎に平均スペクトルを求
め、雑音のスペクトルとする。求めた雑音のスペクトル
は雑音引算処理部２４に出力される。雑音引算処理部２
４では、ピッチ周波数抽出部２６からの最大値の自己相
関関数の値が閾値より大きい時は入力の音声が有声音で
あると判定し、線スペクトル列抽出処理部２２で抽出し
た音声の線スペクトル列から雑音バイアス推定処理部２
３で求めた雑音のスペクトルを引き算する。スペクトル
が負の部分はスペクトルを零とする。ピッチ周波数抽出
部２６からの最大値の自己相関関数の値が閾値より小さ
い時は入力の音声が無声音であると判定し、フーリエ分
析部２１からの雑音重畳した音声のスペクトルから雑音
バイアス推定処理部２３で求めた雑音のスペクトルを引
き算する。この引き算の結果を逆フーリエ処理部２５に
出力する。逆フーリエ処理部２５では雑音引算処理部２
４からの各周波数に対応する振幅とフーリエ分析部２１
からの各信号に対応する位相から雑音が除かれた音声波
形を合成することにより、雑音のない音声波形が得られ
る。

【０００８】

【発明が解決しようとする課題】しかしながら、上記し
た従来の音声認識装置の雑音除去処理部では、スペクト
ルサブトラクション法の場合については雑音の推定量を
計算するためにどれだけ過去にまでさかのぼり、何フレ
ーム分の周波数特徴量の平均をとれば最大の効果が得ら
れるかを求めるための明確な手段がないという問題点、
適応コムフィルタについては音声の基本周波数を求めな
ければならず、雑音の混じった音声について音声の基本
周波数を求めることが難しく、良い性能が得られないと
いう問題点を有していた。

【０００９】本発明は、上記課題を解決し、雑音の重畳
した音声から雑音を除去する最大の効果を得るための明
確な手段を提供し、雑音の混じった音声でも効果的に動
作することが可能な音声認識装置を提供することを目的
とする。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するために、所定時間間隔のフレーム毎に環境雑音及び
入力音声の分析をし、雑音を除去した特徴量の時系列を
抽出する雑音除去・特徴抽出部と、あらかじめ発声され
た単語音声から特徴を抽出した特徴量の時系列を格納し
た辞書と、入力された特徴量の時系列と辞書の複数の単
語の特徴量の時系列を比較し、各単語の類似度を計算す
る類似度計算部と、各単語の類似度から最も類似した単
語を選択する判定処理部とを備え、雑音除去・特徴抽出
部において、環境雑音を常時入力し、特徴分析する分析
部と雑音及び雑音の重畳した音声のスペクトルを時間方
向に平滑化するスペクトル平滑化処理部と、入力雑音の
雑音スペクトルを記憶する雑音スペクトル記憶部と、入
力雑音に追従するように雑音スペクトルを更新する雑音
スペクトル更新部を有し、平滑化処理部から出力される
スペクトルから雑音スペクトル記憶部において入力雑音
に追従するように更新されている雑音スペクトルを減算
するようにしたものである。

【００１１】また、構成において、スペクトル平滑化処
理部の処理後、所定時間間隔のフレーム毎に求めたスペ
クトルの各周波数について、該当周波数のスペクトル成
分に対応するマスキングパタンを求め、該当周波数に隣
接する周波数のスペクトルを計算し、全周波数について
各周波数に対応するマスキングパタンによる総和を用い
て入力雑音の推定を行うことと雑音の重畳した音声から
雑音スペクトル記憶部に記憶されている雑音スペクトル
の減算を行うようにしたものである。

【００１２】

【作用】本発明は上記した構成により、特徴量抽出部の
前に入力雑音に自動的に追従する雑音除去部を設け、雑
音除去部により雑音の混じった音声から音声信号のみを
抽出する。

【００１３】

【実施例】以下、本発明の一実施例について、図面を参
照しながら説明する。図１は本発明の一実施例の音声認
識装置の構成を示すブロック図であり、図中、３１はマ
イク、３２は雑音除去・特徴抽出部、３４は類似度比較
部、３５は判定処理部、３６は標準パタン辞書である。

【００１４】以上のように構成された音声認識装置につ
いて、以下その動作を説明する。マイク３１から入力さ
れた音声は、雑音除去・特徴抽出部３２で１０ｍｓ程度
の周期でフーリエ分析され、後に述べる雑音除去方法に
より周囲雑音が除かれた周波数分析結果が得られる。ま
た、同時に音声の始端、終端の検知を行い音声区間を検
知する。類似度比較部３４では雑音除去・特徴抽出部３
２からの音声区間の周波数分析結果と標準パタン辞書３
６に登録されている複数の単語の音声区間の周波数分析
結果を比較し、最も類似した単語の周波数分析結果の類
似度を得る。判定処理部３５では類似度比較部３４から
の類似度がある閾値よりも似ているか判定し、似ていれ
ばその単語を認識結果として出力する。

【００１５】図２は本発明の一実施例の音声認識装置の
雑音除去・特徴抽出部のブロック図であり、図３は同動
作のフローチャートである。図２において４１はフーリ
エ分析部、４２はフーリエ係数バッファ、４３はスペク
トル平滑化処理部、４５はケプストラム処理部、４６は
雑音スペクトル記憶部、４７は雑音スペクトル更新部、
４８は音声区間検出部である。

【００１６】以上のように構成された雑音除去・特徴抽
出部について、以下その動作を図２と図３を参照して説
明する。雑音の重畳した音声信号はステップ１で入力さ
れ、、フーリエ分析部４１に入力される。ステップ２に
おいて、フーリエ分析部４１では入力信号である雑音の
重畳した音声信号に対して１０ｍｓ程度の周期で２０ｍ
ｓ程度の区間の信号を用いてフーリエ分析する。フーリ
エ分析した結果は実数部と虚数部からなる複素数で構成
されるため、これを振幅と位相に変換する。フーリエ分
析での各周波数に対応する振幅情報はフーリエ係数バッ
ファ４２に出力される。ステップ３において、フーリエ
係数バッファ４２では、入力された過去３フレーム程度
の振幅情報を記憶しておく。記憶の際にはバッファの容
量が有限のため、一番過去の振幅情報を消去して、最新
の振幅情報を記憶することで最新から３フレーム程度の
振幅情報を記憶する。スペクトル平滑化処理部４３では
（数１）のようにフーリエ係数バッファ４２に記憶され
ている最新Ｋフレーム分の各周波数に対応する振幅情報
Ｘ（ｉ，ｋ）の平均をとり、雑音が重畳する音声信号か
ら雑音がランダムに変化することを利用して変動のない
雑音の重畳した音声信号Ｘｄ（ｉ）を推定する。

【００１７】

【数１】

【００１８】ステップ４では、音声区間検出部４８にお
いて、現在の分析データが音声であるか、雑音であるか
の判定を、現在の入力信号のパワーの時間的変化から求
める。（数２）に示すように前の分析フレームのパワー
と現在の分析フレームのパワーの比がパワー比の閾値Ｔ
Ｈｐよりも大きい時、音声が始まったと判定する。

【００１９】

【数２】

【００２０】また、（数３）に示すように、閾値よりも
小さい状態が（数４）に示すように継続時間の閾値ＴＨ
ｄより続いた時に、音声の終了と判断する。

【００２１】

【数３】

【００２２】

【数４】

【００２３】ステップ５において、雑音スペクトル記憶
部４６で記憶している雑音信号Ｎ（ｉ）は雑音スペクト
ル更新部４７により更新される。雑音信号Ｎ（ｉ）は
（数５）のようにスペクトル平滑化処理部４３の出力の
各周波数に対応する振幅情報Ｘｄ（ｉ）と、後で示すＥ
（ｉ）を用いて計算される。

【００２４】

【数５】

【００２５】ステップ５において、雑音スペクトル更新
部４７で用いている値μは音声区間検出部４８の結果に
より（数６）に従って変化する。（数５）のように雑音
信号Ｎ（ｉ）は雑音が入力されている間は入力雑音に適
応して変化し、雑音の重畳した音声が入力されている間
は、直前までに適応した雑音信号を保持するように、音
声区間検出部４８で入力信号が雑音であると判定された
時にはゼロでない定数を、音声が入力された時にはゼロ
とする。

【００２６】

【数６】

【００２７】音声区間検出部４８において、音声と判定
されたときは、ケプストラム処理部４５では、ステップ
６において（数７）のようにスペクトル平滑化処理部４
３からの音声信号Ｘｄ（ｉ）から雑音スペクトル記憶部
４６に記憶さている雑音信号Ｎ（ｉ）を引いた値Ｅ
（ｉ）を求め、ステップ７でケプストラム分析する。

【００２８】

【数７】

【００２９】ケプストラム係数ｃ（ｉ）は（数８）のよ
うに複素数Ｅ（ｉ）の大きさを求め、その対数をとって
逆フーリエ変換することにより求め、ステップ８で雑音
除去・特徴抽出部３２の出力とする。

【００３０】

【数８】

【００３１】以上のようにして、図１における雑音除去
・特徴抽出部３２において、音声の始端、終端の検知を
行い、雑音の重畳した音声から周囲雑音が除かれた信号
の周波数分析結果としてケプストラム係数が得られる。

【００３２】さらに、音声のスペクトルの同時マスキン
グによる効果を考慮にいれた雑音除去部の構成を図４に
示す。図４は本発明の一実施例の音声認識装置の雑音除
去部のブロック図、図５は同音声認識装置のマスキング
効果を示す図である。図４において、同時マスキング処
理部５４が追加されている。同時マスキング処理部５４
ではスペクトル平滑化処理部５３の出力の各周波数に対
応する振幅情報Ｘｄ（ｉ）を入力とし、以下に述べる同
時マスキング処理を行った出力を雑音スペクトル記憶部
５６で記憶している各周波数に対応する振幅情報Ｎ
（ｉ）との差をとる。同時マスキング処理は図５に示す
ような同時マスキング効果を実現する。その根拠は聴覚
器官である耳のうち、最も末端で周波数分析を行う基底
膜上の音を検知する有毛細胞の興奮パターンである。単
一の音に対して図５に相当するような各周波数に対応す
る有毛細胞の興奮を行うことがわかっている。これに対
応して、周波数フーリエ分析した各周波数の振幅に対し
て、同時マスキングにより中心周波数に隣接する周波数
の振幅もある割合で入力されたものとみなし、同時マス
キング効果を実現することができる。毎フレームのスペ
クトル平滑化処理部５３の出力の各周波数に対応する振
幅情報Ｘｄ（ｉ）に対して、それぞれの周波数の成分に
ついて図５に相当する範囲で隣接する各周波数の振幅を
計算する。（数９）に示すように、それぞれの周波数の
成分について求めたものを全部加算し、同時マスキング
の影響による各周波数に対応する振幅情報Ｘｄ’（ｉ）
とする。

【００３３】

【数９】

【００３４】ここで、Ｐ（ｉ，ｊ）は中心周波数をｉと
するマスキングパタンにおいて、中心周波数のマスキン
グレベルに対する周波数ｊのマスキングレベルの比であ
る。これ以降の処理は先に述べたＸｄ（ｉ）の代わりに
Ｘｄ’（ｉ）を用いて処理を行うことになる。

【００３５】

【発明の効果】以上のように本発明は、雑音の推定量を
計算するための明確な手段を提供することができ、音声
の基本周波数を求める必要のない音声認識装置を実現で
きる。さらに従来の雑音除去部では、フーリエ分析し、
周波数領域で雑音除去処理を行い、次に逆フーリエ変換
で雑音の除去波形を求めてから特徴抽出していたのに対
し、本発明ではフーリエ変換し、雑音除去処理をした周
波数特徴量を波形に戻さずに特徴抽出することにより、
雑音除去処理と特徴抽出処理の削減を図ることができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例の音声認識装置の構成を示す
ブロック図

【図２】本発明の一実施例の音声認識装置の雑音除去・
特徴抽出部のブロック図

【図３】本発明の一実施例の音声認識装置の雑音除去・
特徴抽出部の動作のフローチャート

【図４】本発明の一実施例の音声認識装置の雑音除去部
のブロック図

【図５】本発明の一実施例の音声認識装置のマスキング
効果を示す図

【図６】従来の音声認識装置の構成を示すブロック図

【図７】従来の音声認識装置の雑音除去部のブロック図

【図８】従来の音声認識装置の雑音除去部のブロック図

【符号の説明】

３２雑音除去・特徴抽出部３４類似度比較部３５判定処理部３６標準パタン辞書４１フーリエ分析部４２，５２フーリエ係数バッファ４３，５３スペクトル平滑化処理部５４同時マスキング処理部４５，５５ケプストラム処理部４６，５６雑音スペクトル記憶部４７，５７雑音スペクトル更新部４８，５８音声区間検出部

Claims

【特許請求の範囲】

【請求項１】音声認識において、所定時間間隔のフレー
ム毎に環境雑音及び入力音声の分析をし、雑音を除去し
た特徴量の時系列を抽出する雑音除去・特徴抽出部と、
あらかじめ発声された単語音声から特徴を抽出した特徴
量の時系列を格納した辞書と、入力された特徴量の時系
列と辞書の複数の単語の特徴量の時系列を比較し、各単
語の類似度を計算する類似度計算部と、各単語の類似度
から最も類似した単語を選択する判定処理部とを備え、前記雑音除去・特徴抽出部において、環境雑音を常時入
力し、特徴分析する分析部と雑音及び雑音の重畳した音
声のスペクトルを時間方向に平滑化するスペクトル平滑
化処理部と、入力雑音の雑音スペクトルを記憶する雑音
スペクトル記憶部と、入力雑音に追従するように雑音ス
ペクトルを更新する雑音スペクトル更新部を有し、前記
平滑化処理部から出力されるスペクトルから前記雑音ス
ペクトル記憶部において入力雑音に追従するように更新
されている雑音スペクトルを減算することを特徴とする
音声認識装置。
【請求項２】前記スペクトル平滑化処理の処理後、所定
時間間隔のフレーム毎に求めたスペクトルの各周波数に
ついて、該当周波数のスペクトル成分に対応するマスキ
ングパタンを求め、該当周波数に隣接する周波数のスペ
クトルを計算し、全周波数について各周波数に対応する
マスキングパタンによる総和を用いて入力雑音の推定を
行うことと雑音の重畳した音声から前記雑音スペクトル
記憶部に記憶されている雑音スペクトルの減算を行うこ
とを特徴とする請求項１記載の音声認識装置。