JP4456504B2

JP4456504B2 - 音声雑音判別方法および装置、雑音低減方法および装置、音声雑音判別プログラム、雑音低減プログラム

Info

Publication number: JP4456504B2
Application number: JP2005062200A
Authority: JP
Inventors: 賢一野口; 澄宇阪内; 陽一羽田; 章俊片岡
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2004-03-09
Filing date: 2005-03-07
Publication date: 2010-04-28
Anticipated expiration: 2025-03-07
Also published as: JP2005292812A

Description

この発明は、音声雑音判別方法および装置、雑音低減方法および装置、音声雑音判別プログラム、雑音低減プログラム、およびプログラムの記録媒体に関する。

雑音低減装置の従来例１としては、例えば、定常雑音に対する雑音低減装置がある（特許文献１参照）。これを図６を参照して簡単に説明しておく。目的信号である音声信号Ｓ（ｎ）と空調などの不要な周囲雑音Ｎ（ｎ）とが入力信号Ｘ（ｎ）＝Ｓ（ｎ）＋Ｎ（ｎ）として入力される。ここで、ｎは信号の時間表現を離散時間として表わす整数値である。この入力信号Ｘ（ｎ）は、周波数領域変換部６１で、例えば短時間毎の離散フーリエ変換により周波数領域信号Ｘ（ω）に変換される。ωは周波数を表わす。入力信号パワースペクトル計算部６２で周波数領域信号Ｘ（ω）のパワースペクトルＰａｖｘ（ω）が計算され、また、雑音パワースペクトル推定部６３で周波数領域信号Ｘ（ω）内の雑音パワースペクトルＰａｖｎ（ω）が推定される。損失計算部６４ではＰａｖｘ（ω）、Ｐａｖｎ（ω）を用いて損失値Ｌ（ω）が計算され、損失挿入部６５に転送される。損失挿入部６５では、損失計算部６４において計算された損失値Ｌ（ω）を用いてＹ（ω）＝Ｌ（ω）×Ｘ（ω）の計算により、雑音を低減した出力Ｙ（ω）を出力する。出力Ｙ（ω）は時間領域変換部６６において、時間領域に変換され、雑音を低減した信号Ｙ（ｎ）が出力される。

従来例１によれば定常雑音を低減することはできる。しかし、非定常雑音に対しては、雑音パワーの時間的変動が大きいので低減することは困難である。
従来例２としては、非定常雑音を含む雑音区間を判別する雑音低減装置がある（特許文献２参照）。これを図７を参照して簡単に説明しておく。マイクロホンアレー装置より成る第１の受音器７１は、複数のマイクロホン素子によって構成されるマイクロホンアレー７２と指向性制御部７３とで構成される。７４は第２の受音器で、この二つの受音器は同一の場所に設置されている。指向性制御機能を持つマイクロホンアレー装置の代表例は適応形アレーと呼ばれている受音器である。適応形アレーは雑音源の方向に感度の低い指向特性を実現する。これにより、雑音源の位置、発声者の移動に対してもＳＮ比の変動を小さく保つことができる。即ち、第１の受音器出力は第２の受音器出力と比較して、ＳＮ比の大きい信号を出力する。

雑音の重畳した音声はマイクロホンアレー７２により受音される。このマイクロホンアレー７２の出力信号は指向性制御部７３に入力され、第１の信号ｘ₁を発生する。一方、マイクロホンアレー７２を構成する一つのマイクロホン素子の出力をｘ₂とする。この時、指向性制御部７３による指向性制御の結果、ｘ₁におけるＳＮ比はｘ₂におけるＳＮ比より大きいものとなっている。次に、短時間パワー計算部７５、７６において、それぞれｘ₁およびｘ２の短時間パワーＰ₁およびＰ₂を計算して出力する。音声区間検出部７７では二つの信号のパワーの差分を求めることで、音声区間を検出することができる。

従来例２によれば、非定常雑音が重畳した音声に対しても、音声区間の検出を行うことができる。また、マイクロホンアレーを用いて雑音源方向に感度の低い指向特性を形成することで、雑音低減を行うことができる。しかし、マイクロホンを複数設置する必要がある。
特開平９−２５８７９２号公報特許第２９１３１０５号明細書

従来例１のような定常雑音に対する雑音低減装置は、１入力で音声に重畳した定常雑音を低減することができるが、時間的変動の大きい非定常雑音を低減することはできない。従来例２のような複数のマイクロホンを用いた雑音低減装置は、指向性制御により非定常雑音に関わらず音声区間を検出することができる。また、雑音源方向に感度の低い指向特性を形成することで、雑音低減を行うことができる。しかし、マイクロホンを複数設置する必要がある。一般的な通信、収音装置は、マイクロホン数は１本であり、ハードウェア規模、処理演算量の増大を避けるためにも１入力による雑音低減装置が望まれる。

この発明は、１入力で入力信号中に音声および、非定常雑音を含む雑音が存在するか否かを判別し、また、判別した結果を用いて非定常雑音を含む雑音を低減する、音声雑音判別方法および装置、雑音低減方法および装置、音声雑音判別プログラム、雑音低減プログラム、およびプログラムの記録媒体を提供する。

請求項１：目的となる音声信号と不要な雑音信号の混在する音声雑音混在信号に対して、信号の周期性を表す特徴量と信号の周波数帯域の高域の変動を表す特徴量を計算する複数特徴量計算ステップと、前記音声雑音混在信号が音声区間であるか非音声区間であるかを判定する音声区間判定ステップと、前記音声区間判定ステップにより、前記音声雑音混在信号が音声区間であると判別された場合のうち、前記信号の周期性を表す特徴量と所定の第２の閾値との比較により前記音声雑音混在信号の周期性が小さく、かつ、前記周波数帯域の高域の変動を表す特徴量と所定の第３の閾値との比較により前記音声雑音混在信号の前記変動が大きい音声区間は前記音声雑音混在信号中に突発性雑音が存在すると判定し、前記以外の音声区間は前記音声雑音混在信号中に突発性雑音が存在しないと判定する突発性雑音判定ステップとを有する音声雑音判別方法を構成した。
請求項２：前記複数特徴量計算ステップは、前記音声雑音混在信号のケプストラムのピーク値を求めて前記信号の周期性を表す特徴量とするケプストラム計算ステップと、前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求めて該組の代表値として、前記代表値に高域であるほど大きくなる重みを乗算したＭ個の値を要素とする特徴ベクトルを生成し、現フレームと直前フレームの前記特徴ベクトルとの相関値の逆数を求めて前記周波数帯域の高域の変動を表す特徴量とする周波数特性計算ステップを有し、前記突発性雑音判定ステップは、前記信号の周期性を表す特徴量が所定の第２の閾値より小さく、かつ、前記周波数帯域の高域の変動を表す特徴量が第３の閾値より大きい場合に、現フレームに突発性雑音が存在すると判定し、前記以外の場合であれば現フレームに突発性雑音が存在しないと判定する請求項１に記載の音声雑音判別方法を構成した。

請求項３：前記複数特徴量計算ステップは、前記音声雑音混在信号のパワーレベルを求めるパワー計算ステップをさらに有し、前記音声区間判定ステップは、前記パワーレベルが第４の閾値より大きい期間が第５の閾値より短い期間である場合に、前記音声雑音混在信号を無音であると判定し、前記以外の場合のうち前記ケプストラム計算ステップによる値が所定の第５の閾値より大きい場合に、前記音声雑音混在信号を音声区間であると判定し、前記以外の場合のうち前記ケプストラム計算ステップによる値が所定の第５の閾値より小さい場合に、前記音声雑音混在信号を非音声区間であると判定する請求項２に記載の音声雑音判別方法を構成した。
請求項４：請求項２または３に記載される音声雑音判別方法の全ステップを有し、前記音声区間判定ステップにおいて前記音声雑音混在信号が非音声区間であると判定された場合は、何も出力せず、前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在しないと判定された場合は、現フレームの前記音声雑音混在信号をそのまま出力し、前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在すると判定された場合は、現フレームの直前フレームの音声の周期波形を現フレームの突発性雑音が存在すると判定された位置に繰り返し挿入する複数雑音低減ステップをさらに有する雑音低減方法を構成した。

請求項５：請求項２または３に記載される音声雑音判別方法の全ステップを有し、前記音声区間判定ステップにおいて前記音声雑音混在信号が非音声区間であると判定された場合は、何も出力せず、前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在しないと判定された場合は、現フレームの前記音声雑音混在信号をそのまま出力し、さらに音声平均スペクトルを計算し、前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在すると判定された場合は、出力信号のパワースペクトルが前記音声平均スペクトルとなるよう現フレームの前記音声雑音混在信号のパワースペクトルを抑圧する複数雑音低減ステップをさらに有する雑音低減方法を構成した。
請求項６：前記複数雑音低減ステップにおける前記音声平均スペクトルは、前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求め、前記平均値と所定の音声平均パワースペクトルとの平均とすることを特徴とする請求項５に記載の雑音低減方法を構成した。

請求項７：目的となる音声信号と不要な雑音信号の混在する音声雑音混在信号に対して、信号の周期性を表す特徴量と信号の周波数帯域の高域の変動を表す特徴量を計算する複数特徴量計算部と、前記音声雑音混在信号が音声区間であるか非音声区間であるかを判定する音声区間判定部と、前記音声区間判定部により、前記音声雑音混在信号が音声区間であると判別された場合のうち、前記信号の周期性を表す特徴量と所定の第２の閾値との比較により前記音声雑音混在信号の周期性が小さく、かつ、前記周波数帯域の高域の変動を表す特徴量と所定の第３の閾値との比較により前記音声雑音混在信号の前記変動が大きい音声区間は前記音声雑音混在信号中に突発性雑音が存在すると判定し、前記以外の音声区間は前記音声雑音混在信号中に突発性雑音が存在しないと判定する突発性雑音判定部とを有する音声雑音判別装置を構成した。

請求項８：前記複数特徴量計算部は、前記音声雑音混在信号のケプストラムのピーク値を求めて前記信号の周期性を表す特徴量を計算するケプストラム計算部と、前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求めて該組の代表値として、前記代表値に高域であるほど大きくなる重みを乗算したＭ個の値を要素とする特徴ベクトルを生成し、現フレームと直前フレームの前記特徴ベクトルとの相関値の逆数を求めて前記周波数帯域の高域の変動を表す特徴量を計算する周波数特性計算部と、前記信号の周期性を表す特徴量が所定の第２の閾値より小さく、かつ、前記周波数帯域の高域の変動を表す特徴量が第３の閾値より大きい場合に、現フレームに突発性雑音が存在すると判定し、前記以外の場合であれば現フレームに突発性雑音が存在しないと判定する突発性雑音判定部とを具備することを特徴とする請求項７に記載の音声雑音判別装置を構成した。

請求項９：前記複数特徴量計算部は、前記音声雑音混在信号のパワーレベルを求めるパワー計算部をさらに有し、前記音声区間判定部は、前記パワーレベルが第４の閾値より大きい期間が第５の閾値より短い期間である場合に、前記音声雑音混在信号を無音であると判定し、前記以外の場合のうち前記ケプストラム計算部による値が所定の第５の閾値より大きい場合に、前記音声雑音混在信号を音声区間であると判定し、前記以外の場合のうち前記ケプストラム計算部による値が所定の第５の閾値より小さい場合に、前記音声雑音混在信号を非音声区間であると判定する音声区間判定部とをさらに有することを特徴とする請求項８に記載の音声雑音判別装置を構成した。

請求項１０：請求項８または９に記載される音声雑音判別装置の全ての処理部を有し、前記音声区間判定部において前記音声雑音混在信号が非音声区間であるとする判定信号が出力された場合は、信号抑圧ゲインを０、繰り返し回数を０とし、前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在しないとする判定信号が出力された場合は、信号抑圧ゲインを１、繰り返し回数を０とし、前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在するとする判定信号が出力された場合は、信号抑圧ゲインを１、繰り返し回数を所定値Rする低減変数計算部と、前記低減変数計算部で出力された信号抑圧ゲインを現フレームの前記音声雑音混在信号に乗算する信号抑圧部と、前記低減変数計算部で出力された繰り返し回数だけ現フレームの直前のフレームの音声の周期波形を、現フレームの突発性雑音が存在すると判定された位置に繰り返し挿入する周期波形挿入部をさらに有する雑音低減装置を構成した。

請求項１１：請求項８または９に記載される音声雑音判別装置の全ての処理部を有し、前記音声区間判定部において前記音声雑音混在信号が非音声区間であるとする判定信号が出力された場合は、第１の判定フラグを帯域別抑圧部に転送すると共に信号抑圧ゲインを０とし、前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在しないとする判定信号が出力された場合は、第２の判定フラグを帯域別抑圧部に転送すると共に信号抑圧ゲインを１とし、前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在するとする判定信号が出力された場合は、第３の判定フラグを前記帯域別抑圧部に転送すると共に信号抑圧ゲインを１とする低減変数計算部と、前記低減変数計算部で出力された信号抑圧ゲインを現フレームの前記音声雑音混在信号に乗算して出力する信号抑圧部と、第１の判定フラグを受信した場合は何もせず、第２の判定フラグを受信した場合は音声平均パワースペクトルを計算して記憶し、第３の判定フラグを受信した場合は現フレームの前記音声雑音混在信号を前記記憶している音声平均パワースペクトルまで低減して出力する帯域別抑圧部とをさらに有する雑音低減装置を構成した。

請求項１２：前記複数雑音低減部における前記音声平均スペクトルは、前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求め、前記平均値と所定の音声平均パワースペクトルとの平均とすることを特徴とする請求項１１に記載の雑音低減装置を構成した。

請求項１３：請求項７乃至９のいずれかに記載の音声雑音判別装置としてコンピュータを機能させるプログラムを構成した。

請求項１４：請求項１０乃至１２のいずれかに記載の雑音低減装置としてコンピュータを機能させるプログラムを構成した。

この発明は、入力信号に対する複数の特徴量を計算し分析することで、入力信号中に音声および、非定常雑音を含む雑音が存在するか否かを判別することができる。更に、雑音が存在する場合、分析した結果を用いて複数の雑音低減装置を組み合わせることで、雑音の種類に応じた雑音低減をすることができる。また、この発明は、１入力による処理を実現しているので、既存の通信、収音装置に組み合わせて使用することが容易となる。

発明を実施するための最良の形態を図を参照して説明する。図１は雑音低減装置の実施例を説明するブロック図である。
図１を参照するに、先ず、目的とする信号と不要な周囲雑音の混入する入力信号を複数特徴量計算部１１に転送する。複数特徴量計算部１１は、入力信号に対する特徴量を計算する特徴量計算部１２を複数組み合わせたものより成る。複数特徴量計算部１１は入力信号に対す種々の特徴量を計算し、それら複数の特徴量を特徴量分析部１３に転送する。特徴量分析部１３は複数の特徴量と入力信号を用いて入力信号の状態、特性を推定し、推定された入力信号の状態、特性の情報を低減変数計算部１４に転送する。低減変数計算部１４は、入力信号および特徴量分析部１３で推定された入力信号の状態、特性の情報に応じて、雑音低減効果が最適となるように複数雑音低減部１５の各雑音低減部１６の低減変数を決定し、各雑音低減部１６に転送する。

一方、入力信号は複数雑音低減部１５にも転送する。複数雑音低減部１５は、低減変数計算部１４で計算された低減変数を用いて入力信号に対して雑音低減を施す雑音低減部１６を複数組み合わせたものより成る。複数雑音低減部１５は、入力信号に対して種々の雑音低減を施し、低減された各信号を出力する。
複数雑音低減部１６で出力された各信号を入力信号に存在する雑音に応じて各雑音低減部１６が効果的に働くように重みを付ける。更に、全て足し合わせて規格化し、出力信号として出力する。

図２を参照して他の実施例を説明する。この実施例においては、音声通信を想定し、入力信号Ｘ（ｎ）が音声か非音声か、突発性雑音が存在するか否かを判別し、突発性雑音を低減する。ここで、ｎは信号の時間表現を離散時間として表わす整数値である。
先ず、入力信号Ｘ（ｎ）を複数特徴量計算部１１に転送する。複数特徴量計算部１１は、パワー計算部２１、ケプストラム計算部２２、周波数特性計算部２３の各特徴量計算部より成る。各特徴量計算部で計算された特徴量は特徴量分析部１３に転送される。ここでは、各特徴量計算部として、パワー、ケプストラム、周波数特性を用いて特徴量を計算するが、他にも自己相関関数、ウェーブレット変換を用いた解析、パターン認識、線形予測、零交差計数、帯域フィルタバンク分析などを用いて音声、雑音の特徴量を計算する特徴量計算部を用いてもよい。

パワー計算部２１は入力信号のパワーレベルを計算し、それを特徴量として出力する。パワーレベルは、ＰＸ（ｎ）＝Ｘ（ｎ）² で求められる。時間平均は、例えば、
Ｐａｖｘ（ｎ）＝（１／Ａ）Σ_mγ_mＰＸ（ｎ−ｍ）と計算される。ここで、γ_mは、例えば、γ_m＝（γ）^m と表わされる様な指数重み付けの係数で、γ＜１、Ａは（１／Ａ）Σ_mγ_m＝１となる正規化のための定数である。パワー計算部２１はＰａｖｘ（ｎ）を特徴量として音声区間判定部２４に転送する。
ケプストラム計算部２２は入力信号のケプストラムを計算し、信号の周期性を表わすピーク値を特徴量として出力する。ケプストラムは、例えば、古井貞煕著「ディジタル音声処理」ｐ．４４−４７に説明されている波形の短時間振幅スペクトル｜Ｘ（ω）｜の対数の逆フーリエ変換によって求められる。ケプストラムの高ケフレンシー部のピークは基本周期を表わしており、このピークの値を特徴量Ｃ１として音声区間判定部２４、突発性雑音判定部２５に転送する。

周波数特性計算部２３は周波数特性の高域の変動を特徴とする値を計算し、これを特徴量として出力する。一般に、音声の周波数特性において、有声音は基本周波数の存在する低域にピークがある。一方、突発性雑音の周波数特性は平坦である。よって、高域の変動に突発性雑音の特徴があると考えられるからである。
その処理フローを図３に示す。先ず、Ｓ２１において、入力信号Ｘ（ｎ）を時間窓を用いて一定区間毎のフレームに分割する。次に、Ｓ２２において、例えば、短時間毎の離散フーリエ変換により周波数領域信号Ｘ（ω）に変換する。一般に、周波数領域に変換された信号は複素数であり、Ｘ（ω）＝Ｘ_r（ω）＋ｊＸ_i（ω）とする。次に、Ｓ２３において、周波数帯域のパワースペクトルＰ_X（ω）を求める。パワースペクトルはＰ_X（ω）＝（Ｘ_r（ω））²＋（Ｘ_i（ω））²により計算される。次に、Ｓ２４において、パワースペクトルをＭ個の帯域に分割する。例えば、ナイキスト周波数までの周波数帯域を等分割することを考える。次に、Ｓ２５において、帯域毎にパワースペクトルの平均値を求め、帯域毎の代表値とする。更に、Ｓ２６において、帯域毎の代表値に対して、高域での影響が大きくなるように重みｗ_m（ｍ＝１、… 、Ｍ）を乗じる。ｗ_mには、例えば、ｗ_m＝ｓｉｎ（π（ｍ−１）／２（Ｍ−１））で計算されるｓｉｎ関数を用いる。Ｍ個の帯域毎の代表値を一つの特徴ベクトルとし、Ｖ_lとする。添え字のｌは現処理フレームを表す。Ｓ２７において、直前フレームの特徴ベクトルとの間の相関を特徴量Ｃ２とする。Ｃ２はパワーを考慮に入れ、Ｃ２＝（｜Ｖ_l｜²・｜Ｖ_l-1｜²）／（Ｖ_l・Ｖ_l-1）と計算する。Ｓ２８において、特徴量Ｃ２を突発性雑音判定部２５に転送する。

特徴量分析部１３は、複数特徴量計算部１１より送られてきた複数の特徴量と入力信号を用いて入力信号の状態、特性を推定し、推定された入力信号の状態、特性の情報を低減変数計算部１４に転送する。ここでは、特徴量分析部１３は音声区間判定部２４と突発性雑音判定部２５より成る。音声区間判定部２４は入力信号が音声か非音声かを判定し、それぞれに対応するフラグを低減変数計算部１４に転送する。突発性雑音判定部２５は、突発性雑音が存在するか否かを判定し、それぞれに対応するフラグを低減変数計算部１４に転送する。

音声区間判定部２４は、入力信号のパワーレベルを用いて、入力信号が音声か非音声かを判定する。ここでは、先ず、音声区間パワー計算部２１より転送されてきたＰａｖｘ（ｎ）がしきい値Ｔ１を超えたときにフラグＦ１をたてる。フラグＦ１がしきい値Ｔ２以上続くとき、入力信号の状態として有音であると推定する。そうでない場合、無音であると推定し、フラグＦ３を低減変数計算部１４、突発性雑音判定部２５に転送する。有音であり、かつケプストラム計算部２２より転送されてきた特徴量Ｃ１がしきい値Ｔ３より大きいときは周期性があり音声区間と推定し、フラグＦ２を低減変数計算部１４、突発性雑音判定部２５に転送する。特徴量Ｃ１がしきい値Ｔ３より小さいときは非音声区間と推定し、フラグＦ３を低減変数計算部１４、突発性雑音判定部２５に転送する。

突発性雑音判定部２５の処理フローを図４を参照して説明する。突発性雑音判定部２５は、音声区間判定部２４より転送されてきたフラグがＦ３であれば、非音声と推定されているので、何も出力をしない（Ｓ４２）。音声区間判定部２４より転送されてきたフラグがＦ２であれば、音声と推定されており処理を行う（Ｓ４３）。突発性雑音判定部２５は、転送されてきたケプストラムによる特徴量Ｃ１と周波数特性による特徴量Ｃ２を用いて処理フレーム内に突発性雑音が存在するか否か、存在する場合はフレーム内のどこから突発性雑音が存在するかを推定する。特徴量Ｃ１は信号の周期性を表しており、値が小さいほど突発性雑音が存在していると考えられる。特徴量Ｃ２は信号の周波数帯域の高域の変動を表しており、値が大きいほど突発性雑音が存在していると考えられる。そこで、Ｃ１がしきい値Ｔ４より小さく、Ｃ２がしきい値Ｔ５より大きいとき処理フレーム内に突発性雑音が存在すると推定し、フラグＦ４をたてる（Ｓ４５）。次に、処理フレームの原信号の絶対値をとり、最も大きい値を持つ位置Ｓ１を突発性雑音の存在する位置と推定する（Ｓ４６）。Ｓ１よりマージンＭ１前のＳ２を突発性雑音のはじまる位置と推定し、Ｓ２とフラグＦ４を低減変数計算部１４に転送する（Ｓ４７）。一方、Ｃ１がしきい値Ｔ４より大きいか、Ｃ２がしきい値Ｔ５より小さいとき、処理フレーム内に突発性雑音は存在しないと推定してフラグＦ５を低減変数計算部１４に転送する（Ｓ４４）。

低減変数計算部１４は、入力信号および転送されてきた入力信号の状態、特性の情報を用いて、複数雑音低減部１６の低減変数を決定する。ここでは、特徴量分析部１３より転送される音声か非音声か、音声であれば突発性雑音が存在するか否かのフラグを用いて、信号抑圧部２６の信号抑圧ゲインＧ、周期波形挿入部２７の繰り返し回数Ｒを決定する。
低減変数計算部１４の処理フローを図５に示す。先ず、音声区間判定部２４から転送されてきたフラグがＦ３であるとき信号は非音声と推定されているので、信号を完全に抑圧する。信号抑圧ゲインＧ＝０、繰り返し回数Ｒ＝０として、それぞれ信号抑圧部２６、周期波形挿入部２７に転送する（Ｓ５２）。一方、音声区間判定部２４から転送されてきたフラグがＦ２であるとき、信号は音声と推定されているので、突発性雑音の存在を確認する（Ｓ５３）。突発性雑音判定部２５から転送されてきたフラグがＦ５であるとき、突発性雑音は存在しないと推定されているので、信号をそのまま通す。信号抑圧ゲインＧ＝１、繰り返し回数Ｒ＝０として、それぞれ信号抑圧部２６、周期波形挿入部２７に転送する（Ｓ５４）。一方、突発性雑音判定部２５から転送されてきたフラグがＦ４であるとき、突発性雑音は存在すると推定されているので、突発性雑音の低減を行う。信号抑圧ゲインＧ＝１、繰り返し回数Ｒ＝Ｒ１として、それぞれ信号抑圧部２６、周期波形挿入部２７に転送する（Ｓ５５）。同時に突発性雑音判定部２５より転送されてきた突発性雑音の始まる位置Ｓ２を周期波形挿入部２７に転送する。

複数雑音低減部１５では、低減変数計算部１４から転送されてきた低減変数を用いて、各低減変数部において入力信号の雑音低減処理を行う。ここでは、複数雑音低減部１５は信号抑圧部２６と周期波形挿入部２７より成る。また、各雑音低減部において、従来例１のような定常雑音に対する雑音低減装置、しきい値以下のレベルの信号を抑圧するセンタークリップ、周波数領域でしきい値以上の帯域を抑圧する処理などを用いて雑音低減処理を行うことも考えられる
信号抑圧部２６は、入力信号全体の抑圧を行う。転送されてきた入力信号Ｘ（ｎ）に対して、低減変数計算部１４より転送されてきた信号抑圧ゲインＧを用いて、ＧＸ（ｎ）を出力とする。

周期波形挿入部２７は、突発性雑音の存在する直前の音声の周期波形を突発性雑音の存在する位置に繰り返し挿入することで、突発性雑音の低減を行う。この周期波形の挿入には、「ＪＴ−Ｇ７１１音声周波数帯域信号のＰＣＭ符号化方式付録１標準ＪＴ−Ｇ７１１向けパケット損失補償のための高品質低演算量アルゴリズム」で説明されている方法を用いる。先ず、低減変数計算部１４より転送されてきたＳ２を消失開始点として、直前の周期を検出する。消失開始点より５／４周期前から１周期前までの１／４周期と、消失開始点直前の１／４周期を三角窓をかけてＯＬＡ（オーバーラップ加算）する。続いて、消失開始点直前の１周期分を用いて、低減変数計算部１４より転送されてきたＲ回繰り返し合成信号を作成し、原信号に挿入する。次のαＲ周期は原信号とのＯＬＡが行われる。αはＯＬＡする区間を調節する定数である。一般的に突発性雑音は減衰が急である。そこで、周期波形挿入の繰り返し回数Ｒを小さく、αを調節してＯＬＡする区間を長くすることで、突発性雑音を低減し、歪みの少ない処理を実現することができる。処理後の波形を出力する。

信号抑圧部２６と周期波形挿入部２７から出力された処理後の信号に対して、入力信号に存在する雑音に応じてそれぞれｗ_a、ｗ_bの重みを乗じる。ここでは、入力信号が非音声のときｗ_a＝１、ｗ_b＝０、音声で突発性雑音が存在しないときｗ_a＝１、ｗ_b＝０、音声で突発性雑音が存在するときｗ_a＝ｐ_a、ｗ_b＝ｐ_bとする。ｐ_a、ｐ_bは周期波形挿入による雑音低減処理の影響を表すパラメータである。重みを乗じた信号を全て足し合わせ規格化し、出力信号として出力する。
この発明の雑音低減装置の各ブロックの処理を、ＤＳＰ（Digital Signal Processor）により行うようにしてもよい。また、コンピュータによりプログラムを実行させることにより機能させてもよい。この場合は、そのプログラムはＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、磁気ディスクなどに記録されたものを、コンピュータ内のプログラム用メモリに取り込んで行うことになる。このプログラム用メモリには、通信によりプログラムをダウンロードさせてもよい。

図８は雑音低減装置の実施例の効果を示す計算機シミュレーションの結果である。図の横軸は時間を、縦軸は振幅を表している。図８（ａ）は音声信号に突発性雑音としてペンで机を叩く音を３回重畳させた信号の波形である。図８（ｂ）は図８（ａ）の信号を入力とし、実施例を計算機を用いてシミュレーションした出力信号の波形を示す。この図に示されるように、実施例を用いることで、音声に重畳した突発性雑音のみを低減することができることがわかる。
図９を参照して雑音低減装置の更なる実施例を説明する。この実施例の構成は、図１、２を参照して説明した実施例の構成にほぼ等しいが、複数雑音低減部１５において、先の実施例の周期波形挿入部２７に代えて、帯域別抑圧部９７を使用する点が異なる。図１、２における特徴量分析部１３までと信号抑圧部９６は、図１、２の実施例の特徴量分析部１３までと信号抑圧部２６と同じ動作をする。

低減変数計算部９８では、入力信号、および複数特徴量計算部１１と特徴量分析部１３を介して転送されてきた入力信号の状態、特性の情報の三者を用いて複:数雑音低減部１５の低減変数を決定する。ここでは、特徴量分析部１３より転送される情報が音声か非音声か、音声であれば突発性雑音が存在するか否かのフラグを用いて、信号抑圧部９６の信号抑圧ゲインＧを決定し、帯域別抑圧部９７にフラグを転送する。先ず、音声区間判定部９４から転送されてきたフラグがＦ３であるとき信号は非音声と推定されているので、信号を完全に抑圧する。信号抑圧ゲインＧ＝０として信号抑圧部９６に転送し、帯域別抑圧部９７にフラグＦ３を転送する。一方、音声区間判定部９４から転送されてきたフラグがＦ２であるとき信号は音声と推定されているので、突発性雑音の存在を確認する。突発性雑音判定部９５から転送されてきたフラグがＦ５であるとき、突発性雑音は存在しないと推定されているので、信号をそのまま通す。信号抑圧ゲインＧ＝１として信号抑圧部９６に転送し、帯域別抑圧部９７にフラグＦ５を転送する。一方、突発性雑音判定部９５から転送されてきたフラグがＦ４であるとき、突発性雑音は存在すると推定されているので、突発性雑音の低減を行う。信号抑圧ゲインＧ＝１として信号抑圧部９６に転送し、帯域別抑圧部９７にフラグＦ４を転送する。

帯域別抑圧部９７では、入力信号を帯域分割し、帯域別に音声の平均レベルまで抑圧することで、突発性雑音の低減を行う。帯域別抑圧部９７の処理フローを図１０を参照して説明する。低減変数計算部９８から転送されてきたフラグがＦ３であるとき信号は非音声と推定されているので、帯域別抑圧部９７では動作をしない（Ｓ１０２）。低減変数計算部９８から転送されてきたフラグがＦ５であるとき信号は音声区間で、突発性雑音は存在しないと推定されているので、音声平均スペクトルの計算を行う。先ず、入力信号X（ｎ）を時間窓を用いて一定区間毎のフレームに分割する。次に、例えば短時間毎の離散フーリエ変換により周波数領域信号Ｘ（ω）に変換する。一般に、周波数領域に変換された信号は複素数であり、X(ω)＝Ｘ_r(ω)＋ｊＸ_i(ω)とする。次に、周波数帯域をパワースペクトルＰ_x(ω)を求める。パワースペクトルはＰ_x(ω)＝Ｘ_r(ω)²＋Ｘ_i(ω)²により計算される(Ｓ１０４)。次に、パワースペクトルをＭ個の帯域に分割する。例えば、ナイキスト周波数までの周波数帯域を１２８個の帯域に等分割することを考える。次に、帯域毎にパワースペクトルの平均値Ｐ_xm（ｋ）(ｋ＝１〜Ｍ)を求め、帯域毎の代表値とする(Ｓ１０５)。求めたパワースペクトルの平均値Ｐ_xm（ｋ）と保存されていた音声平均パワースペクトル値Ｐ_sp（ｋ）との平均Ｐ_sp（ｋ）＝（１−α_sp）Ｐ_xm(ｋ）＋α_sp・Ｐ_sp（ｋ）を計算し、新たに音声平均パワースペクトル値Ｐ_sp（ｋ）として保存する(Ｓ１０６)。ここで、α_sp(０≦α_sp≦１)は忘却係数であり、ここでは、α_sp＝０．９８とする。また、Ｐ_sp（ｋ）の初期値には予め計算しておいた音声の長時間平均スペクトルを用いる。低減変数計算部９８から転送されてきたフラグがＦ４であるとき信号は音声区間で、突発性雑音は存在すると推定されているので、突発性雑音抑圧処理を行う。入力信号のパワースペクトルＰ_x(ω)を求め(Ｓ１０７)、各ωに対して、対応する帯域の音声平均パワースペクトル値Ｐ_sp（ｋ）に重みｗ_Pspを乗じたものと比較する。Ｐｘ(ω)＞ｗ_Psp・Ｐ_sp（ｋ）のとき、雑音抑圧処理出力パワースペクトルＰ_xout(ω)＝ｗ_Psp・Ｐ_sp（ｋ）とし、抑圧する。一方、Ｐ_x(ω)≦ｗ_Psp・Ｐ_sp（ｋ）のとき、Ｐ_xout(ω)＝Ｐ_x(ω)とする(Ｓ１０８)。雑音抑圧処理出力パワースペクトルＰ_xout(ω)を用いて逆フーリエ変換を行い、時間窓を用いてフレーム合成を行い、時間領域信号を出力する。

信号抑圧部９６と帯域別抑圧部９７から出力された処理後の信号に対して、入力信号に存在する雑音に応じてそれぞれｗ_a、ｗ_bの重みを乗じる。ここでは、入力信号が非音声のときｗ_a＝１、ｗ_b＝０、音声で突発性雑音が存在しないときｗ_a＝１、ｗ_b＝０、音声で突発性雑音が存在するときｗ_a＝ｐ_a、ｗ_b＝ｐ_bとする。ｐ_a、ｐ_bは帯域別抑圧の影響を表すパラメータである。重みを乗じた信号を全て足し合わせ規格化し、出力信号として出力する。

実施例を説明する図。他の実施例を説明する図。実施例の周波数特性計算部の処理を説明するフロー図。実施例の突発性雑音判定部の処理を説明するフロー図。実施例の低減変数の導出方法を説明するフロー図。従来例を説明する図。他の従来例を説明する図。実施例の効果を示す計算機シミュレーションの結果。更なる実施例を説明する図。更なる実施例の帯域別抑圧部の処理を説明する処理フロー図。

符号の説明

１１複数特徴量計算部１２特徴量計算部
１３特徴量分析部１４低減変数計算部
１５複数雑音低減部１６雑音低減部
２１パワー計算部２２ケプストラム計算部'
２３周波数特性計算部２４音声区間判定部
２５突発性雑音判定部２６信号抑圧部
２７周期波形挿入部６１周波数領域変換部
６２入力信号パワースペクトル計算部６３雑音パワースペクトル推定部
６４損失計算部６５損失挿入部
６６時間領域変換部７１受音器
７２マイクロホンアレー７３指向性制御部
７４受音器７５、７６短時間パワー計算部
７７音声区間検出部９１パワー計算部
９２ケプストラム計算部９３周波数特性計算部
９４音声区間判定部９５突発性雑音判定部
９６信号抑圧部９７帯域別抑圧部
９８低減変数計算部

Claims

目的となる音声信号と不要な雑音信号の混在する音声雑音混在信号に対して、
信号の周期性を表す特徴量と信号の周波数帯域の高域の変動を表す特徴量を計算する複数特徴量計算ステップと、
前記音声雑音混在信号が音声区間であるか非音声区間であるかを判定する音声区間判定ステップと、
前記音声区間判定ステップにより、前記音声雑音混在信号が音声区間であると判別された場合のうち、前記信号の周期性を表す特徴量と所定の第２の閾値との比較により前記音声雑音混在信号の周期性が小さく、かつ、前記周波数帯域の高域の変動を表す特徴量と所定の第３の閾値との比較により前記音声雑音混在信号の前記変動が大きい音声区間は前記音声雑音混在信号中に突発性雑音が存在すると判定し、前記以外の音声区間は前記音声雑音混在信号中に突発性雑音が存在しないと判定する突発性雑音判定ステップとを有する
ことを特徴とする音声雑音判別方法。
前記複数特徴量計算ステップは、前記音声雑音混在信号のケプストラムのピーク値を求めて前記信号の周期性を表す特徴量とするケプストラム計算ステップと、前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求めて該組の代表値として、前記代表値に高域であるほど大きくなる重みを乗算したＭ個の値を要素とする特徴ベクトルを生成し、現フレームと直前フレームの前記特徴ベクトルとの相関値の逆数を求めて前記周波数帯域の高域の変動を表す特徴量とする周波数特性計算ステップを有し、
前記突発性雑音判定ステップは、前記信号の周期性を表す特徴量が所定の第２の閾値より小さく、かつ、前記周波数帯域の高域の変動を表す特徴量が第３の閾値より大きい場合に、現フレームに突発性雑音が存在すると判定し、前記以外の場合であれば現フレームに突発性雑音が存在しないと判定する
ことを特徴とする請求項１に記載の音声雑音判別方法。
前記複数特徴量計算ステップは、前記音声雑音混在信号のパワーレベルを求めるパワー計算ステップをさらに有し、
前記音声区間判定ステップは、前記パワーレベルが第４の閾値より大きい期間が第５の閾値より短い期間である場合に、前記音声雑音混在信号を無音であると判定し、前記以外の場合のうち前記ケプストラム計算ステップによる値が所定の第５の閾値より大きい場合に、前記音声雑音混在信号を音声区間であると判定し、前記以外の場合のうち前記ケプストラム計算ステップによる値が所定の第５の閾値より小さい場合に、前記音声雑音混在信号を非音声区間であると判定する
ことを特徴とする請求項２に記載の音声雑音判別方法。
請求項２または３に記載される音声雑音判別方法の全ステップを有し、
前記音声区間判定ステップにおいて前記音声雑音混在信号が非音声区間であると判定された場合は、何も出力せず、
前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在しないと判定された場合は、現フレームの前記音声雑音混在信号をそのまま出力し、
前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在すると判定された場合は、現フレームの直前フレームの音声の周期波形を現フレームの突発性雑音が存在すると判定された位置に繰り返し挿入する
複数雑音低減ステップをさらに有する
ことを特徴とする雑音低減方法。
請求項２または３に記載される音声雑音判別方法の全ステップを有し、
前記音声区間判定ステップにおいて前記音声雑音混在信号が非音声区間であると判定された場合は、何も出力せず、
前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在しないと判定された場合は、現フレームの前記音声雑音混在信号をそのまま出力し、
さらに音声平均スペクトルを計算し、
前記音声区間判定ステップにおいて前記音声雑音混在信号が音声区間であると判定され、かつ、突発性雑音判定ステップにおいて現フレームに突発性雑音が存在すると判定された場合は、出力信号のパワースペクトルが前記音声平均スペクトルとなるよう現フレームの前記音声雑音混在信号のパワースペクトルを抑圧する
複数雑音低減ステップをさらに有する
ことを特徴とする雑音低減方法。
前記複数雑音低減ステップにおける前記音声平均スペクトルは、
前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求め、前記平均値と所定の音声平均パワースペクトルとの平均とする
ことを特徴とする請求項５に記載の雑音低減方法。
目的となる音声信号と不要な雑音信号の混在する音声雑音混在信号に対して、
信号の周期性を表す特徴量と信号の周波数帯域の高域の変動を表す特徴量を計算する複数特徴量計算部と、
前記音声雑音混在信号が音声区間であるか非音声区間であるかを判定する音声区間判定部と、
前記音声区間判定部により、前記音声雑音混在信号が音声区間であると判別された場合のうち、前記信号の周期性を表す特徴量と所定の第２の閾値との比較により前記音声雑音混在信号の周期性が小さく、かつ、前記周波数帯域の高域の変動を表す特徴量と所定の第３の閾値との比較により前記音声雑音混在信号の前記変動が大きい音声区間は前記音声雑音混在信号中に突発性雑音が存在すると判定し、前記以外の音声区間は前記音声雑音混在信号中に突発性雑音が存在しないと判定する突発性雑音判定部とを有する
ことを特徴とする音声雑音判別装置。
前記複数特徴量計算部は、
前記音声雑音混在信号のケプストラムのピーク値を求めて前記信号の周期性を表す特徴量を計算するケプストラム計算部と、
前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求めて該組の代表値として、前記代表値に高域であるほど大きくなる重みを乗算したＭ個の値を要素とする特徴ベクトルを生成し、現フレームと直前フレームの前記特徴ベクトルとの相関値の逆数を求めて前記周波数帯域の高域の変動を表す特徴量を計算する周波数特性計算部と、
前記信号の周期性を表す特徴量が所定の第２の閾値より小さく、かつ、前記周波数帯域の高域の変動を表す特徴量が第３の閾値より大きい場合に、現フレームに突発性雑音が存在すると判定し、前記以外の場合であれば現フレームに突発性雑音が存在しないと判定する突発性雑音判定部と
を具備することを特徴とする請求項７に記載の音声雑音判別装置。
前記複数特徴量計算部は、前記音声雑音混在信号のパワーレベルを求めるパワー計算部をさらに有し、
前記音声区間判定部は、前記パワーレベルが第４の閾値より大きい期間が第５の閾値より短い期間である場合に、前記音声雑音混在信号を無音であると判定し、前記以外の場合のうち前記ケプストラム計算部による値が所定の第５の閾値より大きい場合に、前記音声雑音混在信号を音声区間であると判定し、前記以外の場合のうち前記ケプストラム計算部による値が所定の第５の閾値より小さい場合に、前記音声雑音混在信号を非音声区間であると判定する音声区間判定部と
をさらに有することを特徴とする請求項８に記載の音声雑音判別装置。
請求項８または９に記載される音声雑音判別装置の全ての処理部を有し、
前記音声区間判定部において前記音声雑音混在信号が非音声区間であるとする判定信号が出力された場合は、信号抑圧ゲインを０、繰り返し回数を０とし、
前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在しないとする判定信号が出力された場合は、信号抑圧ゲインを１、繰り返し回数を０とし、
前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在するとする判定信号が出力された場合は、信号抑圧ゲインを１、繰り返し回数を所定値Rする低減変数計算部と、
前記低減変数計算部で出力された信号抑圧ゲインを現フレームの前記音声雑音混在信号に乗算する信号抑圧部と、
前記低減変数計算部で出力された繰り返し回数だけ現フレームの直前のフレームの音声の周期波形を、現フレームの突発性雑音が存在すると判定された位置に繰り返し挿入する周期波形挿入部をさらに有する
ことを特徴とする雑音低減装置。
請求項８または９に記載される音声雑音判別装置の全ての処理部を有し、
前記音声区間判定部において前記音声雑音混在信号が非音声区間であるとする判定信号が出力された場合は、第１の判定フラグを帯域別抑圧部に転送すると共に信号抑圧ゲインを０とし、
前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在しないとする判定信号が出力された場合は、第２の判定フラグを帯域別抑圧部に転送すると共に信号抑圧ゲインを１とし、
前記音声区間判定部において前記音声雑音混在信号が音声区間であるとする判定信号が出力され、かつ、突発性雑音判定部において現フレームに突発性雑音が存在するとする判定信号が出力された場合は、第３の判定フラグを前記帯域別抑圧部に転送すると共に信号抑圧ゲインを１とする低減変数計算部と、
前記低減変数計算部で出力された信号抑圧ゲインを現フレームの前記音声雑音混在信号に乗算して出力する信号抑圧部と、
第１の判定フラグを受信した場合は何もせず、第２の判定フラグを受信した場合は音声平均パワースペクトルを計算して記憶し、第３の判定フラグを受信した場合は現フレームの前記音声雑音混在信号を前記記憶している音声平均パワースペクトルまで低減して出力する帯域別抑圧部とをさらに有する
ことを特徴とする雑音低減装置。
前記複数雑音低減部における前記音声平均スペクトルは、
前記音声雑音混在信号をフレーム分割し、フレーム毎に周波数帯域のパワースペクトルを求め、個々のパワースペクトルを複数まとめて所定のＭ個の組を成し、各組毎に前記個々のパワースペクトルから平均値を求め、前記平均値と所定の音声平均パワースペクトルとの平均とする
ことを特徴とする請求項１１に記載の雑音低減装置。
請求項７乃至９のいずれかに記載の音声雑音判別装置としてコンピュータを機能させるプログラム。
請求項１０乃至１２のいずれかに記載の雑音低減装置としてコンピュータを機能させるプログラム。