JP4413175B2 - 非定常雑音判別方法、その装置、そのプログラム及びその記録媒体 - Google Patents

Description

この発明は、目的となる音声信号や音楽信号などの音響信号と不要な雑音信号が混在する入力信号から、非定常雑音が混在する信号区間を判別するための方法、その装置、そのプログラム及びその記録媒体に関する。

例えば音声通信会議において、突発性雑音は通信品質の劣化を招く。そこで、突発性雑音が重畳された音声信号区間を判断し、その音声信号区間が判別されると、その直前の音声周期波形信号をその区間に繰り返し挿入することで突発性雑音の除去を行うことが提案されている。
従来技術として、例えば、非特許文献１に示されている非定常（突発性）雑音区間の判別方法がある。この技術では、一般に有声音の周波数特性は、低周波域にパワーが集中する。一方、非定常（突発性）雑音の周波数特性は平坦である。そこで、音声に非定常雑音が重畳した場合に、周波数特性の高周域のパワーが増大する点に着目する。

図６にこの従来技術の機能構成ブロック図を示す。入力信号ｘ（ｋ）をフレーム分割部６０に転送して、一定時間区間毎のフレームに切り出す。ここでｋは離散的時刻を表す。各々のフレームの入力信号ｘ（ｋ）をフーリエ変換部６２により短時間離散フーリエ変換して、周波数領域信号ｘ（ω）に変換し、この周波数領域信号ｘ（ω）をパワースペクトル変換部６４に転送することにより、パワースペクトルＰ（ω）を求める。次に、このパワースペクトルＰ（ω）を周波数帯域分割部６６に転送し、ナイキスト周波数までの周波数帯域をＮ個の帯域に分割して、各々の分割帯域毎に対応するパワースペクトル計算部６８−１〜６８−Ｎに転送して各分割されたパワースペクトルの平均値［Ｐ_ｎ］を求める。ただしｎ＝１、２、．．．、Ｎである。これらパワースペクトルの平均値［Ｐ_ｎ］を特徴ベクトル形成部７０に転送して、高周波域の影響が大きくなるように重みω_ｎを乗じ、次式で表される特徴ベクトルＶを求める。
Ｖ＝（ω_１［Ｐ_１］、．．．、ω_ｎ［Ｐ_ｎ］、．．．、ω_Ｎ［Ｐ_Ｎ］）
図７にパワースペクトル及び特徴ベクトルの比較を示す。ここでは、周波数帯域を１６に分割し、重みには次式のｓｉｎ関数を用いた。
ω_ｎ＝ｓｉｎ｛π（ｎ−１）／２（Ｎ−１）｝
図７において、横軸は周波数を、縦軸はパワーをそれぞれ表し、図の実線と●印は突発性雑音が重畳した音声区間のパワースペクトルと特徴ベクトルを構成する分割帯域毎の成分を表し、点線と○印は音声のみの区間のパワースペクトルと特徴ベクトルを構成する分割帯域毎の成分を表す。突発性雑音が重畳したときに高周波域のパワーが増大し、音声のみの区間の特徴ベクトルとに差が出ることがわかる。

現処理フレームｍと直前フレームｍ−１の特徴ベクトルＶ_ｍとＶ_ｍ―１の相関を使った特徴量をＣとする。上記特徴ベクトルＶ_ｍとＶ_ｍ―１を特徴量計算部７２に転送して、これらの特徴ベクトルのパワーを考慮に入れ、特徴量Ｃを次式で求める。
Ｃ＝（｜Ｖ_ｍ｜^２｜Ｖ_ｍ−１｜^２）／（Ｖ_ｍ・Ｖ_ｍ−１）
特徴量Ｃは、現フレームの特徴ベクトルＶ_ｍと直前フレームの特徴ベクトルＶ_ｍ−１との差に、比例して大きくなる。しきい値レジスタ７４に格納した、しきい値と特徴量Ｃとを、比較部７６で比較し、特徴量Ｃがしきい値以上である場合、現フレームｍに、非定常雑音が存在すると判別する。

前記非特許文献１には、雑音区間の判別方法として、次の方法も示されている。この方法は、有声音の周期性に着目したもので、有声音のケプストラムには、基本周期に高いピークが現れる。しかし、非定常（突発性）雑音が重畳すると、そのピーク値が小さくなる。従って図８に示すように入力音声信号をフレーム分割部８０でフレーム分割し、その各フレームの音声信号のケプストラムをケプストラム計算部８２で計算し、そのケプストラムをレジスタ８４内のしきい値と比較部８６で比較し、その比較結果として、しきい値を越えるピークが存在しない場合はそのフレームは雑音区間として判断する。
野口，阪内，羽田，片岡「１チャネル入力信号中の突発性雑音の判別と除去」，日本音響学会講演論文集，６５５頁〜６５６頁，２００４年３月

従来技術のような特徴ベクトルによる特徴量を用いた非定常雑音に対する判別方法は効果的である。しかし、音声に子音が含まれていると、子音のパワースペクトルが高域に偏っているため、特徴量Ｃは大きくなり、非定常雑音が存在すると誤判別するおそれがあるという問題がある。
また従来のケプストラムを用いる方法では、入力音声信号を離散フーリエ変換し、得られたスペクトルの対数を求め、これら対数を逆離散フーリエ変換して、ケプストラムを求めるため、演算量が多い。

この発明は、これらの問題を解決し、かつ音声信号のみならず音楽信号などを含む音響信号に適用することができる雑音判別方法、その装置、そのプログラム及び、その記録媒体を提供することを目的とする。

この発明によれば、フレーム分割部、線形予測分析部、サブフレーム分割部、処理部、最大値検出部、第２の比較部を有する非定常雑音判別装置として機能するコンピュータが実行する非定常雑音判別方法は、フレーム分割部が入力音響信号をフレームごとに分割してフレームごとの音響信号サンプル列を生成するステップと、線形予測分析部が上記各フレームごとに音響信号サンプル列を線形予測分析して予測残差信号サンプル列を求めるステップと、サブフレーム分割部が上記予測残差信号サンプル列を同一時間長の複数のサブフレームに分割するステップと、処理部が上記サブフレームごとの予測残差信号サンプル列のうち大きさが第１のしきい値以上となるサンプルの数を計数するステップと、最大値検出部が上記各フレームごとに、同一フレーム内の各サブフレームに対する上記計数値のうちの最大値を求めるステップと、第２の比較部が上記各フレームごとに、上記最大値が第２のしきい値以上か否かにより、そのフレームに非定常雑音が存在するか否かを判別するステップとを有する。

この構成によれば、入力音響信号に、子音が含まれている場合の誤判別を避け、各フレームごとに、入力信号中に非定常雑音が存在するかどうかが判別可能となる。さらに、演算として主な処理は線形予測分析のみであるから、低演算量である。またこの発明は、１入力による処理を実現しているので、既存の処理や収音システムなどに組み合わせることも容易である。

［実施例１］
図１にこの発明を実施するための最良な形態の非定常雑音判別装置の機能構成例を、図２にその処理手順をそれぞれ示す。目的信号と不要な周囲の非定常雑音の混入する入力信号ｘ（ｋ）はディジタル信号に変換されており、周期的に標本化（サンプリング）され、その各サンプルがディジタル信号に変換されているものとする。フレーム分割部１０は入力信号ｘ（ｋ）に対して、例えば、窓処理を行い、フレームに分割する（ステップＳ２０１）。ここで、分割された１フレーム分の入力信号をｘ（ｎ）（ｎ＝１、２、．．．、Ｎ）と置く。フレーム長は約１０ｍｓ〜約１００ｍｓが良く、音声信号の場合は、一般的な音声通信に用いられるフレーム長２０ｍｓと同一にすると便利である。

フレーム分割された信号ごとに、線形予測分析部１２で、線形予測分析を行い、線形予測残差信号ｅ（ｎ）を得る（ステップＳ２０３）。音声信号は、線形予測分析を用いて、モデル化可能であり、線形予測残差信号の振幅は小さくなる。よって、子音が含まれている無音声区間も、線形予測残差信号の振幅は小さくなる。線形予測の次数は例えば１４次とする。機能構成としては、例えば、線形予測分析部１２で求めた線形予測係数を逆フィルタ１４に設定し、その逆フィルタ１４にそのフレームの入力信号を通して、フィルタ処理をし、線形予測残差信号ｅ（ｎ）を求める。サブフレーム分割部１６では、線形予測残差信号ｅ（ｎ）を入力とし、時間領域で、ｓ個のサブフレームに分割を行い、サブフレーム分割した線形予測残差信号ｅ_ｉ（ｍ）を得る（ステップＳ２０５）。ただしｍ＝１、２、．．．、Ｎ／ｓ、ｉ＝１，２、．．．、ｓである。サブフレーム長は、音声の１周期分（例えば４ｍｓ）とする。つまり、この例では、男性、女性の各種ピッチの全体の平均的な値の周期をサブフレーム長とした。しかし、サブフレーム分割は、有声音区間の場合、１周期分とは、１個のサブフレームの線形予測残差信号ｅ_ｉ（ｍ）中に、１個のピークが含まれている状態、すなわち、１周期をピッチ周期にするのが好ましいが、１個のサブフレームの線形予測残差信号ｅ_ｉ（ｍ）中に、少量（例えば２個もしくは３個）のピークが含まれていても、問題はない。

各絶対値計算部２０−ｉ（図１では、ｉ＝１についてのみ示している）で線形予測残差信号ｅ_ｉ（ｍ）の絶対値｜ｅ_ｉ（ｍ）｜を計算する（ステップＳ２０７）。第１の比較部２２−ｉで、｜ｅ_ｉ（ｍ）｜としきい値レジスタ２４に格納されている第１のしきい値ｔｈ１とを比較する（ステップＳ２０９）。計数部２６−ｉにて、第１の比較部２２−ｉで、｜ｅ_ｉ（ｍ）｜＞ｔｈ１となる離散点ｍのサンプル点数を計数し、その計数値をｋ_ｉとする（ステップＳ２１１）。ここで、ｔｈ１は例えば｜ｅ_ｉ（ｍ）｜の有声音区間で生じるピークの最大値と同程度とする。各計数部２６−ｉはフレーム分割部１０からの指令により、各フレームの開始時点に、計数値ｋ_ｉが０にリセットされる。なお、絶対値計算部２０−ｉと、第１の比較部２２−ｉと、計数部２６−ｉとによる処理をする部分を処理部２８−ｉとする。

ｋ_ｉをそれぞれサンプル数最大値検出部３０に転送する。サンプル数最大値検出部３０では、ｋ_ｉを入力とし、フレーム毎に、ｋ_ｉの最大値ｋ_ｍａｘ＝ｍａｘ（ｋ_ｉ）を求める。第２の比較部３２でｋ_ｍａｘと第２のしきい値レジスタ３４に格納された第２のしきい値ｔｈ２とを比較し、ｋ_ｍａｘ≧ｔｈ２となるとき、「非定常雑音がその処理フレーム内に存在する」という判別結果を出力する。ｋ_ｍａｘ＜ｔｈ２となるとき、「非定常雑音がその処理フレーム内に存在しない」と判別結果を出力する（ステップＳ２１５）。第２のしきい値ｔｈ２の値は、非定常雑音が存在しないフレーム、特に有声音区間でのｋ_ｍａｘの最大値より大であり、非定常雑音が存在するフレームにおけるｋ_ｍａｘより小に予め設定されている。

上述した構成においては、子音が含まれている音声区間であっても、非定常雑音が重畳されていなければ、線形予測残差信号の振幅は小さくなるので、子音に基づく誤判別することなく、非定常雑音を判別することが出来る。またケプストラムを求める場合と比較しても線形予測分析は処理量がかなり少なく、非定常雑音フレームか否かの判別結果をごくわずかの遅れで求めることが出来る。
以上述べた実施例における各部の処理結果の例を図３に示す。図３Ａは各フレームにおける入力信号の性質を示し、無声音区間、有声音区間、無声音区間、非定常雑音区間の順の場合であり、フレーム長を２０ｍｓ、サブフレーム長を４ｍｓとし、１フレーム中のサブフレーム数は５である。またサンプリング周波数は１６ｋＨｚとする。各フレームと対応し、その各サブフレームごとに、予測残差信号｜ｅ_ｉ（ｍ）｜が第１のしきい値ｔｈ１を越えたサンプル点数の計数値ｋ_ｉを「少」、「中」、「多」の３段階で区別して、図３Ｂに示す。最初の無声音区間（フレーム）では線形予測残差信号は振幅が小さくなるので、ｔｈ１を越えるサンプル点数は大概はゼロであり、ｋ_ｉは「少」となり、次のフレームの有声音区間では、上述の通り、１個のサブフレームの中に、１個のピークが生じるが、ｔｈ１が上述のように設定されているから、ｔｈ１を越えるサンプル点数は多くても７〜８であるから、この例では全て数は、「中」となる。なお前記ｔｈ１の選定であるから、有声音区間でｋ_ｉの数が少なくとも一部は「少」の場合もある。第４番目のフレームは非定常雑音区間であり、その雑音が重畳されている部分では線形予測残差信号の振幅は増大する。継続時間が短い非定常雑音でもｋ_ｉは１２〜１３、継続時間が長い非定常雑音であればｋ_ｉは４０以上にもなる。従って、この非定常雑音区間では少なくとも、１個のサブフレーム区間の中に、ｔｈ１を越える非定常雑音がまとまって存在するので、１個のサブフレームは「多」となる。

フレーム毎に上記ｋ_ｍａｘを求めると、図３Ｃに示すように、ｋ_ｍａｘは、無声音区間は「小」、有声音区間は「中」、非定常雑音区間は「大」となる。従って、「中」と「大」の間に第２のしきい値ｔｈ２を設定する。前記数値の場合、例えばｔｈ２＝１０に選定される。このｔｈ２による判定結果は、図３Ｄに示すように、子音が含まれている無声音区間、ピッチ構造を有する有声音区間では、「非定常雑音なし」と判別され、非定常雑音区間のみ「非定常雑音あり」と判定され、正確な判別をすることが出来る。
なおサブフレームに分割することなく、フレームごとに、線形予測残差信号ｅ（ｎ）が第１のしきい値ｔｈ１を超えた数を計数し、その計数値から判別することを考えたとする。その場合は、図３Ｅに示すように無声音区間では少ないと判別されるが、有声音区間では、場合によっては、計数値ｋ_ｉが７０〜８０となり、「多」と判別される。非定常雑音区間では、計数値ｋ_ｉが「多」と判別されるが、この計数値ｋ_ｉは例えば、２０〜８０と大きくばらつく。従って、適切な第２のしきい値ｔｈ２を選定することが困難であり、誤判別の恐れがある。
［実施例２］
図４は、この発明の実施例２の要部を示し、図１と対応する部分には同一参照番号を付けてある。実施例１に対し、定常雑音レベル推定部３６としきい値計算部３８が加えられている。これらを加えたことにより、定常雑音の大きさが変化する場合に対しても、しきい値を可変にして、誤判別を防ぐようにしたものである。

定常雑音レベル推定部３６にフレーム分割部１０よりのフレーム分割された信号が入力され、そのフレームごとにその入力信号の定常雑音レベルが推定される。定常雑音レベルの推定には、例えば、特開平９−２５８７９２号公報に記載されている手法を用いる。推定した定常雑音レベルＭをしきい値計算部３８に転送する。しきい値計算部３８では、しきい値ｔｈ１＝α（Ｍ／Ｍ_Ｃ）ｔｈ１_Ｃを計算する。ｔｈ１_Ｃは、ある定常雑音Ｍ_Ｃのときに、あらかじめ定めたしきい値である。αは係数を調整するための、あらかじめ定めた値である。例えば、ＳＮ比が３０ｄＢのときに、Ｍ_Ｃ、ｔｈ１_Ｃ、αを実験的に決定し、与える。例えばα＝０．８とする。ここで、定常雑音レベルが２倍になり、Ｍ／Ｍ_Ｃ＝２となると、しきい値ｔｈ１はｔｈ１_Ｃに対して１．６倍となる。しきい値計算部３８では、定常雑音レベルＭが大きいときに、ｔｈ１が大きく、Ｍが小さいときに、ｔｈ１が小さくなるようにしきい値ｔｈ１の計算を行う。しきい値計算部３８で計算された第１のしきい値ｔｈ１はしきい値レジスタ２４に格納される。

この構成によれば、定常雑音レベルが変動しても、非定常雑音区間を正しく判別することができることは容易に理解されよう。
前述した実施例においては予測残差信号の各サンプル点の振幅の絶対値｜ｅ_ｉ（ｍ）｜とｔｈ１とを比較したが、絶対値の代わりに{パワーｅ_ｉ（ｍ）}^２を用いてもよい。この場合は、第１のしきい値の値もそれに応じて異なった値になる。更に、絶対値を求めることもなく予測残差信号の正側が＋ｔｈ１を越えるサンプル点と負側が−ｔｈ１よりも更に、負の大きな値をとるサンプル点を求めてもよい。従って、この出願の特許請求の範囲中における「予測残差信号の振幅が第１のしきい値以上となる」はこれら全てのことを意味するものである。

図１及び図２に示した装置をコンピューターにより機能させてもよい。この場合は、これら図１及び図２に示した装置として、コンピュータを機能させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などからコンピュータにインストールし、あるいは、通信回線を介して、ダウンロードし、そのプログラムを実行させればよい。
実験例
以下に、この発明の効果を示すために行った計算機種シミュレーション実験の結果を、従来法及びこの発明方法について図５Ａ及び図５Ｂにそれぞれ示す。
ＮＴＴ−ＡＴ社多言語音声データベースから、男性４名の各音声、女性４名の各音声４０ｓに対し、突発性雑音１９種類（ペンで机を叩く音、紙資料を落とす音など）を０．５ｓ間隔で重畳し、サンプリング周波数１６ｋＨｚ、定常雑音としてＳＮ比３０ｄｂの白色雑音を重畳したものを入力信号とした。この場合、非定常雑音は合計１２１６０箇所になる。分析条件は、フレーム長（分析長）を４０ｍｓ、シフト長２０ｍｓとした。これらは従来法、この発明法に対しても同一である。分析条件として、この発明法では、サブフレーム分割数を１０、窓はハミング窓を用い、線形予測次数を１４次とした。

図５の横軸は再現率、縦軸は適合率をそれぞれ表す。再現率とは全ての雑音区間のうち、雑音区間として判別できた割合を意味し、（検出された雑音区間数）／（雑音区間数）で求められ、適合率とは判別したうち本当に雑音区間である割合を意味し、（検出された雑音区関数）／（雑音区間検出数）で求められる。
図５Ａにおいて、「＋」は実験の結果のプロットであり、「△」はこれらの平均値を示している。図５Ｂで「×」は実験の結果のプロットであり、「□」はこれらの平均値を示している。まず図５Ａの従来の技術では、再現率、適合率共に３０％以上を表示し、図５Ｂのこの発明では、両者とも８０％以上を表示していることに留意すべきである。図５ＡにおいてプロットＰ_２群から殆どの雑音区間を検出できるが、子音部分で、音声区間を雑音区間と誤判別することが適合率の値から理解される。従来技術では、低域は偏りのある雑音区間を殆ど検出できていないこと、再現率、適合率の各平均値はそれぞれ、９２．７％、９３％であった。

一方、この発明法では、プロット群Ｐ_３から殆どの雑音区間を判別可能であり、しかも、適合率９８％以上であるから、音声区間の誤判別が減少する。また、再現率、適合率の各平均値はそれぞれ、９８．２％、９８．１％になり、「△」で示した従来法の各平均値に対し、矢印で示すように、「□」で示す点に移動し、格段に判別能力が向上し、ほとんどの雑音区間を判別検出することが出来、音声の誤判別も減少した。

この発明の実施例１の機能構成例を示すブロック図。 この発明の実施例１の処理手順の例を示すフローチャート図。 図１の各部の出力形態を定性的に示す図。 この発明の実施例２の要部の機能構成例を示すブロック図。 この発明法と従来法のそれぞれによる判別率の計算シミュレーション結果を示すグラフ図。 従来技術の機能構成例を示すブロック図。 従来技術のパワースペクトル及び特徴ベクトルの比較を示すグラフ図。 従来技術の他の機能構成を示すブロック図。

Claims (8)

1. コンピュータをフレーム分割部、線形予測分析部、サブフレーム分割部、処理部、最大値検出部、第２の比較部を有する非定常雑音判別装置として機能させ、そのコンピュータが実行する非定常雑音判別方法であって、
   上記フレーム分割部が、入力音響信号を一定時間区間（以下フレームという）ごとに分割してフレームごとの音響信号サンプル列を生成するステップと、
   上記線形予測分析部が、上記各フレームごとに、音響信号サンプル列を線形予測分析して予測残差信号サンプル列を求めるステップと、
   上記サブフレーム分割部が、上記予測残差信号サンプル列を同一時間長の複数のサブフレームに分割するステップと、
   上記処理部が、上記サブフレームごとの、予測残差信号サンプル列のうち大きさが第１のしきい値以上となるサンプルの数を計数するステップと、
   上記最大値検出部が、上記各フレームごとに、同一フレーム内の各サブフレームに対する上記計数値のうちの最大値を求めるステップと、
   上記第２の比較部が、上記各フレームごとに、上記最大値が第２のしきい値以上か否かにより、そのフレームに非定常雑音が存在するか否かを判別するステップと、
   を有することを特徴とする非定常雑音判別方法。
2. 請求項１記載の方法において、
   上記同一時間長は、音声のピッチ周期の平均値であることを特徴とする非定常雑音判別方法。
3. 請求項１または２に記載の方法において、
   上記各フレームごとの音響信号サンプル列の定常雑音レベルＭを推定し、
   上記推定した定常雑音レベルＭと、定常雑音レベルＭ_Ｃと、定常雑音レベルＭ_Ｃのときの既定のしきい値ｔｈ１_Ｃと、既定の定数αとを用いて、定常雑音レベルＭが大きい程大きい上記第１のしきい値ｔｈ１を
   ｔｈ１＝α（Ｍ／Ｍ_Ｃ）ｔｈ１_Ｃ
   により求めることを特徴とする非定常雑音判別方法。
4. 入力された音響信号を一定時間区間（以下フレームという）ごとに分割してフレームごとの音響信号サンプル列を生成するフレーム分割部と、
   上記フレーム分割された音響信号サンプル列が入力され、上記各フレームごとに、音響信号サンプル列の線形予測分析を行い、線形予測係数を求める線形予測分析部と、
   上記線形予測係数で対応するフィルタ係数が設定され、上記フレーム分割された音響信号サンプル列が入力され、これを逆フィルタ処理して上記各フレームごとの予測残差信号サンプル列を出力する逆フィルタと、
   上記各フレームごとの予測残差信号サンプル列が入力され、これを同一時間長の複数のサブフレームに分割して、複数のサブフレーム予測残差信号サンプル列を出力するサブフレーム分割部と、
   上記複数のサブフレームの予測残差信号サンプル列がそれぞれ入力され、その予測残差信号サンプル列のサンプルの大きさと第１のしきい値とが、それぞれ比較され、第１のしきい値以上となるごとにそのことを示す信号を出力する複数の第１の比較部と、
   上記複数の第１比較部の出力信号が入力され、振幅が第１のしきい値以上のサンプルの数をそれぞれ計数する複数の計数部と、
   これら複数の計数部で計数された計数値が入力され、これら計数値中の最大値を検出する最大値検出部と、
   上記最大値が入力され、その最大値が第２のしきい値以上か否かにより、そのフレームに非定常雑音が存在するか否かを判別し、その結果を出力する第２の比較部と、
   を具備することを特徴とする非定常雑音判別装置。
5. 請求項４記載の装置において、
   上記同一時間長は、音声のピッチ周期の平均値であることを特徴とする非定常雑音判別装置。
6. 請求項４または５に記載の装置において、
   上記各フレームごとの音響信号サンプル列が入力され、その音響信号サンプル列の定常雑音レベルＭを推定する定常雑音レベル推定部と、
   上記推定した定常雑音レベルＭが入力され、その定常雑音レベルＭと、定常雑音レベルＭ_Ｃと、定常雑音レベルＭ_Ｃのときの既定のしきい値ｔｈ１_Ｃと、既定の定数αとを用いて、定常雑音レベルＭが大きい程大きい上記第１のしきい値ｔｈ１を
   ｔｈ１＝α（Ｍ／Ｍ_Ｃ）ｔｈ１_Ｃ
   により計算するしきい値計算部と、
   を具備することを特徴とする非定常雑音判別装置。
7. 請求項１乃至３のいずれかに記載した非定常雑音判別方法の各過程をコンピュータに実行させるための非定常雑音判別プログラム。
8. 請求項７に記載した非定常雑音判別プログラムを記録したコンピュータが読み取り可能な記録媒体。

Images