JP3831220B2 - 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 - Google Patents
雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 Download PDFInfo
- Publication number
- JP3831220B2 JP3831220B2 JP2001291277A JP2001291277A JP3831220B2 JP 3831220 B2 JP3831220 B2 JP 3831220B2 JP 2001291277 A JP2001291277 A JP 2001291277A JP 2001291277 A JP2001291277 A JP 2001291277A JP 3831220 B2 JP3831220 B2 JP 3831220B2
- Authority
- JP
- Japan
- Prior art keywords
- output signal
- noise
- coefficient
- noise suppression
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の音源信号が混在した混合音を分離した分離信号に残留する雑音を抑圧する方法、その方法に用いる雑音抑圧装置、その方法をコンピュータにより実行するためのプログラムおよびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
複数の音源信号が混在した混合音から、元の音源信号を推定して分離する音源分離技術として、音源の独立性を仮定し、出力信号を互いに独立にすることで元の音源を推定する独立成分分析（Independent Component Analysis,ICA）による方法が知られている。ＩＣＡについては、例えば文献J.Herault and C.Jutten,“An Information-Maximization Approach to Blind Separation and Blind Deconvolution”,Neural Computation 7,1129-1159（1995）に記載されている。
空間において畳み込みの影響を受けながら混合された信号を分離するためには、信号をフーリエ変換によって周波数領域の信号に変換し、周波数領域の信号に対してＩＣＡを適用する、周波数領域ブラインド音源分離（Blind Source Separation：BSS）という技術が用いられる。周波数領域ＢＳＳについては、例えば文献S.Araki et. al.,“Fundamental limitation of frequency domain blind source separation for convolutive mixture of speech”，Proc.ICASSP2001，MULT-P2.1に記載されている。
【０００３】
【発明が解決しようとする課題】
周波数領域ＢＳＳは、妨害音の直接音部分はほぼ完全に除去できるが、残響を伴なう環境においては性能が著しく低下する。これは残響の影響によって分離信号中に雑音が残留しているためである。
この発明の目的は、残響を伴なう環境において混合された音源信号から、元の音源信号を分離する音源分離手段によって得られた出力信号に基づいて、出力信号に残留する雑音を推定し、推定した雑音に基づいて、分離信号に含まれる雑音を抑圧する方法、その装置、雑音抑圧プログラム及びその記録媒体を提供することにある。
【０００４】
【課題を解決するための手段】
この発明の雑音抑圧方法では、音源分離過程の後段で行う処理として、音源分離過程によって出力された第１の出力信号を用い、第１の出力信号自身に含まれる残留雑音を推定し、第１の出力信号から推定雑音を引き去ることによって、第１の出力信号に含まれる雑音を抑圧する。その残留雑音の推定は以下のようにして行う。
上記第１の出力信号の相互相関を最大にするような遅延を遅延推定過程によって求め、その遅延に基づいて第１の出力信号を遅延させて第２の出力信号を求め、係数推定過程により、第１の出力信号と第２の出力信号を用いて第１の出力信号中に含まれる雑音成分の係数を推定し、上記係数を第２の出力信号に乗じることにより、第１の出力信号に含まれる上記残留雑音を雑音推定過程で推定する。
【０００５】
【発明の実施の形態】
この発明の実施の形態を実施例により図面に基づいて説明する。
図１は、この発明による雑音抑圧装置におけるＮ個の第１の信号ｙi （１＜ｉ＜Ｎ）のうちのｙ1 に関する雑音抑圧部分の構成を示している。残りのｙi （２＜ｉ＜Ｎ）についても同様の構成で雑音を抑圧する。
時間領域において遅れや畳み込みの影響を受けながらの、複数の音源信号の混合は、周波数領域での瞬時混合に変換できる。このためこの実施例における雑音抑圧方法では、信号を周波数領域の信号として扱う。時間領域信号から周波数領域信号へは、例えば離散フーリエ変換（ＤＦＴ）によって変換し、周波数領域信号から時間領域信号へは、離散フーリエ逆変換（ＩＤＦＴ）によって互いに変換する。
【０００６】
まず、この実施例に使用する信号の名前および関係について説明する。
音源信号をＳ（ω，ｔ）＝［ｓ1 ，ｓ2 ，…，ｓN ］T ，
混合信号をＸ（ω，ｔ）＝［ｘ1 ，ｘ2 ，…，ｘM ］T ，
分離信号をＹ（ω，ｔ）＝［ｙ1 ，ｙ2 ，…，ｙN ］T ，
混合行列をＨ（ω），分離行列をＷ（ω）
とすると、
Ｘ（ω，ｔ）＝Ｈ（ω）Ｓ（ω，ｔ） （１）
Ｙ（ω，ｔ）＝Ｗ（ω）Ｘ（ω，ｔ）＝Ｗ（ω）Ｈ（ω）Ｓ（ω，ｔ） （２）
という関係がある。［ ］T は転置行列を示す。
【０００７】
ここで、Ｇ＝ＷＨとすると、
ｙi ＝Σj=1 Nｇijｓj （３）
と書くことができる。
ｙi を、目的信号ｓi に起因する出力であるストレート成分ｙi (s)と、妨害音ｓj （ｊ≠ｉ）に起因するクロス成分ｙi (c)に分けて考えると、
ｙi ＝ｙi (s)＋ｙi (c) （４）
ｙi (s)＝ｇiiｓi （５）
【０００８】
【数１】
となる。
この発明の実施例ではｙi (s)を抽出することを目標とする。すなわち、除去されるべき残留雑音はクロス成分ｙi (c)とする。ところでストレート成分は音源信号の直接音および残響、クロス成分は音源信号の残響に起因しており、両者のスペクトルには関連がある。２入力２出力のＩＣＡによる分離信号の狭帯域信号のパワースペクトルの例を図３に示す。これはｆ＝３２０Ｈｚのｙ1 (s)とｙ2 (c)の各パワーの経時変化である。この例を見ると、ストレート成分ｙ1 (s)がある遅延と係数をかけられてクロス成分ｙ2 (c)として漏洩して現われているということができる。そこで、これを複数信号の場合に拡張し、各周波数ビンおよびチャンネルの組合せごとの遅延τij（ω）および係数αij（ω）をパラメータとしたモデル化を行う。係数は本来はフィルタであるが、推定を簡単にするためにスカラ値とする。この考えに基づき、以下のようにτij（ω）および係数αij（ω）を求めてモデル化されたｙi (c)を求める。
【０００９】
次に、図１及び図２を参照してこの実施例の装置の各部の動作と、この装置の処理の手順を説明する。図１はｉ＝１の場合のみを示している。
（１）音源分離過程（図２、Ｓ１）
Ｎ個（Ｎは２以上の整数）の音源からの信号ｓ1 ，ｓ2 ，…，ｓN は空間で遅れや畳み込みの影響を受けてＭ個（Ｍ＞Ｎ）の混合信号ｘ1 ，ｘ2 ，…，ｘM として音源分離装置１１に入力される。音源分離装置１１ではＩＣＡを用いた周波数領域ＢＳＳにより、混合信号ｘi(１＜ｉ＜Ｍ）から音源信号ｓ1 ，ｓ2 ，…，ｓN と対応するＮ個の第１の出力信号ｙi(ω，ｔ）（１＜ｉ＜Ｎ）に分離される。
（２）遅延推定過程（図２、Ｓ２）
これからの処理がこの発明の実施例である。
【００１０】
第１の出力信号ｙi(ω，ｔ）の各周波数帯域ωに関して、｜ｙi (c)（ｔ）｜と｜ｙj (s)（ｔ−τij）｜と（ｊ≠ｉ）との相関が大きくなるような遅延を求め、これをτij（ω）とする。
ここで、ｙi (c)（ｔ）とｙj (s)（ｔ）は未知であるから、それぞれｙi(ｔ）とｙj(ｔ）で置き換えた以下の式を遅延推定手段１２によって演算してτij（ω）を求める。
これは、音源信号として互いに独立な音声を想定した場合、狭帯域信号｜ｙi (s)｜と｜ｙj (s)｜が同時刻に値を持つことは少なく、ほとんどの時刻において｜ｙi(ｔ）｜｜ｙj(ｔ−τ）｜（τ＞０）で｜ｙi (c)（ｔ）｜｜ｙj (s)（ｔ−τ）｜を近似できるであろうという仮定による置き換えである。
【００１１】
τij（ω）＝argmaxΣ｜ｙi(ω，ｔ）｜｜ｙj(ω，ｔ−τ）｜ （７）
ここでΣは、系が時不変であるとみなせる適当な期間、かつ｜ｙi(ｔ）｜＜｜ｙj(ｔ−τ）｜が成り立っている時刻での総和とする。また、τmax は予想される残響時間の最大値から決まる定数である。argmaxは０＜τ＜τmax でΣの値が最大となるτを求めることを示す。
つまり各ｙi(ω，ｔ）ごとに他の各ｙj(ω，ｔ）との相関がそれぞれ最大となる各ｙi(ω，ｔ）に対する遅延τij（ω）を求める。
（３）遅延過程（図２、Ｓ３）
上記遅延推定手段１２によって求めた各遅延τij（ω）の分だけ対応する第１の出力信号ｙj(ω，ｔ）を遅延手段１３でそれぞれ遅延させ、第２の出力信号ｙj(ω，ｔ−τij（ω））を得る。
（４）係数推定過程（図２、Ｓ４）
雑音推定のための係数αij（ω）を、｜ｙi (c)(ｔ）｜b と｜ｙj (s)(ｔ−τij）｜b の相関の正規化値と｜ｙi (c)(ｔ）｜及び｜ｙj (s)(ｔ−τij）｜の各総和の比との積として求める。ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。
【００１２】
ここでもやはりｙi (c)(ｔ）とｙj (s)(ｔ）は未知であるから、それぞれｙi(ｔ）とｙj(ｔ）で置き換え、係数推定手段１４で以下の式を演算してαij（ω）を求める。
【００１３】
【数２】
【００１４】
ここで、Σは、｜ｙi(ω，ｔ）｜が｜ｙj(ω，ｔ−τij（ω））｜より小さい時刻の集合
Ｔij（ω）＝｛ｔ｜｜ｙi(ω，ｔ）｜＜｜ｙj(ω，ｔ−τij（ω））｜｝ （９）
中の総てのｔ∈Ｔij（ω）に関する総和である。
これは、ｙi とｙj のどちらがストレート成分の近似でどちらがクロス成分の近似とするかをスペクトルの大きさで判断していることに相当する。
（５）雑音推定過程（図２、Ｓ５）
先に述べたようにストレート成分は音源信号の直接音および残響、クロス成分は音源信号の残響に起因しており、両者のスペクトルには関連があり、ストレート成分がある遅延と係数をかけられてクロス成分に漏洩しているという見方ができる。そこで、これを複数信号の場合に拡張し、各周波数ビンおよびチャンネルの組合せごとの遅延τij（ω）および係数αij（ω）をパラメータとしたモデル化を行う。また、ｙi (s)は未知であるため、ｙiをｙi (s)の近似値として用い、雑音推定手段１５で次式を計算して雑音のスペクトル｜ｙi＾(c)(ω，ｔ）｜を求める。
【００１５】
【数３】
【００１６】
ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。
（６）雑音減算過程（図２、Ｓ６）
雑音推定手段１５によって推定した雑音を第１の出力信号ｙi(ω，ｔ）から減算器１６で次式の演算により引き去ることにより第３の出力信号ｙi＾(s)を求める。
【００１７】
【数４】
【００１８】
ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。ｙi(ω，ｔ）／｜ｙi(ω，ｔ）｜の乗算は位相成分を与えるものである。
以上の過程により、第１の出力信号中の雑音が抑圧された第３の出力信号を得ることができる。
図１に示した雑音抑圧装置を、コンピュータによりプログラムを実行させて機能させることもできる。つまり図２に示したステップＳ２以下の処理をコンピュータに行わせる雑音抑圧プログラムをコンピュータに、ＣＤ−ＲＯＭ、可逆性磁気ディスクその他の記録媒体又は通信回線を介してインストールして、そのプログラムを実行させればよい。
【００１９】
【発明の効果】
この発明の効果を、Ｎ＝２の場合について実験によって評価した結果を示す。話者４名（男声２、女声２）、２通りの文の音声を用い、計２４通りの組み合わせについて音源分離過程により得た第１の出力信号の分離性能と、この発明によって雑音抑圧された第３の出力信号の分離性能とを比較した。
ストレート成分ｙi (s)をリファレンス信号として、
出力ＳＮＲi ≡１０log（｜ｙi (s)｜2 ／｜ｙ＾i (s)−ｙi (s)｜2 ）（ｄＢ） （12）
から雑音抑圧比（Noise Reduction Rate）ＮＲＲi ≡出力ＳＮＲi −入力ＳＮＲi を求め、ＮＲＲ1 とＮＲＲ2 の平均値ＮＲＲを評価尺度として用いる。
【００２０】
実験結果を図４に示す。横軸は第１の出力信号のＮＲＲ、縦軸はこの発明による第３の出力信号のＮＲＲであり、音声の組合せごとに点をプロットしている。すべての組合せにおいてこの発明で処理した第３の出力信号の方が性能が向上しており、ＮＲＲ改善量は残響時間１５０ｍｓの場合に１．３〜６．３ｄＢ（平均３．９ｄＢ）、残響時間３００ｍｓの場合に１．７〜４．４ｄＢ（平均３．１ｄＢ）であり、第１の信号に含まれる雑音が抑圧されていることが確認できた。
以上説明したように、この発明によれば、音源分離過程によって出力された出力信号中に含まれる残留雑音を抑圧することができる。
【図面の簡単な説明】
【図１】この発明の実施例の機能構成を示す図。
【図２】この発明の実施例の処理手順を示す流れ図。
【図３】第１の出力信号の狭帯域信号のストレートおよびクロス成分の例を示す図。
【図４】この発明の効果を説明するための実験結果を示す図。
【発明の属する技術分野】
この発明は、複数の音源信号が混在した混合音を分離した分離信号に残留する雑音を抑圧する方法、その方法に用いる雑音抑圧装置、その方法をコンピュータにより実行するためのプログラムおよびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
複数の音源信号が混在した混合音から、元の音源信号を推定して分離する音源分離技術として、音源の独立性を仮定し、出力信号を互いに独立にすることで元の音源を推定する独立成分分析（Independent Component Analysis,ICA）による方法が知られている。ＩＣＡについては、例えば文献J.Herault and C.Jutten,“An Information-Maximization Approach to Blind Separation and Blind Deconvolution”,Neural Computation 7,1129-1159（1995）に記載されている。
空間において畳み込みの影響を受けながら混合された信号を分離するためには、信号をフーリエ変換によって周波数領域の信号に変換し、周波数領域の信号に対してＩＣＡを適用する、周波数領域ブラインド音源分離（Blind Source Separation：BSS）という技術が用いられる。周波数領域ＢＳＳについては、例えば文献S.Araki et. al.,“Fundamental limitation of frequency domain blind source separation for convolutive mixture of speech”，Proc.ICASSP2001，MULT-P2.1に記載されている。
【０００３】
【発明が解決しようとする課題】
周波数領域ＢＳＳは、妨害音の直接音部分はほぼ完全に除去できるが、残響を伴なう環境においては性能が著しく低下する。これは残響の影響によって分離信号中に雑音が残留しているためである。
この発明の目的は、残響を伴なう環境において混合された音源信号から、元の音源信号を分離する音源分離手段によって得られた出力信号に基づいて、出力信号に残留する雑音を推定し、推定した雑音に基づいて、分離信号に含まれる雑音を抑圧する方法、その装置、雑音抑圧プログラム及びその記録媒体を提供することにある。
【０００４】
【課題を解決するための手段】
この発明の雑音抑圧方法では、音源分離過程の後段で行う処理として、音源分離過程によって出力された第１の出力信号を用い、第１の出力信号自身に含まれる残留雑音を推定し、第１の出力信号から推定雑音を引き去ることによって、第１の出力信号に含まれる雑音を抑圧する。その残留雑音の推定は以下のようにして行う。
上記第１の出力信号の相互相関を最大にするような遅延を遅延推定過程によって求め、その遅延に基づいて第１の出力信号を遅延させて第２の出力信号を求め、係数推定過程により、第１の出力信号と第２の出力信号を用いて第１の出力信号中に含まれる雑音成分の係数を推定し、上記係数を第２の出力信号に乗じることにより、第１の出力信号に含まれる上記残留雑音を雑音推定過程で推定する。
【０００５】
【発明の実施の形態】
この発明の実施の形態を実施例により図面に基づいて説明する。
図１は、この発明による雑音抑圧装置におけるＮ個の第１の信号ｙi （１＜ｉ＜Ｎ）のうちのｙ1 に関する雑音抑圧部分の構成を示している。残りのｙi （２＜ｉ＜Ｎ）についても同様の構成で雑音を抑圧する。
時間領域において遅れや畳み込みの影響を受けながらの、複数の音源信号の混合は、周波数領域での瞬時混合に変換できる。このためこの実施例における雑音抑圧方法では、信号を周波数領域の信号として扱う。時間領域信号から周波数領域信号へは、例えば離散フーリエ変換（ＤＦＴ）によって変換し、周波数領域信号から時間領域信号へは、離散フーリエ逆変換（ＩＤＦＴ）によって互いに変換する。
【０００６】
まず、この実施例に使用する信号の名前および関係について説明する。
音源信号をＳ（ω，ｔ）＝［ｓ1 ，ｓ2 ，…，ｓN ］T ，
混合信号をＸ（ω，ｔ）＝［ｘ1 ，ｘ2 ，…，ｘM ］T ，
分離信号をＹ（ω，ｔ）＝［ｙ1 ，ｙ2 ，…，ｙN ］T ，
混合行列をＨ（ω），分離行列をＷ（ω）
とすると、
Ｘ（ω，ｔ）＝Ｈ（ω）Ｓ（ω，ｔ） （１）
Ｙ（ω，ｔ）＝Ｗ（ω）Ｘ（ω，ｔ）＝Ｗ（ω）Ｈ（ω）Ｓ（ω，ｔ） （２）
という関係がある。［ ］T は転置行列を示す。
【０００７】
ここで、Ｇ＝ＷＨとすると、
ｙi ＝Σj=1 Nｇijｓj （３）
と書くことができる。
ｙi を、目的信号ｓi に起因する出力であるストレート成分ｙi (s)と、妨害音ｓj （ｊ≠ｉ）に起因するクロス成分ｙi (c)に分けて考えると、
ｙi ＝ｙi (s)＋ｙi (c) （４）
ｙi (s)＝ｇiiｓi （５）
【０００８】
【数１】
この発明の実施例ではｙi (s)を抽出することを目標とする。すなわち、除去されるべき残留雑音はクロス成分ｙi (c)とする。ところでストレート成分は音源信号の直接音および残響、クロス成分は音源信号の残響に起因しており、両者のスペクトルには関連がある。２入力２出力のＩＣＡによる分離信号の狭帯域信号のパワースペクトルの例を図３に示す。これはｆ＝３２０Ｈｚのｙ1 (s)とｙ2 (c)の各パワーの経時変化である。この例を見ると、ストレート成分ｙ1 (s)がある遅延と係数をかけられてクロス成分ｙ2 (c)として漏洩して現われているということができる。そこで、これを複数信号の場合に拡張し、各周波数ビンおよびチャンネルの組合せごとの遅延τij（ω）および係数αij（ω）をパラメータとしたモデル化を行う。係数は本来はフィルタであるが、推定を簡単にするためにスカラ値とする。この考えに基づき、以下のようにτij（ω）および係数αij（ω）を求めてモデル化されたｙi (c)を求める。
【０００９】
次に、図１及び図２を参照してこの実施例の装置の各部の動作と、この装置の処理の手順を説明する。図１はｉ＝１の場合のみを示している。
（１）音源分離過程（図２、Ｓ１）
Ｎ個（Ｎは２以上の整数）の音源からの信号ｓ1 ，ｓ2 ，…，ｓN は空間で遅れや畳み込みの影響を受けてＭ個（Ｍ＞Ｎ）の混合信号ｘ1 ，ｘ2 ，…，ｘM として音源分離装置１１に入力される。音源分離装置１１ではＩＣＡを用いた周波数領域ＢＳＳにより、混合信号ｘi(１＜ｉ＜Ｍ）から音源信号ｓ1 ，ｓ2 ，…，ｓN と対応するＮ個の第１の出力信号ｙi(ω，ｔ）（１＜ｉ＜Ｎ）に分離される。
（２）遅延推定過程（図２、Ｓ２）
これからの処理がこの発明の実施例である。
【００１０】
第１の出力信号ｙi(ω，ｔ）の各周波数帯域ωに関して、｜ｙi (c)（ｔ）｜と｜ｙj (s)（ｔ−τij）｜と（ｊ≠ｉ）との相関が大きくなるような遅延を求め、これをτij（ω）とする。
ここで、ｙi (c)（ｔ）とｙj (s)（ｔ）は未知であるから、それぞれｙi(ｔ）とｙj(ｔ）で置き換えた以下の式を遅延推定手段１２によって演算してτij（ω）を求める。
これは、音源信号として互いに独立な音声を想定した場合、狭帯域信号｜ｙi (s)｜と｜ｙj (s)｜が同時刻に値を持つことは少なく、ほとんどの時刻において｜ｙi(ｔ）｜｜ｙj(ｔ−τ）｜（τ＞０）で｜ｙi (c)（ｔ）｜｜ｙj (s)（ｔ−τ）｜を近似できるであろうという仮定による置き換えである。
【００１１】
τij（ω）＝argmaxΣ｜ｙi(ω，ｔ）｜｜ｙj(ω，ｔ−τ）｜ （７）
ここでΣは、系が時不変であるとみなせる適当な期間、かつ｜ｙi(ｔ）｜＜｜ｙj(ｔ−τ）｜が成り立っている時刻での総和とする。また、τmax は予想される残響時間の最大値から決まる定数である。argmaxは０＜τ＜τmax でΣの値が最大となるτを求めることを示す。
つまり各ｙi(ω，ｔ）ごとに他の各ｙj(ω，ｔ）との相関がそれぞれ最大となる各ｙi(ω，ｔ）に対する遅延τij（ω）を求める。
（３）遅延過程（図２、Ｓ３）
上記遅延推定手段１２によって求めた各遅延τij（ω）の分だけ対応する第１の出力信号ｙj(ω，ｔ）を遅延手段１３でそれぞれ遅延させ、第２の出力信号ｙj(ω，ｔ−τij（ω））を得る。
（４）係数推定過程（図２、Ｓ４）
雑音推定のための係数αij（ω）を、｜ｙi (c)(ｔ）｜b と｜ｙj (s)(ｔ−τij）｜b の相関の正規化値と｜ｙi (c)(ｔ）｜及び｜ｙj (s)(ｔ−τij）｜の各総和の比との積として求める。ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。
【００１２】
ここでもやはりｙi (c)(ｔ）とｙj (s)(ｔ）は未知であるから、それぞれｙi(ｔ）とｙj(ｔ）で置き換え、係数推定手段１４で以下の式を演算してαij（ω）を求める。
【００１３】
【数２】
ここで、Σは、｜ｙi(ω，ｔ）｜が｜ｙj(ω，ｔ−τij（ω））｜より小さい時刻の集合
Ｔij（ω）＝｛ｔ｜｜ｙi(ω，ｔ）｜＜｜ｙj(ω，ｔ−τij（ω））｜｝ （９）
中の総てのｔ∈Ｔij（ω）に関する総和である。
これは、ｙi とｙj のどちらがストレート成分の近似でどちらがクロス成分の近似とするかをスペクトルの大きさで判断していることに相当する。
（５）雑音推定過程（図２、Ｓ５）
先に述べたようにストレート成分は音源信号の直接音および残響、クロス成分は音源信号の残響に起因しており、両者のスペクトルには関連があり、ストレート成分がある遅延と係数をかけられてクロス成分に漏洩しているという見方ができる。そこで、これを複数信号の場合に拡張し、各周波数ビンおよびチャンネルの組合せごとの遅延τij（ω）および係数αij（ω）をパラメータとしたモデル化を行う。また、ｙi (s)は未知であるため、ｙiをｙi (s)の近似値として用い、雑音推定手段１５で次式を計算して雑音のスペクトル｜ｙi＾(c)(ω，ｔ）｜を求める。
【００１５】
【数３】
ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。
（６）雑音減算過程（図２、Ｓ６）
雑音推定手段１５によって推定した雑音を第１の出力信号ｙi(ω，ｔ）から減算器１６で次式の演算により引き去ることにより第３の出力信号ｙi＾(s)を求める。
【００１７】
【数４】
ｂ＝１の場合は振幅スペクトル、ｂ＝２の場合はパワースペクトルによる処理になる。ｙi(ω，ｔ）／｜ｙi(ω，ｔ）｜の乗算は位相成分を与えるものである。
以上の過程により、第１の出力信号中の雑音が抑圧された第３の出力信号を得ることができる。
図１に示した雑音抑圧装置を、コンピュータによりプログラムを実行させて機能させることもできる。つまり図２に示したステップＳ２以下の処理をコンピュータに行わせる雑音抑圧プログラムをコンピュータに、ＣＤ−ＲＯＭ、可逆性磁気ディスクその他の記録媒体又は通信回線を介してインストールして、そのプログラムを実行させればよい。
【００１９】
【発明の効果】
この発明の効果を、Ｎ＝２の場合について実験によって評価した結果を示す。話者４名（男声２、女声２）、２通りの文の音声を用い、計２４通りの組み合わせについて音源分離過程により得た第１の出力信号の分離性能と、この発明によって雑音抑圧された第３の出力信号の分離性能とを比較した。
ストレート成分ｙi (s)をリファレンス信号として、
出力ＳＮＲi ≡１０log（｜ｙi (s)｜2 ／｜ｙ＾i (s)−ｙi (s)｜2 ）（ｄＢ） （12）
から雑音抑圧比（Noise Reduction Rate）ＮＲＲi ≡出力ＳＮＲi −入力ＳＮＲi を求め、ＮＲＲ1 とＮＲＲ2 の平均値ＮＲＲを評価尺度として用いる。
【００２０】
実験結果を図４に示す。横軸は第１の出力信号のＮＲＲ、縦軸はこの発明による第３の出力信号のＮＲＲであり、音声の組合せごとに点をプロットしている。すべての組合せにおいてこの発明で処理した第３の出力信号の方が性能が向上しており、ＮＲＲ改善量は残響時間１５０ｍｓの場合に１．３〜６．３ｄＢ（平均３．９ｄＢ）、残響時間３００ｍｓの場合に１．７〜４．４ｄＢ（平均３．１ｄＢ）であり、第１の信号に含まれる雑音が抑圧されていることが確認できた。
以上説明したように、この発明によれば、音源分離過程によって出力された出力信号中に含まれる残留雑音を抑圧することができる。
【図面の簡単な説明】
【図１】この発明の実施例の機能構成を示す図。
【図２】この発明の実施例の処理手順を示す流れ図。
【図３】第１の出力信号の狭帯域信号のストレートおよびクロス成分の例を示す図。
【図４】この発明の効果を説明するための実験結果を示す図。
Claims (12)
- Ｎ（Ｎ≧２）個の音源信号が混在するＭ（Ｍ≧Ｎ）個の混合音を第１の入力信号とし、第１の入力信号から周波数領域独立成分分析を用いてＮ個の音源信号を推定して、第１の出力信号を出力する音源分離過程の後段で行う処理として、第１の出力信号に含まれる雑音を抑圧する雑音抑圧方法であって、
上記第１の出力信号の他の各第１の出力信号との相互相関を最大にするような遅延を求める遅延推定過程と、
上記遅延推定過程によって求めた遅延に基づいて対応する第１の出力信号を遅延させて第２の出力信号を出力する遅延過程と、
第１の出力信号と第２の出力信号を用いて第１の出力信号中に含まれる雑音成分の係数を推定する係数推定過程と、
上記係数を第２の出力信号に乗じて雑音を推定する雑音推定過程と、
推定した雑音を第１の出力信号から引き去ることにより第３の出力信号を得る雑音減算過程と、
を有することを特徴とする雑音抑圧方法。 - 請求項１記載の雑音抑圧方法において、上記係数推定過程は、
上記第１の出力信号の振幅スペクトルと、上記第２の出力信号の振幅スペクトルとの相関の正規化値と、
上記第２の出力信号の振幅スペクトルの総和に対する上記第１の出力信号の振幅スペクトルの総和の比との積として係数を推定する過程である、ここで上記総和は、上記第２の出力信号の振幅スペクトルが上記第１の出力信号の振幅スペクトルより大きい全ての時刻のことである、
ことを特徴とする雑音抑圧方法。 - 請求項１又は２記載の雑音抑圧方法において、上記雑音推定過程は、
上記係数を第２の出力信号の振幅スペクトルに乗じ、（Ｎ−１）個の和として、雑音の振幅スペクトルを推定する過程であることを、
特徴とする雑音抑圧方法。 - 請求項１記載の雑音抑圧方法において、上記係数推定過程は、
上記第１の出力信号のパワースペクトルと、上記第２の出力信号のパワースペクトルとの相関の正規化値と、
上記第２の出力信号のパワースペクトルの総和に対する上記第１の出力信号のパワースペクトルの総和の比との積として係数を推定する過程である、ここで上記総和は、上記第２の出力信号の振幅スペクトルが上記第１の出力信号の振幅スペクトルより大きい全ての時刻のことである、
ことを特徴とする雑音抑圧方法。 - 請求項１又は４記載の雑音抑圧方法において、上記雑音推定過程は、
上記係数を第２の出力信号のパワースペクトルに乗じ、（Ｎ−１）個の和として、雑音のパワースペクトルを推定する過程であることを、
特徴とする雑音抑圧方法。 - Ｎ（Ｎ≧２）個の音源信号が混在するＭ（Ｍ≧Ｎ）個の混合音を第１の入力信号とし、第１の入力信号から周波数領域独立成分分析を用いてＮ個の音源信号を推定して、第１の出力信号を出力する音源分離装置よりの第１の出力信号に含まれる雑音を抑圧する雑音抑圧装置であって、
上記第１の出力信号の他の各第１の出力信号との相互相関を最大にするような遅延を求める遅延推定手段と、
上記遅延推定手段によって求めた遅延に基づいて対応する第１の出力信号を遅延させて第２の出力信号を出力する遅延手段と、
第１の出力信号と第２の出力信号を用いて第１の出力信号中に含まれる雑音成分の係数を推定する係数推定手段と、
上記係数を対応する第２の出力信号に乗じて雑音を推定する雑音推定手段と、
推定した雑音を第１の出力信号から引き去ることにより第３の出力信号を得る雑音減算手段と、
を備えることを特徴とする雑音抑圧装置。 - 請求項６記載の雑音抑圧装置において、上記係数推定手段は、
上記第１の出力信号の振幅スペクトルと、上記第２の出力信号の振幅スペクトルとの相関の正規化値と、
上記第２の出力信号の振幅スペクトルの総和に対する上記第１の出力信号の振幅スペクトルの総和の比との積として係数を推定する手段である、ここで上記総和は、上記第２の出力信号の振幅スペクトルが上記第１の出力信号の振幅スペクトルより大きい全ての時刻のことである、
ことを特徴とする雑音抑圧装置。 - 請求項６又は７記載の雑音抑圧装置において、上記雑音推定手段は、
上記係数を前記第２の出力信号の振幅スペクトルに乗じ、（Ｎ−１）個の和として、雑音の振幅スペクトルを推定する手段であることを、
特徴とする雑音抑圧装置。 - 請求項６記載の雑音抑圧装置において、上記係数推定手段は、
上記第１の出力信号のパワースペクトルと、上記第２の出力信号のパワースペクトルとの相関の正規化値と、
上記第２の出力信号のパワースペクトルの総和に対する上記第１の出力信号のパワースペクトルの総和の比との積として係数を推定する手段である、ここで上記総和は、上記第２の出力信号の振幅スペクトルが上記第１の出力信号の振幅スペクトルより大きい全ての時刻のことである、
ことを特徴とする雑音抑圧装置。 - 請求項６又は９記載の雑音抑圧装置において、上記雑音推定手段は、
上記係数を第２の出力信号のパワースペクトルに乗じ、（Ｎ−１）個の和として、雑音のパワースペクトルを推定する手段であることを、
特徴とする雑音抑圧装置。 - 請求項１〜５いずれかに記載した雑音推定方法の各過程を、コンピュータに実行させるための雑音抑圧プログラム。
- 請求項１１記載の雑音抑圧プログラムを記録したコンピュータにより読み出し可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291277A JP3831220B2 (ja) | 2001-09-25 | 2001-09-25 | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001291277A JP3831220B2 (ja) | 2001-09-25 | 2001-09-25 | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003099093A JP2003099093A (ja) | 2003-04-04 |
| JP3831220B2 true JP3831220B2 (ja) | 2006-10-11 |
Family
ID=19113450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001291277A Expired - Fee Related JP3831220B2 (ja) | 2001-09-25 | 2001-09-25 | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3831220B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602004029867D1 (de) * | 2003-03-04 | 2010-12-16 | Nippon Telegraph & Telephone | Positionsinformationsschätzeinrichtung, verfahren dafür und programm |
| JP4543731B2 (ja) * | 2004-04-16 | 2010-09-15 | 日本電気株式会社 | 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム |
| DE102006027673A1 (de) * | 2006-06-14 | 2007-12-20 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm |
| WO2008111143A1 (ja) * | 2007-03-09 | 2008-09-18 | Pioneer Corporation | 音場再生装置及び音場再生方法 |
-
2001
- 2001-09-25 JP JP2001291277A patent/JP3831220B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003099093A (ja) | 2003-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650796B2 (en) | Single-channel, binaural and multi-channel dereverberation | |
| EP2360685B1 (en) | Noise suppression | |
| EP1774517B1 (en) | Audio signal dereverberation | |
| JP5666023B2 (ja) | 残響知覚レベルの大きさを決定する装置及び方法、オーディオプロセッサ並びに信号処理方法 | |
| JP5375400B2 (ja) | 音声処理装置、音声処理方法およびプログラム | |
| JP6019969B2 (ja) | 音響処理装置 | |
| JP2002204175A (ja) | ノイズ除去の方法及び装置 | |
| KR100721069B1 (ko) | 오디오 장치 및 그 재생용 프로그램을 포함하는 컴퓨터 판독 가능한 기록매체 | |
| JP2001134287A (ja) | 雑音抑圧装置 | |
| WO2006041735A2 (en) | Reverberation removal | |
| US20190362736A1 (en) | Dry sound and ambient sound separation | |
| JP2006313997A (ja) | 騒音量推定装置 | |
| JP2011065128A (ja) | 残響除去装置 | |
| JP4434813B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 | |
| CN106941006B (zh) | 用于音频信号的分离和低音增强的方法、装置和系统 | |
| JP3831220B2 (ja) | 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体 | |
| JP5971646B2 (ja) | 多チャネル信号処理装置、方法、及びプログラム | |
| JP2005258158A (ja) | ノイズ除去装置 | |
| JP4533126B2 (ja) | 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体 | |
| KR101096091B1 (ko) | 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법 | |
| KR20180087021A (ko) | 실내전달함수 추정 방법 및 신호 처리 방법 | |
| JP2018049228A (ja) | 音響処理装置および音響処理方法 | |
| JP7252779B2 (ja) | 雑音除去装置、雑音除去方法およびプログラム | |
| KR100587568B1 (ko) | 음성 향상 시스템 및 방법 | |
| US10109291B2 (en) | Noise suppression device, noise suppression method, and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060713 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090721 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |