JP4395772B2 - ノイズ除去方法及び装置 - Google Patents

ノイズ除去方法及び装置 Download PDF

Info

Publication number
JP4395772B2
JP4395772B2 JP2005177567A JP2005177567A JP4395772B2 JP 4395772 B2 JP4395772 B2 JP 4395772B2 JP 2005177567 A JP2005177567 A JP 2005177567A JP 2005177567 A JP2005177567 A JP 2005177567A JP 4395772 B2 JP4395772 B2 JP 4395772B2
Authority
JP
Japan
Prior art keywords
noise
signal
frequency domain
domain signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005177567A
Other languages
English (en)
Other versions
JP2005321821A (ja
JP2005321821A5 (ja
Inventor
昭彦 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005177567A priority Critical patent/JP4395772B2/ja
Publication of JP2005321821A publication Critical patent/JP2005321821A/ja
Publication of JP2005321821A5 publication Critical patent/JP2005321821A5/ja
Application granted granted Critical
Publication of JP4395772B2 publication Critical patent/JP4395772B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は、ノイズ除去方法及び装置に関し、より詳しくは、所望の音声信号に重畳されているノイズを除去するノイズ除去方法及び装置に関する。
ノイズ除去装置(ノイズ・サプレッサ)は、所望の音声信号に重畳されている雑音(ノイズ)を除去するものであり、時間領域から周波数領域に変換した入力信号を用いてノイズ成分のパワースペクトルを推定し、この推定パワースペクトルを入力信号から差し引くことにより、所望の音声信号に混在するノイズを抑圧するように動作する。ノイズ成分のパワースペクトルを、音声の無音区間を検出して更新することにより、非定常なノイズの抑圧にも適用することができる。
ノイズ除去装置としては、例えば非特許文献1に記載されている方式がある。これは、最小平均2乗誤差短時間スペクトル振幅法として知られている。図48に、非特許文献1に記載されたノイズ除去装置の構成を示す。
入力端子11には、劣化音声信号(所望音声信号とノイズの混在する信号)が、時間領域サンプル値系列として供給される。劣化音声信号サンプルは、フレーム分割部1に供給され、K/2サンプル毎のフレームに分割される。ここに、Kは2以上の偶数とする。
フレームに分割された劣化音声信号サンプルは、窓がけ処理部2に供給され、窓関数w(t)との乗算が行なわれる。第nフレームの入力信号yn(t)(t=0,1,....,K/2−1)に対するw(t)で窓がけされた信号yn(t)バーは、式(1)で与えられる。
Figure 0004395772
また、連続する2フレームの一部を重ね合わせ(オーバラップ)して窓がけすることも広く行なわれている。オーバラップ長としてフレーム長の50%を仮定すれば、t=0,1,....,K/2−1に対して、式(2)で得られるyn(t)バー(t=0,1,....,K/2−1)が、窓がけ処理部2の出力となる。
Figure 0004395772
実数信号に対しては、左右対称窓関数が用いられる。また、窓関数は、後述する抑圧係数を1に設定したときの入力信号と出力信号が計算誤差を除いて一致するように設計される。これは、w(t)+w(t+K/2)=1となることを意味する。
以後、連続する2フレームの50%をオーバラップして窓がけする場合を例として説明を続ける。窓関数w(t)としては、例えば式(3)に示すハニング窓を用いることができる。
Figure 0004395772
窓がけされた出力yn(t)バーは、フーリエ変換部3に供給され、周波数領域の劣化音声スペクトル(周波数領域信号)Yn(k)に変換される。劣化音声スペクトルYn(k)は位相と振幅に分離され、劣化音声位相スペクトルのargYn(k)は逆フーリエ変換部9に、劣化音声振幅スペクトル|Yn(k)|は音声検出部4、多重乗算部16及び多重乗算部17に供給される。
音声検出部4は、劣化音声振幅スペクトル|Yn(k)|に基づいて音声の有無を検出し、その結果によって定められる音声検出フラグを推定雑音計算部51に伝達する。多重乗算部17は、供給された劣化音声振幅スペクトル|Yn(k)|を周波数別に2乗し、劣化音声パワースペクトルとして推定雑音計算部51と周波数別SNR(信号対雑音比)計算部6に伝達する。推定雑音計算部51は、音声検出フラグ、劣化音声パワースペクトル、及びカウンタ13から供給されるカウント値を用いて、上記劣化音声振幅スペクトルに含まれる雑音(第2の雑音)のパワースペクトルを推定し、推定雑音パワースペクトルとして周波数別SNR計算部6に伝達する。周波数別SNR計算部6は、入力された劣化音声パワースペクトルと推定雑音パワースペクトルを用いて周波数別に除算し、後天的SNR(a posteriori SNR)として推定先天的SNR計算部7と雑音抑圧係数生成部8に供給する。後天的SNRは雑音を含む強調前音声と雑音の比の推定値である。
推定先天的SNR計算部7は、入力された後天的SNR、及び後述する雑音抑圧係数生成部8から供給された抑圧係数Gn(k)バーを用いて、真の音声対雑音比を示す先天的SNR(a priori SNR)を推定し、推定先天的SNRとして雑音抑圧係数生成部8に帰還させる。雑音抑圧係数生成部8は、入力として供給された後天的SNRと推定先天的SNRを用いて雑音抑圧係数を生成し、抑圧係数Gn(k)バーとして推定先天的SNR計算部7に帰還すると同時に多重乗算部16に伝達する。
多重乗算部16は、フーリエ変換部3から供給された劣化音声振幅スペクトル|Yn(k)|を、雑音抑圧係数生成部8から供給された抑圧係数Gn(k)バーで重みづけすることによって強調音声振幅スペクトル|Xn(k)|バーを求め、逆フーリエ変換部9に伝達する。|Xn(k)|バーは、式(4)で与えられる。
Figure 0004395772
逆フーリエ変換部9は、多重乗算部16から供給された強調音声振幅スペクトル|Xn(k)|バーとフーリエ変換部3から供給された劣化音声位相スペクトルargYn(k)を乗算して、強調音声スペクトルXn(k)バーを求める。すなわち、式(5)を実行する。
Figure 0004395772
そして、得られた強調音声スペクトルXn(k)バーに逆フーリエ変換を施し、1フレームがKサンプルから構成される時間領域サンプル値系列(時間領域信号)xn(t)バー(t=0,1,....,K−1)として、フレーム合成部10に伝達する。フレーム合成部10は、xn(t)バーの隣接する2フレームからK/2サンプルずつを取り出して重ね合わせ、(6)式によって強調音声xn(t)ハット(t=0,1,....,K/2−1)を得る。得られた強調音声xn(t)ハットが、フレーム合成部10の出力として、出力端子12に伝達される。
Figure 0004395772
次に、図48に示したノイズ除去装置の各部の構成及び動作について、さらに説明する。
音声検出部の実現方法について、非特許文献1は詳細に開示していない。しかし、音声検出部の実現例としては非特許文献2が知られているので、以降、非特許文献2に示されたものを従来の方法として説明する。
図49は、図48における音声検出部4の構成を示すブロック図である。音声検出部4は、閾値記憶部401、比較部402、乗算器404、対数計算部405、パワー計算部406、重みつき加算部407、重み記憶部408、論理否定回路409を有する。
図48におけるフーリエ変換部3から供給された劣化音声振幅スペクトルは、パワー計算部406に供給される。パワー計算部406は、劣化音声振幅スペクトルのパワー|Yn(k)|2 のk=0からK−1に対する総和を計算して、対数計算部405に伝達する。対数計算部405は、入力された劣化音声スペクトルパワー|Yn(k)|2 の対数を求め、乗算器404に伝達する。乗算器404は、供給された対数値を定数倍(例えば10倍)して劣化音声パワーQn を求め、比較部402及び重みつき加算部407に供給する。すなわち、第nフレームの劣化音声パワーQn は、式(7)で与えられる。
Figure 0004395772
なお、非特許文献2に開示された音声検出部は、時間領域サンプルであるyn(t)バーを用いて、式(8)に従ってQnを求めている。
Figure 0004395772
しかし、例えば非特許文献3にあるように、式(8)と式(7)が等価であることは、パーセバル(Parseval)の等式として知られている。
比較部402には、閾値記憶部401から、閾値THn が供給されている。比較部402は、乗算器404の出力Qn と閾値THn を比較し、THn >Qn のときは有音を表す“1”を、THn ≦Qn のときは無音を表す“0”を出力する。比較部402の出力は、音声検出部4の出力である音声検出フラグとして外部に供給されると同時に、否定演算回路409に供給される。否定演算回路409の出力は、重みつき加算部制御信号905として重みつき加算部407に供給される。重みつき加算部407には、また、閾値記憶部401から閾値(THn-1 )902と、重み記憶部408から重み903が供給される。
重みつき加算部407は、閾値記憶部401から供給される閾値(THn-1 )902を、重みつき加算部制御信号905に基づいて選択的に更新する。更新閾値THn は、閾値(THn-1 )902と劣化音声パワー(Qn )901を、重み記憶部408から供給される重み903を用いて重みつき加算することによって求められる。更新閾値THn の計算は、論理否定回路409の出力である重みつき加算部制御信号905が“1”に等しいときだけ行なわれる。すなわち、無音のときだけ、閾値THn-1 がTHn に更新される。更新によって得られた更新閾値THn は、更新閾値904として閾値記憶部401に帰還される。
図50は、図49に示した音声検出部4に含まれるパワー計算部406の構成を示すブロック図である。パワー計算部406は、分離部4061、K個の乗算器40620 〜4062K-1 、加算器4063を有する。多重化された状態で図48におけるフーリエ変換部3から供給された劣化音声振幅スペクトル|Yn(k)|は、分離部4061において周波数別のKサンプルに分離され、それぞれ乗算器40620 〜4062K-1 に供給される。乗算器40620 〜4062K-1 は、それぞれ入力された信号を2乗し、加算器4063に伝達する。加算器4063は、入力された信号の総和を求めて出力する。
図51は、図49に示した音声検出部4に含まれる重みつき加算部407の構成を示すブロック図である。重みつき加算部407は、乗算器4071,4073、定数乗算器4075、加算器4072,4074を有する。図49における乗算器404から劣化音声パワー(Qn )901が、図49における閾値記憶部401から閾値(THn-1 )902が、図49における重み記憶部408から重み903が、図49における論理否定回路409から重みつき加算部制御信号905が、それぞれ入力として供給される。
値βを有する重み903は、定数乗算器4075と乗算器4073に伝達される。定数乗算器4075は入力信号を−1倍して得られた−βを、加算器4074の一方の入力として供給する。加算器4074の他方の入力としては1が供給されており、加算器4074の出力は両者の和である1−βとなる。1−βは乗算器4071の一方の入力として供給されて、他方の入力である劣化音声パワー(Qn )901と乗算され、積である(1−β)Qn が加算器4072に伝達される。
一方、乗算器4073では、重み903として供給されたβと閾値(THn-1 )902が乗算され、積であるβTHn-1 が加算器4072に伝達される。加算器4072は、βTHn-1 と(1−β)Qn の和を、更新閾値(THn )904として出力する。
更新閾値THn の計算は、重みつき加算部制御信号905が“1”に等しいときだけ行なわれる。すなわち、重みつき加算部407の機能は、無音のときに、閾値THn -1を更新してTHn を求めることであり、式(9)によって表すことができる。
Figure 0004395772
図48における多重乗算部17について説明する。図52は、多重乗算部17の構成を示すブロック図である。多重乗算部17は、K個の乗算器17010 〜1701K-1 、分離部1702,1703、多重化部1704を有する。多重化された状態で図48におけるフーリエ変換部3から供給された劣化音声振幅スペクトルは、分離部1702及び1703において周波数別のKサンプルに分離され、それぞれ乗算器17010 〜1701K-1 に供給される。乗算器17010 〜1701K-1 は、それぞれ入力された信号を2乗し、多重化部1704に伝達する。多重化部1704は、入力された信号を多重化し、劣化音声パワースペクトルとして出力する。
図48における推定雑音計算部51について説明する。図53は、推定雑音計算部51の構成を示すブロック図である。推定雑音計算部51は、分離部502、多重化部503、K個の周波数別推定雑音計算部5140 〜514K-1 を有する。図48における音声検出部4から供給された音声検出フラグと図48におけるカウンタ13から供給されたカウント値は、周波数別推定雑音計算部5140 〜514K-1 に伝達される。図48における多重乗算部17から供給された劣化音声パワースペクトルは、分離部502に伝達される。
分離部502は、多重化された状態で供給された劣化音声パワースペクトルをK個の周波数に対応した成分に分離して、それぞれ周波数別推定雑音計算部5140 〜514K-1 に伝達する。周波数別推定雑音計算部5140 〜514K-1 は、分離部502から供給された劣化音声パワースペクトルを用いて雑音パワースペクトルを計算し、多重化部503に伝達する。雑音パワースペクトルの計算は、カウント値と音声検出フラグの値によって制御され、予め定めた条件が満足されるときだけ実行される。多重化部503は、供給されたK個の雑音パワースペクトル値を多重化して、推定雑音パワースペクトルとして出力する。
図54は、図53に示した推定雑音計算部51に含まれる周波数別推定雑音計算部514の構成を示すブロック図である。非特許文献2で開示された雑音推定は、無音区間において雑音推定値を更新するものであり、雑音推定値として巡回型フィルタによる平均化を施した推定雑音の瞬時値を用いている。一方、非特許文献4に開示された雑音推定では、推定雑音の瞬時値を平均化して用いると記述されている。これは、巡回型の代わりにトランスバーサル型フィルタ(シフトレジスタを用いた構成)を用いた平均化の実現を示唆している。どちらの実現も機能は等しいので、ここでは非特許文献4に開示された方法について説明する。
周波数別推定雑音計算部514は、更新判定部521、レジスタ長記憶部5941、スイッチ5044、シフトレジスタ5045、加算器5046、最小値選択部5047、除算部5048、カウンタ5049を有する。
スイッチ5044には、図53における分離部502から、周波数別劣化音声パワースペクトルが供給されている。スイッチ5044が回路を閉じたときに、周波数別劣化音声パワースペクトルは、シフトレジスタ5045に伝達される。シフトレジスタ5045は、更新判定部521から供給される制御信号に応じて、内部レジスタの記憶値を隣接レジスタにシフトする。シフトレジスタ長は、後述するレジスタ長記憶部5941に記憶されている値に等しい。シフトレジスタ5045の全レジスタ出力は、加算器5046に供給される。加算器5046は、供給された全レジスタ出力を加算して、加算結果を除算部5048に伝達する。
一方、更新判定部521には、カウント値と音声検出フラグが供給されている。更新判定部521は、カウント値が予め設定された値に到達するまでは常に“1”を、到達した後は音声検出フラグが“0”である(無音の)ときに“1”を、それ以外のときに“0”を出力し、制御信号としてカウンタ5049、スイッチ5044、及びシフトレジスタ5045に伝達する。スイッチ5044は、更新判定部521から供給された制御信号が“1”のときに回路を閉じ、“0”のときに開く。カウンタ5049は、更新判定部521から供給された制御信号が“1”のときにカウント値を増加し、“0”のときには変更しない。シフトレジスタ5045は、更新判定部521から供給された信号が“1”のときにスイッチ5044から供給される信号サンプルを1サンプル取り込むと同時に、内部レジスタの記憶値を隣接レジスタにシフトする。
最小値選択部5047には、カウンタ5049の出力とレジスタ長記憶部5941の出力が供給されている。最小値選択部5047は、供給されたカウント値とレジスタ長のうち、小さい方を選択して、除算部5048に伝達する。除算部5048は、加算器5046から供給された周波数別劣化音声パワースペクトルの加算値をカウント値又はレジスタ長の小さい方の値で除算し、商を周波数別推定雑音パワースペクトルλn(k)として出力する。Bn(k)(n=0,1,....,N−1)をシフトレジスタ5045に保存されている劣化音声パワースペクトルのサンプル値とすると、λn(k)は式(10)で与えられる。
Figure 0004395772
ただし、Nはカウント値とレジスタ長のうち、小さい方の値である。カウント値はゼロから始まって単調に増加するので、最初はカウント値で除算が行なわれ、後にはレジスタ長で除算が行なわれる。一方、実際に値が記憶されているレジスタの数は、カウント値がレジスタ長より小さいときはカウント値に等しく、カウント値がレジスタ長より大きくなると、レジスタ長と等しくなる。したがって、加算器5046から供給された周波数別劣化音声パワースペクトルの加算値を、実際に値が記憶されているレジスタの数で除算することになる。カウント値がレジスタ長より大きいときは、シフトレジスタ5045に格納された値の平均値を求めることになる。この演算結果が周波数別推定雑音パワースペクトルとなる。
図55は、図54に示した周波数別推定雑音計算部514に含まれる更新判定部521の構成を示すブロック図である。更新判定部521は、論理否定回路5202、比較部5203、閾値記憶部5204、論理和計算部5211を有する。
図48におけるカウンタ13から供給されるカウント値は、比較部5203に伝達される。閾値記憶部5204の出力である閾値も、比較部5203に伝達される。比較部5203は、供給されたカウント値と閾値を比較し、カウント値が閾値より小さいときに“1”を、カウント値が閾値より大きいときに“0”を、論理和計算部5211に伝達する。
一方、供給された音声検出フラグは論理否定回路5202に伝達される。論理否定回路5202は、入力された信号の論理否定値を求め、論理和計算部5211に伝達する。すなわち、音声検出フラグが“1”である有音部では“0”を、音声検出フラグが“0”である無音部では“1”を、論理和計算部5211に伝達することになる。
その結果、論理和計算部5211の出力は、音声検出フラグが“0”である無音部のとき、又はカウント値が閾値より小さいときに“1”となって、図54におけるスイッチ5044を閉じ、カウンタ5049をカウントアップさせる。
図48における周波数別SNR計算部6について説明する。図56は、周波数別SNR計算部6の構成を示すブロック図である。周波数別SNR計算部6は、K個の除算部6010 〜601K-1 、分離部602,603、多重化部604を有する。図48における多重乗算部17から供給される劣化音声パワースペクトルは、分離部602に伝達される。図48における推定雑音計算部51から供給される推定雑音パワースペクトルは、分離部603に伝達される。劣化音声パワースペクトルは分離部602において、推定雑音パワースペクトルは分離部603において、それぞれ周波数成分に対応したKサンプルに分離され、それぞれ除算部6010 〜601K-1 に供給される。除算部6010 〜601K-1 では、式(11)に従って、供給された劣化音声パワースペクトル|Yn(k)|2 を推定雑音パワースペクトルλn(k)で除算して周波数別SNRγn(k)を求め、多重化部604に伝達する。多重化部604は、伝達されたK個の周波数別SNRγn(k)を多重化して、後天的SNRとして出力する。
Figure 0004395772
図48における推定先天的SNR計算部7について説明する。図57は、推定先天的SNR計算部7の構成を示すブロック図である。推定先天的SNR計算部7は、多重値域限定処理部701、後天的SNR記憶部702、抑圧係数記憶部703、多重乗算部704,705、重み記憶部706、多重重みつき加算部707、加算器708を有する。
図48における周波数別SNR計算部6から供給される後天的SNRγn(k)(k=0,1,....,K−1)は、加算器708の一方の端子と、後天的SNR記憶部702に伝達される。後天的SNR記憶部702は、第nフレームにおける後天的SNRγn(k)を記憶すると共に、第n−1フレームにおける後天的SNRγn-1(k)を多重乗算部705に伝達する。
図48における雑音抑圧係数生成部8から供給される抑圧係数Gn(k)バー(k=0,1,....,K−1)は、抑圧係数記憶部703に伝達される。抑圧係数記憶部703は、第nフレームにおける抑圧係数Gn(k)バーを記憶すると共に、第n−1フレームにおける抑圧係数Gn-1(k)バーを多重乗算部704に伝達する。多重乗算部704は、供給されたGn-1(k)バーを2乗してG2 n-1(k)バーを求め、多重乗算部705に伝達する。多重乗算部705は、G2 n-1(k)バーとγn-1(k)をk=0,1,....,K−1に対して乗算してG2 n-1(k)バーγn-1(k)を求め、その結果を多重重みつき加算部707に過去の推定SNR922として伝達する。多重乗算部704及び705の構成は、既に図52を用いて説明した多重乗算部17に等しいので、詳細な説明は省略する。
加算器708の他方の端子には−1が供給されており、加算結果γn(k)−1が多重値域限定処理部701に伝達される。多重値域限定処理部701は、加算器708から供給された加算結果γn(k)−1に値域限定演算子P[・]による演算を施し、その結果であるP[γn(k)−1]を多重重みつき加算部707に瞬時推定SNR921として伝達する。ただし、P[x]は式(12)で定められる。
Figure 0004395772
多重重みつき加算部707には、また、重み記憶部706から重み923が供給されている。多重重みつき加算部707は、これらの供給された瞬時推定SNR921、過去の推定SNR922、重み923を用いて推定先天的SNR924を求める。重み923をαとし、ξn(k)ハットを推定先天的SNRとすると、ξn(k)ハットは、式(13)によって計算される。ここに、右辺第1項の初期値(n=0)を、γ-1(k)G2 -1(k)バー=1とする。
Figure 0004395772
図58は、図57に示した推定先天的SNR計算部7に含まれる多重値域限定処理部701の構成を示すブロック図である。多重値域限定処理部701は、定数記憶部7011、K個の最大値選択部70120 〜7012K-1 、分離部7013、多重化部7014を有する。分離部7013には、図57における加算器708から、γn(k)−1が供給される。分離部7013は、供給されたγn(k)−1をK個の周波数別成分に分離し、それぞれ最大値選択部70120 〜7012K-1 の一方の入力に供給する。最大値選択部70120〜7012K-1の他方の入力には、定数記憶部7011からゼロが供給されている。最大値選択部70120 〜7012K-1 は、γn(k)−1をゼロと比較し、大きい方の値を多重化部7014へ伝達する。この最大値選択演算は、式(12)を実行することに相当する。多重化部7014は、これらの値を多重化して出力する。
図59は、図57に示した推定先天的SNR計算部7に含まれる多重重みつき加算部707の構成を示すブロック図である。多重重みつき加算部707は、K個の重みつき加算部70710 〜7071K-1 、分離部7072,7074、多重化部7075を有する。
分離部7072には、図57における多重値域限定処理部701から、P[γn(k)−1]が瞬時推定SNR921として供給される。分離部7072は、P[γn(k)−1]をK個の周波数別成分に分離し、周波数別瞬時推定SNR9210 〜921K-1 として、それぞれ重みつき加算部70710 〜7071K-1 に伝達する。分離部7074には、図57における多重乗算部705から、G2 n-1(k)バーγn-1(k)が過去の推定SNR922として供給される。分離部7074は、G2 n-1(k)バーγn-1(k)をK個の周波数別成分に分離し、過去の周波数別推定SNR9220 〜922K-1 として、それぞれ重みつき加算部70710 〜7071K-1 に伝達する。一方、重みつき加算部70710 〜7071K-1 には、重み923も供給される。重みつき加算部70710 〜7071K-1 は、式(13)によって表される重みつき加算を実行し、周波数別推定先天的SNR9240 〜924K-1 を多重化部7075に伝達する。多重化部7075は、周波数別推定先天的SNR9240 〜924K-1 を多重化し、推定先天的SNR924として出力する。
重みつき加算部70710 〜7071K-1 の構成と動作は、既に図51を用いて説明した重みつき加算部407と等しいので、詳細な説明は省略する。但し、重みつき加算の計算は常に行なわれる。
図48における雑音抑圧係数生成部8について説明する。図60は、雑音抑圧係数生成部8の構成を示すブロック図である。雑音抑圧係数生成部8は、K個の抑圧係数検索部8010 〜801K-1 、分離部802,803、多重化部804を有する。分離部802には、図48における周波数別SNR計算部6から後天的SNRが供給される。分離部802は、供給された後天的SNRをK個の周波数別成分に分離し、それぞれ抑圧係数検索部8010 〜801K-1 に伝達する。分離部803には、図48における推定先天的SNR計算部7から推定先天的SNRが供給される。分離部803は、供給された推定先天的SNRをK個の周波数別成分に分離し、それぞれ抑圧係数検索部8010 〜801K-1 に伝達する。抑圧係数検索部8010 〜801K-1 は、供給された後天的SNRと推定先天的SNRに対応した抑圧係数を検索し、検索結果を多重化部804に伝達する。多重化部804は、供給された抑圧係数を多重化して出力する。
図61は、図60に示した雑音抑圧係数生成部8に含まれる抑圧係数検索部8010 〜801K-1 の構成を示すブロック図である。抑圧係数検索部801は、抑圧係数テーブル8011、アドレス変換部8012,8013を有する。アドレス変換部8012には、図60における分離部802から、周波数別後天的SNRが供給される。アドレス変換部8012は、供給された周波数別後天的SNRを対応したアドレスに変換し、抑圧係数テーブル8011に伝達する。アドレス変換部8013には、図60における分離部803から、周波数別推定先天的SNRが供給される。アドレス変換部8013は、供給された周波数別推定先天的SNRを対応したアドレスに変換し、抑圧係数テーブル8011に伝達する。抑圧係数テーブル8011は、アドレス変換部8012とアドレス変換部8013から供給されたアドレスに対応した領域に格納されている抑圧係数を、周波数別抑圧係数として出力する。ここでは、特定の統計モデルに従う背景雑音を仮定して導出した抑制係数が用いられている。
1984年12月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第32巻、第6号(IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.32, NO.6, PP.1109-1121, DEC, 1984)、1109〜1121ページ 2000年3月、日本音響学会講演論文集、321〜322ページ 1985年、ディジタル信号処理の理論、コロナ社、75〜76ページ 1998年5月、アイ・イー・イー・イー・トランザクションズ・オン・スピーチ・アンド・オーディオ・プロセシング、第6巻、第3号(IEEE TRANS-ACTIONS ON SPEECH AND AUDIO PROCESSING, VOL.6, NO.3, PP.287-292, MAY, 1998 )、287〜292ページ 2000年4月、電子情報通信学会技術研究報告、DSP、53〜60ページ 1985年、数学辞典、岩波書店、374.Gページ 1980年、聴覚と音声、電子情報通信学会、115〜118ページ 1983年、マルチレート・ディジタル・シグナル・プロセシング(Multirate Digital Signal Processing),1983,Prentice-Hall Inc.,USA 1979年12月、プロシーディングス・オブ・ザ・アイ・イー・イー・イー、第67巻、第12号(PROCEEDINGS OF THE IEEE, VOL.67, NO.12, PP.1586-1604, DEC, 1979 )、1586〜1604ページ 1979年4月、アイ・イー・イー・イー・トランザクションズ・オン・アクースティクス・スピーチ・アンド・シグナル・プロセシング、第27巻、第2号(IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.27, NO.2, PP.113-120, APR, 1979)、113〜120ページ
このように、従来のノイズ除去装置及び方法では、特定の統計モデルに従う背景雑音を仮定して導出した抑圧係数を用いて雑音抑圧を行なっていたため、その統計モデルに従わない雑音を効果的に除去することができなかった。このため、十分高い強調音声の品質を達成できなかった。
また、従来のノイズ除去装置及び方法では、逆フーリエ変換して得られた時間領域信号の隣接する2フレームから取り出した信号サンプルを重ね合わせ加算することによって、強調音声を得ていた。一方、フーリエ変換前に時間領域信号にかける窓関数は、雑音抑圧処理を行なわないときに、入力が出力において再現されるように設計されていた。このため、重ね合わせ加算の対象となった信号サンプルが、隣接するフレームにおいて異なった抑圧係数値で抑圧されると、フレーム境界において信号サンプルに不連続性を生じ、出力信号に発生する雑音によって音質が劣化してしまっていた。
以上のように従来のノイズ除去装置及び方法には、優れた音質の強調音声を得ることができないという問題があった。
本発明はこのような課題を解決するためになされたものであり、その目的は、優れた音質の強調音声を得ることができるノイズ除去装置及び方法を提供することにある。
このような目的を達成するために、本発明のノイズ除去方法は、入力信号に基づいて擬似的な雑音を生成し、この擬似的な雑音を注入して得られた抑圧係数を用いることを特徴とする。抑圧係数を定めるときに上述した擬似的な雑音を注入することにより、特定の統計モデルに従う背景雑音を仮定して導出した抑圧係数を、入力信号に応じて補正することができる。
より具体的には、本発明のノイズ除去方法は、入力信号を周波数領域信号に変換し、この周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比に基づいて抑圧係数を定め、この抑圧係数を用いて周波数領域信号を重みづけすることによって、入力信号に含まれるノイズを除去するノイズ除去方法において、信号対雑音比を求めるステップは、周波数領域信号に基づいて周波数領域信号に含まれる雑音を推定し、周波数領域信号と推定雑音に基づいて周波数領域信号への注入雑音を計算し、注入雑音を周波数領域信号に付加して補正周波数領域信号を求め、注入雑音を推定雑音に付加して補正された推定雑音を求め、補正周波数領域信号と補正された推定雑音から信号対雑音比を求め、周波数領域信号に対する注入雑音の付加を、入力信号の性質に応じて選択的に行なう。これにより、例えば抑圧係数の導出に用いられた統計モデルに従わない雑音を含む信号が入力された場合だけ注入雑音を付加し、抑圧係数の補正を選択的に行うことができる。
こで、入力信号の性質として、信号の定常性を用いてもよい。言うなれば、信号の性質、例えば平均パワーやスペクトル形状等が、時間と共にどの程度変化するかを基準として、注入雑音の付加を行ってもよい。
信号の定常性としては、入力信号の振幅がゼロとなるゼロ交叉の数を用いてもよいし、このゼロ交差の数と相関を示す前記周波数領域信号の高域電力を用いてもよい。
また、入力信号を変換した周波数領域信号に基づいて周波数領域信号に含まれる推定雑音を推定し、この推定雑音と周波数領域信号とを用いて注入雑音のパワーを定めるようにしてもよい。
また、入力信号を変換した周波数領域信号に基づいて周波数領域信号に含まれる推定雑音を推定し、この推定雑音と周波数領域信号とを用いて注入雑音を計算し、この注入雑音と周波数領域信号との和、及び注入雑音と推定雑音との和を用いて信号対雑音比を求めるようにしてもよい。
ここで、入力信号を変換した周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて推定雑音を推定するようにしてもよい。
また、本発明にかかる他のノイズ除去方法は、入力信号を周波数領域信号に変換し、この周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比に基づいて抑圧係数を定め、この抑圧係数を用いて周波数領域信号を重みづけすることによって、入力信号に含まれるノイズを除去するノイズ除去方法において、信号対雑音比を求めるステップは、周波数領域信号に基づいて周波数領域信号に含まれる雑音を推定し、周波数領域信号と推定雑音に基づいて周波数領域信号への注入雑音を計算し、注入雑音を周波数領域信号に付加して補正周波数領域信号を求め、注入雑音を推定雑音に付加して補正された推定雑音を求め、補正周波数領域信号と補正された推定雑音から信号対雑音比を求め、入力信号を変換した周波数領域信号に基づいて周波数領域信号に含まれる推定雑音を推定し、この推定雑音と周波数領域信号とを用いて注入雑音のパワーを定めるようにしたものである。
ここで、入力信号を変換した周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて推定雑音を推定するようにしてもよい。
また、本発明のノイズ除去装置は、入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、周波数領域信号の振幅成分に基づいて周波数領域信号に含まれる雑音を推定する推定雑音計算部と、推定雑音と周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、注入雑音と周波数領域信号の振幅成分を加算する第1の加算器と、注入雑音と推定雑音を加算する第2の加算器と、第1の加算器の出力信号と第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、抑圧係数を用いて周波数領域信号の振幅成分を重みづけする第1の乗算部と、この第1の乗算部の出力と周波数領域信号の位相成分を時間領域信号に変換する逆変換部とを少なくとも具備し、注入雑音計算部は、入力信号が入力され,入力信号の振幅がゼロとなるゼロ交叉の数を計算し,その計算結果に応じた制御信号を出力するゼロ交叉計算部と、このゼロ交叉計算部から入力された制御信号によって注入雑音を選択的にゼロに設定するスイッチとを含むものである。
また、上述したノイズ除去装置は、周波数領域信号の振幅成分を重みづけし,得られた重みつき振幅成分を推定雑音計算部に出力し,推定雑音計算部に重みつき振幅成分に基づいて推定雑音を推定させる重みつき劣化音声計算部を更に具備するものであってもよい。
ここで、重みつき劣化音声計算部は、周波数領域信号の振幅成分を用いて第2の信号対雑音比を計算して出力する第2の信号対雑音比計算部と、この第2の信号対雑音比計算部から入力された第2の信号対雑音比を非線形関数によって処理して重みを求め出力する非線形処理部と、この非線形処理部から入力された重みを用いて周波数領域信号の振幅成分を重みづけし,推定雑音計算部に出力する第2の乗算部とを含む構成としてもよい。
また、上述したノイズ除去装置は、抑圧係数生成部から入力された抑圧係数を,周波数領域信号に基づいて補正して第1の乗算部に出力し,第1の乗算部に補正した抑圧係数を用いて周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備するものであってもよい。
また、本発明にかかる他のノイズ除去装置は、入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、周波数領域信号の振幅成分に基づいて周波数領域信号に含まれる雑音を推定する推定雑音計算部と、推定雑音と周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、注入雑音と周波数領域信号の振幅成分を加算する第1の加算器と、注入雑音と推定雑音を加算する第2の加算器と、第1の加算器の出力信号と第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、抑圧係数を用いて周波数領域信号の振幅成分を重みづけする第1の乗算部と、この第1の乗算部の出力と周波数領域信号の位相成分を時間領域信号に変換する逆変換部とを少なくとも具備し、注入雑音計算部は、変換部から入力された周波数領域信号の振幅成分の高域電力を計算し,その計算結果に応じた制御信号を出力する高域電力計算部と、この高域電力計算部から入力された制御信号によって注入雑音を選択的にゼロに設定するスイッチとを含む構成としてもよい。
また、上述したノイズ除去装置は、周波数領域信号の振幅成分を重みづけし,得られた重みつき振幅成分を推定雑音計算部に出力し,推定雑音計算部に重みつき振幅成分に基づいて推定雑音を推定させる重みつき劣化音声計算部を更に具備するものであってもよい。
ここで、重みつき劣化音声計算部は、周波数領域信号の振幅成分を用いて第2の信号対雑音比を計算して出力する第2の信号対雑音比計算部と、この第2の信号対雑音比計算部から入力された第2の信号対雑音比を非線形関数によって処理して重みを求め出力する非線形処理部と、この非線形処理部から入力された重みを用いて周波数領域信号の振幅成分を重みづけし,推定雑音計算部に出力する第2の乗算部とを含む構成としてもよい。
また、上述したノイズ除去装置は、抑圧係数生成部から入力された抑圧係数を,周波数領域信号に基づいて補正して第1の乗算部に出力し,第1の乗算部に補正した抑圧係数を用いて周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備するものであってもよい。
また、本発明にかかる他のノイズ除去装置は、入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、周波数領域信号の振幅成分に基づいて周波数領域信号に含まれる雑音を推定する推定雑音計算部と、推定雑音と周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、注入雑音と周波数領域信号の振幅成分を加算する第1の加算器と、注入雑音と推定雑音を加算する第2の加算器と、第1の加算器の出力信号と第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、抑圧係数を用いて周波数領域信号の振幅成分を重みづけする第1の乗算部と、この第1の乗算部の出力と周波数領域信号の位相成分を時間領域信号に変換する逆変換部とを少なくとも具備し、抑圧係数生成部から入力された抑圧係数を,周波数領域信号に基づいて補正して第1の乗算部に出力し,第1の乗算部に補正した抑圧係数を用いて周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備するものであってもよい。
また、上述したノイズ除去装置は、周波数領域信号の振幅成分を重みづけし,得られた重みつき振幅成分を推定雑音計算部に出力し,推定雑音計算部に重みつき振幅成分に基づいて推定雑音を推定させる重みつき劣化音声計算部を更に具備するものであってもよい。
ここで、重みつき劣化音声計算部は、周波数領域信号の振幅成分を用いて第2の信号対雑音比を計算して出力する第2の信号対雑音比計算部と、この第2の信号対雑音比計算部から入力された第2の信号対雑音比を非線形関数によって処理して重みを求め出力する非線形処理部と、この非線形処理部から入力された重みを用いて周波数領域信号の振幅成分を重みづけし,推定雑音計算部に出力する第2の乗算部とを含む構成としてもよい。
た、本発明のノイズ除去方法は、入力信号を周波数領域信号に変換し、この周波数領域信号に基づいて周波数領域信号に含まれる雑音を推定し、この推定雑音を周波数領域信号から差し引くことによって、入力信号に含まれるノイズを除去するノイズ除去方法において、ノイズを除去するステップは、周波数領域信号と推定雑音に基づいて周波数領域信号への注入雑音を計算し、注入雑音を推定雑音に付加して補正された推定雑音を求め、補正された推定雑音を周波数領域信号から差し引くことでノイズを除去することを特徴とする。
このノイズ除去方法において、推定雑音に対する注入雑音の付加を、入力信号の性質に応じて選択的に行なってもよい。これにより、例えば抑圧係数の導出に用いられた統計モデルに従わない雑音を含む信号が入力された場合だけ注入雑音を付加し、強調音声の補正を選択的に行うことができる。
ここで、入力信号の性質として、信号の定常性を用いてもよい。言うなれば、信号の性質、例えば平均パワーやスペクトル形状等が、時間と共にどの程度変化するかを基準として、注入雑音の付加を行ってもよい。
信号の定常性としては、入力信号の振幅がゼロとなるゼロ交叉の数を用いてもよいし、このゼロ交差の数と相関を示す前記周波数領域信号の高域電力を用いてもよい。
また、注入雑音のパワーを、周波数領域信号と推定雑音とを用いて定めるようにしてもよい。
また、入力信号を変換した周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて推定雑音を推定するようにしてもよい。
ここで、入力信号を変換した周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比を用いて重みを求め、この重みを用いて周波数領域信号を重みづけするようにしてもよい。これにより、周波数領域信号に含まれる音声成分の影響を小さくし、推定雑音の推定より高精度に行うことができる。
例えば、入力信号を変換した周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比を非線形処理関数によって処理して重みを求め、この重みを用いて周波数領域信号を重みづけするようにしてもよい。
また、上述したノイズ除去方法において、周波数領域の強調音声を変換した時間領域信号に窓がけ処理を施してもよい。
以上説明したように、本発明では、入力信号に基づいて擬似的な雑音を生成し、この擬似的な雑音を注入して得られた抑圧係数を用いる。抑圧係数を定めるときに上述した擬似的な雑音を注入することにより、特定の統計モデルに従う背景雑音を仮定して導出した抑圧係数を入力信号に応じて補正し、その統計モデルに従わない雑音を効果的に除去することができる。従って、あらゆる背景雑音に対して十分高い品質の強調音声を得ることができる。
また、本発明では、周波数領域の強調音声を変換した時間領域信号に窓がけ処理を施す。周波数領域の強調音声を変換した時間領域信号の隣接する2フレームを重ね合わせ加算する場合に、重ね合わせ加算の対象となった信号サンプルが各フレームにおいて異なった抑圧係数値で抑圧されたとしても、各フレームを窓がけ処理してフレーム境界における信号サンプルの振幅を小さくすることによって、フレーム境界における信号サンプルの連続性を改善することができる。これにより、雑音の発生を防止し、雑音による音質の劣化を低減することができる。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本発明に関連する参考例も合わせて説明する。
(第1の実施の形態)
図1は、本発明のノイズ除去装置の第1の実施の形態の全体構成を示すブロック図である。このノイズ除去装置と、図48に示した従来のノイズ除去装置とは、窓がけ処理部22、注入雑音計算部55、加算器56,57を除いて同一である。この同一部分については同一符号を付している。以下、上述の相違点を中心に詳細に説明する。
窓がけ処理部22は、逆フーリエ変換部9から供給された時間領域サンプル値系列xn(t)バーに窓関数h(t)を乗算し、積であるh(t)xn(t)バーをフレーム合成部10に伝達する。フレーム合成部10は、h(t)xn(t)バーの隣接する2フレームからK/2サンプルずつを取り出して重ね合わせ、式(14)によって、強調音声xn(t)ハット(t=0,1,....,K/2−1)を得る。得られた強調音声xn(t)ハットが、フレーム合成部10の出力として、出力端子12に伝達される。
Figure 0004395772
オーバラップが、50%ではなく、Mサンプルで、フレーム長がLサンプル(M<L)の場合は、式(15)によって、強調音声xn(t)ハットを得る。これに合わせて、フレーム分割部も修正する。
Figure 0004395772
すでに述べたように、実数信号に対しては、左右対称窓関数が用いられる。また、窓関数は、抑圧係数を1に設定したときの入力信号と出力信号が計算誤差を除いて一致するように設計される。これらの条件を満たすいかなる窓関数であっても、w(t)、h(t)として使用することができる。その一例として、ハニング窓を開平した関数(ルートハニング窓)を挙げることができる。他にもこれらの条件を満たす窓関数は存在するが、詳細は省略する。
隣接する2フレームを構成するxn-1(t)バーとxn(t)バーが各フレームにおいて異なった抑圧係数値で抑圧されたとしても、xn-1(t)バーとxn(t)バーのそれぞれに上述した窓関数h(t)を乗算してフレーム境界におけるxn-1(t)バーとxn(t)バーの振幅を小さくすることによって、フレーム境界における連続性を改善し、雑音の発生を低減することができる。よって、雑音による音質劣化を抑制し、優れた音質の強調音声を得ることができる。
注入雑音計算部55は、それぞれ多重乗算部17及び推定雑音計算部51から供給された劣化音声パワースペクトル及び推定雑音パワースペクトルを用いて、注入すべき擬似的な雑音(第1の雑音)を計算し、加算器56及び57に伝達する。加算器56は、推定雑音計算部51から供給された推定雑音パワースペクトルに注入雑音計算部55で得られた注入雑音を加算し、その和を周波数別SNR計算部6に伝達する。加算器57は、多重乗算部17から供給された劣化音声パワースペクトルに注入雑音計算部55で得られた注入雑音を加算し、その和を周波数別SNR計算部6に伝達する。
図2は、注入雑音計算部55の構成を示すブロック図である。注入雑音計算部55は、SNR計算部551、しきい値計算部552、注入レベル計算部553を有する。図1における多重乗算部17から供給された劣化音声パワースペクトルは、SNR計算部551に伝達される。図1における推定雑音計算部51から供給された推定雑音パワースペクトルは、SNR計算部551及びしきい値計算部552に伝達される。SNR計算部551で得られたSNRとしきい値計算部552で得られたしきい値は、注入レベル計算部553に供給される。注入レベル計算部553では、供給されたSNRとしきい値に応じて、注入すべき雑音レベルを計算し、そのレベルに対応した信号を注入雑音として出力する。
注入すべき雑音をWn(k)とすれば、Wn(k)はSNRが大きいほど小さい値をとるように設定される。このようなSNRとWn(k)の関係として、SNRが第1のしきい値TH1 よりも大きいときに第1の値W1 をとり、SNRが第2のしきい値TH2 (<TH1 )よりも小さいときに第2の値W2 (>W1 )をとり、SNRが第1のしきい値TH1 と第2のしきい値TH2 の中間の値をとるときには、SNRに対応してWn(k)が小さくなるような関数を考えることができる。最も簡単な例は、図3に示すように、SNRが第1のしきい値TH1 と第2のしきい値TH2 の中間の値をとるときには、第1の値W1 から第2の値W2 まで、直線的に変化する関数である。
第1と第2のしきい値TH1 ,TH2 は独立に決定することができるが、第2のしきい値TH2 を第1のしきい値TH1 の定数倍に設定し、計算の簡略化をはかることもできる。同様に、独立に決定することができるWn(k)の第1と第2の値W1 ,W2 も第2の値W2 を第1の値W1 の定数倍に設定することができる。
また、Wn(k)の第1と第2の値W1 ,W2 は、推定雑音のレベルに対応して決定することができる。推定雑音レベルが高い時はWn(k)の第1と第2の値W1 ,W2 を小さくし、低い時は大きくする。このようにWn(k)の第1と第2の値W1 ,W2 を設定することで、同じSNRの値に対して、推定雑音レベルが高い時ほど容易に小さなWn(k)が設定できる。この場合、注入レベル計算部553に推定雑音パワースペクトルを供給する構成とすることは、言うまでもない。
さらに、しきい値TH1 ,TH2 も、推定雑音のレベルに対応して決定することができる。推定雑音レベルが高い時はしきい値TH1 ,TH2 を小さくし、低い時は大きくする。このようにしきい値TH1 ,TH2 を設定することで、同じSNRの値に対して、推定雑音レベルが高い時ほど容易に小さなWn(k)が設定できる。推定雑音レベルが高い時ほどWn(k)を小さくする理由は、推定雑音レベルが高い時には、従来の抑圧係数がほぼ適切であり、雑音注入による抑圧係数の補正量が小さいからである。この結果、本来の抑圧量が小さく、残留する雑音が知覚されやすいときに、中程度の振幅を有した成分を相対的に大きく抑圧することができ、主観音質の改善を達成することができる。
これまでの説明では、注入すべき雑音をWn(k)としており、各周波数成分に対して異なった雑音を注入する例について説明した。実際、注入雑音計算部55に供給される劣化音声パワースペクトル及び推定雑音パワースペクトルは、全周波数成分に対応した値が多重化されている。従って、SNR計算部551で得られたSNRとしきい値計算部552で得られたしきい値の数は、周波数成分の数に対応している。しかし、これらのSNRとしきい値を、すべての周波数成分に対して共通に設定しても良い。
一例として、劣化音声パワースペクトル及び推定雑音パワースペクトルを、全周波数成分に対して加算して総和をとり、それらの比を共通SNRとし、また、推定雑音パワースペクトルの平均値を用いてしきい値を求めることができる。その際には、SNR計算部551及びしきい値計算部552では、各周波数成分に対応した値を分離してから個々の値を用いてSNRとしきい値を計算する代わりに、前記総和と平均値を用いて、全周波数成分に対して共通のSNRとしきい値を計算することになる。これらの値が、周波数別SNR計算部6に伝達される。
周波数別SNR計算部6では、式(11)の代わりに、式(16)によって、周波数別SNRγn(k)を計算する。
Figure 0004395772
式(16)を参照すると、SNR>0の領域では、|Yn(k)|2 >λn(k)なので、雑音注入時のSNRγn(k)は本来の値よりも小さくなるように修正される。一方、非特許文献1を参照すると、SNRに対する抑圧係数の特性は、図4に示すように、SNRに対応して漸増した後、あるSNRの値において急増し、再び漸増から飽和をたどる。このため、雑音注入によってγn(k)の値が小さくなると、上記抑圧係数値が急変する近傍のSNRに対して、相対的に抑圧係数減少効果が大きくなる。従って、そのようなSNRに対応した周波数成分、具体的には中程度の振幅を有した成分が、相対的に大きく抑圧されることになる。このため、音声よりは振幅が小さいが無視できない程度の背景雑音の一部がより強く抑圧され、強調音声において雑音として知覚されにくくなる。よって、実際の背景雑音に対して、十分高い品質の強調音声を得ることができる。
(第1の参考例)
図5は、本発明のノイズ除去装置に関連する第1の参考例の全体構成を示すブロック図である。このノイズ除去装置は、図1に示したノイズ除去装置が具備する注入雑音計算部55、加算器56,57の代わりに、SNR補正部65を具備するものである。以下、これらの相違点を中心に詳細に説明する。
SNR補正部65には、多重乗算部17、推定雑音計算部51、及び周波数別SNR計算部6から、それぞれ劣化音声パワースペクトル、推定雑音パワースペクトル、及び後天的SNRが供給されている。SNR補正部65からは、補正後天的SNRが推定先天的SNR計算部7及び雑音抑圧係数生成部8に供給される。
すなわち、図1に示したノイズ除去装置では、雑音を注入した劣化音声パワースペクトルと雑音を注入した推定雑音パワースペクトルを用いて、後天的SNRを計算していたのに対して、図5に示したノイズ除去装置では、劣化音声パワースペクトルと推定雑音パワースペクトルを用いて計算した注入雑音を用いて、計算した後天的SNRを補正する。
図5におけるSNR補正部65について、さらに説明する。
図6は、SNR補正部65の一構成例を示すブロック図である。SNR補正部65は、K個の補正SNR計算部6540 〜654K-1 、分離部651、652、653、多重化部655を有する。
分離部651には、図5における周波数別SNR計算部6から後天的SNRが供給される。分離部651は、供給された後天的SNRをK個の周波数別成分に分離し、それぞれ補正SNR計算部6540 〜654K-1 に伝達する。分離部652には、図5における多重乗算部17から劣化音声パワースペクトルが供給される。分離部652は、供給された劣化音声パワースペクトルをK個の周波数別成分に分離し、それぞれ補正SNR計算部6540 〜654K-1 に伝達する。分離部653には、図5における推定雑音計算部51から推定雑音パワースペクトルが供給される。分離部653は、供給された推定雑音パワースペクトルをK個の周波数別成分に分離し、それぞれ補正SNR計算部6540 〜654K-1 に伝達する。補正SNR計算部6540 〜654K-1 は、供給された劣化音声パワースペクトルと推定雑音パワースペクトルに対応した補正を後天的SNRに加え、補正後天的SNRを多重化部655に伝達する。多重化部655は、供給された補正後天的SNRを多重化して出力する。
図7は、図6に示したSNR補正部65に含まれる補正SNR計算部6540 〜654K-1 の構成を示すブロック図である。補正SNR計算部654は、しきい値計算部6541、注入雑音計算部6542、加算器6543,6544、除算部6545を有する。
しきい値計算部6541には、図6における分離部653から推定雑音パワースペクトルが供給されており、図2におけるしきい値計算部552と同様の動作によってしきい値を計算し、注入雑音計算部6542に伝達する。注入雑音計算部6542には、図6における分離部651から後天的SNRも供給されており、図2における注入レベル計算部553と同様の動作によって注入すべき擬似的な雑音(第1の雑音,加算信号)を計算し、加算器6543及び6544に伝達する。加算器6543には、図6における分離部653から推定雑音パワースペクトルも供給されており、注入雑音計算部6542から供給された雑音との加算結果を除算部6545に伝達する。加算器6544には、図6における分離部652から劣化音声パワースペクトルも供給されており、注入雑音計算部6542から供給された雑音との加算結果を除算部6545に伝達する。除算部6545は、加算器6543の出力と加算器6544の出力から求めた商を、補正後天的SNRとして出力する。
図8は、SNR補正部65の他の構成例を示すブロック図である。この構成例では、SNRとしきい値を、すべての周波数成分に対して共通に設定している。このため、図6に示した構成例と比較すると、新たに平均値計算部661,663、注入雑音計算部662を有し、また補正SNR計算部6540 〜654K-1 を置き換える形で補正SNR計算部6640 〜664K-1 を有している。
平均値計算部661は、分離部651から供給された後天的SNRγn(k)のkに関する平均を求め、注入雑音計算部662へ伝達する。従って、注入雑音計算部662へ伝達される値は、一つとなる。一方、平均値計算部663は、分離部653から供給された推定雑音パワースペクトルλn(k)のkに関する平均を求め、しきい値計算部6541へ伝達する。しきい値計算部6541は、すでに説明した動作によってしきい値を求め、注入雑音計算部662へ伝達する。注入雑音計算部662は、図7における注入雑音計算部6542と同じ手順で注入すべき擬似的な雑音(第1の雑音,加算信号)を計算し、補正SNR計算部6640 〜664K-1 へ伝達する。図6に示した構成例と異なり、補正SNR計算部6640 〜664K-1 へ伝達される注入雑音は、すべて同じ値である。
図9は、図8に示したSNR補正部66に含まれる補正SNR計算部6640 〜664K-1 の構成を示すブロック図である。補正SNR計算部664は、注入雑音計算部662から供給された注入雑音を、推定雑音パワースペクトル及び劣化音声パワースペクトルに加算し、両者の商を求めてから、補正後天的SNRとして出力する。より具体的には、次のとおりである。
すなわち、注入雑音計算部662で計算された注入雑音は、加算器6543及び6544に伝達される。加算器6543には、図8における分離部653から推定雑音パワースペクトルも供給されており、注入雑音計算部662から供給された雑音との加算結果を除算部6545に伝達する。加算器6544には、図8における分離部652から劣化音声パワースペクトルも供給されており、注入雑音計算部6542から供給された雑音との加算結果を除算部6545に伝達する。除算部6545は、加算器6543の出力と加算器6544の出力から求めた商を、補正後天的SNRとして出力する。
図8,図9に示した構成例では、補正SNR計算部6640 〜664K-1 に対して注入雑音計算部662としきい値計算部6541を共通化することによって、補正SNR計算部6640 〜664K-1 のすべてに注入雑音計算部としきい値計算部を設ける必要がなくなるので、構成を簡素化することができる。
以上のようにしてSNR補正部65,66で後天的SNRを補正し、その結果得られた補正後後天的SNRを用いて抑圧係数を定めることによって、図1に示したノイズ除去装置と同様に、実際の背景雑音に対して十分高い品質の強調音声を得ることができる。
(第2の実施の形態)
図10は、本発明のノイズ除去装置の第2の実施の形態の全体構成を示すブロック図である。このノイズ除去装置は、図1に示したノイズ除去装置において、注入雑音計算部55を注入雑音計算部58で置換した構成になっている。以下、この相違点を中心に詳細に説明する。
図10に示すノイズ除去装置では、入力信号の性質に応じて、選択的に雑音注入を適用する。このため、入力信号の性質を評価するために、フレーム分割部1の出力である時間領域の劣化音声信号が、注入雑音計算部58に供給されている。
図11は、図10における注入雑音計算部58の構成を示すブロック図である。図2に示した注入雑音計算部55とは、ゼロ交叉計算部581とスイッチ582をさらに具備する点が異なっている。
フレーム分割部1の出力である時間領域の劣化音声信号は、ゼロ交叉計算部581に供給されている。ゼロ交叉計算部581には、SNR計算部551からSNRが、しきい値計算部552からしきい値が、それぞれ供給されている。ゼロ交叉計算部581では、供給された劣化音声信号の振幅がゼロとなるゼロ交叉を計数する。同時に、SNRとしきい値から、SNRが前記第2のしきい値TH2 より小さいか否かを評価する。SNRが前記第2のしきい値TH2 より小さいときだけ、前記ゼロ交叉の数を過去の数フレームに渡って平均化する。すなわち、劣化音声が無音と判定したときだけ、平均値を求める。このようにして得られた平均値を第3のしきい値と比較し、平均値の方が大きいときに“1”を、それ以外の場合は“0”を、制御信号としてスイッチ582に伝達する。第3のしきい値は、予め定めておくこともできるし、動作途中で変更することもできる。
スイッチ582には、注入レベル計算部553からは注入雑音が、0と共に供給されている。スイッチ582は、ゼロ交叉計算部581から制御信号として“1”が供給されたときは注入レベル計算部553から供給された注入雑音を、“0”が供給されたときは0を選択し、注入雑音として出力する。従って、ゼロ交叉の数の平均値が第3のしきい値より大きい場合のみに、注入レベル計算部553からの注入雑音が、図10における加算器56,57に供給されることになる。
ゼロ交叉の数は、非定常な信号ほど多くなることが知られているので、非定常性が一定以上の信号に対してだけ、雑音注入を実行し、抑圧係数の補正を行うことができる。
(第3の実施の形態)
図12は、本発明のノイズ除去装置の第3の実施の形態の全体構成を示すブロック図である。このノイズ除去装置は、図10に示したノイズ除去装置において、注入雑音計算部58を注入雑音計算部59で置換した構成になっている。以下、この相違点を中心に詳細に説明する。
図12に示すノイズ除去装置では、入力信号の性質に応じて選択的に雑音注入を適用する点で、図10に示したノイズ除去装置と同じである。しかし、フレーム分割部1の出力である時間領域の劣化音声信号が、注入雑音計算部59に供給されていない。その理由は、図10に示したノイズ除去装置とは異なり、入力信号の性質を評価するために、時間領域の劣化音声信号を用いないためである。その代わりに、劣化音声パワースペクトルを用いる。図10に示したノイズ除去装置では、フレーム当たりのゼロ交叉の数を用いて信号の非定常性を評価していたが、ゼロ交叉の数と高周波領域(高域)におけるパワースペクトルには相関があることが知られているので、ゼロ交叉の数に代えて劣化音声パワースペクトルを用いることができる。
図13は、図12における注入雑音計算部59の構成を示すブロック図である。図11に示した注入雑音計算部58との違いは、ゼロ交叉計算部581が高域電力計算部591に置換されていることである。
高域電力計算部591には、SNR計算部551と共に、劣化音声パワースペクトルが供給されている。高域電力計算部591は、劣化音声パワースペクトル|Yn(k)|2 のうち、kが基準値kTHよりも大きいものの総和をとる。基準値kTHは、総和をとることによって、上述した劣化音声信号のゼロ交叉の数に対応する高域電力が得られるように、劣化音声信号その他の条件に応じて設定される。この結果、前記ゼロ交叉の数に対応する高域電力が得られるので、この高域電力を第4のしきい値と比較した結果を用いて、図11に示した注入雑音計算部58と同様にスイッチ582を制御することができる。すなわち、高域電力の値によって、注入レベル計算部553から供給された注入雑音と0を選択し、注入雑音として出力する。
なお、劣化音声パワースペクトル|Yn(k)|2 のうち、kが基準値kTHよりも大きいものを重みづけして総和をとり、高域電力を求めるようにしてもよい。また、第4のしきい値は、予め定めておくこともできるし、動作途中で変更することもできる。
(第2の参考例)
図14は、本発明のノイズ除去装置に関連する第2の参考例の全体構成を示すブロック図である。このノイズ除去装置は、図5に示したノイズ除去装置において、SNR補正部65をSNR補正部67で置換した構成になっている。以下、この相違点を中心に詳細に説明する。
図14に示すノイズ除去装置では、図10に示したノイズ除去装置と同様に、入力信号の性質に応じて、選択的に雑音注入を適用する。このため、入力信号の性質を評価するために、フレーム分割部1の出力である時間領域の劣化音声信号が、SNR補正部67に供給されている。
図15は、図14におけるSNR補正部67の構成例を示すブロック図である。図8に示したSNR補正部65の構成例とは、注入雑音計算部662が注入雑音計算部672に置換されている点において異なる。注入雑音計算部662とは異なり、注入雑音計算部672には、入力信号の性質を評価するために、フレーム分割部1の出力である時間領域の劣化音声信号が供給されている。
図16は、注入雑音計算部672の構成例を示すブロック図である。注入雑音計算部672は、注入レベル計算部6721、スイッチ6722、判定部6723を有する。注入レベル計算部6721と判定部6723には、図15における平均値計算部661から後天的SNRが、また図15におけるしきい値計算部6541からしきい値が、供給されている。判定部6723にはさらに、劣化音声信号が供給されている。注入レベル計算部6721は、図2における注入レベル計算部553と同様の動作により、注入レベルを求め、スイッチ6722に伝達する。判定部6723は、前記劣化音声信号、前記後天的SNR、前記しきい値を受け、入力信号の性質に応じた、スイッチ6722の制御信号を発生する。
ここで、判定部6723は、さらに、無音区間検出部67231、ゼロ交叉計算部67232、比較部67233から構成される。無音区間検出部67231は、前記後天的SNRと前記しきい値を受け、SNRが前記第2のしきい値TH2 より小さいときに“1”を、それ以外の場合は“0”を、ゼロ交叉計算部67232に伝達する。すなわち、劣化音声が無音と判定されると“1”を、それ以外の場合は“0”をゼロ交叉計算部67232に伝達することになる。
ゼロ交叉計算部67232は、供給された劣化音声信号の振幅がゼロとなるゼロ交叉を計数し、無音区間検出部67231から“1”を受けたときだけ、前記ゼロ交叉の数を過去の数フレームに渡って平均化する。このようにして得られた平均値は、比較部67233に伝達される。
比較部67233は、供給された前記ゼロ交叉の平均値を前記第3のしきい値と比較し、平均値の方が大きいときに“1”を、それ以外の場合は“0”を、制御信号としてスイッチ6722に伝達する。
スイッチ6722は、判定部6723の比較部67233から“1”が供給されたときは注入レベル計算部6721から供給された注入雑音を、“0”が供給されたときは0を選択し、注入雑音として出力する。すなわち、スイッチ6722の動作は図11におけるスイッチ582の動作に等しく、非定常性が一定以上の信号に対してだけ、雑音注入を実行し、抑圧係数の補正を行うことができる。
(第3の参考例)
図17は、本発明のノイズ除去装置に関連する第3の参考例の全体構成を示すブロック図である。このノイズ除去装置は、図14に示したノイズ除去装置において、SNR補正部67をSNR補正部68で置換した構成になっている。以下、この相違点を中心に詳細に説明する。
図17に示すノイズ除去装置では、入力信号の性質に応じて、選択的に雑音注入を適用する。その際、図14に示したノイズ除去装置とは異なり、時間領域の劣化音声信号の代わりに劣化音声パワースペクトルを用いて、入力信号の性質を評価する。すなわち、フレーム当たりのゼロ交叉数で信号の非定常性を評価していた第2の参考例と異なり、高周波領域(高域)における劣化音声パワースペクトルを用いて信号の非定常性を評価する。このため、フレーム分割部1の出力である時間領域の劣化音声信号が、SNR補正部68に供給されていない。
図18は、図17におけるSNR補正部68の構成例を示すブロック図である。図15に示したSNR補正部67との違いは、注入雑音計算部672が注入雑音計算部682に置換されていることである。
図19は、注入雑音計算部682の構成例を示すブロック図である。図16に示した注入雑音計算部672との違いは、ゼロ交叉計算部67232が高域電力計算部68232に置換されていることである。高域電力計算部68232には、無音区間計算部67231の出力信号と共に、劣化音声パワースペクトルが供給されている。高域電力計算部68232は、図13における高域電力計算部591と同様の動作によって、劣化音声パワースペクトル|Yn(k)|2 のうち、kが基準値kTHよりも大きいものの総和をとって、高域電力を求める。この高域電力は、比較部67233に伝達される。比較部67233は、この高域電力を前記第4のしきい値と比較した結果を用いて、スイッチ6722の制御信号を発生する。すなわち、高域電力の値によって、注入レベル計算部6721から供給された注入雑音と0を選択し、注入雑音として出力する。
(第4の実施の形態)
図20は、本発明のノイズ除去装置の第4の実施の形態の全体構成を示すブロック図である。このノイズ除去装置と図1に示したノイズ除去装置とは、推定雑音計算部5、重みつき劣化音声計算部14及び抑圧係数補正部15を除いて同一である。図20に示すノイズ除去装置の構成は、窓がけ処理部22及び注入雑音計算部58を除けば、非特許文献5に開示されたものに等しい。非特許文献5に開示された方法は、非特許文献1に開示された従来の方法とは異なり、重みつき劣化音声スペクトルを用いて、雑音のパワースペクトルを推定することによって、正確な推定雑音を得ることができる。以下、これらの相違点を中心に詳細に説明する。
まず、図20における重みつき劣化音声計算部14について説明する。図21は、重みつき劣化音声計算部14の構成を示すブロック図である。重みつき劣化音声計算部14は、推定雑音記憶部1401、周波数別SNR計算部1402、多重非線形処理部1405、及び多重乗算部1404を有する。推定雑音記憶部1401は、図20における推定雑音計算部5から供給される推定雑音パワースペクトルを記憶し、1フレーム前に記憶された推定雑音パワースペクトルを周波数別SNR計算部1402へ出力する。周波数別SNR計算部1402は、推定雑音記憶部1401から供給される推定雑音パワースペクトルと、図20における多重乗算部17から供給される劣化音声パワースペクトルを用いて、SNRを各周波数毎に求め、多重非線形処理部1405に出力する。多重非線形処理部1405は、周波数別SNR計算部1402から供給されるSNRを用いて重み係数ベクトルを計算し、重み係数ベクトルを多重乗算部1404に出力する。多重乗算部1404は、図20における多重乗算部17から供給される劣化音声パワースペクトルと、多重非線形処理部1405から供給される重み係数ベクトルの積を周波数毎に計算し、重みつき劣化音声パワースペクトルを図20における推定雑音計算部5に出力する。
周波数別SNR計算部1402の構成は、既に図56を用いて説明した周波数別SNR計算部6に等しいので、詳細な説明は省略する。また、多重乗算部1404の構成は、既に図52を用いて説明した多重乗算部17に等しいので、詳細な説明は省略する。よって次に、図21における多重非線形処理部1405の構成と動作について詳しく説明する。
図22は、重みつき劣化音声計算部14に含まれる多重非線形処理部1405の構成を示すブロック図である。多重非線形処理部1405は、分離部1495、K個の非線形処理部14850 〜1485K-1 、及び多重化部1475を有する。
分離部1495は、図21における周波数別SNR計算部1402から供給されるSNRを周波数別のSNRに分離し、非線形処理部14850 〜1485K-1 に出力する。
非線形処理部14850 〜1485K-1 は、それぞれ入力値に応じた実数値を出力する非線形関数を有する。図23に、非線形関数の例を示す。f1 を入力値としたとき、図23に示される非線形関数の出力値f2 は、式(17)で与えられる。
Figure 0004395772
非線形処理部14850 〜1485K-1 は、分離部1495から供給される周波数別SNRを、上述した非線形関数によって処理して重み係数を求め、多重化部1475に出力する。すなわち、非線形処理部14850 〜1485K-1 は、SNRに応じた1から0までの重み係数を出力する。SNRが小さい時は1を、大きい時は0を出力する。
多重化部1475は、非線形処理部14850 〜1485K-1 から出力された重み係数を多重化し、その結果得られた重み係数ベクトルを図21における多重乗算部1404に出力する。
このように、図21における多重乗算部1404で劣化音声パワースペクトルと乗算される重み係数は、SNRに応じた値になっており、SNRが大きい程、すなわち劣化音声に含まれる音声成分が大きい程、重み係数の値は小さくなる。推定雑音の更新には一般に劣化音声パワースペクトルが用いられるが、推定雑音の更新に用いる劣化音声パワースペクトルに対して、SNRに応じた重みづけを行うことで、劣化音声パワースペクトルに含まれる音声成分の影響を小さくすることができ、より精度の高い雑音推定を行うことができる。
なお、重み係数の計算に非線形関数を用いた例を示したが、非線形関数以外にも線形関数や高次多項式など、他の形で表されるSNRの関数を用いることも可能である。
次に、図20における推定雑音計算部5について説明する。図24は、推定雑音計算部5の構成を示すブロック図である。この推定雑音計算部5と図53に示した推定雑音計算部51とは、分離部505が存在することと、周波数別推定雑音計算部5140 〜514K-1 が周波数別推定雑音計算部5040 〜504K-1 に置換されていることを除いて同一である。以下、これらの相違点を中心に詳細に説明する。
分離部505は、図20における重みつき劣化音声計算部14から供給される重みつき劣化音声パワースペクトルを、周波数別の重みつき劣化音声パワースペクトルに分離し、それぞれ周波数別推定雑音計算部5040 〜504K-1 に出力する。周波数別推定雑音計算部5040 〜504K-1 は、分離部502から供給される周波数別劣化音声パワースペクトル、分離部505から供給される周波数別重みつき劣化音声パワースペクトル、図20における音声検出部4から供給される音声検出フラグ、及び図20におけるカウンタ13から供給されるカウント値から周波数別推定雑音パワースペクトルを計算し、多重化部503へ出力する。多重化部503は、周波数別推定雑音計算部5040 〜504K-1 から供給される周波数別推定雑音パワースペクトルを多重化し、その結果得られた推定雑音パワースペクトルを図20における加算器56と注入雑音計算部58と重みつき劣化音声計算部14へ出力する。周波数別推定雑音計算部5040 〜504K-1 の構成と動作の詳細な説明は、図25〜図27を参照しながら行う。
図25は、図24に示した推定雑音計算部5に含まれる周波数別推定雑音計算部5040 〜504K-1 の第1の構成例を示すブロック図である。図54に示した周波数別推定雑音計算部514との相違点は、周波数別推定雑音計算部5040 〜504K-1 が推定雑音記憶部5942を有すること、更新判定部521が更新判定部520に置換されていること、及びスイッチ5044への入力が周波数別劣化音声パワースペクトルから周波数別重みつき劣化音声パワースペクトルに置換されていることである。周波数別推定雑音計算部5040 〜504K-1 は、推定雑音の計算に劣化音声パワースペクトルではなく重みつき劣化音声パワースペクトルを用いており、また、推定雑音の更新判定に、推定雑音と劣化音声パワースペクトルを用いているため、これらの相違点が発生する。
推定雑音記憶部5942は、除算部5048から供給される周波数別推定雑音パワースペクトルを記憶し、1フレーム前に記憶された周波数別推定雑音パワースペクトルを更新判定部520に出力する。更新判定部520の構成と動作の詳細な説明は、図26を参照しながら行う。
図26は、図25に示した周波数別推定雑音計算部5040 〜504K-1 に含まれる更新判定部520の構成を示すブロック図である。図55に示した更新判定部521との相違点は、論理和計算部5211が論理和計算部5201に置換されていることと、更新判定部520が比較部5205、閾値記憶部5206及び閾値計算部5207を有することである。以下、これらの相違点を中心に詳細な動作を説明する。
閾値計算部5207は、図25における推定雑音記憶部5942から供給される周波数別推定雑音パワースペクトルに応じた値を計算し、閾値として閾値記憶部5206に出力する。最も簡単な閾値の計算方法は、周波数別推定雑音パワースペクトルの定数倍である。その他に、高次多項式や非線形関数を用いて閾値を計算することも可能である。
閾値記憶部5206は、閾値計算部5207から出力された閾値を記憶し、1フレーム前に記憶された閾値を比較部5205へ出力する。
比較部5205は、閾値記憶部5206から供給される閾値と図24における分離部502から供給される周波数別劣化音声パワースペクトルを比較し、周波数別劣化音声パワースペクトルが閾値よりも小さければ“1”を、大きければ“0”を論理和計算部5201に出力する。すなわち、推定雑音パワースペクトルの大きさをもとに、劣化音声信号が雑音であるか否かを判別している。
論理和計算部5201は、比較部5203の出力値、論理否定回路5202の出力値、及び比較部5205の出力値の論理和を計算し、計算結果を図25におけるスイッチ5044、シフトレジスタ5045及びカウンタ5049に出力する。
従って、初期状態や無音区間だけでなく、有音区間でも劣化音声パワーが小さい場合には、更新判定部520は“1”を出力する。すなわち、推定雑音の更新が行われる。閾値の計算は各周波数毎に行われるため、各周波数毎に推定雑音の更新を行うことができる。
図25において、CNTをカウンタ5049のカウント値、Nをシフトレジスタ5045のレジスタ長とする。そして、Bn(k)(n=0,1,....,N−1)をシフトレジスタ5045に蓄積されている周波数別重みつき劣化音声パワースペクトルとする。このとき、除算部5048から出力される周波数別推定雑音パワースペクトルλn(k)は、式(18)で与えられる。
Figure 0004395772
すなわち、λn(k)はシフトレジスタ5045に蓄積されている周波数別重みつき劣化音声パワースペクトルの平均値となる。平均値の計算は、重みつき加算部(巡回型フィルタ)を用いて行うことも可能である。次に、図27を参照しながら、λn(k)の計算に重みつき加算部を用いる構成例について説明する。
図27は、図24に示した推定雑音計算部5に含まれる周波数別推定雑音計算部5040 〜504K-1 の第2の構成例を示すブロック図である。図25に示した周波数別推定雑音計算部504におけるシフトレジスタ5045、加算器5046、最小値選択部5047、除算部5048、カウンタ5049、レジスタ長記憶部5941、最小値選択部5047の代わりに、周波数別推定雑音計算部507は、重みつき加算部5071、重み記憶部5072を有する。
重みつき加算部5071は、推定雑音記憶部5942から供給される1フレーム前の周波数別推定雑音パワースペクトル、スイッチ5044から供給される周波数別重みつき劣化音声パワースペクトル及び重み記憶部5072から出力される重みを用いて、周波数別推定雑音を計算し、図24における多重化部503へ出力する。すなわち、重み記憶部5072が記憶する重みをδ、周波数別重みつき劣化音声パワースペクトルを|Yn(k)|2 バーとしたとき、重みつき加算部5071から出力される周波数別推定雑音パワースペクトルλn(k)は、式(19)で与えられる。
Figure 0004395772
重みつき加算部5071の構成は、既に図51を用いて説明した重みつき加算部407に等しいので、詳細な説明は省略する。但し、重みつき加算の計算は常に行なわれる。
次に、図20における抑圧係数補正部15について説明する。図28は、図20における抑圧係数補正部15の構成を示すブロック図である。SNRが低いときに抑圧不足により発生する残留雑音や、SNRが高いときに過度の抑圧で発生する音声の歪みによる音質劣化を防ぐために、抑圧係数補正部15は、SNRに応じた抑圧係数の補正を行なう。補正の例として、SNRが低いときには抑圧係数に修正値を加えて残留雑音を抑圧し、SNRが高いときには抑圧係数に下限値を設定して音声の歪みを防止することができる。抑圧係数補正部15は、K個の周波数別抑圧係数補正部15010 〜1501K-1 、分離部1502,1503及び多重化部1504を有する。
分離部1502は、図20における推定先天的SNR計算部7から供給される推定先天的SNRを周波数別成分に分離し、それぞれ周波数別抑圧係数補正部15010 〜1501K-1 に出力する。分離部1503は、図20における抑圧係数生成部8から供給される抑圧係数を周波数別成分に分離し、それぞれ周波数別抑圧係数補正部15010 〜1501K-1 に出力する。周波数別抑圧係数補正部15010 〜1501K-1 は、分離部1502から供給される周波数別推定先天的SNRと、分離部1503から供給される周波数別抑圧係数から、周波数別補正抑圧係数を計算し、多重化部1504へ出力する。多重化部1504は、周波数別抑圧係数補正部15010 〜1501K-1 から供給される周波数別補正抑圧係数を多重化し、補正抑圧係数として図20における多重乗算部16と推定先天的SNR計算部7へ出力する。
図29は、図28に示した抑圧係数補正部15に含まれる周波数別抑圧係数補正部15010 〜1501K-1 の構成を示すブロック図である。周波数別抑圧係数補正部1501は、最大値選択部1591、抑圧係数下限値記憶部1592、閾値記憶部1593、比較部1594、スイッチ1595、修正値記憶部1596及び乗算器1597を有する。
比較部1594は、閾値記憶部1593から供給される閾値と、図28における分離部1502から供給される周波数別推定先天的SNRを比較し、周波数別推定先天的SNRが閾値よりも大きければ“0”を、小さければ“1”をスイッチ1595に供給する。
スイッチ1595は、図28における分離部1503から供給される周波数別抑圧係数を、比較部1594の出力値が“1”のとき乗算器1597に出力し、比較部1594の出力値が“0”のとき、最大値選択部1591に直接供給する。
乗算器1579は、スイッチ1595の出力値と修正値記憶部1596の出力値との積を計算し、計算結果を最大値選択部1591に供給する。抑圧係数値を小さくするため、修正値は1より小さい値が普通であるが、目的によってはこの限りではない。このように、周波数別推定先天的SNRが閾値よりも小さいときに、抑圧係数の補正を行なう。SNRが小さい場合に抑圧係数の補正を行なうことで、音声成分を過剰に抑圧することなく、残留雑音量を減らすことができる。
抑圧係数下限値記憶部1592は、記憶している抑圧係数の下限値を、最大値選択部1591に供給する。最大値選択部1591は、スイッチ1595又は乗算器1597から供給される信号と、抑圧係数下限値記憶部1592から供給される抑圧係数下限値を比較し、大きい方の値を周波数別補正抑圧係数として、図28における多重化部1504に出力する。これにより、抑圧係数は抑圧係数下限値記憶部1592が記憶する下限値よりも必ず大きい値になる。従って、過度の抑圧により発生する音声の歪みを防ぐことができる。
なお、図1、図5、図10、図12、図14、図17に示したノイズ除去装置では、抑圧係数が多重乗算部16と推定先天的SNR計算部7へ供給されていたが、図20に示したノイズ除去装置では、抑圧係数に代わって補正抑圧係数が供給されている。
次に、図20における雑音抑圧係数生成部8について説明する。図60を用いて説明したように、抑圧係数は、供給された推定先天的SNRと後天的SNRから検索で求めることができるが、演算で求めることもできる。以下、非特許文献1に記載されている計算式をもとに、抑圧係数の計算方法と共に、雑音抑圧係数生成部8の他の構成例について説明する。
図30は、図20における雑音抑圧係数生成部8の他の構成例を示すブロック図である。雑音抑圧係数生成部81は、MMSE STSAゲイン関数値計算部811、一般化尤度比計算部812、音声存在確率記憶部813、及び抑圧係数計算部814を有する。
フレーム番号をn、周波数番号をkとし、γn(k)を図20における周波数別SNR計算部6から供給される周波数別後天的SNR、ξn(k)ハットを図20における推定先天的SNR計算部7から供給される周波数別推定先天的SNRとする。また、ηn(k)=ξn(k)ハット/q、vn(k)=(ηn(k)γn(k))/(1+ηn(k))とする。
MMSE STSAゲイン関数値計算部811は、図20における周波数別SNR計算部6から供給される後天的SNRγn(k)、図20における推定先天的SNR計算部7から供給される推定先天的SNRξn(k)ハット及び音声存在確率記憶部813から供給される音声存在確率qをもとに、各周波数毎にMMSE STSAゲイン関数値を計算し、抑圧係数計算部814に出力する。各周波数毎のMMSE STSAゲイン関数値Gn(k)は、式(20)で与えられる。
Figure 0004395772
ここに、I0(z)は0次変形ベッセル関数、I1(z)は1次変形ベッセル関数である。変形ベッセル関数については、非特許文献6に記載されている。
一般化尤度比計算部812は、図20における周波数別SNR計算部6から供給される後天的SNRγn(k)、図20における推定先天的SNR計算部7から供給される推定先天的SNRξn(k)ハット及び音声存在確率記憶部813から供給される音声存在確率qをもとに、周波数毎に一般化尤度比を計算し、抑圧係数計算部814に出力する。周波数毎の一般化尤度比Λn(k)は、式(21)で与えられる。
Figure 0004395772
抑圧係数計算部814は、MMSE STSAゲイン関数値計算部811から供給されるMMSE STSAゲイン関数値Gn(k)と一般化尤度比計算部812から供給される一般化尤度比Λn(k)から周波数毎に抑圧係数を計算し、図20における抑圧係数補正部15へ出力する。周波数毎の抑圧係数Gn(k)バーは、式(22)で与えられる。
Figure 0004395772
周波数別にSNRを計算する代わりに、複数の周波数から構成される帯域に共通なSNRを求めて、これを用いることも可能である。よって次に、図20における周波数別SNR計算部6の他の構成例として、帯域毎にSNRを計算する例について説明する。
図31は、周波数別SNR計算部6の他の構成例を示すブロック図である。図56に示した周波数別SNR計算部6との相違点は、帯域別SNR計算部61が帯域別パワー計算部611,612を有することである。帯域別パワー計算部611は、分離部602から供給される周波数別劣化音声パワースペクトルをもとに帯域別のパワーを計算し、除算部6010 〜601K-1 へ出力する。また、帯域別パワー計算部612は、分離部603から供給される周波数別推定雑音パワースペクトルをもとに帯域別のパワーを計算し、除算部6010 〜601K-1 へ出力する。
図32は、帯域別SNR計算部61に含まれる帯域別パワー計算部611の構成を示すブロック図である。ここでは、帯域幅LをもつM個の帯域に等分割する例を説明する。ここに、LとMは、K=LMの関係を満たす自然数であるとする。
帯域別SNR計算部61は、M個の加算器61100〜6110M-1を有する。図31における分離部602から供給される周波数別劣化音声パワースペクトル9100 〜910K-1 (9100 〜910ML-1)は、各周波数に対応した加算器61100 〜6110M-1 へそれぞれ伝達される。例えば、帯域番号0に対応する周波数番号は0からL−1なので、周波数別劣化音声パワースペクトル9100 〜910L-1 は加算器61100へ伝達される。また、帯域番号1に対応する周波数番号はLから2L−1なので、周波数別劣化音声パワースペクトル910L 〜9102L-1は加算器61101へ伝達される。
加算器61100 〜6110M-1 は、供給された周波数別劣化音声パワースペクトルの総和をそれぞれ計算し、帯域別劣化音声パワースペクトル9110 〜911ML-1(9110 〜911K-1 )を図31における除算部6010 〜601K-1 へ出力する。各加算器の計算結果は、それぞれの帯域番号に応じた周波数毎に帯域別劣化音声パワースペクトルとして出力される。例えば、加算器61100 の計算結果は、帯域別劣化音声パワースペクトル9110 〜911L-1 として出力される。また、加算器61101 の計算結果は、帯域別劣化音声パワースペクトル911L 〜9112L-1として出力される。
帯域別パワー計算部612の構成と動作は帯域別パワー計算部611と等価であるので、その説明は省略する。
なお、ここでは複数の帯域に等分割する例を示したが、非特許文献7に記載されている臨界帯域に分割する方法、非特許文献8に記載されているオクターブ帯域に分割する方法など、他の帯域分割方法を用いることも可能である。
(第4の参考例)
図33は、本発明のノイズ除去装置に関連する第4の参考例の全体構成を示すブロック図である。図20に示したノイズ除去装置との相違点は、注入雑音計算部58、加算器56,57が、SNR補正部67に置換されていることである。図20と図33の関係は、図1と図5の関係及び図10と図14の関係に等しく、SNR補正部67については図15及び14を参照して説明したので、図33に示したノイズ除去装置に関する詳細な説明は省略する。
(第5の実施の形態)
図34は、本発明のノイズ除去装置の第5の実施の形態の全体構成を示すブロック図である。図20に示したノイズ除去装置との相違点は、推定雑音計算部5が推定雑音計算部52に置換されていること、及び重みつき劣化音声計算部14が存在しないことである。以下、これらの相違点を中心に詳細に説明する。
図35は、図34における推定雑音計算部52の構成を示すブロック図である。図24に示した推定雑音計算部5との相違点は、周波数別推定雑音計算部5040 〜504K-1 が周波数別推定雑音計算部5060 〜506K-1 に置換されていることと、推定雑音計算部52が入力信号に重みつき劣化音声パワースペクトルを有しないことである。これは、周波数別推定雑音計算部5040 〜504K-1 が入力信号に周波数別重みつき劣化音声パワースペクトルを必要とするのに対して、推定雑音計算部5060 〜506K-1 は、入力信号に周波数別重みつき劣化音声パワースペクトルを必要としないためである。以下、図36を参照しながら、相違点である周波数別推定雑音計算部5060 〜506K-1 の構成と動作を詳細に説明する。
図36は、図35に示した推定雑音計算部52に含まれる周波数別推定雑音計算部5060 〜506K-1 の構成を示すブロック図である。図25に示した周波数別推定雑音計算部504との相違点は、周波数別推定雑音計算部506が、入力信号に周波数別重みつき劣化音声パワースペクトルを有していないことと、除算部5041、非線形処理部5042、及び乗算器5043を有していることである。以下、これらの相違点を中心に詳細に説明する。
除算部5041は、図35における分離部502から供給される周波数別劣化音声パワースペクトルを、推定雑音記憶部5942から供給される1フレーム前の推定雑音パワースペクトルで除算し、除算結果を非線形処理部5042に出力する。図22に示した非線形処理部1485と同一の構成と機能を有する非線形処理部5042は、除算部5041の出力値に応じた重み係数を計算し、乗算器5043に出力する。乗算器5043は、図35における分離部502から供給される周波数別劣化音声パワースペクトルと非線形処理部5042から供給される重み係数の積を計算し、スイッチ5044へ出力する。
乗算器5043の出力信号は、図25に示した周波数別推定雑音計算部504における周波数別重みつき劣化音声パワースペクトルと等価である。すなわち、周波数別重みつき劣化音声パワースペクトルは、周波数別推定雑音計算部506の内部において計算することも可能である。従って、図34に示したノイズ除去装置では、重みつき劣化音声計算部14を省略することが可能となる。
(第5の参考例)
図37は、本発明のノイズ除去装置に関連する第5の参考例の全体構成を示すブロック図である。図34に示したノイズ除去装置との相違点は、注入雑音計算部58、加算器56,57が、SNR補正部67に置換されていることである。図34と図37の関係は、図1と図5の関係、図10と図14の関係、及び図20と図33の関係に等しく、SNR補正部67については図15及び14を参照して説明したので、図37に示したノイズ除去装置に関する詳細な説明は省略する。
(第6の実施の形態)
図38は、本発明のノイズ除去装置の第6の実施の形態の全体構成を示すブロック図である。図20に示したノイズ除去装置とは、推定先天的SNR計算部71を除いて同一であるので、以下、この相違点を中心に詳細に説明する。
図39は、図38における推定先天的SNR計算部71の構成を示すブロック図である。図57に示した推定先天的SNR計算部7は後天的SNR記憶部702、抑圧係数記憶部703、多重乗算部705,704を有するのに対し、推定先天的SNR計算部71はこれらの代わりに、推定雑音記憶部712、強調音声パワースペクトル記憶部713、周波数別SNR計算部715、多重乗算部716を有する。また、推定先天的SNR計算部7は、入力信号に抑圧係数を有するが、推定先天的SNR計算部71は、抑圧係数の代わりに強調音声振幅スペクトルと推定雑音パワースペクトルを入力信号に有する。以下、推定先天的SNR計算部7と71との間に存在するこれらの相違点を中心に、詳細に説明する。
多重乗算部716は、図38における多重乗算部16から供給される強調音声振幅スペクトル|Xn(k)|バー=Gn(k)バー・|Yn(k)|を周波数毎に2乗して強調音声パワースペクトルを求め、強調音声パワースペクトル記憶部713に出力する。多重乗算部716の構成は、既に図52を用いて説明した多重乗算部17に等しいので、詳細な説明は省略する。
強調音声パワースペクトル記憶部713は、多重乗算部716から供給される強調音声パワースペクトルを記憶し、1フレーム前に供給された強調音声パワースペクトルを周波数別SNR計算部715へ出力する。
推定雑音記憶部712は、図38における推定雑音計算部5から供給される推定雑音パワースペクトルλn(k)を記憶し、1フレーム前に供給された推定音声パワースペクトルを周波数別SNR計算部715へ出力する。
周波数別SNR計算部715は、強調音声パワースペクトル記憶部713から供給される強調音声パワースペクトルGn-1 2(k)バー・|Yn-1(k)|2 と、推定雑音記憶部712から供給される推定雑音パワースペクトルλn-1(k)のSNRを各周波数毎に計算し、多重重みつき加算部707へ出力する。周波数別SNR計算部715の構成は、既に図56を用いて説明した周波数別SNR計算部6に等しいので、詳細な説明は省略する。
周波数別SNR計算部715の出力であるGn-1 2(k)バー・|Yn-1(k)|2 /λn-1(k)は、式(11)の関係から、図57における多重乗算部705の出力であるγn-1(k)Gn-1 2(k)バーと等価である。従って、図20に示したノイズ除去装置に含まれる推定先天的SNR計算部7を推定先天的SNR計算部71で置換することが可能となる。
(第6の参考例)
図40は、本発明のノイズ除去装置に関連する第6の参考例の全体構成を示すブロック図である。図38に示したノイズ除去装置との相違点は、注入雑音計算部58、加算器56,57が、SNR補正部67に置換されていることである。図38と図40の関係は、図1と図5の関係、図10と図14の関係、図20と図33の関係、及び図34と図37の関係に等しく、SNR補正部67については図15及び14を参照して説明したので、図40に示したノイズ除去装置に関する詳細な説明は省略する。
(第7の実施の形態)
図41は、本発明のノイズ除去装置の第7の実施の形態の全体構成を示すブロック図である。図20に示したノイズ除去装置との相違点は、推定雑音計算部5が推定雑音部52に、推定先天的SNR計算部7が推定先天的SNR計算部71に、それぞれ置換されていることと、重みつき劣化音声計算部14が存在しないことである。推定雑音部52の構成と動作は、図35及び図36を参照して説明したのと同様である。また、推定先天的SNR計算部71の構成と動作は、図39を参照して説明したのと同様である。従って、図41に示したノイズ除去装置は、図20に示したノイズ除去装置と等価な機能を実現する。
(第7の参考例)
図42は、本発明のノイズ除去装置に関連する第7の参考例の全体構成を示すブロック図である。図41に示したノイズ除去装置との相違点は、注入雑音計算部58、加算器56,57が、SNR補正部67に置換されていることである。図41と図42の関係は、図1と図5の関係、図10と図14の関係、図20と図33の関係、図34と図37の関係、及び図38と図40の関係に等しく、SNR補正部67については図15及び14を参照して説明したので、図42に示したノイズ除去装置に関する詳細な説明は省略する。
(第8の実施の形態)
図43は、本発明のノイズ除去装置の第8の実施の形態の全体構成を示すブロック図である。図20に示したノイズ除去装置との相違点は、推定雑音計算部5が推定雑音計算部53で置換されていることと、音声検出部4が存在しないことである。すなわち、雑音の推定に音声検出部を必要としない構成になっている。以下、これらの相違点を中心に詳細に説明する。
図44は、図43における推定雑音計算部53の構成を示すブロック図である。図24に示した推定雑音計算部5との相違点は、周波数別推定雑音計算部5040 〜504K-1 が周波数別推定雑音計算部5080 〜508K-1 に置換されていることと、推定雑音計算部53が入力信号に音声検出フラグを有していないことである。図45を参照しながら、周波数別推定雑音計算部5080 〜508K-1 の構成と動作を詳細に説明する。
図45は、図44に示した推定雑音計算部53に含まれる周波数別推定雑音計算部5080 〜508K-1 の構成を示すブロック図である。図25に示した周波数別推定雑音計算部504との相違点は、更新判定部520が更新判定部522に置換されていることと、5080 〜508K-1 が入力信号に音声検出フラグを有していないことである。
図46は、図45に示した周波数別推定雑音計算部508に含まれる更新判定部522の構成を示すブロック図である。図26に示した更新判定部520との相違点は、論理和計算部5201が論理和計算部5221に置換されていること、更新判定部522が論理否定回路5202を有していないこと、入力信号に音声検出フラグを有していないことである。すなわち、更新判定部522は、推定雑音の更新に音声検出フラグを用いていない。この点が、図26に示した更新判定部520と異なる。
論理和計算部5221は、比較部5205の出力値と比較部5203の出力値の論理和を計算し、計算結果を図45におけるスイッチ5044、シフトレジスタ5045及びカウンタ5049に出力する。すなわち、更新判定部522は、カウント値が予め設定された値に到達するまでは常に“1”を出力し、到達した後は、劣化音声パワーが閾値よりも小さいときに“1”を出力する。
図26を用いて説明した通り、比較部5205は劣化音声信号が雑音であるか否かの判定を行なっている。すなわち、比較部5205は各周波数毎に音声検出を行なっていると言える。従って、音声検出フラグを入力信号に有しない更新判定部や推定雑音計算部を実現することが可能となる。
(第8の参考例)
図47は、本発明のノイズ除去装置に関連する第8の参考例の全体構成を示すブロック図である。図43に示したノイズ除去装置との相違点は、注入雑音計算部58、加算器56,57が、SNR補正部67に置換されていることである。図43と図47の関係は、図1と図5の関係、図10と図14の関係、図20と図33の関係、図34と図37の関係、図38と図40の関係、及び図41と図42の関係に等しく、SNR補正部67については図15及び14を参照して説明したので、図47に示したノイズ除去装置に関する詳細な説明は省略する。
図20、図33、図34、図37、図38、図40〜図43、図47に関しても、図10と図12及び図14と図17の関係に相当するような、劣化音声信号の代わりに劣化音声パワースペクトルを用いた選択的な雑音注入が可能であるが、構成は明らかなので、詳細は省略する。
これまで説明したすべての実施の形態では、ノイズ除去の方式として、最小平均2乗誤差短時間スペクトル振幅法を仮定してきたが、その他の方法にも適用することができる。このような方法の例として、非特許文献9に開示されているウィーナーフィルタ法や非特許文献10に開示されているスペクトル減算法などがあるが、これらの詳細な構成例については、説明を省略する。
非特許文献10に開示されているスペクトル減算法の概略動作に関しては、例えば、図43及び図47を参照することができる。図43及び図47において、多重乗算部16を多重減算部に、雑音抑圧係数生成部8を雑音抑圧量計算部に、抑圧係数補正部15を抑圧量補正部に置き換えれば、スペクトル減算法による動作を実現することができる。多重減算部において、補正された雑音抑圧量を劣化音声振幅スペクトルから減算し、得られた結果を逆フーリエ変換することによって、強調音声を得ることができる。ここでは、SNRを計算してから、SNRに基づいて雑音抑圧量を計算する例について説明したが、推定雑音計算部53で得られた推定雑音を、直接劣化音声振幅スペクトルから減算することもできる。
本発明のノイズ除去装置の第1の実施の形態の全体構成を示すブロック図である。 図1に示したノイズ除去装置に含まれる注入雑音計算部の第1の構成を示すブロック図である。 SNRと注入雑音の関係の一例を示す図である。 SNRに対する抑圧係数の特性の一例を示す図である。 本発明のノイズ除去装置に関連する第1の参考例の全体構成を示すブロック図である。 図5に示したノイズ除去装置に含まれるSNR補正部の第1の構成を示すブロック図である。 図6に示したSNR補正部に含まれる補正SNR計算部の構成を示すブロック図である。 SNR補正部の第2の構成を示すブロック図である。 図8に示したSNR補正部に含まれる補正SNR計算部の構成を示すブロック図である。 本発明のノイズ除去装置の第2の実施の形態の全体構成を示すブロック図である。 注入雑音計算部の第2の構成を示すブロック図である。 本発明のノイズ除去装置の第3の実施の形態の全体構成を示すブロック図である。 注入雑音計算部の第3の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第2の参考例の全体構成を示すブロック図である。 SNR補正部の第3の構成を示すブロック図である。 注入雑音計算部の第4の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第3の参考例の全体構成を示すブロック図である。 SNR補正部の第4の構成を示すブロック図である。 注入雑音計算部の第5の構成を示すブロック図である。 本発明のノイズ除去装置の第4の実施の形態の全体構成を示すブロック図である。 図20に示したノイズ除去装置に含まれる重みつき劣化音声計算部の構成を示すブロック図である。 図21に示した重みつき劣化音声計算部に含まれる多重非線形処理部の構成を示すブロック図である。 非線形処理部における非線形関数の一例を示す図である。 図20に示したノイズ除去装置に含まれる推定雑音計算部の第1の構成を示すブロック図である。 図24に示した推定雑音計算部に含まれる周波数別推定雑音計算部の第1の構成を示すブロック図である。 図25に示した周波数別推定雑音計算部に含まれる更新判定部の構成を示すブロック図である。 周波数別推定雑音計算部の第2の構成を示すブロック図である。 図20に示したノイズ除去装置に含まれる抑圧係数補正部の構成を示すブロック図である。 図28に示した抑圧係数補正部に含まれる周波数別抑圧係数補正部の構成を示すブロック図である。 雑音抑圧係数生成部の第2の構成を示すブロック図である。 周波数別SNR計算部の第2の構成を示すブロック図である。 図31に示した周波数別SNR計算部に含まれる帯域別パワー計算部の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第4の参考例の全体構成を示すブロック図である。 本発明のノイズ除去装置の第5の実施の形態の全体構成を示すブロック図である。 推定雑音計算部の第2の構成を示すブロック図である。 図35に示した推定雑音計算部に含まれる周波数別推定雑音計算部の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第5の参考例の全体構成を示すブロック図である。 本発明のノイズ除去装置の第6の実施の形態の全体構成を示すブロック図である。 図38に示したノイズ除去装置に含まれる推定先天的SNR計算部の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第6の参考例の全体構成を示すブロック図である。 本発明のノイズ除去装置の第7の実施の形態の全体構成を示すブロック図である。 本発明のノイズ除去装置に関連する第7の参考例の全体構成を示すブロック図である。 本発明のノイズ除去装置の第8の実施の形態の全体構成を示すブロック図である。 推定雑音計算部の第3の構成を示すブロック図である。 図44に示した推定雑音計算部に含まれる周波数別推定雑音計算部の構成を示すブロック図である。 図45に示した周波数別推定雑音計算部含まれる更新判定部の構成を示すブロック図である。 本発明のノイズ除去装置に関連する第8の参考例の全体構成を示すブロック図である。 従来のノイズ除去装置の全体構成を示すブロック図である。 従来のノイズ除去装置に含まれる音声検出部の構成を示すブロック図である。 図49に示した音声検出部に含まれるパワー計算部の構成を示すブロック図である。 図49に示した音声検出部に含まれる重みつき加算部の構成を示すブロック図である。 従来のノイズ除去装置に含まれる多重乗算部の構成を示すブロック図である。 従来のノイズ除去装置に含まれる推定雑音計算部の構成を示すブロック図である。 図53に示した推定雑音計算部に含まれる周波数別推定雑音計算部の構成を示すブロック図である。 図54に示した周波数別推定雑音計算部に含まれるの更新判定部の構成を示すブロック図である。 従来のノイズ除去装置に含まれる周波数別SNR計算部の構成を示すブロック図である。 従来のノイズ除去装置に含まれる推定先天的SNR計算部の構成を示すブロック図である。 図57に示した推定先天的SNR計算部に含まれる多重値域限定処理部の構成を示すブロック図である。 図57に示した推定先天的SNR計算部に含まれる多重重みつき加算部の構成を示すブロック図である。 従来のノイズ除去装置に含まれる雑音抑圧係数生成部の構成を示すブロック図である。 図60に示した雑音抑圧係数生成部に含まれる抑圧係数検索部の構成を示すブロック図である。
符号の説明
1…フレーム分割部、2,22…窓がけ処理部、3…フーリエ変換部、4…音声検出部、5,51,52,53…推定雑音計算部、6,61,715,1402…周波数別SNR計算部、7,71…推定先天的SNR計算部、8,81…雑音抑圧係数生成部、9…逆フーリエ変換部、10…フレーム合成部、11…入力端子、12…出力端子、13,5049…カウンタ、14…重みつき劣化音声計算部、15…抑圧係数補正部、16,17,704,705,716,1404…多重乗算部、55,58,59,662,672,682,6542…注入雑音計算部、56,57,708,4063,4072,4074,5046,61100 〜6110M-1 ,6543,6544…加算器、65,66,67,68…SNR補正部、401,1593,5204,5206…閾値記憶部、402,1594,5203,5205,67233…比較部、404,4075…定数乗算器、405…対数計算部、406…パワー計算部、407,5071,70710 〜7071K-1 …重みつき加算部、408,706,5072…重み記憶部、409,5202…論理否定回路、502,505,602,603,802,803,1495,1502,1503,1702,1703,4061,503,604,655,804,1475,1504,1704,6115,7014,7075…多重化部、5040 〜504K-1 ,5060 〜506K-1 ,507,5080 〜508K-1 ,5140 〜514K-1 …周波数別推定雑音計算部、520,521,522…更新判定部、551…SNR計算部、552,6541…しきい値計算部、553,6721…注入レベル計算部、581,67232…ゼロ交叉計算部、582,1595,5044,6722…スイッチ、591,68232…高域電力計算部、6010 〜601K-1 ,5041,5048,6545…除算部、611,612…周波数別パワー計算部、651,652,653,6111,7013,7072,7074…分離部、6540 〜654K-1 ,6640 〜664K-1 …補正SNR計算部、661,663…平均値計算部、701…多重値域限定処理部、702…後天的SNR記憶部、703…抑圧係数記憶部、707…多重重みつき加算部、712,1401,5942…推定雑音記憶部、713…強調音声パワースペクトル記憶部、8010 〜801K-1 …抑圧係数検索部、811…MMSE STSAゲイン関数値計算部、812…一般化尤度比計算部、813…音声存在確率記憶部、814…抑圧係数計算部、901…劣化音声パワー、902…閾値、903,923…重み、904…更新閾値、905…重みつき加算部制御信号、9100 〜910K-1 ,9100 〜910ML-1…周波数別劣化音声パワースペクトル、9110 〜911K-1 ,9110 〜911ML-1…帯域別劣化音声パワースペクトル、921…瞬時推定SNR、9210 〜921K-1 …周波数別瞬時推定SNR、922…過去の推定SNR、9220 〜922K-1 …過去の周波数別推定SNR、924…推定先天的SNR、9240 〜924K-1 …周波数別推定先天的SNR、1405…多重非線形処理部、14850 〜1485K-1 ,5042…非線形処理部、15010 〜1501K-1 …周波数別抑圧係数補正部、1591,70120 〜7012K-1 …最大値選択部、1592…抑圧係数下限値記憶部、1596…修正量記憶部、1597,17010 〜1701K-1 ,40620 〜4062K-1 ,4071,4073,5043…乗算器、5045…シフトレジスタ、5047…最小値選択部、5201,5211,5221…論理和計算部、5207…閾値計算部、5941…レジスタ長記憶部、6723,6823…判定部、7011…定数記憶部、8011…抑圧係数テーブル、8012,8013…アドレス変換部、67231…無音区間検出部。

Claims (28)

  1. 入力信号を周波数領域信号に変換し、この周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比に基づいて抑圧係数を定め、この抑圧係数を用いて前記周波数領域信号を重みづけすることによって前記入力信号に含まれるノイズを除去するノイズ除去方法において、
    前記信号対雑音比を求めるステップは、
    前記周波数領域信号に基づいて前記周波数領域信号に含まれる雑音を推定し、
    前記周波数領域信号と前記推定雑音に基づいて前記周波数領域信号への注入雑音を計算し、
    前記注入雑音を前記周波数領域信号に付加して補正周波数領域信号を求め、
    前記注入雑音を前記推定雑音に付加して補正された推定雑音を求め、
    前記補正周波数領域信号と前記補正された推定雑音から前記信号対雑音比を求め
    前記注入雑音の付加を、前記入力信号の性質に応じて選択的に行なう
    ことを特徴とするノイズ除去方法。
  2. 請求項に記載のノイズ除去方法において、
    前記入力信号の性質として、信号の定常性を用いることを特徴とするノイズ除去方法。
  3. 請求項に記載のノイズ除去方法において、
    前記信号の定常性として、前記入力信号の振幅がゼロとなるゼロ交叉の数を用いることを特徴とするノイズ除去方法。
  4. 請求項に記載のノイズ除去方法において、
    前記信号の定常性として、前記入力信号を変換した前記周波数領域信号の高域電力を用いることを特徴とするノイズ除去方法。
  5. 請求項1〜のいずれか1つに記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号に基づいて前記周波数領域信号に含まれる前記推定雑音を推定し、この推定雑音と前記周波数領域信号とを用いて前記注入雑音のパワーを定めることを特徴とするノイズ除去方法。
  6. 請求項1〜のいずれか1つに記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号に基づいて前記周波数領域信号に含まれる前記推定雑音を推定し、この推定雑音と前記周波数領域信号とを用いて注入雑音を計算し、この注入雑音と前記周波数領域信号との和、及び前記注入雑音と前記推定雑音との和を用いて信号対雑音比を求めることを特徴とするノイズ除去方法。
  7. 請求項又はに記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて前記推定雑音を推定することを特徴とするノイズ除去方法。
  8. 入力信号を周波数領域信号に変換し、この周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比に基づいて抑圧係数を定め、この抑圧係数を用いて前記周波数領域信号を重みづけすることによって前記入力信号に含まれるノイズを除去するノイズ除去方法において、
    前記信号対雑音比を求めるステップは、
    前記周波数領域信号に基づいて前記周波数領域信号に含まれる雑音を推定し、
    前記周波数領域信号と前記推定雑音に基づいて前記周波数領域信号への注入雑音を計算し、
    前記注入雑音を前記周波数領域信号に付加して補正周波数領域信号を求め、
    前記注入雑音を前記推定雑音に付加して補正された推定雑音を求め、
    前記補正周波数領域信号と前記補正された推定雑音から前記信号対雑音比を求め、
    前記入力信号を変換した前記周波数領域信号に基づいて前記周波数領域信号に含まれる前記推定雑音を推定し、この推定雑音と前記周波数領域信号とを用いて前記注入雑音のパワーを定める
    ことを特徴とするノイズ除去方法。
  9. 請求項8に記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて前記推定雑音を推定することを特徴とするノイズ除去方法。
  10. 入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、
    前記周波数領域信号の振幅成分に基づいて前記周波数領域信号に含まれる雑音を推定する推定雑音計算部と、
    前記推定雑音と前記周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、
    前記注入雑音と前記周波数領域信号の振幅成分を加算する第1の加算器と、
    前記注入雑音と前記推定雑音を加算する第2の加算器と、
    前記第1の加算器の出力信号と前記第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、
    前記第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、
    前記抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけする第1の乗算部と、
    前記第1の乗算部の出力と前記周波数領域信号の位相成分を時間領域信号に変換する逆変換部と
    を少なくとも具備し、
    前記注入雑音計算部は、
    前記入力信号が入力され、前記入力信号の振幅がゼロとなるゼロ交叉の数を計算し、その計算結果に応じた制御信号を出力するゼロ交叉計算部と、
    このゼロ交叉計算部から入力された前記制御信号によって前記注入雑音を選択的にゼロに設定するスイッチと
    を含むことを特徴とするノイズ除去装置。
  11. 請求項10に記載のノイズ除去装置において、
    前記周波数領域信号の振幅成分を重みづけし、得られた重みつき振幅成分を前記推定雑音計算部に出力し、前記推定雑音計算部に前記重みつき振幅成分に基づいて前記推定雑音を推定させる重みつき劣化音声計算部を更に具備することを特徴とするノイズ除去装置。
  12. 請求項11に記載のノイズ除去装置において、
    前記重みつき劣化音声計算部は、
    前記周波数領域信号の振幅成分を用いて第2の信号対雑音比を計算して出力する第2の信号対雑音比計算部と、
    この第2の信号対雑音比計算部から入力された前記第2の信号対雑音比を非線形関数によって処理して重みを求め出力する非線形処理部と、
    この非線形処理部から入力された前記重みを用いて前記周波数領域信号の振幅成分を重みづけし、前記推定雑音計算部に出力する第2の乗算部と
    を含むことを特徴とするノイズ除去装置。
  13. 請求項1012のいずれか1つに記載のノイズ除去装置において、
    前記抑圧係数生成部から入力された前記抑圧係数を、前記周波数領域信号に基づいて補正して前記第1の乗算部に出力し、前記第1の乗算部に補正した抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備することを特徴とするノイズ除去装置。
  14. 入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、
    前記周波数領域信号の振幅成分に基づいて前記周波数領域信号に含まれる雑音を推定する推定雑音計算部と、
    前記推定雑音と前記周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、
    前記注入雑音と前記周波数領域信号の振幅成分を加算する第1の加算器と、
    前記注入雑音と前記推定雑音を加算する第2の加算器と、
    前記第1の加算器の出力信号と前記第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、
    前記第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、
    前記抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけする第1の乗算部と、
    前記第1の乗算部の出力と前記周波数領域信号の位相成分を時間領域信号に変換する逆変換部と
    を少なくとも具備し、
    前記注入雑音計算部は、
    前記変換部から入力された前記周波数領域信号の振幅成分の高域電力を計算し、その計算結果に応じた制御信号を出力する高域電力計算部と、
    この高域電力計算部から入力された前記制御信号によって前記注入雑音を選択的にゼロに設定するスイッチと
    を含むことを特徴とするノイズ除去装置。
  15. 請求項14に記載のノイズ除去装置において、
    前記周波数領域信号の振幅成分を重みづけし、得られた重みつき振幅成分を前記推定雑音計算部に出力し、前記推定雑音計算部に前記重みつき振幅成分に基づいて前記推定雑音を推定させる重みつき劣化音声計算部を更に具備することを特徴とするノイズ除去装置。
  16. 請求項15に記載のノイズ除去装置において、
    前記重みつき劣化音声計算部は、
    前記周波数領域信号の振幅成分を用いて第2の信号対雑音比を計算して出力する第2の信号対雑音比計算部と、
    この第2の信号対雑音比計算部から入力された前記第2の信号対雑音比を非線形関数によって処理して重みを求め出力する非線形処理部と、
    この非線形処理部から入力された前記重みを用いて前記周波数領域信号の振幅成分を重みづけし、前記推定雑音計算部に出力する第2の乗算部と
    を含むことを特徴とするノイズ除去装置。
  17. 請求項14〜16のいずれか1つに記載のノイズ除去装置において、
    前記抑圧係数生成部から入力された前記抑圧係数を、前記周波数領域信号に基づいて補正して前記第1の乗算部に出力し、前記第1の乗算部に補正した抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備することを特徴とするノイズ除去装置。
  18. 入力信号を周波数領域信号に変換して振幅成分と位相成分に分離して出力する変換部と、
    前記周波数領域信号の振幅成分に基づいて前記周波数領域信号に含まれる雑音を推定する推定雑音計算部と、
    前記推定雑音と前記周波数領域信号の振幅成分を用いて注入雑音を計算する注入雑音計算部と、
    前記注入雑音と前記周波数領域信号の振幅成分を加算する第1の加算器と、
    前記注入雑音と前記推定雑音を加算する第2の加算器と、
    前記第1の加算器の出力信号と前記第2の加算器の出力信号とを受けて第1の信号対雑音比を求める第1の信号対雑音比計算部と、
    前記第1の信号対雑音比に基づいて抑圧係数を定める抑圧係数生成部と、
    前記抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけする第1の乗算部と、
    前記第1の乗算部の出力と前記周波数領域信号の位相成分を時間領域信号に変換する逆変換部と
    を少なくとも具備し、
    前記抑圧係数生成部から入力された前記抑圧係数を、前記周波数領域信号に基づいて補正して前記第1の乗算部に出力し、前記第1の乗算部に補正した抑圧係数を用いて前記周波数領域信号の振幅成分を重みづけさせる抑圧係数補正部を更に具備することを特徴とするノイズ除去装置。
  19. 入力信号を周波数領域信号に変換し、この周波数領域信号に基づいて前記周波数領域信号に含まれる雑音を推定し、この推定雑音を前記周波数領域信号から差し引くことによって前記入力信号に含まれるノイズを除去するノイズ除去方法において、
    前記ノイズを除去するステップは、
    前記周波数領域信号と前記推定雑音に基づいて前記周波数領域信号への注入雑音を計算し、
    前記注入雑音を前記推定雑音に付加して補正された推定雑音を求め、
    前記補正された推定雑音を前記周波数領域信号から差し引くことで前記ノイズを除去する
    ことを特徴とするノイズ除去方法。
  20. 請求項19に記載のノイズ除去方法において、
    前記注入雑音の付加を、前記入力信号の性質に応じて選択的に行なうことを特徴とするノイズ除去方法。
  21. 請求項20に記載のノイズ除去方法において、
    前記入力信号の性質として、信号の定常性を用いることを特徴とするノイズ除去方法。
  22. 請求項21に記載のノイズ除去方法において、
    前記信号の定常性として、前記入力信号の振幅がゼロとなるゼロ交叉の数を用いることを特徴とするノイズ除去方法。
  23. 請求項21に記載のノイズ除去方法において、
    前記信号の定常性として、前記入力信号を変換した前記周波数領域信号の高域電力を用いることを特徴とするノイズ除去方法。
  24. 請求項1923のいずれか1つに記載のノイズ除去方法において、
    前記注入雑音のパワーを、前記周波数領域信号と前記推定雑音とを用いて定めることを特徴とするノイズ除去方法。
  25. 請求項1923のいずれか1つに記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号を重みづけし、この重みづけした周波数領域信号に基づいて前記推定雑音を推定することを特徴とするノイズ除去方法。
  26. 請求項25に記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比を用いて重みを求め、この重みを用いて前記周波数領域信号を重みづけすることを特徴とするノイズ除去方法。
  27. 請求項25に記載のノイズ除去方法において、
    前記入力信号を変換した前記周波数領域信号を用いて信号対雑音比を求め、この信号対雑音比を非線形処理関数によって処理して重みを求め、この重みを用いて前記周波数領域信号を重みづけすることを特徴とするノイズ除去方法。
  28. 請求項1927のいずれか1つに記載のノイズ除去方法において、
    前記周波数領域の強調音声を変換した前記時間領域信号に窓がけ処理を施すことを特徴とするノイズ除去方法。
JP2005177567A 2005-06-17 2005-06-17 ノイズ除去方法及び装置 Expired - Lifetime JP4395772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005177567A JP4395772B2 (ja) 2005-06-17 2005-06-17 ノイズ除去方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005177567A JP4395772B2 (ja) 2005-06-17 2005-06-17 ノイズ除去方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001339156A Division JP3858668B2 (ja) 2001-11-05 2001-11-05 ノイズ除去方法及び装置

Publications (3)

Publication Number Publication Date
JP2005321821A JP2005321821A (ja) 2005-11-17
JP2005321821A5 JP2005321821A5 (ja) 2006-01-05
JP4395772B2 true JP4395772B2 (ja) 2010-01-13

Family

ID=35469091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005177567A Expired - Lifetime JP4395772B2 (ja) 2005-06-17 2005-06-17 ノイズ除去方法及び装置

Country Status (1)

Country Link
JP (1) JP4395772B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863713B2 (ja) * 2005-12-29 2012-01-25 富士通株式会社 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
JP4469882B2 (ja) * 2007-08-16 2010-06-02 株式会社東芝 音響信号処理方法及び装置
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP2015206874A (ja) 2014-04-18 2015-11-19 富士通株式会社 信号処理装置、信号処理方法、及び、プログラム
CN111429927B (zh) * 2020-03-11 2023-03-21 云知声智能科技股份有限公司 提升个性化合成语音质量的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885752B1 (en) * 1994-07-08 2005-04-26 Brigham Young University Hearing aid device incorporating signal processing techniques
FI100840B (fi) * 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
JP3454402B2 (ja) * 1996-11-28 2003-10-06 日本電信電話株式会社 帯域分割型雑音低減方法
JP3454403B2 (ja) * 1997-03-14 2003-10-06 日本電信電話株式会社 帯域分割型雑音低減方法及び装置
JP3459363B2 (ja) * 1998-09-07 2003-10-20 日本電信電話株式会社 雑音低減処理方法、その装置及びプログラム記憶媒体
JP2000330597A (ja) * 1999-05-20 2000-11-30 Matsushita Electric Ind Co Ltd 雑音抑圧装置
DE19957220A1 (de) * 1999-11-27 2001-06-21 Alcatel Sa An den aktuellen Geräuschpegel adaptierte Geräuschunterdrückung
JP3858668B2 (ja) * 2001-11-05 2006-12-20 日本電気株式会社 ノイズ除去方法及び装置

Also Published As

Publication number Publication date
JP2005321821A (ja) 2005-11-17

Similar Documents

Publication Publication Date Title
JP4282227B2 (ja) ノイズ除去の方法及び装置
JP4670483B2 (ja) 雑音抑圧の方法及び装置
KR101052445B1 (ko) 잡음 억압을 위한 방법과 장치, 및 컴퓨터 프로그램
KR100927897B1 (ko) 잡음억제방법과 장치, 및 컴퓨터프로그램
JP3454206B2 (ja) 雑音抑圧装置及び雑音抑圧方法
RU2127454C1 (ru) Способ понижения шума и устройство для его осуществления
JP5435204B2 (ja) 雑音抑圧の方法、装置、及びプログラム
JP3858668B2 (ja) ノイズ除去方法及び装置
US20100207689A1 (en) Noise suppression device, its method, and program
JP2007006525A (ja) ノイズ除去の方法及び装置
JP6064600B2 (ja) 信号処理装置、信号処理方法、及び信号処理プログラム
JP4395772B2 (ja) ノイズ除去方法及び装置
JP2008216721A (ja) 雑音抑圧の方法、装置、及びプログラム
JP5413575B2 (ja) 雑音抑圧の方法、装置、及びプログラム
JP2003131689A (ja) ノイズ除去方法及び装置
JP4968355B2 (ja) 雑音抑圧の方法及び装置
JP6011536B2 (ja) 信号処理装置、信号処理方法、およびコンピュータ・プログラム
US10388264B2 (en) Audio signal processing apparatus, audio signal processing method, and audio signal processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4395772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

EXPY Cancellation because of completion of term