JP5018193B2 - 雑音抑圧装置およびプログラム - Google Patents

Description

本発明は、所期の信号成分（目的音の成分）と雑音成分とが混在した音響を示す信号（以下「音信号」という）について雑音成分を抑圧する技術に関する。

音信号の雑音成分を抑圧する（信号成分を強調する）ための各種の技術が従来から提案されている。例えば非特許文献１や特許文献１には、雑音成分について推定されたスペクトル（以下「推定雑音スペクトル」という）を音信号のスペクトルから減算するスペクトルサブトラクション法が開示されている。
Ephraim Y., Malah D., "Speech enhancement using a minimum-mean square error short-time spectral amplitude estimator", DEC, 1984,IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL.32, NO.6, PP.1109-1121 特開２００３−１３１６８９号公報

しかし、非特許文献１や特許文献１の技術においては、雑音成分を完全には除去し切れない場合がある。信号成分の強度が低い区間に残存した雑音成分は受聴者に顕著に知覚される。特に、時間軸上および周波数軸上に不規則に残存した雑音成分は、耳障りなミュージカルノイズ（バーディノイズ）として知覚されるという問題がある。信号対雑音比が低い状況では音信号のスペクトルから推定雑音スペクトルを抑圧する程度を増大させる必要があるが、推定雑音スペクトルの抑圧の程度を増大させるほどミュージカルノイズは顕著に知覚される。以上の事情を背景として、本発明は、雑音成分（特にミュージカルノイズ）を知覚され難くするという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明のひとつの態様に係る雑音抑圧装置は、雑音成分と信号成分とが混在する音信号の雑音成分を抑圧する装置であって、相隣接する各フレームが時間軸上で重複するように音信号を窓関数により区分した複数のフレームの各々についてスペクトルを算定する周波数分析手段と、周波数分析手段が算定したスペクトルの雑音成分を抑圧する雑音抑圧手段と、雑音抑圧手段による処理後のスペクトルに含まれる雑音成分の周波数を特定する周波数特定手段と、雑音抑圧手段による処理後のスペクトルのうち周波数特定手段が特定した周波数に対応した成分の位相を各フレームで異なる変化量だけ変化させる位相制御手段と、相隣接する各フレームが時間軸上で重複するように位相制御手段による処理後の各フレームの音信号を合成する信号合成手段とを具備する。

以上の構成によれば、雑音成分の位相を各フレームにて別個の変化量だけ変化させることで雑音成分の明瞭性が低減される。したがって、雑音抑圧部による抑圧後の音信号が出力される構成と比較して、雑音成分（例えばミュージカルノイズ）を知覚し難くすることが可能である。

なお、信号成分が特定されると残余の成分が雑音成分として特定されるから、本発明の周波数特定手段は、信号成分の周波数を特定する手段も包含する。また、周波数特定手段が雑音成分の周波数を特定するために使用する情報は任意である。例えば、周波数分析手段が算定したスペクトルや雑音抑圧手段による処理後のスペクトルに基づいて雑音成分の周波数を特定してもよいし、周波数分析手段や雑音抑圧手段とは別個の手段によって特定されたスペクトルに基づいて雑音成分の周波数を特定してもよい。

本発明の好適な態様に係る雑音抑圧装置は、各フレームについて発生した乱数に応じて位相の変化量を設定する変化量設定手段を具備し、位相制御手段は、雑音抑圧手段による処理後の各フレームのスペクトルのうち周波数特定手段が特定した周波数に対応した成分の位相を、当該フレームについて変化量設定手段が設定した変化量だけ変化させる。以上の態様によれば、各フレームにおける位相の変化量が乱数に応じて設定されるから、ミュージカルノイズの明瞭性を有効に低減することが可能である。

さらに好適な態様において、位相制御手段は、雑音成分の周波数のうち所定の周波数帯域に属する周波数に対応した成分の位相を変化させる。所定の周波数帯域は、例えば、受聴者が知覚し易い周波数を包含するように設定される。以上の態様によれば、総ての周波数帯域にわたる雑音成分の周波数について位相が制御される構成と比較して、位相制御手段による処理量が低減されるという利点がある。周波数特定手段が特定した雑音成分の周波数のうち所定の周波数帯域に属する周波数の位相のみを位相制御手段が選択的に制御する構成や、周波数特定手段が所定の周波数帯域に属する周波数のみを特定する構成が採用される。

本発明に係る雑音抑圧装置は、雑音成分の抑圧に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のひとつの態様に係るプログラムは、雑音成分と信号成分とが混在する音信号を、相隣接する各フレームが時間軸上で重複するように窓関数により区分した複数のフレームの各々についてスペクトルを算定する周波数分析処理と、周波数分析処理で算定したスペクトルの雑音成分を抑圧する雑音抑圧処理と、雑音抑圧処理後のスペクトルに含まれる雑音成分の周波数を特定する周波数特定処理と、雑音抑圧処理後のスペクトルのうち周波数特定処理で特定した周波数に対応した成分の位相を各フレームで異なる変化量だけ変化させる位相制御処理と、相隣接する各フレームが時間軸上で重複するように位相制御処理後の各フレームの音信号を合成する信号合成処理とをコンピュータに実行させる。以上のプログラムによっても、本発明に係る音処理装置と同様の作用および効果が奏される。なお、本発明のプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

また、雑音成分を抑圧する方法としても本発明は特定される。本発明のひとつの態様に係る雑音抑圧方法は、相隣接する各フレームが時間軸上で重複するように音信号を窓関数により区分した複数のフレームの各々についてスペクトルを算定する周波数分析過程と、周波数分析過程にて算定したスペクトルの雑音成分を抑圧する雑音抑圧過程と、雑音抑圧過程による処理後のスペクトルに含まれる雑音成分の周波数を特定する周波数特定過程と、雑音抑圧過程後のスペクトルのうち周波数特定過程にて特定した周波数に対応した成分の位相を各フレームで異なる変化量だけ変化させる位相制御過程と、相隣接する各フレームが時間軸上で重複するように位相制御過程後の各フレームの音信号を合成する信号合成過程とを含む。以上の方法によっても、本発明に係る雑音抑圧装置と同様の作用および効果が奏される。

＜Ａ：雑音抑圧装置の構成および動作＞
図１は、本発明のひとつの形態に係る雑音抑圧装置の構成を示すブロック図である。同図に示すように、雑音抑圧装置１００の入力端子１２には音信号ＳINが供給される。音信号ＳINは、信号成分と雑音成分とが混在する音響（音声）の波形を示す時間領域の信号である。雑音抑圧装置１００は、音信号ＳINの雑音成分を抑圧することで音信号ＳOUTを生成して出力端子１４から出力する。

図１に示すように、雑音抑圧装置１００は、周波数分析部２０と雑音抑圧部３０と周波数特定部４０と位相制御部５０と信号合成部６０とを具備する。以上の各要素は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現される。ただし、音声処理に専用されるＤＳＰなどの電子回路によっても雑音抑圧装置１００は実現される。また、図１の各要素が複数の集積回路に分散して配置された構成としてもよい。

周波数分析部２０は、音信号ＳINを時間軸上で区分した複数のフレームの各々についてスペクトル（振幅スペクトルまたはパワースペクトル）ＱAを算定する手段である。図１に示すように、周波数分析部２０は、分割部２２と窓掛部２４と変換部２６とを含む。分割部２２は、音信号ＳINを複数のフレームに区分して順次に出力する。相隣接する各フレームは時間軸上で部分的に重複する。すなわち、相隣接する各フレームの時間差は各フレームの時間長よりも短い。窓掛部２４は、各フレームの音信号ＳINに対して窓関数（例えばハミング窓やハニング窓）を乗算する。

変換部２６は、窓関数が乗算された各フレームの音信号ＳINについてＦＦＴ（Fast Fourier Transform）処理などの周波数分析を実行することで周波数領域のスペクトルＱAを算定する。なお、変換部２６としては、時間領域の音信号ＳINを周波数領域の信号に変換する任意の手段（例えばフィルタバンク）が採用される。スペクトルＱAは、各々が別個の周波数（または周波数帯域）に対応した複数の成分（以下「周波数ビン」という）で表現される。

雑音抑圧部３０は、周波数分析部２０が算定したスペクトルＱAから雑音成分を抑圧する手段である。図１に示すように、雑音抑圧部３０は、雑音判定部３２と雑音推定部３４と減算部３６とを含む。雑音判定部３２は、各フレームにおける信号成分の有無（雑音成分の有無）をスペクトルＱAに基づいて判定する。雑音推定部３４は、信号成分を含まないと雑音判定部３２が判定した所定個のフレーム（雑音区間内のフレーム）の各スペクトルＱAを平均化することで推定雑音スペクトルＱNを生成する。推定雑音スペクトルＱNは順次に更新される。

減算部３６は、周波数分析部２０から順次に供給される各フレームのスペクトルＱAから推定雑音スペクトルＱNを減算することでスペクトルＱBを生成する。なお、所定の係数（抑圧係数）を推定雑音スペクトルＱNに乗算したうえでスペクトルＱAから減算することで雑音成分の抑圧の程度を適宜に調整する構成も採用される。

スペクトルＱAのうち複数のフレームにわたって平均的に発生する雑音成分は減算部３６による減算で有効に抑圧される。しかし、各フレームにて突発的に発生するような局所的な雑音成分は減算部３６による処理では完全には除去されない。以上のようにスペクトルＱBに残存した局所的な雑音成分がミュージカルノイズとして受聴者に知覚される。周波数特定部４０および位相制御部５０は、ミュージカルノイズを受聴者に知覚され難くするための手段として機能する。

周波数特定部４０は、各フレームのスペクトルＱBについて雑音成分の周波数を特定する手段である。本形態の周波数特定部４０は、スペクトルＱBを構成する複数の周波数ビンの周波数（または周波数帯域）を、信号成分が優勢な周波数（以下「信号優勢周波数」という）ＢSと雑音成分が優勢な周波数（以下「雑音優勢周波数」という）ＢNとに区別する。信号優勢周波数ＢSと雑音優勢周波数ＢNとの区別には例えば以下の方法が採用される。

有声音には、所定の周波数（基音）の整数倍の周波数にスペクトルのピークが現れる性質（調波構造）がある。周波数特定部４０は、周波数ビンに対応した複数の周波数のうち、調波構造を構成する各周波数（すなわち基音の周波数の整数倍の周波数）に近似する周波数を信号優勢周波数ＢSに選別するとともに信号優勢周波数ＢS以外の各周波数を雑音優勢周波数ＢNに選別する。

図１の位相制御部５０は、スペクトルＱBのうち周波数特定部４０が特定した雑音優勢周波数ＢNに対応する成分の位相を制御する手段である。本形態の位相制御部５０は変化量設定部５２を含む。変化量設定部５２は、各フレームについて位相の変化量を個別に設定する手段である。例えば、各フレームごとに発生した乱数に応じて当該フレームにおける位相の変化量を設定する手段が変化量設定部５２として採用される。

位相制御部５０は、各フレームのスペクトルＱBのうち雑音優勢周波数ＢNの成分の位相を、変化量設定部５２が当該フレームについて設定した変化量だけ変化させる。すなわち、雑音優勢周波数ＢNに対応した成分の位相の変化量は各フレームで相違する。スペクトルＱBのうち信号優勢周波数ＢSの周波数ビンと位相制御部５０が位相を制御した雑音優勢周波数ＢNの周波数ビンとで構成されるスペクトルＱCがフレームごとに位相制御部５０から信号合成部６０に出力される。

信号合成部６０は、複数のフレームのスペクトルＱCから時間領域の音信号ＳOUTを合成する手段である。信号合成部６０は、変換部６２と窓掛部６４と加算部６６とを含む。変換部６２は、スペクトルＱCに逆ＦＦＴ処理を実施することで各フレームについて時間領域の信号Ｃを生成する。窓掛部６４は、各フレームの音信号Ｃに対して窓関数（例えばハミング窓やハニング窓）を乗算する。加算部６６は、窓関数を乗算した各フレームの音信号Ｃを時間軸上で重複するように順次に加算することで音信号ＳOUTを生成する。なお、窓関数の種類や窓長は、周波数分析部２０と信号合成部６０とで共通しても相違してもよい。

位相制御部５０が雑音優勢周波数ＢNにおける位相を変化量θだけ変化させる演算の内容は以下の式(1)で表現される。

式(1)のＳ(k)は第ｋ番目の周波数ビン（雑音優勢周波数ＢNの周波数ビン）に相当し、Ｓ'(k)は位相の変化後における第ｋ番目の周波数ビンに相当する。

変換部６２が式(1)のＳ'(k)に逆ＦＦＴ処理を実施することで算定されるｓ'(m)は以下のように表現される。式(2)のＷは回転子である。

式(2)から理解されるように、ｓ'(m)は、位相制御部５０による処理前のＳ(k)に対応した時間領域の信号ｓ(m)を、時間軸上で変化量θに応じた遅延量だけ遅延させた信号となる。すなわち、雑音抑圧部３０による処理後に残存する雑音成分がフレームごとに別個の遅延量だけ遅延されたうえで加算部６６にて重複して加算されることになる。つまり、雑音優勢周波数ＢNの成分についてフレームごとに別個の変化量θだけ位相を変化させたうえで加算する処理は、ミュージカルノイズに対して残響効果を付与する処理に相当する。

以上に説明したように、本形態においてはミュージカルノイズに残響効果が付与されるから、雑音抑圧部３０による処理後の音声が再生されることでミュージカルノイズが明確に知覚される従来の構成と比較して、ミュージカルノイズを受聴者に知覚され難くする（耳障りな印象を低減する）ことができる。また、雑音抑圧部３０による雑音成分の抑圧と位相制御部５０による位相の制御とが個別に実行されるから、例えば信号対雑音比が低い音信号ＳINを処理する場合に雑音抑圧部３０にて雑音成分を充分に抑圧した場合であっても、ミュージカルノイズを有効に知覚され難くすることが可能である。また、スペクトルＱBのうち雑音優勢周波数ＢNのみについて選択的に位相制御部５０による位相の制御が実行されるから、信号優勢周波数ＢSの信号成分については音信号ＳINと同等の明瞭性が維持される。

＜Ｂ：変形例＞
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の各態様を適宜に組み合わせてもよい。

（１）変形例１
以上の形態においては、スペクトルＱBの総ての周波数帯域にわたる雑音優勢周波数ＢNの成分について位相を制御する構成を例示したが、特定の周波数帯域（例えば受聴者に特に知覚され易い周波数帯域）内の雑音優勢周波数ＢNのみについて位相を制御する構成も採用される。例えば、位相制御部５０は、周波数特定部４０が特定した雑音優勢周波数ＢNのうち所定の周波数帯域に属する雑音優勢周波数ＢNの位相を変化させ、当該周波数帯域外の雑音優勢周波数ＢNについては位相を変化しない。または、所定の周波数帯域に属する雑音優勢周波数ＢNのみを周波数特定部４０が特定してもよい。以上の構成によれば、総ての雑音優勢周波数ＢNについて位相を制御する構成と比較して、位相制御部５０による処理量が削減されるという利点がある。

（２）変形例２
図２に示すように、周波数分析部２０が算定したスペクトルＱAの調波構造を利用して周波数特定部４０が雑音優勢周波数ＢNと信号優勢周波数ＢSとを区分する構成も採用される。位相制御部５０は、雑音抑圧部３０が生成したスペクトルＱBのうち周波数特定部４０が特定した雑音優勢周波数ＢNの成分（周波数ビン）の位相をフレームごとに制御するとともに信号優勢周波数ＢSの成分は位相を制御せずに出力する。ただし、雑音成分の抑圧後のスペクトルＱBに基づいて雑音優勢周波数ＢNが特定される図１の構成によれば、図２の構成と比較して雑音優勢周波数ＢNを高精度に特定できるという利点がある。

また、以上においてはスペクトル（図１のスペクトルＱBや図２のスペクトルＱA）の調波構造に基づいて雑音優勢周波数ＢNを特定する構成を例示したが、周波数特定部４０が雑音優勢周波数ＢNを特定する方法（信号優勢周波数ＢSと雑音優勢周波数ＢNとを選別する方法）としては公知の技術を任意に採用することが可能である。例えば、特開２００６−１９７５５２号公報の技術のように複数のマイクロホンを利用して雑音優勢周波数ＢNを特定してもよい。

図３に示すように、目的音が到来する方向に対して垂直な方向に第１マイクロホン８１と第２マイクロホン８２とが間隔をあけて配置される。第１マイクロホン８１は音信号ＳIN_Aを生成し、第２マイクロホン８２は音信号ＳIN_Bを生成する。周波数特定部４０は、音信号ＳIN_Aと音信号ＳIN_Bとの差分のスペクトルＰA（目的音が抑制されたパワースペクトル）と、音信号ＳIN_Aと音信号ＳIN_Bを遅延した信号との差分のスペクトルＰB（目的音以外の雑音が抑制されたパワースペクトル）とを対比する。周波数特定部４０は、スペクトルＰAの強度がスペクトルＰBと比較して小さい周波数を信号優勢周波数ＢSに選別するとともにスペクトルＰBの強度がスペクトルＰAと比較して小さい周波数を雑音優勢周波数ＢNに選別する。調波構造を利用する構成においては、雑音が有声音を含む場合に雑音優勢周波数ＢNの特定の精度が低下し得る（雑音が信号成分として誤認される）が、図３のように複数のマイクロホンを利用した構成によれば、雑音の音響的な特性に拘わらず雑音優勢周波数ＢNを高精度に特定することが可能である。

（３）変形例３
以上の形態においては推定雑音スペクトルＱNをスペクトルＱAから減算する構成を例示したが、雑音抑圧部３０が雑音成分を抑圧する方法は任意である。例えば、スペクトルＱAの各周波数帯域について個別に重み付け処理を実行する構成が採用される。信号成分の周波数帯域の重み値と雑音成分の周波数帯域の重み値とは、雑音成分が抑圧されるように個別に設定される。また、スペクトルＱAのうち信号成分の周波数帯域の成分のみを抽出する（雑音成分の周波数帯域の成分は破棄する）ことでスペクトルＱBを生成してもよい。

雑音成分の抑圧のために信号成分の周波数帯域と雑音成分の周波数帯域との区別が必要となる構成においては、周波数特定部４０による特定の結果が雑音抑圧部３０と位相制御部５０とで共用される構成が好適である。すなわち、図４に示すように、雑音抑圧部３０は、例えば、周波数特定部４０が特定した信号優勢周波数ＢSと雑音優勢周波数ＢNとで別個の重み値を使用した重み付け処理を実行することで雑音成分を抑圧する。また、位相制御部５０は、図１や図２の構成と同様に、雑音抑圧部３０による処理後のスペクトルＱBのうち周波数特定部４０が特定した雑音優勢周波数ＢNの成分（周波数ビン）の位相をフレームごとに制御するとともに信号優勢周波数ＢSの成分は位相を制御せずに出力する。以上の構成によれば、雑音抑圧装置１００の構成の簡素化や処理量の軽減を実現することができる。

（４）変形例４
変化量設定部５２が位相の変化量を設定する方法は任意である。変化量設定部５２が所定の演算を実行することで各フレームの変化量を算定する構成も採用される。例えば、各フレームの雑音優勢周波数ＢNにおけるスペクトルＱBの強度に応じた四則演算（例えば強度と所定値との加算）で当該フレームにおける位相の変化量を算定する構成が採用される。また、所定個の数値のなかの何れかを順序フィルタ処理で変化量として選択してもよい。すなわち、相前後する各フレームにて位相の変化量が相違する構成が本発明においては好適に採用される。ただし、相前後する総てのフレームで位相の変化量が相違している必要は必ずしもない。例えば、２以上のフレームを単位として位相の変化量が制御される構成も採用される。

本発明のひとつの形態に係る雑音抑圧装置の構成を示すブロック図である。 変形例に係る雑音抑圧装置の構成を示すブロック図である。 変形例に係る雑音抑圧装置の構成を示すブロック図である。 変形例に係る雑音抑圧装置の構成を示すブロック図である。

符号の説明

１００……雑音抑圧装置、１２……入力端子、１４……出力端子、２０……周波数分析部、３０……雑音抑圧部、３２……雑音判定部、３４……雑音推定部、３６……減算部、４０……周波数特定部、５０……位相制御部、５２……変化量設定部、６０……信号合成部。

Claims (4)

1. 雑音成分と信号成分とが混在する音信号の前記雑音成分を抑圧する装置であって、
   相隣接する各フレームが時間軸上で重複するように前記音信号を窓関数により区分した複数のフレームの各々についてスペクトルを算定する周波数分析手段と、
   前記周波数分析手段が算定したスペクトルの前記雑音成分を抑圧する雑音抑圧手段と、
   前記雑音抑圧手段による処理後のスペクトルに含まれる雑音成分の周波数を特定する周波数特定手段と、
   前記雑音抑圧手段による処理後のスペクトルのうち前記周波数特定手段が特定した周波数に対応した雑音成分の位相を、当該雑音成分を含む複数のフレームの各々で異なる変化量だけ変化させる位相制御手段と、
   相隣接する各フレームが時間軸上で重複するように前記位相制御手段による処理後の各フレームの音信号を合成する信号合成手段と
   を具備する雑音抑圧装置。
2. 各フレームについて発生した乱数に応じて位相の変化量を設定する変化量設定手段を具備し、
   前記位相制御手段は、前記雑音抑圧手段による処理後の各フレームのスペクトルのうち前記周波数特定手段が特定した周波数に対応した成分の位相を、当該フレームについて前記変化量設定手段が設定した変化量だけ変化させる
   請求項１の雑音抑圧装置。
3. 前記位相制御手段は、前記雑音成分の周波数のうち所定の周波数帯域に属する周波数に対応した成分の位相を変化させる
   請求項１または請求項２の雑音抑圧装置。
4. 雑音成分と信号成分とが混在する音信号を、相隣接する各フレームが時間軸上で重複するように窓関数により区分した複数のフレームの各々についてスペクトルを算定する周波数分析処理と、
   前記周波数分析処理で算定したスペクトルの前記雑音成分を抑圧する雑音抑圧処理と、
   前記雑音抑圧処理後のスペクトルに含まれる雑音成分の周波数を特定する周波数特定処理と、
   前記雑音抑圧処理後のスペクトルのうち前記周波数特定処理で特定した周波数に対応した雑音成分の位相を、当該雑音成分を含む複数のフレームの各々で異なる変化量だけ変化させる位相制御処理と、
   相隣接する各フレームが時間軸上で重複するように前記位相制御処理後の各フレームの音信号を合成する信号合成処理と
   を実行させるプログラム。

Images