JP5654955B2

JP5654955B2 - 直接音抽出装置および残響音抽出装置

Info

Publication number: JP5654955B2
Application number: JP2011147021A
Authority: JP
Inventors: 橋本　武志; 武志橋本; 哲生渡邉; 笛木　俊宏; 俊宏笛木
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2011-07-01
Filing date: 2011-07-01
Publication date: 2015-01-14
Anticipated expiration: 2031-07-01
Also published as: US20140044273A1; CN103503066A; CN103503066B; EP2690623A1; JP2013015606A; WO2013005550A1; US9241214B2; EP2690623A4; EP2690623B1

Description

本発明は直接音抽出装置および残響音抽出装置に関し、より詳細には、残響音を含んだ入力信号から、直接音を抽出することが可能な直接音抽出装置と、残響音を抽出することが可能な残響音抽出装置とに関する。

ホール等の残響が発生しやすい環境で演奏された音楽やスピーチなどを収録した場合には、収録された音響信号に直接音だけでなく残響音が畳み込まれて記録されることが多い。このため、残響音が畳み込まれた音響信号を他の音響環境で再生する場合には、直接音の明瞭度が低下し、再生時に非常に聞きづらくなってしまうおそれがあった。

また、残響音が畳み込まれたスピーチ音声を用いて、音声認識等を行った場合には、残響音による明瞭度の低下により、スピーチ内容の認識率の低下が生じてしまうという問題があった。

このように残響音が畳み込まれた音響信号において、残響音を低減する技術が従来より知られている（例えば、特許文献１参照）。この技術を用いることにより、残響音の低減を図って直接音の明瞭化を実現することが可能である。

特開２０１０−７４５３１号公報

しかしながら、特許文献１に示した方法では、入力信号において残響音を低減するために、擬似白色化処理、マルチステップ線形予測処理、後部残響予測処理等の多様な信号処理を行う必要があり、多大な処理負担が必要とされている。このため、実際の残響音の低減には、マイクロプロセッサやデジタルシグナルプロセッサ等の高性能なデバイスが必要とされ、コスト等の観点から、特許文献１による方法をそのまま用いることが容易ではないという問題があった。

本発明は、上記問題に鑑みてなされたものであり、残響音が含まれる音響信号において、簡単に直接音または残響音を抽出することが可能な直接音抽出装置および残響音抽出装置を提供することを課題とする。

上記課題を解決するために、本発明に係る直接音抽出装置は、直接音に残響音が含まれる入力信号に対してフーリエ変換処理を施すフーリエ変換手段と、該フーリエ変換手段によりフーリエ変換処理された前記入力信号の実数と虚数の周波数スペクトルに基づいて、前記入力信号を第１振幅スペクトル信号と位相スペクトル信号とに変換するスペクトル変換手段と、前記第１振幅スペクトル信号に対して予め設定された正規化カットオフ周波数を用いて周波数毎にローパスフィルタリング処理を行うローパスフィルタ手段と、該ローパスフィルタ手段によりローパスフィルタリング処理された第２振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第１リミッタ手段と、該第１リミッタ手段によりマイナス側の振幅の制限が行われた前記第２振幅スペクトル信号を前記第１振幅スペクトル信号から減算することにより第３振幅スペクトル信号を求める第１減算手段と、該第１減算手段により求められた第３振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第２リミッタ手段と、前記位相スペクトル信号と、前記第２リミッタ手段によりマイナス側の振幅の制限が行われた前記第３振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求める逆スペクトル変換手段と、該逆スペクトル変換手段により求められた信号を逆フーリエ変換処理することにより、前記入力信号から前記直接音を抽出した直接音信号を生成する逆フーリエ変換手段とを備えることを特徴とする。

本発明に係る直接音抽出装置は、直接音に残響音が含まれる入力信号をフーリエ変換し、スペクトル変換手段により求められた第１振幅スペクトル信号に対して、予め設定された正規化カットオフ周波数を用いてローパスフィルタリング処理を行うことにより、スペクトル毎に積分された信号（積分信号：第２振幅スペクトル信号）を求める。このようにして積分された信号は、入力信号における時間変化において定常成分をなすスペクトル信号、つまり、残響音信号に該当するものである。

従って、第１減算手段において、第２振幅スペクトル信号を第１振幅スペクトル信号から減算することにより求められる第３振幅スペクトル信号は、入力信号から残響音を減算した信号であり、この処理によって、直接音信号に該当する信号を求めることが可能となる。

このため、逆スペクトル変換手段および逆フーリエ変換手段により生成される信号は、入力信号から直接音を抽出した信号となり、直接音に残響音が含まれる入力信号から、簡単に直接音を抽出することが可能となる。

さらに、正規化カットオフ周波数を調整することにより、入力信号における直接音の抽出時間の調整を行うことが可能である。正規化カットオフ周波数の値を小さくすると、入力信号における直接音の抽出時間が長くなり、非定常音だけでなく定常音を含んだ形で直接音の抽出を行うことが可能となる。定常音を含んだ直接音の抽出を行うことにより、全く定常音を含まない直接音に比べて、音色や聞き易さなどを直接音に付加することが可能となり、聴取者が直接音を聴取した場合において違和感のない音として認識することが可能となる。

また、上述した直接音抽出装置は、前記第２リミッタ手段によりマイナス側の振幅の制限が行われた前記第３振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、前記第３振幅スペクトル信号に対する重み付けを行う第１ゲイン手段を備え、前記逆スペクトル変換手段が、前記位相スペクトル信号と、前記第１ゲイン手段により重み付けが行われた前記第３振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求めるものであってもよい。

上記直接音抽出装置では、第１ゲイン手段が、第２リミッタ手段によりマイナス側の振幅の制限が行われた第３振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、第３振幅スペクトル信号に対する重み付けを行う。このようにして振幅の増幅または減衰による重み付けを周波数毎に行うことによって、入力信号から直接音を抽出する場合において、残響音が少し含まれた状態の直接音を求めることができる。

例えば、直接音に多くの残響音が含まれる（畳み込まれる）場合には、残響音により直接音の聞き取りが困難になる場合もあるが、直接音にわずかに残響音が含まれる場合には、聴取者が聴取した直接音に残響音に伴う音色などが付加されて、聞き取りやすい音になる場合もある。このように、重み付けの調整を行うことにより、抽出される直接音に含まれる残響音の調整を行うことができ、音色などの音質の調整を行うことが可能となる。

さらに、本発明に係る残響音抽出装置は、直接音に残響音が含まれる入力信号に対してフーリエ変換処理を施すフーリエ変換手段と、該フーリエ変換手段によりフーリエ変換処理された前記入力信号の実数と虚数の周波数スペクトルに基づいて、前記入力信号を第１振幅スペクトル信号と位相スペクトル信号とに変換するスペクトル変換手段と、前記第１振幅スペクトル信号に対して予め設定された正規化カットオフ周波数を用いて周波数毎にハイパスフィルタリング処理を行うハイパスフィルタ手段と、該ハイパスフィルタ手段によりハイパスフィルタリング処理された第４振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第３リミッタ手段と、該第３リミッタ手段によりマイナス側の振幅の制限が行われた前記第４振幅スペクトル信号を前記第１振幅スペクトル信号から減算することにより第５振幅スペクトル信号を求める第２減算手段と、該第２減算手段により求められた第５振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第４リミッタ手段と、前記位相スペクトル信号と、前記第４リミッタ手段によりマイナス側の振幅の制限が行われた前記第５振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求める逆スペクトル変換手段と、該逆スペクトル変換手段により求められた信号を逆フーリエ変換処理することにより、前記入力信号から前記残響音を抽出した残響音信号を生成する逆フーリエ変換手段とを備えることを特徴とする。

本発明に係る残響音抽出装置は、直接音に残響音が含まれる入力信号をフーリエ変換し、スペクトル変換手段により求められた第１振幅スペクトル信号に対して、予め設定された正規化カットオフ周波数を用いてハイパスフィルタリング処理を行うことにより、スペクトル毎に微分された信号（微分信号：第４振幅スペクトル信号）を求める。このようにして微分された信号は、入力信号における時間変化において非定常成分をなすスペクトル信号、つまり、直接音信号に該当するものである。

従って、第２減算手段において、第４振幅スペクトル信号を第１振幅スペクトル信号から減算することにより求められる第５振幅スペクトル信号は、入力信号から直接音を減算した信号であり、この処理によって残響音信号に該当する信号を求めることが可能となる。

このため、逆スペクトル変換手段および逆フーリエ変換手段により生成される信号は、入力信号から残響音を抽出した信号となり、直接音に残響音が含まれる入力信号から、簡単に残響音を抽出することが可能となる。

さらに、正規化カットオフ周波数を調整することにより、入力信号における残響音の抽出時間の調整を行うことが可能である。正規化カットオフ周波数の値を大きくすると、入力信号における残響音の抽出時間が長くなり、定常音だけでなく非定常音を含んだ形で残響音の抽出を行うことが可能となる。また、正規化カットオフ周波数の値を小さくすると、入力信号における残響音の抽出時間が短くなり、非定常音があまり含まれない残響音の抽出を行うことが可能となる。

さらに、上述した残響音抽出装置は、前記第４リミッタ手段によりマイナス側の振幅の制限が行われた前記第５振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、前記第５振幅スペクトル信号に対する重み付けを行う第２ゲイン手段を備え、前記逆スペクトル変換手段が、前記位相スペクトル信号と、前記第２ゲイン手段により重み付けが行われた前記第５振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求めるものであってもよい。

上記残響音抽出装置では、第２ゲイン手段が、第４リミッタ手段によりマイナス側の振幅の制限が行われた第５振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、第５振幅スペクトル信号に対する重み付けを行う。このようにして振幅の増幅または減衰による重み付けを周波数毎に行うことによって、入力信号から残響音を抽出する場合において、直接音が少し含まれた状態の残響音を求めることができる。このように、重み付けの調整を行うことにより、抽出される残響音に含まれる直接音の調整を行うことができ、音色などの音質の調整を行うことが可能となる。

本発明に係る直接音抽出装置によれば、直接音に残響音が含まれる入力信号から、簡単に直接音を抽出することができる。また、本発明に係る残響音抽出装置によれば、直接音に残響音が含まれる入力信号から、簡単に残響音を抽出することが可能となる。

実施の形態に係る音響処理装置の概略構成を示したブロック図である。実施の形態に係るＦＦＴ部において、入力信号に対して短時間フーリエ変換処理を行う場合のフーリエ変換長とオーバーラップ長を模式的に示した図である。実施の形態に係る周波数スペクトル領域フィルタリング部の概略構成を示したブロック図である。（ａ）は、実施の形態に係るＬＰＦ部における振幅スペクトル毎のフィルタ係数の一例を示したものであり、（ｂ）は、ＨＰＦ部における振幅スペクトル毎のフィルタ係数の一例を示している。（ａ）は、実施の形態に係る第１ゲイン部の増幅および減衰の重み付け量の周波数変化の一例を示した図であり、（ｂ）は、第２ゲイン部の重み付け量の周波数変化の一例を示した図である。実施の形態に係る周波数スペクトル領域フィルタリング部に入力される入力信号の振幅と、積分信号Ｌｆａ１の振幅と、微分信号Ｌｆａ２の振幅と、直接音信号Ｌｆｄの振幅と、残響音信号Ｌｆｒの振幅との時間変化を例示した第１の図である。実施の形態に係る周波数スペクトル領域フィルタリング部に入力される入力信号の振幅と、積分信号Ｌｆａ１の振幅と、微分信号Ｌｆａ２の振幅と、直接音信号Ｌｆｄの振幅と、残響音信号Ｌｆｒの振幅との時間変化を例示した第２の図である。実施の形態に係る周波数スペクトル領域フィルタリング部に入力される入力信号の振幅と、積分信号Ｌｆａ１の振幅と、微分信号Ｌｆａ２の振幅と、直接音信号Ｌｆｄの振幅と、残響音信号Ｌｆｒの振幅との時間変化を例示した第３の図である。実施の形態に係る周波数スペクトル領域フィルタリング部に入力される入力信号の振幅と、積分信号Ｌｆａ１の振幅と、微分信号Ｌｆａ２の振幅と、直接音信号Ｌｆｄの振幅と、残響音信号Ｌｆｒの振幅との時間変化を例示した第４の図である。実施の形態に係る残響音抽出装置における入力信号の振幅と、残響音抽出装置において抽出された直接音信号の振幅と、残響音信号の振幅との時間変化を例示した第１の図である。実施の形態に係る残響音抽出装置における入力信号の振幅と、残響音抽出装置において抽出された直接音信号の振幅と、残響音信号の振幅との時間変化を例示した第２の図である。実施の形態に係る残響音抽出装置における入力信号の振幅と、残響音抽出装置において抽出された直接音信号の振幅と、残響音信号の振幅との時間変化を例示した第３の図である。実施の形態に係る残響音抽出装置における入力信号の振幅と、残響音抽出装置において抽出された直接音信号の振幅と、残響音信号の振幅との時間変化を例示した第４の図である。実施の形態に係る残響音抽出装置における入力信号の振幅と、残響音抽出装置において抽出された直接音信号の振幅と、残響音信号の振幅との時間変化を例示した第５の図である。（ａ）は、図１４に示した直接音信号の波形が正規化カットオフ周波数の値の調整状態に応じて変化する様子と、入力信号とを模式的に示した図であり、（ｂ）は、図１４に示した残響音信号の波形が正規化カットオフ周波数の値の調整状態に応じて変化する様子と、入力信号とを模式的に示した図である。

以下、本発明に係る直接音抽出装置および残響音抽出装置の一例である音響処理装置を示し、添付図面を参照して詳細に説明を行う。

なお、音声や楽器等の直接音に残響音が畳み込まれると、周波数スペクトルにおいて、非定常な音声や楽器等の信号に対して、残響時間に応じた定常性のある信号が付加される。本実施の形態に係る音響処理装置は、入力信号から非定常信号を抽出・分離することにより直接音の抽出を行い、入力信号から定常信号を抽出・分離することにより残響音を抽出するものである。

図１は、音響処理装置の概略構成を示したブロック図である。音響処理装置１は、図１に示すように、ＦＦＴ部（フーリエ変換手段、スペクトル変換手段）３と、周波数スペクトル領域フィルタリング部４と、ＩＦＦＴ部（逆フーリエ変換手段、逆スペクトル変換手段）５ａ，５ｂとを有している。

ＦＦＴ部３には、図示を省略した音源部から、直接音（例えばスピーチなどの音声）に残響音（例えば、スピーチにおける反射音）が畳み込まれた（含まれた）２チャンネル（ＬチャンネルとＲチャンネル）の入力信号Ｌ，Ｒとが入力される。ＦＦＴ部３は、残響音が畳み込まれた２チャンネルの入力信号Ｌ，Ｒのそれぞれに対して窓関数により重み付けを行う役割を有している。

そして、ＦＦＴ部３は、窓関数による重み付けを行った後に、それぞれの入力信号Ｌ，Ｒに対して、短時間フーリエ変換処理を施すことにより、それぞれの入力信号Ｌ，Ｒを時間領域から周波数領域に変換し、実数と虚数の周波数スペクトルを求める。図２は、ＦＦＴ部３において入力信号Ｌ（あるいは入力信号Ｒ）に対して短時間フーリエ変換処理を行う場合のフーリエ変換長とオーバーラップ長を模式的に示した図である。ここで、ＦＦＴ部３は、入力信号に対してフーリエ変換処理を施すため、本発明に係るフーリエ変換手段に該当することになる。

さらに、ＦＦＴ部３は、周波数領域変換により求められた２チャンネルの周波数スペクトルを、それぞれ振幅スペクトル信号Ｌｆａ，Ｒｆａ（第１振幅スペクトル信号）と位相スペクトル信号Ｌｆｐ，Ｒｆｐに変換する。そして、ＦＦＴ部３は、変換された２チャンネルの振幅スペクトル信号Ｌｆａ，Ｒｆａを、周波数スペクトル領域フィルタリング部４に出力する。また、ＦＦＴ部３は、２チャンネルの位相スペクトル信号Ｌｆｐ,Ｒｆｐを、ＩＦＦＴ部５ａとＩＦＦＴ部５ｂとにそれぞれ出力する。ここで、ＦＦＴ部３は、入力信号を、振幅スペクトル信号Ｌｆａ，Ｒｆａと位相スペクトル信号Ｌｆｐ，Ｒｆｐとに変換するため、本発明に係るスペクトル変換手段に該当することになる。

図３は、周波数スペクトル領域フィルタリング部４の概略構成を示したブロック図である。周波数スペクトル領域フィルタリング部４は、スペクトル毎の簡易なフィルタリング処理により、非定常信号と定常信号の抽出を行う役割を有している。なお、周波数スペクトル領域フィルタリング部４における処理では、振幅スペクトル信号Ｌｆａ，Ｒｆａに対してのみフィルタリング処理を行い、位相スペクトル信号Ｌｆｐ，Ｒｆｐに関してはフィルタリング処理を行わない。

周波数スペクトル領域フィルタリング部４は、図３に示すように、ＬＰＦ部（ローパスフィルタ手段）１０と、ＨＰＦ部（ハイパスフィルタ手段）１１と、第１リミッタ部（第１リミッタ手段）１２と、第２リミッタ部（第２リミッタ手段）１３と、第３リミッタ部（第３リミッタ手段）１４と、第４リミッタ部（第４リミッタ手段）１５と、第１ゲイン部（第１ゲイン手段）１６と、第２ゲイン部（第２ゲイン手段）１７と、第１減算部（第１減算手段）１８と、第２減算部（第２減算手段）１９とを有している。図３は、振幅スペクトル信号Ｌｆａに対して処理を行う機能部（ＬＰＦ部１０、ＨＰＦ部１１、リミッタ部１２〜１５、ゲイン部１６,１７、減算部１８,１９）のみが示されており、振幅スペクトル信号Ｒｆａに対して処理を行う機能部の図示を省略している。しかしながら、振幅スペクトル信号Ｒｆａに対して処理を行う機能部においても、同様の機能部が設けられており、同様のフィルタリング処理が行われる。

ＬＰＦ部１０は、ＦＦＴ部３より入力された振幅スペクトル信号Ｌｆａに対して、所定の正規化カットオフ周波数に基づいて、スペクトル毎（周波数毎）にローパスフィルタリング処理を行う役割を有している。第１リミッタ部１２は、ＬＰＦ部１０によりローパスフィルタリング処理された振幅スペクトル信号（第２振幅スペクトル信号）のマイナス側の振幅を制限して、０にする役割を有している。そして、第１ゲイン部１６は、マイナス側の振幅制限が行われた振幅スペクトル信号の振幅を増幅もしくは減衰する役割を有している。このようにして、ＬＰＦ部１０において振幅スペクトル信号Ｌｆａに対してローパスフィルタリング処理を行うことにより、スペクトル毎に積分された信号（積分信号：第２振幅スペクトル信号）Ｌｆａ１が生成されることになる。

そして、第１減算部１８は、ＦＦＴ部３より入力された振幅スペクトル信号Ｌｆａから、積分信号Ｌｆａ１の減算を行い、時間変動のある非定常のスペクトル信号（第３振幅スペクトル信号）を求める。その後、第２リミッタ部１３は、第１減算部１８において求められたスペクトル信号（第３振幅スペクトル信号）のマイナス側の振幅を制限して０にする。第２リミッタ部１３において振幅の制限が行われた信号は、直接音信号ＬｆｄとしてＩＦＦＴ部５ａへ出力される。

ＨＰＦ部１１は、ＦＦＴ部３より入力された振幅スペクトル信号Ｌｆａに対して、所定の正規化カットオフ周波数に基づいて、スペクトル毎（周波数毎）にハイパスフィルタリング処理を行う役割を有している。第３リミッタ部１４は、ＨＰＦ部１１によりハイパスフィルタリング処理された振幅スペクトル信号（第４振幅スペクトル信号）のマイナス側の振幅を制限して、０にする役割を有している。そして、第２ゲイン部１７は、マイナス側の振幅制限が行われた振幅スペクトル信号の振幅を増幅もしくは減衰する役割を有している。このようにして、ＨＰＦ部１１において振幅スペクトル信号Ｌｆａに対してハイパスフィルタリング処理を行うことにより、スペクトル毎に微分された信号（微分信号：第４振幅スペクトル信号）Ｌｆａ２が生成されることになる。

そして、第２減算部１９は、ＦＦＴ部３より入力された振幅スペクトル信号Ｌｆａから、微分信号Ｌｆａ２の減算を行い、時間変動の少ない定常のスペクトル信号（第５振幅スペクトル信号）を求める。その後、第４リミッタ部１５は、第２減算部１９において求められたスペクトル信号（第５振幅スペクトル信号）のマイナス側の振幅を制限して０にする。第４リミッタ部１５において振幅の制限が行われた信号は、残響音信号ＬｆｒとしてＩＦＦＴ部５ｂへ出力される。

なお、ＬＰＦ部１０における振幅スペクトル毎のローパスフィルタの正規化カットオフ周波数および、ＨＰＦ部１１における振幅スペクトル毎のハイパスフィルタの正規化カットオフ周波数は、直接音と残響音の分割時間を調節するもの（直接音の抽出時間を調節し、また、残響音の抽出時間を調節するもの）である。また、第１ゲイン部１６および第２ゲイン部１７において、増幅および減衰の重み付け量を変化させることにより、直接音と残響音との混合比率を調節する（直接音に含まれる残響音の割合を調節し、また、残響音に含まれる直接音の割合を調節する）ことが可能となる。

図４（ａ）は、本実施の形態に係るＬＰＦ部１０における振幅スペクトル毎のフィルタ係数の一例を示したものであり、図４（ｂ）は、ＨＰＦ部１１における振幅スペクトル毎のフィルタ係数の一例を示している。図４（ａ）（ｂ）に示すＬＰＦ部１０およびＨＰＦ部１１は、それぞれ１次のバタワースフィルタであり、図４に示すように、正規化カットオフ周波数を、０．０００００１、０．０００００２、０．０００００４、・・・・・、０．０６５５に変化させたものである。カットオフ周波数の値が低いほど、直接音の抽出時間と残響音の抽出時間とが長くなる。なお、本実施の形態に係る周波数スペクトル領域フィルタリング部４では、ＬＰＦ部１０およびＨＰＦ部１１のカットオフ周波数を、振幅スペクトルに共通に設定しているが、振幅スペクトル毎に独立に設定する構成とすることも可能である。

図５（ａ）は、本実施の形態に係る第１ゲイン部１６の増幅および減衰の重み付け量の周波数変化の一例を示した図であり、図５（ｂ）は、第２ゲイン部１７の重み付け量の周波数変化の一例を示した図である。図５（ａ）（ｂ）に示すように、本実施の形態に係る第１ゲイン部１６および第２ゲイン部１７では、ゲイン（信号レベル）が小さいほど混合量は大きくなる。また、図５（ａ）（ｂ）に示すように、直接音側である第１ゲイン部１６は、５００Ｈｚ以下の振幅スペクトルにおいて、直接音と残響音の分離はほとんど行わない。

図６〜図９は、周波数スペクトル領域フィルタリング部４の各部の動作例を示したものであり、周波数スペクトル領域フィルタリング部４に入力される入力信号（振幅スペクトル信号Ｌｆａ）の振幅と、積分信号Ｌｆａ１の振幅と、微分信号Ｌｆａ２の振幅と、直接音信号Ｌｆｄの振幅と、残響音信号Ｌｆｒの振幅との時間変化を例示した図である。図６〜図９の波形は、いずれも１ｋＨｚ付近の振幅スペクトルの時間変化を観測したものである。

なお、図６〜図９に示す動作例における入力信号のサンプリングレートは、４４．１ｋＨｚであり、ＦＦＴ部３のフーリエ変換長は４，０９６ｓａｍｐｌｅ（サンプル）、オーバーラップ長はフーリエ変換長の１５／１６倍の３，８４０ｓａｍｐｌｅ、フーリエ変換の窓関数はブラックマンである。また、図６〜図８に示す入力信号は、再生時間が１ｓｅｃ（秒）の１ｋＨｚの正弦波であり、図９に示す入力信号は音楽である。

また、図８、図９には、第１ゲイン部１６および第２ゲイン部１７において、図５（ａ）および図５（ｂ）に示したスペクトル毎（周波数毎）の重み付けを行った場合が示されており、図６、図７には、第１ゲイン部１６および第２ゲイン部１７において重み付けを行わずに、全ての振幅スペクトルに対するゲイン（信号レベル）を０ｄＢに設定した場合が示されている。

まず、図６（ａ）に示した直接音側の信号では、ＬＰＦ部１０のローパスフィルタリング処理により、矩形状を呈する入力信号が積分処理される。このため、矩形状の入力信号の立ち上がり部分が抽出されて、振幅の立ち上がりが緩やかな積分信号Ｌｆａ１が生成される。その後、第１減算部１８において、入力信号から積分信号Ｌｆａ１の減算が行われて、入力信号の矩形形状から積分信号Ｌｆａ１の緩やかな立ち上がり部分の振幅が減算されるため、矩形状の信号の立ち上がり部分、すなわち非定常成分が、直接音信号Ｌｆｄとして抽出されることになる。

なお、第１減算部１８における減算処理によって、直接音信号Ｌｆｄの振幅がマイナスになるが、第２リミッタ部１３で振幅を制限して０にしているため、図６（ａ）に示されるように、直接音信号Ｌｆｄはマイナスの値にはなっていない。

つぎに、図６（ｂ）に示す残響音側の信号では、ＨＰＦ部１１のハイパスフィルタリング処理により、矩形状を呈する入力信号が微分処理される。このため、矩形状の入力信号の鋭い立ち上がり部分と、その後の緩やかな減衰部分からなる微分信号Ｌｆａ２が生成される。その後、第２減算部１９において、入力信号から微分信号Ｌｆａ２の減算が行われて、入力信号の矩形形状から微分信号Ｌｆａ２の鋭い立ち上がり部分等の振幅が減算されるため、矩形状の信号の立ち上がり以外の部分、すなわち定常成分が残響音信号Ｌｆｒとして抽出されることになる。

なお、第２減算部１９における減算処理においても、残響音信号Ｌｆｒの振幅がマイナスになるが、第４リミッタ部１５で振幅を制限して０にしているため、図６（ｂ）に示されるように、残響音信号Ｌｆｒはマイナスの値にはなっていない。

図７は、図６に示した状態において、ＨＰＦ部１１およびＬＰＦ部１０の正規化カットオフ周波数を変更した図である。具体的に、図７（ｂ）に示したＨＰＦ部１１の正規化カットオフ周波数は、図６に示したＨＰＦ部１１の正規化カットオフ周波数０．００８２に対して低い値である０．００４１に設定されている。また、図７（ａ）に示したＬＰＦ部１０の正規化カットオフ周波数は、図６に示したＬＰＦ部の正規化カットオフ周波数０．００８２に対して高い値である０．０１６４に設定されている。

図６、図７に示すように、正規化カットオフ周波数を低くすると、フィルタの応答が遅くなり、信号の立ち上がりの応答が長くなる。また、正規化カットオフ周波数を高くすると、フィルタの応答が速くなり、信号の立ち上がりの応答が短くなる。このようにして、カットオフ周波数を調整することにより、直接音と残響音の分割時間を調節（直接音の抽出時間の調節、また、残響音の抽出時間の調節）を行うことか可能となる。

図８は、図６に示した状態において、第１ゲイン部１６および第２ゲイン部１７におけるスペクトル毎の重み付け量を設定した場合を示した図である。重み付け量の設定により、直接音や残響音では、重み付け量に応じたオフセット（振幅のかさ上げ）が生じる。このため、図８（ａ）に示す直接音信号には、オフセットに伴う残響音が付加（図８（ａ）に示す高さＬ１の振幅のかさ上げ）され、図８（ｂ）に示す残響音信号には、オフセットに伴う直接音が付加（図８（ｂ）に示す高さＬ１の振幅のかさ上げ）される。このように、重み付け量の設定に応じて生ずるオフセットにより、直接音と残響音との混合比率を調節する（直接音に含まれる残響音の割合を調節し、また、残響音に含まれる直接音の割合を調節する）ことが可能となる。

図９は、図８に示した状態において、入力信号を音楽信号として時間と共に減衰する１ｋＨｚ付近の成分を抽出して示した図である。直接音側の信号においては、図９（ａ）に示すように、振幅の大きい前半部分において直接音の信号が抽出されており、残響音側の信号においては、図９（ｂ）に示すように、入力信号の振幅が減衰している後半部分において残響音の信号が抽出されていることがわかる。

ＩＦＦＴ部５ａは、周波数スペクトル領域フィルタリング部４においてフィルタリング処理された直接音からなる振幅スペクトル信号（直接音信号Ｌｆｄ，Ｒｆｄ）と、ＦＦＴ部３より取得した位相スペクトル信号Ｌｆｐ，Ｒｆｐとに基づいて実数と虚数の周波数スペクトルに変換した後、窓関数により重み付けを行う処理を行う。そして、ＩＦＦＴ部５ａは、重み付け処理された信号に対して短時間逆フーリエ変換処理とオーバーラップ加算とを行うことにより、周波数領域から時間領域に信号を変換して、直接音からなる直接音信号Ｌｄ、Ｒｄを生成する。

また、ＩＦＦＴ部５ｂも同様に、周波数スペクトル領域フィルタリング部４においてフィルタリング処理された残響音からなる振幅スペクトル信号（残響音信号Ｌｆｒ，Ｒｆｒ）と、ＦＦＴ部３より取得した位相スペクトル信号Ｌｆｐ，Ｒｆｐとに基づいて実数と虚数の周波数スペクトルに変換した後、窓関数により重み付けを行う処理を行う。そして、ＩＦＦＴ部５ｂは、重み付け処理された信号に対して短時間逆フーリエ変換処理とオーバーラップ加算とを行うことにより、周波数領域から時間領域に信号を変換して、残響音からなる残響音信号Ｌｒ、Ｒｒを生成する。

なお、ＩＦＦＴ部５ａ,５ｂは、振幅スペクトル信号と位相スペクトル信号とに基づいて実数と虚数の周波数スペクトルに変換する処理を行うため、本発明に係る逆スペクトル変換手段に該当する。さらに、ＩＦＦＴ部５ａ,５ｂは、重み付け処理された信号に対して短時間逆フーリエ変換処理を行うため、本発明に係る逆フーリエ変換手段に該当する。

図１０〜図１４は、音響処理装置１に対する入力信号の振幅と、音響処理装置１において抽出（生成）された直接音信号と残響音信号との振幅の時間変化を例示した図である。図１０と図１１は、入力信号として再生時間が１ｓｅｃの１ｋＨｚの正弦波が入力される場合を示し、図１２と図１３とは、入力信号として音楽が入力される場合を示し、図１４は、ホール（残響音の発生しやすい環境）におけるインパルス応答が入力信号として入力される場合を示している。

また、図１０〜図１４において、ＨＰＦ部１１およびＬＰＦ部１０における正規化カットオフ周波数は、全て０．００８２であり、図１０、図１２、図１４は、スペクトル毎の重み付け処理がなしの場合、図１１と図１３とは、スペクトル毎（周波数毎）の重み付け処理がある場合を示している。

また、図１０〜図１４におけるＩＦＦＴ部５の逆フーリエ変換長は４，０９６ｓａｍｐｌｅ、オーバーラップ長はフーリエ変換長の１５／１６倍である３，８４０ｓａｍｐｌｅ、逆フーリエ変換の窓関数はブラックマンとなっており、ＦＦＴ部３においても同様となっている。

図１０および図１１においては、矩形をなす入力信号の振幅の時間変化に対して、非定常成分である直接音信号と、定常成分である残響音信号とがそれぞれ抽出された状態が示されている。また、図１０に示す直接音信号および残響音信号に対して、図１１に示す直接音信号および残響音信号は、スペクトル毎の重み付け処理により振幅の値がオフセットされている。このため、オフセットされた部分（図１１において、直接音信号および残響音信号の振幅がＬ２の高さだけかさ上げされた部分）において、直接音と残響音とが混合した部分が含まれることになり、第１ゲイン部１６および第２ゲイン部１７による重み付け処理に応じて、直接音と残響音との混合比率を調節することが可能となる。

図１２および図１３においては、音楽（入力信号）の波形に対して、直接音と残響音とをそれぞれ抽出した波形を確認することができる。また、分離された直接音と残響音とをそれぞれ別々に聴取した場合にも、音楽の直接音と残響音とをそれぞれ確認することができ、直接音と残響音との抽出（あるいは分離）を聴覚的に認識することが可能となる。

また、図１３では、スペクトル毎の重み付けの設定を行っているため、直接音において残響音が一部付加され、また残響音においては直接音が一部付加された波形（図１３における直接音信号および残響音信号の振幅の高さが、図１２に比べて高くなっている）が確認でき、直接音と残響音の混合比率をスペクトル毎の重み付け設定により調節することが可能であることが確認できる。また、図１３に示した直接音と残響音とをそれぞれ聴取した場合においても、混合比率に応じて直接音と残響音とが混合された出力音を確認することができる。

図１４においては、ホールにおけるインパルス応答が入力信号として入力されている。インパルス応答であるため、非常に短い信号を入力したときの出力あって、短い時間で振幅が収束する特性を有するが、ホールという残響音の発生しやすい環境でのインパルス応答であるため、直接音に加えて多分に残響音が含まれることになる。

図１４においては、入力信号の振幅の収束に比較して、より短い時間で振幅の収束が行われた直接音と、直接音の振幅の収束よりも長い時間だけ振幅が維持されている残響音とを確認することができる。図１４においては、ＨＰＦ部１１とＬＰＦ部１０の正規化カットオフ周波数が０．００８２に設定されているが、この正規化カットオフ周波数の値を調整することによって、直接音の抽出時間と残響音の抽出時間とを調節することが可能である。

図１５（ａ）は、図１４に示した直接音の波形が正規化カットオフ周波数の値の調整状態に応じて変化する様子と、入力信号とを模式的に示した図である。図１５（ａ）に示すように、正規化カットオフ周波数の値が大きくなると、インパルス応答の振幅の収束までの時間が短くなり、正規化カットオフ周波数の値が小さくなると、インパルス応答の振幅の収束までの時間が長くなって、入力信号の振幅の収束状態に近い波形形状を示すことになる。

このように、正規化カットオフ周波数の値を調整することにより、入力信号における直接音の抽出時間を変更することが可能となる。従って、正規化カットオフ周波数の値を小さくすると、入力信号における直接音の抽出時間が長くなり、非定常音だけでなく定常音を含んだ形で直接音の抽出を行うことが可能となる。例えば、図１４に示す程度に、定常音を含んだ直接音の抽出を行うことにより、全く定常音を含まない直接音に比べて、音色や聞き易さなどを直接音に付加することが可能となり、聴取者が直接音を聴取した場合において違和感のない音として認識することが可能となる。

一方で、図１５（ｂ）は、図１４に示した残響音の波形が正規化カットオフ周波数の値の調整状態に応じて変化する様子と、入力信号とを模式的に示した図である。図１５（ｂ）に示すように、正規化カットオフ周波数の値が大きくなると、残響音の振幅の増大が早い時間から生じるようになり、残響音の振幅の増大が早い段階から大きく立ち上がる傾向がある。一方で、正規化カットオフ周波数の値が小さくなると、残響音の振幅の増大（立ち上がり部分）が緩やかになる。

このため、正規化カットオフ周波数の値を調節することにより、入力信号における直接音の抽出時間を変更することが可能となり、正規化カットオフ周波数の値を小さくすると、残響音信号に含まれる直接音の影響を少なくすることが可能となり、正規化カットオフ周波数の値を大きくすると、直接音が少し含まれた残響音信号の抽出が可能となる。

以上、本発明に係る直接音抽出装置および残響音抽出装置について、図面を用いて詳細に説明を行ったが、本発明に係る直接音抽出装置および残響音抽出装置は、上述した実施の形態に示される構成には限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、本発明に係る直接音抽出装置および残響音抽出装置を利用することにより、様々な音響環境を構築することも可能である。例えば、直接音に残響音が含まれた入力信号から、直接音抽出装置により直接音信号を抽出し、聴取者に近い位置に設置されるスピーカから出力することにより、入力信号をそのままスピーカより出力する場合に比べて、ボーカル音などを鮮明にして聞き取り易くすることが可能となる。また、残響音抽出装置により入力信号から残響音信号を抽出し、聴取者から遠い位置に設置されるスピーカから出力することにより、残響音を効果的に出力させることが可能となる。

１ …音響処理装置（直接音抽出装置および残響音抽出装置）
３ …ＦＦＴ部（フーリエ変換手段、スペクトル変換手段）
４ …周波数スペクトル領域フィルタリング部
５ａ、５ｂ …ＩＦＦＴ部（逆フーリエ変換手段、逆スペクトル変換手段）
１０ …ＬＰＦ部（ローパスフィルタ手段）
１１ …ＨＰＦ部（ハイパスフィルタ手段）
１２ …第１リミッタ部（第１リミッタ手段）
１３ …第２リミッタ部（第２リミッタ手段）
１４ …第３リミッタ部（第３リミッタ手段）
１５ …第４リミッタ部（第４リミッタ手段）
１６ …第１ゲイン部（第１ゲイン手段）
１７ …第２ゲイン部（第２ゲイン手段）
１８ …第１減算部（第１減算手段）
１９ …第２減算部（第２減算手段）
Ｌ、Ｒ …入力信号
Ｌｆａ、Ｒｆａ …振幅スペクトル信号
Ｌｆｐ、Ｒｆｐ …位相スペクトル信号
Ｌｆａ１ …積分信号
Ｌｆａ２ …微分信号
Ｌｆｄ、Ｌｄ、Ｒｆｄ、Ｒｄ …直接音信号
Ｌｆｒ、Ｌｒ、Ｒｆｒ、Ｒｒ …残響音信号

Claims

直接音に残響音が含まれる入力信号に対してフーリエ変換処理を施すフーリエ変換手段と、
該フーリエ変換手段によりフーリエ変換処理された前記入力信号の実数と虚数の周波数スペクトルに基づいて、前記入力信号を第１振幅スペクトル信号と位相スペクトル信号とに変換するスペクトル変換手段と、
前記第１振幅スペクトル信号に対して予め設定された正規化カットオフ周波数を用いて周波数毎にローパスフィルタリング処理を行うローパスフィルタ手段と、
該ローパスフィルタ手段によりローパスフィルタリング処理された第２振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第１リミッタ手段と、
該第１リミッタ手段によりマイナス側の振幅の制限が行われた前記第２振幅スペクトル信号を前記第１振幅スペクトル信号から減算することにより第３振幅スペクトル信号を求める第１減算手段と、
該第１減算手段により求められた第３振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第２リミッタ手段と、
前記位相スペクトル信号と、前記第２リミッタ手段によりマイナス側の振幅の制限が行われた前記第３振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求める逆スペクトル変換手段と、
該逆スペクトル変換手段により求められた信号を逆フーリエ変換処理することにより、前記入力信号から前記直接音を抽出した直接音信号を生成する逆フーリエ変換手段と
を備えることを特徴とする直接音抽出装置。
前記第２リミッタ手段によりマイナス側の振幅の制限が行われた前記第３振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、前記第３振幅スペクトル信号に対する重み付けを行う第１ゲイン手段を備え、
前記逆スペクトル変換手段は、前記位相スペクトル信号と、前記第１ゲイン手段により重み付けが行われた前記第３振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求めること
を特徴とする請求項１に記載の直接音抽出装置。
直接音に残響音が含まれる入力信号に対してフーリエ変換処理を施すフーリエ変換手段と、
該フーリエ変換手段によりフーリエ変換処理された前記入力信号の実数と虚数の周波数スペクトルに基づいて、前記入力信号を第１振幅スペクトル信号と位相スペクトル信号とに変換するスペクトル変換手段と、
前記第１振幅スペクトル信号に対して予め設定された正規化カットオフ周波数を用いて周波数毎にハイパスフィルタリング処理を行うハイパスフィルタ手段と、
該ハイパスフィルタ手段によりハイパスフィルタリング処理された第４振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第３リミッタ手段と、
該第３リミッタ手段によりマイナス側の振幅の制限が行われた前記第４振幅スペクトル信号を前記第１振幅スペクトル信号から減算することにより第５振幅スペクトル信号を求める第２減算手段と、
該第２減算手段により求められた第５振幅スペクトル信号のマイナス側の振幅を制限してゼロにする第４リミッタ手段と、
前記位相スペクトル信号と、前記第４リミッタ手段によりマイナス側の振幅の制限が行われた前記第５振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求める逆スペクトル変換手段と、
該逆スペクトル変換手段により求められた信号を逆フーリエ変換処理することにより、前記入力信号から前記残響音を抽出した残響音信号を生成する逆フーリエ変換手段と
を備えることを特徴とする残響音抽出装置。
前記第４リミッタ手段によりマイナス側の振幅の制限が行われた前記第５振幅スペクトル信号の振幅に対する増幅または減衰を周波数毎に行うことにより、前記第５振幅スペクトル信号に対する重み付けを行う第２ゲイン手段を備え、
前記逆スペクトル変換手段は、前記位相スペクトル信号と、前記第２ゲイン手段により重み付けが行われた前記第５振幅スペクトル信号とに基づいて、実数と虚数の周波数スペクトルからなる信号を求めること
を特徴とする請求項３に記載の残響音抽出装置。