JP6438786B2 - 信号中に含まれる正弦成分抽出装置、正弦成分抽出方法及びプログラム - Google Patents

Description

本発明は、入力信号に含まれる正弦成分の周波数、その振幅及び位相を抽出する正弦成分抽出装置及び正弦成分抽出方法ならびにその正弦成分抽出方法を適用したプログラムに関する。

雑音除去、音声強調の研究において、雑音重畳音声から元音声を取り出す際に音声の振幅を統計的に推定し、位相には雑音重畳音声の位相が用いられてきた。
この位相については、雑音重畳音声の位相を用いることの是非が議論されているが、近年，元音声の位相を推定して雑音除去性能を向上させる研究が非特許文献１などに見受けられるようになってきた。
一方、音声信号などの入力信号に含まれる正弦成分を抽出する研究がなされてきた。例えば、特許文献１には，微分方程式とその積分表現を用いて正弦成分の周波数，振幅及び位相を抽出することについての記載がある．特許文献２には、音声信号の正弦成分を瞬時周波数アトラクタとして抽出することにより、正弦成分を抽出することについての記載がある。特許文献３には、瞬時周波数アトラクタを用いた周期信号の基本周波数（周期の逆数）を抽出する方法についての記載がある。

ＷＯ２００８／１３６４４３号公報 特開２００４−１０９８０９号公報 特開２００６−１７１００８号公報

Ｍａｔｔｈｅｗ ＭｃＣａｌｌｕｍ ａｎｄ Ｂｅｒｎａｒｄ Ｇｕｉｌｌｅｍｉｎ： "Ｓｔｏｃｈａｓｔｉｃ−Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ＭＭＳＥＳＴＦＴ Ｓｐｅｅｃｈ Ｅｎｈａｎｃｅｍｅｎｔ Ｗｉｔｈ Ｇｅｎｅｒａｌ ＡＰｒｉｏｒｉ Ｉｎｆｏｒｍａｔｉｏｎ，"ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＡＵＤＩＯ，ＳＰＥＥＣＨ，ＡＮＤ ＬＡＮＧＵＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．２１，ＮＯ．７，ｐｐ．１４４５−１４５７，ＪＵＬＹ ２０１３． ＡＬＢＥＲＴ Ｈ． ＮＵＴＴＡＬＬ： "Ｓｏｍｅ Ｗｉｎｄｏｗｓ ｅｉｔｈ Ｖｅｒｙ Ｇｏｏｄ Ｓｉｄｅｌｏｂｅ Ｂｅｈａｖｉｏｒ，" ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＡＣＯＵＵＳＴＩＣＳ， ＳＰＥＥＣＨ，ＡＮＤ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ． ＡＳＳＰ−２９， ＮＯ．１，ｐｐ．８４−９１， ＦＥＢＲＵＡＲＹ １９８１．

特許文献１及び特許文献２に記載されたように、信号に含まれる正弦成分を検出する様々な方法が従来から提案されている。また、特許文献３に記載されたように、周期信号の基本周波数の検出についても様々な方法が提案されている。さらに、非特許文献１に記載されているように、音声信号の雑音除去や音声強調などにおいても、元音声の位相まで含めた正弦成分を利用する方法が提案されている。
しかしながら、これら従来から提案されている方法では正弦成分の検出精度がそれほど高くないという問題があった。

本発明は、雑音が重畳している信号から正弦成分を抽出するための基礎となる方法として、雑音が重畳していない信号について、窓関数の特性を利用して入力信号に含まれる正弦成分の周波数、その振幅及び位相を検出する正弦成分抽出装置、正弦成分抽出方法及びプログラムを提供することを目的とする。

本発明の信号中に含まれる正弦成分抽出装置は、フーリエ変換部と、正弦成分検出部と、比算出部と、周波数検出部と、正弦成分算出部とを備える。
フーリエ変換部は、入力信号に窓関数を乗算してフーリエ変換する。
正弦成分検出部は、フーリエ変換部が変換して得た周波数ビンの出力の振幅と位相に対し、特定の周波数ビンの近傍の周波数ビンの出力の振幅よりも、その特定の周波数ビンの出力の振幅が大きく、かつ、近傍の周波数ビンの出力の位相がその特定の周波数ビンの出力の位相とほぼ同じであるような特定の周波数ビンを検出する。
比算出部は、正弦成分検出部が検出した特定の周波数ビンの出力と、その周波数ビンの近傍の周波数ビンの出力から、それらの出力の振幅の比を算出する。
周波数検出部は、比算出部が得た比から入力信号に含まれる正弦成分の周波数を検出する。
正弦成分算出部は、フーリエ変換部が変換して得た特定の周波数ビンの出力と、周波数検出部が検出した正弦成分の周波数から、窓関数の特性を利用して、その正弦成分の振幅及び位相を算出する。
ただし、周波数が互いに数ビン程度近接している正弦成分がある場合、これらの周波数に近い中心周波数を持つそれぞれのビンの信号の値には、これらの正弦成分をフーリエ変換した信号の和が表れる。したがって、この場合はそれぞれの正弦成分の周波数に最も近い中心周波数を持つそれぞれのビンの出力の振幅は、必ずしもそれらの近傍のビンの出力の振幅より大きいとは限らず、また、近傍のビンの出力の位相は、ほぼ同じ位相にならないことがある。このような場合については、それぞれの正弦成分の近傍のビン間の振幅・位相に対して別々に、比算出部、周波数検出部、正弦成分算出部を用い、正弦成分を分離する。

本発明の正弦成分抽出方法は、入力信号に窓関数を乗算してフーリエ変換するフーリエ変換工程と、フーリエ変換工程で変換して得た特定の周波数ビンの出力の振幅と位相と、その周波数ビンの近傍の周波数ビンの出力の振幅と位相から入力信号に含まれる正弦成分を検出する正弦成分検出工程を含む。また、正弦成分検出工程により検出した特定の周波数ビンの出力と、その周波数ビンの近傍の周波数ビンの出力から、それらの出力の振幅の比を算出する比算出工程と、比算出工程により算出した比から入力信号に含まれる正弦成分の周波数を検出する周波数検出工程を含む。
さらに、フーリエ変換部が変換して得た特定の周波数ビンの出力と、周波数検出部が検出した正弦成分の周波数から、窓関数の特性を利用して、その正弦成分の周波数、振幅及び位相を検出する正弦成分算出工程を含む。
ただし、周波数が互いに数ビン程度近接している正弦成分がある場合、それぞれの正弦成分の近傍のビン間の振幅・位相に対して別々に、比算出工程、周波数検出工程、正弦成分算出工程を経ることにより正弦成分を分離する。

本発明のプログラムは、入力信号に窓関数を乗算してフーリエ変換するフーリエ変換手順と、フーリエ変換手順で変換して得た特定の周波数ビンの出力の振幅と位相と、その周波数ビンの近傍の周波数ビンの出力の振幅と位相から入力信号に含まれる正弦成分を検出する正弦成分検出手順と、正弦成分検出手順により検出した特定の周波数ビンの出力と、その周波数ビンの近傍の周波数ビンの出力から、それらの出力の振幅の比を算出する比算出手順と、比算出手順により得られた比から入力信号に含まれる正弦成分の周波数を検出する周波数検出手順を実装し、さらに、フーリエ変換部が変換して得た特定の周波数ビンの出力と、周波数検出部が検出した正弦成分の周波数から、窓関数の特性を利用して、その正弦成分の振幅及び位相を算出する正弦成分算出手順を、コンピュータに実装して実行させる。
ただし、周波数が互いに数ビン程度近接している正弦成分がある場合、それぞれの正弦成分の近傍のビン間の振幅・位相に対して、別々に比算出、周波数検出、正弦成分算出をする手順を含む。

本発明によると、フーリエ変換して得た各周波数ビンの出力が入力信号に含まれる正弦成分の位相と等しいことを利用して、その検出した正弦成分の周波数を正確に求めることができる。また、本発明によると、フーリエ変換して得た周波数ビンの出力と、検出した周波数を利用して、検出した正弦成分の振幅と位相を抽出することができる。

本発明の実施の形態例による正弦成分抽出装置の構成を示すブロック図である。 本発明の実施の形態例による正弦成分抽出処理を示すフローチャートである。 窓関数の特性例を示す図である。 隣接する周波数ビンの重なりの例を示す図である。 隣接する周波数ビンへの出力の例を示す図である。 それぞれの周波数ビンの正弦成分の例を示す図である。 第ｋ番目の周波数ビンの出力の振幅に対する第ｋ＋ｉ番目の周波数ビンの出力の振幅の比の例を示す図である。 周波数ビンの出力の振幅の比に対する周波数の例を示す図である。 近接した正弦成分がある場合の例を示す図である。 近接した正弦成分がある場合の各周波数ビンの出力の例を示す図である。 本発明の適用例（その１）を示すブロック図である。 本発明の適用例（その２）を示すブロック図である。

［１．実施の形態例の装置構成］
図１に、本発明の実施の形態例の正弦成分抽出装置の構成例を示す。
入力端子１１に得られる入力信号が、乗算器１３に供給される。

乗算器１３は、入力信号に、窓関数入力端子１２に得られる窓関数をずらしながら乗算する。窓関数は後段の離散フーリエ変換回路１４でのフーリエ変換用の窓関数である。窓関数は実数値偶関数である。
乗算器１３で窓関数が乗算された入力信号は、フーリエ変換部である離散フーリエ変換回路１４に供給される。離散フーリエ変換回路１４は、窓関数が乗算された入力信号を短時間フーリエ変換する。離散フーリエ変換に高速フーリエ変換を用いることができる。

離散フーリエ変換回路１４がフーリエ変換した信号は、記憶部１５に供給され記憶される。記憶部１５は、離散フーリエ変換回路１４がフーリエ変換した信号を、フーリエ変換によって生成された周波数ビンごとに記憶する。

そして、記憶部１５に記憶された信号は、正弦成分検出部１６に供給され、正弦成分を含むビンが検出される。
入力端子１１に得られる入力信号中に正弦成分が複数あり、それらの周波数が互いに十分離れていて、一つのビンに複数の正弦成分が現れない場合に、正弦成分検出部１６は、記憶部１５で記憶された周波数ビンの信号の内で、振幅が極大、すなわち、近傍のビンの出力の振幅よりも大きく、かつ、位相が同相、すなわち、近傍のビンの出力の位相と等しい周波数ビンを検出する。例えば、正弦成分検出部１６が周波数ビンｋを検出したとき、周波数ビンｋに近接した周波数ビンｋ−１，ｋ−２，…と周波数ビンｋ＋１，ｋ＋２，…の信号の振幅は周波数ビンｋの信号の振幅より小さく、これらの近接した周波数ビンの信号の位相は周波数ビンｋの信号の位相と等しい。周波数ビンｋに近接した周波数ビンｋ−１，ｋ−２，…と周波数ビンｋ＋１，ｋ＋２，…の範囲は窓関数に依存して決まる。

入力端子１１に得られる入力信号中に正弦成分が複数あり、周波数が互いに数ビン程度近接している正弦成分がある場合、これらの周波数の間に中心周波数を持つビンの信号の出力には、これらの正弦成分をフーリエ変換した信号の和が表れる。したがって、このビンの信号の位相は、この近傍のビンの信号の位相とは必ずしも同位相にはならない。しかし、低い周波数の正弦成分に最も近いビンに対して、そのビンより低い周波数のビンでは、高い周波数の正弦成分の影響は少なくなり、それらのビン間の位相は同相になる。同様に、高い周波数の正弦成分に最も近いビンに対しても、そのビンより高い周波数のビンでは、低い周波数の正弦成分の影響は少なくなり、それらのビン間の位相は同相になる。
具体的には、ある特定の周波数ビンで第１の正弦成分の位相の信号を検出し、その特定の周波数ビンに近接した周波数ビンで第１の正弦成分の位相とほぼ同じ位相の信号を検出したとき、それらの周波数ビンの信号を記憶部１５から読み出して、比算出部１７に供給する。また、これらの読み出した周波数ビンとは別の周波数ビンから第２の正弦成分の位相の信号を検出し、第２の正弦成分の位相の信号を検出した周波数ビンに隣接した周波数ビン（又は近傍の周波数ビン）で第２の正弦成分の位相とほぼ同じ位相の信号を検出したとき、その２つの周波数ビンの信号を記憶部１５から読み出して、比算出部１７に供給する。

正弦成分検出部１６の指示で記憶部１５から読み出された特定の周波数ビンとその近接した周波数ビンの信号は、比算出部１７に供給される。比算出部１７は、供給される特定の周波数ビンに対するその近接した周波数ビンの出力の振幅の比をそれぞれ算出する。比算出部１７での算出結果は、周波数検出部１８に供給され、特定の周波数ビンに対するその近傍の周波数ビンの出力との比の算出結果から入力信号に含まれる正弦成分の周波数を抽出し、出力端子１９から出力する。特定の周波数ビンに対するその近接した周波数ビンの出力の振幅の比を算出する数式の例については後述する。

また、周波数検出部１８が抽出した正弦成分の周波数は、正弦成分算出部２０に供給される。正弦成分算出部２０は、特定の周波数ビンの信号と正弦成分の周波数から、窓関数の特性を利用して、正弦成分の振幅と位相を算出して、その振幅値Ａと位相値φを振幅・位相出力端子２１に供給する。

［２．実施の形態例の処理工程］
次に、図２のフローチャートを参照して、実施の形態例の正弦成分抽出装置で行われる処理の流れを説明する。
まず、離散フーリエ変換回路１４が、窓関数が乗算された入力信号の短時間フーリエ変換処理を行う（ステップＳ２１）。この短時間フーリエ変換処理のために乗算された窓関数は、窓長の時間軸中点を時刻０とする実数値偶関数である。また、離散フーリエ変換回路１４は、乗算器１３で入力信号に窓掛けをすることによって短時間フーリエ変換を行うことができる。
そして、正弦成分検出部１６は、正弦成分を含む周波数ビンを検出する（ステップＳ２２）。短時間フーリエ変換で得た周波数ビンの出力の振幅が近傍のビンの出力の振幅よりも大きく、かつ、近傍のビンの出力の位相と等しい周波数ビンがあるか否かを判断する。入力した信号に近接した正弦成分が含まれるときは、振幅が近傍のビンの出力の振幅よりも大きくても、位相が近傍のビンの出力の位相と等しくなるとは限らないが、その場合には、近傍のビン間で位相が等しいビンを検出する。
正弦成分を含む周波数ビンが検出できない場合には、処理を終了する。

次に、比算出部１７が、ステップＳ２２で選ばれた周波数ビン間の出力の振幅の比を算出する（ステップＳ２３）。周波数検出部１８がその比の値から正弦成分の周波数ｆを抽出する（ステップＳ２４）。さらに、正弦成分算出部２０が、周波数検出部１８で抽出した正弦成分の周波数ｆ、窓関数の特性、および、正弦成分を含む周波数ビンの出力から振幅Ａと位相φを算出する（ステップＳ２５）。
次に、ステップＳ２２の判断に戻り、正弦成分検出部１６が、別の正弦成分を含む周波数ビンがあるか否かを判断する。

［３．具体的な検出状態の例］
次に、実施の形態例で示した処理を行う具体的な例について説明する。
まず、入力端子１１に得られる入力信号ｘ（ｔ）が、以下の［数１］式で示すように、振幅Ａと初期位相φを持つ周波数ｆの正弦成分であるとする。

この正弦成分に対して、窓関数ｗ（ｔ）を用いて以下に示す［数２］式で定義される短時間フーリエ変換を行う。ここで、Ｌは窓長であり、窓関数ｗ（ｔ）は、窓長Ｌの時間軸中点を時刻０とする実数値偶関数である。Ｘ（ｋ，ｔ）は、短時間フーリエ変換で得られたｋ番目の周波数ビンの出力であり、Ｗ（ξ）は、［数３］式で定義される窓関数ｗ（ｔ）のフーリエ変換である。（厳密には Ｗ（-ξ）が窓関数ｗ（ｔ）のフーリエ変換であるが、窓関数ｗ（ｔ）が実数値偶関数であることから、Ｗ（ξ）は Ｗ（-ξ）等しい。）［数２］式と［数３］式から［数４］式に示されるように，信号ｘ（ｔ）のＷ（ｆＬ−ｋ）倍が、ｋ番目の周波数ビンの出力Ｘ（ｋ，ｔ）である。

窓関数ｗ（ｔ）は、実数値で偶関数であることから、［数３］式のようにＷ（ξ）を定義すると、この値Ｗ（ξ）は実数になる。
したがって、［数４］式より、周波数ビンｋに依らずにＸ（ｋ，ｔ）の位相はｘ（ｔ）の位相に等しく、振幅はｘ（ｔ）のＷ（ｆＬ−ｋ）倍である。

例えば、非特許文献２に示されているｎタームの窓では、窓関数ｗ（ｔ）は［数５］式のように定義される。

この［数５］式の窓関数を用いたとき、Ｗ（ξ）は、以下の［数６］式で表される。

非特許文献２に示されているように、［数３］式で定義されるＷ（ξ）は矩形窓を除きメインローブの幅が２ビン以上ある。例えばハミング（Hamming）窓やハニング（Hanning）窓などの２タームの窓では、前後２ビン、合計４ビンの幅を持ち、ミニマム３ターム（Minimum 3-term）窓などの３タームの窓では、前後３ビン、合計６ビンの幅を持つ。また、一般にｎタームの窓では、前後ｎビン、合計２ｎビンの幅を持つ。

上記のようにｎタームの窓関数のメインローブの幅が２ｎビンであることから、正弦成分の周波数が（ｋ−ｎ）／Ｌ＜ｆ＜（ｋ＋ｎ）／Ｌの範囲（ξ＝ｆＬ−ｋと置くと、−ｎ＜ξ＜ｎの範囲）にあれば、周波数ビンｋのメインローブの中に正弦成分ｘ（ｔ）の周波数ｆがあり、周波数ビンｋの出力Ｘ（ｋ，ｔ）に正弦成分ｘ（ｔ）が現れる。
また、このことは周波数ｆの正弦成分の短時間フーリエ変換は、ｆＬ−ｎ＜ｋ＜ｆＬ＋ｎの範囲の周波数ビンｋのそれぞれのメインローブの中にあり、正弦成分ｘ（ｔ）はそれぞれの周波数ビンｋの出力Ｘ（ｋ，ｔ）にも現れる。

図３に、窓関数がミニマム３ターム（Minimum 3-term）窓の場合のＷ（ξ）の例を示す。図３において横軸はξの値であり、縦軸がデシベル値である。この図３から分かるように、ミニマム３ターム窓を用いたとき、周波数ビンのサイドローブは、―７１．４８ｄＢ以下に抑えられていることが分かる。ミニマム４ターム窓では、サイドローブはー９８．１７ｄＢ以下に抑えられる。
図４は、窓関数がミニマム３ターム（Minimum 3-term）窓の場合の近接する周波数ビンの重なりを示す図である。この図４に示すように、Ｗ（ξ）はＷ（ξ−３）、Ｗ（ξ−２）、Ｗ（ξ−１）、Ｗ（ξ＋１）、Ｗ（ξ＋２）、Ｗ（ξ＋３）と重なっている。

窓関数がミニマム３ターム（Minimum 3-term）窓の場合、図３からわかるように、周波数ｆの正弦成分に対する周波数ビンｋにおけるξが、ξ＝ｆＬ−ｋであることから、周波数ビンｋの出力には、−３＜ξ＜３、すなわち（ｋ−３）／Ｌ＜ｆ＜（ｋ＋３）／Ｌの範囲の周波数の正弦成分が含まれる。
このことは逆に、窓関数のサイドローブにおける|Ｗ（ξ）｜が十分小さければ、周波数ｆの信号は、その近傍の周波数ビンにだけ出力が現れる。ミニマム３ターム（Minimum 3-term）窓に対しては、周波数ビンｋについて、ξ＝ｆＬ−ｋより、図４の−０．５＜ξ＜０．５の範囲の周波数ｆの正弦成分は、ｋ−３番目の周波数ビンからｋ＋３番目の周波数ビンに出力が現れる。
たとえば、周波数ｆがξ＝ｆＬ−ｋ＝−０．４となる正弦成分に対しては、図５に示すように、周波数ビンｋ−２には信号ｘ（ｔ）にＷ（−０．４＋２）を掛けた信号が、周波数ビンｋ−１にはＷ（−０．４＋１）を、周波数ビンｋ，ｋ＋１，ｋ＋２には、それぞれＷ（−０．４），Ｗ（−０．４−１），Ｗ（−０．４−２）を掛けた信号が出力される。

周波数ｆがξ＝ｆＬ−ｋ＝−０．４となる正弦成分に対する、ある時刻ｔにおけるＸ（ｋ，ｔ）のフェーザを図６に示す。このように、［数４］式からも分かるように、Ｘ（ｋ，ｔ）の近傍のビンの出力は同じ位相を示す。すなわち、図６に示すそれぞれの周波数ビンの信号は、位相を示す傾きが等しく、信号の振幅が異なっている。図１に示す正弦成分検出部１６では、それぞれの周波数ビンの位相（図６での傾き）が同じであることが検出される。

次に、このように示される周波数ビンの内の２つのビン間の出力の比から、正弦成分が求まることを説明する。
まず、正弦成分の周波数ｆに最も近い中心周波数を持つ周波数ビンをｋとする。このとき、ξ＝ｆＬ−ｋと置くと、ξは−０．５＜ξ＜０．５の範囲にある。
周波数ｆの正弦成分の近傍に他の正弦成分がない場合は、［数４］式から近傍の周波数ビンｋ＋ｉ（ｉ＝・・・，−２，−１，０，１，２，・・・）での値は、次のようになる。

ここで、Ｗ（ξ−ｉ）とＷ（ξ）が実数であることより、Ｘ（ｋ＋ｉ，ｔ）とＸ（ｋ，ｔ）はｘ（ｔ）と同位相となり、それぞれの振幅の比をとるとｘ（ｔ）の振幅が約分され、以下に示すようにＷ（ξ−ｉ）とＷ（ξ）の比になる。

この［数９］式の右辺は信号に依存せず、窓関数ｗ（ｔ）だけで定まる。そこで、右辺のｄＢ値を以下のように、ξの関数ｒ_ｉ（ξ）と定義する。

ｒ_ｉ（ξ）の逆関数ｒ_ｉ ^−１（ｒ）も信号に依存せず、窓関数だけで定まる。
Ｘ（ｋ＋ｉ，ｔ）とＸ（ｋ，ｔ）の振幅の比のｄＢ値ｒを、次式［数１１］のように求める。

正弦成分に対しては［数９］式が成り立つことより、［数１０］式および［数１１］式からｒ＝ｒ_ｉ（ξ）が得られる。したがって、正弦成分の周波数ｆを、逆関数ｒ_ｉ ^−１（ｒ）を用いて、次式［数１２］、［数１３］のように求めることができる。

さらに、この周波数ｆを用いると、Ｗ（ξ）を計算することができ、［数４］式よりｘ（ｔ）を、次式［数１４］より求めることができる。

次に、窓関数がミニマム３ターム（Minimum 3-term）窓のときの例を示す。
ミニマム３ターム窓に対しては、正弦成分の周波数ｆと周波数ビンｋに対してξ＝ｆＬ−ｋとすると、ｒ_ｉ（ξ）［ｄＢ］は、図７に示すようになる。この図７は、第ｋ番目の周波数ビンの出力に対する第ｋ＋ｉ番目の周波数ビンの出力の比を示す。
ここで、ミニマム３ターム窓の場合には、ｒ_ｉ（ξ）の逆関数ｒ_ｉ ^−１（ｒ）を、例えば、以下の［数１５］式に示すように逆正接関数を用いて近似することができる。図８は、この逆関数を示す図であり、周波数ビンの出力の比に対するξを示す。

ここで、周波数ビン間の出力の比から正弦成分を求める手順をまとめると、以下のようになる。
１．信号ｘ（ｔ）の短時間フーリエ変換Ｘ（ｋ，ｔ） （ｋ＝０，１，・・・ ）を求める。
２．信号ｘ（ｔ）中に複数の正弦成分があっても、それらの周波数が互いに十分離れ、Ｘ（ｋ＋ｉ，ｔ） （ｉ＝・・・，−２，−１，０，１，２，・・・）に複数の正弦成分が含まれていない場合は、その正弦成分について以下を行う。
（ａ）正弦成分の周波数ｆに最も近い中心周波数を持つ周波数ビンをｋとし、ξ＝ｆＬ−ｋとする。近傍に他の正弦成分がないときには、Ｘ（ｋ＋ｉ，ｔ）（ｉ＝・・・，−２，−１，０，１，２，・・・）はｘ（ｔ）と同位相になる。
（ｂ）［数１１］式を用いて、Ｘ（ｋ＋ｉ，ｔ）とＸ（ｋ，ｔ）の振幅の比のｄＢ値ｒを求める。
（ｃ）［数１２］式，［数１３］式を用いて周波数ｆを計算する。
（ｄ）周波数ｆからＷ（ξ）を計算し、［数１４］式を用いてｘ（ｔ）を求める。
（ｅ）［数１］式からｘ（ｔ）の振幅Ａ、位相φを求める。

次に、周波数が近接する２つの正弦成分がある場合の具体的な検出状態について説明する。
ここでは、信号ｘ（ｔ）が第１の正弦成分ｘ_１（ｔ）と第２の正弦成分ｘ_２（ｔ）の和ｘ（ｔ）＝ｘ_１（ｔ）＋ｘ_２（ｔ）であり、それぞれの周波数ｆ_１とｆ_２が近接している場合を考える。これらの周波数に近い周波数ビンの短時間フーリエ変換の値Ｘ（ｋ，ｔ）は、［数１６］式となる。

周波数ｆ_１と周波数ｆ_２が互いに数ビン程度近接している場合は、Ｗ（ｆ_１Ｌ−ｋ）とＷ（ｆ_２Ｌ−ｋ）が共に無視できない値を持つ。そのため、正弦成分が一つの場合のように単純に|Ｘ（ｋ＋ｉ，ｔ）|^２と|Ｘ（ｋ，ｔ）|^２の比を取ることはできない。
ここで、ξ＝ｆ_１１Ｌ−ｋと置き、−０．５＜ξ＜０．５とし、ｘ_２（ｔ）の周波数がηビン離れ、ｆ_２Ｌ＝ｆ_１Ｌ＋ηとする。
まず、ηが正の場合、つまり、低い周波数の正弦成分をｘ_１（ｔ）とする場合を説明する。
信号ｘ（ｔ）が、ηビン離れた２つの正弦成分ｘ_１（ｔ）とｘ_２（ｔ）の和であることから、次の［数１７］式，［数１８］式で表される。

ηが正で、ある程度大きい場合は、次の［数１９］式が成立し、［数１７］式［数１８］式は［数２０］式のように近似できる。

このとき、Ｘ（ｋ−２，ｔ）とＸ（ｋ−１，ｔ）は、ｘ_１（ｔ）とほぼ同位相になる。
そこで、［数１１］式及び［数９］式から、次の［数２１］式が成立する。

また、正弦成分ｘ_１（ｔ）の周波数ｆ_１を逆関数ｒ_−１ ^−１（ｒ）を用いて、次の［数２２］式及び［数２３］式のように求めることができる。

この周波数ｆ１を用いて、Ｗ（ξ＋１）を求め、次の［数２４］式からｘ１_１（ｔ）を求め、その振幅と位相を求めることができる。

但し、ηが正であっても、その値が余り大きくない場合、つまり、２つの周波数が非常に接近している場合は、［数１９］式が成立せず、この方法を用いることはできない。

次に、ηが負の場合、つまり、高い周波数の正弦成分をｘ_１（ｔ）とする場合を説明する。
ηが負の場合、次の［数２５］式及び［数２６］式で示される。

ここで、ηが負で、その絶対値がある程度大きい場合は、次の［数２７］式が成立し、［数２５］, ［数２６］式は［数２８］式に近似できる。

このとき、Ｘ（ｋ＋１，ｔ）とＸ（ｋ＋２，ｔ）は、ｘ_１（ｔ）とほぼ同位相になり、ηが正のときと同様に、次の［数２９］式が成立する。

正弦成分ｘ_１（ｔ）の周波数ｆ_１を逆関数ｒ_１ ^−１（ｒ）を用いて、次の［数３０］式及び［数３１］式のように求めることができる。

この周波数ｆ_１を用いて、Ｗ（ξ−１）を求め、次の［数３２］式からｘ_１（ｔ）を求め、その振幅と位相を求めることができる。

なお、このηが負の場合にも、２つの周波数が非常に接近している場合は、この手法を用いることはできない。

次に、周波数が互いに数ビン程度近接している正弦成分がある場合の例として、窓関数がミニマム３ターム窓のときの例を示す。
ここでは、図９に示すように、周波数ｆがξ＝ｆＬ−ｋ＝−０．４となる正弦成分と２ビン離れたξ＝１．６の正弦成分が存在する場合を想定する。
図１０は、この周波数ｆがξ＝ｆＬ−ｋ＝−０．４とξ＝１．６の正弦成分に対するある時刻ｔにおけるＸ（ｋ，ｔ）と、その成分Ｘ_１（ｋ，ｔ）及びＸ_２（ｋ，ｔ）を示す。

図１０において、破線のラインがξ＝−０．４のＸ_１（ｋ，ｔ）成分であり、一点鎖線のラインがξ＝１．６のＸ_２（ｋ，ｔ）成分である。そして、実線の欄がこれらを合成したＸ（ｋ，ｔ）である。なお、図１に示す構成で、実際に各ビンで検出される信号は、合成した成分である。
この図１０に示すように、近接したビンに正弦成分がある場合は、各ビンの出力はそれぞれの成分を合わせたものとなり、同じ位相にはならない。しかしながら、他の正弦成分から離れたビン間では、同じ位相となる。図１の構成では、この同じ位相のビンを検出して、ｘ_１（ｔ）やｘ_２（ｔ）の推定を行うものである。

ここで、周波数が近接する二つの正弦成分がある場合に、それぞれの正弦成分を求める手順をまとめると以下のようになる。
１．ｘ（ｔ）の短時間フーリエ変換Ｘ（ｋ，ｔ）（ｋ＝０，１，・・・ ）を求める。
２．ｘ（ｔ）中に複数の正弦成分があり、近接する信号成分の周波数が近接しすぎず、［数１９］式あるいは、［数２７］式が成り立つ場合は、以下のように正弦成分の抽出を行う。
（ａ）［数２１］式あるいは［数２９］式を用いて、周波数ｆ_１の正弦成分に対応するビンから離れたビン間の振幅の比ｒを計算する。
（ｂ）この比ｒから、［数２２］式あるいは［数３０］式を用いて、ξを計算する。
（ｃ）ξから、［数２３］式あるいは［数３１］式を用いて、周波数ｆ_１を計算する。
（ｄ）周波数ｆ_１から、［数２４］式あるいは［数３２］式を用いて、ｘ_１（ｔ）を求め、その振幅と位相を求める。

以上説明したように本発明の正弦成分抽出装置によると、信号を短時間フーリエ変換をし、正弦成分の周波数に近い中心周波数を持つ周波数ビンの出力に対する近傍のビンの出力の振幅の比から、窓関数の特性を用いることでその正弦成分の周波数ｆを求めることができ、また、各ビンからの出力が正弦成分の位相と等しいことを利用して、正弦成分の振幅と位相を抽出することができる。
このため、本発明によると、信号中から正弦成分が抽出できるようになり、信号の周波数推定、ピッチ同期分析、波動の到来方向推定など様々な分野で本発明が利用できる。また、本発明は、雑音が重畳している信号から正弦成分を抽出するための基礎となる方法であり、雑音除去、音声強調，音声や楽曲などの信号分離の基礎技術として期待できる。

［４．適用例］
図１１は、本発明の正弦成分抽出装置を音解析に適用した例である。
すなわち、図１１に示すように、マイクロフォン１と音入力装置２とを接続する。そして、音入力装置２は、マイクロフォン１から入力された信号による音信号を生成する。音入力装置２により生成された音信号は、音声解析装置３に供給される。
また、音入力装置２により生成された音信号は、正弦成分抽出装置４に供給される。この正弦成分抽出装置４は、図１に示す構成の装置であり、音信号に含まれる正弦成分として、音信号に含まれる基本周波数の正弦成分やその高調波の正弦成分を抽出する。そして、正弦成分抽出装置４で抽出された正弦成分の周波数，振幅，位相の情報が、音声解析装置３に供給される。音声解析装置３は、正弦成分抽出装置４から供給される正弦成分の周波数，振幅，位相の情報に基づいて、入力した音信号の解析を行い、解析結果を出力端子５に出力する。

図１２は、本発明の正弦成分抽出装置を音源分離に適用した例である。
すなわち、図１２に示すように、マイクロフォン１から音入力装置２に入力された信号による音信号を生成し、その生成された音信号が音源分離装置６に供給される。音源分離装置６は、マイクロフォン１に入力された音が、複数の正弦成分からなる音である場合に、その複数の音源成分を分離するものである。
ここで、音入力装置２が生成した音信号が、正弦成分抽出装置４に供給され、この正弦成分抽出装置４が音信号に含まれる正弦成分を抽出し、抽出された正弦成分の周波数，振幅，位相の情報が、音源分離装置６に供給される。音源分離装置６は、正弦成分抽出装置４から供給される正弦成分の周波数，振幅，位相の情報に基づいて、入力信号に含まれるそれぞれの音源からの正弦成分を分離し、個別の出力端子７，８に出力する。例えば入力信号が複数の楽曲の演奏信号であるときには、図１２の構成を利用して、１つ１つの楽器ごとの演奏信号を分離することができる。

これら図１１，図１２は正弦成分抽出装置の適用例のごく一部の例であり、その他の各種信号処理に適用可能である。音信号や楽曲の演奏信号に適用することも一例であり、その他の信号に含まれる周波数成分の抽出に適用が可能である。

また、図１に示した正弦成分抽出装置の構成は、好適な一例を示したものであり、本発明の正弦成分抽出装置及び抽出方法は、図１に示す構成のものに限定されない。例えば、実施の形態例のフーリエ変換処理を行うプログラムを実装したコンピュータ装置を用意して、そのコンピュータ装置での演算処理で、同様の正弦成分抽出処理を行うようにしてもよい。コンピュータ装置に実装するプログラムとしては、例えば図２に示した手順を実行するものとする。

１…マイクロフォン、２…音入力装置、３…音声解析装置、４…正弦成分抽出装置、５，７，８…出力端子、６…音源分離装置、１１…信号入力端子、１２…窓関数入力端子、１３…乗算器、１４…離散フーリエ変換回路、１５…記憶部、１６…正弦成分検出部、１７…比算出部、１８…周波数検出部、１９…周波数出力端子、２０…正弦成分算出部、２１…振幅・位相出力端子

Claims (8)

1. 入力信号に窓関数を乗算してフーリエ変換するフーリエ変換部と、
   前記フーリエ変換部が変換して得た特定の周波数ビンの出力の振幅と位相と、その周波数ビンの近傍の周波数ビンの出力の振幅と位相から入力信号に含まれる正弦成分を検出する正弦成分検出部と、
   前記正弦成分検出部が検出した特定の周波数ビンの出力の位相と、その周波数ビンの近傍の周波数ビンの出力の位相がほぼ同じである周波数ビンについて、それらの出力の振幅の比を算出する比算出部と、
   前記比算出部が算出した比から前記入力信号に含まれる正弦成分の周波数を検出する周波数検出部とを備える
   信号中に含まれる正弦成分抽出装置。
2. 前記比算出部が算出して抽出した周波数を、正弦成分を定義する式に代入して、正弦成分の振幅又は位相を算出する正弦成分算出部を備えた
   請求項１に記載の信号中に含まれる正弦成分抽出装置。
3. 前記窓関数は、窓長の時間軸中点を時刻０とする実数値偶関数で窓の両端で値が小さくなる特性を持つ関数であり、前記窓長を有限に設定することで、前記フーリエ変換部が短時間フーリエ変換を行う
   請求項１または２に記載の信号中に含まれる正弦成分抽出装置。
4. 前記フーリエ変換部が変換して得た周波数ビンの出力の位相として、第１の正弦成分の位相と第２の正弦成分の位相が含まれ、それぞれの正弦成分の位相が別の複数の周波数ビンの出力から検出されたとき、前記比算出部は、それぞれの位相の２つの周波数ビンの出力の比を算出して、入力信号に含まれる複数の正弦成分を検出する
   請求項１〜３に記載の信号中に含まれる正弦成分抽出装置。
5. 前記比算出部が比を算出する周波数ビンは、前記フーリエ変換部が変換して得た周波数ビンの出力の内の極大を検出した周波数ビンと、その極大を検出した周波数ビンの近傍の周波数ビンで位相が等しいあるいはほぼ等しいビンである
   請求項１〜３のいずれかに記載の信号中に含まれる正弦成分抽出装置。
6. 前記入力信号は音声信号であり、前記比算出部が算出する周波数は、音声信号に含まれる基本周波数である
   請求項１〜５のいずれかに記載の信号中に含まれる正弦成分抽出装置。
7. 入力信号に窓関数を乗算してフーリエ変換するフーリエ変換工程と、
   前記フーリエ変換工程で変換して得た特定の周波数ビンの出力の振幅と位相と、その周波数ビンの近傍の周波数ビンの出力の振幅と位相から入力信号に含まれる正弦成分を検出する正弦成分検出工程と、
   前記正弦成分検出工程により検出した特定の周波数ビンの出力の位相と、その周波数ビンの近傍の周波数ビンの出力の位相がほぼ同じである周波数ビンについて、それらの出力の振幅の比を算出する比算出工程と、
   前記比算出工程で算出した比から前記入力信号に含まれる正弦成分の周波数を検出する周波数検出工程とを含む
   信号中に含まれる正弦成分抽出方法。
8. 入力信号に窓関数を乗算してフーリエ変換するフーリエ変換手順と、
   前記フーリエ変換手順で変換して得た特定の周波数ビンの出力の振幅と位相と、その周波数ビンの近傍の周波数ビンの出力の振幅と位相から入力信号に含まれる正弦成分を検出する正弦成分検出手順と、
   前記正弦成分検出手順により検出した特定の周波数ビンの出力の位相と、その周波数ビンの近傍の周波数ビンの出力の位相がほぼ同じである周波数ビンについて、それらの出力の振幅の比を算出する比算出手順と、
   前記比算出手順で算出した比から前記入力信号に含まれる正弦成分の周波数を検出する周波数検出手順とを、
   コンピュータに実装して実行させる
   プログラム。

Images