JP3841705B2 - 占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は複数の音や雑音下の音声信号などの音響信号からその基本周波数を狭い周波数帯域に分割して抽出する基本周波数抽出方法およびその装置、その基本周波数抽出に利用可能な、目的音の他の音源・雑音の影響を評価する尺度としての占有度を抽出する方法およびその装置、並びに基本周波数抽出プログラム、占有度抽出プログラム、これらの各記録媒体に関する。
基本周波数抽出は、音声合成、音声認識、音声符号化等の信号処理の前処理として利用されている。したがって、雑音下での高精度な基本周波数抽出は、後処理として実施される信号処理装置の性能を向上させることに寄与する。このような信号処理装置には、以下のようなものが含まれる。
１．基本周波数の情報をもとに複数音源の混合音から各構成音を分離する音源 分離装置
２．基本周波数の情報をもとに音声を符号化する音声符号化・復号化装置
３. 騒がしい環境で人が鼻歌で歌った音の基本周波数からメロディを抽出し て、楽曲を検索する音楽検索装置
４．音楽演奏を音響信号を受け取って楽譜、もしくは楽譜相当の音楽情報を抽 出する自動採譜装置
５．人が発した声の基本周波数の高さで機械にコマンドを渡す機械制御インタ ーフェース装置、および、機械との対話装置
【０００２】
【従来の技術】
基本周波数抽出装置の従来例１を図１４を参照して説明する。
この従来例１は基本周波数の整数倍の周波数で、対数パワースペクトル上に周期的なピークが現れることを利用する。信号入力部１１よりの入力信号は対数パワースペクトル抽出部１２で短時間フーリエ変換され、その各スペクトルの絶対値を２乗したものの対数をとって対数パワースペクトルが演算され、この対数パワースペクトルに対し、周期性抽出部１３により短時間フーリエ逆変換が施され、各周期と対応したレベル、つまり周期性が抽出される。最大値抽出部１４で周期性が最大になる時間差を抽出する。この抽出した時間差、つまり周期の逆数が基本周波数である。
【０００３】
他の従来例２は、瞬時周波数を用いて、前記従来例１と同じ対数パワースペクトルのピークをより強調して、高精度な基本周波数を抽出しようとするものである。入力信号の瞬時周波数成分を抽出し、これを各周波数帯ごとの瞬時周波数φ′（ω）（ωは各周波数帯域ごとの中心周波数）と、対数パワースペクトル抽出部が抽出したスペクトルＳ（ω）から、以下の式を用いてピークを強調した瞬時周波数スペクトルＧ（λ₀ ）を求める。
【０００４】
【数１】

この瞬時周波数スペクトルＧ（λ₀ ）のピークの周期性を抽出することで、基本周波数を抽出する。
【０００５】
【発明が解決しようとする課題】
上述した基本周波数抽出装置の従来例１は、入力信号中に、目的音以外の複数音声や雑音が含まれている場合、対数パワースペクトル上に目的音以外の特徴が重畳されてしまう。このため、目的音以外の音のパワーが大きくなると、基本周波数抽出の誤差が大きくなってしまう問題点があった。
また、従来例２では、瞬時周波数スペクトルは、瞬時周波数の微小区間の傾きを用いて周波数ピークの強調を行うため、雑音下では、瞬時周波数の不安定な挙動がそのまま瞬時周波数スペクトルにあらわれてしまう。このため、雑音下で安定して基本周波数を抽出する特徴量としては不適切であった。
【０００６】
【課題を解決するための手段】
課題を解決するために、
（１）本発明では、入力音の各周波数成分が雑音の影響を受けていない度合いを表す占有度を定義し、その占有度の抽出方法とその装置、またその占有度を利用した基本周波数抽出方法とその装置を提供する。このため、瞬時周波数に関する次の性質を利用する。
瞬時周波数φ′とは、例えば短時間フーリエ変換の各周波数ビン（ｂｉｎ）を、等間隔にならんだ狭帯域通過フィルタ出力群とみなした場合の、その各出力波の位相φの時間微分のことである。ある時刻のある帯域に強いパワーを持った占有的な周波数成分があると、短時間フーリエ変換（以下、ＳＴＦＴと記す）におけるその周波数近傍のｂｉｎでは、瞬時周波数がほぼ一定値になることが知られている。このため、雑音が少ない入力信号中の調波構造を持った音の瞬時周波数を縦軸に、ＳＴＦＴの周波数ｂｉｎを横軸にとってプロットすると、図１５Ａ中の細実線で示すような階段状になる。この階段の水平部分と各周波数ｂｉｎの中心周波数ω_c が一致する点（φ′＝ω_c 、以下、不動点と呼ぶ）が、各高調波成分の周波数とみなすことができる。一方、強い雑音がある入力信号中では、瞬時周波数は明確な階段状にならず、図１５Ｂ中の細実線の６００Ｈｚ以上の部で示すように、なだらかな右上がりの線になる。
【０００７】
上述の瞬時周波数の性質を用いて、調波構造が周波数ｂｉｎの出力をどの程度占めているかを評価するために、占有度（degree of dominance）Ｄ₀ （ω_c ）を以下で定義する。
【数２】

Ｂ（ω_c ）² は、中心周波数ω_c を持つ周波数ｂｉｎの近傍（ω∈Ω_c ）のｂｉｎにおいて、各瞬時周波数（位相の微分値）φ′（ω）とω_c の差分をパワースペクトルＳ（ω）² で重み付き和をとったものである。占有的な周波数成分に対応する不動点近傍では、φ′（ω）とω_c はほぼ同じ値をとるため、Ｂ（ω_c ）² は極小値をとると期待される。Ｂ（ω_c ）² の逆数（の対数）をとって、同じ点で極大値を取るようにしたものがＤ₀ （ω_c ）である。なおＳ（ω）² による重み付けは必ずしもしなくてもよいが、重み付けをした方が強いパワーを持つ周波数の特徴がより強調される。また式（２）の分母はパワーによる定規化である。
占有度Ｄ₀ （ω_c ）は、それ自身で調波構造を強調したスペクトル（占有度スペクトルと呼ぶ）として見ることができるため、ケプストラム法のように対数パワースペクトルに基づく基本周波数抽出法を、占有度スペクトルにそのまま適用して基本周波数を抽出することができる。また、対数パワースペクトルを占有度で重み付けした以下のスペクトルＤ_p も占有度スペクトルとして利用できる（式中のａ，ｂは重み付け係数）。

Ｄ₀ （ω_c ），Ｄ_p （ω_c ）のどちらのスペクトルも、調波構造の強調効果により正確な基本周波数抽出が期待される。さらに、ＳＮＲの悪い状態でも、雑音の影響の少ない周波数成分はそのまま強調され、雑音に埋もれた成分は抑制される。この結果、雑音下でも頑健な基本周波数抽出が実現出来る。
【０００８】
（２）また、本発明では、占有度の代用として、例えばＳＴＦＴの各周波数ｂｉｎの出力値である振幅の２乗を計算することで得られる各周波数のパワーを用いて基本周波数抽出方法を構成する。従来、信号のパワーは、マイクロフォンで収音する際などに加えられる周波数特性の変形の影響を受けやすいため、基本周波数抽出方法を構成するための特徴としては利用されてこなかった。そのかわりパワーに対数変換を加えた対数パワーが用いられてきた。対数パワーは周波数特性の変形の影響を低減する効果がある。しかし（１）の発明で示したように対数パワーは占有度に比べて背景雑音の影響を受けやすく、雑音下での基本周波数抽出には適さない。これに対して、対数変換を加えていない信号のパワーでは、雑音成分と周波数成分の差が大きいという性質を持つ。本発明では、信号のパワーのこの性質に着目して、周波数特性の変形を受けていない信号に対する基本周波数抽出方法を構成する。また、周波数特性の変形を受けた信号に対しても、その周波数特性の変形を受ける前の状態にもどす補償方法と組み合わせた基本周波数抽出方法を構成する。これにより、背景雑音下で頑健な基本周波数抽出が行えるようになる。
【０００９】
本発明では更に精緻化した基本周波数を求めるために、以下で定義する不動点を利用する。ＳＴＦＴのとなりあった周波数ｂｉｎの中心周波数をω_c1,ω_c2とし（ω_c1＜ω_c2）、各周波数ｂｉｎの瞬時周波数をφ’（ω_c1）,φ’（ω_c2）とし、以下の等式を満たす場合、ω_c1とω_c2の間にφ’（ω）＝ωとなる周波数ωが存在し、これを不動点と呼ぶ。
φ’（ω_c1）＞ω_c1andφ’（ω_c2）＜ ω_c2
不動点の周波数は、基本周波数を持つ音の各周波数成分の周波数に相当すると考えられる。特に、大きな占有度の値を持つ不動点は、背景雑音に比べて十分に強い周波数成分に相当することが予想されるため、この不動点の周波数は正確な周波数成分の周波数を与えるものと期待される。また、周波数成分の周波数をある整数で割ることで基本周波数の候補を得ることができる。本発明では、この不動点から導かれる基本周波数の候補に対し、大きな占有度を持つ値により大きな重みを置いて平均を計算することで、雑音下でも精度の高い基本周波数抽出法を構成する。
また、占有度のかわりに信号のパワー、または包絡成分を取り除いたパワーを用いる方法でも、同様に、精緻化した基本周波数の抽出法を構成できる。一般に、パワーの強い周波数成分に相当する不動点では、背景雑音に比べて周波数成分の影響が強いため、不動点の周波数が周波数成分の周波数の良い近似を与えるであろうことが期待される。したがって、本発明では、パワーの強い周波数により大きな重みを置いた基本周波数候補値の平均を計算することで、雑音下でも精度の高い基本周波数抽出法を構成する。
【００１０】
（３）さらに、本発明では音源分離装置と組み合わせることでより高精度な基本周波数抽出法を構成する。音源分離装置を用いると、空間的に異なる位置で測定された二つ以上の入力信号中で、特定の位置の音源から出てくる信号を強調、もしくは抑制することができることが知られている。しかし、この分離信号も、分離結果にある程度以上のひずみが含まれているため、従来例１、２などの基本周波数抽出法では、ひずみの影響で基本周波数抽出性能が劣化してしまうことがあった。これに対し、この発明では、占有的な周波数成分のみで基本周波数を抽出するためひずみの影響も受けにくい。このため、音源分離装置が抑制する雑音の影響を回避しつつ、より高精度な基本周波数抽出を実現できる。
【００１１】
【発明の実施の形態】
以下この発明の実施の形態を実施例により説明する。
占有度の抽出（装置）
この発明による占有度抽出装置の実施例を図１に示す。入力部１１から音響信号が入力信号に変換されて入力され、この入力信号は瞬時周波数抽出部２１で各周波数帯域ごとに各時刻の入力信号の瞬時周波数φ′（ω₁ ）〜φ′（ω_n ）がそれぞれ抽出される。ω₁ 〜ω_n は各帯域の中心周波数である。この周波数帯域は例えば５０〜１００Ｈｚの等間隔の帯域であり、例えば短時間フーリエ変換部２２で３０〜５０ｍｓごとの入力信号が短時間フーリエ変換され、つまり周波数領域に変換され、この変換されたスペクトルが帯域分割位相検出部２３₁ 〜２３_n により、ｎ個の周波数帯域に分割され、各帯域において、その複素スペクトルの位相φ（ω₁ ）〜φ（ω_n ）が検出される。入力信号の周波数領域の変換はウェーブレット変換、余弦変換など他の手法を用いてもよい。あるいは５０〜１００Ｈｚの間隔の帯域通過フィルタ（フィルタバンク）により入力信号を帯域ごとに分割し、その各出力を正弦波とみなし、その位相を求めてもよい。なお、この装置においては一般にはディジタル処理で行われる。
このようにして帯域ごとの位相φ（ω₁ ）〜φ（ω_n ）が微分部２４₁ 〜２４_n でそれぞれ微分されて瞬時周波数φ′（ω₁ ）〜φ′（ω_n ）とされる。 これら瞬時周波数φ′（ω₁ ）〜φ′（ω_n ）は周波数差抽出部２５に入力され、各周波数帯域ごとにその中心周波数ω_c （ｃ＝１，２，…，ｎ）を中心とした与えられた前後の帯域を含む帯域ω_c −Δω〜ω_c ＋Δωについてその各瞬時周波数と中心周波数ω_c との差がそれぞれ求められる。つまりφ′（ω₁ −Δω）−ω₁ 〜φ′（ω₁ ＋Δω）−ω₁ ，φ′（ω₂ −Δω）−ω₂ 〜φ′（ω₂ ＋Δω）−ω₂ ，…，φ′（ω_n −Δω）−ω_n 〜φ′（ω_n ＋Δω）−ω_n が得られる。
なお、積分範囲は想定される基本周波数の５０〜１００％に該当する適当な固定値としてもよく後述のように適応的に変更してもよい。
【００１２】
一方、入力信号が信号パワー抽出部２６に入力され、各周波数帯域の中心周波数ω_c の入力信号パワーＳ（ω_c ）² を抽出する。例えば短時間フーリエ変換部２２などの周波数領域に変換された係数の該当中心周波数ω_c のスペクトルＳ（ω_c ）を取り出し、それを２乗すればよい。
周波数差抽出部２５からの各周波数差φ′（ω_c −Δω）と信号パワー抽出部２６からの中心周波数パワーＳ（ω）² とが占有度演算部２７に入力されて占有度が演算される。占有度は式（１）により定義されたＤ₀ （ω_c ）又は式（３）あるいは（４）により定義されたＤ_p （ω_c ）を演算して求められる。
占有度Ｄ₀ （ω_c ）を求めるには例えば図２Ａに示すように周波数差φ′（ω_c −Δω）−ω_c 〜φ′（ω_c ＋Δω）−ω_c が重み付き加算部２７１でパワースペクトルＳ（ω_c ）² の重み付き加算が行われる。つまり各周波数差φ′（ｐ）−ω_c （ｐ＝ω_c −Δω，…，ω_c ，…ω_c ＋Δω）が２乗部２７２で２乗され、この２乗値（φ′（ｐ）−ω_c ）² に対し乗算部２７３にＳ（ω_c ）² が乗算され、加算部２７４で加算され、重み付き加算結果Σ（φ′（ｐ）−ω_c ）²・Ｓ（ω_c ）² （Σはｐ＝ω_c −Δωからｐ＝ω_c ＋Δωまで）が得られる。
一方、その周波数差の帯域ω_c −Δω〜ω_c ＋Δωの各周波数の入力信号のパワースペクトルＳ（ω_c −Δω）² 〜Ｓ（ω_c ＋Δω）² が加算部２７５に入力され、これらが加算され、その加算値により、重み付き加算部２７１よりの加算値が割算部２７６で割算されて、Ｂ（ω_c ）² が求まる。更に逆数・対数演算部２７８でＢ（ω_c ）² の逆数の対数ｌｏｇ（１／Ｂ（ω_c ）² ）＝Ｄ₀ （ω_c ）が演算されて出力される。
【００１３】
式（３）による占有度Ｄ_p （ω_c ）を求めるには例えば図２Ｂに示すように、各帯域の中心周波数のパワーＳ（ω_c ）² がべき乗部２７９でａべき乗され、その結果Ｓ（ω_c ）^2aに対し、対数演算部２８１で対数演算される。一方、図２Ａで求めたＤ₀ （ω_c ）が乗算部２８２でｂ倍され、この結果ｂＤ₀ （ω_c ）と対数演算部２８１の出力ｌｏｇ（Ｓ（ω_c ）^2a）とが加算部２８３で加算されて、Ｄ_p （ω_c ）として出力される。
式（４）による占有度Ｄ_p （ω_c ）を求めるには例えば図２Ｃに示すように、Ｓ（ω_c ）² がべき乗部２７９でａべき乗され、一方図２Ａ中の割算部２７６の出力Ｂ（ω_c ）² がべき乗部２８４でｂべき乗され、これらべき乗結果が割算部２８５で割算され、Ｓ（ω_c ）^2a／Ｂ（ω_c ）^2bが計算され、この結果に対し対数演算部２８５で対数がとられてＤ_p （ω_c ）として出力される。
図２Ｂ及び図２Ｃにおいてａ＝ｂとしてもよい。この場合は図２Ｂでべき乗算部２７９、乗算部２８２は省略され、図２Ｃでべき乗算部２７９，２８４が省略される。なおａ，ｂは０より大きい値であればよく、Ｓ（ω_c ）² とＤ₀ （ω_c ）又はＢ（ω_c ）² との何れを重視するか、かつその重視の程度により、ａ，ｂを決定する。これは入力信号の雑音混入状態などにより決定される。
【００１４】
占有度演算部２７では周波数差を中心周波数パワーＳ（ω_c ）² の重み付き加算したが、この重み付きを省略し、つまり図２Ａで乗算部２７３を省略して周波数差を加算してもよい。つまり単なる周波数差の加算でも対数パワースペクトルよりも調波構造が強調される。場合によってはパワーによる正規化も省略してもよい。つまり図２Ａで加算部２７５、割算部２７６を省略してもよい。
式（２）中の積分範囲、つまりω_c −Δω〜ω_c ＋Δωは固定としてもよいが、入力信号の基本周波数の概算値により適応的に変更することが望ましい。つまり図１中に破線で示すように、積分範囲決定部２８を設け、この積分範囲決定部２８で決定されたΔωが周波数差抽出部２５に入力され、演算する周波数差の周波数範囲ω_c −Δω〜ω_c ＋Δωが決定される。
つまり入力音声の基本周波数によって、積分範囲の最適値は変化するため、よりよい精度で基本周波数を求めるためには、より適切な積分範囲を選択することが望ましい。例えば、入力信号の音源である話者が男性か女性かが事前にわかっていることを想定して、それぞれに最適な固定の積分範囲、例えば男性の場合Δωを約８０Ｈｚ、女性の場合Δωを約１４０Ｈｚ程度とし、これを積分範囲決定部２８に設定する。また、別の方法では、式（２）を適用する前に、従来技術の項で説明した基本周波数抽出法、その他の方法など別の基本周波数抽出法を用いて積分範囲決定部２８で基本周波数の初期推定値Ｆ₀を求め、その初期推定基本周波数に応じて例えば基本周波数に対して２・Δωを約５０〜１００％程度、好ましくは２・Δω≒ Ｆ₀×０．７５として積分範囲を決定し、そのΔωが周波数差抽出部２５へ供給されるようにしてもよい。
【００１５】
占有度の抽出（方法）
次に前述した占有度抽出装置における処理手順、つまり占有度の抽出方法を以下に説明する。
図３に基本的手順の例を示す。入力信号の各周波数帯域ごとの瞬時周波数を瞬時周波数抽出過程（Ｓ１）で抽出する。この瞬時周波数抽出は先の装置説明で行ったように例えば入力信号を短時間フーリエ変換により周波数領域信号に変換し（Ｓａ）、この周波数領域信号を狭い周波数帯域の信号に帯域分割し（Ｓｂ）、この各帯域の信号の位相φ（ω_c ）をそれぞれ抽出し（Ｓｃ）、その各位相φ（ω_c ）を微分して瞬時周波数φ′（ω_c ）を求める（Ｓｄ）。
これら瞬時周波数φ′（ω_c ）について、その中心周波数ω_c を中心とした前後の帯域を含むω_c −Δω〜ω_c ＋Δωの範囲の各値から中心周波数をω_c を差し引いて周波数差を抽出する（Ｓ２）。
これら周波数差の各ω_c −Δω〜ω_c ＋Δωの成分の和を求め、この和を用いてそのω_c の占有度を演算する（Ｓ３）。
このステップＳ３の占有度演算における占有度Ｄ₀ （ω_c ）を求める場合の例を図４を参照して説明する。まず各帯域について周波数差のパワースペクトルの重み付き加算を行う（Ｓ１）。即ち各ω_c についてω_c −Δω〜ω_c ＋Δωの帯域における各周波数差を２乗し（Ｓ１ａ）、その２乗値にパワースペクトルＳ（ω_c ）² を乗算し（Ｓ１ｂ）、このパワースペクトルを乗算したものを、この帯域ω_c −Δω〜ω_c ＋Δωについて加算する（Ｓｃ）。
一方、各中心周波数ω_c について同一の帯域ω_c −Δω〜ω_c ＋Δωのパワースペクトルの和を求め（Ｓ２）、このパワースペクトルの和で、同一帯域の前記重み付き和を割算して正規化してＢ（ω_c ）² を求める（Ｓ３）。そのＢ（ω_c ）² の逆数を取り、その逆数に対数演算を行ってＤ₀ （ω_c ）を得る（Ｓ４）。図４Ａにおいて、ステップＳ１とＳ２は順を逆にしてもよい。
【００１６】
次に占有度Ｄ_p （ω_c ）を式（３）により求めた順を図５Ａを参照して説明する。図４Ａで求めた占有度Ｄ₀ （ω_c ）に重み定数ｂを乗算してｂＤ₀ （ω_c ）を求め（Ｓ１）、またω_c のパワースペクトルに対し重み定数ａをべき乗してＳ（ω_c ）^2aを求め（Ｓ２）、その対数ｌｏｇ（Ｓ（ω_c ）^2a）を演算し（Ｓ３）、これとｂＤ₀ （ω_c ）を加算して占有度Ｄ_p （ω_c ）とする（Ｓ４）。ステップＳ１〜Ｓ３の順は任意でよい。
更に式（４）による占有度Ｄ_p （ω_c ）を求める手順を図５Ｂを参照して説明する。図４Ａ中のステップＳ３で求めたＢ（ω_c ）² に対し重み定数ｂのべき乗を計算し（Ｓ１）、またω_c のパワースペクトルに対し重み定数ａのべき乗を計算し（Ｓ２）、これらべき乗算結果の比Ｓ（ω_c ）^2a／Ｂ（ω_c ）^2bを求め（Ｓ３）、この比の対数をとり占有度Ｄ_p （ω_c ）とする（Ｓ４）。ここでステップＳ１とＳ２は何れを先に行ってもよい。
【００１７】
図３乃至図５を参照して説明した占有度抽出方法について、先に説明した占有度抽出装置における変形は同様に行うことができ、また各種条件も同様である。例えば積分範囲Δωの適応的決定も同様にこの方法にも適用できる。図１中の瞬時周波数抽出部２１、図３中の瞬時周波数抽出ステップＳ１における瞬時周波数抽出の手法としてはこれらの図に示した手法に限らず、例えば「Ｌ．コーエン著、『時間−周波数解析』（吉川昭・佐藤俊輔訳）、第２章、朝倉書店（１９９８）」に示す手法、その他の手法を用いてもよい。
【００１８】
基本周波数抽出（装置）
次に上述したこの発明の占有度抽出装置を用いたこの発明の基本周波数抽出装置の実施例を説明する。
図６に示すように入力部１１からの入力信号は前述したこの発明による占有度抽出装置（以下では占有度抽出部と記す）３１は入力されて、各帯域の占有度Ｄ₀ （ω₁ ）〜Ｄ₀ （ω_n ）又はＤ_p （ω₁ ）〜Ｄ_p （ω_n ）が抽出される。これら占有度は周期性演算部３２に入力されて、周波数軸上での占有度の周期性が演算される。例えば各時刻、例えば３０〜５０ミリ秒ごとに得られる占有度スペクトルＤ₀（ω₁ ）〜Ｄ₀ （ω_n ）又はＤ_p （ω₁ ）〜Ｄ_p （ω_n ）に対し短時間フーリエ逆変換を行い、スペクトルピークの周期性Ｐ₀（Ｔ₁ ）〜Ｐ₀ （Ｔ_n ）が抽出される。この周期性は例えば図１６に横軸に時間（周期）Ｔを縦軸にレベルをとって示すようになる。
これら周期性Ｐ₀ （Ｔ₁ ）〜Ｐ₀（Ｔ_n ）は最大値抽出部３３に入力され、その最大値を与える周期Ｔ₀ が抽出され、その周期Ｔ₀ の逆数が逆数計算部３４で計算され、基本周波数Ｆ₀ ＝１／Ｔ₀ として出力される。
【００１９】
次にこの発明の基本周波数抽出装置の他の実施例を図７を参照して説明する。図６に示した場合と同様に、入力部１１からの入力信号は占有度抽出部３１で占有度（スペクトル）が抽出される。この実施例においてはこれら占有度スペクトルは調波構造占有度演算部３５に入力され、以下で定義される調波構造に関する占有度の和Ｄ_t0（ω₀ ）（もしくはＤ_tp（ω₀ ））を最大にするω₀ を求めることで基本周波数を求める。
Ｄ_t0（ω₀ ）＝Σ_q Ｄ₀ （ｒ（ｑ・ω₀ ）） （５）
Ｄ_tp（ω₀ ）＝Σ_q Ｄ_p （ｒ（ｑ・ω₀ ）） （６）
ここで、ω₀ は任意の周波数、ｑは高調波の次数、ｒ（・）はｑ・ω₀ で求まる周波数を、占有度抽出に用いられた帯域分割における帯域中心周波数ω_c の最も近い周波数に変換する関数である。ｑの次はいくらでも高い値としてもよいが、演算量を単に増加させることになる。この点からｑ・ω₀ の値が１５００Ｈｚ程度乃至は３０００Ｈｚ程度までとしても十分である。
【００２０】
調波構造占有度演算部３５で演算されたＤ_t0（ω₁ ）〜Ｄ_t0（ω_n ）又はＤ_tp（ω₁ ）〜Ｄ_tp（ω_n ）が最大値抽出部３６に入力され、これらの中の最大値が抽出され、その最大値を与えるＤ_t0（ω_c ）又はＤ_tp（ω_c ）と対応するω₀ が基本周波数Ｆ₀ として出力される。
調波構造占有度演算部３５は例えば図８に示すように乗算部３５１に順次ω₀ を設定してその各ω₀ についてｑ・ω₀ を計算する。男性のピッチ周期の平均を１２５Ｈｚとすると、９０Ｈｚ〜１００Ｈｚ程度から１乃至数Ｈｚずつ増加した周波数をω₀ として順次設定すればよい。乗算部３５１の乗算結果ｑ・ω₀ は対応中心周波数検出部３５２に入力されて、ω₁ 〜ω_n 中のｑ・ω₀ に最も近いω_c がω_cqとして求められ、占有度取出部３５３において各ω_cqに対する占有度Ｄ₀ （ω_cq）又はＤ_p （ω_cq）を取り出し、各ω₀ について取り出された各ｑの占有度が加算されてＤ_t0（ω₀ ）又はＤ_tp（ω₀ ）として出力される。
占有度Ｄ₀ （ω_c ）を利用する場合は次式を最大とするω₀ を求めることにより、式（５）を用いる場合より更に雑音に強い基本周波数抽出装置とすることができる。
Ｄ_t0（ω₀ ）＝Σ_q （Ｄ₀ （ｒ（ｑ・ω₀ ））−Ｄ_0AV ） （７）
ここでＤ_0AV は占有度Ｄ₀ （ω₁ ）〜Ｄ₀ （ω_n ）の平均値である。
この場合は図８中に破線で示すように平均値計算部３５５においてＤ₀ （ω₁ ）〜Ｄ₀ （ω_n ）の平均値Ｄ_0AV が計算され、加算部３５６でΣ_q （Ｄ₀ （ω_cq）−Ｄ_0AV ）が計算され、Ｄ_t0（ω₀ ）として出力される。
占有度Ｄ_p （ω_c ）を利用する場合は、Ｄ_p （ω₁ ）〜Ｄ_p （ω_n ）を時間系列とみなして高域通過フィルタ処理を行い、そのフィルタ処理したＤ_p （ω₁ ）〜Ｄ_p （ω_n ）を式（６）に用いることにより更に高い精度の基本周波数抽出装置とすることができる。つまり図８中に破線で示すようにフィルタ処理部３５７でＤ_p （ω₁ ）〜Ｄ_p （ω_n ）がこれらを時間系列とみなして高域通過フィルタ処理され、この系列の変化における細かい変化成分Ｄ′_p （ω₁ ）〜Ｄ′_p （ω_n ）が取り出され、検出された各ω_cqと対応するＤ′_p （ω_cq）が占有度取出部３５８で取り出され、これらが加算部３５９で加算され、Ｄ_tp（ω₀ ）＝Σ_q Ｄ′_p （ω_cq）として出力される。
【００２１】
所で図６に示した基本周波数抽出装置は雑音に強く、図７に示した基本周波数抽出装置は精度が高い性質がある。このような点から、図６に示すように、占有度スペクトルの周期性を演算し、その最大値の周期を抽出して、その逆数から基本周波数Ｆ₀ を求め、図６中に破線で示すように、その基本周波数Ｆ₀ が調波構造占有度利用基本周波数抽出部３８へ供給され、この抽出部３８では入力された基本周波数Ｆ₀ の近傍、例えばＦ₀ ±Ｆ₀ の１０％の各周波数をω₀ として、先に説明した、図７及び図８に示した調波構造占有度演算が行われ、式（５）又は（６）あるいは（７）若しくはΣ_q Ｄ′_p （ｒ（ｑ・ω₀ ））を最大にするω₀ が求められ、そのω₀ が正しい基本周波数Ｆ₀ として出力される。このようにすれば、雑音に強く、かつ精度が高い基本周波数抽出装置が構成される。
【００２２】
基本周波数抽出（方法）
次に先に説明したこの発明の基本周波数抽出装置の処理手順、つまりこの発明による基本周波数抽出方法の実施例を説明する。
図９は図６に示した装置と対応するものであり、まず、図３乃至図５に示したこの発明による占有度抽出方法により、入力信号からのその占有度（スペクトル）Ｄ₀ （ω_c ）又はＤ_p （ω_c）を抽出し（Ｓ１）、この占有度スペクトルの周波数軸上での占有度の周期性を演算する、例えば、各時刻ごとの占有度スペクトルに短時間フーリエ変換して周期性を求める（Ｓ２）。この占有度の周期性の最大値を与える周期（時間）Ｔ₀ を抽出し（Ｓ３）、その周期Ｔ₀ の逆数１／Ｔ₀ ＝Ｆ₀ を求めて基本周波数Ｆ₀ を得る（Ｓ４）。
【００２３】
次に図７に示した装置と対応する基本周波数抽出方法の実施例を図１０を参照して説明する。先の場合と同様に図３乃至図５に示したこの発明による占有度抽出方法により、入力信号からその占有度（スペクトル）Ｄ₀ （ω_c ）又はＤ_p （ω_c ）を抽出する（Ｓ１）。次にこの実施例ではその占有度に対して、複数のある周波数ω₀ について、その整数倍の周波数に関する占有度の和をそれぞれ求めて調波構造占有度Ｄ_t0（ω₀ ）又はＤ_tp（ω₀ ）を求める（Ｓ２）。
このステップＳ２は例えば各ω₀ をｑ倍（ｑ＝１，２，…）し（Ｓ２ａ）、その各ｑ・ω₀ と最も近いω_c 、つまり占有度を抽出する際に入力信号を狭い周波数帯域に分割した時の各帯域の中心周波数ω₁ ,…，ω_n 中のｑ・ω₀ に最も近いものを求める、そのω_c をω_cqと書く（Ｓ２ｂ）。求めた各ω_cqの占有度Ｄ₀ （ω_cq）又はＤ_p （ω_cq）を求め（Ｓ２ｃ）、更にその各ω₀ についてその求めたＤ₀ （ω_cq）又はＤ_p （ω_cq）の和Σ_q Ｄ₀ （ω_cq）又はΣ_q Ｄ_p （ω_cq）を求め、つまり調波構造占有度Ｄ_t0（ω₀ ）又はＤ_tp（ω₀ ）を得る（Ｓ２ｄ）。
このようにして求めた各ω₀ に対する調波構造占有度Ｄ_t0（ω₀ ）又はＤ_tp（ω₀ ）中の最大のものを抽出し、その抽出した最大のＤ_t0（ω₀ ）又はＤ_tp（ω₀ ）のω₀ を基本周波数Ｆ₀ とする（Ｓ３）。
【００２４】
この図１０に示す方法においては図８を参照して説明したと同様の変形例が考えられる。つまり図１０中に破線で示すように、ステップＳ２の次に又は予め、占有度Ｄ₀ （ω₁ ）〜Ｄ₀ （ω_n ）の平均値Ｄ_0AV を計算し（Ｓ４）、各ω₀ についてその求めたＤ₀ （ω_cq）と平均値Ｄ_0AV との差の和Σ_q （Ｄ₀ （ω_cq）−Ｄ_0AV ）をＤ_t0（ω₀ ）として求め（Ｓ５）、これよりステップＳ３に移り、これらＤ_t0（ω₀ ）中の最大値を与えるω₀ を求めてＦ₀ を得る。
あるいはステップＳ２ｂの次に又は予め占有度Ｄ_p （ω₁ ）〜Ｄ_p （ω_n ）を時系列として高域通過フィルタ処理を施し、ゆるやかに変化する成分を除く、細かい変化成分のみからなるＤ′_p （ω₁ ）〜Ｄ′_p （ω_n ）を求め（Ｓ６）、ステップＳ２ｃではＤ_p （ω_cq）の代りにＤ′_p （ω_cq）を各ｑについて求め、ステップＳ２ｄではＤ_tp＝Σ_q Ｄ′_p （ω_cq）を計算してステップＳ３に移る。
図６中に示したように、占有度の周期性を求め、その最大値を与える周期Ｔ₀ を求め、その逆数Ｆ₀ ＝１／Ｔ₀ を基本周波数として求め、図６中に破線で示すように更に調波構造占有度利用基本周波数抽出部３８によりＦ₀ の近傍の周波数をω₀ として、更に高い精度の基本周波数を求める構成とすることができる。基本周波数抽出方法においても図９に破線で示すように、ステップＳ４の次にステップＳ４で得られた基本周波数Ｆ₀ の近傍周波数、例えばＦ₀ ±Ｆ₀ ×０．１の帯域の各周波数をω₀ として図１０に示したステップＳ２以後の処理を行って、より精度が高い基本周波数を求める（Ｓ５）ようにしてもよい。このステップＳ５では図１０中に破線で示した各種変形も適用できる。
【００２５】
変形実施例
図１１にこの発明の基本周波数抽出装置の変形実施例を示す。図６及び図７に示した装置と違う点は、占有周期性演算部３２よりの占有度周期性Ｐ₀ （Ｔ₁ ）〜Ｐ₀ （Ｔ_n ）又は調波構造占有度演算部３５よりの占有度和Ｄ_t0（ω₁ ）〜Ｄ_t0（ω_n ）あるいはＤ_tp（ω₁ ）〜Ｄ_tp（ω_n ）は基本周期又は基本周波数平滑化部３７で時間的に連続するように平滑化され、その平滑化された占有度周期性又は占有度和が最大値抽出部３５又は３６へ供給され、異常値に基づく誤抽出を防止するようにすることもできる。
つまり各時刻において求められた基本周波数の抽出精度を、時間的な連続性を用いてさらに抽出精度を向上するものである。これは、図９に示した基本周波数抽出法の周期性、または、図１０に示した基本周波数抽出法の調波構造に関する占有度の和の時系列に対して、図９中のステップＳ２の次に破線で示すように、また図１０中のステップＳ２ｄの次に破線で示すように、平滑化処理ステップＳ７において、周波数ギャップの少ないピーク位置を時間軸に沿って追跡することで実現する。
【００２６】
このピーク追跡には、例えば、ダイナミックプログラミング（以下ＤＰと呼ぶ）などの既知のアルゴリズムを適用できる。また、基本周波数抽出は、様々な音声処理の前処理として想定されているため、ＤＰのようなバッチ処理ではなく逐次処理であることが望ましい場合もある。この場合は、ＤＰのアルゴリズムを改良した逐次ＤＰが適用できる。逐次ＤＰでは、各時刻において、すでに求められた現在時刻以前の周期性または占有度の和の時系列に対して、通常のＤＰを実行して現在の基本周波数を求める。この方法で、過去から現在にわたる周波数の連続性について考慮した現在時刻の基本周波数推定ができる。しかも、もともとＤＰは、実行途中において、現在時刻までの最適パスを更新する逐次アルゴリズムであるため、逐次ＤＰにしても通常のＤＰと比べて余分な計算は発生しない。
【００２７】
次に音源分離装置により分離した音源信号の基本周波数抽出装置の実施例を図１２に示す。信号入力部４１により２チャネル以上の音響信号が入力され、これら複数チャネルの入力信号は音源分離装置４２で音源と信号入力部との位置関係から目的音源信号が強調、もしくは目的音源信号以外の音響信号が抑圧されて目的音源信号が分離され、その分離された目的音源信号の基本周波数が、図６、図７、図１１の何れかに示した基本周波数抽出装置４３により抽出される。
【００２８】
図１３にダミーヘッドマイクロフォンを用いた音源分離装置４２の構成例を示す。各左右の耳の信号入力部４１_L及び４１_Rから入力された２チャネルの入力信号のそれぞれに対し、周波数解析部４２１_R，４２１_Lにおいて例えば短時間フーリエ変換が施され、この変換されたスペクトルにより、左右の各周波数ごとに信号の強度と位相がそれぞれ求められ、その各周波数ごとに左右の入力の強度差と位相差が強度差抽出部４２２、位相差抽出部４２３でそれぞれ求められる。目的音源の方向からくる音の強度差と位相差に関するダミーヘッドの特性を使うと、各周波数ごとに、目的方向からくる音の強度差と時間差の範囲が求められる。この性質を利用して、目的方向周波数帯域選択部４２４，４２５で各周波数で入力音がこの範囲に入っているかどうかを調べ、目的方向周波数帯域信号通過部４２６で目的方向以外の音の場合は、その周波数の入力信号を０と置き換える。その結果得られる左右の信号に、短時間フーリエ逆変換を施すことで、目的方向からくる音だけを分離することが出来る。この音源分離装置は例えばJ. Acoust. Soc. Jpn(E)20, 2(1999)147〜149頁を参照されたい。
【００２９】
こうして分離された音声信号は、いくつかの周波数帯域の音を０に置き換えられているため、大きなひずみを持った音信号である。しかしながら、雑音に比べて強度の強い占有的な周波数成分を目的音信号が持つときは、分離音信号にもそのままその成分は残されている。したがって、この発明による占有度を用いた基本周波数抽出法をそのまま適用することができ、音源分離装置の雑音抑制効果に加えて、分離ひずみの影響も受けにくい基本周波数抽出法を構成できる。
なお、複数マイクロホンによる音源分離法は、独立成分分析法、ヌルビームフォーマ法、ディレイサム法、ミント法など多数のものが知られている。どの方法を用いる場合も、分離音信号に対しこの発明による占有度を用いる方法で基本周波数を抽出することで、占有度が分離ひずみの影響を受けにくい評価尺度であるため高精度の分離装置を構成することが出来る。
【００３０】
適応的な積分範囲決定方法
図１９に、入力信号の概算基本周波数が得られていない場合に、適応的に積分範囲を決定し基本周波数を抽出する処理手順を示す。
まず、入力部から入力された入力信号を占有度に基づく基本周波数抽出部が受け取り、式（１）、（２）で求められる占有度を抽出する。この際、式（２）で必要な積分範囲については、入力音に含まれる音の基本周波数に共通に利用できる積分範囲（大人の話者の発声の場合、約260Hz幅）を利用する。このようにして求められた占有度に対し、次に、同基本周波数抽出部は調波構造占有度を求める。これは、例えば、図８において説明した方法に関連して以下の式を用いて計算される。
【数３】

ここでｌは高調波の次数、ｒ（・）はｌ・ω₀を最も近い周波数ｂｉｎの中心周波数ω_cに変換する関数、Ｅ（Ｄ₀（ω_c））はＤ₀（ω_c）の全周波数にわたる平均値である。同基本周波数抽出部はこうして求められた調波構造占有度に関して、以下の式に従って、最大値を与える基本周波数の初期設定値を抽出する（Ｓ１）。
【数４】

【００３１】
次に、こうして求められた初期基本周波数に対して最適な積分範囲を積分範囲決定部２８が決定する（Ｓ２）。最適な積分範囲は、ＳＴＦＴの各周波数ｂｉｎを中心として、基本周波数の初期推定値の60%〜100%程度の範囲である。
こうして求められた積分範囲を用いて、同じ入力信号に対して、占有度に基づく基本周波数抽出部は、基本周波数の初期設定と同じ方法で、占有度、調波構造占有度、および最大値を抽出し、より正確な基本周波数を抽出する（Ｓ３）。
なお、占有度の抽出は、基本周波数の初期設定値を求めるために式（２）を計算する過程において、積分を部分的に行った時点の計算途中結果を保存しておくことで、２回目には、式（２）の計算をしなくても１回目の途中結果を利用することができる。これにより計算コストを短縮することができる。
【００３２】
占有度の代わりにパワースペクトルを用いる基本周波数抽出法
図２０、２１に、包絡成分を取り除いた入力信号のパワーを用いる基本周波数抽出装置、処理手順を示す。
まず、前処理を用いて入力信号の周波数特性を基本周波数抽出に適したものに変形する。これには、例えば、時系列入力信号に対して高域通過フィルタを適用することで、低域の周波数を抑制して高域の周波数を強調する処理や、逆に低域通過フィルタを適用して高域を抑制する処理などがあげられる。周波数特性の変形を受けていない入力信号、または、その補正をする必要がない入力信号の場合は、この処理は省略することができる。（以上がＳ１の処理である。）
次に、パワー抽出部５１が、入力信号の周波数ω_c（ω_c1〜ω_cn）ごとにパワーＳ（ω_c）²を計算する。これには、例えば、ＳＴＦＴの各周波数ｂｉｎの出力の２乗をとることで計算することができる。
【００３３】
次に、包絡成分除去部５２がそのパワーの包絡成分を取り除く。これには、例えば次の方法を用いることができる。まず、各周波数のパワーＳ（ω_c）²を周波数軸に沿って並べたもの（周波数特性と呼ぶ）に対して、更に離散フーリエ変換を適用する。次に、この離散フーリエ変換の低い周波数に相当する信号を０と置き換えてから、離散逆フーリエ変換をかけて周波数特性に相当する信号にもどす。このとき、得られる信号は、一般に複素数になるため、この信号の実部を抽出したものが、包絡成分を除去したパワーとなる。
【００３４】
次にこうして求めた包絡を取り除いたパワーに対して、調波構造パワー抽出部５３が以下の式に基づいて調波構造パワーＳ_t0（ω₀）²を抽出する。
【数５】

ここで、ｌ（エル）は高調波の次数、ｒ（・）はｌ・ω₀を最も近い周波数ｂｉｎの中心周波数ω_cに変換する関数、Ｅ（Ｓ（ω_c））はＳ（ω_c）の全周波数にわたる平均値（平均値抽出部５４）である。
こうして求められた調波構造パワーの最大値を最大値抽出部５５が抽出し、以下の式に従って、最大値を与える基本周波数を抽出する。（以上がＳ２の処理である。）
【数６】

なお、図２２に示したように、包絡成分抽出部を省略すれば計算精度はやや落ちるが、その見返りとして計算コストを削減することができる。
【００３５】
精緻化した基本周波数抽出法
図２３に、概算で求められている基本周波数Ｆ'₀をより精緻化して求めるための機能構成を示す。
入力信号を受け取ると瞬時周波数抽出部６１は各周波数ごとに瞬時周波数を抽出する。得られた瞬時周波数から不動点抽出部６２は、以下の式を満たす不動点とその周波数φ’を抽出する。
【数７】

（ ここで、φ₁’＞ω_c1 、 φ₂’＜ω_c2 ）
ここで、ω_c1、ω_c2は、となりあった周波数ｂｉｎの中心周波数（ω_c1＜ω_c2）、φ₁’，φ₂’はそれぞれの瞬時周波数である。また、式（５）を計算する代わりにφ’＝ω_c1、または、φ’＝ω_c2とすることで、計算精度はやや落ちるが計算コストを少なくすることができる。
上記の計算と並行して、占有度抽出部６３が各周波数ｂｉｎの占有度を抽出する。概算基本周波数抽出部６４において、概算基本周波数を抽出する際に占有度がすでに計算されている場合には、この処理は必要ない。
【００３６】
最後に、精緻化基本周波数抽出部６５は、概算基本周波数Ｆ'₀の整数倍（＝ｉ）の周波数の近傍（±10%程度）に含まれる不動点φ’∈Φ’（ｉ・Ｆ'₀）（Φ’（Ｆ）は周波数Ｆの近傍にある不動点の集合を表す。）を抽出するとともに、不動点の瞬時周波数φ’を整数（＝ｉ）で割った値を基本周波数候補値として、その平均値を、各占有度Ｄ₀（ｒ（φ’））で重み付けして計算することで、精緻化した基本周波数を求める。これには、以下の式に従い計算する。
【数８】

ここで、ｃはすべての不動点の占有度を正の値にするためのバイアスで、εは任意の小さい正の値でよい。
この占有度を用いた基本周波数の精緻化法は、占有度の代わりに、パワ−抽出部５１で抽出したパワーもしくは包絡成分除去部６８において包絡成分を取り除いたパワーを用いることで、全く同様に構成することができる。図２４にその機能構成を示す。
【００３７】
上述した占有度抽出装置、基本周波数抽出装置はそれぞれ、コンピュータによりプログラムを実行させることにより、機能させることもできる。この場合は実施例に示した何れかの占有度抽出方法をコンピュータに実行させるため占有度抽出プログラム、あるいは基本周波数抽出方法をコンピュータに実行させるための基本周波数抽出プログラムを、ＣＤ−ＲＯＭ、可撓性磁気ディスクなどの記録媒体、又は通信回線を介してコンピュータ内にインストールして行えばよい。
【００３８】
【発明の効果】
図１５Ａ，１５Ｂに雑音のない場合と、０ｄＢの白色雑音を加えた場合の音声について、各周波数ｂiｎにおける占有度Ｄ₀ （ω_c ）を太い実線で示す。この太い実線の占有度によれば図１５Ａより、各高調波成分の中心付近の周波数においても鋭いピークがえられているのがわかる。また、図１５Ｂより、第３高調波までは鋭いピークがあるが、第４高調波以上のピークが抑制されており、白色雑音の影響が大きいことがわかる。これは、破線で示す対数パワースペクトルを目視で評価した結果とよく一致しており、占有度が雑音の影響を評価する適切な尺度であることを示している。
【００３９】
図１７Ａに、白色雑音下での、図１７Ｂに白色雑音と妨害音声下での目的音声の基本周波数抽出正解率（抽出した基本周波数が正解値から±５％に入っている割合）を示す。目的音声には男女各２名（計４名）が発話した３０種類の文（計１２０文）を用い、背景雑音には、白色雑音単独（雑音−１）と、白色雑音にさらに１名の妨害音声（男女各１名の計６０文）をくわえたもの（雑音−２）を用いた。雑音−２では、２つの雑音同士のパワーは同一とし、目的音声と片方の雑音とのパワー比をＳＮＲとして記している。この発明で適応的に積分範囲を決める方法（本発明１）、この発明で事前情報（入力信号が男性か女性か）を用いる方法（本発明２）、および、ケプストラム法（従来法）を、それぞれ破線、太実線、□付破線で示した。なお、目的音声の正解基本周波数は音声集音時に同時に収集したＥＧＧ（electro glottal graph）波形から求めた。また占有度としてＤ_p（ω_c ）を用いた。両図より、どの背景雑音下でも本発明２が最も安定して基本周波数が抽出できていることがわかる。また、本発明１も雑音の強度増加に応じた性能劣化が少なく、０ｄＢ付近で、本発明２についで正解率が高い。このことから、占有度を用いることで雑音に強い基本周波数抽出が行えているといえる。
【００４０】
図１８に、０ｄＢの白色雑音下で、ケプストラム法（従来法）および占有度としてＤ_p （ω_c ）を用いた本発明１で抽出した基本周波数の時系列を示す。図１８Ａは正解を、図１８Ｂは従来法を、図１８Ｃは本発明１をそれぞれ示す。正解値と比較して、ケプストラム法では非常に誤差が大きいのに比べ、本発明１では安定して正解に近い値が抽出されていることがわかる。
図２５に、背景雑音下における目的音声のＦ₀正解率（推定したＦ₀が正解値から±５%に入っている割合）を示す。目的音声には男女各２名（計４名）の30種類の文（計120文）を用い、背景雑音には白色雑音とマルチトーカ雑音を用いた。マルチトーカ雑音はカクテルパーティ環境を模擬する雑音で、上記120文からランダムに選んだ10個の発話を同時に重複して作成した。本発明のうち、占有度を用いて適応的に積分範囲を決定する基本周波数抽出法（調波構造占有度を最大化に式（１）を利用）と、占有度を用いて精緻化する方法とを組み合わせた基本周波数抽出法（proposedと表記）と、従来から知られているケプストラム法を比較した。正解Ｆ₀は音声収音時に同時に収集したＥＧＧ(electro glottal graph)信号から各Ｆ₀抽出法を用いて抽出し、雑音下の目的音声から抽出したＦ₀と比較した。図より本発明が従来法より各ＳＮＲ下で頑健にＦ₀抽出が行えている。
【００４１】
図２６に、proposedで占有度Ｄ₀（ω_c）の代わりに包絡成分を取り除いたパワーを用いる基本周波数抽出法を利用した場合の結果を示す。抽出処理の前に周波数特性の補正のために入力信号に高域通過フィルタ処理を施さない方法(PowerSpec-1)、施す方法(PowerSpec-2)、および正解Ｆ₀を求める場合のみ高域通過フィルタ処理を施す方法(PowerSpec-3)を比較した。結果は、PowerSpec-3が一番よい。これは、包絡成分を取り除いた信号のパワーを用いる方法では、正解Ｆ₀と目的音声のＦ₀抽出のために前処理を変えなければならない場合があることを示している一方で、適切に、前処理を選択した場合は、背景雑音に対して頑健であることを示している。
【図面の簡単な説明】
【図１】この発明による占有度抽出装置の実施例の機能構成を示す図。
【図２】図１中の占有度演算部の具体例の機能構成を示す図。
【図３】この発明による占有度抽出方法の実施例の手順を示す流れ図。
【図４】図３中のステップＳ３における占有度処理の具体的手順の例を示す流れ図。
【図５】図３中のステップＳ３における占有度演算処理の具体的手順の他の例を示す流れ図。
【図６】この発明による基本周波数抽出装置の実施例の機能構成を示す図。
【図７】この発明による基本周波数抽出装置の他の実施例の機能構成を示す図。
【図８】図７中の調波構造占有度演算部３５の各具体例の機能構成を示す図。
【図９】この発明による基本周波数抽出方法の実施例の手順を示す流れ図。
【図１０】この発明による基本周波数抽出方法の他の実施例の手順を示す流れ図。
【図１１】この発明による基本周波数抽出装置の実施例の一部変形の機能構成を示す図。
【図１２】音源分離装置を備えるこの発明の基本周波数抽出装置の実施例を示す図。
【図１３】図１２中の音源分離装置４２の具体例の機能構成を示す図。
【図１４】従来の基本周波数抽出装置の機能構成を示す図。
【図１５】有声音の瞬時周波数と対数パワースペクトルと占有度の例を示す図。
【図１６】占有度スペクトルの周期性の例を示す図。
【図１７】従来技術およびこの発明による各基本周波数抽出方法の正解率の実験結果を示す図。
【図１８】基本波抽出の実験結果を示し、Ａは正解、Ｂは従来法、Ｃはこの発明方法である。
【図１９】適応的な積分範囲決定方法、およびそれを利用した基本周波数抽出方法の手順を示す流れ図。
【図２０】包絡成分を取り除いた入力信号のパワーを用いる基本周波数抽出装置の機能構成を示す図。
【図２１】入力信号のパワー、もしくは包絡成分を取り除いたパワーを用いる基本周波数抽出方法と、周波数特性補正を組み合わせた基本周波数抽出方法の手順を示す流れ図。
【図２２】入力信号のパワーを用いる基本周波数抽出装置の機能構成を示す図。
【図２３】占有度を用いたより精緻化した基本周波数抽出装置の機能構成を示す図。
【図２４】入力信号のパワー、もしくは包絡成分を取り除いたパワーを用いた、より精緻化した基本周波数抽出装置の機能構成を示す図。
【図２５】占有度を用いて適応的に積分範囲を決定する基本周波数抽出方法と占有度を用いて精緻化する方法とを組み合わせた基本周波数抽出方法と従来のケプストラム法を比較する正解率の実験結果を示す図。
【図２６】包絡成分を取り除いたパワーを用いる基本周波数抽出方法の高域通過フィルタ処理を施さない方法(PowerSpec-1)、施す方法(PowerSpec-2)、正解を求める場合のみ高域通過フィルタを施す方法(PowerSpec-3)における正解率の実験結果を示す図。

Claims (32)

1. 入力された音声信号又は音楽信号（以下、入力信号という。）に対し各周波数帯域の中心周波数の瞬時周波数を抽出する瞬時周波数抽出部と、
   各周波数帯域の中心周波数の入力信号のパワーを抽出する信号パワー抽出部と、
   各周波数帯域の中心周波数ごとに、その中心周波数と、その中心周波数を中心として設定された入力信号に対し想定される基本周波数の５０〜１００％の周波数幅に含まれる上記各瞬時周波数との周波数の差を抽出する周波数差抽出部と、
   上記周波数差抽出部から出力された周波数の差の２乗を上記信号パワーで重み付き加算する重み付き加算部と、上記周波数幅に含まれる上記抽出された各中心周波数の入力信号パワーの和を求める加算部と、上記重み付き加算値を上記信号パワーの和により割算する割算部と、その割算結果の逆数の対数を占有度とする逆対数演算部とからなる占有度演算部と、
   を備える占有度抽出装置。
2. 上記占有度演算部は上記中心周波数の信号パワーのa乗の対数を演算する対数演算部と、その演算された対数信号パワーと上記占有度のｂ倍とを加算して占有度として出力する加算部とを備えることを特徴とする請求項１記載の占有度抽出装置。ここで、aとbは重み付け係数である。
3. 入力された音声信号又は音楽信号（以下、入力信号という。）に対し各周波数帯域の中心周波数の瞬時周波数を抽出する瞬時周波数抽出部と、
   各周波数帯域の中心周波数の入力信号のパワーを抽出する信号パワー抽出部と、
   各周波数帯域の中心周波数ごとに、その中心周波数と、その中心周波数を中心として設定された入力信号に対し想定される基本周波数の５０〜１００％の周波数幅に含まれる上記各瞬時周波数との周波数の差を抽出する周波数差抽出部と、
   上記周波数差抽出部から出力された周波数の差の２乗を上記信号パワーで重み付き加算する重み付き加算部と、上記周波数幅に含まれる上記抽出された各中心周波数の入力信号パワーの和を求める加算部と、上記重み付き加算値を上記信号パワーの和により割算する割算部と、その割算結果のb乗で上記中心周波数の信号パワーのa乗を割算する割算部と、その割算結果の対数を演算して占有度として出力する対数演算部とからなる占有度演算部と、
   を備える占有度抽出装置。ここで、aとbは重み付け係数である。
4. 上記入力信号に対し想定される基本周波数と同程度の周波数幅が入力され、その入力された周波数幅を、上記想定される周波数幅として設定する積分範囲決定部を備えることを特徴とする請求項１〜３記載の占有度抽出装置。
5. 請求項１〜４の何れかに記載の占有度抽出装置と、
   上記入力信号についての、各周波数帯域の中心周波数と瞬時周波数が一致する周波数である不動点を抽出する不動点抽出部と、
   上記入力信号についての基本周波数の概算値を計算する概算基本周波数抽出部と、
   上記入力信号についての概算基本周波数を更に精緻化する基本周波数精緻化部とを備え、
   前記基本周波数精緻化部では、概算基本周波数の整数倍の周波数近傍に存在する不動点を選択して、その周波数を整数で割って求められる基本周波数候補に対し、その基本周波数候補の不動点の中心周波数の、上記入力信号について求めた占有度又は上記概算基本周波数を抽出する直前に求まった占有度を重みとして平均をとることで、より精緻化した基本周波数を抽出することを特徴とする基本周波数抽出装置。
6. 請求項１〜４の何れかに記載の占有度抽出装置と、
   占有度抽出装置が抽出した占有度に対して、短時間フーリエ逆変換を行い、周波数軸上での占有度の周期性を演算して、その占有度の周期性を出力する周期性演算部と、
   上記占有度の周期性の最大値を与える周期を抽出してその逆数を基本周波数として出力する最大値抽出部と、
   を備える基本周波数抽出装置。
7. 請求項６に記載した基本周波数抽出装置で得られた基本周波数を仮の基本周波数とし、その仮の基本周波数を中心として予め定められた周波数幅の中に含まれる各周波数について、その周波数の整数倍の周波数に近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数の上記占有度の和を求める調波構造占有度演算部と、
   上記各周波数についての上記占有度の和の最大値を抽出し、上記各周波数のうち、この抽出した最大値を与える周波数を基本周波数として出力する第２最大値抽出部と、
   を備える請求項６記載の基本周波数抽出装置。
8. 請求項１〜４の何れかに記載の占有度抽出装置と、
   上記入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数についての、上記占有度抽出装置が抽出した占有度の和を求める調波構造占有度演算部と、
   上記各周波数についての上記占有度の和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数として出力する最大値抽出部と、
   を備える基本周波数抽出装置。
9. 請求項１記載の占有度抽出装置と、
   上記占有度抽出装置で求めたある時刻におけるすべての中心周波数の占有度の平均値を求める平均値演算部と、
   上記占有度の平均値を求めた入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数について、その中心周波数の上記占有度の平均値を求めた入力信号についての占有度から上記平均値を引いたものの和を求める調波構造占有度演算部と、
   上記基本周波数の各候補についての上記和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数として出力する最大値抽出部と、
   を備える基本周波数抽出装置。
10. 請求項２又は３記載の占有度抽出装置と、
    上記占有度抽出装置が抽出した上記各周波数帯域の中心周波数ごとの上記占有度の系列を、その周波数順に各占有度の大きさを持ったサンプルをならべた時系列とみなして、高域通過フィルタ処理を行うフィルタ部と、
    上記入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数についての、上記フィルタ部において上記高域通通過フィルタにより抑制された占有度の和を求める調波構造占有度演算部と、
    上記各周波数についての上記占有度の和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数として出力する最大値抽出部と、
    を備える基本周波数抽出装置。
11. 上記周期性演算部からの出力としての複数の占有度周期性を連続する時刻にわたって受け取り、その対応する占有度周期性をその前後の時刻で連続的に変化するように平滑化を行って、上記最大値抽出部へ出力する基本周期平滑部を有することを特徴とする請求項６記載の基本周波数抽出装置。
12. 上記調波構造占有度演算部からの出力としての基本周波数の各候補ごとの上記占有度の和を連続する時刻にわたって受け取り、その占有度の和をその前後の時刻で連続的に変化するように平滑化を行って、上記最大値抽出部へ出力する基本周波数平滑部を有することを特徴とする請求項７〜１０の何れかに記載の基本周波数抽出装置。
13. 音響信号を入力する２チャネル以上の信号入力部と、
    音源と信号入力部の位置関係から目的音源を強調、もしくは目的音源以外の音を抑制する音源分離装置と、
    上記分離した目的音源の基本周波数を抽出する請求項８〜１２の何れかに記載
    の基本周波数抽出装置と、
    を具備する基本周波数抽出装置。
14. 請求項１〜４の何れかに記載の占有度抽出装置は、上記中心周波数ごとの上記周波数差を設定された一定の周波数幅について求めて、占有度を求めるものであり、上記求めた占有度を用いて請求項６〜１３の何れかに記載の基本周波数抽出装置により基本周波数を初期推定値として求める基本周波数初期推定部と、
    占有度を求める際の上記中心周波数ごとの一定の周波数幅を上記基本周波数の初期推定値の６０％〜１００％と決定する第２積分範囲決定部と、
    上記決定された一定の周波数幅を用いて、上記入力信号に対し、請求項１〜３の何れかに記載の占有度抽出装置により第２の占有度を抽出し、これら第２の占有度を用い請求項６〜１３の何れかに記載の基本中心周波数抽出装置により基本周波数を抽出して出力する基本周波数抽出部と、
    を備える基本周波数抽出装置。
15. 瞬時周波数抽出手段が、入力された音声信号又は音楽信号（以下、入力信号という。）に対し各周波数帯域の中心周波数の瞬時周波数を抽出する瞬時周波数抽出過程と、
    信号パワー抽出手段が、各周波数帯域の中心周波数の入力信号のパワーを抽出する信号パワー抽出過程と、
    周波数差抽出手段が、各周波数帯域の中心周波数ごとに、その中心周波数と、その中心周波数を中心として設定された入力信号に対し想定される基本周波数の５０〜１００％の周波数幅に含まれる上記各瞬時周波数との周波数の差を抽出する周波数差抽出過程と、
    占有度演算手段が、上記周波数差抽出過程で抽出された周波数の差の２乗を上記信号パワーで重み付き加算する過程と、上記周波数幅に含まれる上記抽出された各中心周波数の入力信号パワーの和を求める過程と、上記重み付き加算値を上記信号パワーの和により割算する過程と、その割算結果の逆数の対数を占有度とする過程とからなる占有度演算過程と、
    を有する占有度抽出方法。
16. 上記占有度演算過程は、上記中心周波数の信号パワーのa乗の対数を演算する過程と、その演算された対数信号パワーと上記占有度のｂ倍とを加算して占有度とする過程とを有することを特徴とする請求項１５記載の占有度抽出方法。ここで、aとbは重み付け係数である。
17. 瞬時周波数抽出手段が、入力された音声信号又は音楽信号（以下、入力信号という。）に対し各周波数帯域の中心周波数の瞬時周波数を抽出する瞬時周波数抽出過程と、
    信号パワー抽出手段が、各周波数帯域の中心周波数の入力信号のパワーを抽出する信号パワー抽出過程と、
    周波数差抽出手段が、各周波数帯域の中心周波数ごとに、その中心周波数と、その中心周波数を中心として設定された入力信号に対し想定される基本周波数の５０〜１００％の周波数幅に含まれる上記各瞬時周波数との周波数の差を抽出する周波数差抽出過程と、
    占有度演算手段が、上記周波数差抽出過程から出力された周波数の差の２乗を上記信号パワーで重み付き加算する過程と、上記周波数幅に含まれる上記抽出された各中心周波数の入力信号パワーの和を求める過程と、上記重み付き加算値を上記信号パワーの和により割算する過程と、その割算結果のb乗で上記中心周波数の信号パワーのa乗を割算する過程と、その割算結果の対数を演算して占有度
    とする過程とからなる占有度演算過程と、
    を有する占有度抽出方法。ここで、aとbは重み付け係数である。
18. 上記入力信号に対し想定される基本周波数と同程度の周波数幅が入力され、その入力された周波数幅を、上記想定される周波数幅として設定する積分範囲決定過程を有することを特徴とする請求項１５〜１７記載の占有度抽出方法。
19. 請求項１５〜１８の何れかに記載の占有度抽出方法を有し、
    不動点抽出手段が、上記入力信号についての、各周波数帯域の中心周波数と瞬時周波数が一致する周波数である不動点を抽出する不動点抽出過程と、
    概算基本周波数抽出手段が、上記入力信号についての基本周波数の概算値を計算する概算基本周波数抽出過程と、
    基本周波数精緻化手段が、上記入力信号についての概算基本周波数を更に精緻化する基本周波数精緻化過程と、を有し、
    前記基本周波数精緻化過程では、概算基本周波数の整数倍の周波数近傍に存在する不動点を選択して、その周波数を整数で割って求められる基本周波数候補に対し、その基本周波数候補の不動点の中心周波数の、上記入力信号について求めた占有度又は上記概算基本周波数を抽出する直前に求まった占有度を重みとして平均をとることで、より精緻化した基本周波数を抽出することを特徴とする基本周波数抽出方法。
20. 請求項１５〜１８の何れかに記載の占有度抽出方法により占有度を求める過程と、
    周期性抽出手段が、これら占有度に対して、短時間フーリエ逆変換を行い、周波数軸上での占有度の周期性を演算して、その占有度の周期性を出力する過程と、
    最大値抽出手段が、これら演算された占有度の周期性の最大値を与える周期を抽出して、その逆数を基本周波数とする過程と、
    を有する基本周波数抽出方法。
21. 調波構造占有度演算手段が、請求項２０に記載した基本周波数抽出方法で得られた基本周波数を仮の基本周波数とし、その仮の基本周波数を中心として予め定められた周波数幅の中に含まれる各周波数について、その周波数の整数倍の周波数に近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数の上記占有度の和を求める調波構造占有度演算過程と、
    第２最大値抽出手段が、上記各周波数についての上記占有度の和の最大値を抽出し、上記各周波数のうち、この抽出した最大値を与える周波数を基本周波数とする第２最大値抽出過程と、
    を有することを特徴とする請求項２０記載の基本周波数抽出方法。
22. 請求項１５〜１８の何れかに記載の占有度抽出方法と、
    調波構造占有度演算手段が、上記入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数についての、上記占有度抽出方法で得られた占有度の和を求める調波構造占有度演算過程と、
    最大値抽出手段が、上記各周波数についての上記占有度の和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数とする最大値抽出過程と、
    を備える基本周波数抽出方法。
23. 請求項１５記載の占有度抽出方法により占有度を抽出する過程と、
    平均値計算手段が、上記占有度抽出装置で予め求めたある時刻におけるすべての中心周波数の占有度の平均値を求める過程と、
    調波構造占有度演算手段が、上記占有度の平均値を求めた入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数について、その中心周波数の上記占有度の平均値を求めた入力信号についての占有度から上記平均値を引いたものの和を求める調波構造占有度演算過程と、
    最大値抽出手段が、上記基本周波数の各候補についての上記和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数とする過程と、
    を有する基本周波数抽出方法。
24. 請求項１６又１７記載の占有度抽出方法により占有度を抽出する過程と、
    フィルタ処理手段が、上記占有度抽出過程から得られた上記各周波数帯域の中心周波数ごとの上記占有度の系列を、その周波数順に各占有度の大きさを持ったサンプルをならべた時系列とみなして、高域通過フィルタ処理を行う過程と、
    調波構造占有度演算手段が、上記入力信号に対し基本周波数が存在すると想定される周波数範囲が入力され、その周波数範囲の中の複数の各周波数を基本周波数の候補とし、基本周波数の各候補の整数倍の周波数と近い中心周波数をそれぞれ求め、上記各周波数ごとに上記求めた整数倍に近い各中心周波数についての、上記フィルタ部において上記高域通通過フィルタにより抑制された占有度の和を求める調波構造占有度演算過程と、
    最大値抽出手段が、上記各周波数についての上記占有度の和の最大値を抽出し、この抽出した最大値と対応する基本周波数の候補を基本周波数とする過程と、
    を有する基本周波数抽出方法。
25. 平滑化手段が、上記周期性演算過程から複数の占有度周期性を連続する時刻にわたって受け取り、その対応する占有度周期性をその前後の時刻で連続的に変化するように平滑化を行う過程を有することを特徴とする請求項２０記載の基本周波数抽出方法。
26. 平滑化手段が、上記調波構造占有度演算過程から基本周波数の各候補ごとの上記占有度の和を連続する時刻にわたって受け取り、その占有度の和をその前後の時刻で連続的に変化するように平滑化を行う過程を有することを特徴とする請求項２１〜２４の何れかに記載の基本周波数抽出方法。
27. 信号入力手段が、２チャネル以上の音響信号を音響分離手段に入力する過程と、
    音源分離手段が、音源と信号入力部の位置関係から目的音源を強調、もしくは目的音源以外の音を抑制する過程と、
    上記分離された目的音源の基本周波数を請求項２０〜２６の何れかに記載の方法により抽出する過程とを有する基本周波数抽出方法。
28. 請求項１５〜１８の何れかに記載の占有度抽出方法は、上記中心周波数ごとの上記周波数差を設定された一定の周波数幅について求めて、占有度を求めるものであり、
    積分範囲決定手段が、上記求めた占有度を用いて請求項２１〜２６の何れかに記載の基本周波数抽出方法により基本周波数を初期推定値として求める積分範囲決定過程と、
    第２積分範囲決定手段が、占有度を求める際の上記中心周波数ごとの一定の周波数幅を上記基本周波数の初期推定値の６０％〜１００％と決定する第２積分範囲決定過程と、
    上記決定された一定の周波数幅を用いて、上記入力信号に対し、請求項１５〜１７の何れかに記載の占有度抽出方法により第２の占有度を抽出し、これら第２の占有度を用い請求項２１〜２６の何れかに記載の基本中心周波数抽出方法により基本周波数を抽出する基本周波数抽出過程と、
    を有する基本周波数抽出方法。
29. 請求項１５〜１８の何れかに記載の占有度抽出方法の各過程をコンピュータに実行させるための占有度抽出プログラム。
30. 請求項１９〜２８の何れかに記載の基本周波数抽出方法の各過程をコンピュータに実行させるための基本周波数抽出プログラム。
31. 請求項２９記載の占有度抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。
32. 請求項３０記載の基本周波数抽出プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images