JP4977100B2 - 残響除去装置、残響除去方法、そのプログラムおよび記録媒体 - Google Patents

Description

本発明は、音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で収音して得られる信号（以下、「観測信号」という）から、残響成分を取り除いた音源信号を抽出する、残響除去装置、残響除去方法、そのプログラム及び記録媒体に関する。

音源信号は、残響のある環境で収音されると、本来の音源信号に残響が重畳された信号として観測される。そのため、本来の音源信号の性質を抽出することが困難になるとともに、音自体の明瞭度が低下する。残響除去処理は、観測信号に重畳した残響成分を取り除くことによって音源本来の性質を抽出しやすくするとともに、音の明瞭度を回復するために行われる。

図１０に非特許文献１にて開示されている従来の残響除去装置１００の機能構成例を示す。残響除去装置１００は、周波数分割処理部１１０、音源信号ＰＤＦ推定部１４０、ＡＲ係数推定部１５０、残響推定部１７０、残響除去部１８０及び周波数統合処理部１９０から構成される。残響除去装置１００は、音源１０から放音され入力部２０で収音された時間領域の観測信号を、あらかじめ全時系列について受け取ってから処理を行う。周波数分割処理部１１０は、受け取った時間領域の観測信号を周波数領域の観測信号（以下、「周波数領域観測信号」という）に変換する。音源信号ＰＤＦ推定部１４０は、周波数領域観測信号に基づき、音源信号の周波数領域での確率密度関数（確率密度関数を以下、「ＰＤＦ」という）を各周波数ごとに推定する。ＡＲ係数推定部１５０は、全時系列の周波数領域観測信号と音源信号ＰＤＦ推定部１４０にて推定した音源信号の周波数領域のＰＤＦとから、観測信号に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）を各周波数ごとに推定する。残響推定部１７０は、ＡＲ係数推定部１５０で推定したＡＲ係数を周波数領域観測信号に適用して残響の推定値（期待値）を求める。残響除去部１８０は、周波数領域観測信号から残響の推定値を減算して、周波数領域の音源信号を推定する。そして最後に、周波数統合処理部１９０が、推定した周波数領域の音源信号を時間領域の音源信号に変換し、残響除去処理を完了する。
Tomohiro Nakatani et al. "BLIND SPEECH DEREVERBERATION WITH MULTI-CHANNEL LINEAR PREDICTION BASED ON SHORT TIME FOURIER TRANSFORM REPRESENTATION ", IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP-2008), 2008, p.85-88

従来の残響除去装置は、残響除去処理に先立ち全時系列分の観測信号を受け取る必要があったため、信号の観測開始直後から逐次的に残響除去処理することができなかった。また、その対策として、観測信号を数秒程度の小さなブロックに分割して各ブロック毎に逐次的に残響除去処理を行う方法も考えられるが、従来の残響除去装置においては、ＡＲ係数を観測信号のみに基づき推定するため、観測信号長が短いとＡＲ係数の推定精度が悪くなり、残響除去後の信号品質が劣化するという問題があった。

本発明の目的は、信号の観測開始直後から効果的に残響除去処理を行うことが可能な残響除去装置、残響除去方法、そのプログラム及び記録媒体を提供することにある。

本発明の残響処理装置は、周波数分割処理部、ブロック分割部、音源信号事前ＰＤＦ推定部、ＡＲ係数事前ＰＤＦ記憶部、ＡＲ係数事後ＰＤＦ記憶部、ＡＲ係数事後ＰＤＦ推定部、残響事後ＰＤＦ推定部、残響除去部及び周波数統合処理部から構成される。

周波数分割処理部は、音源信号を残響のある部屋で逐次収音し、この収音した観測信号を周波数領域観測信号に変換する。ブロック分割部は、周波数領域観測信号を所定の時間間隔ごとのブロックに分割する。音源信号事前ＰＤＦ推定部は、ブロック単位で周波数領域観測信号を逐次受け取り、音源信号事前ＰＤＦを逐次推定する。ＡＲ係数事前ＰＤＦ記憶部は、ＡＲ係数事前ＰＤＦを記憶する。ＡＲ係数事後ＰＤＦ記憶部は、ＡＲ係数事後ＰＤＦを記憶する。ＡＲ係数事後ＰＤＦ推定部は、ブロック単位で周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する音源信号事前ＰＤＦを逐次受け取り、更にＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを読み出し、これらからＡＲ係数事後ＰＤＦを逐次推定して、ＡＲ係数事後ＰＤＦ記憶部に書き込む。残響事後ＰＤＦ推定部は、周波数領域観測信号を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、これらから残響事後ＰＤＦを逐次推定する。残響除去部は、残響事後ＰＤＦを用いて周波数領域観測信号から残響成分を除去することにより、周波数領域音源信号を逐次推定する。周波数統合処理部は、周波数領域音源信号を時間領域に変換する。

本発明の残響除去装置においては、ＡＲ係数の推定に際し観測信号に加え、予め用意したＡＲ係数の事前ＰＤＦを用いることで、信号の観測開始直後においてもＡＲ係数を精度良く推定し、効果的に残響除去処理を行うことができる。

また本発明では、観測信号から除去する残響について、従来技術のように単に期待値のみを求めるだけでなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、一般的な音響伝達関数をモデル化するためにＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。

〔第１実施形態〕
図１に本発明の残響処理装置２００の機能構成例を、図２にその処理フローを示す。残響処理装置２００は、周波数分割処理部１１０、ブロック分割部２２０、ＡＲ係数事前ＰＤＦ記憶部２３０、音源信号事前ＰＤＦ推定部２４０、ＡＲ係数事後ＰＤＦ推定部２５０、ＡＲ係数事後ＰＤＦ記憶部２６０、残響事後ＰＤＦ推定部２７０、残響除去部２８０及び周波数統合処理部１９０から構成される。

周波数分割処理部１１０と周波数統合処理部１９０は、背景技術にて説明した残響処理装置１００の同名の各構成部位と同様に、周波数分割処理部１１０は時間領域の入力信号を周波数領域に、周波数統合処理部１９０は周波数領域の入力信号を時間領域にそれぞれ変換して出力する。周波数分割処理部１１０には例えば、短時間分析窓と短時間フーリエ変換に基づく周波数分割処理や、サブバンド処理による周波数分割処理などの既存の手法を用いることができる。また、周波数統合処理部１９０には例えば、短時間逆フーリエ変換とオーバラップ加算処理に基づく周波数統合処理や、サブバンド処理による周波数統合処理などの既存の手法を用いることができる。なお、これら以外にもウェーブレット変換や離散コサイン変換など、様々な周波数分割に基づく信号分析合成処理系を用いてもよい。

以下の各実施形態の説明においては、１個の音源１０からの音源信号ｓ_tをＭ個の入力部２０で収音する際に、ｍ番目の入力部の観測信号の残響除去を行う場合を例にとって説明する。また、分割統合処理には短時間フーリエ変換を用いることとし、ｔを短時間フーリエ変換のフレームのインデックス、ｘ_t ^(m)をｍ番目の入力部におけるフレームｔの時間領域の観測信号とする。

周波数分割処理部１１０は、時間領域の観測信号ｘ_t ^(m)が入力されると、所定の周波数ビンの数（例えばＫ個）分の周波数領域の観測信号ｘ_t,k ^(m)（ｋはｋ番目の周波数ビン）に分割・変換して出力する（Ｓ１）。

ブロック分割部２２０は、周波数領域観測信号ｘ_t,k ^(m)を所定のフレーム個数（例えばＮ_Ｂ個）単位でブロック化する（Ｓ２）。τ番目のブロック（τ＝０、１、・・・）が含むフレームｔの集合を以下のようにＢ_τと表現する。なお、ｔ₀は観測開始時刻である。

また、τ番目のブロックの時点で、周波数ビンｋについて、利用可能な観測信号ｘ_t,k ^(m)の全体を以下のようにξ_τ,kと表現する。

ＡＲ係数事前ＰＤＦ記憶部２３０には、ＡＲ係数事前ＰＤＦを予め記憶しておく。本発明では、音源１０から入力部２０までの室内伝達関数を、例えば音源の位置や室温に依存して変動する確率変数とみなす。更に、ＡＲ係数を伝達関数の変動に応じて変動する要因や後述する式(4)によるモデル化誤差による要因などに基づく確率変数とみなす。

周波数領域観測信号 ｘ_t,k ^(m)は、周波数ごとの長時間自己回帰（ＡＲ）過程として以下のようにモデル化することができる。

ここで、ｄはフレームｔの観測信号 ｘ_t,k ^(m)を予測するのに用いる過去の信号系列の遅延の量であり、ｓ_t,kは周波数領域の音源信号であり、ｒ_t,k = vc_k ^H・vx_t-d,kとおいたとき、ｒ_t,kは周波数領域観測信号 ｘ_t,k ^(m)に含まれる周波数領域の残響成分を表す。vc_kとvx_t-d,kは、周波数領域観測信号 ｘ_t,k ^(m)がＴ次のＡＲ過程に従うとの仮定の下、vc_kはＴ次のＡＲ係数ｃ_t,k ^(m)を含むベクトルとして、vx_t-d,kはフレームｔからｄフレーム以上過去の周波数領域観測信号の系列を含むベクトルとして、それぞれ以下のように定義されているものとする。

以上のように定義されたvc_kについて、ＡＲ係数事前ＰＤＦ p(vc_k)を次のように定義する。

ここで、Ｎ（ａ；μ，Σ)は、ベクトルａ又はスカラーａに対する、期待値μ、共分散行列Σの多変量ガウス過程のＰＤＦを表す。

室内インパルス応答の位相は、話者と入力部の位置に応じて大きく変動するため、一般的な音響伝達関数をモデル化すべく、ＡＲ係数事前ＰＤＦの期待値μ_kはゼロとおくことがひとつの有効な方法である。また、共分散行列Σ_kは、Ｅを期待値の演算子として、

と定義することができる。なお、Ｈは行列、ベクトル又はスカラーの複素転置を表す。

いま、期待値μ_k＝０とすると、以下のように共分散行列Σ_kが対角行列であると仮定することで、話者と入力部の位置の変動に対する残響除去処理の頑健性を更に向上することができる。

式(6)〜(8)からわかるように、この場合のＰＤＦはＡＲ係数のパワー時間包絡のみにより特徴づけられているといえる。我々の予備実験において、ＡＲ係数のパワー時間包絡は入力部や話者の位置の違いに敏感ではないことが確認されていることから、このＰＤＦは、ひとつの部屋のＡＲ係数の一般的な事前ＰＤＦとして用いることができると考える。

様々な方法で、共分散行列Σ_kは事前に求めることができる。例えば、ひとつの部屋の室内インパルス応答を異なる設定でいくつか測定して各設定に対応するＡＲ係数を求めた上で、式(6)〜(8)に従って求めることができる。また、ある程度の長さの観測信号を集めて、ＡＲ係数を非特許文献１に示されるような既存の残響除去アルゴリズムにより計算した上で、式(6)〜(8)に従って求めることもできる。

一方、音源や入力部の位置がある程度限定されているような環境であれば、期待値をゼロとせずに実際に計測した期待値を用いることで、より精度の高い残響除去が実現できる。この場合の期待値と共分散行列は、例えば想定される音源と入力部の位置に近いいくつかの設定で室内インパルス応答を測定して各インパルス応答に対応するＡＲ係数を求め、それらの期待値と共分散行列として求めることができる。また、ある程度の長さの観測信号を集めて、後述する方法でＡＲ係数事後ＰＤＦ p(vc_k|ξ_τ,k)を求め、その期待値evc_kと共分散行列Ｃ_kをＡＲ係数事前ＰＤＦの期待値と共分散行列として定めることができる。具体的には、後述する式(18)及び(19)においてη＝０として求めたevc_kとＣ_kを新たにＡＲ係数事前ＰＤＦの期待値μ_k、共分散行列Σ_kとして以下のように定めることができる。

ここで、Ｌ_xはＡＲ係数事前ＰＤＦを定めるために用いた観測信号の長さ（秒）を表し、共分散行列を観測信号長で正規化するために用いている。

音源信号ＰＤＦ事前推定部２４０は、音源信号の事前ＰＤＦ p(vs_t)を推定する（Ｓ３）。本発明では、時変多変量複素ガウス過程を音源信号の事前ＰＤＦとして採用する。その有効性は非特許文献１に示された既存の残響除去方法において確認されている。

音源信号の事前ＰＤＦ p(vs_t)を以下のように定義する。

vs_tはフレームｔにおける、音源信号の全周波数ビンを含むベクトルを表す。なお、簡略化のため本発明ではΣ_tを以下のような対角行列と仮定する。

式(12)及び(13)からわかるように、この場合のＰＤＦは音源信号のパワースペクトルのみにより特徴づけられていると言える。このとき、p(vs_t)は各周波数ビンごとのＰＤＦの要素の積に分解することができ、以下のように書くこともできる。

もっとも、音源信号のパワースペクトルは事前に与えられないため、何らかの方法で近似する必要がある。そこで、本発明では式(13)において観測信号のパワースペクトル |ｘ_t,k ^(m)|²を音源信号のパワースペクトル |ｓ_t,k|²の近似として用いる。このアプローチについても、既存の残響除去方法において有効性が確認されている。

ＡＲ係数事後ＰＤＦ推定部２５０は、ＡＲ係数事前ＰＤＦ記憶部２３０に記憶されたＡＲ係数事前ＰＤＦ p(vc_k)と、音源信号事前ＰＤＦ推定部２４０で推定された音源信号事前ＰＤＦ p(vs_t)とから、ＡＲ係数事後ＰＤＦ p(vc_k|ξ_τ,k)を推定し、ＡＲ係数事後ＰＤＦ記憶部２６０に書き込む（Ｓ４）。

ＡＲ係数事後ＰＤＦ p(vc_k|ξ_τ,k)は、ベイズ規則を用いて以下のように表すことができる。

また、式(15)中のp(ξ_τ,k|vc_k)は、式(4)を用いて式(16)のように書き換えることができる。

ここで、p(ｓ_t,k)は式(14)で定義される音源信号事前ＰＤＦ p(vs_t)の要素である。そのため、ＡＲ係数事後ＰＤＦ推定部２５０は、式(15)に基づく推定に際し、p(ｓ_t,k)を音源信号事前ＰＤＦ推定部２４０から逐次受け取る。

式(15)は、式(5)、(11)及び(16)に基づき、式(17)〜(21)により表わされる多変量複素ガウスＰＤＦになるため、ＡＲ係数事後ＰＤＦ推定部２５０は、これらの式からＡＲ係数事後ＰＤＦ p(vc_k|ξ_τ,k)を推定することができる。

ここで、式(18)及び(19)のηは、ＡＲ係数事前ＰＤＦから得られる情報と観測信号から得られる情報とがＡＲ係数事後ＰＤＦ推定に与える影響を制御する制御パラメータで、η≧０である。例えばηに大きな値を設定するほど、ＡＲ係数事前ＰＤＦがＡＲ係数事後ＰＤＦ推定に与える影響は大きくなる。
なお、式(20)のvd_τ,kと式(21)のＤ_τ,kは、それぞれ以下の更新式を用いてブロックごとに逐次的に推定することもできる。

また、上記の更新式は以下のように忘却係数ζ（０＜ζ≦１）を導入することで、比較的近い過去の観測信号の値を重視したＡＲ係数事後ＰＤＦを推定することもできる。

残響事後ＰＤＦ推定部２７０は、周波数領域観測信号ｘ_t,k ^(m)を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦ p(vc_k|ξ_τ,k)を読み出し、これらから残響事後ＰＤＦ p(r_t,k|ξ_τ,k)を推定する（Ｓ５）。
周波数領域観測信号ｘ_t,k ^(m)に含まれる残響成分ｒ_t,kは式(4)のところで説明した通り、ｒ_t,k = vc_k ^H・vx_t-d,kと表現されることから、p(vc_k|ξ_τ,k)が式(17)〜(21)のように与えられると、残響事後ＰＤＦ p(r_t,k|ξ_τ,k)は、以下のように推定することができる。

ただし、上式の導出において、vc_kの各要素はξ_τ,kが与えられた下で相互に無相関と仮定している。

なお、観測信号を受け取り始めた直後で非常に短い観測信号しか得られない場合には、式(20)のvd_τ,kと式(21)のＤ_τ,kは実質的にゼロとなるため、式(29)と(30)はそれぞれ以下のように簡略化できる。

更に、一般的な音響伝達関数をモデル化すべく、ＡＲ係数事前ＰＤＦの期待値μ_kをゼロとし、共分散行列Σ_kを対角行列とした場合は、より簡略化され以下のようになる。

ここで、Ｒ_t,kは、ＡＲ係数と過去の観測信号とのパワースペクトル領域での畳み込みとして計算される。従って、後述する残響除去部２８０において、式(35)〜(37)に従い観測信号からＲ_t,kをパワースペクトル領域で単純に減算することで残響を除去することができる。すなわち、本発明では観測信号から除去する残響について、従来技術のように単に期待値を求めるだけでなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、ＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに、残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。

残響除去部２８０は、残響事後ＰＤＦを用いて周波数領域観測信号ｘ_t,k ^(m)から残響成分を除去することにより、周波数領域音源信号gs_t,kを推定する（Ｓ６）。式(28)より残響のパワーは、観測信号ξ_τ,kが与えられた条件下での|ｒ_t,k|²の条件付期待値Ｅ{|ｒ_t,k|²|ξ_τ,k}として、以下のように求めることができる。

そして式(4)より、観測信号ｘ_t,k ^(m)は、音源信号ｓ_t,kに残響ｒ_t,k = vc_k ^H・vx_t-d,kを加算したものであることから、残響のパワーが式(35)により求められると、周波数領域音源信号の推定値gs_t,kは、観測信号から残響をパワー領域で減算するスペクトル減算技術を用いて、例えば以下のように求めることができる。

ここでα、βは、スペクトル減算において過剰にパワーを減算することが原因でしばしば生じるミュージカル雑音を低減するための制御パラメータで、例えば０≦α≦０．２および０．３≦β≦１．０の範囲の値をとるように設定する。

上記の計算方法以外にもＧ_t,kは、例えば以下のように計算することができる。
音源信号事後ＰＤＦ p(s_t,k|ξ_τ,k)は、ＡＲ係数事後ＰＤＦp(vc_k|ξ_τ,k)を用いて、以下のように求めてもよい。

この音源信号事後ＰＤＦを用いると音源信号のパワーを、観測信号ξ_τ,kが与えられた下での|ｓ_t,k|²の条件付期待値Ｅ{|s_t,k|²|ξ_τ,k}として、以下のように求めることができる。

これを用いて、Ｇ_t,kは以下のように計算することができる。

最後に、周波数統合処理部１９０は、周波数領域音源信号の推定値gs_t,kを時間領域の信号gs_tに変換し、出力部３０に送出する（Ｓ７）。

以上に示した第１実施形態の処理フローの例を、図２に従い改めて説明する。
事前に、ＡＲ係数事前ＰＤＦ記憶部２３０に、上述した方法により予め用意した、すべての周波数ビンについてのＡＲ係数事前ＰＤＦの期待値μ_k、共分散行列Σ_kを記憶させておく。また、ＡＲ係数事後ＰＤＦ記憶部２６０に、ＡＲ係数事後ＰＤＦの期待値及び共分散行列の初期値をそれぞれevc_k＝μ_k、Ｃ_k＝Σ_kとして記憶させておく。

音源１０からの音源信号ｓ_tを、ｍ個目の入力部２０で逐次収音した時間領域の観測信号ｘ_t ^(m)を周波数分割処理部１１０において短時間フレームに分割しつつ、短時間フーリエ変換を適用して周波数領域の観測信号ｘ_t,k ^(m)に分割・変換する（Ｓ１）。続いて、ブロック分割部２２０が観測信号のフレーム列を逐次的にフレームブロックに分割する（Ｓ２）。続いて、逐次的に各ブロックに対して、音源信号事前ＰＤＦ推定部２４０が、式(13)のσ_t,k ²について観測信号に基づきσ_t,k ²＝|ｘ_t,k ^(m)|²であるとして音源信号事前ＰＤＦを逐次推定し（Ｓ３）、ＡＲ係数事後ＰＤＦ推定部２５０が式(17)〜(25)に従いＡＲ係数事後ＰＤＦを逐次推定し、これをＡＲ係数事後ＰＤＦ記憶部２６０に書き込んでＡＲ係数事後ＰＤＦを更新する（Ｓ４）。続いて、逐次的に残響事後ＰＤＦ推定部２７０が観測信号のフレーム列を受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦを読み出し、式(28)〜(30)に従い残響事後ＰＤＦを逐次推定し（Ｓ５）、残響除去部２８０が逐次的に受け取った観測信号のフレーム列と残響事後ＰＤＦとから式(35)〜(37)に従い周波数領域音源信号を逐次推定し（Ｓ６）、最後に周波数統合処理部１９０が逆フーリエ変換とオーバラップ加算により時間領域の信号に変換して、出力部３０に送出する（Ｓ７）。

なお、ＡＲ係数事後ＰＤＦは、信号が伝搬する部屋の残響状態を表すパラメータであり、式(17)〜(21)からわかるように個別のフレーム毎ではなくフレーム累積的に推定・更新され、残響除去処理はその処理の時点で最新のＡＲ係数事後ＰＤＦを用いて行う。従って、（Ｓ２）〜（Ｓ４)のＡＲ係数事後ＰＤＦを推定する処理と（Ｓ５）〜（Ｓ６)の個別のフレームに対する残響除去処理とは、必ずしも同期をとる必要はなく、並列・非同期的に処理しても構わない。

第１実施形態の残響除去装置２００においては、観測信号を所定の時間間隔ごとのブロックに分割して逐次残響除去処理を行うとともに、ＡＲ係数の推定に際し観測信号に加え、予め用意したＡＲ係数の事前ＰＤＦを用いることで、観測開始直後からＡＲ係数を精度良く推定し、効果的に残響除去処理を行うことができる。

また、本発明ではＡＲ係数事前ＰＤＦと観測信号とからＡＲ係数事後ＰＤＦを求め、更にこのＡＲ係数事後ＰＤＦと観測信号とから残響の事後ＰＤＦを求め、この残響の事後ＰＤＦを用いて残響除去を実現する。すなわち、本発明では観測信号から除去する残響について、従来技術のように単に期待値を求めるだけではなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、一般的な音響伝達関数をモデル化するためにＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに、残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。

〔第２実施形態〕
第１実施形態においては、音源信号の事前ＰＤＦとして観測信号のみから求めた事前ＰＤＦを用いた。しかし、第１実施形態の処理の中で得られたＡＲ係数事後ＰＤＦを用いると、式(38)〜(40)に示したように音源信号の事後ＰＤＦを求めることができる。そして、この事後ＰＤＦを用いて再度事前ＰＤＦを求めることで、観測信号のみから求めた事前ＰＤＦと比較して、より精度の高い推定をすることができると考えられる。そこで第２実施形態においては、音源信号の事前ＰＤＦとして、観測信号とＡＲ係数事後ＰＤＦとから求めた事後ＰＤＦを用いる。

第２実施形態の処理フローの例を図３に従い説明する。なお、機能構成については、ＡＲ係数事後ＰＤＦ推定部２５０から音源信号ＰＤＦ推定部２４０に向けた矢印（点線で表記）が加わるという点以外、第１実施形態と同様である。

まず、Ｓ１、Ｓ２については第１実施形態と同様の処理を行う。続いて、逐次的に各ブロックに対して、音源信号事前ＰＤＦ推定部２４０が、式(13)のσ_t,k ²について観測信号に基づきσ_t,k ²＝|ｘ_t,k ^(m)|²であるとして音源信号事前ＰＤＦを推定し（Ｓ３´−１）、続いてＡＲ係数事後ＰＤＦ推定部２５０は式(17)〜(25)に基づきＡＲ係数事後ＰＤＦを推定する（Ｓ４´−１）。続いて、音源信号事前ＰＤＦ推定部２４０が観測信号とＡＲ係数事後ＰＤＦとから式(38)〜(40)に基づき音源信号事後ＰＤＦを求め、式(13)のσ_t,k ²についてσ_t,k ²＝|es_t,k|²＋Ｓ_t,kであるとして音源信号事前ＰＤＦを推定する（Ｓ３´−２）。続いて、ＡＲ係数事後ＰＤＦ推定部２５０は再度Ｓ４´−１を実行し、以降Ｓ３´−２とＳ４´−１とを繰り返す。そして、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点で、ＡＲ係数事後ＰＤＦをＡＲ係数事後ＰＤＦ記憶部に書き込む（Ｓ４´−２）。Ｓ５〜７については第１実施形態と同様である。

〔第３実施形態〕
第３実施形態は、残響除去部２８０における計算方法が第１実施形態の式(36)及び(37)と異なる形態であり、残響除去部２８０の入出力内容、及び全体の機能構成・処理フローは第１実施形態と共通である。

残響r_t,kは、残響事後ＰＤＦの期待値er_t,kと期待値からの偏差ｅ_t,kとに以下のように分解することができる。

このとき、観測信号ξ_τ,kが与えられた下でのｅ_t,kの条件付分散は以下のように表現することができる。

次に、wx_t,k＝ｘ_t,k ^(m)−er_t,kとおくと、式(13)は以下のように書き換えることができる。

式(45)においてｅ_t,kはｓ_t,kに対して平均ゼロ、共分散行列E{|e_t,k|²|ξ_τ,k}の加法性雑音として振る舞う。従って、ｅ_t,kの推定パワー（＝Ｒ_t,k)をwx_t,kのパワーから式(45)に従いスペクトル減算等を用いて減算することで周波数領域音源信号の推定値gs_t,kを求めることができる。このスペクトル減算処理は例えば、以下のように実現することができる。

gs_t,kをこのように計算することで、推定された残響成分のうち期待値er_t,kは複素スペクトル領域でwx_t,k＝ｘ_t,k ^(m)−er_t,kのように減算し、共分散はパワースペクトル領域で式(46)、(47)のように減算することになる。一般に、複素スペクトル領域では、信号のパワーだけでなく位相も含めた推定になるのに対し、パワースペクトル領域では信号のパワーのみの推定となる。従って、上記の計算により本実施形態では、期待値に関しては音源信号の位相までをも推定する処理となるため、第１実施形態と比較した場合に、より正確な音源信号を推定できる可能性があると期待される。

〔第４実施形態〕
図４に本発明の残響処理装置３００の機能構成例を、図５にその処理フローを示す。残響処理装置３００は、周波数分割処理部１１０、ブロック分割部２２０、ＡＲ係数事前ＰＤＦ記憶部２３０、音源信号事前ＰＤＦ推定部２４０、ＡＲ係数事後ＰＤＦ推定部２５０、ＡＲ係数事後ＰＤＦ記憶部２６０、残響除去部３８０及び周波数統合処理部１９０から構成される。残響除去部３８０以外の各構成部の機能は第１実施形態と同様であるため、それらの機能の説明は省略する。

第４実施形態は、図２に示す第１実施形態の処理フローのＳ１〜Ｓ４までを実行してＡＲ係数事後ＰＤＦを推定するまでの処理は第１実施形態と同様であるが、周波数領域音源信号の推定方法が異なる。具体的には、ＡＲ係数事後ＰＤＦを用いて式(38)〜(40)により求めた音源信号事後ＰＤＦの期待値をそのまま周波数領域音源信号の推定値とする。そのため残響処理部３８０は、周波数領域観測信号ｘ_t,k ^(m)を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦを逐次読み出し、式(38)〜(40)により音源信号事後ＰＤＦを求めて、

として周波数領域音源信号の推定値を得る（Ｓ８）。なお、Ｓ７については第１実施形態と同様である。

第４実施形態の構成では、残響の事後ＰＤＦを用いないため、観測開始直後で非常に短い観測信号しか得られない場合において、一般的な音響伝達関数をモデル化すべくＡＲ係数事前ＰＤＦの期待値をゼロと設定している場合には残響除去効果が得られない（ＡＲ係数事後ＰＤＦの期待値evc_kがゼロになり、式(39)においてes_t,k＝ｘ_t,k ^(m)となるため）が、それ以外の場合には上記の各実施形態より簡易な構成で観測開始直後から効果的に残響を除去することができる。

〔第５実施形態〕
図６に本発明の残響処理装置４００の機能構成例を、図７にその処理フローを示す。残響処理装置４００は、周波数分割処理部１１０、ＡＲ係数事前ＰＤＦ記憶部２３０、残響事後ＰＤＦ推定部４７０、残響除去部２８０及び周波数統合処理部１９０から構成される。残響事後ＰＤＦ推定部４７０以外の各構成部の機能は第１実施形態と同様であるため、それらの機能の説明は省略する。

残響の事後ＰＤＦ p(ｒ_t,k|ξ_τ,k)の期待値er_t,kと共分散行列Ｒ_t,kとを推定するのにあたり、式(31)と(32)、又は、式(33)と(34)のみを用いることとした場合には、図１に示す第１実施形態の機能構成のうちＡＲ係数事後ＰＤＦの推定に係る部分は不要になる。第５実施形態はこのような場合の実施形態であり、ＡＲ係数事後ＰＤＦの推定値を用いないため、観測開始直後以外ではＡＲ係数事後ＰＤＦの推定値を用いる場合より残響除去の精度が低下するが、より簡易な機能構成で、かつ、より少ない計算量で残響除去を実現したい場合に有効である。

処理フローは、Ｓ１については図１に示す第１実施形態の処理フローと同様である。続いて、残響事後ＰＤＦ推定部４７０が逐次的に、周波数分割処理部１１０から周波数領域観測信号ｘ_t,k ^(m)を受け取るとともに、ＡＲ係数事前ＰＤＦ記憶部２３０からＡＲ係数事前ＰＤＦを読み出し、式(31)と(32)、又は、式(33)と(34)により残響事後ＰＤＦを推定する（Ｓ９）。続くＳ６、Ｓ７については第１実施形態と同様である。

上記の各実施形態の残響除去装置の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、上述した実施形態とは別の実行形態として、コンピュータが可搬型記録媒体から直接このプログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

〔効果の確認〕
本発明の第２実施形態の残響除去方法（以下、「Ｐｒｏｐ」という）の効果を、非特許文献１の残響除去方法（以下、「Ｂａｓｅｌｉｎｅ」という）との比較で確認した。ただし、Ｂａｓｅｌｉｎｅではバッチ処理により、ＡＲ係数を全観測信号が得られた後で全観測信号を用いて推定し、得られたＡＲ係数を用いて観測信号全体の残響除去を実行した（つまり、観測開始直後における観測信号不足による問題は生じない）。これに対しＰｒｏｐでは、ＡＲ係数の事後ＰＤＦを各ブロックごとに更新し、そのブロックの残響除去はこの事後ＰＤＦに基づき実行した。また、ＡＲ係数に関する事前知識が残響除去に与える効果を検証するために、Ｐｒｏｐを更に２つの異なる条件で動作させた。１つは、ＰｒｏｐをＡＲ係数事前ＰＤＦによる事前知識無しで、すなわち式(18)及び(19)でη＝０とおいて動作させた（この条件でのＰｒｏｐの動作を以下、「Ｐｏｓｔｅｒｉｏｒ」という）。もう１つは、ＰｒｏｐをＡＲ係数事前ＰＤＦによる事前知識だけで動作させたもので、第５実施形態に該当する（この条件でのＰｒｏｐの動作を以下、「Ｐｒｉｏｒ」という）。Ｐｒｏｐ、Ｐｏｓｔｅｒｉｏｒ及びＰｒｉｏｒはすべて逐次処理で動作させた。本実験では逐次処理によらないＢａｓｅｌｉｎｅの結果を逐次処理の性能上限値として扱う。

各手法の効果を検証するために、各２人の話者（男性１名、女性１名）からの各５発話、計１０発話を用意した。各発話は５単語列で構成されている。観測信号は、各発話に残響のある部屋（残響時間ＲＴ６０＝０．５秒）で測定された１チャンネル室内インパルス応答を畳み込んで合成した。残響除去は各発話単位で実行し、残響除去性能は残響除去前後の信号のケプストラム歪み（以下、「ＣＤ」という）で評価した。ＣＤ（ｄＢ）は以下のように定義される。

ここで、gβ_kとβ_kは、それぞれ評価対象の推定音源信号と残響を含まない原音源（発話）信号のケプストラム係数であり、Ｄ＝１２とした。残響除去後の信号に残存する初期反射音の影響を低減するために、ＣＤを計算する前に、両信号に対し平均ケプストラム減算処理を施した。この評価尺度で、エネルギー時間パターン歪みとスペクトル包絡歪みが評価できる。標本化周波数は８ｋＨｚ、周波数分割・統合処理には複素サブバンド処理を用い、サブバンドの数を１２９とし、間引き率は１／１２８とした。逐次処理のブロックサイズは１６フレーム（＝２５６ｍｓ）とした。これは、ＡＲ係数事後ＰＤＦの更新周期に相当する。ＰｒｏｐとＰｒｉｏｒで用いるＡＲ係数の事前ＰＤＦを定めるために、同じ部屋の別の場所で測定された室内インパルス応答を畳み込んだ女性の一発話に対し、Ｂａｓｅｌｉｎｅを適用して得られたＡＲ係数を用いて、式(6)によりΣ_ｋを定めた。各周波数ビンにおけるＡＲ係数の次数は２４とした。

図８は、観測信号、Ｂａｓｅｌｉｎｅ、Ｐｒｏｐ、Ｐｒｉｏｒ及びＰｏｓｔｅｒｉｏｒを用いて残響除去した信号の平均ＣＤを示したものである。異なる発話にわたって、１番目から５番目の単語までを別々に平均ＣＤを計算した。図８より、ＰｒｏｐとＰｏｓｔｅｒｉｏｒは、発話中の最初の単語では比較的ＣＤが高いが、残りの単語に対して性能は急速に改善し、Ｂａｓｅｌｉｎｅの性能に迫っている。ＰｒｏｐとＰｏｓｔｅｒｉｏｒとを比べると、Ｐｒｏｐは最初の単語の品質をＰｏｓｔｅｒｉｏｒより大幅に改善できている。一方、Ｐｒｉｏｒも平均ＣＤを安定して最初から低減できているが、改善量は比較的小さい。これらの結果は、ＡＲ係数事前ＰＤＦによる事前知識が、Ｐｒｏｐに、逐次処理で発話の最初から非常に少ないアルゴリズム遅延内で効果的に残響除去を実現させることができていることを示している。

図５は、残響除去前後のスペクトログラムを示したものである。図５より、Ｐｒｉｏｒが発話の最初から効果的に残響のパワーを抑圧している一方、Ｐｏｓｔｅｒｉｏｒは発話中の２単語目で急速に残響除去性能を改善していることがわかる。これらに対し、ＰｒｏｐはＰｒｉｏｒとＰｏｓｔｅｒｉｏｒ双方の方法の効果を享受して逐次処理が実現できていることがわかる。

本発明は、残響除去を行う音響装置等が、信号の観測開始直後から効果的に残響除去を行う必要がある用途のものである場合に特に有用である。

第１、第２実施形態の残響除去装置２００の機能構成例を示す図 第１実施形態の処理フローを示す図 第２実施形態の処理フローを示す図 第４実施形態の残響除去装置３００の機能構成例を示す図 第４実施形態の処理フローを示す図 第５実施形態の残響除去装置４００の機能構成例を示す図 第５実施形態の処理フローを示す図 各動作条件ごとのケプストラム歪みの改善状況の相違を示す図 残響除去前後の各信号のスペクトログラムの相違を示す図 従来技術による残響除去装置１００の機能構成例を示す図

Claims (10)

1. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
   周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割部と、
   上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における期待値と上記音源信号の周波数領域における共分散行列により定義される音源信号の確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定部と、
   上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）が予め記憶されたＡＲ係数事前ＰＤＦ記憶部と、
   上記周波数領域観測信号が与えられたもとでのＡＲ係数の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を記憶するＡＲ係数事後ＰＤＦ記憶部と、
   上記ブロック単位で上記周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する上記音源信号事前ＰＤＦを逐次受け取り、更に上記ＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを読み出し、当該周波数領域観測信号と当該音源信号事前ＰＤＦと当該ＡＲ係数事前ＰＤＦから上記ＡＲ係数事後ＰＤＦを逐次推定して、上記ＡＲ係数事後ＰＤＦ記憶部に書き込むＡＲ係数事後ＰＤＦ推定部と、
   上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、当該周波数領域観測信号と当該ＡＲ係数事後ＰＤＦから残響の周波数領域における期待値と残響の周波数領域における共分散行列により定義される残響のＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定部と、
   上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去部と、
   上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
   を備える残響除去装置。
2. 請求項１に記載の残響除去装置において、
   上記音源信号事前ＰＤＦ推定部は、更に上記ＡＲ係数事後ＰＤＦを逐次受け取り、周波数領域観測信号とＡＲ係数事後ＰＤＦとから音源信号事前ＰＤＦを繰り返し推定し、
   上記ＡＲ係数事後ＰＤＦ推定部は、上記音源信号事前ＰＤＦ推定部が繰り返し推定した音源信号事前ＰＤＦを逐次受け取ってＡＲ係数事後ＰＤＦを繰り返し推定し、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点でＡＲ係数事後ＰＤＦを上記ＡＲ係数事後ＰＤＦ記憶部に書き込む
   ことを特徴とする残響除去装置。
3. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
   周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割部と、
   上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における期待値と上記音源信号の共分散行列により定義される音源信号の確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定部と、
   上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）が予め記憶されたＡＲ係数事前ＰＤＦ記憶部と、
   上記周波数領域観測信号が与えられたもとでのＡＲ係数の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を記憶するＡＲ係数事後ＰＤＦ記憶部と、
   上記ブロック単位で上記周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する上記音源信号事前ＰＤＦを逐次受け取り、更に上記ＡＲ係数事前ＰＤＦ記憶部から当該各ブロックに対応するＡＲ係数事前ＰＤＦを逐次読み出し、当該周波数領域観測信号と当該音源信号事前ＰＤＦと当該ＡＲ係数事前ＰＤＦから上記ＡＲ係数事後ＰＤＦを逐次推定して、上記ＡＲ係数事後ＰＤＦ記憶部に書き込むＡＲ係数事後ＰＤＦ推定部と、
   上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、当該周波数領域観測信号と当該ＡＲ係数事後ＰＤＦから音源信号の事後ＰＤＦを逐次推定して、その期待値を周波数領域の音源信号（以下、「周波数領域音源信号」という）として推定する残響除去部と、
   上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
   を備える残響除去装置。
4. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
   周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）が予め記憶されたＡＲ係数事前ＰＤＦ記憶部と、
   上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを逐次読み出し、当該周波数領域観測信号と当該ＡＲ係数事前ＰＤＦから残響の周波数領域における期待値と残響の共分散行列により定義される残響のＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定部と、
   上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去部と、
   推定した上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
   を備える残響除去装置。
5. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
   周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割ステップと、
   上記ブロック単位の上記周波数領域観測信号を用いて、上記音源信号の周波数領域における期待値と上記音源信号の周波数領域における共分散行列により定義される音源信号の確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定ステップと、
   上記ブロック単位の上記周波数領域観測信号と、当該各ブロックに対応する上記音源信号事前ＰＤＦと、上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、上記周波数領域観測信号が与えられたもとでのＡＲ係数の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を逐次推定するＡＲ係数事後ＰＤＦ推定ステップと、
   上記周波数領域観測信号と上記ＡＲ係数事後ＰＤＦとから、残響の周波数領域における期待値と残響の周波数領域における共分散行列により定義される残響のＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定ステップと、
   上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去ステップと、
   上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
   を実行する残響除去方法。
6. 請求項５に記載の残響除去方法において、
   上記音源信号事前ＰＤＦ推定ステップは、更に上記ＡＲ係数事後ＰＤＦを用い、周波数領域観測信号とＡＲ係数事後ＰＤＦとから音源信号事前ＰＤＦを繰り返し推定し、
   上記ＡＲ係数事後ＰＤＦ推定ステップは、上記音源信号事前ＰＤＦ推定ステップにて繰り返し推定した音源信号ＰＤＦを逐次受け取ってＡＲ係数事後ＰＤＦを繰り返し推定し、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点でＡＲ係数事後ＰＤＦ記憶部に書き込む
   ことを特徴とする残響除去方法。
7. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
   周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割ステップと、
   上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における期待値と上記音源信号の周波数領域における共分散行列により定義される音源信号の確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定ステップと、
   上記ブロック単位の上記周波数領域観測信号と、当該各ブロックに対応する上記音源信号事前ＰＤＦと、当該各ブロックに対応する上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、上記周波数領域観測信号が与えられたもとでのＡＲ係数の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を逐次推定するＡＲ係数事後ＰＤＦ推定ステップと、
   上記周波数領域観測信号と上記ＡＲ係数事後ＰＤＦとから、音源信号の事後ＰＤＦを逐次推定して、その期待値を周波数領域の音源信号（以下、「周波数領域音源信号」という）として推定する残響除去ステップと、
   上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
   を実行する残響除去方法。
8. 音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
   上記周波数領域観測信号と周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）の期待値とＡＲ係数の共分散行列により定義されるＡＲ係数の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、残響の周波数領域における期待値と残響の周波数領域における共分散行列により定義される残響のＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定ステップと、
   上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去ステップと、
   推定した上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
   を実行する残響除去方法。
9. 請求項１〜４のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
10. 請求項９に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images