JP5113794B2 - 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム - Google Patents
適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム Download PDFInfo
- Publication number
- JP5113794B2 JP5113794B2 JP2009090291A JP2009090291A JP5113794B2 JP 5113794 B2 JP5113794 B2 JP 5113794B2 JP 2009090291 A JP2009090291 A JP 2009090291A JP 2009090291 A JP2009090291 A JP 2009090291A JP 5113794 B2 JP5113794 B2 JP 5113794B2
- Authority
- JP
- Japan
- Prior art keywords
- adaptive
- microphone array
- signal
- dereverberation
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
本発明は、適応マイクロホンアレイ技術と残響抑圧技術に関するものである。具体的には、マイクロホンアレイで観測した残響を含む音声から、部屋の残響特性の変動に追従しながら、残響成分を抑圧する装置及び方法に関する。このような残響抑圧技術はテレビ会議システムなどに利用することができる。
図１は一般的な適応マイクロホンアレイ残響抑圧装置の構成を示したものである。Mはマイクロホンの個数を表し、Jは周波数帯域の個数を表す。
tを時間のインデクスとして、m番目のマイクロホンで観測された音声信号ym(t)はプリホワイトニングフィルタ100に入力される。プリホワイトニングフィルタ100は白色化された信号xm(t)を出力する。xm(t)はフィルタバンク分析器110に入力され、複数の狭帯域信号に分割された後、ダウンサンプリングされる。その結果、狭帯域ごとの信号xj m(n)がフィルタバンク分析器110から出力される。但し、jは周波数帯域のインデクス、nはダウンサンプリング後の時間のインデクスである。
tを時間のインデクスとして、m番目のマイクロホンで観測された音声信号ym(t)はプリホワイトニングフィルタ100に入力される。プリホワイトニングフィルタ100は白色化された信号xm(t)を出力する。xm(t)はフィルタバンク分析器110に入力され、複数の狭帯域信号に分割された後、ダウンサンプリングされる。その結果、狭帯域ごとの信号xj m(n)がフィルタバンク分析器110から出力される。但し、jは周波数帯域のインデクス、nはダウンサンプリング後の時間のインデクスである。
次に、j番目の周波数帯域のすべてのマイクロホンに関する信号xj 1(n),xj 2(n),…,xj M(n)は適応フィルタ120に入力される。適応フィルタ120は残響が抑圧された狭帯域信号uj(n)を出力する。u0(n),…,uJ-1(n)はフィルタバンク合成器130に入力され、アップサンプリングされた後、広帯域信号に再構成される。その結果、広帯域の信号u(t)がフィルタバンク合成器130から出力される。最後に、u(t)はポストアンホワイトニングフィルタ140に入力され、プリホワイトニングフィルタ100の効果が除去される。このようにして、残響が抑圧された所望の信号v(t)がポストアンホワイトニングフィルタ140から出力される。なお、適応フィルタ120以外のコンポーネントは省略される場合がある。
図２は図１に示した適応マイクロホンアレイ残響抑圧装置における適応フィルタの従来構成例として、非特許文献１に記載されている適応フィルタの構成を示したものであり、図中、太矢印はベクトル信号を表す。
適応フィルタの入力信号xj m(n)はベクトル化器200に入力されて、過去Kj個の標本とまとめてベクトル化される。その結果、ベクトル化器200からXj m(n)=[xj m(n),xj m(n-1),…,xj m(n-Kj)]Tが出力される。なお、本明細書では、スカラー信号を小文字で、ベクトル信号を大文字で表現する。Kjは残響抑圧フィルタ210の次数、上付き添字Tは非複素共役転置である。Xj m(n)は、タップ重みベクトルWj m(n)=[wj m 0(n), wj m 1(n),…,wj m Kj(n)]Tをもつ残響抑圧フィルタ210に入力される。各mに対する残響抑圧フィルタ210の出力が加算部230で加算されて、適応フィルタの出力信号uj(n)が計算される。
上式において、上付き添字Hは複素共役転置を表す。タップ重みベクトルWj m(n)は次に示す規則にしたがって更新される。
Wj m(n+1)=Wj m(n)+ΔWj m(n) (2)
但し、ΔWj m(n)は適応重み制御機構220から入力されるタップ重み更新量ベクトルである。適応重み制御機構220は出力信号uj(n)の負の正規化尖度が最小になるように、確率的勾配法に基づいてΔWj m(n)を決定する。
Wj m(n+1)=Wj m(n)+ΔWj m(n) (2)
但し、ΔWj m(n)は適応重み制御機構220から入力されるタップ重み更新量ベクトルである。適応重み制御機構220は出力信号uj(n)の負の正規化尖度が最小になるように、確率的勾配法に基づいてΔWj m(n)を決定する。
Gillespie,B.W.,Malvar,H.S.,and Florencio,D.A.F.,"Speech dereverberation via maximum-kurtosis subband adaptive filtering,"in Proc. Int'l Conf. Acoust. Speech,Signal Process.,vol.VI,2001,pp.3701-3704.
従来の適応マイクロホンアレイ残響抑圧装置は、上述したように確率的勾配法に基づいてフィルタを制御しており、よって収束速度が遅いという課題があった。
本発明の目的は高速な収束特性をもつ適応マイクロホンアレイ残響抑圧装置・方法及びプログラムを提供することにある。
本発明の目的は高速な収束特性をもつ適応マイクロホンアレイ残響抑圧装置・方法及びプログラムを提供することにある。
この発明によれば、図1に示した適応マイクロホンアレイ残響抑圧装置において、適応フィルタは、上記各狭帯域信号を予め定められた時間だけ遅延させる遅延素子と、遅延素子の出力信号の標本を予め定められた個数だけベクトル化するベクトル化器と、ベクトル化器の出力ベクトル信号から１つのマイクロホンに関する上記狭帯域信号に含まれる残響成分を予測する残響予測フィルタと、残響予測フィルタのタップ重みベクトルを重み付きRLS法に従って制御する適応重み制御機構とを備える。この発明は、フィルタバンク分析器とフィルタバンク合成器を必須の構成要素とする。プリホワイトニングフィルタとポストアンホワイトニングフィルタを含めるか否かは、任意に選択できる。
本発明では、確率的勾配法の代わりに重み付きRLS(Recursive Least Squares)法に基づいて、フィルタを適応的に制御する。確率的勾配法がコスト関数の値を確率論的に最小化するのに対して、重み付きRLS法はコスト関数の値を決定論的に最小化する。従って、重み付きRLS法は確率的勾配法と比較して収束速度が速いという特長をもつ。このため、本発明によれば、高速な収束特性をもつ適応マイクロホンアレイ残響抑圧装置・方法を実現することができる。
以下、本発明の実施形態を説明する。
〈実施形態１〉
適応マイクロホンアレイ残響抑圧装置の全体構成は図１と同様とし、実施形態１では適応フィルタ120を図３に示したような構成とする。
適応フィルタへの入力はプリホワイトニング処理された観測音声の狭帯域信号xj m(n)で、出力は残響が抑圧された狭帯域信号uj(n)である。
〈実施形態１〉
適応マイクロホンアレイ残響抑圧装置の全体構成は図１と同様とし、実施形態１では適応フィルタ120を図３に示したような構成とする。
適応フィルタへの入力はプリホワイトニング処理された観測音声の狭帯域信号xj m(n)で、出力は残響が抑圧された狭帯域信号uj(n)である。
適応フィルタの入力信号xj m(n)はD単位時間遅延素子300に入力されて、遅延された信号xj m(n-D)が出力される。Dは予め決められた定数である。xj m(n-D)はベクトル化器310に入力されて、過去Kj個の標本とまとめてベクトル化される。その結果、ベクトル化器310からXj m(n-D)=[xj m(n-D),xj m(n-D-1),…,xj m(n-D-Kj)]Tが出力される。但し、Kjは残響予測フィルタ320の次数である。Xj m(n-D)は、タップ重みベクトルGj m(n)=[gj m 0(n), gj m 1(n),…,gj m Kj(n)]Tをもつ残響予測フィルタ320に入力される。各mに対する残響予測フィルタ320の出力は加算部340で加算された後、符号反転部350で正負が反転され、その反転された出力が加算部360で1番目のマイクロホンに関する入力信号xj 1(n)と加算されることで、適応フィルタの出力信号uj(n)が計算される。
タップ重みベクトルGj m(n)は次に示す規則にしたがって更新される。
Gj m(n+1)=Gj m(n)+ΔGj m(n) (4)
但し、ΔGj m(n)は適応重み制御機構330から入力されるタップ重み更新量ベクトルである。
適応重み制御機構330は出力信号uj(n)に関する次式のコスト関数Fの値（コスト関数Fの値はuj(n)に含まれる残響成分の度合いの見積もりを表す）が最小となるように、重み付きRLS法に基づいてΔGj m(n)を決定する。
Gj m(n+1)=Gj m(n)+ΔGj m(n) (4)
但し、ΔGj m(n)は適応重み制御機構330から入力されるタップ重み更新量ベクトルである。
適応重み制御機構330は出力信号uj(n)に関する次式のコスト関数Fの値（コスト関数Fの値はuj(n)に含まれる残響成分の度合いの見積もりを表す）が最小となるように、重み付きRLS法に基づいてΔGj m(n)を決定する。
但し、αは予め決められた適応の速度を調整する忘却係数、λj(n)は適応フィルタの入力信号に依存して決められる重み(後述)である。
図４は適応重み制御機構330の構成を示したものであり、図中、白抜き矢印は行列信号を表す。
図４は適応重み制御機構330の構成を示したものであり、図中、白抜き矢印は行列信号を表す。
適応重み制御機構330への入力はxj 1(n),Xj m(n-D),uj(n)で、出力はタップ重み更新量ベクトルΔGj m(n)である。すべてのmに関するXj m(n-D)はベクトル化器400に入力されて単一のベクトルにまとめられる。その結果、ベクトル化器400からXj(n-D)=[Xj 1(n-D)T,…,Xj M(n-D)T]Tが出力される。Xj(n-D)はゲインベクトル計算部410に入力される。ゲインベクトル計算部410は次式にしたがってゲインベクトルQj(n)を計算し、出力する。
但し、Φj(n)は誤差共分散計算部420から入力される誤差共分散行列、λj(n)は重み計算部430から入力される重みである。ゲインベクトルQj(n)がuj(n)の複素共役と積算されて、タップ重み更新量ベクトルΔGj(n)が出力される。
ΔGj(n)=Qj(n)uj(n)* (7)
なお、図４中、440は複素共役生成部を示し、450は積算部を示す。
ΔGj(n)は次式のように、各mに関するタップ重み更新量ベクトルΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (8)
誤差共分散計算部420は次式にしたがってΦj(n)を更新する。
ΔGj(n)=Qj(n)uj(n)* (7)
なお、図４中、440は複素共役生成部を示し、450は積算部を示す。
ΔGj(n)は次式のように、各mに関するタップ重み更新量ベクトルΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (8)
誤差共分散計算部420は次式にしたがってΦj(n)を更新する。
重み計算部430はxj 1(n)を入力として受け取り、重みλj(n)を出力する。
λj(n)の計算方法は仮定する音声のモデルに依存して決まる。例えば、音声のモデルとして正規分布を仮定する場合、最適なλj(n)の値は、時刻n、周波数帯域jにおける原音声の狭帯域短時間パワーである。ただし、原音声とは、残響が重畳される前の未知の音声を指す。原音声の狭帯域短時間パワーは未知であるから、その近似値をλj(n)とする。一つの近似方法として、次式のように、λj(n)をxj 1(n)の振幅の二乗としてもよい。
λj(n)=｜xj 1(n)｜2 (10)
また、これを一般化して、次式のようにλj(n)を設定してもよい。
λj(n)=｜xj 1(n)｜β (11)
但し、βは正の実数である。
λj(n)の計算方法は仮定する音声のモデルに依存して決まる。例えば、音声のモデルとして正規分布を仮定する場合、最適なλj(n)の値は、時刻n、周波数帯域jにおける原音声の狭帯域短時間パワーである。ただし、原音声とは、残響が重畳される前の未知の音声を指す。原音声の狭帯域短時間パワーは未知であるから、その近似値をλj(n)とする。一つの近似方法として、次式のように、λj(n)をxj 1(n)の振幅の二乗としてもよい。
λj(n)=｜xj 1(n)｜2 (10)
また、これを一般化して、次式のようにλj(n)を設定してもよい。
λj(n)=｜xj 1(n)｜β (11)
但し、βは正の実数である。
〈実施形態２〉
実施形態１の重み計算部430は、重みλj(n)を適応フィルタの入力信号xj 1(n)から直接計算する。xj 1(n)は残響を含むため、求められたλj(n)の値は最適な重みである残響を含まない原音声の狭帯域短時間パワーの粗い近似となっている。適応フィルタの出力信号uj(n)はxj 1(n)と比較して残響が抑圧されていると期待されるから、uj(n)を用いてλj(n)を再計算すれば、より高い残響抑圧性能を得ることができる。実施形態２はこれを実現する装置の構成方法を提供する。
実施形態１の重み計算部430は、重みλj(n)を適応フィルタの入力信号xj 1(n)から直接計算する。xj 1(n)は残響を含むため、求められたλj(n)の値は最適な重みである残響を含まない原音声の狭帯域短時間パワーの粗い近似となっている。適応フィルタの出力信号uj(n)はxj 1(n)と比較して残響が抑圧されていると期待されるから、uj(n)を用いてλj(n)を再計算すれば、より高い残響抑圧性能を得ることができる。実施形態２はこれを実現する装置の構成方法を提供する。
実施形態２は適応マイクロホンアレイ残響抑圧装置を図１と同様に構成する。適応フィルタ120は図５のように構成する。適応フィルタへの入力はプリホワイトニング処理された観測音声の狭帯域信号xj m(n)で、出力は残響が抑圧された狭帯域信号uj(n)である。実施形態２におけるD単位時間遅延素子500，ベクトル化器510，残響予測フィルタ520の機能は、実施形態１におけるD単位時間遅延素子300，ベクトル化器310，残響予測フィルタ320の機能と同じである。実施形態２は適応重み制御の方法が実施形態１と異なる。実施形態１では適応重み制御が適応重み制御機構330で実現されるのに対して、実施形態２では図５中の符号530〜583で示した構成で実現される。
実施形態２の具体的な処理の流れを述べる。まず、適応フィルタの入力信号xj m(n)はD単位時間遅延素子500に入力されて、遅延された信号xj m(n-D)が出力される。Dは予め決められた定数である。xj m(n-D)はベクトル化器510に入力されて、過去Kj個の標本とまとめてベクトル化される。その結果、ベクトル化器510からXj m(n-D)=[xj m(n-D),xj m(n-D-1),…,xj m(n-D-Kj)]Tが出力される。但し、Kjは残響予測フィルタ520の次数である。
最新のタップ重みベクトルの値がフィルタ記憶部580に記憶されており、このタップ重みベクトルの値がフィルタ記憶部580から読み込まれ、残響予測フィルタ520に設定される。このタップ重みベクトルの値は、フィルタ記憶部580とは別のフィルタ記憶部570にも書き込まれる。図５中、白抜き矢印はタップ重みベクトルをコピーすることを表す。残響予測フィルタ520はXj m(n-D)を入力として受け取る。各mに対する残響予測フィルタ520の出力は加算部591で加算された後、符号反転部592で正負が反転され、その反転された出力が加算部593で1番目のマイクロホンに関する入力信号xj 1(n)と加算されることで、適応フィルタの出力信号uj(n)が計算される。
上式において、Gj m(n)は残響予測フィルタ520のタップ重みベクトルを表す。
以上の過程により、出力信号uｊ(n)が計算される。上記説明から明らかなように、フィルタ記憶部570は、直前の出力信号uｊ(n)の計算過程で用いられたタップ重みベクトルの値を記憶している。一方、フィルタ記憶部580は、現在の出力信号の計算過程で用いるタップ重みベクトルの値を記憶している。
以上の過程により、出力信号uｊ(n)が計算される。上記説明から明らかなように、フィルタ記憶部570は、直前の出力信号uｊ(n)の計算過程で用いられたタップ重みベクトルの値を記憶している。一方、フィルタ記憶部580は、現在の出力信号の計算過程で用いるタップ重みベクトルの値を記憶している。
次に、フィルタ記憶部580に記憶されているタップ重みベクトルの値が更新される過程について説明する。
補間素子530はxj 1(n)とXj m(n-D)に対して、次式にしたがって1:Rの補間を行う。
x’j 1[Rn+r]=xj 1(n)
X’j m[Rn+r]=Xj m(n-D) 0＜∀r＜R-1 (13)
なお、本明細書では、補間後の信号を表すのに、プライム符号と角括弧を用いる。
補間素子530はxj 1(n)とXj m(n-D)に対して、次式にしたがって1:Rの補間を行う。
x’j 1[Rn+r]=xj 1(n)
X’j m[Rn+r]=Xj m(n-D) 0＜∀r＜R-1 (13)
なお、本明細書では、補間後の信号を表すのに、プライム符号と角括弧を用いる。
タップ重みベクトルの値がフィルタ記憶部570から読み込まれ、残響予測フィルタ540に設定される。残響予測フィルタ540はX’ j m[k]を入力として受け取る。各mに対する残響予測フィルタ540の出力は加算部581で加算された後、符号反転部582で正負が反転され、その反転された出力が加算部583でx’j 1[k]と加算されることでu’j[k]が計算される。
上式において、G’j m[k]は残響予測フィルタ540のタップ重みベクトルを表す。タップ重みベクトルG’j m[k]は次に示す規則にしたがって更新される。
G’j m[k+1]=G’j m[k]+ΔG’j m[k] (15)
但し、ΔG’j m[k]は適応重み制御機構560から入力されるタップ重み更新量ベクトルである。更新されたタップ重みベクトルの値は、フィルタ記憶部580に書き込まれる。マルチプレクサ550はx’j 1[k]とu’j[k]を受け取り、z’j[k]を適応重み制御機構560に出力する。z’j[k]はマルチプレクサ550の制御信号が1の場合にはx’j 1[k]を、制御信号が0の場合にはu’j[k]をとる。但し、制御信号はkの値がRの倍数のときにだけ1をとり、それ以外のときには0をとるものとする。
G’j m[k+1]=G’j m[k]+ΔG’j m[k] (15)
但し、ΔG’j m[k]は適応重み制御機構560から入力されるタップ重み更新量ベクトルである。更新されたタップ重みベクトルの値は、フィルタ記憶部580に書き込まれる。マルチプレクサ550はx’j 1[k]とu’j[k]を受け取り、z’j[k]を適応重み制御機構560に出力する。z’j[k]はマルチプレクサ550の制御信号が1の場合にはx’j 1[k]を、制御信号が0の場合にはu’j[k]をとる。但し、制御信号はkの値がRの倍数のときにだけ1をとり、それ以外のときには0をとるものとする。
適応重み制御機構560の構成を図６に示す。適応重み制御機構560への入力はz’j[k], X’j m[k], u’j[k]及び制御信号で、出力はタップ重み更新量ベクトルΔG’j m[k]である。すべてのmに関するX’j m[k]はベクトル化器600に入力されて、単一のベクトルにまとめられる。その結果、ベクトル化器600からX’j[k]=[X’j 1[k]T,…,X’j M[k]T]Tが出力される。X’j[k]はゲインベクトル計算部610に入力される。ゲインベクトル計算部610は次式にしたがってゲインベクトルQ’ j[k]を計算し、出力する。
但し、Φ’j[k]は誤差共分散計算部620から入力される誤差共分散行列、λ’j[k]は重み計算部630から入力される重みである。ゲインベクトルQ’j[k]がu’j[k]の複素共役と積算されて、タップ重み更新量ベクトルΔG’j[k]が出力される。
ΔG'j[k]=Q'j[k]u'j[k]* (17)
なお、図６中、640は複素共役生成部を示し、650は積算部を示す。
ΔG’j[k]は次式のように、各mに関するタップ重み更新量ベクトルΔG’j m[k]で構成されている。
ΔG’j[k]=[ΔG’j 1[k]T,ΔG’j 2[k]T,…,ΔG’j M[k]T]T (18)
誤差共分散計算部620は制御信号が1のときにだけ、次式にしたがってΦ’j[k]を更新し、そうでなければ、Φ’j[k+1]= Φ’j[k]とする。
ΔG'j[k]=Q'j[k]u'j[k]* (17)
なお、図６中、640は複素共役生成部を示し、650は積算部を示す。
ΔG’j[k]は次式のように、各mに関するタップ重み更新量ベクトルΔG’j m[k]で構成されている。
ΔG’j[k]=[ΔG’j 1[k]T,ΔG’j 2[k]T,…,ΔG’j M[k]T]T (18)
誤差共分散計算部620は制御信号が1のときにだけ、次式にしたがってΦ’j[k]を更新し、そうでなければ、Φ’j[k+1]= Φ’j[k]とする。
重み計算部630はz’j[k]を入力として受け取り、次式にしたがって重みλ’j[k]を計算し、出力する。
λ’j[k]=｜z’j[k]｜β (20)
但し、βは正の実数である。
この実施形態２では図５において一点鎖線で囲った処理部は、それ以外の処理部に比べてR倍の速度で動作するものとなっている。
λ’j[k]=｜z’j[k]｜β (20)
但し、βは正の実数である。
この実施形態２では図５において一点鎖線で囲った処理部は、それ以外の処理部に比べてR倍の速度で動作するものとなっている。
<実施形態３>
本発明の適応マイクロホンアレイ残響抑圧の方法は、処理の手続きをコンピュータが実行可能なプログラムとして記述し、コンピュータにこのプログラムを実行させることによって実現することもできる。以下では実施形態１に対応する実行可能プログラムの処理の手続きを説明する。
本発明の適応マイクロホンアレイ残響抑圧の方法は、処理の手続きをコンピュータが実行可能なプログラムとして記述し、コンピュータにこのプログラムを実行させることによって実現することもできる。以下では実施形態１に対応する実行可能プログラムの処理の手続きを説明する。
図７は実施形態３で用いる、一般的な適応マイクロホンアレイ処理の流れを示している。手順1000ではm番目のマイクロホンで観測された音声信号ym(t)に対してプリホワイトニングフィルタを適用することで、白色化された信号xm(t)を計算する。手順1010ではxm(t)に対してフィルタバンク分析を適用することで、狭帯域ごとの信号xj m(n)を計算する。但し、jは周波数帯域のインデクスである。手順1020ではj番目の周波数帯域のすべてのマイクロホンに関する信号xj 1(n),xj 2(n),…,xj M(n)に対して適応フィルタを適用することで、残響が抑圧された狭帯域信号uj(n)を計算する。手順1030ではすべての周波数帯域に関する狭帯域信号u0(n),u1(n),…,uJ-1(n)に対してフィルタバンク合成を適用することで、広帯域の信号u(t)を計算する。手順1040ではu(t)に対してポストアンホワイトニングフィルタを適用することで、適応マイクロホンアレイ残響抑圧システムの出力信号v(t)を計算する。但し、適応フィルタ処理を行う1020以外の手順は適宜省略してもよい。
図８は手順1020の処理の流れを示している。なお、手順1020はn=0,1,…に対して順次実行される。手順1100ではxj m(n)をD単位時間だけ遅延させることで、xj m(n-D)を求める。手順1110ではxj m(n-D),xj m(n-D-1),…,xj m(n-D-Kj)をベクトル化して、Xj m(n-D)を求める。
Xj m(n-D)=[xj m(n-D),xj m(n-D-1),…,xj m(n-D-Kj)]T (21)
但し、Kjは手順1120で用いる残響予測フィルタの次数である。手順1120ではXj m(n-D)と残響予測フィルタを用いてxj 1(n)に含まれる残響成分を予測し、これをxj 1(n)から減算することでuj(n)を計算する。
Xj m(n-D)=[xj m(n-D),xj m(n-D-1),…,xj m(n-D-Kj)]T (21)
但し、Kjは手順1120で用いる残響予測フィルタの次数である。手順1120ではXj m(n-D)と残響予測フィルタを用いてxj 1(n)に含まれる残響成分を予測し、これをxj 1(n)から減算することでuj(n)を計算する。
上式において、Gj m(n) =[gj m 0(n), gj m 1(n),…,gj m Kj(n)]Tは残響予測フィルタのタップ重みベクトルを表す。手順1130ではuj(n),xj 1(n),及びXj 1(n-D),Xj 2(n-D),…,Xj M(n-D)を用いて、重み付きRLS法にしたがってタップ重み更新量ベクトルΔGj 1(n),ΔGj 2(n),…,ΔGj M(n)を計算する。手順1140では残響予測フィルタのタップ重みベクトルを次式にしたがって更新する。
Gj m(n+1)=Gj m(n)+ΔGj m(n) (23)
Gj m(n+1)=Gj m(n)+ΔGj m(n) (23)
図９は手順1130の処理の流れを示している。手順1200ではxj 1(n)を用いて、次式にしたがって重みλj(n)を計算する。
λj(n)=｜xj 1(n)｜β (24)
但し、βは正の実数である。手順1210ではXj 1(n-D),Xj 2(n-D),…,Xj M(n-D)を単一のベクトルにまとめてXj(n-D)を求める。
Xj(n-D)=[Xj 1(n-D)T,Xj 2(n-D)T,…,Xj M(n-D)T]T (25)
手順1220ではXj(n-D),λj(n)及び誤差共分散行列Φj(n)を用いて、次式にしたがってゲインベクトルQj(n)を計算する。
λj(n)=｜xj 1(n)｜β (24)
但し、βは正の実数である。手順1210ではXj 1(n-D),Xj 2(n-D),…,Xj M(n-D)を単一のベクトルにまとめてXj(n-D)を求める。
Xj(n-D)=[Xj 1(n-D)T,Xj 2(n-D)T,…,Xj M(n-D)T]T (25)
手順1220ではXj(n-D),λj(n)及び誤差共分散行列Φj(n)を用いて、次式にしたがってゲインベクトルQj(n)を計算する。
手順1230では次式にしたがってΦj(n)を更新する。
手順1240では次式にしたがってタップ重み更新量ベクトルΔGj(n)を計算する。
ΔGj(n)=Qj(n)uj(n)* (28)
ΔGj(n)は次式のように各mに対するタップ重み更新量ベクトルでΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (29)
ΔGj(n)=Qj(n)uj(n)* (28)
ΔGj(n)は次式のように各mに対するタップ重み更新量ベクトルでΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (29)
〈実施形態４〉
実施形態４は、実施形態２が実現する処理の手続きをコンピュータが実行可能なプログラムとして記述し、コンピュータにこのプログラムを実行させることで実現される。実施形態４の残響抑圧方法は、実施形態３の残響抑圧方法において、適応フィルタの出力信号uj(n)を用いて重みλj(n)を再計算するものである。
図７と図８の処理の流れは、実施形態３と実施形態４で共通である。これらの実施形態では、手順1130におけるタップ重み更新量ベクトルの計算方法のみ異なる。
実施形態４は、実施形態２が実現する処理の手続きをコンピュータが実行可能なプログラムとして記述し、コンピュータにこのプログラムを実行させることで実現される。実施形態４の残響抑圧方法は、実施形態３の残響抑圧方法において、適応フィルタの出力信号uj(n)を用いて重みλj(n)を再計算するものである。
図７と図８の処理の流れは、実施形態３と実施形態４で共通である。これらの実施形態では、手順1130におけるタップ重み更新量ベクトルの計算方法のみ異なる。
実施形態４によるタップ重み更新量ベクトルの計算方法を、図１０を参照しながら説明する。図１０に示した通り、本実施形態は繰り返し処理に基づく。手順1300ではXj 1(n-D),Xj 2(n-D),…,Xj M(n-D)をベクトル化して、Xj(n-D)を求める。
Xj(n-D)=[Xj 1(n-D)T,Xj 2(n-D)T,…,Xj M(n-D)T]T (30)
手順1310では適応フィルタの入力信号かフィルタ処理後の信号のいずれかを表す信号zj(n)を導入し、zj(n)を入力信号xj 1(n)で初期化する。
zj(n)=xj 1(n) (31)
手順1320ではzj(n)を用いて、次式にしたがって重みλj(n)を計算する。
λj(n)=|zj(n)|β (32)
但し、βは正の実数である。手順1330ではXj(n-D),λj(n)、及び誤差共分散行列Φj(n)を用いて、次式にしたがってゲインベクトルQj(n)を計算する。
Xj(n-D)=[Xj 1(n-D)T,Xj 2(n-D)T,…,Xj M(n-D)T]T (30)
手順1310では適応フィルタの入力信号かフィルタ処理後の信号のいずれかを表す信号zj(n)を導入し、zj(n)を入力信号xj 1(n)で初期化する。
zj(n)=xj 1(n) (31)
手順1320ではzj(n)を用いて、次式にしたがって重みλj(n)を計算する。
λj(n)=|zj(n)|β (32)
但し、βは正の実数である。手順1330ではXj(n-D),λj(n)、及び誤差共分散行列Φj(n)を用いて、次式にしたがってゲインベクトルQj(n)を計算する。
手順1340では次式にしたがってタップ重み更新量ベクトルΔGj(n)を計算する。
ΔGj(n)=Qj(n)uj(n)* (34)
ΔGj(n)は次式のように各mに対するタップ重み更新量ベクトルでΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (35)
手順1350では次式で定義される残響予測フィルタのタップ重みベクトルを計算する。
G'j m(n)=Gj m(n)+ΔGj m(n) (36)
手順1360ではタップ重みベクトルG'j m(n)を用いて残響抑圧処理された信号u'j(n)を計算する。
ΔGj(n)=Qj(n)uj(n)* (34)
ΔGj(n)は次式のように各mに対するタップ重み更新量ベクトルでΔGj m(n)で構成されている。
ΔGj(n)=[ΔGj 1(n)T,ΔGj 2(n)T,…,ΔGj M(n)T]T (35)
手順1350では次式で定義される残響予測フィルタのタップ重みベクトルを計算する。
G'j m(n)=Gj m(n)+ΔGj m(n) (36)
手順1360ではタップ重みベクトルG'j m(n)を用いて残響抑圧処理された信号u'j(n)を計算する。
手順1370では繰り返し回数が予め定められた回数Rに到達しているか否かを判定し、処理を分岐させる。手順1380は繰り返し回数がRより少なかった場合に実行され、zj(n)をu'j(n)に更新する。
zj(n)=u'j(n) (38)
手順1380の後、手順1320が再び実行される。手順1390は繰り返し回数がRであった場合に実行され、次式にしたがってΦj(n)を更新する。
zj(n)=u'j(n) (38)
手順1380の後、手順1320が再び実行される。手順1390は繰り返し回数がRであった場合に実行され、次式にしたがってΦj(n)を更新する。
<実験結果>
本発明の効果を確認する実験を行った。ここでは本発明の実施形態として実施形態３を用いた。この実験では20名分の音声を用いた。各音声の音響信号を、残響時間が500ミリ秒の部屋で計測したインパルス応答に畳み込むことで、残響を含む観測音声を模擬した。用いたマイクロホンは2個、忘却係数αの値は0.99、遅延Dは2とした。また、観測音声信号の標本化周波数は8ｋHzとし、手順1010のフィルタバンク分析における分割数は256、間引き率は128とした。各帯域における残響予測フィルタの次数Kｊは、当該帯域における残響時間におよそ一致するように設定した。
本発明の効果を確認する実験を行った。ここでは本発明の実施形態として実施形態３を用いた。この実験では20名分の音声を用いた。各音声の音響信号を、残響時間が500ミリ秒の部屋で計測したインパルス応答に畳み込むことで、残響を含む観測音声を模擬した。用いたマイクロホンは2個、忘却係数αの値は0.99、遅延Dは2とした。また、観測音声信号の標本化周波数は8ｋHzとし、手順1010のフィルタバンク分析における分割数は256、間引き率は128とした。各帯域における残響予測フィルタの次数Kｊは、当該帯域における残響時間におよそ一致するように設定した。
図１１は観測音声と原音声の間の平均MFCC距離(MMD)及び本発明による処理後の音声と原音声の間のMMDを示している。図１２は本発明により得られたMMDの改善値(MMDI)を示している。図１２から読み取れるように、2秒以内にMMDIが増加し始め、5秒で収束状態に達している。これは本発明が高速な収束特性をもつことを実証している。
Claims (9)
- マイクロホンアレイの各マイクロホンによって観測された音声信号を狭帯域信号に分割し、同じ周波数帯域のすべてのマイクロホンに関する狭帯域信号を適応フィルタに入力して残響を抑圧し、それら残響が抑圧された信号を広帯域信号に再構成して出力する適応マイクロホンアレイ残響抑圧装置において、
上記適応フィルタは、
上記各狭帯域信号を予め定められた時間だけ遅延させる遅延素子と、
上記遅延素子の出力信号の標本を予め定められた個数だけベクトル化する第１のベクトル化器と、
上記第１のベクトル化器の出力ベクトル信号から１つのマイクロホンに関する上記狭帯域信号に含まれる残響成分を予測する残響予測フィルタと、
上記残響予測フィルタのタップ重みベクトルを重み付きRLS法に従って制御する適応重み制御機構とを備えることを特徴とする適応マイクロホンアレイ残響抑圧装置。 - 請求項１記載の適応マイクロホンアレイ残響抑圧装置において、
上記適応重み制御機構は、
すべてのマイクロホンに関する上記第１のベクトル化器の出力ベクトル信号をまとめて多チャネルのベクトル信号にする第２のベクトル化器と、
重みを計算する重み計算部と、
誤差共分散行列を更新する誤差共分散計算部と、
上記第２のベクトル化器の出力ベクトル信号と上記重みと上記誤差共分散行列からゲインベクトルを計算するゲインベクトル計算部とを備えることを特徴とする適応マイクロホンアレイ残響抑圧装置。 - 請求項２記載の適応マイクロホンアレイ残響抑圧装置において、
上記重み計算部は１つのマイクロホンに関する上記狭帯域信号の絶対値の冪乗を計算して上記重みとすることを特徴とする適応マイクロホンアレイ残響抑圧装置。 - 請求項２記載の適応マイクロホンアレイ残響抑圧装置において、
上記適応重み制御機構は上記適応フィルタの出力信号を用いて上記重みを再計算することを特徴とする適応マイクロホンアレイ残響抑圧装置。 - マイクロホンアレイの各マイクロホンによって観測された音声信号を狭帯域信号に分割するフィルタバンク分析処理と、同じ周波数帯域のすべてのマイクロホンに関する狭帯域信号から残響が抑圧された信号を適応的に計算する適応フィルタ処理と、それら残響が抑圧された信号を広帯域信号に再構成して出力するフィルタバンク合成処理とを含む適応マイクロホンアレイ残響抑圧方法において、
上記適応フィルタ処理は、上記各狭帯域信号を予め定められた時間だけ遅延させる遅延処理と、その遅延された信号の標本を予め定められた個数だけベクトル化する第１のベクトル化処理と、そのベクトル化された信号から１つのマイクロホンに関する上記狭帯域信号に含まれる残響成分を予測する残響予測フィルタ処理と、その残響予測フィルタ処理のタップ重みベクトルを重み付きRLS法によって制御する適応重み制御処理とを含むことを特徴とする適応マイクロホンアレイ残響抑圧方法。 - 請求項５記載の適応マイクロホンアレイ残響抑圧方法において、
上記適応重み制御処理は、すべてのマイクロホンに関する上記第１のベクトル化処理でベクトル化された信号をまとめて多チャネルのベクトル信号にする第２のベクトル化処理と、重みを計算する重み計算処理と、誤差共分散行列を計算する誤差共分散行列計算処理と、上記多チャネルのベクトル信号と上記重みと上記誤差共分散行列からゲインベクトルを計算するゲインベクトル計算処理とを含むことを特徴とする適応マイクロホンアレイ残響抑圧方法。 - 請求項６記載の適応マイクロホンアレイ残響抑圧方法において、
１つのマイクロホンに関する上記狭帯域信号の絶対値の冪乗を上記重みとすることを特徴とする適応マイクロホンアレイ残響抑圧方法。 - 請求項６記載の適応マイクロホンアレイ残響抑圧方法において、
上記適応フィルタ処理の出力信号を用いて上記重みを再計算することを特徴とする適応マイクロホンアレイ残響抑圧方法。 - 請求項５乃至８のいずれかに記載した適応マイクロホンアレイ残響抑圧方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009090291A JP5113794B2 (ja) | 2009-04-02 | 2009-04-02 | 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009090291A JP5113794B2 (ja) | 2009-04-02 | 2009-04-02 | 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010245697A JP2010245697A (ja) | 2010-10-28 |
| JP5113794B2 true JP5113794B2 (ja) | 2013-01-09 |
Family
ID=43098262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009090291A Active JP5113794B2 (ja) | 2009-04-02 | 2009-04-02 | 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5113794B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7175441B2 (ja) * | 2016-12-23 | 2022-11-21 | シナプティクス インコーポレイテッド | 雑音のある時変環境のための重み付け予測誤差に基づくオンライン残響除去アルゴリズム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2965301B2 (ja) * | 1989-09-08 | 1999-10-18 | アイシン精機株式会社 | 集音装置 |
| JPH04177910A (ja) * | 1990-11-09 | 1992-06-25 | Sekiyu Kodan | 並列アダプティブフィルタによる雑音キャンセラ |
| JP3654470B2 (ja) * | 1996-09-13 | 2005-06-02 | 日本電信電話株式会社 | サブバンド多チャネル音声通信会議用反響消去方法 |
| CA2354858A1 (en) * | 2001-08-08 | 2003-02-08 | Dspfactory Ltd. | Subband directional audio signal processing using an oversampled filterbank |
| JP4581114B2 (ja) * | 2005-05-16 | 2010-11-17 | 株式会社国際電気通信基礎技術研究所 | 適応型ビーム形成器 |
| JP4422692B2 (ja) * | 2006-03-03 | 2010-02-24 | 日本電信電話株式会社 | 伝達経路推定方法、残響除去方法、音源分離方法、これらの装置、プログラム、記録媒体 |
-
2009
- 2009-04-02 JP JP2009090291A patent/JP5113794B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010245697A (ja) | 2010-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Luo et al. | Real-time single-channel dereverberation and separation with time-domain audio separation network. | |
| EP2002542B1 (en) | Method and device for low delay processing | |
| TWI463488B (zh) | 包含晚期混響成分模型化之回聲抑制技術 | |
| JP5124014B2 (ja) | 信号強調装置、その方法、プログラム及び記録媒体 | |
| JP4945586B2 (ja) | 信号帯域拡張装置 | |
| JP6014259B2 (ja) | ノイズ削減利得の百分位数フィルタリング | |
| JP3177562B2 (ja) | 少遅延サブバンド適応フィルタ装置 | |
| US7774396B2 (en) | Method and device for low delay processing | |
| US20170251301A1 (en) | Selective audio source enhancement | |
| Yoshioka et al. | Integrated speech enhancement method using noise suppression and dereverberation | |
| JP2009047803A (ja) | 音響信号処理方法及び装置 | |
| EP2081189A1 (en) | Post-filter for beamforming means | |
| WO2007058121A1 (ja) | 残響抑圧の方法、装置及び残響抑圧用プログラム | |
| WO2014181330A1 (en) | A method and apparatus for suppression of unwanted audio signals | |
| JP2010282193A (ja) | 残響抑圧装置、及び残響抑圧方法 | |
| JP2007219479A (ja) | 音源分離装置、音源分離プログラム及び音源分離方法 | |
| US9001994B1 (en) | Non-uniform adaptive echo cancellation | |
| CN117136407A (zh) | 用于音频处理的深度神经网络去噪器掩模生成系统 | |
| Song et al. | An integrated multi-channel approach for joint noise reduction and dereverberation | |
| JP5113794B2 (ja) | 適応マイクロホンアレイ残響抑圧装置、適応マイクロホンアレイ残響抑圧方法及びプログラム | |
| JP5129794B2 (ja) | 目的信号強調装置とその方法と、プログラム | |
| Wang et al. | Improving frame-online neural speech enhancement with overlapped-frame prediction | |
| Kamarudin et al. | Acoustic echo cancellation using adaptive filtering algorithms for Quranic accents (Qiraat) identification | |
| JP4948019B2 (ja) | 適応信号処理装置およびその適応信号処理方法 | |
| Panda et al. | Individual-activation-factor based novel approach for acoustic feedback suppression in hearing aid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110715 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110825 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121002 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5113794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |