JP5826712B2 - マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム - Google Patents

Description

この発明は、マルチチャネル拡声通話系において音響エコーを消去するマルチチャネルエコー消去技術に関する。

近年、IP通信の高速化・大容量化を背景に、より自然な通話環境を提供できるマルチチャネル拡声型の双方向通信会議システムの開発が進展している。マルチチャネル再生技術は、ステレオから5.1チャネルへとチャネル数を拡大する方向に進んでいる。しかし、音が高い立体感を持って再生されるリスニングエリアは限られていて、スィートスポット化しており、スィートスポットの外では音の立体感が大幅に低減してしまう。そのため、参加者全員に均しく音の立体感を提供可能な、リスニングエリアの広いマルチチャネル再生技術が求められている。

このようなマルチチャネル再生技術として、近年、Wave Field Synthesis（以下、WFSと略す）の研究が進められている（非特許文献１参照）。WFSは、ある地点で取得した音波面を別の地点で再合成するために、数十以上のマイクロホンと数十以上のスピーカを必要とする。

WFSを双方向映像音声通信会議システムに適用しようとする場合、快適な通話環境を実現するためには、数十〜数百のスピーカから数十〜数百のマイクロホンに音響的に回り込む信号成分を収音信号から消去する必要がある。この処理を効率的に行う音響エコーキャンセラアルゴリズムとして、波数領域適応アルゴリズムが提案されている（非特許文献２参照）。

非特許文献２に記載のアルゴリズムでは、適応フィルタのフィルタ係数を波数領域に持つ。このアルゴリズムを適用したマルチチャネル通信会議システムは、Pチャネル再生系とPチャネル収音系とからなる。ただし、Pは2以上の整数である。Pチャネル再生信号はスピーカで音響信号として再生され、音響エコー経路を経てマイクロホンに回り込む。再生信号は、周波数領域に変換され、さらに周波数ごとに波数領域に変換される。この波数領域に変換された再生信号と波数領域の適応フィルタ係数からエコーレプリカを生成する。エコーレプリカは、周波数領域に変換され、さらに時間領域のPチャネル時間信号に変換される。そして、マイクロホン収音信号から時間領域に変換されたエコーレプリカを減算することでエコーを消去する。収音信号からエコーを消去した誤差信号は、周波数領域に変換され、さらに波数領域に変換される。そして、波数領域のPチャネル分の再生信号ベクトルと誤差信号から適応フィルタ係数を更新する。

A. J. Berkhout, D. de Vries, and P. Vogel, "Acoustic Control by wave field synthesis", Journal of Acoustic Society of America, vol.93, no.5, pp.2764-2778, 1993. M. Schneider, W. Kellermann, "A Wave-domain model for acoustic MIMO systems with reduced complexity", 2011 Joint Workshop on Hands-free Speech Communication and Microphone arrays, pp.133-138, 2012.

マルチチャネル拡声通話系における音響エコーキャンセラでは、適応フィルタにおけるエコー経路数はチャネル数の二乗に比例する。非特許文献２に記載の波数領域適応アルゴリズムを用いても、モノラルエコーキャンセラの演算量と比較すると、チャネル数に比例する演算量が必要となり、その演算量は膨大となる。

この発明はこのような点に鑑みてなされたものであり、マルチチャネル拡声通話系において音響エコーを消去するための演算量を削減することを目的とする。

上記の課題を解決するために、この発明のマルチチャネルエコー消去装置は、P個のスピーカとP個のマイクロホンと周波数変換部と波数変換部と波数限定部と乗算部と波数０詰め部と逆波数変換部と逆周波数変換部とエコー消去部と誤差周波数変換部と誤差波数変換部と誤差波数限定部と修正量算出部とフィルタ係数更新部とを備える。P個のスピーカは、直線上に等間隔に配列される。P個のマイクロホンは、直線上に等間隔に配列される。周波数変換部は、スピーカから出力されるPチャネルの再生信号を周波数領域再生信号に変換する。波数変換部は、周波数領域再生信号を波数領域再生信号に変換する。波数限定部は、周波数ごとに、波数の有効範囲を算出し、波数領域再生信号を有効範囲に限定する。乗算部は、有効範囲内で波数領域有効再生信号に波数領域適応フィルタ係数を乗算し、波数領域エコーレプリカを生成する。波数０詰め部は、有効範囲外の波数におけるエコーレプリカを０とする。逆波数変換部は、波数領域エコーレプリカを周波数領域エコーレプリカに変換する。逆周波数変換部は、周波数領域エコーレプリカを時間領域エコーレプリカに変換する。エコー消去部は、マイクロホンから収音されるPチャネルの収音信号から時間領域エコーレプリカを減算し、誤差信号を生成する。誤差周波数変換部は、誤差信号を周波数領域誤差信号に変換する。誤差波数変換部は、周波数領域誤差信号を波数領域誤差信号に変換する。誤差波数限定部は、波数領域誤差信号を、周波数ごとに算出済みの有効範囲に限定する。修正量算出部は、有効範囲内で波数領域再生信号と波数領域誤差信号を用いて、波数領域適応フィルタ係数の修正量を算出する。フィルタ係数更新部は、修正量を用いて、波数領域適応フィルタ係数を更新する。

この発明のマルチチャネルエコー消去技術によれば、マルチチャネル拡声通話系において、エコー消去性能を維持しながら、音響エコーを消去するための演算量を削減することができる。

従来のマルチチャネルエコー消去装置の機能構成を例示する図。 従来のエコーレプリカ生成部の機能構成を例示する図。 従来のマルチチャネルエコー消去装置の処理フローを例示する図。 従来のエコーレプリカ生成部の処理フローを例示する図。 誤差信号の合成方法を説明するための図。 単一周波数の平面波のサンプリングを説明するための図。 周波数−波数領域で信号成分が存在する範囲を説明するための図。 第１実施形態に係るマルチチャネルエコー消去装置の機能構成を例示する図。 第１実施形態に係るエコーレプリカ生成部の機能構成を例示する図。 第１実施形態に係るエコーレプリカ生成部の処理フローを例示する図。 空間エリアシングの発生とマイクロホン間隔との関係を説明するための図。 第１実施形態に係るマルチチャネルエコー消去装置のエコー消去量をシミュレーションした結果を示す図。 第１実施形態に係るマルチチャネルエコー消去装置のエコー消去量をシミュレーションした結果を示す図。 第１実施形態に係るマルチチャネルエコー消去装置の演算量削減効果を示す図。 第２実施形態に係るマルチチャネルエコー消去装置の機能構成を例示する図。 第２実施形態に係るエコーレプリカ生成部の機能構成を例示する図。 第２実施形態に係るエコーレプリカ生成部の処理フローを例示する図。 第２実施形態に係るマルチチャネルエコー消去装置のエコー消去量をシミュレーションした結果を示す図。 第２実施形態に係るマルチチャネルエコー消去装置のエコー消去量をシミュレーションした結果を示す図。 第２実施形態に係るマルチチャネルエコー消去装置の演算量削減効果を示す図。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

なお、この明細書の表記においては、_Aは、

を表すものとする。また、A^は、

を表すものとする。

［従来のマルチチャネルエコー消去装置］
＜概要＞
実施形態の説明に先立ち、従来のマルチチャネルエコー消去装置の処理について詳細に説明する。このマルチチャネルエコー消去装置は、非特許文献２に記載されている波数領域適応アルゴリズムにより収音信号から音響エコーを消去する。

＜構成＞
図１に従来のマルチチャネルエコー消去装置９の構成例を示す。従来のマルチチャネルエコー消去装置９は、P(≧2)個の入力端子１₁，…，１_PとP個のスピーカ２₁，…，２_PとP個のマイクロホン３₁，…，３_PとP個の出力端子４₁，…，４_PとP個の周波数変換部１１₁，…，１１_Pと波数変換部１２とP個のエコーレプリカ生成部２１₁，…，２１_Pと逆波数変換部３１とP個の逆周波数変換部３２₁，…，３２_Pとエコー消去部３３とP個の誤差周波数変換部４１₁，…，４１_Pと誤差波数変換部４２とフレーム合成部９１とを備える。P個のマイクロホン３₁，…，３_Pは直線上に等間隔に配列されている。

図２にマルチチャネルエコー消去装置９が備えるエコーレプリカ生成部２１_p(1≦p≦P)の構成例を示す。エコーレプリカ生成部２１_pは、修正量算出部２１１とフィルタ係数更新部２１３と乗算部２１５とを備える。

＜動作＞
図３，４を参照して、マルチチャネルエコー消去装置９の動作例を、実際に行われる手続きの順に従って詳細に説明する。以下の説明では、各信号を、1フレーム2Fサンプル、シフト量F/Dサンプルでブロック化する。ただし、Fは自然数であり、DはFを割り切る自然数である。ＦＦＴ計算を簡略化・高速化するために、Fを2のべき乗とすることが一般的である。この例では、D≧2であるものとして説明する。また、nを時刻、iをフレーム番号とする。

周波数変換部１１_p(1≦p≦P)は、Pチャネル再生信号x(p,n)の1フレーム分(2Fサンプル)を、式(1)に従ってブロック化して、再生信号ベクトルx(p,i)を生成する。

続いて、再生信号ベクトルx(p,i)を、式(2)に従って周波数領域に変換して、周波数領域の再生信号ベクトルX(p,i)を生成する（Ｓ１１）。

ここで、fは周波数のインデックスである。再生信号のサンプリング周波数をf_sとすると、式(2)のX_f(p,i)は周波数f_sf/2F[Hz]の成分となる。

波数変換部１２は、周波数インデックスfごとに、周波数領域の再生信号X_f(p,i)を波数領域の再生信号_X_f(k,i)に変換する（Ｓ１２）。再生信号のチャネル数Pが偶数である場合には、式(3)に従って波数領域に変換する。ここでは、P=2Kとする。

一方、再生信号のチャネル数Pが奇数である場合には、式(4)により波数領域に変換する。ここでは、P=2K+1とする。

周波数領域から波数領域への変換は、通常2のべき乗の点数を持つ高速フーリエ変換で高速に行う。以下の説明では、チャネル数Pが偶数である場合を例として説明する。

エコーレプリカ生成部２１_p(1≦p≦P)の備える乗算部２１５は、f≦Fである周波数インデックスfについて、全波数インデックス、すなわち-K≦k<Kにおいて、波数領域の再生信号_X_f(k,i)に適応フィルタ係数_H_f(k,k,i)を乗算し、波数領域のエコーレプリカ_Y^_f(k,i)を生成する（Ｓ２１５）。この複素数乗算は式(5)のように表すことができる。

この際、式(6)のように隣接する空間周波数成分を含めてもよい。なお、非特許文献２では、δとして1もしくは2が推奨されている。

逆波数変換部３１は、波数領域のエコーレプリカ_Y^_f(k,i)を、式(7)に従って周波数領域に変換し、周波数領域エコーレプリカY^_f(p,i)を生成する（Ｓ３１）。

なお、f>Fである周波数インデックスfについては、実数信号のフーリエ変換結果に関する対称性を利用して、式(8)に従って周波数領域のエコーレプリカY^_f(p,i)を生成する。ここで、conj(・)は、・の複素共役をとることを意味する。

逆周波数変換部３２_p(1≦p≦P)は、周波数領域のエコーレプリカY^_f(p,i)を、式(9)に従って逆高速フーリエ変換し、時間領域のエコーレプリカ信号ベクトルy^(p,i)に変換する（Ｓ３２）。ここで、0_FはF×Fのゼロ行列であり、I_FはF×Fの単位行列である。

エコー消去部３３は、Pチャネル収音信号y(p,n)の1フレーム分(2Fサンプル)を、式(10)に従ってブロック化して、収音信号ベクトルy(p,i)を生成する。

続いて、式(11)に従って、収音信号ベクトルy(p,i)からエコーレプリカ信号ベクトルy^(p,i)を減算し、誤差信号ベクトルe(p,i)を生成する（Ｓ３３）。

式(1)および式(10)において、各信号をフレーム化する際にD≧2とする場合には、フレーム合成部９１によりフレーム番号iで求めた誤差信号とそれ以前のフレーム番号で求めた誤差信号を窓かけ処理を経て合成する必要がある（Ｓ９１）。図５を参照して窓かけ処理について説明する。D=2の場合、長さF/2の窓W_Hを使用して、式(12)に従って合成後の誤差信号ベクトルe'(p,i)を算出する。ここで、0_F/2は(F/2)×(F/2)のゼロ行列であり、I_F/2は(F/2)×(F/2)の単位行列である。窓W_Hは、例えばハニング窓である。

誤差周波数変換部４１_p(1≦p≦P)は、誤差信号ベクトルe(p,i)を、式(13)に従って周波数領域に変換して、周波数領域の誤差信号ベクトルE(p,i)を生成する（Ｓ４１）。

誤差波数変換部４２は、周波数領域の誤差信号E_f(p,i)を、式(14)に従って波数領域に変換して、波数領域の誤差信号_E_f(k,i)を生成する（Ｓ４２）。

エコーレプリカ生成部２１_p(1≦p≦P)の備える修正量算出部２１１は、f≦Fである周波数インデックスfについて、全波数インデックス(-K≦k<K)において、式(15)に従って適応フィルタ係数の修正量d_H_f(k,k+dk,i)を算出する（Ｓ２１１）。ただし、dkは-δ≦df≦δである。

ただし、conj(・)は、・の複素共役をとることを意味する。ρは、分母が0になることを防止するための微小な正の定数である。_Z_f(k,i)は、周波数成分ごとの波数インデックスが(k-δ)〜(k+δ)である再生信号_X(k,i)のパワー総和であり、修正量d_H(k,k+dk,i)を補正している。_Z_f(k,i)は、式(16)で求められる。ただし、βはパワー計算で短時間平均をとるための平滑化定数であり、0から1までの値をとる。

エコーレプリカ生成部２１_p(1≦p≦P)の備えるフィルタ係数更新部２１３は、式(17)に従って修正量d_H_f(k,k+dk,i)を用いて適応フィルタ係数_H_f(k,k,i)を更新する（Ｓ２１３）。ただし、μはステップサイズであり、0から1までの値をとる。

このように、従来のマルチチャネルエコー消去装置では、例えば、スピーカおよびマイクロホンの数Pが100であるとして、δ=0と設定した場合、適応フィルタにおけるエコー経路数は100チャネル分、すなわちモノラルエコーキャンセラの100倍になる。さらにδ=2と設定した場合、100×(1+2×δ(=2))=500チャネル分にも達し、その演算量は膨大なものとなる。この発明の課題は、エコー経路数が多いマルチチャネル拡声通話系において、音響エコーを消去するための演算量を削減することである。

［発明のポイント］
この発明の動作原理について説明する。まず、単一周波数の平面波が波数領域でどのように表現されるかを考える。周波数−波数空間で見ると、波の存在範囲は周波数に応じて限定されることが知られている（詳細は「T. Ajdler, L. Sbaiz, and M. Vetterli, “Dynamic measurement of room impulse responses using a moving microphone”, J. Acoust. Soc. Am., 122 (3), 2007, 1636-1645.（参考文献１）」参照）。図６を参照して、角度αで入射する単一周波数f₀[Hz]の平面波を考える。この例では、マイクロホン素子が直線上に間隔dで等間隔に配列されている。マイクロホン素子列をu軸上にとると、u軸上での音圧の時間変動は、tを時刻として式(18)で表すことができる。

ただし、角周波数ω₀と波数φ₀は、音速をvelocとして、式(19)の関係となる。

u-t軸上の音圧を周波数−波数領域に変換すると、式(20)で表すことができる。

式(20)によれば、時間−空間領域で単一周波数の平面波は、周波数−波数領域では1点で表されることがわかる。

全周波数で同一の周波数成分を持ち、時間−空間領域において式(21)で表される平面波は、周波数−波数領域においては式(22)であり、直線で表される。

平面波の入射角αは0〜180度の範囲をとるため、周波数−波数領域でみると、平面波の存在範囲は式(23)を満たす範囲に限定される。

ただしｆ’は角周波数ωに対応する周波数[Hz]である。

図７に周波数−波数領域における波の存在範囲を図示する。縦軸が波数φであり、横軸が角周波数ωである。この場合、波は、傾き1/velocの直線と傾き-1/velocの直線により囲われた範囲のみに存在することになる。

実際のマイクロホン列によるサンプリングは離散的である。時間方向について、サンプリング周波数をf_s、フレーム長を2Fとして2F点-FFTを使用し、空間方向について、マイクロホン間隔をd、マイクロホン数を2Kとして2K点-FFTを使用する場合、対象となる周波数の範囲は0〜f_s/2[Hz]であり、波数φの範囲は-π/d〜π/dになる。

非特許文献２に記載の波数領域適応アルゴリズムでは、波数領域でエコーレプリカを求める処理および適応フィルタ係数を更新する処理において、全波数φの範囲-π/d〜π/dに対応する-K≦k<Kの範囲で処理を行なっている。しかし上記の知見によれば、周波数−波数領域で信号成分の存在する範囲は音波の周波数が低いほど狭くなる。この発明は、この周波数と波数範囲の関係に基づいて、信号成分の存在する範囲においてのみエコーレプリカの算出処理と適応フィルタ係数の更新処理を行う。これらの処理を信号成分の存在範囲に絞り込むことで、演算量を削減することができる。

［第１実施形態］
＜構成＞
図８に第１実施形態のマルチチャネルエコー消去装置１０の構成例を示す。マルチチャネルエコー消去装置１０は、P(≧2)個の入力端子１₁，…，１_PとP個のスピーカ２₁，…，２_PとP個のマイクロホン３₁，…，３_PとP個の出力端子４₁，…，４_PとP個の周波数変換部１１₁，…，１１_Pと波数変換部１２とP個のエコーレプリカ生成部２２₁，…，２２_Pと逆波数変換部３１とP個の逆周波数変換部３２₁，…，３２_Pとエコー消去部３３とP個の誤差周波数変換部４１₁，…，４１_Pと誤差波数変換部４２とフレーム合成部９１とを備える。P個のスピーカ２₁，…，２_Pは直線上に等間隔に配列されている。P個のマイクロホン３₁，…，３_Pは直線上に等間隔に配列されている。

周波数変換部１１、逆周波数変換部３２、誤差周波数変換部４１は従来のマルチチャネルエコー消去装置９と同様に周波数変換または逆周波数変換を実行する。上記ではFFT処理または逆FFT処理を用いる例を説明したが、FFT以外の処理により周波数変換または逆周波数変換を行うことも可能である。

図９にマルチチャネルエコー消去装置１０が備えるエコーレプリカ生成部２２_p(1≦p≦P)の構成例を示す。エコーレプリカ生成部２２_pは、修正量算出部２１１とフィルタ係数更新部２１３と乗算部２１５と波数限定部２１６と誤差波数限定部２１７と波数０詰め部２１８とを備える。

従来のマルチチャネルエコー消去装置９と第１実施形態のマルチチャネルエコー消去装置１０との相違点は、エコーレプリカ生成部の構成が異なることのみである。マルチチャネルエコー消去装置９が備えるエコーレプリカ生成部２１_pとマルチチャネルエコー消去装置１０が備えるエコーレプリカ生成部２２_pとの相違点は、波数限定部２１６と誤差波数限定部２１７と波数０詰め部２１８を備える点である。

＜動作＞
図１０を参照して、エコーレプリカ生成部２２_pの動作例を、実際に行われる手続きの順に従って詳細に説明する。

エコーレプリカ生成部２２_pの備える波数限定部２１６は、周波数インデックスfごとに、有効波数インデックスmax_k(f)を算出する。そして、波数領域の再生信号_X_f(k,i)を-max_k(f)≦k≦max_k(f)の範囲に限定して、波数領域の有効再生信号_X_f(k,i)を生成する（Ｓ２１６）。

周波数インデックスfの波は、周波数f_sf/2F[Hz]の波に対応する。この波の角周波数ωは式(24)で表すことができるため、この波の波数の上限は式(25)で表すことができる。

波数インデックスKがπ/dに対応することから、対応する波数インデックスの上限max_k(f)は、式(26)で表すことができる。ただし、ceil(・)は、・を整数へ切り上げる関数である。

以上より、周波数インデックスfについての有効な波数インデックスの範囲は-max_k(f)≦k≦max_k(f)となる。

エコーレプリカ生成部２２_pの備える乗算部２１５は、上記の式(5)に従って、-max_k(f)≦k≦max_k(f)の範囲で、波数領域の有効再生信号_X_f(k,i)に適応フィルタ係数_H_f(k,k,i)を乗算することで、波数領域のエコーレプリカ_Y^_f(k,i)を生成する（Ｓ２１５）。隣接する空間周波数成分を含める場合には、上記の式(6)に従って、-max_k(f)≦k≦max_k(f)の範囲で、波数領域の有効再生信号_X_f(k,i)に適応フィルタ係数_H_f(k,k,i)を乗算することで、波数領域エコーレプリカ_Y^_f(k,i)を生成すればよい。

エコーレプリカ生成部２２_pの備える波数０詰め部２１８は、波数領域のエコーレプリカ_Y^_f(k,i)について、k<-max_k(f)およびk>max_k(f)の範囲について、_Y^_f(k,i)=0とする（Ｓ２１８）。

エコーレプリカ生成部２２_pの備える誤差波数限定部２１７は、周波数インデックスfごとに、波数領域の誤差信号_E_f(k,i)を-max_k(f)≦k≦max_k(f)の範囲に限定して、波数領域の有効誤差信号_E_f(k,i)を生成する（Ｓ２１７）。有効波数インデックスmax_k(f)は、波数限定部２１６が求めた値を用いることができる。

エコーレプリカ生成部２２_pの備える修正量算出部２１１は、f≦Fである周波数インデックスfについて、波数インデックスkが-max_k(f)≦k≦max_k(f)である範囲において、上記の式(15)に従って、修正量d_H_f(k,k+dk,i)(-δ≦dk≦δ)を算出する（Ｓ２１１）。

エコーレプリカ生成部２２_pの備えるフィルタ係数更新部２１３は、上記の式(16)(17)に従って、適応フィルタ係数の修正量d_H_f(k,k+dk,i)を用いて適応フィルタ係数_H_f(k,k,i)を更新する（Ｓ２１３）。

図１１を参照して、空間エリアシングの発生とマイクロホン間隔の関係について説明する。サンプリング周波数f_sのとき、時間サンプリングの上限である周波数f_s/2[Hz]の波では、波数がπf_s/velocになる。マイクロホン間隔dが十分小さくπ/dがこの値より大きいときには空間エリアシングは生じない。しかし、マイクロホン間隔dが相対的に長くπ/dがこの値より小さい場合には空間エリアシングが生じる。マイクロホン間隔dとサンプリング周波数f_sは、空間エリアシングが発生しない値に設定しなければならない。

＜シミュレーション結果＞
第１実施形態の効果を確認するために、エコー消去量のシミュレーションを行った。残響時間250ミリ秒の部屋で、32個のスピーカ素子を間隔2cmで直線上に配列したスピーカアレーと、32個のマイクロホン素子を間隔2cmで直線上に配列したマイクロホンアレーとを、40cm離して平行に配置した。サンプリング周波数は16kHzに設定し、フレーム長を2F=2048に設定した。再生信号は別途ピンクノイズを音源として、32マイクロホンによる収音を模擬して生成した。この環境において、スピーカ・マイクロホン間の全エコー経路についてインパルス応答を測定した。

図１２，１３は残響エコーの消去結果である。図１２（Ａ１）は、32チャネル中の第１チャネルについて、従来のマルチチャネルエコー消去方法を用いてエコー消去処理を行った場合の収音信号レベルとエコー消去処理後の信号レベルをプロットした図である。点線が収音信号レベルであり、実線がエコー消去処理後の信号レベルである。図１２（Ａ２）は、第１チャネルについて、第１実施形態のマルチチャネルエコー消去方法を用いてエコー消去処理を行った場合の収音信号レベルとエコー消去処理後の信号レベルをプロットした図である。図１２（Ｂ１）は第３チャネルについて従来の方法を用いてエコーを消去した結果であり、図１２（Ｂ２）は第３チャネルについて第１実施形態の方法を用いてエコーを消去した結果である。図１２（Ｃ１）は第５チャネルについて従来の方法を用いてエコーを消去した結果であり、図１２（Ｃ２）は第５チャネルについて第１実施形態の方法を用いてエコーを消去した結果である。図１３（Ｄ１）は第７チャネルについて従来の方法を用いてエコーを消去した結果であり、図１３（Ｄ２）は第７チャネルについて第１実施形態の方法を用いてエコーを消去した結果である。図１３（Ｅ１）は第９チャネルについて従来の方法を用いてエコーを消去した結果であり、図１３（Ｅ２）は第９チャネルについて第１実施形態の方法を用いてエコーを消去した結果である。

この発明は、エコー消去性能を維持しつつエコー消去の演算量を低減することが目的であるので、いずれのチャネルにおいても従来の方法によるエコー消去量と第１実施形態の方法によるエコー消去量が同等であること、すなわち実線でプロットされたエコー消去処理後の信号レベルが同等のpower[dB]であることが望ましい。

第３，５，７，９チャネルでは第１実施形態の方法は従来の方法と同等にエコーを消去できていることがわかる。第１チャネルでは第１実施形態の方法によるエコー消去量が従来の方法によるエコー消去量よりも劣化しているが、劣化幅は2dBにとどまっている。

図１４に第１実施形態のマルチチャネルエコー消去方法による演算量の削減効果を示す。演算量は１フレーム分の信号処理に必要な複素数乗算のカウントである。従来の方法による各処理部の演算量は、以下のようになる。

・周波数変換部１１（Ｓ１１）：2F点-FFT×Pチャネル
・波数変換部１２（Ｓ１２）：P点-FFT×Fバンド
・エコーレプリカ生成部２１（Ｓ２１Ａ）：Pチャネル×(1+2δ)×Fバンド×Cブロック
・逆波数変換部３１（Ｓ３１）：P点-逆FFT×Fバンド
・逆周波数変換部３２（Ｓ３２）：2P点-逆FFT×Pチャネル
・誤差周波数変換部４１（Ｓ４１）：2F点-FFT×Pチャネル
・誤差波数変換部４２（Ｓ４２）：P点-FFT×Fバンド
・エコーレプリカ生成部２１（Ｓ２１Ｂ）：{Pチャネル×(1+2δ)+2}×Fバンド×Cブロック
第１実施形態のマルチチャネルエコー消去装置によれば、エコーレプリカ生成部２１（Ｓ２１Ａ、Ｓ２１Ｂ）の演算量がそれぞれ半減する。

図１４は、第１実施形態の方法による演算量削減効果を示す図である。縦軸を複素数乗算数、横軸をチャネル数として、1フレーム分の信号処理に必要な複素数乗算のカウント数を、マイクロホン数P=32,64,128,256、δ=1、フレーム長2F=2048の場合について、従来の方法による演算量を点線で、第１実施形態の方法による演算量を実線でプロットしている。なお、2F点-FFTの乗算量をFlog2(2F)として算出した。いずれのチャネル数においても、第１実施形態の方法による演算量の方が、従来の方法による演算量よりも15%強削減できていることがわかる。

＜効果＞
このように、この発明のマルチチャネルエコー消去装置は、周波数−波数領域では、周波数が低いほど有効な波数領域が限定されることに着目して、エコーレプリカの生成処理と適応フィルタ係数の更新処理を有効な波数領域に限定する。その結果、エコー消去性能を維持しながら、多数のスピーカとマイクロホンからなるマルチチャネル拡声通話系において全体としての演算量を削減することができる。

［第２実施形態］
＜概要＞
この発明の第２実施形態は、波数領域の適応フィルタに、周波数領域適応アルゴリズムの考え方を組み合わせた場合である。周波数領域適応アルゴリズムについての詳細は「E. Moulines, O. A. Amrane, and Y. Grenier, “The Generalized Multidelay Adaptive Filter: Structure and Convergence Analysis”, IEEE Trans. on SP, vol. 43, no. 1, 1995.（参考文献２）」を参照されたい。参考文献２は、適応フィルタを時間方向に分割する方法を示している。この分割により、処理遅延を抑えつつ適応フィルタ長を伸ばして、処理対象とするインパルス応答の長さに合わせることができるため、エコーキャンセラをより残響の長い部屋に対応させることができるようになる。

＜構成＞
図１５に第２実施形態のマルチチャネルエコー消去装置１０’の構成例を示す。マルチチャネルエコー消去装置１０’は、第１実施形態のマルチチャネルエコー消去装置１０と同様に、P(≧2)個の入力端子１₁，…，１_PとP個のスピーカ２₁，…，２_PとP個のマイクロホン３₁，…，３_PとP個の出力端子４₁，…，４_PとP個の周波数変換部１１₁，…，１１_Pと波数変換部１２と逆波数変換部３１とP個の逆周波数変換部３２₁，…，３２_Pとエコー消去部３３とP個の誤差周波数変換部４１₁，…，４１_Pと誤差波数変換部４２とフレーム合成部９１とを備える。P個のエコーレプリカ生成部２２₁，…，２２_Pの替わりに、P個のエコーレプリカ生成部２３₁，…，２３_Pを備える。

図１６にマルチチャネルエコー消去装置１０’が備えるエコーレプリカ生成部２３_p(1≦p≦P)の構成例を示す。エコーレプリカ生成部２３_pは、第１実施形態のエコーレプリカ生成部２２_pと同様に、波数限定部２１６と誤差波数限定部２１７と波数０詰め部２１８とを備える。修正量算出部２１１の替わりに修正量算出部２２１を備え、フィルタ係数更新部２１３の替わりにフィルタ係数更新部２２３を備え、乗算部２１５の替わりに乗算部２２５を備える。さらに、受話蓄積部２１９を備える。

第１実施形態のマルチチャネルエコー消去装置１０と第２実施形態のマルチチャネルエコー消去装置１０’との相違点は、エコーレプリカ生成部の構成が異なることのみである。マルチチャネルエコー消去装置１０が備えるエコーレプリカ生成部２２_pとマルチチャネルエコー消去装置１０’が備えるエコーレプリカ生成部２３_pとの相違点は、受話蓄積部２１９をさらに備える点と、修正量算出部とフィルタ係数更新部と乗算部の処理が異なる点である。

＜動作＞
図１７を参照して、エコーレプリカ生成部２３_pの動作例を、実際に行われる手続きの順に従って詳細に説明する。この実施形態では、適応フィルタ係数は_H_f(k,k,i,c)(0≦c≦C-1)のように、時間方向にC個に分割されている。

エコーレプリカ生成部２３_pの備える受話蓄積部２１９には、波数限定部２１６の生成する波数領域の有効再生信号_X_f(p,i)のうち、直近の2C-1個である_X_f(p,i)〜_X_f(p,i-2(C-1))が蓄積される（Ｓ２１９）。

エコーレプリカ生成部２３_pの備える乗算部２２５は、下記の式(27)に従って、-max_k(f)≦k≦max_k(f)の範囲で、時間方向に分割された適応フィルタ係数_H_f(k,k,i,c)(0≦c≦C-1)に対応する波数領域の有効再生信号を乗算して和をとることで、波数領域のエコーレプリカ_Y^_f(k,i)を生成する（Ｓ２２５）。ここでは、フレームのシフト量をF/2(D=2)に設定している。

隣接する空間周波数成分を含める場合には、下記の式(28)に従って、-max_k(f)≦k≦max_k(f)の範囲で、時間方向に分割された適応フィルタ係数_H_f(k,k,i,c)(0≦c≦C-1) に対応する波数領域の有効再生信号を乗算して和をとることで、波数領域エコーレプリカ_Y^_f(k,i)を生成すればよい。

エコーレプリカ生成部２３_pの備える修正量算出部２２１は、f≦Fである周波数インデックスfについて、波数インデックスkが-max_k(f)≦k≦max_k(f)である範囲において、下記の式(29)に従って、適応フィルタの修正量d_H_f(k,k+dk,i,c)を算出する（Ｓ２２１）。

ただし、conj(・)は、・の複素共役をとることを意味する。ρは、分母が0になることを防止するための微小な正の定数である。_Z_f(k,i)は、周波数成分ごとの波数インデックスが(k-δ)〜(k+δ)である再生信号_X(k,i)のパワー総和であり、修正量d_H(k,k+dk,i)を補正している。_Z_f(k,i)は、式(30)で求められる。ただし、βは、パワー計算で短時間平均をとるための平滑化定数であり、0から1までの値をとる。

エコーレプリカ生成部２３_p(1≦p≦P)の備えるフィルタ係数更新部２２３は、下記の式(31)に従って、修正量d_H_f(k,k+dk,i,c)を用いて適応フィルタ係数_H_f(k,k,i,c)を更新する（Ｓ２２３）。ただし、μは、ステップサイズであり、0から1までの値をとる。

＜シミュレーション結果＞
第２実施形態の効果を確認するために、エコー消去量のシミュレーションを行った。残響時間250ミリ秒の部屋で、32個のスピーカ素子を間隔2cmで直線上に配列したスピーカアレーと、32個のマイクロホン素子を間隔2cmで直線上に配列したマイクロホンアレーとを、40cm離して平行に配置した。サンプリング周波数は16kHzに設定し、フレーム長を2F=512に、適応フィルタの分割数をC=4に設定した。再生信号は別途ピンクノイズを音源として、32マイクロホンによる収音を模擬して生成した。この環境において、スピーカ・マイクロホン間の全エコー経路についてインパルス応答を測定した。

図１８，１９は残響エコーの消去結果である。図１８（Ａ１）は、32チャネル中の第１チャネルについて、従来のマルチチャネルエコー消去方法を用いてエコー消去処理を行った場合の収音信号レベルとエコー消去処理後の信号レベルをプロットした図である。点線が収音信号レベルであり、実線がエコー消去処理後の信号レベルである。図１８（Ａ２）は、第１チャネルについて、第２実施形態のマルチチャネルエコー消去方法を用いてエコー消去処理を行った場合の収音信号レベルとエコー消去処理後の信号レベルをプロットした図である。図１８（Ｂ１）は第３チャネルについて従来の方法を用いてエコーを消去した結果であり、図１８（Ｂ２）は第３チャネルについて第２実施形態の方法を用いてエコーを消去した結果である。図１８（Ｃ１）は第５チャネルについて従来の方法を用いてエコーを消去した結果であり、図１８（Ｃ２）は第５チャネルについて第２実施形態の方法を用いてエコーを消去した結果である。図１９（Ｄ１）は第７チャネルについて従来の方法を用いてエコーを消去した結果であり、図１９（Ｄ２）は第７チャネルについて第２実施形態の方法を用いてエコーを消去した結果である。図１９（Ｅ１）は第９チャネルについて従来の方法を用いてエコーを消去した結果であり、図１９（Ｅ２）は第９チャネルについて第２実施形態の方法を用いてエコーを消去した結果である。

第１実施形態と同様に、いずれのチャネルにおいても従来の方法によるエコー消去量と第２実施形態の方法によるエコー消去量が同等であること、すなわち実線でプロットされたエコー消去処理後の信号レベルが、同一のチャネルにおいて従来の方法と第２実施形態の方法とで同等のpower[dB]であることが望ましい。

第３，５，７，９チャネルでは第２実施形態の方法は従来の方法と同等にエコーを消去できていることがわかる。第１チャネルでは第２実施形態の方法によるエコー消去量が従来の方法によるエコー消去量よりも劣化しているが、劣化幅は2dBにとどまっている。つまり、第２実施形態の方法によっても、第１実施形態の方法による場合と同等のエコー消去性能を有していることがわかる。

図２０は、第２実施形態の方法による演算量削減効果を示す図である。縦軸を複素数乗算数、横軸をチャネル数として、1フレーム分の信号処理に必要な複素数乗算のカウント数を、マイクロホン数P=32,64,128,256、δ=1、フレーム長2F=512、分割数C=4の場合について、従来の方法による演算量を点線で、第２実施形態の方法による演算量を実線でプロットしている。いずれのチャネル数においても、第２実施形態の方法による演算量の方が、従来の方法による演算量よりも35%削減できていることがわかる。

＜効果＞
このようにこの発明によれば、第２実施形態のマルチチャネルエコー消去装置のように波数領域適応フィルタを時間方向に分割した場合であっても、第１実施形態のマルチチャネルエコー消去装置と同様に、エコー消去性能を維持しながら、多数のスピーカとマイクロホンからなるマルチチャネル拡声通話系において全体としての演算量を削減することができる。

［プログラム、記録媒体］
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

９，１０，１０’ マルチチャネルエコー消去装置
１ 入力端子
２ スピーカ
３ マイクロホン
４ 出力端子
１１ 周波数変換部
１２ 波数変換部
２１，２２，２３ エコーレプリカ生成部
３１ 逆波数変換部
３２ 逆周波数変換部
３３ エコー消去部
４１ 誤差周波数変換部
４２ 誤差波数変換部
９１ フレーム合成部
２１１，２２１ 修正量算出部
２１３，２２３ フィルタ係数更新部
２１５，２２５ 乗算部
２１６ 波数限定部
２１７ 誤差波数限定部
２１８ 波数０詰め部
２１９ 受話蓄積部

Claims (6)

1. 直線上に等間隔に配列されたP(P≧2)個のスピーカと、
   直線上に等間隔に配列されたP個のマイクロホンと、
   前記スピーカから出力されるPチャネルの再生信号を周波数領域再生信号に変換する周波数変換部と、
   前記周波数領域再生信号を波数領域再生信号に変換する波数変換部と、
   周波数ごとに波数の有効範囲を算出し、前記波数領域再生信号を前記有効範囲に限定する波数限定部と、
   前記有効範囲内で前記波数領域再生信号に波数領域適応フィルタ係数を乗算し、波数領域エコーレプリカを生成する乗算部と、
   前記有効範囲外の波数におけるエコーレプリカを０とする波数０詰め部と、
   前記波数領域エコーレプリカを周波数領域エコーレプリカに変換する逆波数変換部と、
   前記周波数領域エコーレプリカを時間領域エコーレプリカに変換する逆周波数変換部と、
   前記マイクロホンから収音されるPチャネルの収音信号から前記時間領域エコーレプリカを減算し、誤差信号を生成するエコー消去部と、
   前記誤差信号を周波数領域誤差信号に変換する誤差周波数変換部と、
   前記周波数領域誤差信号を波数領域誤差信号に変換する誤差波数変換部と、
   前記波数領域誤差信号を、周波数ごとに算出済みの前記有効範囲に限定する誤差波数限定部と、
   前記有効範囲内で前記波数領域再生信号と前記波数領域誤差信号を用いて、前記波数領域適応フィルタ係数の修正量を算出する修正量算出部と、
   前記修正量を用いて、前記波数領域適応フィルタ係数を更新するフィルタ係数更新部と、
   を備えるマルチチャネルエコー消去装置。
2. 請求項１に記載のマルチチャネルエコー消去装置であって、
   前記再生信号を所定時間ごとに分割して周波数領域を経由して波数領域に変換し、前記有効範囲内にある前記波数領域再生信号を過去複数個分蓄積する受話蓄積部を備え、
   前記乗算部は、蓄積した波数領域再生信号に対応する適応フィルタ係数を乗算し、その総和をとることで前記波数領域エコーレプリカを生成する
   ことを特徴とするマルチチャネルエコー消去装置。
3. 請求項１または２に記載のマルチチャネルエコー消去装置であって、
   周波数ごとの波数の有効範囲の上限と下限を、周波数の一次関数として算出する
   ことを特徴とするマルチチャネルエコー消去装置。
4. 請求項３に記載のマルチチャネルエコー消去装置であって、
   周波数がf[Hz]のときの波数の有効範囲を
   

   

   で求める
   ことを特徴とするマルチチャネルエコー消去装置。
5. 直線上に等間隔に配列されたP(P≧2)個のスピーカから出力されるPチャネルの再生信号を周波数領域再生信号に変換する周波数変換ステップと、
   前記周波数領域再生信号を波数領域再生信号に変換する波数変換ステップと、
   周波数ごとに波数の有効範囲を算出し、前記波数領域再生信号を前記有効範囲に限定する波数限定ステップと、
   前記有効範囲内で前記波数領域再生信号に波数領域適応フィルタ係数を乗算し、波数領域エコーレプリカを生成する乗算ステップと、
   前記有効範囲外の波数におけるエコーレプリカを０とする波数０詰めステップと、
   前記波数領域エコーレプリカを周波数領域エコーレプリカに変換する逆波数変換ステップと、
   前記周波数領域エコーレプリカを時間領域エコーレプリカに変換する逆周波数変換ステップと、
   直線上に等間隔に配列されたP個のマイクロホンから収音されるPチャネルの収音信号から前記時間領域エコーレプリカを減算し、誤差信号を生成するエコー消去ステップと、
   前記誤差信号を周波数領域誤差信号に変換する誤差周波数変換ステップと、
   前記周波数領域誤差信号を波数領域誤差信号に変換する誤差波数変換ステップと、
   前記波数領域誤差信号を、周波数ごとに算出済みの前記有効範囲に限定する誤差波数限定ステップと、
   前記有効範囲内で前記波数領域再生信号と前記波数領域誤差信号を用いて、前記波数領域適応フィルタ係数の修正量を算出する修正量算出ステップと、
   前記修正量を用いて、前記波数領域適応フィルタ係数を更新するフィルタ係数更新ステップと、
   を含むマルチチャネルエコー消去方法。
6. 請求項１から４のいずれかに記載のマルチチャネルエコー消去装置としてコンピュータを機能させるためのプログラム。

Images