JP4787851B2 - エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置と、装置プログラムと記録媒体 - Google Patents

Description

この発明は、音響再生系を有する通信会議システム等に用いられるエコー消去装置及び、それに適用されるエコー抑圧ゲイン推定方法と、そのプログラムと記録媒体に関する。

短時間スペクトル振幅（STSA：Sort-Time Spectral Amplitude）推定に基づくエコー抑圧処理は、エコーと近端話者音声の無相関を仮定してエコーを抑圧するゲイン係数を推定し、振幅周波数領域でエコーを抑圧する方法である。このエコー抑圧ゲイン推定方法を用いたエコー消去装置８０の機能構成例を図８に示してその動作を簡単に説明する。

エコー消去装置８０は、再生信号周波数分析部８１と、収音信号周波数分析部８２と、エコーパワー計算部８３と、ゲイン計算部８４と、乗算部８５と、周波数合成部８６とを備える。再生信号ｘ（ｋ）は、例えばサンプリング周波数１６ｋＨｚで離散値とされた信号であり、スピーカ１によって音響信号に変換される。なお、再生信号を離散値化するＡＤ変換器と、その離散値を連続値に変換するＤＡ変換器については省略している。

再生信号周波数分析部８１は、再生信号の離散値を２５６点集めて１フレームとし、１/２オーバーラップ加算による周波数分析を行い、フレーム単位で８ｋＨｚまでの周波数範囲を１２８個の再生信号スペクトルＸ_ωに変換する。（ｋ）はフレーム番号であり、ωはこの例の場合６４Ｈｚの間隔で得られる周波数スペクトルの番号（１〜１２８）である。

マイクロホン２で収音される収音信号ｙ（ｋ）は、再生信号ｘ（ｋ）がスピーカ１から再生されたことによるエコーｄ（ｋ）が、近端話者信号ｓ（ｋ）に重畳した信号である。その収音信号ｙ（ｋ）は、再生信号ｘ（ｋ）と同じように収音信号周波数分析部８２によって収音信号スペクトルＹ_ωに変換される。

エコーパワー計算部８３は、再生信号スペクトルＸ_ωと収音信号スペクトルＹ_ωとを入力として式（１）に示すエコーパワー推定値｜Ｄ_ω＾｜^２を計算する。＾は推定値であることを表わすが、その表記は式及び図中に示すものが正しい。

ここで、｜Ｈ_ω＾｜^２は音響結合量の推定値であり、｜Ｈ_ω＾｜^２￣は１フレーム過去の音響結合量の推定値である。ｍｉｎ｛ ， ｝は最小値を選択する関数である。したがって、｜Ｈ_ω＾｜^２は隣接するフレーム間で小さい方の音響結合量がその推定値になる。

ゲイン計算部８４は、収音信号スペクトルＹ_ωと、エコーパワー推定値｜Ｄ_ω＾｜^２を入力として式（２）に示すゲイン係数Ｇ_ωを出力する。ゲイン係数Ｇ_ωは０〜１の実数値をとり、収音信号スペクトルＹ_ω中にエコー成分が多い場合には小さな値、エコー成分以外の成分が多い場合には大きな値をとる。

乗算部８５は、収音信号スペクトルＹ_ωにゲイン係数Ｇ_ωを乗算する。エコー成分が多い場合のゲイン係数Ｇ_ωは小さな値となるので、乗算部８５の出力信号はエコー成分が抑圧されたエコー消去信号スペクトルＥ_ωとなる。この各周波数成分ωに対応するエコー消去信号スペクトルＥ_ωは、周波数合成部８６において時間領域の出力信号ｅ（ｋ）に再合成される（例えば非特許文献１参照）。

ここでゲイン係数Ｇ_ωを算出する式（２）の導出根拠について説明する。ゲイン係数Ｇ_ωは、例えばウィナーフィルター法（Wiener Filter以下「ＷＦ法」と称す）の仮定に基づいて導出される。ＷＦ法は、式（３）の評価量εを最小とするゲイン係数Ｇ_ωを推定してエコーを抑圧する。

式（３）をＧ_ωで微分すると式（４）で表わせる。

式（４）を０と置いた式からゲイン係数Ｇ_ωを求めると式（５）となる。

ここで＜ ， ＞は内積を意味する。エコーパワーＤ_ωとエコー消去信号スペクトルＥ_ωとが無相関であると仮定することで、つまり＜Ｄ_ω，Ｅ_ω＞＝０とした結果が上記したゲイン係数Ｇ_ωを求める式（２）である。
阪内澄宇、羽田陽一、片岡章俊著「ＳＴＳＡ推定に基づくエコー抑圧処理のゲイン強調化方式」信学論（Ａ）,１vol.J88-A,no.6,Jun.2005,p695-703

ＷＦ法の仮定＜Ｄ_ω，Ｅ_ω＞＝０は、時系列区間が長いほど正確である。しかし、エコー及び近端話者信号ｓ（ｎ）は、音声であるため非定常信号である。したがって、＜Ｄ_ω，Ｅ_ω＞＝０となるほどの長時間を利用してゲイン係数Ｇ_ωを計算できない。その結果、エコーパワーＤ_ωとエコー消去信号スペクトルＥ_ωの内積値が０でない分が誤差となりエコー消去信号スペクトルＥ_ωに歪みが発生する。この歪みは、時間領域の信号に変換すると、いわゆる「キュルキュル」と聞こえるミュージカルノイズ発生の原因になることがある。

この発明は、このような点に鑑みてなされたものであり、ミュージカルノイズ発生を抑圧するエコー抑圧ゲイン推定方法及びそれを用いたエコー消去装置と、そのプログラムと記録媒体を提供することを目的とする。

この発明によるエコー抑圧ゲイン推定方法は、再生信号を周波数領域の再生信号スペクトルに変換する再生信号周波数分析段階と、収音信号を周波数領域の収音信号スペクトルに変換する収音信号周波数分析段階と、再生信号スペクトルと収音信号スペクトルとを入力としてエコーパワー推定値を計算するエコーパワー推定段階と、再生信号スペクトルと収音信号スペクトルの内積値を、再生信号スペクトルと収音信号スペクトルのそれぞれの大きさの積で正規化した類似度係数を計算する類似度係数計算段階と、エコーを抑圧するゲイン係数を、収音信号スペクトルと類似度係数とエコーパワー推定値を入力として、類似度係数が１に近づくほど小さな値になるように計算するエコー抑圧ゲイン計算段階と、を有する。

この発明のエコー抑圧ゲイン推定方法によれば、類似度係数は、収音信号中のエコー成分の割合を表わす値であるので、類似度係数が１に近づくほどゲイン係数が小さくなりエコーが抑圧される。と同時にこのようにして求めたゲイン係数は、近端話者信号ｓ（ｋ）の欠損を軽減するように動作する。したがって、従来法に比べて音声歪みに対して頑健なミュージカルノイズ発生の少ないエコー抑圧を行うことが可能になる。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
〔発明の基本的な考え〕
実施例の説明の前に、この発明のエコー抑圧方法の基本的な考えを説明する。この発明は、従来考慮していなかったエコーパワーＤ_ωとエコー消去信号スペクトルＥ_ωとの相関をふまえた評価量ε（式（３））の最小解を得ることで、エコー抑圧ゲイン推定の高精度化を図る考えである。

上記した式（５）を変形するとゲイン係数Ｇ_ωは式（６）で表せる。

ここでｒ_ωはエコーパワーＤ_ωとエコー消去信号スペクトルＥ_ωの複素コヒーレンスを示す。Ｄ_ω＝Ｈ_ω ^＊Ｘ_ωを用いてｒ_ωから未知のベクトルＤ_ωを消去すると式（７）で表せる。

ここで＊は複素共役を表す。式（７）から分かるようにＤ_ωを消去しても未知の変数であるＨ_ωが存在するため、ｒ_ωを求めることは困難である。そこでこの発明では、その絶対値ならば式（８）に示すようにＨ_ωが消去可能なことに着目する。

そしてゲイン係数を式（９）に示すように与える。

｜ｒ_ω|は、再生信号スペクトルＸ_ωと収音信号スペクトルＹ_ωの内積値を、再生信号スペクトルの大きさ‖Ｘ_ω‖と、収音信号スペクトルの大きさ（ノムル）‖Ｙ_ω‖の積で正規化した値である（以降、｜ｒ_ω|の絶対値記号は省略して表記する）。この時のｒ_ωは、時間軸方向だけでなく周波数軸方向に着目して計算してもよい。なお、この値は収音信号スペクトル中のエコー成分の割合を示す。以降、ｒ_ωを類似度係数と称する。なお、Ｇ_ω ^ｐのｐは、式（２）のゲイン係数Ｇ_ωと区別するための記号である。

類似度係数ｒ_ωはダブルトーク時には０に近づく、この値を用いて式（９）でゲイン係数を求めると、近端話者信号の欠損を軽減するゲイン係数にすることができる。よって、従来法に比べて音声歪みに対して頑健なミュージカルノイズの発生の少ないエコー抑圧が期待できる。

図１にこの発明のエコー抑圧ゲイン推定方法を用いたエコー消去装置１０の機能構成例を実施例１として示す。その動作フローを図２に示す。エコー消去装置１０は、再生信号周波数分析部８１と、収音信号周波数分析部８２と、エコーパワー推定部８３と、類似度係数計算部１２と、エコー抑圧ゲイン計算部１４と、乗算部８５と、周波数合成部８６とを備える。この例のエコー消去装置１０は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

エコー消去装置１０は、従来技術を説明したエコー消去装置８０のゲイン計算部８４を、類似度係数計算部１２とエコー抑圧ゲイン計算部１４とに置き換えたものである。再生信号周波数分析部８１は、再生信号ｘ（ｋ）を周波数領域の再生信号スペクトルＸ_ωに変換する（ステップＳ８１）。収音信号周波数分析部８２は、収音信号ｙ（ｋ）を周波数領域の収音信号スペクトルＹ_ωに変換する（ステップＳ８２）。

エコーパワー推定部８３は、再生信号スペクトルＸ_ωと収音信号スペクトルＹ_ωとを入力として上記した式（１）に示すエコーパワー推定値｜Ｄ_ω＾｜^２を計算する（ステップＳ８３）。
類似度係数計算部１２は、再生信号スペクトルＸ_ωと収音信号スペクトルＹ_ωとを入力として、内積＜Ｘ_ω，Ｙ_ω＞を例えば式（１０）で、再生信号スペクトルの大きさ‖Ｘ_ω‖と、収音信号スペクトルの大きさ‖Ｙ_ω‖を例えば式（１１）と式（１２）でそれぞれ計算する。

ここで、＊は複素共役、￣は１フレーム過去であることを表わす。εは０＜ε≦１を満たす忘却係数であり、指数関数的な減衰の時定数を決定する。例えばε＝０.０１６とする。εが１に近づくほど現在の再生信号スペクトルＸ_ωと収音信号スペクトルＹ_ωに依存した（重み付けされた）それぞれの値になる。なお、式（１０）〜（１２）は従来から用いられている式である。また、周波数軸方向にも着目した式（１３）〜（１５）を用いてもよい。

ここでＭ₁〜Ｍ₂は所定の周波数範囲を表わす。式（１３）〜（１５）は周波数軸方向に相関を取った後に時間軸方向の相関を取る形である。相関を取る順番は逆でもよい。また、式（１０）に替えて位相成分を考慮しない絶対値から求める式（１６）を用いてもよい。

類似度係数計算部１２は、式（１０）〜（１２）でそれぞれの値を計算した後に、上記した式（８）で類似度係数ｒ_ωを計算する（ステップＳ１２）。

エコー抑圧ゲイン計算部１４は、エコーパワー推定値｜Ｄ_ω＾｜^２と類似度係数ｒ_ωを入力として式（９）に示すゲイン係数Ｇ_ω ^ｐを計算する（ステップＳ１４）。式（９）から明らかなようにゲイン係数Ｇ_ω ^ｐは、類似度係数ｒ_ωが１に近づくほど小さな値になる。それは、エコーパワー抑圧ゲイン計算部１４内に設けられたエコーパワー調整手段１４ａによって、エコーパワー推定値｜Ｄ_ω＾｜^２に類似度係数ｒ_ωが乗算されて調整されることによる。

エコー抑圧ゲイン計算部１４の構成を図３に示して更に詳しく説明する。エコー抑圧ゲイン計算部１４は、エコーパワー調整手段１４ａと、減算手段１４ｂと、除算手段１４ｃと、エコーの消し残りを無くす定数Ｃを記録したレジスタ１４ｄと、強調係数αを記録したレジスタ１４ｅとを備える。

エコーパワー調整手段１４ａは、エコーパワー推定値｜Ｄ_ω＾｜^２と類似度係数ｒ_ωを入力として、それぞれの値を強調係数αでべき乗した後にお互いを乗算し、さらにその値に定数Ｃを乗算してエコーパワー調整値を計算する（図４のステップＳ１４ａ）。
減算手段１４ｂは、エコーパワー調整値と収音信号スペクトルＹ_ωとを入力とし、収音信号スペクトルＹ_ωの絶対値を強調係数αでべき乗した値からエコーパワー調整値を減算する（ステップＳ１４ｂ）。

除算手段１４ｃは、減算手段１４ｂの出力信号を、収音信号スペクトルＹ_ωの絶対値を強調係数αでべき乗した値で除算してゲイン係数Ｇ_ω ^ｐを出力する（ステップＳＳ１４ｃ）。つまり、エコー抑圧ゲイン計算部１４は、式（１７）を計算してゲイン係数Ｇ_ω ^ｐを出力する。

ここで強調係数αは正の数であるとして例えば２とする。定数Ｃは正の数であるとして例えば１.５とする。強調係数αと、定数Ｃは、類似度係数ｒ_ωが通常１以下であることから設けられた値でありゲイン係数Ｇ_ω ^ｐを適当な値に調整するものである。強調係数α＝２とするとウィナーフィルターに近い式になる。

以上のようにして求めたゲイン係数Ｇ_ω ^ｐは、近端話者信号ｓ（ｋ）の欠損を軽減するようにエコー消去装置１０を動作させる。したがって、従来法に比べて音声歪みに対して頑健なミュージカルノイズ発生の少ないエコー抑圧を行うことが可能になる。

図５にこの発明のエコー抑圧ゲイン計算部５０の機能構成例を実施例２として示す。その動作フローを図６に示す。エコー抑圧ゲイン計算部５０は、実施例１のエコー抑圧ゲイン計算部１４の計算方法を変えたものであり、ゲイン計算手段５０ａと、非類似度係数生成手段５０ｂと、乗算手段５０ｃと、定数Ｃを記録したレジスタ１４ｄと、強調係数αを記録したレジスタ１４ｅとを備える。

ゲイン計算手段５０ａは、エコーパワー推定値｜Ｄ_ω＾｜^２と収音信号スペクトルＹ_ωを入力として、それぞれの絶対値を強調係数αでべき乗する。べき乗された収音信号スペクトル|Ｙ_ω|^αからエコーパワー推定値をべき乗した値を減算し、さらに減算した値を収音信号スペクトル|Ｙ_ω|^αで除算してゲインを計算する（ステップＳ５０ａ）。
非類似度係数生成手段５０ｂは、類似度係数ｒ_ωを入力として１から類似度係数ｒ_ωを引き算して非類似度係数を生成する（ステップＳ５０ｂ）。乗算手段５０ｃは、ゲイン計算手段５０ａの出力するゲインに、非類似度係数と定数Ｃを乗算してゲイン係数Ｇ_ω ^ｐを出力する（ステップＳ５０ｃ）。つまり、エコー抑圧ゲイン計算部５０は、式（１８）を計算してゲイン係数Ｇ_ω ^ｐを出力する。

以上のようにして求めたゲイン係数Ｇ_ω ^ｐでも、従来法に比べて音声歪みに対して頑健なミュージカルノイズ発生の少ないエコー抑圧を行うことが可能になる。
〔シミュレーション結果〕
この発明のエコー抑圧ゲイン推定方法を、短時間スペクトル振幅エコー抑圧処理に適用して従来法と性能比較を行った。シミュレーション条件は、サンプリング周波数１６ｋＨｚ、周波数分析長２５６点、１/２オーバーラップ加算による周波数分析合成、エコー経路ｄ（ｋ）の残響時間は３００ｍｓの部屋とし、４０９６点で計算を打ち切りとした。

シミュレーション結果を図７に示す。図７（ａ）はエコー信号のみの状態（シングルトーク）のエコー信号を破線で示し、そのエコー信号の時の出力信号ｅ（ｋ）を従来法を点線で、この発明の方法を実線で示す。図７（ｂ）はダブルトーク状態の各同じ信号を示す。横軸は時間を秒〔Ｓ〕で、縦軸はパワーを〔ｄＢ〕で表わす。

図７（ａ）から従来方式とこの発明の方式は、共に２０ｄＢ以上の十分なエコー抑圧性能を示していることが分かる。図７（ｂ）のダブルトーク状態では、７〜８秒の間において従来法の近端話者信号が６ｄＢ程度欠損している部分が見て取れる。それに対してこの発明の方法では、全体を通して近端話者信号を再現できていることが分かる。

以上のようにこの発明のエコー抑圧ゲイン推定方法を用いることで高いエコー抑圧性能を達成しながらミュージカルノイズ発生を軽減することができる。
なお、この発明の方法及び装置は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明のエコー抑圧ゲイン推定方法を用いたエコー消去装置１０の機能構成例を示す図。 この発明のエコー抑圧ゲイン推定方法の動作フローを示す図。 エコー抑圧ゲイン計算部１４の機能構成例を示す図。 エコー抑圧ゲイン計算部１４のより詳細な動作フローを含めたエコー抑圧ゲイン推定方法の動作フローを示す図。 エコー抑圧ゲイン計算部５０の機能構成例を示す図。 エコー抑圧ゲイン計算部５０の動作フローを含めたエコー抑圧ゲイン推定方法の動作フローを示す図。 シミュレーション結果を示す図。 従来のエコー消去装置８０の機能構成例を示す図。

Claims (10)

1. 再生信号を周波数領域の再生信号スペクトルに変換する再生信号周波数分析段階と、
   収音信号を周波数領域の収音信号スペクトルに変換する収音信号周波数分析段階と、
   上記再生信号スペクトルと上記収音信号スペクトルとを入力としてエコーパワー推定値を計算するエコーパワー推定段階と、
   上記再生信号スペクトルと上記収音信号スペクトルの内積値を、上記再生信号スペクトルと上記収音信号スペクトルのそれぞれの大きさの積で正規化した類似度係数を計算する類似度係数計算段階と、
   上記収音信号スペクトルと、上記類似度係数と、上記エコーパワー推定値とを入力として、エコーを抑圧するゲイン係数を上記類似度係数が１に近づくほど小さな値になるように計算するエコー抑圧ゲイン計算段階と、
   を有するエコー抑圧ゲイン推定方法。
2. 請求項１に記載のエコー抑圧ゲイン推定方法において、
   上記エコー抑圧ゲイン計算段階は、上記エコーパワー推定値に上記類似度係数を乗算したエコーパワー調整値を生成するエコーパワー調整過程を、含むことを特徴とするエコー抑圧ゲイン推定方法。
3. 請求項２に記載のエコー抑圧ゲイン推定方法において、
   上記エコー抑圧ゲイン計算段階は、
   上記エコーパワー調整過程と、
   上記収音信号スペクトルから上記エコーパワー調整値を減算する減算過程と、
   上記減算過程の出力信号を上記収音信号スペクトルで除算する除算過程と、
   から成ることを特徴とするエコー抑圧ゲイン推定方法。
4. 請求項１に記載のエコーゲイン抑圧推定方法において、
   上記エコー抑圧ゲイン計算段階は、
   上記収音信号スペクトルと上記エコーパワー推定値とからゲインを計算するゲイン計算過程と、
   上記類似度係数から非類似度係数を生成する非類似度係数生成過程と、
   上記ゲインに上記非類似度係数を乗算する乗算過程と、
   から成ることを特徴とするエコー抑圧ゲイン推定方法。
5. 再生信号を周波数領域の再生信号スペクトルに変換する再生信号周波数分析部と、
   収音信号を周波数領域の収音信号スペクトルに変換する収音信号周波数分析部と、
   上記再生信号スペクトルと上記収音信号スペクトルとを入力としてエコーパワー推定値を計算するエコーパワー推定部と、
   上記再生信号スペクトルと上記収音信号スペクトルの内積値を、上記再生信号スペクトルと上記収音信号スペクトルのそれぞれの大きさの積で正規化した類似度係数を計算する類似度係数計算部と、
   上記収音信号スペクトルと、上記類似度係数と、上記エコーパワー推定値とを入力としてエコーを抑圧するゲイン係数を、上記類似度係数が１に近づくほど小さな値になるように計算するエコー抑圧ゲイン計算部と、
   を具備するエコー消去装置。
6. 請求項５に記載のエコー消去装置において、
   上記エコー抑圧ゲイン計算部は、上記エコーパワー推定値に上記類似度係数を乗算したエコーパワー調整値を生成するエコーパワー調整手段を、含むことを特徴とするエコー消去装置。
7. 請求項６に記載のエコー消去装置において、
   上記エコー抑圧ゲイン計算部は、上記エコーパワー調整手段と、
   上記収音信号スペクトルから上記エコーパワー調整値を減算する減算手段と、
   上記減算手段の出力信号を上記収音信号スペクトルで除算する除算手段と、
   から成ることを特徴とするエコー消去装置。
8. 請求項５に記載のエコー消去装置において、
   上記エコー抑圧ゲイン計算部は、上記収音信号スペクトルと上記エコーパワー推定値とからゲインを計算するゲイン計算手段と、
   上記類似度係数から非類似度係数を生成する非類似度係数生成手段と、
   上記ゲインに上記非類似度係数を乗算する乗算手段と、
   から成ることを特徴とするエコー消去装置。
9. 請求項５乃至８の何れかに記載したエコー消去装置としてコンピュータを機能させるための装置プログラム。
10. 請求項９に記載した何れかの装置プログラムを記録したコンピュータで読み取り可能な記録媒体。

Images