JP6243536B2 - エコー打ち消し - Google Patents

Description

本発明はエコー打ち消しに関し、排他的にではないが特に、ラウドスピーカーからマイクロフォンへの非線形エコーについての打ち消しに関する。

多くのオーディオ・アプリケーションは、ラウドスピーカーのようなオーディオ・トランスデューサおよびマイクロフォンの両方を同じオーディオ環境において使う。たとえば、電話または遠隔会議アプリケーションは典型的にはスピーカーとマイクロフォンを近接して用いる。

しかしながら、ラウドスピーカーとマイクロフォンの間の音響結合のためマイクロフォン信号にラウドスピーカーからレンダリングされた音の要素が含まれることになり、これはしばしば不都合である。

たとえば、電話および遠隔会議装置について、装置のラウドスピーカーとマイクロフォンの間の音響結合のため、生成されたラウドスピーカー信号の一部がマイクロフォンによって捕捉され、遠端ユーザーに送信し返される。その結果、音響エコーとして知られる擾乱が生じる。装置が使われている音響環境に依存して、マイクロフォンは種々の遅延および強度をもつラウドスピーカー信号の反射を拾うので、通例、このエコー経路は線形フィルタを使って十分にモデル化できると想定される。よって、音響エコーを減らすために、線形エコー・キャンセラーが広く使われる。

しかしながら、実際上は、装置に依存して、音響エコー経路におけるコンポーネントは、しばしば非線形な特性を示す、オーディオ増幅器およびラウドスピーカーをも含む。特に、多くの実際的な実装では、ラウドスピーカーは動作中、有意な非線形歪みを示す。たとえば、コンパクトで低コストの実装を保証するために、携帯電話のラウドスピーカーはしばしば少なくとも部分的にはその非線形領域において駆動される。したがって、純粋に線形なエコー打ち消しは最適でない傾向があり、音響エコーを完全に除去できない傾向がある。

特許文献１は、歪められたエコー成分を扱うことができない伝統的な線形エコー抑制器であるそのようなエコー抑制器を開示している。

ラウドスピーカーにおける非線形性の主要な原因は、非一様な磁束密度および非線形サスペンション・システムである。後者は主として低周波での歪みに寄与し、一方、前者は高振幅信号によって悪化する。事実上、大きなコーン変位、特にラウドスピーカーの線形動作範囲の外での大きなコーン変位は、非線形歪みにつながる。オーディオ増幅器については、高振幅信号は、増幅器の入出力特性の線形入力範囲の外になる場合にはクリッピングされることがある。

より詳細には、ラウドスピーカー・システムの挙動は、入力信号の種々の周波数範囲について考察されてもよい。共鳴周波数より上の周波数については、ラウドスピーカーは、そのボイスコイルの抵抗およびインダクタンスによって特徴付けることができる。したがって、ボイスコイルへの入力パワーが増大し、コイルが磁場の外側になるほど変位が大きくなると、駆動力が減少し、結果として一種の圧縮またはクリッピング効果が生じる。

低周波数については、ラウドスピーカーは主として、磁束のパワーに比例するその動システム・インピーダンス（moving system impedance）によって特徴付けられる。つまり、ボイスコイルが磁場の外に動くと、このインピーダンスが減少し、よってクリッピングの代わりに、ボイスコイル内の電流の振幅は実は増大し、その後、ラウドスピーカーのサスペンション・システムが変位を制限する。

ラウドスピーカーの非線形挙動の適正なモデル化は、音響エコー打ち消しの分野における困難なトピックのままである。これは、増幅器およびラウドスピーカーのような低コストのオーディオ・コンポーネントが使われるハンズフリー通信アプリケーションについては特にそうである。これらのコンポーネントはしばしば、そのようなアプリケーションのために必要とされる高い音出力レベルを達成するために、その非線形動作範囲に駆動される。結果として得られる非線形歪みは、通常はラウドスピーカーとマイクロフォンとの間の線形インパルス応答を想定する音響エコー・キャンセラーの性能を制限するのみならず、ラウドスピーカー信号の知覚される品質にも影響する。

特許文献２は、高調波歪み（harmonic distortion）についての適応的なNLMSベースのエコー抑制を開示している。しかしながら、NLMSベースのエコー抑制を使うため、適応は大きな絶対値の信号について実行されるのみであるべきである。さらに、適応を可能にするためにどの周波数が高調波歪みを生じうるかを予測するために、適応的な閾値が使われるべきである。

したがって、非線形音響エコーを管理するためのシステムは、双方向通信システムのためのオーディオ品質の改善において、有意な役割を演じる。

従来技術では、非線形音響エコーを打ち消すまたは抑制するための三つの主要なクラスのシステムが存在する。
１．非線形音響エコー打ち消し。
２．線形音響エコー打ち消しのためのラウドスピーカー線形化。
３．非線形音響エコー抑制。

第一の型のシステムでは、音響エコー経路の非線形性が音響エコー・キャンセラーによってモデル化される。たとえば、オーディオ増幅器の飽和が、オーディオ増幅器のクリッピング・レベルに一致するクリッピング・レベルをもつクリッピング関数を使ってモデル化されることができる。このクリッピング関数がデジタル・ラウドスピーカー信号に適用される場合には、ラウドスピーカーとマイクロフォンとの間の線形音響経路をモデル化するために、標準的な線形音響エコー・キャンセラーが使われることができる。先述したように、ラウドスピーカーも非線形性の源である。メモリーレスなクリッピング関数とは異なり、ラウドスピーカーの非線形性は通例、何らかの形のメモリーを含み、最も普通には、ヴォルテラ級数展開によってモデル化されるが、これは計算上きわめて高価である。冪級数展開のような、ヴォルテラ・ベースのアルゴリズムの低コスト・バージョンが存在するものの、これらはしばしば相変わらず信号直交化方法を必要とし、これも相変わらず計算集約的であることがある。

第一の型のシステムの主要な欠点は、モデルを、根底にある物理系のモデルに密接に一致させることが要求されるという点である。これは典型的には、高度の正確さをもって達成することはできない。さらに、それらは非常に計算集約的である傾向がある。

第二の型のシステムは、ラウドスピーカー信号に非線形関数を適用して、この関数のラウドスピーカーの応答の関数との連結が線形関数を近似するようにする。こうして、装置のマイクロフォンによって捕捉されたラウドスピーカー信号は近似的に、ラウドスピーカー信号の線形関数となる。したがって、この線形関数をモデル化して音響エコー打ち消しを実行するために、標準的な線形適応フィルタが使用できる。

そのようなアプローチの欠点は、ラウドスピーカーの出力信号を近似的に線形化するだけであり、増幅器飽和も起こる場合には、そのような変換は線形化するのが容易でないので、通例性能が劣化するということである。さらに、導入される非線形関数は推定するのが難しいことがあり、よって打ち消しは最適でないことがある。さらに、ラウドスピーカーによって生成された信号の音質に直接影響することがありうる。

第三の型のシステムは、しばしば音響エコー打ち消しへの後処理段階として使われ、エコー打ち消し段において抑制できなかった残留非線形音響エコーが抑制される。通例、この抑制は、エコー非線形性のスペクトル・モデルを使ってスペクトル振幅領域で実行される。

このアプローチの主要な欠点は、過剰抑制およびスペクトル振幅領域でのエコー位相情報の欠如のため、ローカルな環境から発生する近端オーディオ（特に発話）が強く減衰されることがあり、その結果、たとえば遠端参加者との全二重通信が難しくなることがありうるということである。

一般に、エコー打ち消しへの、特に非線形効果の打ち消しのための従来技術のアプローチは、複雑である傾向があり、最適でない性能および／または高い計算資源使用につながる傾向がある。

よって、改善されたアプローチが有利であろう。特に、増大した柔軟性、低下した複雑さ、容易にされた実装、低減された資源使用および／または改善された性能を許容するアプローチが有利であろう。

欧州特許出願公開第2632141号 米国特許出願公開第2009/214048号

よって、本発明は、単独でまたは任意の組み合わせにおいて上述した欠点の一つまたは複数を好ましくは緩和、軽減または解消しようとするものである。

本発明のある側面によれば、請求項１記載のオーディオ・エコー抑制器が提供される。

本発明は、多くの実施形態において、改善されたエコー抑制／打ち消しを提供しうる。特に、パワー増幅器またはラウドスピーカー非線形性のような非線形効果から帰結するエコー成分の改善された抑制を提供しうる。エコー抑制はいくつかの実施形態では、レンダリングの非線形効果を低減または防止することによって、および／または残留信号／捕捉されたマイクロフォン信号における非線形性の補償によって、達成されうる。

具体的には、経験される特定の非線形効果に対するエコー抑制の改善された適応が達成されてもよい。特に、第一の周波数区間についての歪み指標（distortion measure）は、第一の周波数区間における特定の諸周波数成分から帰結する非線形エコーを決定するための非常に好適な指標を提供し、それによりシステムがこれらの効果に特定的に対処することを許容する。

システムは、（特に第一の周波数区間についてと同じアプローチを使って）複数の周波数区間についての歪み指標を生成するよう構成されていてもよい。エコー抑制は、すべての歪み指標に応答して実行されてもよい。特に、エコー抑制は、それらの歪み指標についての周波数区間に対応するサブバンドにおいて実行されてもよい。各サブバンドにおけるエコー抑制は、いくつかの実施形態では、対応する周波数区間についての歪み指標に応答して適応されてもよく、実際、多くの実施形態において、各サブバンド／周波数区間のエコー抑制は、そのサブバンド／周波数区間のみの歪み指標に依存してもよい。

使用される歪み指標は、特に非線形効果を扱うための、特に有利な性能を提供しうる。実際、詳細な非線形モデルの生成および適応を要求することなく、非線形効果の正確な評価のための備えをしうる。このアプローチは、多くの実施形態において、低い複雑さを維持しつつ改善されたエコー抑制を提供しうる。

本アプローチは、遠端に供給される残留信号における結果的に生じるエコーの動的な低減を許容しうる。該動的な低減では、歪み指標が連続的に更新され、よってエコー抑制が常時個別的な条件に適応される、
補償器は特に、マイクロフォン信号から第一の補償信号を減算することによって残留信号を生成するよう構成されていてもよい。

エコー低減器は特に、第一のオーディオ信号の非線形エコーのエコー抑制を実行するよう構成されていてもよい。

本発明の任意的な特徴によれば、第一の推定器は：第一のオーディオ信号から第一の周波数区間についての第一のサブバンド信号を生成する第一のサブバンド生成器と；前記残留信号から複数の残留サブバンド信号を生成する第二のサブバンド生成器と；第一の周波数区間に属さない少なくともいくつかの残留サブバンド信号についての類似性指標を決定する比較器であって、残留サブバンド信号についての類似性指標はその残留サブバンド信号と第一のサブバンド信号の類似性を示す、比較器と；それらの類似性値から第一の周波数区間についての歪み指標を決定する第二の推定器とを有する。

本アプローチは、低い複雑さの実装を許容しうるおよび／またはエコー抑制の改善された適応を許容しうる。特に、所与の周波数区間についての非線形効果の良好な指示を与える歪み指標が決定され、エコー抑制を適応するために使用されうる。それにより、改善されたエコー抑制が得られる。本アプローチは、第一のオーディオ信号を修正することによって実行されるエコー抑制のために特に有利でありうる。すなわち、前処理エコー抑制／打ち消しのために特に有利でありうる。

いくつかの実施形態では、前記第一の周波数区間に属さない前記少なくともいくつかの残留サブバンド信号は前記第一の周波数区間に属さないすべての残留サブバンド信号を含む。

サブバンドは、第一のオーディオ信号および残留信号に周波数変換を適用することによって、それぞれ第一のオーディオ信号および残留信号から生成されてもよい。周波数変換は、いくつかの実施形態ではサブバンド信号として直接使用されうるサブバンド値を生成してもよい。いくつかの実施形態では、生成された変換値はさらに処理されてサブバンドを生成してもよい。たとえば、複数の変換サブバンドに対応するサブバンド信号が、それらの変換サブバンドの値を平均することによって生成されてもよい。

各サブバンド信号は、0Hzの（サブバンドの）中心周波数をもつよう下方変換された対応する信号のサブバンド・フィルタリングされたバージョンの時間表現を含んでいてもよい。たとえば、残留信号の諸ブロックにFFTが適用されてもよく、残留サブバンド信号は、連続するブロックの値によって形成される各ビンについての時間信号に対応してもよい。いくつかの実施形態では、複数のビンが組み合わされて、サブバンド信号の一つまたは複数を生成してもよい。

歪み指標を生成する本アプローチは、第一のオーディオ信号の異なるサブバンドについて繰り返されてもよい。たとえば、第一のオーディオ信号に周波数変換が適用されて複数のサブバンド信号を生成してもよい。各サブバンド信号について、歪み指標が、特定のサブバンド信号と、該特定のサブバンド信号の周波数区間の一部ではない残留サブバンド信号の諸ペアリングについて決定された類似性値の組み合わせとして決定されてもよい。

本発明のある任意的な特徴によれば、比較器は、第一のサブバンド信号の信号変動と第一の残留サブバンド信号の信号変動の類似性に応答して第一の残留サブバンド信号についての類似性指標を生成してもよい。

信号変動は時間的な変動であってもよい。本アプローチは特に、第一のサブバンド信号におけるイベントと第一の残留サブバンド信号におけるイベントとの間の対応を同定しようとしてもよい。対応が大きいほど、類似性値が大きくなる。本アプローチは、第一の周波数区間における信号成分から生じる非線形性の改善された指示を提供しうる。

本発明のある任意的な特徴によれば、比較器は、第一のサブバンド信号と第一の残留サブバンド信号の相互相関に応答して第一の残留サブバンド信号についての類似性指標を生成するよう構成されていてもよい。

これは、歪み指標の特に効率的なおよび／または低い複雑さの決定を提供しうる。

比較器は、第一のサブバンド信号と第一の残留サブバンド信号の最大相互相関に応答して第一の残留サブバンド信号についての類似性指標を生成するよう構成されていてもよい。最大相互相関は、最大の相互相関値を生じる時間オフセットについての相互相関値に対応してもよい。

いくつかの実施形態では、第一の推定器は、諸残留サブバンド信号および第一のサブバンド信号を、包絡信号として生成するよう構成されている。

これは、多くの実施形態において、改善された性能および／または低減された複雑さを提供しうる。包絡信号は特に、FFTのような周波数変換によって生成されたサブバンド・サンプルの（可能性としては複素数の）値に対応してもよい。

本発明の任意的な特徴によれば、前記第一の推定器は、複数の周波数区間についての歪み指標を生成するよう構成されており、前記エコー低減器は、前記複数の周波数区間の各周波数区間についてのエコー抑制のパラメータを、その周波数区間についての歪み指標に応答して別個に調整するよう構成されている。

これは、効果的だが低い複雑さのエコー抑制を提供しうる。特に、各周波数帯域の別個の個別的な処理を許容することによって、低い複雑さを許容しうる。本アプローチは、多くのシナリオにおいて、問題のある周波数帯域だけがエコー抑制によって影響される必要があるので、オーディオ品質への影響を低減することを許容しうる。

こうして、多くの実施形態において、前記複数の周波数区間のそれぞれについてのエコー抑制は、その周波数区間のみについての歪み指標に応答してでありうる。

本発明の任意的な特徴によれば、第二の推定器は、前記少なくともいくつかの残留サブバンド信号のうちの複数についての類似性値を組み合わせることによって歪み指標を生成するよう構成されている。

これは、有利な歪み指標を提供しうる。組み合わせは、特に、（可能性としては重み付けされた）総和または平均を含んでいてもよい。

本発明の任意的な特徴によれば、第二の推定器は、第一の周波数区間内の第一のオーディオ信号の信号成分からのマイクロフォン信号への寄与についてのパワー推定値に関して、前記歪み指標を規格化するよう構成されている。

これは、多くの実施形態において、改善された性能を提供しうる。特に、区間内の歪み指標の規格化された分布を許容しうる。

本発明の任意的な特徴によれば、第二の推定器は、第一の周波数区間についての線形エコー・パワー推定値に応答して前記パワー推定値を生成するよう構成される。線形エコー・パワー推定値は、フィルタ・パラメータの前記集合に応答して生成される。

これは、多くの実施形態において改善された性能を提供しうる。

本発明の任意的な特徴によれば、比較器は、第一の周波数区間のある周波数と残留サブバンド信号のあるサブバンド周波数との間の高調波（harmonic）関係に応答して前記少なくともいくつかの残留サブバンド信号を選択するよう構成される。

これは、多くの実施形態において、改善された性能を提供しうる。特に、全高調波歪みをより正確に反映する歪み指標を許容しうる。非線形効果がたとえば主として高調波を引き起こすとわかっている多くの実施形態において、これは非線形効果を推定することにおけるノイズを低減しうる。代替的または追加的に、多くの実施形態において複雑さおよび／または計算資源需要を低減しうる。

本発明の任意的な特徴によれば、第一の推定器は、前記残留信号から第一の周波数区間についての第一の残留サブバンド信号を生成する第一のサブバンド生成器と；第一のオーディオ信号から複数の第一のオーディオ・サブバンド信号を生成する第二のサブバンド生成器と；第一の周波数区間に属さない少なくともいくつかの第一のオーディオ・サブバンド信号についての類似性指標を決定する比較器であって、第一のオーディオ・サブバンド信号についての類似性指標は該第一のオーディオ・サブバンド信号と第一の残留サブバンド信号の類似性を示す、比較器と；それらの類似性値から第一の周波数区間についての歪み指標を決定する第二の推定器とを有する。

本アプローチは、低い複雑さの実装を許容しうるおよび／またはエコー抑制の改善された適応を許容しうる。特に、所与の周波数区間についての非線形効果の良好な指示を与える歪み指標が決定され、エコー抑制を適応するために使用されうる。それにより、改善されたエコー抑制が得られる。本アプローチは、残留信号を修正することによって実行されるエコー抑制のために特に有利でありうる。すなわち、後処理エコー抑制／打ち消しのために特に有利でありうる。

いくつかの実施形態では、前記第一の周波数区間に属さない前記少なくともいくつかの第一のオーディオ・サブバンド信号は前記第一の周波数区間に属さないすべての残留サブバンド信号を含む。

本アプローチは、低い複雑さの実装を許容しうるおよび／またはエコー抑制の改善された適応を許容しうる。特に、所与の周波数区間についての非線形効果の良好な指示を与える歪み指標が決定され、エコー抑制を適応するために使用されうる。それにより、改善されたエコー抑制が得られる。

いくつかの実施形態では、第一の周波数区間に属さない前記少なくともいくつかの残留サブバンド信号は、第一の周波数区間に属さないすべての残留サブバンド信号を含む。

サブバンドは、第一のオーディオ信号および残留信号に周波数変換を適用することによって、それぞれ第一のオーディオ信号および残留信号から生成されてもよい。周波数変換は、いくつかの実施形態ではサブバンド信号として直接使用されうるサブバンド値を生成してもよい。いくつかの実施形態では、生成された変換値はさらに処理されてサブバンドを生成してもよい。たとえば、複数の変換サブバンドに対応するサブバンド信号が、それらの変換サブバンドの値を平均することによって生成されてもよい。

各サブバンド信号は、0Hzの（サブバンドの）中心周波数をもつよう下方変換された対応する信号のサブバンド・フィルタリングされたバージョンの時間表現を含んでいてもよい。たとえば、残留信号の諸ブロックにFFTが適用されてもよく、残留サブバンド信号は、連続するブロックの値によって形成される各ビンについての時間信号に対応してもよい。いくつかの実施形態では、複数のビンが組み合わされて、サブバンド信号の一つまたは複数を生成してもよい。

歪み指標を生成する本アプローチは、残留信号の異なるサブバンドについて繰り返されてもよい。たとえば、残留信号に周波数変換が適用されて複数の残留サブバンド信号を生成してもよい。各サブバンド信号について、歪み指標が、特定の残留サブバンド信号と、該特定の残留サブバンド信号の周波数区間の一部ではない諸第一のオーディオ・サブバンド信号との諸ペアリングについて決定された諸類似性値の組み合わせとして決定されてもよい。

本発明のある任意的な特徴によれば、第二の推定器は、前記第一の残留サブバンド信号についての歪み指標を、前記少なくともいくつかの第一のオーディオ・サブバンド信号のうちの複数についての類似性値を組み合わせることに基づいて生成するよう構成される。

これは、有利な歪み指標を提供しうる。組み合わせは、特に、（可能性としては重み付けされた）総和または平均を含んでいてもよい。

本発明の任意的な特徴によれば、エコー低減器は、ラウドスピーカーによるレンダリングに先立って歪み指標の前記集合に応答して第一のオーディオ信号を修正するよう構成される。

これは、多くの実施形態および多くのシナリオにおいて、特に効率的なエコー抑制を提供しうる。特に、前処理の形でのエコー抑制は、非線形エコーを引き起こす信号成分を低減することによって非線形効果を緩和するために実行されてもよい。こうして、非線形エコーの発生を低減またさらには防止しうる。

いくつかの実施形態では、第一のサブバンド信号は、修正前の第一のオーディオ信号から生成されてもよい。他の実施形態では、第一のサブバンド信号は、修正後の第一のオーディオ信号から生成されてもよい。前処理の適応は、後者の場合、フィードバック・ループとして実行されてもよい。ここで、修正は、歪み指標に応答して適応され、歪み指標は、前処理／修正後の第一のオーディオ信号に基づいて生成される。

いくつかの実施形態では、第一の補償信号は修正前の第一のオーディオ信号から生成される。いくつかの実施形態では、第一の補償信号は修正後の第一のオーディオ信号から生成される。

エコー低減器は、歪み指標を低減するよう第一のオーディオ信号を修正するよう構成されてもよい。特に、いくつかの実施形態では、ある周波数区間についての修正は、その周波数区間についての歪み指標が目標レベルまで低減されるようなものである。目標レベルは0でない値であってもよい。

本発明の任意的な特徴によれば、エコー低減器は、第一の周波数区間についての歪み指標に応答して第一の周波数区間における第一のオーディオ信号についての利得またはクリッピング・レベルを設定するよう構成される。

これは、特に効率的なおよび／または低い計算量の実装および動作を提供しうる。可変の利得またはクリッピングは、線形エコー打ち消しフィルタに供給された後の第一のオーディオ信号に適用されてもよい。可変の利得またはクリッピングは、第一のサブバンド信号が第一のオーディオ信号から生成される前または後に第一のオーディオ信号に実行され適用されてもよい。

本発明の任意的な特徴によれば、エコー低減器は歪み指標の前記集合に応答して残留信号を修正するよう構成される。

これは、多くの実施形態および多くのシナリオにおいて特に効率的なエコー抑制を提供しうる。特に、後処理の形のエコー抑制は、主として非線形エコーに対応する信号成分を低減することによって非線形効果を緩和するために実行されうる。

エコー低減器は、特に、高い指標値が推定されるサブバンドの信号を修正してもよい。

本発明の任意的な特徴によれば、エコー低減器は、第一の周波数区間についての歪み指標に応答して第一の周波数区間における残留信号についての利得またはクリッピング・レベルを設定するよう構成される。

これは、特に効率的なおよび／または低い計算量の実装および動作を提供しうる。

いくつかの実施形態では、エコー低減器は、ラウドスピーカーによるレンダリングに先立って歪み指標の前記集合に応答して第一のオーディオ信号を修正し、歪み指標の前記集合に応答して残留信号を修正するよう構成される。

いくつかの実施形態では、比較器は、第一の周波数区間内の第一の残留サブバンド信号と第一の周波数区間に属さない第一のオーディオ信号の少なくともいくつかのサブバンド信号についての類似性指標を決定してもよい。第一の残留サブバンド信号と第一のオーディオ信号のサブバンド信号についての類似性指標は、第一の残留サブバンド信号と第一のオーディオ信号のそのサブバンド信号についての類似性を指示する。第一の残留サブバンド信号についての歪み指標は、第一の残留サブバンド信号および第一の周波数区間外の第一のオーディオ信号の複数のサブバンド信号についての類似性指標を組み合わせることによって決定されてもよい。

歪み指標は、個々の残留サブバンドにおける非線形エコー歪みの総量を示してもよい。

これは、特に効率的な動作および性能を提供しうる。特に、各残留サブバンド信号における推定された非線形歪みに基づく効率的な後処理が実行されうる。

前処理と後処理の両方を実行することが有利であることがある。特に、個々の周波数帯域についての歪み指標に基づく前処理および後処理は、両アプローチの間の相乗効果により、きわめて効率的なエコー抑制を提供する。特に、組み合わされたエコー抑制は品質トレードオフを最適化しうる。

特に、従来の前処理アプローチは、線形エコー効果の緩和において非効率的であり、処理に起因してレンダリングされるオーディオの劣化につながる傾向がある。同様に、従来の後処理は、すべての非線形効果は除去できず、アーチファクトを導入する傾向がある。

しかしながら、個々の周波数帯域についての歪み指標に基づく前処理および後処理の両方を導入することで、システムは、前処理がレンダリングされるオーディオを受け入れられないほど劣化させることなく、後処理が受け入れられないほどアーチファクトを導入することなく、前処理が、後処理によって合理的に扱うことができるレベルまで非線形歪みを低減させることができるという、前処理と後処理の間のバランスに適応できる。こうして、本アプローチは、合理的なパラメータの範囲内で、個々のプロセスに極限において機能することを要求することなく、前処理および後処理の両者が動作するよう前処理および後処理を制御しうる。

本発明のある側面によれば、請求項１５記載のオーディオ・エコー抑制の方法が提供される。

本発明のある側面によれば、プログラムがコンピュータ上で実行されたときに上記の方法のすべての段階を実行するよう適応されたコンピュータ・プログラム・コード手段を有するコンピュータ・プログラム・プロダクトが提供される。

本発明のこれらおよび他の側面、特徴および利点は、以下に記述される実施形態を参照することから明白となり、明快にされるであろう。

本発明の実施形態について、単に例として、図面を参照して述べる。
線形エコー打ち消しシステムの要素を示す図である。 本発明のいくつかの実施形態に基づく例示的なエコー抑制器のいくつかの要素を示す図である。 本発明のいくつかの実施形態に基づく例示的な歪み指標プロセッサのいくつかの要素を示す図である。 図２のエコー抑制器への入力オーディオ信号についてのサブバンド信号の例を示す図である。 図２のエコー抑制器の残留オーディオ信号についてのサブバンド信号の例を示す図である。 本発明のいくつかの実施形態に基づく例示的なエコー抑制器のいくつかの要素を示す図である。

図１は、従来の線形エコー打ち消しシステムの原理を示している。エコー・キャンセラーは、特に、通信システムにおいて使われてもよく、遠端からのオーディオ信号が近端からのオーディオと一緒に部分的に返されることから帰結する、遠端によって知覚されるエコーを打ち消すよう意図されている。

本エコー・キャンセラーは、ラウドスピーカー１０１に供給され、そこからレンダリングされる入力信号x(n)を受領する。入力信号x(n)は遠端から受領され、たとえば発話または他のオーディオ源を含んでいてもよい。

マイクロフォン１０３は、環境中のオーディオを捕捉することによってマイクロフォン信号を生成する。オーディオは、たとえば、ローカルな話者または他のオーディオ源を含む。加えて、ラウドスピーカー１０１とマイクロフォン１０３との間の音響結合／経路のため、マイクロフォン信号はラウドスピーカー１０１からレンダリングされるオーディオの一部を含み、これはe(n)によって表わされている。捕捉された信号がさらなる処理なしに遠端に返されると、送信される信号は近端オーディオのみならず、入力信号x(n)のあるバージョン、すなわち遠端でのオーディオの遅延されたバージョンをも含むことになる。これはエコーとして知覚される。

したがって、エコー・キャンセラーでは、適応線形フィルタ１０５が入力信号x(n)を受領し、マイクロフォン信号z(n)におけるエコーの予測y(n)を生成する。予測y(n)は、マイクロフォン信号z(n)から減算され、それにより遠端に送られる残留信号r(n)を生成する。

予測フィルタ、すなわち適応的な線形フィルタ１０５は、残留信号r(n)に依存して適応され、特に、残留信号r(n)のエネルギーを最小化するよう適応されてもよい。予測フィルタ／適応線形フィルタ１０５を適応させるための多くの異なるアルゴリズムおよびアプローチが知られていることは理解されるであろう。

よって、音響エコーが実質的に低減されていることがありうる残留信号r(n)が生成される。

しかしながら、図１のエコー・キャンセラーは本来的に線形エコー（すなわち、線形効果／プロセスから帰結するエコー）を低減することをねらいとしている。しかしながら、入力信号x(n)のマイクロフォン信号z(n)への結合の多くの部分は非線形な性質なので（たとえば、パワー増幅器クリッピング、ラウドスピーカー非線形性）、線形エコー打ち消しは導入されるエコーの一部に対処できるだけである。

図２は、本発明のいくつかの実施形態に基づくエコー抑制器のいくつかの要素を示している。エコー抑制器は、図１のシステムに対して、改善されたエコー抑制を提供でき、特に、多くの実施形態およびシナリオにおいて、非線形エコー成分（すなわち、非線形効果またはプロセスから帰結するエコー）の改善された抑制を提供しうる。

エコー抑制器は、レンダリングされるべき第一のオーディオ信号（図１の入力信号x(n)に対応）を受領する第一の受領器２０１を有する。第一のオーディオ信号は遠端から受信され、たとえば近端にいるユーザーにレンダリングするための発話を含んでいてもよい。

第一のオーディオ信号は、ラウドスピーカー２０５に結合されているパワー増幅器２０３に供給される。図２では、第一のオーディオ信号はエコー低減器２０７を介してパワー増幅器２０３に供給される。

のちに説明するように、いくつかの実施形態では、非線形エコー効果を緩和するために、第一のオーディオ信号の前処理が、レンダリングに先立って実行されてもよい。他の実施形態では、第一のオーディオ信号は、レンダリングのために、修正されずに直接、パワー増幅器２０３に供給されてもよい。

本システムはさらに、環境のオーディオを捕捉するマイクロフォン２０９を有する。マイクロフォン２０９は、マイクロフォンからの信号を受領し、マイクロフォン信号を出力する第二の受領器２１１に結合されている。第二の受領器は、フィルタ回路、アナログ‐デジタル変換、増幅機能等を含んでいてもよい。

結果として生じるマイクロフォン信号は、このように、近端話者のような、環境のオーディオ源を含む。加えて、マイクロフォン信号は、ラウドスピーカー２０５によってレンダリングされるオーディオに対応する信号成分を含んでいてもよい。多くの用途において、ラウドスピーカー２０５からマイクロフォン２０９への音響経路がある。すなわち、マイクロフォン２０９にはラウドスピーカー２０５が「聞こえる」。音響経路は、環境中の空気を通じて直接であってもよいし、あるいはたとえばマイクロフォン２０９およびラウドスピーカー２０５の両方を保持するキャビネットの壁を介してであってもよい。音響経路の結果として、マイクロフォン信号において、遠端からのレンダリングされる信号のエコーが存在することになる。

エコーは、音響経路の線形伝達関数から帰結する線形エコーであることもある。しかしながら、加えて、たとえば非線形構成要素をもつ音響経路のために、あるいはパワー増幅器２０３またはラウドスピーカー２０５における非線形効果のために、非線形エコーが導入されることもある。

導入される効果に対処するために、エコー低減器はさらに、第一のオーディオ信号から第一の補償信号を生成する線形エコー打ち消しフィルタ２１３を有する。線形エコー打ち消しフィルタ２１３は、パワー増幅器２０３の入力から第二の受領器２１１の出力（すなわち、マイクロフォン信号）までの音響経路を予測しようとする。すなわち、線形エコー打ち消しフィルタ２１３は、第一のオーディオ信号から帰結するエコーを予測しようとする。

線形エコー打ち消しフィルタ２１３および第二の受領器２１１は、第一の補償信号についてマイクロフォン信号を補償することによって残留信号を生成する補償器２１５に結合されている。多くの実施形態において、補償器２１５は、単に、マイクロフォン信号から第一の補償信号を減算してもよい。

本システムはさらに、補償器２１５および線形エコー打ち消しフィルタ２１３に結合されている第一の適応器２１７を有する。第一の適応器２１７は、残留信号を受領し、応答して、線形エコー打ち消しフィルタ２１３のためのフィルタ・パラメータを生成する。

こうして、線形エコー打ち消しフィルタ２１３の適応は、フィードバック・ループに基づきうる。ここで、フィルタのパラメータは、残留信号から導出される指標を低減するよう調整される。たとえば、残留信号のエネルギーが最小化されるよう努めてもよい。

いかなる好適な適応アプローチが使われてもよいこと、当業者が多くの異なる可能なアルゴリズムを認識するであろうことは理解されるであろう。たとえば、最小最小平方誤差（MLSE: minimum least squares error）アルゴリズムが適用されてもよい。

残留信号はこの例ではエコー低減器２０７に供給される。エコー低減器２０７は、信号が遠端に伝送される前に信号に対してエコー抑制を実行してもよい。他の実施形態では、残留信号は直接、遠端に伝送されてもよい。

このように、図２は、エコー低減器２０７が、第一のオーディオ信号および残留信号の両方を処理することによってエコー抑制を実行しうる例を示している。すなわち、前処理および後処理の両方が実行される。実際、のちに述べるように、そのようなアプローチは特に有利であることがあり、改善されたエコー抑制を提供しうる。しかしながら、いくつかの実施形態では、エコー抑制は第一のオーディオ信号に対して、あるいは残留信号に対してのみ実行されてもよい。すなわち、エコー抑制は残留信号の後処理または第一のオーディオ信号の前処理のみであってもよい。

図２のシステムでは、線形エコー打ち消しフィルタ２１３および補償器２１５による補償は線形エコーを除去しようとする。典型的には、これは、比較的高い効率で達成されることができる。しかしながら、この補償は非線形エコーを低減もしないし、対処もしない。その代わり、エコー低減器２０７がそのような非線形エコーを遠端に送られる信号から低減または除去しようとする。

エコー低減器２０７は、個々の周波数区間におけるエコー抑制を実行するよう特に構成されている。特に、第一のオーディオ信号の各周波数区間について、歪み指標が生成される。該歪み指標は、第一のオーディオ信号のこの周波数区間のレンダリングによって引き起こされる非線形歪みの度合いを示す。

特に、第一の周波数区間について、第一の周波数区間内の第一のオーディオ信号の信号成分によって引き起こされる／から帰結する非線形歪みの量の推定値であると考えられる第一の歪み指標が生成される。

歪み指標に基づいて、エコー低減器２０７は次いで、第一のオーディオ信号を処理することに進む。こうして、第一の周波数区間内の第一のオーディオ信号の信号成分は、第一の歪み指標に基づいて修正される。

結果として、第一の周波数区間の利得が第一の歪み指標に依存して設定されてもよい。第一の歪み指標が、第一のオーディオ信号の第一の周波数区間によって引き起こされる高い度合いの非線形歪みがあることを指示する場合、この特定の周波数区間についての利得はしかるべく低減されてもよい。

よって、図２のシステムは、歪み指標の集合を生成するよう構成されている第一の推定器２１９を有する。各歪み指標はある周波数区間にリンクされている。いくつかの実施形態では、該集合は単一の歪み指標を含むだけであってもよいが、たいていの実施形態では、複数の歪み指標が含められる。特に、（たとえば可聴範囲に対応する）周波数範囲が複数の周波数区間に分割されて、これらの各周波数区間について歪み指標が生成されてもよい。

第一の推定器２１９は、第一のオーディオ信号および残留信号を受領し、これらに基づいて、歪み指標の集合を生成してもよい。それらの歪み指標が次いでエコー低減器２０７に供給される。

第一の推定器２１９は特に、第一の周波数区間内の第一のオーディオ信号の信号成分から帰結する、第一の周波数区間外の少なくとも一つの周波数区間における前記残留信号への寄与を示すものとして、各歪み指標を生成するよう構成される。

こうして、所与の第一の周波数区間について、第一の推定器２１９は、第一の周波数区間にははいらないが、それでも第一の周波数区間内の信号成分のレンダリングから、すなわち第一の周波数区間内の第一のオーディオ信号の信号成分から帰結する、前記残留信号中の信号成分を推定する。

このように、歪み指標は、振幅および位相を変えるのみならず信号成分の周波数をも変えるプロセスから帰結する可能性が高い信号成分を反映するよう計算される。こうして、第一の推定器２１９は、周波数を変えたエコー信号成分と変えていない信号成分との間を区別することによって線形効果と非線形効果の間の弁別をするよう構成されている。よって、第一のオーディオ信号の各周波数区間から帰結する非線形エコーの良好な指示を提供する歪み指標が生成され、エコー抑制を適応させるためにエコー低減器２０７によって使用される。よって、エコー低減器２０７はこの情報を、特に非線形効果を目標として使用しうる。

たとえば、周波数範囲内のどこにエコー成分が存在するかを考えてこれらの周波数区間に特に対処するのではなく、図２のシステムは、第一のオーディオ信号のどの周波数区間がエコー成分を生じさせるかを判別することができる。このように、本アプローチは、結果として生じる信号成分ではなく生成源の信号成分が、エコー低減器２０７によるエコー抑制を制御するために使用されることを許容しうる。

諸歪み指標によって提供される諸生成源周波数区間の情報に基づいて線形エコーを抑制するための特定のアプローチが、種々の実施形態において異なることがありうることは理解されるであろう。実際、歪み指標によって提供される個別的な情報は、多くの異なるアプローチおよびアルゴリズム（そのいくつかは後述する）について、特に非線形エコーの改善された抑制を許容しうる。

図３は、第一の推定器２１９の例示的実装の要素の例を示している。

この特定の例では、第一の推定器２１９は、第一のオーディオ信号を受領してそれをいくつかのサブバンド信号に変換する第一のサブバンド生成器３０１を有する。特に、第一の周波数区間内の第一のオーディオ信号の信号成分に対応するよう、第一のサブバンド信号が生成される。そのような単一のサブバンド信号は、第一のオーディオ信号のフィルタリングによって生成されてもよい。

本アプローチはいくつかの実施形態では、単一の周波数区間のみを考えてもよいが、本システムはたいていの実施形態では複数の周波数区間を考えうる。よって、たいていの実施形態では、第一のサブバンド生成器３０１は複数のサブバンド信号を生成する。サブバンド信号は特に、FFTまたはQMF変換のような時間領域から周波数領域への変換を実行することによって生成されてもよい。

第一の推定器２１９はさらに、残留信号を受領し、複数の残留サブバンド信号を生成することに進む第二のサブバンド生成器３０３を有する。第二のサブバンド生成器３０３はたとえば、FFT変換のような時間領域から周波数領域への変換を実行して、残留サブバンド信号を生成してもよい。もう一つの例として、QMFフィルタバンクが使われてもよい。

第一のサブバンド生成器３０１および第二のサブバンド生成器３０３は比較器３０５に結合されている。比較器３０５は、第一のオーディオ信号のサブバンドと残留サブバンド信号との各ペアリングについて類似性指標を生成することに進む。ここで、それらのサブバンドは異なる周波数に対応する。

特に、第一の周波数区間について、第一の周波数区間に属さない残留サブバンド信号のそれぞれについて、類似性指標が生成される。各ペアリングについての類似性指標は、第一のサブバンド信号と考慮される残留サブバンド信号との類似性を示すよう生成される。

サブバンド信号の対についての類似性値は、特に、サブバンド信号と残留サブバンド信号の信号変動の比較に基づいて生成されてもよい。よって、第一のサブバンド信号とある第一の残留サブバンド信号の対が考慮される場合、比較器３０５は、第一のサブバンド信号の（時間的な）変動が第一の残留サブバンド信号の（時間的な）変動にどのくらいよく一致するかを評価することに進んでもよい。信号が対応する変動をより多く示すほど、そのサブバンドについての類似性指標は高くなる。

いくつかの実施形態では、比較器３０５は、たとえば、一方のサブバンド信号における特定のイベントを検出し、他方のサブバンド信号における対応するイベントを探してもよい。たとえば、第一のサブバンド信号が振幅における急峻なステップを示す場合、これが比較器３０５によって検出されてもよい。次いで比較器３０５は第一の残留サブバンド信号を通じてスキャンし、対応するステップがこの信号に存在するかどうかを調べてもよい。存在しなければ、二つのサブバンド信号は類似しないと考えられてもよく、類似性値はたとえば0に設定されてもよい。対応するステップ変化が検出されれば、比較器３０５は類似性値を、第一の残留サブバンド信号におけるステップの相対的な大きさに対応するよう設定してもよい。

しかしながら、特定のイベントに基づいて類似性値を決定することは多くの実施形態において効率的な性能を提供しうるものの、多くの実施形態において、サブバンド信号を（所与の時間区間における）全体として考慮して比較を実行することが有利でありうる。

特に、多くの実施形態において、比較器３０５は、サブバンド信号間の相互相関に応答して、特に、サブバンド信号間の種々の時間オフセットについての相互相関の最大値に応答して、サブバンドの所与のペアリングについての類似性値を生成してもよい。

特に、第一のサブバンド信号およびある第一の残留サブバンド信号について、比較器３０５はサブバンド信号間の種々の時間オフセットの範囲について相互相関を計算してもよい。相互相関の最高値が識別され、類似性指標を決定するために使われてもよい。特に、最大相互相関が、直接、類似性指標として使われてもよい（あるいはたとえば規格化されてもよい）。

もう一つの実施形態では、第一のサブバンド信号および第一の残留サブバンド信号を使う代わりに、比較器２０５は、第一のサブバンド信号および第一の残留サブバンド信号の自己相関関数どうしの間の相互相関を計算してもよい。これは、種々の時間オフセットの範囲について相互相関値を調べる必要をなくす。

多くの実施形態において、評価は、包絡信号に、すなわち所与の周波数区間内の信号成分の（可能性としては複素数の）振幅に基づいていてもよい。例として、生成された値FFTビン値が直接使われてもよく、あるいは位相の考慮なしに使われてもよい。個別的な例として、包絡信号に基づく相関は、連続するFFTブロックによって生成されるFFTビン値の時間シーケンスとして包絡信号の時間表現を生成することによって決定されてもよい。これらの時間シーケンスは、次いで、相互相関計算にかけられてもよい。よって、第一の周波数区間内の第一のオーディオ信号についてのFFTビン値の時間的な変動が、考慮される残留サブバンド信号についてのFFTビン値の時間的な変動によく一致するほど、類似性値が高くなる。

比較器３０５は、同じ周波数帯域に対応しない第一のオーディオ信号と残留信号についてのサブバンド信号のすべての対について、類似性値を生成することに進む。こうして、所与の周波数区間、たとえば第一の周波数区間について、他の周波数におけるサブバンド信号が第一の周波数区間内の第一のオーディオ信号のサブバンド信号とどのくらい相関しているかを示す類似性値が生成される。こうして、所与の周波数区間について、他の周波数区間における信号成分が所与の周波数区間内の第一のオーディオ信号のレンダリングから帰結する可能性がどのくらい高いかを示す類似性値が生成される。すなわち、他の周波数帯域において信号成分が生成されるかどうかを反映する類似性値が生成される。

比較器３０５は、類似性値から歪み指標を決定する第二の推定器３０７に結合されている。特に、たとえば第一の周波数区間について、類似性値に基づいて、特に第一の周波数区間についての類似性値に基づいて、歪み指標が決定される。

いくつかの実施形態では、第二の推定器は、残留サブバンド信号のうちの複数についての類似性値を組み合わせることによって、歪み指標を生成するよう構成される。典型的には、歪み指標は、すべての類似性指標を組み合わせることによって生成される。具体例として、すべての類似性指標の平均または総和が計算され、歪み指標として使われてもよい。

このように、第一のオーディオ信号の第一の周波数区間のレンダリングから、どのくらいのエコーが第一の周波数区間外で生成されるかの指示を与える歪み指標が生成される。そのような周波数偏移は非線形効果に関連しており、よって第一の周波数区間についての歪み指標は、その特定の周波数区間内の第一のオーディオ信号のレンダリングによって生成される非線形エコーの強い指示を与える。

先述したように、歪み指標は、ある周波数範囲をカバーする複数の周波数区間について生成されてもよい。こうして、第一のオーディオ信号のレンダリングによって生成される非線形エコーの、特に個々の周波数区間によって生成される非線形エコーの強さの、強い指示を提供しうる。いくつかの実施形態では、周波数範囲は、可聴周波数帯域全体を含んでいてもよい。他の実施形態では、特に関心のある周波数範囲のみが考慮されてもよい。たとえば低周波数および中域周波数のみが考慮されてもよい（より高い周波数の高調波は聴覚範囲から実質的に外れていることがありうるので）。

いくつかの実施形態では、歪み指標は規格化されてもよい。具体的には、計算された類似性値は、第一の周波数区間内の第一のオーディオ信号のパワーを示すパワー推定値に対して規格化されてもよい。このように、第一のオーディオ信号が第一の周波数区間内で高い信号エネルギーをもつ場合、これは、非線形エコーを含め比較的より強いエコーを生じる可能性が高い。したがって、非線形効果を推定するために、第一の周波数区間についての歪み指標を、第一の周波数区間内でのエネルギー／パワーについて補償することが有意でありうる。いくつかの実施形態では、類似性値および／または歪み指標は、第一の周波数区間内の第一のオーディオ信号のパワーに対してスケーリングされてもよい。

いくつかの実施形態では、第二の推定器３０７は、第一の周波数区間内のマクロフォン信号の推定されたパワーを反映する線形パワー推定値に基づいて、前記パワー推定値を生成するよう構成されていてもよい。このように、類似性値／歪み指標は、線形エコーの推定されたパワーに基づいて補償されてもよい。この推定は可能性としては、受領されたマイクロフォン信号に基づいて生成されることができる。しかしながら、マイクロフォン信号はたとえば近端話者を含む近端オーディオ環境からの信号成分を含むので、そのようなアプローチは、比較的高い度合いのノイズを含む可能性が高い。

したがって、多くの実施形態において、推定値は、第一の周波数区間内の第一の補償信号に基づいて生成されてもよい。すなわち、線形エコー打ち消しフィルタ２１３のパラメータまたは出力ならびに第一の周波数区間内の第一のオーディオ信号に基づいていてもよい。

いくつかの実施形態では、類似性値／歪み指標は、第一のオーディオ信号の全パワーに対して補償され、特にスケーリングされてもよい。

先述したように、歪み指標は、第一の周波数区間外のすべてのサブバンドについての類似性値に応答して生成されてもよい。しかしながら、いくつかの実施形態では、第一の推定器２１９は、考慮される残留サブバンド信号の部分集合を選択するよう構成されていてもよい。特に、いくつかの実施形態において、第一の推定器２１９は第一の周波数区間と好適な高調波（harmonic）関係をもつサブバンドを選択し、対応する残留サブバンド信号のみを考慮してもよい。

たとえば、第一の周波数区間が500Hz±50Hzの周波数帯域をカバーする場合、第一の周波数区間内の任意の周波数の第二高調波は900Hz〜1100Hzの範囲内になり、第三高調波は1350Hz〜1650Hzの範囲内になる。いくつかの実施形態では、第一の推定器２１９は、第二または第三高調波によって引き起こされる非線形エコーを考慮するだけであってもよく、よってこれらの周波数区間の一つと重なる残留サブバンド信号を考慮するだけでよい。

多くの実施形態において、これは、非線形エコー効果の改善された推定を引き起こしうる。特に、多くの非線形効果について、結果的に生じる信号成分は主として二次または三次の高調波であることが知られており、これらが属する周波数帯域に集中することによって、他の音の影響が低減されることができ、それにより低減されたノイズを与える。さらに、実質的に低減された複雑さおよび計算上の負荷が多くの実施形態において達成されることができる。

このように、第一の推定器２１９は特に、複数の周波数区間について、特に所与の周波数範囲内のすべての周波数区間について、歪み指標を生成してもよい。これらの値は次いで、エコー抑制器２０７によるエコー抑制を適応させるために使われる。

エコー抑制器２０７は特に、前記複数の周波数区間のそれぞれについてのエコー抑制のパラメータを、その周波数区間についての歪み指標に応答して別個に調整するよう構成されていてもよい。

このように、いくつかの実施形態では、第一の周波数区間におけるエコー抑制は、第一の周波数区間について計算された歪み指標である第一の歪み指標に依存していてもよい。この設定は、いくつかの実施形態では、第二の周波数区間についてのたとえばパラメータの設定とは独立であってもよい。たとえば、利得は、複数の周波数区間のそれぞれについて、その周波数区間についての歪み指標に依存して個々に設定されてもよい。

いくつかの実施形態では、エコー低減器は、ラウドスピーカーによるレンダリングに先立って歪み指標の前記集合に依存して第一のオーディオ信号を修正するよう構成されている。このように、いくつかの実施形態では、エコー抑制器２０７は、第一のオーディオ信号がレンダリングされる前に第一のオーディオ信号の前処理を実行する。この前処理についてのパラメータは、歪み指標の前記集合によって設定される。

具体例として、エコー抑制器２０７は、複数の周波数帯域のそれぞれについて利得を、それらの周波数帯域について生成された諸歪み指標に基づいて設定するよう構成されていてもよい。たとえば、所与の周波数区間についての歪み指標が増大する場合、このことは、この周波数区間内の信号成分によって引き起こされる結果的な非線形エコーが増大することを示す。よって、エコー抑制器２０７は、この周波数区間についての利得を低減することに進んでもよい。同様に、この周波数区間についての歪み指標が低下する場合、利得は増大されてもよい。

多くの実施形態において、利得は、対応する歪み指標がある基準を満たす場合に調整されるだけであってもよい。たとえば、初期にはすべての利得が一定値に設定されてもよい。これらの値は、平坦な周波数応答、よってレンダリングされる信号の品質劣化なしにつながる、デフォルト値であってもよい。

しかしながら、歪み指標が所与の閾値より上に上がる場合、これは、非線形エコーが受け入れられないことを示しうる。したがって、歪み指標が前記閾値より下に下がるまで、この周波数区間についての利得を低減することが好まれることがある。これは、レンダリングの周波数応答における何らかの色付けまたは歪みにつながることがあるが、これは、受け入れられないエコーが生成されて遠端にフィードバックされるよりは好ましいことがありうる。

エコー抑制器２０７はたとえば、個々の各周波数帯域についての利得を、その周波数帯域についての歪み指標が前記閾値より下に保たれるように個々に制御してもよい。

いくつかの実施形態では、個々のサブバンドについてのクリッピング・レベルを調整するために同じアプローチが取られてもよい。たとえば、システムは、すべての周波数帯域についてのクリッピング・レベルが、最悪ケースのシナリオでさえ全くクリッピングを生じないことが知られているレベルにあるよう設定されていてもよい。しかしながら、所与の周波数帯域についての歪み指標がある閾値より上に増大する場合、クリッピング・レベルは、歪み指標が再び前記閾値を下回るまで、低減されてもよい。このように、クリッピング・レベルは、個々の周波数帯域によって引き起こされる非線形エコーが受け入れ可能であることおよび必要な場合にのみ歪みが導入されることを保証するよう制御されてもよい。

クリッピングはいくつかの実施形態では軟クリッピングであってもよいことは理解されるであろう。いくつかの実施形態では、利得およびクリッピングの両方を調整するアルゴリズムが適用されてもよい。

このように、本アプローチは、生成される非線形エコーを制御するために使われてもよく、特に、エコー抑制を、経験される特定の条件に動的に適応させうる。具体的には、本アプローチは、システムがオーディオ品質の低下を代償として非線形エコーを低減することを許容しうる。しかしながら、システムは個別的な条件に動的に適応できるので、レンダリング品質の劣化は典型的には最小にされることができる。さらに、比較的少数の周波数帯域のみが典型的には補償されることが要求され、よって品質影響は典型的には受け入れ可能であるか、さらには知覚可能でない。さらに、影響は、非線形エコーを実際に生じさせる周波数帯域に限定される。

本発明のある種の実施形態では、システムによるオーディオ品質のあるレベルを保証するために、エコー抑制の最小レベルが設定される。したがって、残留信号はいまだ、線形エコー打ち消しフィルタ２１３および補償器２１５によって除去されることができない非線形エコーを含んでいてもよい。

いくつかの実施形態では、エコー抑制器２０７は、残留信号に対してエコー抑制を実行するよう構成されていてもよい。ここで、エコー抑制は類似性指標に基づいていてもよい。

たとえば、エコー抑制器２０７は、この例では、各残留サブバンド信号について歪み指標を生成してもよい。たとえば、第一の残留サブバンド信号について、第一のオーディオ信号と第一の残留信号のサブバンドのすべての対についての類似性指標が組み合わされてもよい（たとえば、加算または平均される）。こうして、結果として得られる歪み指標は、第一の周波数区間外にある第一のオーディオ信号の信号成分からの、前記残留信号の第一の周波数区間内に存在するエコーの量を示してもよい。こうして、第一の残留サブバンド信号に存在する非線形エコーの量を示す歪み指標が生成される。

もう一つの例では、エコー抑制器２０７は、重み付けされた第一のオーディオ信号の諸サブバンドの和に基づいて歪み指標を生成してもよい。ここで、各サブバンドについての重みは、第一のオーディオ信号サブバンドと残留信号サブバンドとの間の類似性指標によって決定される。

次いで、歪み指標に依存して後処理が修正されてもよい。特に、第一の周波数区間／第一の残留サブバンド信号についての利得が、計算された歪み指標に依存して設定される。具体的には、歪み指標がある閾値より下である場合には（非線形エコーの組み合わせが所与のレベルより下であることを示す）、公称利得が適用される。しかしながら、歪み指標が前記閾値より上に上がる場合には（非線形エコーが所与のレベルより上であることを示す）、利得は低減され、それにより非線形エコーの知覚可能な効果を低減する（周波数応答への歪みを代償として）。

こうして、いくつかの実施形態では、サブバンド信号の諸対についての類似性指標が、第一のオーディオ信号に関係する歪み指標に組み合わされる。特に、第一のオーディオ信号のいくつかのサブバンドについて、歪み指標が計算されてもよい。第一のオーディオ信号の各サブバンドについて、歪み指標は、このサブバンドのサブバンド信号および異なる周波数をもつ諸サブバンドについてのすべての残留サブバンド信号について計算された諸類似性値を組み合わせることによって計算される。

これらの歪み指標は次いで、たとえば第一のオーディオ信号の各サブバンドについての利得を設定することによって、前処理を適応させるために使われてもよい。

いくつかの実施形態では、サブバンド信号の諸対についての諸類似性値は、残留信号に関係している歪み指標に組み合わされてもよい。特に、残留信号のいくつかのサブバンドについて歪み指標が計算されてもよい。残留信号の各サブバンドについて、歪み指標は、このサブバンドの残留サブバンド信号および異なる周波数をもつ諸サブバンドについての第一のオーディオ信号のすべてのサブバンド信号について計算された諸類似性値の組み合わせに基づく。

たとえば、いくつかの実施形態では、歪み指標は、類似性値の組み合わされた和として計算されてもよく、残留信号の対応するサブバンドについての利得はこの類似性値に依存して設定されてもよい。もう一つの例として、歪み指標は、（残留サブバンド信号と一致しない）第一のオーディオ信号の各サブバンドについての類似性値の和および第一のオーディオ信号のそのサブバンドの振幅として計算されてもよい。こうして、歪み指標は、それらの第一のサブバンド信号と残留信号との間の類似性指標によってスケーリングまたは重み付けされた（他の周波数における）第一のサブバンド信号の組み合わせに基づいていてもよい。そのような実施形態において、歪み指標は、実際、個々の残留サブバンド信号における非線形エコーの直接的な推定値と考えられてもよい。

これらの歪み指標は、次いで、たとえば残留信号の各サブバンド信号についての利得を設定することによって、後処理を適応させるために使われてもよい。歪み指標が非線形エコーの直接推定値として生成される例では、歪み指標は実際、たとえば残留サブバンド信号から個々の残留サブバンド信号の歪み指標を減算することによって、後処理において直接使われてもよい。

いくつかの実施形態では、歪み指標は、第一のオーディオ信号を参照して生成されるだけであってもよいことは理解されるであろう。たとえば、いくつかの実施形態は、前処理を含むだけで、後処理を含まなくてもよい。

他の実施形態では、歪み指標は、残留信号を参照して生成されるだけであってもよい。たとえば、いくつかの実施形態は、前処理を含むだけで、後処理を含まなくてもよい。

有利には、いくつかの実施形態では、歪み指標は、第一のオーディオ信号および残留信号の両方を参照して生成されてもよい。たとえば、いくつかの実施形態は、前処理および後処理なしの両方を含んでいてもよい。実際、記載される歪み指標に基づくアプローチの格別な利点は、前処理と後処理の間での効率的かつ高性能な相互作用を許容し、特に、二つのプロセスの間でエコー抑制を制御し、分配する効率的な仕方を提供することである。

以下では、エコー抑制が前処理アプローチとして実行される個別的実施形態について詳細に述べる。

特に、オーディオ通信装置のラウドスピーカーによって生成される非線形歪みを低減するために遠端信号を前処理することに向けたサブバンド・ベースのアプローチの記述および解析が提供される。記述されるアプローチは、（記載された第一のサブバンド信号に対応する）遠端サブバンド信号および（記載された残留サブバンド信号に対応する）多数の残留サブバンド信号における信号イベントおよび特性の間の相関を評価する。これらの相関は、類似性値として使われ、各遠端サブバンドの、残留信号における結果的な歪みに対する影響を定量化する、歪み指標を導出するために使われる。前処理器関数のパラメータを適応させることによって、全体的なシステムの目標は、結果として得られる非線形歪みを最小にするものであり、この個別的な例では、その一方で線形音響エコー成分を最大にする。

まず、非線形歪みの根底にあるモデルを提示する。

図１に示した音響エコー打ち消しシステムが考慮されてもよい。ここで、x(n)、e(n)、z(n)およびr(n)はそれぞれ、遠端信号（第一のオーディオ信号）、エコー信号、マイクロフォン信号および音響エコー・キャンセラー（AEC: acoustic echo canceller）残留信号を表わす。

AECは、周波数または時間領域における線形適応的フィルタを使って、フィルタ係数／パラメータの更新を制御する規格化最小平均二乗（NLMS）アルゴリズムのようなアルゴリズムを用いて、実装されると想定される。よって、適応フィルタは、音響エコー経路の線形部分をモデル化するだけであり、推定値

を生成する。

時間領域音響エコー・キャンセラー残留信号は

によって与えられる。

信号がフィルタバンクまたは別の周波数領域分解を使って解析されて、1≦k≦Mとしてサブバンドkを生成する場合、(1)は次のように書ける。

近端発話信号またはノイズのようなローカルな擾乱がなければ、マイクロフォン・サブバンド信号Z(k)はエコー成分E(k)のみからなり、これは線形および非線形（nonlinear）部分にさらに分解できる。すなわち、
Z(k)＝Y(k)＋Y_nl(k)＝Y(k)＋H(k)X_nl(k) (3)
そして、線形エコー成分はY(k)＝H(k)X(k)である。ここで、非線形効果は主としてパワー増幅器およびラウドスピーカー非線形性に起因し、よって非線形信号成分はラウドスピーカーからマイクロフォンへの伝達関数を受けると想定した。

よって、サブバンド残留信号は次式によって与えられる。

さらに、音響エコー・キャンセラーが音響エコーの線形部分を正確にモデル化する、すなわち

と想定すると、
R(k)＝H(k)X_nl(k)
となり、残差に存在する全音響エコーの非線形部分のみを残す。こうして、このシナリオでは、残留信号は非線形エコーのみを含む。

X_nl(k)についての表式は、想定される、非線形歪みの根底にあるモデルに依存する。

典型的には、特に低周波数において、ラウドスピーカー・システムの非線形特性を記述するためには、高調波モデルが使われる。（共鳴より下の）こうした低周波数については、抑制システムの復元力は、ラウドスピーカーのコーン変位の多項式関数によって近似できる。それは、基本周波数の倍数のところのスペクトル成分の生成につながる。

発話調音器官（speech articulator）は2ないし20Hzの範囲のレートで動き、発話包絡におけるゆっくりした変調を生じる。これらの変調は、発話信号についての音声（phonetic）情報を含み、背景ノイズおよび残響を含む過酷な音響環境における劣化を受けないことが知られている。

記載された具体例では、類似性値および歪み指標は、発話包絡におけるゆっくりした変調を考慮することによって、第一のオーディオ信号のサブバンドについて計算される。具体的には、第一のオーディオ信号のサブバンド信号および残留サブバンド信号の包絡における変調の間の相関が決定され、類似性値として使われる。これらの相関は次いで、歪み指標に組み合わされる。

よって、各サブバンドについて（発話変調）包絡信号が生成される。これは具体的には、たとえばフィルタバンクによって、まず個々のサブバンドを生成することによって達成されてもよい。

いくつかの実施形態では、信号は、DFTまたはSTFTのような一様なフィルタバンクを使って生成される等間隔の、等帯域幅のサブバンド信号の集合に基づいて処理される。

他の実施形態では、低周波数でのより細かい周波数分解能およびより高い周波数でのより粗い周波数分解能をもつワープト・フィルタバンクのような非一様なフィルタバンクが使われる。ワープトDFTフィルタバンクのような非一様なフィルタバンクは、関心対象の信号を分解し、再合成するためにより少数のサブバンドを使うことができる、つまり複雑さが低減できるという利点をもつ。

用いられるフィルタバンクに依存して、各サブバンド内での群遅延は異なることがあり、信号の適正な再構成を達成するためには、周波数合成前のサブバンド毎の遅延要素または周波数合成後の補償フィルタの使用を必要とする。しかしながら、今の特定の例では、提案される処理は、サブバンド信号の包絡を利用し、よって、包絡が適正に整列される限り、実際の遅延値はそれほど正確である必要はない。

音響エコー経路と、ラウドスピーカーおよびマイクロフォン経路における他の信号処理コンポーネントとが遅延を導入するため、遅延補償のもう一つの形が含められてもよい。これは、ラウドスピーカー信号における基本周波数の相関付けられた包絡が、向上された出力信号、たとえば残留信号における歪み包絡と適正に整列されることを保証する。

関心対象の信号が一組の（複素）サブバンドに分解されたのち、各チャネルの包絡はこの特定の例において計算される。

フィルタバンクの型（臨界サンプリングか過剰サンプリングか）に依存して、これは以下の段階を含むことができる。
各サブバンドにおける複素数値の信号の絶対値（大きさ）を計算する。
絶対値信号を低域通過フィルタ処理する。
過剰サンプリングされるフィルタバンクについては、結果として得られる信号がダウンサンプリングされることができる。

低域通過フィルタは、発話の変調包絡における変動のみが捕捉されるよう、サブバンド包絡の平滑化を実行する。これを達成するために、しばしば16〜20Hzのカットオフ周波数をもつ低域通過フィルタが有利に使用できる。サブバンド振幅の低域通過フィルタ処理は、提案される発明のある種の実施形態において必須であってもなくてもよい。

DFTフィルタバンクを使ってまたは単に短時間フーリエ変換（STFT）を適用することによって、ダウンサンプリングは通例、変換に内在しているまたはフィルタバンク構造に存在している。（過剰サンプリングされる）ワープト・フィルタバンクについては、ダウンサンプリングは、包絡を計算するときに明示的に実行される。ダウンサンプリングは、本発明のある種の実施形態において必要とされてもされなくてもよく、低域通過フィルタ処理動作に依存する。サブバンド信号が低域通過フィルタ処理される場合、特に多数のサブバンドが考慮されるときは、ダウンサンプリングは計算量を減らすことができる。

いくつかの実施形態では、その後の処理において考慮される包絡信号の数を減らすために、隣接するサブバンドにおける包絡は（典型的には総和または平均によって）組み合わされてもよい。

今の特定の例では、包絡サブバンド信号を生成するために以下の処理が適用されてもよい：
サブバンド信号の半波整流または全波整流。
低域通過フィルタを使った、整流された信号の平滑化。
平滑化された信号のダウンサンプリング。
平滑化された信号の高域通過フィルタ処理または差分による零平均包絡の生成。

結果として得られるサブバンド信号は典型的には、音声（phonetic）イベントに関連付けられた活動バーストを有する。これらのイベントの時間における形状および局在化は、今の特定の例では、類似性値の生成の基礎をなす。こうして、類似性値は、遠端信号（第一のオーディオ信号）のサブバンドにおけるイベントおよびAEC残留信号の対応する（たとえば高調波の）サブバンドを横断したイベントの間での相関を反映するよう生成されてもよい。

がそれぞれ

の包絡を表わすとする。すると、残留包絡は非線形遠端包絡：

を用いて書くことができる。ここで、H(k)の値はチルダ付きのX_nl(k)よりずっと遅いレートで変化すると想定される。

加法的高調波歪みモデルでは、非線形遠端包絡〔チルダ付きのX_nl(k)〕は、そのエネルギーに寄与する諸基本周波数を用いて書くことができる。

実数の係数a_k,mは、何らかの整数q＝2,3,…,N_har＋1について遠端の第一の信号のサブバンドm＝k/q、m≠kの部分を、捕捉されたエコー信号におけるその高調波サブバンドkに関係付ける。N_harはモデルにおいて考えられている高調波の数を表わす。

式(6)における残留非線形音響エコーについての表式を与えられると、残留包絡〔チルダ付きのR(k)〕は次のようになる。

図４および図５は、それぞれ第一のオーディオ信号および残留信号についての平滑化され、ダウンサンプリングされたサブバンドの例を示している。今の例では、サブバンド信号は16チャネルのワープト（Warped）離散フーリエ変換（DFT: Discrete Fourier Transform）フィルタバンクを使って生成される。遠端サブバンド包絡（すなわち、第一のオーディオ信号の異なるサブバンド）の間にも、遠端サブバンド包絡と残留サブバンド包絡の間（すなわち、第一のオーディオ信号と残留信号のサブバンド信号どうしの間）にも相関があることを注意しておいてもよいだろう。

発話サブバンドの包絡の間の相関は、サブバンド中心周波数の間の差が増大するにつれて減少する傾向があることが知られている。したがって、初期解析を単純化するために、まず、遠端サブバンド包絡（第一のオーディオ信号のサブバンド信号）は無相関であり、積の項b_k,m＝H(k)a_k.mが

として推定されることができると想定する。

包絡が長さNの（重複する）ブロックにおいて処理される場合、(9)は次のように書ける。

κはブロック・インデックスを表わす。

これらの値、すなわち＾付きのb_k,mは類似性値として直接使用されてもよい。よって、

となる。

多くの実施形態において、本システムは、G_pre(m)によって表わされる、各サブバンド信号についての適応可能な前処理利得を含んでもよい。この場合、利得は、歪み指標に基づいて設定され、よって適応的なフィードバック・ループが生成されうる。

前処理器機能が利得関数G_pre(m)によって与えられて

となる場合、チルダ付きのR(k)を(10)または(11)に代入すると、次の類似性値（similarity values）が得られる。

m＝kについての相関指標Sim(k,m)は、チルダ付きのX(m)と、残留信号

に残っている線形エコー成分、すなわち線形音響エコー・キャンセラーと真のエコー経路との間の線形モデル不一致に起因する抑制できなかった線形エコーの量との間の線形関係に対応する。

典型的には、処理は、ブロック・ベースであってもよく、類似性値／相互相関はこのブロック処理に基づいていてもよい。典型的なブロック長は10〜50msである。

もう一つの例として、類似性値Sim_k,mはいくつかのブロックにわたって

として計算されてもよい。ここで、i_maxは

のピーク値が位置しているブロックκ内のサンプル・インデックスに対応する。

先述したように、図４および図５は、16チャネルのワープトDFTフィルタバンク（16kHzサンプリング周波数）から帰結する9個の正周波数チャネルの平滑化され、ダウンサンプリングされた包絡を示している。図４は第一のオーディオ信号のサブバンド信号、すなわち

を示し、図５は残留信号のサブバンド信号、すなわち

を示す。信号長は約19秒である。最も顕著な高調波成分はT＝16秒のところに観察される。ここで、中心周波数1340Hzをもつサブバンドにおけるイベントは、1952Hzを中心とする残留サブバンド信号におけるイベントに明瞭に相関している。他の相関されたイベントが、たとえば907Hzと1340Hzを中心とするサブバンドの間に、存在する。

第一のオーディオ信号のサブバンドmについての可能な歪み指標が、たとえば全非線形音響エコー・パワーの、サブバンドmによって生成される全エコー・パワー（線形および非線形）に対する比として生成されてもよい（よって、全高調波歪み（THD: total harmonic distortion）を決定するためのアプローチと同様）。

たとえば、次の歪み指標が計算されてもよい。

ここで、P_q(m)はサブバンドmのq次高調波のパワーを表わす。I(m)の値は0と1の間に制限され、I(m)＝0は高調波歪みなしに対応し、I(m)＝1は100%歪みに対応する。

可変前処理利得の例については、歪み指標はTHD推定値として次式に従って計算されてもよい。

ブロック形では、歪み指標は次のように表わされてもよい。

H(m)の値は、遠端および線形適応フィルタ出力信号を使って推定できる。

ここで、チルダ付きのY(m)は適応フィルタの出力包絡のブロックを表わす。

項|H(m)|²G_pre ²(m)は、線形適応フィルタのインパルス応答および前処理器利得関数から、あるいは単に次のようにして推定できる。

全高調波歪み（THD）指標は、入力パワーの、高調波歪みとして再生される割合を関係する。この歪みは主として、大きなラウドスピーカー変位を生じる高い遠端信号振幅によって引き起こされるので、観察されるTHD値は、高いTHD値をもつサブバンドmを減衰させるまたは制限することによって低減されることができる。

今の例では、式(11)は、k≠mのときにサブバンドkについて式(9)および(10)の類似性値を組み合わせることによって、サブバンドmについての歪み指標を計算するために使用されてもよい。さらに、歪み指標は、線形エコーについてのエコー・パワーが補償信号のパワーから決定される場合、全推定されたエコー・パワーに関して規格化されてもよい。

いくつかの実施形態では、相互相関指標は、所与の入力において活動が検出される場合に更新されるのみである。この活動指標は、サブバンド毎のノイズフロアに基づくことができる。ここで、ノイズフロアはたとえば最小統計法（minimum statistics methods）を使って推定される。

包絡

の間の相互相関指標は、入力サブバンドmと残留サブバンドkの間の高調波関係の推定値を提供し、類似性値についての好適な指標を提供する。しかしながら、他の実施形態では他の類似性指標が使われてもよいことは理解されるであろう。

一つのそのような指標は、第一のオーディオ信号および残留信号の諸ブロックの特定の特徴、たとえばブロック内の極大および極小の数またはサブバンド内のアクティブな領域のオンセット／オフセット時間に基づいていてもよい。後者の場合、0または1の二値の類似性値が使用できる。二値の類似性指標については、H(m)の値は1に設定されてもよい。二値の類似性値が使われる場合は、歪み指標はたとえば、サブバンドmについての類似性指標の最大または和を取ることによって

あるいは諸サブバンドmを横断した類似性の最大／平均値として

計算されることができる。ここで、K(m)はサブバンドmによって影響される高調波の数を表わす。

今の特定の例では、エコー抑制は、前処理を実行するエコー抑制器２０７によって実行される。本アプローチは、特に、図６の等価回路に関して記述される。

エコー抑制器２０７の前処理器関数は、第一のオーディオ信号x(n)の線形または非線形関数でありうる。

前処理関数をX_p(m)＝F{X(m)}と表わすと、(8)における非線形残留エコー成分は、残留エコーが今や修正された第一のオーディオ信号（前処理された遠端信号）X_p(m)に依存するという事実を反映するよう、次のように書き直せる。

類似性値H(k)a_k,mは、X(m)の代わりにX_p(m)に関して、(9)における規格化された相互相関の式を使って推定されることもできる。

しかしながら、これは、いくつかのシナリオでは、第一のオーディオ信号の非常に低振幅のサブバンドに起因するエコーの過大評価につながることがある。これに対処するために、歪み指標は、何らかのレベルの活動を含むサブバンドについて計算されるだけであってもよく、さらに、前処理によって導入される減衰の量がある最小値に制限されてもよい。係数b_k,mも最小二乗（least-squares）または最小平均二乗（least mean squares）法を使った合同推定によって決定されてもよい。

たとえば、重み更新の式は、

によって与えられてもよい。ここで、μは更新レートを調整するパラメータであり、

である。

以下では、装置のラウドスピーカーによって生成される非線形歪みの量を低減することに向けられた二つのサブバンド前処理関数が記述される。前処理パラメータの最適化は、第一のオーディオ信号サブバンドの絶対値に適用できる何らかの最大利得または限界があり、非線形歪みの量は何らかのユーザー定義される閾値以内に低減されるという想定に基づく。

数学的には、係数a_k,m＝f{X_p(m)}であれば、X_p(m)＞0である何らかの最適な前処理関数について寄与a_k,mX_p(m)は無視できる。換言すれば、a_k,m＝f{X_p(m)}X_p(m)は、X_p(m)の単調増加関数であり、減少するX_p(m)について0に近づき、a_k,mはX_p(m)より速く減少すると想定される。

まず、適応的な実数値のサブバンド利得関数からなる線形前処理について述べる。

この場合、前処理は実数の利得関数G(m)によって与えられ、
X_p(m)＝G(m)X(m) (26)
となる。

すると、サブバンド包絡は

として与えられる。

前処理は、（グローバルな）最大遠端絶対値によって引き起こされる歪みが、線形音響エコー成分が最大化されるという制約条件の下での何らかの閾値より低いような、実数の利得値の集合を導出しようとする。

これらの要求は、前処理遠端サブバンド包絡の影響が何らかの閾値より低いような最大の利得値を見出すことに相当する。影響が対応する絶対値の増加関数であると想定される場合、この最大の利得値はグローバルな最大遠端絶対値と、歪み指標が歪み閾値要求を満たすのにちょうど十分小さくなる最も大きな絶対値との両方の関数であるべきである。すなわち、

ここで、c(m;κ)はI(m)≦I_minとなるような|X(m;κ)|の最大値に対応し、I_minは歪み指標閾値である（0≦I_min≪1）。

現在の包絡ブロックκについて、I(m;κ)≦I_minであり、かつ、現在の極大絶対値（包絡ではない）X_max(m;κ)がc(m;κ−1)より大きい場合には、
c(m;κ)＝β_cc(m;κ−1)＋(1−β_c)X_max(m;κ) (28)
ここで、β_cは1に近い値をもつ平滑化定数である（0＜β_c＜1）。

I(m;κ)＞I_minであれば、
c(m;κ)＝max{c_min(m),β_dc(m;κ−1)} (29)
である。ここで、β_dは1に近い値をもつ減衰因子であり（0＜β_d＜1）、c_min(m)はサブバンド依存であってもよい最小の許容可能な制限値である。

サブバンドmのブロックκについての(28)における極大絶対値（包絡ではない）は
X_max(m;κ)＝max|X(m;κ)| (30)
である。(29)におけるX_max,g(m;κ)はサブバンドmにおけるグローバルな最大絶対値を表わす。

α＝1の値は、所与のサブバンド内の最大ピークがI_minによって設定されるものを超える歪みを導入しないことを保証する。0＜α＜1については、この厳しい要求は緩和され、一方、α＞1は過剰減衰を与える。

推定された利得レベルは典型的には、出力信号における散発的な変化を防止するために、時間的に平滑化もされる。

G'(m;κ)＝γG(m;κ)＋(1−γ)G(m;κ−1) (31)
ここで、0＜γ＜1であり、γの典型的な値は1のほうにより近い。

もう一つの例として、前処理はクリッピング関数のような非線形関数であってもよい。

具体的には、(27)におけるグローバルなピーク絶対値およびc(m;κ)に基づく実数値の利得関数を推定するのではなく、c(m;κ)の値はX(m)の絶対値をクリッピングするために直接使用されてもよい。

その際、出力信号は

として決定されてもよい。ここで、F{・}は硬／軟クリッピング関数または固定した圧縮因子および適応的な閾値をもつ圧縮器である。

(32)に示されるように、複素数値のサブバンドについて、この関数はサブバンドの絶対値に適用され、次いで結果がもとの位相と組み合わされる。

推定されたクリッピング・レベルは、典型的には、出力信号における散発的な変化を防止するために、たとえば
c'(m;κ)＝γc(m;κ)＋(1−γ)c(m;κ−1) (33)
として時間的に平滑化されてもよい。ここで、0＜γ＜1であり、γの典型的な値は1により近い。

これらの例において、歪み指標は前処理された／修正された第一のオーディオ信号包絡

に基づくことを注意しておくべきである。しかしながら、前処理器関数は実際には、第一のオーディオ信号X(k)の絶対値から導出される。これは、前処理器パラメータの安定な適応を保証しうる。

いくつかの実施形態では、エコー抑制は、エコー抑制器２０７による残留信号の後処理であってもよい。

(10)において計算される類似性指標は、非線形音響エコー成分を推定するために使われることもできる。

いくつかの実施形態では、非線形エコーのためのこの推定値は、歪み指標として直接使われてもよい。よって、この特定の例では、残留サブバンドkについての歪み指標は、（残留サブバンド信号と一致しない）第一のオーディオ信号の各サブバンドについての諸類似性指標の和に、第一のオーディオ信号のそのサブバンドの振幅を乗算したものとして計算されうる。

上式を行列の形で書き直すと次のようになる。

ここで、MかけるM行列Aの行kはm≠kについてのX(m)とR(k)の間の類似性指標を含む。

Aの要素は時間的に平滑化されることができる。

A(κ)＝ζA(κ)＋(1−ζ)A(κ−1) (36)
ここで、0＜ζ＜1である。

すると、推定値

は、具体例として、後処理器利得関数を導出するためのスペクトル減算方式において使用されてもよい。残響の存在は、各サブバンド内の包絡を、サブバンドに依存してさまざまな度合いで、ぼかす。提案される前処理器利得間数は最大統計に基づくので、その性能は、種々の音響環境においてきわめて堅牢である。しかしながら、利得推定の正確さは、X(m)とR(k)の間の類似性を計算するときに残響の効果をモデル化することによって改善できる。後処理については、残響のモデルを組み込むことで非線形音響エコー抑制の性能を有意に改善できる。

すると、サブバンドについての利得値はたとえば

として推定されてもよい。ここで、γ_osは過剰減算因子（over-subtraction factor）であり、γ_os≧1である。計算される利得G_post(k)に対する下限も制限することが一般的である。すなわち、
G'_post(k)＝max(G_post(k),min(k)) (38)。

このように、これらの例において、各残留サブバンド信号について、該残留サブバンドと、異なる周波数をもつ前記第一のオーディオ信号の諸サブバンドとの諸ペアリングについての諸類似性値の組み合わせによって、歪み指標が計算される。こうして、その残留信号のある周波数区間について歪み指標が生成され、該歪み指標は、この周波数区間において残留信号に導入される非線形歪みを示す。次いで、その周波数区間についての利得は、この歪み値に応答して設定される。特に、歪みが増大すると利得は低減される。

いくつかの実施形態では、システムは、エコー抑制を、合同の前処理および後処理として実行してもよい。初期には、すべての前処理利得は一定であってもよく、よって非線形エコーは後処理によって扱われる必要がある。しかしながら、前処理器利得が適応し、帰結する非線形歪みを低減するので、XとRの間の類似性指標値は減少し、よってA(κ)→0となる。つまり、非線形音響エコーが初期には前処理利得によって回避されないので、初期には、後処理器は、非線形音響エコーを除去することにおいて仕事の大半を行なうことになる。しかしながら、ひとたび前処理が適応して、非線形歪みを低減したら、後処理器利得関数による補償は、より低い類似性指標値の結果として、自動的に低減される。

いくつかの実施形態では、システムは、残留信号の、近端発話信号対非線形エコー・パワーの比を測ってもよい。この比がある閾値より上であれば、第一のオーディオ信号の抑制の量は低減されることができる。しかしながら、この比がある閾値より下であれば、残留信号のさらなる抑制は所望される近端発話信号の望まれない歪みにつながることがある。したがって、この場合、第一のオーディオ信号の抑制の量が増大されることができる。このようにして、システムは、遠端に送信される近端発話歪みの量とラウドスピーカーによって生成される非線形歪みの量とを効果的にバランスさせる。

いくつかの実施形態では、類似性値は、残響推定値を考慮に入れてもよい。実際、残響の存在は、各サブバンド内の包絡を、サブバンドに依存してさまざまな度合いでぼかす傾向がある。提案される前処理利得関数は最大統計に基づくので、その性能は、種々の音響環境においてきわめて堅牢である。しかしながら、利得推定の正確さは、X(m)とR(k)の間の類似性を計算するときに残響の効果をモデル化することによって改善できる。後処理については、残響のモデルを組み込むことで非線形音響エコー抑制の性能を有意に改善できる。

上記の記述は明確のため本発明の諸実施形態を種々の機能的な回路、ユニットおよびプロセッサに言及して記述していることは理解されるであろう。しかしながら、種々の機能的な回路、ユニットおよびプロセッサの間での機能のいかなる好適な分配も、本発明を損なうことなく使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されると示される機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、個別的な機能ユニットまたは回路への言及は、厳密な論理的または物理的構造または組織を示すのではなく、単に、記載される機能を提供するための好適な手段への言及と理解されるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして少なくとも部分的に実装されてもよい。本発明のある実施形態の要素およびコンポーネントはいかなる好適な仕方で物理的、機能的および論理的に実装されてもよい。実際、機能は単一のユニットにおいて、複数のユニットにおいてまたは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよく、あるいは異なるユニット、回路およびプロセッサの間で物理的および機能的に分配されてもよい。

本発明はいくつかの実施形態との関連で記述されたが、本稿に記載される個別的な形に限定されることは意図されていない。むしろ、本発明の範囲は、付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記述されているように見えることがありうるが、当業者は、記述される実施形態のさまざまな特徴が本発明に基づいて組み合わされうることを認識するであろう。請求項においては、有する／含むの用語は、他の要素や段階の存在を排除するものではない。

さらに、個々に挙げられていても、複数の手段、要素、回路または方法段階はたとえば単一の回路、ユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴は異なる請求項に含まれることがあるが、これらは可能性としては有利に組み合わされてもよく、異なる請求項に含まれることは、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれることは、このカテゴリーへの限定を含意するものではなく、もしろ、その特徴が他の請求項カテゴリーにも適宜等しく適用可能であることを示す。さらに、請求項における特徴の順序は、特徴が機能させられなければならないいかなる特定の順序を含意するものでもなく、特に、方法請求項における個々の段階の順序は、それらの段階がその順序で実行されなければならないことを含意するものではない。むしろ、それらの段階はいかなる好適な順序で実行されてもよい。さらに、単数形での言及は複数を排除しない。「ある」「第一の」「第二の」などの言及は複数を排除するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる仕方であれ請求項の範囲を限定するものと解釈してはならない。

Claims (16)

1. ラウドスピーカーによるレンダリングのための第一のオーディオ信号を受領する第一の受領器と；
   マイクロフォン信号を受領する第二の受領器と；
   前記第一のオーディオ信号から第一の補償信号を生成する線形エコー打ち消しフィルタと；
   前記マイクロフォン信号から前記第一の補償信号を減算することによって残留信号を生成する補償器と；
   前記残留信号に応答して前記線形エコー打ち消しフィルタのためのフィルタ・パラメータの集合を決定する第一の適応器と；
   前記第一のオーディオ信号の第一の周波数区間における信号成分のレンダリングによって引き起こされる非線形歪みの指示を与える少なくとも一つの歪み指標の集合を生成するよう構成された第一の推定器であって、少なくとも一つの歪み指標の前記集合のうちの歪み指標は、前記第一の周波数区間の外側の少なくとも一つの周波数区間における前記残留信号への寄与を示す、第一の推定器と；
   少なくとも一つの歪み指標の前記集合に応答してエコー抑制を実行するよう構成されたエコー低減器とを有しており、
   前記第一の推定器は、前記第一の周波数区間に属さない前記残留信号についての類似性指標を決定する比較器を有し、前記残留信号についての類似性指標はその残留信号と前記第一のオーディオ信号の類似性を示す、
   オーディオ・エコー抑制器。
2. ラウドスピーカーによるレンダリングのための第一のオーディオ信号を受領する第一の受領器と；
   マイクロフォン信号を受領する第二の受領器と；
   前記第一のオーディオ信号から第一の補償信号を生成する線形エコー打ち消しフィルタと；
   前記マイクロフォン信号から前記第一の補償信号を減算することによって残留信号を生成する補償器と；
   前記残留信号に応答して前記線形エコー打ち消しフィルタのためのフィルタ・パラメータの集合を決定する第一の適応器と；
   前記第一のオーディオ信号の第一の周波数区間における信号成分のレンダリングによって引き起こされる非線形歪みの指示を与える少なくとも一つの歪み指標の集合を生成するよう構成された第一の推定器であって、少なくとも一つの歪み指標の前記集合のうちの歪み指標は、前記第一の周波数区間の外側の少なくとも一つの周波数区間における前記残留信号への寄与を示す、第一の推定器と；
   少なくとも一つの歪み指標の前記集合に応答してエコー抑制を実行するよう構成されたエコー低減器とを有しており、
   前記第一の推定器が：
   前記第一のオーディオ信号から前記第一の周波数区間についての第一のサブバンド信号を生成する第一のサブバンド生成器と；
   前記残留信号から複数の残留サブバンド信号を生成する第二のサブバンド生成器と；
   前記第一の周波数区間に属さない少なくともいくつかの残留サブバンド信号についての類似性指標を決定する比較器であって、残留サブバンド信号についての類似性指標はその残留サブバンド信号と前記第一のサブバンド信号の類似性を示す、比較器と；
   それらの類似性値から前記第一の周波数区間についての前記歪み指標を決定する第二の推定器とを有する、
   請求項１記載のオーディオ・エコー抑制器。
3. 前記比較器は、第一の残留サブバンド信号についての前記類似性指標を、前記第一のサブバンド信号の信号変動と前記第一の残留サブバンド信号の信号変動の類似性に応答して生成するよう構成されている、請求項２記載のオーディオ・エコー抑制器。
4. 前記比較器は、第一の残留サブバンド信号についての前記類似性指標を、前記第一のサブバンド信号と前記第一の残留サブバンド信号の相互相関に応答して生成するよう構成されている、請求項２記載のオーディオ・エコー抑制器。
5. 前記第一の推定器は、複数の周波数区間について歪み指標を生成するよう構成されており、前記エコー低減器は、前記複数の周波数区間の各周波数区間についてのエコー抑制のパラメータを、その周波数区間についての歪み指標に応答して別個に調整するよう構成されている、請求項２記載のオーディオ・エコー抑制器。
6. 前記第二の推定器は、前記少なくともいくつかの残留サブバンド信号のうちの複数についての類似性値を組み合わせることによって前記歪み指標を生成するよう構成されている、請求項２記載のオーディオ・エコー抑制器。
7. 前記第二の推定器は、前記第一の周波数区間内の前記第一のオーディオ信号の信号成分からの前記マイクロフォン信号への寄与についてのパワー推定値に関して、前記歪み指標を規格化するよう構成されている、請求項２記載のオーディオ・エコー抑制器。
8. 前記第二の推定器は、前記第一の周波数区間についての線形エコー・パワー推定値に応答して前記パワー推定値を生成するよう構成されており、前記線形エコー・パワー推定値は、フィルタ・パラメータの前記集合に応答して生成される、請求項７記載のオーディオ・エコー抑制器。
9. 前記比較器は、前記第一の周波数区間の周波数と前記残留サブバンド信号のサブバンド周波数との間の高調波関係に応答して前記少なくともいくつかの残留サブバンド信号を選択するよう構成されている、請求項２記載のオーディオ抑制器。
10. 前記第一の推定器は：
    前記残留信号から前記第一の周波数区間についての第一の残留サブバンド信号を生成する第一のサブバンド生成器と；
    前記第一のオーディオ信号から複数の第一のオーディオ・サブバンド信号を生成する第二のサブバンド生成器と；
    前記第一の周波数区間に属さない少なくともいくつかの第一のオーディオ・サブバンド信号についての類似性指標を決定する前記比較器であって、第一のオーディオ・サブバンド信号についての前記類似性指標は該第一のオーディオ・サブバンド信号と前記第一の残留サブバンド信号の類似性を示す、比較器と；
    それらの類似性値から前記第一の周波数区間についての前記歪み指標を決定する第二の推定器とを有する、
    請求項１記載のオーディオ・エコー抑制器。
11. 前記第二の推定器は、前記第一の残留サブバンド信号についての前記歪み指標を、前記少なくともいくつかの第一のオーディオ・サブバンド信号のうちの複数についての類似性値の組み合わせに基づいて生成するよう構成されている、請求項１０記載のオーディオ・エコー抑制器。
12. 前記エコー低減器は、前記ラウドスピーカーによるレンダリングに先立って少なくとも一つの歪み指標の前記集合に応答して前記第一のオーディオ信号を修正するよう構成されている、請求項１記載のオーディオ・エコー抑制器。
13. 前記エコー低減器は、前記第一の周波数区間についての前記歪み指標に応答して前記第一の周波数区間における前記第一のオーディオ信号についての利得またはクリッピング・レベルを設定するよう構成されている、請求項１２記載のオーディオ・エコー抑制器。
14. 前記エコー低減器は少なくとも一つの歪み指標の前記集合に応答して前記残留信号を修正するよう構成されている、請求項１記載のオーディオ・エコー抑制器。
15. 第一の受領器において、ラウドスピーカーによるレンダリングのための第一のオーディオ信号を受領する段階と、
    第二の受領器において、マイクロフォン信号を受領する段階と、
    線形エコー打ち消しフィルタにおいて、前記第一のオーディオ信号から第一の補償信号を生成する段階と、
    補償器において、前記マイクロフォン信号から前記第一の補償信号を減算することによって残留信号を生成する段階と、
    第一の適応器によって、前記残留信号に応答して前記線形エコー打ち消しフィルタのためのフィルタ・パラメータの集合を決定する段階と、
    第一の推定器によって、前記第一のオーディオ信号の第一の周波数区間における信号成分のレンダリングによって引き起こされる非線形歪みの指示を与える少なくとも一つの歪み指標の集合を生成する段階であって、前記歪み指標は、前記第一の周波数区間の外側の少なくとも一つの周波数区間における前記残留信号への寄与を示す、段階と、
    エコー低減器によって、少なくとも一つの歪み指標の前記集合に応答してエコー抑制する段階とを含み、
    少なくとも一つの歪み指標の前記集合を生成する前記段階が：
    前記第一の周波数区間に属さない前記残留信号についての類似性指標を決定する段階であって、前記残留信号についての類似性指標はその残留信号と前記第一のオーディオ信号の類似性を示す、段階と；
    それらの類似性値から前記第一の周波数区間についての前記歪み指標を決定する段階とを含む、
    方法。
16. 少なくとも一つの歪み指標の前記集合を生成する前記段階がさらに：
    第一のサブバンド生成器によって、前記第一のオーディオ信号から前記第一の周波数区間についての第一のサブバンド信号を生成する段階と；
    第二のサブバンド生成器によって、前記残留信号から複数の残留サブバンド信号を生成する段階とを含み、
    前記類似性指標を決定する前記段階が、前記第一の周波数区間に属さない少なくともいくつかの残留サブバンド信号についてのさらなる類似性指標を決定するよう構成された比較器によって実行され、残留サブバンド信号についての前記さらなる類似性指標はその残留サブバンド信号と前記第一のサブバンド信号の類似性を示す、
    請求項１５記載の方法。

Images