JP4417390B2 - ステレオ音声を向上させるためのシステム及び方法 - Google Patents

Description

本発明は、改良された音響特性を有する音声通信システム及び方法に関し、特に改良された音声エコーキャンセルシステムを備えた会議システムに関する。

拡声器を使用して構成された通常の会議システムにおいては、１又は２以上の通信ユニットが離れたサイトに置かれる。会議システムを使用して一つのサイトから別のサイトに送られる信号は、送信に伴う遅延及び処理に伴う遅延を含むであろう種々の遅延を受ける。テレビ会議システムにおいては、画像信号の処理遅延は、音声信号の処理遅延よりかなり大きい。画像信号と音声信号とを同時に提供しなければならないので、画像信号の大きな遅延を補償するために、送信路及び受信路の双方において、音声信号にリップシンク遅延が意図的に導入される。

通常の会議システムにおいては、１個又はそれ以上のマイクロフォンがサイトＡにおける音波を捕らえてこの音波を第１の音声信号に変換する。この第１の音声信号はサイトＢに送信され、ここでテレビセット又は増幅器と拡声器とが、サイトＡにおいて作られた第１の音声信号を音波に変換することにより第１の音波を作る。サイトＢにおいて作られた音波はサイトＢの音声獲得システムによりその一部分が捕捉され第２の音声信号に変換され、そしてサイトＡにあるシステムに送り戻される。一方のサイトで捕捉された音波が他方のサイトに送られ、次いで最初のサイトに送り戻されるこの問題は音響エコーと呼ばれる。これが最も厳しく現れた場合は、ループの利得が１を越えたとき、音響エコーがフィードバック音を生ずることがある。特にシステム構成に遅延があるならば、上述のリップシンク遅延のため、テレビ会議システムにおいて普通であるように、音響エコーがサイトＡ及びＢの双方の参加者の会議システム上での会話を困難とさせる。音響エコーの問題は、通常は、以下説明される音響エコーキャンセラーを使用して回避される。
ヤコブ・ベネスティ（Ｂｅｎｅｓｔｙ Ｊ．）等による１９９８年９月発行のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇの第６巻、第５号の第４６８〜４７５頁に掲載された「Ａ ｈｙｂｒｉｄ ｍｏｎｏ／ｓｔｅｒｅｏ ｅｃｈｏ ｃａｎｃｅｌｌｅｒ」は、１ｋＨｚ以上のステレオ音声が除去されて１ｋＨｚ以下のステレオ音声が保護されるエコーキャンセリング方法を記載している。動機は、１ｋＨｚ以上の周波数が、ステレオの人的認識に対して全く寄与しないことによる。モノエコーキャンセラーは１ｋＨｚ以上で使用できる。１ｋＨｚ以下では、左右のチャンネルを関連させないように非線形要素が加えられて、不変の問題を従って低減する。本発明と比較して、この方法の欠点は、１ｋＨｚ以上のモノエコーに基づくステレオ認識が低く、１ｋＨｚ以下のオーディオが歪められることである。

図１は、テレビ会議システムの全体図である。このシステムは、２個のサイト、Ａ及びＢに配置される。会議システムの構成については、テレビ会議モジュールを２個以上のサイトに配置することができ、そしてシステム構成は１個のサイトのみが拡声器を持つときに機能的である。画像モジュールはサイトＡに、テレビ画像を獲得する画像獲得システム１１４１及びテレビ画像をコード化する画像サブシステム１１５０を持つ。並行して、音声獲得システム１１１１により音波が獲得され、そして音声サブシステム１１３０がこの音波を音響信号にコード化する。画像コード化システムにおける処理遅延のため、制御システム１１６０が、画像信号と音声信号との間の同期を達成するために、リップシンク遅延回路１１６３の使用により音声信号に追加の遅延を導入する。画像信号と音声信号とは多重化装置１１６１において一緒に混合され、得られた信号、音声−画像信号が、送信チャンネル１３００上でサイトＢに送られる。追加のリップシンク遅延回路１２６２がサイトＢにおいて挿入される。更に、音声提供装置１２２１により提供された音声信号がサイトＢにおける音波として表現される。サイトＢにおいて提供された音波の一部は、直接音波として、又は反射音波として音声獲得装置１２１１に達する。サイトＢにおける音の獲得とこの音のサイトＡへの遅延を伴った送り戻しとがエコーを形成する。説明された全ての遅延の総和はかなり大きく、このためテレビ会議のエコーキャンセラーに対する要求性能は特に高い。

図２は、図１のテレビ会議システムの音声システムの一部となし得る音響エコーキャンセラーサブシステムの一例を示す。少なくも一つの参加者サイトが、通信システムにおけるエコーを減らすために音響エコーキャンセラーサブシステムを持つ。音響エコーキャンセラーサブシステム２１００は、全帯域型のデジタル音響エコーキャンセラーである。全帯域型は音響信号の全音声帯域（例えば、２０ｋＨｚまで；テレビ会議に対しては帯域は典型的に７ｋＨｚまで；音声会議においては帯域は３．４ｋＨｚまで）を処理する。

既に説明したように、音響エコーの補償は、音響エコーキャンセラーにより達成されることが普通である。音響エコーキャンセラーは独立型の装置又は通信システムの場合の組込み部品である。音響エコーキャンセラーは、例えば、線形／非線形の数学モデルを使用して、サイトＢよりサイトＡに送られる音響信号から数学的に調整された音響信号を差し引いて、サイトＡからサイトＢに送信される音響信号を変形させる。より詳細には、例えば、サイトＢにおけ音響エコーキャンセラーサブシステム２１００を参照すれば、音響エコーキャンセラーは、サイトＡからの第１の音響信号２１３１を音響システム２１２１の数学モデラーを通過させ、エコー信号の推定値２１３３を計算し、このエコー信号推定値をサイトＢにおいて獲得された第２の音声信号２１３２から差し引き、そして第２の音響信号２１３５よりエコー推定値だけ小さい信号をサイトＡに送り戻す。図２のエコーキャンセラーサブシステムは、推定誤差、即ち、音声獲得装置により音が獲得された場所における背景騒音及び環境の変化に対して数学モデルを更新し又は適合させるための推定エコー値と実際のエコーとの間の差も含む。

大多数のエコーキャンセラーに使用される音響システム２１２１のモデルはＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓ Ｒｅｓｐｏｎｓｅ， 有限インパルス応答）フィルターであり、直接音及び大部分の室内の反射音の変換機能を近似している。音響システム２１２１の全帯域モデルは比較的複雑であり、かつ処理用パワーを必要とし、そして、通常は、全帯域モデルに代わるものが好まれる。

エコーキャンセラーの処理用パワーの要求を減らす一つの方法は、サブ帯域処理を導入することである。即ち、信号を、より低いサンプリング周波数を使用して表し得るより狭い帯域幅を有する複数の帯域に分割することである。かかるシステムの例が図３に示される。拡声器及びマイクロフォンの信号は、分解フィルターにより、各帯域がオリジナルの拡声器及びマイクロフォンより小さい周波数範囲を表しているサブ帯域に分割される。各サブ帯域について同様なエコーキャンセリング及びその他の処理が行われた後、変更されたマイクロフォンの全ての帯域が合成フィルターにより一緒に併合されて全帯域信号を形成する。

ある事例においては、サブ帯域と全帯域処理を組み合わせることが便利なことがある。幾つかのサブアルゴニズムを、全帯域とサブ帯域との双方で、或いは組み合わせで実行することができる。
スティーブン・エル・ガット及びヤコブ・ベネスティ（Ｓｔｅｖｅｎ Ｌ． Ｇａｔ ａｎｄ Ｊａｃｏｂ Ｂｅｎｅｓｔｙ）著、「アコースティック・シグナル・プロセッシング・フォア・テレコミュニケーション」（Ａｃｏｕｓｔｉｃ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）、ボストン（Ｂｏｓｔｏｎ）、クルウワー・アカデミック・パブリッシャーズ（Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ）、２０００

エコーキャンセラーの中核要素は、既に説明された音響モデルである（最も普通にはＦＩＲフィルターにより実行される）。音響モデルは、拡声器からマイクロフォンへの遠端信号の伝達機能のシミュレーションを意図する。この適応モデルは勾配探査（ｇｒａｄｉｅｎｔ ｓｅａｒｃｈ）アルゴニズムにより更新される。このアルゴニズムは、エコー推定値を引いた後の信号のパワーである誤差関数を最小にすることを試みる。モノラルエコーキャンセラーに対しては、この解が機能し、これは均一かつ特有の解である。

しかし、高品質通信においては、高品質の多チャンネル音声、例えばステレオ音声を送り提供することが望まれることが多い。ステレオ音声は、ある組成の音からの異なる空間音声を表している２個の分離したチャンネルからの音声信号を含む。関係の各拡声器にチャンネルを接続することによりより忠実な音声の再現が作られる。リスナーは、音の組成を作る複数の音声源の間の空間的な差を感知するであろう。

１個の拡声器上で活動している信号は他方の拡声器上にある信号とは差がある。そこで、ステレオ（又は多チャンネル）エコーキャンセラーに対しては、各拡声器から関係のマイクロフォンへの伝達関数を補償することが必要である。これは、異なるが相関した２個の信号を補償するので、単一の音声エコーキャンセラーと比較して幾分か異なった状況である。

加えて、異なるチャンネル間の相関が重要になり易い。これが、通常の勾配探査アルゴニズムを悩ませる。数学的に表現された相関は、誤差関数に幾つかの偽の最小解を導く。これは、特に非特許文献１に説明される。基本的な問題は、多チャンネルが直線関係の信号を搬送するとき、適応アルゴニズムにより解かれた誤差関数に相当する正規関数の解が特異であることである。これは、方程式に特有の解が無くて無限数の解があることを意味し、送信室のインパルス応答に依存する真のもの以外を示す可能性がある（この文脈においては、送信室は、例えば遠端において再生された記録され又はプログラムされたマテリアルも含むことができる）。このとき、勾配探査アルゴリズムは、必ずしも真の最小の解ではない最小に陥る。

このステレオエコーキャンセラー適合の問題は、別の普通の方法で表すと、室の応答の変化とステレオイメージにおける音声の「動き」との間の識別が困難であることである。例えば、遠端の側の異なった位置で一人の話者が話し始めたならば、音響モデルは復帰しなければならない。かかる変化を十分に早く追跡できる適応アルゴリズムはなく、更に多チャンネルの場合のモノラルエコーキャンセラーは満足な性能を出していない。

上述の偽最小解の問題を克服する典型的な方法が図４に示される。モノラルの場合と比較して、分解フィルターが２倍にされ、右及び左の拡声器信号をサブ帯域に分割する。音響モデルは（１サブ帯域当たり）右チャンネル送信機能用に１個及び左チャンネル送信機能用に１個の２個のモデルに分割される。

左右の信号チャンネル間の相関により導かれた偽の最小解を克服するために、相関除去アルゴリズムが導入される。この相関除去により音響モデルを正しく更新することが可能となる。しかし、相関除去技術は拡声器に提供される信号も変更させる。音質を保全する変更技術は、これを受け入れることができるが、従来技術による相関除去技法は音声を著しく歪ませる。

従って、これらの技術は、ステレオエコーの問題は解決できるが、音声の要求品質を保つことはできない。

ステレオが存在するときの音声エコーを最小にするシステムを提供することが、本発明の目的である。

特に、本発明は、第１のモジュール出力信号（５１３４）を作り、少なくも音響エコーの第１の適応モデル（５１２１）を実行するように構成され、モノラルエコーの推定値（５１３３）を提供しそして第１のモジュール出力信号（５１３４）を作っているエコーの加えられた入力信号からモノラルエコー推定値（５１３３）を差し引いたときに第１のモジュール出力信号（５１３４）内のエコー寄与分のモノラル部分を最小にするように収束させるモジュールを備え、エコー寄与分を加えている遠端音声に加えて近端音声を含んでいるエコーの加えられた入力信号からエコーの減衰された出力信号を提供するように調整された音声エコーキャンセラーであって、１個以上の多要素音声検知器が遠端音声中のかなりの多成分音声の有無を検知するように構成され、そして第１の適応モデル（５１２１）は、前記１個以上の多要素音声検知器が遠端音声中のかなりの多要素音声を検知したとき、収束を中止するように構成され、そして第２の適応モデル（５１２９）は、前記１個以上の多要素音声検知器が遠端音声中のかなりの多要素音声を検知しないとき、収束を中止するように構成され、或いは、遠端音声及び近端音声を看視している雑処理ユニット（５１２２）であって、予め定められた遠端／近端の音声の存在する事象の際に第１又は第２のモジュール出力信号（５１３４、５１３６）を減衰させるように構成された前記雑処理ユニットは、前記１個以上の多要素音声検知器が遠端音声中のかなりの多要素音声を検知しないとき、活性化される前記音声エコーキャンセラーを明らかにする。

本発明をより理解するために以下の説明は付属図面を参照する。

以下、本発明は、好ましい実施例について記述することにより、及び付属図面を参考することにより説明されるであろう、しかし、特別な実施例がテレビ会議及びステレオ音に関連して説明されるが、本技術熟練者は、特許請求の範囲において定義された本発明の範囲内でその他の応用例及び変更例を具体化するであろう。特に、本発明の原理は、その他の形式の会議に関連しても利用することができ、更にこれは音声多チャンネルに対して有用である。加えて、以下説明される技術はサブ帯域の事例に主に焦点が当てられるが、全帯域についても使用し得ることに注意されたい。全帯域キャンセラーにおいては、分解フィルター及び合成フィルターは無くされる。図面の破線内の処理は完全な全帯域音声信号で行われる。

本発明は、異なるステレオ音声信号チャンネルが高度に相関すること、及びステレオ音響が常時あることは稀であることにに基づく。通常は、互いにそれぞれのチャンネルの信号の小部分のみが互いに異なり、更に典型的な会議の状況においてはモノラル音声だけがあるときの時間が長い。本発明は、通常の会議中、常に全エコーキャンセルを提供することは必ずしも要求されないことも利用する。例えば、拡声器が沈黙しているときは、エコーは全く無いであろう。更に、ＣＤ／ＤＶＤなどからの音の提供と関連したステレオ信号があるが、これは多くは一方向通信であって多重全エコーキャンセリングについての要求を減らしている。更に、（人と異なる）プログラム素材を使用する装置は一時的な残存エコーによる混乱はない。また、プログラム素材の場合は、多くの時間、モノラル音声だけしかないであろう。

そこで、本発明は、大部分の時間の信号がモノラルであるとして、モノラル／ステレオの混合型エコーキャンセラー構造を明らかにする。本発明の実施例が図５に示される。この図の多くのサブパーツ；管理されたステレオコラプシングユニット、拡声器のＲ−Ｌ分解フィルター、及び全帯域又はサブ帯域ステレオ検知器（ただし双方ではない）がオプションであることに注意されたい。その他のサブパーツは、例えば、全帯域ドメインからサブ帯域ドメインに、或いはこの逆にサブパーツを動かすにより、多少異なる扱いを受けることがある。これらの単純化又は変更は、図５に示された本発明の実施例に含まれる種々の構成要素の以下の説明において更に説明される。

本発明により、拡声器の全帯域信号Ｒ及びＬは、ユニットを加えることにより及びユニットを減らすことによりそれぞれ全帯域Ｒ＋Ｌ及び全帯域Ｒ−Ｌの表現に変換される。全帯域Ｒ＋Ｌ信号は音声信号のモノラル部分を表し、一方、全帯域Ｒ−Ｌ信号は音声信号のステレオイメージを表す。そこで、モノラル信号のみが表される状況についてはＲ−Ｌはゼロに等しい。

両信号はサブ帯域信号に分割される。Ｒ＋Ｌ全帯域信号は拡声器Ｒ＋Ｌ分解フィルター５１２５を使用してＲ＋Ｌサブ帯域信号に分割され、一方、Ｒ−Ｌ全帯域信号は拡声器Ｒ−Ｌ分解フィルター５１２６を使用してＲ−Ｌサブ帯域信号に分割される。

サブ帯域Ｒ＋Ｌ信号及びサブ帯域Ｒ−Ｌ信号を計算する別の方法は、Ｒ信号及びＬ信号を別々に分解し、次いでサブ帯域信号について加算又は減算を行うことである。

（ＡＤＣ／マイクロフォンからの）マイクロフォン全帯域信号は、マイクロフォン分解フィルター５１５１の手段によりマイクロフォンサブ帯域信号に分割される。

本発明によるエコーキャンセラーには、更に少なくも１個のステレオ検知器が設けられる。図５に示されるように、Ｒ＋Ｌ及びＲ−Ｌ信号がかかるステレオ検知器に供給される。ステレオの検知は、Ｒ＋Ｌ及びＲ−Ｌ全帯域信号及び全帯域ステレオ検知器を使用して全帯域において行うか、或いはＲ＋Ｌ及びＲ−Ｌサブ帯域信号及びサブ帯域ステレオ検知器を使用してサブ帯域において行うかのいずれか（又は双方）とすることができる。サブ帯域ステレオ検知器を使用することにより、種々の周波数に対して個々に決定を行うことができる。このため、サブ帯域検知器はうまく実行できるが、計算上の複雑さが大きくなる（ただし主要な問題ではない）。

ステレオを検知するために、即ちステレオ検知の尺度（ＳＤＭ）を計算するために種々の技術を使うことができる。一つの方法は、Ｒ−Ｌ信号のパワーをＲ＋Ｌ信号のパワーで割った値を計算することである。即ち、
ＳＤＭ＝Ｐ_Ｒ−Ｌ／Ｐ_Ｒ＋Ｌ
ＳＤＭは真のモノラル信号に対してはゼロに等しく、そしてステレオ信号に対してはゼロより大きいとすることによりステレオを検知することができる。

Ｎ個の標本の組について時刻ｉにおけるパワーを計算することができる。即ち

或いは、フィードバック構造を使用して時刻ｉにおけるパワーを計算し、新しい各標本について更新する。αは更新速度を表す小さい正の定数であり、標本化周波数に依存するであろう。

Ｐ_Ｒ＋Ｌ（ｉ）＝（１−α）Ｐ_Ｒ＋Ｌ（ｉー１）＋α（Ｒ_ｉ＋Ｌ_ｉ）^２
Ｐ_Ｒ−Ｌ（ｉ）＝（１−α）Ｐ_Ｒ−Ｌ（ｉー１）＋α（Ｒ_ｉ−Ｌ_ｉ）^２
ステレオ検知を実行する別の方法は、Ｒ＋Ｌ信号のパワーにより正規化されたＲ−Ｌ信号とＲ＋Ｌ信号との間の（遅延ゼロにおける）相互相関を計算することである。即ち、
ＳＤＭ＝Ｒ_Ｒ＋Ｌ，_Ｒ−Ｌ／Ｐ_Ｒ＋Ｌ
このＳＤＭもモノラル信号についてはゼロに等しく、そしてステレオ成分が導入されるとゼロ以上に増加する。

この場合も、標本の組について、又はフィードバック構造を使用して、分母及び分子の双方を計算することができる。分母は第１のアルタナティブとして計算でき、一方、分子に対する式は次のようになる。即ち、
標本の組の場合：

フィードバックの場合：
Ｐ_Ｒ＋Ｌ，_Ｒ−Ｌ（ｉ）＝（１−α）Ｐ_Ｒ＋Ｌ，_Ｒ−Ｌ（ｉ−１）＋α（Ｒ_ｉ−Ｌ_ｉ）（Ｒ_ｉ＋Ｌ_ｉ）
ステレオ検知を実行するなお別の方法は、［Ｒ信号とＬ信号との間の相互相関］対［Ｒ＋Ｌ信号のパワー］の比を計算することである。即ち、
ＳＤＭ＝Ｒ_Ｒ，_Ｌ／Ｐ_Ｒ＋Ｌ
このＳＤＭは、モノラルの場合は０．２５に等しく、ステレオ成分の増加とともに減少するであろう。Ｒ_Ｒ，_Ｌは、標本の組を使用し、或いは後者の例と同じ式を使用してフィードバック構造を使い計算することができる。

標本の組の場合：

フィードバックの場合：
Ｒ_Ｒ，_Ｌ（ｉ）＝（１−α）Ｒ_Ｒ，_Ｌ（ｉ−１）＋αＲ_ｉＬ_ｉ
これらの式は、Ｒ信号及びＬ信号が直接与えられる場合、例えばＲ及びＬが個々に分解される場合に最も良く適合する。いずれの場合も、Ｒ及びＬは、いつでもＲ＋Ｌ及びＲ−Ｌから再計算することができる。

最後の一つの方法は、［Ｒ信号とＬ信号との間の相互相関］対［ＲのパワーとＬのパワーとの和］の比としてステレオ検知の尺度を計算することである。即ち、
ＳＤＭ＝Ｒ_Ｒ，_Ｌ／（Ｐ_Ｒ＋Ｐ_Ｌ）
このＳＤＭは、モノラルの場合は０．５に等しく、そして、これはステレオ成分の増加とともに減少するであろう。Ｐ_Ｒ，_Ｌは、第１のステレオ検知方法と同じ式を使用して、標本の組又はフィードバック構造を使用して計算することができる。

標本の組の場合：

フィードバックの場合：
Ｐ_Ｒ（ｉ）＝（１−α）Ｐ_Ｒ（ｉ−１）＋αＲ_ｉ ^２
Ｐ_Ｌ（ｉ）＝（１−α）Ｐ_Ｌ（ｉ−１）＋αＬ_ｉ ^２
これらの式は、Ｒ信号及びＬ信号が直接与えられる場合、例えばＲ及びＬが個々に分解された場合に最も良く適合する。

上述のステレオ検知器は、特に第１の適応モデル５１２１を制御するために使用される。補償装置は、標準モノラルエコーキャンセラーに使用される音響モデルを備え、通常、サブ帯域当たり１個のＦＩＲフィルターが装備される。しかし、標準モノラルエコーキャンセラーとは異なり、入力は拡声器のＲ＋Ｌサブ帯域信号である。モデルは、モデル更新ループ及び最小の誤差関数を達成するための勾配探査を使用し、モノラルエコーキャンセリングから良く知られた標準適合技術、例えばＬＭＳ，ＭＬＭＳ，ＡＰＡ，ＲＬＳなどを使用して更新される。この文脈においては、通常のエコー補償装置に関する大きい除外もある。ステレオ検知器が真のモノラル信号又は真のモノラル信号に極めて近い信号ではない何かを検知したときはいつでも、（モノラルエコーに対して）最適状態において安定するに十分な時間、適合が進行してきたとして音響モデルの適合は変更されない。そこで、ステレオ音が導入されたとき、勾配探索における偽の最小解答は現れず、フィルターはこれらの一つに「陥る」ことはないであろう。

ステレオ検知器は、ステレオが存在しかつエコー信号のモノラル部分がなおキャンセルし得るときに誤差関数中に導入される偽の最小解にモノラルエコー補償装置が陥ることをある程度まで防ぐ。しかし、エコー信号のステレオイメージはまだ存在する。これは種々の方法で除去／減衰させることができる。選択可能な一つの方法は、図５に示されるようにモノラルエコー補償装置に第２の適応モデル５１２９を追加することである。

第２の適応モデル５１２９の入力は、拡声器Ｒ−Ｌサブ帯域信号であり、更に補償装置はモノラルエコー補償装置５１２１用と同じモデルを備える。このモデルは標準適応技術を使用して更新される。しかし、この適応は、ステレオ検知器により強いステレオ信号が検知されたときだけ可能である。信号のモノラル部分はＲ−Ｌ補償装置により既に除去されているため、フィードバック信号内には少しのモノラル信号があるだけであり、Ｒ−Ｌ補償装置に集中させることができる。

信号は大部分の時間モノラルであること、及びステレオ状況におけるエコーキャンセラーの性能は重大では無いことの仮定に基づき、ステレオイメージ補償装置を省略することができる。これは、計算又は適合にＲ−Ｌモデルが不要であるため、全体システムの計算上の複雑さを大きく減らす。システムが全帯域ステレオ検知器のみに基づいた場合は、拡声器Ｒ−Ｌ分解フィルター及びサブ帯域ステレオ検知器もまた省略することができ、更なる計算上の複雑さから解放される。

ステレイメージオエコー補償装置に代わるものとして又は補助として、通常のモノラルエコーキャンセラーと比較して混合サブ帯域処理ユニット５１２２における幾つかの調整が行われる。このブロックが、減衰の導入によりマイクロフォン信号から残存エコーを除去し、これは、しばしば非線形処理（ＮＬＰ）と呼ばれる。拡声器信号及びマイクロフォン信号からスピーチの方向が決定される（近端スピーチ、遠端スピーチ、又は両者）。

この非線形処理装置が扱う３種の主要な状況がある。

１．単一なトーク、マイクロフォン（近端）信号作動、拡声器（遠端）信号なし、或い
は全く信号なし：ＮＬＰは信号を変化なしに通過させる。

２．単一なトーク、拡声器信号作動、近端トークなし：ＮＬＰは信号を大きく減衰させ
残存エコーを除去する。

３．ダブルトーク、拡声器作動及び近端トークあり：ＮＬＰは信号を変化なしに通過さ
せるか、或いは残存エコーがマイクロフォン／近端信号により遮蔽されるように僅
かに減衰させる。

非線形処理装置はしばしばサブ帯域上で作動し、このためＮＬＰは１個の帯域に対して上の３種の作動の一つを選択し、別のサブ帯域に対しては別の作動を選択することができる。

モノラルキャンセラーにおいては、ＮＬＰは残存エコーを除去する。しかし、ステレオ状況においては、第２の適応モデル（５１２９）が無いか又は不十分であるときは、ＮＬＰはステレオエコーも除去しなければならない。これは、第１及び第２の状況においては挙動を変えないが、第３の状況は処理を変えることが好ましく、２個のサブ状況を導く。

３ａ．ダブルトーク、マイクロフォンと拡声器の両者とも作動、決定されたステレオ信
号なし：ＮＬＰは、残存エコーがマイクロフォン／近端信号により遮蔽され、ステ
レオエコー信号が無くなってから、信号を変更なしで通過させ、又はこれを僅かに
減衰させる。

３ｂ．ダブルトーク、マイクロフォンと拡声器の両者とも作動、ステレオ信号が検知さ
れる：残存エコー（低レベル）がマイクロフォン（近端）により遮蔽される。ステ
レオエコー信号（又はステレオエコー補償装置がありかつ適正に作動している場合
は 残存ステレオエコー信号）は除去し又は受容しなばならず（残存エコーのみが
ある場合は受容が好ましい選択である）、そしてこの選択の場合は（これは予め定
められた選択である）、信号は、変更なしに通過し、即ちステレオエコーが受け入
れられるか、或いは減衰され、即ちいわゆる音声切替えが受け入れられるかのいず
れかである。ステレオのレベルに応じて、信号の完全通過と完全減衰との間のある
状況が選定され、低レベルのステレオエコーはこれを受け入れそして音声切替えを
適度化する。

上の３ｂに説明された状況は二つの短所−ステレオエコー又は音声切替えの存在又は両者の限定された／中等程度の組合い−の一つを導く。ステレオエコーは増強されたエコーとして、また音声切替えは半２重通信（話しているときの同期のずれた良く似ている音声）として経験される。

本発明の別の実施例においては、これらの欠点を補償するためにステレオコラプシングユニット５１６１が導入される。ステレオコラプシングニット５１６１の目的は、ダブルトークが検知されたとき、或いは近端信号が検知されたときは、いつでも状況をステレオからモノラルにすることである。

ステレオコラプシングユニット５１６１の別の機能は、モノラル補償装置が変換の第１状態に達して、高レベルのステレオ信号があってもこれを受け入れ得るようになるまでステレオイメージをコラプシングさせることである。更に、これは、室の応答に大きな変化が発生した後、モノラル補償装置が回復するまでステレオイメージをコラプシングさせるであろう。

図６は、ステレオコラプシングユニットを特に詳細に示す。上述の状況１及び２の正常な状況においては、コラプシングゲインｇはゼロであり、左又は右の信号を変えることはない。状況３ａ又は３ｂが検知されたときは、ゲインは０．５まで徐々に増加され、ステレオイメージを無くし又はコラプシングさせる。状況３ａにおいては、信号はモノラルであり影響ない。しかし、状況３ｂにおいては、システムを、コラプシングにより、ステレオエコーが無い状況３ａとし、非線形処理ユニットにより残存エコーのみを扱う。コラプシングが不要になったとき、或いは近端の話が無くなったとき、コラプシングゲインを徐々に０に減少させ、ステレオ信号を伴う新しい状況に対する待機状態になる。ステレオコラプシングユニットは、全効果（ｇ＝０．５）においては、左右のチャンネルのそれぞれの信号を単に加算し、その結果を両チャンネルに送る。

このコラプシングユニットがダブルトーク状況におけるステレオイメージを減らすことは言うまでもないが、これらの状況においては、多くの音声源があり、ステレオの損失を少なくも部分的に遮蔽している。

図７は、一般化されたステレオコラプスシングニットを示す。コラプシングゲインｇは、ステレオコラプシングフィルターＨと置き換えられる。この一般化されたユニットは、異なるサブ帯域において異なるが状況検知された場合の、異なる周波数帯域における異なるコラプシングを許す。

図７は、より静的なコラプシング技術、即ち、ステレオイメージの主要な概念に対して重要でない周波数帯域の常時コラプシングを許し、一方では重要な帯域は動的にコラプシングされる。

通常の会議システム構成の詳細ブロック図である。 音響エコーキャンセラーサブシステムの拡大図である。 サブ帯域処理により実行された対応するエコーキャンセラーサブシステムのブロック図である。 従来技術によるステレオエコーキャンセラーシステムのブロック図である。 本発明の一実施例のブロック図である。 周波数と無関係に制御されるステレオコラプシングユニットの拡大図である。 制御されたコラプシングユニットの一般周波数依存バージョンの拡大図である。

Claims (18)

1. エコー寄与分を加えている遠端音声に加えて近端音声を含んでいるエコーの加えられた入力信号からエコーの減衰された出力信号を提供するように調整された音声エコーキャンセラーであって、
   第１のモジュール出力信号（５１３４）を作り、少なくとも音響エコーの第１の適応モデル（５１２１）を実行するように構成され、モノラルエコーの推定値（５１３３）を提供して第１のモジュール出力信号（５１３４）を作っているエコーの加えられた入力信号からモノラルエコー推定値（５１３３）を差し引いたときに第１のモジュール出力信号（５１３４）内のエコー寄与分のモノラル部分を最小にするように収束させる第１モジュールと、
   第２のモジュール出力信号（５１３６）を作り、少なくとも音響エコーの第２の適応モデル（５１２９）を実行するように構成され、第２のモジュール出力信号（５１３６）を作っている第１のモジュール出力信号（５１３４）から多要素部推定値（５１３８）を提供するときに第２モジュール出力信号（５１３６）内のエコー寄与分の多要素音声部分を最小にするように収束させる第２モジュールと、を備えた音声エコーキャンセラーにおいて、
   遠端音声中の多要素音声の有無を検知するように構成された１つの多要素音声検知器を備え、そして
   第１の適応モデル（５１２１）は、前記多要素音声検知器が遠端音声中の多要素音声を検知したとき、収束を中止するように構成され、そして
   第２の適応モデル（５１２９）は、前記多要素音声検知器が遠端音声中の多要素音声を検知しないとき、収束を中止するように構成され、或いは
   予め定められた遠端／近端の音声の存在する事象の際に、第１又は第２のモジュール出力信号（５１３４、５１３６）を減衰させるように構成された、遠端音声及び近端音声を監視する雑処理ユニット（５１２２）を備え、少なくとも１個の多要素音声検知器が遠端音声中の多要素音声を検知しないとき、該雑処理ユニットが活性化されることを特徴とする音声エコーキャンセラー。
2. 多要素検知器が、入力として遠端音声を送信している１個の左（Ｌ）及び１個の右（Ｒ）の音声チャンネルを有する１個のステレオ検知器であり、
   該ステレオ検知器は遠端音声内のステレオを検知するように構成される
   ことを特徴とする請求項１による音声エコーキャンセラー。
3. ステレオ検知器は、Ｒ−ＬとＲ＋Ｌの間のパワー比がゼロより大きいとき、ステレオを検知するように構成されることを特徴とする請求項２による音声エコーキャンセラー。
4. ステレオ検知器は、Ｒ＋Ｌのパワーで正規化されたＲ−ＬとＲ＋Ｌの間の相互相関がゼロより大きいとき、ステレオを検知するように構成されることを特徴とする請求項２による音声エコーキャンセラー。
5. ステレオ検知器は、Ｒ＋Ｌのパワーで正規化されたＲとＬとの間の相互相関が０．２５より小さいとき、ステレオを検知するように構成されることを特徴とする請求項２による音声エコーキャンセラー。
6. ステレオ検知器は、ＲのパワーとＬのパワーとの和で正規化されたＲとＬとの間の相互相関が０．５より小さいとき、ステレオを検知するように構成されることを特徴とする請求項２による音声エコーキャンセラー。
7. 第１の適応モデル（５１２１）がＲとＬとの和に基づいてモノラルエコー推定値（５１３３）を誘導し、更に第２の適応モデル（５１２９）がＲとＬとの間の差からステレオエコー推定値（５１３８）を誘導することを特徴とする請求項２−６のいずれか１による音声エコーキャンセラー。
8. 前記雑処理ユニット（５１２２）は、更に
   遠端音声だけがあるとき第１（５１３４）又は第２（５１３６）のモジュール出力信号を実質的に減衰させ、
   近端音声だけがあるとき第１（５１３４）又は第２（５１３６）のモジュール出力信号を変化させずに通過させるように構成されることを特徴とする請求項２−７のいずれか１による音声エコーキャンセラー。
9. 遠端音声及び近端音声の両者がある場合は、雑処理ユニット（５１２２）は、
   １個以上のステレオ検知器により遠端音声内にステレオが検知されないとき、第１（５１３４）又は第２（５１３６）のモジュール出力信号を変更なし又は僅かな減衰で通過させ、
   １個以上のステレオ検知器により遠端音声内にステレオが検知されたとき、予め定められた選択に従って及び／又はステレオエコーキャンルの有無に応じて第１（５１３４）又は第２（５１３６）のモジュール出力信号を通過させ或いは僅かに減衰させるように構成されることを特徴とする請求項８による音声エコーキャンセラー。
10. エコーの加えられた入力信号の少なくも一部分を、各が前記モデルのそれぞれのサブモジュールバージョンにより処理されるある数のエコーの加えられた入力サブ信号に周波数分割するように構成された第１の分解フィルター（５１５１）、
    Ｒ及びＬの和の少なくも一部分を、前記モデルのそれぞれのサブモジュールバージョン及び／又は前記雑処理ユニットのそれぞれの雑処理サブユニットにより処理されたある数のＬ及びＲのサブ和に周波数分割するように構成された第２の分解フィルター（５１２５）、
    それぞれのサブモジュールバージョン又はそれぞれの雑処理サブユニットバージョンの出力を合成させるように構成された合成フィルター（５１２７）を特徴とする請求項２−９のいずれか１による音声エコーキャンセラー。
11. Ｒ及びＬの差の少なくも一部分を、前記モデルのそれぞれのサブモジュールバージョン、前記１個以上のステレオ検知器のそれぞれのステレオサブ検知器バージョン及び／又は前記雑処理ユニットのそれぞれの雑処理サブユニットバージョンにより処理されるＬ及びＲのサブ差の数に周波数分割するように構成された第３の合成フィルター（５１２６）
    更に、前記１個以上のステレオ検知器のそれぞれのステレオサブ検知器バージョンが前記Ｌ及びＲのサブ和の数を処理する
    ことを特徴とする請求項１０による音声エコーキャンセラー。
12. 遠端音声と近端音声との両者があるとき、遠端音声からステレオを除去するように構成されたステレオコラプシングユニット（５１６１）
    を特徴とする請求項２−１１のいずれか１による音声エコーキャンセラー。
13. 第１のモジュール出力信号（５１３４）を作り、少なくも音響エコーの第１の適応モデル（５１２１）を実行するように構成され、モノラルエコーの推定値（５１３３）を提供しそして第１のモジュール出力信号（５１３４）を作っているエコーの加えられた入力信号からモノラルエコー推定値（５１３３）を差し引いたときにモジュール出力信号内のエコー寄与分のモノラル部分を最小にするように収束させるモジュールを備えている音声エコーキャンセリングシステムにおいて、
    エコーの寄与分を加えている遠端音声に加えて近端音声を含んだエコーの加えられた入力信号からエコーの減衰された出力信号を提供するための方法であって、
    遠端音声中の多要素音声の有無を監視し、
    遠端音声中のかなりの多要素音声を検知したとき、第１の適応モデル（５１２１）を収束させるように中止させ、そして遠端音声中のかなりの多要素音声を検知しないときは、
    第２の適応モデル（５１２９）を収束させるように停止させ、或いは予め定められた遠端／近端音声が存在する事象において前記第２のモジュール出力信号（５１３６）を減衰させるように構成された遠端及び近端の音声看視用の雑処理ユニット（５１２２）を作動させる
    ことを特徴とする方法。
14. 遠端音声が１個の左（Ｌ）及び１個の右（Ｒ）の音声チャンネルにより送信され、そして前記多要素音声がステレオであることを特徴とする請求項１３による方法。
15. ステレオエコー推定値（５１３８）を提供したとき、前記第２の適応モデル（５１２９）がモジュール出力信号中のエコー寄与分のステレオ部分を最小にするように収束され、そして第２のモジュール出力信号（５１３）を作っているモジュール出力信号からステレオエコー推定値（５１３８）を差し引くことを特徴とする請求項１４による方法。
16. ＲとＬとの和に基づいてモノラルエコー推定値（５１３３）を誘導し、更にＲとＬとの差からステレオエコー推定値（５１３８）を誘導する追加段階を特徴とする請求項１４又は１５による方法。
17. 前記雑処理ユニット（５１２２）が、更に
    遠端音声のみがあるときは第１（５１３４）又は第２（５１３６）のモジュール出力信号をかなり減衰させ、
    近端音声のみがあるときは第１（５１３４）又は第２（５１３６）のモジュール出力信号を変化なしで通過させ、或いは
    遠端音声及び近端音声の両者がある場合は、
    １個以上のステレオ検知器により遠端音声内にステレオが検知されないときは
    第１（５１３４）又は第２（５１３６）のモジュール出力信号を変化なしで通過させ、１個以上のステレオ検知器により遠端音声内にステレオが検知されたときは第１（５１３４）又は第２（５１３６）のモジュール出力信号を予め定められた選択に従って通過させ或いはかなり又は僅かに減衰させるように構成されることを特徴とする請求項１４−１６のいずれか１による方法。
18. 遠端音声及び近端音声の両者があるときは遠端音声からステレオを除去する追加段階を特徴とする請求項１４−１７のいずれか１による方法。

Images