JP5122042B2

JP5122042B2 - スペクトル分析による近端話者検出のためのシステムと方法

Info

Publication number: JP5122042B2
Application number: JP2000619899A
Authority: JP
Inventors: ヒュー，ジェイ．マックラフリン，; リンダ，ジェイ．キング，; タマラ，エル．ローガン，
Original assignee: シスコテクノロジー，インコーポレイテッド
Priority date: 1999-05-20
Filing date: 2000-05-18
Publication date: 2013-01-16
Anticipated expiration: 2020-05-18
Also published as: EP1183848A4; EP1183848A1; DE60024815T2; JP2003517751A; WO2000072556A1; DE60024815D1; EP1183848B1; ATE313211T1; US6269161B1; WO2000072556A9; AU5148000A

Description

【０００１】
【技術分野】
この発明は音声通信システムに関するものであり、該システムはスピーカーフォンを使って手を使わなくてもよい音声通信を可能とするものである。より詳しくは、この発明は、音響エコー相殺技術と全二重スピーカーフォン技術、に関するものであって、顕著なスイッチ損失または感応エコーなしに音声信号の同時受信送信を可能とするものである。
【０００２】
【関連技術の説明】
全二重スピーカーフォンは音声端子であって、少なくとも１個のラウドスピーカーと少なくとも１個のマイクロフォンとからなり、手を使わないでよい音声通信を可能とするものである。全二重スピーカーフォンは音響エコー相殺（ＡＥＣ）技術を使っており、感応エコーなしにスピーチを同時に受信送信することを可能とする。
【０００３】
全二重スピーカーフォンシステムの基本的構成を図１に示す。全二重スピーカーフォン（ＦＤＳ）システム１０は減衰器１２、デジタル−アナログ（Ｄ／Ａ）変換器１４、増幅器１６およびラウドスピーカー１８を有しており、これらは受信経路２０上で直列に接続されている。システムはまたマイクロフォン２２、第２の増幅器２４、アナログ−デジタル変換器２６、減算ユニット２８および第２の減衰プロセッサー３０とを有しており、これらは送信経路３２上で直列に接続されている。
【０００４】
送受信経路間には適応フィルター３４が位置している。このフィルターと減算ユニットは音響エコー相殺器を構成している。システムはさらにそれぞれ受信または送信経路に接続された３個の測定プロセッサー３６、３８、４０とアクティビティ検出制御（ＡＤＡＣ）モジュール４２を有している。測定プロセッサー３６は受信経路に接続され、測定プロセッサー４０はＡ／Ｄ変換機と減算ユニット間で送信経路に接続され、測定プロセッサー３８は減算ユニットと減衰プロセッサー３０間で送信経路に接続されている。
【０００５】
遠端呼出し者からの受信デジタル信号がシステム１０により受信されると、受信信号は受信経路上の減衰器１２を通って送られ、ついでＤ／Ａ変換器１４により変換され、増幅器１６により増幅される。増幅アナログ信号はラウドスピーカー１８により室内に放送される。
【０００６】
室の音響特性に応じて、放送信号のエコーがエコー経路４４、４６などのラウドスピーカーからマイクロフォン２２に至る種々のエコー経路を通して伝播される。エコーは近端呼出し者からのスピーチとともにマイクロフォンによって捕捉され、送信経路３２を介して送信アナログ信号の形で送信される。送信信号はまず増幅器２４により増幅され、ついでＡ／Ｄ変換器２６によりでデジタル形式に変換される。
【０００７】
適応フィルターは原受信デジタル信号をサンプルして包旋ステップを行う。つまりサンプルされた信号を基準として使って推測エコー反応の計算を行う。推測エコー反応とは特定の条件下で用いられたシステムの予測音響エコー反応である。現行のエコー反応推測値を用いて送信信号のエコー成分の減算を行う。
【０００８】
エコー成分の減算または相殺は減算ユニット２８が行う。減算の後、エコー相殺送信信号は誤り信号として適応フィルター３４に戻される。該誤り信号はフィルター係数を動的に調整するのに用いられ、該フィルター係数はエコー相殺を行うためにフィルターによって使われる。エコー相殺送信信号は減衰プロセッサー３０を介して遠端の呼出し者に送信される。通常は若干の残留エコーがあるので、減衰プロセッサーにより許容できるレベルまで残留エコーを低減する。減衰プロセッサーは一般に中央クリッパーとして知られている装置でよい。
【０００９】
エコー相殺の質は、真エコー反応を正確にモデル化するのにフィルター１４により用いられる適応アルゴリズムの能力いかん、に掛かっている。真エコー反応は適応処理により推測されるもので、該処理では誤り信号が適応アルゴリズムを駆動してモデルの係数を更新し、これにより誤り信号はゼロに向けて駆動される、つまりエコー相殺送信信号が検出可能なエコー残響を全く含まないようになる。
【００１０】
しかし室の音響的反応は常に一定ではない。例えば人やマイクロフォンの室内での移動およびドアの開閉などがエコー経路を変える。エコー経路が変わると新たなエコー反応が出てきて、これは前に推測されたエコーモデルでは正確には表わされない。エコー相殺器が新たなエコー反応に適応するまでは、エコーのかなりの量が遠端の呼出し者に送信される。
【００１１】
エコー相殺に加えて、システム１０は信号アクティビティが４通りの状態（アイドル、遠端アクティブ、近端アクティブまたは二重会話）のいずれにあるかを決定する。遠端がアクティブならば、適応フィルター３４はさらに適応可能となり、エコー相殺送信信号は減衰プロセッサー３０により抑制されなければならない。しかしエコー相殺送信信号が全んど有効な近端話者スピーチからなる場合には、アクティビティ状態は近端アクティブまたは二重会話になる。
【００１２】
そのような状態では、適応フィルターは不能となり、送信経路減衰は単一に閉じる。アクティビティ状態のかかる決定はＡＤＡＣモジュール４２により行われる。このモジュールは受信信号、原送信信号および測定プロセッサー３６、３８、４０を介してのエコー相殺送信信号を審査して、エコー相殺送信信号の構成を決定する。
【００１３】
一般に、近端話者スピーチと残留エコーの差をとるためにＡＤＡＣモジュール４２により利用される従来の検出アルゴリズムは特定問題検出技術に基づいている。最新のやり方では受信信号と誤り信号、つまりエコー相殺送信信号との間の相関尺度が計算される。この相関尺度は時間ドメイン相関または周波数ドメイン相関である。
【００１４】
相関アルゴリズムは、誤り信号がラウドスピーカーにより放送される受信信号とどの程度合致するか、を決定しようとする。誤り信号が受信信号と実質的に同じに見えた場合には、送信信号は全んど残留エコーから構成されると考えられ、遠端アクティビティのみが宣言される。しかし誤り信号が受信信号と顕著に異なると見えた場合には、送信信号は実質的な近端話者スピーチからなると考えられ、二重会話状態が宣言される。
【００１５】
実際には、受信信号に対して誤り信号を比較するのに相関尺度を適用するのは難しい。一般に音響エコーは観測ウインドーよりかなり長く続き、しかもラウドスピーカーとマイクロフォンとの間の伝送機能は非常に複雑である。事実エコー信号は受信信号とはかなり違って見える。室の音響反応に起因する信号歪みに加えて、適応フィルター３４はある周波数には収斂するが他の周波数には同様には収斂しないという事実により、相関は一段と複雑になる。加えて、ある種のスピーカーフォンシステムにおいては、ラウドスピーカーの伝送機能があまり正確には知られていないのである。
【００１６】
これらの難しさにも拘わらず、適応フィルターが完全にエコーを相殺した場合には、エコー相殺送信信号内の有効近端話者スピーチの信号成分を表示するのは比較的容易である。しかし実際には、音響エコー経路は適応フィルター３４が再適応できるよりもかなり速く変化する。適応フィルターが再適応できるまで、送信信号にはかなりの量の残留エコーが持ち込まれる。この残留エコーが有効近端話者スピーチと誤認された場合には、遠端聞き手はかなりの量のエコーを感じることになり、より悪くは適応フィルターが適応することを禁じられることもある。
【００１７】
潜在的には、残留エコーはシステムによって有効近端話者スピーチと誤認されるので、適応フィルターが不能になると言う事態にシステムが入ってしまう。この結果、遠端スピーチのケースと同時に起きる反復近端スピーチのケースを最終的に制御アルゴリズムが検出するまで、さらなる誤りがシステムにより形成され続ける。この間、遠端聞き手にはかなりの量の好ましくないエコーが送信されて、音声通信の品質を低下させる。
【００１８】
サブバンドまたは周波数ドメイン適応フィルターを利用して二重会話状態を検出する公知の方法がある。これらの技術においては、受信信号を多数のサブバンドまたは離散フーリエ変換（ＤＦＴ）ビンとして分析する。これらの各サブバンドまたはＤＦＴビンについて適応または回旋が行われる。一般にこの公知の方法では、適応フィルターからの情報に基づいて、各サブバンドまたはビンについて近似信号ゲイン（ラウドスピーカーからマイクロフォンへの接続）を決定して、各サブバンドまたはビンについて近似信号ゲイン測定値を形成する。
【００１９】
各サブバンドまたはビンについてのゲインが与えられたら、各サブバンドまたはビンについての二重会話状態の有無が決定される。二重会話状態の検出の後、ついで（１）通常中央クリッピングにより各サブバンドまたはビンについて抑制を行う、および（２）各サブバンドまたはビン当りの適応を禁止するステップが実行される。
【００２０】
これらの試みの関心は、各サブバンドまたはビンについてのゲイン推測がミリ秒の単位で劇的に変化する、ことにある。例えば、人がマイクロフォンの傍を歩いて既知のエコー経路を歪めると、ゲインはゼロスペクトルからピークスペクトルまで急速に変化する。ゲインが劇的に変化すると、検出アルゴリズムは猛然と活動して、実際にはそのサブバンドに顕著な残留エコーがあるのに、誤った二重会話状態を報告し続ける。
【００２１】
アメリカ特許第５７３２１３４号に開示された「二重会話」検出装置は、受信信号と原マイクロフォン信号とをＤＦＴビンに分析して、二重会話を検出する。受信信号とマイクロフォン信号とをビンからビンへと比較し、各ビンについてノイズフローの影響を除去することにより、該特許の装置は全バンドについて「二重会話」状態を検出する。該装置は非相殺原マイクロフォン信号上にＤＦＴを行うが、該信号は適応フィルターによってはフィルターされてない。加えて、スペクトルノイズ推測値も同じ非相殺マイクロフォン信号から引き出される。この装置の関心は、残響エコーの持続性に関係なく、受信信号ＤＦＴスペクトルの単純なブロック毎の計算を行う点である。
【００２２】
この問題を回避すべく、システムと方法に望まれるのは、送信信号が全んど近端話者信号から構成されているかまたは受信信号エコーから構成されているかを信頼性を持って決定できることであり、これにより適切な対処を行って、二重会話決定に頼ることなく、きれいな音声通信を保証することである。
【００２３】
【発明の要約】
全二重スピーカーフォンシステムおよび送信信号中の有効近端話者成分を検出する方法は近端話者推測器を用い、該推測器はスペクトル分析により近端話者エネルギー推測値を形成する。この近端話者エネルギー推測値は送信信号中の有効近端話者成分の量を示している。近端話者エネルギー推測値によっては、システムは送信信号および／または受信信号を減衰し、システムの適応フィルターにより実行されるフィルター処理を調整して、接続された者間にきれいな音声通信を提供する。
【００２４】
好ましき実施例においては、近端話者推測器は少なくとも１個の処理ユニットと協働して、システムの音響エコー相殺器によりエコーをフィルターまたは「相殺された」送信信号をサンプルする。該推測器は受信信号もサンプルする。サンプルされた受信信号およびエコー相殺送信信号は３通りのエネルギースペクトルを引き出すのに使われる。第１のエネルギースペクトルはエコー相殺送信信号のエネルギースペクトルであり、第２のエネルギースペクトルは推測されたノイズフローのエネルギースペクトルであってエコー相殺送信信号のエネルギースペクトルに基づいており、第３のエネルギースペクトルは受信信号に基づいたエコーエネルギーエンベロープである。
【００２５】
このエコーエネルギーエンベロープはしきい値を提供して、ノイズまたは残留エコーに代えてエコー相殺送信信号のある部分が近端話者に属するか否かを適宜な確実性で決定する。近端話者推測器はそれら３通りのエネルギースペクトルおよび前の近端話者エネルギー推測値の計算されたスペクトルを審査して、現行の近端話者エネルギー推測値を形成する。
【００２６】
送信信号中の有効近端話者成分を検出する方法にあっては、エコーエネルギーエンベロープ、エコー相殺送信信号のエネルギースペクトルおよびノイズフローエネルギースペクトルを並行に発生する。これらのスペクトルはさらに近端話者推測器により処理されて、近端話者エネルギー推測値を計算する。
【００２７】
エコーエネルギーエンベロープを発生させるステップにおいては、システムの第１の処理ユニットにより受信信号がサンプルされたデータブロックにセグメント化される。このサンプル期間は６〜２０ミリ秒として、サンプルウインドーが代表的なスピーチ音素の一部に亙るようにする。ついで各データブロックについて、高速フーリエ変換（ＦＦＴ）の種々の変形のひとつに応じて、第１の処理ユニットにより離散フーリエ変換（ＤＦＴ）が実行される。これに代えてセグメント化およびＤＦＴはシステムの適応フィルターの副産物として実行されてもよい。ＤＦＴステップの後、近端話者推測器のウインドーユニットにより計算されたＤＦＴ成分にハニングウインドー機能が適用される。
【００２８】
ついで近端話者推測器のパワー計算器により各ＤＦＴビンについてパワーが計算される。この明細書では「パワー」と「エネルギー」とは同じ観念で用いられている。これらのパワー値には付重を施して、残留エコーの多い周波数は少ない周波数よりもより多く付重されるようにしてもよい。付重の結果は近端話者推測器のエンベロープモデルフィルターに通すが、該推測器は所定のモデルを用いて可能性ある反射エコーについてエンベロープを形成する。
【００２９】
各ビンについて、モデルは最悪のエコー反射のためにエンベロープを形成する。ビンの結果はついで近端話者推測器の先入れ先出し（ＦＩＦＯ）バッファーに送信されて、エンベロープモデルフィルターからのビン結果を遅延させる。つぎに、ＦＩＦＯバッファー中の各要素を査定することにより、各ビンについての最大値が選択される。ＦＩＦＯバッファーからの結果は乗算ユニットに送信されて、つぎのファクターを乗算される。（１）既知または既測定外部ゲイン（ラウドスピーカーとマイクロフォンとの間の名目的な結合ゲイン）および受信信号とエコー相殺送信信号との間の基準点、（２）エコー相殺反射損失拡張（一般にＥＲＬＥとして知られている）についての既測定値および（３）不確実性ファクター。
【００３０】
不確実性ファクターは経験的に決定されたファクターであってもよく、このファクターは低誤表示でよい近端話者推測値を結果する。最も簡単な装備では、これらのファクターはスカラーである。しかしこの概念は単一のスカラー値からベクトルに容易に展開されて、ビンに亙って既知の挙動の変動がある場合には、かなりの程度の最適化を達成する。乗算ユニットから結果されるベクトルはエコーエネルギーエンベロープを示している。
【００３１】
エコー相殺送信信号のエネルギースペクトルおよびノイズフローエネルギースペクトルを発生するステップに際しては、エコー相殺送信信号をサンプルデータブロックにセグメント化して、第２の処理ユニットによりＤＦＴを行う。ついで第２のウインドーユニットによりハニングウインドーが計算されたＤＦＴ成分に適用されて、ＤＦＴビン間のスペクトル遺漏を抑制する。ついで第２のパワー計算器により各ＤＦＴビンについてパワーが計算される。
【００３２】
これらの計算されたパワー値はエコー相殺送信信号のエネルギースペクトルを示している。第２のパワー計算器からの計算パワー値はさらに処理されて、ノイズフローエネルギースペクトルを引き出す。送信信号パワースペクトルのビンパワーベクトルはまず各周波数ビンについて近端話者推測器の平均化ユニットにより平均化される。つぎに従来のノイズフロー推測技術により近端話者推測器のノイズフロー推測器によりノイズフローパワー推測値が計算される。
【００３３】
エコーエネルギーエンベロープ、エコー相殺送信信号のエネルギースペクトルおよびノイズフローエネルギースペクトルの計算後は近端話者エネルギー推測値の計算に入る。３通りのエネルギースペクトルのビン値は近端話者推測値の比較器に送信される。比較器はつぎの値から各ビンについて最大値を出力する。（１）ノイズフローパワー推測値、（２）減衰近端話者パワー推測値および（３）送信信号パワーマイナスエコーエネルギーエンベローププラスノイズフローパワー推測値。
【００３４】
一実施例においては、ビンのこれらの最大値は近端話者推測器のパワー合計ユニットにより合計される。合計値はついでトラックアップアベレージダウンフィルターによりフィルターされて、単一の近端話者パワー推測値を出力する。この推測値はついでシステムのアクティビティ検出制御（ＡＤＡＣ）モジュールに送信されて、ＡＤＡＣモジュールは近端話者パワー推測値に応じて適宜な行動をとる。
【００３５】
近端話者パワー推測値は残留エコーのレベルと比較される。残留エコーは、システムの適応フィルターのエコー相殺挙動を予測すること、により推測される。近端話者パワー推測値が残留エコー推測値より実質的に大きい場合には、ＡＤＡＣモジュールは送信経路上の減衰プロセッサーに指示して、エコー相殺送信信号をして少または無減衰で通過させる。しかし残留エコー推測値が近端話者推測値と同じかより大の場合には、ＡＤＡＣモジュールは適応フィルターの動作を禁止するかその用いるステップサイズを低減させる。
【００３６】
加えてＡＤＡＣモジュールは送信経路上の減衰プロセッサーに指示して、エコー相殺送信信号を実質的に抑制して、遠端にいる人が可聴エコーを感受しないようにする。加えて、ＡＤＡＣモジュールは受信経路上の減衰器に指示して受信信号を抑制させて、送信信号内に持ち込まれるエコーの量を低減する。
【００３７】
変化実施例にあっては、単一総近端話者パワー推測値に代えて、多数の推測値を引き出すように方法とシステムを構成してもよい。一例としては、異なる不確実性ファクターを用いて複数のエコーエネルギーエンベロープを計算してもよい。各エコーエネルギーエンベロープについて、独特な近端話者パワー推測値が形成される。これらの近端話者推測値は推測器の信頼性に応じて変動する。
【００３８】
他の実施例にあっては、近端話者パワー推測値はビンの特定のサブセットについて引き出されてもよい。例えば低周波数については第１の推測値を、高周波数については第２の推測値をである。高低周波数の異なるマスキング特性を利用して挙動の最適化を達成できる。これら多数の推測値はＡＤＡＣモジュールが用いて、遠端者に送信される最終的な送信信号を制御する。
【００３９】
【詳細な説明】
図２に示すのは、近端話者推測器５０と付設された処理ユニット５２、５４を有した、この発明の全二重スピーカーフォンシステム４８である。該システムはさらに、近端話者推測器に作用的に接続されたアクティビティ検出制御（ＡＤＡＣ）モジュール５６、を有している。システムの他の要素は例えば図１に示したような従来の全二重スピーカーフォンシステムに設けられている公知の要素である。したがってそれらについては図１と同様な参照番号を用いる。
【００４０】
システム４８は受信経路２０上に直列に接続された、減衰器１２、デジタル−アナログ（Ｄ／Ａ）変換器１４、増幅器１６およびラウドスピーカー１８を有している。またシステムは送信経路３２上に直列に接続された、マイクロフォン２２、第２の増幅器２４、アナログ−デジタル（Ａ／Ｄ）変換器２６、減算ユニット２８および減衰プロセッサー３０を有している。さらにシステムは適応フィルター３４および測定プロセッサー３６、３８、４０を有している。適応フィルターと減算ユニットとはシステム４８の音響エコー相殺器を構成している。
【００４１】
推測器５０を有していることによりシステム４８は、近端話者信号またはマイクロフォン２２により捕捉された受信信号のエコーをエコー相殺送信信号が全んど含んでいるか否か、を決定できる。推測器はスペクトル分析を利用して近端話者信号のエネルギーまたはパワーを推測する。この推測値はついでＡＤＡＣモジュール５６に送信されてＡＤＡＣにより計算された残留エコー推測値と比較される。
【００４２】
この比較の結果に基づいて、システムは適当な行動により清声通信を提供する。近端話者推測値が残留エコー推測値より実質的に大きい場合には、ＡＤＡＣモジュールは送信経路３２上の減衰プロセッサー３０に指示して、僅少または無減衰でエコー相殺送信信号を通過させる。しかし残留エコー推測値の方が大きいか等しい場合には、ＡＤＡＣモジュールは適応フィルター３４の適応を禁じるか、適応フィルターが使用するステップサイズを増加させる。
【００４３】
加えてＡＤＡＣモジュールは減衰プロセッサー３０に指示してエコー相殺送信信号を実質的に抑制して、遠端にいる人が可聴エコーを感じないようにする。加えてＡＤＡＣモジュールは受信経路の減衰器１２に指示して受信信号を抑制させて、ラウドスピーカー１８とマイクロフォン２２との間の信号結合により送信信号中に持ち込まれるエコーの量を低減する。
【００４４】
図３のグラフによりシステム４８の近端話者推測器５０により行われるスペクトル分析を説明する。図３は与えられた時間についてパワーおよび周波数に対するスペクトル分布曲線５８、６０、６２、６４を示したものである。曲線５８はノイズフロー推測値を、曲線６０は減衰近端話者推測値を、それぞれ示している。一般に減衰近端話者推測値は近端話者の既推測値の小部分である。曲線６２はシステム４８の適応フィルター３４と減算ユニット２８とによりエコー相殺されかつマイクロフォンにより捕捉された送信信号を示す。曲線６４は受信信号に基づいたエコーエンベロープを示す。
【００４５】
このエコーエンベロープは上限またはしきい値を与えて、送信信号が近端話者成分を含んでいるか否かを決定する。送信信号がエコーエンベロープより小さい場合には、送信信号が近端話者成分を含んでいないものと仮定する。しかし送信信号がエコーエンベロープより大きい場合には、送信信号が近端話者成分を含んでいるものと仮定する。図３のグラフにおいて送信信号エネルギー曲線６２は２個のピーク６６、６８を有している。第１のピーク６６はエコーエンベロープの下側に位置している。したがってこのピークは近端話者成分の結果でないと無視される。しかし第２のピーク６８はエコーエンベロープの上に上がっている。したがってこのピークの部分は近端話者推測値を計算するのに使われる。
【００４６】
一実施例にあっては、近端話者推測器５０が分析されている全スペクトルについて単一の近端話者推測値を発生する。この実施例では、近端話者推測器が異なる信号を審査して、図３中のハッチングを施した領域である単一の近端話者推測値を審査する。図３のグラフはセクションＡ、Ｂ、Ｃ、Ｄに分割して、いかにして近端話者推測器が単一の近端話者推測値を計算するか、を示している。
【００４７】
セクションＡでは、送信信号曲線６２はエコーエンベロープ曲線６４の下側にある。かかる状態では、近端話者推測値計算のためにはノイズフロー推測曲線５８のみが考慮に入れられる。
【００４８】
セクションＢでは、送信信号曲線もまたエコーエンベロープ曲線の下にある。しかし減衰近端話者推測曲線６０はノイズフロー推測曲線の上にある。かかる状態では、近端話者推測値には減衰近端話者推測曲線が考慮に入れられる。
【００４９】
セクションＣでは、送信信号曲線はエコーエンベロープ曲線の上にある。かかる状態では、近端話者推測値のために、エコーエンベロープおよびノイズフロー推測値より大なる送信信号の部分が考慮に入れられる。
【００５０】
図３のグラフでは、送信信号とエコーエンベロープとの差が減衰近端話者推測値とノイズフロー推測値との差より大きい点において、セクションＣが始まることに注意されたい。これは近端話者推測器はエコーエンベロープより大なるとき、すなわち送信信号とエコーエンベロープとの差が減衰近端話者推測値とノイズフロー推測値との差より大なるときに、送信信号を考慮するという事実、によるものである。
【００５１】
単一の近端話者推測値に貢献しなければならないパワーの量に関しては、セクションＤはセクションＡと同じである。ハッチングを施した領域は、単一近端話者エネルギー推測値を計算するために近端話者推測器により合計されるノイズフロー推測値、減衰近端話者推測値および／または送信信号の部分、である。
【００５２】
図５の流れ線図により、この発明によって全二重スピーカーフォンシステム４８においてエコー相殺送信信号内の有効近端話者成分を検出する方法、を示す。この方法は主として近端話者推測器５０により実行される。したがって該方法は図４の近端話者推測器の要素に関連して説明する。
【００５３】
近端話者推測器はウインドーユニット７０Ａとパワー計算器７２Ａと第２のウインドーユニット７０Ｂと第２のパワー計算器７２Ｂとを有している。第１のパワー計算器は所定の周波数スペクトル（例えば０〜４キロヘルツ）について受信経路２０上の受信信号のエネルギーを計算し、第２のパワー計算器は所定の周波数スペクトルについてエコー相殺送信信号のエネルギーを計算する。
【００５４】
近端話者推測器はまた付重モジュール７４とエンベロープモデルフィルター７６と先入れ先出し（ＦＩＦＯ）バッファー７８と最大値発見器７９と乗算ユニット８０とを有しており、該乗算ユニットはウインドーユニット７０Ａおよびパワー計算機７２Ａと協働して、所定の周波数スペクトルについてエコーエネルギーエンベロープを計算する。
【００５５】
加えて近端話者推測器は平均化ユニット８２とノイズフロー推測器８４とを有しており、該推測器は第２のウインドーユニット７０Ｂおよび第２のパワー計算器７０Ｂと協働して所定の周波数スペクトルについてノイズフローパワー推測値を発生する。
【００５６】
近端話者推測器のその他の要素としては、比較器８６、パワー合計ユニット８８およびトラックアップアベレージダウンフィルター９０があり、該フィルターは計算された送信信号のエネルギーおよびノイズフロー推測値およびエコーエネルギーエンベロープおよび減衰近端話者推測値から単一の近端話者パワー推測値を引き出す。
【００５７】
図５においてはステップ９２において、エコー相殺送信信号内の有効近端話者成分を検出する方法が始まるが、このステップにおいて受信経路２０上の受信信号が、システム４８の処理ユニット５２により、サンプルデータブロックにセグメント化される。サンプリング期間は６〜２０ミリ秒として、サンプルウインドーが代表的なスピーチ音素の部分に亙るようにする。
【００５８】
ついでステップ９４において、高速フーリエ変換（ＦＦＴ）の公知の変動数に応じて各データブロックについて、処理ユニット５２により離散フーリエ変換（ＤＦＴ）が実行される。変化実施例においては、セグメント化とＤＦＴとは適応フィルター３４により実行してもよい。そのような場合には、システム４８は処理ユニット５２を必要としない。
【００５９】
ステップ９６においては、近端話者推測器５０のウインドーユニット７０Ａによりウインドー機能が計算されたＤＦＴ成分に適用されて、ＤＦＴビン間のスペクトル遺漏が抑制される。しかし遺漏が少ない場合には、ウインドー化ステップ９６は省いてもよい。例えば代表的なサブバンドフィルターバンク設計については遺漏は少なくなければならない。スペクトル結果がサブバンドフィルターバンクからである場合には、ウインドー化ステップを省くことができる。
【００６０】
このウインドー機能はハニングウインドー機能であることが望ましい。多くのＤＦＴ方式の場合には、これは係数（０．２５、０．５、０．２５）を用いた三点移動平均を行うことからなる。ＤＦＴによっては、代わりの係数（−０．２５、０．５、−０．２５）を必要とする。この周波数ドメインウインドー化技術は、タイムドメイン中でウインドー機能を実行する場合と同じく有効である。非常に低い周波数ビン（ＤＣビンを含む）および非常に高い周波数ビンを除くことにより、メモリーの挙動をロスのないものとすることができる。
【００６１】
ステップ９６の後、ステップ９８においてパワー計算器７２Ａにより下記の数式で各ＤＦＴについてパワーが計算される。ここでビンは複素数（Ｘ＋ｉＹ）で表わされる。なお用語「パワー」と「エネルギー」とはこの明細書では入れ換えても使われる。
【００６２】
【数１】

【００６３】
選択的なステップ１００において、受信信号パワー計算の結果に付重が行われる。この際残留エコーの多い周波数はより重く付重され、残留エコーの少ない周波数はより軽く付重される。ラウドスピーカー１８とマイクロフォン２２との間の送信機能が既知である場合、またはエコーに関してある周波数（例えば非常に低い周波数）が問題となることが知られている場合に、上記したような選択的なステップ１００は適用されるのである。
【００６４】
ステップ１０２において、付重結果がエンベロープモデルフィルター７６に通されて、予設定モデルを用いてあるかもしれない反射エコーについてのエンベロープが形成される。ラウドスピーカー１８が受信信号を放送している室において残響するので、このモデルはエコーの実質的な持続性を示している。各ビンについて、最悪のエコー反射についてモデルがエンベロープを形成する。
【００６５】
一般に、反射エコーは、（１）ラウドスピーカーからマイクロフォンへの直接エコーおよび（２）実質的に室内の壁などの表面に起因する間接エコー、から構成されている。反射エコーが全んど間接エコーからなると知られている場合には、直接エコー経路をモデル化する必要はない。しかし一般には、典型的な室については間接エコーの減衰はほんの１０ミリ秒毎約１ｄＢであるので、間接エコー経路をモデル化しなければならない。減衰エコーがモデル化されない場合には、残響が有効近端スピーチに間違われることがある。
【００６６】
つぎに数２によりＣ言語翻訳言語を用いて直接および間接エコーの集団をモデル化する有効な方法を説明する。ここでＲＤｉｒｅｃｔ［ｉ］は直接エコーエンベロープであり、ＲＩｎｄｉｒｅｃｔ［ｉ］は間接エコーエンベロープであり、ＲＥｎｖ［ｉ］は集団エコーエンベロープであり、Ａは集団エコーエンベロープを構成する直接エコーの部分であり、Ｂは集団エコーエンベロープを構成する間接エコーの部分である。
【００６７】
【数２】

【００６８】
関数ＴｒａｃｋＵｐＡｖｅＤｏｗｎを数３で示す。
【００６９】
【数３】

【００７０】
関数ＴｒａｃｋＵｐＡｖｅＤｏｗｎは単純非線型フィルターであって、入力が登る時に入力をトラックし、入力が降るときには入力を平均する。
【００７１】
ラウドスピーカー２２に対するマイクロフォン１８の位置が不正確である場合には、エンベロープに遅れ概念を形成する必要があり、この不正確さに対処する。これにはＦＩＦＯバッファー中のビン結果を遅延させる。したがってステップ１０４において、ビン結果はＦＩＦＯバッファー７８中に記憶されて、エンベロープモデルフィルター７６からのビン結果を遅延させる。つぎにステップ１０６において、最大値発見器７９によりＦＩＦＯバッファー中の各ベクトルについて同じインデックスの各ビンを査定することにより、各ビンについての最大値を選択する。
【００７２】
ステップ１０８において、ＦＩＦＯバッファーの結果が乗算ユニットに送信され、つぎのファクターを乗算される。（１）受信信号とエコー相殺送信信号との間の基準点を有した既知または従来測定された外部ゲイン（ラウドスピーカー１８とマイクロフォン２２との間の名目上の結合ゲイン）。（２）エコー相殺器反射損失拡張（一般にＥＲＬＥとして知られている）についての従来測定値であって、単一よりは通常少ない数であるが、常に真であると実務上保証された最小値に限定される。（３）不確実性ファクター。
【００７３】
不確実性ファクターは経験的に決められたファクターであってよく、誤り表示の可能性が低いよい近端話者推測値をもたらす。この不確実性ファクターは通常単一より大である。結果として得られたベクトルはエコーエネルギーエンベロープを示し、かつ比較器８６に送信される。これらのファクターはスカラー数として記載されたが、これは単一スカラー値からベクトルに展開されて、ある程度の最適化を達成するもので、ビンを横切っての挙動にある程度の既知の変動がある。
【００７４】
ステップ９２〜１０８と並行に実行されて、エコー相殺送信信号はステップ１１０〜１２０において処理されて、送信信号パワースペクトルとノイズフローパワー推測値とを引き出す。受信信号の処理と同様に、送信経路上のエコー相殺送信信号はサンプルデータブロックにセグメント化されて、ステップ１１０と１１２において、処理ユニット５４によりＤＦＴを用いて変換される。
【００７５】
ついでステップ１１４において、近端話者推測器５０のウインドーユニット７０Ｂによってウインドー機能が計算されたＤＦＴ成分に適用されて、ＤＦＴビン間のスペクトル遺漏が抑制される。ウインドー機能はハニングウインドー機能であることが好ましい。
【００７６】
ステップ１１６において、パワー計算器７２Ｂにより各ＤＦＴビンについてパワーが計算される。これらの計算されたパワー値は送信信号パワースペクトルを示している。送信信号パワースペクトルは比較器８６に送信されて、計算されたエコーエネルギーエンベロープと一緒に処理される。
【００７７】
比較器に送信されるのに加えて、送信信号パワースペクトルは近端話者推測器５０の平均化ユニット８２に送信されて、さらに処理されてノイズフローパワー推測値を引き出す。
【００７８】
ステップ１１８において、送信信号パワースペクトルのビンパワーベクトルは平均化ユニット８２により各周波数ビンについて平均化される。
【００７９】
ついでステップ１２０において、従来のノイズフロー推測手法を用いて、ノイズフロー推測器によりノイズフローパワー推測値が計算される。一例として、各ビンについてのノイズフロー推測値はつぎの翻訳コード発生器により計算されてもよい。
【００８０】
【数４】

【００８１】
この処理において、入力パワーが現行のノイズ推測値より大きな場合には、ノイズレベル推測値は緩く浮き上がる。しかし入力パワーが現行のノイズレベル推測値より少ない場合には、推測値は非常に速く降下し、連続して低いパワーが報告されるとき、入力パワーのレベルをほぼトラックする。計算されたノイズフロー推測値は比較器８６へ送信される。すると比較器は各ビンについて近端話者推測値を計算できる準備が整う。
【００８２】
ステップ１２２において、比較器８６は下記の値から各ビンについて最大値を出力する。（１）ノイズフローパワー推測値、（２）減衰近端話者パワー推測値および（３）送信信号パワーマイナスエコーエネルギーエンベローププラスノイズフローパワー推測値。
【００８３】
ついでステップ１２４において、ビンの最大値はパワー合計ユニット８８により合計される。合計値はついでトラックアップアベレージダウンフィルター９０によりフィルターされ、ステップ１２６において単一近端話者パワー推測値を出力する。
【００８４】
近端話者パワー推測値はＡＤＡＣモジュール５６に送られて、そこで該値に反応してＡＤＡＣモジュールが適切な行動をとる。ステップ１２８において、近端話者パワー推測値は残留エコーのレベルと比較される。この残留エコーは、適応フィルター３４のエコー相殺挙動を予測すること、によって推測される。近端話者パワー推測値が残留エコー推測値より実質的に大なる場合には、ＡＤＡＣモジュールは減衰プロセッサー３０に指示して、エコー相殺送信信号を少減衰または無減衰で通過させる。
【００８５】
しかし残留エコー推測値が近端話者推測値と比肩するかまたは実質的により大である場合には、ＡＤＡＣモジュールは適応フィルターの適応を禁止するか、または適応フィルターにより使用されるステップサイズを低減する。加えて、ＡＤＡＣモジュールは送信経路上の減衰プロセッサー３０に指示して、エコー相殺送信信号を実質的に抑制して、遠隔地の人が可聴エコーを受信しないようにする。さらにＡＤＡＣモジュールは受信経路上の減衰器１２に指示して、受信信号を抑制し、送信信号中に持ち込まれるエコーの量を低減する。
【００８６】
変化実施例においては、方法とシステムとは単一の総近端話者パワー推測値の代わりに多数の推測値を引き出してもよい。例えば、異なる不確実性ファクターを用いて複数のエコーエネルギーエンベロープを計算することもできる。各エコーエネルギーエンベロープについて、独特な近端話者パワー推測値が生成されるだろう。これらの近端話者推測値は推測の信頼度において異なるだろう。
【００８７】
他の例では、近端話者パワー推測値はビンの特定のサブセットについて引き出される。第１の推測値は低周波数についてのものであり、第２の推測値は高周波数についてのものである。低または高周波数の異なるマスキング性を利用することにより、挙動の最適化が達成できる。これらの複数の推測値はＡＤＡＣモジュールにより使われて、遠端側に送信される最終的な送信信号を制御する。
【図面の簡単な説明】
【図１】従来の全二重スピーカーフォンシステムブロック線図である。
【図２】この発明の近端話者推測器を有した全二重スピーカーフォンシステムのブロック線図である。
【図３】近端話者パワー推測値を計算するために図２のシステムにより使用される異なるパワースペクトルのグラフである。
【図４】この発明の近端話者推測器の要素のブロック線図である。
【図５】この発明によりエコー相殺送信信号信号内の有効近端話者成分を検出する方法の流れ線図である。

Claims

音響エコー相殺器システム中のエコー相殺送信信号内の近端話者成分を検知する方法であって、
遠端源からの受信信号を受信し、
近端源からの初期送信信号を送信し、
前記初期送信信号内の前記受信信号のエコーを適応フィルターして前記エコー相殺送信信号を発生し、
所定の周波数スペクトルについて前記エコー相殺送信信号および前記受信信号のフーリエ変換を行うことにより、前記近端源から発信された前記エコー相殺送信信号内の前記近端話者成分の量を推測することからなり、
該推測は、
前記所定の周波数スペクトルにおける複数の異なる周波数について前記受信信号に基づいたエコーエンベロープのエネルギー値を計算し、
前記所定の周波数スペクトルにおける複数の異なる周波数について前記エコー相殺送信信号のエネルギー値を計算し、
前記所定の周波数スペクトルにおける複数の異なる周波数についてノイズフロアのエネルギーを推測し、
前記所定の周波数スペクトルにおける複数の異なる周波数について、前記ノイズフロアのエネルギー値、または前記エコー相殺送信信号のエネルギー値から前記エコーエンベロープのエネルギー値を引いて前記ノイズフロアのエネルギー値を加えた値の最大値から、前記エコー相殺送信信号内の前記近端話者成分についてエネルギー推測値を選択し、
前記エネルギー推測値は、前記近端源から発信された前記エコー相殺送信信号内の前記近端話者成分の量に対応することを特徴とする音響エコー相殺器システム中のエコー相殺送信信号内の近端話者成分を検知する方法。
前記エコーエンベロープのエネルギー値を計算するに際して、前記受信信号をモデル化して、前記エコー相殺送信信号に含まれる潜在的反射エコーのための前記エコーエンベロープを生成するとともに、残響に起因する前記潜在的反射エコーの音響成分を考慮に入れることを特徴とする請求項１に記載の方法。
前記エコーエンベロープのエネルギー値の計算に際して、前記受信信号のモデル化により引き出された前記エコーエンベロープを遅延させて、前記エコーエンベロープによる前記受信信号の潜在的遅延反射エコーの取入れを確実にすることを特徴とする請求項２に記載の方法。
前記エコーエンベロープの遅延に際して、前記エコーエンベロープのモデル化された値を先入れ先出しバッファーに記憶し、前記エコーエンベロープおよび少なくとも他の計算されたエコーエンベロープから対応するモデル化された値を評価することにより、各モデル化値について最大値を選択することを特徴とする請求項３に記載の方法。
前記エコーエンベロープのエネルギー値の計算に際して、前記音響エコー相殺器システムの外部ゲインを取入れ、該外部ゲインが前記受信信号と前記初期送信信号とが基準として用いられている前記近端源にあるスピーカーとマイクロフォンとの間の接続ゲインであることを特徴とする請求項１に記載の方法。
前記エコーエンベロープのエネルギー値の計算に際して、前記音響エコー相殺器システムの測定エコー相殺器反射損失拡張を取り入れることを特徴とする請求項１に記載の方法。
前記近端話者成分の量を推測するに際して、多数の前記エネルギー推測値を合計して、前記エコー相殺送信信号内の前記近端話者成分について単一のエネルギー推測値を引き出すことを特徴とする請求項１に記載の方法。
前記近端話者成分についての前記単一のエネルギー推測値を残留エコー推測値と比較し、該残留エコー推測値が前記音響エコー相殺器システムの予測エコー相殺挙動から引き出されることを特徴とする請求項７に記載の方法。
前記近端話者成分の量を推測するに際して、前記所定の周波数スペクトル内の選択された周波数範囲について周波数セグメントの最大値を合計して、前記エコー相殺送信信号内の前記近端話者成分について多数のエネルギー推測値を引き出すことを特徴とする請求項１に記載の方法。
遠端源からの受信信号を受信するべく接続された受信経路と、
近端源からの初期送信信号を送信するべく接続された送信経路と、
前記送受信経路に作用的に結合されて前記初期送信信号内の前記受信信号のエコーを適応的にフィルターしてエコー相殺信号を発生するエコー相殺手段と、
前記近端源から発生された前記エコー相殺信号内の近端話者成分のエネルギー推測値を生成する、前記送受信経路に接続された近端話者推測器と、
前記近端話者推測器と前記エコー相殺手段とに作用的に結合された前記エネルギー推測値に応答して送信するために前記エコー相殺信号を調整する制御手段とを含んでなり、
前記近端話者推測器が、
前記受信信号に基づいたエコーエンベロープを生成する手段と、
ノイズフロアのエネルギーを推測する手段と、
前記エコー相殺信号のエネルギーを計算する手段と、
前記エコーエンベロープを生成する手段、前記ノイズフロアのエネルギーを推測する手段及び前記エコー相殺信号のエネルギーを計算する手段に作用的に接続された処理ユニットとを含んでなり、
前記近端話者推測器が、前記エコーエンベロープを用いて、前記エコー相殺信号のエネルギー分布を比較して、前記近端話者成分に属し得る前記エコー相殺信号の部分を決定し、前記ノイズフロアの推測値と前記エコー相殺信号の計算されたエネルギーを用いて、前記エコー相殺信号内の前記近端話者成分のエネルギー推測値を引き出し、
前記処理ユニットが、前記ノイズフロアの推測値または前記エコー相殺信号のエネルギーに前記ノイズフロアの推測値を加えて前記エコーエンベロープのエネルギー値を引いた値を選択することによって、所定のスペクトル範囲について前記エコー相殺信号内の前記近端話者成分のエネルギー推測値を決定するように構成されていることを特徴とする音響エコー相殺器システム。
前記エコーエンベロープを生成する手段が前記エコー相殺信号に含まれる潜在的反射エコーのための前記エコーエンベロープを生成すべく前記受信信号をモデル化する手段を有しており、該モデル化手段が残響に起因する前記潜在的反射エコーの音響成分を取り入れるべく構成されていることを特徴とする請求項１０に記載のシステム。
前記エコーエンベロープを生成する手段が前記受信信号をモデル化する手段から引き出された前記エコーエンベロープを遅延させる手段を有しており、該前記エコーエンベロープを遅延させる手段が、前記エコーエンベロープおよび少なくとも他の計算されたエコーエンベロープから対応するモデル化された値を評価することにより、前記エコーエンベロープの各モデル化値について最大値を選択すべく、構成されていることを特徴とする請求項１１に記載のシステム。
前記エコーエンベロープを生成する手段が選択されたファクターを取り入れて前記エコーエンベロープを引き出す多重化要素を有していることを特徴とする請求項１０に記載のシステム。
前記多重化要素が前記音響エコー相殺器システムの外部ゲインを因数分解すべく構成されており、前記外部ゲインが前記送受信経路間の接続ゲインであり、前記受信信号と前記初期送信信号とが基準として用いられることを特徴とする請求項１３に記載のシステム。
前記多重化要素が測定エコー相殺器反射損失拡張を因数分解して、前記エコーエンベロープを引き出すべく構成されていることを特徴とする請求項１３に記載のシステム。
音響エコー相殺器システム中のエコー相殺送信信号内の近端話者成分の量を推測する方法であって、
前記音響エコー相殺器システムの受信経路上の受信信号をサンプリングし、
近端源から初期送信信号を発生し、
前記初期送信信号内の前記受信信号のエコーを順応的に相殺してエコー相殺送信信号を発生し、
スペクトル分析を用いて前記エコー相殺送信信号の離散フーリエ変換を実行することによりエネルギー分布を生成し、
スペクトル分析を用いて所定の周波数スペクトルについてのサンプルされた前記受信信号に基づいたエコーエンベロープのエネルギー分布を生成して、該エネルギー分布の前記近端話者成分に属し得る部分を決定し、
少なくとも部分的にエネルギー分布のスペクトル分析に基づいて、離散フーリエ変換を利用して、前記所定の周波数スペクトルの各周波数セグメントについて、前記近端話者成分のエネルギー推測値を計算し、
前記受信信号から引き出された前記所定の周波数スペクトルにおける複数の異なる周波数について、前記エコーエンベロープのエコーエンベロープエネルギー値を計算し、
前記所定の周波数スペクトルにおける複数の異なる周波数について、エコー相殺送信信号から引き出されたノイズフロアの推測エネルギーを計算し、この計算に際して、前記ノイズフロアの推測エネルギー、減衰した計算済みの前記近端話者成分のエネルギー推測値、及び前記エコー相殺送信信号の前記エネルギー分布に前記ノイズフロアの推測エネルギーを加えて前記エコーエンベロープのエネルギー分布を引いた値から最大値を選択し、
前記エネルギー推測値が特定の周波数セグメントについての前記エコー相殺送信信号内の前記近端話者成分の量を表わすことを特徴とする音響エコー相殺器システム中のエコー相殺送信信号内の近端話者成分の量を推測する方法。
前記スペクトル分析を用いて前記エコーエンベロープの前記エネルギー分布を生成するに際して、前記受信信号をモデル化して前記エコー相殺送信信号中に含まれる潜在的反射エコーのための前記エコーエンベロープを生成し、この際に残響に起因する前記潜在反射エコーの音響成分を取り入れることを特徴とする請求項１６に記載の方法。
前記スペクトル分析を用いて前記エコーエンベロープの前記エネルギー分布を生成するに際して、前記エコーエンベロープのモデル化値を遅延し、前記エコーエンベロープおよび少なくとも他の計算されたエコーエンベロープからの対応するモデル化値を評価することにより、各モデル化値について最大値を選択することを特徴とする請求項１７に記載の方法。
前記スペクトル分析を用いて前記エコーエンベロープの前記エネルギー分布を生成するに際して、前記音響エコー相殺器システムの外部ゲインにより前記エコーエンベロープを増加することを特徴とする請求項１６に記載の方法。
前記スペクトル分析を用いて前記エコーエンベロープのエネルギー分布を生成するに際して、前記音響エコー相殺器システムの測定エコー相殺器反射損失拡張により前記エコーエンベロープを増加することを特徴とする請求項１６に記載の方法。