JP6369192B2 - エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 - Google Patents

Description

本発明は、エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末に関し、例えば、テレビ会議システムや電話会議システム等において用いられるエコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末に適用し得るものである。

例えば、テレビ会議システムや電話会議システム等の拡声通話システムでは、スピーカから放音された音（ここで、「音」は音響や音声等を含む。）がマイクに回り込んで、送話側に戻る音響エコー信号が発生する。音響エコー信号は通話の著しい妨げとなるため、音響エコー抑圧方法に関する研究、開発が、これまでも多く行なわれている。

音響エコー信号を抑圧する１つの手法として、エコーサプレッサー（エコー抑圧装置）を使用する手法がある。エコーサプレッサは、遠端信号と近端入力信号とから、エコーパス特性、推定エコー信号及びエコーサプレスゲインを求め、そのエコーサプレスゲインと近端入力信号とを乗算することで音響エコー信号を抑圧する手法である。このエコーサプレッサを使用することで、音響エコー信号が抑圧される。

従来、例えば図３に示すように、エコーサプレッサ３０７が、エコーパス特性を算出して更新するときに、重要になるのがＳＴ／ＤＴ判定部３１０によるシングルトーク／ダブルトーク判定である。

ここで、シングルトークとは、音響エコー信号が近端側のマイク３０４に回り込んでおり、近端側の話者が発話していない状態である。ダブルトークとは、音響エコー信号が近端側のマイク３０４に回り込んでおり、同時に近端側で近端側の話者が発話している状態である。

シングルトークのときは、近端側のマイク３０４に入力される信号が音響エコー信号のみである。そのため、近端側のスピーカ出力信号と近端側のマイクに入力される信号とから推定されるエコーパス特性は、実際の近端側のスピーカ３０３からマイク３０４までのエコーパス特性と近い値となり、エコーサプレッサ３０７がその値でエコーパス特性を更新することで、音響エコー信号を抑圧することができる。

一方、ダブルトークのときは、近端側のマイク３０４に入力される信号が音響エコー信号と近端側の話者の音声信号とが重畳されて入力される。そのため、近端側のスピーカ出力信号と近端側のマイク３０４に入力される信号とから推定されるエコーパス特性は、実際のエコーパス特性とまったく異なる値になり、エコーサプレッサ３０７がその値でエコーパス特性を更新しても、音響エコー信号を抑圧することができない。

そのため、一般的なエコー抑圧装置は、シングルトークのときにはエコーパス特性の更新を行い、ダブルトークのときにはエコーパス特性の更新を停止している。

上記のように、シングルトーク／ダブルトーク判定を行い、シングルトークのときはエコーパス特性を更新してエコーサプレス処理を行い、ダブルトークのときはエコーパス特性の更新を停止してエコーサプレス処理を停止する抑圧する手法について、特許文献１において提案されている。

特許文献１に開示されるシングルトーク／ダブルトーク判定は、遠端信号や、近端入力信号、近端出力信号等を用いて、近端側の通話状態を判定した近端側判定情報に基づき、近端側の通話状態を、遠端側シングルトーク、近端側シングルトーク、ダブルトーク、無音の４つの状態から最終判定する。エコーサプレッサは、最終判定結果に基づいてエコーサプレス処理を行うか行わないか判定している。

特開２００８−６０９３８号公報

しかしながら、特許文献１に記載のエコー抑圧装置は、例えばソフトフォンやスマートフォンなどのように、入出力部にバッファがある機器（通信端末等）で使用すると、シングルトーク／ダブルトーク判定の判定結果と実際の状態とに不整合が発生し、音響エコー信号を抑圧することができない場合がある。

例えば、ソフトフォンやスマートフォン等の通信端末では、エコー抑圧処理以外にも様々な処理（例えば、アプリケーション、プログラム、制御信号処理等）が動作している。そのため、処理負荷が大きくなると、バッファに音データを記録する処理やバッファから音データを出力する処理が停止するため、遅延量が大きくなり、且つ遅延量の変動が大きくなる。

遅延量が大きくなり、且つ遅延量の変動が大きくなると、遠端信号の遠端話者の音声の発話区間と、近端入力信号に入力される音響エコー信号の区間とが異なり、近端側の通話状態を判定する判定部の判定結果と実際の状態とに不整合が生じ得る。

よって、遅延量が大きく、且つ遅延量の変動が大きい機器で、特許文献１に記載のシングルトーク／ダブルトーク判定を行うと、近端側の通話状態を判定する判定部の判定結果と実際の状態とに不整合が発生し、その影響により音響エコー信号を抑圧することができない。

そのため、遅延量に関わらず、シングルトーク判定の判定結果と実際の状態とに不整合が発生しないように、安定的にシングルトーク判定を行い、音響エコー信号を抑圧することができるエコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末が望まれている。

本発明は、上記課題に鑑みてなされたものであり、エコーサプレス処理で推定したフレーム遅延量をシングルトーク判定でも考慮することで、遅延量が大きく、且つ遅延量の変動が大きい装置でも、シングルトーク判定を正しく判定し、シングルトークと判定されたフレームのみエコーパス特性を算出、更新することができるエコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法を提供しようとするものである。

第１の本発明のエコー抑圧装置は、近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧装置において、（１）入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、（２）入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、（３）エコーパス特性を保持するエコーパス特性保持手段と、（４）エコーパス特性と遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた推定エコー信号の振幅スペクトルと、近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求めるフレーム遅延量推定手段と、（５）フレーム遅延量を用いて遅延させた推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて、近端入力信号から音響エコー信号を抑圧した近端出力信号を出力するエコー抑圧手段と、（６）近端出力信号を周波数領域の信号に変換して、近端出力信号の振幅スペクトルを求める近端出力信号振幅スペクトル算出手段と、（７）遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力する遠端信号音声区間検出手段と、（８）音声区間検出結果とフレーム遅延量と、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとを用いて、フレーム遅延量を考慮してシングルトークを判定するシングルトーク判定手段と、（９）シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新するエコーパス特性更新手段とを備えることを特徴とする。

第２の本発明のエコー抑圧プログラムは、近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧プログラムにおいて、コンピュータを、（１）入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段、（２）入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段、（３）エコーパス特性を保持するエコーパス特性保持手段、（４）エコーパス特性と遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた推定エコー信号の振幅スペクトルと、近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求めるフレーム遅延量推定手段、（５）フレーム遅延量を用いて遅延させた推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて、近端入力信号から音響エコー信号を抑圧した近端出力信号を出力するエコー抑圧手段、（６）近端出力信号を周波数領域の信号に変換して、近端出力信号の振幅スペクトルを求める近端出力信号振幅スペクトル算出手段、（７）遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力する遠端信号音声区間検出手段、（８）音声区間検出結果とフレーム遅延量と、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとを用いて、フレーム遅延量を考慮してシングルトークを判定するシングルトーク判定手段、（９）シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新するエコーパス特性更新手段として機能させることを特徴とする。

第３の本発明のエコー抑圧方法は、近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧方法において、（１）遠端信号振幅スペクトル算出手段が、入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求め、（２）近端入力信号振幅スペクトル算出手段が、入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求め、（３）エコーパス特性保持手段が、エコーパス特性を保持し、（４）フレーム遅延量推定手段が、エコーパス特性と遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた推定エコー信号の振幅スペクトルと、近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求め、（５）エコー抑圧手段が、フレーム遅延量を用いて遅延させた推定エコー信号の振幅スペクトルと近端入力信号の振幅スペクトルとを用いて、近端入力信号から音響エコー信号を抑圧した近端出力信号を出力し、（６）近端出力信号振幅スペクトル算出手段が、近端出力信号を周波数領域の信号に変換して、近端出力信号の振幅スペクトルを求め、（７）遠端信号音声区間検出手段が、遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力し、（８）シングルトーク判定手段が、音声区間検出結果とフレーム遅延量と、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとを用いて、フレーム遅延量を考慮してシングルトークを判定し、（９）エコーパス特性更新手段が、シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新することを特徴とする。

第４の本発明の通信端末は、第１の本発明のエコー抑圧装置を備えることを特徴とする。

本発明によれば、遅延量に関わらず、シングルトーク判定の判定結果と実際の状態とに不整合が発生しないように、安定的にシングルトーク判定を行い、音響エコー信号を抑圧することができる。

実施形態に係るエコー抑圧装置の構成を示すブロック図である。 実施形態に係るシングルトーク判定部で用いる音声区間検出結果を説明する説明図である。 従来のエコー抑圧装置を説明するためのブロック図である。

（Ａ）主たる実施形態
以下では、本発明に係るエコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末の主たる実施形態を、図面を参照しながら詳細に説明する。

この実施形態は、例えば、テレビ会議システムや電話会議システム等の拡声通話システムの音声送受信装置のエコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末に、本発明を適用する場合を例示する。

（Ａ−１）実施形態の構成
図１は、実施形態に係るエコー抑圧装置１００の構成を示すブロック図である。

図１において、本発明の実施形態に係るエコー抑圧装置１００は、遠端信号入力端子１０１、出力バッファ１０２、ＤＡ変換器１０３、スピーカ１０４、マイク１０５、ＡＤ変換器１０６、入力バッファ１０７、遠端信号周波数領域変換部１０８、遠端信号振幅スペクトル計算部１０９、エコーパス特性保持部１１０、推定エコー信号計算部１１１、推定エコー信号保持部１１２、近端入力信号周波数領域変換部１１３、近端入力信号振幅スペクトル計算部１１４、フレーム遅延量推定部１１５、推定エコー信号遅延部１１６、エコーサプレスゲイン計算部１１７、エコーサプレス部１１８、近端出力信号時間領域変換部１１９、近端信号出力端子１２０、遠端信号保持部１２１、遠端信号音声区間検出部１２２、近端出力信号振幅スペクトル計算部１２３、シングルトーク判定部１２４、エコーパス特性計算部１２５、エコーパス特性更新部１２６を有する。

この実施形態に係るエコー抑圧装置１００は、本発明に係るエコー抑圧装置を実装したものである。エコー抑圧装置１００は、遠端信号がエコーとして近端側のマイク１０５に回り込んで入力されたときでも、近端入力信号に対してエコーサプレス処理（エコー抑圧処理）を行い、近端入力信号に含まれる音響エコー信号を適切に抑圧するものである。

エコー抑圧装置１００は、例えば専用ボードとして構築されるようにしても良い。また、エコー抑圧装置１００は、例えば、ＤＳＰ（デジタルシグナルプロセッサ）へのエコー抑圧プログラムの書き込みによって実現されたものであっても良く、ＣＰＵと、ＣＰＵが実行するソフトウェア（エコー抑圧プログラム）によって実現されたものであっても良い。その場合でも、エコー抑圧装置１００の機能は図１で表すことができる。

さらに、エコー抑圧装置１００は、例えば、バッファ（出力バッファ、入力バッファ）を有する通信端末に搭載可能なものである。エコー抑圧装置１００を搭載する通信端末は、通信機能を有する者に広く適用することができ、例えば、パーソナルコンピュータ、タブレット型コンピュータ、携帯電話機、スマートフォン、ゲーム端末、ウェアラブル端末等を含むものである。

遠端信号入力端子１０１は、例えば、インターネットプロトコル（ＩＰ）網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、接続されている回線を介して遠端側（相手側）の遠端信号が入力される。

遠端信号入力端子１０１に入力された遠端信号は出力バッファ１０２に出力され、ＤＡ変換器１０３の処理準備がされるまで、遠端信号は出力バッファ１０２により一時的に保持される。そして、ＤＡ変換器１０３の処理準備ができ次第、遠端信号はＤＡ変換器１０３に出力される。デジタル音信号はＤＡ変換器１０３によりアナログ音信号に変換され、スピーカ１０４を通して近端側にアナログ音信号が出力される。

出力バッファ１０２は、エコー抑圧装置１００の処理待ち用のバッファである。

一方、近端側の話者が発した音声等の音信号や、環境音や、音響エコー信号（例えば、スピーカ１０４から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号）等が重畳したアナログ音信号は、マイク１０５により受音される。マイク１０５により受音されたアナログ音信号はＡＤ変換器１０５に出力される。アナログ音信号はＡＤ変換器１０５によりデジタル音信号に変換される。デジタル音信号は入力バッファ１０７に出力され、エコー抑圧装置１００の準備が整うまで、デジタル音信号は入力バッファ１０７に一時的に保持される。そして、エコー抑圧装置１００の準備ができ次第、デジタル音信号は近端入力信号としてエコー抑圧装置１００に入力される。

入力バッファ１０７は、エコー抑圧装置１００の処理待ち用のバッファである。

遠端信号周波数領域変換部１０８は、例えば、高速フーリエ変換（ＦＦＴ）等により、遠端信号を周波数領域の信号に変換するものである。遠端信号周波数領域変換部１０８は、変換した遠端信号の周波数スペクトルを、遠端信号振幅スペクトル計算部１０９に出力する。

遠端信号振幅スペクトル計算部１０９は、遠端信号周波数領域変換部１０８からの遠端信号の周波数スペクトルに基づいて、遠端信号の振幅スペクトルを算出するものである。遠端信号振幅スペクトル計算部１０９は、算出した遠端信号の振幅スペクトルを、推定エコー信号計算部１１１、遠端信号保持部１２１及び遠端信号音声区間検出部１２２に出力する。

エコーパス特性保持部１１０は、エコーパス特性を保持するものである。エコーパス特性保持部１１０は、保持しているエコーパス特性を、推定エコー信号計算部１１１及びエコーパス特性更新部１２６に出力する。

推定エコー信号計算部１１１は、遠端信号の振幅スペクトルとエコーパス特性保持部１０８に保持されていたエコーパス特性とを乗じて推定エコー信号の振幅スペクトルを算出するものである。推定エコー信号計算部１１１は、算出した推定エコー信号の振幅スペクトルを、推定エコー信号保持部１１２に出力する。

推定エコー信号保持部１１２は、推定エコー信号計算部１１１により算出された推定エコー信号の振幅スペクトルを所定時間保持し、フレーム遅延量を推定するために、過去の複数のフレームの推定エコー信号の振幅スペクトルを、フレーム遅延量推定部１１５に出力するものである。さらに、推定エコー信号保持部１１２は、後述するフレーム遅延量推定部１１５で求まったフレーム遅延量だけ遅延させた推定エコー信号を、推定エコー信号遅延部１１６に出力する。

近端入力信号周波数領域変換部１１３は、例えば高速フーリエ変換（ＦＦＴ）等により、近端入力信号を周波数領域の信号に変換するものである。近端入力信号周波数領域変換部１１３は、変換した近端入力信号の周波数スペクトルを、エコーサプレス部１１８及び近端入力信号振幅スペクトル計算部１１４に出力する。

近端入力信号振幅スペクトル計算部１１４は、近端入力信号の周波数スペクトルに基づいて、近端入力信号の振幅スペクトルを算出するものである。近端入力信号振幅スペクトル計算部１１４は、算出した近端入力信号の振幅スペクトルを、フレーム遅延量推定部１１５、エコーサプレスゲイン計算部１１７、シングルトーク判定部１２４及びエコーパス特性計算部１２５に出力する。

フレーム遅延量推定部１１５は、推定エコー信号保持部１１１に保持されている過去の複数のフレームの推定エコー信号の振幅スペクトルと、近端入力信号の振幅スペクトルとでフレーム遅延量を推定するものである。フレーム遅延量推定部１１５は、推定したフレーム遅延量を、推定エコー信号遅延部１１６、遠端信号保持部１２１及びシングルトーク判定部１２４に出力する。

推定エコー信号遅延部１１６は、フレーム遅延量推定部１１５により推定されたフレーム遅延量を用いて、当該フレーム遅延量のフレームの推定エコー信号の振幅スペクトルを推定エコー信号保持部１１２から読み出し、フレーム遅延量だけ遅延させた推定エコー信号を求めるものである。推定エコー信号遅延部１１６は、フレーム遅延量だけ遅延させた推定エコー信号を、エコーサプレスゲイン計算部１１７に出力する。

エコーサプレスゲイン計算部１１７は、近端入力信号の振幅スペクトルと推定エコー信号の振幅スペクトルとを用いて、近端入力信号に重畳されている音響エコー信号を抑圧するエコーサプレスゲインを算出するものである。エコーサプレスゲイン計算部１１７は、算出したエコーサプレスゲインをエコーサプレス部１１８に出力する。

エコーサプレス部１１８は、エコーサプレスゲイン計算部１１７により算出されたエコーサプレスゲインと、近端入力信号の周波数スペクトルとを乗じて、近端入力信号に重畳されている音響エコー信号を抑圧した周波数スペクトルを求めるものである。エコーサプレス部１１８は、音響エコー信号を抑圧した近端出力信号の周波数スペクトルを、近端出力信号時間領域変換部１１９及び近端出力信号振幅スペクトル計算部１２３に出力する。

近端出力信号時間領域変換部１１９は、エコーサプレス部１１８からの近端出力信号の周波数スペクトルを、例えば逆高速フーリエ変換（ＩｎｖｅｒｓｅＦＦＴ）等により、時間領域のデジタル音信号に変換し、近端出力信号を近端信号出力端子１２０に出力する。

遠端信号保持部１２１は、遠端信号振幅スペクトル計算部１０９からの遠端信号の振幅スペクトルを、推定エコー信号保持部１１２と同じ所定時間保持するものである。そして、遠端信号保持部１２１は、フレーム遅延量だけ遅延させた遠端信号の振幅ペクトルを、エコーパス特性計算部１２５に出力する。

遠端信号音声区間検出部１２２は、遠端信号振幅スペクトル計算部１０９からの遠端信号の振幅スペクトルから、遠端信号が音声区間か又は無音声区間かを判定するものである。遠端信号音声区間検出部１２２は、現フレームが音声区間か又は無音声区間かを示す音声区間判定結果を、シングルトーク判定部１２４に出力する。

近端出力信号振幅スペクトル計算部１２３は、エコーサプレス部１１８からの近端出力信号の周波数スペクトルに基づいて、近端出力信号の振幅スペクトルを算出するものである。近端出力信号振幅スペクトル計算部１２３は、算出した近端出力信号の振幅スペクトルをシングルトーク判定部１２４に出力する。

シングルトーク判定部１２４は、フレーム遅延量を考慮してシングルトークか否かを判定するものである。シングルトーク判定部１２４は、まず、フレーム遅延量と遠端信号音声区間検出部１２２による音声区間判定結果とを用いて、遅延を考慮した音声区間判定結果を算出する。そして、シングルトーク判定部１２４は、遅延を考慮した音声区間判定結果と、近端入力信号の振幅スペクトル及び近端出力信号の振幅スペクトル等とを用いて、シングルトークか又はシングルトーク以外かを判定する。すなわち、シングルトーク判定部１２４は、遅延を考慮した音声区間判定結果に基づき、音声区間と判定されている区間で、近端入力信号の振幅スペクトルと近端出力信号の振幅スペクトルとを用いて、シングルトークか又はシングルトーク以外かを判定する。また、シングルトーク判定部１２４は、シングルトーク判定結果をエコーパス特性計算部１２５に出力する。

エコーパス特性計算部１２５は、シングルトーク判定部１２４によりシングルトークと判定されると、遠端信号の振幅スペクトルと近端入力信号の振幅スペクトルとに基づいて、現フレームのエコーパス特性を算出するものである。エコーパス特性計算部１２５は、算出した現フレームのエコーパス特性をエコーパス特性更新部１２６に出力する。

エコーパス特性更新部１２６は、エコーパス特性計算部１２５により算出された現フレームのエコーパス特性とエコーパス特性保持部１１０に保持しているエコーパス特性とに基づき、エコーパス特性を更新し、更新したエコーパス特性を、エコーパス特性保持部１１１に保存する。

（Ａ−２）実施形態の動作
次に、実施形態に係るエコーサプレス装置１００におけるエコー抑圧処理の動作を詳細に説明する。

まず、エコー抑圧装置１００の動作開始後、例えば、インターネットプロトコル（ＩＰ）網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており接続されている回線を介して、遠端側の遠端信号が遠端信号入力端子１０１に入力される。

遠端信号入力端子１０１に入力された遠端信号は出力バッファ１０２に出力され、ＤＡ変換器１０３の処理準備がされるまで、遠端信号は出力バッファ１０２により一時的に保持される。ＤＡ変換器１０３の処理準備ができ次第、遠端信号はＤＡ変換器１０３に出力され、ＤＡ変換器１０３によりデジタル音信号はアナログ音信号に変換され、スピーカ１０４を通して近端側にアナログ音信号が出力される。

一方、近端側の話者が発した音声等の音信号や、環境音、音響エコー信号（例えば、スピーカ１０４から出力されたアナログ音信号が近端側の空間を伝達して回り込んだ信号）等が重畳したアナログ音信号は、マイク１０５により受音される。アナログ音信号はＡＤ変換器１０５に出力され、ＡＤ変換器１０５によりアナログ音信号はデジタル音信号に変換される。デジタル音信号は入力バッファ１０７に出力され、エコー抑圧装置１００の準備が整うまで、デジタル音信号は入力バッファ１０７に一時的に保持される。そして、エコー抑圧装置１００の準備ができ次第、デジタル音信号は近端入力信号としてエコー抑圧装置１００に入力される。

遠端信号周波数領域変換部１０８では、例えば、高速フーリエ変換（ＦＦＴ）等により、遠端信号が周波数領域の信号に変換される。変換された遠端信号の周波数スペクトルＲＯＵＴ（ｉ，ω）が遠端信号振幅スペクトル計算部１０９に出力される。

遠端信号振幅スペクトル計算部１０９では、周波数スペクトルＲＯＵＴ（ｉ，ω）を用いて、（１）式に従い、遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜が求められる。

ここで、ｉはフレーム、ωは周波数ビン、ＲＯＵＴ＿ｒｅａｌ（ｉ，ω）とＲＯＵＴ＿ｉｍａｇｅ（ｉ，ω）はフレームｉにおける周波数ビンωの遠端信号の周波数スペクトルの実数部と虚数部を示しており、遠端信号の周波数スペクトルＲＯＵＴ（ｉ，ω）は、で表すことができる。

（２）式のｊは虚数を表している。そして、遠端信号振幅スペクトル計算部１０９により求められた遠端信号の周波数スペクトル｜ＲＯＵＴ（ｉ，ω）｜は、推定エコー信号計算部１１１、遠端信号保持部１２１及び遠端信号音声区間検出部１２２に出力される。

エコーパス特性保持部１１０は、保持しているエコーパス特性｜Ｈ（ｉ−１，ω）｜を推定エコー信号計算部１１１に出力する。

推定エコー信号計算部１１１では、保持しているエコーパス特性｜Ｈ（ｉ−１，ω）｜と、遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜とを用いて、（３）式により、推定エコー信号の振幅スペクトル｜ＥＣＨＯ（ｉ，ω）｜が求められる。

（３）式は、遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜に、エコーパス保持部１１０に保持しているエコーパス特性｜Ｈ（ｉ−１，ω）｜の対応する周波数ビンを乗じて、当該周波数ビンの推定エコー信号の振幅スペクトル｜ＥＣＨＯ（ｉ，ω）｜を求める。そして、推定エコー計算部１１１により求められた推定エコー信号の振幅スペクトル｜ＥＣＨＯ（ｉ，ω）｜を推定エコー信号保持部１１２に出力する。

推定エコー信号保持部１１２では、推定エコー信号計算部１１１から出力された推定エコー信号の振幅スペクトル｜ＥＣＨＯ（ｉ，ω）｜が書き込まれる。書き込みが完了すると、推定エコー信号保持部１１２に保持されている、過去の複数のフレームの推定エコー信号の振幅スペクトルが、フレーム遅延量推定部１１５に出力される。

一方、入力バッファ１０７から出力されたデジタル音信号が近端入力信号として近端入力信号周波数領域変換部１１３に入力する。近端入力信号周波数領域変換部１１３では、例えば、高速フーリエ変換（ＦＦＴ）等により近端入力信号が周波数領域の信号に変換され、その変換された近端入力信号の周波数スペクトルＳＩＮ（ｉ，ω）が、近端入力信号振幅スペクトル計算部１１４及びエコーサプレス部１１８に出力される。

近端入力信号振幅スペクトル計算部１１４では、近端入力信号の周波数スペクトルＳＩＮ（ｉ，ω）を用いて、（４）式に従い、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜が求められる。

ここで、ＳＩＮ＿ｒｅａｌ（ｉ，ω）とＳＩＮ＿ｉｍａｇｅ（ｉ，ω）は、フレームｉにおける周波数ビンωの近端入力信号の周波数スペクトルの実数部と虚数部を示しており、近端入力信号の周波数スペクトルＳＩＮ（ｉ，ω）はで表すことができる。

（５）式のｊは虚数を表している。そして、近端入力信号振幅スペクトル計算部１１４により求められた近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜は、フレーム遅延量推定部１１５、エコーサプレスゲイン計算部１１７、シングルトーク判定部１２４及びエコーパス特性計算部１２５に出力される。

フレーム遅延量推定部１１５は、推定エコー信号保持部１１２から出力される過去の複数フレームの推定エコー信号の振幅スペクトルと、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜とからフレーム遅延量を推定する。

ここで、フレーム遅延量を推定する方法は、例えば、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜と、過去の複数のフレームの推定エコー信号の振幅スペクトルとをフレーム毎に相関を求め、その最も相関が高いフレームの遅延量をフレーム遅延量とする手法などを用いることができる。

なお、フレーム遅延量を推定する方法は、種々の方法を広く適用することができる。例えば、フレーム遅延量推定部１１５は、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜と、過去の複数フレームの推定エコー信号の振幅スペクトルとの相関をフレーム毎に求め、フレーム毎の相関値が最も小さくなるフレームとの間の遅延量をフレーム遅延量とする方法を用いることができる。また、フレーム遅延量推定部１１５は、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜と、過去の推定エコー信号の振幅スペクトルとの周波数ビン毎の誤差を求め、その誤差の合計値をフレーム毎に求める。そして、フレーム毎の誤差の合計値が最小となるフレームとの間の遅延をフレーム遅延量としても良い。

フレーム遅延量推定部１１５は、推定したフレーム遅延量を、推定エコー信号遅延部１１６、遠端信号保持部１２１及びシングルトーク判定部１２２に出力する。

推定エコー信号遅延部１１６は、フレーム遅延量推定部１１５により推定されたフレーム遅延量を用いて、当該フレーム遅延量だけ遅延させたフレームの推定エコー信号の振幅スペクトル｜ＥＣＨＯ＿Ｄｅｌａｙ（ｉ、ω）｜を、推定エコー信号保持部１１２から読み出す。そして、推定エコー信号遅延部１１６は、遅延した推定エコー信号の振幅スペクトル｜ＥＣＨＯ＿Ｄｅｌａｙ（ｉ、ω）｜を、エコーサプレスゲイン計算部１１７に出力する。

エコーサプレスゲイン計算部１１７は、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜と、遅延した推定エコー信号の振幅スペクトル｜ＥＣＨＯ＿Ｄｅｌａｙ（ｉ，ω）｜とを用いて、式（６）に従って、エコーサプレスゲインＧ（ｉ，ω）を求める。

（６）式は、周波数ビン毎に近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜から推定エコー信号の振幅スペクトル｜ＥＣＨＯ＿Ｄｅｌａｙ（ｉ，ω）｜を差し引いた振幅スペクトルを、近端入力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜で除することで、エコーサプレスゲインＧ（ｉ，ω）を求める。

エコーサプレスゲイン計算部１１７により求められたエコーサプレスゲインＧ（ｉ，ω）は、エコーサプレス部１１８に出力される。

エコーサプレス部１１８は、近端入力信号のスペクトルＳＩＮ（ｉ，ω）とエコーサプレスゲインＧ（ｉ，ω）とを用いて、（７）式、（８）式に従い、近端入力信号のスペクトルＳＩＮ（ｉ，ω）に重畳されている音響エコー信号を抑圧する。

ここで、ＳＯＵＴ＿ｒｅａｌ（ｉ，ω）とＳＯＵＴ＿ｉｍａｇｅ（ｉ，ω）は、フレームｉにおける周波数ビンωの近端出力信号の周波数スペクトルの実数部と虚数部を示しており、近端出力信号の周波数スペクトルＳＯＵＴ（ｉ，ω）は

で表すことができる。（９）式のｊは虚数を表している。（７）式と（８）式は、近端出力信号の周波数スペクトルの実数部、虚数部に、エコーサプレスゲインＧ（ｉ，ω）を周波数ビン毎に乗じて、音響エコー信号を抑圧した近端出力信号の周波数スペクトルを求める。

そして、エコーサプレス部１１８により求められた音響エコー信号が抑圧された近端出力信号の周波数スペクトルＳＯＵＴ（ｉ，ω）は、近端出力信号時間領域変換部１１９及び近端出力信号振幅スペクトル計算部１２３に出力する。

近端出力信号時間領域変換部１１９では、例えば逆高速フーリエ変換（ＩｎｖｅｒｓｅＦＦＴ）等により、近端出力信号のスペクトルＳＯＵＴ（ｉ，ω）が時間領域のデジタル音信号に変換され、その変換されたデジタル音信号が近端信号出力端子１２０に出力する。

近端信号出力端子１２０は、例えば、インターネットプロトコル（ＩＰ）網等のネットワークや、携帯電話等の無線ネットワークの電波等に接続されており、近端出力信号が接続回線を介して通話相手である遠端側に出力される。

遠端信号振幅スペクトル計算部１０９により算出された遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜は、遠端信号保持部１２１に保持される。

遠端信号保持部１２１では、遠端信号振幅スペクトル計算部１０９からの遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜を、推定エコー信号保持部１１２と同じ所定時間だけ保持する。そして、フレーム遅延量推定部１１５で求めたフレーム遅延量を用いてフレーム遅延量だけ遅延させた遠端信号の振幅スペクトル｜ＲＯＵＴ＿Ｄｅｌａｙ（ｉ，ω）｜を、遠端信号保持部１２１からエコーパス特性計算部１２５に出力する。

遠端信号音声区間検出部１２２は、遠端信号の振幅スペクトル｜ＲＯＵＴ（ｉ，ω）｜を用いて、遠端信号が音声区間か又は無音声区間かを判定する。ここで、音声区間か又は無音声区間かの判定手段は、種々の方法を適用することができる。例えば、遠端信号音声区間検出部１２２は、（１０）式に従い、遠端信号の振幅スペクトルの平均値ｒｏｕｔ＿ａｖｅ（ｉ）を求め、（１１）式に従い、遠端信号が音声区間か又は無音声区間かを判定する手法がある。

（１０）式のＦｓはサンプリング周波数であり、（１１）式のＴＨ１は閾値である。遠端信号音声区間検出部１２２は、（１１）式の条件が真のときは音声区間と判定し、偽のときは非音声区間と判定する。閾値ＴＨ１は、音声の有無を判定するためのものであり、例えば、固定値としても良いし、また例えば（１２）式に示すようなｒｏｕｔ＿ａｖｅ（ｉ）に時定数フィルタを用いても良い。

（１２）のａは時定数フィルタの係数であり、ａは０より大きく、１以下の値である。閾値の更新を遅くしたい場合、ａは１に近い値とすることが望ましく（例えばａ＝０．９９等の値）、更新を早くしたい場合、ａは０に近い値とすることが望ましい（例えばａ＝０．０１等の値）。

なお、音声区間か又は無音声区間かの判定の手段は、種々の方法を広く適用することができる。例えば、遠端信号音声区間検出部１２２は、遠端信号の自己相関を求めて音声区間を求めるなどの方法で判定しても良い。遠端信号音声区間検出部１２２は、音声区間か又は無音声区間かを示す音声区間判定結果を、シングルトーク判定部１２４に出力する。

近端出力信号振幅スペクトル計算部１２３は、エコーサプレス部１１８から取得した近端出力信号の周波数スペクトルＳＯＵＴ（ｉ，ω）を用いて、（１３）式に従い、近端出力信号の振幅スペクトル｜ＳＯＵＴ（ｉ，ω）｜を求める。

そして、近端出力信号振幅スペクトル計算部１２３により求められた近端入力信号の振幅スペクトル｜ＳＯＵＴ（ｉ，ω）｜は、シングルトーク判定部１２４に出力される。

シングルトーク判定部１２４は、まず、遠端信号音声区間検出部１２２からの音声区間判定結果と、フレーム遅延量推定部１１５からのフレーム遅延量とを用いて、音声区間判定結果をフレーム遅延量だけ遅延させる。これにより、フレーム遅延量の遅延を考慮した音声区間判定結果を得ることができる。

ここで、図２は、フレーム遅延量の遅延を考慮した音声区間判定結果を得る方法を説明する説明図である。図２（Ａ）に示すように、遠端信号音声区間検出部１１２により検出された音声区間判定結果が、シングルトーク判定部１２４に出力されるとする。シングルトーク判定部１２４は、図２（Ｂ）に示すように、フレーム遅延量推定部１１５により推定されたフレーム遅延量だけ、音声区間判定結果を遅延させる。これにより、フレーム遅延量の遅延を考慮した音声区間判定結果を求める。

なお、音声区間判定結果を遅延させる方法は、種々の方法を広く適用することができる。例えば、シングルトーク判定部１２４は、遠端信号保持部１２１からフレーム遅延量だけ遅延した遠端信号の振幅スペクトルを取得し、その取得した遠端信号の振幅スペクトルを用いて、音声区間か又は無音声区間かを判定する等としても良い。

次に、シングルトーク判定部１２４は、フレーム遅延量の遅延を考慮した音声区間判定結果を用いて、音声区間と判定されている区間のみ、近端入力信号の振幅スペクトルと近近端出力信号の振幅スペクトルとを用いて、シングルトークか又はシングルトーク以外かを判定する。

ここで、シングルトーク判定部１２４によるシングルトーク判定方法は、例えば、シングルトーク判定部１２４が、（１４）式に従い、シングルトークか又はシングルトーク以外かを判定する手法がある。

（１４）式のＴＨ２はシングルトークか否かを判定するための閾値である。シングルトーク判定部１２４は、（１４）式の条件が真のときはシングルトークと判定し、偽のときはシングルトーク以外として判定する。（１４）式において、シングルトークのときには、音響エコー信号が抑圧され近端出力信号の振幅スペクトル｜ＳＯＵＴ（ｉ，ω）｜が小さくなるので、左辺が小さい値となるため、閾値ＴＨ２は、例えば小さい固定値（例えばＴＨ２＝０．３の値等）としても良いし、また例えば、近端側の雑音成分を考慮し、固定値に雑音成分だけ加算した値を閾値ＴＨ２とする等のようにフレームで変化する変数等としても良い。ただ、この判定方法は、エコーパス特性がある程度更新されなければ閾値以下にならないので、エコー抑圧装置動作開始直後は、フレーム遅延量の遅延を考慮した音声区間判定結果が音声区間と判定したフレームをシングルトーク判定結果として、エコーパス特性が十分更新されれば、（１４）式の条件を追加するとする。十分更新したかの判断は、（１４）式が真になる回数をカウントし、回数が一定回数以上になったらエコーパス特性が十分更新されたとして条件を追加する。また、エコーパス特性が十分更新されたかの判定は、種々の方法を広く適用することができる。例えば、更新前のエコーパス特性と更新後のエコーパス特性の誤差を求めて、誤差が小さいくなるフレームがす数フレーム続けば十分更新されたと判定とする方法で判定しても良い。

また、エコー抑圧装置動作開始直後のシングルトーク判定は、種々の方法を広く適用することができる。例えば、シングルトーク判定部１２４は、遅延させた近端出力信号の振幅スペクトルと近端入力信号の振幅スペクトルとの相関を求めて、相関が高いとき（例えば閾値を超えるとき）はシングルトークとする方法で判定しても良い。

シングルトーク判定部１２４は、シングルトーク判定結果をエコーパス特性計算部１２５に出力する。

エコーパス特性計算部１２５は、シングルトーク判定部１２４によりシングルトークと判定されたフレームで、現フレームのエコーパス特性を求める。エコーパス特性計算部１２５は、（１５）式に従い、遠端信号保持部１２１からの遅延させた遠端信号の振幅スペクトル｜ＲＯＵＴ＿Ｄｅｌａｙ（ｉ，ω）｜と、近端出力信号振幅スペクトル計算部１１４からの近端出力信号の振幅スペクトル｜ＳＩＮ（ｉ，ω）｜とを用いて、現フレームのエコーパス特性｜Ｈ₁（ｉ，ω）｜を求める。

エコーパス特性計算部１２５において、現フレームのエコーパス特性｜Ｈ₁（ｉ，ω）｜が求まると、現フレームのエコーパス特性｜Ｈ₁（ｉ，ω）｜がエコーパス特性更新部１２６に出力される。なお、エコーパス特性計算部１２５は、シングルトーク判定部１２４の判定結果がシングルトーク以外の判定結果であるとき、現フレームのエコーパス特性を計算しない。

エコーパス特性更新部１２６は、エコーパス特性計算部１２５からエコーパス特性｜Ｈ₁（ｉ，ω）｜が与えられると、エコーパス特性保持部１１０に保持されているエコーパス特性｜Ｈ（ｉ−１，ω）｜を読み出し、エコーパス特性｜Ｈ（ｉ−１，ω）｜と、エコーパス特性｜Ｈ₁（ｉ，ω）｜とを用いてエコーパス特性を更新する。具体的には、エコーパス特性更新郡部１２６は、（１６）式に従って、エコーパス特性｜Ｈ（ｉ，ω）｜を更新する。

（１６）式のｂは時定数フィルタの係数であり、ｂは０より大きく、１以下の値である。エコーパス特性の更新を遅くしたい場合、ｂは１に近い値とすることが望ましく（例えばｂ＝０．９９等の値）、更新を早くしたい場合、ｂは０に近い値とすることが望ましい（例えばｂ＝０．０１等の値）。

エコーパス特性更新部１２６は、エコーパス特性を更新すると、その更新したエコーパス特性をエコーパス特性保持部１１０に保持する。

（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、遅延量に関わらず安定的にシングルトーク判定を行い、音響エコー信号を抑圧することができ、エコー抑圧性能を維持することができる。

（Ｂ）他の実施形態
上述した実施形態においても、種々の変形実施形態を説明したが、本発明は以下の変形実施形態についても適用することができる。

上述した実施形態で説明したエコー抑圧装置は、例えば、テレビ会議システムや電話会議システム等に用いられる音声通信装置を含む装置に搭載されるようにしても良い。また、携帯電話機やスマートフォン等の携帯端末に本発明のエコー抑圧装置は搭載されるようにしても良い。

１００…エコー抑圧装置、１０１…遠端信号入力端子、１０２…出力バッファ、１０３…ＤＡ変換器、１０４…スピーカ、１０５…マイク、１０６…ＡＤ変換部、１０７…入力バッファ、１０８…遠端信号周波数領域変換部、１０９…遠端信号振幅スペクトル計算部、１１０…エコーパス特性計算部、１１１…推定エコー信号計算部、１１２…推定エコー信号保持部、１１３…近端入力信号周波数領域変換部、１１４…近端入力信号振幅スペクトル計算部、１１５…フレーム遅延量推定部、１１６…推定エコー信号遅延部、１１７…エコーサプレスゲイン計算部、１１８…エコーサプレス部、１１９…近端出力信号時間領域変換部、１２０…近端信号出力端子、１２１…遠端信号保持部、１２２…遠端信号音声区間検出部、１２３…近端出力信号振幅スペクトル計算部、１２４…シングルトーク判定部、１２５…エコーパス特性計算部、１２６…エコーパス特性更新部。

Claims (5)

1. 近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧装置において、
   入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段と、
   入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段と、
   エコーパス特性を保持するエコーパス特性保持手段と、
   エコーパス特性と上記遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた上記推定エコー信号の振幅スペクトルと、上記近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求めるフレーム遅延量推定手段と、
   上記フレーム遅延量を用いて遅延させた上記推定エコー信号の振幅スペクトルと上記近端入力信号の振幅スペクトルとを用いて、上記近端入力信号から上記音響エコー信号を抑圧した近端出力信号を出力するエコー抑圧手段と、
   上記近端出力信号を周波数領域の信号に変換して、上記近端出力信号の振幅スペクトルを求める近端出力信号振幅スペクトル算出手段と、
   上記遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力する遠端信号音声区間検出手段と、
   上記音声区間検出結果と上記フレーム遅延量と、上記近端入力信号の振幅スペクトルと上記近端出力信号の振幅スペクトルとを用いて、上記フレーム遅延量を考慮してシングルトークを判定するシングルトーク判定手段と、
   上記シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新するエコーパス特性更新手段と
   を備えることを特徴とするエコー抑圧装置。
2. 上記シングルトーク判定手段が、上記フレーム遅延量を用いて遅延させた上記音声区間検出結果に基づき、音声区間と判定されている区間の上記近端入力信号の振幅スペクトルと、上記近端出力信号の振幅スペクトルとを用いて、シングルトークか否かを判定することを特徴とする請求項１に記載のエコー抑圧装置。
3. 近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧プログラムにおいて、
   コンピュータを、
   入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求める遠端信号振幅スペクトル算出手段、
   入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求める近端入力信号振幅スペクトル算出手段、
   エコーパス特性を保持するエコーパス特性保持手段、
   エコーパス特性と上記遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた上記推定エコー信号の振幅スペクトルと、上記近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求めるフレーム遅延量推定手段、
   上記フレーム遅延量を用いて遅延させた上記推定エコー信号の振幅スペクトルと上記近端入力信号の振幅スペクトルとを用いて、上記近端入力信号から上記音響エコー信号を抑圧した近端出力信号を出力するエコー抑圧手段、
   上記近端出力信号を周波数領域の信号に変換して、上記近端出力信号の振幅スペクトルを求める近端出力信号振幅スペクトル算出手段、
   上記遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力する遠端信号音声区間検出手段、
   上記音声区間検出結果と上記フレーム遅延量と、上記近端入力信号の振幅スペクトルと上記近端出力信号の振幅スペクトルとを用いて、上記フレーム遅延量を考慮してシングルトークを判定するシングルトーク判定手段、
   上記シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新するエコーパス特性更新手段
   として機能させることを特徴とするエコー抑圧プログラム。
4. 近端入力信号と遠端信号に基づく音響エコー信号を抑圧するエコー抑圧方法において、
   遠端信号振幅スペクトル算出手段が、入力された遠端信号を周波数領域の信号に変換して、遠端信号の振幅スペクトルを求め、
   近端入力信号振幅スペクトル算出手段が、入力された近端入力信号を周波数領域の信号に変換して、近端入力信号の振幅スペクトルを求め、
   エコーパス特性保持手段が、エコーパス特性を保持し、
   フレーム遅延量推定手段が、エコーパス特性と上記遠端信号の振幅スペクトルを乗算して推定エコー信号の振幅スペクトルを求め、求めた上記推定エコー信号の振幅スペクトルと、上記近端入力信号の振幅スペクトルとを用いて、フレーム遅延量を求め、
   エコー抑圧手段が、上記フレーム遅延量を用いて遅延させた上記推定エコー信号の振幅スペクトルと上記近端入力信号の振幅スペクトルとを用いて、上記近端入力信号から上記音響エコー信号を抑圧した近端出力信号を出力し、
   近端出力信号振幅スペクトル算出手段が、上記近端出力信号を周波数領域の信号に変換して、上記近端出力信号の振幅スペクトルを求め、
   遠端信号音声区間検出手段が、上記遠端信号の振幅スペクトルから音声区間を検出して音声区間検出結果を出力し、
   シングルトーク判定手段が、上記音声区間検出結果と上記フレーム遅延量と、上記近端入力信号の振幅スペクトルと上記近端出力信号の振幅スペクトルとを用いて、上記フレーム遅延量を考慮してシングルトークを判定し、
   エコーパス特性更新手段が、上記シングルトーク判定手段によりシングルトークと判定されたフレームで、エコーパス特性を算出してエコーパス特性を更新する
   ことを特徴とするエコー抑圧方法。
5. 請求項１又は２に記載のエコーパス抑圧装置を備えることを特徴とする通信端末。

Images