JP4533427B2

JP4533427B2 - エコーキャンセラ

Info

Publication number: JP4533427B2
Application number: JP2007503551A
Authority: JP
Inventors: 政直鈴木; 猛大谷; 正清田中
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-02-21
Filing date: 2005-02-21
Publication date: 2010-09-01
Anticipated expiration: 2025-02-21
Also published as: WO2006087813A1; EP1853087A1; EP1853087B1; EP1853087A4; JPWO2006087813A1; US20070280473A1; US8170199B2

Description

本発明は、スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラに関し、特に、スピーカ側のＤ／Ａ変換器とマイク側のＡ／Ｄ変換器のクロックのずれによりエコーの周波数が変化した場合でも効果的にエコーを抑圧することができるエコーキャンセラに関する。

IPネットワークの普及に伴い、IPを用いた電話サービス（VoIP）が普及しつつあり、TV会議や音声会議への応用が期待されている。一般に、TV会議や音声会議では多人数で会話するため、手放しで会話できるハンズフリー通話機能が必須であるが、スピーカから再生された音がマイクで録音されて相手側に聞こえてしまう音響エコーが問題となる。

図１は、ハンズフリー通話を説明する図である。ハンズフリーの通話装置である相手端末１０と自端末２０との間の通話において、相手端末１０のマイク１１で録音された音声は、自端末２０のスピーカ２２から再生出力され、自端末２０のマイク２１で録音された音声は、相手端末１０のスピーカ１２から再生出力される。このとき、例えば、自端末２０のスピーカ２２から出力される音声が、自端末２０のマイク２１で録音されて、相手端末１０のスピーカ１２から出力されてしまう音響エコーが問題となる。そのため、通話装置（端末１０、２０）は、このような音響エコーを防止するためのエコーキャンセラ２３を内蔵している。なお、図１では、相手端末１０内のエコーキャンセラの図示が省略されている。

図２は、エコーキャンセラの原理を示す図である。エコーキャンセラでは、スピーカ信号（参照信号）とエコーを含むマイク信号の周波数スペクトルの相関を周波数帯域ごとに調べ、相関が大きい場合はエコーが大きいと判断してエコー抑圧量を大きくする。逆に相関が小さい場合はエコーが小さいと判断してエコー抑圧量を小さくする。全ての周波数帯域について上記の処理を行い、相関の大小に応じてエコーを抑圧する。
特開平１１−３３１０４６号公報特表平２００３−５１７７８２号公報

しかしながら、エコーキャンセラを使用する場合、エコーを含むマイク信号とスピーカ信号（参照信号）のサンプリング周波数が異なるとエコーを抑圧できないという問題がある。その理由は、現在市販されているPCやPDAでは、録音側と再生側のサンプリング周波数が必ずしも一致しておらず、両者のサンプリング周波数が例えば数％程度ずれていることに起因する。

図３は、サンプリング周波数のずれによりエコーが抑圧されない場合を説明する図である。図３（ａ）に示すように、例えば、再生側（スピーカ側）のサンプリング周波数(例えば8kHz)よりも録音側（マイク側）のサンプリング周波数(例えば10kHz)の方が大きい場合は、スピーカからの再生時に周波数f0であったエコー（スピーカ信号と同じ周波数）がマイクに入力され録音されるとき、サンプリング周波数のずれにより、周波数の高い方へシフトして周波数f0＋Δのエコーに変化する。エコーの周波数がシフトすると、図３（ｂ）に示すように、スピーカ信号とエコーとの相関が小さくなり、抑圧量が小さくなるので、エコーを十分に抑圧できない。

このように、従来のエコーキャンセラでは、上記のように録音（マイク側）と再生（スピーカ側）のサンプリング周波数がずれている場合には、再生前と録音後とでエコーの周波数がずれてしまうため、参照信号（スピーカ信号）とエコーの相関が小さくなりエコーを十分に抑圧できないという問題がある。

そこで、本発明の目的は、上記問題点に鑑み、再生側（スピーカ側）と録音側（マイク側）のサンプリング周波数がずれている場合であっても、エコーを抑圧することができるエコーキャンセラを提供することにある。

上記目的を達成するための本発明の第一のエコーキャンセラは、スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラにおいて、受信した第一のデジタル音声信号を前記スピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、前記第一のデジタル音声信号を第一の周波数信号に変換する第一の変換手段と、前記第二のデジタル音声信号を第二の周波数信号に変換する第二の変換手段と、前記検出手段により検出される前記ずれに基づいて、前記第一の周波数信号を周波数シフトする周波数シフト手段と、前記第二の周波数信号と前記周波数シフト手段により周波数シフトされた前記第一の周波数信号との相関を求める相関計算手段と、当該相関に基づいて、前記第二の周波数信号に含まれるエコーを抑圧するエコー抑圧手段とを備えることを特徴とする。

本発明の第二のエコーキャンセラは、スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラにおいて、受信した第一のデジタル音声信号を前記スピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、前記第一のデジタル音声信号を第一の周波数信号に変換する第一の変換手段と、前記第二のデジタル音声信号を第二の周波数信号に変換する第二の変換手段と、前記検出手段により検出される前記ずれに基づいて、前記第二の周波数信号を周波数シフトする周波数シフト手段と、前記第一の周波数信号と前記周波数シフト手段により周波数シフトされた前記第二の周波数信号との相関を求める相関計算手段と、当該相関に基づいて、前記第二の周波数信号に含まれるエコーを抑圧するエコー抑圧手段とを備えることを特徴とする。

上記第一又は第二のエコーキャンセラにおいて、好ましくは、前記エコー抑圧手段は、前記相関に基づいて、前記エコーの周波数スペクトルを推定し、前記第二の周波数信号から前記エコーの周波数スペクトルを減算することによって、前記エコーを抑圧する。

または、上記第一又は第二のエコーキャンセラにおいて、好ましくは、前記エコー抑圧手段は、前記相関の大きさに基づいて、前記エコーの抑圧量に対応するゲインを求め、当該ゲインを前記第二の周波数信号に乗算することによって、前記エコーを抑圧する。

上記目的を達成するための本発明の第一の周波数シフト装置は、スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラに入力される第一の周波数信号と第二の周波数信号のうちの当該第一の周波数信号をシフトする周波数シフト装置において、受信した第一のデジタル音声信号をスピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、前記第一のデジタル音声信号を前記第一の周波数信号に周波数変換する変換手段と、前記検出手段により検出される前記ずれに基づいて、前記第一の周波数信号を周波数シフトする周波数シフト手段とを備え、前記第二のデジタル音声信号を周波数変換した前記第二の周波数信号と前記周波数シフト手段により周波数シフトされた前記第一の周波数信号が前記エコーキャンセラに入力されることを特徴とする。

また、本発明の第二の周波数シフト装置は、スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラに入力される第一の周波数信号と第二の周波数信号のうちの当該第二の周波数信号をシフトする周波数シフト装置において、受信した第一のデジタル音声信号をスピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、前記第二のデジタル音声信号を前記第二の周波数信号に周波数変換する変換手段と、前記検出手段により検出される前記ずれに基づいて、前記第二の周波数信号を周波数シフトする周波数シフト手段とを備え、
前記第一のデジタル音声信号を周波数変換した前記第一の周波数信号と前記周波数シフト手段により周波数シフトされた前記第二の周波数信号が前記エコーキャンセラに入力されることを特徴とする。

本発明のエコーキャンセラによれば、スピーカ側（受信側）とマイク側（送信側）のクロックずれを検出し、そのずれに基づいて、周波数領域において第一の周波数信号（スピーカ信号（参照信号））または第二の周波数信号（マイク信号）を周波数シフトするので、クロックずれによる影響を処理量の増加を招くことなく簡単に補正し、効果的にエコーを抑圧することができる。

ハンズフリー通話を説明する図である。エコーキャンセラの原理を示す図である。サンプリング周波数のずれによりエコーが抑圧されない場合を説明する図である。本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第一の構成例を示す図である。本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第二の構成例を示す図である。本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第三の構成例を示す図である。本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第四の構成例を示す図である。

符号の説明

１０３：Ｄ／Ａ変換器、１０４：Ａ／Ｄ変換器、１０５：クロックずれ検出部、１０６：ＦＦＴ、１０７：ＦＦＴ、１０８：相関計算部、１０９：周波数シフト部、１１０：記憶部、１１１：エコー推定部、１１２：減算器、１１３：逆ＦＦＴ、１１４：抑圧量計算部、１１５：乗算器

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

本発明の実施の形態例では、マイク側のＡ／Ｄ変換器とスピーカ側のＤ／Ａ変換器のクロック（サンプリング周波数）のずれを検出し、その検出結果に基づいて、スピーカ信号（参照信号）又はエコーとなるマイク信号の周波数スペクトルをシフトすることにより、クロックずれによる影響を補正し、エコーを効果的に抑圧する。

図４は、本発明の実施の形態例におけるエコーキャンセラを有する通話装置１００の第一の構成例を示す図である。第一の構成例は、マイク信号の周波数スペクトルをシフトする例を示す。なお、図中点線で囲まれた部分がエコーキャンセラに対応する部分であるが、Ｄ／Ａ変換器１０３及びＡ／Ｄ変換器１０４をエコーキャンセラの構成要素としなくともよい。

通話装置１００のＤ／Ａ変換器１０３は、相手装置からの音声デジタル信号（受信信号）をアナログ信号に変換し、アナログ信号は、音声としてスピーカ１０１から再生出力される。また、マイク１０２は音声を検出するが、その際、スピーカ１０１から出力される音声をエコーとして拾う。マイク１０２により検出された音声は、Ａ／Ｄ変換器１０４によりデジタル信号に変換され、さらにフーリエ変換部（ＦＦＴ）１０７により、周波数信号に変換される。

クロックずれ検出部１０５は、スピーカ側のＤ／Ａ変換器１０３とマイク側のＡ／Ｄ変換器１０４のクロックずれを検出する。例えば、通話装置１００が、パーソナルコンピュータのＯＳ（オペレーションシステム）の制御のもとで動作する装置である場合、Ｄ／Ａ変換器１０３のドライバは、ＯＳに対してクロック周期ごとに再生完了通知を送る。一方、Ａ／Ｄ変換器１０４のドライバは、ＯＳに対してクロック周期ごとに録音完了通知を送る。クロックずれ検出部１０５は、この再生完了通知と録音完了通知の受信周期を検出することで、Ｄ／Ａ変換器１０３及びＡ／Ｄ変換器１０４それぞれのクロック周期（サンプリング周波数）を検出し、さらに、その差分に基づいてクロックずれを検出する。

周波数シフト部１０９は、検出されたクロックずれに基づいて、エコーの周波数ずれ、すなわち、シフト量を演算し、そのシフト量分だけマイク信号（この場合は、ＦＦＴ１０７からの周波数信号）をシフトする。これにより、スピーカ信号の周波数とエコーの周波数ずれが補正され、後述する処理により、エコーを十分に抑圧することが可能となる。

エコーを含むマイク信号の周波数シフト量（周波数ずれ）Δは、以下の演算により求めることができる。

シフトされたマイク信号の周波数信号（周波数スペクトル）は一旦記憶部１１０に格納されたのち、相関計算部１０８に入力される。相関計算部１０８は、スピーカ信号（参照信号）と周波数シフトされたマイク信号の相関を演算する。相関演算は周波数領域で行われるため、相関計算部１０８には、ＦＦＴ１０６により周波数変換されたスピーカ信号（参照信号）と、上述のようにＦＦＴ１０７により周波数変換され、さらに周波数シフトされたマイク信号とが入力される。相関計算部１０８は、両周波数信号の相関を演算し、その相関を、エコー推定部１１１に送る。

エコー推定部１１１は、過去及び現在のフレームの参照信号スペクトルの中で、エコー信号スペクトルとの相関が最大となるような参照信号スペクトルを探す。本実施の形態例では、マイク信号の周波数ずれが補正された周波数スペクトルに対して、相関演算及びエコー推定処理を行うので、正しいエコーの周波数スペクトルを推定することができる。そして、減算器１１２が、周波数シフト部１０９からの周波数スペクトル（マイク信号）から、当該推定されたエコーの周波数スペクトルを減算する。これにより、エコーが正しく抑圧される。減算器１１２からの出力は、逆フーリエ変換部（逆
ＦＦＴ）１１３により、時間領域の信号に戻され、送信信号（音声デジタル信号）として相手の通話装置宛て送信される。なお、相関計算部１０８及びエコー推定部１１１の演算処理については、後に詳述する。

図５は、本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第二の構成例を示す図である。第二の構成例は、スピーカ信号の周波数スペクトルをシフトする例を示す。すなわち、第一の構成例において、マイク信号の周波数スペクトルをシフトしたのに対し、第二の構成例では、周波数シフト部１０９は、ＦＦＴ１０６により周波数変換されたスピーカ信号の周波数スペクトルをシフトする。それ以外の構成は、第一の構成例と同様であるので、その説明を省略する。

ここで、図５に示した参照符号を用いて、相関計算部１０８とエコー推定部１１１の演算処理について説明する。

図６は、本発明の実施の形態例におけるエコーキャンセラを有する通話装置の第三の構成例を示す図である。第三の構成例は、マイク信号の周波数スペクトルをシフトする例（第一の構成例に対応）を示しているが、スピーカ信号の周波数スペクトルをシフトする場合（第二の構成例に対応）でも適用可能である。

第一の構成例では、相関計算部１０８の演算結果に基づいて、エコー推定部１１１がエコーの周波数スペクトルを推定し、マイク信号から減算するのに対し、第三の構成例では、エコー推定部１１１に代わって、抑圧量演算部１１４が、相関計算部１０８の演算結果に基づいて、マイク信号のゲイン（抑圧量）を演算し、減算器１１２に代わる乗算器１１５が、そのゲインをマイク信号に乗算することでエコーを抑圧する。具体的には、相関が大きいほど、ゲインを大きくするようにすることで、エコーを効果的に減衰させることができる。それ以外の構成は、第一の構成例又は第二の構成例と同様であるので、その説明を省略する。

図７は、本発明の実施の形態例における第四の構成例を示す図である。第四の構成例は、上記各構成例におけるクロックずれ検出部１０５、ＦＦＴ１０７及び周波数シフト部１０９からなる周波数シフト装置であって、エコーキャンセラと独立して通話装置内に設けられる。図示される構成は、マイク信号の周波数スペクトルをシフトする例（第一の構成例に対応）であるが、スピーカ信号の周波数スペクトルをシフトする場合（第二の構成例に対応）にも適用可能である。

このように、本発明の実施の形態例では、周波数領域でエコーを抑圧する。すなわち、周波数変換したマイク信号又は参照信号（スピーカ信号）の周波数スペクトルを周波数方向にシフトするだけでエコーの周波数スペクトルを補正することでき、その処理量は小さく、簡単な処理で実現できる。特に、本実施の形態例のように、周波数領域でエコー抑圧を行う場合、マイク信号と参照信号の周波数スペクトルを新たに求める必要がないので、その処理量の増加はきわめて小さい。

スピーカ側のＤ／Ａ変換器とマイク側のＡ／Ｄ変換器のクロックが異なる双方向可能な通話装置で発生するエコーを効果的に抑圧することができる。

Claims

スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラにおいて、
受信した第一のデジタル音声信号を前記スピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、
前記第一のデジタル音声信号を第一の周波数信号に変換する第一の変換手段と、
前記第二のデジタル音声信号を第二の周波数信号に変換する第二の変換手段と、
前記検出手段により検出される前記ずれに基づいて、前記第一の周波数信号を周波数シフトする周波数シフト手段と、
前記第二の周波数信号と前記周波数シフト手段により周波数シフトされた前記第一の周波数信号との相関を求める相関計算手段と、
当該相関に基づいて、前記第二の周波数信号に含まれるエコーを抑圧するエコー抑圧手段とを備えることを特徴とするエコーキャンセラ。
スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラにおいて、
受信した第一のデジタル音声信号を前記スピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、
前記第一のデジタル音声信号を第一の周波数信号に変換する第一の変換手段と、
前記第二のデジタル音声信号を第二の周波数信号に変換する第二の変換手段と、
前記検出手段により検出される前記ずれに基づいて、前記第二の周波数信号を周波数シフトする周波数シフト手段と、
前記第一の周波数信号と前記周波数シフト手段により周波数シフトされた前記第二の周波数信号との相関を求める相関計算手段と、
当該相関に基づいて、前記第二の周波数信号に含まれるエコーを抑圧するエコー抑圧手段とを備えることを特徴とするエコーキャンセラ。
請求項１又は２において、
前記エコー抑圧手段は、前記相関に基づいて、前記エコーの周波数スペクトルを推定し、前記第二の周波数信号から前記エコーの周波数スペクトルを減算することによって、前記エコーを抑圧することを特徴とするエコーキャンセラ。
請求項１又は２において、
前記エコー抑圧手段は、前記相関の大きさに基づいて、前記エコーの抑圧量に対応するゲインを求め、当該ゲインを前記第二の周波数信号に乗算することによって、前記エコーを抑圧することを特徴とするエコーキャンセラ。
スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラに入力される第一の周波数信号と第二の周波数信号のうちの当該第一の周波数信号をシフトする周波数シフト装置において、
受信した第一のデジタル音声信号をスピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、
前記第一のデジタル音声信号を前記第一の周波数信号に周波数変換する変換手段と、
前記検出手段により検出される前記ずれに基づいて、前記第一の周波数信号を周波数シフトする周波数シフト手段とを備え、
前記第二のデジタル音声信号を周波数変換した前記第二の周波数信号と前記周波数シフト手段により周波数シフトされた前記第一の周波数信号が前記エコーキャンセラに入力されることを特徴とする周波数シフト装置。
スピーカから出力される音声信号がマイクに入力することによって生じるエコーを抑圧するエコーキャンセラに入力される第一の周波数信号と第二の周波数信号のうちの当該第二の周波数信号をシフトする周波数シフト装置において、
受信した第一のデジタル音声信号をスピーカから出力するためのアナログ音声信号に変換するデジタル−アナログ変換器の第一のサンプリング周期と、マイクに入力されたアナログ音声信号を第二のデジタル音声信号に変換するアナログ−デジタル変換器の第二のサンプリング周期のずれを検出する検出手段と、
前記第二のデジタル音声信号を前記第二の周波数信号に周波数変換する変換手段と、
前記検出手段により検出される前記ずれに基づいて、前記第二の周波数信号を周波数シフトする周波数シフト手段とを備え、
前記第一のデジタル音声信号を周波数変換した前記第一の周波数信号と前記周波数シフト手段により周波数シフトされた前記第二の周波数信号が前記エコーキャンセラに入力されることを特徴とする周波数シフト装置。