JPWO2009051197A1 - エコー抑圧方法及び装置 - Google Patents

エコー抑圧方法及び装置 Download PDF

Info

Publication number
JPWO2009051197A1
JPWO2009051197A1 JP2009538146A JP2009538146A JPWO2009051197A1 JP WO2009051197 A1 JPWO2009051197 A1 JP WO2009051197A1 JP 2009538146 A JP2009538146 A JP 2009538146A JP 2009538146 A JP2009538146 A JP 2009538146A JP WO2009051197 A1 JPWO2009051197 A1 JP WO2009051197A1
Authority
JP
Japan
Prior art keywords
signal
echo
coefficient
output signal
sound collector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009538146A
Other languages
English (en)
Inventor
宝珠山 治
治 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2009051197A1 publication Critical patent/JPWO2009051197A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers

Abstract

本発明は、歪の状況が変化する環境において、近端騒音の影響を受けずにエコーを抑圧することのできるエコー抑圧方法を提供することを課題とする。本発明は、マイクロホン1とスピーカ2との間の音響系結合によるエコーを抑圧する装置において、マイクロホン1の出力信号またはマイクロホン1の出力信号から線形エコーキャンセラ3の出力信号を減算した信号を第1の信号、線形エコーキャンセラ3の出力信号を第2の信号とするとき、係数発生部200は、第2の信号の第1の信号に対する振幅比の時間的な変化の最小値を検出し、検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する。変換部100は、係数発生部200で発生された漏れこみ係数と第2の信号とに基づいて第1の信号を補正することで、第1の信号からエコーを除去した近端信号を生成して出力端子9に出力する。

Description

本発明は、ハンズフリー電話器、カーステレオを再生しながらの音声認識装置など、拡声と収音が同時に行われる状況におけるエコー抑圧技術に関する。
ハンズフリー電話器における収音器と拡声器との間の音響系結合によるエコーを抑圧する第1の技術の構成例を図30に示す。図30において、入力端子10に加わる通話相手の音声信号(遠端信号と呼ぶ)は、スピーカ2から遠端音声として拡声される。マイクロホン1には、必要な音、例えば話者の声(近端音声と呼ぶ)が入るとともに、スピーカ2から拡声された遠端音声が空間を通じて漏れこむ。この漏れこみはエコーと呼ばれる。また、遠端信号からマイクロホン1の出力信号まで、スピーカ2およびマイクロホン1を含めた音響伝達系を、エコー経路と呼ぶ。
出力端子9から近端信号として送りたいのは、近端音声であり、スピーカ2から拡声されて漏れこんだ遠端音声のエコーは除去したい。遠端音声が大きく漏れこむと、相手側に、遅延した遠端音声が、エコーとして聞こえることになり、遠端での発話が困難になる。この問題に対して、一般的に適用されている手法は、線形エコーキャンセラを用いる手法である。線形エコーキャンセラについては、例えば非特許文献1に記載されている。
図30において、線形エコーキャンセラ3は、エコー経路の伝達関数を模擬する。この模擬した伝達関数を用いて、スピーカ2への入力信号(遠端信号)から、マイクロホン1の受音に漏れこむエコーを模擬した信号、すなわちエコーレプリカ信号を生成し、減算器4において、マイクロホン1の受音信号から減算することで、近端信号を生成する。なお、音声検出部5は、マイクロホン1の出力、線形エコーキャンセラ3の出力、減算器4の出力および遠端信号をそれぞれ入力して近端音声があるかどうかを検出しており、近端音声があるときには、音声検出結果として0あるいは極めて小さい値を出力し、近端音声がないときには大きな値を出力する。
線形エコーキャンセラ3の動作を、図31を用いて説明する。図31は、線形エコーキャンセラ3の構成例を表す図である。図31に示す線形エコーキャンセラ3の構成例は、適応フィルタ30と乗算器35とから構成されている。適応フィルタ30は、端子31から入力された遠端信号を入力として、線形フィルタを行った結果を端子32から出力する。ここで適応フィルタ30において線形フィルタ動作を行うためのフィルタ係数は、時々刻々と更新される。その更新は、端子33から受けた減算結果を最小化するように、相関演算を用いて行われる。その結果、端子33に加えられる減算結果においては、遠端信号に相関がある成分が最小化される。すなわち遠端信号のエコーが除去されることになる。
乗算器35は、適応フィルタ30におけるフィルタ係数の更新の量を制御するために、端子33から適応フィルタ30への経路に挿入されている。乗算器35がない場合には、近端音声があるときに、適応フィルタ30におけるフィルタ係数の更新を行うと、フィルタ係数が一時的に乱されてしまい、エコーの除去量が減じられてしまう。乗算器35は、端子33から受けた減算結果に、端子34から受けた音声検出部5からの音声検出結果を乗じた結果を適応フィルタ30へ送る。近端音声があるときには、音声検出結果は0、あるいは極めて小さい値となるため、適応フィルタ30におけるフィルタ係数の更新が抑制され、フィルタ係数が乱されなくなる。その結果、高いエコー除去量が得られる。
このように、線形エコーキャンセラは、適応フィルタを用いて、遠端信号のエコーを除去することができる。適応フィルタにはFIR型、IIR型、ラチス型などさまざまな構成を用いることができる。
収音器と拡声器との間の音響系結合によるエコーを抑圧する第2の技術が特許文献1に記載されている。この第2の技術では、折りたたみ型携帯電話装置のヒンジ部の回転角に基づいてエコーキャンセラのエコーレプリカ信号を修正する。具体的には、ヒンジ部の回転角を検出しその回転角の角度に相当する制御信号を出力する制御信号発生手段と、前記制御信号によりエコーを抑圧するエコー制御手段を有する音声制御手段とを備え、前記エコー制御手段は、変動するエコーパスに追従した擬似エコーを発生するための予め定められた複数のエコーパス追従係数を記憶し前記制御信号をアドレス指定信号として前記エコーパス追従係数を出力する係数選択回路と、前記エコーパス追従係数に基づき前記擬似エコーの修正を行うための擬似エコー修正信号を出力する適応制御回路と、前記擬似エコー修正信号に基づき擬似エコーを発生する擬似エコー発生回路と、音声入力手段から入力されたエコーから前記擬似エコーを減算する減算回路とを有している。
収音器と拡声器との間の音響系結合によるエコーを抑圧する第3の技術が特許文献2に記載されている。この第3の技術では、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1の信号と前記第2の信号とからエコーの漏れこみ具合の推定値を算出し、この算出した推定値に基づいて前記第1の信号を補正する。前記推定値としては、近端音声が検出されない期間における前記第2の信号の振幅またはパワーに応じた量に対する前記第1の信号の振幅またはパワーに応じた量の比を用いる。また、好ましくは、前記第1及び第2の信号の周波数成分毎に、前記第1の信号と前記第2の信号とからエコーの漏れこみ具合の推定値を算出し、この算出した推定値に基づいて前記第1の信号を補正する。
また、特許文献3に示される第4の技術においては、特許文献2におけるエコーの漏れこみ具合の係数として、事前の測定に基づく定数を用いている。
特開平8−9005号公報 特開2004−056453号公報 国際公開WO2007/049643A1 Eberhard Hanslerによる論文「The hands−free telephone problem:an annotated bibliography update」、annals of telecommunications、1994年、p.360−367。
第1および第2の技術においても、エコー経路において歪などの非線形要素が十分小さい場合には、エコーを十分に抑圧することができる。しかし実際の装置では、スピーカにおける歪など、非線形要素は大きい。歪を含んだエコー経路の伝達関数は非線形であり、線形エコーキャンセラでは完全に模擬することはできない。特に携帯電話などで用いられる小型スピーカで大音量の拡声を行う場合には、スピーカの歪が大きいため、エコーは20dB程度しか抑圧されない。この場合、エコーは近端信号として遠端に送られ、遠端の話者にも聞こえるため、発話が困難になる。
これに対して第3の技術によれば、エコー経路における歪が大きい場合でも、エコーが十分抑圧された収音を行うことが可能である。しかし第3の技術における、エコーの漏れこみ具合の推定値を算出する方法は、音声検出結果を用いているため、音声検出結果を誤ると、エコーの漏れこみ具合の推定値は大きな誤差を持ち、それに基づいて第1の信号を補正した結果の信号は劣化する。すなわち、エコーが十分に抑圧されていないか、近端音声に大きな歪が生じる。特に近端騒音が大きい環境は、音声検出結果を誤る確率が高いため、エコーが十分に抑圧されないか、近端音声に大きな歪が生じることになる。
第4の技術によれば、エコーの漏れこみ具合の係数として、事前の測定に基づく定数を用いているため、近端騒音の影響を受けない。しかし、経年変化などでエコーの歪みの状態が変化した場合には、エコーの漏れこみ具合が変化してしまうため、エコーの漏れこみ具合の推定値として定数を用いると、大きな誤差を持つことになり、それに基づいて第1の信号を補正した結果の信号は劣化する。
本発明が解決しようとする課題は、近端騒音がある環境において、エコー経路における歪の状態が変化した場合でエコーを十分抑圧することのできるエコー抑圧方法および装置を提供することにある。
上記課題を解決する本発明は、収音器と拡声器との間の音響系結合によるエコーを抑圧する方法において、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、時間的に変化する、前記第2の信号の前記第1の信号に対する振幅比の最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生し、該発生した漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正することを特徴とする。
上記課題を解決する本発明は、収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、時間的に変化する、前記第2の信号の前記第1の信号に対する振幅比の最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、該係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段とを有することを特徴とする。
以上説明したように本発明によれば、近端騒音がある環境において歪みの状態が変化した場合にもエコーを抑圧することができる。その理由は次の通りである。
エコーキャンセラの出力には、このエコーキャンセラが線形エコーキャンセラであれば遠端信号に含まれる高調波成分がほぼそのまま現れる。また、このエコーキャンセラが非線形エコーキャンセラであっても遠端信号に含まれる高調波成分が少なからず含まれる。他方、収音器の入力信号である近端信号には、近端音声以外に、収音器と拡声器との間の音響系結合による遠端信号のエコーおよび非線形成分により生成された高調波成分が含まれる。これらの高調波成分の比、すなわち非線形成分によるエコーの漏れこみ具合の値は、音声通話などの限定された目的では一定範囲の値となる。一定範囲の値のうち最小値は、近端音声および近端騒音の影響を受けにくい。従って、この最小値または最小値に準ずる値に補正定数をかけた値を漏れこみ係数として使用し、漏れこみ係数と第2の信号とから第1の信号に含まれるエコーの量を推定して第1の信号から減算するか、或いは、漏れこみ係数と第1及び第2の信号とから第1の信号に含まれる近端信号の割合を推定し、この推定した割合を第1の信号に乗じることで、第1の信号からエコーの非線形成分を除去することができる。このように、最小値に準ずる値は、近端騒音の影響が小さいため、近端騒音がある環境で推定を行っても、誤差が少なくなり、その結果、近端信号に含まれる雑音が大きい環境においても、エコー経路における歪が大きいエコーを十分抑圧することができる。
本発明の実施の形態を示すブロック図である。 変換部の構成例を示すブロック図である。 係数発生部の構成例を示すブロック図である。 係数更新記憶部の構成例を示すブロック図である。 最小値追従平滑部の構成例を示すブロック図である。 本発明の効果を説明する模式図である 係数更新記憶部の別の構成例を示すブロック図である。 係数発生部の別の構成例を示すブロック図である。 係数更新記憶部の別の構成例を示すブロック図である。 最小値追従平滑部の別の構成例を示すブロック図である。 折りたたみ型の携帯電話装置におけるマイクロホンとスピーカの配置例を示す外観斜視図である。 線形エコーキャンセラの出力信号の電力と漏れこみ係数との相関を調べた実験結果を示す図である。 本発明の第1の実施例を示すブロック図である。 スペクトルサブトラクション部の構成例を示すブロック図である。 フーリエ係数減算器の第1の構成例を示すブロック図である。 本発明の第2の実施例を示すブロック図である。 本発明の第3の実施例を示すブロック図である。 スペクトルサプレッション部の構成例を示すブロック図である。 フーリエ係数乗算器の第1の構成例を示すブロック図である。 フーリエ係数乗算器内の平滑部の構成例を示すブロック図である。 フーリエ係数乗算器内の平滑部の別の構成例を示すブロック図である。 フーリエ係数乗算器の第2の構成例を示すブロック図である。 フーリエ係数乗算器の第3の構成例を示すブロック図である。 本発明の第4の実施例を示すブロック図である。 本発明の第5の実施例を示すブロック図である。 エコーキャンセラの構成を示すブロック図である。 スペクトルサブトラクション部の構成例を示すブロック図である。 本発明の第6の実施例を示すブロック図である。 本発明の第7の実施例を示すブロック図である。 エコー除去方法を示すブロック図である。 線形エコーキャンセラの構成を示すブロック図である。
符号の説明
1:マイクロホン
2:スピーカ
3:線形エコーキャンセラ
4、94n(n=1〜N)、194m(m=1〜M)、706、744:減算器
5、95n(n=1〜N)、195m(m=1〜M):音声検出部
6、96n(n=1〜N):スペクトルサブトラクション部
7:スペクトルサプレッション部
30:適応フィルタ
38:適応フィルタ群
35、37、60、61、70、71、191,192:フーリエ変換器
36、64、74,199:逆フーリエ変換器
66m(m=1〜M):フーリエ係数減算器
91、92:サブバンド分析フィルタバンク
93n(n=1〜N)、193m(m=1〜M):エコーキャンセラ部
99:サブバンド合成フィルタバンク
100:変換部
160、161:周波数分割部
166m(m=1〜M):補正部
164:周波数合成部
200:係数発生部
201、202、204:係数更新記憶部
203:使用状況検出部
39M、707、737、746:乗算器
76m(m=1〜M):フーリエ係数乗算器
731、734:絶対値計算部
542、745:割算器
740、741、743、747、748、:平滑部
次に本発明の実施の形態について図面を参照して説明する。
図1を参照すると、本発明の実施の形態は、マイクロホン1とスピーカ2との間の音響系結合によるエコーを抑圧するために、エコーの漏れこみ具合を示す係数(以下、漏れこみ係数)を発生する係数発生部200と、マイクロホン1の出力信号またはスピーカ2の出力信号から線形エコーキャンセラ(非線形エコーキャンセラであってもよい)3の出力信号を減算器4で減算した信号の何れか一方を第1の信号、線形エコーキャンセラ3の出力信号を第2の信号として入力すると共に、係数発生部200で発生された漏れこみ係数を入力し、この入力された漏れこみ係数と第2の信号とに基づいて第1の信号を補正することにより、第1の信号からエコーを除去した近端信号を生成して出力端子9に出力する変換部100とを備えている。
ここで、係数発生部200は、変換部100から第1の信号と第2の信号とを入力し、第2の信号の第1の信号に対する振幅比の、時間的に変化する最小値を検出し、検出した最小値を定数倍した値を最新の漏れこみ係数として更新し、発生する。
また好ましくは、係数発生部200は、変換部100から第1の信号の周波数成分と第2の信号の周波数成分を受けて、周波数成分毎の漏れこみ係数を更新・発生し、変換部100は、第1の信号の周波数成分毎に、その周波数成分に対応する漏れこみ係数に基づいて第1の信号を補正する。すなわち、変換部100は、エコーレプリカの振幅と残留エコーの振幅における相関に基づいて、残留エコーを抑圧する。同じ周波数におけるエコーレプリカの振幅と残留エコーの振幅の相関の回帰係数は、エコーレプリカが残留エコーに漏れこんでいる係数、つまり漏れこみ係数と見なすことができる。この漏れこみ係数は、遠端信号が音声信号であるかぎり、男声であっても女声であっても一定範囲内におさまっており、この漏れこみ係数を、周波数成分ごとに係数発生部200において更新・発生する係数で近似する。
さらに好ましくは、係数発生部200は、予め定められた使用状況の変化に応じて、更新・発生する漏れこみ係数を切り替える。
図2を参照すると、変換部100は、入力端子162から加わる第1の信号を周波数別にM分割する周波数分割部160と、入力端子163から加わる第2の信号を周波数別にM分割する周波数分割部161と、周波数毎に設けられたM個の補正部166m(m=1〜M)と、周波数合成部164とを備え、周波数分割部160および周波数分割部161は周波数分割した第1の信号および第2の信号をそれぞれの周波数に対応する補正部166mに送り、各補正部166mは、入力端子167を通じて係数発生部200から供給される漏れこみ係数と第2の信号とに基づいて第1の信号を補正して周波数合成部164に出力し、周波数合成部164は、各補正部166mから出力される信号を周波数合成して出力端子165に出力する。また、周波数分割部160および周波数分割部161で周波数分割された第1の信号および第2の信号をそれぞれ、出力端子168および出力端子169を通じて、係数発生部200へと送る。
ここで、補正部166mは、入力端子167から入力されるエコーの漏れこみ具合を示す漏れこみ係数と第2の信号とから第1の信号に含まれるエコーの量を推定し、この推定したエコーの量を第1の信号から減算することで、第1の信号を補正するものであっても良いし、漏れこみ係数と第1及び第2の信号とから第1の信号に含まれる近端信号の割合を推定し、この推定した割合を第1の信号に乗じることで、第1の信号を補正するものであっても良い。
周波数分割部160、161における周波数分割は、フーリエ変換、コサイン変換、サブバンド分析フィルタバンクなどの任意の線形変換を用いることができ、周波数合成部164における周波数合成は、それらに対応する逆フーリエ変換、逆コサイン変換、サブバンド合成フィルタバンク等の任意の処理とすることができる。
図3を参照すると、係数発生部200は、帯域ごとに係数更新記憶部201を有し、各係数更新記憶部201は、端子168から第1の信号の周波数成分を、端子169から第2の信号の周波数成分をそれぞれ受けて、漏れこみ係数を更新し、更新した漏れこみ係数を発生し、端子167を通じて、変換部100へと送る。
係数更新記憶部201の構成例を図4に示す。係数更新記憶部201においては、入力端子530から入力された第1の信号の周波数成分は、振幅計算部531と平滑部540を通じて、振幅または電力として割算器542に供給される。入力端子533から入力された第2の信号の周波数成分は、振幅計算部534と平滑部541を通じて、振幅または電力として割算器542に供給される。割算器542は、平滑部540からの振幅または電力を、平滑部541からの振幅または電力で割った商を最小値追従平滑部543に送る。最小値追従平滑部543は、割算器542からの商を受けて、非対称な平滑(下がりやすく上がりにくい平滑化)を行い、その結果を乗算器545に送る。乗算器545は、最小値追従平滑部543の出力値と定数記憶部546に記憶されている定数Qとの乗算を行い、その乗算結果を、更新された漏れこみ係数として端子589を通じて端子167へと出力する。
最小値追従平滑部543の構成例を図5に示す。最小値追従平滑部543においては、入力信号(割算器542の出力)は、端子600を通じて減算器601へ送られる。減算器601は、端子600を通じて受けた入力信号と、1サンプル分の遅延器604の出力(平滑部自身の出力)とを受けて、端子600を通じて受けた入力信号から、1サンプル分の遅延器604の出力を減じた信号を出力し、乗算器602へと送る。乗算器602は、減算器601の出力信号と、平滑化係数決定部605が発生する平滑化係数とを受けて、その2つを乗じた結果を加算器603へと送る。加算器603は、乗算器602の出力と、遅延器604の出力とを受けて、その2つを加算した結果を遅延器604へと送る。遅延器604は、加算器603の出力を受けて、1サンプル遅延させて、その遅延結果を減算器601、加算器603、および出力端子606へ送る。
図5に示した最小値追従平滑部543は、いわゆるリーク積分器、または、一次IIR型低域フィルタと呼ばれるものを構成している。平滑化係数決定部605は、減算器601の出力信号が正である場合、すなわち出力が増加するときには、比較的小さな係数、例えば0.001を供給し、減算器601の出力値が負である場合、すなわち入力が出力より小さく、出力が減少していくときには、比較的大きな係数、例えば0.1を供給する。これらの時変の平滑化係数によって、平滑部の出力端子606の値が増加する速度、すなわち、立ち上がりの速度は遅く、減少する速度、すなわち、出力が立ち下がる速度は速くなる。その結果、下がりやすく、上がりにくい非対称な平滑を行う。この非対称な下がりやすく上がり平滑は、最小値追従平滑である。なぜなら、いったん最小値が入力されると、その最小値に近い値がしばらくの間出力されるということであり、長期間の最小値に準じる値を抽出する機能があるということになる。この非対称な平滑によって出力された最小値に準ずる値に、定数Qを乗じものが、エコーの漏れこみ係数として用いられる。
本実施の形態は、エコーの漏れこみ具合を示す係数を、第1の信号の周波数成分と第2の信号の周波数成分の大きさの比の最小値追従平滑化後、定数倍した値を用いる点で、エコーの漏れこみ具合を第1および第2の信号から、近端音声および騒音がない時に算出する第3の技術、およびエコーの漏れこみ係数を定数化した第4の技術と相違する。エコーの漏れこみ具合を示す値は、音声通話を目的とする限り、女声と男声の音声周波数スペクトル分布の相違程度では定数化しても十分なエコー抑圧効果があることが確かめられているが、第3の技術、第4の技術ともに、エコーの漏れこみ係数は、静かな環境、あるいは、近端音声が無い期間の信号から計算する。これらに対し、本実施の形態では、エコーの漏れこみ具合を示す係数を、第1の信号の周波数成分と第2の信号の周波数成分の大きさの比の最小値追従平滑化後、定数倍した値を用いている。その効果について説明する。
第1の信号の周波数成分の大きさをS、第2の信号の周波数成分の大きさをRとすると、SとRの比の最小値追従平滑化した値Pminを定数Q倍した値P5を、エコーの漏れこみ係数として用いる。最小値追従平滑化では、入力信号の平均より小さく、入力信号の最小値と同じか大きい値を出力する。今、説明を簡単にするために、最小値追従平滑化が最小値を出力する場合を考える。Sのうちエコー成分をE、近端音声および近端騒音の成分をNとすると、Pminは以下のようにあらわせる。ここでmin[]は一定時間内の最小値、Av[]は一定時間の平均値をそれぞれ表す。
P5=Pmin × Q
Pmin=min[Av[S]/Av[R]]
=min[Av[E+N]/Av[R]]
≒min[Av[E]/Av[R]] …(式1)
ここで、Pminが、Nの影響をほとんど受けない理由は、近端音声および近端騒音の成分であるNは長時間持続する成分ではなく短時間であらわれる成分であるため、最小値追従平滑化の出力にあらわれることが殆ど無くなるためである。これは重要な性質である。
他方、所望のエコー漏れこみ係数を示す係数P0とPminにおいて以下の関係が成立する。
P0=Av[E]/Av[R]
>min[Av[E]/Av[R]]
≒Pmin
…(式2)
ここで[Av[E]/Av[R]]は、所望のエコーの漏れこみ具合を示す係数に他ならない。ただし、最小値min[Av[E]/Av[R]]そのままでは、所望のエコー漏れこみ係数[Av[E]/Av[R]]よりも小さめの値となる。定数Q倍することにより、補正されたP5は、より適切なエコー漏れこみ係数としてP0の代わりに使うことができる。
P1≒P5=Pmin×Q …(式3)
以上のように、Pminは、近端騒音や近端音声Nに影響されにくく、且つ、エコーの漏れこみ具合を示す係数に比例する傾向のある値である。P1の代わりにPminを定数Q倍した値を用いると、近端騒音や近端音声Nに影響されにくく、且つ、エコーの漏れこみ具合を示す係数を更新することが可能であることが分かる。したがって、本実施の形態によれば、近端騒音がある環境でエコーの歪みの状態が変化した場合でも、エコーの漏れこみ具合を示す係数を推定することが可能となり、しかも十分に所望のエコーの漏れこみ具合を示す係数に近く、エコーを十分抑圧することができる。この効果は第3の技術および第4の技術では不可能であったことである。
図6は、以上の効果を説明する模式図である。図6において、商は、ある周波数における[Av[E]/Av[R]]であり、図はその時間変化を示している。所望の漏れこみ係数がP0に対応する。商を最小値追従平滑化した値がPminに対応する。商の平均値は、第3の法において用いる[Av[E]/Av[R]]の平均値に対応する。
図6においては、近端音声Nが出現したり消失したりし、且つ、近端音声がある区間Dにおいて、歪の状況が変化した場合を示している。区間Dにおいて、所望の漏れこみ係数が増加している。
第3の技術においては、近端音声Nが存在しない場合の、商の平均値を漏れこみ係数として用いている。図に示されるように、近端音声なしの区間A、区間C、区間Eにおいて、商の平均値は、所望の漏れこみ係数に近く、近似値として使用できることが分かる。しかし近端音声ありの区間B、区間Dにおいては、大きすぎる値となるため、漏れこみ係数として用いることはできない。区間Dにおいて歪の状況が変化した場合、第3の技術では、近端音声ありの区間では、漏れこみ係数が更新されないため、区間Dの後半では、小さすぎる値が、漏れこみ係数として用いられることになり、その結果、エコーが除去されないことになる。近端騒音が大きく、近端音声が常にあることと等価であるような環境では、歪の状況が変化しても、漏れこみ係数を更新することができず、エコーを適切に除去できないことになる。すなわちエコーが残留するか、あるいは、近端音声に劣化を引き起こす。
これに対し、本発明では、Pminを定数Q倍した値を漏れこみ係数として用いている。図から分るように、Pminは、近端音声の有無に比較的鈍感であり、近端音声がある区間Dにおいても、所望の漏れこみ係数P0の変化にほぼ比例した変化をする。このPminを定数Q倍により補正すれば、所望のP0の近似値として用いることができ、且つ、区間Dのように歪の状況が変化した場合も、適切にエコーが除去できることになる。
第4の技術においては、固定のあらかじめ定められた値を漏れこみ係数として用いている。さらに、歪の状況、すなわち漏れこみ係数を変化させる「使用状況」を検出し、漏れこみ係数を選択して用いることにより、歪の状況が変化した場合にもエコーを除去している。しかし経年変化により歪の状況が変化した場合には、選択された漏れこみ係数が不適切であるため、エコーを適切に除去できない。すなわちエコーが残留するか、あるいは、近端音声に劣化を引き起こす。これに対し、本発明では、歪の状況が経年変化を起こした場合でも、適切に追従した漏れこみ係数となるため、エコーを適切に除去できることになる。
Pminを定数倍するための定数Qは、例えば、実験やシミュレーションによってP1(P0)およびPminを測定し、その比の平均値を使えば良い。また、定数Qはすべての周波数において同じ値を用いても良いし、周波数ごとに別の値を用いても良い。
図7は、係数更新記憶部201の別の構成例を示す図である。図4に示す係数更新記憶部201の構成との差異は、割算器542と最小値追従平滑部543との間に、平滑部544が挿入されていることである。この平滑部544の平滑化定数は対称であっても、立ち上がりと立ち下がりで異なる非対称であってもよい。平滑部544の平滑化定数で決まる時定数は、立ち上がりおよび立ち下がりとも、最小値追従平滑部543の時定数よりも短くなっている。その理由は、追従速度は、平滑部544と最小値追従平滑部543の長い方の時定数が支配するため、平滑部544を挿入することによる追従性への影響を除くためである。
平滑部544を挿入した効果について詳細に説明する。前述した図6は本発明の効果を理解しやすくするために模式化したものであり、実際には、ごく稀に、最小値が非常に小さくなる場合がある。その場合、図4に示す係数更新記憶部201の構成例では、最小値追従平滑部543が出力する係数が小さくなり過ぎ、定数Q倍されて算出されるエコー漏れこみ係数は、所望の漏れこみ係数とは幾分異なる値となる。しかし、図7に示す構成例においては、平滑部544が挿入されているので、最小値追従平滑部543への入力信号が少し滑らかとなり、最小値が少し大きくなり、変動が小さくなる。その結果、最小値追従平滑部543が出力する係数の変動が小さくなり、それに基づいて算出されるエコー漏れこみ係数が安定する好ましい効果が得られる。
次に、予め定められた使用状況の変化に応じて、更新・発生する漏れこみ係数を切り替える構成例について詳細に説明する。
一般に線形エコーキャンセラ3で十分に消すことのできないエコーの歪は、スピーカ2自体から発生する歪音によるものと、マイクロホン1およびスピーカ2が実装されている筐体の振動によって発生する歪音とに大別されるが、それらの歪音は、エコー抑圧対象となる装置の使用状況の変化によって変化する場合がある。従って、係数発生部200で更新・発生する漏れこみ係数は、使用状況に応じて切り替えることが望ましい。
使用状況に応じて更新・発生する漏れこみ係数を切り替えることができる係数発生部200の構成例を図8に示す。図8に示す係数発生部200は、それぞれ使用状況毎の係数更新記憶部204を有する、帯域1から帯域Mまでの帯域毎の係数更新記憶部202と、装置の使用状況を検出し、各帯域における使用状況毎の係数更新記憶部204のうち、検出した使用状況に対応する係数更新記憶部204を選択する使用状況検出部203とで構成され、選択された係数更新記憶部204において端子168および端子169から入力される第1および第2の信号に基づく漏れこみ係数の更新を行って漏れこみ係数を端子167に出力し、選択されていない残りの係数更新記憶部204は直前に更新した漏れこみ係数の値を保持するように構成されている。
係数更新記憶部202の構成例を図9に示す。図4に示した係数更新記憶部201との違いは、最小値追従平滑部549と乗算器545の組が使用状況の数分、設けられていること、複数の乗算器545のうち、端子548を通じて使用状況検出部203から与えられる使用状況に対応する乗算器545の出力を選択して端子589へ送る選択部547が設けられていることである。
最小値追従平滑部549の構成例を図10に示す。図5に示した最小値追従平滑部543との違いは、この最小値追従平滑部549に対応する使用状況が検出されている場合には値1、そうでない場合には値0となる使用状況値を使用状況検出部203から入力する端子608と、減算器601と乗算器602との間に設けられ、減算器601の出力と端子608から入力された使用状況値とを乗算し、その乗算結果を乗算器602へ出力する乗算器607とを有することである。若し、使用状況検出部203において、この最小値追従平滑部549に対応する使用状況が検出されている場合、端子608から入力される使用状況値は値1になるので、この最小値追従平滑部549は図5に示した最小値追従平滑部543と基本的に同じ動作を行う。これに対して、この最小値追従平滑部549に対応する使用状況が使用状況検出部203において検出されていない場合、端子608から入力される使用状況値は値0になり、加算器603の出力値は遅延器604の出力値と同じになるため、更新前の値を保持し続けることになる。この場合、加算器603と遅延器604とのループ構造が記憶手段を構成することになる。
次に使用状況検出部203で検出する使用状況について携帯電話装置を例にして詳述する。
スピーカ2自体から発生する歪音の原因は、スピーカ特性の非線形性にある。従って、図11に示されるように、複数のスピーカ301〜303を適宜切り替えて使用する携帯電話装置300において、個々のスピーカの特性が相違する場合、どのスピーカを用いているかによってエコーの歪が相違する。この場合、どのスピーカを用いているかを使用状況として検出し、使用しているスピーカに応じた漏れこみ係数を切り替えれば良い。
また、搭載されているスピーカ2が1つの場合でも、マイクロホン1との位置関係が相違すると、スピーカ2で発生した歪音がマイクロホン1に到達する程度が変わるためにエコーの歪が変化する。従って、スピーカ2とマイクロホン1との相対位置を使用状況として検出し、相対位置に応じて漏れこみ係数を切り替えれば良い。具体的には、スピーカ2とマイクロホン1との相対位置は、図11に示されるような折りたたみ型の携帯電話装置300では、ヒンジ部321の回転角度で或る程度決まるので、ヒンジ部321の回転角度を使用状況として検出し、回転角度に応じた漏れこみ係数に切り替えれば良い。また、図11に示されるように複数のマイクロホン311、312を適宜切り替えて使用する携帯電話装置の場合、使用しているマイクロホンによってスピーカ2との相対位置が変わるので、どのマイクロホンを用いているかを使用状況として検出し、使用しているマイクロホンに応じた漏れこみ係数に切り替えるようにしても良い。
他方、筐体の振動に起因する歪音は、主に部品どうしの接点で生じる。スピーカ2から出た音で筐体が振動し、部品どうしの接点から歪んだ音が発生し、これがエコーの歪としてマイクロホン1に入力される。
スピーカ2の音量が変化すると、筐体に伝わる音響的なエネルギーが変化し、筐体の振動の程度が変化し、部品どうしの接点で生じる歪音が変化する。従って、スピーカ2の音量設定を使用状況として検出し、音量設定に応じて漏れこみ係数を切り替える構成も考えられる。
また、図11に示されるような折りたたみ型の携帯電話装置300の場合、完全に折り畳まれているか否かによって、上部と下部との接触状態が変わるため、筐体の振動の程度が変化し、部品どうしの接点で生じる歪音が変化する。従って、完全に折り畳まれているか否かを使用状況として検出し、検出結果に応じて漏れこみ係数を切り替えると良い。また、折りたたみ型の携帯電話装置300の場合、スピーカと筐体の他の箇所との相対位置が変化すると、筐体の他の箇所に伝わる音響的なエネルギーが変化し、部品どうしの接点で生じる歪音が変化する。スピーカと筐体の他の箇所との相対位置は、携帯電話装置300では、ヒンジ部321の回転角度で或る程度決まるので、ヒンジ部321の回転角度を使用状況として検出し、回転角度に応じて漏れこみ係数を切り替えれば良い。なお、スライド型の携帯電話装置では、スライドしているか否か、およびスライド量が、折りたたみ型の携帯電話装置における完全に折り畳まれているか否か、ヒンジ部の角度に代わる使用状況として用いることができる。勿論、スライド機構と折りたたみ機構の両方を有する携帯電話装置の場合には、それら双方を使用状況として用いることができる。スライド型でも折りたたみ型でもない場合、筐体内で部品どうしの接点に変化があるか、エコーの音量に変化があるかに影響がある使用状況を検出し、その検出結果に応じて漏れこみ係数を切り替えれば良い。
さらに、本発明者による実験の結果、線形エコーキャンセラ3の出力信号の電力あるいは振幅が大きくなると、エコー経路の非線形性が増加することが確認された。すなわち、近端信号が全くない状況で、歪のあるエコーを発生させて、エコーを十分に抑圧するために必要な漏れこみ係数と線形エコーキャンセラ3の出力信号の電力との関係を、1875Hzを中心とする周波数帯域で調べたところ、図12に示すような結果が得られた。図12において、横軸は線形エコーキャンセラ3の出力信号の電力、縦軸はエコーを十分に抑圧するために必要な漏れこみ係数である。プロット点の分布からわかるように、線形エコーキャンセラ3の出力信号の電力の値が2000000となる箇所を境に、漏れこみ係数が急変している。これは、線形エコーキャンセラ3の出力信号の電力が大きいとき、線形エコーキャンセラ3の入力信号、すなわちスピーカ2に加わる遠端信号の電力も大きいため、スピーカ特性の非線形性によりエコーの歪が急増すると考えられる。従って、線形エコーキャンセラ3の出力信号の電力あるいは振幅を使用状況として検出し、その検出結果に応じて漏れこみ係数を切り替えて、別途更新・発生して用いれば良い。なお、線形エコーキャンセラ3の出力信号の電力または振幅の代わりに、遠端信号の電力または振幅、遠端信号の特定の周波数成分の電力または振幅を用いることもできる。
線形エコーキャンセラ3の出力信号の電力あるいは振幅などを使用状況とする方法は、スピーカ2の音量設定を使用状況とする方法と類似するが、後者の方法では遠端信号が無くエコーの抑圧が必要でない場合でも音量設定大であればエコーを十分に抑圧するための係数を選択するミスをおかす可能性があるのに対し、前者の方法にはそのような恐れがない点で優れている。
以上説明した使用状況はすべて用いる必要はなく、その内の主要なものを1つ或いは複数検出して用いるようにしても良い。また、該当する使用状況を直接検出する以外に、間接的な方法で検出することも可能である。例えば、複数のカメラを装備した携帯電話装置において、テレビ電話を行う場合、使用するカメラによって、使用するマイクロホンとスピーカが自動的に切り替わるようになっていれば、用いられているマイクロホンやスピーカを直接検出する代わりに、用いられているカメラの情報を検出するようにしても良い。
また、使用状況のうち、ヒンジ角度、スピーカ音量、使用スピーカなど、エコー抑圧装置の外部で検出可能なものは外部で検出して係数発生部200に入力し、遠端信号の電力または振幅、線形エコーキャンセラ3の出力信号の電力または振幅、遠端信号の特定の周波数成分の電力または振幅など、近端信号に含まれる雑音による影響が少ない使用状況情報は、係数発生部200内で検出することも可能である。
このように本実施の形態によれば、エコーの漏れこみ具合を示す係数を、第1の信号と第2の信号の大きさの比から最小値追従平滑化で得ることにより、第4の技術と比較して、近端音声および近端騒音がある環境においてエコーの歪みの性質が変化した場合でも、エコーを抑圧することが可能となる。
次に本発明の実施例について図面を参照して説明する。先ず、図1の変換部100としてスペクトルサブトラクション部を用いた実施例について説明する。
『第1の実施例』
図13は本発明の第1の実施例のブロック図である。図30に示されている技術との差異は、係数発生部200が設けられていること、図30における減算器4と近端信号の出力端子9との間にスペクトルサブトラクション部6が挿入されていること、および、そのスペクトルサブトラクション部6は、線形エコーキャンセラ3の出力信号を受け、且つ、係数発生部200の出力する漏れこみ係数を受けていることである。
係数発生部200は、エコーの漏れこみ具合を示す係数を発生する。スペクトルサブトラクション部6は、減算器4の出力信号と線形エコーキャンセラ3の出力信号とをそれぞれ周波数領域に展開し、周波数毎に、エコーを除去する。以下、係数発生部200、スペクトルサブトラクション部6の順に、その構成例と動作を説明する。
<係数発生部200>
係数発生部200は、例えば図3に示したように、帯域毎の係数更新記憶部201で構成することができる。この場合、端子168および端子169から入力される第1および第2の周波数成分はスペクトルサブトラクション部6から与えられ、帯域毎の漏れこみ係数は端子167を通じてスペクトルサブトラクション部6へ与えられる。
また係数発生部200は、例えば図8に示したように、それぞれが使用状況毎の係数更新記憶部204を有する帯域毎の係数更新記憶部202と、使用状況検出部203とで構成することができる。この場合、端子168および端子169から入力される第1および第2の周波数成分はスペクトルサブトラクション部6から与えられ、帯域毎の漏れこみ係数は端子167を通じてスペクトルサブトラクション部6へ与えられる。使用状況としては、以下のようなものが利用できる。
使用状況の一つの例は、スピーカ2の音量である。この場合、使用状況検出部203は、例えば、スピーカ2の音量を検出するセンサと、検出された音量を閾値判定して2値以上のデジタル値に変換する弁別部とを有する。
使用状況の他の例は、折りたたみ型携帯電話装置におけるヒンジ部の回転角度である。この場合、使用状況検出部203は、ヒンジ部の回転角度を検出するセンサと、検出された回転角度を閾値判定して2値以上のデジタル値に変換する弁別部とを有する。
使用状況の他の例は、複数のスピーカを装備した携帯電話装置におけるスピーカの選択状態である。この場合、使用状況検出部203は、どのスピーカが用いられているかを判定し、判定結果を2値以上のデジタル値で出力する判定部を有する。
使用状況の他の例は、複数のマイクロホンを装備した携帯電話装置におけるマイクロホンの選択状態である。この場合、使用状況検出部203は、どのマイクロホンが用いられているかを判定し、判定結果を2値以上のデジタル値で出力する判定部を有する。
使用状況の他の例は、線形エコーキャンセラ3の出力信号の電力または振幅である。この場合、使用状況検出部203は、線形エコーキャンセラ3の出力信号の電力または振幅を検出する検出部と、検出された電力または振幅を閾値判定して2値以上のデジタル値に変換する弁別部とを有する。例えば図12の場合、線形エコーキャンセラ3の出力信号の電力が2000000を境に漏れこみ係数が1から20に急変しているので、閾値を2000000に設定し、2000000以下であればデジタル値0、2000000を超えていればデジタル値1を出力するようなものであれば良い。
その他、使用状況には、エコーの漏れこみ具合に影響を与える任意のものを使用することができる。また、複数の使用状況を組み合わせて用いることも可能である。
<スペクトルサブトラクション部6>
図14はスペクトルサブトラクション部6の構成例を示すブロック図である。入力端子62から、図13における減算器4の出力信号が入力される。フーリエ変換器60は、入力端子62から入力された信号を受け、そのM点フーリエ変換を計算し、計算された結果(振幅と位相)を第1のフーリエ係数として、それぞれの周波数に対応するフーリエ係数減算器66m(m=1〜M)に送ると同時、端子168を通じて係数発生部200に送る。一方、入力端子63から、図13における線形エコーキャンセラ3の出力信号、すなわちエコーレプリカ信号が入力される。フーリエ変換器61は、入力端子63から入力された信号を受け、そのM点フーリエ変換を計算し、計算された結果(振幅と位相)を第2のフーリエ係数として、それぞれの周波数に対応するフーリエ係数減算器66mに送ると同時に、端子169を通じて係数発生部200に送る。
フーリエ係数減算器66mでは、フーリエ変換器60が出力した第1のフーリエ係数と、フーリエ変換器61が出力した第2のフーリエ係数と、図13における係数発生部200が出力した漏れこみ係数(端子67)とを受け、振幅部分に対して減算処理を施してエコー成分が除去されたフーリエ係数を計算し、計算結果(振幅と位相)を逆フーリエ変換器64へ送る。逆フーリエ変換器64は、フーリエ係数減算器661〜66Mが出力したフーリエ係数群を受け、その逆フーリエ変換を計算し、計算結果の実数部を出力端子65から出力する。
次に、フーリエ係数減算器66m(m=1〜M)のそれぞれの構成例と動作を、図15を用いて説明する。図15はフーリエ係数減算器66m(m=1〜M)の第1の構成例を示すブロック図である。図14におけるフーリエ変換器60が出力した周波数毎の第1のフーリエ係数は、端子700を通じて、減算器706へ送られる。図14におけるフーリエ変換器61が出力した第2のフーリエ係数は、端子703を通じて、乗算器707に送られる。図14における端子67から入力された漏れこみ係数は、端子167を通じて、乗算器707に送られる。
乗算器707は、端子167から入力された漏れこみ係数と、端子703を通じてフーリエ変換器61から受けた第2のフーリエ係数を乗じて、結果を減算器706に送る。減算器706は、端子700を通じてフーリエ変換器60から受けた第1のフーリエ係数から、乗算器707の出力する値を減じて、計算結果を端子799から出力する。端子799を通じて出力された計算結果は、図14における逆フーリエ変換器64へと送られる。
ここで、端子167から入力された漏れこみ係数を、乗算器707において、線形エコーキャンセラ出力信号のフーリエ係数に乗じることにより、エコーレプリカ信号に残留するエコー信号のフーリエ係数の推定値が得られる。このエコー信号のフーリエ係数の推定値を減算器706において、近端信号のフーリエ係数から減じることにより、エコー成分を抑圧した近端信号のフーリエ係数の推定値が得られる。その推定値は、図14の逆フーリエ変換器64へと送られ、近端信号へと合成され、出力端子65から出力される。結果として、この合成された近端信号においては、エコーは抑圧される。
以上のフーリエ係数減算器66mの動作を式を用いて説明する。近端信号のフーリエ係数をS、そのうち近端音声の成分をA、エコー成分をE、雑音成分をNとする。ここには、
S=A+E+N …(式4)
の関係がある。また遠端信号のフーリエ係数をRとする。さらに端子167から入力される漏れこみ係数の値をP1とする。この値P1は、遠端信号Rのどの程度の割合がエコーとして漏れこむかを近似しており、エコー経路におけるエコーのゲインである。因みに、第3の技術では、値P1は次式で算出される。
P1=Av[S/R]=Av[(E+N)/R] …(式5)
ここでAv[・]は平滑化をあらわす。
従って、このP1にRをかけた結果P2(乗算器707の出力に相当する)は、エコー成分の推定値になる。
P2=P1×R
=Ex[E] …(式6)
ここでEx[・]は、推定値をあらわす。
このP2をSから引いた結果P3(減算器706の出力に相当する)は、
P3=S−P2
=S−P1×R
=A+E+N−Ex[E]
=Ex[A+N] …(式7)
となる。このP3においては、エコー成分Eが除去された、近端音声のフーリエ係数成分Aと雑音成分Nの和の推定値が得られる。
図13に戻り、エコー経路におけるスピーカなどに歪がある場合に、本発明の実施例がどのように動作するかを説明する。歪がある場合、本発明の実施例では、スペクトルサブトラクション部6の周波数領域の非線形演算によって、エコーにおける歪による成分を除去している。周波数領域の非線形演算において重要な信号成分の時間的変化を線形エコーキャンセラ3が調整することによって、エコーにおける歪による成分を効果的に除去する。マイクロホン1の出力信号には、遠端信号そのものに加えて、遠端信号の歪のエコーが含まれる。この歪のエコーは、遠端信号のエコーの周波数成分の高調波として考えることができる。説明を簡単にするために、エコー成分Eが歪による高調波である場合を考える。式6から分かるように、スペクトルサブトラクション部6では、遠端信号のフーリエ係数成分Rがゼロでない限り、エコー成分Eを除去することが原理的には可能である。ここでエコー成分Eを除去するために重要なのは、エコー経路におけるエコーの漏れこみ係数P1の精度である。
第3の技術においては、P1を、音声検出結果に基づいて、近端音声がない区間に推定しているが、近端騒音が大きい環境では、P1が大きな値となり、誤ったP1に基づいて計算されたP3は劣化する。すなわち近端音声に大きな歪が生じることになる。この問題を避けるため、第4の技術においては、P1として固定された値を用いているが、経年変化などによりエコーの漏れこみ具合が変動した際に、P1は大きな誤差を持つため、それに基づくP3は劣化する。
一方、本実施例では、P1として、前記係数を、前記第1の信号の絶対値で前記第2の信号の絶対値を割った商を最小値追従平滑化により得た値を定数倍して用いている。このP1は、先に説明したように、近端騒音Nの影響を受けにくく、且つエコーの漏れこみ係数の正確な値に十分近い。本発明者が携帯電話をハンズフリー電話器として行った実験によると、P1は経年変化や使用状況の変化に追従し、エコーの抑圧度および近端音声の歪感ともに、良い結果が得られた。
また、本発明の第1の実施例には、図13の線形エコーキャンセラ3においてエコー経路の推定を誤った場合に、残留したエコーを除去する効果もある。上述した説明では、説明の簡単のため、エコー成分Eが歪による高調波である場合を考えたが、歪によらない遠端信号のエコー成分、すなわち高調波でないエコー成分が存在する場合についても議論は同様であり、高調波でないエコー成分を抑圧することが可能である。例えばエコー経路の推定を誤り、図13における減算器4において、エコーを除去せずに、逆に付加してしまう場合があり得る。しかし、その場合にも、スペクトルサブトラクション部6において遠端信号の成分が除去されるため、エコーを抑圧することができる。
また、2入力スペクトルサブトラクション部6のこの効果を用いると、線形エコーキャンセラ3のタップ数を削減することによる演算量削減も可能である。図30に示すように線形エコーキャンセラ3を用いた場合には、タップ数を削減することにより、エコー除去量が低下してくる。しかし図13に示す本発明の第1の実施例では、タップ数を削減してもエコー除去量の減少が少なく、実用的なエコー除去量が得られる。
以上説明してきたように、本発明の第1の実施例においては、線形エコーキャンセラ3と、スペクトルサブトラクション部6の周波数領域の非線形演算を組み合わせることによって、互いに不得手な点を補い合い、高性能を得ている。すなわち、スペクトルサブトラクション部6があることによって、エコー経路に歪がある場合や線形エコーキャンセラ3がエコー経路推定を誤った場合など、線形エコーキャンセラ3だけではエコーが十分に抑圧できない場合でも、エコーを大きく抑圧することができる。また、線形エコーキャンセラの出力を用いることによって、スペクトルサブトラクション部6の周波数領域の演算では対応できない時間的なずれを気にせず、振幅の簡単な推定で、歪によって生じる高調波を抑圧することができる。
さらにスペクトルサブトラクション部6におけるP1として、前記あらかじめ定められた値の係数を、前記第1の信号の絶対値で前記第2の信号の絶対値を割った商の最小値追従平滑化により得た値を定数倍して用いることにより、近端騒音が大きい環境でエコーの歪みの状態が変化した場合でも、エコーを十分に抑圧し、劣化の少ない近端音声を得ることができる。
『第2の実施例』
図16は本発明の第2の実施例のブロック図である。図13に示す第1の実施例との差異は、スペクトルサブトラクション部6に入力される信号として、第1の実施例では減算器4の出力を用いているのに対し、第2の実施例ではマイクロホン1の出力信号を用いていることである。減算器4の出力では、線形エコーキャンセラ3により、エコーの主要成分が除去されているのに対し、マイクロホン1の出力信号ではエコーは除去されていない。この差異は、エコーの主要成分の除去を、線形エコーキャンセラ3と減算器4とで行うか、スペクトルサブトラクション部6で行うかの差であり、歪に対する効果については、第1の実施例と全く同一である。従って、第2の実施例においても、音響系に歪がある場合や線形エコーキャンセラ3がエコー経路推定を誤った場合など、線形エコーキャンセラ3だけではエコーが十分に抑圧できない場合でも、エコーを大きく抑圧することができる。
さらにスペクトルサブトラクション部6で使用する漏れこみ係数P1として、使用状況に応じて更新・発生された値を用いることにより、近端騒音が大きい環境でエコーの歪みの状況が変化した場合でも、エコーを十分に抑圧し、少ない歪の近端音声を得ることができる。
なお、第1および第2の実施例におけるスペクトルサブトラクション部6の構成としては、これまで説明してきた構成例以外に、Xiaojian Lu、Benoit Champagneによる論文「Acoustical Echo Cancellation Over A Non−Linear Channel」(出典:インターナショナルワークショップ・オン・アコースティック・エコー・アンド・ノイズコントロール2001(International Workshop on Acoustic Echo and Noise Control 2001))(以下非特許文献2)におけるスペクトラルサブトラクション(Spectral Subtraction)の構成や、A.Alvarez等による「A Speech Enhancement System Based On Negative Beamforming And Spectral Subtraction」(出典:インターナショナルワークショップ・オン・アコースティック・エコー・アンド・ノイズコントロール2001(International Workshop on Acoustic Echo and Noise Control 2001))(以下非特許文献3)におけるスペクトラルサブトラクション(Spectral Subtraction)の構成を用いることも可能である。
また、第1および第2の実施例におけるエコーキャンセラ部3の構成としては、これまで説明した線形エコーキャンセラ以外に、C. Faller (出展:IEEE Transactions on Speech and Audio Processing, 2005)(以下非特許文献4)におけるエコーキャンセラの構成を用いることも可能である。この場合は、非特許文献4におけるOversubtraction Factorと呼ばれる値として、本発明におけるエコー漏れこみ係数P1に1を加算した値を用いたことに相当する。すなわち本発明は、Oversubtraction Factorとして、周波数ごとに適切な個別の値を設定する方法を提案していることにもなる。
また、エコーキャンセラ部3の構成として、適応ボルテラフィルタを用いた構成や、ニューラルネットワークを用いた構成を用いることができる。
『第3の実施例』
次に、図1の変換部100としてスペクトルサプレッション部を用いた実施例について説明する。
図17は本発明の第3の実施例のブロック図である。図13における第1の実施例との差異は、スペクトルサブトラクション部6が、スペクトルサプレッション部7によって置換されていることである。スペクトルサプレッション部7について図を用いて説明する。
図18は、スペクトルサプレッション部7の構成を示すブロック図である。入力端子72から、図17における減算器4の出力信号が入力される。フーリエ変換器70は、入力端子72から入力された信号を受け、そのM点フーリエ変換を計算し、計算された結果(振幅と位相)を第1のフーリエ係数として、それぞれの周波数に対応するフーリエ係数乗算器76m(m=1〜M)に送ると同時に、端子168を通じて係数発生部200に送る。一方、入力端子73から、図17における線形エコーキャンセラ3の出力信号が入力される。フーリエ変換器71は、入力端子73から入力された線形エコーキャンセラ出力信号を受け、そのM点フーリエ変換を計算し、計算された結果(振幅と位相)を第2のフーリエ係数として、それぞれの周波数に対応するフーリエ係数乗算器76mに送ると同時に、端子169を通じて係数発生部200へ送る。フーリエ係数乗算器76mでは、フーリエ変換器70が出力した第1のフーリエ係数と、フーリエ変換器71が出力した第2のフーリエ係数と、端子77から図17における係数発生部200が出力した漏れこみ係数とを受け、振幅部分に対して乗算処理を施してエコー成分を減少させたフーリエ係数を計算し、計算結果(振幅と位相)を逆フーリエ変換器74へ送る。逆フーリエ変換器74は、フーリエ係数乗算器76m(m=1〜M)が出力したフーリエ係数群を受け、その逆フーリエ変換を計算し、計算結果の実数部を出力端子75から出力する。フーリエ係数乗算器76m(m=1〜M)によって、出力端子75においては、エコー成分が減少した信号が得られる。
次に、フーリエ係数乗算器76m(m=1〜M)のそれぞれの構成例と動作を、図19を用いて説明する。図19は、フーリエ係数乗算器76m(m=1〜M)の第1の構成例を示す図である。図18におけるフーリエ変換器70が出力した周波数毎の第1のフーリエ係数は、端子730を通じて、絶対値計算部731および乗算器737へ送られる。図18におけるフーリエ変換器71が出力した第2のフーリエ係数は、端子733を通じて、絶対値計算部734に送られる。絶対値計算部731は、第1のフーリエ係数を受けて、その絶対値を計算し、割算器745に送る。絶対値計算部734は、第2のフーリエ係数を受けて、その絶対値を計算し、計算結果を割算器745に送る。
割算器745は、絶対値計算部731の計算結果と、絶対値計算部734の計算結果とを受けて、絶対値計算部734の計算結果を絶対値計算部731の計算結果で割った値を計算し、計算結果を乗算器746へと送る。
乗算器746は、端子167から入力された漏れこみ係数と割算器745の出力とを受けて、それらを乗じた値を計算し、計算結果を平滑部747へと送る。平滑部747は、乗算器746の出力を受けて、その出力を平滑化して減算器744へと送る。減算器744は、平滑部747の計算結果を1.0から減じて、乗算器737へと送る。乗算器737は、減算器744が出力する値と、端子730を通じてフーリエ変換器70から受けた第1のフーリエ係数の値とを乗じて、計算結果を端子789から出力する。端子789を通じて出力された計算結果は、図18における逆フーリエ変換器74へと送られる。
平滑部747の構成例を図20に示す。入力信号(乗算器746の出力)は、端子800を通じて減算器801へ送られる。減算器801は、端子800を通じて受けた入力信号と、1サンプル分の遅延器804の出力(平滑部自身の出力)とを受けて、端子800を通じて受けた入力信号から、1サンプル分の遅延器804の出力を減じた信号を出力し、乗算器802へと送る。乗算器802は、減算器801の出力信号と、端子805を通じて与えられる平滑化係数とを受けて、その2つを乗じた結果を加算器803へと送る。加算器803は、乗算器802の出力と、遅延器804の出力とを受けて、その2つを加算した結果をリミッタ807へと送る。リミッタ807は、加算器803の出力を受けて、その値がある範囲を超えないように、上限と下限を制限し、制限された結果を、出力端子899および遅延器804へ送る。遅延器804は、リミッタ807の出力を受けて、1サンプル遅延させて、その遅延結果を減算器801および加算器803へ送る。この例の平滑部747は、いわゆるリーク積分器、または、一次IIR型低域フィルタとよばれるものを構成している。なお、平滑化係数と平滑化の時定数とは反比例の関係になる。この他、高次IIR型フィルタなど、平滑の効果がある任意の構成をとることができる。
平滑部747の別の構成例を図21に示す。図20に示した平滑部との差異は、乗算器802に供給される平滑化係数が、減算器801の出力信号を入力とする平滑化係数決定部810から供給されていることである。これにより、図21に示す構成例では、平滑化の時定数を、立ち上がりと立ち下がりで非対称にすることができる。平滑化係数決定部810は、減算器801の出力信号が正である場合、すなわち出力が増加するときには、比較的大きな係数、例えば0.01を供給し、減算器801の出力値が負である場合、すなわち入力が出力より小さく、出力が減少していくときには、比較的小さな係数、例えば0.001を供給する。これらの時変の平滑化係数によって、平滑部の出力端子899の値が増加する速度、すなわち、立ち上がりの速度は速く、減少する速度、すなわち、出力が立ち下がる速度は遅くなる。その結果、図19における減算器744が出力する値、すなわち近端信号における近端音声および近端騒音の割合の推定値において、立ち上がりの速度は速く、減少する速度、すなわち、出力が立ち下がる速度は遅くなる。実際の音声や音楽の振幅変化、すなわち包絡線は、立ち上がりが速く、立下りが遅い場合が多い。図21に示す平滑部の構成例では、このような包絡線を生成することが可能であり、図19における近端信号における近端音声および近端騒音の割合の推定値の推定精度を改善することができる。
ここで図19の減算器744が出力する値について式を用いて説明する。フーリエ係数減算器の説明で用いた式7の第2行目の全体をSで割って平滑した結果P4は、式8のようにあらわされる。この式8の右辺は図19において、減算器744が出力する値に他ならない。
P4=Av[P3/S]
=Av[1−{(R/S)×Av[(E+N)/R]}]
=1−Av[{(R/S)×Av[(E+N)/R]}]
…(式8)
また、P4は、式4の3行目の全体をSで割って平滑した結果として、
P4=Av[{(A+E+N)−Ex[E+N]}/S]
=Av[Ex[A]/S]
=Ex[A/S]
…(式9)
のようにあらわせる。式9を式8と比較すると、減算器744の出力P4が、近端信号における近端音声の割合の推定値となることが分かる。
減算器744が出力する値を、乗算器737において、減算器4の出力信号、すなわち線形エコーキャンセラによりエコーを減じられた信号のフーリエ係数に乗じることにより、近端信号におけるエコー信号以外の信号、すなわちエコーを抑圧した近端音声のフーリエ係数の推定値が得られる。その推定値は、図18の逆フーリエ変換器74へと送られ、近端信号へと合成され、出力端子75から出力される。結果として、この合成された近端信号においては、エコーは抑圧される。
図17に戻り、エコー経路におけるスピーカ2などに歪がある場合に、本発明の第3の実施例がどのように動作するかを説明する。式8および式9を用いて説明したように、P4は近端信号における近端音声の割合の推定値である。このP4を計算するにあたり、本発明の第1の実施例で用いたP3を用いている。すでに本発明の第1の実施例で説明したように、P3は、近端音声のフーリエ係数成分の推定値であり、エコー成分や雑音成分だけでなく、歪により発生した高調波のエコー成分も取り除かれている。従って、P4においても歪により発生した高調波のエコー成分の割合が取り除かれており、このP4を乗じて得られるフーリエ係数では、歪のエコー成分が抑圧される。マイクロホン1の出力信号には、遠端信号そのものに加えて、遠端信号の歪のエコーが含まれる。この歪のエコーは、遠端信号のエコーの周波数成分の高調波として考えることができる。本発明の第3の実施例では、スペクトルサプレッション部7において、遠端信号に存在する高調波を用いて、歪によって発生した高調波を抑圧することができる。
以上のように、図17に示す第3の実施例においても、エコー経路音響系に歪がある場合など、線形エコーキャンセラ3だけではエコーが十分に抑圧できない場合でも、エコーを大きく抑圧することができる。さらに、エコーの漏れこみ具合を示す係数として、最小値追従平滑化により得た値を定数倍して用いることにより、近端騒音が大きい環境でエコーの歪みの状態が変化した場合でも、エコーを十分に抑圧し、少ない歪の近端音声を得ることができる。
図22は、図18におけるフーリエ係数乗算器76m(m=1〜M)の第2の構成例である。図19に示すフーリエ係数乗算器76mの第1の構成例との差異は、絶対値計算部731から割算器745への信号経路に、平滑部740が挿入されていること、および、絶対値計算部734から割算器745への信号経路に、平滑部741が挿入されていることである。平滑部740および平滑部741の構成例は、平滑部747と同様であり、平滑化係数の違いであるので、説明を省略する。平滑部740および平滑部741によって、割算器745の2つの入力が平滑化されるため、割算器745の出力として乗算器746を経由して平滑部747に入力される商も平滑化される。その結果、平滑部747の出力は、図19の第1の構成例より本第2の構成例の方が安定した値が得られる。しかし、第1の構成例でも第2の構成例でも、減算器744の出力において近端信号における近端音声の割合の推定値が得られるという機能については変わりない。したがって、フーリエ係数乗算器76m(m=1〜M)として図22に示す第2の構成例を用いた場合にも、本発明の効果は、図19に示す第1の構成例を用いた場合と同様に得られる。
図23は、図18におけるフーリエ係数乗算器76m(m=1〜M)の第3の構成例である。図22に示すフーリエ係数乗算器76mの第2の構成例との差異は、平滑部740および平滑部741から乗算器737に至るまでの経路における処理の順序が入れ替わっていることである。以下、この差異について説明する。
平滑部740の出力は、減算器744および割算器745へと送られる。平滑部741の出力は、乗算器746へと送られる。乗算器746では平滑部741が出力した値に、端子167を通じて係数発生部200から入力される漏れこみ係数を乗じて、減算器744へと送る。減算器744は、平滑部740から受けた値から、乗算器746から受けた値を減算し、結果を割算器745へと送る。割算器745は、減算器744から受けた値を、平滑部740から受けた値で除算し、結果を平滑部748へと送る。平滑部748は、割算器745から受けた値を平滑し、結果を乗算器737へと送る。
平滑部748の構成例は、平滑部747と同様であり、平滑化係数の違いである。平滑部748の構成例として、図21に示す構成をとる場合には、平滑化係数の設定によって、実際の音声や音楽のように、立ち上がりが速く、立ち下りが遅い包絡線を生成することが可能であり、近端信号における近端音声および近端騒音の割合の推定値の推定精度を改善することができる。
ここで平滑部748が平滑した結果P5を式で表現すると次式10のようになる。
P5=Av[(Av[S]−P1×Av[R])/Av[S])]
=Av[(Av[(A+E+N)−Ex[E] )/Av[S]]
=Av[Ex[A+N]/Av[S]]
=Ex[(A+N)/S] …(式10)
式10から、P5がP4と同様に、近端信号における近端音声の割合の推定値であることが分かる。したがって、図23の第3の構成例は、図22の第2の構成例と同様の機能を有しており、図19に示す第1の構成例を用いた場合と同様の効果が得られる。
『第4の実施例』
図24は本発明の第4の実施例のブロック図である。図17に示す第3の実施例との差異は、スペクトルサプレッション部7に入力される信号として、第3の実施例では減算器4の出力信号を用いているのに対し、第4の実施例ではマイクロホン1の出力信号を用いていることである。この差異は、第1の実施例と第2の実施例との差異と同様であり、その効果も第3の実施例と同様である。
以上本発明の実施例について説明したが、本発明は以上の実施例に限定されずその他各種の付加変更が可能である。例えば、以下のように付加変更することができる。
以上では、スペクトルサブトラクション部、および、スペクトルサプレッション部において、サンプル毎にフーリエ変換を行う場合について説明してきたが、サンプル毎でなくとも、一定間隔ごとにフレーム単位で処理することも可能である。またフレームをオーバーラップさせた処理も可能である。この際にオーバーラップセーブやオーバーラップアドなどの手法を用いて、演算量を削減することも可能である。オーバーラップセーブやオーバーラップアドなどの手法については、例えば、John J. Shynkによる論文「Frequency−Domain and Multirate Adaptive Filtering」(出典:IEEE Signal Processing Magazine, 1992年1月、pp.14−37)(以下非特許文献5)に記載されている。
以上では、スペクトルサブトラクション部、および、スペクトルサプレッション部において、フーリエ変換を行う場合について説明してきたが、フーリエ変換以外にも、コサイン変換や、フィルタバンクなどの線形変換を用いることも可能である。また、サブバンド領域に変換してから処理を行うことも可能である。これらの場合、フーリエ係数減算器、および、フーリエ係数乗算器は、用いる線形変換に対応して読み替えればよい。例えば、コサイン変換を用いた場合には、コサイン係数減算器、コサイン係数乗算器となる。それらの動作は、フーリエ変換の場合と同様である。
『第5の実施例』
本発明における線形エコーキャンセラとして、変換領域エコーキャンセラを用い、さらにその変換領域が、スペクトルサブトラクション部またはスペクトルサプレッション部で同一の変換領域である場合には、演算量の削減およびその演算に伴う遅延時間の短縮が可能である。ここで変換領域エコーキャンセラとは、線形変換を行って展開された変換領域においてエコーキャンセラ動作を行い、逆線形変換によって元の領域に再合成するようなエコーキャンセラを表す。
線形エコーキャンセラとして非特許文献5に示されるフーリエ変換領域エコーキャンセラを用いた場合の例を図を用いて説明する。図25は、本発明の第5の実施例である。この本発明の第5の実施例では、フーリエ変換領域において、エコーキャンセラとスペクトルサブトラクションを行っている。図13に示す第1の実施例との差異は、線形エコーキャンセラ3がエコーキャンセラ13により実現され、スペクトルサブトラクション部6がスペクトルサブトラクション部16により置換され、スペクトルサブトラクション部16への入力信号のうち2つがエコーキャンセラ13から出力される変換領域信号群1および変換領域信号群2に置換されていることである。
図26は、本発明の第5の実施例におけるエコーキャンセラ13の構成例を示すブロック図である。端子31より入力された遠端信号は、フーリエ変換器35によりフーリエ変換領域に展開され、周波数毎に適応フィルタ群38へと送られる。図25における減算器4から端子33を経由して入力された減算結果は、フーリエ変換器37によりフーリエ変換領域に展開され、周波数毎にそれぞれ乗算器39m(m=1〜M)へと送られる。乗算器39m(m=1〜M)のそれぞれは、フーリエ変換器37から受けた信号に、端子34から受けた音声検出結果を乗じて、その結果を適応フィルタ群38へと送る。適応フィルタ群38は、M個の適応フィルタから構成されており、フーリエ変換器35から受けた信号群2と、乗算器39m(m=1〜M)からの信号群1を受けて、対応する信号を用いて適応フィルタの処理を行う。適応フィルタ処理により得られたそれぞれのフィルタ結果は、逆フーリエ変換器36へと送られる。逆フーリエ変換器36は、適応フィルタ群38から得たフィルタ結果を集め、その逆フーリエ変換を計算し、端子32から出力する。端子32から出力される信号が、エコーキャンセラとしての出力である。
エコーキャンセラ13は、エコーキャンセラとしての出力以外に、スペクトルサブトラクションのために、フーリエ変換器37が出力する信号群を変換領域信号群1としてベクトル型出力端子41から出力し、適応フィルタ群38が出力するフィルタ結果群を変換領域信号群2としてベクトル型出力端子42から出力する。変換領域信号群1および変換領域信号群2は、図25におけるスペクトルサブトラクション部16へと送られる。変換領域信号群1は、図25における減算器4の出力信号をフーリエ変換したものとなる。また変換領域信号群2は、図25においてエコーキャンセラ13から減算器4へと向かう信号をフーリエ変換したものと解釈できる。
スペクトルサブトラクション部16の構成および動作を、図を用いて説明する。図27は、スペクトルサブトラクション部16の構成例を示すブロック図である。本発明の第1の実施例で説明した図14に示すスペクトルサブトラクション部の構成例との差異は、2つの入力信号が変換領域信号群1および変換領域信号群2によって置換されていることおよび、図14におけるフーリエ変換器60とフーリエ変換器61が削除されていることである。図26に示すエコーキャンセラの構成例で説明したように、変換領域信号群1は、図25における減算器4の出力信号をフーリエ変換したものであり、変換領域信号群2は、図25においてエコーキャンセラ13から減算器4へと向かう信号をフーリエ変換したものである。これらは、図14に示すスペクトルサブトラクション部において、フーリエ係数減算器66m(m=1〜M)に入力される2つの信号と全く同一である。したがって、図27に示すスペクトルサブトラクション部16は、図14に示すスペクトルサブトラクション部と全く同一の信号を出力することができる。したがって、図25に示す本発明の第5の実施例においても本発明の第1の実施例と同様の効果があることが分かる。スペクトルサブトラクション部16への2つの入力信号がエコーキャンセラ13からの変換領域信号群1および変換領域信号群2として直接接続されることにより、スペクトルサブトラクション部16の内部におけるフーリエ変換を削減しながら、本発明の効果を得ることができる。
本発明の第5の実施例が、本発明の第1の実施例に対応するように、本発明の他の実施例を変換領域で実現することも可能である。また、フーリエ変換領域以外にコサイン変換領域などを用いることも可能である。
『第6の実施例』
線形エコーキャンセラとして非特許文献5に示されるサブバンド領域エコーキャンセラを用い、且つ、スペクトルサブトラクション部またはスペクトルサプレッション部をサブバンド領域に変換してから処理を行う場合には、各処理および部分の接続においてサブバンド領域に変換するためのフィルタを省略し、サブバンド領域内で接続することが可能である。この例を、図を用いて説明する。
図28は、本発明の第6の実施例を示すブロック図である。この本発明の第6の実施例では、サブバンド領域において、エコーキャンセラとスペクトルサブトラクションを行っている。まず、マイクロホン1からの信号はサブバンド分析フィルタバンク91においてN個の帯域に展開され、遠端信号はサブバンド分析フィルタバンク92においてN個の帯域に展開される。展開された帯域毎に、エコーキャンセラ部93n、減算器94n、音声検出部95n、スペクトルサブトラクション部96n(ここでn=1〜N)を有している。帯域毎のスペクトルサブトラクション部96nの出力は、サブバンド合成フィルタバンク99によって集められ、もとの信号領域へと逆変換され、近端信号として出力される。各帯域における、減算器94n、音声検出部95n、スペクトルサブトラクション部96n(ここでn=1〜N)の処理は、エコーキャンセラのタップ数や、スペクトルサブトラクション部のフーリエ変換器の規模が異なるが、それ以外は図13に示す本発明の第1の実施例と同様に動作するので、その処理の詳細な説明は省略する。本発明の第6の実施例では、すべての処理がサブバンド領域に変換されてから行われるため、線形エコーキャンセラ3における合成フィルタバンク、および、スペクトルサブトラクション部におけるサブバンド分析フィルタバンクを省略して接続することができる。この場合には、省略されたサブバンド分析フィルタバンクおよびサブバンド合成フィルタバンクに相当する演算量が削減され、またその演算に相当する遅延時間が短縮される。本発明の第6の実施例におけるスペクトルサブトラクション部をスペクトルサプレッション部に置換した構成も可能である。また変換領域をサブバンド領域以外とした構成も可能である。
本発明の第6の実施例が、本発明の第1の実施例に対応するように、本発明の他の実施例をサブバンド領域で実現することも可能である。また、フーリエ変換領域以外にコサイン変換領域などを用いることも可能である。
『第7の実施例』
図29は本発明の第7の実施例を示すブロック図である。本発明の第7の実施例では、エコーキャンセラおよびスペクトルサブトラクションをフーリエ変換領域で行っている。まず、マイクロホン1からの信号はフーリエ変換器191においてM個の帯域に展開され、遠端信号はフーリエ変換器192においてM個の帯域に展開される。展開された帯域毎に、エコーキャンセラ部193m、減算器194m、音声検出部195m、フーリエ係数減算器66m(ここでm=1〜M)を有している。帯域毎のフーリエ係数減算器66mの出力は、逆フーリエ変換器199によって集められ、もとの信号領域へと逆変換され、近端信号として出力される。各帯域における、減算器194m、音声検出部195m(ここでm=1〜M)の処理は、エコーキャンセラのタップ数が異なるが、それ以外は図13に示す本発明の第1の実施例と同様に動作するので、その処理の詳細な説明は省略する。本発明の第6の実施例も本発明の第7の実施例もともに変換領域において処理を行っているが、異なる点は、変換領域が異なるために帯域の数Mが多いこと、および、図28におけるスペクトルサブトラクション部が、図29ではフーリエ係数減算器66mで置き換えられた形になっていることである。すなわちスペクトルサブトラクション部におけるフーリエ変換器および逆フーリエ変換器が不要となり、フーリエ係数減算器66mでスペクトルサブトラクションに必要な動作を行っている。これは、本発明の第7の実施例では、すべての処理がすでにフーリエ変換領域の多数の帯域に展開されているため、スペクトルサブトラクションを行うために改めてフーリエ変換を行う必要がなくなるからである。本発明の第7の実施例では、省略されたフーリエ変換器および逆フーリエ変換器に相当する演算量が削減される。また、本発明の第7の実施例におけるフーリエ係数減算器をフーリエ係数乗算器に置換した構成も可能である。
本発明の第7の実施例が、本発明の第1の実施例に対応するように、本発明の他の実施例をフーリエ変換領域で実現することも可能である。また、フーリエ変換領域以外にコサイン変換領域などを用いることも可能である。
以上では、線形エコーキャンセラを用いた場合について説明してきたが、線形エコーキャンセラに代えて非線形エコーキャンセラを用いた場合についても、スペクトルサブトラクション部、または、スペクトルサプレッション部と組み合わせた場合に、本発明の効果は得られる。
以上、ハンズフリー電話器を応用例として、本発明の説明をしてきたが、ハンズフリー電話器以外に、スピーカから音楽が拡声されている環境における収音や、ハンドセットにおけるレシーバからのエコーが問題となるような収音においても、本発明を用いることができる。
この出願は、2007年10月19日に出願された日本出願特願2007−272524を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0004】
スピーカにおける歪など、非線形要素は大きい。歪を含んだエコー経路の伝達関数は非線形であり、線形エコーキャンセラでは完全に模擬することはできない。特に携帯電話などで用いられる小型スピーカで大音量の拡声を行う場合には、スピーカの歪が大きいため、エコーは20dB程度しか抑圧されない。この場合、エコーは近端信号として遠端に送られ、遠端の話者にも聞こえるため、発話が困難になる。
[0013]
これに対して第3の技術によれば、エコー経路における歪が大きい場合でも、エコーが十分抑圧された収音を行うことが可能である。しかし第3の技術における、エコーの漏れこみ具合の推定値を算出する方法は、音声検出結果を用いているため、音声検出結果を誤ると、エコーの漏れこみ具合の推定値は大きな誤差を持ち、それに基づいて第1の信号を補正した結果の信号は劣化する。すなわち、エコーが十分に抑圧されていないか、近端音声に大きな歪が生じる。特に近端騒音が大きい環境は、音声検出結果を誤る確率が高いため、エコーが十分に抑圧されないか、近端音声に大きな歪が生じることになる。
[0014]
第4の技術によれば、エコーの漏れこみ具合の係数として、事前の測定に基づく定数を用いているため、近端騒音の影響を受けない。しかし、経年変化などでエコーの歪みの状態が変化した場合には、エコーの漏れこみ具合が変化してしまうため、エコーの漏れこみ具合の推定値として定数を用いると、大きな誤差を持つことになり、それに基づいて第1の信号を補正した結果の信号は劣化する。
[0015]
本発明が解決しようとする課題は、近端騒音がある環境において、エコー経路における歪の状態が変化した場合でエコーを十分抑圧することのできるエコー抑圧方法および装置を提供することにある。
課題を解決するための手段
[0016]
上記課題を解決する本発明は、収音器と拡声器との間の音響系結合によるエコーを抑圧する方法において、収音器の出力信号または収音器の出力信号から拡声器への入力信号に基づいて生成されるエコーキャンセラの出力信号を減算した信号の何れかである第1の信号の、前記エコーキャンセラの出力信号である第2の信号に対する振幅比の時間的に変化する最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生し、該発生した漏れこみ係数と前記第2の信
【0005】
号とに基づいて前記第1の信号を補正することを特徴とする。
[0017]
上記課題を解決する本発明は、収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、収音器の出力信号または収音器の出力信号から拡声器への入力信号に基づいて生成されるエコーキャンセラの出力信号を減算した信号の何れかである第1の信号の、前記エコーキャンセラの出力信号である第2の信号に対する振幅比の時間的に変化する最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、該係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段とを有することを特徴とする。
発明の効果
[0018]
以上説明したように本発明によれば、近端騒音がある環境において歪みの状態が変化した場合にもエコーを抑圧することができる。その理由は次の通りである。
[0019]
エコーキャンセラの出力には、このエコーキャンセラが線形エコーキャンセラであれば遠端信号に含まれる高調波成分がほぼそのまま現れる。また、このエコーキャンセラが非線形エコーキャンセラであっても遠端信号に含まれる高調波成分が少なからず含まれる。他方、収音器の入力信号である近端信号には、近端音声以外に、収音器と拡声器との間の音響系結合による遠端信号のエコーおよび非線形成分により生成された高調波成分が含まれる。これらの高調波成分の比、すなわち非線形成分によるエコーの漏れこみ具合の値は、音声通話などの限定された目的では一定範囲の値となる。一定範囲の値のうち最小値は、近端音声および近端騒音の影響を受けにくい。従って、この最小値または最小値に準ずる値に補正定数をかけた値を漏れこみ係数として使用し、漏れこみ係数と第2の信号とから第1の信号に含まれるエコーの量を推定して第1の信号から減算するか、或いは、漏れこみ係数と第1及び第2の信号とから第1の信号に含まれる近端信号の割合を推定し、この推定した割合を第1の信号に乗じることで、第1の信号からエコーの非線形成分を除去することができる。このように、最小値に準ずる値は、近端騒音の影響が小さいため、近端騒音がある環境で推定を行っても、誤差が少なくなり、その結果、近端信号に含まれる雑音が大きい環境においても、エコー経路における歪が大きいエコーを十分抑圧することができ
【0008】
201、202、204:係数更新記憶部
203:使用状況検出部
39M、707、737、746:乗算器
76m(m=1〜M):フーリエ係数乗算器
731、734:絶対値計算部
542、745:割算器
740、741、743、747、748、:平滑部
発明を実施するための最良の形態
[0022]
次に本発明の実施の形態について図面を参照して説明する。
[0023]
図1を参照すると、本発明の実施の形態は、マイクロホン1とスピーカ2との間の音響系結合によるエコーを抑圧するために、エコーの漏れこみ具合を示す係数(以下、漏れこみ係数)を発生する係数発生部200と、マイクロホン1の出力信号またはスピーカ2の出力信号から線形エコーキャンセラ(非線形エコーキャンセラであってもよい)3の出力信号を減算器4で減算した信号の何れか一方を第1の信号、線形エコーキャンセラ3の出力信号を第2の信号として入力すると共に、係数発生部200で発生された漏れこみ係数を入力し、この入力された漏れこみ係数と第2の信号とに基づいて第1の信号を補正することにより、第1の信号からエコーを除去した近端信号を生成して出力端子9に出力する変換部100とを備えている。
[0024]
ここで、係数発生部200は、変換部100から第1の信号と第2の信号とを入力し、第1の信号の第2の信号に対する振幅比の時間的に変化する最小値を検出し、検出した最小値を定数倍した値を最新の漏れこみ係数として更新し、発生する。
[0025]
また好ましくは、係数発生部200は、変換部100から第1の信号の周波数成分と第2の信号の周波数成分を受けて、周波数成分毎の漏れこみ係数を更新・発生し、変換部100は、第1の信号の周波数成分毎に、その周波数成分に対応する漏れこみ係数に基づいて第1の信号を補正する。すなわち、変換部100は、エコーレプリカの振幅と残留エコーの振幅における相関に基づいて、残留エコーを抑圧する。同じ周波数におけるエコーレプリカの振幅と残留エコーの振幅の相関の回帰係数は、エコーレプリカが残留エコーに漏れこんでいる係数、つまり漏れこみ係数と見なすことが

Claims (40)

  1. 収音器と拡声器との間の音響系結合によるエコーを抑圧する方法において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、
    時間的に変化する、前記第2の信号の前記第1の信号に対する振幅比の最小値を検出し、
    該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生し、
    該発生した漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する
    ことを特徴とするエコー抑圧方法。
  2. 前記収音器と前記拡声器とを有する装置のそれぞれ異なる使用状況毎に前記最小値を検出して記憶し、
    前記装置の使用状況を検出し、該検出した使用状況に対応した前記記憶されている最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生することを特徴とする請求項1に記載のエコー抑圧方法。
  3. 前記エコーキャンセラの出力信号の電力もしくは振幅、遠端信号の電力もしくは振幅、遠端信号の特定周波数成分の電力もしくは振幅の何れかを前記使用状況とすることを特徴とする請求項2に記載のエコー抑圧方法。
  4. 前記拡声器の音量設定を前記使用状況とすることを特徴とする請求項2に記載のエコー抑圧方法。
  5. 前記収音器と前記拡声器との相対的な位置関係を前記使用状況とすることを特徴とする請求項2に記載のエコー抑圧方法。
  6. 前記収音器と前記拡声器の少なくとも一方が複数存在する場合に、それらの選択状況を前記使用状況とすることを特徴とする請求項2に記載のエコー抑圧方法。
  7. 前記振幅比は、前記第2の信号の振幅の時間平均と前記第1の信号の振幅の時間平均に対する振幅比であることを特徴とする請求項1乃至6の何れか1項に記載のエコー抑圧方法。
  8. 前記時間的に変化する振幅比の最小値の検出は、前記振幅比に対して、下がりやすく上がりにくい平滑化を施すことによって行うことを特徴とする請求項1乃至7の何れか1項に記載のエコー抑圧方法。
  9. 前記時間的に変化する振幅比の最小値の検出は、前記振幅比を時間平均した値に対して、下がりやすく上がりにくい平滑化を施すことによって行うことを特徴とする請求項1乃至7の何れか1項に記載のエコー抑圧方法。
  10. 前記第1の信号の周波数成分毎に、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数に基づいて前記第1の信号を補正する
    ことを特徴とする請求項1乃至9の何れか1項に記載のエコー抑圧方法。
  11. 前記漏れこみ係数と前記第2の信号とから前記第1の信号に含まれるエコーの量を推定し、
    該推定したエコーの量を前記第1の信号から減算することで前記第1の信号を補正する
    ことを特徴とする請求項1乃至10の何れか1項に記載のエコー抑圧方法。
  12. 前記漏れこみ係数と前記第1の信号と前記第2の信号とから前記第1の信号に含まれる近端信号の割合を推定し、
    該推定した割合を前記第1の信号に乗じることで前記第1の信号を補正する
    ことを特徴とする請求項1乃至10の何れか1項に記載のエコー抑圧方法。
  13. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、
    時間的に変化する、前記第2の信号の前記第1の信号に対する振幅比の最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    該係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と
    を有することを特徴とするエコー抑圧装置。
  14. 前記係数発生手段は、前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎に前記最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応した前記記憶されている最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生することを特徴とする請求項13に記載のエコー抑圧装置。
  15. 前記係数発生手段は、周波数分割された第1および第2の信号を用いて、周波数成分毎にエコーの漏れこみ具合を示す漏れこみ係数として発生させ、
    前記補正手段は、前記周波数成分毎に補正された第1の信号を合成すること
    を特徴とする請求項13又は14に記載のエコー抑圧装置。
  16. 前記第1及び第2の信号の周波数分割を分割手段で行うことを特徴とする請求項15に記載のエコー抑圧装置。
  17. エコーキャンセラとして変換領域エコーキャンセラを用い、前記第1及び第2の信号の周波数分割を前記変換領域エコーキャンセラで行うことを特徴とする請求項15に記載のエコー抑圧装置。
  18. 前記係数発生手段は、各帯域に展開された収音器の出力信号または各帯域に展開された収音器の出力信号からエコーキャンセラの出力信号を減算した信号を第1の信号、前記エコーキャンセラの出力信号を第2の信号として前記漏れこみ係数を発生することを特徴とする請求項15に記載のエコー抑圧装置。
  19. サブバンド分析フィルタを用いて、収音器の出力信号と拡声器の出力信号とを各帯域に展開することを特徴とする請求項18に記載のエコー抑圧装置。
  20. フーリエ変換器を用いて、収音器の出力信号と拡声器の出力信号とを各帯域に展開することを特徴とする請求項18に記載のエコー抑圧装置。
  21. 前記エコーキャンセラの出力信号の電力もしくは振幅、遠端信号の電力もしくは振幅、遠端信号の特定周波数成分の電力もしくは振幅の何れかを前記使用状況とすることを特徴とする請求項13乃至20の何れか1項に記載のエコー抑圧装置。
  22. 前記拡声器の音量設定を前記使用状況とすることを特徴とする請求項13乃至20の何れか1項に記載のエコー抑圧装置。
  23. 前記収音器と前記拡声器との相対的な位置関係を前記使用状況とすることを特徴とする請求項13乃至20の何れか1項に記載のエコー抑圧装置。
  24. 前記収音器と前記拡声器の少なくとも一方が複数存在する場合に、それらの選択状況を前記使用状況とすることを特徴とする請求項13乃至20の何れか1項に記載のエコー抑圧装置。
  25. 前記振幅比は、前記第2の信号の振幅の時間平均と前記第1の信号の振幅の時間平均に対する振幅比であることを特徴とする請求項13乃至24の何れか1項に記載のエコー抑圧装置。
  26. 前記時間的に変化する振幅比の最小値の検出は、前記振幅比に対して、下がりやすく上がりにくい平滑化を施すことによって行うことを特徴とする請求項13乃至25の何れか1項に記載のエコー抑圧装置。
  27. 前記時間的に変化する振幅比の最小値の検出は、前記振幅比を時間平均した値に対して、下がりやすく上がりにくい平滑化を施すことによって行うことを特徴とする請求項13乃至25の何れか1項に記載のエコー抑圧装置。
  28. 前記漏れこみ係数と前記第2の信号とから前記第1の信号に含まれるエコーの量を推定し、
    該推定したエコーの量を前記第1の信号から減算することで前記第1の信号を補正する
    ことを特徴とする請求項13乃至27の何れか1項に記載のエコー抑圧装置。
  29. 前記漏れこみ係数と前記第1の信号と前記第2の信号とから前記第1の信号に含まれる近端信号の割合を推定し、
    該推定した割合を前記第1の信号に乗じることで前記第1の信号を補正する
    ことを特徴とする請求項13乃至27の何れか1項に記載のエコー抑圧装置。
  30. 前記補正手段は、
    前記第1の信号の振幅またはパワーに応じた量を平滑する第1の平滑部と、
    前記第2の信号の振幅またはパワーに応じた量を平滑する第2の平滑部と、
    該第2の平滑部で平滑化された量に前記漏れこみ係数を乗じる第1の乗算器と、
    前記第1の平滑部で平滑化された量から前記第1の乗算器の乗算結果を減ずる減算器と、
    該減算器の減算結果を前記第1の平滑部で平滑化された量で除算する割算器と、
    該割算器の除算結果を平滑する第3の平滑部と、
    前記第1の信号に前記第3の平滑部で平滑化された量を乗ずる第2の乗算器と
    を含むことを特徴とする請求項29記載のエコー抑圧装置。
  31. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出し、該検出した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    該係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と
    を有することを特徴とするエコー抑圧装置。
  32. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎に前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応して前記検出して記憶した最小値を定数倍した値をエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    該係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と
    を有することを特徴とするエコー抑圧装置。
  33. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1および第2の信号を周波数分割する分割手段と、
    前記第1および第2の信号の周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出し、該検出した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    周波数成分毎に前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と、
    周波数成分毎に補正された第1の信号を合成する合成手段と
    を有することを特徴とするエコー抑圧装置。
  34. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1および第2の信号を周波数分割する分割手段と、
    前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎且つ周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応して前記検出して記憶した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    周波数成分毎に前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と、
    周波数成分毎に補正された第1の信号を合成する合成手段と
    を有することを特徴とするエコー抑圧装置。
  35. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    エコーキャンセラとして変換領域エコーキャンセラを備え、
    収音器の出力信号から前記変換領域エコーキャンセラの出力信号を減算した信号を前記変換領域エコーキャンセラ内で周波数分割した信号を第1の信号、変換領域エコーキャンセラ内における逆線形変換前の周波数成分毎の信号を第2の信号とするとき、前記第1および第2の信号の周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出し、該検出した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    周波数成分毎に前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と、
    周波数成分毎に補正された第1の信号を合成する合成手段と
    を有することを特徴とするエコー抑圧装置。
  36. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    エコーキャンセラとして変換領域エコーキャンセラを備え、
    収音器の出力信号から前記変換領域エコーキャンセラの出力信号を減算した信号を前記変換領域エコーキャンセラ内で周波数分割した信号を第1の信号、変換領域エコーキャンセラ内における逆線形変換前の周波数成分毎の信号を第2の信号とするとき、前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎且つ周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応して前記検出して記憶した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段と、
    周波数成分毎に前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段と、
    周波数成分毎に補正された第1の信号を合成する合成手段と
    を有することを特徴とするエコー抑圧装置。
  37. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号と拡声器の出力信号とがサブバンド分析フィルタにより各帯域に展開され、各帯域に展開された収音器の出力信号または各帯域に展開された収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1および第2の信号を周波数分割する分割手段と、
    前記第1および第2の信号の周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出し、該検出した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段を備え、
    且つ、前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段を帯域毎に有し、
    且つ、各補正手段で補正された第1の信号を合成するサブバンド合成フィルタを有する
    ことを特徴とするエコー抑圧装置。
  38. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号と拡声器の出力信号とがサブバンド分析フィルタにより各帯域に展開され、各帯域に展開された収音器の出力信号または各帯域に展開された収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1および第2の信号を周波数分割する分割手段と、
    前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎且つ周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応して前記検出して記憶した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段を備え、
    且つ、前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段を帯域毎に有し、
    且つ、各補正手段で補正された第1の信号を合成するサブバンド合成フィルタを有する
    ことを特徴とするエコー抑圧装置。
  39. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号と拡声器の出力信号とがフーリエ変換器により各帯域に展開され、各帯域に展開された収音器の出力信号または各帯域に展開された収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記第1および第2の信号の周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出し、該検出した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段を備え、
    且つ、前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段を帯域毎に有し、
    且つ、各補正手段で補正された第1の信号を合成する逆フーリエ変換器を有する
    ことを特徴とするエコー抑圧装置。
  40. 収音器と拡声器との間の音響系結合によるエコーを抑圧する装置において、
    収音器の出力信号と拡声器の出力信号とがフーリエ変換器により各帯域に展開され、各帯域に展開された収音器の出力信号または各帯域に展開された収音器の出力信号からエコーキャンセラの出力信号を減算した信号の何れか一方を第1の信号、前記エコーキャンセラの出力信号を第2の信号とするとき、前記収音器と前記拡声器を有する装置のそれぞれ異なる使用状況毎、且つ周波数成分毎に、前記第2の信号の前記第1の信号に対する振幅比の時間的な変化の最小値を検出して記憶し、前記装置の使用状況を検出し、該検出した使用状況に対応して前記検出して記憶した最小値を定数倍した値を、周波数成分毎のエコーの漏れこみ具合を示す漏れこみ係数として発生する係数発生手段を備え、
    且つ、前記係数発生手段で発生された漏れこみ係数と前記第2の信号とに基づいて前記第1の信号を補正する補正手段を帯域毎に有し、
    且つ、各補正手段で補正された第1の信号を合成する逆フーリエ変換器を有する
    ことを特徴とするエコー抑圧装置。
JP2009538146A 2007-10-19 2008-10-16 エコー抑圧方法及び装置 Pending JPWO2009051197A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007272524 2007-10-19
JP2007272524 2007-10-19
PCT/JP2008/068784 WO2009051197A1 (ja) 2007-10-19 2008-10-16 エコー抑圧方法及び装置

Publications (1)

Publication Number Publication Date
JPWO2009051197A1 true JPWO2009051197A1 (ja) 2011-03-03

Family

ID=40567459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538146A Pending JPWO2009051197A1 (ja) 2007-10-19 2008-10-16 エコー抑圧方法及び装置

Country Status (3)

Country Link
US (1) US8488776B2 (ja)
JP (1) JPWO2009051197A1 (ja)
WO (1) WO2009051197A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636758A (zh) * 2015-05-15 2018-01-26 哈曼国际工业有限公司 声学回声消除系统和方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929427B2 (en) * 2009-04-27 2015-01-06 Nokia Corporation Method, apparatus, computer program and computer program distribution medium for a communication receiver
JP5161838B2 (ja) * 2009-05-18 2013-03-13 株式会社日立製作所 エコーキャンセラおよび音響エコー消去方法
US8538035B2 (en) * 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
WO2012157788A1 (ja) * 2011-05-19 2012-11-22 日本電気株式会社 音声処理装置、音声処理方法および音声処理プログラムを記録した記録媒体
WO2012157785A1 (ja) * 2011-05-19 2012-11-22 日本電気株式会社 音声処理装置、音声処理方法及び音声処理プログラムを記録した記録媒体
CN103548362A (zh) 2011-05-19 2014-01-29 日本电气株式会社 音频处理设备、音频处理方法以及记录音频处理程序的记录介质
JP6064159B2 (ja) * 2011-07-11 2017-01-25 パナソニックIpマネジメント株式会社 エコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法
US9537460B2 (en) * 2011-07-22 2017-01-03 Continental Automotive Systems, Inc. Apparatus and method for automatic gain control
JP5985172B2 (ja) * 2011-10-31 2016-09-06 アイホン株式会社 音響帰還量抑制装置
JP6036141B2 (ja) * 2012-10-11 2016-11-30 ヤマハ株式会社 音響処理装置
US9514763B2 (en) * 2013-05-15 2016-12-06 Lenovo (Singapore) Pte. Ltd. Noise reduction via tuned acoustic echo cancellation
GB201309771D0 (en) 2013-05-31 2013-07-17 Microsoft Corp Echo removal
GB201309777D0 (en) * 2013-05-31 2013-07-17 Microsoft Corp Echo suppression
GB201309779D0 (en) 2013-05-31 2013-07-17 Microsoft Corp Echo removal
GB201309773D0 (en) 2013-05-31 2013-07-17 Microsoft Corp Echo removal
JP6160403B2 (ja) * 2013-09-26 2017-07-12 沖電気工業株式会社 エコー抑圧装置及びエコー抑圧プログラム
US9655001B2 (en) * 2015-09-24 2017-05-16 Cisco Technology, Inc. Cross mute for native radio channels
US10110998B2 (en) * 2016-10-31 2018-10-23 Dell Products L.P. Systems and methods for adaptive tuning based on adjustable enclosure volumes
US11393487B2 (en) * 2019-03-28 2022-07-19 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056453A (ja) * 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置
JP2006033789A (ja) * 2004-06-16 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 反響路結合量推定方法、反響路結合量推定装置、反響路結合量推定プログラム、エコー抑圧方法、エコー抑圧装置、エコー抑圧プログラム、エコーサプレス方法、エコーサプレッサ、エコーサプレッサプログラム、通信路上の損失量制御方法、通信路上の損失量制御装置、通信路上の損失制御プログラム、多チャネルエコー抑圧方法、多チャネルエコー抑圧装置、多チャネルエコー抑圧プログラム、記録媒体
JP2006352494A (ja) * 2005-06-16 2006-12-28 Iwatsu Electric Co Ltd エコー・キャンセラ制御方法と装置。
JP2006352239A (ja) * 2005-06-13 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 音響結合量推定方法、音響結合量推定装置、プログラム、記録媒体
WO2007049643A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
WO2007049644A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606793A (en) * 1993-05-24 1997-03-04 Texas Instruments Incorporated Multiple component assembly alignment tool
JP2550914B2 (ja) 1994-06-21 1996-11-06 日本電気株式会社 折りたたみ型携帯電話装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056453A (ja) * 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置
JP2006033789A (ja) * 2004-06-16 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 反響路結合量推定方法、反響路結合量推定装置、反響路結合量推定プログラム、エコー抑圧方法、エコー抑圧装置、エコー抑圧プログラム、エコーサプレス方法、エコーサプレッサ、エコーサプレッサプログラム、通信路上の損失量制御方法、通信路上の損失量制御装置、通信路上の損失制御プログラム、多チャネルエコー抑圧方法、多チャネルエコー抑圧装置、多チャネルエコー抑圧プログラム、記録媒体
JP2006352239A (ja) * 2005-06-13 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 音響結合量推定方法、音響結合量推定装置、プログラム、記録媒体
JP2006352494A (ja) * 2005-06-16 2006-12-28 Iwatsu Electric Co Ltd エコー・キャンセラ制御方法と装置。
WO2007049643A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
WO2007049644A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636758A (zh) * 2015-05-15 2018-01-26 哈曼国际工业有限公司 声学回声消除系统和方法

Also Published As

Publication number Publication date
US8488776B2 (en) 2013-07-16
US20100208908A1 (en) 2010-08-19
WO2009051197A1 (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
JPWO2009051197A1 (ja) エコー抑圧方法及び装置
JP4702371B2 (ja) エコー抑圧方法及び装置
JP4702372B2 (ja) エコー抑圧方法及び装置
JP4161628B2 (ja) エコー抑圧方法及び装置
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
EP3080975B1 (en) Echo cancellation
JP4377952B1 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
US8824667B2 (en) Time-domain acoustic echo control
US20170310360A1 (en) Echo removal device, echo removal method, and non-transitory storage medium
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP4903843B2 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP4631933B2 (ja) エコー抑圧方法
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP4903842B2 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP2013005106A (ja) 場内拡声装置、場内拡声方法、及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131009