JPWO2007049644A1 - エコー抑圧方法及び装置 - Google Patents

エコー抑圧方法及び装置 Download PDF

Info

Publication number
JPWO2007049644A1
JPWO2007049644A1 JP2007542623A JP2007542623A JPWO2007049644A1 JP WO2007049644 A1 JPWO2007049644 A1 JP WO2007049644A1 JP 2007542623 A JP2007542623 A JP 2007542623A JP 2007542623 A JP2007542623 A JP 2007542623A JP WO2007049644 A1 JPWO2007049644 A1 JP WO2007049644A1
Authority
JP
Japan
Prior art keywords
signal
echo
leakage
output
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007542623A
Other languages
English (en)
Other versions
JP4702372B2 (ja
Inventor
宝珠山 治
治 宝珠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007542623A priority Critical patent/JP4702372B2/ja
Publication of JPWO2007049644A1 publication Critical patent/JPWO2007049644A1/ja
Application granted granted Critical
Publication of JP4702372B2 publication Critical patent/JP4702372B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

変換部100は、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号としたとき、第1の信号へ洩れこむエコーの洩れこみ量の推定値を示す洩れこみ推定値を用いて第1の信号を補正し、第1の信号の補正後の信号が推定した近端雑音よりも小さくならないように制限する。

Description

本発明はスピーカによる拡声とマイクロホンによる収音とが同時に行われたときに発生するエコーを抑圧するためのエコー抑圧方法及び装置に関する。
図1は第1従来例のエコー抑圧装置の構成を示すブロック図である。
図1はハンズフリー電話器で発生するエコーを抑圧するためのエコー抑圧装置の構成例を示している。
図1において、入力端子10から入力された通話相手の音声信号(以下、遠端信号と称す)はスピーカ2から遠端音声として拡声される。一方、マイクロホン1には、例えば話者の声(以下、近端音声と称す)が収音されると共にスピーカ2から拡声された不要な遠端音声が入力される。このスピーカ2からマイクロホン1に入力される音はエコーと呼ばれる。また、遠端信号からマイクロホン1の出力信号までの音響伝達系はエコー経路と呼ばれる。音響伝達系にはスピーカ2及びマイクロホン1が含まれる。
エコー抑圧装置の出力端子9から近端信号として出力したいのは近端音声のみであり、近端信号に含まれる不要な遠端音声は除去したい。特に近端信号に大きな遠端音声の信号成分が含まれている場合、通話相手は遅延した遠端音声をエコーとして聞くことになるため通話が困難になる。このような問題に対しては、従来から線形エコーキャンセラを用いて近端信号からエコーを除去する方法が採用されている。線形エコーキャンセラについては、例えば非特許文献1(Eberhard HANSLERによる論文“The hands-free telephone problem:an annotated bibliography update」、annals of telecommunications”,1994年,p360-367)に記載されている。
線形エコーキャンセラ3は、エコー経路の伝達関数を推定(エコー経路推定)し、この推定した伝達関数に基づきスピーカ2の入力信号(遠端信号)からマイクロホン1へ入力されるエコーの模擬信号(エコーレプリカ信号)を生成する。
線形エコーキャンセラ部3で生成されたエコーレプリカ信号は減算器4へ入力され、減算器4によりマイクロホン1の出力信号からエコーレプリカ信号を減ずることで近端信号が出力される。
音声検出部5は、マイクロホン1の出力信号、線形エコーキャンセラ3の出力信号、減算器4の出力信号及び遠端信号を受信し、それらの信号からマイクロホン1の出力信号に近端音声が含まれているか否かを検出し、その検出結果を線形エコーキャンセラ3へ出力する。
音声検出部5は、線形エコーキャンセラ3の動作を制御するために、マイクロホン1の出力信号から近端音声を検出した場合は音声検出結果として「0」あるいは極めて小さな値を出力し、近端音声を検出しない場合は大きな値を出力する。
図2は図1に示した線形エコーキャンセラの一構成例を示すブロック図である。
図2に示すように、線形エコーキャンセラ3は、線形フィルタである適応フィルタ30及び乗算器35を備えた構成である。適応フィルタ30には、FIR型、IIR型、ラチス型等の様々なフィルタが用いられる。
適応フィルタ30は、端子31から入力された遠端信号をフィルタリングし、その処理結果を端子32から減算器4へ出力する。適応フィルタ30は、端子33から入力される減算器4の出力信号が最小となるように所定の相関演算を用いてフィルタ係数を更新する。そのため、適応フィルタ30は、減算器4の出力信号のうち、遠端信号と相関がある成分が最小となるように動作する。すなわち、減算器4の出力信号からエコー(遠端音声)が除去されることになる。
ところで、適応フィルタ30は、マイクロホン1の出力信号に近端音声が含まれている状態でフィルタ係数を更新すると、フィルタ係数の変動によりエコーの除去能力が低下することがある。
乗算器35は、適応フィルタ30によるフィルタ係数の更新を制御するために備え、減算器4の出力信号と音声検出部5の出力信号とを乗算し、その演算結果を適応フィルタ30へ出力する。マイクロホン1の出力信号に近端音声が含まれているとき、上述したように音声検出部5の出力信号は0あるいは極めて小さな値であるため、適応フィルタ30によるフィルタ係数の更新が抑制され、フィルタ係数の変動が小さくなる。その結果、エコーの除去能力の低下が抑制される。
このように第1従来例のエコー抑圧装置では適応フィルタを用いることで遠端信号のエコーを除去している。
次に第2従来例のエコー抑圧装置について説明する。
第2従来例のエコー抑圧装置は、折りたたみ型の携帯電話装置において、ヒンジ部の角度に応じてエコーの抑圧に用いる擬似エコー(エコーレプリカ信号)を修正する構成である。このような構成は、例えば特開平8−9005号公報に記載されている。
第2従来例のエコー抑圧装置は、ヒンジ部の角度を検出し、その角度に応じた制御信号を出力する制御信号発生部と、該制御信号に基づいてエコーを抑圧するエコー制御部とを有する構成である。
エコー制御部は、ヒンジ部の角度によって変動するエコー経路に対応した擬似エコーを生成するために、予め設定された複数のエコー経路追従係数を保持しておき、制御信号発生部から出力される制御信号をアドレス信号に用いてエコー経路追従係数を選択する係数選択回路と、係数選択回路で選択されたエコー経路追従係数に基づき擬似エコーを修正するための擬似エコー修正信号を出力する適応制御回路と、擬似エコー修正信号に基づき擬似エコーを生成する擬似エコー発生回路と、生成した擬似エコーを音声入力部(マイクロホン)の出力信号から減ずる減算回路とを備えている。
次に第3従来例のエコー抑圧装置について説明する。
第3従来例のエコー抑圧装置は、例えば特開平9−116469号公報に記載された構成である。
第3従来例のエコー抑圧装置では、遠端信号のパワーと周囲雑音のパワーとの推定値に基づいてゲイン係数を決定し、マイクロホンの出力信号からエコーレプリカ信号を減算した信号にゲイン係数を乗じることにより、適応フィルタだけでは消去しきれないエコーおよび周囲の雑音の影響を抑圧している。
次に第4従来例のエコー抑圧装置について説明する。
第4従来例のエコー抑圧装置は、例えば特開2004−056453号公報に記載された技術である。第4従来例のエコー抑圧装置では、マイクロホン(収音器)の出力信号、または収音器の出力信号からエコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、エコーキャンセラの出力信号を第2の信号としたとき、第1の信号(近端信号)へ洩れこむ第2の信号(遠端信号、エコー)の洩れこみ量を推定し、この推定結果に基づいて第1の信号を補正する。
このエコーの洩れこみ量の推定値には、近端音声が検出されない期間における第2の信号の振幅または電力に応じた量と、第1の信号の振幅または電力に応じた量との比を用いる。第4従来例のエコー抑圧装置では、第1の信号及び第2の信号の周波数成分毎に、第1の信号と第2の信号とからエコーの洩れこみ量の推定値を算出し、この算出した推定値に基づいて第1の信号を補正している。
なお、収音器と拡声器間の音響結合によるエコーを抑圧するための技術ではないが、入力信号に含まれる雑音を除去するための技術が、例えば特開2004−12884号公報に記載されている(以下、第5従来例と称す)。
第5従来例では、所定の周波数領域毎に入力音声スペクトルから雑音スペクトルを推定し、入力音声スペクトルから雑音スペクトルの推定値を減算している。但し、減算量が大きくなり過ぎないように周知のフロアリング係数βを設定し、減算結果が「β×入力音声のスペクトル」以下とならないように制限している。
ところで、上述した第1従来例及び第2従来例のエコー抑圧装置では、エコー経路が持つ歪等の非線形要素が小さいときにはエコーを十分に抑圧できる。しかしながら、実際の装置ではスピーカ等が大きな非線形要素を持っている。歪を含むエコー経路の伝達関数は非線形であり、線形エコーキャンセラ3でエコー経路の正確な伝達関数を模擬できない。特に携帯電話装置等で用いる小型のスピーカから大音量が発せられる場合、その音声の歪は大きいため、エコーが20dB程度しか抑圧されない。その場合、エコーが近端信号として送信され、通話相手の話者にも聞こえるために通話が困難になる。
これに対して、第3従来例及び第4従来例、特に第4従来例によれば、エコー経路の歪が大きくてもエコーが十分に抑圧される。しかしながら、第4従来例のエコー抑圧装置では、近端騒音等の影響によってエコーの洩れこみ量を正しく推定できない場合、それに基づいて補正される第1の信号の補正後の信号が劣化する。すなわち、エコーが十分に抑圧されないか、近端信号(近端音声+近端雑音)に大きな歪が生じる。歪が生じた場合、近端信号の音が遠端信号によって変調されたような音になる。具体的には、遠端信号が大きい時にだけこもったような音になる。例えば、近端信号が定常的な「ザー」という雑音である場合、遠端音声によって「ゾワ、ゾワ」と変調されたような音になる。また、近端信号が音声である場合、遠端信号が大きい時にだけこもったような音になる。後者については、近端音声自体が大きく変化するため、遠端信号によって変調された音(不快音)は近端音声に埋没してあまり感じない。しかしながら、前者については定常的に発生している雑音が遠端信号によって変調された音となるため、不快音として感じる。特に、第4従来例では、近端音声と共に大きな騒音が入力される環境で使用する場合、音声検出結果の誤差が大きくなる可能性が高いため、エコーの洩れこみ量の推定精度が低下し、より不快感が大きい音となる。
そこで、本発明は、エコー経路に起因して発生する歪が大きい場合でもエコーを十分に抑圧でき、かつ不快な遠端信号による近端信号の変調音を低減できるエコー抑圧方法及び装置を提供することを目的とする。
上記目的を達成するため本発明では、収音器の出力信号または収音器の出力信号からエコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、エコーキャンセラの出力信号を第2の信号としたとき、第1の信号へ洩れこむエコーである第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて第1の信号を補正し、該補正後の信号が推定した近端雑音の推定値よりも小さくならないように制限する。
エコーキャンセラが線形エコーキャンセラである場合、該エコーキャンセラの出力には遠端信号に含まれる高調波成分がほぼそのまま現れる。また、このエコーキャンセラが非線形エコーキャンセラであっても該エコーキャンセラの出力には遠端信号に含まれる高調波成分が少なからず含まれる。
一方、収音器(マイクロホン)の出力信号には、近端雑音、収音器と拡声器間の音響結合による遠端信号のエコー及び音響系の歪により発生する高調波成分が含まれる。これらの高調波成分の比、すなわち非線形成分によるエコーの洩れこみ具合の推定値と第2の信号から第1の信号に含まれるエコーの量を推定し、第1の信号から減ずる、または洩れこみ推定値、第1の信号及び第2の信号から第1の信号に含まれる近端信号の割合を推定し、この推定した割合を第1の信号に乗ずることで、第1の信号からエコーの非線形成分を除去できる。そして、洩れこみ推定値を用いて第1の信号を補正した補正後の信号が推定した近端雑音よりも小さくならないように制限すれば、誤った洩れこみ推定値によってエコーの非線形成分を除去したことに伴う不快な遠端信号による近端信号の変調音を低減できる。
本発明によれば、洩れこみ推定値を用いて第1の信号を補正することで、エコー経路に起因して発生した歪が大きい場合でもエコーを十分に抑圧でき、かつ第1の信号の補正後の信号が近端雑音の推定値よりも小さくならないように制限することで、不快な遠端信号による近端信号の変調音を低減できる。
図1は第1従来例のエコー抑圧装置の構成を示すブロック図である。 図2は図1に示した線形エコーキャンセラの一構成例を示すブロック図である。 図3は本発明のエコー抑圧装置の一構成例を示すブロック図である。 図4は図3に示した変換部の一構成例を示すブロック図である。 図5はエコーレプリカ信号と残留エコーのスペクトルの相関を調べた実験結果を示すグラフである。 図6は複数のスピーカ及びマイクロホンを備えた携帯電話装置の構成例を示す模式図である。 図7はエコーを十分に抑圧できる洩れこみ係数と線形エコーキャンセラの出力信号の電力との関係を示すグラフである。 図8は本発明のエコー抑圧装置の第1実施例の構成を示すブロック図である。 図9は図8に示した係数発生部の一構成例を示すブロック図である。 図10は図8に示した係数発生部の他の構成例を示すブロック図である。 図11は図8に示したスペクトルサブトラクション部の一構成例を示すブロック図である。 図12は図11に示したフーリエ係数減算器の一構成例を示すブロック図である。 図13は図12に示したスペクトル推定部の一構成例を示すブロック図である。 図14は図12に示した雑音推定部の一構成例を示すブロック図である。 図15は本発明のエコー抑圧装置の第2実施例の構成を示すブロック図である。 図16は本発明のエコー抑圧装置の第3実施例の構成を示すブロック図である。 図17は図16に示したスペクトルサプレッション部の一構成例を示すブロック図である。 図18は図17に示したフーリエ係数乗算器の第1構成例を示すブロック図である。 図19は図18に示した利得変換部の一構成例を示すブロック図である。 図20は図18に示したスペクトル推定部の第2構成例を示すブロック図である。 図21は図20に示した振幅抽出部の一構成例を示すブロック図である。 図22は図20に示した振幅抽出部の他の構成例を示すブロック図である。 図23は本発明のエコー抑圧装置の第4実施例の構成を示すブロック図である。 図24は本発明のエコー抑圧装置の第5実施例の構成を示すブロック図である。 図25は図24に示したエコーキャンセラの一構成例を示すブロック図である。 図26は図24に示したスペクトルサブトラクション部の一構成例を示すブロック図である。 図27は本発明のエコー抑圧装置の第6実施例の構成を示すブロック図である。 図28は本発明のエコー抑圧装置の第7実施例の構成を示すブロック図である。
図3は本発明のエコー抑圧装置の一構成例を示すブロック図である。
図3に示すように、本発明のエコー抑圧装置は、図1に示した第1従来例のエコー抑圧装置に加えて、マイクロホン1とスピーカ2の音響結合により発生する、近端信号へ洩れこむ遠端信号(エコー)の洩れこみ量の算出に用いる係数(以下、洩れこみ係数と称す)を生成する係数発生部200と、マイクロホン1の出力信号または減算器4の出力信号のいずれか一方を第1の信号とし、線形エコーキャンセラ3の出力信号を第2の信号としたとき、係数発生部200で生成した洩れこみ係数と第2の信号とに基づいて第1の信号を補正し、第1の信号からエコーを除去した近端信号を出力する変換部100とをさらに有する構成である。スピーカ2に入力される遠端信号は端子10から入力され、近端信号は端子9から出力される。なお、線形エコーキャンセラ3は、非線形エコーキャンセラであってもよい。
変換部100は、第1の信号及び第2の信号からエコーの洩れこみ量を推定し、この推定値(以下、洩れこみ推定値と称す)に基づいて第1の信号を補正する。または、係数発生部200で生成した洩れこみ係数を洩れこみ推定値に用いて第1の信号を補正する。その際、洩れこみ推定値を用いて補正した補正後の第1の信号(絶対値)が別途推定した近端雑音の推定値(絶対値)よりも小さくならないように制限する。このような処理は、第1の信号及び第2の信号を所定の周波数領域毎に分割し、該周波数領域毎に実施する。また、係数発生部200は予め設定された所定の使用状況に応じて洩れこみ係数を切り替えることが好ましい。
図4は図3に示した変換部の一構成例を示すブロック図である。
図4に示すように、変換部100は、周波数分割部160、周波数分割部161、M個の補正部166m(m=1〜M)及び周波数合成部164を備えた構成である。
周波数分割部160は、端子162を介して入力された第1の信号を所定の周波数領域毎にM分割し、該周波数領域に対応する補正部166mへ出力する。周波数分割部161は、端子163を介して入力された第2の信号を所定の周波数領域毎にM分割し、該周波数領域に対応する補正部166mへ出力する。
補正部mは、端子167を介して入力される音声検出部5の音声検出結果、当該周波数領域の第1の信号及び第2の信号を用いて算出した洩れこみ推定値と第2の信号とを用いて第1の信号を補正し、補正後の信号を周波数合成部164へ出力する。または、補正部mは、端子67を介して入力される、係数発生部200で生成した洩れこみ係数を洩れこみ推定値として使用し、該推定値と第2の信号とを用いて第1の信号を補正し、補正後の信号を周波数合成部164へ出力する。周波数合成部164は、補正部mの出力信号を周波数合成して端子165から出力する。
洩れこみ推定値には、洩れこみ係数または第1の信号及び第2の信号から算出した値のいずれか一方を常に使用してもよく、これらを適宜切り替えて使用してもよい。洩れこみ推定値を切り替える方法としては、例えば近端音声が所定のしきい値よりも大きいときは第1の信号及び第2の信号から洩れこみ推定値を算出し、近端音声が所定のしきい値よりも小さいときは洩れこみ係数を洩れこみ推定値として用いる方法がある。
補正部166mは、洩れこみ推定値を用いて第1の信号を補正し、補正後の信号が周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限する。具体的には、洩れこみ推定値と第2の信号を用いて第1の信号に含まれるエコーの量を推定し、この推定したエコーの量を第1の信号から減じ、その減算後の信号が近端雑音の推定値よりも小さくならないように制限する。
または、洩れこみ推定値と第2の信号を用いて第1の信号に含まれるエコーの量を推定し、この推定したエコーの量を第1の信号から減じ、その減算後の信号を近端雑音の推定値よりも小さくならないように制限して第3の信号とする。そして、この第3の信号と第1の信号から第1の信号に含まれる近端信号の割合を推定し、その推定した割合を第1の信号に乗じてもよい。
周波数分割部160、161は、フーリエ変換、コサイン変換、サブバンド分析フィルタバンク等の任意の線形変換を用いて周波数分割を行う。周波数合成部164は、周波数分割部160、161で用いる線形変換に対応する逆フーリエ変換、逆コサイン変換、サブバンド合成フィルタバンク等を用いて周波数合成を行う。
本発明のエコー抑圧装置は、洩れこみ推定値を用いて第1の信号を補正し、補正後の信号が近端雑音の推定値よりも小さくならないように制限する点で第4従来例のエコー抑圧装置と異なっている。本発明のエコー抑圧装置によれば、補正後の第1の信号が近端雑音よりも小さくなることがないため、洩れこみ推定値が誤っていても不快な遠端信号による近端信号の変調音を低減できる。
また、本発明のエコー抑圧装置は、洩れこみ係数を定数とする点でエコーの洩れこみ量を第1の信号及び第2の信号から適宜算出する第4従来例と異なっている。第4従来例では、エコーの洩れこみ量が遠端信号の周波数スペクトル分布に依存するため、洩れこみ係数を定数とすることは不適当であると認定していた。しかしながら、本発明者は、音声通話を目的とする限り、女性と男性の音声周波数スペクトル分布の相違程度では、洩れこみ係数を定数にしても十分にエコーを抑圧できることを実験により確認した。以下、この点について詳述する。
図5はエコーレプリカ信号と残留エコーのスペクトルの相関を調べた実験結果を示すグラフである。図5に示すグラフの横軸はエコーレプリカ信号の振幅(線形エコーキャンセラ3の出力振幅)を示し、縦軸は残留エコーの振幅(第1の信号に含まれるエコー成分)を示している。
相関の傾き(残留エコーの振幅/エコーレプリカの振幅)はエコーの歪の大きさを示し、傾きが大きいほど歪が大きいことを示している。すなわち、相関の傾きは洩れこみ係数に相当する。
図5に示すように、同じ女性の声であっても周波数によって相関の傾きが異なることが分かる。男性の場合も同様である。しかしながら、同一の周波数で比較すると、女性の声の相関の傾きと男性の声の相関の傾きは、ほぼ同じになっている。図5では示していないが、音楽のように人の声とスペクトル分布が著しく異なる音を遠端信号とした場合、図5のグラフに示した周波数と同じ周波数であっても(1250Hz、3125Hz)、相関の傾きは人の声と全く異なっている。その理由は、より低い周波数成分を含む音楽等では、残留エコーの原因である高調波の発生元となる周波数成分が人の声よりも遥かに多いからである。
このようにエコーレプリカ信号と残留エコーの相関の傾きは、遠端信号の周波数スペクトル分布に依存するが、女性と男性の音声周波数スペクトル分布の相違程度では周波数毎の相関の傾きが類似していることが確かめられた。この結果から、音声通話を目的とする限り、同一の洩れこみ係数を用いても良いことが分かる。
但し、図5に示すように、エコーレプリカ信号と残留エコーの相関の傾きは周波数によって異なる。そのため、係数発生部200にて第1の信号の周波数領域毎に異なる洩れこみ係数を生成し、変換部100にて周波数領域に応じた洩れ込み係数を用いて第1の信号を補正すればエコーを十分に抑圧できる。
ところで、線形エコーキャンセラ3で十分に抑圧できないと言われるエコーの歪音は、スピーカ2自体から発生する歪音と、マイクロホン1やスピーカ2が実装された筐体が振動することで発生する歪音とに大別される。さらに、それらの歪音はエコーの抑圧対象である装置の利用状況によっても変化する。したがって、係数発生部200は、エコーの抑圧対象である装置の利用状況に応じて洩れこみ係数を切り替えて出力することが望ましい。
以下、携帯電話装置を例にして利用状況に応じて洩れこみ係数を切り替える例について説明する。
スピーカ2自体から発生する歪音の原因はスピーカ特性の非線形性にある。したがって、図6に示すように複数のスピーカ301〜303を適宜切り替える携帯電話装置では、個々のスピーカ特性が相違する場合、利用するスピーカによってエコーの歪音が相違する。そのような使用状況では、使用するスピーカを検出し、検出したスピーカに応じて洩れこみ係数を切り替えればよい。
また、スピーカ2を1つしか実装していない携帯電話装置でも、マイクロホン1との位置関係によってスピーカ2からマイクロホン1へ到達する歪音の大きさが変わるため、エコーの歪も変化する。そのような使用状況では、スピーカ2とマイクロホン1の相対位置を検出し、検出した相対位置に応じて洩れこみ係数を切り替えればよい。例えば、図6に示す折りたたみ型の携帯電話装置300の場合、スピーカ2とマイクロホン1の位置関係はヒンジ部321の角度によって決まるため、ヒンジ部321の角度を検出し、該角度に応じて洩れこみ係数を切り替えればよい。
また、図6に示す折りたたみ型の携帯電話装置300において、複数のマイクロホン311、312を適宜切り替えて使用する場合、使用するマイクロホンによってスピーカ2との相対位置が変わる。そのような使用状況では、使用するマイクロホンを検出し、検出したマイクロホンの位置に応じて予め設定された洩れこみ係数に切り替えればよい。
一方、筐体の振動に起因する歪音は、主として部品どうしの接合部で発生する。例えば、スピーカ2の出力音によって筐体が振動し、部品どうしの接合部から歪んだ音が発生する場合、この歪音がエコーの歪としてマイクロホン1に入力される。したがって、スピーカ2の音量が変化すると、スピーカ2から筐体へ伝わる音響エネルギーが変化し、部品どうしの接合部で生じる歪音も変化する。そのような使用状況では、スピーカ2の音量設定値を検出し、該音量設定値に応じて洩れこみ係数を切り替えればよい。
また、図6に示した折りたたみ型の携帯電話装置300では、完全に折り畳まれているか否かによって筐体の振動量が変化し、部品どうしの接合部で発生する歪音も変化する。そのような使用状況では、携帯電話装置300が完全に折り畳まれているか否かを検出し、その検出結果に応じて洩れこみ係数を切り替えればよい。
また、図6に示した折りたたみ型の携帯電話装置300では、折り曲げ角度によってスピーカの位置が変化するため、筐体内の同じ部位であってもヒンジ部321の角度によってスピーカ2から伝わる音響エネルギーが変化し、部品どうしの接合部で生じる歪音が変化する。したがって、そのような使用状況でもヒンジ部321の角度を検出し、該角度に応じて洩れこみ係数を切り替えればよい。
なお、スライド型の携帯電話装置では、スライドの有無やスライド量を検出し、その検出結果に応じて洩れこみ係数を切り替えればよい。スライド機構と折りたたみ機構の両方を備えた携帯電話装置では、ヒンジ部の角度、携帯電話装置が折り畳まれているか否か、スライドの有無、あるいはスライド量を検出し、その検出結果に応じて洩れこみ係数を切り替えればよい。また、スライド型でも折りたたみ型でもない携帯電話装置では、例えば筐体内の部品どうしの接合部に伝わる音響エネルギーが変化する要因やエコーの音量変化に影響する要因を検出し、その検出結果に応じて洩れこみ係数を切り替えればよい。
さらに、本発明者は、線形エコーキャンセラ3から出力される信号の電力あるいは振幅が大きくなると、エコー経路の非線形性が変化することを実験により確認した。すなわち、マイクロホン1の出力信号に近端信号を全く含まない状態において歪のあるエコーを発生させたとき、エコーを十分に抑圧できる洩れこみ係数と線形エコーキャンセラ3の出力信号の電力との関係を調べると、図7に示すような結果が得られた。なお、図7は、1875Hzを中心とする周波数帯域における線形エコーキャンセラ3の出力信号とそれに応じた洩れこみ係数の関係を示している。図7に示すグラフの横軸は線形エコーキャンセラ3の出力信号の電力を示し、縦軸はエコーを十分に抑圧できる洩れこみ係数を示している。
図7に示すプロット点の分布から分かるように、エコーを十分に抑圧できる洩れこみ係数は、線形エコーキャンセラ3の出力信号の電力値が2000000を境にして急変している。これは、線形エコーキャンセラ3の出力信号の電力が大きいとき、線形エコーキャンセラ3の入力信号、すなわちスピーカ2へ入力する遠端信号の電力も大きいため、スピーカ特性の非線形性に起因するエコーの歪が急激に増えるためと考えられる。
したがって、本発明のエコー抑圧装置では、線形エコーキャンセラ3から出力される信号の電力あるいは振幅を使用状況として検出し、その検出値に応じて洩れこみ係数を切り替える。このような方法は、線形エコーキャンセラ3の出力信号の電力や振幅の代わりに、遠端信号の電力や振幅、あるいは遠端信号に含まれる特定の周波数成分の電力や振幅を用いることも可能である。
線形エコーキャンセラ3の出力信号に基づき洩れこみ係数を切り替える方法は、スピーカ2の音量設定値に基づき洩れこみ係数を切り替える方法と類似している。しかしながら、後者は遠端信号が全く無いためにエコーの抑圧が不要の場合でも音量設定に応じた洩れこみ係数を選択してしまう。一方、前者はそのような洩れこみ係数を誤って選択することが無い点で優れている。
以上説明した洩れこみ係数を切り替える方法は、上述した全ての使用状況を検出して洩れこみ係数を切り替える必要はなく、その内の1つあるいは複数の使用状況を検出して洩れこみ係数を切り替えてもよい。
例えば、複数のカメラを装備した携帯電話装置を用いて互いの映像を交換しながら通話を行う状況において(いわゆるテレビ電話)、該携帯電話装置が使用するカメラに応じてマイクロホンやスピーカが自動的に切り替わる構成の場合、使用するマイクロホンやスピーカを直接検出する代わりに、カメラで撮影した画像情報から使用しているマイクロホンやスピーカを検出してもよい。
洩れこみ係数の切り替えに用いる使用状況が決定したら、該使用状況に対応する最適な洩れこみ係数を実験やコンピュータによるシミュレーションによって決定し、洩れこみ係数を使用状況に対応付けて係数発生部200に保存しておく。
なお、ヒンジ部の角度、スピーカの音量設定値、使用するスピーカ等、エコー抑圧装置の外部に設けたセンサ等で検出可能な使用状況は、その検出結果を係数発生部200に入力すればよい。一方、遠端信号の電力や振幅、線形エコーキャンセラ3の出力信号の電力や振幅、遠端信号に含まれる特定の周波数成分の電力や振幅等の使用状況は、エコー抑圧装置内で検出し、その検出結果を係数発生部200に入力すればよい。
本発明のエコー抑圧装置によれば、洩れこみ推定値を用いて第1の信号を補正し、補正後の信号が近端雑音の推定値よりも小さくならないように制限するため、洩れこみ推定値を誤って算出しても不快な遠端信号による近端信号の変調音を低減できる。また、所定の使用状況に応じて予め設定された定数である洩れこみ係数を洩れこみ推定値として用いれば、定数である洩れこみ係数は雑音に影響されないため、近端音声として大きな雑音が入力される環境でもエコー経路に起因して発生するエコーを十分に抑圧できる。
次に本発明のエコー抑圧装置の実施例について図面を用いて説明する。
[第1実施例]
図8は本発明のエコー抑圧装置の第1実施例の構成を示すブロック図である。
第1実施例のエコー抑圧装置は、図3に示した変換部100として、スペクトルサブトラクション部6を用いる例である。
第1実施例の係数発生部200は、上述したようにマイクロホン1とスピーカ2の音響結合により発生するエコーの洩れこみ量を示す洩れこみ係数を生成する。
スペクトルサブトラクション部6には、減算器4の出力信号、線形エコーキャンセラ3の出力信号、係数発生部200で生成された洩れこみ係数及び音声検出部5の音声検出結果が入力される。
スペクトルサブトラクション部6は、減算器4の出力信号と線形エコーキャンセラ3の出力信号とをそれぞれ所定の周波数領域毎に分割し、分解後の周波数領域の信号成分毎にエコーを除去する。
<係数発生部200>
図9は図8に示した係数発生部の一構成例を示すブロック図である。
図9に示す係数発生部200は、帯域1から帯域Mの各周波数領域に適した洩れこみ係数を保持する係数記憶部201を備えた構成である。
係数発生部200は、係数記憶部201に格納された周波数領域(帯域)毎の洩れこみ係数を読み出し、スペクトルサブトラクション部6へ出力する。これら洩れこみ係数は、例えば図5に示した周波数1250Hzにおける相関の傾きや周波数3125Hzにおける相関の傾きに相当する。
図10は図8に示した係数発生部の他の構成例を示すブロック図である。
図10に示す係数発生部200は、帯域1から帯域Mの各周波数領域に適した洩れこみ係数群を保持する係数記憶部202と、本発明のエコー抑圧装置を備えたシステムの各種使用状況を検出する使用状況検出部203とを備えた構成である。
図10に示す係数発生部200は、各周波数領域に対応した洩れこみ係数群のうち、使用状況検出部203で検出された使用状況に対応する洩れこみ係数を係数記憶部202から読み出し、スペクトルサブトラクション部6へ出力する。
図10に示した構成では、各周波数領域に対応した洩れこみ係数群に、使用状況1用の洩れこみ係数、使用状況2用の洩れこみ係数、…、使用状況N用の洩れこみ係数を備えている。Nは2以上の任意の値とする。
例えば、使用状況の一例として、スピーカ2の音量設定値を検出する場合、使用状況検出部203は、スピーカ2の音量設定値を検出するセンサと、検出した音量設定値と所定の閾値とを比較し、比較結果を2値以上のデジタル値に変換する弁別部とを有する。
使用状況の他の例として、折りたたみ型携帯電話装置におけるヒンジ部の角度を検出する方法がある。この場合、使用状況検出部203は、ヒンジ部の角度を検出するセンサ(不図示)と、検出角度と所定の閾値とを比較し、比較結果を2値以上のデジタル値に変換する弁別部(不図示)とを有する。
使用状況の他の例として、複数のスピーカを備えた携帯電話装置から使用しているスピーカを検出する場合、使用状況検出部203は、どのスピーカが用いられているかを判定し、判定結果を2値以上のデジタル値で出力する判定部(不図示)を有する。
使用状況の他の例として、複数のマイクロホンを備えた携帯電話装置から使用しているマイクロホンを検出する場合、使用状況検出部203は、どのマイクロホンが用いられているかを判定し、判定結果を2値以上のデジタル値で出力する判定部(不図示)を有する。
使用状況の他の例として、線形エコーキャンセラ3の出力信号の電力または振幅を検出する場合、使用状況検出部203は、線形エコーキャンセラ3の出力信号の電力または振幅を検出する検出部(不図示)と、検出された電力または振幅を閾値判定して2値以上のデジタル値に変換する弁別部(不図示)とを有する。例えば、本発明のエコー抑圧装置を含むシステムに、図5のグラフで示した特性を備えている場合、線形エコーキャンセラ3の出力電力が2000000を境にして必要な洩れこみ係数が1から20に急変するため、閾値を2000000に設定し、2000000以下であれば「0」を出力し、2000000を越えていれば「1」を出力すればよい。
その他、使用状況にはエコーの洩れこみ量に影響するものであれば、どのようなものでも使用できる。また、複数の使用状況を組み合わせて用いることも可能である。
係数記憶部202は、各周波数領域に対応して予め登録された複数の洩れこみ係数の中から、使用状況検出部203の出力信号に対応する1つを選択し、選択した洩れこみ係数をスペクトルサブトラクション部6へ出力する。
例えば、図7に示した線形エコーキャンセラ3の出力信号の電力特性を使用状況として用いる場合、1875Hzを中心とする周波数領域に対応して図7の太い実線で示す「1」と「20」の2つの洩れこみ係数を保持し、使用状況検出部203から「0」が出力された場合は洩れこみ係数として「1」を出力し、使用状況検出部203から「1」が出力された場合は洩れこみ係数として「20」を出力する。
<スペクトルサブトラクション部6>
図11は図8に示したスペクトルサブトラクション部の一構成例を示すブロック図である。
図11に示すように、スペクトルサブトラクション部6は、フーリエ変換器60、フーリエ変換器61、フーリエ係数減算器66m(m=1〜M)及び逆フーリエ変換機64を備えた構成である。
フーリエ変換器60は、減算器4の出力信号に対してM点フーリエ変換処理を実施し、処理結果(振幅と位相)を第1のフーリエ係数として各周波数領域に対応するフーリエ係数減算器66m(m=1〜M)へ出力する。
フーリエ変換器61は、線形エコーキャンセラ3から出力されたエコーレプリカ信号に対してM点フーリエ変換処理を実施し、処理結果(振幅と位相)を第2のフーリエ係数として各周波数領域に対応するフーリエ係数減算器66mへ出力する。
フーリエ係数減算器66mは、フーリエ変換器60から出力された第1のフーリエ係数と、フーリエ変換器61から出力された第2のフーリエ係数と、図8に示した係数発生部200から出力された洩れこみ係数及び音声検出部5から出力された音声検出結果とを受け取り、それらの振幅成分を用いた減算処理を実施することでフーリエ係数を算出し、算出結果(振幅と位相)を逆フーリエ変換器64に出力する。
逆フーリエ変換器64は、フーリエ係数減算部661〜66Mから出力されたフーリエ係数群の逆フーリエ変換処理を実施し、処理結果の実数部を端子65から出力する。
次に図11に示したフーリエ係数減算器66m(m=1〜M)について図112を用いて説明する。
図12は図11に示したフーリエ係数減算器の一構成例を示すブロック図である。
図12に示すように、フーリエ係数減算器66mは、スペクトル推定部771、雑音推定部778及びリミッタ772を備えた構成である。
図11に示したフーリエ変換器60から出力された周波数領域毎の第1のフーリエ係数は端子700を介してスペクトル推定部771及び雑音推定部778へ供給される。
図11に示したフーリエ変換器61から出力された第2のフーリエ係数は端子703を介してスペクトル推定部771へ供給される。また、係数発生部20で生成された洩れこみ係数は端子67を介してスペクトル推定部771へ出力され、音声検出部5から出力された音声検出結果は端子167を介してスペクトル推定部771へ出力される。
スペクトル推定部771は、端子700から供給された第1のフーリエ係数からそのエコー成分を減じ、演算結果をリミッタ772へ出力する。雑音推定部778は、端子700から供給された第1のフーリエ係数から近端雑音の値を推定し、推定結果をリミッタ772へ出力する。
リミッタ772は、スペクトル推定部771から受け取った信号の上限値及び下限値を、雑音推定部778から受け取った近端雑音の推定値により制限する。リミッタ772の出力信号は、端子799を介して図9に示した逆フーリエ変換器64へ出力される。
次に図12に示したスペクトル推定部771について図13を用いて説明する。
図13は図12に示したスペクトル推定部の一構成例を示すブロック図である。
図13に示すように、スペクトル推定部771は、推定部791、推定部792、減算器706及び乗算器707を備えた構成である。
図12に示した端子700から入力された第1のフーリエ係数は減算器706及び推定部792へ供給される。また、図12に示した端子703から入力された第2のフーリエ係数は、乗算器707及び推定部792へ供給される。
推定部792は、端子167を介して入力された音声検出結果、第1のフーリエ係数及び端子703を介して入力された第2のフーリエ係数から、エコーの洩れこみ推定値を算出し、算出した洩れこみ推定値を選択部791へ出力する。
エコーの洩れこみ推定値の算出方法としては、例えば第3従来例に記載された方法を用いればよい。すなわち、洩れこみ推定値には、マイクロホンの出力信号から近端音声が検出されない期間における第2の信号の振幅または電力に相当する値に対する第1の信号の振幅または電力に相当する値の比、またはこの比の平滑値を用いることができる。
また、マイクロホンの出力信号から近端音声が検出されない期間における第2の信号の振幅または電力に相当する値の平滑値に対する第1の信号の振幅または電力に相当する値の平滑値の比を、さらに平滑した値を用いることもできる。
第1の信号及び第2の信号の振幅または電力に相当する値の平滑処理の時定数は、第1の信号及び第2の信号が減少するときに比べて増加するときの方が小さくなるように制御してもよい。
また、上記比の平滑処理の時定数は、近端音声が検出されているときは長い値または無限大とし、それ以外は短くするように制御するとよい。あるいは近端音声が検出されていないときに比べて検出されているときの値を非常に大きな値とし、かつ近端音声が検出されていないとき、または上記比が減少するときに比べて増加するときの値が小さくなるように制御してもよい。
選択部791は、端子67を介して入力された洩れこみ係数及び推定部792で算出された値のいずれか一方を選択し、エコーの洩れこみ推定値として乗算器707へ出力する。
選択部791は、上記2つの入力のいずれか一方を常に選択してもよく、適宜切り替えて出力してもよい。選択部791による洩れこみ推定値の選択方法としては、例えば近端音声や近端雑音の有無により、それらが所定のしきい値以上のときは推定部792で算出された値を選択し、それ以外のときは端子67から入力された洩れこみ係数を選択する方法がある。
乗算器707は、選択部791から出力された洩れこみ推定値を、端子703を介して入力された第2のフーリエ係数の振幅に乗じ、その演算結果をエコーの推定値として減算器706へ出力する。
減算器706は、乗算器707から出力されたエコーの推定値を、端子700を介して入力された第1のフーリエ係数から減じ、その演算結果をエコー抑圧後の信号のフーリエ係数の推定値として端子798から出力する。端子798から出力されたフーリエ係数の推定値は、図10に示したリミッタ772へ出力される。
次に図12に示した雑音推定部778について図14を用いて説明する。
図14は図12に示した雑音推定部の一構成例を示すブロック図である。
図14に示すように、雑音推定部778は、減算器801、乗算器802、加算器803、遅延器804、リミッタ807及び平滑化係数決定部810を備えた構成である。
図14に示すように、雑音推定部778には、フーリエ変換器60から出力された第1のフーリエ係数が端子800を介して入力される。
減算器810は、第1のフーリエ係数から遅延器804の出力信号(雑音推定部778の出力信号)を減じ、その演算結果を平滑化係数決定部810及び乗算器802へ出力する。乗算器802は、減算器801の出力信号と平滑化係数決定部810の出力信号とを乗じ、その演算結果を加算器803へ出力する。加算器803は、乗算器802の出力信号と遅延器804の出力信号とを加算し、その演算結果をリミッタ807へ出力する。リミッタ807は、加算器803の出力信号を、予め設定した所定の範囲を越えないように上限値及び下限値をそれぞれ制限し、その制限後の信号を出力端子899及び遅延器804へ出力する。遅延器804は、リミッタ807の出力信号を1サンプル時間だけ遅延させ、遅延後の出力信号を減算器801及び加算器803へ出力する。
図14に示す雑音推定部778は、いわゆるリーク積分器、または一次IIR型低域フィルタと呼ばれる構成である。但し、図14に示す雑音推定部778では、その時定数を決定する係数が定数ではなく、平滑化係数決定部810から変数として供給される。なお、平滑化係数と平滑化の時定数とは反比例の関係になる。平滑化係数決定部810は、減算器801の出力信号が正である場合、すなわち減算器801の出力信号が増加するときは比較的小さな係数、例えば0.01を出力し、減算器801の出力値が負である場合、すなわち減算器801の出力信号が減少するときは比較的大きな係数、例えば0.5を出力する。
このように平滑化係数を制御すると、雑音推定部778の出力信号が増大する速度、すなわち立ち上がり速度が遅くなり、雑音推定部778の出力信号が減少する速度、すなわち立ち下がり速度が速くなる。そのため、図12に示した雑音推定部778に入力される信号のうち、信号レベルが低い定常的に存在する信号成分の振幅値が出力される。定常的に存在する成分とは、すなわち近端雑音であり、雑音推定部778の出力信号は近端雑音の推定値(振幅値)と考えることができる。
図12に示したリミッタ772は、例えばスペクトル推定部771から出力されたエコーの抑圧後の信号のフーリエ係数の推定値と、雑音推定部778から出力された近端雑音のフーリエ係数の推定値とを比較し、その大きい値を出力する構成である。リミッタ772の他の構成例については後述する。
ここで、図12に示したフーリエ係数減算器66mの動作について数式を用いて説明する。
まず、推定部792で算出された値を洩れこみ推定値として用いる場合の動作を説明する。
近端信号のフーリエ係数をSとし、それに含まれる近端音声の信号成分をA、エコー成分をE、雑音成分をNとすると、
S=A+E+N …(1)
の関係がある。
また、遠端信号のフーリエ係数をRとすると、Rとエコー成分Eの位相は時間軸があっているために、ほぼ同じと考えられる。
近端音声の信号成分Aが無い場合、すなわち近端音声が無いとき、近端信号SはE+Nであり、全て除去すべき信号である。この信号E+Nを遠端信号のフーリエ係数Rから推定し、近端音声がある場合に近端信号からE+Nを減算することを考える。音声検出結果を用いて近端音声がないときのS/Rを平滑した結果P1は、
P1=Av[S/R]=Av[(E+N)/R] …(2)
となる。ここでAv[・]は平滑化を表している。
このP1は、遠端信号Rが近端信号にエコーとして洩れこむ割合の近似値を示しており、エコー経路におけるエコーのゲインに相当する。
したがって、このP1にRを乗じた値P2(乗算器707の出力信号に相当)は、エコー成分及び雑音成分の推定値になる。
P2=P1×R
=R×Av[(E+N)/R]
=Ex[E+N] …(3)
ここでEx[・]は、推定値を表している。
このP2をSから引いた値P3(減算器706の出力信号に相当)は、
P3=S−P2
=S−(R×Av[(E+N)/R])
=(A+E+N)−Ex[E+N]
=Ex[A] …(4)
となる。すなわち、減算器706の出力信号P3は、エコー成分E及び雑音成分Nが除去された、近端音声のフーリエ係数成分Aとなる。
次に、係数発生部200で生成した洩れこみ係数をエコーの洩れこみ推定値として用いる場合のフーリエ係数減算器66mの動作を説明する。
上述したように、近端信号のフーリエ係数をSとし、それに含まれる近端音声の信号成分をA、エコー成分をE、雑音成分をNとすると、それらの値には上記式(1)が成り立つ。
また、遠端信号のフーリエ係数をRとし、洩れこみ係数の値をP1とする。洩れこみ係数P1は、遠端信号Rが近端信号にエコーとして洩れこむ割合の近似値であり、エコー経路におけるエコーのゲインに相当する。
したがって、このP1にRを乗じた値P2(乗算器707の出力信号に相当)は、エコー成分の推定値になる。
P2=P1×R
=Ex[E] …(3’)
このとき、P2をSから減じた値P3(減算器706の出力信号に相当)は、
P3=S−P2
=S−P1×R
=(A+E+N)−Ex[E]
=Ex[A+N] …(4’)
となる。すなわち、減算器706の出力信号P3は、エコー成分Eが除去された、近端音声のフーリエ係数成分Aと雑音成分Nの和の推定値となる。
以上説明したように、理想的な状況下では、推定部792で算出された洩れこみ推定値を用いることでエコー成分E及び雑音成分Nを除去することが可能であり、係数発生部200で生成した洩れこみ係数を用いることでエコー成分Eを除去できる。
しかしながら、実際には音声検出結果の誤り等が原因で、推定部792で算出した洩れこみ推定値が正しくない場合がある。また、係数発生部200で生成する洩れこみ係数も使用条件の選択ミス等が原因で誤った値となることがある。その場合、エコーが十分に抑圧されずに近端信号(近端音声+近端雑音)に大きな歪が発生し、近端信号が遠端信号によって変調される現象が起きる。特に、推定部792で算出する洩れこみ推定値を用いると、雑音成分Nも抑圧しようとするため、この近端信号が遠端信号によって変調される現象がより顕著に現れる。このような現象は、リミッタ772を用いることで以下に記載するように軽減できる。
例えば、図12に示したリミッタ772が無い場合、上述したP1×Rがエコー成分Eを十分に近似していないとき、A+Nに歪が発生する。この歪が雑音成分Nの変調音として聞こえるために不快な音となる。
このような状況では、上記式(4’)の3行目の式と等価なP3=A+N+(E−Ex[E])において、近端音声Aが小さな値であり、(E−Ex[E])が雑音成分Nに匹敵する値である場合、P3の値が雑音成分Nの値に比べて非常に小さくなることがあり、雑音成分Nが変調されているように知覚される。
一方、リミッタ772がある場合、リミッタ772の出力値P4は、
P4=Max(A+N+E−Ex[E],Ex[N])≧Ex[N] …(5)
で表すことができる。ここで、Max(a,b)は、aとbのうち、大きい方を選択する操作を表している。
式(5)で示すように、リミッタ772の出力値P4は常にEx[N]よりも大きくなる。したがって、リミッタ772の出力値P4は雑音成分Nよりも小さな値となることがないため、雑音成分Nの変調音が低減する。
第1実施例のエコー抑圧装置は、線形エコーキャンセラ3と、スペクトルサブトラクション部6による周波数領域の非線形演算とを備え、互いの不得手な処理を補うことで十分なエコーの除去能力を得ている。
すなわち、エコー経路に歪がある場合や線形エコーキャンセラ3でエコー経路推定を誤った場合等、線形エコーキャンセラ3だけではエコーを十分に抑圧できない場合でもスペクトルサブトラクション部6によってエコーを抑圧できる。
また、線形エコーキャンセラ3の出力信号を用いてマイクロホンの出力信号を補正することで、スペクトルサブトラクション部6による周波数領域の非線形演算だけでは対応できない時間的なずれを考慮することなく、振幅値だけを用いた簡単な推定処理により歪の原因となる高調波成分を抑圧できる。
また、近端雑音の推定値Ex[N]をリミッタ807により制限することで近端雑音の変調音を低減できる。
さらに、スペクトルサブトラクション部6で用いる洩れこみ係数P1を使用状況に応じて予め設定した定数を用いることで、例えば近端騒音が大きい環境等において使用状況を変更した場合でも、エコーを十分に抑圧して、歪の少ない近端音声が得られる。
[第2実施例]
図15は本発明のエコー抑圧装置の第2実施例の構成を示すブロック図である。
第2実施例のエコー抑圧装置は、スペクトルサブトラクション部6に減算器4の出力信号ではなくマイクロホン1の出力信号を入力する点で第1実施例のエコー抑圧装置と異なっている。
第1実施例のエコー抑圧装置では線形エコーキャンセラ3によってエコーの主要成分を除去していたが、第2実施例のエコー抑圧装置ではスペクトルサブトラクション部6によってエコーの主要成分を除去する。その他の構成及び動作は第1実施例と同様であり、第1実施例と同様に歪に起因するエコーの除去効果についても同様に得られる。
したがって、第2実施例のエコー抑圧装置も、第1実施例と同様に音響伝達系に歪がある場合や線形エコーキャンセラ3でエコー経路推定を誤ったときのように線形エコーキャンセラ3だけではエコーを十分に抑圧できない場合でも、スペクトルサブトラクション部6によってエコーを十分に抑圧できる。また、スペクトルサブトラクション部6で用いる洩れこみ推定値P1として、使用状況に応じて予め設定した定数を用いることで、近端騒音が大きい環境において使用状況を変更した場合でも、エコーを十分に抑圧して、歪の少ない近端音声を得ることができる。さらに、近端雑音の変調音も低減できる。
なお、スペクトルサブトラクション部6は、第1実施例及び第2実施例で示した構成以外に、例えば非特許文献2(Xiaojian Lu、Benoit Champagneによる論文“Acoustical EchoCancellation Over A Non-Linear Channel”, International Workshop on Acoustic Echo and Noise Control 2001)に記載されたスペクトラルサブトラクション(Spectral Subtraction)、あるいは非特許文献3(A.Alvarez等による“A Speech Enhancement System Based On Negative Beamforming And Spectral Subtraction”, International Workshop on Acoustic Echo and Noise Control 2001)に記載されたスペクトラルサブトラクション(Spectral Subtraction)を用いることも可能である。
[第3実施例]
図16は本発明のエコー抑圧装置の第3実施例の構成を示すブロック図である。
第3実施例のエコー抑圧装置は、図8に示したスペクトルサブトラクション部6に代わってスペクトルサプレッション部7を用いる点で第1実施例のエコー抑圧装置と異なっている。その他の構成及び動作は第1実施例と同様であるため、その詳細な説明は省略する。
以下、図16に示したスペクトルサプレッション部7について図面を用いて説明する。
図17は図16に示したスペクトルサプレッション部の一構成例を示すブロック図である。
図17に示すように、スペクトルサプレッション部7は、フーリエ変換器70、フーリエ変換器71、フーリエ係数乗算器76m(m=1〜M)及び逆フィーリエ変換器74を備えた構成である。
フーリエ変換器70は、端子72を介して入力される、図16に示した減算器4の出力信号に対してM点フーリエ変換処理を実施し、処理結果(振幅と位相)を第1のフーリエ係数として各周波数領域に対応するフーリエ係数乗算器76m(m=1〜M)へ出力する。
フーリエ変換器71は、端子73を介して入力される、図16に示した線形エコーキャンセラ3の出力信号(エコーレプリカ信号)に対してM点フーリエ変換処理を実施し、処理結果(振幅と位相)を第2のフーリエ係数として各周波数領域に対応するフーリエ係数乗算器76mへ出力する。
フーリエ係数乗算器76mは、フーリエ変換器70から出力された第1のフーリエ係数と、フーリエ変換器71から出力された第2のフーリエ係数と、端子67を介して入力される、図16に示した係数発生部200から出力された洩れこみ係数と、端子167を介して入力される、図16に示した音声検出部5から出力された音声検出結果を受け取り、それらの振幅成分を用いた乗算処理を実施することでフーリエ係数を算出し、算出結果(振幅と位相)を逆フーリエ変換器74へ出力する。
逆フーリエ変換器74は、フーリエ係数乗算器76m(m=1〜M)から出力されたフーリエ係数群の逆フーリエ変換処理を実施し、処理結果の実数部を端子75から出力する。図17に示す構成では、フーリエ係数乗算器76m(m=1〜M)によってエコー成分が抑圧された近端信号が得られる。
次に、フーリエ係数乗算器76m(m=1〜M)の構成及び動作について図16を用いて説明する。
図18は図17に示したフーリエ係数乗算器の第1構成例を示すブロック図である。
図18に示すように、第1構成例のフーリエ係数乗算器76mは、スペクトル推定部771、雑音推定部778、リミッタ772、利得変換部773及び乗算器774を備えた構成である。
図17に示したフーリエ変換器70から出力された周波数領域毎の第1のフーリエ係数は端子700を介してスペクトル推定部771及び雑音推定部778へ供給される。
図17に示したフーリエ変換器71から出力された第2のフーリエ係数は端子703を介してスペクトル推定部771へ供給される。また、係数発生部20で生成された洩れこみ係数は端子67を介してスペクトル推定部771へ供給され、音声検出部5から出力された音声検出結果は端子167を介してスペクトル推定部771へ供給される。
スペクトル推定部771は、端子700から供給された第1のフーリエ係数からそのエコー成分を減じ、演算結果をリミッタ772へ出力する。雑音推定部778は、端子700から供給された第1のフーリエ係数から、近端雑音の値を推定し、推定結果をリミッタ772へ出力する。
リミッタ772は、スペクトル推定部771から受け取った信号の下限値を雑音推定部778から受け取った近端雑音の推定値により制限する。リミッタ772の出力信号は利得変換部773へ出力される。
リミッタ772の出力信号(エコー抑圧後の近端音声及び近端雑音の推定値)の誤差は、一般にミュージカルノイズと呼ばれる。利得変換部773は、リミッタの出力信号に対して平滑処理等を行うことでミュージカルノイズを低減するために設けられている。
乗算器774は、利得変換部773の出力信号と端子700を介して入力された第1のフーリエ係数とを乗じ、その演算結果を端子798を介して出力する。
ここで、図18に示した利得変換部773について図面を用いて説明する。
図19は図18に示した利得変換部の一構成例を示すブロック図である。
図19に示すように、利得変換部773は、振幅抽出部7733、振幅抽出部7734、除算器7735及び平滑部7736を備えた構成である。
図18に示したリミッタ772の出力信号は、端子7731を介して振幅抽出部7733へ入力される。また、図18に示した端子700から入力された第1のフーリエ係数は、端子7732を介して振幅抽出部7734へ入力される。
振幅抽出部7733及び振幅抽出部7734は、入力信号の振幅値を検出し、その検出結果を除算器735へ出力する。除算器7735は、振幅抽出部7733の出力信号を振幅抽出部7734の出力信号で除算し、その演算結果を平滑部7736へ出力する。平滑部7736は、除算器7735の出力信号を平滑し、平滑後の信号を端子7739を介して図18に示した乗算器774へ出力する。平滑部7736には、例えば平滑化係数決定部810で生成する平滑化係数が異なることを除けば、図14に示した雑音推定部778と同様の構成を用いることができる。
平滑部7736として図14に示した構成を採用すると、平滑化係数の値によって平滑部7736の出力信号が増大する速度、すなわち立ち上がり速度を遅くし、平滑部7736の出力信号が減少する速度、すなわち立ち下がり速度が速くできる。
一般に、音声や音楽の振幅変化、すなわち包絡線特性は、立ち上がり時が速く、立ち下がり時が遅い場合が多い。図14に示した構成を採用すると、このような包絡線特性を備えることが可能であり、近端信号に含まれる近端音声及び近端騒音の割合の推定精度を改善できる。
ここで、平滑部7736の出力値について式を用いて説明する。
上述したフーリエ係数減算部66mの説明で用いた式(4’)の第2行目の全体をSで除算することで平滑した値P5は下記式(6)のように表すことができる。この式(6)の第1行目の右辺は図19に示す平滑部7736の出力値に相当する。
P5=Av[Max((S−P1×R)/Av[S],Ex[N]/Av[S])]
…式(6)
ここで、Max(a,b)は、aとbのうち、大きい方を選択する操作を表している。
図18に示したリミッタ772が動作していない場合、式(6)の選択操作では左項が選択されるため、P5は、
P5=Av[(S−P1×R)/Av[S])]
=Av[(A+E+N)−Ex[E] )/Av[S]]
=Av[Ex[A+N]/Av[S]]
=Ex[(A+N)/S] …(7)
となる。式(7)より、平滑部7736の出力値P5は、近端信号に含まれる近端音声及び近端雑音の割合の推定値であることが分かる。
したがって、図17に示したスペクトルサプレッション部7からは、エコーが抑圧された近端音声及び近端雑音が得られることが分かる。
一方、図18に示したリミッタ772が動作している場合、式(6)の選択操作では右項が選択されるため、P5は、
P5=Av[Ex[N]/Av[S])]
=Ex[N/S] …(8)
となる。
式(8)により、平滑部7736の出力値P5は、近端信号に含まれる近端雑音の割合の推定値であることが分かる。
したがって、この場合も図17に示したスペクトルサプレッション部7からは、エコーが抑圧された近端音声及び近端雑音が得られることが分かる。
図20は図18に示したスペクトル推定部の第2構成例を示すブロック図である。
図20に示すスペクトル推定部771は、推定部792、係数発生部791、振幅抽出部793、振幅抽出部794、減算器706及び乗算器707を備えた構成である。
図20に示すスペクトル推定部771は、端子700から減算器706の経路に振幅抽出部793が挿入され、端子703から乗算器707の経路に振幅抽出部794が挿入された点で図13に示したスペクトル推定部と異なっている。
振幅抽出部793は、入力信号の振幅を検出し、該検出値を出力する。振幅抽出部793には、図21及び図22に示す構成を用いることができる。
図21は図20に示した振幅抽出部の一構成例を示すブロック図であり、図22は図20に示した振幅抽出部の他の構成例を示すブロック図である。
図21に示す振幅抽出部793は、入力信号の絶対値を計算する絶対値計算部7310と、絶対値計算部7310の出力信号を平滑して出力する平滑部7400とを備えた構成である。一方、図22に示す振幅抽出部793は、入力信号の二乗を計算する二乗計算部7320と、二乗計算部7320の出力信号を平滑する平滑部7400と、平滑部7400の出力信号の平方根を算出し、その算出結果を出力する平方根計算部7420とを備えた構成である。振幅抽出部794も振幅抽出部793と同様の構成である。
このような構成では、平滑部7736の出力値P6が以下のようになる。
P6=Av[Max((Av[S]−P1×Av[R])/Av[S],Ex[N]/Av[S])] …(9)
したがって、図18に示したリミッタ772が動作していない場合のP6は、
P6=Av[(Av[S]−P1×Av[R])/Av[S])]
=Av[(Av[(A+E+N)−Ex[E] )/Av[S]]
=Av[Ex[A+N]/Av[S]]
=Ex[(A+N)/S] …(10)
となる。式(10)より、平滑部7736の出力値P6は、式(7)で示したP5と同様に、近端信号に含まれる近端音声及び近端雑音の割合の推定値であることが分かる。したがって、スペクトル推定部771として図20に示した構成を用いても、図17に示したスペクトルサプレッション部7からは、エコーが抑圧された近端音声及び近端雑音が得られることが分かる。
[第4実施例]
図23は本発明のエコー抑圧装置の第4実施例の構成を示すブロック図である。
第4実施例のエコー抑圧装置は、スペクトルサプレッション部7に減算器4の出力信号ではなくマイクロホン1の出力信号を入力する点で図16に示した第3実施例のエコー抑圧装置と異なっている。
そのため、第3実施例のエコー抑圧装置では線形エコーキャンセラ3によってエコーの主要成分を除去しているが、第4実施例のエコー抑圧装置ではスペクトルサプレッション部7によってエコーの主要成分を除去している。
その他の構成及び動作は第3実施例と同様であり、第3実施例と同様の効果を得ることができる。
以上、本発明の実施例について説明したが、本発明は上述した第1実施例〜第4実施例に限らず、以下に示すような各種の変更も可能である。
第1従来例〜第4従来例では、図12や図18に示したリミッタ772として、2つの入力値のうちのいずれか大きい方を選択する簡単な構成例を示した。しかしながら、リミッタ772は、その信号出力が近端雑音の推定値よりも小さくならなければどのような構成であってもよい。例えば、上記P3が近端雑音の推定値Ex[N]よりも大きな値の時、近端雑音の推定値へ近づくにつれて大きな値となる関数を用いて選択する構成であってもよい。
また、第1従来例〜第4従来例では、スペクトルサブトラクション部6及びスペクトルサプレッション部7において、所定のサンプル周期毎にフーリエ変換を行う例で説明したが、所定のサンプル周期毎に限らず、一定間隔のフレーム単位で処理することも可能である。
また、フレームをオーバーラップさせて処理することも可能である。その際、オーバーラップセーブやオーバーラップアドなどの手法を用いて、演算量を削減することも可能である。オーバーラップセーブやオーバーラップアドについては、例えば非特許文献4(John J. Shynkによる論文“Frequency-Domain and Multirate Adaptive Filtering”, IEEE Signal Processing Magazine, 1992年1月、pp.14-37)に記載されている。
また、第1従来例〜第4従来例では、スペクトルサブトラクション部6及びスペクトルサプレッション部7においてフーリエ変換を行う例で説明したが、フーリエ変換以外に、コサイン変換やフィルタバンク等の線形変換を用いることも可能であり、サブバンド領域に変換して後、処理を行うことも可能である。その場合、フーリエ係数用の減算器や乗算器は、それらの線形変換に対応して変更すればよい。例えばコサイン変換を用いる場合は、コサイン係数用の減算器、コサイン係数用の乗算器を用いればよい。それら各種の演算器の動作は上述した第1従来例〜第4従来例で示した線形変換にフーリエ変換を用いる場合と同様である。
[第5実施例]
第1実施例〜第4実施例では線形エコーキャンセラ3を用いる例を示したが、エコーの抑圧には変換領域エコーキャンセラを用いることも可能である。その場合、変換領域エコーキャンセラの変換領域を上述したスペクトルサブトラクション部6やスペクトルサプレッション部7と同一の変換領域とすれば、エコー抑圧装置全体の演算量の削減及び演算に伴う遅延時間を短縮できる。
なお、変換領域エコーキャンセラとは、線形変換によって展開された変換領域においてエコーの抑圧処理を行い、逆線形変換によって元の領域に再合成するエコーキャンセラを指す。
以下、変換領域エコーキャンセラとして、例えば上記非特許文献4に記載されたフーリエ変換領域エコーキャンセラを用いる例で説明する。
図24は本発明のエコー抑圧装置の第5実施例の構成を示すブロック図である。
第5実施例のエコー抑圧装置は、エコーキャンセラ13及びスペクトルサブトラクション部16がフーリエ変換領域において処理を行う構成である。エコーキャンセラ13は変換領域信号群1及び変換領域信号群2をスペクトルサブトラクション部16に出力する。
図25は図24に示したエコーキャンセラの一構成例を示すブロック図である。
図25に示すエコーキャンセラ13は、フーリエ変換器35、適応フィルタ群38、逆フーリエ変換器36、フーリエ変換器37及び乗算器39m(m=1〜M)を備えた構成である。
端子31より入力された遠端信号は、フーリエ変換器35によってフーリエ変換領域に展開され、周波数領域毎に適応フィルタ群38へ出力される。また、図24に示した減算器4から端子33を経由して入力された減算結果は、フーリエ変換器37によりフーリエ変換領域に展開され、周波数領域毎にそれぞれ乗算器39m(m=1〜M)へ出力される。
乗算器39m(m=1〜M)は、フーリエ変換器37から受信した信号に端子34を介して受信した音声検出結果を乗じ、その演算結果を適応フィルタ群38へ出力する。
適応フィルタ群38は、M個の適応フィルタを備え、フーリエ変換器35から出力された信号群2と乗算器39m(m=1〜M)から出力された信号群1とを受信し、対応する信号を用いて適応フィルタによる処理を行う。適応フィルタの処理によって得られたフィルタ出力は逆フーリエ変換器36へ出力される。
逆フーリエ変換器36は、適応フィルタ群38で処理されたフィルタ出力の逆フーリエ変換処理を実施し、その処理結果を端子32から出力する。端子32から出力される信号がエコーキャンセラとしての出力信号となる。
また、エコーキャンセラ13は、スペクトルサブトラクション部16で用いる、フーリエ変換器37の出力信号を変換領域信号群1としてベクトル型出力端子41から出力し、適応フィルタ群38の出力を変換領域信号群2としてベクトル型出力端子42から出力する。
変換領域信号群1は、図24に示した減算器4の出力信号をフーリエ変換した信号であり、変換領域信号群2は、図24に示したエコーキャンセラ13から減算器4へ出力される信号をフーリエ変換した信号と解釈できる。
次に、図24に示したスペクトルサブトラクション部16の構成及び動作について図面を用いて説明する。
図26は図24に示したスペクトルサブトラクション部の一構成例を示すブロック図である。
図26に示すスペクトルサブトラクション部16は、図11に示したフーリエ変換器60及びフーリエ変換器61が削除され、変換領域信号群1及び変換領域信号群2が入力される点で第1実施例のエコー抑圧装置で用いたスペクトルサブトラクション部6と異なっている。
上述したように、変換領域信号群1は、図24に示した減算器4の出力信号をフーリエ変換した信号であり、変換領域信号群2は、図24に示したエコーキャンセラ13から減算器4へ出力される信号をフーリエ変換した信号と解釈できる。これらの信号群は、図11に示したスペクトルサブトラクション部6が備えるフーリエ係数減算器66m(m=1〜M)に入力される2つの信号と全く同一である。そのため、図26に示すスペクトルサブトラクション部16は、図11に示したスペクトルサブトラクション部6と全く同一の信号を出力する。したがって、図24に示した第5実施例のエコー抑圧装置も本発明の第1実施例のエコー抑圧装置と同様の効果を備えている。
第5実施例のエコー抑圧装置では、スペクトルサブトラクション部16へエコーキャンセラ13から出力された変換領域信号群1及び変換領域信号群2を供給することで、スペクトルサブトラクション部16のフーリエ変換処理を低減できる。
このような構成は、第2実施例〜第4実施例で示したエコー抑圧装置にも適用可能である。また、フーリエ変換領域以外にコサイン変換領域等を用いることも可能である。
[第6実施例]
第1実施例〜第4実施例では線形エコーキャンセラ3を用いる例を示したが、エコーの抑圧には、例えば非特許文献4に記載されたサブバンド領域エコーキャンセラを用いることも可能である。その場合、スペクトルサブトラクション部6やスペクトルサプレッション部7の処理をサブバンド領域で処理を行えば、サブバンド領域に変換するためのフィルタを省略できる。
図27は本発明のエコー抑圧装置の第6実施例の構成を示すブロック図である。
第6実施例のエコー抑圧装置は、サブバンド領域においてエコーキャンセラ及びスペクトルサブトラクション部による処理を行う。
図27に示すように、第6実施例のエコー抑圧装置では、マイクロホン1の出力信号がサブバンド分析フィルタバンク91によってN個の周波数帯域に展開され、遠端信号がサブバンド分析フィルタバンク92によってN個の周波数帯域に展開される。
エコーキャンセラ部93n、減算器94n、音声検出部95n及びスペクトルサブトラクション部96n(ここでn=1〜N)は、サブバンド分析フィルタバンク91及びサブバンド分析フィルタバンク92によって展開された周波数帯域に対応して備えている。
スペクトルサブトラクション部96nの出力信号は、サブバンド合成フィルタバンク99によって元の信号領域へ逆変換され、近端信号として出力される。
各周波数帯域における、減算器94n、音声検出部95n及びスペクトルサブトラクション部96n(ここでn=1〜N)の処理は、エコーキャンセラのタップ数や、スペクトルサブトラクション部のフーリエ変換器の規模が異なる点を除けば、図8に示した第1実施例のエコー抑圧装置と同様に動作する。したがって、これらの装置の構成や動作についての説明は省略する。
第6実施例のエコー抑圧装置では、全ての処理がサブバンド領域に展開されて行われるため、線形エコーキャンセラ3における合成フィルタバンク、及びスペクトルサブトラクション部におけるサブバンド分析フィルタバンクを省略できる。そのため、サブバンド分析フィルタバンク及びサブバンド合成フィルタバンクに相当する演算量を削減でき、さらにその演算に相当する遅延時間を短縮できる。
図27に示した第6実施例の構成は、第2実施例〜第4実施例で示したエコー抑圧装置にも適用可能である。また、フーリエ変換領域以外にコサイン変換領域等を用いることも可能である。
[第7の実施例]
図28は本発明のエコー抑圧装置の第7実施例の構成を示すブロック図である。
第7実施例のエコー抑圧装置は、エコーキャンセラ及びスペクトルサブトラクションの処理をフーリエ変換領域で行う。
図28に示すように、第7実施例のエコー抑圧装置では、マイクロホン1の出力信号がフーリエ変換器191によってM個の周波数帯域に展開され、遠端信号がフーリエ変換器192によってM個の周波数帯域に展開される。
エコーキャンセラ部193m、減算器194m、音声検出部195m及びフーリエ係数減算器66m(m=1〜M)は、フーリエ変換器191及びフーリエ変換器192によって展開された周波数帯域に対応して備えている。
周波数帯域毎のフーリエ係数減算器66mの出力信号は、逆フーリエ変換器199によって元の信号領域へ逆変換され、近端信号として出力される。
各周波数帯域における、減算器194m、音声検出部195mの処理は、エコーキャンセラのタップ数が異なる点を除けば、図8に示した第1実施例のエコー抑圧装置と同様に動作する。したがって、これらの装置の構成や動作についての説明は省略する。
第7実施例のエコー抑圧装置は、第6実施例と同様にエコーキャンセラ及びスペクトルサブトラクション部の処理を変換領域において行っているが、フーリエ変換領域で処理を行うために周波数帯域の数Mが第6実施例よりも多くなり、スペクトルサブトラクション部に代わってフーリエ係数減算器66mを用いる点で第6実施例のエコー抑圧装置と異なっている。
第7実施例のエコー抑圧装置では、フーリエ変換領域に展開して処理するため、スペクトルサブトラクションの処理のためにフーリエ変換を行う必要がない。そのため、第7実施例では、スペクトルサブトラクション部が備えるフーリエ変換器及び逆フーリエ変換器が不要となり、フーリエ係数減算器66mのみでスペクトルサブトラクションの処理に必要な動作を行っている。
第7実施例のエコー抑圧装置では、省略したフーリエ変換器及び逆フーリエ変換器に相当する演算量を削減できる。
図28に示した第7実施例の構成は、第2実施例〜第4実施例で示したエコー抑圧装置にも適用可能である。また、フーリエ変換領域以外にコサイン変換領域等を用いることも可能である。
なお、第7実施例では線形エコーキャンセラを用いる例を示したが、エコーの抑圧には非線形エコーキャンセラを用いることも可能である。その場合もスペクトルサブトラクション部やスペクトルサプレッション部の処理をフーリエ変換領域で行えば、上記と同様の効果が得られる。
以上、本発明のエコー抑圧装置をハンズフリー電話器を例にして説明したが、本発明は、スピーカから音楽が拡声されている状態で収音する場合や、ハンドセットが備えるレシーバからのエコーが問題となるような場合等、スピーカによる拡声とマイクロホンによる収音とが同時に行われる各種の装置に適用可能である。

Claims (25)

  1. 収音器と拡声器間の音響結合により発生するエコーを抑圧するためのエコー抑圧方法であって、
    前記収音器の出力信号または前記収音器の出力信号からエコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、前記エコーキャンセラの出力信号を第2の信号としたとき、
    前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正し、該補正後の信号が推定した近端雑音の推定値よりも小さくならないように制限するエコー抑圧方法。
  2. 前記第1の信号を所定の周波数領域毎に分割し、
    各周波数領域に対応する前記洩れこみ推定値を用いて前記第1の信号を補正し、該補正後の信号が周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限する請求項1記載のエコー抑圧方法。
  3. 前記洩れこみ推定値と前記第2の信号から前記第1の信号に含まれるエコーの量を推定し、該推定したエコーの量を前記第1の信号から減じ、該減算後の信号が近端雑音の推定値よりも小さくならないように制限する請求項1または2記載のエコー抑圧方法。
  4. 前記洩れこみ推定値と前記第2の信号から前記第1の信号に含まれるエコーの量を推定し、該推定したエコーの量を前記第1の信号から減じ、該減算後の信号が近端雑音の推定値よりも小さくならないように制限した信号を第3の信号とし、該第3の信号と前記第1の信号から前記第1の信号に含まれる近端信号の割合を推定し、該推定した割合を前記第1の信号に乗ずる請求項1または2記載のエコー抑圧方法。
  5. 入力信号に比べて出力信号が増大するときの平滑処理の時定数が大きく、出力信号に比べて入力信号が減少するときの平滑処理の時定数が小さい平滑化回路に前記第1の信号を通過させることで前記近端雑音を推定する請求項1乃至4のいずれか1項記載のエコー抑圧方法。
  6. 前記洩れこみ推定値は、
    前記第1の信号へ洩れこむ前記エコーの洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数である請求項1乃至4のいずれか1項記載のエコー抑圧方法。
  7. 予め設定された複数の洩れこみ係数のうち、前記第1の信号の補正に用いる洩れこみ係数を所定の使用状況に応じて選択する請求項6記載のエコー抑圧方法。
  8. 前記使用状況は、
    前記エコーキャンセラの出力信号の電力または振幅、遠端信号の電力または振幅、前記遠端信号の特定の周波数成分の電力または振幅のいずれかである請求項7記載のエコー抑圧方法。
  9. 前記使用状況は、
    前記拡声器の音量設定値である請求項7記載のエコー抑圧方法。
  10. 前記使用状況は、
    前記収音器と前記拡声器との相対的な位置関係である請求項7記載のエコー抑圧方法。
  11. 前記使用状況は、
    前記収音器または前記拡声器の少なくとも一方が複数存在するとき、使用する収音器または拡声器である請求項7記載のエコー抑圧方法。
  12. 前記第1の信号と前記第2の信号から前記洩れこみ推定値を算出する請求項1乃至4のいずれか1項記載のエコー抑圧方法。
  13. 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置であって、
    前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、
    前記収音器の出力信号または前記収音器の出力信号から前記エコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、前記エコーキャンセラの出力信号を第2の信号としたとき、近端雑音の値を推定する雑音推定部と、
    前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正する補正部と、
    前記第1の信号の補正後の信号が前記推定した近端雑音よりも小さくならないように制限するリミッタと、
    を有するエコー抑圧装置。
  14. 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置であって、
    前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、
    前記収音器の出力信号または前記収音器の出力信号から前記エコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、前記エコーキャンセラの出力信号を第2の信号としたとき、前記第1の信号を所定の周波数領域毎に分割する周波数分割部と、
    前記分割された前記第1の信号の周波数領域毎に近端雑音の値を推定する雑音推定部と、
    前記第1の信号の周波数領域毎に、前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正する補正部と、
    前記第1の信号の補正後の信号が前記周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限するリミッタと、
    前記リミッタから出力された前記周波数領域毎に補正された前記第1の信号の補正後の信号を合成する周波数合成部と、
    を有するエコー抑圧装置。
  15. 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置であって、
    前記エコーを模擬したエコーレプリカ信号を生成する変換領域エコーキャンセラと、
    前記収音器の出力信号から前記変換領域エコーキャンセラの出力信号を減じた信号を前記変換領域エコーキャンセラ内で所定の周波数領域毎に分割した信号を第1の信号とし、前記変換領域エコーキャンセラ内における逆線形変換前の周波数領域毎の信号を第2の信号とするとき、前記第1の信号の周波数領域毎に近端雑音の値を推定する雑音推定部と、
    前記第1の信号の周波数領域毎に、前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正する補正部と、
    前記第1の信号の補正後の信号が前記周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限するリミッタと、
    前記リミッタから出力された前記周波数領域毎に補正された前記第1の信号の補正後の信号を合成する周波数合成部と、
    を有するエコー抑圧装置。
  16. 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置であって、
    前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、
    前記収音器の出力信号と前記拡声器の出力信号を所定の周波数領域毎に展開するサブバンド分析フィルタと、
    前記周波数領域に展開された前記収音器の出力信号または前記周波数領域に展開された前記収音器の出力信号から前記エコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、前記エコーキャンセラの出力信号を第2の信号としたとき、前記第1の信号の周波数領域毎に近端雑音の値を推定する雑音推定部と、
    前記第1の信号の周波数領域毎に、前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正する補正部と、
    前記第1の信号の補正後の信号が前記周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限するリミッタと、
    前記リミッタから出力された前記周波数領域毎に補正された前記第1の信号の補正後の信号を合成する周波数合成部と、
    を有するエコー抑圧装置。
  17. 収音器と拡声器間の音響結合により発生するエコーを抑圧するエコー抑圧装置であって、
    前記エコーを模擬したエコーレプリカ信号を生成するエコーキャンセラと、
    前記収音器の出力信号と前記拡声器の出力信号を所定の周波数領域毎に展開するフーリエ変換器と、
    前記周波数領域に展開された前記収音器の出力信号または前記周波数領域に展開された前記収音器の出力信号から前記エコーキャンセラの出力信号を減じた信号のいずれか一方を第1の信号とし、前記エコーキャンセラの出力信号を第2の信号としたとき、前記第1の信号の周波数領域毎に近端雑音の値を推定する雑音推定部と、
    前記第1の信号の周波数領域毎に、前記第1の信号へ洩れこむ前記エコーである前記第2の信号の洩れこみ量の推定値を示す洩れこみ推定値を用いて前記第1の信号を補正する補正部と、
    前記第1の信号の補正後の信号が前記周波数領域毎に推定した近端雑音の推定値よりも小さくならないように制限するリミッタと、
    前記リミッタから出力された前記周波数領域毎に補正された前記第1の信号の補正後の信号を合成する周波数合成部と、
    を有するエコー抑圧装置。
  18. 前記雑音推定部は、
    入力信号に比べて出力信号が増加するときの平滑処理の時定数が大きく、出力信号に比べて入力信号が減少するときの平滑処理の時定数が小さい、前記第1の信号を平滑して出力する平滑化回路である請求項1乃至4のいずれか1項記載のエコー抑圧装置。
  19. 前記洩れこみ推定値は、
    前記第1の信号へ洩れこむ前記エコーの洩れこみ量の算出に用いる、予め設定された値である洩れこみ係数である請求項13乃至17のいずれか1項記載のエコー抑圧装置。
  20. 前記補正部は、
    予め設定された複数の洩れこみ係数のうち、前記第1の信号の補正に用いる洩れこみ係数を所定の使用状況に応じて選択する請求項19記載のエコー抑圧装置。
  21. 前記使用状況は、
    前記エコーキャンセラの出力信号の電力または振幅、遠端信号の電力または振幅、前記遠端信号の特定の周波数成分の電力または振幅のいずれかである請求項20記載のエコー抑圧装置。
  22. 前記使用状況は、
    前記拡声器の音量設定値である請求項20記載のエコー抑圧装置。
  23. 前記使用状況は、
    前記収音器と前記拡声器との相対的な位置関係である請求項20記載のエコー抑圧装置。
  24. 前記使用状況は、
    前記収音器または前記拡声器の少なくとも一方が複数存在するとき、使用する収音器または拡声器である請求項20記載のエコー抑圧装置。
  25. 前記第1の信号と前記第2の信号から前記洩れこみ推定値を算出する請求項13乃至17のいずれか1項記載のエコー抑圧装置。
JP2007542623A 2005-10-26 2006-10-25 エコー抑圧方法及び装置 Expired - Fee Related JP4702372B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007542623A JP4702372B2 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005311181 2005-10-26
JP2005311181 2005-10-26
JP2007542623A JP4702372B2 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置
PCT/JP2006/321268 WO2007049644A1 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置

Publications (2)

Publication Number Publication Date
JPWO2007049644A1 true JPWO2007049644A1 (ja) 2009-04-30
JP4702372B2 JP4702372B2 (ja) 2011-06-15

Family

ID=37967754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007542623A Expired - Fee Related JP4702372B2 (ja) 2005-10-26 2006-10-25 エコー抑圧方法及び装置

Country Status (6)

Country Link
US (1) US8433074B2 (ja)
EP (1) EP1942583B1 (ja)
JP (1) JP4702372B2 (ja)
KR (1) KR100974371B1 (ja)
CN (1) CN101346896B (ja)
WO (1) WO2007049644A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185487B2 (en) * 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
DE602007003475D1 (de) * 2006-06-21 2010-01-07 Nxp Bv Verfahren zum demodulieren eines modulierten signals, demodulator und empfänger
JP5034595B2 (ja) * 2007-03-27 2012-09-26 ソニー株式会社 音響再生装置および音響再生方法
WO2009051197A1 (ja) * 2007-10-19 2009-04-23 Nec Corporation エコー抑圧方法及び装置
JP5056654B2 (ja) * 2008-07-29 2012-10-24 株式会社Jvcケンウッド 雑音抑制装置、及び雑音抑制方法
US8401178B2 (en) * 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
JP5347794B2 (ja) * 2009-07-21 2013-11-20 ヤマハ株式会社 エコー抑圧方法およびその装置
US20120195439A1 (en) * 2009-10-07 2012-08-02 Pioneer Corporation Active vibration noise control device
JP5018860B2 (ja) * 2009-10-29 2012-09-05 株式会社ニコン 信号処理装置及び撮像装置
US8600070B2 (en) 2009-10-29 2013-12-03 Nikon Corporation Signal processing apparatus and imaging apparatus
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
JP5156043B2 (ja) * 2010-03-26 2013-03-06 株式会社東芝 音声判別装置
US8538035B2 (en) * 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
EP2444967A1 (en) * 2010-10-25 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Echo suppression comprising modeling of late reverberation components
CN103238180A (zh) * 2010-11-25 2013-08-07 日本电气株式会社 信号处理设备、信号处理方法及信号处理程序
ES2558559T3 (es) * 2011-02-03 2016-02-05 Telefonaktiebolaget L M Ericsson (Publ) Estimación y supresión de no linealidades de altavoces armónicos
JP5654955B2 (ja) * 2011-07-01 2015-01-14 クラリオン株式会社 直接音抽出装置および残響音抽出装置
US9232071B2 (en) 2011-12-16 2016-01-05 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in a mobile device
US9654609B2 (en) 2011-12-16 2017-05-16 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device
US8737188B1 (en) 2012-01-11 2014-05-27 Audience, Inc. Crosstalk cancellation systems and methods
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9514763B2 (en) * 2013-05-15 2016-12-06 Lenovo (Singapore) Pte. Ltd. Noise reduction via tuned acoustic echo cancellation
GB201309777D0 (en) * 2013-05-31 2013-07-17 Microsoft Corp Echo suppression
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
CN104427144B (zh) * 2013-09-11 2017-06-13 联芯科技有限公司 一种线性回声消除方法及其装置
CN103561184B (zh) * 2013-11-05 2015-04-22 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
GB2521881B (en) 2014-04-02 2016-02-10 Imagination Tech Ltd Auto-tuning of non-linear processor threshold
JP6446893B2 (ja) * 2014-07-31 2019-01-09 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びエコー抑圧用コンピュータプログラム
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
TWI579835B (zh) * 2015-03-19 2017-04-21 絡達科技股份有限公司 音效增益方法
CN105611092A (zh) * 2015-12-18 2016-05-25 合肥寰景信息技术有限公司 一种网络语音同步消噪通讯系统
CN105592240A (zh) * 2015-12-18 2016-05-18 合肥寰景信息技术有限公司 一种网络语音同步消噪通讯装置
CN105516524A (zh) * 2015-12-18 2016-04-20 合肥寰景信息技术有限公司 一种网络语音同步消噪通讯方法
CN107045872B (zh) * 2016-02-05 2020-09-01 中国电信股份有限公司 通话回声的识别方法和装置
CN105657110B (zh) * 2016-02-26 2020-02-14 深圳Tcl数字技术有限公司 语音通信的回声消除方法及装置
US10154148B1 (en) * 2017-08-03 2018-12-11 Polycom, Inc. Audio echo cancellation with robust double-talk detection in a conferencing environment
CN110718237B (zh) 2018-07-12 2023-08-18 阿里巴巴集团控股有限公司 串音数据检测方法和电子设备
US11336367B1 (en) * 2021-03-12 2022-05-17 Iena Corporation Low-power pre-compensation of linear and nonlinear transmitter effects in narrow-spectrum optical signals
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541681A (ja) * 1991-08-05 1993-02-19 Toshiba Corp エコーキヤンセラ
JPH07240703A (ja) * 1994-02-28 1995-09-12 Toshiba Corp 通話障害防止装置
JPH08288894A (ja) * 1995-04-14 1996-11-01 Sony Corp エコー抑圧装置
JP2000252883A (ja) * 1999-02-25 2000-09-14 Sanyo Electric Co Ltd エコーキャンセラの制御装置
JP2002009677A (ja) * 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd 音響エコーキャンセラー装置
JP2004056453A (ja) * 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2550914B2 (ja) 1994-06-21 1996-11-06 日本電気株式会社 折りたたみ型携帯電話装置
JP2861888B2 (ja) 1995-10-17 1999-02-24 日本電気株式会社 エコー・ノイズキャンセラおよびエコー・ノイズ消去方法
EP0789476B1 (en) * 1996-02-09 2004-11-17 Texas Instruments Incorporated Noise reduction arrangement
KR100399034B1 (ko) * 2000-05-02 2003-09-22 한국과학기술원 효율적 메모리 셀 어레이 관리 방법
JP2004012884A (ja) 2002-06-07 2004-01-15 Sharp Corp 音声認識装置
WO2004034734A1 (ja) * 2002-10-08 2004-04-22 Nec Corporation アレイ装置および携帯端末

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541681A (ja) * 1991-08-05 1993-02-19 Toshiba Corp エコーキヤンセラ
JPH07240703A (ja) * 1994-02-28 1995-09-12 Toshiba Corp 通話障害防止装置
JPH08288894A (ja) * 1995-04-14 1996-11-01 Sony Corp エコー抑圧装置
JP2000252883A (ja) * 1999-02-25 2000-09-14 Sanyo Electric Co Ltd エコーキャンセラの制御装置
JP2002009677A (ja) * 2000-06-23 2002-01-11 Matsushita Electric Ind Co Ltd 音響エコーキャンセラー装置
JP2004056453A (ja) * 2002-07-19 2004-02-19 Nec Corp エコー抑圧方法及び装置

Also Published As

Publication number Publication date
JP4702372B2 (ja) 2011-06-15
EP1942583A1 (en) 2008-07-09
CN101346896B (zh) 2012-09-05
US20090154717A1 (en) 2009-06-18
KR20080066051A (ko) 2008-07-15
EP1942583A4 (en) 2011-10-26
KR100974371B1 (ko) 2010-08-05
US8433074B2 (en) 2013-04-30
WO2007049644A1 (ja) 2007-05-03
EP1942583B1 (en) 2016-10-12
CN101346896A (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
JP4702372B2 (ja) エコー抑圧方法及び装置
JP4702371B2 (ja) エコー抑圧方法及び装置
JP4161628B2 (ja) エコー抑圧方法及び装置
US8488776B2 (en) Echo suppressing method and apparatus
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
JP5501527B2 (ja) エコー消去装置およびエコー検出装置
JP5469564B2 (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
US8503687B2 (en) System identification device and system identification method
JP5057109B2 (ja) エコーキャンセラ装置
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP4631933B2 (ja) エコー抑圧方法
JP6121047B2 (ja) エコーキャンセラ装置
KR20030000347A (ko) 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R150 Certificate of patent or registration of utility model

Ref document number: 4702372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees