JPWO2010035308A1 - エコー消去装置 - Google Patents

エコー消去装置 Download PDF

Info

Publication number
JPWO2010035308A1
JPWO2010035308A1 JP2010530639A JP2010530639A JPWO2010035308A1 JP WO2010035308 A1 JPWO2010035308 A1 JP WO2010035308A1 JP 2010530639 A JP2010530639 A JP 2010530639A JP 2010530639 A JP2010530639 A JP 2010530639A JP WO2010035308 A1 JPWO2010035308 A1 JP WO2010035308A1
Authority
JP
Japan
Prior art keywords
echo
signal
power
spectrum
amplitude suppression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010530639A
Other languages
English (en)
Other versions
JP5036874B2 (ja
Inventor
敦仁 矢野
敦仁 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2010035308A1 publication Critical patent/JPWO2010035308A1/ja
Application granted granted Critical
Publication of JP5036874B2 publication Critical patent/JP5036874B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/235Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers combined with adaptive equaliser

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

適応フィルタ部103が送信入力信号からエコーを除去した送信中間信号を出力し、パワー比較部107が受信信号パワーと送信中間信号パワーのパワー比を算出する。受話ST検出部104が受話側のシングルトーク状態を検知した場合に、音響結合量推定部108がパワー比から推定音響結合量を推定して更新する。残留エコーパワー推定部109は受信信号パワーと推定音響結合量から推定残留エコーパワーを推定し、信号対エコー比推定部110が送信中間信号パワーと推定残留エコーパワーの比を推定する。振幅抑圧係数決定部111がこの比に応じた振幅抑圧係数を決定し、振幅抑圧部112が送信中間信号を振幅抑圧する。

Description

この発明は、音声通信に用いる音響エコー消去装置に関するものである。
線形エコー処理を用いる音響エコー消去装置では、適応フィルタ等の手段によって、スピーカからマイクに至るエコー経路の伝達関数を推定し、擬似エコー信号を生成していた。そして、マイクに入力された送話音声信号から擬似エコー信号を引き去ることによって、送話音声に含まれるエコーを除去していた。この音響エコー消去装置は、エコーと送話音声が重なった状態、即ちダブルトーク状態でも、送話音声を損なわずにエコーのみを除去できるという利点があった。しかしながら、エコー経路の伝達関数に推定誤差が生じること、および非線形エコー等により残留エコーが生じることによって、得られるエコー消去効果には限界があった。
一方、非線形エコー処理を用いる音響エコー消去装置では、音声信号に対して、音声スイッチ、センタクリッパおよび可変アッテネータ等による振幅抑圧処理を施すことによって直接エコーを抑えていた。この音響エコー消去装置は、簡単な構成で、残留エコーを発生させることなく確実にエコーを除去できるという利点があった。しかしながら、ダブルトーク状態では、エコーと共に送話音声を抑圧してしまうことで、音質を損ねるという問題があった。
上述のような問題を解決するために、一般的な音響エコー消去装置は、線形エコー処理によってエコーの主成分を除去し、消し残した残留エコーは、送話音声が有音でない場合にのみ、非線形エコー処理によって除去する構成であった。このような構成が、例えば非特許文献1に記載されている。
しかし、信号パワーにおいて、送話音声対エコー比率が比較的悪い環境では、送話音声がエコーに隠されやすくなるため、送話音声が有音であるか否かの判定が難しくなっていた。この結果、音響エコー装置がダブルトーク状態において送話音声を検出できず、過度な非線形エコー処理を施してしまうことにより、送話音声を損ねるという問題があった。
上述のような問題を解決するために、非線形エコー処理において音声信号の振幅抑圧に用いる抑圧係数を柔軟に制御する方法が、例えば特許文献1に開示されている。
特許文献1に開示の反響抑圧装置は、送話音声とエコーとが重畳した送信信号のパワーからエコー信号のパワーを減算することによって送話音声のみのパワーを算出し、この送話音声パワーに所定のマスキング閾値を加え、さらに送信信号のパワー値で正規化した値を、抑制係数としていた。反響抑圧装置は、この抑制係数を用いて非線形エコー処理を行うことにより、送話音声が存在するダブルトーク状態では自動的に抑圧が弱められ、送話音声が損なわれにくくなっていた。なお、エコー信号のパワーは、受信信号のパワーとエコー経路の音響結合量との積によって推定されていた。
ITU−T勧告 G.165(第17頁〜第20頁) 特開2002−84212号公報(段落0039〜段落0042)
例えば特許文献1に記載されたような従来のエコー消去装置では、エコー信号のパワーを受信信号のパワーとエコー経路の音響結合量との積によって推定しているが、この音響結合量はエコー経路の変動や周囲の雑音の影響を受けるために、正確な測定が困難であった。このため、推定したエコー信号のパワーには必ず推定誤差が存在しており、従って、このエコー信号のパワーに基づいて算出された送話音声パワーにも誤差があった。
特に、ハンズフリー電話等の送話音声対エコー比率の非常に悪い環境では、この誤差の影響が顕著であり、送信信号のパワーからエコー信号のパワーの推定値を減算して送話信号のパワーを算出するときに、送話音声パワーの推定値が0以下になってしまうことがあった。この結果、非線形エコー処理において過大なエコー抑圧が働き、送話音声が損なわれてしまうという問題が起こっていた。
従来のエコー消去装置は以上のように構成されているので、送話音声対エコー比率が悪い環境では、ダブルトーク状態において送話音声を損ねてしまうという課題があった。
なお、特許文献1を例にあげて説明した従来の方法において送話音声が損なわれる課題を回避するためには、前述のマスキング閾値を非常に高く設定してエコー抑圧を軽減させる必要がある。しかし、この場合には弊害としてエコーが充分に抑えられなくなるという問題が起こる。
この発明は、上記のような課題を解決するためになされたもので、送話音声対エコー比率が悪い環境において、ダブルトーク状態であっても、送話音声を損なうことなく十分なエコー処理性能を実現するエコー消去装置を得ることを目的とする。
この発明に係るエコー消去装置は、送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、受信信号と送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、受信信号のパワーを算出する第1のパワー算出部と、送信中間信号のパワーを算出する第2のパワー算出部と、受話シングルトーク検出部によってシングルトーク状態が検知された場合に、送信中間信号と受信信号のパワー比から音響結合量を推定して更新する音響結合量推定部と、受信信号のパワーと音響結合量から、送信中間信号の残留エコーパワーを推定する残留エコーパワー推定部と、送信中間信号のパワーと残留エコーパワーの比から、信号対エコー比を推定する信号対エコー比推定部と、信号対エコー比に応じて振幅抑圧係数を決定する振幅抑圧係数決定部と、振幅抑圧係数に基づいて送信中間信号を振幅抑圧する振幅抑圧部とを備えるものである。
このことによって、送話音声対エコー比率が悪い環境において、残留エコーパワーが正確に推定できない場合でも、送話音声を損なうことなく十分なエコー処理性能を実現するエコー消去装置を得ることができる。
この発明に係るエコー消去装置は、送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、受信信号と送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、受信信号を周波数スペクトルに変換する第1の周波数変換部と、受信信号の周波数スペクトルからパワースペクトルを算出する第1のパワースペクトル算出部と、送信中間信号を周波数スペクトルに変換する第2の周波数変換部と、送信中間信号の周波数スペクトルからパワースペクトルを算出する第2のパワースペクトル算出部と、受話シングルトーク検出部によってシングルトーク状態が検知された場合に、送信中間信号と受信信号のパワースペクトル比から音響結合量を推定して更新する音響結合量推定部と、受信信号のパワースペクトルと音響結合量から、送信中間信号の残留エコーパワースペクトルを推定する残留エコーパワースペクトル推定部と、送信中間信号のパワースペクトルと残留エコーパワースペクトルの比から、信号対エコースペクトル比を推定する信号対エコースペクトル比推定部と、信号対エコースペクトル比に応じて振幅抑圧係数スペクトルを決定する振幅抑圧係数スペクトル決定部と、振幅抑圧係数スペクトルに基づいて送信中間信号の周波数スペクトルを振幅抑圧する振幅抑圧部と、振幅抑圧された送信中間信号の周波数スペクトルを時系列信号に変換する逆周波数変換部とを備えるものである。
このことによって、周波数領域上で帯域毎に異なる振幅抑圧係数を算出して周波数領域で振幅抑圧することができ、時間領域で振幅抑圧する場合に比べて、話者音声の損失をさらに少なくできる。
この発明の実施の形態1に係るエコー消去装置の構成を示すブロック図である。 この発明の実施の形態1に係るエコー消去装置における振幅抑圧ゲインの特性を示すグラフである。 この発明の実施の形態2に係るエコー消去装置における振幅抑圧ゲインの特性曲線を示すグラフである。 この発明の実施の形態3に係るエコー消去装置の構成を示すブロック図である。 この発明の実施の形態3に係るエコー消去装置の振幅抑圧ゲイン特性設定部が保存する特性データの一例を示すグラフである。 この発明の実施の形態4に係るエコー消去装置の構成を示すブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態にして、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係るエコー消去装置の構成を示すブロック図である。エコー消去装置は、スピーカ101、マイク102、適応フィルタ部103、受話シングルトーク検出部(以下、受話ST検出部)104、第1および第2のパワー算出部105,106、パワー比較部107、音響結合量推定部108、残留エコーパワー推定部109、信号対エコー比推定部110、振幅抑圧係数決定部111、振幅抑圧部112を備える。図1において、rin(k)は受信信号、sin(k)は送信入力信号であり、kは時刻を表す。
次に、エコー消去装置の動作を説明する。
スピーカ101は、受信した受信信号rin(k)を受話音声として出力する。マイク102は、スピーカ101が出力した受話音声をエコーとして収音し、話者が発する送話音声とエコーとが混在した送信入力信号sin(k)を生成する。続いて、適応フィルタ部103が、マイク102から送信入力信号sin(k)を受け、線形エコー処理により送信入力信号sin(k)からエコーを除去して送信中間信号smid(k)を生成する。
なお、適応フィルタ部103はエコーを完全に除去することはできず、送信中間信号smid(k)には残留エコーが含まれる。適応フィルタ部103には、一般的によく知られるNLMS(Normalized Least Mean Square)アルゴリズム等を用いればよい。
続いて、受話ST検出部104が、受信信号rin(k)と適応フィルタ部103から入力される残留エコーを含む送信中間信号smid(k)とから、通話状態が受話側のシングルトーク状態、即ち送信入力信号がほぼエコーで占められている状態を検知する。そして、受話ST検出部104は、シングルトーク状態の検知結果として検知フラグRST(k)を音響結合量推定部108へ出力する。
検知フラグRST(k)は、0が受話シングルトーク以外の状態を示し、1が受話シングルトーク状態を示す。ただし、受話ST検出部104は、明確に受話シングルトーク状態と判断できる状態の場合のみ、受話シングルトーク状態と判定するものとする。
一般に、マイク102で収音された送信入力信号の送話音声対エコー比率が悪い環境では、受話シングルトークとダブルトークとの正確な識別が困難である。そのため、送話音声対エコー比率が悪く、受話シングルトークかダブルトークか判然としない状況では、受話シングルトーク状態を検知しないよう構成する。このような状況の場合には、受話ST検出部104は、例えば受信信号rin(k)が有音で、かつ送信中間信号smid(k)の信号パワーが所定の閾値よりも低く確実に話者音声が存在しないといえる状況のみを受話シングルトークとして検知するようにする。なお、この構成の場合には、第2のパワー算出部106が受話ST検出部104へ送信中間信号のパワーを出力するものとする。
第1のパワー算出部105は受信信号rin(k)に対し受信信号パワーを算出し、第2のパワー算出部106は送信中間信号smid(k)に対し送信中間信号パワーを算出する。そして、パワー比較部107が第1および第2のパワー算出部105,106から受信信号パワーおよび送信中間信号パワーを受け、下記式(1)に従って両者の比であるパワー比sr(k)を算出する。
Figure 2010035308
音響結合量推定部108は、受話ST検出部104から検知フラグRST(k)を受け、RST(k)が1であるとき、即ち受話シングルトーク状態であるとき、下記式(2)により推定音響結合量h(k)を更新する。ただし、(0<α≦1)である。
h(k)=α・sr(k)+(1−α)h(k−1) (2)
残留エコーパワー推定部109は、第1のパワー算出部105から受信信号パワーを、音響結合量推定部108から推定音響結合量をそれぞれ受け、下記式(3)に従って送信中間信号に含まれる残留エコーのパワーを推定した推定残留エコーパワーを算出する。
なお、エコーの残響成分を考慮する場合には、残留エコーパワー推定部109が下記式(3)に代えて下記式(4)に従って、推定音響結合量と受信信号パワーから算出する現時点の残留エコーパワーの推定値に、所定の係数βを乗じた過去時の残留エコーパワーの推定値を加えることによって、推定残留エコーパワーを算出してもよい。
Figure 2010035308
次に、信号対エコー比推定部110が、第2のパワー算出部106から送信中間信号パワーを、残留エコーパワー推定部109から推定残留エコーパワーをそれぞれ受け、下記の定義式(5)に従って信号対エコー比ser(k)を算出する。ここで、aはa>0の任意の定数である。aは、エコーがなく、分母である推定残留エコーパワーが0であるときに、ser(k)の分母が0になることを防ぐために挿入されたものであり、送信入力信号が話者音声またはエコーを含んで有音であるときの推定残留エコーパワーに対して、充分小さな値となるように予め設定されているものとする。
Figure 2010035308
続いて、振幅抑圧係数決定部111が、信号対エコー比推定部110から信号対エコー比ser(k)を受け、下記式(6)に従って振幅抑圧係数g(k)を決定する。ここで、b,cは予め値の設定された定数パラメータであり、それぞれb>1,c>0を満たすものとする。また、振幅抑圧係数g(k)には任意の下限値を設けてもよい。
Figure 2010035308
ここで、振幅抑圧係数g(k)と信号対エコー比ser(k)の関係を、それぞれの対数表現である振幅抑圧ゲインG(k)と対数信号対エコー比SER(k)を用いて説明する。振幅抑圧係数g(k)から振幅抑圧ゲインG(k)への変換、および信号対エコー比ser(k)から対数信号対エコー比SER(k)への変換は、下記式(7)でそれぞれ定義される。
G(k)=20log10(g(k)) (7)
SER(k)=10log10(ser(k))
振幅抑圧ゲインG(k)と対数信号対エコー比SER(k)の関係は、上記式(6)および式(7)より、以下の式(8)で表すことができる。
Figure 2010035308
上記式(8)より、定数bは、SER(k)=0dBにおける振幅抑圧ゲインGを制御するパラメータであることが分かる。また、定数cは、対数信号対エコー比に対する振幅抑圧ゲインの勾配を制御するパラメータであることが分かる。これらのパラメータb,cは、適用先の条件に応じて任意に調整すればよい。
図2は、上記式(8)によって定義される振幅抑圧ゲインG(k)と対数信号対エコー比SER(k)の線形関係を示すグラフであり、対数信号対エコー比軸に対する振幅抑圧ゲイン特性1を示す。図2に示すように、振幅抑圧ゲインG(k)と対数信号対エコー比SER(k)の線形関係は、SER(k)<0dBの領域でも継続している。本来、送信中間信号パワーを残留エコーのパワーが上回ることはあり得ず、常にSER(k)>0dBとなるはずである。しかしながら、音響結合量の推定誤差によって推定残留エコーパワーが送信中間信号パワーを上回り、計算結果としてSER(k)<0dBとなる場合がある。
これに対応するために、本実施の形態のエコー消去装置は、SER(k)<0dBの範囲においても振幅抑圧ゲインG(k)と対数信号対エコー比SER(k)とが線形関係となるように振幅抑圧ゲイン特性を定義しておく(式(8))。そして、振幅抑圧係数決定部111は、この式(8)を振幅抑圧係数g(k)と信号対エコー比ser(k)の関係式に直した上記式(6)に従って、振幅抑圧係数g(k)を決定する。
振幅抑圧部112は、下記式(9)のように振幅抑圧係数g(k)を送信中間信号smid(k)に乗じることによって非線形エコー処理を行い、送信中間信号smid(k)に含まれる残留エコーを抑圧した送信出力信号sout(k)を生成する。
out(k)=g(k)・smid(k) (9)
このように、本実施の形態のエコー消去装置は、対数信号対エコー比SER(k)<0dBの範囲においても、振幅抑圧ゲインG(k)とSER(k)とが線形関係となるように振幅抑圧ゲイン特性を定義し、この定義に従って振幅抑圧係数決定部111が振幅抑圧係数g(k)を決定し、振幅抑圧部112が残留エコーを抑圧する。そのため、推定誤差によってSER(k)<0dBとなった場合でも、送信中間信号に対して過度な抑圧が働くことを防ぎ、送話音声の損失を少なくすることができる。
以上のように、実施の形態1によれば、エコー消去装置を、送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部103と、受信信号と送信中間信号を用いて受話側のシングルトーク状態を検知する受話ST検出部104と、受信信号パワーを算出する第1のパワー算出部105と、送信中間信号パワーを算出する第2のパワー算出部106と、送信中間信号パワーと受信信号パワーの比を計算するパワー比較部107と、受話ST検出部104によってシングルトーク状態が検知された場合に送信中間信号パワーと受信信号パワーのパワー比から推定音響結合量を推定して更新する音響結合量推定部108と、受信信号パワーと推定音響結合量から送信中間信号の推定残留エコーパワーを推定する残留エコーパワー推定部109と、送信中間信号パワーと推定残留エコーパワーの比から信号対エコー比を推定する信号対エコー比推定部110と、信号対エコー比に応じて振幅抑圧係数を決定する振幅抑圧係数決定部111と、振幅抑圧係数に基づいて送信中間信号を振幅抑圧する振幅抑圧部112とを備えるように構成した。そのため、送話音声対エコー比率が非常に悪い環境において、残留エコーパワーが正確に推定できない場合でも、送話音声の損失の少ないエコー処理を実現することが可能となる。
また、振幅抑圧係数決定部111は、上記式(6)に基づいて、信号対エコー比に応じた振幅抑圧係数を決定するように構成した。そのため、推定誤差によって推定残留エコーパワーが送信中間信号パワーを上回った場合でも、送信中間信号に対して過度な振幅抑圧が働くことを防ぎ、送話音声の損失を少なくすることが可能となる。
また、残留エコーパワー推定部109は、上記式(4)に従い、現時点の受信信号のパワーと音響結合量から推定した残留エコーパワーに、過去時に推定した残留エコーパワーを加えて送信中間信号の残留エコーパワーとするように構成した。そのため、エコーの残響成分を考慮した推定残留エコーパワーを推定することが可能となる。
実施の形態2.
上記実施の形態1のエコー消去装置において、振幅抑圧係数決定部111は、対数信号対エコー比SER(k)と振幅抑圧ゲインG(k)とがSER(k)<0dBの範囲で線形関係となるように振幅抑圧ゲインG(k)を決定していた。本実施の形態のエコー消去装置では、この関係式を、振幅抑圧ゲインG(k)が対数信号対エコー比SER(k)軸の無限遠に対して飽和曲線を描く数学関数を用いて定義する。
先ず、対数信号対エコー比SER(k)と振幅抑圧ゲインG(k)の関係式を下記式(10)のように定義する。ここで、b,c,dは予め値の設定された定数パラメータであり、b,cはそれぞれb>1,c>0を満たすものとする。
Figure 2010035308
図3は、上記式(10)によって定義される、振幅抑圧ゲインG(k)の特性曲線を示すグラフである。図3に示すように、振幅抑圧ゲインG(k)は、対数信号対エコー比SER(k)軸の無限遠に対して飽和曲線を描いている。このような飽和曲線となることにより、対数信号対エコー比SER(k)が低い、即ち送信入力信号がエコーのみの状態、または対数信号対エコー比SER(k)が高い、即ち送信入力信号が話者音声のみの状態においては、振幅抑圧ゲインG(k)の変動が小さいため、対数信号対エコー比SER(k)に多少の誤差があっても影響を受けにくく、エコー消去装置の動作が安定するという利点がある。
また、図3からも明らかなように、式(10)より、定数bは振幅抑圧ゲインG(k)の最低値を制御するパラメータであることが分かる。また、定数cは、対数信号対エコー比SER(k)に対する振幅抑圧ゲインG(k)の勾配を制御するパラメータとなっている。また、定数dは、図3の特性曲線をSER(k)軸方向に沿って平行移動させることによって、振幅抑圧ゲインG(k)の遷移領域の中心位置を制御するパラメータとなる。
次に、本実施の形態のエコー消去装置において振幅抑圧係数を算出する方法を、図1を援用して説明する。振幅抑圧係数決定部111は、上記式(10)を振幅抑制係数g(k)と信号対エコー比ser(k)の関係式に直した以下の式(11)に従って、振幅抑制係数g(k)を決定する。振幅抑圧係数決定部111以外のエコー消去装置の構成要素は、上記実施の形態1と同一であるため、説明を省略する。
Figure 2010035308
以上のように、実施の形態2によれば、振幅抑圧係数決定部111は、上記式(11)に基づいて、信号対エコー比に応じた振幅抑圧係数を決定するように構成した。そのため、振幅抑圧ゲイン特性が飽和曲線状となっていることにより、振幅抑圧ゲインが対数信号対エコー比の誤差の影響を受けにくく、エコー消去装置の動作を安定させることが可能となる。
実施の形態3.
上記実施の形態1および2のエコー消去装置では、振幅抑圧係数決定部111が式を用いて振幅抑圧係数を決定する構成であったが、本実施の形態では、特性空間上に複数の変節点を設定してこれら変節点を通る直線、または近似曲線を用いて振幅抑圧ゲインG(k)を定義した特性データから、振幅抑圧係数を決定する構成とする。
図4は、この発明の実施の形態3に係るエコー消去装置の構成を示すブロック図である。エコー消去装置は、スピーカ101、マイク102、適応フィルタ部103、受話ST検出部104、第1のパワー算出部105、第2のパワー算出部106、パワー比較部107、音響結合量推定部108、残留エコーパワー推定部109、信号対エコー比推定部110、振幅抑圧係数決定部411、振幅抑圧ゲイン特性設定部412、振幅抑圧部112を備える。図4において図1と同一または相当の部分については同一の符号を付し説明を省略する。
振幅抑圧ゲイン特性設定部412には、対数信号対エコー比SER(k)に対する振幅抑圧ゲインG(k)の特性データが保存されている。
図5は、振幅抑圧ゲイン特性設定部412が保存している振幅抑圧ゲインG(k)特性データの一例であり、信号対エコー比ser(k)と振幅抑圧係数g(k)の関係を対数表現で定義したものである。振幅抑圧ゲイン特性設定部412には、図5に示すように特性空間上に設定された複数の変節点に対して、これらの点同士を個々に結ぶ直線もしくは2次以上の関数で定義される曲線、または全ての点を結ぶ近似曲線によって定義された特性曲線を表す特性データが保存されている。本実施の形態のエコー消去装置では、設計者が振幅抑圧ゲイン特性設定部412に任意の変節点を設定し、特性曲線を生成して振幅抑圧ゲインG(k)特性データとして保存しておくことによって、任意に振幅抑圧ゲイン特性を調節できる。
振幅抑圧係数決定部411は、信号対エコー比推定部110から入力された信号対エコー比ser(k)に基づき対数信号対エコー比SER(k)を計算する。そして、振幅抑圧係数決定部411は、この対数信号対エコー比SER(k)に対応する振幅抑圧ゲインG(k)を振幅抑圧ゲイン特性設定部412から読み出し、これを振幅抑圧係数g(k)に変換して、振幅抑圧部112へ出力する。
以上のように、実施の形態3によれば、エコー消去装置は、信号対エコー比と振幅抑圧係数の関係が定義された振幅抑圧ゲイン特性を、特性空間上に任意に設定された複数の変節点を結ぶ直線または近似曲線で定義された振幅抑圧ゲイン特性データとして保持する振幅抑圧ゲイン特性設定部412を備え、振幅抑圧係数決定部411は、振幅抑圧ゲイン特性設定部412に保持された振幅抑圧ゲイン特性データに基づいて、信号対エコー比に応じた振幅抑圧係数を決定するように構成した。そのため、振幅抑圧ゲイン特性を自在に調節することが可能となる。
実施の形態4.
上記実施の形態1〜3のエコー消去装置は、送信中間信号を時間領域において振幅抑圧する構成としたが、本実施の形態のエコー消去装置では周波数領域において振幅抑圧する構成とする。図6は、この発明の実施の形態4に係るエコー消去装置の構成を示すブロック図である。エコー消去装置は、スピーカ101、マイク102、適応フィルタ部103、受話ST検出部104、第1のパワースペクトル算出部605、第2のパワースペクトル算出部606、パワー比較部607、音響結合量推定部608、残留エコーパワースペクトル推定部609、信号対エコースペクトル比推定部610、振幅抑圧係数スペクトル決定部611、振幅抑圧部612、第1の周波数変換部613、第2の周波数変換部614、逆周波数変換部615を備える。なお、図6において図1と同一または相当の部分については同一の符号を付し説明を省略する。
第1の周波数変換部613は、受信した受信信号rin(k)を周波数スペクトルに変換し、受信信号スペクトルR(ω,k)とする。ωは周波数、kは時刻を表す。
また、第2の周波数変換部614は、適応フィルタ部103から入力された送信中間信号smid(k)を、周波数スペクトルに変換し、送信中間信号スペクトルS(ω,k)とする。第1および第2の周波数変換部613,614の周波数変換処理には、FFT(Fast Fourier Transform)を用いる。
第1のパワースペクトル算出部605は、第1の周波数変換部613から入力された受信信号スペクトルR(ω,k)から受信信号パワースペクトルを算出する。また、第2のパワースペクトル算出部606は、第2の周波数変換部614から入力された送信中間信号スペクトルS(ω,k)から送信中間信号パワースペクトルを算出する。パワー比較部607は、第1および第2のパワースペクトル算出部605,606から受信信号パワースペクトルおよび送信中間信号パワースペクトルを受け、下記式(12)に従って両者の比であるパワー比sr(ω,k)を算出する。
Figure 2010035308
音響結合量推定部608は、受話ST検出部104からシングルトーク状態の検知結果である検知フラグRST(k)を受け、RST(k)が1であるとき、即ち受話シングルトーク状態であるとき、下記式(13)により推定音響結合量H(ω,k)を更新する。ただし、(0<α≦1)である。
H(ω,k)=α・sr(ω,k)+(1−α)H(ω,k−1) (13)
残留エコーパワースペクトル推定部609は、第1のパワースペクトル算出部605から受信信号パワースペクトルを、音響結合量推定部608から推定音響結合量をそれぞれ受け、下記式(14)に従って推定残留エコーパワースペクトルを算出する。
なお、エコーの残響成分を考慮する場合には、残留エコーパワースペクトル推定部609が下記式(14)に代えて下記式(15)に従って、推定音響結合量と受信パワースペクトルから算出する現時点の残留エコーパワースペクトルの推定値に、所定の係数βを乗じた過去時の残留エコーパワースペクトルの推定値を与えることによって、推定残留エコーパワースペクトルを算出してもよい。
Figure 2010035308
信号対エコースペクトル比推定部610は、第2のパワースペクトル算出部606から送信中間信号パワースペクトルを、残留エコーパワースペクトル推定部609から推定残留エコーパワースペクトルをそれぞれ受け、信号対エコースペクトル比ser(ω,k)を下記の定義式(16)に従って算出する。ここで、aはa>0の任意の定数である。
Figure 2010035308
振幅抑圧係数スペクトル決定部611は、信号対エコースペクトル比推定部610から信号対エコースペクトル比ser(ω,k)を受け、上記実施の形態1〜3のうちのいずれかの方法を用いて振幅抑圧係数スペクトルg(ω,k)を決定する。
振幅抑圧係数スペクトル決定部611は、実施の形態1の方法を適用した場合には下記式(17)に従って、また、実施の形態2の方法を適用した場合には下記式(18)に従って、振幅抑圧係数スペクトルg(ω,k)を決定する。
Figure 2010035308
また、実施の形態3の方法を適用する場合には、エコー消去装置が、対数信号対エコースペクトル比SER(ω,k)に対応する振幅抑圧ゲインG(ω,k)の特性が定義された振幅抑圧ゲインG(ω,k)特性データを保持する振幅抑圧ゲイン特性設定部を備え、振幅抑圧係数スペクトル決定部611が、振幅抑圧ゲイン特性設定部から振幅抑圧ゲインG(ω,k)を読み出し、これを振幅抑圧係数スペクトルg(ω,k)に変換する。
なお、振幅抑圧係数スペクトル決定部611が上記実施の形態1〜3の方法を用いて振幅抑圧係数スペクトルg(ω,k)を決定する場合には、各方法を用いることにより得られる効果が本実施の形態においても得られることは言うまでもない。
振幅抑圧部612は、振幅抑圧係数スペクトルg(ω,k)を送信中間信号スペクトルS(ω,k)に乗じることによって非線形エコー処理を行い、送信出力信号スペクトルSout(ω,k)を生成する。そして、逆周波数変換部615が、振幅抑圧部612から送信出力信号スペクトルSout(ω,k)を受け、周波数逆変換して送信出力信号sout(k)を生成する。
このように、振幅抑圧係数スペクトル決定部611が周波数領域上で帯域毎に異なる振幅抑圧係数スペクトルg(ω,k)を算出することによって、送信入力信号におけるエコー成分が主となる周波数成分は抑圧され、送話音声が主となる周波数成分は保存されることとなる。このため、時間領域で振幅抑圧する上記実施の形態1〜3のエコー消去装置に比べ、本実施の形態4のエコー消去装置では送信入力信号に含まれる話者音声の損失がさらに少なくなる。
以上のように、実施の形態4によれば、エコー消去装置を、送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部103と、受信信号と送信中間信号を用いて受話側のシングルトーク状態を検知する受話ST検出部104と、受信信号を周波数スペクトルである受信信号スペクトルに変換する第1の周波数変換部613と、受信信号スペクトルからパワースペクトルを算出する第1のパワースペクトル算出部605と、送信中間信号を周波数スペクトルである送信中間信号スペクトルに変換する第2の周波数変換部614と、送信中間信号スペクトルからパワースペクトルを算出する第2のパワースペクトル算出部606と、送信中間信号パワースペクトルと受信信号パワースペクトルの比を計算するパワー比較部607と、受話ST検出部104によってシングルトーク状態が検知された場合に送信中間信号パワースペクトルと受信信号パワースペクトルの比から推定音響結合量を推定して更新する音響結合量推定部608と、受信信号パワースペクトルと推定音響結合量から送信中間信号の推定残留エコーパワースペクトルを推定する残留エコーパワースペクトル推定部609と、送信中間信号パワースペクトルと推定残留エコーパワースペクトルの比から信号対エコースペクトル比を推定する信号対エコースペクトル比推定部610と、信号対エコースペクトル比に応じて振幅抑圧係数スペクトルを決定する振幅抑圧係数スペクトル決定部611と、振幅抑圧係数スペクトルに基づいて送信中間信号スペクトルを振幅抑圧する振幅抑圧部612と、振幅抑圧された送信中間信号スペクトルを時系列信号に変換する逆周波数変換部615とを備えるように構成し、周波数領域上で帯域毎に異なる振幅抑圧係数を算出して周波数領域で振幅抑圧するようにした。そのため、時間領域で振幅抑圧する場合に比べて、話者音声の損失をさらに少なくできる。
以上のように、この発明に係るエコー消去装置は、非線形エコー処理に用いる振幅抑圧係数を信号対エコー比に基づいて決定するようにしたので、話者音声の聴覚的な劣化の少ないエコー消去装置を実現でき、送話音声対エコー比率の悪いハンズフリー電話等のエコー消去装置に用いるのに適している。

Claims (10)

  1. 送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、
    受信信号と前記送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、
    前記受信信号のパワーを算出する第1のパワー算出部と、
    前記送信中間信号のパワーを算出する第2のパワー算出部と、
    前記受話シングルトーク検出部によってシングルトーク状態が検知された場合に、前記送信中間信号と前記受信信号のパワー比から音響結合量を推定して更新する音響結合量推定部と、
    前記受信信号のパワーと前記音響結合量から、前記送信中間信号の残留エコーパワーを推定する残留エコーパワー推定部と、
    前記送信中間信号のパワーと前記残留エコーパワーの比から、信号対エコー比を推定する信号対エコー比推定部と、
    前記信号対エコー比に応じて振幅抑圧係数を決定する振幅抑圧係数決定部と、
    前記振幅抑圧係数に基づいて前記送信中間信号を振幅抑圧する振幅抑圧部とを備えるエコー消去装置。
  2. 振幅抑圧係数決定部は、次式に基づいて、信号対エコー比に応じた振幅抑圧係数を決定することを特徴とする請求項1記載のエコー消去装置。
    Figure 2010035308
  3. 振幅抑圧係数決定部は、次式に基づいて、信号対エコー比に応じた振幅抑圧係数を決定することを特徴とする請求項1記載のエコー消去装置。
    Figure 2010035308
  4. 信号対エコー比と振幅抑圧係数の関係を定義した振幅抑圧ゲイン特性を、特性空間上に任意に設定された複数の変節点を結ぶ直線または近似曲線で定義する振幅抑圧ゲイン特性データとして保持する振幅抑圧ゲイン特性設定部を備え、
    振幅抑圧係数決定部は、前記振幅抑圧ゲイン特性設定部に保持された前記振幅抑圧ゲイン特性データに基づいて、信号対エコー比に応じた振幅抑圧係数を決定することを特徴とする請求項1記載のエコー消去装置。
  5. 残留エコーパワー推定部は、現時点の受信信号のパワーと音響結合量から推定した残留エコーパワーに、過去時に推定した残留エコーパワーを加えて送信中間信号の残留エコーパワーとすることを特徴とする請求項1記載のエコー消去装置。
  6. 送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、
    受信信号と前記送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、
    前記受信信号を周波数スペクトルに変換する第1の周波数変換部と、
    前記受信信号の周波数スペクトルからパワースペクトルを算出する第1のパワースペクトル算出部と、
    前記送信中間信号を周波数スペクトルに変換する第2の周波数変換部と、
    前記送信中間信号の周波数スペクトルからパワースペクトルを算出する第2のパワースペクトル算出部と、
    前記受話シングルトーク検出部によってシングルトーク状態が検知された場合に、前記送信中間信号と前記受信信号のパワースペクトル比から音響結合量を推定して更新する音響結合量推定部と、
    前記受信信号のパワースペクトルと前記音響結合量から、前記送信中間信号の残留エコーパワースペクトルを推定する残留エコーパワースペクトル推定部と、
    前記送信中間信号のパワースペクトルと前記残留エコーパワースペクトルの比から、信号対エコースペクトル比を推定する信号対エコースペクトル比推定部と、
    前記信号対エコースペクトル比に応じて振幅抑圧係数スペクトルを決定する振幅抑圧係数スペクトル決定部と、
    前記振幅抑圧係数スペクトルに基づいて前記送信中間信号の周波数スペクトルを振幅抑圧する振幅抑圧部と、
    前記振幅抑圧された前記送信中間信号の周波数スペクトルを時系列信号に変換する逆周波数変換部とを備えるエコー消去装置。
  7. 振幅抑圧係数スペクトル決定部は、次式に基づいて、信号対エコースペクトル比に応じた振幅抑圧係数スペクトルを決定することを特徴とする請求項6記載のエコー消去装置。
    Figure 2010035308
  8. 振幅抑圧係数スペクトル決定部は、次式に基づいて、信号対エコースペクトル比に応じた振幅抑圧係数スペクトルを決定することを特徴とする請求項6記載のエコー消去装置。
    Figure 2010035308
  9. 信号対エコースペクトル比と振幅抑圧係数スペクトルの関係を定義した振幅抑圧ゲイン特性を、特性空間上に任意に設定された複数の変節点を結ぶ直線または近似曲線で定義する振幅抑圧ゲイン特性データとして保持する振幅抑圧ゲイン特性設定部を備え、
    振幅抑圧係数スペクトル決定部は、前記振幅抑圧ゲイン特性設定部に保持された前記振幅抑圧ゲイン特性データに基づいて、信号対エコースペクトル比に応じた振幅抑圧係数スペクトルを決定することを特徴とする請求項6記載のエコー消去装置。
  10. 残留エコーパワースペクトル推定部は、現時点の受信信号のパワースペクトルと音響結合量から推定した残留エコーパワースペクトルに、過去時に推定した残留エコーパワースペクトルを加えて送信中間信号の残留エコーパワースペクトルとすることを特徴とする請求項6記載のエコー消去装置。
JP2010530639A 2008-09-24 2008-09-24 エコー消去装置 Expired - Fee Related JP5036874B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/002638 WO2010035308A1 (ja) 2008-09-24 2008-09-24 エコー消去装置

Publications (2)

Publication Number Publication Date
JPWO2010035308A1 true JPWO2010035308A1 (ja) 2012-02-16
JP5036874B2 JP5036874B2 (ja) 2012-09-26

Family

ID=42059326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010530639A Expired - Fee Related JP5036874B2 (ja) 2008-09-24 2008-09-24 エコー消去装置

Country Status (5)

Country Link
US (1) US8792649B2 (ja)
EP (1) EP2330752B1 (ja)
JP (1) JP5036874B2 (ja)
CN (1) CN102165707B (ja)
WO (1) WO2010035308A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5156043B2 (ja) * 2010-03-26 2013-03-06 株式会社東芝 音声判別装置
EP2662855A4 (en) * 2011-01-04 2015-12-16 Fujitsu Ltd VOICE CONTROL DEVICE, VOICE CONTROL METHOD, AND VOICE CONTROL PROGRAM
SG182859A1 (en) * 2011-01-06 2012-08-30 Creative Tech Ltd A method, system and apparatus for processing audio signals
JP5662232B2 (ja) * 2011-04-14 2015-01-28 日本電信電話株式会社 エコー消去装置、その方法及びプログラム
DE112012001201B9 (de) * 2011-05-10 2015-08-20 Mitsubishi Electric Corporation Echolöschvorrichtung und Echodetektor
CN104054274B (zh) * 2012-04-25 2016-05-25 三菱电机株式会社 回波消除装置
CN104050971A (zh) * 2013-03-15 2014-09-17 杜比实验室特许公司 声学回声减轻装置和方法、音频处理装置和语音通信终端
JP6075783B2 (ja) * 2013-12-09 2017-02-08 日本電信電話株式会社 エコー消去装置、エコー消去方法及びプログラム
US9319783B1 (en) * 2014-02-19 2016-04-19 Amazon Technologies, Inc. Attenuation of output audio based on residual echo
JP6369189B2 (ja) * 2014-07-17 2018-08-08 沖電気工業株式会社 エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP6356087B2 (ja) * 2015-03-30 2018-07-11 日本電信電話株式会社 エコー消去装置、その方法及びプログラム
US10504501B2 (en) 2016-02-02 2019-12-10 Dolby Laboratories Licensing Corporation Adaptive suppression for removing nuisance audio
CN107045872B (zh) * 2016-02-05 2020-09-01 中国电信股份有限公司 通话回声的识别方法和装置
JP6537997B2 (ja) * 2016-04-12 2019-07-03 日本電信電話株式会社 エコー抑圧装置、その方法、プログラム、及び記録媒体
US10348887B2 (en) * 2017-04-21 2019-07-09 Omnivision Technologies, Inc. Double talk detection for echo suppression in power domain
JP6833616B2 (ja) * 2017-05-29 2021-02-24 株式会社トランストロン エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP6945158B2 (ja) * 2017-06-16 2021-10-06 パナソニックIpマネジメント株式会社 通話装置、プログラム及び通話システム
US10200540B1 (en) * 2017-08-03 2019-02-05 Bose Corporation Efficient reutilization of acoustic echo canceler channels
US10594869B2 (en) * 2017-08-03 2020-03-17 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US10542153B2 (en) * 2017-08-03 2020-01-21 Bose Corporation Multi-channel residual echo suppression
WO2019070722A1 (en) 2017-10-03 2019-04-11 Bose Corporation SPACE DIAGRAM DETECTOR
US10192567B1 (en) * 2017-10-18 2019-01-29 Motorola Mobility Llc Echo cancellation and suppression in electronic device
US10964305B2 (en) 2019-05-20 2021-03-30 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US12015902B2 (en) * 2019-08-06 2024-06-18 Nippon Telegraph And Telephone Corporation Echo cancellation device, echo cancellation method, and program
CN110971769B (zh) * 2019-11-19 2022-05-03 百度在线网络技术(北京)有限公司 通话信号的处理方法、装置、电子设备及存储介质
CN111968663B (zh) * 2020-08-12 2024-04-16 福建星网智慧科技有限公司 一种回声残留判断方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69532394T2 (de) 1994-02-10 2004-11-04 Nippon Telegraph And Telephone Corp. Verfahren und Vorrichtung zur Echokompensation mit Anwendung der "fast projection scheme"
SE505692C2 (sv) * 1995-12-18 1997-09-29 Ericsson Telefon Ab L M Förfarande och anordning för ekosläckning genom skattning av effekt hos residualsignal
JP3404236B2 (ja) 1996-12-26 2003-05-06 株式会社神戸製鋼所 拡声通話装置
JP3420705B2 (ja) 1998-03-16 2003-06-30 日本電信電話株式会社 エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体
JP2001044896A (ja) 1999-08-03 2001-02-16 Matsushita Electric Ind Co Ltd 通話装置および通話方法
JP3566158B2 (ja) * 1999-12-07 2004-09-15 三菱電機株式会社 エコーキャンセラ装置
JP3507020B2 (ja) 2000-09-08 2004-03-15 日本電信電話株式会社 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
CN1162247C (zh) * 2002-02-27 2004-08-18 王台钦 钢筋续接器植焊施工法
JP4105681B2 (ja) * 2004-06-16 2008-06-25 日本電信電話株式会社 エコーサプレス方法、エコーサプレッサ、エコーサプレッサプログラム、通信路上の損失量制御方法、通信路上の損失量制御装置、通信路上の損失量制御プログラム、記録媒体
US7577248B2 (en) * 2004-06-25 2009-08-18 Texas Instruments Incorporated Method and apparatus for echo cancellation, digit filter adaptation, automatic gain control and echo suppression utilizing block least mean squares
JP4247203B2 (ja) 2005-05-06 2009-04-02 日本電信電話株式会社 自動音量制御方法、自動音量制御装置、プログラム、記録媒体
JP4613705B2 (ja) * 2005-06-15 2011-01-19 沖電気工業株式会社 エコーキャンセラ
JP4559989B2 (ja) * 2006-03-24 2010-10-13 日本電信電話株式会社 エコー抑圧方法、エコー抑圧プログラム、記録媒体

Also Published As

Publication number Publication date
US20110135105A1 (en) 2011-06-09
US8792649B2 (en) 2014-07-29
EP2330752B1 (en) 2013-03-20
WO2010035308A1 (ja) 2010-04-01
EP2330752A4 (en) 2012-02-22
CN102165707B (zh) 2013-12-04
EP2330752A1 (en) 2011-06-08
CN102165707A (zh) 2011-08-24
JP5036874B2 (ja) 2012-09-26

Similar Documents

Publication Publication Date Title
JP5036874B2 (ja) エコー消去装置
US7856097B2 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
JP5347794B2 (ja) エコー抑圧方法およびその装置
JP3568922B2 (ja) エコー処理装置
US8311234B2 (en) Echo canceller and communication audio processing apparatus
JP5501527B2 (ja) エコー消去装置およびエコー検出装置
US9049281B2 (en) Nonlinear echo suppression
US8160239B2 (en) Echo canceller and speech processing apparatus
US20110261950A1 (en) Adaptive filter and echo canceller having this adaptive filter
JPWO2002095975A1 (ja) エコー処理装置
CN109273019B (zh) 用于回声抑制的双重通话检测的方法及回声抑制
KR20060067881A (ko) 수신 오디오의 제한 시스템
JP6160403B2 (ja) エコー抑圧装置及びエコー抑圧プログラム
US20170310360A1 (en) Echo removal device, echo removal method, and non-transitory storage medium
JP4607015B2 (ja) エコー抑圧装置
JP4413205B2 (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP4475155B2 (ja) エコーキャンセラ
KR100949910B1 (ko) 스펙트럼 차감을 이용한 음향학적 반향 제거 방법 및 장치
JP6180689B1 (ja) エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム
JP6369192B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
WO2022202012A1 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP6432384B2 (ja) エコー抑圧装置、エコー抑圧プログラム及びエコー抑圧方法
KR100431965B1 (ko) 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법
JP6314608B2 (ja) エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法
US20120224684A1 (en) Soft attenuation of high-power signals

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees