JP4403491B2 - エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム - Google Patents

エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム Download PDF

Info

Publication number
JP4403491B2
JP4403491B2 JP2003395921A JP2003395921A JP4403491B2 JP 4403491 B2 JP4403491 B2 JP 4403491B2 JP 2003395921 A JP2003395921 A JP 2003395921A JP 2003395921 A JP2003395921 A JP 2003395921A JP 4403491 B2 JP4403491 B2 JP 4403491B2
Authority
JP
Japan
Prior art keywords
echo
transmission signal
calculating
suppression
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003395921A
Other languages
English (en)
Other versions
JP2005159753A (ja
Inventor
由幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003395921A priority Critical patent/JP4403491B2/ja
Publication of JP2005159753A publication Critical patent/JP2005159753A/ja
Application granted granted Critical
Publication of JP4403491B2 publication Critical patent/JP4403491B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Description

本発明はエコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラムに関し、例えばテレビ会議システムやハンズフリーホンに適用して好適なものである。
テレビ会議システムやハンズフリーホン等のハンズフリー通話システムにおいては、双方向の音声伝送を行うために、同一の部屋にマイクロホンとスピーカとが配置される。このため参加者の声は、マイクロホンから伝送路を通り、通話相手側のスピーカからマイクロホンへと回り込み、再び伝送路を通って帰ってくる。この音響結合によって、帰ってくる音声には時間の遅れが生じ、エコーとなって感知される。
かかる音響結合によるエコーを抑圧するためのエコーキャンセラとして、スピーカから送出される音声信号とマイクロホンで集音した音声信号とを比較して、適応的にエコー抑圧を行う適応フィルタを用いたものが提案されている(例えば、特許文献1参照)。
すなわち図3に示すように、エコーキャンセラ1の適応フィルタ2は、通話相手側から回線を介して送信されて来た受話信号S1と、マイクロホン5を介して集音した送話信号S2とを入力する。この送話信号S2には、話者の音声と、受話信号S1がスピーカ4を介して出力されマイクロホン5に回り込んだエコー成分と、周辺雑音とが記録されている。
適応フィルタ2の疑似エコー演算部3は、受話信号S1と送話信号S2とに基づいてスピーカ4からマイクロホン5へのエコー経路を推定し、当該推定結果と受話信号S1とに基づいて、上述したエコー成分を推定した疑似エコー信号S3を生成する。
そして適応フィルタ2は、減算器6によって送話信号S2から疑似エコー信号S3を減算することにより、送話信号S2に含まれるエコー成分を除去してエコー除去送話信号S4を生成する。このとき疑似エコー演算部3は、エコー成分除去後のエコー除去送話信号S4に基づいてエコー残差を検出し、当該エコー残差が小さくなるように学習を行うことにより、より適切な疑似エコー信号S3を生成するようになされている。
特許第2861888号公報
ここで、上述した適応フィルタ2は、周辺雑音の影響や音声信号レベルの変動、疑似エコー演算部3の学習が不完全である等の原因によって、エコーを完全には除去できない場合がある。
このため、適応フィルタ2の後段にエコー抑圧部を設け、通話状態(ダブルトークかシングルトークかなど)に応じてエコー除去送話信号S4の信号レベルを低下させることによりエコーを抑圧することが提案されているものの、処理負荷が大きく、また条件によって誤判定が起きたり、不連続な抑圧によって不自然な音量変化が生じることがあるという問題があった。
本発明は以上の点を考慮してなされたもので、簡易な構成で、低負荷かつ自然にエコーを抑圧し得るエコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、通話相手側から送信された受話信号がスピーカを介して受話音声として出力されマイクロホンに回り込むことにより発生するエコー成分を除去するためのエコーキャンセラであって、マイクロホンによって集音されたエコー成分及び話者の音声からなる送話信号から、受話信号と送話信号とを用いてエコー成分を生成した擬似エコー信号を減算することにより送話信号に含まれるエコー成分を除去したエコー除去送話信号を生成するエコー除去送話信号生成手段と、送話信号の絶対値の移動平均値を求めることにより送話信号レベル[dB]を算出する送話信号レベル算出手段と、エコー除去送話信号の絶対値の移動平均値を求めることによりエコー除去送話信号レベル[dB]を算出するエコー除去送話信号レベル算出手段と、送話信号レベル[dB]からエコー除去送話信号レベル[dB]を減算することによりエコー除去量[dB]を算出するエコー除去量算出手段と、エコー除去量[dB]に対してエコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算することによりエコー抑圧量[dB]を算出するエコー抑制量算出手段と、エコー抑圧量[dB]に基づいて、エコー抑圧送話信号を生成するエコー抑圧送話信号生成手段とを設けた。
この結果、送話信号レベルからエコー除去送話信号レベルを減算することにより算出したエコー除去量に対して、エコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算したエコー抑制量によりエコー除去量が大きい場合にはエコー抑制量を大きく、エコー除去量が小さい場合にはエコー抑制量を小さくなるようにエコーを抑制できるので、エコーの量に応じた適応的かつ自然なエコー抑制を行なうことができる。
上述のように本発明によれば、通話相手側から送信された受話信号がスピーカを介して受話音声として出力されマイクロホンに回り込むことにより発生するエコー成分を除去するためのエコーキャンセラであって、マイクロホンによって集音された上記エコー成分及び話者の音声からなる送話信号から、受話信号と送話信号とを用いてエコー成分を生成した擬似エコー信号を減算することにより送話信号に含まれるエコー成分を除去したエコー除去送話信号を生成するエコー除去送話信号生成手段と、送話信号の絶対値の移動平均値を求めることにより送話信号レベル[dB]を算出する送話信号レベル算出手段と、エコー除去送話信号の絶対値の移動平均値を求めることによりエコー除去送話信号レベル[dB]を算出するエコー除去送話信号レベル算出手段と、送話信号レベル[dB]からエコー除去送話信号レベル[dB]を減算することによりエコー除去量[dB]を算出するエコー除去量算出手段と、エコー除去量[dB]に対してエコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算することによりエコー抑圧量[dB]を算出するエコー抑制量算出手段と、エコー抑圧量[dB]に基づいて、エコー抑圧送話信号を生成するエコー抑圧送話信号生成手段とを設けたことにより、送話信号レベルからエコー除去送話信号レベルを減算することにより算出したエコー除去量に対して、エコー除去量に応じて決められる抑圧係数を乗算したエコー抑制量によりエコー除去量が大きい場合にはエコー抑制量を大きく、エコー除去量が小さい場合にはエコー抑制量を小さくなるようにエコーを抑制できるので、エコーの量に応じた適応的かつ自然なエコー抑制を行なうことができ、かくして簡易な構成で、エコーの量に応じた適応的かつ自然なエコー抑圧を行い得るエコーキャンセラを実現することができる。
以下図面について、本発明の一実施の形態を詳述する。
図3との対応部分に同一符号を付して示す図1において、10は全体として本発明によるエコーキャンセラを示し、適応フィルタ2の後段にエコーサプレッサ11が設けられている以外は、図従1に示すエコーキャンセラ1と同一である。
適応フィルタ2の疑似エコー演算部3は、受話信号S1と送話信号S2とに基づいてスピーカ4からマイクロホン5へのエコー経路を推定し、当該推定結果と受話信号S1とに基づいて、受話信号S1に含まれるエコー成分を推定した疑似エコー信号S3を生成する。
そして適応フィルタ2は、減算器6によって送話信号S2から疑似エコー信号S3を減算することにより、送話信号S2に含まれるエコー成分を除去してエコー除去送話信号S4を生成し、これを本願発明の特徴であるエコーサプレッサ11に供給する。
除去量算出手段としての、エコーサプレッサ11の抑圧量計算部12は、図2(A)に示す送話信号S2の絶対値の移動平均値を求め、このレベルを送話信号レベルmL[dB](図2(B))とする。同様に抑圧量計算部12は、図2(C)に示すエコー除去送話信号S4の絶対値の移動平均値を求め、このレベルをエコー除去送話信号レベルeL[dB](図2(D))とする。
そして抑圧量計算部12は、送話信号レベルmLからエコー除去送話信号レベルeLを減算することにより、適応フィルタ2によるエコー除去量dL[dB](図2(E)を算出する。
このとき抑圧量計算部12は、送話信号S2及びエコー除去送話信号S4それぞれの信号レベルとして、信号の絶対値の移動平均値を用いる。適応フィルタ2によるエコー除去量dLは次式で求められる。
dL[dB]=mL[dB]−eL[dB] ……(1)
さらに抑圧量算出手段としての抑圧量計算部12は、次式に基づいてエコー抑圧量sLを算出し、これを後段の抑圧部14に供給する。ここで、抑圧係数xは0以上の任意の値である。
sL[dB]=dL[dB]×x (x≧0) ……(2)
一方、エコーサプレッサ11の遅延部13は、適応フィルタ2から供給されたエコー除去送話信号S4に対し、抑圧量計算部12におけるエコー抑圧量sL算出の際の移動平均時間の半分だけ遅延を施すことにより、エコー除去送話信号S4と、これに対応するエコー抑圧量sLとのタイミングを合致させる。そして抑圧部14は、エコー除去送話信号S4に対してエコー抑圧量sLだけ抑圧することにより残留エコーを更に低減し、これをエコー抑圧送話信号S5として通話相手側に送出する。
送話信号S2に対するエコーキャンセラ10全体としてのエコー除去量は、dL+sL=dL(1+x)となる。抑圧係数xを大きくすると、エコーキャンセラ10全体のエコー除去量が増大して除去効果が向上するが、この反面、音量の揺れが大きくなり、不自然な音声になる。このため、エコー除去効果と音量の揺れとに基づいて、抑圧係数xを適宜設定すればよい。
以上の構成において、エコーサプレッサ11の抑圧量計算部12は、マイクロホン5で集音した送話信号S2と、適応フィルタ2から出力されるエコー除去後のエコー除去送話信号S4とに基づいて、当該適応フィルタ2におけるエコー除去量dLを算出し、さらに当該エコー除去量dLに抑圧係数xを乗算してエコー抑圧量sLを算出する。
そして抑圧部14は、エコー除去送話信号S4に対してエコー抑圧量sLだけ抑圧を行い、エコー抑圧送話信号S5として通話相手側に送出する。
かくしてエコーサプレッサ11は、適応フィルタ2によるエコー除去量dLが大きい場合(エコーが大きい状態)はエコー抑圧量sLを大きく、エコー除去量dLが小さい場合(エコーが小さい状態)はエコー抑圧量sLを小さく制御することにより、エコーの量に応じた適応的かつ自然なエコー抑圧を行う。
上述したようにエコー除去量dLは、通話状態に応じて随時変化していく。例えば、通話相手が話していない状態では、受話信号S1の信号レベルは「0」に近くなるため、適応フィルタ2によるエコー除去量dLもほぼ「0」となる。このため、エコー除去送話信号S4(話者の音声が大半を占めている)はほとんど抑圧されることがなく、音量の揺れはほとんど生じない。
これに対して、通話相手のみが話しているシングルトーク状態では、送話信号S2に占めるエコー成分の割合が高くなるため、適応フィルタ2によるエコー除去量dLは大きくなる。この場合エコーサプレッサ11は、エコー除去送話信号S4に対しsL=dL×xだけ抑圧を行うことにより、適応フィルタ2で除去しきれなかった残留エコーをさらに抑圧することができる。
また、双方が話しているダブルトーク状態では、送話信号S2に占める話者の音声の割合が高くなるためエコー除去量Edは小さくなり、音量の揺れは小さくなる。さらに、この音量の小さな揺れは話者の音声にマスクされるため、実際上通話相手には感知されない。
以上の構成によれば、適応フィルタ2によってエコー除去されたエコー除去送話信号S4に対し、当該適応フィルタ2によるエコー除去量dLに応じたエコー抑圧量sLで更に抑圧をかけることにより、簡易な構成で、低負荷かつ自然にエコーを抑圧することができる。
なお上述の実施の形態においては、送話信号S2及びエコー除去送話信号S4の移動平均値を用いてエコー除去量dLを算出したが、本発明はこれに限らず、送話信号S2及びエコー除去送話信号S4のピーク値等、他の様々な値を用いてエコー除去量dLを算出してもよい。そして、エコー除去量dLの算出方法によっては遅延部13は不要となることもある。
さらに上述の実施の形態においては、ハードウェア構成によってエコーを除去するエコーキャンセラ10に本発明を適用した場合について述べたが、本発明はこれに限らず、上述した適応フィルタ処理、エコー除去量算出処理、エコー抑圧量算出処理及び抑圧処理を行うエコーキャンセルプログラムを、例えばパーソナルコンピュータ等の情報処理装置にインストールし、当該情報処理装置によってエコーを除去するようにしてもよい。
この場合、エコーキャンセルプログラムを情報処理装置にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、CD−ROM(Compact Disc-Read Only Memory )、DVD(Digital Versatile Disc)等のパッケージメディアのみならず、これらのプログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。
また、プログラム格納媒体にこれらのプログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデム等の各種通信インターフェースを介して格納するようにしてもよい。
本発明は、テレビ会議システムやハンズフリーホン等のハンズフリー通話システムに適用できる。
本発明によるエコーキャンセラの構成を示すブロック図である。 エコー除去量算出の説明に供する略線図である。 従来のエコーキャンセラの構成を示すブロック図である。
符号の説明
1、10……エコーキャンセラ、2……適応フィルタ、3……疑似エコー演算部、4……スピーカ、5……マイクロホン、6……減算器、11……エコーサプレッサ、12……抑圧量計算部、13……遅延部、14……抑圧部。

Claims (3)

  1. 通話相手側から送信された受話信号がスピーカを介して受話音声として出力されマイクロホンに回り込むことにより発生するエコー成分を除去するためのエコーキャンセラであって、
    上記マイクロホンによって集音された上記エコー成分及び話者の音声からなる送話信号から、上記受話信号と上記送話信号とを用いて上記エコー成分を生成した擬似エコー信号を減算することにより上記送話信号に含まれる上記エコー成分を除去したエコー除去送話信号を生成するエコー除去送話信号生成手段と、
    上記送話信号の絶対値の移動平均値を求めることにより送話信号レベル[dB]を算出する送話信号レベル算出手段と、
    上記エコー除去送話信号の絶対値の移動平均値を求めることによりエコー除去送話信号レベル[dB]を算出するエコー除去送話信号レベル算出手段と、
    上記送話信号レベル[dB]から上記エコー除去送話信号レベル[dB]を減算することによりエコー除去量[dB]を算出するエコー除去量算出手段と、
    上記エコー除去量[dB]に対してエコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算することによりエコー抑圧量[dB]を算出するエコー抑制量算出手段と、
    上記エコー抑圧量[dB]に基づいて、エコー抑圧送話信号を生成するエコー抑圧送話信号生成手段と
    を具えるエコーキャンセラ。
  2. 通話相手側から送信された受話信号がスピーカを介して受話音声として出力されマイクロホンに回り込むことにより発生するエコー成分を除去するためエコーキャンセル方法であって、
    上記マイクロホンによって集音された上記エコー成分及び話者の音声からなる送話信号から、上記受話信号と上記送話信号とを用いて上記エコー成分を生成した擬似エコー信号を減算することにより上記送話信号に含まれる上記エコー成分を除去したエコー除去送話信号を生成するエコー除去送話信号生成ステップと、
    上記送話信号の絶対値の移動平均値を求めることにより送話信号レベル[dB]を算出する送話信号レベル算出ステップと、
    上記エコー除去送話信号の絶対値の移動平均値を求めることによりエコー除去送話信号レベル[dB]を算出するエコー除去送話信号レベル算出ステップと、
    上記送話信号レベル[dB]から上記エコー除去送話信号レベル[dB]を減算することによりエコー除去量[dB]を算出するエコー除去量算出ステップと、
    上記エコー除去量[dB]に対してエコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算することによりエコー抑圧量[dB]を算出するエコー抑制量算出ステップと、
    上記エコー抑圧量[dB]に基づいて、エコー抑圧送話信号を生成するエコー抑圧送話信号生成ステップと
    を具えるエコーキャンセル方法。
  3. 通話相手側から送信された受話信号がスピーカを介して受話音声として出力されマイクロホンに回り込むことにより発生するエコー成分を除去するためのエコーキャンセルプログラムであって、
    上記マイクロホンによって集音された上記エコー成分及び話者の音声からなる送話信号から、上記受話信号と上記送話信号とを用いて上記エコー成分を生成した擬似エコー信号を減算することにより上記送話信号に含まれる上記エコー成分を除去したエコー除去送話信号を生成するエコー除去送話信号生成ステップと、
    上記送話信号の絶対値の移動平均値を求めることにより送話信号レベル[dB]を算出する送話信号レベル算出ステップと、
    上記エコー除去送話信号の絶対値の移動平均値を求めることによりエコー除去送話信号レベル[dB]を算出するエコー除去送話信号レベル算出ステップと、
    上記送話信号レベル[dB]から上記エコー除去送話信号レベル[dB]を減算することによりエコー除去量[dB]を算出するエコー除去量算出ステップと、
    上記エコー除去量[dB]に対してエコー効果と音量の揺れとに基づいてゼロ以上の任意の値で適宜設定される抑圧係数を乗算することによりエコー抑圧量[dB]を算出するエコー抑制量算出ステップと、上記エコー抑圧量[dB]に基づいて、エコー抑圧送話信号を生成するエコー抑圧送話信号生成ステップと
    をエコーキャンセル装置に実行させるエコーキャンセルプログラム。
JP2003395921A 2003-11-26 2003-11-26 エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム Expired - Fee Related JP4403491B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003395921A JP4403491B2 (ja) 2003-11-26 2003-11-26 エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003395921A JP4403491B2 (ja) 2003-11-26 2003-11-26 エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム

Publications (2)

Publication Number Publication Date
JP2005159753A JP2005159753A (ja) 2005-06-16
JP4403491B2 true JP4403491B2 (ja) 2010-01-27

Family

ID=34721553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003395921A Expired - Fee Related JP4403491B2 (ja) 2003-11-26 2003-11-26 エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム

Country Status (1)

Country Link
JP (1) JP4403491B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4818014B2 (ja) * 2005-07-28 2011-11-16 株式会社東芝 信号処理装置
US8335311B2 (en) 2005-07-28 2012-12-18 Kabushiki Kaisha Toshiba Communication apparatus capable of echo cancellation
JP4814329B2 (ja) * 2005-10-21 2011-11-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音響エコーキャンセラ
JP4559989B2 (ja) * 2006-03-24 2010-10-13 日本電信電話株式会社 エコー抑圧方法、エコー抑圧プログラム、記録媒体
JP4727542B2 (ja) 2006-09-26 2011-07-20 富士通株式会社 電子機器、そのエコーキャンセル方法、そのエコーキャンセルプログラム、記録媒体及び回路基板
JP5288500B2 (ja) * 2010-11-12 2013-09-11 Necインフロンティア株式会社 ハンズフリー電話装置、ハンズフリー通話方法及びハンズフリー通話プログラム

Also Published As

Publication number Publication date
JP2005159753A (ja) 2005-06-16

Similar Documents

Publication Publication Date Title
JP3727258B2 (ja) エコー抑制処理システム
JP4282260B2 (ja) エコーキャンセラ
US20050286714A1 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
JP2003234679A (ja) 音響エコーの相殺および抑制を実行する利得制御方法
JP5125690B2 (ja) 音響エコー除去装置
KR20140139053A (ko) 능동 노이즈 소거 적응형 필터를 위한 사전-성형 직렬 필터
JP2007522705A (ja) 音声歪み圧縮システム及びそのフィルター装置
WO1999014868A1 (fr) Procede de suppression d'echo, annuleur d'echo et commutateur vocal
JP2010081004A (ja) エコーキャンセル装置、通信装置、及びエコーキャンセル方法
JP2008060938A (ja) 通話判定装置
JP2002084212A (ja) 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
US6560332B1 (en) Methods and apparatus for improving echo suppression in bi-directional communications systems
CN115175063A (zh) 啸叫抑制方法、装置、音响及扩音系统
JP4403491B2 (ja) エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム
JP3385221B2 (ja) エコーキャンセラ
JP4888262B2 (ja) 通話状態判定装置および該通話状態判定装置を備えたエコーキャンセラ
JP2861888B2 (ja) エコー・ノイズキャンセラおよびエコー・ノイズ消去方法
JP3982823B2 (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP2008287046A (ja) 背景雑音補間装置、背景雑音補間方法
JPH10229354A (ja) エコー制御装置
JP4352320B2 (ja) エコーキャンセラ、エコーキャンセル方法及びエコーキャンセルプログラム
JP7043344B2 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
JP2007336132A (ja) エコー抑圧装置
JP2004297791A (ja) エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体
JP3321411B2 (ja) エコー除去装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091008

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091021

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees