JP5061976B2 - エコーキャンセラ、エコーキャンセル方法及びプログラム - Google Patents
エコーキャンセラ、エコーキャンセル方法及びプログラム Download PDFInfo
- Publication number
- JP5061976B2 JP5061976B2 JP2008063086A JP2008063086A JP5061976B2 JP 5061976 B2 JP5061976 B2 JP 5061976B2 JP 2008063086 A JP2008063086 A JP 2008063086A JP 2008063086 A JP2008063086 A JP 2008063086A JP 5061976 B2 JP5061976 B2 JP 5061976B2
- Authority
- JP
- Japan
- Prior art keywords
- echo
- addition
- adaptive filter
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
以下では、本発明のエコーキャンセラ、エコーキャンセル方法及びプログラムの第1の実施形態を図面を参照しながら詳細に説明する。
図1は、第1の実施形態のエコーキャンセラ100の構成を示す構成図である。図1において、右側が図示しない近端話者側であり、左側が図示しない遠端話者側である。
次に、第1の実施形態のエコーキャンセラ100における処理について図面を参照しながら説明する。
以下では、まず、通常適応フィルタ6における動作を説明する。通常適応フィルタ6において、SW1の初期状態はb端子に接続し、SW2の初期状態はb端子に接続し、SW3の初期状態は閉じている。
そして、上記式(1)が成立した場合、音声検出部8は「音声あり」と判断し、v_flg=1を出力し、上記式(1)が成立しない場合、音声検出部8は「音声なし」と判断し、v_flg=0を出力する。
nはサンプル順、Nは適応フィルタのタップ数(第1の実施形態では、例えばN=1024とする)、tは行列の転置を示す。
Nは適応フィルタのタップ数(N=1024とする)。
このとき、SW2は、適応モード制御部10の出力によって、端子bに接続されているので、擬似エコーy´(n)は加算器Add1に出力される。
最終的に、送信側出力端子Sout7から出力された信号は、遠端への音声信号として出力される。
ADF_S17は、音声検出部8の音声結果が「音声あり」のときに、音声データを収集し、加工して準備だけを行う。また、音声結果が「音声なし」のときに、ADF_S17は、エコーの同定(エコー経路の同定としても意味は同じ)を行うものである。
同様に、送信側加算データ加工部12sでも、式(8−5)のよう作成される。
この時点では、加算データ加工部12sにはまだ入力ベクトル1本だけである。従って、初めて作成される加算平均ベクトルは図4(C)の最初のようになり、平均をとっても何も変わらない。
図4では、AVEL_PILE_CNT=6の例を示しており、時刻t5に達するまでは、まだベクトルがAVEL_PILE_CNT分蓄積できていないので、除算はpile_cntで行われる。
mはサンプル順であり、tは転置行列を示す。
例えば、m=0であると、入力ベクトルの要素rin_keep[0]が1個だけADF_S用保持レジスタ16cに入力されるからSX(m)は、次のようになる。
ADF_S用積和演算部16bは、式(11)のベクトルと式(12)のベクトルの積を計算し、ADF_S17内部擬似エコー信号Sy´(m)を作成し、加算器Add2に出力する。
加算器Add2には、送信側加算データ保存部13sから送信側ベクトル要素データsin_keep(m)が、受信側加算データ保存部13rと同じタイミングのmで1サンプルずつ入力され、Sy´(m)と相殺されて、残差信号Se(m)を出力する。残差信号Se(m)は、ADF_S用適応フィルタ係数更新部S_ADP16dに出力される。
=[1〜1・・・0] …(18)
そして、更新停止指示部16eは、一旦SDTの論理否定を行い1と0を反転させNOT_SDTを作成する。
=[0〜0…1…1] …(19)
S_ADP16dは、式(21)のようにして、係数ベクトルW(m)をW(m+1)として更新する。ただし、サンプル順がSDT=[sDT[0]〜sDT[319]・・・sDT[LENGTH−1]]で要素1とタイミングが合致するデータに関しては当該データサンプルは係数更新を実行しない。
そして、次に音声が検出され、ADF_N6が再び駆動され始めるときの係数の係数初期値として使われる。すなわち、エコーキャンセラ100は、遠端からの受信入力信号x(n)があるときは、通常の適応フィルタADF_N6を駆動してエコーキャンラの収束を進めてエコーを減少させ、その際、同時に通常の適応フィルタを駆動中の受信中の入力を、一定サンプル数だけタイミングを揃えて穂損しておき、音声がないときでもエコーキャンセラの収束を進めるための準備をする。
以上のように、第1の実施形態によれば、従来係数更新が不可能であった無音区間を利用してエコーキャンセラのフィルタ係数を収束させることができるので、高速アルゴリズムを用いなくてもフィルタ係数をはやく収束させることができ、その結果エコーを早期に除去することができる。
次に、本発明のエコーキャンセラ、エコーキャンセル方法及びプログラムの第2の実施形態を図面を参照しながら説明する。
図7は、第2の実施形態のエコーキャンセラ200の内部構成を示す構成図である。
+(1.0−δ)・20log|x(n)/res(n)| …(23)
一方、所望ACOM入力部21には設定者が予め適当な目標エコー減衰量値TGT_ACOMを設定しておく。第2の実施形態では、TGT_ACOMとして30dBを設定するものとするが、この値は特に限定されるものではない。
式(24)において、intは値を整数化する関数である。
以上のように、第2の実施形態によれば、第1の実施形態の効果に加えて、熟練した設計者による参照表を設定しなくても、利用者が簡単な設定でエコーキャンセラの背景ノイズ環境にあわせたエコー除去を実現することができる。
(C)第3の実施形態
以下、本発明のエコーキャンセラ、エコーキャンセル方法及びプログラムの第3の実施形態を図面を参照しながら説明する。
図8は、第3の実施形態のエコーキャンセラの内部構成を示す構成図である。
第2の実施形態では、熟練設計者が利用者毎の使用環境に対応する参照表を設定しなくても、使用環境にいる利用者自身が簡単な設定をすることで、エコーキャンセラが背景ノイズ環境に適応した性能を発揮できるようにした。
以上のように、第3の実施形態によれば、第1及び第2の実施形態の効果に加えて、利用者が特段の知識、技術を有していなくても、エコーキャンセラが自動的に最も効果的な加算平均数に設定することができるので、効果的にエコーを除去することができる。
上述した第1〜第3の実施形態で説明したエコーキャンセラはソフトウェア処理により実現されるものである。すなわち、CPU、ROM、RAMなどで構成されるハードウェアにおいて、CPUが、ROMに格納される処理プログラムを実行することにより、上述したエコーキャンセル処理が実現される。
Claims (8)
- 受信入力信号及び送信出力信号に基づいて通話状態を監視する通話状態監視手段と、
遠端から音声信号が入力される場合に動作する第1の適応フィルタ手段と、
遠端から音声信号が入力されない場合に動作する第2の適応フィルタ手段と、
上記通話状態監視手段による遠端からの音声検出結果に応じて、上記第1の適応フィルタ手段と上記第2の適応フィルタ手段との動作を切替制御する動作制御手段と、
上記通話状態監視手段により無通話状態と判断されたときに、送信出力信号に基づいて近端の背景ノイズのパワーを求める背景ノイズパワー計算手段と、
上記通話状態監視手段によりシングルトーク状態と判断されたときに、送信出力信号に基づいてエコーパワーを検出するエコーパワー検出手段と、
上記背景ノイズパワー計算手段により求められた近端の背景ノイズパワーの平均値と、上記エコーパワー検出手段により求められたエコーパワーの平均値とに基づいて、加算平均回数を求める加算回数制御手段と
を備え、
上記第2の適応フィルタ手段が、
上記音声検出手段により音声検出なしから音声検出ありに遷移した時点から、送信出力信号及び受信入力信号の所定期間長の各サンプリングデータを、送信入力ベクトル及び受信入力ベクトルとして逐次更新しながら保持する加算データ選択部と、
上記加算回数制御手段からの上記加算平均回数に従って、上記送信入力ベクトル及び上記受信入力ベクトルのそれぞれについて、所定設定回数を上限として同期加算平均する加算データ加工部と、
上記加算データ加工部により同期加算平均された上記受信入力ベクトルと逐次更新するフィルタ係数とを用いて擬似エコー信号を作成し、同期加算平均された上記送信入力ベクトルから上記擬似エコー信号を除去するものであって、収束したフィルタ係数を上記第1の適応フィルタ手段に与える適応フィルタ部と、
ダブルトーク状態の間、上記適応フィルタにおけるフィルタ係数の更新処理を停止させる更新停止指示部と
を有することを特徴とするエコーキャンセラ。 - 上記加算回数制御手段が、上記エコーパワーの平均値と上記背景ノイズパワーの平均値との比と、予め設定された加算平均回数とを対応づけた対応テーブルを有し、この対応テーブルを参照して、上記加算平均回数を求めるものであることを特徴とする請求項1に記載のエコーキャンセラ。
- 予め設定された所望エコー減衰量を保持する所望エコー減衰量保持手段と、
シングルトーク状態のとき、上記第1の適応フィルタ手段によりエコー除去された信号と、遠端からの上記受信入力信号とに基づいて、エコー減衰量を求めるエコー減衰量計算手段と
を備え、
上記加算回数制御手段が、上記エコー減衰量計算手段により求められた上記エコー減衰量と、上記所望エコー減衰量とに基づいて、上記加算平均回数を求めるものであることを特徴とする請求項1に記載のエコーキャンセラ。 - シングルトーク状態のとき、上記第1の適応フィルタ手段によりエコー除去された信号と、遠端からの上記受信入力信号とに基づいて、エコー減衰量を求めるエコー減衰量計算手段と、
上記エコー減衰量計算手段による前回のエコー減衰量と今回のエコー減衰量との変化量を監視するエコー減衰量監視手段と
を備え、
上記加算回数制御手段が、上記エコー減衰量監視手段による前回のエコー減衰量と今回のエコー減衰量との変化量に基づいて上記加算平均回数を求めるものであることを特徴とする請求項1に記載のエコーキャンセラ。 - 上記加算回数制御手段が、予め設定した複数の閾値と、前回のエコー減衰量と今回のエコー減衰量との変化量との比較結果に応じて、上記加算平均回数を求めるものであることを特徴とする請求項4に記載のエコーキャンセラ。
- 上記加算データ加工部は、動作開始後、予め設定された所定設定数のベクトルを確保できない場合には、その時点で確保できている数の送信入力ベクトル及び受信入力ベクトルを用いて同期加算平均を行うものであることを特徴とする請求項1〜5のいずれかに記載のエコーキャンセラ。
- コンピュータが、通話状態監視手段、第1の適応フィルタ手段、第2の適応フィルタ手段、動作制御手段、背景ノイズパワー計算手段、エコーパワー検出手段及び加算回数制御手段を備え、
上記通話状態監視手段が、受信入力信号及び送信出力信号に基づいて通話状態を監視する通話状態監視工程と、
上記第1の適応フィルタ手段が、遠端から音声信号が入力される場合に動作する第1の適応フィルタ工程と、
上記第2の適応フィルタ手段が、遠端から音声信号が入力されない場合に動作する第2の適応フィルタ工程と、
上記動作制御手段が、上記通話状態監視手段による遠端からの音声検出結果に応じて、上記第1の適応フィルタ手段と上記第2の適応フィルタ手段との動作を切替制御する動作制御工程と、
上記背景ノイズパワー計算手段が、上記通話状態監視手段により無通話状態と判断されたときに、送信出力信号に基づいて近端の背景ノイズのパワーを求める背景ノイズパワー計算工程と、
上記エコーパワー検出手段が、上記通話状態監視手段によりシングルトーク状態と判断されたときに、送信出力信号に基づいてエコーパワーを検出するエコーパワー検出工程と、
上記加算回数制御手段が、上記背景ノイズパワー計算手段により求められた近端の背景ノイズパワーの平均値と、上記エコーパワー検出手段により求められたエコーパワーの平均値とに基づいて、加算平均回数を求める加算回数制御工程と
を有し、
上記第2の適応フィルタ工程では、
加算データ選択手段部が、上記音声検出手段により音声検出なしから音声検出ありに遷移した時点から、送信出力信号及び受信入力信号の所定期間長の各サンプリングデータを、送信入力ベクトル及び受信入力ベクトルとして逐次更新しながら保持する加算データ選択工程と、
加算データ加工部が、上記加算回数制御手段からの上記加算平均回数に従って、上記送信入力ベクトル及び上記受信入力ベクトルのそれぞれについて、所定設定回数を上限として同期加算平均する加算データ加工工程と、
適応フィルタ部が、上記加算データ加工部により同期加算平均された上記受信入力ベクトルと逐次更新するフィルタ係数とを用いて擬似エコー信号を作成し、同期加算平均された上記送信入力ベクトルから上記擬似エコー信号を除去するものであって、収束したフィルタ係数を上記第1の適応フィルタ手段に与える適応フィルタ工程と、
更新停止指示部が、ダブルトーク状態の間、上記適応フィルタにおけるフィルタ係数の更新処理を停止させる更新停止指示工程と
を有することを特徴とするエコーキャンセル方法。 - コンピュータを、
受信入力信号及び送信出力信号に基づいて通話状態を監視する通話状態監視手段、
遠端から音声信号が入力される場合に動作する第1の適応フィルタ手段、
遠端から音声信号が入力されない場合に動作する第2の適応フィルタ手段、
上記通話状態監視手段による遠端からの音声検出結果に応じて、上記第1の適応フィルタ手段と上記第2の適応フィルタ手段との動作を切替制御する動作制御手段、
上記通話状態監視手段により無通話状態と判断されたときに、送信出力信号に基づいて近端の背景ノイズのパワーを求める背景ノイズパワー計算手段、
上記通話状態監視手段によりシングルトーク状態と判断されたときに、送信出力信号に基づいてエコーパワーを検出するエコーパワー検出手段、
上記背景ノイズパワー計算手段により求められた近端の背景ノイズパワーの平均値と、上記エコーパワー検出手段により求められたエコーパワーの平均値とに基づいて、加算平均回数を求める加算回数制御手段
として機能させるものであって、
上記第2の適応フィルタ手段が、
上記音声検出手段により音声検出なしから音声検出ありに遷移した時点から、送信出力信号及び受信入力信号の所定期間長の各サンプリングデータを、送信入力ベクトル及び受信入力ベクトルとして逐次更新しながら保持する加算データ選択部、
上記加算回数制御手段からの上記加算平均回数に従って、上記送信入力ベクトル及び上記受信入力ベクトルのそれぞれについて、所定設定回数を上限として同期加算平均する加算データ加工部、
上記加算データ加工部により同期加算平均された上記受信入力ベクトルと逐次更新するフィルタ係数とを用いて擬似エコー信号を作成し、同期加算平均された上記送信入力ベクトルから上記擬似エコー信号を除去するものであって、収束したフィルタ係数を上記第1の適応フィルタ手段に与える適応フィルタ部、
ダブルトーク状態の間、上記適応フィルタにおけるフィルタ係数の更新処理を停止させる更新停止指示部
として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008063086A JP5061976B2 (ja) | 2008-03-12 | 2008-03-12 | エコーキャンセラ、エコーキャンセル方法及びプログラム |
US12/320,975 US8077858B2 (en) | 2008-03-12 | 2009-02-10 | Echo canceler and echo canceling method |
EP09152532A EP2101480B1 (en) | 2008-03-12 | 2009-02-11 | Echo canceller and echo cancelling method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008063086A JP5061976B2 (ja) | 2008-03-12 | 2008-03-12 | エコーキャンセラ、エコーキャンセル方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009219040A JP2009219040A (ja) | 2009-09-24 |
JP5061976B2 true JP5061976B2 (ja) | 2012-10-31 |
Family
ID=40548785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008063086A Expired - Fee Related JP5061976B2 (ja) | 2008-03-12 | 2008-03-12 | エコーキャンセラ、エコーキャンセル方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8077858B2 (ja) |
EP (1) | EP2101480B1 (ja) |
JP (1) | JP5061976B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740214B (zh) * | 2011-04-01 | 2014-09-10 | 中国科学院声学研究所 | 一种基于反馈信号频谱估计的啸叫抑制方法 |
JP5823845B2 (ja) * | 2011-12-14 | 2015-11-25 | ラピスセミコンダクタ株式会社 | エコーキャンセラ装置及びエコーキャンセル方法 |
CN103716478B (zh) * | 2013-12-11 | 2016-04-06 | 电子科技大学 | 双向回音消除方法 |
GB2515592B (en) * | 2013-12-23 | 2016-11-30 | Imagination Tech Ltd | Echo path change detector |
GB2527865B (en) * | 2014-10-30 | 2016-12-14 | Imagination Tech Ltd | Controlling operational characteristics of an acoustic echo canceller |
US10594869B2 (en) * | 2017-08-03 | 2020-03-17 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
US10542153B2 (en) | 2017-08-03 | 2020-01-21 | Bose Corporation | Multi-channel residual echo suppression |
US10863269B2 (en) | 2017-10-03 | 2020-12-08 | Bose Corporation | Spatial double-talk detector |
US10964305B2 (en) | 2019-05-20 | 2021-03-30 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
CN111798827A (zh) * | 2020-07-07 | 2020-10-20 | 上海立可芯半导体科技有限公司 | 回声消除方法、装置、系统和计算机可读介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821881B2 (ja) | 1987-03-26 | 1996-03-04 | 沖電気工業株式会社 | エコ−キヤンセラのダブルト−ク検出制御方法 |
JPH02105375A (ja) | 1988-10-14 | 1990-04-17 | Mitsubishi Electric Corp | 磁気ヘッドを担持するキャリアの自動錠止装置 |
JP2570011B2 (ja) | 1991-07-01 | 1997-01-08 | 岩崎通信機株式会社 | 双方向増幅器 |
US5295136A (en) * | 1992-04-13 | 1994-03-15 | Motorola, Inc. | Method of performing convergence in a, least mean square, adaptive filter, echo canceller |
JP3145269B2 (ja) | 1995-02-24 | 2001-03-12 | 松下電器産業株式会社 | エコーキャンセラ制御方法 |
JPH08265224A (ja) * | 1995-03-22 | 1996-10-11 | Nec Corp | エコーキャンセラ |
US5909384A (en) | 1996-10-04 | 1999-06-01 | Conexant Systems, Inc. | System for dynamically adapting the length of a filter |
US6269161B1 (en) * | 1999-05-20 | 2001-07-31 | Signalworks, Inc. | System and method for near-end talker detection by spectrum analysis |
US6570986B1 (en) * | 1999-08-30 | 2003-05-27 | Industrial Technology Research Institute | Double-talk detector |
JP3640576B2 (ja) | 1999-09-07 | 2005-04-20 | 沖電気工業株式会社 | エコーキャンセラ、及びその動作方法 |
JP4345225B2 (ja) * | 2000-11-27 | 2009-10-14 | 沖電気工業株式会社 | エコーキャンセラ |
JP4400015B2 (ja) | 2001-09-27 | 2010-01-20 | 沖電気工業株式会社 | ダブルトーク検出方法及びダブルトーク検出装置並びにエコーキャンセラ |
JP3922997B2 (ja) * | 2002-10-30 | 2007-05-30 | 沖電気工業株式会社 | エコーキャンセラ |
JP2006157499A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Ind Co Ltd | 音響エコーキャンセラとそれを用いたハンズフリー電話及び音響エコーキャンセル方法 |
JP4692291B2 (ja) * | 2006-01-13 | 2011-06-01 | 沖電気工業株式会社 | エコーキャンセラ |
JP2007228479A (ja) * | 2006-02-27 | 2007-09-06 | Kyocera Corp | エコーキャンセラおよびエコーキャンセル方法 |
JP2007288404A (ja) | 2006-04-14 | 2007-11-01 | Matsushita Electric Ind Co Ltd | カメラ選択装置およびカメラ設置位置決定方法 |
JP5020057B2 (ja) * | 2007-12-28 | 2012-09-05 | 三菱電機株式会社 | エコー消去装置 |
-
2008
- 2008-03-12 JP JP2008063086A patent/JP5061976B2/ja not_active Expired - Fee Related
-
2009
- 2009-02-10 US US12/320,975 patent/US8077858B2/en not_active Expired - Fee Related
- 2009-02-11 EP EP09152532A patent/EP2101480B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20090232297A1 (en) | 2009-09-17 |
US8077858B2 (en) | 2011-12-13 |
JP2009219040A (ja) | 2009-09-24 |
EP2101480A3 (en) | 2010-02-24 |
EP2101480B1 (en) | 2011-10-26 |
EP2101480A2 (en) | 2009-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061976B2 (ja) | エコーキャンセラ、エコーキャンセル方法及びプログラム | |
JP5223576B2 (ja) | エコーキャンセラ、エコーキャンセル方法及びプログラム | |
TWI469138B (zh) | 用於在一通話期間修改在一下行鏈路語音信號中之話音之可辨識度的方法、裝置及製造物品 | |
JP5061853B2 (ja) | エコーキャンセラ及びエコーキャンセルプログラム | |
JP2003032780A (ja) | ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法 | |
US7065206B2 (en) | Method and apparatus for adaptive echo and noise control | |
JP3267556B2 (ja) | エコー除去装置および送話器 | |
US10810990B2 (en) | Active noise cancellation (ANC) system with selectable sample rates | |
US8744524B2 (en) | User interface tone echo cancellation | |
US7555117B2 (en) | Path change detector for echo cancellation | |
JP2009017029A (ja) | 音声信号処理装置、音声信号処理方法 | |
JP4622399B2 (ja) | エコーキャンセラ付き通信端末及びそのエコーキャンセル方法 | |
US9191494B1 (en) | Device, system, and method for performing echo cancellation in different modes of a communication device | |
JP2007124255A (ja) | Ip電話装置およびその制御方法 | |
JP6855954B2 (ja) | ハウリング防止装置および電話装置 | |
JP5297396B2 (ja) | 拡声通話装置 | |
JP3442535B2 (ja) | エコーキャンセラ | |
JPH11284550A (ja) | 音声入出力装置 | |
JP2020155793A (ja) | エコーキャンセラおよびip電話機 | |
JP2017022569A (ja) | 通話方法およびそれを利用した通話装置 | |
JP2010103854A (ja) | スライド式携帯電話端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120723 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |