JP5071480B2 - エコー抑制装置、エコー抑制システム、エコー抑制方法及びコンピュータプログラム - Google Patents
エコー抑制装置、エコー抑制システム、エコー抑制方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5071480B2 JP5071480B2 JP2009529874A JP2009529874A JP5071480B2 JP 5071480 B2 JP5071480 B2 JP 5071480B2 JP 2009529874 A JP2009529874 A JP 2009529874A JP 2009529874 A JP2009529874 A JP 2009529874A JP 5071480 B2 JP5071480 B2 JP 5071480B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound signal
- echo
- correction amount
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001629 suppression Effects 0.000 title claims description 106
- 238000000034 method Methods 0.000 title claims description 85
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000005236 sound signal Effects 0.000 claims description 226
- 238000012937 correction Methods 0.000 claims description 212
- 238000004364 calculation method Methods 0.000 claims description 77
- 238000001228 spectrum Methods 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 57
- 238000009499 grossing Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002592 echocardiography Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
古井貞煕著、音響・音声工学、初版、株式会社近代科学社、1992年9月、p84−85
10 適応フィルタ
11 補正部
12 補正量算出部
120 コンピュータプログラム
121 分割手段
122 合成手段
2 音出力装置
20 音出力部
3 音処理装置
30 音入力部
100 エコーキャンセラ
101 スピーカ
102 マイクロホン
103 適応フィルタ
図2は、本発明の実施の形態1に係るエコー抑制装置の構成例を示す模式図である。図2中1は、例えばテレビ会議システム、車両に搭載されるカーナビゲーションシステム等のコンピュータを用いたエコー抑制装置であり、エコー抑制装置1は、オーディオシステム等の音出力装置2及び音声認識システム等の音処理装置3と連携して動作する。音出力装置2から出力される出力音信号は、スピーカ等の音出力部20から音として出力される。またコンデンサマイクロホン等の音入力部30は、外部の音を受音し、受音した音に基づいて入力音信号を生成し、音処理装置3へ出力する。エコー抑制装置1は、音出力部20から夫々出力された音に基づくエコーを、音入力部30が受音した音から除去するエコーキャンセラの機能を備えている。なお以降の説明において、特にエコー抑制装置1内の出力音信号を参照音信号として示し、入力音信号を観測音信号として示す。
実施の形態2は、実施の形態1とは異なる方法にて補正量を算出する形態である。図11は、本発明の実施の形態2に係るエコー抑制装置の構成例を示す模式図である。実施の形態2では、補正量算出部12に参照音信号x(t)及び観測音信号y(t)並びに差分信号e(t)が入力される。補正量算出部12は、平滑化パワー比powEt(n)に基づき、補正部11にて、差分信号e(t)のスペクトル形状を平坦化すべく補正量(補正係数)を算出する。具体的には差分信号e(t)からスペクトルを導出し、導出したスペクトルに対してケプストラム分析を行うことにより、スペクトルの低次、例えば3次以下の成分であるスペクトル包絡を導出する。そして導出したスペクトル包絡を0に近付けるべく、スペクトル包絡に乗じる補正係数を算出する。なおその他の構成については、実施の形態1と同様であるので、実施の形態1と同様の符号を付し、その説明を省略する。また平滑化パワー比powEt(n)を算出するまでの処理も実施の形態1と同様であるので、実施の形態1と同様の符号を付し、その説明を省略する。
実施の形態3は、実施の形態1において実施の形態1とは異なる方法にて補正量を算出する形態である。なお実施の形態3に係るエコー抑制装置の構成例は、実施の形態1の変形である実施の形態2と同様であるので、実施の形態1及び実施の形態2を参照するものとし、その詳細な説明を省略する。また平滑化パワー比powEt(n)を算出するまでの処理は、実施の形態1と同様であるので、実施の形態1と同様の符号を付し、その説明を省略する。
実施の形態4は、実施の形態1において、信号を周波数帯域に基づいて分割し、分割した周波数帯域毎に補正量を算出する形態である。図16は、本発明の実施の形態4に係るエコー抑制装置の構成例を示す模式図である。実施の形態4における補正量算出部12は、参照音信号x(t)及び観測音信号y(t)を周波数帯域に基づいて分割する分割手段121と、周波数帯域毎に算出した補正量を合成する合成手段122とを備えている。なおその他の構成については、実施の形態1と同様であるので、実施の形態1と同様の符号を付し、その説明を省略する。
Claims (7)
- 音信号に基づく音を音出力部から出力させる音出力装置、及び音入力部が受音した音に基づく音信号を処理する音処理装置と連携して動作可能であり、音入力部が受音した音に基づく観測音信号のエコーを抑制するエコー抑制装置において、
前記音出力装置から音出力部へ出力する参照音信号及び前記観測音信号に基づいて推定した該観測音信号のエコー成分を除去するエコー除去部と、
前記参照音信号に対する前記観測音信号のパワー比を算出する比算出部と、
算出したパワー比に応じて、前記エコー成分を除去した観測音信号に対する補正量を算出する補正量算出部と、
前記エコー成分を除去した観測音信号に残留する残留エコーを抑制すべく、算出した補正量に基づいて、前記エコー成分を除去した観測音信号を補正する補正部と、
補正した観測音信号を前記音処理装置へ出力する出力部と
を備え、
前記補正量算出部は、
前記エコー成分を除去した観測音信号に基づくスペクトルを導出するスペクトル導出部と、
導出したスペクトルに基づくスペクトル包絡を導出する包絡導出部と、
前記パワー比が所定値以下である場合に、前記パワー比に応じて前記スペクトル包絡を補正する補正係数を求める係数部と
を備え、
前記補正係数にて前記スペクトル包絡を補正した結果に基づいて、前記エコー成分を除去した観測音信号のスペクトル形状を補正する補正量を算出する様に構成してある
ことを特徴とするエコー抑制装置。 - 前記補正量算出部は、パワー比が所定値以下である場合に、パワー比に応じて前記観測音信号の残留エコーを抑制すべく補正量を算出する様に構成してあることを特徴とする請求項1に記載のエコー抑制装置。
- 前記補正量算出部は、パワー比の時間変化を平滑化した結果に基づいて補正量を算出する様に構成してあることを特徴とする請求項1又は請求項2に記載のエコー抑制装置。
- 前記補正量算出部は、
前記観測音信号及び前記参照音信号の周波数帯域毎に補正量を算出する様に構成してあり、
周波数帯域毎に算出した補正量に、周波数帯域毎に予め設定されている帯域補正係数を乗じて補正量を算出する様に構成してある
ことを特徴とする請求項1乃至請求項3のいずれかに記載のエコー抑制装置。 - 音信号に基づく音を出力部から出力させる音出力装置と、
音入力部が受音した音に基づく音信号を処理する音処理装置と、
前記音出力装置及び音処理装置と連携する請求項1乃至請求項4のいずれかに記載のエコー抑制装置と
を備えることを特徴とするエコー抑制システム。 - 音信号に基づく音を音出力部から出力させる音出力装置、及び音入力部が受音した音に基づく音信号を処理する音処理装置と連携可能なエコー抑制装置に、音入力部が受音した音に基づく観測音信号のエコーを抑制させるエコー抑制方法において、
前記エコー抑制装置は、
前記音出力装置から音出力部へ出力する参照音信号及び前記観測音信号に基づいて推定した該観測音信号のエコー成分を除去する手順と、
前記参照音信号に対する前記観測音信号のパワー比を算出する手順と、
前記エコー成分を除去した観測音信号に基づくスペクトル導出する手順と、
導出したスペクトルに基づくスペクトル包絡を導出する手順と、
前記パワー比が所定値以下である場合に、前記パワー比に応じて前記スペクトル包絡を補正する補正係数を求める手順と、
前記補正係数にて前記スペクトル包絡を補正した結果に基づいて、前記エコー成分を除去した観測音信号のスペクトル形状を補正する補正量を算出する手順と、
前記エコー成分を除去した観測音信号に残留する残留エコーを抑制すべく、算出した補正量に基づいて、前記エコー成分を除去した観測音信号を補正する手順と、
補正した観測音信号を前記音処理装置へ出力する手順と
を実行することを特徴とするエコー抑制方法。 - 音信号に基づく音を音出力部から出力させる音出力装置、及び音入力部が受音した音に基づく音信号を処理する音処理装置と連携し、音入力部が受音した音に基づく観測音信号のエコー成分を除去し、前記出力装置へ出力するコンピュータに、エコー成分を除去した観測音信号に残留する残留エコーを抑制すべく、エコー成分を除去した観測音信号を補正する補正量を算出させるコンピュータプログラムであって、
コンピュータに、
前記音出力装置から音出力部へ出力する参照音信号及び前記観測音信号に基づいて推定した該観測音信号のエコー成分を除去させる手順と、
前記参照音信号に対する前記観測音信号のパワー比を算出させる手順と、
前記エコー成分を除去した観測音信号に基づくスペクトル導出させる手順と、
導出したスペクトルに基づくスペクトル包絡を導出させる手順と、
前記パワー比が所定値以下である場合に、前記パワー比に応じて前記スペクトル包絡を補正する補正係数を求めさせる手順と、
前記補正係数にて前記スペクトル包絡を補正した結果に基づいて、前記エコー成分を除去した観測音信号のスペクトル形状を補正する補正量を算出させる手順と
を実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2007/066470 WO2009028023A1 (ja) | 2007-08-24 | 2007-08-24 | エコー抑制装置、エコー抑制システム、エコー抑制方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009028023A1 JPWO2009028023A1 (ja) | 2010-11-25 |
JP5071480B2 true JP5071480B2 (ja) | 2012-11-14 |
Family
ID=40386767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009529874A Expired - Fee Related JP5071480B2 (ja) | 2007-08-24 | 2007-08-24 | エコー抑制装置、エコー抑制システム、エコー抑制方法及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8391471B2 (ja) |
JP (1) | JP5071480B2 (ja) |
DE (1) | DE112007003625T5 (ja) |
WO (1) | WO2009028023A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101445186B1 (ko) | 2013-08-27 | 2014-10-01 | (주) 로임시스템 | 비선형 보정 반향 제거장치 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4438720B2 (ja) * | 2005-08-17 | 2010-03-24 | ソニー株式会社 | エコーキャンセラ及びマイク装置 |
US8582781B2 (en) * | 2009-01-20 | 2013-11-12 | Koplar Interactive Systems International, L.L.C. | Echo modulation methods and systems |
JP5493817B2 (ja) * | 2009-12-17 | 2014-05-14 | 沖電気工業株式会社 | エコーキャンセラ |
JP5156043B2 (ja) * | 2010-03-26 | 2013-03-06 | 株式会社東芝 | 音声判別装置 |
JPWO2013136742A1 (ja) * | 2012-03-14 | 2015-08-03 | パナソニックIpマネジメント株式会社 | 車載通話装置 |
US8655418B2 (en) * | 2012-05-31 | 2014-02-18 | Continental Automotive Systems, Inc | Method and apparatus for a frequency domain echo suppression filter |
US9210270B2 (en) | 2012-11-15 | 2015-12-08 | Qualcomm Incorporated | Echo cancellation for ultrasound |
US10542153B2 (en) * | 2017-08-03 | 2020-01-21 | Bose Corporation | Multi-channel residual echo suppression |
US10200540B1 (en) | 2017-08-03 | 2019-02-05 | Bose Corporation | Efficient reutilization of acoustic echo canceler channels |
US10594869B2 (en) | 2017-08-03 | 2020-03-17 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
WO2019070722A1 (en) | 2017-10-03 | 2019-04-11 | Bose Corporation | SPACE DIAGRAM DETECTOR |
US10964305B2 (en) | 2019-05-20 | 2021-03-30 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
CN111161748B (zh) * | 2020-02-20 | 2022-09-23 | 百度在线网络技术(北京)有限公司 | 一种双讲状态检测方法、装置以及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07226793A (ja) * | 1994-02-10 | 1995-08-22 | Fujitsu Ltd | 信号伝達系の応答の変化を検出する装置 |
JPH08223088A (ja) * | 1995-02-15 | 1996-08-30 | Matsushita Electric Ind Co Ltd | エコーキャンセラ |
JPH11331046A (ja) * | 1998-03-16 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体 |
JP2002084212A (ja) * | 2000-09-08 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 |
JP2002237769A (ja) * | 2001-02-08 | 2002-08-23 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体 |
JP2005250266A (ja) * | 2004-03-05 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体 |
WO2006049260A1 (ja) * | 2004-11-08 | 2006-05-11 | Nec Corporation | 信号処理の方法、信号処理の装置および信号処理用プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69129719T2 (de) * | 1990-02-16 | 1999-01-14 | Fujitsu Ltd., Kawasaki, Kanagawa | Sprechvorrichtung mit einer wechselseitigen freisprechfunktion |
JP2538176B2 (ja) * | 1993-05-28 | 1996-09-25 | 松下電器産業株式会社 | エコ―制御装置 |
DE69532394T2 (de) * | 1994-02-10 | 2004-11-04 | Nippon Telegraph And Telephone Corp. | Verfahren und Vorrichtung zur Echokompensation mit Anwendung der "fast projection scheme" |
US5668794A (en) * | 1995-09-29 | 1997-09-16 | Crystal Semiconductor | Variable gain echo suppressor |
JP2982718B2 (ja) * | 1996-11-01 | 1999-11-29 | 日本電気株式会社 | 衛星通信装置 |
JP3396393B2 (ja) | 1997-04-30 | 2003-04-14 | 沖電気工業株式会社 | エコー・雑音成分除去装置 |
JP3220979B2 (ja) | 1998-01-09 | 2001-10-22 | 日本電気株式会社 | 音声スイッチ |
US6570986B1 (en) * | 1999-08-30 | 2003-05-27 | Industrial Technology Research Institute | Double-talk detector |
US7139342B1 (en) * | 2000-05-12 | 2006-11-21 | National Semiconductor Corporation | System and method for cancelling signal echoes in a full-duplex transceiver front end |
JP4162860B2 (ja) | 2001-01-12 | 2008-10-08 | アルパイン株式会社 | 不要音信号除去装置 |
EP1393461B1 (en) * | 2001-05-17 | 2006-07-19 | STMicroelectronics Asia Pacific Pte Ltd. | Echo canceller and a method of cancelling echo |
US6961422B2 (en) * | 2001-12-28 | 2005-11-01 | Avaya Technology Corp. | Gain control method for acoustic echo cancellation and suppression |
JP3753996B2 (ja) * | 2002-03-20 | 2006-03-08 | 日本電信電話株式会社 | 反響抑圧装置、反響抑圧方法及びプログラム |
US7346012B2 (en) * | 2002-12-13 | 2008-03-18 | Tioga Technologies Ltd. | Transceiver with accelerated echo canceller convergence |
US7046794B2 (en) | 2003-12-12 | 2006-05-16 | Motorola, Inc. | Double talk activity detector and method for an echo canceler circuit |
US7386142B2 (en) * | 2004-05-27 | 2008-06-10 | Starkey Laboratories, Inc. | Method and apparatus for a hearing assistance system with adaptive bulk delay |
JP4297055B2 (ja) * | 2005-01-12 | 2009-07-15 | ヤマハ株式会社 | カラオケ装置 |
-
2007
- 2007-08-24 WO PCT/JP2007/066470 patent/WO2009028023A1/ja active Application Filing
- 2007-08-24 JP JP2009529874A patent/JP5071480B2/ja not_active Expired - Fee Related
- 2007-08-24 DE DE112007003625T patent/DE112007003625T5/de not_active Ceased
-
2010
- 2010-02-22 US US12/709,729 patent/US8391471B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07226793A (ja) * | 1994-02-10 | 1995-08-22 | Fujitsu Ltd | 信号伝達系の応答の変化を検出する装置 |
JPH08223088A (ja) * | 1995-02-15 | 1996-08-30 | Matsushita Electric Ind Co Ltd | エコーキャンセラ |
JPH11331046A (ja) * | 1998-03-16 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体 |
JP2002084212A (ja) * | 2000-09-08 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 |
JP2002237769A (ja) * | 2001-02-08 | 2002-08-23 | Nippon Telegr & Teleph Corp <Ntt> | 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体 |
JP2005250266A (ja) * | 2004-03-05 | 2005-09-15 | Nippon Telegr & Teleph Corp <Ntt> | エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体 |
WO2006049260A1 (ja) * | 2004-11-08 | 2006-05-11 | Nec Corporation | 信号処理の方法、信号処理の装置および信号処理用プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101445186B1 (ko) | 2013-08-27 | 2014-10-01 | (주) 로임시스템 | 비선형 보정 반향 제거장치 |
Also Published As
Publication number | Publication date |
---|---|
DE112007003625T5 (de) | 2010-07-15 |
WO2009028023A1 (ja) | 2009-03-05 |
US20100150376A1 (en) | 2010-06-17 |
JPWO2009028023A1 (ja) | 2010-11-25 |
US8391471B2 (en) | 2013-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5071480B2 (ja) | エコー抑制装置、エコー抑制システム、エコー抑制方法及びコンピュータプログラム | |
JP4916394B2 (ja) | エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム | |
JP4283212B2 (ja) | 雑音除去装置、雑音除去プログラム、及び雑音除去方法 | |
JP4957810B2 (ja) | 音処理装置、音処理方法及び音処理プログラム | |
JP4753821B2 (ja) | 音信号補正方法、音信号補正装置及びコンピュータプログラム | |
JP5444472B2 (ja) | 音源分離装置、音源分離方法、及び、プログラム | |
EP3276621B1 (en) | Noise suppression device and noise suppressing method | |
JP2001134287A (ja) | 雑音抑圧装置 | |
JP2005195895A (ja) | 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置 | |
JP6545419B2 (ja) | 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置 | |
JP2012195801A (ja) | 会話支援装置 | |
JP2003140700A (ja) | ノイズ除去方法及び装置 | |
JPH11265199A (ja) | 送話器 | |
JP5466581B2 (ja) | 反響消去方法、反響消去装置及び反響消去プログラム | |
JP2008072600A (ja) | 音響信号処理装置、音響信号処理プログラム、音響信号処理方法 | |
JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP2009049977A (ja) | エコーキャンセラ | |
CN113519169B (zh) | 用于音频啸叫衰减的方法和装置 | |
US10109291B2 (en) | Noise suppression device, noise suppression method, and computer program product | |
JP2023130254A (ja) | 音声処理装置および音声処理方法 | |
JP4209348B2 (ja) | エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体 | |
JP2022011893A (ja) | ノイズ抑圧回路 | |
JP2013130815A (ja) | 雑音抑圧装置 | |
KR20110028104A (ko) | 뮤지컬 노이즈 제거 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120806 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |