JPWO2010035308A1 - エコー消去装置 - Google Patents
エコー消去装置 Download PDFInfo
- Publication number
- JPWO2010035308A1 JPWO2010035308A1 JP2010530639A JP2010530639A JPWO2010035308A1 JP WO2010035308 A1 JPWO2010035308 A1 JP WO2010035308A1 JP 2010530639 A JP2010530639 A JP 2010530639A JP 2010530639 A JP2010530639 A JP 2010530639A JP WO2010035308 A1 JPWO2010035308 A1 JP WO2010035308A1
- Authority
- JP
- Japan
- Prior art keywords
- echo
- signal
- power
- spectrum
- amplitude suppression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
- H04B3/235—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers combined with adaptive equaliser
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
Description
特許文献1に開示の反響抑圧装置は、送話音声とエコーとが重畳した送信信号のパワーからエコー信号のパワーを減算することによって送話音声のみのパワーを算出し、この送話音声パワーに所定のマスキング閾値を加え、さらに送信信号のパワー値で正規化した値を、抑制係数としていた。反響抑圧装置は、この抑制係数を用いて非線形エコー処理を行うことにより、送話音声が存在するダブルトーク状態では自動的に抑圧が弱められ、送話音声が損なわれにくくなっていた。なお、エコー信号のパワーは、受信信号のパワーとエコー経路の音響結合量との積によって推定されていた。
特に、ハンズフリー電話等の送話音声対エコー比率の非常に悪い環境では、この誤差の影響が顕著であり、送信信号のパワーからエコー信号のパワーの推定値を減算して送話信号のパワーを算出するときに、送話音声パワーの推定値が0以下になってしまうことがあった。この結果、非線形エコー処理において過大なエコー抑圧が働き、送話音声が損なわれてしまうという問題が起こっていた。
なお、特許文献1を例にあげて説明した従来の方法において送話音声が損なわれる課題を回避するためには、前述のマスキング閾値を非常に高く設定してエコー抑圧を軽減させる必要がある。しかし、この場合には弊害としてエコーが充分に抑えられなくなるという問題が起こる。
実施の形態1.
図1は、この発明の実施の形態1に係るエコー消去装置の構成を示すブロック図である。エコー消去装置は、スピーカ101、マイク102、適応フィルタ部103、受話シングルトーク検出部(以下、受話ST検出部)104、第1および第2のパワー算出部105,106、パワー比較部107、音響結合量推定部108、残留エコーパワー推定部109、信号対エコー比推定部110、振幅抑圧係数決定部111、振幅抑圧部112を備える。図1において、rin(k)は受信信号、sin(k)は送信入力信号であり、kは時刻を表す。
スピーカ101は、受信した受信信号rin(k)を受話音声として出力する。マイク102は、スピーカ101が出力した受話音声をエコーとして収音し、話者が発する送話音声とエコーとが混在した送信入力信号sin(k)を生成する。続いて、適応フィルタ部103が、マイク102から送信入力信号sin(k)を受け、線形エコー処理により送信入力信号sin(k)からエコーを除去して送信中間信号smid(k)を生成する。
なお、適応フィルタ部103はエコーを完全に除去することはできず、送信中間信号smid(k)には残留エコーが含まれる。適応フィルタ部103には、一般的によく知られるNLMS(Normalized Least Mean Square)アルゴリズム等を用いればよい。
検知フラグRST(k)は、0が受話シングルトーク以外の状態を示し、1が受話シングルトーク状態を示す。ただし、受話ST検出部104は、明確に受話シングルトーク状態と判断できる状態の場合のみ、受話シングルトーク状態と判定するものとする。
h(k)=α・sr(k)+(1−α)h(k−1) (2)
なお、エコーの残響成分を考慮する場合には、残留エコーパワー推定部109が下記式(3)に代えて下記式(4)に従って、推定音響結合量と受信信号パワーから算出する現時点の残留エコーパワーの推定値に、所定の係数βを乗じた過去時の残留エコーパワーの推定値を加えることによって、推定残留エコーパワーを算出してもよい。
G(k)=20log10(g(k)) (7)
SER(k)=10log10(ser(k))
sout(k)=g(k)・smid(k) (9)
上記実施の形態1のエコー消去装置において、振幅抑圧係数決定部111は、対数信号対エコー比SER(k)と振幅抑圧ゲインG(k)とがSER(k)<0dBの範囲で線形関係となるように振幅抑圧ゲインG(k)を決定していた。本実施の形態のエコー消去装置では、この関係式を、振幅抑圧ゲインG(k)が対数信号対エコー比SER(k)軸の無限遠に対して飽和曲線を描く数学関数を用いて定義する。
上記実施の形態1および2のエコー消去装置では、振幅抑圧係数決定部111が式を用いて振幅抑圧係数を決定する構成であったが、本実施の形態では、特性空間上に複数の変節点を設定してこれら変節点を通る直線、または近似曲線を用いて振幅抑圧ゲインG(k)を定義した特性データから、振幅抑圧係数を決定する構成とする。
図5は、振幅抑圧ゲイン特性設定部412が保存している振幅抑圧ゲインG(k)特性データの一例であり、信号対エコー比ser(k)と振幅抑圧係数g(k)の関係を対数表現で定義したものである。振幅抑圧ゲイン特性設定部412には、図5に示すように特性空間上に設定された複数の変節点に対して、これらの点同士を個々に結ぶ直線もしくは2次以上の関数で定義される曲線、または全ての点を結ぶ近似曲線によって定義された特性曲線を表す特性データが保存されている。本実施の形態のエコー消去装置では、設計者が振幅抑圧ゲイン特性設定部412に任意の変節点を設定し、特性曲線を生成して振幅抑圧ゲインG(k)特性データとして保存しておくことによって、任意に振幅抑圧ゲイン特性を調節できる。
上記実施の形態1〜3のエコー消去装置は、送信中間信号を時間領域において振幅抑圧する構成としたが、本実施の形態のエコー消去装置では周波数領域において振幅抑圧する構成とする。図6は、この発明の実施の形態4に係るエコー消去装置の構成を示すブロック図である。エコー消去装置は、スピーカ101、マイク102、適応フィルタ部103、受話ST検出部104、第1のパワースペクトル算出部605、第2のパワースペクトル算出部606、パワー比較部607、音響結合量推定部608、残留エコーパワースペクトル推定部609、信号対エコースペクトル比推定部610、振幅抑圧係数スペクトル決定部611、振幅抑圧部612、第1の周波数変換部613、第2の周波数変換部614、逆周波数変換部615を備える。なお、図6において図1と同一または相当の部分については同一の符号を付し説明を省略する。
また、第2の周波数変換部614は、適応フィルタ部103から入力された送信中間信号smid(k)を、周波数スペクトルに変換し、送信中間信号スペクトルS(ω,k)とする。第1および第2の周波数変換部613,614の周波数変換処理には、FFT(Fast Fourier Transform)を用いる。
H(ω,k)=α・sr(ω,k)+(1−α)H(ω,k−1) (13)
なお、エコーの残響成分を考慮する場合には、残留エコーパワースペクトル推定部609が下記式(14)に代えて下記式(15)に従って、推定音響結合量と受信パワースペクトルから算出する現時点の残留エコーパワースペクトルの推定値に、所定の係数βを乗じた過去時の残留エコーパワースペクトルの推定値を与えることによって、推定残留エコーパワースペクトルを算出してもよい。
振幅抑圧係数スペクトル決定部611は、実施の形態1の方法を適用した場合には下記式(17)に従って、また、実施の形態2の方法を適用した場合には下記式(18)に従って、振幅抑圧係数スペクトルg(ω,k)を決定する。
なお、振幅抑圧係数スペクトル決定部611が上記実施の形態1〜3の方法を用いて振幅抑圧係数スペクトルg(ω,k)を決定する場合には、各方法を用いることにより得られる効果が本実施の形態においても得られることは言うまでもない。
Claims (10)
- 送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、
受信信号と前記送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、
前記受信信号のパワーを算出する第1のパワー算出部と、
前記送信中間信号のパワーを算出する第2のパワー算出部と、
前記受話シングルトーク検出部によってシングルトーク状態が検知された場合に、前記送信中間信号と前記受信信号のパワー比から音響結合量を推定して更新する音響結合量推定部と、
前記受信信号のパワーと前記音響結合量から、前記送信中間信号の残留エコーパワーを推定する残留エコーパワー推定部と、
前記送信中間信号のパワーと前記残留エコーパワーの比から、信号対エコー比を推定する信号対エコー比推定部と、
前記信号対エコー比に応じて振幅抑圧係数を決定する振幅抑圧係数決定部と、
前記振幅抑圧係数に基づいて前記送信中間信号を振幅抑圧する振幅抑圧部とを備えるエコー消去装置。 - 信号対エコー比と振幅抑圧係数の関係を定義した振幅抑圧ゲイン特性を、特性空間上に任意に設定された複数の変節点を結ぶ直線または近似曲線で定義する振幅抑圧ゲイン特性データとして保持する振幅抑圧ゲイン特性設定部を備え、
振幅抑圧係数決定部は、前記振幅抑圧ゲイン特性設定部に保持された前記振幅抑圧ゲイン特性データに基づいて、信号対エコー比に応じた振幅抑圧係数を決定することを特徴とする請求項1記載のエコー消去装置。
- 残留エコーパワー推定部は、現時点の受信信号のパワーと音響結合量から推定した残留エコーパワーに、過去時に推定した残留エコーパワーを加えて送信中間信号の残留エコーパワーとすることを特徴とする請求項1記載のエコー消去装置。
- 送話音声とエコーが混在した送信入力信号からエコーを除去して送信中間信号を出力する適応フィルタ部と、
受信信号と前記送信中間信号を用いて、受話側のシングルトーク状態を検知する受話シングルトーク検出部と、
前記受信信号を周波数スペクトルに変換する第1の周波数変換部と、
前記受信信号の周波数スペクトルからパワースペクトルを算出する第1のパワースペクトル算出部と、
前記送信中間信号を周波数スペクトルに変換する第2の周波数変換部と、
前記送信中間信号の周波数スペクトルからパワースペクトルを算出する第2のパワースペクトル算出部と、
前記受話シングルトーク検出部によってシングルトーク状態が検知された場合に、前記送信中間信号と前記受信信号のパワースペクトル比から音響結合量を推定して更新する音響結合量推定部と、
前記受信信号のパワースペクトルと前記音響結合量から、前記送信中間信号の残留エコーパワースペクトルを推定する残留エコーパワースペクトル推定部と、
前記送信中間信号のパワースペクトルと前記残留エコーパワースペクトルの比から、信号対エコースペクトル比を推定する信号対エコースペクトル比推定部と、
前記信号対エコースペクトル比に応じて振幅抑圧係数スペクトルを決定する振幅抑圧係数スペクトル決定部と、
前記振幅抑圧係数スペクトルに基づいて前記送信中間信号の周波数スペクトルを振幅抑圧する振幅抑圧部と、
前記振幅抑圧された前記送信中間信号の周波数スペクトルを時系列信号に変換する逆周波数変換部とを備えるエコー消去装置。 - 信号対エコースペクトル比と振幅抑圧係数スペクトルの関係を定義した振幅抑圧ゲイン特性を、特性空間上に任意に設定された複数の変節点を結ぶ直線または近似曲線で定義する振幅抑圧ゲイン特性データとして保持する振幅抑圧ゲイン特性設定部を備え、
振幅抑圧係数スペクトル決定部は、前記振幅抑圧ゲイン特性設定部に保持された前記振幅抑圧ゲイン特性データに基づいて、信号対エコースペクトル比に応じた振幅抑圧係数スペクトルを決定することを特徴とする請求項6記載のエコー消去装置。 - 残留エコーパワースペクトル推定部は、現時点の受信信号のパワースペクトルと音響結合量から推定した残留エコーパワースペクトルに、過去時に推定した残留エコーパワースペクトルを加えて送信中間信号の残留エコーパワースペクトルとすることを特徴とする請求項6記載のエコー消去装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/002638 WO2010035308A1 (ja) | 2008-09-24 | 2008-09-24 | エコー消去装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010035308A1 true JPWO2010035308A1 (ja) | 2012-02-16 |
JP5036874B2 JP5036874B2 (ja) | 2012-09-26 |
Family
ID=42059326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010530639A Expired - Fee Related JP5036874B2 (ja) | 2008-09-24 | 2008-09-24 | エコー消去装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8792649B2 (ja) |
EP (1) | EP2330752B1 (ja) |
JP (1) | JP5036874B2 (ja) |
CN (1) | CN102165707B (ja) |
WO (1) | WO2010035308A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5156043B2 (ja) * | 2010-03-26 | 2013-03-06 | 株式会社東芝 | 音声判別装置 |
EP2662855A4 (en) * | 2011-01-04 | 2015-12-16 | Fujitsu Ltd | VOICE CONTROL DEVICE, VOICE CONTROL METHOD, AND VOICE CONTROL PROGRAM |
SG182859A1 (en) * | 2011-01-06 | 2012-08-30 | Creative Tech Ltd | A method, system and apparatus for processing audio signals |
JP5662232B2 (ja) * | 2011-04-14 | 2015-01-28 | 日本電信電話株式会社 | エコー消去装置、その方法及びプログラム |
DE112012001201B9 (de) * | 2011-05-10 | 2015-08-20 | Mitsubishi Electric Corporation | Echolöschvorrichtung und Echodetektor |
CN104054274B (zh) * | 2012-04-25 | 2016-05-25 | 三菱电机株式会社 | 回波消除装置 |
CN104050971A (zh) * | 2013-03-15 | 2014-09-17 | 杜比实验室特许公司 | 声学回声减轻装置和方法、音频处理装置和语音通信终端 |
JP6075783B2 (ja) * | 2013-12-09 | 2017-02-08 | 日本電信電話株式会社 | エコー消去装置、エコー消去方法及びプログラム |
US9319783B1 (en) * | 2014-02-19 | 2016-04-19 | Amazon Technologies, Inc. | Attenuation of output audio based on residual echo |
JP6369189B2 (ja) * | 2014-07-17 | 2018-08-08 | 沖電気工業株式会社 | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 |
JP6356087B2 (ja) * | 2015-03-30 | 2018-07-11 | 日本電信電話株式会社 | エコー消去装置、その方法及びプログラム |
US10504501B2 (en) | 2016-02-02 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Adaptive suppression for removing nuisance audio |
CN107045872B (zh) * | 2016-02-05 | 2020-09-01 | 中国电信股份有限公司 | 通话回声的识别方法和装置 |
JP6537997B2 (ja) * | 2016-04-12 | 2019-07-03 | 日本電信電話株式会社 | エコー抑圧装置、その方法、プログラム、及び記録媒体 |
US10348887B2 (en) * | 2017-04-21 | 2019-07-09 | Omnivision Technologies, Inc. | Double talk detection for echo suppression in power domain |
JP6833616B2 (ja) * | 2017-05-29 | 2021-02-24 | 株式会社トランストロン | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム |
JP6945158B2 (ja) * | 2017-06-16 | 2021-10-06 | パナソニックIpマネジメント株式会社 | 通話装置、プログラム及び通話システム |
US10200540B1 (en) * | 2017-08-03 | 2019-02-05 | Bose Corporation | Efficient reutilization of acoustic echo canceler channels |
US10594869B2 (en) * | 2017-08-03 | 2020-03-17 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
US10542153B2 (en) * | 2017-08-03 | 2020-01-21 | Bose Corporation | Multi-channel residual echo suppression |
WO2019070722A1 (en) | 2017-10-03 | 2019-04-11 | Bose Corporation | SPACE DIAGRAM DETECTOR |
US10192567B1 (en) * | 2017-10-18 | 2019-01-29 | Motorola Mobility Llc | Echo cancellation and suppression in electronic device |
US10964305B2 (en) | 2019-05-20 | 2021-03-30 | Bose Corporation | Mitigating impact of double talk for residual echo suppressors |
US12015902B2 (en) * | 2019-08-06 | 2024-06-18 | Nippon Telegraph And Telephone Corporation | Echo cancellation device, echo cancellation method, and program |
CN110971769B (zh) * | 2019-11-19 | 2022-05-03 | 百度在线网络技术(北京)有限公司 | 通话信号的处理方法、装置、电子设备及存储介质 |
CN111968663B (zh) * | 2020-08-12 | 2024-04-16 | 福建星网智慧科技有限公司 | 一种回声残留判断方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69532394T2 (de) | 1994-02-10 | 2004-11-04 | Nippon Telegraph And Telephone Corp. | Verfahren und Vorrichtung zur Echokompensation mit Anwendung der "fast projection scheme" |
SE505692C2 (sv) * | 1995-12-18 | 1997-09-29 | Ericsson Telefon Ab L M | Förfarande och anordning för ekosläckning genom skattning av effekt hos residualsignal |
JP3404236B2 (ja) | 1996-12-26 | 2003-05-06 | 株式会社神戸製鋼所 | 拡声通話装置 |
JP3420705B2 (ja) | 1998-03-16 | 2003-06-30 | 日本電信電話株式会社 | エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体 |
JP2001044896A (ja) | 1999-08-03 | 2001-02-16 | Matsushita Electric Ind Co Ltd | 通話装置および通話方法 |
JP3566158B2 (ja) * | 1999-12-07 | 2004-09-15 | 三菱電機株式会社 | エコーキャンセラ装置 |
JP3507020B2 (ja) | 2000-09-08 | 2004-03-15 | 日本電信電話株式会社 | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 |
CN1162247C (zh) * | 2002-02-27 | 2004-08-18 | 王台钦 | 钢筋续接器植焊施工法 |
JP4105681B2 (ja) * | 2004-06-16 | 2008-06-25 | 日本電信電話株式会社 | エコーサプレス方法、エコーサプレッサ、エコーサプレッサプログラム、通信路上の損失量制御方法、通信路上の損失量制御装置、通信路上の損失量制御プログラム、記録媒体 |
US7577248B2 (en) * | 2004-06-25 | 2009-08-18 | Texas Instruments Incorporated | Method and apparatus for echo cancellation, digit filter adaptation, automatic gain control and echo suppression utilizing block least mean squares |
JP4247203B2 (ja) | 2005-05-06 | 2009-04-02 | 日本電信電話株式会社 | 自動音量制御方法、自動音量制御装置、プログラム、記録媒体 |
JP4613705B2 (ja) * | 2005-06-15 | 2011-01-19 | 沖電気工業株式会社 | エコーキャンセラ |
JP4559989B2 (ja) * | 2006-03-24 | 2010-10-13 | 日本電信電話株式会社 | エコー抑圧方法、エコー抑圧プログラム、記録媒体 |
-
2008
- 2008-09-24 US US13/058,212 patent/US8792649B2/en not_active Expired - Fee Related
- 2008-09-24 CN CN2008801312499A patent/CN102165707B/zh not_active Expired - Fee Related
- 2008-09-24 WO PCT/JP2008/002638 patent/WO2010035308A1/ja active Application Filing
- 2008-09-24 EP EP08877055A patent/EP2330752B1/en not_active Not-in-force
- 2008-09-24 JP JP2010530639A patent/JP5036874B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20110135105A1 (en) | 2011-06-09 |
US8792649B2 (en) | 2014-07-29 |
EP2330752B1 (en) | 2013-03-20 |
WO2010035308A1 (ja) | 2010-04-01 |
EP2330752A4 (en) | 2012-02-22 |
CN102165707B (zh) | 2013-12-04 |
EP2330752A1 (en) | 2011-06-08 |
CN102165707A (zh) | 2011-08-24 |
JP5036874B2 (ja) | 2012-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5036874B2 (ja) | エコー消去装置 | |
US7856097B2 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
JP5347794B2 (ja) | エコー抑圧方法およびその装置 | |
JP3568922B2 (ja) | エコー処理装置 | |
US8311234B2 (en) | Echo canceller and communication audio processing apparatus | |
JP5501527B2 (ja) | エコー消去装置およびエコー検出装置 | |
US9049281B2 (en) | Nonlinear echo suppression | |
US8160239B2 (en) | Echo canceller and speech processing apparatus | |
US20110261950A1 (en) | Adaptive filter and echo canceller having this adaptive filter | |
JPWO2002095975A1 (ja) | エコー処理装置 | |
CN109273019B (zh) | 用于回声抑制的双重通话检测的方法及回声抑制 | |
KR20060067881A (ko) | 수신 오디오의 제한 시스템 | |
JP6160403B2 (ja) | エコー抑圧装置及びエコー抑圧プログラム | |
US20170310360A1 (en) | Echo removal device, echo removal method, and non-transitory storage medium | |
JP4607015B2 (ja) | エコー抑圧装置 | |
JP4413205B2 (ja) | エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体 | |
JP4475155B2 (ja) | エコーキャンセラ | |
KR100949910B1 (ko) | 스펙트럼 차감을 이용한 음향학적 반향 제거 방법 및 장치 | |
JP6180689B1 (ja) | エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム | |
JP6369192B2 (ja) | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 | |
WO2022202012A1 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
JP6432384B2 (ja) | エコー抑圧装置、エコー抑圧プログラム及びエコー抑圧方法 | |
KR100431965B1 (ko) | 시변 적응알고리즘이 적용된 음향반향 제거장치 및 그 방법 | |
JP6314608B2 (ja) | エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法 | |
US20120224684A1 (en) | Soft attenuation of high-power signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120703 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |