JP4580409B2 - 音量制御装置および方法 - Google Patents
音量制御装置および方法 Download PDFInfo
- Publication number
- JP4580409B2 JP4580409B2 JP2007153789A JP2007153789A JP4580409B2 JP 4580409 B2 JP4580409 B2 JP 4580409B2 JP 2007153789 A JP2007153789 A JP 2007153789A JP 2007153789 A JP2007153789 A JP 2007153789A JP 4580409 B2 JP4580409 B2 JP 4580409B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- volume
- signal
- band
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
- H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
- H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Circuits Of Receivers In General (AREA)
- Mobile Radio Communication Systems (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
雑音音量推定部は、複数の拠点のそれぞれから受信する、音声を含む複数の受信信号から、拠点毎の雑音音量を算出する。拠点間音量制御部は、それらの拠点の雑音音量が同じになるように、拠点毎の雑音音量に基づいてそれらの受信信号の音量を制御する。各ゲイン制御部は、スペクトル生成部、雑音スペクトル推定部、信号対雑音比推定部、ゲイン算出部、乗算器、および帯域合成部を有し、拠点間音量制御部から出力される各受信信号のゲインを制御する。信号合成部は、複数のゲイン制御部からそれぞれ出力される複数の出力信号を合成する。
スペクトル生成部は、音声を含む入力信号を複数の帯域に分割して、帯域毎の信号レベルを表す入力スペクトルを生成する。雑音スペクトル推定部は、帯域毎の信号レベルから、帯域毎の雑音レベルを表す雑音スペクトルを求める。信号対雑音比推定部は、入力スペクトルと雑音スペクトルの比から、帯域毎の信号対雑音比を求める。ゲイン算出部は、目標ゲインと帯域毎の信号対雑音比から、帯域毎のゲインを求める。乗算器は、帯域毎のゲインを帯域毎の信号レベルに乗算して、帯域毎の出力レベルを求める。帯域合成部は、帯
域毎の出力レベルを合成して、出力信号を生成する。
図1は、多地点電話会議システムに適用される音量制御装置(多地点電話会議装置)の構成例を示している。この例では、3拠点間で電話会議が行われる。この多地点電話会議装置は、雑音音量推定部401、402、拠点間音量制御部403、AGC404、405、およびミキサ406を備え、2拠点からの受信信号の音量(レベル)を調整して出力する。
図4は、話者の音声等の雑音以外の音声を含む音声区間におけるパワースペクトルを示している。AGCの入力音のパワースペクトル701には、音声成分のパワースペクトル702が含まれている。
図6は、図3のAGCを携帯電話機の受信部に適用した場合の構成例を示している。復号部901は、受信信号を復号してAGC902に出力し、AGC902は、復号部901から出力される信号のゲインを調整して、スピーカ903に出力する。
IFFT607、音声動作検出部1001(VAD)、平均音声レベル算出部1002、および目標ゲイン算出部1003を備える。
G(i)=G0×β(i) (i=1,2,...,n)
ここで、i番目の係数β(i)は、SNRスペクトルに含まれるi番目の帯域のSNRに応じて決められる。
図12は、多地点電話会議装置の別の構成例を示している。この多地点電話会議装置は、図9の構成において、拠点間音量制御部1202を拠点間音量制御部1502に置き換え、SNR推定部1501を追加した構成を有する。
している。
図15は、多地点電話会議装置のさらに別の構成例を示している。この例では、4拠点間で電話会議が行われる。この多地点電話会議装置は、雑音音量推定部1801、SNR推定部1802、拠点間音量制御部1803、AGC1804〜1806、およびミキサ1807を備え、図12の多地点電話会議装置と同様にして、3つの受信信号S1〜S3から出力信号を生成する。
1、S2、およびS3の音声レベル(2001)および雑音レベル(2002)は、図16と同様である。これらの受信信号は、AGCにより目標レベル(−25dBov)に調整される。これにより、受信信号S1、S2、およびS3の音声レベルは−25dBovになり(2003)、雑音レベルは、それぞれ、−45dBov、−55dBov、および−65dBovになる(2004)。
図12および図15では、それぞれ、2拠点および3拠点からの受信信号を処理する構成が示されているが、4拠点以上の受信信号を処理する構成についても同様である。
ベルから帯域毎に異なる目標ゲインを算出してもよい。
前記複数の拠点の雑音音量が同じになるように、前記拠点毎の雑音音量に基づいて前記複数の受信信号の音量を制御する拠点間音量制御部と、
前記拠点間音量制御部から出力される複数の受信信号のゲインをそれぞれ制御する複数のゲイン制御部と、
前記複数のゲイン制御部からそれぞれ出力される複数の出力信号を合成する信号合成部とを備え、
前記複数のゲイン制御部の各々は、
前記拠点間音量制御部から出力される受信信号を複数の帯域に分割して、帯域毎の信号レベルを表す入力スペクトルを生成するスペクトル生成部と、
前記帯域毎の信号レベルから、帯域毎の雑音レベルを表す雑音スペクトルを求める雑音スペクトル推定部と、
前記入力スペクトルと前記雑音スペクトルの比から、帯域毎の信号対雑音比を求める信号対雑音比推定部と、
目標ゲインと前記帯域毎の信号対雑音比から、帯域毎のゲインを求めるゲイン算出部と、
前記帯域毎のゲインを前記帯域毎の信号レベルに乗算して、帯域毎の出力レベルを求める乗算器と、
前記帯域毎の出力レベルを合成して、出力信号を生成する帯域合成部とを有することを特徴とする音量制御装置。
(付記2)前記複数の受信信号から拠点毎の信号対雑音比を求める信号対雑音比推定部をさらに備え、前記拠点間音量制御部は、該拠点毎の信号対雑音比から最も大きな信号対雑音比を求め、該最も大きな信号対雑音比と目標音量から目標雑音音量を求め、前記複数の拠点の雑音音量が該目標雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする付記1記載の音量制御装置。
(付記3)前記拠点間音量制御部は、前記拠点毎の雑音音量から最も小さな雑音音量を求め、前記複数の拠点の雑音音量が該最も小さな雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする付記1記載の音量制御装置。
(付記4)前記拠点間音量制御部は、前記複数の拠点の雑音音量があらかじめ決められた雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする付記1記載の音量制御装置。
(付記5)前記複数の受信信号に低レベルの雑音を重畳する雑音重畳部をさらに備えることを特徴とする付記1乃至4のいずれかに記載の音量制御装置。
(付記6)前記拠点間音量制御部は、前記拠点毎の雑音音量が上限値より大きければ、該雑音音量を該上限値に置き換え、前記拠点毎の雑音音量が下限値より小さければ、該雑音音量を該下限値に置き換えることを特徴とする付記1乃至4のいずれかに記載の音量制御装置。
(付記7)前記複数のゲイン制御部の各々は、目標音量と前記入力信号の音量から前記目標ゲインを求める目標ゲイン算出部をさらに有することを特徴とする付記1乃至6のいずれかに記載の音量制御装置。
(付記8)前記複数のゲイン制御部の各々は、目標音量と前記帯域毎の信号レベルから前
記目標ゲインを求める目標ゲイン算出部をさらに有することを特徴とする付記1乃至6のいずれかに記載の音量制御装置。
(付記9)音声を含む入力信号を複数の帯域に分割して、帯域毎の信号レベルを表す入力スペクトルを生成するスペクトル生成部と、
前記帯域毎の信号レベルから、帯域毎の雑音レベルを表す雑音スペクトルを求める雑音スペクトル推定部と、
前記入力スペクトルと前記雑音スペクトルの比から、帯域毎の信号対雑音比を求める信号対雑音比推定部と、
目標ゲインと前記帯域毎の信号対雑音比から、帯域毎のゲインを求めるゲイン算出部と、
前記帯域毎のゲインを前記帯域毎の信号レベルに乗算して、帯域毎の出力レベルを求める乗算器と、
前記帯域毎の出力レベルを合成して、出力信号を生成する帯域合成部と
を備えることを特徴とする音量制御装置。
(付記10)目標音量と前記入力信号の音量から前記目標ゲインを求める目標ゲイン算出部をさらに備えることを特徴とする付記9記載の音量制御装置。
(付記11)目標音量と前記帯域毎の信号レベルから前記目標ゲインを求める目標ゲイン算出部をさらに備えることを特徴とする付記9記載の音量制御装置。
(付記12)前記目標ゲイン算出部は、前記目標ゲインが上限値より大きければ、該目標ゲインを該上限値に設定し、前記目標ゲインが下限値より小さければ、該目標ゲインを該下限値に設定することを特徴とする付記10または11記載の音量制御装置。
(付記13)音声を含む入力信号を複数の帯域に分割して、帯域毎の信号レベルを表す入力スペクトルを生成し、
前記帯域毎の信号レベルから、帯域毎の雑音レベルを表す雑音スペクトルを求め、
前記入力スペクトルと前記雑音スペクトルの比から、帯域毎の信号対雑音比を求め、
目標ゲインと前記帯域毎の信号対雑音比から、帯域毎のゲインを求め、
前記帯域毎のゲインを前記帯域毎の信号レベルに乗算して、帯域毎の出力レベルを求め、
前記帯域毎の出力レベルを合成して、出力信号を生成する
ことを特徴とする音量制御方法。
103 通信ネットワーク
105、903 スピーカ
201、202、404、405、902、1203、1204、1804、1805、1806 AGC
203、406、1205、1807 ミキサ
301 フレーム電力算出部
302 最大値算出部
303 ゲイン算出部
304 乗算器
401、402、1201、1801 雑音音量推定部
403、1202、1502、1803 拠点間音量制御部
501、502 増幅器
503 ゲイン算出部
601 高速フーリエ変換部
602、2101 雑音スペクトル推定部
603、1501、1802 SNR推定部
604 目標ゲイン算出部
605 ゲイン算出部
606 乗算器
607 逆高速フーリエ変換部
701、702、703、704 パワースペクトル
901 復号部
1001、2102 音声動作検出部
1002 平均音声レベル算出部
1003、2103 目標ゲイン算出部
1301、1302、1305、1307、1401、1601、1602、1609、1610、1612、1701、1702 パワー
1303、1304、1402、1605、1606、1703、1704、1902、1905、1907、1909、2002、2004、2006 雑音レベル
1306、1607 目標レベル
1603、1604、1611、1901、1904、1906、1908、2001、2003、2005 音声レベル
1608 目標雑音レベル
1903 SNR
Claims (5)
- 複数の拠点のそれぞれから受信する、音声を含む複数の受信信号から、拠点毎の雑音音量を算出する雑音音量推定部と、
前記複数の拠点の雑音音量が同じになるように、前記拠点毎の雑音音量に基づいて前記複数の受信信号の音量を制御する拠点間音量制御部と、
前記拠点間音量制御部から出力される複数の受信信号のゲインをそれぞれ制御する複数のゲイン制御部と、
前記複数のゲイン制御部からそれぞれ出力される複数の出力信号を合成する信号合成部とを備え、
前記複数のゲイン制御部の各々は、
前記拠点間音量制御部から出力される受信信号を複数の帯域に分割して、帯域毎の信号レベルを表す入力スペクトルを生成するスペクトル生成部と、
前記帯域毎の信号レベルから、帯域毎の雑音レベルを表す雑音スペクトルを求める雑音スペクトル推定部と、
前記入力スペクトルと前記雑音スペクトルの比から、帯域毎の信号対雑音比を求める信号対雑音比推定部と、
目標ゲインと前記帯域毎の信号対雑音比から、帯域毎のゲインを求めるゲイン算出部と、
前記帯域毎のゲインを前記帯域毎の信号レベルに乗算して、帯域毎の出力レベルを求める乗算器と、
前記帯域毎の出力レベルを合成して、出力信号を生成する帯域合成部とを有することを特徴とする音量制御装置。 - 前記複数の受信信号から拠点毎の信号対雑音比を求める信号対雑音比推定部をさらに備え、前記拠点間音量制御部は、該拠点毎の信号対雑音比から最も大きな信号対雑音比を求め、該最も大きな信号対雑音比と目標音量から目標雑音音量を求め、前記複数の拠点の雑音音量が該目標雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする請求項1記載の音量制御装置。
- 前記拠点間音量制御部は、前記拠点毎の雑音音量から最も小さな雑音音量を求め、前記複数の拠点の雑音音量が該最も小さな雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする請求項1記載の音量制御装置。
- 前記拠点間音量制御部は、前記複数の拠点の雑音音量があらかじめ決められた雑音音量になるように、前記複数の受信信号の音量を制御することを特徴とする請求項1記載の音量制御装置。
- 前記複数の受信信号に低レベルの雑音を重畳する雑音重畳部をさらに備えることを特徴とする請求項1乃至4のいずれかに記載の音量制御装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153789A JP4580409B2 (ja) | 2007-06-11 | 2007-06-11 | 音量制御装置および方法 |
US12/155,828 US8218777B2 (en) | 2007-06-11 | 2008-06-10 | Multipoint communication apparatus |
EP08157992A EP2034710B1 (en) | 2007-06-11 | 2008-06-10 | Multipoint communication apparatus with sound level adjustment unit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153789A JP4580409B2 (ja) | 2007-06-11 | 2007-06-11 | 音量制御装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008306630A JP2008306630A (ja) | 2008-12-18 |
JP4580409B2 true JP4580409B2 (ja) | 2010-11-10 |
Family
ID=39828947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007153789A Expired - Fee Related JP4580409B2 (ja) | 2007-06-11 | 2007-06-11 | 音量制御装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8218777B2 (ja) |
EP (1) | EP2034710B1 (ja) |
JP (1) | JP4580409B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4826625B2 (ja) * | 2008-12-04 | 2011-11-30 | ソニー株式会社 | 音量補正装置、音量補正方法、音量補正プログラムおよび電子機器 |
JP4844622B2 (ja) * | 2008-12-05 | 2011-12-28 | ソニー株式会社 | 音量補正装置、音量補正方法、音量補正プログラムおよび電子機器、音響装置 |
JP5120288B2 (ja) * | 2009-02-16 | 2013-01-16 | ソニー株式会社 | 音量補正装置、音量補正方法、音量補正プログラムおよび電子機器 |
JP5548950B2 (ja) * | 2010-06-21 | 2014-07-16 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
CN103299656B (zh) * | 2010-11-29 | 2016-08-10 | 纽昂斯通讯公司 | 动态麦克风信号混合器 |
TWI578755B (zh) * | 2012-07-06 | 2017-04-11 | 鴻海精密工業股份有限公司 | 遠端多方會議音量調整系統及方法 |
JP6135106B2 (ja) | 2012-11-29 | 2017-05-31 | 富士通株式会社 | 音声強調装置、音声強調方法及び音声強調用コンピュータプログラム |
US20140278380A1 (en) * | 2013-03-14 | 2014-09-18 | Dolby Laboratories Licensing Corporation | Spectral and Spatial Modification of Noise Captured During Teleconferencing |
EP3053356B8 (en) | 2013-10-30 | 2020-06-17 | Cerence Operating Company | Methods and apparatus for selective microphone signal combining |
CN103680513B (zh) * | 2013-12-13 | 2016-11-02 | 广州华多网络科技有限公司 | 语音信号处理方法、装置及服务器 |
CN109274909B (zh) * | 2018-09-19 | 2021-04-16 | 深圳创维-Rgb电子有限公司 | 电视机声音调整方法、电视机和存储介质 |
JP7095586B2 (ja) * | 2018-12-14 | 2022-07-05 | 富士通株式会社 | 音声補正装置および音声補正方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10161694A (ja) * | 1996-11-28 | 1998-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 帯域分割型雑音低減方法 |
JP2001024800A (ja) * | 1999-07-06 | 2001-01-26 | Nec Eng Ltd | 音声会議システム |
JP2003060459A (ja) * | 2001-08-21 | 2003-02-28 | Oki Electric Ind Co Ltd | 自動利得制御増幅器 |
JP2005175674A (ja) * | 2003-12-09 | 2005-06-30 | Nec Corp | 信号圧縮伸張装置および携帯通信端末装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3875650D1 (de) * | 1987-05-15 | 1992-12-10 | Standard Elektrik Lorenz Ag | Schaltungsanordnung zur sprachsteuerung fuer ein endgeraet der nachrichtentechnik. |
FI100840B (fi) * | 1995-12-12 | 1998-02-27 | Nokia Mobile Phones Ltd | Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin |
US20040057586A1 (en) | 2000-07-27 | 2004-03-25 | Zvi Licht | Voice enhancement system |
JP2002175100A (ja) | 2000-12-08 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 適応型雑音抑圧音声符号化装置 |
JP2002223268A (ja) | 2001-01-29 | 2002-08-09 | Mitsubishi Electric Corp | 音声制御装置およびこれを用いた携帯電話機 |
JP2004133403A (ja) | 2002-09-20 | 2004-04-30 | Kobe Steel Ltd | 音声信号処理装置 |
JP4282317B2 (ja) * | 2002-12-05 | 2009-06-17 | アルパイン株式会社 | 音声通信装置 |
US7945006B2 (en) * | 2004-06-24 | 2011-05-17 | Alcatel-Lucent Usa Inc. | Data-driven method and apparatus for real-time mixing of multichannel signals in a media server |
-
2007
- 2007-06-11 JP JP2007153789A patent/JP4580409B2/ja not_active Expired - Fee Related
-
2008
- 2008-06-10 EP EP08157992A patent/EP2034710B1/en not_active Expired - Fee Related
- 2008-06-10 US US12/155,828 patent/US8218777B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10161694A (ja) * | 1996-11-28 | 1998-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 帯域分割型雑音低減方法 |
JP2001024800A (ja) * | 1999-07-06 | 2001-01-26 | Nec Eng Ltd | 音声会議システム |
JP2003060459A (ja) * | 2001-08-21 | 2003-02-28 | Oki Electric Ind Co Ltd | 自動利得制御増幅器 |
JP2005175674A (ja) * | 2003-12-09 | 2005-06-30 | Nec Corp | 信号圧縮伸張装置および携帯通信端末装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008306630A (ja) | 2008-12-18 |
EP2034710A2 (en) | 2009-03-11 |
EP2034710B1 (en) | 2012-01-04 |
US20080304673A1 (en) | 2008-12-11 |
EP2034710A3 (en) | 2010-03-31 |
US8218777B2 (en) | 2012-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4580409B2 (ja) | 音量制御装置および方法 | |
US6785381B2 (en) | Telephone having improved hands free operation audio quality and method of operation thereof | |
KR101311028B1 (ko) | 주변 잡음 검출을 이용한 요해도 제어 | |
CN100514989C (zh) | 通信设备话筒增益调节器 | |
CA2722883C (en) | System and method for dynamic sound delivery | |
US7089181B2 (en) | Enhancing the intelligibility of received speech in a noisy environment | |
CN101669284B (zh) | 移动音频装置的自动音量及动态围调整的方法和设备 | |
JP4854630B2 (ja) | 音処理装置、利得制御装置、利得制御方法及びコンピュータプログラム | |
US9711162B2 (en) | Method and apparatus for environmental noise compensation by determining a presence or an absence of an audio event | |
JPH1098344A (ja) | 音声増幅装置及び通信端末装置並びに音声増幅方法 | |
EP1969721B1 (en) | Telecommunications terminal and method of operation of the terminal | |
JP4850191B2 (ja) | 自動音量制御装置及びそれを用いた音声通信装置 | |
JP2008148179A (ja) | 音声信号処理装置および自動利得制御装置における雑音抑圧処理方法 | |
KR100742140B1 (ko) | 이동전화 스피커와 마이크로폰 이득을 자동으로 조정하는방법 및 장치 | |
JP5298769B2 (ja) | 雑音推定装置、通話装置および雑音推定方法 | |
KR20060091033A (ko) | 휴대단말기의 스피커 출력음량 개선장치 및 방법 | |
US6711259B1 (en) | Method and apparatus for noise suppression and side-tone generation | |
JP5853540B2 (ja) | 音声通信装置及びプログラム | |
JP2002050987A (ja) | 干渉信号依存適応エコー抑制 | |
JP5371599B2 (ja) | 音声明瞭度改善システムおよび音声明瞭度改善方法 | |
JPH09163421A (ja) | ボタン電話装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |