JP4508599B2 - データ圧縮方法 - Google Patents

データ圧縮方法 Download PDF

Info

Publication number
JP4508599B2
JP4508599B2 JP2003359307A JP2003359307A JP4508599B2 JP 4508599 B2 JP4508599 B2 JP 4508599B2 JP 2003359307 A JP2003359307 A JP 2003359307A JP 2003359307 A JP2003359307 A JP 2003359307A JP 4508599 B2 JP4508599 B2 JP 4508599B2
Authority
JP
Japan
Prior art keywords
data
samples
data compression
compression method
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003359307A
Other languages
English (en)
Other versions
JP2005122034A (ja
JP2005122034A5 (ja
Inventor
光宏 嘉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2003359307A priority Critical patent/JP4508599B2/ja
Publication of JP2005122034A publication Critical patent/JP2005122034A/ja
Publication of JP2005122034A5 publication Critical patent/JP2005122034A5/ja
Application granted granted Critical
Publication of JP4508599B2 publication Critical patent/JP4508599B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、オーディオデータ圧縮方法に関し、特に、デジタルオーディオデータの圧縮符号化録音装置に使用するオーディオデータ圧縮方法に関する。
従来、デジタルオーディデータの圧縮を行う場合、デジタルオーディオデータを一定サンプル数のフレーム毎に分割し、各フレームについて帯域分割によって複数のサブバンドに分割し、各サブバンドについて心理聴覚分析によってデータ圧縮し、圧縮データに制御情報を付加して出力している(例えば、特許文献1参照。)。
特開2002−341896号公報。
このようなデジタルオーディデータの圧縮処理を行う場合、楽曲単位で符号化が行われるが、上記のように、デジタルオーディオデータを一定サンプル数のフレーム毎に分割し、各フレームに圧縮を行っているので、楽曲の最後でフレームのデータがなくなることが多い。このような場合、最後のフレームが所定のサンプル数となるように、無音データを付加することが行われている。
上記のように、デジタルオーディオデータの圧縮時に、楽曲の最後でフレームのデータがなくなった場合、最後のフレームが所定のサンプル数となるように、無音データを付加しているが、楽曲によっては、当該楽曲の始点が他の楽曲の終点との連続性を保つような場合がある。例えば、楽曲としてはまったく別のものであるが、そのそれぞれがリズムなどによりスムーズにつながっているようなものや、いわゆるライブ盤などで拍手などの種々の音が入っているために音が途切れることがなく結果として前後の楽曲同士がつながっているようなものがある。
このように複数の連続した楽曲を楽曲ごとに圧縮しようとした場合、その楽曲データの最終部分において、その目的とする楽曲に連続する楽曲データがないために、圧縮データの復号後に、前後の曲を連続して再生した場合には、楽曲間で本来ないはずの無音が出力され不自然な再生音となってしまう。
本発明は、上記の問題に鑑みてなされたもので、複数の楽曲間の無音の出力を削除或いは軽減し、自然に聞こえるようにすることができるオーディオデータの圧縮方法を提供することを目的とする。
本発明に係るデータ圧縮方法(1)は、デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分を補間できるように、過去の波形を間延びさせて符号化を行うことを特徴とする。
また、本発明に係るデータ圧縮方法(2)はデータ圧縮方法(1)において、nサンプルに満たなかったサンプル数に応じて間延びさせる対象の過去の波形の長さを変化させることを特徴とする。
また、本発明に係るデータ圧縮方法(3)は、デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分、時間軸に対して反転して付加した後、符号化を行うことを特徴とする。
また、本発明に係るデータ圧縮方法(4)は、デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分、時間軸に対して反転し、さらに、反転したデータ列の符号を逆転して付加した後、符号化を行うことを特徴とする。
本発明に係るデータ圧縮方法(1)、(2)によれば、過去の波形を間延びさせることにより無音データをなくすことができるとともに、曲の間延びを行う対象を大きく取れば取るほど、元の波形に近い形ができるため、原曲との変化を少なくすることができる。
また、本発明に係るデータ圧縮方法(3)、(4)によれば、不足部分に原曲とは異なるデータを挿入するため、原曲と聞こえ方が変わる可能性があるが、この期間は数10msであり、無音データは記録されないので、復号化した場合の不自然さを解消することができる。また、これらの方法は、単にデータをコピーするだけであるので、他の方法に比べて処理負荷を軽減することができる。
以下、本発明のオーディオデータ圧縮方法の実施例について図面を用いて説明する。図1は本発明のオーディオデータ圧縮方法を適用するデータ圧縮回路のブロック図であり、このデータ圧縮回路は、デジタルオーディオデータを記憶するPCMデータ記憶バッファ1、データ処理部2、データ圧縮部3及び制御部10よりなり、音楽信号のPCM(Pulse Code Modulation)データが入力されるPCMデータ記憶バッファ1の内容が制御部10の制御によりデータ処理部2に取り込まれ、データ処理部2が以下に説明するデータ処理を行った後、nサンプルのフレーム単位のデータ列を作成してデータ圧縮部3に出力する。データ圧縮部3はサブバンド分析フィルタバンク4、スケールファクタ抽出・正規化部5、心理聴覚分析部6、ビット割当部7、量子化部8及びビットストリーム生成部9よりなり、制御部10により制御される。
このデータ圧縮部3におけるデータ圧縮時には、データ処理部2からのnサンプル、例えば1152サンプル、のフレームデータが2つのパスに分かれて処理される。まず、一方のパスにおけるサブバンド分析フィルタバンク4は、32サンプルデータ(サブフレーム)ごとに圧縮前のPCMによるデジタルオーディオデータを等しい帯域幅を持つ32バンドのサブバンドデータに分割する。すなわち、1フレームを36サブフレームに分割し、各サブフレーム毎に32バンドのサブバンドデータに分割する。この場合、各々のサブバンドデータは1/32のサンプリング周波数にダウンサンプルされる。
スケールファクタ抽出・正規化部5は、1フレームにおける各々のサブバンドデータに対し、最大絶対値を持つサンプルを検出する。その値を対数に変換し、量子化したものをスケールファクタと呼ぶ。そして、このスケールファクタによって各サブバンドサンプルを除算し、それらの値を±1の範囲内に正規化する。
一方、心理聴覚分析部6は、FFT(高速フーリエ変換)による周波数スペクトルの計算を行い、それに基づき各サブバンド毎のマスキングしきい値、すなわち、許容量子化雑音電力を計算して出力する。ビット割当部7は心理聴覚分析部6の出力と、ビットレートで決まる1フレームで使用可能なビット数の制限の下で反復ループ処理により各サブバンド毎の量子化ビット数を決定する。そして、量子化部8は、各サブバンド毎に設定された量子化ビット数でスケールファクタ抽出・正規化部4から出力されるサブバンドデータを量子化し、ビットストリーム生成部9に出力する。
ビットストリーム生成部9は、各サブバンドに対するビット割当情報及びスケールファクタをマルチプレックスし、それにヘッダを付けてビットストリームを作成して出力する。
データ圧縮部3におけるデータ圧縮の符号化は以上のようにして行われるが、データ圧縮部3に入力される符号化対象の曲の終端部の1フレームのサンプル数がnサンプルに満たない場合における、データ処理部2でのデータ処理について、以下説明する。
図2は、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に次の曲の先頭部分のデータ列を挿入するデータ処理を行う場合のデータ列を示す図であり、図2(a)に示すように、1曲目の終端部のフレームが5サンプル分不足している場合、制御部10は図2(b)に示す2曲目の先頭部の5サンプルをPCMデータ記憶バッファ1から読み出してデータ処理部2に入力する。そして、データ処理部2は1曲目の終端部に上記2曲目の先頭部の5サンプルを挿入し、最終フレームとしてデータ圧縮部3に出力し、1曲目の符号化が行われる。
この場合、2曲目は、本来の2曲目の先頭部分からフレーム処理を行ってサンプルをデータ処理部2からデータ圧縮部3に出力することも可能であるが、図2(c)に示すように、1曲目に挿入した5サンプルを除いて最初の1フレームを作成し、データ圧縮部3に入力することもできる。このようにすれば、曲の終端部で施した処理を次の曲に反映することができるため、例えばライブ盤CDなどのように曲間に切れ目のない音源を符号化した場合、そのデータを連続して復号化したときに、原曲と変わらない聞こえ方を保持することができる。
また、図3は符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかったフレームを削除して符号化を行う例を示す図であり、1曲目の終端部のフレームが5サンプル分不足している場合、制御部10はデータ処理部2により1曲目の終端部のフレームを削除し、1曲目としてデータ圧縮部3に出力する。
この場合も、2曲目は、本来の2曲目の先頭部分からフレーム処理を行ってサンプルをデータ処理部2からデータ圧縮部3に出力することも可能であるが、図3(b)に示すように、1曲目で削除した最終フレームの有効部分(n−5サンプル)を2曲目の先頭部分に挿入して最初の1フレームを作成することも可能である。このようにすれば、曲の終端部で施した処理を次の曲に反映することができるため、上記と同様に、データを連続して復号化したときに、原曲と変わらない聞こえ方を保持することができる。
また、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分を補間できるように、過去(最終フレームの前)の波形を間延びさせて符号化を行うこともでき、図4はこのようにnサンプルに満たなかった部分を補間できるように、過去の波形を間延びさせて符号化を行う例を示す波形図である。
すなわち、図4(b)に示すように、データ処理部2は過去の2フレーム分+最終フレームの有効部分が3フレームの3nサンプルとなるように時間軸上で間延びさせる処理を行った後、1フレーム毎にサンプルをデータ圧縮部3に出力する。
この場合、最終フレームの不足分のサンプル数に比例して間延びさせる対象のフレーム数を決定することが望ましい。例えば、図5の表に示すように、不足サンプル数に応じて間延び処理対象のフレーム数を決定すれば、もとの波形に近い形にできるため原曲との変化を少なくすることができる。
さらに、符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分付加した後、符号化を行うこともできる。図6(a)はこのように、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分付加した場合のデータ列を示す図であり、1曲目の終端部のフレームが5サンプル分不足している場合、制御部10の制御によりデータ処理部2が寸前の5サンプル分のPCMデータ列を最終フレームの終端部に追加することにより、5サンプル分のPCMデータ列をコピーして一曲としてデータ圧縮部3に出力する。
また、図6(b)に示すように、nサンプルに満たなかった部分に、満たなかったサンプル数分、寸前のPCMデータ列を時間軸に対して反転してコピーすることもでき、この場合には、制御部10の制御によりデータ処理部2が寸前の5サンプル分のPCMデータ列を時間軸に対して反転して最終フレームの終端部に追加して一曲としてデータ圧縮部3に出力する。
さらには、図6(c)に示すように、nサンプルに満たなかった部分に、満たなかったサンプル数分、寸前のPCMデータ列を時間軸に対して反転し更に符号を逆転してコピーすることもでき、この場合、制御部10の制御によりデータ処理部2が寸前の5サンプル分のPCMデータ列を時間軸に対して反転し、更に符号を逆転して最終フレームの終端部に追加して一曲としてデータ圧縮部3に出力する。
また、nサンプルに満たなかった部分に固定的な音データ挿入して最終フレームのサンプル数をnにすることもできる。
図7はこのように、nサンプルに満たなかった部分に固定的な音データ挿入して最終フレームのサンプル数をnにする場合のデータ波形を示す図であり、この場合、制御部10の制御により、データ処理部2はこのデータ処理部2に予め記憶されている固定的な音データ、例えば、固定振幅の正弦波をnサンプルに満たなかった部分に挿入し、最終フレームとしてデータ圧縮部3に入力する。
以上のように、楽曲の最終フレームがnサンプルに満たなかった場合、種々の方法によってnサンプルに満たなかった部分にデータを追加することにより、無音データとなることを防止することができ、複数の楽曲間の無音の出力を削除或いは軽減し、自然に聞こえるようにすることができる。
なお、図6、図7に示すように、不足部分に原曲とは異なるデータを挿入すると、原曲と聞こえ方が変わる可能性があるが、この期間は数10msであり、実用上問題となることはない。
上記の実施例では、データ処理部の出力を入力するデータ圧縮部としてサブバンド分析フィルタバンク、スケールファクタ抽出・正規化部、心理聴覚分析部、ビット割当部、量子化部及びビットストリーム生成部よりなるデータ圧縮部を用いたが、データ圧縮部としては様々なものがあり、どのようなデータ圧縮部でも本発明のオーディオデータ圧縮方法を適用することができる。
本発明のオーディオデータ圧縮方法を適用するデータ圧縮回路のブロック図である。 次の曲の先頭部分のデータ列を挿入するデータ処理を行う場合のデータ列を示す図である。 nサンプルに満たなかったフレームを削除して符号化を行う場合のデータ列を示す図である。 過去の波形を間延びさせて符号化を行う例を示す波形図である。 不足サンプル数に応じた間延び処理対象のフレーム数を示す表である。 直前のデータ列を満たなかったサンプル数分付加する場合のデータ列を示す図である。 nサンプルに満たなかった部分に固定的な音データ挿入する場合のデータ波形を示す図である。
符号の説明
1 PCMデータ記憶バッファ
2 データ処理部
3 データ圧縮部
4 サブバンド分析フィルタバンク
5 スケールファクタ抽出・正規化部
6 心理聴覚分析部
7 ビット割当部
8 量子化部
9 ビットストリーム生成部
10 制御部

Claims (4)

  1. デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、
    符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分を補間できるように、過去の波形を間延びさせて符号化を行うことを特徴とするデータ圧縮方法。
  2. 請求項1に記載のデータ圧縮方法において、
    nサンプルに満たなかったサンプル数に応じて間延びさせる対象の過去の波形の長さを変化させることを特徴とするデータ圧縮方法。
  3. デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、
    符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分、時間軸に対して反転して付加した後、符号化を行うことを特徴とするデータ圧縮方法。
  4. デジタルデータをnサンプルのフレーム単位ごとに符号化するデータ圧縮方法において、
    符号化対象の曲の終端部がnサンプルに満たない場合、nサンプルに満たなかった部分に、直前のデータ列を満たなかったサンプル数分、時間軸に対して反転し、さらに、反転したデータ列の符号を逆転して付加した後、符号化を行うことを特徴とするデータ圧縮方法。
JP2003359307A 2003-10-20 2003-10-20 データ圧縮方法 Expired - Fee Related JP4508599B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003359307A JP4508599B2 (ja) 2003-10-20 2003-10-20 データ圧縮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003359307A JP4508599B2 (ja) 2003-10-20 2003-10-20 データ圧縮方法

Publications (3)

Publication Number Publication Date
JP2005122034A JP2005122034A (ja) 2005-05-12
JP2005122034A5 JP2005122034A5 (ja) 2006-11-30
JP4508599B2 true JP4508599B2 (ja) 2010-07-21

Family

ID=34615580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003359307A Expired - Fee Related JP4508599B2 (ja) 2003-10-20 2003-10-20 データ圧縮方法

Country Status (1)

Country Link
JP (1) JP4508599B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4765460B2 (ja) * 2005-07-25 2011-09-07 パナソニック株式会社 音声符号化装置および音声符号化方法
JP4770348B2 (ja) * 2005-09-13 2011-09-14 ソニー株式会社 データ処理装置、データ処理方法及びデータ処理制御プログラム
JP4345780B2 (ja) 2006-07-14 2009-10-14 ソニー株式会社 再生装置、再生方法およびコンピュータプログラム
JP4371127B2 (ja) 2006-07-14 2009-11-25 ソニー株式会社 再生装置、再生方法、プログラム
JP4977777B2 (ja) * 2008-03-18 2012-07-18 パイオニア株式会社 符号化装置及び符号化方法並びに符号化用プログラム
WO2009116142A1 (ja) * 2008-03-18 2009-09-24 パイオニア株式会社 情報変換装置及び情報変換方法並びに情報変換用プログラム
CN113890541A (zh) * 2021-09-24 2022-01-04 深圳国微芯科技有限公司 数据压缩方法及系统、计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02278299A (ja) * 1989-04-19 1990-11-14 Ricoh Co Ltd 音声信号処理方式
JPH0737341A (ja) * 1993-07-22 1995-02-07 Sharp Corp 記録再生装置
JPH11167400A (ja) * 1997-12-03 1999-06-22 Kobe Steel Ltd 小型音楽信号再生装置
JPH11191285A (ja) * 1997-12-26 1999-07-13 Sony Corp 記録装置
JP2000268539A (ja) * 1999-03-12 2000-09-29 Matsushita Electric Ind Co Ltd 可変長圧縮音声データの記録編集方法
JP2001160968A (ja) * 1999-09-20 2001-06-12 Matsushita Electric Ind Co Ltd 符号化記録装置
JP2001337698A (ja) * 2000-05-30 2001-12-07 Sony Corp 符号化装置および符号化方法並びに復号化装置および復号化方法
JP2002247577A (ja) * 2001-02-20 2002-08-30 Hitachi Kokusai Electric Inc 動画像伝送方法
JP2003216172A (ja) * 2002-01-21 2003-07-30 Kenwood Corp 音声信号加工装置、音声信号加工方法及びプログラム
JP2004093729A (ja) * 2002-08-30 2004-03-25 Alpine Electronics Inc 音楽データの記録装置及び再生装置
JP2006030577A (ja) * 2004-07-15 2006-02-02 Yamaha Corp 曲の符号化伝送のための方法および装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02278299A (ja) * 1989-04-19 1990-11-14 Ricoh Co Ltd 音声信号処理方式
JPH0737341A (ja) * 1993-07-22 1995-02-07 Sharp Corp 記録再生装置
JPH11167400A (ja) * 1997-12-03 1999-06-22 Kobe Steel Ltd 小型音楽信号再生装置
JPH11191285A (ja) * 1997-12-26 1999-07-13 Sony Corp 記録装置
JP2000268539A (ja) * 1999-03-12 2000-09-29 Matsushita Electric Ind Co Ltd 可変長圧縮音声データの記録編集方法
JP2001160968A (ja) * 1999-09-20 2001-06-12 Matsushita Electric Ind Co Ltd 符号化記録装置
JP2001337698A (ja) * 2000-05-30 2001-12-07 Sony Corp 符号化装置および符号化方法並びに復号化装置および復号化方法
JP2002247577A (ja) * 2001-02-20 2002-08-30 Hitachi Kokusai Electric Inc 動画像伝送方法
JP2003216172A (ja) * 2002-01-21 2003-07-30 Kenwood Corp 音声信号加工装置、音声信号加工方法及びプログラム
JP2004093729A (ja) * 2002-08-30 2004-03-25 Alpine Electronics Inc 音楽データの記録装置及び再生装置
JP2006030577A (ja) * 2004-07-15 2006-02-02 Yamaha Corp 曲の符号化伝送のための方法および装置

Also Published As

Publication number Publication date
JP2005122034A (ja) 2005-05-12

Similar Documents

Publication Publication Date Title
JP5048697B2 (ja) 符号化装置、復号化装置、符号化方法、復号化方法、プログラムおよび記録媒体
KR100427753B1 (ko) 음성신호재생방법및장치,음성복호화방법및장치,음성합성방법및장치와휴대용무선단말장치
JP3926726B2 (ja) 符号化装置および復号化装置
JPH08190764A (ja) ディジタル信号処理方法、ディジタル信号処理装置及び記録媒体
JP2006011456A (ja) 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体
US20060100885A1 (en) Method and apparatus to encode and decode an audio signal
WO2003038389A1 (en) Encoding device, decoding device and audio data distribution system
JP2001142498A (ja) ディジタル信号処理装置および処理方法、ディジタル信号記録装置および記録方法、並びに記録媒体
EP2228792A2 (en) Scalable lossless audio codec and authoring tool
US7899192B2 (en) Method for dynamically adjusting the spectral content of an audio signal
KR20020002241A (ko) 디지털 오디오장치
US7583804B2 (en) Music information encoding/decoding device and method
JP4508599B2 (ja) データ圧縮方法
KR100682915B1 (ko) 다채널 신호 부호화/복호화 방법 및 장치
JP4308229B2 (ja) 符号化装置および復号化装置
US6463405B1 (en) Audiophile encoding of digital audio data using 2-bit polarity/magnitude indicator and 8-bit scale factor for each subband
KR100300887B1 (ko) 디지털 오디오 데이터의 역방향 디코딩 방법
WO1997016818A1 (en) Method and system for compressing a speech signal using waveform approximation
US8626494B2 (en) Data compression format
JP4556866B2 (ja) 高能率符号化プログラム及び高能率符号化装置
KR20080112000A (ko) 음색 유사성을 활용한 부호화/복호화 방법
JPH07508375A (ja) スタジオ用デジタルオーディオ信号の記憶及び又は通信時のデータ整理方法
JP3389849B2 (ja) 量子化装置
JPS58128000A (ja) 音声パラメ−タ符号化方式
JP2011209412A (ja) 圧縮装置、圧縮方法、再生装置および再生方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061013

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees