JP4079315B2 - ボリュームデータ符号化装置 - Google Patents

ボリュームデータ符号化装置 Download PDF

Info

Publication number
JP4079315B2
JP4079315B2 JP2002280941A JP2002280941A JP4079315B2 JP 4079315 B2 JP4079315 B2 JP 4079315B2 JP 2002280941 A JP2002280941 A JP 2002280941A JP 2002280941 A JP2002280941 A JP 2002280941A JP 4079315 B2 JP4079315 B2 JP 4079315B2
Authority
JP
Japan
Prior art keywords
encoding
dimensional
unit
volume data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002280941A
Other languages
English (en)
Other versions
JP2004118525A (ja
Inventor
真幸 橋本
賢治 松尾
淳 小池
康之 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2002280941A priority Critical patent/JP4079315B2/ja
Priority to US10/669,714 priority patent/US7254267B2/en
Publication of JP2004118525A publication Critical patent/JP2004118525A/ja
Application granted granted Critical
Publication of JP4079315B2 publication Critical patent/JP4079315B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はディジタル画像処理の分野におけるボリュームデータ符号化装置に関し、特に3次元の画素配置をもつ画像データ(以下、ボリュームデータと呼ぶ)を高能率に符号化するボリュームデータ符号化装置に関する。
【0002】
【従来の技術】
CT、MR等の技術革新により、放射線科において3次元医用画像データが大量に取得できるようになってきており、このような画像の圧縮に対するニーズが高まっている。
【0003】
放射線科内における画像の蓄積・管理を目的としたシステムの規格であるDICOM(Digital Imaging and Communications in Medicine)では、このような画像の圧縮方式として2次元ベースの画像符号化方式であるJPEG(非可逆符号化)やJPEG-LS(可逆符号化)を認めている。
【0004】
【発明が解決しようとする課題】
上記のような従来の2次元ベースの符号化を用いた符号化、特に可逆符号化ではデータの符号化効率に限界があり、圧縮しても符号化データを蓄積するための大幅なサーバ容量削減や伝送に要する時間の短縮につながっていない場合がある。なお、ボリュームデータの符号化には3次元ウェーブレットが多用されるが、これに関連する先行文献として、例えば特開2002−204168号公報がある。
【0005】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、より高い符号化効率が得られるボリュームデータ符号化装置を提供することにある。
【0006】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、空間的に3次元の画素配置を持つ画像データ(以下、ボリュームデータと呼ぶ)を符号化するボリュームデータ符号化装置において、2次元の連続画像に対して2次元的な周波数分解を行う2次元変換部と、該2次元変換部より得られた変換係数に対してさらに1次元的な周波数分解およびその後の符号化処理を行う場合に、該分解および符号化処理をスキップできる部分を検出するスキップ検出手段と、該スキップ検出手段で検出されたスキップできる部分を除いて前記1次元的な周波数分解を行う1次元変換部と前記スキップできる部分を除いて符号化を行う符号化処理部とを具備した点に第1の特徴がある。
【0007】
この特徴によれば、CTやMRI等の連続画像からなるボリュームデータはそれぞれの相関が高いため、前記スキップできる部分のデータ量は多くなり、符号化効率の改善を図ることができるようになる。
【0008】
また、本発明は、前記1次元変換部から得られた、ボリュームデータを3次元的に周波数分解されたブロック(以下、サブバンドブロックと呼ぶ)の内部を、さらに3次元的に小さなブロック(以下、単位ブロックと呼ぶ)に分割する単位ブロック分割部と、該単位ブロックのそれぞれに対して、適した符号化パラメータで適応的符号化を行う適応的符号化手段とを具備した点に第2の特徴がある。
【0009】
この特徴によれば、前記単位ブロックのそれぞれに対して、適した符号化パラメータで適応的符号化を行えるので、符号化効率の改善を図ることができるようになる。
【0010】
また、本発明は、前記ボリュームデータを構成する複数の2次元画像のそれぞれに画素情報以外の情報がヘッダ情報として付帯していた場合は、該ヘッダ情報を画素情報から分離する手段を具備し、該ヘッダ情報を前記画素情報とは別に処理し、複数の該ヘッダ情報の共通部分を利用して圧縮したものを符号化データに付与するようにした点に第3の特徴がある。
【0011】
この特徴によれば、シリーズ画像におけるDICOMヘッダなどは、画像番号や断層面の位置情報を除いては同じ内容のものが多く含まれるため、大幅なDICOM情報などの圧縮を実現することができる。
【0012】
【発明の実施の形態】
以下に、本発明を図面を参照して説明する。図1は、本発明の一実施形態の構成を示すブロック図である。
【0013】
まず、入力画像aとして、CTやMRI等から出力された複数の断層面の2次元画像(シリーズ画像)を仮定する。これらの画像の連続画像はそれぞれの相関が高いため、図2に示すように、これらの画像を3次元的に重ね、ボリュームデータとみなすことができる。
【0014】
医用画像の伝送プロトコル画像フォーマットの規格としてDICOMが広まりつつある。DICOMは画素値データの他に患者情報や画像の表示に関する情報などさまざまな情報をヘッダとしてファイルに付帯している。本実施形態では、ヘッダ解析部1において全2次元画像に対するヘッダを解析・抽出する。抽出されたヘッダbはヘッダ圧縮部11へ送られ、圧縮される。シリーズ画像におけるDICOMヘッダbは、画像番号や断層面の位置情報を除いては同じ内容のものが多く含まれるため、異なる部分の情報のみを保存することで大幅なDICOM情報の圧縮を実現することができる。
【0015】
前記ヘッダ解析部1でヘッダを分離された画素データからなる2次元画像cは、2次元変換部2に送られる。2次元変換部2においては、図3に示すように、各画像に対して2次元の周波数分解であるサブバンド分解を行い2次元方向(ここではx,y方向)にのみ分解された「2次元分割ボリュームデータd」を得る。なお、2次元変換の一例としては、2次元ウェーブレット変換を用いることができる。
【0016】
該2次元分割ボリュームデータdは、1次元の周波数分解を行う1次元変換部3と、スキップ部分検出・テーブル生成部4に送られる。該キップ部分検出・テーブル生成部4の処理の概念図を図4に示す。前記2次元分割ボリュームデータdに対してx,y座標が (Xa,Ya)の係数をz方向に検索し、係数値がすべて同じ(図中の「A」)場合は、そのラインについては非符号化対象ラインとして符号化処理を行わないため、保存手段であるテーブル4aにその係数値Aを保持しておく。同様に、z方向に全て同じ係数値「B」をテーブル4aに保持しておく。このように作成されたテーブル4aはテーブル圧縮部6において圧縮され、ファイル生成部10にて最終的に生成されるファイルにヘッダ情報として付加される。
【0017】
1次元変換部3では、前記テーブル生成部4で作成されたテーブルのうち、非符号化対象ラインではないラインをz方向にサブバンド分割する。その結果得られたボリュームデータeの概念図を図5に示す。以降の処理では、随時、前記テーブルを参照しながら、非符号化対象ライン上の係数の処理はスキップする。
【0018】
次に、該サブバンド分割処理で得られたサブバンドブロックe1,e2,・・・を、それぞれ独立に、適応的エントロピー符号化を行う。まず、各サブバンドブロックe1,e2,・・・を単位ブロック分割部5において、さらに小さいブロック(単位ブロック)に分割する。次に、統計値計算・クラス分け部7において、それぞれの単位ブロックに対して、統計値、例えば係数の平均値と分散値を算出し、その統計値をもとに単位ブロックをクラス分けする。
【0019】
図6は該クラス分けの一手法を示し、横軸に前記係数の平均値、縦軸に分散値を取るグラフを用意する。そして、前記単位ブロック毎に求められた係数の平均値と分散値を該グラフ上にプロットし、該平均値と分散値の大きさに応じて、クラス分け(A)〜(I)を行う。
【0020】
エントロピー符号化部8においては、各クラスに含まれる全単位ブロック内の全係数の統計的性質によりエントロピー符号化のパラメータを決定する。ここでは、一例として、グロムライスGolomb-Rice(GR)符号を用いる。GR符号は1つのパラメータkを調整することにより、符号化対象係数の分散に適応したエントロピー符号化が簡易に行えることを特徴としている。一般に、符号化対象を複数のブロックに分割して符号化する際に、それぞれのブロックにおいて最適なパラメータkを用いてGR符号化することにより、より高い符号化効率を得ることができるが、それぞれのブロックにパラメータkの情報を付加する必要が生じ、データ量を増加させるという問題が生ずる。
【0021】
しかし、本実施形態では、同じ統計的性質を持ったブロックに対して1つのパラメータkを割り当て、その対応テーブルのみを保持しておくことにより前述の問題を解決できる。該テーブルはサブバンドごとに生成される。このテーブルはテーブル圧縮部9で圧縮され、ファイル生成部10で最終的に生成されるファイルにサブバンドブロックのヘッダ情報として付加される。また、前記エントロピー符号化部8で適応的に符号化された符号化データは、ファイル生成部10に送られる。ファイル生成部10では、該符号化データに前記ヘッダ情報が付加されて出力される。
【0022】
また、本発明により生成された符号化データは、前記した特開2002−204168号公報等の先行技術を適用して、階層的な読み出し、伝送、および
復号表示が可能である。本発明を、例えばDICOMファイルの符号化に用いると、該DICOMファイルをそのまま高圧縮できる。また、復号すると完全に元のファイルが得られるため医療系アーカイブシステムへの応用することができる。また、本発明により生成されるデータの階層性により階層的な読み出し伝送復号画像表示が行えるようになるため、より柔軟な医療データのネットワーク利用が可能になると期待できる。
【0023】
【発明の効果】
以上の説明から明らかなように、本発明によれば、3次元サブバンド符号化による符号化効率の改善効果だけでなく、第3の方向(z方向)にすべて同じ値が入っているラインの符号化を行わないので、符号化効率の改善を図ることができる。
【0024】
また、サブバンドをさらに小さいブロックに分割した単位ブロック毎に適応的なエントロピー符号化を行うことにより、符号化効率の改善を図ることができる。
【0025】
また、本来ならば各単位ブロックごとに符号化パラメータを付加する必要があるが、本発明では類似した統計的性質をもった単位ブロックには同じパラメータを使い、そのパラメータをまとめて保持しておくため、そのオーバーヘッドが軽減されることも生成されるファイルサイズの低減につながる。
【0026】
さらに、画素情報以外の付帯ヘッダ情報を、画素情報から分離して圧縮するようにしているので、本発明をDICOMファイル等の符号化に用いた場合には、付帯ヘッダ情報の大幅な圧縮効果を期待できる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略の構成を示すブロック図である。
【図2】 ボリュ−ムデータの説明図である。
【図3】 2次元ボリュ−ムデータの説明図である。
【図4】 スキップ部分検出・テーブル生成部の動作説明図である。
【図5】 サブバンド分割処理で得られるサブバンドブロックの説明図である。
【図6】 統計値による単位ブロックのクラス分けの説明図である。
【符号の説明】
1・・・ヘッダ解析部、2・・・2次元変換部、3・・・1次元変換部、4・・・スキップ部分検出・テーブル作成部、5・・・単位ブロック分割部、6、9・・・テーブル圧縮部、7・・・統計値計算・クラス分け部、8・・・エントロピー符号化部、10・・・ファイル生成部、11・・・ヘッダ圧縮部。

Claims (4)

  1. 空間的に3次元の画素配置を持つ画像データ(以下、ボリュームデータと呼ぶ)を符号化するボリュームデータ符号化装置において、
    2次元の連続画像に対して2次元的な周波数分解を行う2次元変換部と、
    該2次元変換部より得られた変換係数に対してさらに1次元的な周波数分解およびその後の符号化処理を行う場合に、該分解および符号化処理をスキップできる同一データ部分を検出するスキップ検出手段と、
    該スキップ検出手段の検出結果を保存する保存手段と、
    該スキップ検出手段で検出されたスキップできる部分を除いて前記1次元的な周波数分解を行う1次元変換部と
    前記1次元変換部から得られた、3次元的に周波数分解されたボリュームデータのブロック(以下、サブバンドブロックと呼ぶ)の内部を、さらに3次元的に小さなブロック(以下、単位ブロックと呼ぶ)に分割する単位ブロック分割部と、
    該単位ブロックのそれぞれに対して、適した符号化パラメータで適応的符号化を前記保存手段に保存されているデータを参照しながら行う適応的符号化手段とを具備したことを特徴とするボリュームデータ符号化装置。
  2. 前記サブバンド内の全単位ブロックに関して単位ブロック毎に係数の統計値を算出する手段と、
    該統計値により単位ブロックをクラス分けする手段と、
    該クラス分け結果を保存する手段とをさらに具備し、
    前記適応的符号化手段は、単位ブロックを符号化する際には該クラスごとに共通の符号化パラメータを使用することを特徴とする請求項に記載のボリュームデータ符号化装置。
  3. 請求項記載の検出結果の保存手段および請求項記載のクラス分け結果の保存手段に保持された情報を圧縮する手段を具備し、
    該圧縮された情報を符号化データに付与することを特徴とするボリュームデータ符号化装置。
  4. 前記ボリュームデータを構成する複数の2次元画像のそれぞれに画素情報以外の情報がヘッダ情報として付帯していた場合は、該ヘッダ情報を画素情報から分離する手段を具備し、
    該ヘッダ情報を前記画素情報とは別に処理し、複数の該ヘッダ情報の共通部分を利用して圧縮したものを符号化データに付与することを特徴とする請求項1ないし請求項のいずれかに記載のボリュームデータ符号化装置。
JP2002280941A 2002-09-26 2002-09-26 ボリュームデータ符号化装置 Expired - Fee Related JP4079315B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002280941A JP4079315B2 (ja) 2002-09-26 2002-09-26 ボリュームデータ符号化装置
US10/669,714 US7254267B2 (en) 2002-09-26 2003-09-25 Encoder for volume data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002280941A JP4079315B2 (ja) 2002-09-26 2002-09-26 ボリュームデータ符号化装置

Publications (2)

Publication Number Publication Date
JP2004118525A JP2004118525A (ja) 2004-04-15
JP4079315B2 true JP4079315B2 (ja) 2008-04-23

Family

ID=32275518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002280941A Expired - Fee Related JP4079315B2 (ja) 2002-09-26 2002-09-26 ボリュームデータ符号化装置

Country Status (2)

Country Link
US (1) US7254267B2 (ja)
JP (1) JP4079315B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338630A (ja) * 2005-05-31 2006-12-14 Terarikon Inc 圧縮された画像データを順次部分解凍しながら三次元画像を作成する三次元画像表示装置
JP5625342B2 (ja) 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
US20110188763A1 (en) * 2010-01-29 2011-08-04 Nenad Rijavec Image Header Compression Mechanism
JP5703781B2 (ja) * 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US10979747B2 (en) * 2017-12-21 2021-04-13 Arris Enterprises Llc Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3282661B2 (ja) * 1997-05-16 2002-05-20 ソニー株式会社 信号処理装置および方法
JP2000197050A (ja) * 1998-12-25 2000-07-14 Canon Inc 画像処理装置及び方法
US6314452B1 (en) * 1999-08-31 2001-11-06 Rtimage, Ltd. System and method for transmitting a digital image over a communication network
US7035473B1 (en) * 2000-03-01 2006-04-25 Sharp Laboratories Of America, Inc. Distortion-adaptive visual frequency weighting
JP3642412B2 (ja) 2000-12-28 2005-04-27 Kddi株式会社 3次元画像の3次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法
KR100389807B1 (ko) * 2001-05-30 2003-07-02 한국과학기술원 Spiht에 기반한 관심영역의 코딩방법
US7092965B2 (en) * 2002-07-09 2006-08-15 Lightsurf Technologies, Inc. System and method for improved compression of DCT compressed images

Also Published As

Publication number Publication date
JP2004118525A (ja) 2004-04-15
US20040208378A1 (en) 2004-10-21
US7254267B2 (en) 2007-08-07

Similar Documents

Publication Publication Date Title
US6912319B1 (en) Method and system for lossless wavelet decomposition, compression and decompression of data
US7502501B2 (en) System and method for rendering an oblique slice through volumetric data accessed via a client-server architecture
EP2270717B1 (en) Method and apparatus for decoding images
EP0933920B1 (en) Data processing apparatus and method and storage medium
US11074723B2 (en) Lossless compression of fragmented image data
JP2000032461A (ja) 画像符号化方法、画像復号方法及び装置及びコンピュ―タプログラム製品
US20040136602A1 (en) Method and apparatus for performing non-dyadic wavelet transforms
Agarwal et al. Multiple image compression in medical imaging techniques using wavelets for speedy transmission and optimal storage
JP2001160062A (ja) 画像データ検索装置
JP2006502604A (ja) 任意形状オブジェクトの画像圧縮方法
JP4079315B2 (ja) ボリュームデータ符号化装置
Špelič et al. Lossless compression of threshold-segmented medical images
JP2001144966A (ja) 画像処理装置及びその方法
Kumari et al. A secure fast 2D—Discrete fractional fourier transform based medical image compression using hybrid encoding technique
JP2001204030A (ja) 画像処理装置及び方法と記憶媒体
US7099523B2 (en) Method and system for scaling a signal sample rate
JP2001218062A (ja) 画像処理装置及び方法と記憶媒体
US6704452B1 (en) Method, apparatus and recording medium for image decoding
Latha et al. ICPCH: A Hybrid Approach for Lossless Dicom Image Compression Using Combined Approach of Linear Predictive Coding and Huffman Coding with Wavelets
JPS62150475A (ja) 画像処理装置
Adnan et al. A Hybrid Approaches for Medical Image Compression: Survey
Mishra et al. Radiological Image Compression (RIC) Methodologies for Telemedicine
Adnan et al. A Hybrid Approaches for Medical Image Compression: Survey
Subramanyan et al. Analysis of Adaptive, Entropy and Wavelet based Coding Techniques-A Survey
JP2003204437A (ja) 領域特定の係数アクセスのための画像切りばめ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140215

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees