JP4808928B2 - 複数スキャンを使用する変換係数圧縮 - Google Patents

複数スキャンを使用する変換係数圧縮 Download PDF

Info

Publication number
JP4808928B2
JP4808928B2 JP2003560852A JP2003560852A JP4808928B2 JP 4808928 B2 JP4808928 B2 JP 4808928B2 JP 2003560852 A JP2003560852 A JP 2003560852A JP 2003560852 A JP2003560852 A JP 2003560852A JP 4808928 B2 JP4808928 B2 JP 4808928B2
Authority
JP
Japan
Prior art keywords
scan
coefficients
coefficient
region
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003560852A
Other languages
English (en)
Other versions
JP2005525006A (ja
Inventor
アミール・サイド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2005525006A publication Critical patent/JP2005525006A/ja
Application granted granted Critical
Publication of JP4808928B2 publication Critical patent/JP4808928B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、複数スキャンを使用する変換係数圧縮に関する。
[背景]
コンピュータに大きいデータファイルを格納するコストを低減するとともに、コンピュータ間で大きいデータファイルを送信する時間を低減するために、データ圧縮が使用される。
いわゆる「変換方法」において、データは、周波数領域においてデータを表現する係数に変換される。
係数を、量子化された係数から復元されるデータの品質に著しく影響を与えることなく量子化することができる(非可逆圧縮)。
そして、係数における冗長性を、復元されたデータの品質に影響を与えることなく低減または削除することができる(可逆圧縮)。
変換の1つの種類は、離散コサイン変換である。
DCTは、画像情報の大部分をわずかな数の係数にする。
圧縮を得るために、係数の大部分をより小さいビットサイズに量子化することができる。
APOSTROPOULOS J: "Position Dependent Encoding", Proceedings of the international conference on acoustics, speech and signal processing. Adelaide, April. 19-22, 1994, New York, IEEEE US, vil. Conf. 19, 19 April 1994 (1994--4-19), pages V-573-V-576, XP000533778 ISBN: 0-7803-1776-9
DCTは、計算が高速である。
しかしながら、DCT係数に対し可逆圧縮を実行することは、費用がかかり複雑である可能性がある。
[要約]
本発明の一態様によれば、デジタル画像の周波数領域表現の変換係数ブロックを、そのブロックの少なくとも3つの異なる領域に対しスキャンを実行することによって処理する。
本発明の他の態様および利点は、本発明の原理を例として示す添付図面に関連して、以下の詳細な説明から明らかとなろう。
[詳細な説明]
例示の目的で図面に示すように、本発明を、デジタル画像を圧縮する方法において実施する。
本方法は、特に、テキストならびに水平および垂直エッジを有する他の形状を含むデジタル画像を圧縮するのに効率がある。
本方法を、テキストおよびグラフィックスのために別々のパイプラインを有するプリンタおよび他の機械によって使用することができる。
本方法を、離散コサイン変換に関連して説明する。
しかしながら、本方法は、DCT変換に限定されない。
本方法を、ウェーブレットベースの変換およびエネルギーが集中する(たとえば、低周波数成分におけるエネルギーの大部分)他の変換と使用してもよい。
デジタル画像を圧縮する方法を示す、図1を参照する。
デジタル画像は、ピクセルの配列を含む。
空間領域において、各ピクセルを、nビットワードで表す。
RGB色空間を表す典型的な24ビットワードにおいて、たとえば、8ビットは赤成分を表し、8ビットは緑成分を表し、8ビットは青成分を表す。
デジタル画像を、空間領域から周波数領域に変換する(110)。
離散コサイン変換を使用して、空間領域のピクセルのブロックを周波数領域のDCT係数のブロックに変換することができる。
たとえば、8×8ブロックのピクセルを8×8ブロックのDCT係数に変換することができる。
変換係数のブロックに対し非可逆圧縮を実行する(112)。
たとえば、DCT係数を量子化することができる。
量子化は、DCT係数を四捨五入してゼロ値と非ゼロ値とにする。
ここで、図2をさらに参照する。
図2は、DCT係数の8×8ブロック210を示す。
DC係数は、左上角にあり、周波数は、右下角に向かって増大する。
典型的に、量子化されたより高い周波数係数はゼロに等しくなる。
そして、変換係数の可逆圧縮を実行する(114)。
各変換係数ブロックの3つの異なる領域に対し、スキャン212、214および216を実行する(116)。
第1の領域は、変換係数ブロック210の対角線に沿って位置するそれらの係数を含み、第1のスキャン212はそれらの係数をカバーする。
第2の領域は、第1の領域の上にあるそれらの係数を含み、第2のスキャン214はそれらの係数をカバーする。
第3の領域は、第1の領域の下にあるそれらの係数を含み、第3のスキャン216はそれらの係数をカバーする。
第2のスキャン214(第2の領域の係数をカバーする)は、水平エッジをカバーする傾向があり、第3のスキャン216(第3の領域の係数をカバーする)は、垂直エッジをカバーする傾向がある。
各スキャンは、低周波数係数から高周波数成分まで進行することができる。
通常、DC係数は別個に符号化されるためスキャンされない。
好ましくは、各スキャン212、214および216は、同じ数の係数をカバーする。
図2に示す8×8ブロックの変換係数では、各スキャン212、214および216は、21個の係数をカバーする。
係数を、一度に1ブロックで符号化する(118)。
さらに、各ブロックのスキャンを、別々に符号化する。
たとえば、DC係数を符号化して出力ビットストリームに追加し、第1のスキャン212によってカバーされる係数を符号化してビットストリームに追加し、次いで第2のスキャン214によってカバーされる係数を符号化してビットストリームに追加し、次いで第3のスキャン216によってカバーされる係数を符号化してビットストリームに追加する。
符号化により、画像情報を低減することなくビットの数が低減する。
符号化を、多数の方法で実行することができる。
例として、各スキャンにおける係数を、従来のハフマン符号化によって符号化した後にランレングス符号化によって符号化され、または、エントロピー符号化または算術符号化によって符号化されることができる。
ここで、図3を参照する。
図3はさらに別の符号化方法、すなわちコンテキストベースの符号化を示す。
コンテキストベースの符号化は、スキャンにおける係数が典型的には異なる分布を有することになるという仮説に基づく。
コンテキストベースの符号化は、異なる分布に異なるコードブックを割り当てる。
たとえば、第1のコードブックを、ゼロを中心とする狭い分布を表示する係数に割り当て、異なるコードブックを、ゼロを中心とする広い分布を表示する係数に割り当てる。
この手法は、異なる分布に対して同じコードブックを使用するより効率的になる傾向がある。
コンテキストベースの符号化を、以下のように各ブロックに対して実行してもよい。
DC係数を符号化しビットストリームに追加する(312)。
すべてのスキャンにおけるすべての係数がゼロに等しい場合(314)、それを示す特別なシンボルをビットストリームに追加し(316)、符号化を終了する。
すべてのスキャンのすべての係数がゼロに等しくはない場合(314)、それを示す特別なシンボルをビットストリームに追加し(318)、第1のスキャンを検査する(326)。
スキャンにおける最後の非ゼロ係数を見つけ、その位置を符号化してビットストリームに追加する(320)。
そして、スキャンにおける係数を、逆の順序で、すなわちスキャンにおける最後の非ゼロ係数から最初の係数に向かって処理する(322)。
スキャンがすべてゼロ係数を含む場合、最後の非ゼロ係数の位置をゼロとして符号化してもよく、いずれの係数も処理しない。
すべてのスキャンが符号化される(324)まで別のスキャンを検査する(326)。
スキャンの係数を、スキャンのn番目の係数をスキャンのn−1番目の係数に対するコンテキストとして使用することにより処理してもよい(322)。
n番目の係数を使用して、n−1番目の係数に対し複数のコードブックのうちの1つを選択し、選択されたコードブックを使用してn−1番目の係数に対するコードワードを提供する。
各係数のパス長および大きさを符号化してもよい。
n−1番目の係数に対応するコードワードをビットストリームに追加する。
スキャンの係数の以下の例を考える。
すなわち、153、−41、−8、−1、−1、1、0、1、0、0、…、0、0である。
ここで、コードブックを割り当てる以下のルールを考える。
すなわち、コードブックcを0に先立つ係数に割り当て、コードブックcを±1に先立つ係数に割り当て、コードブックcを±2に先立つ係数に割り当て、コードブックcを±3または±4に先立つ係数に割り当て、コードブックcを±5または±6または±7または±8に先立つ係数に割り当て、コードブックcを他のすべての係数に割り当てる。
下の表1に示すようにコードブックを割り当てる。
153に対するコードワードをコードブックcから取得し、−41に対するコードワードをコードブックcから取得し、−8に対するコードワードをコードブックcから取得する、等である。
Figure 0004808928
単一カラーチャネルに対する圧縮方法を説明した。
複数のカラーチャネル(たとえば、RGB、YUV)を有するカラーデジタル画像の場合、本方法を各カラーチャネルに対して実行する。
結果は、ブロック毎に9つのスキャンであり、それらは別々に符号化される。
輝度チャネルからのコンテキストを使用して、クロミナンスチャネルを符号化することができる。
輝度値が0である場合、クロミナンス成分もまたゼロであると仮定してもよい。
ここで、図4を参照する。
ビットストリームを周波数領域係数に復号化し(410)、各変換係数ブロックの少なくとも3つの異なる領域に復号化した周波数領域成分を充填することにより周波数領域表現を生成し(412)、周波数領域表現に対し逆変換を実行する(414)ことによって、デジタル画像を復元する。
ここで、図5を参照する。
図5は、上述した圧縮および復元方法の一方または両方を実行する機械510を示す。
機械510は、プロセッサ512とメモリ514とを含む。
メモリ514は、実行時に、プロセッサ512に対し上述したようにデジタル画像を圧縮または復元させるプログラム516を格納する。
圧縮方法は、上述したスキャンパターンの数とスキャンパターンの形状とに限定されない。
このため、圧縮方法は、ジグザグ形状を有する3つのスキャンパターンに限定されない。
スキャンパターンの形状を、デジタル画像の特性に従って選択することができる。
異なるスキャンはオーバラップしなくてもよく、あるいは、いくつかの係数をオーバラップしてもよい。
異なるスキャンは、異なる数の変換係数をカバーしてもよく、あるいは同じ数の係数をカバーしてもよい。
4つ以上のスキャンを使用してもよい。
しかしながら、スキャンの数が増大することにより、各スキャンの係数の数が低減する。
本方法は、8×8ブロックの変換係数に限定されない。
他のサイズのブロックを使用してもよい。
本発明は、上に説明し例示した特定の実施形態に限定されない。
代りに、本発明は、特許請求の範囲に従って解釈される。
デジタル画像を圧縮する方法の図である。 デジタル画像の周波数領域表現の変換係数ブロックの図である。 周波数領域表現のブロックに対しコンテキストベース符号化を実行する方法の図である。 ビットストリームからデジタル画像を復元する方法の図である。 デジタル画像の圧縮および復元を実行する装置の図である。
符号の説明
210・・・8×8ブロック、
212,214,216・・・スキャン、

Claims (6)

  1. デジタル画像の周波数領域表現を処理する装置(510)であって、
    前記周波数領域表現の少なくとも1つのブロック(210)の少なくとも3つの異なる領域に対しスキャン(212、214、216)を実行し、前記スキャン(212、214、216)によってカバーされる係数に対するコードワードを選択するために異なるコードブックを選択するプロセッサ(512)を具備し、
    第1のスキャン(212)が第1の領域に対して実行され、第2のスキャン(214)が第2の領域に対して実行され、第3のスキャン(216)が第3の領域に対して実行され、前記第1の領域はブロックの対角線に沿い、前記第2および第3の領域は前記第1の領域の反対側にあり、
    前記プロセッサ(512)は、前記スキャン(212、214、216)における最後の非ゼロ係数を見つけ、前記スキャン(212、214、216)によってカバーされる係数を、前記最後の非ゼロ係数から最初の係数に向かって逆の順序で符号化し、
    n−1番目の係数に対するコードブックは、前記スキャン(212、214、216)における番目の係数の値に従って割り当てられる
    デジタル画像の周波数領域表現を処理する装置。
  2. 前記スキャン(212、214、216)は、同じ数の係数をカバーする
    請求項1に記載のデジタル画像の周波数領域表現を処理する装置。
  3. 前記領域は、前記画像の特性に従って選択される
    請求項1に記載のデジタル画像の周波数領域表現を処理する装置。
  4. 前記領域は、前記画像のエッジに対して最適化される
    請求項1に記載のデジタル画像の周波数領域表現を処理する装置。
  5. 前記領域は、オーバーラップしない
    請求項1に記載のデジタル画像の周波数領域表現を処理する装置。
  6. 各領域においてジグザグスキャンが実行される
    請求項1に記載のデジタル画像の周波数領域表現を処理する装置。
JP2003560852A 2002-01-07 2002-12-18 複数スキャンを使用する変換係数圧縮 Expired - Fee Related JP4808928B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/041,218 2002-01-07
US10/041,218 US7190840B2 (en) 2002-01-07 2002-01-07 Transform coefficient compression using multiple scans
PCT/US2002/040856 WO2003060828A1 (en) 2002-01-07 2002-12-18 Transform coefficient compression using multiple scans

Publications (2)

Publication Number Publication Date
JP2005525006A JP2005525006A (ja) 2005-08-18
JP4808928B2 true JP4808928B2 (ja) 2011-11-02

Family

ID=21915373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003560852A Expired - Fee Related JP4808928B2 (ja) 2002-01-07 2002-12-18 複数スキャンを使用する変換係数圧縮

Country Status (6)

Country Link
US (1) US7190840B2 (ja)
EP (1) EP1461771B1 (ja)
JP (1) JP4808928B2 (ja)
AU (1) AU2002360699A1 (ja)
TW (1) TWI252699B (ja)
WO (1) WO2003060828A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE343302T1 (de) * 2002-05-02 2006-11-15 Fraunhofer Ges Forschung Kodierung und dekodierung von transformationskoeffizienten in bild- oder videokodierern
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 H.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US8000388B2 (en) * 2006-07-17 2011-08-16 Sony Corporation Parallel processing apparatus for video compression
KR20090078617A (ko) * 2008-01-15 2009-07-20 삼성전자주식회사 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US9042440B2 (en) * 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US10397577B2 (en) 2011-03-08 2019-08-27 Velos Media, Llc Inverse scan order for significance map coding of transform coefficients in video coding
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US9491469B2 (en) 2011-06-28 2016-11-08 Qualcomm Incorporated Coding of last significant transform coefficient
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
CA2773990C (en) * 2011-11-19 2015-06-30 Research In Motion Limited Multi-level significance map scanning
US9247257B1 (en) * 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9008184B2 (en) * 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757973A (en) * 1991-01-11 1998-05-26 Sony Corporation Compression of image data seperated into frequency component data in a two dimensional spatial frequency domain
US5369437A (en) * 1991-08-28 1994-11-29 Nec Corporation Time-varying image signal coding/decoding system
US5321776A (en) 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
US5295203A (en) * 1992-03-26 1994-03-15 General Instrument Corporation Method and apparatus for vector coding of video transform coefficients
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
US5414780A (en) * 1993-01-27 1995-05-09 Immix Method and apparatus for image data transformation
JP3292221B2 (ja) * 1993-09-14 2002-06-17 ソニー株式会社 画像圧縮符号化方法
JPH07274168A (ja) * 1994-04-04 1995-10-20 Matsushita Electric Ind Co Ltd 映像符号化用ウェーブレット係数走査方法
JPH09261644A (ja) * 1996-03-22 1997-10-03 Matsushita Electric Ind Co Ltd ウエーブレットビデオ符号化方法
EP0905421B1 (de) 1997-09-25 2003-10-22 ALSTOM (Switzerland) Ltd Bürstendichtung
EP0905978A3 (en) * 1997-09-29 2000-04-12 Canon Kabushiki Kaisha An encoding method and apparatus
US6870963B2 (en) * 2001-06-15 2005-03-22 Qualcomm, Inc. Configurable pattern optimizer

Also Published As

Publication number Publication date
TWI252699B (en) 2006-04-01
JP2005525006A (ja) 2005-08-18
TW200300644A (en) 2003-06-01
US7190840B2 (en) 2007-03-13
WO2003060828A1 (en) 2003-07-24
EP1461771B1 (en) 2011-12-14
EP1461771A1 (en) 2004-09-29
AU2002360699A1 (en) 2003-07-30
US20030128886A1 (en) 2003-07-10

Similar Documents

Publication Publication Date Title
JP4808928B2 (ja) 複数スキャンを使用する変換係数圧縮
JP4113114B2 (ja) Golomb−riceコーディングを使用するdct圧縮
JP4800571B2 (ja) 損失の無い方法でディジタル画像を符号化するための装置および方法
JP4927888B2 (ja) ゴロム・ライスを使用する無損失フレーム内符号化
US8326057B2 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
JP4870743B2 (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
US7630563B2 (en) System and method for decoding digital image and audio data in a lossless manner
JP2004531995A5 (ja)
IL168511A (en) Apparatus and method for multiple description encoding
JP2004528791A (ja) インターフレーム符号化方法および装置
JP3469438B2 (ja) 画像信号の処理方法及び装置、記録媒体
US6912070B1 (en) Sub-optimal variable length coding
JPH118848A (ja) 画像符号化方法および画像符号化装置
KR20100013142A (ko) 프레임 메모리 압축방법
JP2000316174A (ja) カラー画像圧縮方法およびカラー画像圧縮装置
JP2005086353A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2003274195A (ja) 符号化・復号化装置、符号化・復号化方法および記録媒体
JPH11331844A (ja) 固定長ブロック符号化装置及び復号装置
Ethiraj et al. Hierarchical Prediction and Context Adaptive Coding for Lossless Color Image Compression
JPH04323962A (ja) 画像処理方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071002

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080826

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080918

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees