JPH08130746A - 係数量子化処理方法 - Google Patents

係数量子化処理方法

Info

Publication number
JPH08130746A
JPH08130746A JP7177990A JP17799095A JPH08130746A JP H08130746 A JPH08130746 A JP H08130746A JP 7177990 A JP7177990 A JP 7177990A JP 17799095 A JP17799095 A JP 17799095A JP H08130746 A JPH08130746 A JP H08130746A
Authority
JP
Japan
Prior art keywords
image
bits
coefficient
processing method
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7177990A
Other languages
English (en)
Other versions
JP3896490B2 (ja
Inventor
Valerie Crocitti
クロシティ ヴァレリー
Michel Kerdranvat
ケルドランヴァ ミシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of JPH08130746A publication Critical patent/JPH08130746A/ja
Application granted granted Critical
Publication of JP3896490B2 publication Critical patent/JP3896490B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 イメージ圧縮システムにおける係数の量子化
方法を提供する。 【構成】 ブロック又はマクロブロックの形式の、可変
データ伝送速度イメージ圧縮システムにおける、係数量
化処理手順であり、ピクセル・ブロックを係数ブロック
に変換する手段と、変換前のコード化情報記憶手段と、
記憶手段の状態の関数としての量子化手段の調整手段と
を含み処理手順は、各イメージはブロック・グループに
区分され、少なくとも、いわゆる現イメージがインター
・モードでコード化されなければならないときには、量
記号が現イメージの開始時に決定され、量記号は、グル
ープの少なくとも1つの量化の前に再計算された修正係
数によって修正され、係数は、第1に、事前にコード化
されたブロック・グループすべてのために作られたビッ
トの数と、第2に、このビットの数の予測、との差の関
数であり、予測は、現イメージに先行する少なくとも1
つのイメージをコード化する間のビットの分布に基づ
く。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、イメージ圧縮システム
における係数を量子化するための処理方法に関し、さら
に詳しくは、変換係数の量子化による出力バッファの調
整に関する。本発明はデータ伝送、特にテレビ電話への
適用における低データ伝送速度での圧縮イメージの伝送
に適用可能である。
【0002】
【発明が解決しようとする課題】本発明の目的は、ブロ
ック又はマクロブロックの形式の、可変データ伝送速度
イメージ圧縮システムにおける、係数量子化処理方法で
あって、前記システムが、ピクセル・ブロックを係数ブ
ロックに変換する手段と、変換前のコード化情報記憶手
段と、記憶手段の状態の関数としての量子化手段の調整
手段を含み、各イメージがブロック・グループに区分さ
れ、少なくとも、いわゆる現イメージがインター・モー
ドでコード化されなければならないときには、量記号が
現イメージの開始時に決定され、前記量記号が、前記グ
ループの少なくとも1つの量子化の前に再計算された修
正係数によって修正され、前記係数が、第1に、事前に
コード化されたブロック・グループすべてのために作ら
れたビットの数と、第2に、このビットの数の予測との
差の関数であり、前記予測が、現イメージに先行する少
なくとも1つのイメージをコード化する間のビットの分
布に基づくことを特徴とする、係数量子化処理方法であ
る。
【0003】このようにして、現イメージをコード化す
る際に、先行するイメージにおける情報の分布が考慮さ
れることになる。これは、情報が一般にあるイメージ全
体にわたって均一に分布していないので、有用である。
【0004】
【課題を解決するための手段】本発明のある特定の実施
例によれば、修正係数の計算は少なくとも各マクロブロ
ック行の開始時において実施される。
【0005】本発明のある特定の実施例によれば、前記
予測(bitpred[mb]) は下記の式を用いて得
られる。 bitpred[mb]=a*bitp[mb]0 +b
*bitp[mb]i- 1 ただし、aとbは重み係数、bitp[mb]0 は、イ
ントラ・モードでコード化された最終イメージについ
て、マクロブロックmbまで使用されるビットの数と使
用されるビットの総数の比を与える関数、bitp[m
b]i-1 はコード化された最終イメージについての同様
の関数である。
【0006】したがって、量記号への修正をうけること
が少ない(又は全くうけない)イントラ・モードでコー
ド化された最終イメージが考慮される。したがって、こ
の内イメージのいろいろなゾーン又はブロックをコード
化するのに必要なビットの数は、そのイメージにおける
情報分布を示す良い目安となる。
【0007】本発明のある特定の実施例によれば、修正
係数は次の通りである。 c2=c*(Bi_mb−bitpred[mb]*B
targi )/R ただし、Btargi は、現イメージをコード化するた
めに使用するビットの目標数、Rはバッファからのデー
タ出力伝送速度、cは係数である。
【0008】本発明のある特定の実施例によれば、Ba
vをイメージをコード化するのに必要なビットの数の平
均値、Btargi を現イメージのコード化のために使
用するビットの目標数とすると、イメージの開始時に選
択される量記号は、 − αBav<Btargi <βBav(ただしα、β
は正であり、α<β)である場合には、前イメージの平
均量記号 − 現イメージについて、同じ条件がBtargi によ
って満足される場合には、条件Btarg≦αBav、
又はβBav≦Brodを満足する最終イメージの平均
量記号(qav1、qav2)となる。
【0009】本発明のある特定の実施例によれば、ある
イメージをコード化するのに使用するために割り付けら
れるビットの目標数は、そのイメージのコード化の開始
時におけるバッファの充てん状態の関数である。
【0010】本発明のある特定の実施例によれば、量記
号の最小値は、イメージの開始時に選択された量記号と
修正係数との和が前記最小値より小さい場合に、使用さ
れる量記号がこの最小値をとるように決定される。
【0011】本発明のある特定の実施例によれば、量記
号(q)の最大値(qmax)は、イメージの出発にお
いて選択された量記号(qav、qav1、qav2)
と修正係数(c2)との和が前記最大値(qmax)よ
り小さい場合に、使用される量記号(q)がこの最大値
をとるように決定される。
【0012】本発明のある特定の実施例によれば、最小
値(qmin)(又は最大値(qmax))は、イメージ
の開始時に、現イメージ(Btarg)のコード化のた
めに使用するビットの目標数と、イメージ(Bav)の
コード化のために使用するビットの平均数との比にした
がって固定される。
【0013】本発明のある特定の実施例によれば、最小
値及び/又は最大値(qmin、qmax)は、修正係
数(c2)の各計算後に、マクロブロックの少なくとも
前の行にわたって修正係数(c2)の展開を考慮に入れ
ることによって調節される。
【0014】本発明のある特定の実施例によれば、修正
係数(c2)の新しい計算が、マクロブロック最終行の
マクロブロックの各々について実施される。
【0015】本発明の他の目的は、可変データ伝送速度
イメージ圧縮システムにおいて係数を量子化するための
処理方法であって、イメージ圧縮中に得られる係数の量
子化の調整は、特に先行イメージにおける情報分布の関
数として行われる。
【0016】本発明は、添付の図面を参照して下記の説
明を読むことにより、さらに良く理解され、他の利点と
特徴が明らかになろう。
【0017】
【実施例】図1は、予測、変換、及び移動の推定を含む
ハイブリッド圧縮装置の動作の概略図である。
【0018】この例では、処理しようとするイメージ
は、QCIF(「1/4共通中間様式」)様式であり、
その解像度は、輝度Yで176*144ピクセルであ
り、カラー・コンポーネントdR及びdBの各々につい
ては88*72ピクセルである。したがって、各イメー
ジは、この輝度について99のマクロブロックを含む。
これらの16*16ピクセルのマクロブロックは11マ
クロブロック9行に組織される。
【0019】QCIF様式は、CCITT規格H261
にさらに詳しく記載されている。
【0020】この説明の以後の部分では、輝度のコード
化のみを考究する。
【0021】本例では、イメージを2通りのモードでコ
ード化することができる。すなわちイントラ・モード又
はインター・モードである。イントラ・モードでコード
化されたイメージは、イメージ列の他のイメージを参照
することなく復号することができる。インター・モード
でコード化されたイメージは、イメージ・メモリに記憶
された参照イメージを参照する。この参照イメージは復
号器によって復号されたイメージに該当する。
【0022】まず、イントラ・モードによるイメージの
コード化を説明する。イメージは8*8ピクセルのブロ
ックに区分され、これらのブロックは、周波数領域への
直交離散的余弦変換(DCT)をうける。この方法で得
られた変換係数は量子化され、可変長コードを用いてコ
ード化され、システム・データで多重送信され、バッフ
ァ・メモリの中に記憶され、その間、固定データ伝送速
度での伝送を待つ。
【0023】これに並行してコーダーは、コード化のと
きのエラーを推定するために、それがコード化したばか
りのブロックを復号する。量子化された係数は量子化解
除され、それから逆離散的余弦変換をうける。それか
ら、得られたイメージは参照イメージ・メモリに記憶さ
れる。
【0024】インター・モードでのイメージのコード化
はより複雑である。今説明したプロセスに加えて、イメ
ージはまず、参照イメージに関して微分をうけ、次に移
動の推定をうける。現イメージの各マクロブロックのた
めに、参照イメージのマクロブロックに関して移動ベク
トルを決定する。参照イメージのマクロブロックは、現
在マクロブロックに含まれる情報に最も近い情報を含む
と考えられるマクロブロックである。このベクトルは、
いったん可変長コードを用いてコード化されると、マク
ロブロックで多重送信され、バッファ・メモリの中に記
憶される。
【0025】いったん移動ベクトルが決定されると、現
在マクロブロックと移動ベクトルに対応する参照イメー
ジとの差を計算する。それから、ピクセルの異なる4つ
の結果ブロックは前と同様に、余弦変換と量子化をう
け、次に量子化解除と逆余弦変換をうけてから、参照イ
メージに導入される。
【0026】参照メモリから得られたブロックとマクロ
ブロックは、現イメージから引かれる前に多分ろ過され
る。
【0027】圧縮モードの選択(内又は間)も各個別の
マクロブロックについて行うことができる。
【0028】最後に、ブロックは必ずしもコード化され
る必要はない。ブロックと参照イメージの対応するブロ
ックとの差が非常に小さい場合には、変換係数は伝送さ
れない。しかしながら、対応するマクロブロック・ヘッ
ダーの中に、このブロックのための係数は送られていな
いことを指定したい。
【0029】バッファ・メモリ内の記憶中に各マクロブ
ロックのために最終的に得られる情報の量は、多くのフ
ァクターに依存する。すなわち、圧縮モード、イメージ
の複雑又は簡単な性質、可変長コードの形式、移動推定
の種類、量子化などである。したがって、バッファ・メ
モリ(簡単に「バッファ」とも称する)へのデータの伝
送速度は本来は可変である。伝送線が、常に有限であり
一般に固定されている最大データ伝送速度を有すると仮
定すると、伝送線がバッファ内に記憶された情報のすべ
てを十分急速に取り扱うことができないときには、バッ
ファはオーバーフローすることがある(オーバーフロ
ー)。逆に、バッファは、充てんされる場合よりも速く
空になることができる(アンダーフロー)。
【0030】一般に、バッファからのデータ伝送の速度
を適合させることはできないので、オーバーフロー又は
アンダーフローを避けるために、バッファへのデータ伝
送の速度を調節する必要がある。習慣的に使用される調
整ファクターは量子化ステップと可変長コードである。
可変長コードの場合については、本発明の枠内では、主
として量子化ステップの適合に関心が寄せられるので、
ここでは詳しく述べないことにする。
【0031】バッファが一杯になると、そこに送られる
新しいデータのためにバッファが十分に空になるまで、
(いくつかのイメージがコード化されていなくても、)
コード化を停止しなければならない。バッファが空にな
ると、パッキング・ビットがそこに送られる。
【0032】前述のように、8*8ピクセルのブロック
は、同じサイズの係数のブロックが得られるようにする
DCTをうける。このブロックの左上にある係数は連続
コンポーネントの係数である。このブロックから遠いほ
ど、対応する周波数は高い。
【0033】得られたDCT係数は、範囲[−204
8;+2047]に位置する。
【0034】変換されたブロックの連続コンポーネント
を表すDCT係数は、一般に、固定された比較的小さな
量子化ステップによって量子化される。事実上、連続コ
ンポーネントの変化は画面上で可視性が高く、輝度の度
盛りで特に見える「ブロック効果」に強く貢献する。さ
らに、連続コンポーネント係数と先に得られた係数との
差は一般にコード化される。各8*8ピクセル・ブロッ
クの他の63の係数については、量子化ステップ“q”
が使用され、これはマクロブロックによって変ることが
できる。(実施の一変形例では、量子化ステップqは各
ブロックについて変ることができる。また、所定の基準
にしたがって、いろいろな量子化マトリクスを定義した
り、いずれか1つを選択することも可能である)。
【0035】連続コンポーネント係数のために確保され
た特別の処理は、イントラ・モードでコード化されたイ
メージのためにのみ実施される。イメージがインター・
モードでコード化されると、マクロブロック全体は単一
量子化ステップで量子化される。
【0036】この実施例では、量子化ステップqは1と
31の間の整数である。量子化は各係数を2×qで割る
ことから成る。たとえば、qが31である場合には、す
べての係数は64のステップで量子化されることにな
る。範囲[−2048;+2047]にある係数は、範
囲[−32;+31]に圧縮されることになる。したが
って、作られるビットの数は量子化ステップの逆関数で
あることがわかる。量子化された係数は他の圧縮過程を
うけるので、また補足データが加えられるので(移動ベ
クトル、種々雑多な情報)、先験的に、バッファに最終
的に書き込まれるビットの数と量記号との間には線形関
係は存在しないこと、が注目される。しかし、量記号の
関数として作られたビット数の変化は全般的に証明され
る。
【0037】この説明の以後の部分では、次の変数を使
用する。 ・ q 量記号 ・ qav 先行イメージの平均量記号 ・ c2 現在行のためのqを得るた
めになされる修正 ・ pc2 前のマクロブロック行のた
めに使用される修正 ・ ppc2 先行行の前のマクロブロッ
ク行のために使用される修正 ・ qav1 事前にコード化され、ある
基準に対応するイメージに対するqの平均値 ・ qav2 qav1に類似 ・ qmin qの最小値(≧1) ・ qmax qの最大値(≦31) ・ Bi_mb 現在マクロブロックの前に
位置する現イメージのマクロブロックすべてのために既
に作られたビットの数 ・ mb 現在マクロブロックの数
(1から99まで) ・ Btarg 現イメージのために作るビ
ットの目標数 ・ Bav イメージ当たり作るビット
の平均数 ・ Bmax Btargの最大値(2*
Bavとする) ・ Bsize バッファのサイズ ・ R バッファの出力データ数 ・ bitp[mb] 現在マクロブロックまで使
用されるBtargの百分率 ・ NQ 量記号の全数(この場合は
31) ・ Buffer_status バッファの充て
ん度 指数はイメージの数を示し、指数0はコード化された最
初のイメージを示す。所与の数値は本実施例に該当する
数値である。開始においては、バッファは空であり、b
uffer_status=0である。
【0038】コード化する最初のイメージはイントラ・
モードでコード化され、参照メモリは空であるか、又は
最初のイメージとは相関しないデータを含む。このイメ
ージのすべてについて量子化ステップq0が固定され
る。この係数が小さいほど、開始イメージの質は良好に
なるが、このイメージをコード化するために必要なビッ
トの数は多くなる。これは、続くイメージのコード化の
ために利用できるビットの数に影響する。この例ではq
0=25とする。
【0039】それからイメージはコード化される。この
コード化によって、各マクロブロック(又は各マクロブ
ロック行)について、ブロック(又は行)のために作ら
れるビットの数とイメージ全体のために作られるビット
の全数との比を計算することによって、処理されるイメ
ージにおける情報の分布を判定することができるように
なる。
【0040】図2は、均一分布のイメージ(二等分線)
に関してテスト・イメージ(点線は“42”イメージを
示す)のための分布を示す。マクロブロック行の曲線傾
斜が高いほど、この行のマクロブロックによって作られ
るビットの数は多くなる(累積機能)。
【0041】一般的な事例では、情報はイメージの中心
に向かって密になる傾向があり、この結果、マクロブロ
ックの中央線の傾斜は急になる。
【0042】こうして決定された分布情報は、所与のマ
クロブロック(又はマクロブロック行)までパーセンテ
ージ累積の形で、表として記憶される。この累積はbi
tp[mb]であり、ここでmbは現在マクロブロック
の数であり、これは、現在マクロブロックに先行するマ
クロブロックをコード化するために既に必要となったイ
メージに供されたビットの全数のパーセンテージと同じ
である。この情報は、所与のマクロブロック行に必要な
ビット数の予測を提供することによって、後続のイメー
ジの量記号に対して行う修正を決定するために使用され
る。したがって、bitp[mb]=(マクロブロック
iをコード化するために必要であったビットの合計(た
だしi=1からmb−1まで))/(イメージをコード
化するためのビットの総数)
【0043】iが現イメージである場合には、このイメ
ージiに関する計算のために使用される予測関数bit
pred[mb]の値は、下記の種類の式によって決定
される。 bitpred[mb]=a*bitp[mb]0 +b
*bitp[ mb]i-1
【0044】したがって、イントラ・モードでコード化
された最終イメージ(イメージ0)及びコード化された
最終イメージ(現イメージiに先行するイメージi−
1)が考慮される。
【0045】重み係数a及びbは、イントラ・モードで
コード化されたイメージを参照できるようにして、先行
イメージのbitp[mb]の値の変化をバランスさせ
る。bに対して高いaの値は、これらの変化の影響を制
限する。
【0046】4:1のa:b比は良好な結果を与えてい
る。
【0047】イメージiがコード化された後は当然、対
応する関数bitp[mb]i のために実際に得られた
値が記憶される。
【0048】最初のイメージのコード化の後は、バッフ
ァはもう空ではない。バッファの状態は、続くイメージ
をコード化するために理論的に割り付けられるビットB
targの数を決定するために使用される。その後、こ
の目標数を考慮するよう試みる必要がある。
【0049】イメージをコード化するために必要なビッ
トの平均数はわかっている、と仮定する。これをBav
と呼ぶことにする。これは、バッファの出力データ伝送
速度及びコード化すべきイメージの頻度に依存する。
【0050】Btargの選択は下記の式によって決定
される。 Btarg=Bmax*(1−buffer_stat
us/Bsize)
【0051】ただし、Bmaxは、(実際に超過する可
能性があっても)イメージに割り付けられたビットの最
大数、Bsizeは、ビット数で表すバッファのサイズ
である。この例ではBsize=Bavである。図3の
図には、上記の関数が点線で表されている。太線は実際
に使用される関数を示す。この関数にはいくつかの制限
がある。しかし、関数Btargは一般には、バッファ
が充てんされるとイメージのために割り付けられたビッ
トの数が減少することを示す、減少関数である。それで
も、イメージに割り付けられたビットの数の最低限界値
が使用される。本実施例によれば、この限界値はBav
より小さくなるが、これに近いものである。
【0052】インター・モード・イメージの最初のマク
ロブロック行の量記号は、次のように選択される。 Btarg≦αBavであれば、 q=qav1 αBav<Btarg<βBavであれば、 q=qav Btarg≧βBavであれば、 q=qav2
【0053】本実施例によれば、α及びβがそれぞれ1
及び1.5の値である場合に、良好な結果が得られた。
qavは、先行イメージの平均量記号である。qav1
は、Btarg≦αBavとなる、最終イメージの平均
量記号を表わす。qav2は、Btarg≧βBavと
なる、最終イメージの平均量記号を表わす。こうして、
先行イメージの量記号を考慮に入れた量記号が得られ
る。
【0054】ある変形例では、先行イメージにおいて平
均が決定できないときに、qav1とqav2の省略時
値が使用される。
【0055】時々、コーダー及び復号器の参照メモリの
中の欠陥の蓄積を排除するために、又は場面の変化が発
生してインター・モードのコード化が実行できないとき
に、コード化をイントラ・モードに強制することが必要
となる。この場合には、処理全体は再開始される。
【0056】次に量記号の修正係数が決定され、この修
正係数に加えられる。この修正係数は下記の説明文では
c2で示され、次の式で与えられる。 c2=c*(Bi_mb−bitpred[mb]*B
targ)/R
【0057】ただしBi_mbは、現在マクロブロック
の前に置かれたマクロブロックの本イメージのために実
際に作られたビットの数である。括弧内の項は、実際に
作られたビットの数と(Btargを考慮した)分布関
数bitpred[mb]によって予期されるビットの
数との差に相当する。c2は、ビットの期待数を超過す
るか否かによって正又は負になる。マクロブロックmb
のコード化の前に使用されるビットの数が期待ビット数
より多い場合には、c2は正となる。したがって量記号
は増加し、現在マクロブロック行から得られたビットの
数は減少する。
【0058】cは、データ伝送速度R、及び生成ビット
数と期待ビット数との間の可能な変化に依存する、係数
である。cの選択値が大きいほど、c2によってもたら
される変化は速くなる。c2は絶対値で表わすqの概略
値となる。
【0059】たとえば、データ伝送速度Rが20,00
0ビット/秒で、予測誤差が数100ビットであれば、
cを約100から1,000までに選択する。
【0060】この例では、量記号は各ブロック行(第1
行を除く)の開始において再生される。したがって、行
の開始において修正係数c2が計算される。これはイメ
ージの質がイメージの水平帯において変化することを回
避する。当然c2を計算することができ、マクロブロッ
クすベてについてqが再生される。
【0061】好ましい実施変形例によれば、最終行を除
いて、マクロブロックの各行の出発においてqを再生す
る。最終行については、1マクロブロックごとに再生が
行われる。これによって、特にイメージの中心に位置し
ないマクロブロック行において、Btargに関して有
効に使用されるビットの数のいかなる変化についても優
れた修正ができる。
【0062】マクロブロックの各行の出発についてのみ
bitpred[mb]の値がある場合には、最終値
(最終行の出発)の線形補間を100%まで実施する。
【0063】ある実施変形例では、c2は次のように重
みづけされる。すなわち、qav>20であれば、c=
600、そうでなければc=300。こうしてc2の効
果は、量記号が大きくなると増加する。
【0064】q=qav+c2とすると、qavはイメ
ージ全体(qav、qav1、又はqav2)のために
イメージの出発において選択された値を保管する。
【0065】ある実施変形例では、qに課された限界に
ついて追加修正が行われる。最大値qmaxと最小値q
minをそれぞれ決める。qがqminより小さいとq
をqminに設定し、qがqmaxより大きいとqをq
maxに設定する。
【0066】イメージの出発において、qminとqm
axの出発を固定する。これらの値は一定にすることが
でき(例えば、qmin=8、qmax=23)、また
はある実施変形例では、BtargとBavとの比較か
ら決定される。
【0067】BtargがBavより小さい場合には、
これは現イメージが比較的少ないビットでコード化され
るべきであることを意味する。したがって、少なすぎる
量子化ステップを避けるためにqminの値を増加させ
(例えば、qmin=8のかわりに11)、これは結果
としてバッファへのビットの流量が大きくなりすぎる。
【0068】BtargがBavより大きい場合には、
特にBtargがBavより非常に大きい場合には、q
minの値を小さく選択する(例えば、8のかわりに
6)。
【0069】同様な決定をqmaxについても行う。
【0070】qminの値はイメージのコード化の間に
改正される。あるマクロブロック数をコード化する間の
所与の瞬間におけるビットの結果数が期待したよりも少
ない場合には、qminは減少する。逆に、期待する数
を越えたときは、qminは増加する。しかし、c2は
大きな値をとり、これは非常に突発的な変化をもたら
し、これを和らげるための模索が必要である。
【0071】図4は、3つの連続テストから成る形式に
おける行の出発においてqminに対して行われる修正
を示す。先行する行のc2の値をpc2、先行する行の
前の行のc2の値をppc2と呼ぶことにする。c2の
値が負になればなるほど、イメージの出発において固定
されたBtargの値に対するビットの生成不足が大き
くなる。
【0072】pc2≦(c2+2)の場合には、qmi
n=max(qmin−1,pq−1)と設定する。た
だし、pqは先行する行のために使用される量記号であ
り、qminはBtargとBavの関数として固定さ
れた値を有する。
【0073】ビットの生成不足(c2<0)の場合にq
minを減少することを目的とするテスト1は、c2、
pc2、ppc2、すなわちいくつかの行にわたる修正
係数の進展を考慮して設計されている。
【0074】c2、pc2、及びppc2について、一
連の可能な負の値を定義する。この例では、これらの値
は−40と−2との間、すなわち−2、−5、−10、
−15、−20、−40である。係数は−40より小さ
くすることができる。
【0075】最低値で出発することによって、c2及び
pc2がこの値より小さいかどうかを判定することがで
きる。小さければ、ppc2もまたこの値より小さいか
どうかを判定する。これは、実施された修正が2、3行
にわたって同じものであったかどうかを示す。テスト値
が低いほど、qminはより減少する。しかし、qmi
nが非常に高かった場合には、qmin=max(x,
qmin−y)と設定することによって、この事実を考
慮する。ここでxはテスト値に関連するqminの値で
あり、yは、テスト値がより負の値になると増加する整
数である。
【0076】ppc2が先の条件を満足しない場合に
は、qminは同じ方法では減少されず、この下向きの
傾向はマクロブロックの3つの最終行について同じでは
ない。
【0077】このテスト1が完了すると、qminは少
なくとも3となる。
【0078】テスト2とテスト3は、予測に対する偏差
を修正するために強力な修正を必要とする場合には、マ
クロブロックの最終行についてのみ適用され、この特定
の場合にはビットの生成不足となる。実際に、第1テス
トによって行われる修正では、量記号の最低値に達する
ことができない。
【0079】最終行の出発において予測の10%下であ
る場合にはテスト2に行き、この場合、予測の約25%
下であればテスト3を用いる。
【0080】テスト3の場合にのみ、値qmin=1に
達する。
【0081】3つのテストの後に適用される「制限条
件」の目的は、生成されたビットの数が割り付けられた
ビットの全数Btargに非常に近い場合に、最高の量
記号値(31)の使用を強制することである。この状況
はイメージの最後に発生する。このテストにより、Bt
argに対する低値のあふれが防止できる。「制限条
件」テストはまた、別の瞬間、すなわちテスト1の後か
らテスト3までに行うこともできる。
【0082】ある実施変形例では、Qmaxも修正をう
ける。量記号が高いほど、より多くのイメージが、いっ
たん復号されると劣化する。したがって、承知の上での
み高い量子化値を使用することが重要である。
【0083】別の実施変形例では、現在行のために、現
在行について期待されるパーセンテージを考慮するため
に、量記号の余分の修正を行う。事前に、検討された修
正は前もってコード化された行のみを考慮した。
【0084】上記に挙げた数値データは単なる例であ
り、決して本発明の範囲を限定するものではないこと
は、明白である。
【0085】上記の実施例によれば、イメージをインタ
ー・モードまたはイントラ・モードでコード化すること
ができる。本発明は明らかに、このようなシステムに限
定されるものではなく、双方向コード化モードを利用す
るシステムにも容易に適合できる。
【図面の簡単な説明】
【図1】圧縮装置の一般的機能図である。
【図2】均一な分布をもつイメージと比較したテスト・
イメージ中の情報の分布を示す図である。
【図3】バッファの充てん状態を考慮に入れたインター
・イメージに割り付けられたビット数の選択を示す図で
ある。
【図4】その量記号に許可された最小値qminに施さ
れる訂正を記述する流れ図である。
フロントページの続き (72)発明者 ミシェル ケルドランヴァ フランス国, 67870 ビショフシェイム, リュ ドゥ ラ フォンテーヌ, 30番 地

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 ブロック又はマクロブロックの形式の、
    可変データ伝送速度イメージ圧縮システムにおける、係
    数量子化処理方法であって、前記システムが、ピクセル
    ・ブロックを係数ブロックに変換する手段と、変換前の
    コード化情報記憶手段と、記憶手段の状態の関数として
    の量子化手段の調整手段とを含み、各イメージがブロッ
    ク・グループに区分され、少なくとも、いわゆる現イメ
    ージがインター・モードでコード化されなければならな
    いときには、量記号が現イメージの開始時に決定され、
    前記量記号が、前記グループの少なくとも1つの量子化
    の前に再計算された修正係数によって修正され、前記係
    数が、第1に、事前にコード化されたブロック・グルー
    プすべてのために作られたビットの数と、第2に、この
    ビットの数の予測との差の関数であり、前記予測が、現
    イメージに先行する少なくとも1つのイメージをコード
    化する間のビットの分布に基づくことを特徴とする、係
    数量子化処理方法。
  2. 【請求項2】 前記修正係数の計算が少なくとも各マク
    ロブロック行の開始時に実施されることを特徴とする、
    請求項1に記載の処理方法。
  3. 【請求項3】 前記予測(bitpred[mb])
    が、下記の式 bitpred[mb]=a*bitp[mb]0 +b
    *bitp[mb]i- 1 を用いて得られ、aとbは重み係数、bitp[mb]
    0 は、イントラ・モードでコード化された最終イメージ
    について、マクロブロックmbまで使用されるビットの
    数と使用されるビットの総数の比をも与える関数、bi
    t[mb]i-1 はコード化された最終イメージについて
    同様の関数であることを特徴とする、請求項2に記載の
    処理方法。
  4. 【請求項4】 前記修正係数が、下記の式 c*(Bi_mb−bitpred[mb]*Btar
    i )/R によって定義され、Btargi は、現イメージをコー
    ド化するために使用するビットの目標数、Rはバッファ
    のデータ出力伝送速度、cは係数であることを特徴とす
    る、請求項3に記載の処理方法。
  5. 【請求項5】 Bavをイメージをコード化するために
    必要なビットの数の平均値、Btargi を現イメージ
    のコード化のために使用するビットの目標数として、イ
    メージの開始時に選択される量記号(q)が、 − αBav<Btargi <βBav(ただしα、β
    は正であり、α<β)である場合には、前イメージの平
    均量記号(qav) − 現イメージについて、同じ条件がBtargi によ
    って満足される場合には、条件Btarg≦αBav、
    又はβBav≦Brodを満足する最終イメージの平均
    量記号(qav1、qav2)であることを特徴とす
    る、請求項1に記載の処理方法。
  6. 【請求項6】 イメージ(Btarg)のコード化に使
    用するために割り付けられるビットの目標数が、そのイ
    メージのコード化の開始時におけるバッファの充てん状
    態の関数であることを特徴とする、請求項4に記載の処
    理方法。
  7. 【請求項7】 量記号(q)の最小値(qmin)が、
    イメージの開始時に選択された量記号(qav、qav
    1、qav2)と修正係数との和が前記最小値より小さ
    い場合には、使用される量記号(q)がこの最小値(q
    min)をとるように決定されることを特徴とする、請
    求項1に記載の処理方法。
  8. 【請求項8】 量記号(q)の最大値(qmax)が、
    イメージの開始時に選択された量記号(qav、qav
    1、qav2)と修正係数(c2)との和が前記最大値
    (qmax)より小さい場合に、使用される量記号
    (q)がこの最大値をとるように決定されることを特徴
    とする、請求項1に記載の処理方法。
  9. 【請求項9】 最小値(qmin)及び最大値(qma
    x)が、現イメージ(Btarg)のコード化のために
    使用するビットの目標数と、イメージ(Bav)のコー
    ド化のために使用するビットの平均数との比にしたがっ
    て、イメージの開始時に固定されることを特徴とする、
    請求項7に記載の処理方法。
  10. 【請求項10】 最小値及び/又は最大値(qmin、
    qmax)が、この修正係数(c2)各計算の後に、マ
    クロブロックの少なくとも先行する行にわたって修正係
    数(c2)の展開を考慮に入れることによって調節され
    ることを特徴とする、請求項7に記載の処理方法。
  11. 【請求項11】 修正係数の新しい計算が、マクロブロ
    ック最終行のマクロブロックの各々について実施される
    ことを特徴とする、請求項1に記載の処理方法。
  12. 【請求項12】 可変データ伝送速度イメージ圧縮シス
    テムにおいて係数を量子化するための処理方法であっ
    て、イメージ圧縮中に得られる係数の量子化の調整が、
    特に先行イメージにおける情報分布の関数として行われ
    ることを特徴とする、処理方法。
JP17799095A 1994-06-22 1995-06-22 係数量子化処理方法 Expired - Fee Related JP3896490B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9407676 1994-06-22
FR9407676A FR2721787B1 (fr) 1994-06-22 1994-06-22 Procédé de quantification des coefficients.

Publications (2)

Publication Number Publication Date
JPH08130746A true JPH08130746A (ja) 1996-05-21
JP3896490B2 JP3896490B2 (ja) 2007-03-22

Family

ID=9464531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17799095A Expired - Fee Related JP3896490B2 (ja) 1994-06-22 1995-06-22 係数量子化処理方法

Country Status (6)

Country Link
US (1) US5822004A (ja)
EP (1) EP0689361B1 (ja)
JP (1) JP3896490B2 (ja)
CA (1) CA2152237C (ja)
DE (1) DE69517752T2 (ja)
FR (1) FR2721787B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217085A (ja) * 2010-03-31 2011-10-27 Mega Chips Corp 画像符号化装置
JP2014082772A (ja) * 2013-12-05 2014-05-08 Mega Chips Corp 画像符号化装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2756398B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede de codage avec information de region
US6553476B1 (en) * 1997-02-10 2003-04-22 Matsushita Electric Industrial Co., Ltd. Storage management based on predicted I/O execution times
US6714200B1 (en) * 2000-03-06 2004-03-30 Microsoft Corporation Method and system for efficiently streaming 3D animation across a wide area network
US7397962B2 (en) * 2001-10-25 2008-07-08 Infoprint Solutions Company, Llc Automatic method of identifying image subregions for reuse during datastream transmission
JPWO2006098226A1 (ja) * 2005-03-14 2008-08-21 松下電器産業株式会社 符号化装置および符号化装置を備えた動画像記録システム
KR101385957B1 (ko) * 2007-10-04 2014-04-17 삼성전자주식회사 복호화기에서의 양자화 계수 조정 방법 및 장치
GB2564151A (en) * 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
CN113785576B (zh) 2019-04-23 2023-05-16 北京字节跳动网络技术有限公司 编解码视频中的二次变换的使用

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1241184B (it) * 1990-03-02 1993-12-29 Cselt Centro Studi Lab Telecom Perfezionamenti ai sistemi ibridi di codifica di segnali video.
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
JP2892783B2 (ja) * 1990-07-09 1999-05-17 松下電器産業株式会社 動画像信号の符号化装置
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
EP0514663A3 (en) * 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
FR2688958B1 (fr) * 1992-03-17 1997-06-27 Thomson Csf Procede de codage d'images bi-standard tres bas debit et codeur-decodeur pour la mise en óoeuvre de ce procede.
US5283646A (en) * 1992-04-09 1994-02-01 Picturetel Corporation Quantizer control method and apparatus
US5241383A (en) * 1992-05-13 1993-08-31 Bell Communications Research, Inc. Pseudo-constant bit rate video coding with quantization parameter adjustment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011217085A (ja) * 2010-03-31 2011-10-27 Mega Chips Corp 画像符号化装置
JP2014082772A (ja) * 2013-12-05 2014-05-08 Mega Chips Corp 画像符号化装置

Also Published As

Publication number Publication date
FR2721787A1 (fr) 1995-12-29
CA2152237A1 (en) 1995-12-23
DE69517752T2 (de) 2000-11-30
EP0689361B1 (fr) 2000-07-05
FR2721787B1 (fr) 1996-07-26
JP3896490B2 (ja) 2007-03-22
CA2152237C (en) 2007-02-06
EP0689361A1 (fr) 1995-12-27
US5822004A (en) 1998-10-13
DE69517752D1 (de) 2000-08-10

Similar Documents

Publication Publication Date Title
JP3818679B2 (ja) 一連の画像を表わすディジタル信号を符号化する方法および装置
US6049629A (en) Coding apparatus for coding image data using one of an interpicture coding method and an interpicture motion-compensated coding method
US5986710A (en) Image encoding method and apparatus for controlling the number of bits generated using quantization activities
JPH09271026A (ja) 画像符号化装置
JPH05145773A (ja) ビデオ画像の符号化装置と方法
JP3259702B2 (ja) 動画像可変ビットレート符号化装置および方法
JP2004511976A (ja) ディジタルビデオ記録のためのビデオビットレート制御方法及び装置
JP4632049B2 (ja) 動画像符号化方法及び装置
JP3187097B2 (ja) 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
JP2003032677A (ja) 動画像圧縮符号化装置
US5521643A (en) Adaptively coding method and apparatus utilizing variation in quantization step size
JPH08130746A (ja) 係数量子化処理方法
JP2000261800A (ja) 動画像可変ビットレート符号化方法および装置
JP2001028753A (ja) 動画像符号化装置及びその方法
JP2004328150A (ja) 動画像符号化装置及び方法
JPH05260458A (ja) ビデオシグナルのイメージコーディングのための方法及び装置
JP3151173B2 (ja) 画像圧縮符号化装置及び方法
JP3218994B2 (ja) 画像符号化方法および装置
JPH07135657A (ja) 符号化方法と符号化装置
JP3128336B2 (ja) 動画像符号化装置
JPH11341520A (ja) ステレオ動画像用符号化装置
JP2000050254A (ja) 改良された適応性のあるビデオ符号化方法
JPH06113271A (ja) 画像信号符号化装置
JP4142927B2 (ja) 画像圧縮方法および画像圧縮装置
JPH1023432A (ja) 画像の圧縮符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060803

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees