JPH04360484A - 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法 - Google Patents

画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法

Info

Publication number
JPH04360484A
JPH04360484A JP4042190A JP4219092A JPH04360484A JP H04360484 A JPH04360484 A JP H04360484A JP 4042190 A JP4042190 A JP 4042190A JP 4219092 A JP4219092 A JP 4219092A JP H04360484 A JPH04360484 A JP H04360484A
Authority
JP
Japan
Prior art keywords
sub
coefficients
circuit
image
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4042190A
Other languages
English (en)
Other versions
JP3288419B2 (ja
Inventor
With Peter H N De
ペーター ヘンドリック ネリス デ ウィズ
Stephanus M C Borgers
ステファヌス マリア クリスチアヌス ボルゲス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=19858858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH04360484(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Philips Gloeilampenfabrieken NV filed Critical Philips Gloeilampenfabrieken NV
Publication of JPH04360484A publication Critical patent/JPH04360484A/ja
Application granted granted Critical
Publication of JP3288419B2 publication Critical patent/JP3288419B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9264Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は画像信号の変換符号化
用符号化回路に関する。また、この発明はこのような符
号化回路から供給される符号化された信号をデコードす
るデコード回路にも関する。
【0002】
【従来の技術】この種の符号化回路及びデコード回路は
テレビジョン放送システムの一部を構成し、そのような
場合には上記符号化回路はテレビジョン送信機の一部を
構成し、各テレビジョン受信機にはデコード回路が設け
られる。また、符号化回路及びデコード回路はビデオレ
コーダの一部を構成する場合もある。
【0003】一般に知られているように、テレビジョン
画像はピクセルの2次元配列と見なすことができる。6
25ラインのテレビジョンシステムにおいては、画像は
576本の可視画像ラインを有し、各画像ラインは72
0個の可視ピクセルを有している。このように、テレビ
ジョン画像は576x720のピクセルを有している。 もし各ピクセルの輝度が例えば8ビットで表されるとす
ると、毎秒25個の画像の伝送には輝度情報のみに関し
約83Mビット/秒のビット速度(bit rate)
が必要とされる。この値は実際には許容できない程高い
【0004】各画像に2次元変換を施すことにより、画
像当たりのビット数を(従ってビット速度を)大幅に制
限することができる。このような変換を行なうため、画
像は各々がNxNのピクセルの副画像(例えば、各々が
8x8のピクセルからなる72x90=6480個の副
画像)に分割される。次いで、各副画像は2次元変換に
よりNxNの係数のブロックに変換される。この変換は
互いに相関のない係数のブロックを得ることを意図して
いる。既知の変換方法においては、離散コサイン変換(
DCT)が通常最も良いものと考えられている。
【0005】上記2次元変換を洞察したのは以下の如く
である。すなわち、選択された変換に関係するものは、
各々がNxNのピクセルを持ち互いに直交するN2 個
の基本画像B(i, k)の集合である(ここで、i,
k=0,1,2,…Nである)。これらの基本画像のう
ち、B(0, 0)は一様な輝度を有している。インデ
ックスkが増加するにつれ、基本画像B(i, k)は
水平方向に高い空間周波数を持つように、即ちより細か
くなる。また、インデックスiが増加するにつれて基本
画像は垂直方向により高い空間周波数を持つようになる
。前記2次元変換においては、各副画像は、各々が自身
の重みファクタy(i, k)を持つ上記基本画像B(
i, k)の重み付け和であると見なされる(i,k=
0,1,2,…N)。上記重みファクタy(i, k)
は前述した係数に対応する。そして、これらの係数が元
のピクセルの代わりに伝送される。
【0006】かくして、画像当たりに伝送すべきビット
数の低減が、意味のある値を持つ係数のみを伝送するこ
とにより達成される。例えば、基本画像B(0, 0)
の重みファクタである係数y(0, 0)、即ち副画像
の平均輝度の尺度、は常に伝送される。この係数y(0
, 0)は直流係数とも呼ばれる。交流係数と呼ばれる
他の係数は、それらの絶対値が所定のしきい値を越える
場合にのみ伝送される。この方法はしきい符号化と呼ば
れる。これら係数には対応する基本画像がより細かくな
るにつれて、より粗い量子化を施してもよい。何故なら
、人の目は細部については良好に観察することができな
いからである。後者の方法は周波数依存型量子化とも呼
ばれている。実際には、周波数依存型量子化としきい符
号化とがしばしば組み合わされる。その場合には、量子
化後に依然として零に等しくない値を持っている係数の
みが伝送される。
【0007】零に等しくない値を持つ係数のみが伝送さ
れるということは、2次元係数ブロック内でのこれらの
係数の位置を示すアドレスも伝送しなければならないこ
とを意味する。実際には、この目的のため各ブロックに
つき一連の係数が発生されるように係数ブロックは所定
の順序で読み出され、ここで前記アドレスは走査順序番
号で表される。後述する文献(1)は係数ブロックを直
流係数y(0, 0)から始めてジグザグパターンに従
って走査する方法を示している。一般に、副画像におけ
る信号エネルギーの大きな部分は低い空間周波数に集中
する。 従って、重要な係数はしばしばi及びkが小さな値の係
数y(i, k)である。既知のシグザグ走査方法にお
いては、重要な係数は小さな走査順序番号を得、零値の
係数は殆どの部分で集団となり大きな走査順序番号を得
る。 このような一連の係数は効率的に伝送することができる
【0008】しかしながら、上述したジグザグ走査パタ
ーンは動画に関しては効率的ではない。事実、副画像内
に動きがあると、垂直方向における高空間周波数を表す
係数の値が劇的に増加する。これらは、iについて大き
な値を持つ係数y(i, k)である。この場合、文献
(1)の図1cに示された垂直走査の方がより効率がよ
いことが判った。
【0009】
【発明の目的及び概要】従って、本発明の目的は更に一
層のビット速度(bit rate)の低減を達成する
ことができる符号化回路を提供することにある。
【0010】本発明によれば、走査パターンが先に読み
出された係数とは連続しない所定の係数に対して少なく
とも一つのジャンプをなすようなものとなる。
【0011】本発明は、係数のブロックはこれら係数が
走査順序番号が大きくなるにつれて重要でなくなるよう
な場合に一番効率よく伝送されるという認識に基づいて
いる。本発明による符号化回路によれば、副画像中の動
きを表す例えばy(7, 0) のような所定の係数が
この係数に連続する係数よりも早く読み出され、かくし
て既知の走査パターンによる場合よりも早く伝送される
ようにする。結果として、係数は可能な限りそれらの重
要さの順序で伝送される。即ち、この場合は、より数の
少ない且つより長い零値係数の副系列が作成され、この
ことが符号化効率に大きく貢献する。またこの場合、後
述の文献(2)に示されているように、1個のコンパク
トなランレングス符号(run−lengthcode
 )が零値係数の副系列に割り当てられる。これらの副
系列は走査過程の終わりに大きな確率で発生する。その
場合には上記ランレングス符号は伝送する必要さえなく
、ブロックの終わりを示す符号を伝送するだけで充分で
ある。
【0012】副画像が2個のインターレースされた副フ
ィールドを有する場合の符号化回路の好ましい実施例は
、前記変換回路が上記副フィールドを別個に変換するこ
とにより係数のブロックを副ブロックに分割するように
構成され、前記所定の係数が先に読み出された係数とは
異なる副ブロックの一部を形成することを特徴とする。 これにより、各副画像に関して1個のみの係数の系列が
得られるようになり、該系列において最小の走査順序番
号を最も重要な係数に割り当てることが可能となる。こ
こで、動きのある場合に2個のインターレースされた副
フィールドが別個に副ブロックに変換されるようにする
こと自体は下記の(3)の文献から既知であることに注
意されたい。しかしながら、この既知の符号化回路にお
いては各副ブロックは別個に伝送される。画像当たりの
副ブロックの合計数は画像内の動きの量に依存し、かく
して可変であるので、伝送される係数系列の数も動きに
依存する。そして、このことは実際には好ましくないこ
とが判った。係数の各系列は複数ビットの「end o
f block」符号により終端され、この符号は多く
の動きの場合、従って多くの系列の場合符号化効率を犠
牲にすることになる。本発明による符号化回路において
は、画像当たりの系列の数は一定となる。
【0013】
【実施例】以下、この発明の実施例を図面を参照して説
明する。尚、以下の説明においては先行技術として下記
の文献を参照する。 (1)1986年の日本テレビジョン学会の総会におけ
る講演「動き補償予測を用いた離散コサイン変換符号化
用のバリアブル制御方法」 (2)ヨーロッパ特許出願公開第EP 0260748
 A2 号(3)「変換符号化を施したデジタル画像信
号が符号化局からデコード局へ伝送されるテレビジョン
システム」なる名称のヨーロッパ特許出願公開第EP 
0282135A1 号
【0014】図1は、本発明に
よる符号化回路2とデコード回路8とを有するビデオレ
コーダを概念的に示している。このビデオレコーダは画
像信号源1から画像信号x(t)を入力する。この画像
信号x(t)は符号化回路2に供給される。当該回路は
この画像信号x(t)をパルス系列z(j)に符号化し
、この系列を変調器3を介して書込ヘッド4へ供給する
。この書込ヘッドは磁気テープ5に結合されている。一
方、読出ヘッド6は記録されているパルス系列z’(j
) を復調器7を介してデコード回路8へ供給する。こ
のデコード回路は上記パルス系列z’(j) をデコー
ドしてアナログ画像信号x’(t) を出力し、この信
号はモニタ9に供給される。
【0015】符号化回路2においては、前記アナログ画
像信号x(t)はA/D変換器20において例えば13
.5 MHzなるサンプリング周波数でサンプルされ、
8ビットピクセルx(n)に変換される。これらのピク
セルは画像メモリ21に供給される。そして、これらピ
クセルは当該メモリから例えば8x8の副画像の形態で
読み出され、変換回路22と動き検出器23とに供給さ
れる。この動き検出器は動き信号MDを発生する。なお
、動き検出器23自体は既知であり、前記(3)の文献
に示されたように構成することができる。変換回路22
は前記副画像に離散コサイン変換を施し、各副画像に関
して8x8の係数y(i, k) のブロックを発生す
る。以下に、この変換回路22の実施例を説明する。な
お、ここでは当該変換回路は動きに適応するような態様
で動作することに注意されたい。この場合、変換回路は
図1に破線で示したように動き信号MDを入力する。変
換回路22の係数y(i, k) のブロックは、次い
で、走査及び重み付け回路24に供給される。この回路
24も前記動き信号MDを入力する。走査及び重み付け
回路24は、以下に詳述するように、各ブロックに関し
、一連の係数y(n)を可変長符号化回路25に供給す
る。この可変長符号化回路25自体も既知であり、例え
ば前記(2)の文献に示されたように構成される。この
回路25は係数y(n)の各系列を、対応する8x8の
係数y(i, k) のブロックよりも大幅に少ない数
のビットを持つ可変長の符号系列に符号化する。当該符
号系列と前記動き信号MDとは個々に又は時分割多重形
態で磁気テープに供給すればよい。 後者の場合には、通常の形態で構成されたマルチプレッ
クス回路26が必要となる。
【0016】上記と逆の動作がデコード回路8で実行さ
れる。先ずデマルチプレックス回路81においては、記
録されたパルス系列z’(j) から前記符号系列と動
き信号MD’ とが再生される。上記符号系列は係数y
’(n) の系列を再生するために可変長デコード回路
82に供給される。 ブロック形成回路83は上記系列と前記動き信号MD’
 とを入力し、これら情報から8x8の係数y’(i,
 k)のブロックを形成する。次いで、これらのブロッ
クは逆変換回路84に供給され、かくして上記係数の各
ブロックは8x8の副画像に変換して戻される。そして
、これらの副画像は画像メモリ85に記憶される。この
画像メモリ中の各ピクセルは一緒になって完全画像を構
成するもので、D/A変換器86により表示可能なアナ
ログ画像信号x’(t) に変換される。
【0017】前記変換回路22の一例が図2に示されて
いる。この変換回路は8x8ピクセルの副画像を入力す
る。以下においては、行列の形態の副画像はXで示し、
そのピクセルはx(i, k) で示す。これらピクセ
ルx(i, k) は行単位で(行から行へと)1次元
変換器30に供給され、この変換器においては各行に8
x8の変換行列Aを乗算することにより水平離散コサイ
ン変換(HdcT)が施される。これにより得られた積
行列(product matrix)Pは8x8の要
素p(i, k) を有している。これらの要素p(i
, k) は転置メモリ31(.) に、即ち転置メモ
リ31(1) 又は31(2) に、行単位で書き込ま
れる。転置メモリ31(.) は、積行列を書き込んで
いる最中にその前の副画像の積行列を読み出すことがで
きるように、二重構造を有している。この場合、要素p
(i, k) は該転置メモリ31(.) から列単位
で(列から列へと)読み出され、かくして積行列Pは転
置される。転置された積行列PT は他の1次元変換器
32に供給され、この変換器においては各列に再び変換
行列Aを乗算することにより垂直離散コサイン変換(V
dcT)が施される。このようにして得られる行列Yは
8x8の係数y(i, k)を有している。そして、こ
れらの係数は同様に二重構造を持つ係数メモリ33(.
) に行単位で書き込まれる。上記行列Yは以下におい
てはブロックと呼ぶ。かくして、上記係数メモリ33(
.) は8x8ピクセルの各副画像に対して8x8の係
数のブロックを有することになる。
【0018】図2に示した変換回路を制御するために、
図3に示すような制御回路が設けられる。この制御回路
はクロックパルス発生器40を有し、この発生器はクロ
ックパルスを前記サンプリング周波数fsでモジュロ6
4カウンタ41へ供給する。各画像の開始時においては
当該カウンタは前記画像信号源1(図1参照)から供給
されるリセットパルスFRS によりリセットされる。 上記モジュロ64カウンタは8x8ピクセルの各副画像
に対して64個の連続した計数値CNT を発生する。 これら計数値は2つのROM 43(1)及び43(2
) のアドレス入力端子に供給され、これらROMはこ
れに対してアドレスを発生し、これらアドレスは二重マ
ルチプレクサ44を介して転置メモリ31(.) に供
給される。更に詳述すると、ROM 43(1)は変換
器30の積行列要素p(i, k) が転置メモリ31
(.) に書き込まれる順序を決定するような書込アド
レスを発生する。一方、ROM 43(2)は要素p(
i, k) が転置メモリ31(.) から読み出され
変換器32に供給される順序を決定するような読出アド
レスを発生する。上記二重マルチプレクサ44は切り換
えフリップフロップ42の出力により制御されるように
なっており、該フリップフロップは各画像の開始時に前
記モジュロ64カウンタ41からクロックパルスを入力
するようになっている。結果として、新しい行列要素p
(i, k) が、一方のメモリ31(.) から先に
記憶された要素p(i,k) を読み出すことにより交
代された他方のメモリ31(.)に書き込まれる。
【0019】前記モジュロ64カウンタ41の計数値C
NT はROM45のアドレス入力端子にも供給される
。このROMは、変換器32により発生された係数y(
i, k) が係数メモリ33(.) に書き込まれる
順序を決定するような書込アドレスを発生する。後述す
る走査及び重み付け回路24(図1参照)は、係数が当
該メモリから読み出される走査順序を決定するような読
出アドレスを出力する。図3に符号SCANにより示さ
れたこれら読出アドレスと前記の書込アドレスとは二重
マルチプレクサ46を介して係数メモリ33(.) へ
供給される。この二重マルチプレクサ46は前述した切
り換えフリップフロップ42の出力により制御される。
【0020】図4は上記走査及び重み付け回路24の一
例を示している。この回路はモジュロ64カウンタ41
(図3)の計数値CNT が供給される2つのROM5
0及び51を有している。更に、前記動き検出器23(
図1参照)により発生された動き信号MDがこれらRO
Mに供給されている。この動き信号MDは、当該動き検
出器が副画像中にかなりの量の動きを検出した場合に当
該副画像中において論理値「1」を有する。
【0021】ROM50は先に述べた読出アドレスSC
ANを発生し、該アドレスは係数メモリ33(.) に
供給される(図2参照)。図5に示すように、係数メモ
リは64個の係数y(i, k) を有し、ここでi,
 k = 0, 1, 2, …7 である。そして、
読出アドレスSCANは当該メモリからどの係数y(i
, k) が読み出されるかを決定する。図6は、各イ
ンデクス(i, k)に関して、動き信号MDが「0」
である場合にどの計数値CNT において係数y(i,
 k) が読み出されるかを示している。ここで、計数
値CNT は順次1,2, …64なる値を呈すると仮
定する。以下においては、この計数値CNT は走査順
序番号と呼ぶ。図6から明らかなように、係数メモリは
ジグザグパターンに従って走査される。このような走査
パターンは通常画像変換において用いられている。本明
細書の冒頭で述べたように、このような走査方法によれ
ば零値係数の最大の集団化が計られ、従ってこれら係数
が大きな走査順序番号を有することになる。
【0022】副画像内にかなりの量の動きが検出された
場合は、ROM50に供給される動き信号MDが論理値
「1」を有するようになる。図7は、各インデクス(i
, k)に関して、動きがある場合にどの計数値CNT
 で係数y(i, k) が読み出されるかを示してい
る。この例においては、当該走査パターンは直流係数y
(0, 0) と幾つかの連続した係数から始まってい
る。次いで、動きの場合にはかなりの値を持つ係数y(
7,0) へのジャンプがある。 図から明らかなように、この走査パターンにより得られ
る係数の順序は、言わば、図にI及びIIで示した2つ
のインターリーブされた副系列を有することになる。こ
こで、副系列Iは当該係数ブロックの中の動きによって
は実質的に影響されず且つそれ自身で効率的なジグザグ
パターンに従って走査されるような部分の係数を有して
いる。一方、副系列IIは動きを表すような係数を有し
ている。そして、これら副系列はその順序において零値
の係数の最も可能性のある集団化が発生されるような形
態でインターリーブされている。
【0023】変換後の信号処理中においては、前記直流
係数は別個に且つ他の係数よりも大幅に正確にしばしば
処理される。交流係数には副画像内でより空間的な詳細
を表すにつれ、より粗い量子化が施される。このような
周波数に依存した量子化は、例えば各交流係数y(i,
 k) に重みファクタQ(i, k) を乗算するこ
とにより達成される。図4に示すように、前記モジュロ
64カウンタ41(図3参照)の計数値CNTはROM
51にも供給される。各計数値に対して、このROMは
重みファクタQ(i,k) を有し、該重みファクタを
対応する係数y(i, k) と乗算すべく乗算器52
に供給する。図8は重みファクタQ(i, k) の一
例を示している。この図から明らかなように、交流係数
の第1の群は「1」なる重みファクタにより乗算され、
第2群は「0.8」なる重みファクタで乗算され、第3
群は「0.6」なる重みファクタで乗算され、第4群は
「0.4」なる重みファクタで乗算される。また、前記
動き信号MDが係数の重み付けを動きに適応化させるた
めに、ROM51に供給されている。図9は動き信号M
Dが「1」の場合における重みファクタQ(i, k)
 の一例を示している。この場合、動き情報を表す係数
y(7, 0) 及びその直ぐ近傍の交流係数は、動き
がない場合よりも正確に量子化される。このやり方は、
画質に極めて貢献する。
【0024】図10は図1の変換回路22の他の実施例
を示している。この回路は動き適応型変換回路で、副画
像中に動きが検出されなかった場合は8x8ピクセルの
副画像を8x8の係数の1個のブロックに変換し、動き
が検出された場合は当該副画像を4x8の係数の2個の
ブロックに変換する。この図10に示す変換回路は図2
に示した変換回路とは、2個のスイッチ34及び36と
他の1次元変換器35とを有している点が相違している
。なお、以下においては図2の変換回路との相違点のみ
を説明する。 また、動き適応型変換に関しては前述した(3)の文献
に詳細に述べられている。
【0025】動き信号MDが「0」の場合は、即ち副画
像中に目立った動きが検出されなかった場合は、スイッ
チ34及び36は図示の位置となり、当該変換回路は前
述したのと同様の動作を行う。この場合、図5に示した
ような8x8の係数の1個のブロックが係数メモリ33
(.) に書き込まれる。
【0026】しかしながら、動き信号MDが「1」の場
合は、スイッチ34及び36は他方の位置となる。この
状態においてはピクセルp(i,k) は転置メモリ3
1(.) から信号MDが「0」である場合とは異なる
順序で読み出される。 更に詳述すると、この場合転置メモリ31(.) 中の
積行列Pは奇数行の要素p(i, k) を持つ第1の
4x8の行列と偶数行の要素p(i, k) を持つ第
2の4x8の行列とに分割される。上記分割は適切な読
出アドレスを図3のROM43(2) から当該転置メ
モリに供給することにより達成される。上記の2個の4
x8の行列はスイッチ34を介して次から次へと且つ列
単位で変換器35へ供給され、該変換器において垂直離
散コサイン変換(VdcT’ )が施される。この変換
器35においては上記各列には4x4の変換行列A’が
乗算される。結果として、各々が4x8の係数の2個の
副ブロックが得られる。その第1の副ブロックは副画像
Xの奇数行を含む4x8ピクセルの副フィールドの離散
コサイン変換により得られる。この副フィールドは奇数
副フィールドとも呼ぶ。また、第2の副ブロックは副画
像Xの偶数行を含む副フィールドの変換により得られ、
偶数副フィールドとも呼ぶ。
【0027】図11は上記の2個の副ブロックがどのよ
うに係数メモリ33(.) に記憶されるかを示してい
る。当該メモリは奇数副フィールドの係数yo (i,
 k)を伴う副ブロックIと偶数副フィールドの係数y
E (i, k)を伴う副ブロックIIとを有している
。ここで、i = 0, 1, … 3であり、また 
k = 0, 1,  … 7である。この場合、係数
yo (0, 0)及び係数yE(0, 0)は奇数及
び偶数副フィールドの平均輝度を表し、共に直流係数で
ある。他の係数yo (0, 1)ないしyo (3,
 7)及びyE (0, 1)ないしyE (3, 7
)は交流係数である。
【0028】図12は図10に示した変換回路において
使用される走査パターンの一例を示している。この場合
、副ブロックIの直流係数yo (0, 0)と副ブロ
ックIIの直流係数yE (0, 0)とは続けざまに
読み出される。また、両副ブロックは効果的なジグザグ
パターンに従って走査され、この間においては一方の副
ブロックと他方の副ブロックとから係数が交互に読み出
される。ここで、4x8の副ブロックは垂直方向におけ
るよりも水平方向により大きな信号エネルギーを持つこ
とに注意されたい。従って、水平方向における走査をあ
る程度加速することが有効である。このことは図に示す
破線によって達成される。図示の走査順序は図4の走査
及び重み付け回路におけるROM50内に記憶されてい
る。図13は当該パターンに対応しROM51(図4参
照)に記憶される重みファクタの一例を示している。
【0029】図10に示した動き適応型変換回路を使用
するということは、動きが検出された副画像に関し2つ
の直流係数が別々に処理されなければならないというこ
とを意味している。しかしながら、動きのない副画像の
場合は1個の直流係数しか存在しない。ところで、これ
ら両方の場合においてブロックの係数を等しく処理する
ことが有用であることが判った。図14はこの目的に適
した走査及び重み付け回路の一例を示している。図4の
回路と比較して、この走査及び重み付け回路はデコーダ
53と遅延要素54と減算回路55とマルチプレクサ5
6とを更に有している。係数メモリから第2の直流係数
yE (0, 0)が読み出されている場合、遅延要素
54は先に読み出された第1の直流係数yo (0, 
0)を未だ有している。これら両者の差は減算回路55
で検出され、差分係数yo (0, 0)−yE (0
, 0)としてマルチプレクサ56へ供給される。この
マルチプレクサはデコーダ53により、第2の直流係数
yE (0, 0)の代わりとして上記差分係数が処理
されるように、制御される。この場合、この差分係数は
擬似(quasi )交流係数として処理される。実際
には上記差分係数は小さく且つ正確に(「1」なる重み
ファクタで)量子化されるので、元の直流係数yE (
0, 0)は受信側において充分な精度で再生すること
ができる。ここで、第1の直流係数yo (0, 0)
を別個に伝送することはせずに、その代わりにyo (
0, 0)+yE (0, 0)なる和を表す擬似直流
係数を伝送することも可能であることに注意されたい。 この場合には、量子化誤差は2つの直流係数に一様に分
配されることになる。
【0030】元のピクセルを再生するめに、デコード回
路8(図1参照)はブロック形成回路83と逆変換回路
84とを有している。上記逆変換回路の一例は図2及び
図10に示した変換回路における信号の方向を逆にし且
つ各メモリの読出及び書込信号を入れ替えることにより
得ることができる。
【0031】上記ブロック形成回路の一例を図15に示
す。該回路はカウンタ60を有し、このカウンタは入力
された各係数に対してクロックパルスfcを入力し、各
ブロックの最初の係数の時点で開始ブロック信号SBに
よりリセットされる。このカウンタ60の計数値は第1
のROM61に供給し、該ROMは各係数に関して逆重
みファクタ1/Q(i, k) を乗算器63に供給す
る。かくして、再生された係数y’(i, k)が該乗
算器の出力端子に得られ、当該逆変換回路の係数メモリ
に記憶される。この場合、このメモリは各計数値に関し
て第2のROM62に記憶された書込アドレスSCAN
’によりアドレスされる。
【0032】図15は、あるブロックの第2直流係数を
再生するための直流再生回路64を破線で示しており、
該回路は符号化回路に図14に示した走査及び重み付け
回路が使用された場合に必要となる。この直流再生回路
は遅延要素641 と、加算器642 と、マルチプレ
クサ643 とデコーダ644 とを有している。前記
差分係数yo (0, 0)−yE (0, 0)が入
力された場合、遅延要素641 は先に入力された第1
の直流係数yo (0, 0)を未だ有しているので加
算器642 は第2の直流係数yE (0, 0)を出
力することになる。
【図面の簡単な説明】
【図1】  図1は、本発明による符号化回路及びデコ
ード回路の一実施例を有するビデオレコーダを概念的に
示すブロック図、
【図2】  図2は、図1における変換回路の一例を示
すブロック図、
【図3】  図3は、図2の変換回路を制御する制御回
路の一例を示すブロック図、
【図4】  図4は、図1における走査及び重み付け回
路の一例を示すブロック図、
【図5】  図5は、図2における係数メモリの内容を
示す説明図、
【図6】  図6は、図2における係数メモリが読み出
される走査順序の一例を示す説明図、
【図7】  図7は、図2における係数メモリが読み出
される走査順序の他の例を示す説明図、
【図8】  図8は、図4の走査及び重み付け回路に使
用される重みファクタの一例を示す説明図、
【図9】 
 図9は、図4の走査及び重み付け回路に使用される重
みファクタの他の例を示す説明図、
【図10】  図1
0は、図1における変換回路の他の例を示すブロック図
【図11】  図11は、図10における係数メモリの
内容を示す説明図、
【図12】  図12は、図10における係数メモリが
読み出される走査順序の一例を示す説明図、
【図13】
  図13は、図4の走査及び重み付け回路に使用され
る重みファクタの更に他の例を示す説明図、
【図14】
  図14は、図1における走査及び重み付け回路の他
の例を示すブロック図、
【図15】  図15は、図1におけるブロック形成回
路の一例を示すブロック図である。
【符号の説明】
2…符号化回路、                 
 8…デコード回路、20…A/D変換器、21…画像
メモリ、22…変換回路、             
     23…動き検出器、24…走査及び重み付け
回路、      25…可変長符号化回路、31…転
置メモリ、                33…係
数メモリ、82…可変長デコード回路、       
 83…ブロック形成回路、84…逆変換回路、   
             85…画像メモリ、86…
D/A変換器。

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】  画像信号を変換符号化する符号化回路
    であって、 −画像を副画像に分割する手段と、 −上記副画像の各々を連続した係数の2次元ブロックに
    変換する変換回路と、 −上記副画像を入力し、該副画像中に動きが検出された
    場合に動き信号を発生する動き検出器と、−前記係数の
    ブロックを前記動き信号に応じた走査パターンに従って
    読み出すと共にこれら係数を直列の係数の列に変換する
    走査手段と、 を有するような符号化回路において、前記走査パターン
    が先に読み出された係数とは連続しない所定の係数への
    少なくとも1個の飛び越しを有することを特徴とする符
    号化回路。
  2. 【請求項2】  請求項1に記載の符号化回路において
    、前記所定の係数が当該副画像における動きの存在を表
    していることを特徴とする符号化回路。
  3. 【請求項3】  請求項1に記載の符号化回路であって
    前記副画像が2個のインターレースされた副フィールド
    を有するような符号化回路において、前記変換回路は上
    記各副フィールドを別個に変換することにより前記係数
    のブロックを副ブロックに分割するように構成され、前
    記所定の係数が先に読み出された係数とは異なる副ブロ
    ックの一部を形成することを特徴とする符号化回路。
  4. 【請求項4】  請求項3に記載の符号化回路において
    、前記所定の係数が対応する副ブロックの直流係数であ
    ることを特徴とする符号化回路。
  5. 【請求項5】  請求項3に記載の符号化回路において
    、前記走査手段が別個の副ブロックをジグザグパターン
    に従って読み出すように構成されていることを特徴とす
    る符号化回路。
  6. 【請求項6】  請求項3に記載の符号化回路において
    、前記走査手段が更に前記2個の副ブロックの係数を交
    互に読み出すように構成されていることを特徴とする符
    号化回路。
  7. 【請求項7】  請求項3に記載の符号化回路において
    、前記2個の副ブロックの直流係数をこれら直流係数の
    差を表す差分係数に変換する手段が更に設けられている
    ことを特徴とする符号化回路。
  8. 【請求項8】  請求項1又は請求項2に記載の符号化
    回路によって供給される変換された画像信号をデコード
    するデコード回路であって、 −前記動き信号を発生する手段と、 −直列の係数の列をアドレス可能な連続した記憶位置の
    2次元ブロックに前記動き信号に応じた記憶パターンに
    従って記憶する記憶手段と、 −前記ブロックに記憶された前記係数を副画像に変換す
    る逆変換回路と、を有するようなデコード回路において
    、 前記記憶パターンが先にアドレスされた記憶位置とは連
    続していない所定の記憶位置へ少なくとも1つの行程で
    飛び越すようになっていることを特徴とするデコード回
    路。
  9. 【請求項9】  請求項3ないし6の何れか一項に記載
    の符号化回路によって供給される変換された画像信号を
    デコードする請求項8に記載のデコード回路において、
    前記逆変換回路は前記係数のブロックを2個の副ブロッ
    クに分割すると共にこれら副ブロックを2個のインター
    レースされた副フィールドに別個に変換するように構成
    され、前記所定の記憶位置が前記の先にアドレスされた
    記憶位置とは異なる副ブロックの部分を形成しているこ
    とを特徴とするデコード回路。
  10. 【請求項10】  請求項7に記載の符号化回路からの
    変換された画像信号をデコードする請求項9に記載のデ
    コード回路において、入力された前記差分係数から2個
    の直流係数を再生する手段が更に設けられていることを
    特徴とするデコード回路。
  11. 【請求項11】  請求項1ないし7の何れか一項に記
    載の符号化回路を含むことを特徴とするテレビジョン信
    号用送信機。
  12. 【請求項12】  請求項8、9又は10に記載のデコ
    ード回路を含むことを特徴とするテレビジョン信号用受
    信機。
  13. 【請求項13】  請求項1ないし7の何れか一項に記
    載の符号化回路と請求項8、9又は10に記載のデコー
    ド回路とを含むことを特徴とするテレビジョン信号を記
    録及び再生するビデオレコーダ。
JP04219092A 1991-02-11 1992-01-31 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法 Expired - Lifetime JP3288419B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
NL9100234A NL9100234A (nl) 1991-02-11 1991-02-11 Codeerschakeling voor transformatiecodering van een beeldsignaal en decodeerschakeling voor het decoderen daarvan.
NL9100234 1991-02-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000312574A Division JP3504228B2 (ja) 1991-02-11 2000-10-12 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法

Publications (2)

Publication Number Publication Date
JPH04360484A true JPH04360484A (ja) 1992-12-14
JP3288419B2 JP3288419B2 (ja) 2002-06-04

Family

ID=19858858

Family Applications (2)

Application Number Title Priority Date Filing Date
JP04219092A Expired - Lifetime JP3288419B2 (ja) 1991-02-11 1992-01-31 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法
JP2000312574A Expired - Lifetime JP3504228B2 (ja) 1991-02-11 2000-10-12 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2000312574A Expired - Lifetime JP3504228B2 (ja) 1991-02-11 2000-10-12 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法

Country Status (8)

Country Link
US (3) US6385247B1 (ja)
EP (1) EP0499307B1 (ja)
JP (2) JP3288419B2 (ja)
KR (1) KR100222505B1 (ja)
CN (1) CN1036431C (ja)
AT (1) ATE155950T1 (ja)
DE (1) DE69220975T2 (ja)
NL (1) NL9100234A (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9100234A (nl) * 1991-02-11 1992-09-01 Philips Nv Codeerschakeling voor transformatiecodering van een beeldsignaal en decodeerschakeling voor het decoderen daarvan.
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
JP2586260B2 (ja) * 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
DE69227185T2 (de) * 1991-12-27 1999-04-01 Sony Corp Bilddatenkodier/dekodierverfahren und -vorrichtung
DE4344924A1 (de) * 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung
US6687870B1 (en) * 1999-09-23 2004-02-03 Qualcomm, Incorporated Method and apparatus for interleaving for information transmission or storage applications
US6985542B1 (en) * 2000-06-02 2006-01-10 Cellguide Ltd. Coherent processing of satellite signals to locate a mobile unit
KR100683380B1 (ko) * 2000-02-21 2007-02-15 주식회사 팬택앤큐리텔 영상 압축 부호화를 위한 변환 및 역변환 방법 및 장치
KR100440952B1 (ko) * 2001-08-04 2004-07-21 삼성전자주식회사 압축 영상 비트 스트림의 부호어 교환을 통한 비트율 변환 방법 및 이에 적합한 장치
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7782954B2 (en) * 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
JP4881270B2 (ja) * 2007-09-26 2012-02-22 ルネサスエレクトロニクス株式会社 フィルタ演算器及び動き補償装置
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
US10783121B2 (en) * 2008-12-22 2020-09-22 Ctera Networks, Ltd. Techniques for optimizing data flows in hybrid cloud storage systems
PT3244612T (pt) * 2010-04-13 2018-11-14 Ge Video Compression Llc Codificação de mapas de significância e blocos de coeficientes de transformada
US8988531B2 (en) 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
US20130034150A1 (en) * 2011-08-05 2013-02-07 Texas Instruments Incorporated Systems and methods for multimedia data encoding and decoding
US8560719B2 (en) * 2011-09-14 2013-10-15 Mobitv, Inc. Fragment server directed device fragment caching
GB201212878D0 (en) 2012-07-20 2012-09-05 Pike Justin Authentication method and system
JP6127964B2 (ja) * 2013-12-26 2017-05-17 ソニー株式会社 信号切換装置および信号切換装置の動作制御方法
US9788078B2 (en) * 2014-03-25 2017-10-10 Samsung Electronics Co., Ltd. Enhanced distortion signaling for MMT assets and ISOBMFF with improved MMT QoS descriptor having multiple QoE operating points
GB201520741D0 (en) 2015-05-27 2016-01-06 Mypinpad Ltd And Licentia Group Ltd Authentication methods and systems

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2575351B1 (fr) * 1984-12-21 1988-05-13 Thomson Csf Procede adaptatif de codage et de decodage d'une suite d'images par transformation, et dispositifs pour la mise en oeuvre de ce procede
EP0207774B1 (en) * 1985-07-02 1992-03-04 Matsushita Electric Industrial Co., Ltd. Block encoder
FR2589020B1 (fr) * 1985-10-22 1987-11-20 Eude Gerard Procede de codage hybride par transformation pour la transmission de signaux d'image
JPS62145988A (ja) * 1985-12-20 1987-06-30 Fujitsu Ltd 適応的走査線変換画像伝送方式
ATE108587T1 (de) 1986-09-13 1994-07-15 Philips Nv Verfahren und schaltungsanordung zur bitratenreduktion.
NL8700565A (nl) * 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
JP2604371B2 (ja) * 1987-04-30 1997-04-30 日本電気株式会社 直交変換符号化装置
BE1000643A5 (fr) * 1987-06-05 1989-02-28 Belge Etat Procede de codage de signaux d'image.
AU616688B2 (en) * 1987-08-28 1991-11-07 British Telecommunications Public Limited Company Video signal movement matrix coding
US5107345A (en) * 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
FR2660139B1 (fr) * 1990-03-23 1995-08-25 France Etat Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants.
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
NL9100234A (nl) * 1991-02-11 1992-09-01 Philips Nv Codeerschakeling voor transformatiecodering van een beeldsignaal en decodeerschakeling voor het decoderen daarvan.
JP3245977B2 (ja) * 1992-06-30 2002-01-15 ソニー株式会社 ディジタル画像信号の伝送装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
KR0139164B1 (ko) * 1994-12-19 1998-06-01 김광호 적응적 직교변환부호화 장치
US5748244A (en) * 1995-03-28 1998-05-05 Daewoo Electronics Co., Ltd. Adaptive runlength coding based on zero and non-zero subblocks
KR0179497B1 (ko) * 1995-08-03 1999-05-01 이준 지그재그 및 얼터네이트 주사변환회로
TW311322B (ja) * 1995-10-11 1997-07-21 Nippon Steel Corp
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping

Also Published As

Publication number Publication date
ATE155950T1 (de) 1997-08-15
EP0499307A1 (en) 1992-08-19
KR100222505B1 (ko) 1999-10-01
KR920017475A (ko) 1992-09-26
JP2001160972A (ja) 2001-06-12
JP3288419B2 (ja) 2002-06-04
DE69220975T2 (de) 1998-02-05
NL9100234A (nl) 1992-09-01
EP0499307B1 (en) 1997-07-23
CN1064185A (zh) 1992-09-02
US20030123557A1 (en) 2003-07-03
US6385247B1 (en) 2002-05-07
JP3504228B2 (ja) 2004-03-08
CN1036431C (zh) 1997-11-12
US20020012397A1 (en) 2002-01-31
DE69220975D1 (de) 1997-09-04
US7646813B2 (en) 2010-01-12

Similar Documents

Publication Publication Date Title
JPH04360484A (ja) 画像信号の変換符号化用符号化回路、その信号のデコード用デコード回路、符号化方法及びデコード方法
JP3283897B2 (ja) データの配置転換方法および装置
CN1056717C (zh) 利用通用存贮器对压缩的数字视频信号解码和2-3下降变换的解码器
JPH077731A (ja) 画像デ−タの順序付けとフォ−マッティング及び部分的画像の再構成
JP3202433B2 (ja) 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法
JP2874871B2 (ja) 画像処理装置
JP2578661B2 (ja) 変換係数の差分符号化を用いるテレビジョン転送システム
KR0138000B1 (ko) 디지탈 비디오 신호 처리 장치(processing system for digital video signal)
JPH06292184A (ja) 符号化方式
KR100238829B1 (ko) 화상신호 처리장치 및 화상신호 처리방법
JP3446240B2 (ja) 符号化方法および符号化装置
JPH01318378A (ja) 基本画像加重因数の伝送を用いるテレビジョン伝送システム
KR0160621B1 (ko) 영상 압축 및 신장방법과 그 장치
JP3304989B2 (ja) 高能率符号化方法
JP3040728B2 (ja) 画像処理装置および画像処理方法
JP3204952B2 (ja) 画像処理装置及びその方法
JPH05227521A (ja) 符号化による映像信号伝送装置
JP3869893B2 (ja) 符号化装置、復号化装置及びその方法
JP3029195B2 (ja) 画像伝送装置及びその方法
JPH0686257A (ja) 画像符号化装置
JPH0813144B2 (ja) 画像符号化方式
JPH03289282A (ja) 画像データの高能率符号化装置
JPH06292181A (ja) 画像信号再生装置
JPH0993590A (ja) テレビジョン画面の分割符号化方法および装置、ならびにテレビジョン画面の合成復号化方法および装置
JPH0993610A (ja) 画像処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

EXPY Cancellation because of completion of term