JP3252567B2 - 高能率符号化復号化装置 - Google Patents

高能率符号化復号化装置

Info

Publication number
JP3252567B2
JP3252567B2 JP26513793A JP26513793A JP3252567B2 JP 3252567 B2 JP3252567 B2 JP 3252567B2 JP 26513793 A JP26513793 A JP 26513793A JP 26513793 A JP26513793 A JP 26513793A JP 3252567 B2 JP3252567 B2 JP 3252567B2
Authority
JP
Japan
Prior art keywords
rounding
coefficient
samples
boundary point
orthogonal transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26513793A
Other languages
English (en)
Other versions
JPH07123009A (ja
Inventor
博美 吉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP26513793A priority Critical patent/JP3252567B2/ja
Publication of JPH07123009A publication Critical patent/JPH07123009A/ja
Application granted granted Critical
Publication of JP3252567B2 publication Critical patent/JP3252567B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えばビデオ信号など
のディジタル信号を高能率符号化復号化する高能率符号
化復号化装置に関するものである。
【0002】
【従来の技術】近年は、ディジタル信号を圧縮符号化
し、その後復号化する高能率符号化復号化装置として、
例えばディジタルビデオ信号を圧縮符号化して記録媒体
に記録し、この記録媒体から再生した信号を復号化する
ようなディジタルVTRが登場してきている。
【0003】上記ディジタルVTRにおいては、一般
に、以下のようにしてビデオ信号を圧縮して記録し、さ
らに再生して伸張するようになされている。
【0004】すなわち、図示は省略するが、信号記録系
(符号化側)に供給された時間軸のディジタルビデオデ
ータは、先ず、例えばDCT(離散コサイン変換)等の
直交変換が施されることにより周波数軸のデータに変換
される。この周波数軸のビデオデータは、量子化され、
更に例えば可変長符号化等が施されることによって圧縮
される。当該圧縮されたビデオデータは記録媒体として
の磁気テープに記録される。
【0005】また、信号再生系(復号化側)では、上記
記録媒体に記録された上記圧縮されたビデオデータが再
生される。この再生データは、可変長復号化によって伸
張され、さらに逆量子化が施される。当該逆量子化され
たデータは、逆直交変換としてIDCT(逆離散コサイ
ン変換)が施されることによって上記周波数軸から再び
時間軸のビデオデータに復元され、その後この復元され
たビデオデータが取り出されることになる。
【0006】なお、このようなビデオ信号の圧縮符号化
を行うディジタルVTRには、例えばフレーム間/フィ
ールド間の予測符号化方式を用いるものがある。このよ
うなディジタルVTRにおいては、符号化側で上記予測
符号化を行うための局部復号画像と復号化側の復号画像
が一致する必要がある。このとき符号化側での局部復号
の際の逆変換(逆直交変換)と復号化側における逆変換
(逆直交変換)での演算方法及び符号化側と復号化側に
おける丸めの方法が異なると、後述するようなミスマッ
チが起こり得る問題がある。このため例えば国際電信電
話諮問委員会(CCITT :Comite Consultatif Internati
onale Telegraphique et Telephonique)における勧告
H.261(DCTを用いたテレビ会議/電話用低速動
画像符号化アルゴリズム)では、表1に示すように、量
子化代表値を奇数にするようにしている。
【0007】
【表1】
【0008】すなわちこの表1に示すように、上記勧告
H.261では、量子化代表値が−2048を除いて奇
数とっなっている。この量子化代表値に奇数を用いるの
は、IDCT規格を満たしても異なる設計のIDCT間
のミスマッチが起こり得るという問題を解決するためで
ある。なお、この表1において、量子化代表値は+20
47/−2048を除き正負対称である。また、ステッ
プサイズ=2×QUANTである。
【0009】
【発明が解決しようとする課題】ところで、上記ミスマ
ッチは、逆変換における演算方法や丸めの方法が異なる
ことが原因であるが、逆変換器における演算方法や丸め
の方法が異ならない場合でも同様の問題が発生すること
がある。
【0010】例えば、ディジタルVTRにおいて、上記
ミスマッチとしてダイレクトディジタルダビング時のマ
ルチジェネレーション特性における画像劣化の問題が生
じることがある。すなわち、ある特定画像パターンの振
幅レベルの単調増加又は減少によるパターン強調が発生
することである。
【0011】以下、上記ディジタルVTRにおけるダイ
レクトディジタルダビング時のマルチジェネレーション
特性において、画像劣化が生ずることについて、図面を
用いて説明する。
【0012】ここで、図7には、このディジタルVTR
において上記ダイレクトディジタルダビングを行う場合
の構成を示す。
【0013】この図7において、端子103を介して供
給された入力ビデオ信号は、ディジタルVTR100に
おいて磁気テープに記録されている。このディジタルV
TR100の出力端子とディジタルVTR101の入力
端子とが接続され、さらにディジタルVTR101の出
力端子とディジタルVTR100の入力端子とが接続さ
れている。各ディジタルVTR100,101において
記録/再生を繰り返すことにより、マルチダビングが行
われることになる。なお、ディジタルVTR100の出
力端子はモニタ102とも接続され、したがって、この
モニタ102によってマルチダビングによる画質の変化
を観察することができる。
【0014】また、上記図7の各ディジタルVTR10
0,101は、ビットレートリダクションを採用したコ
ンポーネント記録のディジタルVTRであり、圧縮レー
トは1/2としている。ここで、上記ビットレートリダ
クションの方式は、変換符号+可変長符号化とし、変換
基底関数には上記DCTを採用しているとする。更に、
当該各ディジタルVTR100,101では10ビット
映像のシステムをサポートし、したがって変換−逆変換
(DCT−IDCT)の演算精度もこの映像精度を十分
満足するように演算語長をとって調整しているとする。
【0015】この図7に示すダイレクトディジタルダビ
ングを行う構成は、簡略化すると図8のように示すこと
ができる。すなわちこの図8において、端子103には
一方のディジタルVTRからのデータが入力データとし
て供給され、この入力データがDCT回路111によっ
てDCTされる。このDCT回路111からの係数デー
タは、再量子化器(量子化・逆量子化器)112によっ
て量子化,逆量子化され、その出力がIDCT回路11
3に送られる。この再量子化器112からの出力に係数
面(直交変換後及び逆直交変換前)での丸め誤差Erc
が発生する。また、上記IDCT回路113からの出力
にも空間面(直交変換前及び逆直交変換後)での丸め誤
差Ersが発生し、このIDCT回路113の出力は上
記DCT回路111に送られる。なお、ここでの丸めに
は後述する無限大方向丸めを採用している。IDCT回
路113の出力は端子104からモニタ等に送られる。
【0016】なお、この図8におけるマルチダビングを
更に別の表現により表すと、図9のように示すことがで
きる。この図9においては、例えば2回のダビングを行
う場合(すなわち変換−逆変換を3回行う場合)を示し
ている。この2回のダビングは、DCT回路111と量
子化・逆量子化器112とIDCT回路113とからな
る1組の構成を、直列に3組接続したことに相当する。
【0017】ここで、上記図8の構成における入出力の
語長と有効桁の関係を概念的に表すと、図10のように
示すことができる。
【0018】この図10において、DC係数以外の係数
(AC係数)は一様量子化されている。なお、DC係数
の量子化ステップをqdcとし、AC係数の量子化ステ
ップをqacとする。また、正規化したDCT、IDC
Tを使う。このとき、係数面のビットと再量子化ステッ
プの関係は、 qxx=除数 量子化レベル=qxx・Q〔係数/
qxx〕 となる。なおQ〔 〕は丸めを示す。
【0019】したがって、例えば qdc=qac=1・・・・係数面12ビットに丸め qdc=qac=2・・・・係数面11ビットに丸め qdc=qac=4・・・・係数面10ビットに丸め である。
【0020】上述したようなディジタルVTRにおい
て、DCT−IDCTの演算では十分な精度を持ってお
り問題はないとすると、上記ダイレクトディジタルダビ
ング時の画像劣化(特定画像パターンの単調増加又は減
少)の発生は、丸め誤差が蓄積することによると考えら
れる。
【0021】ここで、丸め方式には、例えば単純丸め
(正方向丸め)や、無限大方向丸めなどがある。以下こ
れらについて違いを示す。
【0022】先ず、図11を用いて正方向丸め(単純丸
め)について説明する。この図11において、図中の○
印はその値を含まないことを、●印はその値を含むこと
を示している。すなわち、図11のA及びBにおいて、
−Δ/2以上Δ/2未満のときには0に丸め、Δ/2以
上3Δ/2未満のときには1・2-bに丸め、3Δ/2以
上5Δ/2未満のときには2・2-bに丸め、−3Δ/2
以上−Δ/2未満のときには−1・2-bに丸め、−5Δ
/2以上−3Δ/2未満のときには−2・2-bに丸める
ことを示している。また、図11のCのP( )は確率
を示している。
【0023】この正方向丸め(単純丸め)では、丸めを
行うビットのみで判断を行うため、境界点は常に切り上
げる。したがって、図11のCに示すように、Δ/2を
常に含み、誤差の分布が偏ることになる。なお、境界的
とは、丸めの対象となるビットの丁度半分すなわち±
0.5のことで、誤差の分布に非対称性が現れるところ
である。
【0024】このようなことから、従来より無限大方向
丸めを用いている。図12を用いて無限大方向丸めにつ
いて説明する。この図12においても、図中の○印はそ
の値を含まないことを、●印はその値を含むことを示し
ている。すなわち、図12のA及びBにおいて、−Δ/
2より大きくΔ/2未満のときには0に丸め、Δ/2以
上3Δ/2未満のときには1・2-bに丸め、3Δ/2以
上5Δ/2未満のときには2・2-bに丸め、−3Δ/2
より大きく−Δ/2以下のときには−1・2-bに丸め、
−5Δ/2より大きく−3Δ/2以下のときには−2・
-bに丸めることを示している。また、図12のCのP
( )も確率を示している。
【0025】この無限大方向丸めは、境界点を絶対値で
正負同じになるように切り上げる。したがって、誤差の
分布は、図12のCの(a)〜(c)に示すように3種
類となり、当該誤差の分布はX=0を中心としてバラン
スするものとなる。
【0026】以上、丸めにおいては、Δ/2の点のみが
誤差の範囲のバランスを崩す点であることが判る。
【0027】ところが、上記誤差の分布がX=0を中心
としてバランスする上記無限大方向丸めを用いても、あ
る特定パターンの入力に対しては、ダビングの度にデー
タが変化し発散する(丸め誤差が蓄積していく)ように
なる場合がある。
【0028】一方、上記無限大方向丸めは、画像歪みを
最小にする観点から言えば好ましい丸め方法である。
【0029】そこで、本発明は、上述したようなことに
鑑み、無限大方向丸めを用いることができると共に、例
えばダイレクトディジタルダビング時のマルチジェネレ
ーション特性において画像劣化を非常に少なくすること
ができる高能率符号化復号化装置を提供することを目的
としている。
【0030】
【課題を解決するための手段】本発明の高能率符号化復
号化装置は、上述の目的を達成するために提案されたも
のであり、アナログ信号がアナログ/ディジタル変換さ
れたディジタル信号を複数サンプル毎にブロック化して
当該ブロック単位で直交変換する直交変換手段と、上記
直交変換されたディジタル信号を上記ブロック単位で逆
直交変換する逆直交変換手段とを有し、上記直交変換と
逆直交変換の少なくとも一方に、上記ブロック内のサン
プルのうち、空間面における丸めの境界点を示すサンプ
ルの極性が同極性のときに所定の丸め処理を行う丸め処
理手段を設けることを特徴とするものである。
【0031】ここで、上記丸め処理手段は、上記丸めの
境界点を示すサンプルの極性が全て同極性であるとき、
該当するブロックのサンプルに対して絶対値でかつ当該
絶対値を越えない整数値に丸める丸め処理を施す。或い
は、上記丸め処理手段は、上記丸めの境界点を示すサン
プルの極性が全て同極性であるとき、該当するサンプル
のうち1サンプル以上全サンプル未満に対して歪みを加
える処理を施す。又は、上記丸め処理手段は、上記丸め
の境界点を示すサンプルの極性が全て同極性であると
き、該当するサンプルのうち1サンプル以上に対して絶
対値でかつ当該絶対値を越えない整数値に丸める丸め処
理を施す。
【0032】言い換えれば、本発明装置は、変換符号化
の直交変換前又は逆直交変換後の空間面のブロックで、
ブロック内サンプル中の丸めの境界点を示すサンプルが
全て同極性である時に、一時的に丸めの処理を変えるよ
うにしている。すなわち、変換符号化においては演算語
長をいくら長くとっても係数面(直交変換後又は逆直交
変換前)と空間面との間の境界点丸め処理の相互作用の
ために完全再構成は実現できないので、本発明装置は、
空間面ブロック内サンプルの境界点の極性に着目して丸
めを選択的に行うことにより、この相互作用を阻止し完
全再構成を実現している。
【0033】なお、境界点とは、丸めの対象となるビッ
トの半分すなわち0.5のことである。誤差の分布を考
える場合、この点は特別な意味を持つ特異点である。
【0034】
【作用】本発明によれば、直交変換と逆直交変換の少な
くとも一方に、空間面ブロック内のサンプルのうち丸め
の境界点を示すサンプルの極性が全て同極性であるとき
に選択的に所定の丸め処理を行うようにすることで、直
交変換後及び逆直交変換前(係数面)と直交変換前及び
逆直交変換後(空間面)での境界点の丸め処理の相互作
用を阻止(係数面と空間面の境界点処理の同調を打ち切
る)し、データの完全再構成を実現している。
【0035】
【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。
【0036】本発明実施例の高能率符号化復号化装置と
してのディジタルVTRは、基本構成として、前記図8
同様に、アナログ信号がアナログ/ディジタル変換され
たディジタル信号を複数サンプル毎にブロック化して当
該ブロック単位で直交変換する直交変換手段であるDC
T回路と、上記直交変換されたディジタル信号を再量子
化する再量子化器と、上記直交変換されたディジタル信
号を上記ブロック単位で逆直交変換する逆直交変換手段
であるIDCT回路とを有してなるものであるが、この
ようなディジタルVTRにおける例えばダイレクトディ
ジタルダビング時のマルチジェネレーション特性におい
ては、前述したように画像劣化の問題が生じることがあ
る。このため、本発明実施例装置では、この画像劣化を
防ぐために、上記構成に加えて、図1に示すように、例
えば、IDCT回路内のIDCT処理を行う逆変換器3
3の後段に(或いは当該IDCT回路の後段に)、上記
ブロック内のサンプルのうち丸めの境界点を示すサンプ
ルの極性が全て同極性であるときに所定の丸め処理を行
う丸め処理手段として後述するような境界点選択型丸め
回路34とブロック検出器38とを設けている。なお、
上記丸め処理手段は、図1のように逆直交変換側のみな
らず上記直交変換側に設けるようにすることも可能で
る。
【0037】ここで、図1の構成の説明に先立ち、以
下、ダイレクトディジタルダビングを繰り返すことによ
って丸め誤差が蓄積(無限大方向丸めによる誤差の蓄
積)していく蓄積サイクルのメカニズムについて、実画
像を用いて説明する。
【0038】無限大方向丸めによって丸め誤差が蓄積す
る具体例1について述べる。この具体例1では、DC係
数の量子化ステップqbc=4,AC係数の量子化ステ
ップqac=2とする。これは、全画像サンプルが単調
増加する例である。ここで、入力は、 310 303 303 310 310 303 303 310 310 303 303 310 310 303 303 310 とする。
【0039】(1−1)この入力をDCTしたDCT出
力は、 DC AC1 AC2 AC3 1226 0 14 0 AC4 AC5 AC6 AC7 = 0 0 0 0 AC8 AC9 AC10 AC11 0 0 0 0 AC12 AC13 AC14 AC15 0 0 0 0 となり、このDCT出力のDC係数は1226となる。
このDC係数を4で割る(再量子化)と、306.5と
なる。また、AC1〜AC15のAC係数については2
で割る(再量子化)。
【0040】これにより、 306.5 0 7 0 0 0 0 0 0 0 0 0 0 0 0 0 となる。
【0041】(1−2)これを丸めるとDC係数につい
ては307となる。すなわち、 307 0 7 0 0 0 0 0 0 0 0 0 0 0 0 0 となる。
【0042】これを対して逆量子化を行う。DC係数に
対しては4を掛けることで1228となる。したがっ
て、上記量子化−逆量子化によって上記入力に対するD
C係数の変化分は、2(Erc(=0.5)×4)とな
る。すなわちこのDC係数の変化分は、係数面の処理に
よる変化分となる。また、AC係数については2を掛け
ることで14となる。すなわち、 1228 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 となる。
【0043】(1−3)ここで、AC係数分の 0 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 を、逆変換(IDCT)すると 3.5 -3.5 -3.5 3.5 3.5 -3.5 -3.5 3.5 3.5 -3.5 -3.5 3.5 3.5 -3.5 -3.5 3.5 となる。
【0044】(1−4)また、DC係数分の 1228 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 を、逆変換(IDCT)すると 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 307.0 となる。
【0045】(1−5)上記(1-3) すなわちAC係数分
のIDCT出力と、上記(1-4) すなわちDC係数分のI
DCT出力を加えると、上記(1-3) すなわちAC係数分
のIDCT出力の境界点は、全て正極性の処理になりD
C係数の変化に転化される。この丸めによる変化は、 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 となる。
【0046】これをDCTすると、 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 となる。すなわち、このDC係数の2が空間面の処理に
よる変化分となる。
【0047】(1−6)上記(1-2) すなわちDC係数変
換分の2と、上記(1-5) すなわちDC係数の変化に転化
された後のDCTによるDC係数変化分の2とから、
(係数面の処理による変化)+(空間面の処理による変
化)=4となる。これは、DC係数の1量子化ステップ
分である。したがって、DC係数は、 1226→1230 となる。
【0048】(1−7)なお、上記(1-3) のAC係数の
境界点の変化分をDC係数に転化することによって、こ
のAC係数は、全く同じ値(=14)で係数面に戻って
くる。したがって、 1230 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 となる。
【0049】(1−8)このように、上記(1-3) のAC
係数があたかも触媒のような振る舞いをし、2回目(変
換−逆変換の2回目、ダビングの1回目)以降で全く同
じサイクルを繰り返す。したがって、この繰り返しによ
って全画像サンプルが単調増加するようになる。
【0050】次に、丸め誤差が蓄積する具体例2を挙げ
て説明する。この具体例2では、DC係数の量子化ステ
ップqbc=2,AC係数の量子化ステップqac=2
とする。これは、画像ブロックの1行と4行で計8サン
プルが単調減少する例であり、具体例1に比べて複雑で
ある。
【0051】この具体例2での入力は、 DC AC1 AC2 AC3 -112 -113 -112 -112 AC4 AC5 AC6 AC7 = -113 -113 -112 -111 AC8 AC9 AC10 AC11 -113 -113 -112 -112 AC12 AC13 AC14 AC15 -112 -112 -112 -112 とする。
【0052】(2−1)この入力をDCTしたDCT出
力は、 -499.00 -1.3750 0.5000 0.5625 -0.1875 -0.3750 0.4375 0.3750 0.5000 1.1250 0.0000 0.0625 -0.4375 0.3750 -0.1875 0.3750 となり、このDCT出力のDC係数は−499となる。
このDC係数を2で割る(再量子化)と、−224.5
となる。また、AC係数についても2で割る(再量子
化)。
【0053】これにより、 -224.500 -0.68750 0.25000 0.28125 -0.09375 -0.18750 0.28175 0.18750 0.25000 0.56250 0.00000 0.03125 -0.21875 0.18750 -0.09375 0.18750 となる。
【0054】(2−2)これを丸めるとDC係数につい
ては−225となる。すなわち、 -225 -1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 となる。
【0055】これを対して逆量子化を行う。DC係数に
対しては2を掛けることで−450となる。すなわち、 -450 -2 0 0 0 0 0 0 0 2 0 0 0 0 0 0 したがって、上記量子化−逆量子化によって上記入力に
対するDC係数の変化分は、Erc×2=−1となる。
このDC係数の変化分は、係数面の処理による変化分と
なる。
【0056】(2−3)また、逆量子化後、DC以外で
はAC係数のAC1=−2、AC9=2が残る。ここ
で、AC係数分の 0 -2 0 0 0 0 0 0 0 2 0 0 0 0 0 0 を、逆変換(IDCT)すると 0.000000 0.000000 0.000000 0.000000 -1.306563 -0.541196 0.541196 1.306563 -1.306563 -0.541196 0.541196 1.306563 0.000000 0.000000 0.000000 0.000000 となる。
【0057】(2−4)また、DC係数分の -450 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 を、逆変換(IDCT)すると -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 となる。また、このDC係数分の逆変換(IDCT)の
結果は、 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 ・・・(2-4-1) -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 -112.5 0 0 0 0 =-112.0 -112.0 -112.0 -112.0 + -0.5 -0.5 -0.5 -0.5 ・・(2-4-2) -112.0 -112.0 -112.0 -112.0 -0.5 -0.5 -0.5 -0.5 -112.5 -112.5 -112.5 -112.5 0 0 0 0 のように表すことができる。
【0058】(2−5)ここで、上記(2-3) のAC係数
分のIDCT出力と、上記(2-4-2) の第2項のDC係数
分のIDCT出力すなわち 0 0 0 0 -0.5 -0.5 -0.5 -0.5 -0.5 -0.5 -0.5 -0.5 0 0 0 0 とを加えて丸めを行うと、 0 0 0 0 -2 -1 0 1 -2 -1 0 0 0 0 0 0 となり、これを変換すると、 -1.000 -2.230 0.000 -0.158 0.000 0.000 0.000 0.000 1.000 2.230 0.000 0.158 0.000 0.000 0.000 0.000 となる。
【0059】(2−6)また、上記(2-4) の境界点の処
理((2-4-2) の第1項の丸め)による変化分は、 -0.5 -0.5 -0.5 -0.5 0 0 0 0 0 0 0 0 -0.5 -0.5 -0.5 -0.5 となる。
【0060】これを変換すると、 -1 0 0 0 0 0 0 0 -1 0 0 0 0 0 0 0 となる。
【0061】(2−7)上記(2-2) と(2-6) より、DC
係数の変化分は、係数面、空間面合わせて−2で、1量
子化ステップ分である。ここで、新たに、AC係数のA
C8に空間面の処理による成分が現れる。
【0062】(2−8)また、上記(2-6) の結果より、
上記(2-5) は、そのまま丸めが入り、 -1 -2 0 0 0 0 0 0 1 2 0 0 0 0 0 0 となり、これが結果的にこのサイクルの触媒になる。
【0063】(2−9)以下同様に2回目の変換を行う
と、DC=−451、AC8=−1、これを2で量子化
するとDC=−225.5、AC8=−0.5となる。
【0064】(2−10)これを丸めてDC=−22
6、AC8=−1とし、逆量子化するとDC=−45
2、AC8=−2となり、変化分はそれぞれErc×2
=−1となる。
【0065】(2−11)上記DCとAC8の係数から
触媒の成分が重なる部分を差し引いて、 -450 0 0 0 0 0 0 0 1 2 0 0 0 0 0 0 とし、これを逆変換すると、 -113.5 -113.5 -113.5 -113.5 -112.0 -112.0 -112.0 -112.0 -112.0 -112.0 -112.0 -112.0 -113.5 -113.5 -113.5 -113.5 この境界点の処理による変換分は上記(2-6) に示した通
りとなる。
【0066】(2−12)上記(2-10)と、上記(2-11)の
結果より、係数面、空間面合わせてDC,AC8ともに
−2で、1量子化ステップ分の変化となる。
【0067】(2−13)触媒の成分は、変換−逆変換
を繰り返しても変化しない。これ以降、上記(2-8) 〜(2
-13)のサイクルを繰り返す。
【0068】次に、上述した具体例のように丸め誤差が
蓄積する蓄積サイクルの条件について説明する。先ず、
蓄積サイクルの条件を考える。上述した具体例で示した
ように、蓄積サイクルに関する係数のかかわりは、非常
に複雑である。ここでは、画像強調パターンの洗い出し
のため幾つかの条件を求める。これはまた、本発明実施
例における丸め誤差の蓄積に対する対策の考えかたを説
明するものである。
【0069】第1に、変換と逆変換(DCT−IDC
T)は、十分な演算精度を持っているため、丸めにおけ
る境界点以外に誤差の蓄積はない。したがって、蓄積サ
イクルに関与するのは丸めにおける境界点のみである。
【0070】第2に、係数面の境界点の処理による変化
分に、空間面の境界点の処理による変化分を加え合わせ
ることで、係数面で再起的に1量子化ステップのシフト
をもたらす。前者の処理の変化分に、空間面の境界点以
外の成分が含まれると、DCT−IDCTの対称性から
空間面の丸めによる境界点の増加分が、再度係数面境界
点に戻ってこなくなり、蓄積サイクルが切れる。したが
って、蓄積サイクルが起こるのは、空間面の境界点が係
数面で、かつ係数面のそれが空間面のそれであるとき
(すなわちブロック内サンプル中、丸めの境界点を示す
サンプルが全て同極性であるとき)だけである。
【0071】第3に、DC係数とAC係数の再量子化ス
テップqdc,qacが、2のべき乗でないときは、丸
め後の最下位ビットの誤差の分布に等号は存在しない。
例えば、図2に示すように、誤差の分布はデジットを対
象とした誤差の範囲に収まる。なお、qxx=4の誤差
の範囲を−Δ/2〜Δ/2とすれば、この図2において
qxx=3のとき、誤差の範囲は、(−3/4)×(Δ
/2)〜(3/4)×(Δ/2)となり、qxx=2の
誤差の範囲を−Δ′/2〜Δ′/2とすれば、(−3/
2)×(Δ′/2)〜(3/2)×(Δ′/2)とな
る。
【0072】したがって、量子化ステップqdc,qa
cが2のべき乗の時のみ、蓄積サイクルが起こることが
判る。
【0073】第4に、蓄積サイクルを起こすために、係
数面の境界点処理による変化分が、空間面でどの範囲に
収まるべきかを考えるとき、例えば、係数面の境界点の
誤差0.5の影響が、空間面で2.5になったとする。
空間面ではこれを丸めて3.0とするが、このとき丸め
による誤差は0.5である。DCT,IDCTは、対称
で可逆であるから、次の係数面ではE=0.5/5=
0.1となり、境界点の蓄積サイクルが断ち切れる。
【0074】一方、飛び越しにならないで空間面の境界
点になるときは、同様の計算でE=0.5となり蓄積サ
イクルを断ち切らない。すなわち、 係数面 → 空間面 → 係数面 飛び越すとき Erc=0.5 (ex)2.5 →3.0 Ers=0.5 E=0.1 飛び越さないとき Erc=0.5 (ex)0.5 →1.0 Ers=0.5 E=0.5 となる。
【0075】したがって、係数面の誤差による影響が、
空間面で1量子化ステップ以内に収まる時のみ、蓄積サ
イクルが起きることが判る。qdc≠qacのときは、
大きいほうの量子化が、この量子化である。
【0076】第5に、例えばAC係数の量子化は一様で
あるので、AC係数分の誤差によるバリエーションは、
各AC係数に−1,0,1を組み合わせて逆変換に代入
することで求められる。その結果、蓄積サイクルを断ち
切る条件を満足するものは、正負それぞれの極性の数が
同じ場合であり、このときの誤差の平均は0となる。
【0077】誤差の平均が0であれば、誤差の蓄積は起
こらない。したがって、AC係数だけでは蓄積サイクル
は起こらない。このことから、蓄積サイクルには必ずD
C係数が関与することが判る。
【0078】上述した具体例に示した実画像で得た結果
は、全てこれにしたがっている。
【0079】上述したようなことから、DC係数によっ
て空間面出力が片極性にシフトし、その結果、空間面の
丸めによる境界点の処理が、片極性に転化されることに
より、誤差の平均値をシフトさせる。これが単調増加
(減少)を引き起こす要因である。
【0080】第6に、逆変換基底により再量子化ステッ
プを限定する。なお、IDCTの逆変換基底の具体的な
値については省略する。この逆変換基底の値は必要に応
じて実際に計算により求めることができる。空間面出力
のバリエーションは、境界点の処理による係数値のシフ
トと、逆変換基底の組み合わせで全て決まる。例えば、
数1の式(A) において、2次元4×4のDCTを考え、
係数面の処理が与える空間面出力の最大値(MAX値)
は、変換基底が以下のa〜fで与えられるので、 a=0.25 a,a,a,a 4回 b=0.326662 b,b,b,b 4回 c=0.135254 c,c,c,c 4回 d=0.426758 d 1回 e=0.176758 e,e 2回 f=0.073242 f 1回 d+f=0.5000, e+f=0.25000この 基底による空間面出力のMAX値が3.70118 となる
とする。
【0081】ここで、上記第3の条件より、量子化ステ
ップqxxは、 qxx=・・・,0.5,1,2,4,8,16,3
2,・・・・ となる。
【0082】
【数1】
【0083】また、前述の図10の語長と有効桁の概念
図より、係数面上の境界点の処理による誤差が、空間面
の境界点に対応するのは、例数面の丸め点を基準に桁を
取ると、 量子化ステップ 係数面語長 空間面出力値 : : : qxx=0.5 13 2 qxx=1 12 1 qxx=2 11 0.5 qxx=4 10 0.25 qxx=8 9 0.125 : : : となる。
【0084】ここで、一様量子化のとき(すなわちDC
係数量子化ステップqdc=AC係数量子化ステップq
acのとき)、qxx=0.25のときの空間面出力
4.000は、上記逆変換基底によるMXA値を越え
る。
【0085】また、qxx>0.5のときの空間面出力
2.000は、この変換基底の組み合わせでは作れな
い。さらに、qxx≧8のときも同様に作れない。した
がって、qxx<8となる。これらのことから、qxx
=1,2,4となる。
【0086】一方、一様量子化でないとき(DC係数量
子化ステップqdc≠AC係数量子化ステップqacの
とき)、qda<qacではDC係数の境界点の処理に
よる変化分によって、空間面でAC係数の境界点を片極
性の境界点に押し上げることができない。したがって、
qdc>qacとなる。
【0087】また、qdc=4×qacのときは空間面
の処理による変化分が、係数面の境界点に達することが
できない。したがって、qdc=2×qacとなる。さ
らに、qdc=8のときは同様に係数面の境界点に達す
ることができない。これらのことから、 qdc=qac:qxx=1,2,4 qdc≠qac:qdc=2×qac qdc≦4 となる。
【0088】上述したように、蓄積サイクルは、整数演
算(非線形処理)である丸めのときに発生し、係数面の
各係数、空間面サンプルがうまく関係しあった特殊なケ
ースであり、実画像で確認した画像強調パターンは前記
蓄積サイクルの条件において述べた第1,第2,第3の
条件におけるパターンに含まれる
【0089】上記蓄積サイクルが起きる原因は、正負極
性によって誤差の分布をバランスさせる方法(すなわち
無限大方向丸め)を採用したことにある。変換符号化を
利用したビットレートリダクションシステムでは、係数
面の極性と空間面の極性間にはDC係数以外に密接な対
応関係はなく、ある係数の組み合わせによる境界点の処
理の影響が、空間面で常に片極性に転化される場合があ
り、その結果、誤差の分布がバランスする方向に傾か
ず、一方向に偏りを持ち、これが蓄積されるのである。
【0090】このように、量子化と逆量子化における演
算丸めの方法として無限大方向丸めを用いると、ある特
定の入力に対してはダビングの度にデータが変化し発散
する(丸め誤差が蓄積していく)ようになる場合があ
る。
【0091】すなわち、演算語長を十分にとった変換−
逆変換を有する変換符号化で、係数面の再量子化丸めに
よる境界点の処理の影響が、空間面で片極性の境界点に
全て転化され、かつ、その条件を保持するような触媒の
働きをする画像ブロック内パターンを有するケースが存
在する。
【0092】このとき、特定画像パターンの単調増加,
減少のサイクルが構築され、変換の演算精度によらず完
全再構成が実現できなくなり、さらに、単調増加,減少
によって強調される画像パターンは、幾何学パターンに
なるので、マルチジェネレーションの画質を大いに損な
う。
【0093】一方、無限大方向丸めは画像歪みを最小化
する観点から言えば好ましい。
【0094】このようなことから、本実施例では、無限
大方向丸めを用いると共に、係数面と空間面の境界点の
処理の同調を絶ち切る方法を取るようにしている。この
対策によってディジタルダイレクトダビングは、完全再
構成が実現されることになる。
【0095】図1に戻って、上述したようなことから、
本発明実施例のディジタルVTR(高能率符号化復号化
装置)の上記丸め処理手段(境界点選型丸め回路34と
ブロック検出器38)では、上記空間面丸めの境界点を
示すサンプルの極性が全て同極性であるとき、該当する
ブロックのサンプルに対して絶対値でかつ当該絶対値を
越えない整数値に丸める丸め処理を施すようにしてい
る。或いは、上記丸めの境界点を示すサンプルの極性が
全て同極性であるとき、該当するサンプルのうち1サン
プル以上全サンプル未満に対して歪みを加える丸め処理
を施す。又は、上記丸めの境界点を示すサンプルの極性
が全て同極性であるとき、該当するサンプルのうち、1
サンプル以上(すなわち全サンプル)に対して絶対値で
かつ当該絶対値を越えない整数値に丸める丸め処理を施
す。
【0096】このようなことを行うため、端子31を介
して供給された図8の再量子化器112からの信号(こ
れは係数面の値である)は、逆変換器33で逆変換され
た後(すなわち空間面の値となる)、上記境界点選択型
丸め回路34に送られる。
【0097】上記境界点選択型丸め回路34では、上記
逆変換器33からの逆変換出力が位相調整器51と境界
点検出器54に、逆変換出力の符号ビットが同極性検出
器53に送られる。
【0098】また、図1の端子37には、前記ブロック
毎の区切りを示すリファレンスタイミング信号が供給さ
れ、当該信号に基づいてブロック検出器38でブロック
毎の境界を検出する。このブロック検出器38からのブ
ロック境界信号は、上記同極性検出器53に送られる。
【0099】さらに、上記境界点検出器54では、上記
逆変換出力から前記境界点を検出する。なお、この境界
点検出は、上記逆変換出力の少数点以下を観察すること
で実現している。
【0100】上記同極性検出器53は、上記境界点検出
器54からの境界点の検出信号を受け、このタイミング
に該当する符号ビットを、上記ブロック検出器38から
のブロック境界信号に従ってブロック単位で蓄え、それ
らをゲートすることによって丸め制御信号を得る。この
丸め制御信号が、上記位相調整器51によって位相調整
がなされた上記逆変換出力が供給される無限大方向丸め
回路52に送られる。
【0101】すなわち、当該丸め制御信号は、上記丸め
の境界点を示すサンプルの極性が全て同極性であると
き、該当するブロックのサンプルに対して絶対値でかつ
当該絶対値を越えない整数値に丸める丸め処理を上記無
限大方向丸め回路52にて行わせるための制御信号であ
る。或いは、当該丸め制御信号は、上記丸めの境界点を
示すサンプルの極性が全て同極性であるとき、該当する
サンプルのうち1サンプル以上全サンプル未満に対して
歪みを加える処理を上記無限大方向丸め回路52にて行
わせるための制御信号とすることもでき、又は、該当す
るサンプルのうち1サンプル以上(全てのサンプル)に
対して絶対値でかつ当該絶対値を越えない整数値に丸め
る丸め処理を上記無限大方向丸め回路52にて行わせる
ための制御信号とすることもできる。
【0102】なお、上記無限大方向丸め回路52におけ
る丸め処理において、上記丸めの境界点を示すサンプル
の極性が全て同極性であるときに、該当するブロックの
サンプルに対して絶対値でかつ当該絶対値を越えない整
数値に丸める丸め処理と、該当するサンプルのうち1サ
ンプル以上に対して絶対値でかつ当該絶対値を越えない
整数値に丸める丸め処理とは、誤差範囲の対称性を保ち
つつ無限大方向丸めを制御する処理である。また、上記
丸めの境界点を示すサンプルの極性が全て同極性である
ときに、上記該当するサンプルのうち1サンプル以上全
サンプル未満に対して歪みを加える処理は、該当すると
きのみ対称性を崩す処理である。
【0103】したがって、上記無限大方向丸め回路52
において、上述したような丸め制御信号に基づいて上記
位相調整された逆変換出力の丸め処理を行うことで、端
子36からの画像出力は、誤差の蓄積がない良好な画像
出力となる。
【0104】なお、上記丸めの境界点を示すサンプルの
極性が全て同極性であるとき、該当するサンプルのうち
1サンプル以上すなわち全サンプルに対して絶対値でか
つ当該絶対値を越えない整数値に丸める丸め処理を行う
と、誤差の分布、値の変化が共になく最良となる。これ
は、前述のように、同調を絶ち切る作業が境界点の影響
によって変化しよとする全ての値の増加,減少を抑える
ことになるので明らかである。したがって、ダビングに
おいて、毎回、上記蓄積サイクルに入ろうとしても出力
丸めで上記処理によって当該増加,減少を抑えるという
繰り返しになり、画像サンプルは変化しないようにな
る。
【0105】上述したように、本発明実施例において
は、演算精度を十分に持った変換符号化で、丸めにおけ
る特異点である境界点の処理による影響の蓄積を阻止す
ることができ、固定画像パターンの振幅の単調増加,減
少を防ぐことができる。このことから、完全再構成すな
わちマルチジェネレーションを何度行っても画像劣化の
無い変換系が実現できる。
【0106】また、最も歪みが小さい無限大方向丸めを
用いることができるようになる。したがって、高能率符
号化復号化装置の複数回の継続接続において、画質劣化
を最小限に抑えてデータを一定の値に収束させることが
できる。
【0107】
【0108】なお、本発明は、ディジタルVTRだけで
なく、変換符号化によるビットリダクションを採用した
システムに共通するので、例えばオーディオシステムな
ど他の同様のシステムにも適用できる。
【0109】最後に、蓄積サイクルで画像が強調される
パターン(画像強調パターン)を例に挙げる。係数面の
境界点の条件を逆変換行列に入力して、蓄積サイクルが
起きた場合のパターンのバリエーションは、例えば、図
3に示す(1)のグループ〜図6に示す(4)のグルー
プが考えられる。
【0110】なお、上記(1)〜(4)のグループにお
いては、 再量子化ステップ 入力係数値 (1) adc=qac=1 DC=−1〜+1,ACx=−1〜+1 (2) adc=qac=2 DC=−1〜+1,ACx=−1〜+1 (3) adc=4 DC=−2〜+2 (4) adc=2,qac=1 DC=−2〜+2,ACx=−1〜+1 としている。
【0111】また、入力係数値フォーマットは、DC
,AC1 ,AC2 ,AC3 ,AC4 ,AC5
,AC6 ,AC7 ,AC8 ,AC9 ,AC1
0,AC11,AC12,AC13,AC14,AC1
5とする。
【0112】蓄積サイクルは、整数演算(非線形処理)
である丸めと、係数面の各係数、空間面サンプルが、う
まく関係しあったケースである。画像強調パターンは例
えば、図3〜図6で示した(1),(2),(3)のグ
ループのパターンを挙げることができる。
【0113】上述したように、本発明においては、直交
変換と逆直交変換の少なくとも一方で、ブロック内の
間面サンプルのうち丸めの境界点を示すサンプルの極性
が同極性のときに所定の丸め処理を行う丸め処理を行う
ようにしており、例えば、丸めの境界点を示すサンプル
の極性が全て同極性であるとき、該当するブロックのサ
ンプルに対して絶対値でかつそれを越えない整数値に丸
める丸め処理や、該当するサンプルのうち1サンプル以
上全サンプル未満に対して歪みを加える丸め処理、又は
該当するサンプルのうち1サンプル以上に対して絶対値
でかつその値を越えない整数値に丸める丸め処理を行う
ことにより、無限大方向丸めを用いることができると共
に、係数面と空間面の境界点の処理の同調を絶ち切っ
て、ディジタルダイレクトダビングでの完全再構成を実
現可能としている。すなわち、例えばダイレクトディジ
タルダビング時のマルチジェネレーション特性において
丸め誤差の蓄積を防ぎ、画像劣化を非常に少なくするこ
とが可能となる。
【図面の簡単な説明】
【図1】本発明実施例の高能率符号化復号化装置の要部
の概略構成を示すブロック回路図である。
【図2】量子化ステップサイズを2のべき乗以外の値と
することについての説明に用いる図である。
【図3】画像強調パターンのグループ(1)を示す図で
ある。
【図4】画像強調パターンのグループ(2)を示す図で
ある。
【図5】画像強調パターンのグループ(3)を示す図で
ある。
【図6】画像強調パターンのグループ(4)を示す図で
ある。
【図7】ディジタルVTRのダイレクトディジタルダビ
ング時の構成を示す図である。
【図8】ダイレクトディジタルダビングの構成を簡略化
して示すブロック回路図である。
【図9】2回ダビングを行う場合の流れを説明するため
のブロック回路図である。
【図10】DCT−IDCTにおける正規化下シミュレ
ーションモデルの入出力語長と有効桁の関係を概念的に
示す図である。
【図11】正方向丸めについて説明するための図であ
る。
【図12】無限大方向丸めについて説明するための図で
ある。
【符号の説明】
33・・・・・・逆変換器 34・・・・・・境界点選択型丸め回路 38・・・・・・ブロック検出器 51・・・・・・位相調整器 52・・・・・・無限大方向丸め回路 53・・・・・・同極性検出器 54・・・・・・境界点検出器 100,101・・・ディジタルVTR 102・・・・・モニタ 111・・・・・DCT回路 112・・・・・再量子化器(量子化・逆量子化器) 113・・・・・IDCT回路

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 アナログ信号がアナログ/ディジタル変
    換されたディジタル信号を複数サンプル毎にブロック化
    して当該ブロック単位で直交変換する直交変換手段と、 上記直交変換されたディジタル信号を上記ブロック単位
    で逆直交変換する逆直交変換手段と、 上記直交変換の前と上記逆直交変換の後の少なくとも一
    方に、空間面ブロック内のサンプルのうち丸めの境界点
    を示すサンプルの極性が全て同極性であるとき、該当す
    るブロックのサンプルに対して絶対値でかつ当該絶対値
    を越えない整数値に丸める丸め処理を施す丸め処理手段
    とを設けることを特徴とする高能率符号化復号化装置。
  2. 【請求項2】 アナログ信号がアナログ/ディジタル変
    換されたディジタル信号を複数サンプル毎にブロック化
    して当該ブロック単位で直交変換する直交変換手段と、 上記直交変換されたディジタル信号を上記ブロック単位
    で逆直交変換する逆直交変換手段と、 上記直交変換の前と上記逆直交変換の後の少なくとも一
    方に、空間面ブロック内のサンプルのうち丸めの境界点
    を示すサンプルの極性が全て同極性であるとき、該当す
    るサンプルのうち、1サンプル以上全サンプル未満に対
    して歪みを加える処理を施す丸め処理手段とを設けるこ
    とを特徴とする高能率符号化復号化装置。
  3. 【請求項3】 アナログ信号がアナログ/ディジタル変
    換されたディジタル信号を複数サンプル毎にブロック化
    して当該ブロック単位で直交変換する直交変換手段と、 上記直交変換されたディジタル信号を上記ブロック単位
    で逆直交変換する逆直交変換手段と、 上記直交変換の前と上記逆直交変換の後の少なくとも一
    方に、空間面ブロック内のサンプルのうち丸めの境界点
    を示すサンプルの極性が全て同極性であるとき、該当す
    るサンプルのうち、1サンプル以上に対して絶対値でか
    つ当該絶対値を越えない整数値に丸める丸め処理を施す
    丸め処理手段とを設けることを特徴とする高能率符号化
    復号化装置。
JP26513793A 1993-10-22 1993-10-22 高能率符号化復号化装置 Expired - Fee Related JP3252567B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26513793A JP3252567B2 (ja) 1993-10-22 1993-10-22 高能率符号化復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26513793A JP3252567B2 (ja) 1993-10-22 1993-10-22 高能率符号化復号化装置

Publications (2)

Publication Number Publication Date
JPH07123009A JPH07123009A (ja) 1995-05-12
JP3252567B2 true JP3252567B2 (ja) 2002-02-04

Family

ID=17413143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26513793A Expired - Fee Related JP3252567B2 (ja) 1993-10-22 1993-10-22 高能率符号化復号化装置

Country Status (1)

Country Link
JP (1) JP3252567B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194138B1 (en) 1998-11-04 2007-03-20 International Business Machines Corporation Reduced-error processing of transformed digital data
US6909812B1 (en) * 2000-07-13 2005-06-21 Lucent Technologies Inc. Methods and apparatus for nearly lossless-concatenated block transform coding

Also Published As

Publication number Publication date
JPH07123009A (ja) 1995-05-12

Similar Documents

Publication Publication Date Title
US8941514B2 (en) Image coding and decoding system using variable length coding and variable length decoding
US5604494A (en) Efficient encoding/decoding apparatus
JP2955363B2 (ja) 画像データを符号化するための方法
JP3252567B2 (ja) 高能率符号化復号化装置
JPH06292019A (ja) 画像データ圧縮装置と画像符号圧縮装置
JPH07153195A (ja) ディジタル記録装置
In et al. JPEG compliant efficient progressive image coding
JP3381391B2 (ja) 画像圧縮符号化装置及び画像圧縮復号化装置
JPS6168775A (ja) テレビジヨン信号デイジタル記録再生装置
JP2669278B2 (ja) 映像信号処理装置
KR100272101B1 (ko) 디지털비디오신호처리장치
de With A new single-table bit assignment technique for transform coded images
JPS62168426A (ja) 直交変換予測符号化方式
JPH07184204A (ja) 画像信号の伝送方法、画像信号の伝送装置
JPH03297274A (ja) 画像データ処理方式
JPH0496487A (ja) 直交変換符号化装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20011023

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071122

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees