JP3155383B2 - 2モード処理装置、2次元変換装置及び静止画像データの圧縮システム - Google Patents

2モード処理装置、2次元変換装置及び静止画像データの圧縮システム

Info

Publication number
JP3155383B2
JP3155383B2 JP03381393A JP3381393A JP3155383B2 JP 3155383 B2 JP3155383 B2 JP 3155383B2 JP 03381393 A JP03381393 A JP 03381393A JP 3381393 A JP3381393 A JP 3381393A JP 3155383 B2 JP3155383 B2 JP 3155383B2
Authority
JP
Japan
Prior art keywords
mode
value
processing device
vectors
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03381393A
Other languages
English (en)
Other versions
JPH0646269A (ja
Inventor
ピー ボーリック マーティン
ディ アレン ジェイムス
エム ブロンスタイン スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH0646269A publication Critical patent/JPH0646269A/ja
Application granted granted Critical
Publication of JP3155383B2 publication Critical patent/JP3155383B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Complex Calculations (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の背景と概要】本発明は、2モード処理装置、2
次元変換装置及び静止画像データの圧縮システムに関す
る。
【0002】高品位画像を圧縮してメモリ又は転送の条
件を節約しなければならない場合、情報がもっと小さく
表現し得る別の空間に画像を第1に転送するのが一般的
である。これは、通常、ブロック毎に線形変換(マトリ
クス逓倍)により行なわれる。典型的な構成は、8画素
の行成分について8点変換を実行し、次いで、この行変
換した画像の8画素の列成分について8点変換を実行す
る。8×8のブロックに配置された64画素の画素ブロ
ックについて1回に64画素変換を実行しても同等であ
る。
【0003】1次元変換のよい選択は、数1に示すよう
な、独立したチェビチェフ変換である。
【数1】 F(u)=c(u)* sum f(i) * cos u(2i+1)pi/16 (ただし、sum はi=0〜7に関する)ここで、
【数2】 である。
【0004】この変換には、幾つかの利点が存在する。
即ち、 a) 圧縮は幾つかの基準でほぼ最適である b) この変換とその逆向き変換を実行するために高速
計算アルゴリズムが存在する c) 文献“アチェロイ,M.「画像シーケンスの再現
用DCTの使用」、SPIE第593巻医用画像処理
(1985年)”に記載の、ある種の仮定に基づけば、変換
空間内でデブラリング(初期画像の拡張)が容易に実行
可能である ことを含む。
【0005】
【発明の目的】本発明の目的は、静止画像データの伸長
方法、圧縮方法及びそのための対応装置を提供すること
である。本発明のさらなる目的は、JPEG規格と互換
性を保てる静止画像データの圧縮方法並びにその対応装
置を提供することである。本発明の別の目的は、データ
圧縮の量子化及び圧縮段階におけるビットの使用の最適
化である。本発明の別の目的は、量子化及び係数圧縮を
統合するデータ圧縮方式における自乗平均値エラーの最
小化である。本発明のさらなる目的は、データ圧縮の範
囲、並びに、解像度を最適化する方法における一定量の
ビットの使用である。本発明のさらなる目的は、小さい
量子化の値について解像度にJPEG規格H.261仕
様を適合させることである。より特定すれば、本発明の
目的は、16入力1出力のマルチプレクサ及び16ビッ
ト乗算器を用いることにより、ダイナミックレンジ28
ビットで量子化の予備圧縮を可能にするための方法を提
供することである。本発明の別の目的は、処理のパイプ
ライン化実装において、最大限の利点まで一般化チェン
変換の速度を使用することである。本発明のさらなる目
的は、変換を実行するために要求されるゲート数を最小
限に抑えることである。より特定すれば、本発明の目的
は、変換の加算回路ネットワーク部分の速度の利点を用
いて同一ハードウェアによる垂直方向及び水平方向の変
換の追加を実行することである。本発明のさらなる目
的、利点及び新規の特徴は、以下の詳細な説明に詳述さ
れ、また、当業者には、以下の詳細な説明の検討により
明らかになり、又は、本発明の実施例から見出されよ
う。本発明の目的及び特徴は、特許請求の範囲に示され
ている構成要素及びその組合せを用いて実現達成し得る
ものである。
【0006】
【本発明の理論面の議論】画像の圧縮及び再生(伸長)
のための完全なシステムは、以下の如く、表現し得る。 64画素入力 ↓ A)ディスクリート・チェビチェフ変換(又は類似の行変換) ↓ B)ディスクリート・チェビチェフ変換(又は類似の列変換) ↓ Z)(オプション)↓ 難度分類 ↓ C)レート・スケーラによる乗算 ↓ D)心理的要因の重みによる乗算 ↓ E)デブラリング重みによる乗算 ↓ F)閾値化、量子化、符号化及び転送 ↓ G)受信、復号、補間 ↓ H)逆レート・スケーラによる乗算 ↓ I)逆向き心理的要因の重みによる乗算 ↓ J)逆ディスクリート・チェビチェフ変換 ↓ K)逆ディスクリート・チェビチェフ変換 ↓ L)画素ブロック周辺の円滑化 ↓ 再生した64画素 → 隣接画素
【0007】上記手順は本発明を記述しており、任意の
段階(L,Z)を省略することにより、現在の技術も説
明している。デブラリング重みによる乗算(段階E)
は、復号段階(例えば、段階Iの後)で実行することも
可能である。デブラリングは入力装置の点拡散関数の補
償のために行なわれる。これは、装置に合わせて設定す
るか、又は、入力画像が既に強調されている場合は排除
されねばならない。画像を際立たせるその他の良い方法
も存在するが、ここに図示した方法は計算が安く済み、
ある種の用途、例えばカラー複写装置に適している。
【0008】計算負荷の大半が最終的な乗算過程よりな
るように前向き変換(A,B)の計算を配置することが
可能である。これらの乗算器の積、並びに、段階(C,
E)のそれを予め計算しておくことで、圧縮過程を進捗
させることができる。同様に、計算負荷の大半が予備的
乗算過程からなるように逆向き変換(J,R)の計算を
配置することも可能である。ここでも、積の予備計算に
より計算(H,I)の段階の労力は効果的に排除され
る。さらに、別の変換を2次元ディスクリート・コサイ
ン変換(2次元DCT変換)に置換え、さらなる計算の
簡略化が得られる。さらに、心理的要因の重みを選択的
に変化させて段階(B,D)の統合乗算器で計算効率を
上げる、例えば、自乗に比例させるようになすことがで
きる。低エネルギー出力変換素子の心理的要因の重みの
小さな変化は、画像の品位又は圧縮比に対して殆ど効果
を有さない。最後に、後述する図1の段階(L,Z)、
画像の難易度分類及びブロック周辺の円滑化に注意すべ
きである。これらは任意であり、本発明の主題とは独立
しているので、本明細書では最小限の議論しか加えない
こととする。
【0009】…チェン・アルゴリズム… 1次元チェン・アルゴリズム(文献“チェン,Wら、
「DCT用高速計算アルゴリズム」IEEE Trans.
Commun. COM-25号(1977年)”参照)は、
【数3】X=2/N N x のようなものである。ここで、xはデータのベクトル、
Xは変換されたベクトル、また、AN は、
【数4】AN =c(k) cos((2j+1)kπ/2N) ;j,k=0,1,2,…,N−1 で示される。
【0010】さらに、このようなAN は次の行列式
【数5】 で分解することができる。ここで、RN/2 は、
【数6】 RN/2 =c(2k+1)cos((2j+1)(2k+1)π/2N) ;j,k=0,1,2,…,N/2−1 である。
【0011】行列式Zは、チェン行列である点に注意さ
れたい。本出願においては、行列式Pとの混乱を回避す
るために表記方法を変更してある。
【0012】…8点(N=8)1次元チェン変換の実施
例… 8点で行なうためには、数5に示すチェン・アルゴリズ
ムを2回再帰的に使用する。第1の反復では、行列式Z
8 ,R4 ,B8 を使用する。第2の反復では、A4 につ
いて解き、行列式Z4 ,R2 ,A2 ,B4 を用いる。こ
れらは上述の式又はチェンの論文“チェン,Wら、「D
CT用高速計算アルゴリズム」IEEETrans. Commu
n. COM-25号(1977年)”から簡単に導ける。
【0013】
【数7】
【0014】ここで、Z8 は数8、B8 は数9、R4
数10、Z4 は数11、B4 は数12、R2 は数13、
2 は数14に各々示される。
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】 ここで、数6から、
【数15】Cn= cos(nπ/16) である。
【0015】…チェン・ウ(変法)又はパラメータ変換
… これまでに行なわれてきたのはチェン変換である。これ
を乗算して、計算の節約を実現し、集中的DCT実装を
乗算している。しかし、これは出願人が提供したもので
はない。乗算を最小限に減少するには、行列式を数16
ないし数18のようにパラメータを取り直す。これは出
願人がチェン・ウ(変法)と呼ぶもので、出願人による
創作物である。
【0016】
【数16】
【数17】
【数18】
【0017】ここで、a,b,c,rは数19に示され
る。
【数19】 a=C1/C7=sin(7π/16)/cos(7π/16) =tan(7π/16) b=C2/C6=tan(6π/16) c=C3/C5=tan(5π/16) r=C4 =tan(4π/16)
【0018】対角線行列式RF4 は、パラメータ化して
いない行列式RA4 の標準化因数を含んでいる点に注意
されたい。また、対角線行列式はR2 及びA2 の定数か
ら作られ得ることにも注意されたい。
【0019】A8 行列の再生において、2つの行列式が
分離される。対角線行列式は主行列式から分離しておか
れる。主行列式はBN 項により乗算される。適切な再配
置と定数項による乗算の後、数3は数20のように減少
する。
【0020】
【数20】 X=Q(a,b,c) P(a,b,c,r)x ここで、Q(a,b,c)は数21、P(a,b,c,
r)は数22に示される。
【数21】
【数22】
【0021】…一般化変換… 一般化8ビットDCT変換は4つのパラメータa,b,
c,rから求まり、数23のように表わすことができる
【数23】 T(a,b,c,r) =P(a,b,c,r) XQ(a,b,c) ここに、P( ),Q( )は上述した通りである。
【0022】画像の変換は、2つのこうした変換T、各
々Tv 及びTh が各々垂直方向及び水平方向の画像の変
換に必要とされる。完全な2次元変換は数24のように
表現される。
【数24】[F]=[Tv ]^t[f][Th ] ここで、fは入力画像のブロック、Fは出力変換係数、
また、べき乗数“t”は行列の変換を表わす。ここで、
全ての行列は8行8列である。
【0023】対角線行列(例えば、Q)は、それ自身の
変換であるから、全ての行列について、
【数25】 [A]^t[B]^t=([B][A])^t [Tv ]=[Pv ][Qv ] [Th ]=[Ph ][Qh ] で表される。そこで、数24を書き改めると、
【数26】 [F]=[Qv ][Pv ]^t[f][Ph ][Qh ] となる。
【0024】これは、数27のように表すこともでき
る。
【数27】F(i,j) =q(i,j) *g(i,j) ここで、
【数28】 [g]=[Pv ]^t[f][Ph ] q(i,j) =Qv (i,i) *Qh (j,j) である。
【0025】画像ブロックの変換に際して、チェン・ウ
変換を用いて[g]について解き、次いで係数q(i,j)
で乗算することになる。いま、
【数29】 Pv =P(a,b,c,rv ) Ph =P(a,b,c,rh ) とすれば、上述の変換の逆方向は、数30のように表現
される。
【数30】 [f]=[Pv′][Qv ][F][Qh ][Ph′]^t ここで、Pv′,Ph′は数31に示される。
【数31】 Pv′=P(a,b,c,1/2rv ) Ph′=P(a,b,c,1/2rh ) また、解法はチェン・ウ変換経由である
【0026】…チェンのアルゴリズム… 1次元又は2次元チェビチェフ変換とその逆の計算を高
速化するために幾つかの方法が工夫されてきた。周知の
アルゴリズム(チェン)…文献“クーリー及びタキー,
JW.「(高速)フーリエ級数のアルゴリズム」 Math
Comput、第19巻90号、296〜301ページ、19
65年”又は、文献“チェン,Wら、「DCT用高速計算
アルゴリズム」IEEE Trans. Commun. COM-25号
(1977年)”参照…では任意の8組を上記の行列Tで乗
算し、乗算16回、加算13回、また、減算13回だけ
を使用している。このアルゴリズムはパラメータa,
b,c,rの何らかの特別な属性に依存するものではな
い。
【0027】…チェン・ウ・アルゴリズム(変法)… 上述のように、[T]=[P][Q]と因子をとること
により、チェンのアルゴリズムは2つの段階に分割さ
れ、[Q]による乗算では8回の乗算を使用し、[P]
による乗算においては8回の乗算と残りの数値計算を使
用する。これは、[Q]についての選択の結果であり、
[P]の幾つかの要素は“1”又は“−1”となり、計
算が消滅している。
【0028】上記で指摘したように、同様の単純化が逆
変換、2次元変換及び逆向き2次元変換に適用される。
8×8ブロックでは正方向又は逆方向2次元変換
([q]による乗算を除く)の何れかで128回の乗算
を用いている。チェンのアルゴリズムの内部的なデータ
の流れを見ると、これらの乗算は8つの加算/減算段階
の構造と4つの乗算段階に埋め込まれている。
【0029】チェンのアルゴリズムがパラメータa,
b,c,rに拘らず作用することを強調するのは重要で
ある。しかし、従来技術で使用されてきた8点DCT
は、次のような「真のコサイン変換」のパラメータを有
している。 a=tan(7*pi/16) b=tan(6*pi/16) c=tan(5*pi/16) r=sqrt(1/2)=0.70710678… そこで、行列Tで直交するように必要かつ十分なrを選
択する。
【0030】…パラメータ値の選択… チェン変換は、パラメータa,b,c,rに選択した値
によらず動作する。これは、QPにより生成した変換が
直交するためである。あらゆる数を使用して圧縮する必
要のある画像データの所望の非相関を実行し得るような
変換を有することは全く可能である。この変換は、ディ
スクリート・コサイン変換ではなく、また、DCTの近
似でもないことに注意されたい。これは、それ自体の変
換である。
【0031】しかし、効率的な入力画像の非相関のため
に、また、比較的有意な空間頻度係数への変換のために
は、一般的にDCTが極めて望ましいとされている(文
献“リー,BC.「高速コサイン変換」IEEE AS
SP、第33巻(1985年)”参照)。よって、DCTの
長所を実現するためには、パラメータが数19に示した
DCTのそれに近似させて設定されることになる。対抗
する要因は、計算の効率である。加算は乗算より安い
(ハードウェア的な節約はシリコン資源であり、ソフト
ウェア的な節約はサイクル数である)ので、パラメータ
は計算面で効率的になるように選択される。
【0032】…他のアルゴリズム… その他の計算法もディスクリート・チェビチェフ変換用
に工夫されてきた。例えば、リーによるアルゴリズムは
8点1次元及び64点2次元変換を各々12回と144
回の乗算で実行している(文献“ウ,H.R.及びパオ
リーニ,FJ.「2次元高速コサイン変換」IEEE画
像処理カンファレンス、第1巻(1989年)”又は、文献
“リー,BC.「高速コサイン変換」IEEE ASS
P、第33巻(1985年)”参照)。
【0033】しかし、これらの「より高速な」アルゴリ
ズムはチェン・アルゴリズムと比較した場合、以下のよ
うな幾つかの欠点を有している。 a) T=P×Qの単純化(及び逆向き変換について同
様の因数分解)が動作しなくなる。対角線行列Qの分離
は、これ以降の単純化に必須である。 b) これらのアルゴリズムは任意のパラメータa,
b,c,rについて機能しない。その代り、これらは真
のコサイン・パラメータについて特に有効な三角法の各
種属性に依存している。 c) これらのアルゴリズムはさらに構造的に複雑であ
る。これは、工学的に障害となり得るもので、数値の不
安定の可能性を増大させる。
【0034】…発明の詳細な説明… A] 前述した理論面での議論でのシステムを再度参照
すると、段階(C,D,E)が「Q」から導いた前向き
変換後置乗算器に組込まれ得ることがわかる。同様に、
段階(H,I)は逆向き変換前置乗算器に組込むことが
できる。これは、レート・スケーラ演算、心理的要因の
重み付け演算(一般に、量子値として公知である)、ま
た、デブラリング重み演算は全て点乗算演算である。
b,c,d,eが各々段階B,C,D,Eの出力の場
合、
【数32】 c(i,j) =b(i,j) *q(i,j) d(i,j) =c(i,j) *r(i,j) =b(i,j) *q(i,j) *r(i,j) e(i,j) =d(i,j) *u(i,j) =b(i,j) *q(i,j) *r(i,j) *u(i,j) 又は、
【数33】e(i,j) =b(i,j) *all(i,j) で表される。ここで、all(i,j) は
【数34】 all(i,j) =q(i,j) *r(i,j) *u(i,j) である。また、q(i,j) はレート・スケーラであり、r
(i,j) は心理的要因として選択された(又は利用者の選
択した)量子化重みであり、u(i,j) はデブラリング重
みである。同様に、段階H及びIを統合することができ
る。
【0035】これは明らかに、レート・スケーラ、適合
重み付け及びデブラリング関数が余分な計算のオーバー
ヘッド無しで提供されていることを意味している。上述
のように、この方法は、リーのアルゴリズムなどのよう
な「高速」アルゴリズムには適用できない。
【0036】B] チェンのアルゴリズムは、パラメー
タa,b,c,rにより動作するから、DCTに匹敵す
る品質及び圧縮が得られるが、高速の乗算が行なえるよ
うな値を選択することになる。
【0037】以下のパラメータは、DCTのパラメータ
と適度に近似しているが大幅に計算効率が高い。 a=5.0 b=2.5 c=1.5 r=0.75 乗算は、ここで大幅に簡単な算術計算に置換される。例
えば、5倍はcopy;shift-left-2;addになる。1.5倍
はcopy;shift-right-1;addになる。これ以外では、有理
乗数の逆向き分子は結合乗数[q]に因数分解し得る。
よって、2.5倍は各々影響する項と影響しない項で5
倍と2倍の乗算になり得る。
【0038】後者の考え方だと、本来のチェン・アルゴ
リズムにおけるパラメータr=0.75の取扱いは、4の乗
算96回と3の乗算4回を必要とする。2次元実装にお
けるウ・パオリーニの改善では乗算段階全体が排除さ
れ、これは16の乗算36回、12の乗算24回、及び
9の乗算4回となる(逆向き変換では9の乗算36回、
6の乗算24回、4の乗算4回を使用する)。
【0039】計算速度のコストについては、コサイン変
換に近いパラメータ値も選択し得る。b=12/5、及び/
又は(and/or) 、r=17/24の置換が可能である。も
う一つの興味深い置換は、 rRow=0.7008333 (17/24) rCol=0.7 (7/10) である。
【0040】ここで、わずかに異なる変換(別のパラメ
ータr)を行と列について使用している。ウ・パオリー
ニ法で求まる乗数を単純化するためにこれを行なってい
る。この方法だと、15の乗算36回、85/8の乗算
12回、21/2の乗算12回、119/16の乗算4
回が得られる(逆向き変換では119/16の乗算36
回、85/16の乗算12回、21/4の乗算12回、
15/4の乗算4回を使用する)。
【0041】上記で解説した方法では、全ての乗数は圧
縮器(コンプレッサ)における結合乗数[q]と伸長器
(デコンプレッサ)における結合乗数[q]以外で高速
かつ安価となった。これらの各々は変換素子当たり1回
の乗算を要求する。後者は変換係数の大半が“0”とな
るように、また、“0”以外の係数が特別に取扱い得る
“0”に極めて近い整数となるように単純化される。
【0042】C] 圧縮器において、さらなる技術を用
いて結合乗数[q]の計算コストを減少する。レート・
スケーラは現実には任意の値であり、[q]行列要素の
計算を単純な値、例えば、2乗とするには2点間で調節
されることになる。これら64個の調節が1回だけ実行
される必要がある(レート・スケーラ及びデブラリング
・フィルタを指定した後)。
【0043】例えば、結合乗数の要素C及びこれに対応
する伸長乗数要素Dが、 C=0.002773 D=0.009367 だったとすると、近似C≒3/1024=0.002930が発見さ
れ、乗算を単純化するために使用される。これにより
C′=3/1024、D′=D*C/C′≒0.008866 とな
る。
【0044】
【1次処理の詳細な説明】…注意事項… a) 量子化変換空間においては一定の幅(w)とすべ
き係数量子化「AC」の非0段階をとり、また、幅(w
*q)とすべき0段階をとるのが便利かつ効果的であ
る。さらに、q=2は算術的に便利であり、広範囲の圧
縮因子に渡る品質についてほぼ最適である。説明におい
て、“=2”(「倍幅ゼロ」)をとっているが、本発明
はあらゆる可能なqをとり得る。 b) 以下のアルゴリズムは、高精度計算によって1回
だけ実施されるステップ2,4及び8の中間確定を除
き、精密度の限定されている2の補数の2進整数算術の
ために設計してある。さらにまた、ステップ9.1をさ
らに除外すると、本論に記載した整数乗数はコストと速
度について最適化されている。例えば、以下の乗算 Nrr*Nrc=Drr′*Drc′=1.75*4.25=7.4375 を考えると、同一性7.4375=(8−1)*(1+1/16)を
選択することでシフトと加算による乗算が効率的に行な
われている。 c) デブラリング乗数は、ここではステップ8に示し
てあるが、通常、ステップ4において行なわれるべきも
のである。多くの用途において、伸長器は画像のデブラ
リングを如何に又はどのように行なうべきか否かを「知
らない」。Thr( )の最良の値は、入力装置とデブラ
リング法に依存することに注意されたい。推奨される方
法は、値m(i,j) について(ステップ8参照)、圧縮時
間で計算し(ステップ4参照)、また、圧縮画像の一部
として転送又は保存することである。 d) 後続の計算を並列化、時系列化、又は、断片化す
る幾つかの明確な方法が存在する。所定のハードウェア
構成について好適な方法は自明である。
【0045】…疑似符号の実施例… 本出願のこの部分は、基本的に文章と疑似符号で解説し
た本発明の好適実施例である。パラメータ化、前述した
数34と同様の全(i,j) の計算、前向きGCTの本体の
実行、逆方向の全(i,j) の計算、逆GCTの本体の実行
を含む複数の章を有する。
【0046】ステップ1 パラメータa,b,c,rは既に示した通りである。行
と列との双方について、rの値が存在することに注意さ
れたい。2次元GCTは、分離可能な変換であり、2工
程で実行可能だが、対称性をなすように要求する制約は
存在しない。よって、圧縮(スケーリング)要因は、図
示したように非対称性となり得る。
【0047】分子Nと分母Dの均衡は、上記の値に等し
くなり得る分子及び分母の考え得る組合せを示してい
る。GCT実装の設計者は加算回路アレイ中に使用する
実際の値に予知を有している。値の選択は最終的乗算段
階で補正されることになる。
【0048】即ち、
【数35】 tan 7*pi/16 ≒a =Na/Da tan 6*pi/16 ≒b =Nb/Db tan 5*pi/16 ≒c =Nc/Dc sqrt(0.5) ≒rRow =Nrr/Drr sqrt(0.5) ≒rCol =Nrc/Drc 0.5/rRow =rRow′ =Nrr′/Drr′ 0.5/rCol =rCol′ =Nrc′/Drc′ を、上述のように一般化チェン変換のパラメータとして
選択する。「分子」Nと「分母」Dは整数でなくともよ
いが、計算に便利なように選択する。幾つかの有用な組
合せは、 Na=5,Nb=3,Nc=1.5,Nrr=1.75,Nrc=4.2
5,Nrr′=1.25,Nrc′=3,Da=1,Db=1.25,
Dc=1,Drr=2.5,Drc=6,Drr′=1.75,Drc′
=4.25 である。
【0049】また、繰返すが、本発明は上記タンジェン
トへの有理数の近似を全て含むものである。これによ
り、必要とされる標準化圧縮(標準化スケーラ)を計算
する。
【0050】ステップ2 また、
【数36】 U(0)= U(4)= sqrt(0.5) U(1)= U(7)= 1/sqrt(Na*Na+Da*Da) U(2)= U(6)= 1/sqrt(Nb*Nb+Db*Db) U(3)= U(5)= 1/sqrt(Nc*Nc+Dc*Dc) とも書き表せる。
【0051】ステップ3 iを、(画像空間内の)縦位置、又は、(変換空間内
の)垂直方向の一連の変化を表す{0,1,2,3,
4,5,6,7}のインデックスとする。同様に、j
を、(画像空間内の)横位置又は(変換空間内の)水平
方向の一連の変化を表す{0,1,2,3,4,5,
6,7}のインデックスとする。Debl (i,j) がデブラ
リング係数を表わし、デブラリングしない場合にはDeb
l( )=1とする。Thr(i,j) は、例えばCCITTの
勧告する逆向き心理要因の重み付けを表わす。v(i,j)
は、画像(広がり)空間内の幾つかのルミナンス値を表
わす。L(i,j) は、変換(圧縮)空間内の変換されたル
ミナンス値を表わす。Sは、再生に使用される算術的正
確性を表わす任意の小さな整数とする。
【0052】心理的要因の重み1/Thr(i,j) は、一般
化チェン変換の各々のパラメータの組について再最適化
を行なう。しかし、ステップ1で与えられているパラメ
ータは、同一の行列式Thr( )が最適なCCITTのパ
ラメータに十分近似している。
【0053】ステップ4 ここでは、g(i,j) が全ての(i,j) と等しい。変換位置
(i,j) 64ヶ所に渡る反復で、数37を満足するように
k(i,j) 及びs(i,j) を解くと、
【数37】 q(i,j)<{M*U(i)*U(j)*2^s(i,j)}/{k(i,j)*Zr(i)*Zc(j)*Thr(i,j)} である。右辺を可能な限りg(i,j) に近付くようにな
し、s(i,j) を整数とすると、ここで、
【数38】 q(i,j) =1.0, k(i,j)in{1,3,5,7,9} ただ
し、i+j<4 q(i,j) =0.9, k(i,j)in{1,3,5} ただし、i+
j<4 q(i,j) =0.7, k(i,j)=1 ただし、i+
j<4 Zr(i) =1 (i=0,1,2又は3の時) Zr(i) =Drr, (i=4,5,6又は7の時) Zc(j) =1 (j=0,1,2又は3の時) Zc(j) =Drc (j=4,5,6又は7の時) Zr′(i) =1 (i=0,1,2又は3の時) Zr′(i) =Drr′ (i=4,5,6又は7の時) Zr′(j) =1 (j=0,1,2又は3の時) Zr′(j) =Drr′ (j=4,5,6又は7の時) である。因数g(i,j) は選択した寸法に関係なく量子化
バイアスをなすことを意図している。
【0054】ステップ5 …前向きGCT(フォワードGCT)の実行…… ステップ5は、前向き変換の疑似符号実行である。以下
のステップでは、断片化フォームにおける2次元変換を
実行する。ルミナンス値v( , ) の8×8ブロック毎に
以下の実行を画像全体に反復する。
【0055】ステップ5.1 値を準備する。
【数39】 M(i,0) = V(i,0) + V(i,7) M(i,1) = V(i,1) + V(i,6) M(i,2) = V(i,2) + V(i,5) M(i,3) = V(i,3) + V(i,4) M(i,4) = V(i,3) − V(i,4) M5(i) = V(i,2) − V(i,5) M6(i) = V(i,1) − V(i,6) ;i=0,1,2,…,7に対する
【0056】ステップ5.2 値を準備する。
【数40】 H(0,j) = M(0,j) + M(7,j) H(1,j) = M(1,j) + M(6,j) H(2,j) = M(2,j) + M(5,j) H(3,j) = M(3,j) + M(4,j) H(4,j) = M(4,j) − M(4,j) H5(j) = M(2,j) − M(5,j) H6(j) = M(1,j) − M(6,j) H(5,j) = H6(j) + H5(j) H(6,j) = H6(j) = H5(j) H(7,j) = M(0,j) − M(7,j) ;j=0,1,2,…,7に対する
【0057】ステップ5.3 各々のH(i,j) を乗算す
る。
【数41】i=0,1,2又は3の時; Nrc (j=5又は6の時) Drc (j=4又は7の時) 1(ノーアクション)(j=0,1,2又は3の時) i=4又は7の時; Drr Nrr (j=5又は6の時) Drr Drc (j=4又は7の時) Drr (j=0,1,2又は3の時) i=5又は6の時; Nrr Nrr (j=5又は6の時) Nrr Drc (j=4又は7の時) Nrr (j=0,1,2又は3の時)
【0058】ステップ5.4 値を準備する。
【数42】 E(0,j) = H(0,j) + H(3,j) E(1,j) = H(7,j) + H(5,j) E(2,j) = H(0,j) − H(3,j) E(3,j) = H(7,j) − H(5,j) E(4,j) = H(I,j) + H(2,j) E(5,j) = H(6,j) − H(4,j) E(6,j) = H(I,j) − H(2,j) E(7,j) = H(6,j) + H(4,j) F(0,j) = E(4,j) + E(0,j) F(4,j) = E(0,j) − E(4,j) F(2,j) = Db*E(6,j) + Nb*E(2,j) F(6,j) = Db*E(2,j) + Nb*E(6,j) F(1,j) = Da*E(7,j) + Na*E(1,j) F(7,j) = Da*E(1,j) + Na*E(7,j) F(3,j) = Dc*E(5,j) + Nc*E(3,j) F(5,j) = Dc*E(3,j) + Nc*E(5,j) ;j=0,1,2,…,7に対する
【0059】ステップ5.5 値を準備する。
【数43】 Z(i,0) = F(i,0) + F(i,e) Z(i,2) = F(i,0) − F(i,3) Z(i,4) = F(i,1) + F(i,2) Z(i,6) = F(i,1) + F(i,2) Z(i,1) = F(i,7) + F(i,5) Z(i,3) = F(i,7) − F(i,5) Z(i,5) = F(i,6) − F(i,4) Z(i,7) = F(i,6) + F(i,4) G(i,0) = Z(i,4) + Z(i,0) G(i,4) = Z(i,0) − Z(i,4) G(i,2) = Db*Z(i,6) + Nb*Z(i,2) G(i,6) = Db*Z(i,2) − Nb*Z(i,6) G(i,1) = Da*Z(i,7) + Na*Z(i,1) G(i,7) = Da*Z(i,1) − Na*Z(i,7) G(i,3) = Dc*Z(i,5) + Nc*Z(i,3) G(i,5) = Dc*Z(i,3) − Nc*Z(i,5) ;i=0,1,2,…,7に対する
【0060】これ以外でも、変換を1次元変換によって
2工程に分割することが可能である。以下は、1次元変
換経路の一実施例である。図8及び図9にこれらのステ
ップを示す。
【0061】
【数44】 数44に示すこれらの等式の内の全ての乗数は、シフト
及び加算操作により実行されることに注意されたい。こ
れを、GCTの行列形状と関連付けるには、ベクトル点
Y6を実施例のように実証する。
【0062】
【数45】 Y6=C1−C4 =(1.25 B1) − (3 B4) =1.25(A1−A2) − 3(A4−A3) =1.25((X0+X7) − (X3+X4)) − 3((X1+X6) − (X2+X5)) =1.25 X0−3 X1+3 X2−1.25 X3+1.25 X4+3 X5−3 X6+1.25 X7 Y6/1.25=X0−2.4 X1+2.4 X2−X3+X4+2.4 X5−2.4 X6+X7 =|1 −b b −1 1 b −b 1| x ここで、b=2.4である。これは、等式の行列式Pの
6行目である。1.25による除算はレート・スケーラ
行列中に集められているスケーリング因子である。8×
8画素ブロックの行データはこの加算回路アレイを通過
する。得られた1次元周波数成分は移項され同一のアレ
イを再び通過する。
【0063】ステップ6 ステップ5.5の後、各々の画像の下位ブロックにおい
て、また、64の位置(i,j) 各々について、ステップ4
からk(i,j) 及びs(i,j) を用いて数46に示すような
値を準備する。
【数46】 L(i,j) =G(i,j) *k(i,j) *2^(-s(i,j)) しかし、これが負の場合(又は、i=j=0)、これに
1を加算する。この結果が変換係数L(i,j) である。
【0064】…ステップ6についての注釈… ここでの計算は単純で、これは、−k(i,j) が必ず1,
3,5,7又は9、かつ、常に1であるためと、−2^
(-s(i,j)) の乗算が単純に右シフト(又は、Mが極めて
大きく選択されていればおそらく左シフト)であるため
である。数学的右シフトは、必ず、まるめが起こる。0
に向かってのまるめが実際に望ましく、よって、表現
「if (negative) add 1」である。i=j=0の時の1
の加算は、v(i,j) ≧0に依存し、これは、以下のステ
ップ9.1の宣言を単純化するための装置でしかない。
【0065】ステップ7 値L(i,j) の符号化、保存及び/又は送信 最終的にこれらの値が取込まれ画像は次の段階で再生さ
れる。
【0066】ステップ8 これは全(i,j) の反転バージョンである。64ヶ所の変
換位置(i,j) について反復し、m(i,j) を
【数47】 m(i,j) ={U(i)2*U(j)2*Zr(i)*Zc(j)*Debl(i,j)}/(4-S-s(i,j)) Zr′(i)*Zc′(j)*k(i,j)*2 に最も近い整数として解く。ここで、s(i,j) 及びk
(i,j) はステップ4で既に解かれており、表現「Z」は
ステップ4で定義されている。また、A(i,j) を
【数48】 A(0,0) = {(2^(S-2))/Drc′*Drr′}−0.5*m(0,0) A(i,j) =m(i,j)*(25−i−j)/64 ;i=0又はj=0について に最も近い整数として選択する。
【0067】…ステップ8についての注釈… 値m(i,j) は、既にステップ4で予め計算しておき、圧
縮画像と共に送信してもよい。これは、定数項とm(i,
j) にのみ依存するA(i,j) には不要である。レート・
スケーラ及びデブラリング重みが固定されているような
用途において、m(i,j) 及びA(i,j) は定数項と見做さ
れる。係数2^Sはステップ9.2及びステップ10に
おいて、算術的右シフトで、この後除去されることにな
る正確度の剰余ビットを反映する。A(0,0) への調節
は、まるめバイアスを補正して、まるめ補正無しで以下
の出力の使用を可能にする。ここでも述べたように、A
(0,0) はステップ6におけるL(0,0) への1の加算に依
存する。補間“(25−i−j)/64”は発見学習的である
が、自乗平均誤差検出における最適近似値である。さら
に、20に断片化したバージョンである。
【0068】ステップ9 変換された画像について反復し、上記ステップ5で導い
た変換ルミナンス値L( , ) の8×8ブロック各々につ
いて、以下を実行する。
【0069】ステップ9.1 値を準備する。
【数49】 L(i,j) >0の時; E(i,j) =L(i,j)*m(i,j) + A(i,j) L(i,j) <0の時; E(i,j) =L(i,j)*m(i,j) − A(i,j) L(i,j) =0の時; E(i,j) =0 ;各々の(i,j) について、i=0,1,2,…,7、 j=0,1,2,…,7に対する A(0,0) は必ず加算されることを意味する。本発明も、
検査“L(0,0) >0”が行なわれず、ステップ6,8が
上記のように(任意で)単純化されない部分を包括して
いる。実際には、小さな乗算、例えば、−11<L(i,
j) <11を乗算の計算費用を節約すべき特例として認
識すべきである。
【0070】ステップ9.2 半導体装置の費用を減少
させるために利便であれば、数値E(i,j) を位置S1の
任意の数で右シフトする。これらのシフトは、本法のあ
る種の実現において「自由」であることに注意された
い。シフトが自由ではないような実現方法において、E
(i,j) が0となる場合にこれを無視するように選択して
もよい(又は、S1=0と設定しておくことにより、全
てのシフトを排除するように選択することも可能であ
る。)
【0071】ステップ9.3 もう一度、2次元の形状
において値を準備する。
【数50】 F(0,j) = E(4,j) + E(0,j) F(4,j) = E(0,j) − E(4,j) F(2,j) = Db*E(6,j) + Nb*E(2,j) F(6,j) = Db*E(2,j) − Nb*E(6,j) F(1,j) = Da*E(7,j) + Na*E(1,j) F(7,j) = Da*E(1,j) − Na*E(7,j) F(3,j) = Dc*E(5,j) + Nc*E(3,j) F(5,j) = Dc*E(3,j) − Nc*E(5,j) H(0,j) = F(0,j) + F(2,j) H(1,j) = F(4,j) + F(6,j) H(2,j) = F(4,j) − F(6,j) H(3,j) = F(0,j) − F(2,j) H(4,j) = F(7,j) − F(5,j) H5(j) = F(7,j) + F(5,j) H6(j) = F(1,j) − F(3,j) H(5,j) = H6(j) + H5(j) H(7,j) = F(1,j) + F(3,j) ;j=0,1,2,…,7に対する
【0072】ステップ9.4 値を準備する。
【数51】 G(i,0) = H(i,4) + H(i,0) G(i,4) = H(i,0) − H(i,4) G(i,2) = Db*H(i,6) + Nb*H(i,2) G(i,6) = Db*H(i,2) − Nb*H(i,6) G(i,1) = Da*H(i,7) + Na*H(i,1) G(i,7) = Da*H(i,1) − Na*H(i,7) G(i,3) = Dc*H(i,5) + Nc*H(i,3) G(i,5) = Dc*H(i,3) − Nc*H(i,5) M(i,0) = G(i,0) + G(i,2) M(i,1) = G(i,4) + G(i,6) M(i,2) = G(i,4) − G(i,6) M(i,3) = G(i,0) − G(i,2) M(i,4) = G(i,7) − G(i,5) M5(i) = G(i,7) + G(i,5) M6(i) = G(i,4) − G(i,3) M(i,5) = M6(i) −M5(i) M(i,6) = M6(i) +M5(i) M(i,7) = G(i,1) + G(i,3) ;i=0,1,2,…,7に対する
【0073】ステップ9.5 各々のM(i,j) を数52
に従い、乗算する。
【数52】i=0,2又は3の時; Nrc′ j=5又は6の時 Drc′ j=4又は7の時 1(ノーアクション) j=0,1,2又は3の時 i=4又は7の時; Drr′Nrc′ j=5又は6の時 Drr′Drc′ j=4又は7の時 Drr′ j=0,1,2又は3の時 i=5又は6の時; Nrr′Nrc′ j=5又は6の時 Nrr′Drc′ j=4又は7の時 Nrr′ j=0,1,2又は3の時
【0074】ステップ9.6 値を準備する。
【数53】 Z(i,0) = M(i,0) + M(i,7) Z(i,1) = M(i,1) + M(i,6) Z(i,2) = M(i,2) + M(i,5) Z(i,3) = M(i,3) + M(i,4) Z(i,4) = M(i,3) − M(i,4) Z(i,5) = M(i,2) − M(i,5) Z(i,6) = M(i,1) − M(i,6) Z(i,7) = M(i,0) − M(i,7) ;i=0,1,2,…,7について
【0075】ステップ9.7 値を準備する。
【数54】 Y(0,j) = Z(0,j) + Z(7,j) Y(1,j) = Z(1,j) + Z(6,j) Y(2,j) = Z(2,j) + Z(5,j) Y(3,j) = Z(3,j) + Z(4,j) Y(4,j) = Z(3,j) − Z(4,j) Y(5,j) = Z(2,j) − Z(5,j) Y(6,j) = Z(1,j) − Z(6,j) Y(7,j) = Z(0,j) − Z(7,j) ;j=0,1,2,…,7について
【0076】ステップ10 ステップ9.7の後、各々の画像の下位ブロックにおい
て64ヶ所の位置(i,j) の各々に対し、値を準備する。
【数55】V(i,j) = Y(i,j) *2^(S1-S) ここで、S及びS1は上記ステップ7,9.2で定義し
た任意の整数である。また、乗算は実際には右シフトで
ある。
【0077】ステップ11 実現するシステムにより変化するが、範囲の検証を実行
することが、ここで必要とされることがある。例えば、
ルミナンスの許容範囲が0≦v(i,j) ≦255であれ
ば0以下又は255以上のV(i,j) の値は各々0と25
5で置き換えることになる。値v(i,j) は、これで再生
された画像ルミナンス値となる。
【0078】
【2次処理についての考察】画像の圧縮又は品質を向上
させるために、さらなる方法をとり、1次処理を補足す
るのが通例である。ステップ10の後、画像の正確性
は、全ての画素の対V(8I+7,j)、V(8I+8,j)、及び、全
ての画素の対V(k,8J+7)、V(i,8J+8)(つまり、別の画
像ブロック内に分割されていた隣接画素)を通しての反
復により、また、例えば、Mをステップ4で用いたレー
ト・スケーラとし、分数表現が最適化に好適な近似でも
あるような(v2−v1)/max(2,11sqrt(M))
によって、これらの値v1,v2を各々増加させまた減
少させることにより改善し得る。
【0079】ステップ6を実行する前に、局部画像領域
の客観的難易度を、接頭符号“0”,“10”又は“1
1”の出力を各々に付けた3つの形式、単精度、倍精
度、4倍精度の一つに分類するのが望ましい。ステップ
6の計算は次式で置換される。
【数56】 L(i,j) = G(i,j)*K(i,j)^(P-s(i,j))*2 ここで、単精度、倍精度、4倍精度の各々について、p
=0,1又は2である。これは、付加精度が(増分の)
右シフトで排除される必要のあるステップ9.2におい
て補償される。
【0080】残念なことに極めて有効な単一の分類方式
は発見されていない。現在のところ難易度Pを次の4つ
の供給源 a) P left及びP upが隣接する画像領域の難易度 b) sum(i+j)G(i,j)′ 2)/sum(G(i,j)′2が変換エ
ネルギーの歪曲 c) −G(0,0) が反転平均ルミナンス d) max(sum over fixed width(Histogram(v(i,
j)))) の均一性 から導出するような厄介な手段を用いている。
【0081】ステップ7において、保存するか転送すべ
き変換データL( , ) は、さらにエントロピー符号化法
により減少することができる。ビット率に従って幾つか
の初期設定ホフマン・テーブルにCCITTの作成した
ジグザグ・ラン及びテンプレート符号(zigzag run and
template符号) を使用しており、また、推奨するもの
である。確定性については、以下の章でこれの実施例を
詳細に述べる。
【0082】…圧縮ファイルフォーマットの例… 圧縮された画像は、次のように表現される。 1)接頭辞(画像幅、高さ、レート・スケーラMなど) 2)画素ブロック0 画素ブロック1 画素ブロック2 … 画素ブロックN−1 3)接尾辞(あれば)
【0083】ここで、各々の画素ブロックは次のように
表現される。 1)精度符号(選択段階Zで決定する) 2)DC係数デルタ符号 3)AC係数符号(0又はそれ以上の回数反復) 4)ブロック終端符号
【0084】ここで、各々のAC係数符号は次のように
表現される。 1)9桁の0の拡張子(E回反復、E0) 2)ラン及びテンプレート符号の記述(R,T) 3)係数値符号(1ビット) 4)最上位ビットを削除した係数の絶対値(Tビット)
【0085】ここで、“R+(*E”は「ジグザグ」な
順番でこれに先行する0値の係数の数、また、Tは係数
の絶対値の最上位ビットのビット位置で、例えば、T=
3なら係数は11又は−11である。 ビット位置:876543210 11=000001011(2進) −−最上位ビット
【0086】DC係数デルタの選択又は符号化は詳述し
ないが、ACラン及びテンプレート(run and templat
e)符号としてもっと高いビット率で有用なホフマン符
号の例を下記に提示しておく。 なお、{0} はn個の連続する0(n=0,1,2,
3,…)、xxはw=0,1,2又は3として解釈され
る2ビット、xはw=0又は1として解釈される1ビッ
トである。
【0087】…128点及び256点変換… 前記の方法は、さらに大きな8×16又は16×16の
一般化チェン変換で使用可能である。さらに、一般化し
たチェン変換についての方法は、1次元16点GCT
が、次式のように与えられると記述することで明確にな
る筈である(「バタフライ順列」の行を伴い標準化後乗
算の必要がない)。
【0088】
【数57】
【0089】ここで、GCT 8(a,b,c,r),G
Q 8(e,f,g,h,r,s,t)は、数58に示さ
れる。
【数58】
【0090】さらに、「真のコサイン」パラメータは、
次式で示される。
【数59】 q= tan 15pi/32 ≒ 10.1532 a= tan 14pi/32 ≒ 5.0273 f= tan 13pi/32 ≒ 3.2966 b= tan 12pi/32 ≒ 2.4142 g= tan 11pi/32 ≒ 1.8709 c= tan 10pi/32 ≒ 1.4966 h= tan 9pi/32 ≒ 1.2185 r= cos 8pi/32 ≒ 0.7071 t= cos 12pi/32 ≒ 0.3827 s= cos 4pi/32 = t*b
【0091】使用しているパラメータは、次式の通りで
ある。
【数60】 e=10 a=5 f=3.25 b=2.4 g=1.875 c=1.5 h=1.25 r=17/240.708333 t=5/13 ≒ 0.384615 s=t*b=12/13 GQ 8(e,f,g,h,r,s,t)の反転は、GQ
8(e,f,g,h,1/2r,t′,b,t′)の移項
である。
【0092】ここで、
【数61】 b=s/t t′=1/(t+t*b*b) である。
【0093】…行列式の例… 行列式TPの移項 コサイン変換(a=5.02734,b=2.41421,c=1.4966
1,r=0.70711)
【数62】 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.2452 0.2079 0.1389 0.0488 -0.0488 -0.1389 -0.2079 -0.2452 0.2310 0.0957 -0.0957 -0.2310 -0.2310 -0.0957 0.0957 0.2310 0.2070 -0.0488 -0.2452 -0.1389 0.1389 0.2452 0.0488 -0.2079 0.1768 -0.1768 -0.1768 0.1768 0.1768 -0.1768 0.1768 0.1768 0.1389 -0.2452 0.0488 0.2079 -0.2079 -0.0488 0.2452 -0.1389 0.0957 -0.2310 0.2310 -0.0957 -0.0957 -0.2310 -0.2310 0.0957 0.0488 -0.1389 0.2079 -0.2452 0.2452 0.2452 -0.2079 0.1389
【0094】関連チェン変換(a=5.0、b=2.4、c=
1.5、r=0.7)
【数63】 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.1768 0.2451 0.2059 0.1373 0.0490 -0.0490 -0.1373 -0.2059 -0.2451 0.2308 0.0962 -0.0962 -0.2308 -0.2308 -0.0962 0.0962 0.2308 0.2080 -0.0485 -0.2427 -0.1387 0.1387 0.2427 0.0485 -0.2080 0.1768 -0.1768 -0.1768 0.1768 0.1768 -0.1768 -0.1768 0.1768 0.1387 -0.2427 0.0485 0.2080 -0.2080 -0.0485 0.2427 -0.1387 0.0962 -0.2308 0.2308 -0.0962 -0.0962 0.2308 -0.2308 0.0962 0.0490 -0.1373 0.2059 -0.2451 0.2451 -0.2059 0.1373 -0.0490
【0095】
【装置の詳細な説明】本発明についての詳細な説明を提
供したので、本発明の態様を具体化する装置について解
説する。以下の説明を通して、「点(point) 」は任意
の精度のスケーラ・レジスタ又はデータ経路を表わし、
通常、8ないし12ビットである。適切な精度を決定す
るための方法は公知である(文献“ジャラリ及びラオ.
「制限つきワード長とFDCT処理の正確性」IEEE ASS
P-81、第3巻ページ1180〜2”参照)。
【0096】ソフトウェアによる方法において、変換段
は統合されウ・パオリーニ拡張が採用された。好適実施
例の半導体装置では、単に8点変換装置を垂直方向及び
水平方向の検出に一つずつ2台提供するのが最も便利で
ある。垂直方向及び水平方向の変換の間で64点シフト
アレイを提供する必要があり、同様に変換部と符号化部
の間に緩衝装置を提供する必要がある。
【0097】本発明は、白黒用装置、及び/又は、圧縮
と伸長のための別個の装置を含むが、好適実施例(図
7)は3原色データを操作するコンプレッサ(画像デー
タ圧縮装置…図1(a))とデコンプレッサ(画像データ
伸長装置…図1(b))の両方を含んでいる。
【0098】データは8画素のベクトルでコンプレッサ
へ収容され(図2(a)参照)、これがさらに辞書の順
序で64画素のブロックに配置される。ブロックの処理
はパイプライン化されている(図2(b))。コンプレッ
サへの画素入力は、“R”(赤)と“G”(緑)と
“B”(青)よりなる。これらはルミナンス・クロミナ
ンス空間にすぐに変換される(このような変換の理由は
周知である)。
【0099】変換は、任意の固定又はプログラム可能な
係数(図3(a))を使用でき、又は、専用の用途で簡単
な値に「ハードワイヤ結線」しておくことも可能であ
る。変換空間は、ここではXYZで表記しているが、3
原色入力のあらゆる線形フォームを使用してもよく、C
CITT規格の(Y,R−Y,B−Y)もあり得る。実
際に、X,Y,Zの3つの値は、各々別個の白黒コンプ
レッサに供給される。デコンプレッサは図3と同一又は
同等の回路を使用するが、XYZベクトルが、ここでは
RGBベクトルに変換される点で異なっている。
【0100】値Y,X,Zは3つのシフトレジスタへ入
力されて(図5参照)、第1の変換ユニットへの供給に
待機する。変換ユニットは、(2+2/3)画素倍だけ
動作するので、データの幾らかは、図示したように遅延
されることになる。表示“XYZ”は不適切ビットであ
る。最適化した符号化方式はルミナンス(“Y”)を第
1に処理する必要がある。
【0101】伸長処理中、XYZ歪曲(スキュー)の問
題は反転する。レジスタの5点が伸長中のY及びZシフ
トレジスタの使用を反転することで、好適実施例におい
て節約されていることに注意されたい。
【0102】図1(a)を参照すると、コンプレッサの
主要部分は入力をXYZ空間に変換し、これを後続の変
換ユニット3への転送のために緩衝する入力部分1,2
を含む。各8画素の区間について変換1ユニットは3倍
のサイクルを行なう(X,Y,Zのデータ各々について
1回ずつ)。変換1の出力はシフトアレイ4に配置さ
れ、ここで、8×8画素ブロックが完全に読取られるま
で保持される。変換2ユニット5,6は予め読取った画
素ブロックを操作し、各々の8画素ブロックの区間で3
倍のサイクルを行ない、データを符号化回路入力バッフ
ァ7,8へ提供する。符号化回路9,10,11は、ま
た、3原色座標の間で共有されているが、全ルミナンス
ブロックは割込みなしに符号化され、クロミナンスブロ
ックの各々が後続する。これら3ブロックの処理が64
画素区間内に完了し得ない場合、タイミング兼制御論理
回路は外部入力回路に対し画素クロックを保持したまま
にする。記憶領域(入力シフトレジスタ2、シフトアレ
イ4、及び符号化回路入力バッファ7,8)は3原色の
ために3組作られる必要があるが、計算ユニット3,
5,6,9,10,11はY,X,Zのデータの間で共
有(時分割)される。
【0103】符号化回路9,10,11、符号化回路入
力バッファ7,8、符号プログラミング12,13,1
4及びタイミング兼制御論理回路(図示せず)は、従来
技術又は従来法を踏襲してもよい。同様に、3原色を単
一回路によって時分割するための方法も周知である。3
点変換部1(図3参照)及びシフトレジスタ2(図5参
照)もまた公知である。
【0104】スケーラ6(図1)は、以下に説明する本
発明の量子化乗算器を使用する。これは簡便な実現であ
る。一般化チェン変換の定義と適切なパラメータを与え
れば、8点変換回路(図8及び図9参照)もまた簡便で
ある。シフトアレイ(図6(a))は、特に議論に値す
る。現在の入力ブロックから垂直方向のベクトル(に変
換されたベクトル)は、直前の画素ブロックからの水平
方向のベクトルが水平方向変換回路へ供給される間に組
立てられる。特別な設計なしで128個のレジスタが必
要とされ(現在のブロックと直前のブロックに各々64
個ずつ)るのは、点が受信した順序とは異なる順序で使
用されるためである。しかし、この必要性は偶数番号の
画素ブロックの間にデータを左から右へシフトし奇数番
号の画素ブロックの間に上から下へシフトすることによ
り排除される。解説したシフトアレイは双方向性であ
る。4方向性シフトアレイがある種の実施例では好適で
ある。
【0105】図6(b)は、同図(a)のシフトアレイ
の態様をさらに詳細に図示している。同図(b)におい
て、ベクトルは底部でシフトアレイから一つずつ除去さ
れ、同図(a)の8点DCT5部分へ送出される。その
間に、他の8点DCT部分からの垂直方向ベクトルが上
部でシフトアレイに入力されている。段階的に古いベク
トルがシフトアレイから除去され、シフトアレイは次の
画素ブロックからの垂直方向ベクトルで完全に埋められ
る。
【0106】次の画素ブロックで、データの流れる方向
は直前の画素ブロックのデータの流れの方向とは90度
異なる。この方法で、水平方向ベクトルはシフトアレイ
の右から除去されて8点DCTへ送出され、新しく垂直
方向ベクトルが左から入ってくる。ブロック(N+2)
まで進むと、別の90度回転により元の形態に戻り、さ
らにこれが続く。
【0107】デコンプレッサ(図1(b)参照)は、同
図(a)に示すコンプレッサと極めて類似した構造を有
しているが、データの流れる方向が逆である点で異な
る。好適実施例では、単一の装置がコンプレッサ又はデ
コンプレッサの何れかの2つのモードで動作する。
【0108】可能なVLSIの配置は(図4参照)、圧
縮(図4(b)(c))と伸長(図4(e)(f))で異なるデ
ータの流れとなる。これ以外のデータの流れも、以下の
章で詳述するパイプライン化した実現方法などで可能で
ある。変換及びシフトアレイユニットの動作は、一方の
配置では圧縮と伸長の両方について同一の方向的意味を
有するが、他方ではそうではない(図4(a)参照)。
これは、統合されたコンプレッサ/デコンプレッサのデ
ータ流れ(図7)を考えた場合に、一層明確に分かる。
2つの変換ユニットがRGB及び圧縮データ各々に関与
している場合(図4(a))、4方向シフトアレイを使用
しない限り配置の困難は解決されない。従って、2つの
変換ユニットを各々シフトアレイの入力及び出力部分に
関連させている(図4(d))。
【0109】一つの実施例において、コンプレッサ中の
変換ユニット(図8参照)は、38個の加算器を用いて
いる。右に1つ(“R1”)、2つ(“R2”)、又は
4つ(“R4”)位置をシフトするか左に1つ(“L
1”)位置をシフトするのは簡単に行なえる。図示した
回路はパラメータ(a,b,c,r)=(5,2.4,1.5,17/24)を
用いている。b=2.5とした実現方法では、もう一つ
の実施例において36個の加算器しか必要としなかっ
た。
【0110】デコンプレッサの逆向き変換ユニットには
付随回路が必要である。「出力イネーブル」信号の注意
深い使用により、前向き変換回路中の大半の加算器は再
利用することが可能である。これの実現は当業者には容
易であろう。スケーラは、プログラムされたRAM又は
ROM、及び無条件シフトとマルチプレクサと加算回路
のシステムを使用する。これは簡便な実現である。デス
ケーラは、各種の方法で実現可能だが、小さなハードワ
イヤ結線したRAM付き乗算器と、アキュムレータと、
タイミング兼制御論理回路及び小さなテンプレートカッ
トオフが望ましい。専用の低コスト用途において、デス
ケーラはデブラリング重みが広い範囲に渡ってほぼ最適
であることに注意して単純化することが可能である。従
って、単純なスケーリングをスケーラ内に使用すること
が可能である。デスケーラは、図1(b)及び図7に図
示してあるように、符号化回路とその出力バッファの
間、又は出力バッファと変換回路の間の何れかに配置す
ることができる。符号化回路入力バッファは各種の方法
で実現可能で、シフトアレイと同様のサイクル共有レジ
スタ縮小構成を含む。より簡便な設計では、384×1
0ビットRAMに64×7ビットROMを使用してRA
Mアドレスを提供している。
【0111】動作サイクルの例を図1(a)及び同図
(b)との関連で解説する。同図(a)において、デー
タは3原色情報、赤、緑、青としてコンプレッサに入力
される。これは、すぐにXYZと呼ばれる代替空間に変
換される。3つの要素X,Y,Zは各々のシフトレジス
タへ入力される。シフトレジスタ(ステップ2)からこ
れらは8点DCTユニットへ進む。X,Y,Zの3原色
の間で多重使用される8点DCTユニット1個か、又は
個々に独立した8点DCTユニットを各々が有するか、
の何れかが有り得る。情報は64点シフトアレイ4へ入
力される。各色について個別のシフトアレイが存在す
る。情報はブロック4のシフトアレイから、ブロック3
と同様のブロック5の別のDCTユニットへ進む。情報
はここで圧縮され、これが加算されたシフトのさらなる
層となる。情報は水平方向及び垂直方向の双方にだけ変
換される。シフトアレイはデータを90度実際に概念的
に回転させ、これが他の方向に変換できるようになす。
データの圧縮後、データはブロック7,8で示される
(Z1及びZ2)別のバッファへ進み、最終的に符号化
されてチップから出力されるようにデータが保持される
(Z1及びZ2は等しくジグザグである)。
【0112】概念的には、これはブロック4のシフトア
レイと同様でデータが90度回転されていない点で異な
っている。その代り、従来からこれらのことに用いられ
ておりCCITT規格で使用されているジグザグの順序
に変更されている。情報はブロック9のラン及びテンプ
レート制御ユニットに渡され、ここで、0を検出して0
のランを生成し、非0を検出して値の対数値の推定値を
検出する。これは、テンプレートと呼ばれる。ランとテ
ンプレートの組合せは、RT符号と呼ばれて、RAM又
はROM内に参照され、これがチップから出力される。
【0113】変換係数の上位ビットである仮数部もチッ
プから出力される。仮数部及びランとテンプレート符号
は任意の長さ、1ビット、2ビットなどで良く、チップ
からの出力は必ず16ビット又は8ビット、32ビット
などとなるため、ブロック11(整列)がこれを容易に
する。
【0114】図1(a)に図示したその他のブロック
(任意)のプログラミングブロック12,13は、各々
任意のRGBをXYZ変換、任意のレート・スケーラ及
び心理要因の重み、及びランとテンプレート用の任意の
修正ホフマン符号に設定できる。
【0115】図1(b)は同図(a)と極めて類似して
いる。ランとテンプレート符号はここではランとテンプ
レートの組合せに復号される必要があり、必要な数の0
が無視されねばならない。
【0116】図1(a)において、スケーラ7は加算回
路とシフト回路の単純アレイである。同図(b)におい
て、デスケーラ15は極めて小さいハードウェアの乗算
器として実現されている。
【0117】図10は2次元一般化チェン変換の非パイ
プライン化実装の略図を示す。パイプライン化実装は後
章で解説する。画素は上部から入り、通常8ビット幅で
ある。画素は標準128ビットのデータ幅で水平方向の
変換回路10内の広い加算回路のアレイを通過する。水
平方向の変換回路からの出力は移項用RAM12を通過
して水平方向から垂直方向へ情報を回転する。データは
次にこれも加算回路だけからなる(通常128ビット
幅)垂直方向の変換回路16を通過する。出力係数は最
終的におよそ16ビットの幅に縮小され、本発明におい
てJPEG互換となしている単一の乗算器20を通過す
る。
【0118】図11は本発明によるVLSI実装のブロ
ック図である。図11において、データはブロック40
で入力され入力ラッチ42内にラッチされ、マルチプレ
クサ44を通過してGCT変換回路50の前半へ進む
(これは、図8に示したように加算器ネットワークより
なる)。GCT変換回路50の後半は中断ラッチ54の
右側へ接続される。出力はマルチプレクサ62を通って
水平方向から垂直方向の変換が行なわれる移項用RAM
66へ進む。移項用RAM66の出力は、タイムシェア
リング又はタイムスライシング構成における垂直方向の
変換の前半を形成する目的で、GCT変換回路50の第
1段への背景に供給される。GCT変換回路50の出力
は垂直方向のGCT変換回路60の第2段の入力へ供給
される。最後のGCT変換回路60の出力が出力ラッチ
・マルチプレクサ70から取出され、乗算器74とまる
め回路76を経由してジグザグ順序配置回路80へ進
み、これの出力が12ビット係数としてブロック84か
ら出力される。
【0119】さらに、図11を参照し、本発明の逆向き
変換の過程を簡潔に解説する。図11において、12ビ
ット係数はブロック84を通ってジグザグ順序回路80
のY入力へ供給される。ジグザグ順序回路80の出力
は、前向き処理において実行されたのと類似の逆向きの
量子化処理を実行する乗算器74とまるめ回路76を経
由する。乗算器74の出力は逆向き変換処理の第1段で
あるラッチ42へ入力される。ラッチ42から、逆向き
変換処理は前向き処理が辿ったのと同じ2段階の時間多
重経路を辿る。出力は出力ラッチ70に出現し、これの
出力はまるめ回路76によりまるめられた画素で、まる
め回路76の出力は出力用2のブロック40へ供給され
る。
【0120】
【本発明の量子化乗算器】符号化すべき大量のデータを
圧縮するには、頻度領域係数F(i,j) が正の整数の量子
値Q(i,j) で除され、さらに、最も近い整数にまるめら
れる(Q(i,j) は、この章で量子行列式を表わすために
使用しており、直前の章とは対照的であることに注意さ
れたい)。逆に、逆向きの動作には、Q(i,j) による乗
算が要求されることになる。大きな量子値は大幅な圧縮
を提供するが、画像の品位の大幅な劣化を招来する(自
乗平均誤差(MSE)による測定で)。小さな量子値は
大幅な圧縮を提供しないが、もっと小さなMSEを生成
する。
【0121】量子化係数Q(i,j) は、ここで前向きスケ
ーリング行列Sf(i,j)と称する段階C、D及びEの行列
と組合せることができる。同様に、量子化係数の反転
も、ここで反転スケーリング行列Si(i,j)と称する段階
H及びIの行列式と組合せることができる。従って、前
向き変換はSf /Q(指数部は便利のために削除した)
の応用に関連し、逆向き変換はSi *Qの応用に関連す
る。前向き操作は除算であるため、逆の相関がQの大き
さとSの数学的解像度の間に存在する。計算効率につい
てみると、整数の除算は一般に乗算とシフトによって実
行される。例えば、16ビットの計算において、整数k
による除算は216/k=65536/kの乗算と、それ
に続く16ビットの右シフトにより、さらに便宜的に実
行し得るものである。
【0122】逆向き変換において、QとSi の乗算のた
め、QとSi の範囲の間に逆の相関が存在し、それによ
って、逆相間はQの範囲と積の解像度の間に存在するこ
とになる。JPEGの基準システムにおいて、量子化値
は符号なし11ビットである。よって、可能な最大の量
子化係数は1023又は210である。乗算が16ビット
計算で実行された場合、Si は26 の範囲を有する。Q
の値が小さいとSi の解像度はMSEより関与が大き
い。
【0123】…従来の方法… 最も近代的なコンピュータ、マイクロプロセッサ及び専
用のデジタル信号処理チップは、32ビット(32b)
乗算を有し、正しく使用した場合にこの問題を解決する
には十分以上である。
【0124】高速の専用ハードウェアにおいて、前向き
と逆向き変換両方について、同一の乗算器を使用するこ
とが望ましい。「リアルタイム」の速度(ビデオ画像に
ついて、およそ30メガサイクル又はそれ以上)では、
16b乗算回路は最も実現しやすい解像度に近い。さら
に、大掛りな乗算器はさらにシリコンを必要とし、実行
速度が遅くなる。幾つかのJPEG変換チップでは、一
般化チェン変換の代りにディスクリート・コサイン変換
DCTを使用しており、スケーリング及び予備スケーリ
ング、即ち、Sf とSi の必要を有していない。他方
で、多くのDCT実装はGCTが呼出すスケーリングの
形式を必要としている。
【0125】しかし、妥当なMSEのためには、32ビ
ット出力の殆どを自由に使用できる必要があることには
注意されたい。前向きモードでは、除算は大きな標準化
数から数値を縮小することにより達成している。出力の
順位の高いビットから結果を取出す必要がある。逆向き
モードでは、数値は乗算され、よって、小さい標準化数
が望ましい。出力の低い順位のビットから結果を取出す
必要がある。組合せることによる乗算器ハードウェアに
おいて、不必要なビットの切捨てなど、殆ど又は全く縮
小が行なわれない。
【0126】乗算が16ビットに制限されている場合、
性能は大幅に低下し、これは米国特許出願番号07/5
11,245号の一般化チェン変換について相互参照し
ている例に相当する(以下の性能の議論の章参照)。特
定すれば、逆向き変換において、Qの範囲はSi の範囲
と競合する。Si の解像度は量子化値が低い場合、最も
重要だが、これは、大きい量子化数は乗算の解像度が意
味をなさないほど大きな歪曲を付加するためである。
【0127】…本発明の説明… 本発明の目的の一つは、前向きと逆向き両方の量子化で
16ビット・ハードウェア乗算器、即ち、16ビット計
算を用いて最大限の性能を提供することである。これに
は、範囲と解像度の間の平衡を必要とする。
【0128】…前向きスケーリングと量子化… 前向きモードにおいて、経験的な結果から、16ビット
・ハードウェア乗算器は、十分な解像度を提供し得ると
示されている。最も大きい値(Sf ×216)を(216
1)となるように選択することが可能である。大きなQ
は、(Sf /Q×216)の値の範囲を減少させるが、こ
の数値の解像度の欠如に起因するエラーは量子化により
もたらされるエラーと比較すれば小さい。
【0129】入力並びにSf /Qを正しくスケーリング
することにより、出力は乗算器出力の上位Nビットに出
現する。即ち、
【数64】結果=(入力*Q係数)≫N ここで、“≫”は右へのシフト操作を表わす。また、
【数65】Q係数=Sf/Q*216 である。2つのNビット係数の乗算は、一般に、2Nビ
ットの積となる。結果がハードウェア乗算器の上位側1
6ビットから取出されるので、下位側16ビットを供給
するゲートを切り詰めることが可能である。下位側Nビ
ットから必要とされることの全ては関連性を担う項だけ
である。
【0130】これは、図12に示された2モード・ハー
ドウェアによる実現方法に図示されている。前向き変換
を実行する場合、前向き入力(/Forward)はLレベル
(即ち、0)である。従って、制御マルチプレクサ(M
UX)100は0のGND信号を16入力1出力のMU
X104へ送出する。前向き入力/Forward上の0信号
はMUX108へ向かい、乗算器106で符号を付けら
れた16ビット×16ビットの入力A0〜A3へQ指数
部の4ビットを送信する。この例では
【数66】Q係数=(Q仮数部≪4)+Q指数部 であり、乗算器106は積“Q係数*入力”を生成す
る。出力Result は下位16桁が使用しないワードとし
て破棄されることから、(Q係数*入力≫16)に等し
いことになる。
【0131】…逆向き予備スケーリングと脱量子化… 本発明は、16ビット演算における最高の正確度を可能
にするような範囲と解像力の間の妥協を配分することに
より、逆向き脱量子化を補助する過程に関連をなすもの
である。経験的に、解像度約12ビットが所望するMS
Eに必要であると決定された。JPEG規格仕様におけ
る量子化には10ビットが必要とされているので、範囲
としては、24ビットが必要である。これは、16ビッ
ト係数のうち上位12ビットを仮数部として用い、下位
4ビットを2を底とする指数項として用いることで達成
している。24 の可能なシフト値と(16−4)ビット
の仮数部の組合せにより、有効範囲は、
【数67】 有効範囲=[(16−4)+24 ]ビット=28ビット である。図12の2モード・ハードウェアによる実装で
図示してあるように、逆向きモードにおいて、前向き入
力/ForwardがHレベルの場合、16入力1出力のMU
X104への制御入力は、入力値にi桁の左シフトを生
成する。Q仮数部の12ビットは、乗算器106の入力
A4からA15に入力される。前向き入力/Forwardか
らMUX108へHレベル側にある制御値は、GND信
号から乗算器106のビットA0〜A3へ0を送出す
る。ここでも、出力結果は、乗算既出力の上位側16ビ
ットに存在しており、Lレベル側16桁が未使用ワード
として破棄されることに注意されたい。結果は、従っ
て、次式のように決定されることになる
【数68】 結果=((入力≪Q指数部)*Qスケーラ)≫16 ここで、
【数69】 Qスケーラ≪Q指数部=Si ×Q×216 Qスケーラ<212 また、
【数70】0<Q指数部<(24 −1) である。
【0132】入力値が左にシフトされることから、入力
が制限される必要がある。さもなくば、値がオーバーフ
ローしてしまい、偽の結果が生成される。しかし、これ
らの数が、ここで乗算に用いられている係数によって量
子化されているという事実から、このことは無条件で行
なわれている。本発明があらゆる乗算に一般化し得ない
理由はこれである。
【0133】本発明の拡張は、図13に図示してあり、
ここでは、MUX110による左シフトが16ビット×
16ビットのMUX112による乗算段階の後で発生し
ている。前向き変換において、前向き入力/Forwardは
Lレベルである。MUX114の制御入力への0信号
は、乗算器112の入力A0〜A3へQ指数部の4ビッ
トを送信する。乗算器112の32ビットの積の最上位
16桁(Q31〜Q16)は16入力1出力のマルチプ
レクサによりMUX116からのGND信号に従って選
択される。
【0134】逆向き変換において、前向き入力/Forwa
rd信号はHレベルである。従って、GND信号はMUX
114により16ビット×16ビット符号付き乗算器1
12の入力A0〜A3へ送信される。i=32−Q指数
部、かつ、j=i−15であるような乗算器112から
の32ビット出力の内のビットQi−QjがMUX11
6を経由して、16入力1出力の乗算器110へのQ指
数部入力の値に従い、結果として選択される。入力値の
左シフトは実行されないのであるから、入力値は範囲を
制限されることはない(即ち、予めフォーマットされな
い)。この場合、演算は数学的に次のように表現され
る。
【数71】 結果=(入力*Qスケーラ)≫Q指数部≫16
【0135】…性能の議論… 表1は、実験的に実行したCCITTによる704×5
76×8bグレーレベル・テスト画像であるバルバラ
(Barbara)の画像についての自乗平均誤差(MSE)
の結果を示したものである。量子化の値は第1の例で全
て1をなし、第2の例ではJPEG規格における提唱ル
ミナンス量子化表からのものである。画像は32b乗算
器と、16b乗算器と、これまでの章で解説したような
12b仮数部と4b指数部を用いた16b乗算器で実現
した本発明を用いてチップのソフトウェア模擬により処
理を行なった。結果は以下の表1に示すとおりである。
【0136】
【表1】
【0137】推測されるように、乗算機関の主要な相違
は、Qが小さい場合、即ち、品位再現が所望される場合
に発生している。より少ないハードウェアを用いても、
本発明は32ビットに近い正確度を提供している。MS
Eでの差は視覚的に有意ではない。しかし、CCITT
勧告H.261変換不適合追従試験に適合させるには、
本発明はディスクリート・コサイン変換と、さらに密接
に近似するパラメータ値を使用する必要がある。
【0138】32b乗算器を実現するには、16b乗算
器よりおよそ85%増しのシリコン表面領域を使用する
ことになり(1.0μmCMOS標準セル技術に基づく
推定値。これは、HGCTが実現されている技術であ
る)、集積回路技術で大きな問題となる。本発明は、こ
の領域に30%を追加するだけである。単一の乗算器は
シリコンのおよそ10%を使用することは特筆に値す
る。
【0139】
【GCT変換のパイプライン化した実現】…背景… CCITTのJPEG委員会の提案する国際規格画像圧
縮システムを実行するようなVLSIチップを製造する
ことが望まれる。多くの用途では、VLSIチップがビ
デオ速度で動作することが必要とされ、これは(解像度
により差があるが)、毎秒800ないし1000万画素
程度を意味する。各々の画素は通常赤、緑、青などの3
原色からなる。大半のVLSI実装は一度に一つの成分
について動作し、必要とされるクロック周波数は画素速
度の3倍である。これは、チップのクロック周波数をお
よそ25〜30MHzに押し上げることになる。これ
は、1991年の標準から見ても高いクロック速度である。
【0140】DCTの最も慣習的な実現では、乗算器と
加算器の組合せを用いて変換を実行している。乗算器は
多くの実現において、たいてい障害となっている。その
他の機能、例えば、RAMやROMは2次的な障害を構
成する。これらの障害を克服するには、長いパイプライ
ン構造を使用する。典型的なDCTチップでのパイプラ
インは200クロック周期にまで及ぶことがあり、チッ
プ内部で200処理が並列的に発生していることを意味
する。
【0141】図15はディスクリート・コサイン変換で
の在来のパイプライン構造を示したものである。画素成
分は図面の左手に到着し、寸法が1×8の並列ベクトル
内でラッチ装置120内部にラッチされている。これら
の1×8ベクトルは、DCTを実行するために1次元変
換回路122へ渡される。1×8行ベクトルは、次に移
項装置124により移項されて、8×1の形状の列ベク
トルに変換される。移項後、在来システムでは移項した
ベクトルは変換のために、第2のDCTユニット126
に供給される。この第2の変換が行なわれている間に、
第1の変換ユニット122は次の1×8行ベクトルで占
有されている。従って、パイプラインは有効に作用す
る。最後の乗算は、乗算ユニット128で実行される。
DCTはシステムにとって計算上の障害であるので、上
述のような構造がビデオ速度を達成するために必要とさ
れる。
【0142】図15は明確になすために簡略化してある
が、変換全体についての制約を理解することが重要であ
る。乗算演算がシステムの障害であることを想起された
い。変換ユニット122,126は乗算を含むので、こ
れらと最後の乗算器128が大まかに等しい障害を構成
していることになる。ここで、単一の乗算を実行するの
にxナノ秒必要だと仮定する。図15において(2つの
変換ユニット122及び126が存在する)、各々の変
換ユニット122,126が8成分の計算を同時に実行
する。従って、変換ユニットは8xナノ秒で計算を実行
していることになる。これは、今日の構造によって現在
でも実現可能である。
【0143】…本発明… 本発明の一般化チェン変換(GCT)は、主変換におい
て乗算を全く必要とせず、成分当たり1回だけの乗算を
変換処理の最後で必要とするだけである。主1次元GC
Tは、最大7つの不連続レベルで構成された何らかの3
8個の加算回路のアレイからなる(図8,図9及び図1
0参照)。加算回路アレイは、ハードワイヤ結線された
シフト回路を含み、これによって、上述のように2を指
数とする乗算及び除算を生成可能である。さらに、7つ
の段階を2つの別の部分に分割することにより(GCT
の単純な構造のため、この分割は容易である)、加算回
路レベルの最大数が4まで減少する。こうした分割を行
なうことにより、変換はデータの流れに対して障害では
なくなる。これは、最大能力がこれらの素子の設計で制
御されていることを意味している。しかし、いまや最後
の乗算が障害となるので、変換ユニットに、さらなる特
徴を用いることが可能である。図14はこうした構成を
図示している。
【0144】図14において、8×1行ベクトル用の入
力ラッチ130に続くのは、1次元変換回路134へ供
給する2入力の一方を選択するMUX132である。こ
こで重要な相違は、変換ユニット134が一つだけ存在
していることである。所定量の時間の後、変換ユニット
134は入力行ベクトルについての変換を完了する。移
項用RAM136へ渡された後、変換された行ベクトル
は第2のMUX138によって第1のMUX132へ戻
され、さらに唯一の変換ユニット134へ渡される。列
がここで変換される。列が変換され移項された後、結果
は乗算器140へ転送される。平均して変換ユニットが
4xナノ秒で動作すべきことは明らかである。これが、
単純な加算回路のGCTネットワークが大きな利点を提
供する部分である。加算回路は乗算器より大幅に高速で
あるから、こうした時分割乗算が可能になる。
【0145】GCTそれ自体は、DCTより大幅な節約
である。図14に図示した実現方法は、2つではなく1
つの変換ユニットしか有していないということだけで、
さらに50%の節約を提供するものである。これを眺望
してみれば、本発明の設計はただ一つだけの変換ユニッ
ト134を有し、また、このユニットはチップ上で40
%ないし50%を占有する。残りの50%はRAM、ラ
ッチ、乗算器140、I/O、その他に割当てられる。
第2の変換ユニットがおよそ50%のシリコン領域を増
大させるであろうことは理解されよう。
【0146】加算回路だけのネットワークを時分割乗算
と併せて使用することにより、ビデオ速度より50%以
上高い性能を提供する効率的なJPEG実装を提供す
る。
【0147】結局、DCTなどの変換は画像圧縮に有用
であり、DCTに類似した方法が計算の単純さの上で望
ましい。この点、本発明に開示した方法並びに装置によ
って、16ビット変換に匹敵する速度の量子化演算が行
なえ、なおかつ、自乗平均誤差は32ビット変換のそれ
に匹敵する。比較的高速な加算の組と一組の乗算に変換
を因子分解することで効果的にパイプライン化されたデ
ータの流れをなしており、垂直方向及びび水平方向の変
換の加算部分は終段の乗算部分以前に同一ハードウェア
によって実行されるものとなる。
【0148】
【一般化】本開示における実施例は、画像符号化に基づ
く変換に制限されているが、本発明の乗算器は、入力が
除されたのと同一の数により出力が乗算されるようなあ
らゆる量子化方式に一般化することが可能である。幾つ
かのアルゴリズムでは、同様な量子化方式を使用してい
るため、ある程度まで一般化し得るが、本発明の乗算器
は量子化及び脱量子化の意味合いにおいてのみ意味を有
する。好適実施例では16ビット計算を使用している
が、一般に、本発明はNビットの計算を用いるこのよう
な処理に適用し得るものである。また、本発明は既存の
規格、例えば、JPEG規格と互換性を有している。好
適実施例は、本発明の原理を最も良く説明し得るように
選択し、また、解説しており、これによる実際の応用は
当業者をして、本発明並びに各種実施例を最良の形態で
使用し得るようになし、また、意図する特定の用途に適
合するような各種の変更を行ない得るものである。本発
明の範囲は、特許請求の範囲によってのみ規定されるこ
とを意図するものである。
【0149】
【発明の効果】本発明は、上述したように構成したの
で、静止画像データの伸長方法、圧縮方法及びそのため
の対応装置に関して、JPEG規格と互換性を保てるも
のであり、この際、データ圧縮の量子化及び圧縮段階に
おけるビットの使用が最適化され、かつ、量子化及び係
数圧縮を統合するデータ圧縮方式における自乗平均値エ
ラーを最小化することができる。また、データ圧縮の範
囲、並びに、解像度を最適化する方法において、一定量
のビットの使用で済むものとなり、かつ、小さい量子化
の値について解像度にJPEG規格H.261仕様を適
合させることもできる。即ち、より具体的には、16入
力1出力のマルチプレクサ及び16ビット乗算器を用い
ることにより、ダイナミックレンジ28ビットで量子化
の予備圧縮が可能となる。さらには、変換処理のパイプ
ライン化実装において、最大限の利点まで一般化チェン
変換の速度を使用することができる。また、変換処理を
実行するために要求されるゲート数を最小限に抑えるこ
ともでき、特に、変換処理を行なう加算回路ネットワー
ク部分の速度の利点を用いて同一ハードウェアによる垂
直方向及び水平方向の変換の追加を実行することができ
る。
【図面の簡単な説明】
【図1】本発明の一実施例を示し、(a)はコンプレッ
サ構成のブロック図、(b)はデコンプレッサ構成のブ
ロック図である。
【図2】動作を説明するためのもので、(a)は入力画
素の順序を示す説明図、(b)はブロックのタイミング
図、(c)はベクトルのタイミング図である。
【図3】RGBからXYZへのデータの3点変換を示す
ブロック図である。
【図4】VLSIの配置を示す模式図である。
【図5】シフトレジスタ構成例を示す概略ブロック図で
ある。
【図6】シフトアレイ構成例を示し、(a)は概略ブロ
ック図、(b)はその具体的構成のブロック図である。
【図7】統合されたデータの流れを示す模式図である。
【図8】前向き処理の加算アレイ構成例を示すブロック
図である。
【図9】前向き処理の加算アレイ構成の他例を示すブロ
ック図である。
【図10】2次元一般化チェン変換を示す概略ブロック
図である。
【図11】本発明の好適実施例を示すブロック図であ
る。
【図12】乗算前のシフトを伴う反転予備圧縮及び量子
化のためのハードウェア構成例を示すブロック図であ
る。
【図13】乗算後のシフトを伴う反転予備圧縮及び量子
化のためのハードウェア構成例を示すブロック図であ
る。
【図14】本発明の変換の速度を利用する2次元一般化
チェン変換の実現の流れを模式的に示すブロック図であ
る。
【図15】従来の2次元DCT計算の実現の流れを模式
的に示すブロック図である。
【符号の説明】
12 移行用メモリ手段 16 変換手段 50 第1のGCT加算回路ネットワーク段 60 第1のGCT加算回路ネットワーク段 66 移行用メモリ手段 74 乗算テーブル手段 76 まるめ手段 80 ジグザグ順序手段 134 変換手段 136 移行用メモリ手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平3−177163(JP,A) 特開 平3−270573(JP,A) 特開 平4−181877(JP,A) 特開 平5−95483(JP,A) 特開 平5−95486(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 1/41 - 1/419 G06F 17/14 G06T 9/00 H03M 7/30 H04N 7/30

Claims (21)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力整数とQ値の乗算を実行して積を計
    算するための前向きモード/逆向きモードの2モード処
    理装置において、入力整数をビットの整数個分のシフト
    により左シフトするためのマルチプレクサと、係数とシ
    フトした入力整数を乗算するための整数乗算器と、2モ
    ードQ値処理装置であって前記処理装置が前向きモード
    にある場合シフト整数は0に設定され係数はQ値に等し
    く設定され、また、前記処理装置が逆向きモードにある
    場合シフト整数はQ指数部に設定され係数はQ仮数部に
    等しく、Q値=Q仮数部*2^Q指数部とするものとを
    設けたことを特徴とする2モード処理装置。
  2. 【請求項2】 圧縮係数を含み、前向きモードにおいて
    Q値が前記圧縮係数に反比例し、逆向きモードにおいて
    Q値は前記圧縮係数に比例し、これによって、装置がデ
    ータ圧縮/伸長装置として機能することを特徴とする請
    求項に記載の2モード処理装置。
  3. 【請求項3】 4ビットの保存レジスタと、12ビット
    の保存レジスタと、16ビットの保存レジスタとを含
    み、Q指数部が前記4ビット保存レジスタに保存され、
    Q仮数部が前記12ビット保存レジスタに保存され、入
    力整数が前記16ビット保存レジスタに保存されるよう
    にしたことを特徴とする請求項記載の2モード処理装
    置。
  4. 【請求項4】 Q値が2^Nで予め乗算されており、N
    ビットが乗算器出力から切り取られることを特徴とする
    請求項記載の2モード処理装置。
  5. 【請求項5】 入力整数が逆向きモードにおける一般化
    チェン変換係数であることを特徴とする請求項記載の
    2モード処理装置。
  6. 【請求項6】 前向きモードにおいてQ値が心理的要因
    重み付け係数に比例し、また、逆向きモードにおいてQ
    値が逆向き心理的要因重み付け係数に比例することを特
    徴とする請求項記載の2モード処理装置。
  7. 【請求項7】 前向きモードにおいてQ値がデブラリン
    グ係数に比例することを特徴とする請求項記載の2モ
    ード処理装置。
  8. 【請求項8】 入力整数とQ値の乗算を実行して積を計
    算するための前向きモード/逆向きモードの2モード処
    理装置において、入力乗数をビットの整数個分のシフト
    により左シフトするためのマルチプレクサと、係数と入
    力整数を予め乗算するための整数乗算器ユニットと、2
    モードQ値処理装置であって前記処理装置が前向きモー
    ドにある場合シフト整数は0に設定され係数はQ値に設
    定され、また、前記処理装置が逆向きモードにある場合
    シフト整数はQ指数部に設定され係数はQ仮数部に等し
    く、Q値=Q仮数部*2^Q指数部とするものとを設け
    たことを特徴とする2モード処理装置。
  9. 【請求項9】 圧縮係数を含み、前向きモードにあって
    Q値は前記圧縮係数と反比例し、逆向きモードにおいて
    Q値は前記圧縮係数に比例し、これによって、装置がデ
    ータ圧縮/伸長装置として機能することを特徴とする請
    求項8記載の2モード処理装置。
  10. 【請求項10】 4ビットの保存レジスタと、12ビッ
    トの保存レジスタと、16ビットの保存レジスタとを含
    み、Q指数部が前記4ビット保存レジスタに保存され、
    Q仮数部が前記12ビット保存レジスタに保存され、入
    力整数が前記16ビット保存レジスタに保存されるよう
    にしたことを特徴とする請求項記載の2モード処理装
    置。
  11. 【請求項11】 Q値が2^Nで予め乗算されており、
    Nビットが乗算器出力から切り取られることを特徴とす
    る請求項記載の2モード処理装置。
  12. 【請求項12】 3組の16ビット保存レジスタを含
    み、Q値と、積と、入力整数とが前記保存レジスタ内に
    保存されるようにしたことを特徴とする請求項11記載
    の2モード処理装置。
  13. 【請求項13】 入力整数が逆向きモードにおける一般
    化チェン変換係数をなすことを特徴とする請求項記載
    の2モード処理装置。
  14. 【請求項14】 前向きモードにおいてQ値が心理的要
    因重み付け係数に比例し、また、逆向きモードにおいて
    Q値が逆向き心理的要因重み付け係数に比例することを
    特徴とする請求項記載の2モード処理装置。
  15. 【請求項15】 前向きモードにおいてQ値がデブラリ
    ング係数に比例することを特徴とする請求項記載の2
    モード処理装置。
  16. 【請求項16】 2つの1次元変換に分割された2次元
    変換を実行するためのパイプライン化構造を有する2次
    元変換装置において、 前記パイプライン化構造のパイプライン内の第1の処理
    装置であって、前記1次元変換の各々が第1の部分と第
    2の部分に分割でき、前記第1の処理装置が前記1次元
    変換の前記第1の部分を実行することと、第1の組のベ
    クトルを再配列して第2の組のベクトルを生成するため
    の前記パイプライン化構造のパイプライン内の移項装置
    であって、前記第1の組のベクトルのM番目のベクトル
    のN番目のエントリーが前記第2の組のベクトルのN番
    目のベクトルのM番目のエントリーとなることと、 前記第2の処理装置が、 1次元変換の前記第2の部分を実行するための前記パイ
    プライン化構造のパイプライン内の終段処理装置と、 転送システムであって、この転送システムが、 第3の組のベクトルを前記第1の処理装置へ導入して前
    記第1の組のベクトルを生成させるための手段と、 前記第1の組のベクトルを前記移項装置へ導入して前記
    第2の組のベクトルを生成させるための手段と、 前記第2の組のベクトルを前記第1の処理装置へ導入し
    て第4の組のベクトルを生成させるための手段と、 前記第4の組のベクトルを前記第2の処理装置へ導入し
    て2次元変換されたベクトルの組を生成させるための手
    段を含むことによりなることを特徴とする2次元変換装
    置。
  17. 【請求項17】 第1と第2と第3と第4のベクトルの
    組が、M個の元からなるM×1ベクトルよりなることを
    特徴とする請求項16記載の2次元変換装置。
  18. 【請求項18】 第1の組と第4の組のベクトルを生成
    するための第1の処理装置の処理時間が、変換されたベ
    クトルの組を生成するための第2の処理装置の処理時間
    より大幅に大きくないことを特徴とする請求項16記載
    の2次元変換装置。
  19. 【請求項19】 第1の処理装置が加算回路アレイのネ
    ットワークからなることを特徴とする請求項18記載の
    2次元変換装置。
  20. 【請求項20】 第2の処理装置が2つの1次元変換の
    第2の部分を代数的に統合することを特徴とする請求項
    19記載の2次元変換装置。
  21. 【請求項21】 画像を表わす入力画素データを受信す
    るための手段と、前記画素データを圧縮するための一般
    化チェン変換手段とよりなり、前記一般化チエン変換手
    段は、前記画像データを加算回路のみを用いて水平方向
    に変換するためのGCT加算回路手段と、水平方向に変
    換された画素を垂直に回転させるための移項用メモリ手
    段を含み、前記GCT加算回路手段は前記加算回路のみ
    を用いて垂直方向の画素を垂直に変換するための手段
    と、前記変換された垂直画素に対して乗算機能を実行し
    前記入力画素を表わす圧縮された画素データを提供する
    ための乗算回路手段であって、前記GCT加算回路手段
    は前記水平及び垂直方向の変換の前半を変換するための
    第1のGCT加算回路ネットワーク段と前記水平及び垂
    直方向の変換の後半を変換するための第2のGCT加算
    回路ネットワーク段を含み、第1と第2のGCT加算回
    路ネットワーク段が、時分割構成において前記画素を水
    平方向及び垂直方向に変換し、乗算回路手段がジグザグ
    順序手段、まるめ手段、乗算テーブル手段を含むことを
    特徴とする静止画像データの圧縮システム。
JP03381393A 1992-02-28 1993-02-24 2モード処理装置、2次元変換装置及び静止画像データの圧縮システム Expired - Fee Related JP3155383B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US84376592A 1992-02-28 1992-02-28
US07/843,765 1992-02-28

Publications (2)

Publication Number Publication Date
JPH0646269A JPH0646269A (ja) 1994-02-18
JP3155383B2 true JP3155383B2 (ja) 2001-04-09

Family

ID=25290953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03381393A Expired - Fee Related JP3155383B2 (ja) 1992-02-28 1993-02-24 2モード処理装置、2次元変換装置及び静止画像データの圧縮システム

Country Status (3)

Country Link
JP (1) JP3155383B2 (ja)
DE (1) DE4306010C2 (ja)
GB (1) GB2264609B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3971135B2 (ja) * 2001-07-11 2007-09-05 株式会社テクノマセマティカル Dct行列分解方法及びdct装置
US7123655B2 (en) 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
JP4507265B2 (ja) 2008-06-30 2010-07-21 ルネサスエレクトロニクス株式会社 画像処理回路、及びそれを搭載する表示パネルドライバ並びに表示装置
WO2010091930A2 (en) * 2009-02-12 2010-08-19 Zoran (France) Frame buffer compression for video processing devices

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
US5305399A (en) * 1990-04-19 1994-04-19 Ricoh Corporation Two dimensional shift-array for use in image compression VLSI
US5129015A (en) * 1990-04-19 1992-07-07 Ricoh Company Ltd. Apparatus and method for compressing still images without multiplication
US5319724A (en) * 1990-04-19 1994-06-07 Ricoh Corporation Apparatus and method for compressing still images
JP3336029B2 (ja) * 1991-01-02 2002-10-21 株式会社リコー 画像圧縮用量子化方法及び装置
GB2259824B (en) * 1991-09-19 1995-01-18 Sony Broadcast & Communication Data compression

Also Published As

Publication number Publication date
JPH0646269A (ja) 1994-02-18
GB9304142D0 (en) 1993-04-14
GB2264609A (en) 1993-09-01
DE4306010A1 (ja) 1993-09-23
GB2264609B (en) 1996-01-10
DE4306010C2 (de) 1997-11-06

Similar Documents

Publication Publication Date Title
US5319724A (en) Apparatus and method for compressing still images
JP2821489B2 (ja) 静止画像圧縮処理装置及び方法
RU2460129C2 (ru) Структура преобразования с масштабированными и немасштабированными интерфейсами
RU2429531C2 (ru) Преобразования с общими множителями
JP5623565B2 (ja) バタフライプロセッサを使用して離散コサイン変換をエンコードしそして計算するための装置及び方法
US20070094320A1 (en) Parallel Adder-Based DCT / IDCT Design Using Cyclic Convolution
JPH07236143A (ja) 高速デジタル信号復号化方法
JP2002531973A (ja) 画像の圧縮及び伸張
US6052703A (en) Method and apparatus for determining discrete cosine transforms using matrix multiplication and modified booth encoding
US7649939B2 (en) Apparatus and method for decoding and computing a discrete cosine transform using a butterfly processor
US7076105B2 (en) Circuit and method for performing a two-dimensional transform during the processing of an image
JP3155383B2 (ja) 2モード処理装置、2次元変換装置及び静止画像データの圧縮システム
US7216140B1 (en) Efficient implementation of n-point DCT, n-point IDCT, SA-DCT and SA-IDCT algorithms
KR100227271B1 (ko) 역이산 여현변환방법
US5664028A (en) Apparatus and method for compressing still images
US5594812A (en) Apparatus and method for compressing still images
KR101527103B1 (ko) 이산 코사인 변환 장치 및 방법
JPH0595483A (ja) 画像圧縮装置及び方法
JPH0645947A (ja) 直交変換装置及び逆直交変換装置
KR960014196B1 (ko) 이차원 역 이산 코사인 변환(idct) 프로세서
JPH0746136A (ja) 音響又は画像変換プロセッサ、音響又は画像データ処理装置、音響又は画像データ処理方法、算術プロセッサ、及びデータプロセッサ
JPH04222122A (ja) データ圧縮装置
KR100365729B1 (ko) 이산 코사인 변환 및 역이산 코사인 변환 장치
JPH05206868A (ja) 音響または画像圧縮システムのスループット向上のための方法及び装置
JPH03273714A (ja) コサイン変換を利用した2次元データの圧縮と復合方式並びにこれらに用いる変換装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080202

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090202

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100202

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees