JPH09511630A - 多層化された符号表を有するベクトル変換符号器および動的なビット割当て - Google Patents

Abstract

(57)【要約】 像および映像の圧縮のためのベクトル変換符号化（ＶＴＣ）計画において、ベクトル変換定義域における動的ビット割当て計画と多層化される符号表構造が使用される。この技術の主たる利益は、動的に、より多くのビットをベクトルに割当ててより大きな歪みを招き、そしてより少ないビットをベクトルに割り当ててより小さな歪みを招くことにより、歪みが制御されることである。

Description

【発明の詳細な説明】 多層化された符号表を有するベクトル変換 符号器および動的なビット割当て 技術分野 本発明は信号の符号化に関するものであり、詳述すると、像および映像の圧縮 のためのベクトル変換符号化に関するものである。 背景技術 自然なあるいは未加工のディジタル像の画素ないしピクセルは高度に相関せら れる、すなわち像のピクセル間にはある冗長度が存在する。像の符号化の目的は 、少ない歪みとともに、個々のピクセルを（たとえばPCMを通じて）簡単に量子 化するよりも非常に少ないビット数が像表現のために使用され得るよう冗長度を 除去することである。冗長度除去のための一つの方法が、現在のピクセルとその 予測値との間の残余信号が符号化される予測符号化である。残余信号により表わ される差分値はピクセルそれ自身よりも小さい冗長度を包含するので、差分値の 符号化はピクセルそれ自身の符号化よりも効率がよい。予測符号化に関する研究 が1992年にKluwer Academic Publishersにより発行されたGershoとGrayによるVe ctorQuantization and Signal Compression（ベクトル量子化および信号圧縮） という表題の刊行物において要約 されている。 変換符号化が冗長度除去の目的を実現するための別の方法である。変換符号化 においては、変換領域ないし変換定義域の係数が像定義域のピクセルよりも低い 相関となるように、像ピクセルからなるブロックに直交変換が適用される。変換 性能は、その相関性解除の性質および関連のエネルギ密集化能力により測られる 。 ベクトル量子化(VQ)が像符号化のためにピクセル相関特性を利用するより直接 的な方法である。理論的にいうと、ベクトル量子化は最も良好な量子化技術であ り、その最適性はベクトル次元数が無限に接近するときに達成される。ベクトル 量子化の複雑さおよび蓄積限界についての詳細な論議が先のGershoおよびGrayの 文献において見出される。ベクトル次元数と一緒の複雑さの急速な増大のため、 実際問題として像は常に小さなブロックに分割されそしてベクトル量子化が各ブ ロックに適用される。このとき、問題はブロック間の冗長度をどのようにして除 去するかである。予測ベクトル量子化および有限状態ベクトル量子化が、かかる ベクトル間の冗長度の除去を実現するために研究されている。 最近、ベクトル間の相関性を除去する像符号化のためにベクトル変換(VT)が提 案されている（W．Li による”Vector Transform Coding （ベクトル変換符号化 ）、IEEE Trans．Circuits and Systems for Video Technology （IEEE会報のビ デオ技術のための回路およびシステム ）”、第１巻、No.4、12/91を参照されたい）。ベクトル変換符号化(VTC)が、従 来の変換符号化技術（この関係においてスカラー変換符号化(STC)と呼ばれる） のベクトル一般化の結果物である。かかるベクトル一般化結果物において、一つ のピクセルが複数のピクセルからなるブロック（一つのベクトル）により置換さ れ、スカラーピクセルを相関解除させるスカラー変換(ST)はベクトルを相関解除 させるベクトル変換により置換され、スカラー変換(ST)定義域におけるスカラー 量子化(SQ)は、ベクトル変換(VT)定義域におけるベクトル量子化(VQ)により置換 される。W．Li およびY.-Q．Zhangによる1993年４月発行のIEEE ICASSP'93の"Ne w Insights and Results on Tranform Domain VQ of Images(像の変換定義域ベ クトル量子化に関する新規な洞察と結果) という表題の付された刊行物およびW ．Li およびY.-Q．Zhangによる1993年５月発行のIEEE ICC'93 の"A Study on th e Optimal Attributes of Transform Domain Vector Quantization for Image a nd Video Compression（像および映像圧縮のための変換定義域ベクトル量子化の 最適属性に関する研究）”という表題の付された刊行物において、ベクトル量子 化もまたベクトル間相関性を保ちそしてベクトル間を相関解除させ、ベクトル量 子化が使用されるときにスカラー変換を越える有意な性能利得を許容することが 見出された。 発明の開示 したがって、像符号化のために符号表を発生する方法において、 複数の訓練像を、ベクトル変換定義域内のそれぞれのベクトル構成成分に変換 し、各ベクトル構成成分ごとに第１の中心(centroid)値を計算し；各ベクトル構 成成分ごとに第２の中心(centroid)値を計算し、前記訓練像の平均値との引き算 演算を使用し；前記ベクトル構成成分および第１中心値を使用する訓練アルゴリ ズムの実行により複数の符号表要素を有する第１の符号表群を導出し、そして前 記ベクトル構成成分および第２中心値を使用する訓練アルゴリズムの実行により 複数の符号表要素を有する第２の符号表群を導出する諸段階を含む前記の符号表 発生方法を本発明は提供する。 図面の簡単な説明 図１はベクトルをベースにした変換および量子化のシステムを図示する。 図２は本発明による多層化された符号表構造を図示する。 図３は符号表発生のための一連の訓練像を図示する。 図４は本発明のベクトル変換符号化(VTC) 方法を試験するための像である。 図５はベクトル変換符号化方法およびJPEG方法のSNR（信号対雑音比）対ビッ トレート性能のグラフ図比較である。 図６は本発明のベクトル変換符号化方法を使用して発 生される像である。 図７はJPEG標準を使用し発生される像である。 図８は非常に低いビットレートの映像比較物のためのVSC 計画のブロック図で ある。 発明の実施をするための最良の形態 ベクトル量子化システムにおいて、重要な問題が符号表の設計である。符号表 は符号化(encoding)と復号化(decoding)の両方を行うための基礎である。良好な 符号表が、絵の内容の変化に対して強くそして全ての入力ベクトルについて小さ な歪みを発生しよう。符号表の構成のための新規な方法が、多層化された符号表 構造を使用して本明細書において叙述されている。ベクトル符号表をベースにし た符号化システムに関連した問題がベクトル間のビット割当てである。最適なビ ット割当て計画が所与の符号表の大きさについてできるだけ最小限の歪みを発生 しよう。従来のビット割当てのアプローチに関連付けられる問題が、変換定義域 におけるビット割当てが、変換領域係数またはベクトルの統計的性質（共分散行 列の行列式または分散）に基づくことである。特定の変換領域係数またはベクト ルが主要な係数またはベクトルの統計学的な挙動と非常に異なるときに、これは 大きな歪みを招き得る。 図１はベクトルをベースにした標準的な変換および量子化のシステムを図示す る。ベクトル変換の第１の段階は、ベクトルが相関解除せられるそして一べクト ル内の 異なる構成成分間の相関性が保たれるベクトル変換定義域における一組のベクト ルにもとの像ベクトルを写像する。ベクトル量子化(VQ)の第２段階はベクトル変 換定義域ベクトルをビット列に写像する。ベクトル変換および像符号化に関する その属性についての詳細な説明が上記のLi、LiおよびZhang(ICASSP'S93)およびL iおよびZhang(ICC'93)の文献において叙述されている。この発明は、ベクトル変 換定義域におけるベクトル量子化のための新規な方法および装置を開示する。こ の新規な方法は、多層化される符号表構造物および動的ビット割当て計画に基づ く。 多層化される符号表構造物 新規な多層化符号表構造物は図２に図示されている。符号表の組は、３つの段 ないしステージにおける多数の符号表から構成される。以下のリストは符号表構 造を叙述するのに使用されるパラメータを提供する。 １． Ｍ： ステージ１の符号表における最大ビット数 ２． Ｓ： Ｓ（＝２^M）はステージ１における組Ｍの符号語の数 ３． Ｎ： ステージ２の符号表における最大ビット数 ４． Ｔ： Ｔ（＝２^N ）はステージ２における組Ｎの符 号語の数 ５． ＮＣ： ＮＣ＝Ｍ＋３はステージ１における組の合計数 ６． ＮＣ_MR： ＮＣ_MR＝Ｎ＋１はステージ２における組の合計数 ７． ＭＤ−０： ステージ１における組０についての最大歪み ８． ＭＤ−Ａ： ステージ１における組１〜組Ｍ−１についての最大歪み ９． ＭＤ−Ｔ： ステージ１における組Ｍについての最大歪み １０． ＭＤ_MR−０： ステージ２における組０についての最大歪み １１． ＭＤ_MR−Ａ： ステージ２における組１〜組Ｎ−１についての最大歪み １２． ＭＤ_MR-T： ステージ２における組Ｎについての最大歪み １３． ＳＳＭ： ステージ２における平均量子化のためのステップの大きさ １４． ＳＳ_S ： ステージ３におけるスカラー量子化のためのステップの大きさ １５． ＣＩ： ステージ１における組の増分（１≦ＣＩ≦Ｍ） １６． ＣＩ_MR： ステージ２における組の増分（１≦ＣＩＭＲ≦Ｎ） ステージ１において、ＬＢＧアルゴリズムを使用して、一組の像の連続物ない し画面を訓練することによりそれぞれの個別の符号表が得られる木構造として符 号表が叙述される。組ｉ（０≦ｉ≦Ｍ）が、ＬＢＧアルゴリズムのｉ番目の繰返 しにおける中間結果から発生されるｉビット符号表を表わす。それゆえ、組０が 、対応するベクトル変換場所における訓練画面の中心(centroid)である。組Ｍは 、ＬＢＧアルゴリズムにおける符号表訓練プロセスから生ずる最終的な収斂符号 表を表わす。ステージ１には合計でＭ＋３個の組があり、組０〜組Ｍがステージ １の符号表組、組（Ｍ＋１）がステージ２への指標ないしインデックス、そして 組（Ｍ＋２）がステージ３への指標ないしインデックスである。 ステージ２において、各訓練ベクトルごとの平均が差し引かれることをのぞい て、ステージ１における方法と類似の方法で符号表の組が得られる。それゆえ、 クラスｉ（０≦ｉ≦Ｎ）はｉビット符号表を表わし、これは平 均が除去された訓練ベクトルに適用されるＬＢＧアルゴリズムのｉ番目の繰返し における中間結果から発生される。平均もまたステップの大きさＳＳ_Mでスカラ ー量子化されそして圧縮されたビットストリームで伝送される。ステージ２には Ｎ＋１個の組がある。ステージ３は、到来するベクトルの各構成成分がスカラー 量子化されそして伝送されるスカラー量子化プロセスである。 かかる多層化符号表構造は、非常に多くの符号表の使用により到来像の内容の 大幅な変化に適合可能である。それは、最も適当な組および符号表の大きさの選 択により意味のあるビット節約を許容する。さらに、それは最大歪み制御に関し て、従来の単一符号表のアプローチの不利益を除去する。換言すれば、提案され る符号表構造は、スカラー量子化器とベクトル量子化器の組み合わせにより最大 歪みが一定レベルよりも常に低いことを保証する。多層化符号表の発生のための 手続は以下のごとく概説される。 １． 一組の訓練像がベクトル変換定義域におけるベクトルに変換される。 ２． 全てのベクトル変換位置について中心｛Ｃ_p｝が計算される（０≦ｐ≦ｐ −１）。 ３． 平均が除去された状態で全てのベクトル変換位置について中心｛ＣＭＲ_p ｝が計算される（０≦ｐ≦ｐ−１）。 ４． ステージにおける符号表の組がＬＢＧアルゴリズ ムを使用して得られる。 ５． ステージ２における平均が除去された符号表組がＬＢＧアルゴリズムを使 用して得られる。 歪み制御のための動的ビット割当て ベクトル変換において異なる指標ないしインデックスを有するベクトルが非常 に異なる特性を有する。全体のビット数が与えられれば、問題は、どのように符 号表を構成しそして歪みができるだけ最小限とされるようどのようにビットをベ クトルに割り当てるかである。 異なるベクトル間のビット割当てがベクトルをベースにした符号器についての 重要な問題である・所与のビツト数について、最適なビット割当て方法が最小限 の歪みを発生する。スカラー変換符号化またはベクトル変換符号化のいずれにつ いての従来の固定ビット割当てのアプローチに関連付けられる問題が、変換定義 域におけるビット割当てが変換定義域係数またはベクトルの統計的性質（共分散 行列の行列式または分散）に基づくことである。特定の変換定義域係数またはベ クトルが主要な係数またはベクトルの統計的な挙動と非常に異なるときに、これ は大きな歪みを招き得る。これは、高周波の係数またはベクトルに非常に少ない ビットまたは零ビットが通常付与される、任意の固定ビット割当てをベースにし た方法において、像の縁部ないしエッジ部が非常に良好に符号化されないことに よる。 この欄では歪み制御のための動的ビット割当て方法に ついて叙述する。固定ビット割当て方法とこのアプローチの重要な違いは、ビッ ト割当て方式を導出するのに使用される主要ベクトルの統計的な挙動との比較に おいてベクトルそれ自身の重要さのレベルにしたがってベクトルが常に符号化さ れることである。たいていの場合、コーデックは、符号化されるビット数の点か らみると最も効率の高いステージであるステージ１において動作する。もしステ ージ１の符号表組が歪み条件を満たし損なえば、コーデックは順次符号表２の符 号表組に移動する。もしステージ２の符号表組が以前として歪み条件を満たすこ とができなければ、最小効率のスカラー量子化器が順次使用される。両方のステ ージ１および２において、コーデックは、まだ歪み条件を満たしている最小ビッ ト数を使用する組において停止する。動的ビット割当ておよび符号化のための手 続は以下のごとく説明される。 １．符号化 (a)（上記のLiそしてLiおよびZhangのICASSP'93という文献）そして（上記のL iおよびZhang(ICC'93) という文献）に叙述の方法にしたがって、到来像ブロッ クがベクトル変換定義域におけるベクトル｛VVT_p、0≦p≦p}に写像される。 (b) 初期最大歪み値｛MD-0、MD-A、MD-T、MD_MR-0、MD_MR-A、MD_MR-T｝とステップの 大きさ｛SS_M、SS_S｝を設定せよ。 (c) 到来ベクトルVVT_pと中心C_pとの間の歪みＤ_pが計 算される。もしD_p≦MD-0であれば、ステージ１の分類ビットID-1_pをゼロに設定 せよ。 (d) さもなければ、到来ベクトルVVT_pとステージ１の符号表CB-ip（1≦ i≦M- 1 そしてi=i＋CI）との間の歪みＤ_pが計算される。もしD_p≦MD-Aであれば、対応 するインデックスが後続するステージ１の分類ビットID-1pをｉに設定せよ・ (e) さもなければ、到来ベクトルVVT_pとステージ１の符号表CB-M_pとの間の歪 みＤ_pが計算される。もしD_p≦MD-Tであれば、対応するインデックスが後続する ステージ１の分類ビットID-1_pをＭに設定せよ。 (f) さもなければ、到来ベクトルVVT_pの平均がステップの大きさSS_Mでスカラ ー量子化されそして平均除去ベクトルVVT -MR_pが量子化された平均を差し引くこ とにより計算される。量子化された平均が後続するステージ１の分類ビットID-1_p をＭ+1に設定せよ。 (g) 到来ベクトルVVT_p-MR_pと中心CMR_pとの間の歪みＤ_Pが計算される。もしD_p ≦MD_MR-0であれば、ステージ２の分類ビットID-2pをゼロに設定せよ。 (h) さもなければ、到来ベクトルVVT_p-MR_pとステージ２の符号表CBMR-i_p（1≦ i≦N-1そしてi=i+CIMR）との間の歪みＤ_pが計算される。もしD_p≦MD_MR-Aであれ ば、対応するインデックスが後続するステージ２の分類ビットID-2_pをｉに設定 せよ。 (i) さもなければ、到来ベクトルVVT_p-MR_pとステージ ２の符号表CBMR-N_pとの間の歪みＤ_pが計算される。もしD_p≦MDMR-Tであれば、対 応するインデックスが後続するステージ２の分類ビットID-2_pをＮに設定せよ。 (j) さもなければ、VVT_pを設定大きさSS_Sでスカラー量子化せよ。スカラー量 子化されたベクトルが後続するステージ１の分類ビットID-1pをＭ+2に設定せよ 。 (k) もし符号化のために使用されたビット数｛VVT_p、０≦ｐ≦p-1｝がブロッ ク当りのビット合計数と等しければ、別の像ブロックのために(a)に行け。 (l) さもなければ、最大歪みの組｛MD-0、MD-A、MD-T、MD_MR-0、MD_MR-A、MD_MR -T｝およびステップの大きさ｛SS_M、SS_S｝を調整しそして(c)に行け。 ２．復号化： (a) もしID-1_p =0であれば、ステージ１の符号表組における中心C_pは対応ベク トルとして使用される。 (b) もしID-1_p =iであれば、ステージ１の符号表組の組ｉに行きそしてID-1_p の後のインデックスを使用し対応する符号語を見出せ。 (c) もしID-1_p =M+1そしてID-2_p =0であれば、ステージ２の符号表組の中心CM R_pが、量子化平均が付加された対応ベクトルとして使用される。 (d) もし、１≦ｉ≦ＮについてID-1_p=M+1そしてID-2_p =iであれば、ステージ ２の符号表組における組ｉに行き、ID-2_pの後のインデックスを使用し対応する 符号語を見出せ。ベクトルは量子化解除された平均値を符号語 に戻し付加することにより再構成される。 (e) もしID-I_p=M+2であれば、ベクトル再構成のためにスカラー量子化が使用 される。 (f) ベクトル変換定義域における再構成ベクトルは、上述のLi、LiおよびZhan g(ICASSP'93)およびLiおよびZhang(ICC'93)による文献に叙述の方法にしたがっ て、像定義域へと逆写像される。 本発明の動作上の実施において、ベクトル変換定義域における符号表が、図３ に図示の一組の１６個の訓練像に基づきLBG アルゴリズムを使用して得られる。 4 ×4 のベクトルの大きさと8 ×8 ベクトル変換の大きさとが使用される。各訓 練像が512×512個のピクセルを有し、あらゆるベクトル変換位置について256個 の訓練ベクトルに寄与する。１６個の訓練像からなる組は、あらゆるベクトル変 換位置について合計4096個の訓練ベクトルを提供する。 図４の“Lenna”像は、一組の訓練像から試験像として使用される。図５は新 規なベクトル変換符号化計画の信号対雑音比(SNR)−ビットレート曲線および基 準としてのJPEGの信号対雑音比(SNR)−ビットレート曲線を図示する。図６は、0 .17bpp(SNR=30.3db)のビットレートで新規なベクトル変換符号化の計画を使用す る符号化像の主観的品質を図示する。参考として、図７は、同様のビットレート においてJPEGを使用する符号化像を図示する。模擬結果から、新規なベクトル変 換符号化計画は、特 に低ビットレートにおいて、JPEGよりも非常に良好であることが明らかである。 図８は、フルモーション映像画面のフレーム間符号化のためのフレーム間FC-V SCブロック図回路を図示する。符号化手続は以下のごとく記述される。 Ｉ：符号表の発生 (a) ペア様式の映像フレームからなる一組の訓練映像画面を選択し、 (b) フレーム間符号表{Intra_CB_p;1 ≦p ≦p}および中心{Intra_C_p;1≦p ≦p} が発生され、 (c) 訓練画面のペア様式差分を取りそして一組の差分映像フレームを形成し、 (d) フレーム間符号表{Inter_CB_p;1 ≦p ≦p}および中心{Inter_C_p;1≦p ≦p} が発生される。 II：ベクトル符号化回路 (e) 第１の映像フレームは、ステップ(b)において得られるフレーム間符号表 組{Intra_CB_p;1 ≦p ≦p}およびフレーム間中心{Intra_C_p;1≦p ≦p}を使用しVS Cにより符号化される｛F₀｝内フレームであり、それは順次復号化されそしてフ レームバッファに記憶される。 (f) モーション補償された残留映像フレームRF_i(m,n)=F_i(m、n)- F_i-1 ^D(m-mv_{x- mn}、 n-mv_y-mn)の形成のため、モーションの評価および補償が到来映像フレーム｛ F_i｝とフレームバッファ内の先の再構成フレーム {F_i-1 ^D}との間で遂行される。 (g) ステップ(d)において得られるフレーム間符号表組{Inter_CB_p;1 ≦p ≦p} およびフレーム間中心{Inter_C_p;1≦p ≦p}を使用し、モーション補償された残 留フレーム {RF_n}がVSC の手法により符号化される。 (h) 残留フレーム｛RF_i ^D｝が先ず再構成され、順次、F₁ ^D(m、n)=F₀ ^D(m+mv_x-mn、 j+mv_y-mn)+RF₁ ^D(m、n)が再構成されそして次のフレームにおける参照のためフレ ームバッファに記憶される。 (i) ベクトルインデックス、モーションベクトルおよび分類ビットのすべてが 伝送の前にエントロピ符号化(entroy-encoded)される。 (j) もし次フレームにおいてリフレッシュするならば(e)に行け、さもなけれ ば(f)に行け。 III．ベクトル復号化回路 (k) ベクトルインデックス、モーションベクトルおよび分類ビットのすべてが 伝送の前にエントロピ復号化(entroy-decoded)される。 (l) 第１のフレーム{F₀ ^D}は、{Intra_CB_p;1 ≦p ≦p}および中心{Intra_C_p;1 ≦p ≦p}を使用し再構成されそしてフレームバッファに記憶される。 (m) {Inter_CB_p;1 ≦p ≦p}および中心{Inter_C_p;1≦p ≦p}を使用し、次の到 来残留フレーム｛RF₁ ^D｝が再構成される。 (n) {F_i ^D}の再構成のためモーション補償、すなわちF₁ ^D(m、n)=F₀ ^D(m+mv_x-mn、 j+mv_y-mn)+RF₁ ^D(m、n)、が行わ れそしてこれもまた次フレームにおける参照のためフレームバッファに記憶され る。 (o)このプロセスは、すべてのフレーム｛F₀ ^D、F1D、…｝が再構成されるまで繰 り返される。 これまで示されそして説明されてきたものは像および映像の符号化のためのベ クトル変換符号化(VTC) 方法である。ベクトル変換符号化システムにおいて、２ つの主要な部分がある。第１の部分は、ベクトル間の相関性を低減するそして個 々のベクトルの構成成分間の相関性を保つベクトル変換（ＶＴ）である。第２の 部分は、ベクトル変換定義域におけるベクトル量子化（ＶＱ）である。本明細書 で議論されるベクトル量子化への新規なアプローチは多層化された符号表構造お よび動的ビット割当て計画に基づく。符号表構造の第１層はベクトル平均の差し 引きなしの符号表のツリーないし木を包含する。符号表構造の第２層は、ベクト ル平均が除去されそしてスカラー量子化される符号表の木を包含する。符号表構 造の第３層はベクトル構成成分のスカラー量子化である。 動的なビット割当て計画は、最大歪みおよびスカラー量子化のステップ大きさ の最初の組、最大歪み条件を満たすためのベクトルへの十分なビット割当て、そ してブロック当りのビットの合計数が使い果たされるまでの、最大歪みおよびス テップ大きさに関するパラメータ組の調整とともに始まる。従来の単一符号表お よび固定ビット割当て方法を越える新規な方法の利益は、個々のベク トルが、たとえこのベクトルが統計的多数とどのように異なっていても、十分な ビットで符号化され低歪みを保証するることである。ベクトル変換定義域におけ るベクトル量子化のためのこの新規な方法は標準的な方法よりも非常に良好に機 能することを模擬結果が示している。 本発明の現在好ましい実施例と考えられるものを叙述してきたけれども、以下 の請求の範囲に記載の本発明の技術思想から逸脱することなく種々の変更および 修正が可能であることは当業者に明らかであろう。

Claims (1)

1. 【特許請求の範囲】 １．像の符号化のために符号表を発生する方法において、 複数の訓練像を、ベクトル変換定義域内のそれぞれのベクトル構成成分に変換 し、 各ベクトル構成成分ごとに第１の中心値を計算し、 各ベクトル構成成分ごとに第２の中心値を計算し、 前記訓練像の平均値との引き算演算を使用し、 前記ベクトル構成成分および第１中心値を使用する訓練アルゴリズムの実行に より複数の符号表要素を有する第１の符号表群を導出し、そして 前記ベクトル構成成分および第２中心値を使用する訓練アルゴリズムの実行に より複数の符号表要素を有する第２の符号表群を導出する諸段階を含む方法。