JPH10500551A - ビデオ画像符号化装置及び方法 - Google Patents

Abstract

(57)【要約】 従来のビデオエンコーダのビットレート制御は画像ブロック当たりの量子化ステップサイズの制御に基づいている。比較的大きな画像ブロックの変換符号化におけるビデオ画像は、画像当たり所望なビット数を得るのには画像ブロックの数が少な過ぎる。本発明によれば、画像ブロック当たりのビット数に対する目標値をＮ個のサブ目標値（Ｒ_t(k,n)）に分ける。画像ブロックを表す係数の列を画像ブロック当たりのビットコストの累積分布に対する評価値を参照してＮ個のセグメント（Ｌ(n)）に分ける。次いで量子化ステップサイズを対応するサブ目標値にセグメント毎に適合させる。セグメントの数は画像ブロックの数よりもＮ倍大きいから、正しいビットレート制御が可能である。所要に応じ、累積分布に対する評価値を画像ごとに適合させる。

Description

【発明の詳細な説明】 ビデオ画像符号化装置及び方法発明の分野 本発明はビデオ画像を符号化及び復号化するための装置及び方法に関するもの である。発明の背景 ビデオ画像を符号化するための既知の装置は、１９９２年日本で開催されたＨ ＤＴＶのシンポジウムにて公開された“Hardware Implementatlon of the Frame store and Data Rate Control for a Digital HDTV-VCR”に開示されている。こ の従来の装置は、画像ブロックを表す一連の係数を得るための画像変換器と、前 記係数列を或るステップサイズで量子化するための量子化器と、係数列を符号化 するためのエンコーダとを具えている。さらに従来の装置は係数列当たりのビッ ト数に対する或る目標値に従ってステップサイズを制御する制御手段を具えてい る。 従来の装置はビットストリームを可変ビットレートで供給する。画像（又は画 像群）当たりのビットレートを固定させるために、従来の装置はビットストリー ムを可変ビットレートで書き込むと共に固定ビットレートで読み取るバッファを 具えている。量子化ステップサイズは、このバッファが所望される満足のゆく作 動を維持するように制御手段により制御される。この従来の装置の制御手段はマ クロブロック、即ち１個以上の連続画像ブロック当たりの量子化ステップサイズ を更新する。 よく用いられる画像変換モードは離散コサイン変換（ＤＣＴ）である。この変 換は比較的小さい、例えば８画素×８画素の連続画像ブロックで行われる。最近 は、ブロックアーチファクトが存在しなくなることからしてラップド直交変換（ ＬＯＴ）が脚光を浴びている。この変換モードでは画像ブロックが水平及び垂直 方向の両方向にて部分的に互いに例えば５０％づつオーバラップする。特に、医 療用途のＸ線血管撮像画像を記憶させるのにＬＯＴが関心を持たれている。しか しＸ線画像の特性は通常のビデオ画像とは異なるものである。従って、画像ブロ ックの寸法はかなり大きい。５１２画素×５１２画素の寸法を有するＸ線画像は ５０％オーバラップする６４画素×６４画素のブロックサイズで最適に符号化さ れるように思われる。変換後はこれにより各画像ごとに各々１０２４個の係数か ら成る２５６個のブロックが得られる。 従来装置の問題は、ステップサイズを制御しても、画像ブロックの数が少な過 ぎる場合に、各画像ごとに満足のゆく固定ビットレートを得ることができないと 云う点にある。多数の画像に対する平均ビットレートは一定となるも、画像当た りのビットレートは不所望なほどの大きさに変動する。比較してみるに、通常の ビデオ画像は数千個の画像ブロックから成る。このような数の場合には、各画像 当たり固定のビットレートを例えば0.5 ％の余裕度内で得ることができる。本発明の目的及び概要 本発明の目的は上述した欠点をなくすことにある。 このために、本発明によるビデオ画像符号化装置は当該符号化装置に、前記係 数列をサブ列に分け、且つサブ列当たりのビット数に対するサブ目標値を決定す る分割手段を設け、前記制御手段を、対応するサブ目標値に従って前記サブ列当 たりのステップサイズを制御するのに適合させるようにしたことを特徴とする。 このようにすることにより、サブ列があたかも小さな画像ブロックであるかの ように、前記制御手段がサブ列当たりのステップサイズを制御することになる。 しかし、実際の画像ブロックの寸法は変わらず、随意所望な変換に適合させるこ とができる。画像当たりのサブ列の数は画像ブロックの数のＮ倍とし、これは自 由に選定することができる。Ｎの値は、画像当たりの所望ビットレートを極めて 小さな余裕度内にて得ることができるように選定することができる。さらに、画 像内のステップサイズの変動も極めて小さくなる。特に医療用の画像系列の場合 、このことは極めて重要なことであり、その理由は大きな変動は画像の品質を不 均一にするからである。 画像ブロック内のサブ目標値は等しい大きさとするのが好適である。対応する サブ列は画像ブロックの係数同士のビット累積分布の予定評価値から導出するこ とができる。累積分布の賢明な評価値は多数の画像を統計的に分析することによ り得られる。このような評価は画像系列の最初の画像を符号化するのに極めて好 適である。画像系列の他の画像に対する評価は画像系列から既に符号化した画像 の符号化結果から導出することができる。図面の簡単な説明 図１は本発明によるビデオ画像符号化装置を示す。 図２及び図３は画像ブロックの係数の列をサブ列に分ける例を示す。 図４は図１に示した制御回路の一例を示す。 図５及び図６はサブ列に分ける回路の例を示す。 図７は図５に示した回路を説明する線図を示す。 図８は符号化信号のディジタル画像フォーマットの可能な除法を示す。 図９は本発明によるビデオ画像を復号化する装置を示す。実施例の説明 図１は本発明によるビデオ画像符号化装置を示す。この装置は各ビデオ画像を 例えば互いに５０％づつオーバラップする６４画素×６４画素の寸法を有する画 像ブロックに分けるブロック形成手段１を具えている。画像ブロックは画像変換 器２に供給される。この変換器にて画像ブロックはラップド直交変換（ＬＯＴ） される。斯種の画像変換器の例は米国特許ＵＳ４，４４２，４５４に開示されて いる。しかし、離散コサイン変換のような非オーバラップ画像変換も可能である ＬＯＴでは、各画像ブロックを３２係数×３２係数から成る２次元ブロックに変 換する。１つのブロックの１０２４個の係数はジグザグシーケンスで既知の方法 にて読み取られてから、一次元の列の形態で量子化器３へと供給され、この量子 化器はこれらの係数を量子化する。量子化した係数は可変長符号化器４にてディ ジタルコードワードに符号化されて、伝送チャネルと供給される。 量子化器３は適用する量子化パラメータｓに応じて係数の列を所定のステップ サイズで量子化する。ステップサイズは各列の全ての係数に対して同じとするこ とができる。この場合、ｓは該当するステップサイズである。量子化ステップサ イズは予定した方法で空間画像周波数、従って係数列内の係数の位置に依存させ ることもできる。この場合のｓは倍率である。簡単化のために、ｓを以後“ステ ップサイズ”と称する。 ステップサイズｓはビットレート制御回路５によって量子化器３に供給される 。この制御回路は各画像ブロックｋに対して、この画像ブロックを符号化しなけ ればならないビット数に対する予定目標値Ｒ_t(k)を受け取る。さらに、制御回路 はエンコーダ４から各画像ブロックｋに対して実際に発生したビットＲ(k)も受 け取る。制御回路はＲ_t(k)及びＲ(k)に応じて画像ブロック当たりのステップサ イズを適合させる。目標値以上のビットが発生する場合には、制御回路がステッ プサイズを大きくする。この場合には係数が大まかに量子化され、ビット数が低 減する。目標値より少ないビット数が発生する場合には、制御回路がステップサ イズを小さくする。 画像ブロック当たりのビット数に対する目標値Ｒ_t(k)は画像の全ブロックに対 して同じとすることができる。しかし、目標値は各画像内でブロックごとに変え るのが好適である。実際上、幾つかの画像ブロックはほぼ等しい輝度を有するが 、他の画像ブロックは高度の複雑性を呈する。画像ブロック当たりの目標値Ｒ_t( k)を決定するためのアルゴリズムは本来既知である。従来の装置では、前記目標 値を現画像の事前分析から得ている。 本発明によれば、画像ブロックｋの１０２４個の係数の列をサブ列当たりのビ ット数に対するサブ目標値Ｒ_t(k,n)を有するＮ個（例えば４個）のサブ列に分け 、ここにｎはｎ＝１・・・・Ｎとする。極めて簡単な例では、係数の列を等しい長さ のサブ列に分け、各サブ列に対するサブ目標値が等しくなるようにする。しかし 、サブ列当たりのサブ目標値がサブ列によって表される空間画像周波数に依存す るようにする例の方がもっと有効である。係数が高い空間画像周波数を表すにつ れてビットの需要が減ることを実際に確かめた。 図２は係数の列をサブ列に分けることのできる例を説明する線図を示す。この 図における参照番号２０は実際に可変長エンコーダによって画像ブロック当たり に発生されるビット数の累積分布の評価を示す。ｘ軸は、ＤＣ係数で始まり、最 下位のＡＣ係数にて終わる１０２４個の係数の列を示す。ｙ軸に沿う値１は画像 ブロック当たりの総ビット数Ｒ(k)を表す。図示の例では、画像ブロック当たり のビット数の目標値Ｒ_t(k)をＮ個の予定したサブ目標値Ｒ_t(k,n)（ｎ＝１・・・・Ｎ ）に分ける。賢明なやり方は目標値をＮ個の等しいサブ目標値Ｒ_t(k)／Ｎ に分けることである。このようにして得られるサブ列は個別の列長Ｌ(n)を有す る。図３は他の例を示す。この例では、Ｎ個のサブ列が予定した（例えば等しい ）長さＬを有し、各サブ列に対するサブ目標値Ｒ_t(k,n)が相違する。以後、係数 のサブ列をセグメントと称する。従って、Ｋ個の画像ブロックから成るフル映像 はＫ×Ｎ個のセグメントから成る。 図１に示した制御回路５はセグメント当たりのステップサイズを適合すべく構 成する。図４は制御回路５の実施例の概略構成を示す。この制御回路はエンコー ダ４（図１参照）によって画像ブロックｋのセグメントｎ当たりに発生されるビ ット数Ｒ(k,n)を計数するためのカウンタ／ラッチ５１を具えている。このため に、カウンタ／ラッチ５１は各セグメントの長さを示すラッチ信号Ｌ(n)を受信 する。これにて計数したビット数を減算回路５２によって目標値Ｒ_t(k,n)と比較 する。これにより求めた差Ｄ(k,n)を加算器５３１とレジスタ５３２とから成る 累算器５３にて累積する。累積した差Ｂ(k,n)は、所望なビットレートを実際の 量子化ステップサイズで達成する程度を示す。正の値は平均してあまりに多くの ビットが発生し、ステップサイズを大きくしなければならないことを示す。負の 値は平均して発生ビット数が少な過ぎて、ステップサイズを小さくしなければな らないことを示す。 ステップサイズは比例積分する（ＰＩ）制御部材５４により累積差Ｂ(k,n)に 応じて制御される。この制御部材は（乗算器５４１によって構成される）比例ブ ランチ及び（加算器５４２と、レジスタ５４３と、乗算器５４４とで構成される ）積分ブランチとを有している。さらに、ＰＩ制御部材は加算装置５４５も具え ており、この加算装置にて比例ブランチと積分ブランチとの出力を量子化ステッ プサイズ用の初期評価値ｓ_eに加える。図から明らかなように、ＰＩ制御部材は 次のようにして次のセグメントに対するステップサイズｓを決定し、 ｓ＝ｋ₁・Ｂ(k,n)＋ｋ₂・ΣＢ(i,j)＋s_e ここに、総和ΣＢ(i,j)は画像を予じめ符号化した全てのセグメントに対してと るのであって、ｋ₁及びｋ₂は制御定数である。ステップサイズに対する初期評価 値ｓ_eは多数の画像を統計的に分析して得られる或る固定値とすることができる 。これは先の画像を符号化した平均ステップサイズとすることもできる。 図４に示すように、画像ブロックｋのセグメントｎ当たりのビット数に対する サブ目標値Ｒ_t(k,n)並びにカウンタ／ラッチ５１及びレジスタ５３２と５４３用 のラッチ信号Ｌ(n)はセグメンテーション回路５０により発生させる。 図５はセグメンテーション回路５０の第１実施例を示す。この例は一連の係数 を図２に従ってセグメントに分けるのに用いられる。このセグメンテーション回 路は画像変換器２によって量子化器３（図１参照）に供給される各係数に対する クロック信号ｃ１を受信する。このクロック信号が係数カウンタ５００に供給さ れ、これが画像ブロック当たりの係数の数（１・・・・１０２４）をカウントダウン する。このカウンタの係数値はメモリ５０１に供給され、このメモリには画像ブ ロック当たりのビットコストの累積分布の評価値を記憶する。メモリに供給され る係数値はｘ軸上の前記累積分布の値を表す。この供給される値ｘに応答して、 メモリ５０１は対応するｙ値を比較器５０２に供給する。ｙ値が予定値（Ｎ＝４ に対して、0.25，0.50，0.75及び１）になると直ちに前記比較器はラッチ信号Ｌ (n)を供給する。さらに、セグメンテーション回路は画像ブロック当たりのビッ ト数に対する目標値Ｒ_t(k)も受信する。前述したように、この目標値はブロック ごとに変えることができる。目標値Ｒ_t(k)を乗算器５０３にてセグメント数Ｎで 割って、セグメント当たりのサブ目標値Ｒ_t(k,n)＝Ｒ_t(k)／Ｎを得るようにする 。 図６はセグメンテーション回路５０の第２実施例を示す。この例は一連の係数 を図３に従ってセグメントに分けるのに用いられる。このセグメンテーション回 路は前述した例と同じ係数カウンタ５００及びメモリ５０１を具えている。この 例の場合にはクロック信号ｃ１を乗算器５０４にも供給し、これにより常に２５ ６個の係数（画像ブロック当たりＮ倍）の後にラッチ信号Ｌ(n)を発生させる。 メモリ５０１によって供給されるｙ値はラッチ信号により計算回路５０５に供給 する。この計算回路は、実際のｙ値と以前のｙ値とを参照して、実際のセグメン トを符号化するのに使うことのできるビット数Ｒ_t(k)の少量部Ｆ(n)を決定する 。この少量部Ｆ(n)を乗算器５０６にて目標値Ｒ_t(k)と乗算して、サブ目標値Ｒ_t (k,n)を得るようにする。 図５及び図６のメモリ５０１はＲＯＭとすることができ、これには画像ブロッ ク当たりのビットコストの累積分布に対してかって求めた評価値を記憶させる。 しかし、画像ブロック当たりのビットコストの累積分布を画像信号の統計値に規 則的に適合させることもでき、その方が賢明である。この場合には、メモリをＲ ＡＭとし、これには例えば画像の開始時に分析回路によりロードさせる。簡単化 のために、このような分析回路を図５だけに５０７にて示してある。図７は分析 回路によって行われるアルゴリズムを説明する線図である。この図では当面のビ ットコストの累積分布を２０にて示してある。分析回路は次のようなステップを 実行する。即ち、 １．各画像ブロックの各セグメントｎに対して発生したビット数Ｒ(k,n)並びに この場合に用いられるステップサイズｓ(k,n)を記憶する。 ２．セグメント当たりのその複雑性を求める。セグメントの複雑性は次のように 規定される。 ｃ(k,n)＝ｓ(k,n)・Ｒ(k,n) ３．１つの画像を構成する画像ブロックのうちのｎ番めのセグメントの平均複雑 性を次のようにして求める。 ４．１つの画像ブロック内のセグメントの相対的平均複雑性を次のようにして求 める。 ５．次の画像に対する新規の累積ビットコスト分布の４つの点Ｐ１・・・・Ｐ４を前 記比率ｃ_r(n)及び現セグメントの境界Ｎ１・・・・Ｎ４（図７参照）を参照して固定 する。 ６．点Ｐ１・・・・Ｐ４を通る内挿曲線を計算することにより新規の累積分布２１を 評価する。 ７．新規の除法を次の画像の開始時にメモリ５０１（図５及び図６参照）にロー ドする。 本発明による装置はセグメント当たりの量子化ステップサイズを制御し、且つ セグメントの数を画像ブロック数よりもＮ倍大きいファクタとするため、ビット レートを正確に制御することができる。実際の実験で、各々が６４画素×６４画 素から成るオーバラップする２５６×２５６の画像ブロックのＸ線画像をＮ＝４ セグメントへの除法で所望なビット数に十分正確に符号化し得ることを確かめた 。 図１から明らかなように、セグメントの境界を表すラッチ信号Ｌ(n)及びステ ップサイズｓはマルチプレクサ６にてエンコーダ４からのビットストリームと合 成される。図８はこのようにして得られるディジタル画像フォーマットの可能な 除法を示す。画像信号はヘッダー９１及び一連の符号化した画像ブロック９２も 有する。画像に適用するセグメント長Ｌ(n)はヘッダー内に入れる。その後の各 符号化した画像ブロックは、各セグメントに対する関連するステップサイズｓ(n )、符号化係数及びエンド−オブ−ブロックコードＥＯＢを含んでいる。 図９は画像信号を復号化する装置を示す。この装置は画像信号を、係数を表す 可変長のコードワードと、ステップサイズｓ及びセグメント長Ｌ(n)とに分ける デマルチプレクサ１０１を具えている。可変長コードワードは可変長デコーダ１ ０２に供給し、これにて量子化係数を逆量子化器１０３へと供給する。逆量子化 器はＬ(n)によって規定されるセグメントにおけるステップサイズｓに依存する 係数の列を再生する。この係数列はその後、逆画像変換器１０４によって画素領 域内の画像ブロックに再変換される。

Claims (1)

1. 【特許請求の範囲】 １．画像ブロックを表す一連の係数を得るための画像変換器（２）と、前記係数 列をステップサイズ（ｓ）で量子化するための量子化器（３）と、前記係数列を 符号化するためのエンコーダ（４）と、前記ステップサイズを係数列当たりのビ ット数に対する目標値（Ｒ_t(k)）に従って制御する制御手段（５）とを具えてい るビデオ画像符号化装置において、当該符号化装置に、前記係数列をサブ列に分 け、且つサブ列当たりのビット数に対するサブ目標値（Ｒ_t(k,n)）を決定する分 割手段（５０）を設け、前記制御手段（５）を、対応するサブ目標値に従って前 記サブ列当たりのステップサイズを制御するのに適合させるようにしたことを特 徴とするビデオ画像符号化装置。 ２．前記分割手段を、前記サブ列と、前記係数の列同士のビットの累積分布の予 定評価値（５０１）からの対応するサブ目標値との関係を導出するのに適合させ るようにしたことを特徴とする請求項１に記載の装置。 ３．前記分割手段を、前記目標値（Ｒ_t(k)）をＮ個の予定したサブ目標値（Ｒ_t( k)／Ｎ）に分けて、対応するサブ列（Ｌ(n)）を決定するのに適合させる（５０ ３）ようにしたことを特徴とする請求項１又は２に記載の装置。 ４．前記分割手段を、前記係数の列をＮ個の予定したサブ列（Ｌ）に分けて、対 応するサブ目標値（Ｒ_t(k,n)）を決定するのに適合させる（５０４）ようにした ことを特徴とする請求項１又は２に記載の装置。 ５．前記符号化装置が、前記係数の列同士のビットの累積分布の評価値を以前の 符号化結果に適合させる手段（５０７）を具えていることを特徴とする請求項２ に記載の装置。 ６．一連の量子化係数の列を得るためのデコーダ（１０２）と、適用されるステ ップサイズ（ｓ）に応答して変換係数を再生する逆量子化器（１０３）と、この 再生係数を画像ブロックに変換する画像変換器（１０４）とを具えている符号化 画像信号を復号化する装置において、当該復号化装置が、前記量子化係数の列を どれだけのサブ列に分割するかを示すパラメータ（Ｌ(n)）を受け取る手段（１ ０１）を具え、前記逆量子化器を、サブ列当たりの変換係数を該サブ 列に対するステップサイズで再生するのに適合させるようにしたことを特徴とす る符号化画像信号復号化装置。 ７．一連の符号化画像ブロック（９２）を、量子化係数及びこれらの係数を符号 化したステップサイズの形態で含む画像信号において、当該画像信号が、画像ブ ロックの量子化係数の列をどれだけのサブ列に分けるのかを示すパラメータ（Ｌ (n)）を含み且つ前記ステップサイズ（ｓ(n)）が各サブ列に対する信号中に含ま れるようにしたことを特徴とする画像信号。 ８．画像ブロックを一連の係数に変換するステップと、前記係数列をステップサ イズで量子化するステップと、前記係数列を符号化するステップと、係数列当た りのビット数に対する目標値（Ｒ_t(k)）に従って前記ステップサイズを制御する ステップとを含むビデオ画像符号化方法において、前記係数列を、サブ列当たり のビット数に対するサブ目標値（Ｒ_t(k,n)）を有するサブ列に分割し、各サブ列 当たりのステップサイズを、対応するサブ目標値に従って制御することを特徴と するビデオ画像符号化方法。 ９．前記サブ列と、これらのサブ列に対応するサブ目標値との関係を、前記係数 列同士のビット累積分布の予定評価値から取り出すことを特徴とする請求項８に 記載の方法。 10．前記目標値（Ｒ_t(k)）をＮ個の予定したサブ目標値（Ｒ_t(k)／Ｎ）に分けて 、対応するサブ列（Ｌ(n)）を計算することを特徴とする請求項８又は９に記載 の方法。 11．前記係数列をＮ個の予定したサブ列（Ｌ）に分け、且つ対応するサブ目標値 （Ｒ_t(k,n)）を計算することを特徴とする請求項８又は９に記載の方法。 12．前記係数列同士のビット累積分布の評価値を先の符号化結果に適合させるこ とを特徴とする請求項９に記載の方法。 13．一連の量子化係数を得るステップと、適用されるステップサイズ（ｓ）に応 答して変換係数を再生する逆量子化ステップと、再生係数を画像ブロックに変換 するステップとを含む符号化画像信号を復号化する方法において、前記量子化係 数の列をどれだけのサブ列に分けるのかを示すパラメータ（Ｌ(n)）を受け取り 、且つ各サブ列当たりの変換係数を、このサブ列に対するステップサイ ズで再生することを特徴とする符号化画像信号復号化方法。