JP4039634B2 - 動画像符号化方式 - Google Patents

Description

本発明は、動画像符号化方式に関し、特に、フレーム内符号化処理、フィールド内符号化処理、フレーム内−フィールド内適応符号化処理のいずれかを行う動画像符号化方式において、コードブロック間のコーディングパス数の開きによる画質劣化を解消できる動画像符号化方式に関する。

図５は、静止画像を対象とした従来の画像符号化方式を示すブロック図である。画像Ｓ(x,y)はフレームメモリ１とコードタイプ決定部２に入力される。フレームメモリ１から読み出された画像Ｓ(x,y)は離散ウエーブレット変換部(DWT)３に入力される。コードタイプ決定部２は、処理効率を考慮してフレームとフィールドのいずれの処理単位で離散ウエーブレット変換するか、つまりフレーム内符号化処理を行うかフィールド内符号化処理を行うかフレーム内−フィールド内適応符号化処理を行うかを決定する。ＤＷＴ３は、フレームメモリ１から入力された画像Ｓ(x,y)をコードタイプ決定部２で決定された処理単位で離散ウエーブレット変換してコードデータ（変換係数）を出力する。

ＤＷＴ３から出力されたコードデータは量子化器４−１に入力される。量子化器４−１はポスト量子化器４−２とともにレート制御部４として機能し、入力されたコードデータのビット数を回線速度で決まる目標ビット数に合わせ込む。パケット化部５は目標ビット数に合わせ込まれたコードデータをパケット化して回線に送出する。

図６は、JPEG2000(静止画像符号化)の場合のポスト量子化器４−２での処理の概念を示す図である。量子化器４−１は目標ビット数より若干多目のビット数のコードデータを出力する。ポスト量子化器４−２は算術符号化器を有し、目標ビット数に合わせ込まれたビット数のコードデータを出力する。

図６に示すように、１つのコードブロックについて量子化器４−１から出力されるコードデータのビットプレーンＬＳＢ〜ＭＳＢをplane^０，plane^２，・・・，plane^Ｍ−２，plane^Ｍ−１とすると、ポスト量子化器４−２は、ビットプレーンplane^０に対するコードデータＰ_０，１，Ｐ_０，２，Ｐ_０，３、・・・、ビットプレーンplane^Ｍ−２に対するコードデータＰ_{Ｍ−２，１}，Ｐ_{Ｍ−２，２}，Ｐ_{Ｍ−２，３}、ビットプレーンplane^Ｍ−１に対するコードデータＰ_{Ｍ−１，１}，Ｐ_{Ｍ−１２，２}，Ｐ_{Ｍ−１，３}を算出する。ここで、Ｐ_ｍ，ｋは、各ビットプレーンでのコーディングパスｋ(ｋ＝１：Significance pass ，ｋ＝２：Refinement pass ，ｋ＝３：Cleanup pass)のコードデータを表す。

さらに、ポスト量子化器４−２は、コーディングパス単位(k＝1,2,3)で３段階に、ＬＳＢ側から順にビットプレーンを切り捨てることによりコードデータのビット数を目標ビット数に合わせ込む。ポスト量子化器４−２での切り捨ての規範としてはＭＳＥ(平均自乗誤差)最小化を用いるのが一般的である。

図７は、４つのコードブロックについて従来のレート制御によりコードデータを目標ビット数に合わせ込む概念を示す図である。図７では上側になるほど上位のビットプレーンを表し、各コードブロックにおいて網目部分より下位側のビットプレーンがコーディングパス単位で切り捨てられることを表している。

切り捨てに際しては、Ｒ−Ｄ(レート−歪)勾配最大化を規範とし、Ｒ−Ｄ勾配の値が小さいコードブロックのコーディングパスから、つまり、そのコードブロックのコーディングパスを切り捨てても歪み発生が少ないコードブロックのコーディングパスから順に切り捨てる。

これにより目標ビット数に合わせ込まれたコードデータは、ＭＳＥを最小化するものであるが、サブバンド内でコードブロックごとに符号化されたコーディングパス数に開きがある。このとき、実効的な量子化ステップサイズq_ step_ sizeは、下記(1)式で表される。なお、Δは量子化器４−１による量子化ファクタである。また、ｎＬはポスト量子化器４−２で切り捨てられたビットプレーン数であり、コードブロックごとにまちまちな値になる。

q_ step_ size＝Δ×２^ｎＬ (1)

特開２００３−１５３２２８号公報 特開２００２−１６５０９８号公報 特開２００１−１１２００４号公報

上記の従来のレート制御は、静止画像に対しては良好な結果を与えるが、コードブロック間で切り捨てられたコーディングパス数に開きがあるため、これを動画像に適用すると空間的に意図しない画質変動(フリッカ)が生じ、主観的画質が劣化されるという課題がある。

本発明の目的は、フレーム内またはフィールド内適応符号化処理を行う動画像符号化方式において、コードブロック間のコーディングパス数の開きによる画質劣化を解消できる動画像符号化方式を提供することにある。

上記課題を解決するために、本発明は、入力される動画像を、フレーム内符号化、フィールド内符号化、フレーム内−フィールド内適応符号化のいずれかで離散ウエーブレット変換し、これにより得られるコードデータのビット数を、コードブロックごとにコーディングパスの切り捨てを下位のビットプレーンより順次行って符号化割り当てビット数の範囲内とする動画像符号化方式において、コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるコーディングパス数がコードブロック間で均等になるように制御する制御手段を備え、前記制御手段は、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨てる際に符号化ビット数が割り当てビット数を初めて下回るコーディングパスの位置を探索し、該コーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が割り当てビット数内に収まるように制御する点に第１の特徴がある。

また、本発明は、前記制御手段が、コードブロックごとに切り捨てを行う際に、該当するコーディングパスのレート−歪みの勾配が小さいものから切り捨てる点に第２の特徴がある。

また、本発明は、前記制御手段が、コードブロックごとに切り捨てを行う際に、該当するコーディングパスの切り捨てに伴い発生する歪み量が小さいものから切り捨てる点に第３の特徴がある。

さらに、本発明は、前記制御手段が、１画面単位あるいは１画面を複数に分割したセグメント単位で制御を行う点に第４の特徴がある。

本発明の第１の特徴によれば、切り捨てられるビットプレーン数がコードブロック間で均等になり、さらに、コーディングパス数単位で切り捨てが行われるので、動画像符号化の際に意図しない画質変動(フリッカ)が生じなく、主観的画質の劣化が防止されるとともに、高精度の符号量制御が可能になる。また、各コードブロックでコーディングパスを均等に切り捨てた結果、割り当てビット数までに多少の空きがある場合、下位のビットプレーンのコードデータをコードブロックごとに選択して割り当てビット数に合わせ込むので、さらに高精度の符号量制御が可能になる。

また、第２および第３の特徴によれば、画質の歪み少なくしてコードブロックごとの切り捨てを行うことができる。

さらに、第４の特徴によれば、セグメント単位での処理とすることにより高画質化とともに低遅延の符号化が可能になる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像符号化方式を示すブロック図であり、バッファ６をレート制御部４とパケット化部５の間に備える点、レート制御手法において従来の方式と異なる。

ＤＷＴ変換符号化におけるサブバンドは周波数成分を示し、サブバンドごとにピクチャレベルで量子化精度を変えるようにすれば主観画質の劣化を防ぎつつ、レート制御できるという点にかんがみ、本発明では、まず、量子化器４−１でサブバンドごとに異なる量子化ファクタで量子化してコードデータのビット数を目標ビット数を若干上回るように制御する。

サブバンドごとに異なるファクタをdqt[band]とし、各サブバンドに一律に適用される重み係数をcqとすると、量子化器４−１は下記(2)式で表される量子化ファクタdelta[band]で量子化する。重み係数cqの決定手法については後述する。

delta[band]＝dqt[band]×cq (2)

次に、ポスト量子化器４−２において、ビットプレーンの下位、つまり比較的重要でないビットプレーンから順にコーディングパスを切り捨ててコードデータのビット数を目標ビット数へ合わせ込む。ここで切り捨てるコーディングパス数は全コードブロックで同一とする。なお、コーディングパスの切り捨ては、コードブロック間のコーディングパスが均等になるようにコーディングパス数単位で行うことにより、高精度に符号量を制御する。

以上のように、本発明に係る動画像符号化方式では、コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるコーディングパス数がコードブロック間で均等になるように制御し、さらに後述するようにして、符号化ビット数が目標ビット数内に収まるように制御する。これによりコードブロック間の量子化誤差が均等になり、主観画質の低下を防止でき、また、高精度に符号量を制御できる。

以下に、本発明を具体化した第１の実施形態について説明する。本発明は動画像を符号化の対象としており、動画像ではピクチャ１枚ごとに符号化ビット数が異なるので、回線に送出する符号化ビット数を一定にして低遅延のＣＢＲ(constant bit rate)符号化を実現するためにはバッファモデルの導入が必須であり、そのためにバッファ６を備えている。

図２は、本発明におけるレート制御の手順を示すフローチャートである。まず、ＣＢＲ符号化を実現するために今回のフレームあるいはフィールドに何ビットを与えればいいかの目標符号化ビット数を算出する（Ｓ１）。次に、この目標符号化ビット数を若干上回るビット数が得られるように重み係数cqを算出（Ｓ２）する。次に、量子化器４−１でコードデータを量子化する（Ｓ３）。最後に、ポスト量子化によりコードデータのビット数をを目標符号化ビット数へ合わせ込む（Ｓ４）。以上のＳ１〜Ｓ４の処理が１ピクチャ分の処理に相当し、これを繰り返し実行する。

Ｓ１での目標符号化ビット数の算出は以下のようにしてできる。バッファモデル上で、当該ピクチャｔの引き抜きが開始される際のバッファ占有量の理想値に対する差をDiff(t)とおくと、Diff(t)は下記(3)式で表される。なお、先頭のピクチャをｔ＝０とする。

ここで、Ｂはビットレート(bit_rate)／ピクチャレート(picture_rate)であり、例えばテレビの動画像を50Mbpsの回線に送出するものとすると834,167bitとなる。ｖ_０は先頭ピクチャの引き抜きが開始される際のバッファ占有量であり、ｖ_Ｔは理想とするバッファ占有量である。

Diff(t)を後続のＬ_ｗ枚のピクチャ符号化により吸収するという目標をおき、当該ピクチャｔの符号化ビット数Ｒ(t)を下記(4)式で算出する。算出された符号化ビット数Ｒ(t)が当該ピクチャｔの目標符号化ビット数となる。ここでＬ_ｗはレート制御のウインドウ長を意味し、例えばピクチャ枚数15に設定する。

また、Ｓ２での重み係数cqの算出は以下のようにしてできる。まず、重み係数cqの初期値として従来と同様の固定値を与える。それ以後はピクチャに対して行ったレート制御の結果を基に、サブバンドごとの重み係数を一律にしたまま発生符号ビット数に応じて重み係数cqの更新を行う。

当該ピクチャｔにおける切り捨てコーディングパス数npと該コーディングパス数npに対する総符号化ビット数ｒ(t,np)の実測結果より、均等にどれだけコーディングパス数を切り捨てれば発生ビットがいくつになるかの統計が得られるので、それを基に最小二乗法を用いて、切り捨てられるコーディングパス数npに相当する量子化ステップサイズｘと発生ビット数ｙの関係を表す関数ｆを下記(5)式で定義する。

次に、次のピクチャ(t+1)を符号化する際に、上記(4)式で算出した符号化ビット数Ｒ(t+1)を達成するために重み係数cq(t+1)をいくつにすべきかを算出する。そのために、まず、上記(5)式で定義した関数ｆを用いて下記(6)式により目標量子化ステップサイズｘ_Ｔを求め、続いて、重み係数cq(t)更新後の重み係数cq(t+1)を下記(7)式により求める。

なお、下記(7)式において目標量子化ステップサイズｘ_Ｔにかかる係数1/2は発生ビット数が目標符号化ビット数より若干上回るようにして割り当てビット数の不足を防止するためのものである。このようにすることにより重み係数cqはnp＝3を基準に更新され、ｘ_Ｔ＝2である場合に限り更新されない。

上記のようにして、量子化器４−１は、符号化ビット数Ｒ(t)より若干上回るビット数になるようにコードデータを量子化する（Ｓ３）。その後、ポスト量子化器４−２が目標符号化ビット数への合わせ込みを行う（Ｓ４）。目標符号化ビット数への合わせ込みは、コーディングパス数npの選択により行う。ここで、コーディングパス数npは全てのコードブロックで同一とする。

当該ピクチャｔに対し、コーディングパス数npに対する総符号化ビット数ｒ(t,np)は予め算出可能であるので、｜ｒ(t,np)−R(t)｜を最小とするコーディングパス数npを選択すればよい。

図３は、本発明におけるレート制御により４つのコードブロックについてのコードデータを目標符号化ビット数に合わせ込む概念を示している。図７の従来のレート制御と異なり、割り当てられたビット数の範囲内で各コードブロックに共通の切り捨てコーディングパス数npを決定する。

上記第１の実施形態は、画面(ピクチャ)単位で符号化処理し、１画面全体の符号化処理を待って伝送するものであるが、伝送までの遅延を少なくするために１画面全体の処理を待たずに伝送し得るようにした第２の実施形態について以下に説明する。

第２の実施形態では、走査方向に画面を複数のセグメント(タイル)に分割し、セグメント単位で符号化処理を行う。これにより１つのセグメントの処理が終わればその時点で当該セグメントについてのコードデータを伝送することができるので遅延を少なくすることができる。図４はその概念を示し、同図（ａ）は１画面単位で符号化処理を行う場合、同図（ｂ）はセグメント単位で符号化処理を行う場合を示している。

セグメント単位での符号化処理について具体的に説明すると、符号化ビット数Ｒ(t)の算出および重み係数cqの更新はピクチャレベルで行うので、第１の実施形態と何ら変わりなく行うことができる。ピクチャレベルで更新された重み係数cqは、タイル化歪みを抑制するために全タイルに共通に適用することとする。

また、ポスト量子化では、下記(8)式により符号化ビット数Ｒ(t+1)を各タイルに分配した上で、各タイルで独立に切り捨てコーディングパス数npを決定する。

ここでは、タイルを0 〜cnt-1に分割するものとし、各タイルに分配される符号化ビット数をＲ(t+1)[tile]、各タイルにおけるコーディングパス数npに対する総符号化ビット数をｒ(t,np)[tile]で表している。

本発明では、さらに、各コードブロックでコーディングパスを均等に切り捨てた結果、目標ビット数までに多少の空きがある場合、さらに下位のビットプレーンのコードデータをコードブロックごとに選択して目標ビット数に合わせ込むようにし、これによりさらに高精度に符号量を制御する。これは、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨て、その際に符号化ビット数が目標ビット数を初めて下回るコーディングパスの位置を探索し、そのコーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が目標ビット数内に収まるように制御することにより実現できる。

その場合のコードブロックごとに切り捨ては、コーディングパスのレート−歪みの勾配が小さいものから切り捨て、あるいは切り捨てに伴い発生する歪み量が小さいものから切り捨てるようにすればよい。

本発明は、Motion JPEG2000などHDTVを含む高精細動画像の符号化を扱うシステム、例えば放送局向け映像サービスやFTTHなどのブロードバンド系映像サービスなどに適用可能であり、高画質の動画像伝送システムの実現を可能にする。

本発明に係る動画像符号化方式を示すブロック図である。 本発明におけるレート制御の手順を示すフローチャートである。 本発明における目標符号化ビット数への合わせ込みの概念を示す図である。 画面(ピクチャ)単位での符号化処理とセグメント単位での符号化処理の説明図である。 従来の画像符号化方式を示すブロック図である。 図５のポスト量子化器での処理の概念を示す図である。 従来のレート制御による目標ビット数への合わせ込みの概念を示す図である。

符号の説明

１・・・フレームメモリ、２・・・コードタイプ決定部、３・・・離散ウエーブレット変換部(DWT)、４・・・レート制御部、４−１・・・量子化器、４−２・・・ポスト量子化器、５・・・パケット化部、６・・・バッファ

Claims (4)

1. 入力される動画像を、フレーム内符号化、フィールド内符号化、フレーム内−フィールド内適応符号化のいずれかで離散ウエーブレット変換し、これにより得られるコードデータのビット数を、コードブロックごとにコーディングパスの切り捨てを下位のビットプレーンより順次行って符号化割り当てビット数の範囲内とする動画像符号化方式において、
   コードブロックごとにコーディングパスの切り捨てを行う際に、切り捨てられるコーディングパス数がコードブロック間で均等になるように制御する制御手段を備え、
   前記制御手段は、下位のビットプレーンよりコードブロック間で均等にコーディングパスを逐次切り捨てる際に符号化ビット数が割り当てビット数を初めて下回るコーディングパスの位置を探索し、該コーディングパスに対してはコードブロックごとに切り捨てを行って符号化ビット数が割り当てビット数内に収まるように制御することを特徴とする動画像符号化方式。
2. 前記制御手段は、コードブロックごとに切り捨てを行う際に、該当するコーディングパスのレート−歪みの勾配が小さいものから切り捨てることを特徴とする請求項１に記載の動画像符号化方式。
3. 前記制御手段は、コードブロックごとに切り捨てを行う際に、該当するコーディングパスの切り捨てに伴い発生する歪み量が小さいものから切り捨てることを特徴とする請求項１に記載の動画像符号化方式。
4. 前記制御手段は、１画面単位あるいは１画面を複数に分割したセグメント単位で制御を行うことを特徴とする請求項１ないし３のいずれかに記載の動画像符号化方式。

Images