JP4375143B2 - 動画像符号化装置 - Google Patents

Description

本発明はディジタル動画像符号化技術に属するものである。

ディジタル動画像の高能率符号化において、時間的に隣接するフレーム間の相関を利用する動き補償方法は大きな情報圧縮効果を生むことが知られている。実際、動画像符号化の国際標準規格であるMPEG-１、２、４などにおいても、マクロブロック毎に動きベクトルの検出を行って動き補償する方法が、離散コサイン変換(DCT)と組み合わされてフレーム間／フレーム内適応符号化方法として採用されている。ここで、マクロブロックとは、8画素×8画素のブロック4個からなる輝度信号ブロックと、輝度信号ブロックに空間的に対応した8画素×8画素の色差信号ブロック2個から構成される動き補償の単位である。動き補償においては、動き検出と動き予測モード選択が非常に重要である。動きベクトルとは、動き補償予測において符号化画像のマクロブロックに対応する参照画像の比較領域の位置を示すためのベクトルである。

動き検出に関しては、マクロブロック毎に動きベクトルの検出を行って、参照フレーム中の類似ブロックを探索するブロックマッチング方法がとられる。ブロックマッチングによる動きベクトル決定の基準として、一般的に入力画像と参照画像から得られる予測誤差が用いられる。最適な動きベクトルを求めるためには、従来は予測誤差を最小にするものを選択する方法が多く採用されていたが、非特許文献１のように、予測誤差の他に動き情報符号量を考慮に入れる方法もある。予測誤差とは、符号化画像と入力画像との差分によって表される誤差である。

また、動き補償時に複数の予測モードから最適なものを選択する方法においても動きベクトル決定方法と同様に、予測誤差のほかにモード選択符号量まで含めた方法が提案されている(非特許文献１参照)。MPEG-１、２、４など標準動画像符号化方法では複数の動き予測モードが用意されており、マクロブロック毎に予測モードを選択できるようになっている。予測モードとは、動き予測において利用するブロックサイズと動き予測方法との組み合わせである。

動きベクトル選択及び動き予測モード選択において、一般的には予測誤差と動きベクトルの符号量が考慮される。符号量を考慮に入れた動き予測モード選択方法として、各評価値に対して異なるオフセットをかける方法があるが、この方法では動き情報量を正確に反映させることができない。正確に予測誤差符号量を測定するために特許文献１では実験から導き出した高次の関数を線形近似したものを予測誤差符号量推定関数として採用している。

特開２００１−１６５９４号公報

Gary J. Sullivan and Thomas Wiegand: Rate-Distortion Optimization for Video Compression, IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90, Nov. 1998

上記に示したような既存の符号化装置では予測誤差符号量推定関数は一意に決定されている。一方、予測誤差と符号量の関係は動きの大きさなどの画像の特徴によってばらつきがあるため、用意した推定関数だけでは符号量を正確に推定できない場合があった。このため、本来ならより適切なモード選択により符号量が削減できるにもかかわらず不適切なモードが選択され、符号量が増大してしまうという問題があった。また、これを避けるため、推定関数を用いず符号量を実測すると処理量が膨大になるという問題があった。

上記課題を解決するために本願で開示する代表的な構成は以下の通りである。
動画像符号化装置であって、符号化済みの画像における予測誤差と予測誤差の符号量と動きベクトルを保存するデータ保存部と、データ保存部からの出力を利用して動き補償における動き予測モード選択を行う動き補償部を有する。具体的には、動画像の特徴に応じて、動きを検出、予測モードを選択する際に必要となる予測誤差符号量推定関数を変更する機能を有するものである。

上記装置を用いることにより、予測モードの決定に用いる動き予測誤差符号量の推定関数を、符号化済みの画像の予測誤差情報、動きベクトル情報、及び誤差信号の符号量を利用して適応的に変更し、より正確な情報量の推定することが可能となる。これにより、画像の特徴に応じて画像に適した動きベクトル、予測タイプを選択することができるようになり、リアルタイムに符号化を行う動画像符号化装置における画質の向上が可能となる。

以下、本発明の実施形態の例を、図を用いて解説する。
図１は本発明によって、適応的に予測誤差符号量を変更可能とする動画像符号化装置の構成例を示している。図1において、101は入力画像信号である。103はDCTなど周波数変換を行う変換器、104は変換された信号を圧縮するための量子化器である。また、106は量子化器に接続された逆量子化器、107は逆変換器である。118制御装置から量子化パラメータ情報が動き補償部に送られる。

入力された画像101は加算器102において動き補償部113の出力との差分がとられ、予測誤差信号として出力される。この予測誤差信号は変換器103で変換された後、量子化器で量子化された変換係数が出力される。このとき、変換係数と共に、予測誤差信号の符号量を出力したものが105となる。105は伝送情報として通信路に出力されると同時にフレーム間の予測画像を合成するために符号化器内へも出力される。符号化器内へ出力された変換係数105は106で逆量子化、107で逆変換を経た後、動き補償部からの出力画像115を加え現フレームの復号画像となる。この復号画像はフレームメモリ109に蓄えられ、1フレーム分の時間だけ遅延される。フレームメモリに蓄積された1フレーム前の画像110と現入力画像101とが動き補償部に入力されることによって、動きベクトルが決定され、再度動き補償が行われる。動き補償方法は前述のブロックマッチング法である。動き補償部113で生成された動き情報及び動き予測モードの情報は、116として出力され、117で量子化された予測誤差などとともに多重化されて伝送される。

また、量子化された予測誤差信号符号量105は別途データ保存部111に格納される。111に格納されたデータは102で生成された予測誤差114との対応付けが行われた後、符号化済みフレームの予測誤差の推定符号量112として動き補償部113に伝送され、動き補償方法を選択する際に利用される。本発明による動画像符号化装置では、この動き補償部113によって、適応的に誤差符号量を変更し、効率的な符号化を可能にする。以下、その動作方法について詳細に示す。

図2は動き補償部113の詳細を示している。この部分では複数の動き予測モードの中から伝送データが最小となるようなものを１つ選択し、予測画像を生成する。まず、符号量推定部201で入力画像101と参照画像110及び量子化パラメータ情報118から各モードにおける符号量を推定する。本実施例では符号量として動きベクトルと予測誤差の符号量の和を用いている。201で推定された各モードの符号量は204として出力される。符号量204は動き予測モード比較部202で比較し、符号量が最小となるようなモードが選択される。予測モードを構成する要素としては、例えば、16×16、8×8等の予測ブロックの画素サイズ、前方向予測、両方向予測の予測方法があり、これらを組み合わせてモードが規定される。選択された動き予測モードに従って203で予測画像が生成される。予測画像は、動きベクトルに従って参照画像から該当する範囲の画素をコピーして生成される。

次に、符号推定部201の詳細を図3を用いて説明する。予測誤差符号量推定関数決定部302にはあらかじめ複数の予測誤差符号量推定関数が用意されており、算出されたデータ保存部111から伝送される符号化が終了したフレームにおける予測誤差と符号量との関係と量子化パラメータ情報118によって予測誤差符号量推定関数が決定される。予測誤差符号量推定関数については後述する。また、動きベクトル検出部301ではフレームメモリからの画像110と入力画像101から各モードにおける動きベクトルを算出する。そして、301から出力された動きベクトルデータに従い、303で各モードにおける動きベクトルの符号量を算出し、また、予測誤差符号量推定関数決定部302で決定された関数と動きベクトルデータを用いて304では各モードにおける予測誤差の符号量を算出する。302で決定された予測誤差符号量推定関数によって算出された予測誤差符号量の推定値と303で算出された動きベクトル符号量を305で足し合わせて、総符号量を決定し、動き予測モード比較部へ各モードの符号量データを出力する。このように、データ保存部に蓄積された符号化済みのデータを用いて予測誤差符号量推定関数を決定して符号化フレームに適応することで実際に各モードにおいて周波数変換を行うことなく、予測誤差符号量を正確に算出することが可能となる。

次に、図4において各予測誤差符号量推定関数決定部302の詳細を示す。ここでは、単純な例として、符号化対象画像の直前のフレームのデータをもとに予測誤差符号量推定関数を決定する場合を示している。符号化済み画像における予測誤差105及び予測誤差符号量114はデータ保存部111に蓄積される。予測誤差105は各符号量推定関数401に出力され、量子化パラメータ118を用いて各モードにおける予測誤差符号量の推定値が算出される。この、各モードにおける予測誤差符号量の推定値と実際の符号量112とを予測誤差符号量推定関数選択部402において比較し、実際の符号量に最も近い関数を選択し、符号化中の画像に対し適用する。

次に図5において予測誤差符号量推定関数選択部402における関数選択方法を示す。本実施例では予測誤差符号量を表す符号量推定関数として、符号化ノイズと動き情報量から求めた関数を線形近似した（式1）を採用する。ここで、A、Bは定数、QPは量子化パラメータを、SAD(Sum of Abusolute Difference)は予測誤差符号量の絶対値を示している。

A（QP／SAD）＋B （式１）
動画像において、動きがない場合には符号化を行わない画像領域が多くなる特徴があることから、本実施例では式1における係数A、Bを画像の動きの大きさによってA₁、 A₂、A₃、B₁、B₂、B₃、と3種類ずつ用意した。その関数を501、502、503に示す。ここで、501〜503はそれぞれ、動きの大きい画像、一般的な画像、動きの小さい画像に対する予測誤差符号量推定関数を想定している。データ保存部から、予測誤差と符号量との関係が504となるようなデータが入力された場合、各関数との差を算出し最小となるような関数を選択する。図5においてはデータ保存部からの出力に最も近い関数501が選択され、符号化対象フレームに適用される。

本発明の、画像の特徴に応じて動き情報量推定関数を変更する方法として、本実施例では線形近似した予測誤差符号量推定関数を複数用意し、符号化済みのフレームにおける量子化パラメータと予測誤差及びその符号量にしたがって選択する方法を示したが、本発明はこれに限定されるわけではなく、高次の関数における複数のパラメータを変更する場合なども含まれる。

本発明における動画像符号化装置の一例を示したものである。 本発明における動き補償部の構成例を示したものである。 本発明における符号量推定部の構成例を示したものである。 本発明における予測誤差符号量推定関数決定部の構成例を示したものである。 本発明における予測誤差符号量推定関数の決定方法の一例を示したものである。

符号の説明

101…入力画像、102…加算器、103…変換器、104…量子化器、105…予測誤差及び予測誤差符号量、106…逆量子化器、107…逆変換器、108…符号化データ109…フレームメモリ、110…復号画像、111…データ保存部、112…符号化済みフレームにおける予測誤差及び予測誤差符号量、113…動き補償部、114…予測誤差、115…予測画像、116…予測モード情報、117…多重化部、118…量子化パラメータ情報、119…量子化制御信号、201…符号量推定部、202…動き予測モード比較部、203…予測画像生成部、204…符号量、301…動きベクトル検出/予測誤差算出部、302…予測誤差符号量推定関数決定部、303…動きベクトル符号量算出部、304…予測誤差符号量算出部、305…総符号量算出部、401…各モードにおける予測誤差符号量推定関数、402…予測誤差符号量推定関数選択部、501…予測誤差符号量推定関数１、502…予測誤差符号量推定関数2、503…予測誤差符号量推定関数3、504…符号化済みフレームにおける予測誤差及び予測誤差符号量。

Claims (6)

1. 符号化済みフレームにおける画像の予測誤差と前記符号化済みフレームの予測誤差の推定符号量を蓄積するデータ保存部と、動き補償部と、量子化パラメータ情報を動き補償部に送る制御装置とを備え、
   前記動き補償部は、
   前記量子化パラメータ情報と前記データ保存部から出力される前記符号化済みフレームの予測誤差推定符号量によって、予め用意された複数の予測誤差符号量推定関数の中から、使用する予測誤差符号量推定関数を選択する符号量推定部と、
   前記符号量推定部で選択した前記予測誤差符号量推定関数を用いて予測モードの選択を行う動き予測モード比較部と、
   前記動き予測モード比較部で選択した前記予測モードに従って予測画像を生成する予測画像生成部と、を有することを特徴とする動画像符号化装置。
2. 前記符号量推定部は、
   前記データ保存部から出力された前記符号化済みフレームにおける画像の推定符号量によって、予め用意された複数の予測誤差符号量推定関数の中から、使用する予測誤差符号量推定関数を選択する予測誤差符号量推定関数決定部と、
   フレームメモリからの画像と入力画像から動きベクトルを検出する動きベクトル検出部と、
   符号化対象画像の予測誤差と選択された前記予測誤差符号量推定関数から符号化対象画像の予測誤差符号量の推定値を算出する予測誤差符号量算出部と、
   前記動きベクトル検出部で検出した動きベクトルに従い符号化対象画像の動きベクトルの符号量を算出する動きベクトル符号量算出部と、
   前記動きベクトルの符号量と前記予測誤差符号量の推定値とを足し合わせて、符号化対象画像の各予測モードにおける総符号量を算出する総符号量算出部と、
   を有することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記予測モード比較部は、前記総符号量算出部で算出された各予測モードにおける総符号量を比較し、前記総符号量が最小となる予測モードを選択することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記予測誤差符号量推定関数決定部は、前記データ保存部に蓄積された符号化済みフレームにおける画像の予測誤差と、前記複数の予測誤差符号量推定関数から、各予測モードにおける予測誤差符号量の推定値を算出し、前記各予測モードにおける予測誤差符号量の推定値と前記データ保存部に蓄積された符号量とを比較し、前記データ保存部に蓄積された符号量に最も近い予測誤差符号量推定関数を選択することを特徴とする請求項２に記載の動画像符号化装置。
5. 前記予測誤差符号量推定関数決定部に予め用意された前記複数の予測誤差符号量推定関数が、式Ａ（ＱＰ/ＳＡＤ）＋Ｂで表される線形近似した関数であることを特徴とする請求項２に記載の動画像符号化装置。
6. 前記予測誤差符号量推定関数決定部に予測誤差と予測誤差の符号量との関係が入力された場合、前記線形近似した関数との差を算出し最小となる関数を選択することを特徴とする請求項５に記載の動画像符号化装置

Images