JP4320368B2 - 予測画像生成方法及び装置 - Google Patents

Description

この発明は、特にフェード画像やディゾルブ画像に対して効率の高い符号化を行う動画像符号化に対応する復号化に適した予測画像生成方法及び装置に関する。

ＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−２，ＭＰＥＧ−４といった動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。動き補償予測フレーム間符号化における予測モデルとしては、時間方向には明るさが変化しない場合に最も予測効率が高くなるようなモデルが採用されている。画像の明るさが変化するフェード画像の場合、例えば黒い画像からフェードインして通常の画像になるような場合などにおいて、画像の明るさの変化に対して適切に予測を行う方法は知られていない。従って、フェード画像においても画質を維持するためには、多くの符号量を必要とするという問題がある。

この問題に対し、例えば特許第３１６６７１６号「フェード画像対応動画像符号化装置及び符号化方法」（特許文献１）では、フェード画像部分を検出して符号量の割り当てを変更することで対応している。具体的には、フェードアウト画像の場合、輝度が変化するフェードアウトの始まり部分に多くの符号量を割り当てる。フェードアウトの最後の部分は、通常、単色の画像になることから容易に符号化が可能となるため、符号量の割り当てを減らす。このようにすることで、総符号量を余り増大させることなく全体の画質を向上させている。

一方、特許第２９３８４１２号「動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体及び動画像の符号化データを記録した記録媒体」（特許文献２）では、輝度変化量とコントラスト変化量の２つのパラメータに従って参照画像を補償することで、フェード画像に対応する符号化方式を提案している。

Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001 （非特許文献１）には、複数のフレームバッファに基づく符号化方式が提案されている。この方式では、フレームバッファに保持されている複数の参照フレームから選択的に予測画像を作成することで、予測効率の向上を図っている。

特許第３１６６７１６号 特許第２９３８４１２号

Thomas Wiegand and Berand Girod, "Multi-frame motion-compensated prediction for video transmission", Kluwer Academic Publishers 2001

特許文献１では、フェード画像部分を検出して符号量の割り当てを変更することでフェード画像の符号化において総符号量を増大させることなく画質を向上させるために、既存の符号化方式の枠組みの中で実現できる利点はあるが、本質的に予測効率を上げているわけではないので、大きな符号化効率の向上は期待できない。

一方、特許文献２では、フェード画像に対する予測効率が向上するというメリットがあるが、画像がある画像から別の画像に徐々に変化する、いわゆるディゾルブ画像（クロスフェード画像とも呼ばれる）に対しては、十分な予測効率が得られない。

非特許文献３の方式では、フェード画像やディゾルブ画像に対しては十分な対応がなされておらず、複数の参照フレームを用意しても予測効率の改善を図ることはできない。

上述したように従来の技術によると、フェード画像やディゾルブ画像を高い画質を維持しつつ符号化するには多くの符号量を必要とし、符号化効率の向上が期待できないという問題点があった。

そこで、本発明は特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して、高効率の符号化に対応した復号化を可能とする予測画像生成方法及び装置を提供することを目的とする。

上記の課題を解決するため、本発明の第１の態様では動画像の符号化側において、入力動画像信号に対して参照画像及び該入力動画像信号と該参照画像との間の動きベクトルを用いて動き補償予測符号化を行う際、予め用意された少なくとも一つの参照画像番号と予測パラメータとの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、選択された組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報及び選択された組み合わせを示すインデックス情報を符号化する。

一方、動画像の復号化側では、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、及び少なくとも一つの参照画像番号と予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化されたインデックス情報により示される組み合わせの参照画像番号と予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。

本発明の他の態様では、動画像の符号化側において予め用意された予測パラメータの複数の組合せの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、指定された少なくとも一つの参照画像番号の参照画像と選択された組み合わせの予測パラメータに従って予測画像信号を生成し、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、予測誤差信号、動きベクトルの情報、指定された参照画像番号及び選択された組み合わせを示すインデックス情報を符号化する。

動画像の復号化側においては、動画像信号に対する予測画像信号の誤差を表す予測誤差信号、動きベクトル情報、指定された参照画像番号、及び予測パラメータの組み合わせを示すインデックス情報を含む符号化データを復号化し、復号化された参照画像番号及び復号化されたインデックス情報により示される組み合わせの予測パラメータに従って予測画像信号を生成し、予測誤差信号及び予測画像信号を用いて再生動画像信号を生成する。

このように本発明によると、参照画像番号と予測パラメータの組み合わせ、あるいは指定された参照画像番号に対応する複数の予測パラメータの組み合わせの異なる複数の予測方式を用意しておき、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。

また、動画像信号がプログレッシブ信号のフレーム単位の画像信号、インタレース信号の２フィールドをマージしたフレーム単位の画像信号及びインタレース信号のフィールド単位の画像信号が混在した信号であり、動画像信号がフレーム単位の画像信号の場合は、参照画像番号がフレーム単位の参照画像信号の番号を示し、動画像信号がフィールド単位の画像信号の場合は参照画像番号がフィールド単位の参照画像信号を示すようにする。

これにより、動画像信号がフレーム構造とフィールド構造が混在する動画像信号であって、フェード画像やディゾルブ画像のような通常の動画像符号化の予測方式では適切な予測画像信号が作成できないような動画像信号に対しても、より予測効率の高い予測方式に基づいて適切な予測画像信号を作成できる。

さらに、符号化側から復号化側に対して参照画像番号や予測パラメータの情報そのものを送るのではなく、参照画像番号と予測パラメータの組み合わせを示すインデックス情報を送るか、あるいは参照画像番号が別途送られる場合には、予測パラメータの組み合わせを示すインデックス情報を送ることによって符号化効率を改善できる。

本発明によれば特にフェード画像やディゾルブ画像のような時間的に輝度が変化する動画像に対して適切な予測を行い、効率の高い動画像符号化に対応した復号化を行うことができる。

本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図 図２におけるフレームメモリ／予測画像作成器の詳細な構成を示すブロック図 同実施形態で用いる参照フレーム番号と予測パラメータの組み合わせテーブルの例を示す図 同実施形態におけるマクロブロック毎の予測方式（参照フレーム番号と予測パラメータの組み合わせ）の選択と符号化モード判定の手順の一例を示すフローチャート 同実施形態に係る動画像復号化装置の構成を示すブロック図 図５におけるフレームメモリ／予測画像生成器の詳細な構成を示すブロック図 本発明の第２の実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数１の場合の例を示す図 同実施形態に係る参照フレーム番号をモード情報として送る場合の予測パラメータの組み合わせテーブルの参照フレーム数２の場合の例を示す図 本発明の第３の実施形態に係る参照画像番号と予測パラメータの組み合わせテーブルの参照フレーム数１の場合の例を示す図 同実施形態に係る輝度信号のみのテーブルの場合の例を示す図 インデックス情報を符号化する場合のブロック毎のシンタクスの例を示す図 １枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図 ２枚の参照画像を使って予測画像を作成する場合の具体的な符号化ビットストリームの例を示す図 本発明の第４の実施形態に係る符号化対象がトップフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図 同実施形態に係る符号化対象がボトムフィールドの場合の参照フレーム番号と参照フィールド番号と予測パラメータの組み合わせテーブルの例を示す図

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
（符号化側について）
図１に、本発明の第１の実施形態に係る動画像符号化装置の構成を示す。動画像符号化装置には、この例では例えばフレーム単位で動画像信号１００が入力される。この動画像信号１００は減算器１０１に入力され、ここで予測画像信号２１２との差分がとられて予測誤差信号が生成される。モード選択スイッチ１０２によって予測誤差信号と入力動画像信号１００のいずれか一方が選択され、直交変換器１０３により直交変換、例えば離散コサイン変換（ＤＣＴ）が施される。直交変換器１０３では直交変換係数情報、例えばＤＣＴ係数情報が得られる。直交変換係数情報は量子化器１０４で量子化された後、二分岐される。二分岐された量子化直交変換係数情報２１０の一方は、可変長符号化器２１５に導かれる。

二分岐された量子化直交変換係数情報２１０の他方は、逆量子化器１０５及び逆直交変換器１０６により量子化器１０４及び直交変換器１０３の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器１０７でスイッチ１０９を介して入力される予測画像信号２１２と加算されることにより、局部復号画像信号２１１が生成される。局部復号画像信号２１１は、フレームメモリ／予測画像生成器１０８に入力される。

フレームメモリ／予測画像生成器１０８は、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせの中から一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号（局部復号化画像信号２１１）について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、この例ではフレーム単位の参照画像信号を生成する。この後、フレームメモリ／予測画像生成器１０８は参照画像信号に対して動きベクトルを用いて動き補償を行い、予測画像信号２１２を生成する。

この過程でフレームメモリ／予測画像生成器１０８は、動きベクトル情報２１４と、参照フレーム番号と予測パラメータの選択された組み合わせを示すインデックス情報２１５を生成し、さらにモード選択器２１２に符号化モードの選択に必要な情報を送る。動きベクトル情報２１４及びインデックス情報２１５は、可変長符号化器１１１に入力される。フレームメモリ／予測画像生成器１０８については、後に詳しく説明する。

モード選択器１１０は、フレームメモリ／予測画像生成器１０８からの予測情報Ｐに基づいてマクロブロック単位に符号化モードの選択、すなわちフレーム内符号化（以下、イントラ符号化という）と動き補償予測フレーム間符号化（以下、インター符号化という）のいずれかの選択を行い、スイッチ制御信号Ｍ及びＳを出力する。

イントラ符号化モードでは、スイッチ制御信号Ｍ及びＳによってスイッチ１０２，１１２はＡ側に切り替えられ、直交変換器１０３に入力動画像信号１００が入力される。インター符号化モードでは、スイッチ制御信号Ｍ及びＳによってスイッチ１０２，１１２はＢ側に切り替えられ、直交変換器１０３には減算器１０２からの予測誤差信号、加算器１０７にはフレームメモリ／予測画像生成器１０８からの予測画像信号２１２がそれぞれ入力される。モード選択器２１２からはモード情報２１３が出力され、可変長符号化器１１１に入力される。

可変長符号化器１１１では、直交変換係数情報２１０、モード情報２１３、動きベクトル情報２１４及びインデックス情報２１５が可変長符号化され、これによって生成された各可変長符号が多重化器１１４で多重化された後、出力バッファ１１５により平滑化される。こうして出力バッファ１１５から出力される符号化データ１１６は、図示しない伝送系または蓄積系へ送出される。

符号化制御器１１３は、減算器１０１から可変長符号化器１１１までの要素で構成される符号化部１１２の制御、具体的には例えば出力バッファ１１５のバッファ量をモニタし、バッファ量が一定となるように量子化器１０４の量子化ステップサイズなどの符号化パラメータの制御を行う。

（フレームメモリ／予測画像生成器１０８について）
図２には、図１におけるフレームメモリ／予測画像作成器１０８の詳細な構成を示す。図２において、図１中の加算器１０７から入力される局部復号画像信号２１１は、メモリ制御器２０１による制御の下でフレームメモリセット２０２に格納される。フレームメモリセット２０２は、局部復号画像信号２１１を参照フレームとして一時保持するための複数（Ｎ）のフレームメモリＦＭ１〜ＦＭＮを有する。

予測パラメータ制御器２０３は、予め参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、入力動画像信号１００に基づいて予測画像信号２１２の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択し、選択された組み合わせを示すインデックス情報２１５を出力する。

複数フレーム動き評価器２０４では、予測パラメータ制御器２０３により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号と入力画像信号１００とから動き量と予測誤差の評価を行い、予測誤差を最小とする動きベクトル情報２１４を出力する。複数フレーム動き補償器２０５は、複数フレーム動き評価器２０４でブロック毎に選択された参照画像信号に対し、動きベクトルに従って動き補償を行うことによって予測画像信号２１２を生成する。

（参照フレーム番号と予測パラメータの組み合わせテーブルについて）
図３は、予測パラメータ制御器２０３で用意されている参照フレーム番号と予測パラメータの組み合わせテーブルの一例である。インデックスは各ブロック毎に選択され得る予測画像に対応している。この例では、８種類の予測画像が存在していることが分かる。参照フレーム番号ｎは、言い換えれば参照フレームとして用いられる局部復号画像の番号であり、ここでは過去ｎフレーム分の局部復号画像の番号を表している。

フレームメモリセット２０２に格納されている複数の参照フレームの画像信号を用いて予測画像信号２１２を作成する場合には、複数の参照フレーム番号を指定し、予測パラメータについても輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）毎に（参照フレーム数＋１）個の係数を指定する。ここで、数式（１）〜（３）に示されるように、参照フレーム数をｎとした場合、予測パラメータは輝度信号Ｙに対してＤｉ（ｉ＝，…，ｎ＋１）のｎ＋１個、色差信号Ｃｂに対してはＥｉ（ｉ＝，…，ｎ＋１）のｎ＋１個、色差信号Ｃｒに対してＦｉ（ｉ＝，…，ｎ＋１）のｎ＋１個をそれぞれ用意する。

図３を用いてさらに具体的に説明すると、図３における予測パラメータの最後の数字はオフセットを表し、予測パラメータの最初の数字を含むそれ以外の数値は重み係数（予測係数）を表す。インデックス０は参照フレーム数がｎ＝２、参照フレーム番号が１で、予測パラメータは輝度信号Ｙと色差信号Ｃｒ，Ｃｂの全てに対して１，０である場合である。この例のように予測パラメータが１，０であるということは、参照フレーム番号１の局部復号画像信号を１倍してオフセット０を加算することを意味し、言い換えれば参照フレーム番号１の局部復号画像信号をそのまま参照画像信号とする場合である。

インデックス１は、参照フレーム番号１及び２の局部復号画像信号である２枚の参照フレームを用い、輝度信号Ｙに対する予測パラメータ２，−１，０に従って、輝度信号Ｙに対しては参照フレーム番号１の局部復号画像信号を２倍して、参照フレーム番号２の局部復号画像信号を差し引き、オフセット０を加算するという操作を行う。つまり、２フレームの局部復号画像信号からの外挿予測を行って、参照画像信号を生成する。色差信号Ｃｒ，Ｃｂについては、予測パラメータが１，０，０であるから、参照フレーム番号１の局部復号画像信号をそのまま参照画像信号とする。このインデックス１に相当する予測方式は、ディゾルブ画像に対して特に有効である。

インデックス２は、参照フレーム番号１の局部復号画像信号の輝度信号Ｙを予測パラメータ５／４，１６に従って５／４倍してオフセット１６を足している。色差信号Ｃｒ，Ｃｂについては、予測パラメータは１なので、そのまま参照画像信号とする。この予測方式は、黒い画面からのフェードイン画像のときに特に有効である。

このように使用する参照フレームの番号と予測パラメータとの組み合わせの異なる複数の予測方式に基づいて参照画像信号を選択できるようにすることで、これまで、適切な予測方式がないために画質が劣化していたフェード画像やディゾルブ画像に対しても対応することができる。

（予測方式の選択と符号化モード判定の手順について）
次に、図４を用いて本実施形態におけるマクロブロック毎の予測方式（参照フレーム番号と予測パラメータの組み合わせ）の選択と符号化モード判定の具体的な手順の一例について説明する。
まず、変数ｍｉｎ_Ｄに想定可能な最大値を入れておく（ステップＳ１０１）。ＬＯＯＰ１（ステップＳ１０２）は、インター符号化における予測方式の選択のための繰り返しを示し、変数ｉは図３に示したインデックスの値を表している。ここでは、予測方式毎の最適な動きベクトルが求めることができるように、動きベクトル情報２１４に関わる符号量（動きベクトル情報２１４に対応して可変長符号化器１１１から出力される可変長符号の符号量）と予測誤差絶対値和から各インデックス（参照フレーム番号と予測パラメータの組み合わせ）の評価値Ｄを計算し、評価値Ｄを最小とする動きベクトルを選択する（ステップＳ１０３）。この評価値Ｄをmin_Ｄと比較し（ステップＳ１０４）、ｍｉｎ＿Ｄよりも評価値Ｄが小さければ評価値Ｄをｍｉｎ＿Ｄとし、インデックスｉをｍｉｎ＿ｉに代入しておく（ステップＳ１０５）。

次に、イントラ符号化の場合の評価値Ｄを計算し（ステップＳ１０６）、この評価値Ｄをｍｉｎ＿Ｄと比較する（ステップＳ１０７）。この比較の結果、ｍｉｎ＿Ｄの方が小さければモードＭＯＤＥはインター符号化と判定し、インデックス情報ＩＮＤＥＸにｍｉｎ＿ｉを代入する（ステップＳ１０８）。評価値Ｄの方が小さければ、モードＭＯＤＥはイントラ符号化と判定する（ステップＳ１０９）。ここで、評価値Ｄは同一量子化ステップサイズでの符号量の推定量とする。

（復号化側について）
次に、図１に示した動画像符号化装置に対応する動画像復号化装置について説明する。図５に、本実施形態に係る動画像復号化装置の構成を示す。図１に示した構成の動画像符号化装置から送出され、伝送系または蓄積系を経て送られてきた符号化データ３００は、入力バッファ３０１に一度蓄えられ、多重化分離器３０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化器３０３に入力される。可変長復号化器３０３では、符号化データ３００の各シンタクスの可変長符号の復号が行われ、量子化直交変換係数、モード情報４１３、動きベクトル情報４１４及びインデックス情報４１５が再生される。

再生された各情報のうち、量子化直交変換係数は逆量子化器３０４で逆量子化され、逆直交変換器３０５で逆直交変換される。ここでモード情報４１３がイントラ符号化モードを示している場合には、逆直交変換器３０５から再生画像信号が出力され、加算器３０６を介して最終的な再生画像信号３１０として出力される。

モード情報４１３がインター符号化モードを示している場合には、逆直交変換器３０５から予測誤差信号が出力され、さらにモード選択スイッチ３０９がオンとされる。予測誤差信号とフレームメモリ／予測画像生成器３０８から出力される予測画像信号４１２が加算器３０６で加算されることにより、再生画像信号３１０が出力される。再生画像信号３１０は、フレームメモリ／予測画像作成器３０８に参照画像信号として蓄積される。

モード情報４１３、動きベクトル情報４１４及びインデックス情報４１５は、フレームメモリ／予測画像作成器３０８に入力される。モード情報４１３はモード選択スイッチ３０９にも入力され、該スイッチ３０９をイントラ符号化モードの場合にはオフ、インター符号化モードの場合にはオンとする。

フレームメモリ／予測画像生成器３０８は、図１に示した符号化側のフレームメモリ／予測画像生成器１０８と同様に、予め用意された参照フレーム番号と予測パラメータの複数の組み合わせをテーブルとして用意しており、この中からインデックス情報４１５で示される一つの組み合わせを選択する。選択された組み合わせの中の参照フレーム番号で示される参照フレームの画像信号（再生画像信号２１０）について、選択された組み合わせの中の予測パラメータに従って線形和を計算し、さらに予測パラメータに従ったオフセットを加算することにより、参照画像信号を生成する。この後、生成された参照画像信号に対して動きベクトル情報４１４で示される動きベクトルを用いて動き補償を行うことにより、予測画像信号４１２を生成する。

（フレームメモリ／予測画像生成器３０８について）
図６に、図５におけるフレームメモリ／予測画像作成器３０８の詳細な構成を示す。図６において、図５中の加算器３０６から出力される再生画像信号３１０は、メモリ制御器４０１による制御の下でフレームメモリセット４０２に格納される。フレームメモリセット４０２は、再生画像信号３１０を参照フレームとして一時保持するための複数（Ｎ）のフレームメモリＦＭ１〜ＦＭＮを有する。

予測パラメータ制御器４０３は、予め参照フレーム番号と予測パラメータの組み合わせを図３に示したと同様のテーブルとして用意しており、図５中の可変長復号化器３０３からのインデックス情報４１５に基づいて予測画像信号４１２の生成に用いる参照フレームの参照フレーム番号と予測パラメータの組み合わせを選択する。複数フレーム動き補償器４０４は、予測パラメータ制御器４０３により選択された参照フレーム番号とインデックス情報の組み合わせに従って参照画像信号を作成し、この参照画像信号に対して図５中の可変長復号化器３０３からの動きベクトル情報４１４で示される動きベクトルに従ってブロック単位で動き補償を行うことによって、予測画像信号４１２を生成する。

［第２の実施形態］
次に、図７及び図８を用いて本発明の第２の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第１の実施形態とほぼ同様であるため、第１の実施形態との相違点のみを説明する。

本実施形態では、マクロブロック単位のモード情報によって複数の参照フレーム番号が指定できる方式の予測パラメータの表し方の例を示す。この場合、参照フレーム番号はマクロブロック毎のモード情報によって判明する。従って、第１の実施形態のように参照フレーム番号と予測パラメータの組み合わせテーブルではなく、図７及び図８に示されるように予測パラメータの組み合わせテーブルを用い、インデックス情報は参照フレーム番号を指定せず、予測パラメータの組み合わせのみを指定するようにする。

図７に示すテーブルは、参照フレーム数が１つの場合の予測パラメータの組み合わせ例を示している。予測パラメータとしては、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）毎に、（参照フレーム数＋１）個である２個のパラメータ（１個の重み係数と１個のオフセット）を指定する。

図８に示すテーブルは、参照フレーム数が２つの場合の予測パラメータの組み合わせ例である。この場合、予測パラメータとしては、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）毎に、（参照フレーム数＋１）個である３個のパラメータ（２個の重み係数と１個のオフセット）を指定するようにする。このテーブルは、第１の実施形態と同様に符号化側及び復号化側に用意される。

［第３の実施形態］
次に、図９及び図１０を用いて本発明の第３の実施形態について説明する。本実施形態における動画像符号化装置及び復号化装置の全体的な構成は、第１の実施形態とほぼ同様であるため、以下では第１及び第２の実施形態との相違点のみを説明する。

第１及び第２の実施形態では、画像をフレーム単位で管理する例について説明してきたが、本実施形態においてはピクチャと呼ばれる画像単位で画像が管理されている。入力画像信号として、プログレッシブ信号とインタレース信号の両方が存在する場合、符号化を行う画像の単位はフレームとは限らない。これを考慮して、ここでいうピクチャとは（ａ）プログレッシブ信号の１フレームの画像、（ｂ）インタレース信号の２フィールドをマージして生成した１フレームの画像、及び（ｃ）インタレース信号のうちの１フィールドの画像のいずれをも指すこととする。

符号化対象画像が（ａ）または（ｂ）のようなフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、符号化対象画像が（ｃ）のようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である符号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。

以下の数式（４）（５）（６）は、予測パラメータ制御器２０３で用意されている参照画像番号と予測パラメータの予測式の例を示している。ここで示す例は、１つの参照画像（ピクチャ）信号を用いて動き補償予測により予測画像信号を作成する予測式である。

ここで、Ｙは輝度信号の予測画像信号、Ｃｂ，Ｃｒは二つの色差信号の予測画像信号、ＲY(i)，ＲCb(i)，ＲCr(i)はインデックスｉの参照画像信号のうちの輝度信号及び二つの色差信号の画素値をそれぞれ表している。Ｄ1(i)，Ｄ2(i)は、それぞれインデックスｉの輝度信号の予測係数及びオフセットである。Ｅ1(i)，Ｅ2(i)は、それぞれインデックスｉの色差信号Ｃｂの予測係数及びオフセットである。Ｆ1(i)，Ｆ2(i)はそれぞれインデックスｉの色差信号Ｃｒの予測係数及びオフセットである。インデックスｉは、０から（最大参照画像枚数−１）の値をとり、符号化対象ブロック毎（例えば、マクロブロック毎）に符号化されて動画像復号化装置に伝送される。

予測パラメータＤ1(i)，Ｄ2(i)，Ｅ1(i)，Ｅ2(i)，Ｆ1(i)，Ｆ2(i)は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることによって、両装置で共有される。

数式（４）（５）（６）は、参照画像信号に乗算する予測係数の分母を２のべき乗、すなわち２，４，８，１６，…のように選定することによって割り算を避け、算術シフトによって計算できる予測式とされている。これによって、割り算による計算コストの増大を避けることができる。

すなわち、数式（４）（５）（６）における＞＞は、ａ＞＞ｂとおいたときに、整数ａを右にｂビット算術シフトする演算子である。関数clipは、( )内の値を０よりも小さいときには０とし、２５５より大きいときには２５５にするクリッピング関数である。

ここで、ＬYは輝度信号のシフト量であり、ＬCは色差信号のシフト量である。これらのシフト量ＬY ，ＬCは、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され動画像復号化装置へ伝送されることにより、両装置で共有される。

本実施形態では、図２中の予測パラメータ制御器２０３において、図９及び図１０で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。図９及び図１０において、インデックスｉはブロック毎に選択され得る予測画像に対応している。この例では、インデックスｉの０〜３に対応して４種類の予測画像が存在する。参照画像番号は、言い換えれば参照画像として用いられる局部復号画像の番号である。

Flagは、インデックスｉが示す参照画像番号に予測パラメータを使った予測式を適用するか否かを示すフラグである。Flagが“０”ならば、予測パラメータを用いないでインデックスｉが示す参照画像番号の局部復号画像を用いて動き補償予測を行う。Flagが“１”ならば、インデックスｉが示す参照画像番号の局部復号画像と予測パラメータを用いて、数式（４）（５）（６）に従って予測画像を作成して動き補償予測を行う。このFlagの情報についても、予め動画像符号化装置と復号化装置とで決められた値が用いられるか、動画像符号化装置においてフレーム、フィールドあるいはスライスといった予め決められた符号化単位でテーブル及び符号化データと共に符号化され、動画像復号化装置へ伝送されることにより、両装置で共有される。

これらの例では、参照画像番号１０５はインデックスｉがｉ＝０の場合は、予測パラメータを用いて予測画像を作成し、ｉ＝１の場合は予測パラメータを用いずに動き補償予測を行っている。このように、同じ参照画像番号に対して、複数の予測方式が存在してもよい。

図９に示すテーブルは、数式（４）（５）（６）に対応して輝度信号と二つの色差信号に割り当てられた予測パラメータＤ1(i)，Ｄ2(i)，Ｅ1(i)，Ｅ2(i)，Ｆ1(i)，Ｆ2(i)を有する。一方、図１０は輝度信号のみに予測パラメータが割り当てられているテーブルの例である。一般に、色差信号の符号量は輝度信号の符号量と比べて多くない。そこで、予測画像信号を作成する際の計算量削減とテーブルの伝送符号量削減のために、図１０のように色差信号に対する予測パラメータを削除して、輝度信号のみに予測パラメータを割り当てたテーブルを用意する。このとき、予測式には数式（４）のみを用いる。

以下の数式（７）〜（１２）は、複数（この例では２つ）の参照画像を予測に用いる場合の予測式の一例である。

予測パラメータＤ1(i)，Ｄ2(i)，Ｅ1(i)，Ｅ2(i)，Ｆ1(i)，Ｆ2(i)，LY，LC 、及びFlagの情報は、予め動画像符号化装置と復号化装置間で決められた値、あるいはフレーム、フィールド及びスライスといった予め決められた符号化の単位であり、符号化データと共に符号化されて動画像符号化装置から復号化装置へ伝送されることにより、両装置で共有される。

復号化対象画像がフレーム構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフレームとして管理され、参照画像番号が割り当てられる。同様に、プログラム対象画像がのようなフィールド構造の画像である場合には、動き補償予測で用いられる参照画像についても、参照画像である復号化済み画像がフレーム構造かフィールド構造かに関わらずフィールドとして管理され、参照画像番号が割り当てられる。

（インデックス情報のシンタクスについて）
図１１に、各ブロックにおいてインデックス情報を符号化する場合のシンタクスの例を示す。まず、各ブロックに対してモード情報ＭＯＤＥが存在する。モード情報ＭＯＤＥに応じて、インデックスｉの値を示すインデックス情報ＩＤｉとインデックスｊの値を示すインデックス情報ＩＤｊを符号化するか否かが決定される。符号化されたインデックス情報の後に、各ブロックの動きベクトル情報として、インデックスｉの動き補償予測のための動きベクトル情報ＭＶｉと、インデックスｊの動き補償予測のための動きベクトル情報ＭＶｊが符号化される。

（符号化ビットストリームのデータ構造について）
図１２は、１枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示している。モード情報ＭＯＤＥに続いてインデックス情報ＩＤｉが配置され、その後に動きベクトル情報ＭＶｉが配置される。動きベクトル情報ＭＶｉは、通常、２次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の２次元ベクトルが送られる場合もある。

図１３には、２枚の参照画像を使って予測画像を作成する場合のブロック毎の具体的な符号化ビットストリームの例を示す。モード情報ＭＯＤＥに続いてインデックス情報ＩＤｉ、インデックス情報ＩＤｊが配置され、その後に動きベクトル情報ＭＶｉ、動きベクトル情報ＭＶｊが配置される。動きベクトル情報ＭＶｉ及び動きベクトル情報ｊは、通常、２次元のベクトル情報であるが、モード情報によって示された、ブロック内部の動き補償方法によっては、更に複数の２次元ベクトルが送られる場合もある。
なお、上述したシンタックス及びビットストリームの構造は、全ての実施形態について同様の適用できる。

［第４の実施形態］
次に、図１４及び図１５を用いて本発明の第４の実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の全体的な構成は、第１の実施形態とほぼ同様であるため、第１、第２及び第３の実施形態との相違点のみを説明する。第３の実施形態では、フレーム単位の符号化とフィールド単位の符号化の切り替えを画像（ピクチャ）毎に行っていたのに対して、第４の実施形態はマクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替える例である。

マクロブロック毎にフレーム単位の符号化とフィールド単位の符号化を切り替えると、同一画像内でもマクロブロックがフレーム単位で符号化される場合とフィールド単位で符号化される場合とで、同一の参照画像番号が異なる画像を指すことになる。そのため、第３の実施形態で用いた図９及び図１０のテーブルでは、適切な予測画像信号を作成できない可能性がある。

この点を解決するため、本実施形態では図２中の予測パラメータ制御器２０３において、図１４及び図１５で示されるような参照画像番号と予測パラメータの組み合わせテーブルが用意される。マクロブロックがフィールドで符号化される場合には、図１４及び図１５のテーブルに示されるように、当該マクロブロックがフレーム単位で符号化される場合に使用される参照画像番号（参照フレームインデックス番号）に対応する予測パラメータと同じ予測パラメータを用いるものとする。

図１４は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象画像がトップフィールドの場合に使用されるテーブルである。フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図１４に示されるように、フレームインデックスｊとフィールドインデックスｋとは、トップフィールドではｋ＝２ｊ、ボトムフィールドではｋ＝２ｊ＋１、という関係が成り立っている。参照フレーム番号ｍと参照フィールド番号ｎとは、トップフィールドではｎ＝２ｍ、ボトムフィールドではｎ＝２ｍ＋１、という関係が成り立っている。

図１５は、当該マクロブロックがフィールド単位で符号化される場合で、かつ符号化対象がボトムフィールドのテーブルである。図１４のテーブルと同様に、フィールドインデックスの列の上段の行はトップフィールドに対応し、下段の行はボトムフィールドに対応している。図１５のテーブルでは、フレームインデックスｊとフィールドインデックスｋとは、トップフィールドではｋ＝２ｊ＋１、ボトムフィールドではｋ＝２ｊ、という関係が成り立っている。このようにすることで、同位相のボトムフィールドに対して、フィールドインデックスｋとして小さな値が割り当たるようになる。参照フレーム番号ｍと参照フィールド番号ｎの関係は、図１４のテーブルと同じである。

当該マクロブロックブロックがフィールド単位で符号化される場合、図１４及び図１５に示したテーブルを用いて、フレームインデックスとフィールドインデックスがインデックス情報として符号化される。一方、当該マクロブロックがフレーム単位で符号化される場合には、インデックス情報としては図１４と図１５のテーブルに共通のフレームインデックスのみがインデックス符号化されるものとする。

本実施形態においては、１つのテーブルでフレームとフィールドの予測パラメータの割り当てを行ったが、１つの画像またはスライスで、フレーム用のテーブルとフィールド用のテーブルを別々に用意してもかまわない。

さらに、上述の各実施形態においては、ブロック単位の直交変換を使った動画像符号化／復号化方式の例で説明したが、例えばウェーブレット変換のような他の変換手法を用いた場合にも、上記実施形態で説明した本発明の手法を同様に適用することができる。

本発明に係る動画像符号化及び復号化の処理は、ハードウェア（装置）として実現してもよいし、コンピュータを用いてソフトウェアにより実行してもよい。一部の処理をハードウェアで実現し、他の処理をソフトウェアにより行ってもよい。従って、本発明によると上述した動画像符号化または復号化処理をコンピュータに行わせるためのプログラムあるいは該プログラムを格納した記憶媒体を提供することが可能である。

１００…入力動画像信号
１０１…減算器
１０２，１０９…モード選択スイッチ
１０３…直交変換器
１０４…量子化器
１０５…逆量子化器
１０６…逆直交変換器
１０７…加算器
１０８…フレームメモリ／予測画像作成器
１１０…モード選択器
１１１…可変長符号化器
１１２…符号化部
１１３…符号化制御器
１１４…多重化器
１１５…出力バッファ
１１６…符号化データ
２０１…メモリ制御器
２０２…複数フレームメモリ
２０３…予測パラメータ制御器
２０４…複数フレーム動き評価器
２０５…複数フレーム動き補償器
２１１…局部復号画像信号
２１２…予測画像信号
２１３…モード情報
２１４…動きベクトル情報
２１５…インデックス情報
３００…符号化データ
３０１…入力バッファ
３０２…多重化分離器
３０３…可変長復号化器
３０４…逆量子化器
３０５…逆直交変換器
３０６…加算器
３０７…フレームメモリ／予測画像作成器
３０８…加算器
３０９…モード切替スイッチ
３１０…再生画像信号
４０１…メモリ制御器
４０２…複数フレームメモリ
４０３…予測パラメータ制御器
４０４…複数フレーム動き補償器
４１２…予測画像信号
４１３…モード情報
４１４…動きベクトル情報
４１５…インデックス情報

Claims (2)

1. 輝度と二つの色差とを有する動画像が予測符号化された符号化データを復号して予測画像を生成する予測画像生成方法において、
   （Ａ）輝度及び二つの色差毎の重み係数、（Ｂ）輝度及び二つの色差毎のオフセット、を含む複数の組み合わせを示すテーブルが復号化対象ブロックを一つ以上含む単位毎に符号化されると共に、前記複数の組み合わせのうちの一つの組み合わせを示すインデックス情報が復号化対象ブロック毎に符号化された符号化データの入力を受けるステップと、
   前記インデックス情報及び前記テーブルから、前記重み係数及び前記オフセットを前記復号化対象ブロック毎に求めるステップと、
   参照画像に前記重み係数を乗じてから前記オフセットを加算することにより予測画像を生成するステップと
   を備える予測画像生成方法。
2. 輝度と二つの色差とを有する動画像が予測符号化された符号化データを復号して予測画像を生成する予測画像生成装置において、
   （Ａ）輝度及び二つの色差毎の重み係数、（Ｂ）輝度及び二つの色差毎のオフセット、を含む複数の組み合わせを示すテーブルが復号化対象ブロックを一つ以上含む単位毎に符号化されると共に、前記複数の組み合わせのうちの一つの組み合わせを示すインデックス情報が復号化対象ブロック毎に符号化された符号化データの入力を受ける手段と、
   前記インデックス情報及び前記テーブルから、前記重み係数及び前記オフセットを前記復号化対象ブロック毎に求める手段と、
   参照画像に前記重み係数を乗じてから前記オフセットを加算することにより予測画像を生成する手段と
   を備える予測画像生成装置。

Images