JP4452733B2 - 動画像符号化における動き評価装置，方法およびそのプログラム並びにその記録媒体 - Google Patents

Description

本発明は，フィールド間予測による符号化のコストと，フレーム間予測による符号化のコストとを算出して，符号化コストの小さい予測符号化方式を用いて符号化を行う動画像符号化における動き評価装置，方法およびそのプログラム並びにその記録媒体に関するものである。

一般に，動画像符号化では，各種の予測符号化モードの符号化のコストを算出して，符号化のコストが小さい予測符号化モードを選択して，符号化効率のよい符号化を行っている。特に，フィールド間予測およびフレーム間予測を符号化のコストによって切り替えて動き補償による符号化を行う動画像符号化においては，フィールド間予測での動きベクトルのコスト（評価値）と，フレーム間予測での動きベクトルのコスト（評価値）とを比較することにより，どちらを用いるかを決定している。

例えば，Ｈ．２６４の参照ソフトウェアであるＪＭ(Joint Model) では，動きベクトル（ＭＶ）の評価値（ＭＣＯＳＴ）は，
ＭＣＯＳＴ＝ＳＡＤ＋ＭＶＣＯＳＴ＋ＲＥＦＣＯＳＴ …（式１）
を用いて算出し，評価している。ここで，ＳＡＤは，符号化対象画像と予測画像との差分絶対値和であり，ＭＶＣＯＳＴは，動きベクトル自身を符号化するために必要になる符号量の見積り値であり，ＲＥＦＣＯＳＴは，参照画像を示す情報の符号量の見積り値である。ＭＶＣＯＳＴは，次式で表される。

ＭＶＣＯＳＴ＝λ×（ｍｖｂｉｔｓ（ｄｍｖ_x ）＋ｍｖｂｉｔｓ（ｄｍｖ_y ））
ここで，λは，量子化パラメータによって決定される評価用係数であり，ラグランジュ乗数とも呼ばれる。ｍｖｂｉｔｓは，符号化したときのビット数の見積り値，ｄｍｖ_x は，予測動きベクトルからの水平方向の差分値，ｄｍｖ_y は，予測動きベクトルからの垂直方向の差分値である。

図４は，従来技術による動き評価のフローチャートである。従来技術では，動き補償のための動き評価において，フィールドの動きベクトル（以下，フィールドＭＶという）を選択するか，フレームの動きベクトル（以下，フレームＭＶという）を選択するかを，図４に示す方法を用いて決定していた。

ステップＳ１０では，フィールドＭＶのコストＭＣＯＳＴ_field を，上記（式１）を用いて算出する。ステップＳ２では，フレームＭＶのコストＭＣＯＳＴ_frame を，上記（式１）を用いて算出する。このときの評価用係数λは，一種類であり，フィールドＭＶのコスト算出でも，フレームＭＶのコスト算出でも，量子化パラメータに応じて同一種類のものが使用されていた。

次に，ステップＳ１２では，フィールドＭＶについて実際に発生する符号量を算出し，ステップＳ１３では，フレームＭＶについて実際に発生する符号量を算出する。ステップＳ１４では，フィールドＭＶの符号量とフレームＭＶの符号量との大小を比較し，フィールドＭＶの符号量のほうが小さければ，フィールドＭＶを選択し，そうでなければ，フレームＭＶを選択する。

なお，下記の非特許文献１には，Ｈ．２６４の符号化方式において，動き評価を高速に行うための技術の一例が示されている。しかし，非特許文献１に記載されている技術は，複数の参照フレームに対する動きベクトルの評価を簡易に行うための技術であり，フィールドＭＶまたはフレームＭＶを選択するための演算量を削減することに関しては考慮されていない。
Gwo-Long LI and Mei-Juan CHEN,"Adaptive Search Range Decision and Early Termination for Multiple Reference Frame Motion Estimation for H.264 ", IEICE TRANS.COMMUN.,Vol.E89-B,NO.1,January 2006.

図５は，本発明の課題を説明するための図である。図５（Ａ）はフィールドＭＶ，図５（Ｂ）はフレームＭＶを示している。

従来，フィールドＭＶおよびフレームＭＶを評価するための評価値（ＭＣＯＳＴ）の式は，同じものが用いられていた。すなわち，図５に示す動きベクトルＭＶ−Ａに対する評価も動きベクトルＭＶ−Ｂに対する評価も，同じ一種類の評価係数λを用いた評価値の算出により行われていた。

ところで，一般にフレームＭＶによって得られる予測誤差信号のほうが，フィールド予測誤差信号によって得られる予測誤差信号よりも，垂直方向の相関が高い（すなわち，圧縮率が高い）ことが知られている。しかし，上記のＭＣＯＳＴの式では，予測誤差信号は差分絶対値和ＳＡＤで評価されるため，垂直方向の相関については考慮されておらず，結果としてフィールドＭＶに対して，「甘い」評価式となっている。

前述したＨ．２６４の参照ソフトウェアであるＪＭでは，図４のステップＳ１２，Ｓ１３のようにフィールドＭＶ／フレームＭＶの判定には，別途，実際に符号化して符号量を評価していたため，この評価は問題にはならなかった。しかし，演算量を削減するために，実際に符号化する前にフィールドＭＶ／フレームＭＶの判定を行う場合には，上記のフィールドＭＶに対する「甘い」評価が原因で，符号化効率を下げてしまっていた。

本発明は，演算量の削減を図り，実際に符号化する前にフィールドＭＶ／フレームＭＶの判定を行う場合にも，フレーム間予測における予測誤差信号の垂直方向の相関が考慮された評価結果が得られるようにし，符号化効率のよい符号化を実現することを目的とする。

本発明は，上記課題を解決するため，動きベクトルの評価式に用いる，量子化パラメータによって決定される評価用係数λ（ラグランジュ乗数）として，動きベクトルの水平方向のビット量に対する第１の評価用係数λ_x と，フィールド間予測での動きベクトルの垂直方向のビット量に対する第２の評価用係数λ_y-field と，フレーム間予測での動きベクトルの垂直方向のビット量に対する第３の評価用係数λ_y-frame とを，量子化パラメータに応じて予め用意し，動きベクトル自身を符号化するために必要となる符号量の見積り値ＭＶＣＯＳＴを，以下の式で算出する。
・フィールドＭＶのとき；
ＭＶＣＯＳＴ＝λ_x ×ｍｖｂｉｔｓ（ｄｍｖ_x ）
＋λ_y-field ×ｍｖｂｉｔｓ（ｄｍｖ_y ）
・フレームＭＶのとき；
ＭＶＣＯＳＴ＝λ_x ×ｍｖｂｉｔｓ（ｄｍｖ_x ）
＋λ_y-frame ×ｍｖｂｉｔｓ（ｄｍｖ_y ）
なお，ｍｖｂｉｔｓは，符号化したときのビット数の見積り値，ｄｍｖ_x は，予測動きベクトルからの水平方向の差分値，ｄｍｖ_y は，予測動きベクトルからの垂直方向の差分値である。

ここで，λ_y-field ＞λ_y-frame である。λ_x としては，従来の評価用係数λと同じ値のものを用いてもよい。

λ_y-field の値をλ_y-frame の値より大きく設定することで，上記（式１）の「ＭＣＯＳＴ＝ＳＡＤ＋ＭＶＣＯＳＴ＋ＲＥＦＣＯＳＴ」におけるＭＶＣＯＳＴの項で，フィールドＭＶのコストのほうがフレームＭＶのコストよりも相対的に大きくなる。したがって，動きベクトルが同程度の変位を持つ場合には，フィールドＭＶよりもフレームＭＶのほうが選ばれやすくなり，結果として，予測誤差信号の垂直方向の相関が考慮された評価が行われることになる。

本発明によれば，実際に符号化することなしに，フィールドＭＶ／フレームＭＶの判定を，それぞれの動きベクトルによる予測誤差信号の垂直方向の相関を考慮して実現することができる。したがって，判定の演算量およびそれを回路で実現するときのハードウェア量を削減しつつ，動きベクトルの選択精度を向上させることができる。

図１は，本発明の概要を説明する図である。本発明では，動きベクトルの評価式に用いるラグランジュ乗数λを，動きベクトルの水平方向用λ_x と，フィールド垂直方向用λ_y-field と，フレーム垂直方向用λ_y-frame の３種類を，量子化パラメータ（ＱＰ）にテーブル化して予め用意する。

ステップＳ１では，フィールドＭＶのコストＭＣＯＳＴ_field の算出において，（式１）中の動きベクトル自身を符号化するために必要となる符号量の見積り値ＭＶＣＯＳＴを，水平方向用λ_x とフィールド垂直方向用λ_y-field とを用いて，
ＭＶＣＯＳＴ＝λ_x ×ｍｖｂｉｔｓ（ｄｍｖ_x ）
＋λ_y-field ×ｍｖｂｉｔｓ（ｄｍｖ_y ）
によって算出し，これにＳＡＤとＲＥＦＣＯＳＴの値を加算して求める。なお，ｍｖｂｉｔｓは，符号化したときのビット数の見積り値，ｄｍｖ_x は，予測動きベクトルからの水平方向の差分値，ｄｍｖ_y は，予測動きベクトルからの垂直方向の差分値である。

ステップＳ２では，フレームＭＶのコストＭＣＯＳＴ_frame の算出において，（式１）中のＭＶＣＯＳＴを，水平方向用λ_x とフレーム垂直方向用λ_y-frame とを用いて，
ＭＶＣＯＳＴ＝λ_x ×ｍｖｂｉｔｓ（ｄｍｖ_x ）
＋λ_y-frame ×ｍｖｂｉｔｓ（ｄｍｖ_y ）
によって算出し，これにＳＡＤとＲＥＦＣＯＳＴの値を加算して求める。

次に，ステップＳ３では，ＭＣＯＳＴ_field とＭＣＯＳＴ_frame との大小を比較し，ＭＣＯＳＴ_field のほうが小さい場合には，符号化モードとして「フィールドＭＶ」を選択し，そうでない場合には，「フレームＭＶ」を選択する。

図２は，図１に示す処理を実現するハードウェア構成図である。なお，図２では，簡単化のためにＲＥＦＣＯＳＴの算出部分は省略している。ＲＥＦＣＯＳＴの算出およびコストへの加算については，従来技術と同様である。

水平方向用λ値テーブル１０には，量子化パラメータ（ＱＰ）の値に応じて，水平方向用λ_x の値が格納されている。また，フレーム垂直方向用λ値テーブル１１には，量子化パラメータ（ＱＰ）の値に応じて，フレーム垂直方向用λ_y-frame の値が格納されている。フィールド垂直方向用λ値テーブル１２には，量子化パラメータ（ＱＰ）の値に応じて，フィールド垂直方向用λ_y-field の値が格納されている。

Ｍｖｂｉｔｓ算出部１３は，動きベクトルと予測動きベクトル（ＰＭＶ）との水平方向と垂直方向の差分から，ｘ成分のビット数の見積り値ｍｖｂｉｔｓとｙ成分のビット数の見積り値ｍｖｂｉｔｓとを算出する。ｘ成分のｍｖｂｉｔｓには，乗算器２１によって，ＱＰ値に応じて水平方向用λ値テーブル１０から読み出された水平方向用λ_x の値が乗算される。

一方，フレーム垂直方向用λ値テーブル１１からはＱＰ値によってフレーム垂直方向用λ_y-frame の値が読み出され，フィールド垂直方向用λ値テーブル１２からはＱＰ値によってフィールド垂直方向用λ_y-field の値が読み出される。これらの値は，セレクタ２０によって，例えば最初はフィールド垂直方向用λ_y-field が選択され，次にフレーム垂直方向用λ_y-frame の値が選択されるようになっており，それぞれ乗算器２２により，ｙ成分のｍｖｂｉｔｓに乗算される。

加算器２３では，乗算器２１と乗算器２２の出力値を加算することにより，最初にフィールドＭＶの符号量の見積り値が算出される。

ＳＡＤ算出部１４では，符号化マクロブロックと参照画像とから，それらの画素値の差分絶対値和ＳＡＤが算出され，加算器２４によって加算器２３の出力と加算される。その加算結果はフィールドＭＶのコストＭＣＯＳＴ_field としてコスト記憶部１５に記憶される。

次のタイミングでは，セレクタ２０の切り替えによって，フレーム垂直方向用λ_y-frame の値が選択され，同様に乗算器２２による乗算，加算器２３による加算の後，加算器２４によってＳＡＤの値が加算され，その加算結果はフレームＭＶのコストＭＣＯＳＴ_frame としてコスト記憶部１５に出力される。コスト比較部１６では，ＭＣＯＳＴ_field とＭＣＯＳＴ_frame との比較を行い，小さいほうの動きベクトル（フィールドＭＶまたはフレームＭＶ）の選択信号を出力する。

図３は，本発明を適用する動画像符号化装置の構成例を示す図である。図３に示す装置は，一般によく用いられている動き補償による予測符号化を行う動画像符号化装置である。

入力画像信号は，減算器１０１に入力され，減算器１０１により予測信号との差分が算出される。入力画像信号と予測信号との差分は，変換部１０２に入力され，ここで離散コサイン変換などの変換が行われる。変換部１０２によって算出された変換係数は，量子化部１０３によって量子化される。このときの量子化パラメータ（ＱＰ）の値は，符号化制御部１１３から与えられる。量子化部１０３によって量子化された量子化値は，可変長符号化部１０４によって可変長符号化され，符号化ストリームとして出力される。

また，量子化値は，逆量子化部１０５にも入力され，ここで逆量子化が行われる。逆量子化された値は，逆変換部１０６によって逆離散コサイン変換などの逆変換が行われ，この結果に加算器１０７により予測信号が加算されて復号信号が生成される。復号信号は，ループフィルタ１０８によりフィルタリングされ，次の符号化において参照画像として用いるために，参照画像メモリ１０９に格納される。

動き評価部１１０では，各種の予測符号化モードの符号化コストを算出して，最適な符号化モードを選択する。特に，本発明では，フィールド間予測での動きベクトルの符号化コストと，フレーム間予測での動きベクトルの符号化のコストとを算出して，どちらがコストが小さいかによって，フィールド間予測またはフレーム間予測のどちらを選択すべきかを決定する機能を持つ。すなわち，動き評価部１１０は，図２で説明した動き評価手段を備える。

イントラ予測部１１１は，フレーム内予測による予測信号を生成する。また，動き補償部１１２は，動き評価部１１０の評価結果に従って，フィールド間予測またはフレーム間予測による予測信号を生成する。イントラ予測部１１１または動き補償部１１２によって生成された予測信号は，減算器１０１において入力画像信号との差分信号の生成に用いられる。

以上の動き評価の処理は，ハードウェアまたはファームウェアによって実現することができるとともに，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の概要を説明する図である。 動き評価装置のハードウェア構成例を示すブロック図である。 本発明を適用する動画像符号化装置の構成例を示す図である。 従来技術による動き評価のフローチャートである。 本発明の課題を説明するための図である。

符号の説明

１０ 水平方向用λ値テーブル
１１ フレーム垂直方向用λ値テーブル
１２ フィールド垂直方向用λ値テーブル
１３ Ｍｖｂｉｔｓ算出部
１４ ＳＡＤ算出部
１５ コスト記憶部
１６ コスト比較部
２０ セレクタ
２１，２２ 乗算器
２３，２４ 加算器

Claims (4)

1. フィールド間予測およびフレーム間予測を符号化のコストによって切り替えて動き補償による符号化を行う動画像符号化における動き評価装置において，
   量子化パラメータに応じて，動きベクトルの水平方向のビット量に対する第１の評価用係数と，フィールド間予測での動きベクトルの垂直方向のビット量に対する第２の評価用係数と，フレーム間予測での動きベクトルの垂直方向のビット量に対する，前記第２の評価用係数より小さい第３の評価用係数とをそれぞれ記憶する手段と，
   評価対象となるフィールド間予測での動きベクトルの水平方向のビット量に対して前記第１の評価用係数を乗算した値と，該動きベクトルの垂直方向のビット量に対して前記第２の評価用係数を乗算した値とから，フィールド間予測での動きベクトルの評価値を算出する手段と，
   評価対象となるフレーム間予測での動きベクトルの水平方向のビット量に対して前記第１の評価用係数を乗算した値と，該動きベクトルの垂直方向のビット量に対して前記第３の評価用係数を乗算した値とから，フレーム間予測での動きベクトルの評価値を算出する手段と，
   前記フィールド間予測での動きベクトルの評価値を用いた符号化のコストと，前記フレーム間予測での動きベクトルの評価値を用いた符号化のコストとを比較し，符号化のコストが小さいほうを予測符号化に用いる動きベクトルとして決定する手段とを備える
   ことを特徴とする動画像符号化における動き評価装置。
2. フィールド間予測およびフレーム間予測を符号化のコストによって切り替えて動き補償による符号化を行う動画像符号化における動き評価方法において，
   量子化パラメータに応じて，動きベクトルの水平方向のビット量に対する第１の評価用係数と，フィールド間予測での動きベクトルの垂直方向のビット量に対する第２の評価用係数と，フレーム間予測での動きベクトルの垂直方向のビット量に対する，前記第２の評価用係数より小さい第３の評価用係数とをそれぞれ記憶する評価係数記憶手段を用い，
   評価対象となるフィールド間予測での動きベクトルの水平方向のビット量に対して前記評価係数記憶手段から読み出した第１の評価用係数を乗算した値と，該動きベクトルの垂直方向のビット量に対して前記評価係数記憶手段から読み出した第２の評価用係数を乗算した値とから，フィールド間予測での動きベクトルの評価値を算出する過程と，
   評価対象となるフレーム間予測での動きベクトルの水平方向のビット量に対して前記第１の評価用係数を乗算した値と，該動きベクトルの垂直方向のビット量に対して前記評価係数記憶手段から読み出した第３の評価用係数を乗算した値とから，フレーム間予測での動きベクトルの評価値を算出する過程と，
   前記フィールド間予測での動きベクトルの評価値を用いた符号化のコストと，前記フレーム間予測での動きベクトルの評価値を用いた符号化のコストとを比較し，符号化のコストが小さいほうを予測符号化に用いる動きベクトルとして決定する過程とを有する
   ことを特徴とする動画像符号化における動き評価方法。
3. 請求項２記載の動画像符号化における動き評価方法を，コンピュータに実行させるための動き評価プログラム。
4. 請求項２記載の動画像符号化における動き評価方法を，コンピュータに実行させるための動き評価プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images