JP6075898B1 - 映像符号化装置、映像符号化方法及びプログラム - Google Patents

Abstract

【課題】符号化モードの決定に要する演算量を削減する。【解決手段】動き予測部２０１は、原画像に対し複数の符号化ユニットサイズについて動き予測を行い、動き予測の評価を行う。符号化ユニットサイズ決定部２０２は、動き予測の評価に基づいて原画像の符号化ユニットサイズを決定する。予測誤差算出部２０３１は、決定された符号化ユニットサイズの符号化ユニットの原画像と予測画像との差分である予測誤差値を算出する。サイズ決定部２０３３は、予測誤差値と閾値との比較に基づいてマージサイズを決定する。マージモード評価部２０４は、決定されたマージサイズの符号化ユニットについて各マージ候補の評価を行う。インター予測モード決定部２０５は、各マージ候補の評価と、符号化ユニットサイズ決定部２０２が決定した符号化ユニットサイズの評価とに基づき、符号化に用いるモードを決定する。【選択図】図２

Description

本発明は、映像符号化装置、映像符号化方法及びプログラムに関する。

映像符号化技術には、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ（Advanced Video Coding）が多く用いられている。最近では、次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され、今後普及していくものと考えられる。ＨＥＶＣでは符号化処理の自由度を高めるために様々なブロックサイズでの符号化をサポートしている。

図７は、ＨＥＶＣにおけるＰＵ（予測ユニット）分割パターンを示す図である。ＨＥＶＣでは、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の４つの符号化ユニット（ＣＵ）それぞれを、同図に示す７〜８種類のＰＵに分割することが可能となっている。再帰的な四分木構造によって適応的に符号化ユニットを分割することで、高効率な符号化が可能である。また、Ｈ．２６４／ＡＶＣやＨＥＶＣでは、差分動きベクトルを符号化する動きベクトル予測符号化と、差分動きベクトルを伝送しない符号化の２種類の動き情報符号化モードを採用している。これらのモードを切り替えることで高効率な符号化が実現される。これらのモードはＨ．２６４／ＡＶＣではダイレクトモード（予測誤差の符号化も行わない場合はスキップモード）、ＨＥＶＣではマージモードと呼ばれる。

動きベクトル予測符号化では２つの予測動きベクトル候補から選択して符号化を行う。
図８は、ＨＥＶＣにおける空間マージ候補を示す図である。マージ符号化では、同図に示すように符号化対象のＰＵ（対象ＰＵ）の周囲の動きベクトルを使用する空間マージ候補に加え、時間マージ候補、結合双予測候補、ゼロマージ候補の中から最大で５つの動きベクトルをマージ候補リストに登録し、符号化を行う。従って、ＣＵサイズ（４種類）とＰＵサイズ（７種類）の組み合わせそれぞれに対して予測動きベクトル候補（２種類）及びマージ候補（５種類）が存在する。全てのブロックサイズとモードの組み合わせは、４×７×（２＋５）＝１９６パターンとなるため、非常に膨大な演算量を必要とする。

このような問題を解決するために、動き予測に要する演算量を削減する手法がある（例えば、特許文献１参照）。この手法では、処理対象の符号化ブロックと参照ピクチャにおける同位置のブロックとの差分値を求め、差分値を閾値処理することでダイレクトモード又はスキップモードを用いるか否かを決定する。

特開２０１３−１５７６６２号公報

しかしながら、特許文献１に記載の映像符号化装置では、対象符号化ブロックに対する動き予測の演算量が均一にならないため、ハードウェアの実装においてはハードウェア規模の増大や使用効率低下というデメリットがある。

上記事情に鑑み、本発明は、符号化モードの決定に要する演算量を削減することができる映像符号化装置、映像符号化方法及びプログラムを提供することを目的としている。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記直交変換値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、映像符号化装置である。
本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記直交変換値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記直交変換値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、映像符号化装置である。
本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記直交変換値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記直交変換値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、映像符号化装置である。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記予測誤差値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、映像符号化装置である。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記予測誤差値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記予測誤差値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、映像符号化装置である。

本発明の一態様は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、を備え、前記マージサイズ決定部は、前記予測誤差値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記予測誤差値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、映像符号化装置である。

本発明の一態様は、上述の映像符号化装置であって、前記閾値は、階層符号化における階層の深さを示すテンポラルＩＤに応じて決定される。

本発明の一態様は、上述の映像符号化装置であって、前記閾値は、量子化パラメータの値に応じて決定される。

本発明の一態様は、上述の映像符号化装置であって、前記閾値は、前記符号化ユニットの輝度の分散値をスケーリングした値である。

本発明の一態様は、上述の映像符号化装置であって、前記マージサイズ決定部は、階層符号化における階層の深さを示すテンポラルＩＤが同一の符号化済みのピクチャにおける同一の符号化ユニットサイズの符号化ユニットの直交変換値または予測誤差値の平均値をスケーリングして前記閾値を決定する。

本発明により、符号化モードの決定に要する演算量を削減することが可能となる。

本発明の一実施形態による映像符号化装置１００の構成を示すブロック図である。 図１に示すインター予測処理部１０２の構成を示すブロック図である。 図２に示すマージサイズ決定部２０３の処理フローを示す図である。 階層符号化構造におけるテンポラルＩＤを示す図である。 図２に示すマージサイズ決定部２０３の処理フロー（２段階小さくすることが可能な場合）を示す図である。 図２に示すマージサイズ決定部２０３の処理フロー（１段階大きく／小さくすることが可能な場合）を示す図である。 ＨＥＶＣにおけるＰＵ分割パターンを示す図である。 ＨＥＶＣにおける空間マージ候補を示す図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。
図１は、本実施形態による映像符号化装置１００の構成を示すブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。同図に示すように、映像符号化装置１００は、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、変換・量子化処理部１０４、エントロピー符号化部１０５、符号量制御部１０６、逆量子化・逆変換処理部１０７、復号信号生成部１０８、及び、ループフィルタ処理部１０９を備える。映像符号化装置１００において、インター予測処理部１０２の中の処理が従来技術と異なる構成であり、他の部分はＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。

映像符号化装置１００は、符号化対象であるピクチャ（原画像）の入力映像信号を入力する。原画像は、符号化処理の対象となっている動画像の個々のフレームのピクチャである。映像符号化装置１００は、入力映像信号のピクチャを符号化ツリーユニット（ＣＴＵ）に分割してユニット毎に符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部１０１又はインター予測処理部１０２の出力である予測信号との差分を求め、求めた差分を予測残差信号として出力する。予測信号は、予測画像を表す。変換・量子化処理部１０４は、予測残差信号生成部１０３が出力した予測残差信号に対して離散コサイン変換等の直交変換を行う。変換・量子化処理部１０４は、直交変換の結果得られた変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化部１０５は、変換・量子化処理部１０４により量子化された変換係数をエントロピー符号化し、符号化ストリーム（ビットストリーム）として出力する。符号量制御部１０６は、エントロピー符号化部１０５が出力した符号化ストリームから符号量等の符号化情報を入力とし、次の符号化に必要な量子化パラメータを適応的に切り替えて出力する。

一方、変換・量子化処理部１０４により量子化された変換係数は、逆量子化・逆変換処理部１０７にも入力される。逆量子化・逆変換処理部１０７は、変換係数に逆量子化と逆直交変換を行った結果得られた予測残差信号を出力する。復号信号生成部１０８は、予測残差信号とイントラ予測処理部１０１又はインター予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号映像信号を生成する。この復号映像信号は、インター予測処理部１０２において参照画像として用いられるため、ループフィルタ処理部１０９に対して出力される。ループフィルタ処理部１０９は、符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の参照画像を復号映像信号としてインター予測処理部１０２に対して出力する。

次に、図２を参照して、図１に示すインター予測処理部１０２の構成を説明する。
図２は、図１に示すインター予測処理部１０２の構成を示すブロック図である。
インター予測処理部１０２は、動き予測部２０１、符号化ユニットサイズ決定部２０２、マージサイズ決定部２０３、マージモード評価部２０４、インター予測モード決定部２０５、及び、予測画像信号生成部２０６を備える。本実施形態では、マージサイズ決定部２０３の中の処理が従来技術と異なる構成であり、他の部分は任意の一般的な処理を適用できる。

動き予測部２０１は、符号化対象である原画像と、参照画像となる復号映像信号を入力し、各符号化ユニットサイズについて動き予測を行う。動き予測では、復号映像信号が示す参照画像（ピクチャ）において、原画像（ピクチャ）内の符号化ユニットと類似する領域を探索する。動き予測部２０１は、動き予測の結果として符号化ユニットサイズ毎の評価値を符号化ユニットサイズ決定部２０２へ出力する。評価値は、例えば、原画像内の符号化ユニットの画素と参照画像上で対応する領域の画素との差分の絶対値和に、動きベクトルや符号化モードを記述するために必要なビット量（符号化コスト）に相当する値を加えた値を用いることができるが、これに限定されない。符号化ユニットサイズ決定部２０２は、動き予測部２０１から入力した符号化ユニットサイズ毎の評価値を用いて予測動きベクトル符号化に用いる符号化ユニットサイズを決定し、マージサイズ決定部２０３に出力する。また、符号化ユニットサイズ決定部２０２は、決定した符号化ユニットサイズを含む予測動きベクトル符号化情報を、インター予測モード決定部２０５に出力する。

マージサイズ決定部２０３は、符号化ユニットサイズ決定部２０２により決定された符号化ユニットサイズの残差信号（ＳＡＤ）又はＳＡＤにアダマール変換を施したアダマール係数（ＳＡＴＤ）に対して閾値処理を行う。マージサイズ決定部２０３は、この閾値処理によって、マージ評価を行うマージサイズを１つ決定し、マージモード評価部２０４に出力する。
マージサイズ決定部２０３は、予測誤差算出部２０３１、直交変換部２０３２、及び、サイズ決定部２０３３を備える。予測誤差算出部２０３１は、符号化ユニットサイズ決定部２０２により決定された符号化ユニットサイズの符号化ユニットについてＳＡＤを算出する。ＳＡＤは、符号化ユニットの予測画像と原画像との差分値として算出される予測誤差である。予測画像は、ループフィルタ処理部１０９から入力された参照画像の生成に用いられた予測信号が示すピクチャである。直交変換部２０３２は、予測誤差算出部２０３１が算出したＳＡＤにアダマール変換を行って、ＳＡＴＤを算出する。サイズ決定部２０３３は、ＳＡＤ又はＳＡＴＤと閾値とを比較した結果に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定する。なお、サイズ決定部２０３３がＳＡＤ値と閾値との比較によりマージサイズを決定する場合、マージサイズ決定部２０３は、直交変換部２０３２を備えなくともよい。

マージモード評価部２０４は、マージサイズ決定部２０３により決定されたマージサイズの符号化ユニットについて最大５つのマージ候補の評価を行うために動き予測処理を行い、動き予測処理に基づいて各マージ候補の評価値を算出してインター予測モード決定部２０５に出力する。この評価値には、動き予測部２０１と同様の評価値が用いられる。原画像内の符号化ユニットと参照画像上で対応する領域は、その符号化ユニットのマージ候補について算出済みの動きベクトルの情報から特定される。

インター予測モード決定部２０５は、符号化ユニットサイズ決定部２０２及びマージモード評価部２０４から動き予測の評価値を入力する。符号化ユニットサイズ決定部２０２から入力する動き予測の評価値は、符号化ユニットサイズ決定部２０２が決定した符号化ユニットサイズについての評価値である。マージモード評価部２０４から入力する動き予測の評価値は、マージサイズ決定部２０３が決定した１つのマージサイズについての最大５つのマージ候補それぞれの評価値である。インター予測モード決定部２０５は、動き予測の評価値に基づいて符号化ユニットサイズ及びインター予測モードを決定し、予測画像信号生成部２０６へ送信する。インター予測モードは、動きベクトルを符号化するモードと、動きベクトルを符号化しないマージモードとのいずれかである。予測画像信号生成部２０６は、インター予測モード決定部２０５により決定された符号化ユニットサイズ及びインター予測モードに従って予測画像信号を生成し、予測残差信号生成部１０３へ送信する。

本実施形態では、図２に示すマージサイズ決定部２０３が、符号化ユニットサイズ決定部２０２により決定された符号化ユニットサイズを基準として、マージサイズを、当該符号化ユニットと同サイズにするか１つ小さいサイズにするかを決定する。マージサイズ決定部２０３は、この決定を、当該符号化ユニットのＳＡＤ値又はＳＡＴＤ値に応じて行う。マージサイズ決定部２０３がマージサイズを決定することにより、マージモード評価部２０４は、少ない演算量でマージモードの評価を行うことができる。従って、符号化効率を低下させずに動き予測に要する演算量を削減することが可能である。以下、ＳＡＴＤ値を用いた場合について説明するが、ＳＡＤ値を用いた場合も同様の処理を行うことが可能である。

図３は、図２に示すマージサイズ決定部２０３の処理フローを示す図である。マージサイズ決定部２０３は、符号化ユニットごとに図３に示す処理を行い、当該符号化ユニットのマージサイズを決定する。以下では、マージサイズを決定する対象の符号化ユニットを、対象符号化ユニットとも記載する。

マージサイズ決定部２０３は、符号化ユニットサイズ決定部２０２により決定された対象符号化ユニットの符号化ユニットサイズを判断する（ステップＳ１０５）。符号化ユニットサイズが６４×６４である場合（ステップＳ１０５：符号化ユニットサイズ６４×６４）、直交変換部２０３２は、予測誤差算出部２０３１が算出した対象符号化ユニットの残差信号からＳＡＴＤ値を算出し、ＳＡＴＤ６４×６４とする。サイズ決定部２０３３は、ＳＡＴＤ６４×６４と閾値ＴＨ６４×６４とを比較する（ステップＳ１１０）。サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４よりも小さいと判断した場合（ステップＳ１１０：ＹＥＳ）、対象符号化ユニットのマージサイズを符号化ユニットサイズと同じ６４×６４に決定する（ステップＳ１１５）。一方、サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４以上であると判断した場合（ステップＳ１１０：ＮＯ）、当該符号化ユニットサイズでは符号化効率が悪くなる可能性があるため、対象符号化ユニットのマージサイズを、符号化ユニットサイズよりも１つ小さい３２×３２に決定する（ステップＳ１２０）。これにより、符号化効率の低下を抑制する。

以下同様に、符号化ユニットサイズが３２×３２である場合（ステップＳ１０５：符号化ユニットサイズ３２×３２）、直交変換部２０３２は、予測誤差算出部２０３１が算出した対象符号化ユニットの残差信号からＳＡＴＤ値を算出し、ＳＡＴＤ３２×３２とする。サイズ決定部２０３３は、ＳＡＴＤ３２×３２と閾値ＴＨ３２×３２とを比較する（ステップＳ１２５）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２よりも小さいと判断した場合（ステップＳ１２５：ＹＥＳ）、対象符号化ユニットのマージサイズを符号化ユニットサイズと同じ３２×３２に決定する（ステップＳ１２０）。一方、サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２以上であると判断した場合（ステップＳ１２５：ＮＯ）、マージサイズを符号化ユニットサイズよりも１つ小さい１６×１６に決定する（ステップＳ１３０）。

符号化ユニットサイズが１６×１６である場合（ステップＳ１０５：符号化ユニットサイズ１６×１６）、直交変換部２０３２は、予測誤差算出部２０３１が算出した対象符号化ユニットの残差信号からＳＡＴＤ値を算出し、ＳＡＴＤ１６×１６とする。サイズ決定部２０３３は、ＳＡＴＤ１６×１６と閾値ＴＨ１６×１６とを比較する（ステップＳ１３５）。サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値ＴＨ１６×１６よりも小さいと判断した場合（ステップＳ１３５：ＹＥＳ）、対象符号化ユニットのマージサイズを符号化ユニットサイズと同じ１６×１６に決定する（ステップＳ１３０）。一方、サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値以上であると判断した場合（ステップＳ１３５：ＮＯ）、マージサイズを符号化ユニットサイズよりも１つ小さい８×８に決定する（ステップＳ１４０）。

符号化ユニットサイズが８×８である場合（ステップＳ１０５：符号化ユニットサイズ８×８）、サイズ決定部２０３３は、対象符号化ユニットのマージサイズを符号化ユニットサイズと同じ８×８に決定する（ステップＳ１４０）。

図３の処理においてＳＡＴＤ値との比較に用いられる閾値の決定方法はいくつか考えられる。１つ目の形態は、サイズ毎に異なる固定値を用いる方法である。各符号化ユニットサイズに応じて、ＴＨ６４×６４、ＴＨ３２×３２、ＴＨ１６×１６、ＴＨ８×８をそれぞれ設定する。最も単純な方法であり、常に一定の条件でＳＡＴＤ値が大きい場合は、マージサイズは対象符号化ユニットの符号化ユニットサイズよりも１つ小さいサイズとする。

２つ目の形態は、テンポラルＩＤに応じて閾値を設定する方法である。
図４は、階層符号化構造におけるテンポラルＩＤを示す図である。テンポラルＩＤとは、同図に示すように、階層符号化構造を用いた場合の階層の深さを示す値である。ＢはＢピクチャ、ＩはＩピクチャを示し、矢印の先はＢピクチャが参照しているピクチャを示す。テンポラルＩＤが深いほどＢピクチャと参照先のピクチャのフレーム間距離が短くなるため、一般的にはピクチャの符号量が少なくなっていく。大きなサイズのマージモードを効率良く適用することで、階層が深い場合のピクチャ符号量を削減することが可能である。そこで、各テンポラルＩＤ（ＴｅｍｐｏｒａｌＩＤ）毎に基準閾値（ＢａｓｅＴＨ）を用意しておき、下記の式（１）〜（４）に示すように固定値βに乗ずる。これにより、階層が深くなるにつれマージサイズの分割がされにくくなるように閾値を設定する。

ＴＨ６４×６４＝β×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］ …（１）
ＴＨ３２×３２＝β×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］／４ …（２）
ＴＨ１６×１６＝β×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］／１６ …（３）
ＴＨ８×８＝β×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］／６４ …（４）

３つ目の形態は、量子化パラメータ（ＱＰ）に応じて閾値を設定する方法である。上記で述べたようにピクチャの割り当て符号量が少ない場合には大きなサイズのマージモードを効率よく適用し、逆にピクチャの割り当て符号量が多い場合には小さいサイズのマージモードを用いることで高効率な符号化が可能となる。よって下記の式（５）〜（８）に示すようにＱＰの値に応じて閾値を設定する。γは固定値である。

ＴＨ６４×６４＝γ×ＱＰ …（５）
ＴＨ３２×３２＝γ×ＱＰ／４ …（６）
ＴＨ１６×１６＝γ×ＱＰ／１６ …（７）
ＴＨ８×８＝γ×ＱＰ／６４ …（８）

４つめの形態は、原画像における処理対象の符号化ユニットの輝度の分散値を用いる方法である。輝度の分散値が大きい場合、すなわち当該符号化ユニットのテクスチャが細かい場合は、符号化ユニットサイズを小さくして細かく符号化を行う方が効率が良い。反対に、輝度の分散値が小さい場合、符号化ユニットサイズを大きくして符号量を削減する方が効率が良い。よって、下記の式（９）〜（１２）に示すように輝度の分散値（Ｖａｒ）に応じて閾値を設定する。ζは固定値である。

ＴＨ６４×６４＝ζ／Ｖａｒ …（９）
ＴＨ３２×３２＝ζ／Ｖａｒ／４ …（１０）
ＴＨ１６×１６＝ζ／Ｖａｒ／１６ …（１１）
ＴＨ８×８＝ζ／Ｖａｒ／６４ …（１２）

５つめの形態は、同一テンポラルＩＤの符号化済みピクチャにおける同一の符号化ユニットサイズの符号化ユニットについてＳＡＤ又はＳＡＴＤの平均値を用いる方法である。サイズ決定部２０３３は、毎ピクチャ符号化終了時に符号化ユニットサイズ毎にＳＡＤ値又はＳＡＴＤ値を集計し、平均値を算出して保存しておく。そして次ピクチャの符号化開始時に、サイズ決定部２０３３は、同一テンポラルＩＤの直近の符号化済みピクチャから得られた各符号化ユニットサイズのＳＡＤ値又はＳＡＴＤ値の平均値を読み出し、値を調整するスケーリングを行って閾値として設定する。

以上、閾値の設定方法を説明してきたが、上記実施の形態は例示に過ぎず、上記実施の形態に限定されるものではないことは明らかである。また、上記実施の形態を組み合わせて閾値を設定することももちろん可能である。例えば２つめの形態で説明したテンポラルＩＤと３つめの形態で説明した量子化パラメータを組み合わせて閾値を設定した場合は、下記の式（１３）〜（１６）のようにすればよい。ηは固定値である。

ＴＨ６４×６４
＝η×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］×ＱＰ …（１３）
ＴＨ３２×３２
＝η×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］×ＱＰ／４ …（１４）
ＴＨ１６×１６
＝η×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］×ＱＰ／１６ …（１５）
ＴＨ８×８
＝η×ＢａｓｅＴＨ［ＴｅｍｐｏｒａｌＩＤ］×ＱＰ／６４ …（１６）

また、図３ではマージサイズを符号化ユニットと同サイズか１つ小さいサイズに決定する手法について述べたが、６４×６４サイズ、３２×３２サイズにおいては閾値を調整することで２つ小さいサイズに変更する手段も考えられる。

図５は、６４×６４サイズ、３２×３２サイズにおいて２つ小さいサイズに変更可能な場合のマージサイズ決定部２０３の処理フローを示す図である。
マージサイズ決定部２０３は、符号化ユニットサイズ決定部２０２により決定された対象符号化ユニットの符号化ユニットサイズを判断する（ステップＳ２０５）。符号化ユニットサイズが６４×６４である場合（ステップＳ２０５：符号化ユニットサイズ６４×６４）、直交変換部２０３２は、対象符号化ユニットのＳＡＴＤ値であるＳＡＴＤ６４×６４を算出する。サイズ決定部２０３３は、ＳＡＴＤ６４×６４と閾値ＴＨ６４×６４（第１の閾値）とを比較する（ステップＳ２１０）。サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４よりも小さいと判断した場合（ステップＳ２１０：ＹＥＳ）、マージサイズを符号化ユニットサイズと同じ６４×６４に決定する（ステップＳ２１５）。サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４以上であると判断した場合（ステップＳ２１０：ＮＯ）、ＳＡＴＤ６４×６４と閾値ＴＨ６４×６４×１．５(第２の閾値）とを比較する（ステップＳ２２０）。サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４×１．５よりも小さいと判断した場合（ステップＳ２２０：ＹＥＳ）、マージサイズを３２×３２に決定し（ステップＳ２２５）、閾値ＴＨ６４×６４×１．５以上と判断した場合（ステップＳ２２０：ＮＯ）、マージサイズを１６×１６に決定する（ステップＳ２３０）。

符号化ユニットサイズが３２×３２である場合（ステップＳ２０５：符号化ユニットサイズ３２×３２）、直交変換部２０３２は、対象符号化ユニットのＳＡＴＤ値であるＳＡＴＤ３２×３２を算出する。サイズ決定部２０３３は、ＳＡＴＤ３２×３２と閾値ＴＨ３２×３２(第１の閾値）とを比較する（ステップＳ２３５）。サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ３２×３２よりも小さいと判断した場合（ステップＳ２３５：ＹＥＳ）、マージサイズを符号化ユニットサイズと同じ３２×３２に決定する（ステップＳ２４０）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２以上であると判断した場合（ステップＳ２３５：ＮＯ）、ＳＡＴＤ３２×３２と閾値ＴＨ３２×３２×１．５（第２の閾値）とを比較する（ステップＳ２４５）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２×１．５よりも小さいと判断した場合（ステップＳ２４５：ＹＥＳ）、マージサイズを１６×１６に決定し（ステップＳ２５０）、閾値ＴＨ３２×３２×１．５以上と判断した場合（ステップＳ２４５：ＮＯ）、マージサイズを８×８に決定する（ステップＳ２５５）。

符号化ユニットサイズが１６×１６（ステップＳ２０５：符号化ユニットサイズ１６×１６）の場合、及び、８×８の場合（ステップＳ２０５：符号化ユニットサイズ８×８）、サイズ決定部２０３３の処理は、図５に示す処理と同様である。すなわち、符号化ユニットサイズが１６×１６の場合（ステップＳ２０５：符号化ユニットサイズ１６×１６）、サイズ決定部２０３３は、ＳＡＴＤ１６×１６と閾値ＴＨ１６×１６とを比較する（ステップＳ２６０）。サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値ＴＨ１６×１６よりも小さいと判断した場合（ステップＳ２６０：ＹＥＳ）、マージサイズを１６×１６に決定し（ステップＳ２６５）、閾値以上であると判断した場合（ステップＳ２６０：ＮＯ）、マージサイズを８×８に決定する（ステップＳ２７０）。また、符号化ユニットサイズが８×８である場合（ステップＳ２０５：符号化ユニットサイズ８×８）、サイズ決定部２０３３は、マージサイズを８×８に決定する（ステップＳ２７０）。

図５の例示では、各閾値ＴＨ６４×６４、ＴＨ３２×３２の１．５倍の値を第２の閾値としたが、どの程度スケーリングするかは任意に設定できる。

更に、同様の閾値処理により、マージサイズを符号化ユニットサイズより１つ大きいサイズ、符号化ユニットサイズと同一のサイズ、符号化ユニットサイズより１つ小さいサイズの３種類に変更することができる。
図６は、マージサイズを３種類に変更可能な場合のマージサイズ決定部２０３の処理フローを示す図である。
マージサイズ決定部２０３は、符号化ユニットサイズ決定部２０２により決定された対象符号化ユニットの符号化ユニットサイズを判断する（ステップＳ３０５）。符号化ユニットサイズが６４×６４の場合（ステップＳ３０５：符号化ユニットサイズ６４×６４）、マージサイズ決定部２０３の処理は図３に示す処理と同様である。すなわち、サイズ決定部２０３３は、ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４よりも小さいと判断した場合（ステップＳ３１０：ＹＥＳ）、マージサイズを６４×６４に決定し（ステップＳ３１５）。ＳＡＴＤ６４×６４が閾値ＴＨ６４×６４以上であると判断した場合（ステップＳ３１０：ＮＯ）、マージサイズを３２×３２に決定する（ステップＳ３２０）。

符号化ユニットサイズが３２×３２である場合（ステップＳ３０５：符号化ユニットサイズ３２×３２）、直交変換部２０３２は、対象符号化ユニットのＳＡＴＤ値であるＳＡＴＤ３２×３２を算出する。サイズ決定部２０３３は、ＳＡＴＤ３２×３２と閾値ＴＨ３２×３２(第１の閾値）とを比較する（ステップＳ３２５）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２以上であると判断した場合（ステップＳ３２５：ＮＯ）、マージサイズを１６×１６に決定する（ステップＳ３３０）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２より小さいと判断した場合（ステップＳ３２５：ＹＥＳ）、ＳＡＴＤ３２×３２と閾値ＴＨ３２×３２×０．５（第２の閾値）とを比較する（ステップＳ３３５）。サイズ決定部２０３３は、ＳＡＴＤ３２×３２が閾値ＴＨ３２×３２×０．５よりも小さいと判断した場合（ステップＳ３３５：ＹＥＳ）、マージサイズを６４×６４に決定し（ステップＳ３４０）、閾値ＴＨ３２×３２×０．５以上と判断した場合（ステップＳ３３５：ＮＯ）、マージサイズを３２×３２に決定する（ステップＳ３４５）。

符号化ユニットサイズが１６×１６である場合（ステップＳ３０５：符号化ユニットサイズ１６×１６）、直交変換部２０３２は、対象符号化ユニットのＳＡＴＤ値であるＳＡＴＤ１６×１６を算出する。サイズ決定部２０３３は、ＳＡＴＤ１６×１６と閾値ＴＨ１６×１６(第１の閾値）とを比較する（ステップＳ３５０）。サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値ＴＨ１６×１６以上であると判断した場合（ステップＳ３５０：ＮＯ）、マージサイズを８×８に決定する（ステップＳ３５５）。サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値ＴＨ１６×１６より小さいと判断した場合（ステップＳ３５０：ＹＥＳ）、ＳＡＴＤ１６×１６と閾値ＴＨ１６×１６×０．５（第２の閾値）とを比較する（ステップＳ３６０）。サイズ決定部２０３３は、ＳＡＴＤ１６×１６が閾値ＴＨ１６×１６×０．５よりも小さいと判断した場合（ステップＳ３６０：ＹＥＳ）、マージサイズを３２×３２に決定し（ステップＳ３６５）、閾値ＴＨ１６×１６×０．５以上と判断した場合（ステップＳ３６０：ＮＯ）、マージサイズを１６×１６に決定する（ステップＳ３７０）。

符号化ユニットサイズが８×８である場合（ステップＳ３０５：符号化ユニットサイズ８×８）、直交変換部２０３２は、対象符号化ユニットのＳＡＴＤ値であるＳＡＴＤ８×８を算出する。サイズ決定部２０３３は、ＳＡＴＤ８×８と閾値ＴＨ８×８とを比較する（ステップＳ３７５）。サイズ決定部２０３３は、ＳＡＴＤ８×８が、閾値ＴＨ８×８以上であると判断した場合（ステップＳ３７５：ＮＯ）、マージサイズを８×８に決定し（ステップＳ３８０）、閾値ＴＨ８×８より小さいと判断した場合（ステップＳ３８５：ＹＥＳ）、マージサイズを１６×１６に決定する（ステップＳ３８５）。

図６の例示では、第１の閾値ＴＨ３２×３２、ＴＨ１６×１６それぞれの０．５倍の値を第２の閾値としたが、どの程度スケーリングするかは任意に設定できる。

上述した実施形態によれば、映像符号化装置１００は、予測動きベクトル候補の予測結果からマージ候補の評価を行うブロックサイズを予め決定することにより、マージ候補の評価値算出に要する演算量を削減することができる。つまり、マージサイズ決定部２０３は、符号化ユニットサイズ決定部２０２により決定された符号化ユニットサイズの符号化ユニットから算出したＳＡＴＤ値に応じてマージサイズを決定する。これにより、マージモード評価部２０４は、少ない演算量によりマージモードの評価を行うことが可能となる。従って、映像符号化装置１００は、符号化効率を低下させずに動き予測に要する演算量を削減することができる。

上述した映像符号化装置１００は、入力映像信号の時間的相関を利用し、符号化対象のピクチャについて符号化ユニット（符号化ブロック）単位に動き予測を行い、その差分の符号化処理を行う。そして、映像符号化装置１００の符号化ユニットサイズ決定部２０２は、符号化ユニット毎に動き予測処理を行い、最適な符号化ユニットサイズを決定する。マージサイズ決定部２０３は、決定された符号化ユニットサイズの予測画像と原画像との差分である予測誤差値（ＳＡＤ）を算出する。マージサイズ決定部２０３は、算出した予測誤差値、又は、その予測誤差値にアダマール変換などの直交変換を行って得られた直交変換値と閾値とを比較し、マージモードの符号化ユニットサイズを決定する。マージモード評価部２０４は、決定されたマージサイズの対象符号化ユニットについて、マージ候補の動き予測処理を行い、評価値を算出する。
このように、動き予測を用いて符号化を行う映像符号化方式において、マージ候補の動き予測処理を行う符号化ユニットサイズを予め決定することで、符号化効率を低下させずに動き予測に要する演算量を削減できるという効果が得られる。

前述した実施形態における映像符号化装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現される物であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。従って、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

動き予測処理や符号化モードを決定に要する演算量が限られている映像符号化装置又は映像符号化プログラムに適用できる。

１００…映像符号化装置、１０１…イントラ予測処理部、１０２…インター予測処理部、１０３…予測残差信号生成部、１０４…変換・量子化処理部、１０５…エントロピー符号化部、１０６…符号量制御部、１０７…逆量子化・逆変換処理部、１０８…復号信号生成部、１０９…ループフィルタ処理部、２０１…動き予測部、２０２…符号化ユニットサイズ決定部、２０３…マージサイズ決定部、２０３１…予測誤差算出部、２０３２…直交変換部、２０３３…サイズ決定部、２０４…マージモード評価部、２０５…インター予測モード決定部、２０６…予測画像信号生成部

Claims (17)

1. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、
   前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記直交変換値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
2. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、
   前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記直交変換値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記直交変換値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
3. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換部と、
   前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記直交変換値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記直交変換値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
4. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記予測誤差値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
5. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記予測誤差値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記予測誤差値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
6. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置であって、
   入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測部と、
   前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定部と、
   決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出部と、
   前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定部と、
   前記マージサイズ決定部が決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価部と、
   前記マージモード評価部による各マージ候補の前記評価と、前記符号化ユニットサイズ決定部が決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定部と、
   を備え、
   前記マージサイズ決定部は、前記予測誤差値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記予測誤差値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、
   ことを特徴とする映像符号化装置。
7. 前記閾値は、階層符号化における階層の深さを示すテンポラルＩＤに応じて決定される、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の映像符号化装置。
8. 前記閾値は、量子化パラメータの値に応じて決定される、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の映像符号化装置。
9. 前記閾値は、前記符号化ユニットの輝度の分散値をスケーリングした値である、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の映像符号化装置。
10. 前記マージサイズ決定部は、階層符号化における階層の深さを示すテンポラルＩＤが同一の符号化済みのピクチャにおける同一の符号化ユニットサイズの符号化ユニットの直交変換値または予測誤差値の平均値をスケーリングして前記閾値を決定する、
    ことを特徴とする請求項１から請求項６のいずれか一項に記載の映像符号化装置。
11. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換ステップと、
    前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記直交変換値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
12. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換ステップと、
    前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記直交変換値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記直交変換値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
13. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値にアダマール変換を行って直交変換値を算出する直交変換ステップと、
    前記直交変換値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記直交変換値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記直交変換値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記直交変換値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
14. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記予測誤差値が閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、閾値以上の場合は前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
15. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記予測誤差値が第１の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットと同じ符号化ユニットサイズに決定し、前記予測誤差値が、前記第１の閾値以上かつ第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が、前記第２の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも２つ小さい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
16. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ユニット単位に動き予測を行い、前記動き予測の結果に基づき生成された予測画像との差分の符号化処理を行う映像符号化装置に用いられる映像符号化方法であって、
    入力映像信号のピクチャである原画像に対し複数の符号化ユニットサイズについて動き予測を行い、前記符号化ユニットサイズごとに動き予測の評価を行う動き予測ステップと、
    前記動き予測の評価に基づいて前記原画像の符号化ユニットサイズを決定する符号化ユニットサイズ決定ステップと、
    決定された前記符号化ユニットサイズの前記符号化ユニットの前記原画像と前記予測画像との差分である予測誤差値を算出する予測誤差算出ステップと、
    前記予測誤差値と閾値との比較に基づいてマージモードの符号化ユニットサイズであるマージサイズを決定するマージサイズ決定ステップと、
    前記マージサイズ決定ステップにおいて決定した前記マージサイズの符号化ユニットについて各マージ候補の評価を行うマージモード評価ステップと、
    前記マージモード評価ステップによる各マージ候補の前記評価と、前記符号化ユニットサイズ決定ステップにおいて決定した前記符号化ユニットサイズの前記評価とに基づき、符号化に用いるモードを決定するインター予測モード決定ステップと、
    を有し、
    前記マージサイズ決定ステップにおいては、前記予測誤差値が第１の閾値以上の場合、前記マージサイズを前記符号化ユニットよりも１つ小さい符号化ユニットサイズに決定し、前記予測誤差値が前記第１の閾値よりも小さく、かつ、第２の閾値以上の場合、前記マージサイズを前記符号化ユニットと同じサイズの符号化ユニットサイズに決定し、前記予測誤差値が前記第２の閾値よりも小さい場合、前記マージサイズを前記符号化ユニットよりも１つ大きい符号化ユニットサイズに決定する、
    ことを特徴とする映像符号化方法。
17. コンピュータを、
    請求項１から請求項１０のいずれか一項に記載の映像符号化装置として機能させるためのプログラム。

Images