JP5323252B2 - 動画像符号化方法、復号化方法、符号化装置および復号化装置 - Google Patents

Description

本開示は、動画像符号化方法、復号化方法、符号化装置および復号化装置に関する。

小数画素精度の動き補償に用いる補間フィルタとして、動画像符号化の国際標準規格の一つであるＨ．２６４／ＭＰＥＧ−４ＡＶＣ（以下、Ｈ．２６４という）で用いられる補間フィルタがある。Ｈ．２６４の補間フィルタは、はじめに２分の１画素の画素値を算出し、算出された２分の１画素の平均により４分の１画素の画素値を算出する。
また、別の補間フィルタとして、まず第１の方向にフィルタをかけて算出した値に丸め処理を適用して小数画素の基となる基値を算出し、算出した基値を用いて第１の方向とは異なる第２の方向にフィルタをかけ、さらに丸め処理を行うことによって小数画素を生成する補間フィルタがある（例えば、特許文献１参照）。
さらに、動き補償による予測効率を改善する別の手法としては、符号化側で設計したフィルタ係数を含むフィルタ情報を復号化側に送り、符号化および復号化側で共通のループフィルタを用いて画質を向上させるＡＬＦ（Adaptive Loop Filter）がある（例えば、非特許文献１参照）。

特表２００８−５０７１９０号公報

T. Chujoh, N. Wada, G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T Q.6/SG16 Doc., C181, Geneva, January 2009.

Ｈ．２６４の補間フィルタとＡＬＦとを同時に用いた場合、生成された１／２画素を用いて平均値を算出するバイリニアフィルタが使用されることにより、補間された参照画像の高域成分が過度に落とされるため、予測効率が低下してしまう。
上記特許文献１に示す補間フィルタとＡＬＦとを同時に用いた場合、予測効率が向上する。その一方で、整数画素と水平方向および垂直方向に同列に存在しない小数画素を補間する場合においては、乗算の最大回数が大幅に増加する。それは、４分の１画素および４分の３画素の位置において、同一タップ長の対称フィルタよりも乗算回数の多い非対称フィルタを用いるためである。

本開示は、予測効率を向上させながら演算量を削減することを目的とする。

上述の課題を解決するため、本発明の一態様に係る動画像復号化方法は、符号化されたデータから、復号化対象画像のループフィルタ情報と、画素位置の変位を示すベクトルと、再生差分信号とを取得し、前記ループフィルタ情報に基づいて復号化画像信号に対してフィルタ処理を行い、整数画素の画素値を有する参照画像信号を生成し、前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には対称な第１フィルタによるフィルタ処理を行い前記補間画素の画素値を求め、また、前記補間画素が該第１小数画素以外の第２小数画素である場合には前記第１フィルタよりも水平方向または垂直方向のタップ長が短い非対称の第２フィルタによるフィルタ処理を行い前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成し、前記補間画像に基づいて予測画像信号を生成し、前記予測画像信号と前記再生差分信号とから出力画像信号を求めることを具備することを特徴とする。

また、本発明の一態様に係る動画像符号化方法は、整数画素ごとに復号した画像信号を示す局所復号画像信号に、フィルタ処理を行う際の制御情報であるループフィルタ情報に基づいてフィルタ処理を行い整数画素の画素値を有する参照画像信号を生成し、外部からの入力画像データと前記参照画像信号とに基づいて、画素位置の変位を示すベクトルを生成し、前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には対称な第１フィルタによるフィルタ処理を行い前記補間画素の画素値を求め、また、前記補間画素が該第１小数画素以外の第２小数画素である場合には前記第１フィルタよりも水平方向または垂直方向のタップ長が短い非対称の第２フィルタによるフィルタ処理を行い前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成し、前記補間画像に基づいて予測画像信号を生成し、入力された画像信号である入力画像信号と前記予測画像信号との差分を示す差分信号を変換して量子化し量子化変換係数情報を生成し、前記量子化変換係数情報、前記ループフィルタ情報および前記ベクトルを符号化して符号化データを生成することを具備することを特徴とする。

第１の実施形態に係る動画像復号化装置を示すブロック図。 補間フィルタ処理部の動作を示すフローチャート。 補間フィルタ処理部の動作の別例を示すフローチャート。 整数画素および小数画素の一例を示す図。 補間フィルタ処理の対象となる領域が画面領域外にある場合の一例を示す図。 補間フィルタ処理部でのパディング処理の一例を示す図。 第２の実施形態に係る動画像符号化装置を示すブロック図。

以下、図面を参照しながら本発明の実施形態に係る動画像符号化方法、復号化方法、符号化装置および復号化装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

（第１の実施形態）
本実施形態に係る動画像復号化装置１００は、エントロピー復号化部１０１、逆量子化及び逆変換部１０２、加算部１０３、ループフィルタ処理部１０４、画像バッファ部１０５、補間フィルタ処理部１０６および予測信号生成部１０７を含む。
エントロピー復号化部１０１は、動画像符号化装置から送られた符号化データを復号化して量子化変換係数情報、ループフィルタ情報および変位量を得る。ループフィルタ情報は、フィルタ係数情報を含むフィルタ処理を制御するための情報であり、例えばスライス単位に生成される。フィルタ係数情報は、フィルタ処理において整数画素に用いるフィルタ係数を示す情報である。変位量（ベクトル量とも称す）は、画面間であれば動きベクトルを示し、同一画面内であれば対象画素またはブロックからの変位を示す。なお、以下では、変位量が動きベクトルである場合を例として説明する。

逆量子化及び逆変換部１０２は、エントロピー復号化部１０１で復号化された量子化変換係数情報を逆量子化したのち逆直交変換し、再生差分信号を生成する。再生差分信号は、動画像符号化装置にて生成された、入力画像データ（信号）と予測画像信号との差分である差分信号を復号化側で再生した信号である。

加算部１０３は、逆量子化及び逆変換部１０２から再生差分信号を、後述する予測信号生成部１０７から予測画像信号をそれぞれ受け取って加算し、復号化画像信号を生成する。

ループフィルタ処理部１０４は、加算部１０３から復号化画像信号を、エントロピー復号化部１０１からフィルタ係数情報をそれぞれ受け取る。そしてループフィルタ処理部１０４は、復号化画像信号についてフィルタ係数情報に応じてフィルタ処理を行い、参照画像信号を生成する。また、ループフィルタ処理部１０４は、参照画像信号を出力画像信号として必要に応じて外部に出力する。

画像バッファ部１０５は、ループフィルタ処理部１０４で生成された参照画像信号を受け取り、蓄積する。

補間フィルタ処理部１０６は、エントロピー復号化部１０１から変位量を、画像バッファ部１０５から参照画像信号をそれぞれ受け取る。そして補間フィルタ処理部１０６は、変位量を参照して参照画像の整数画素を用いて小数画素精度の補間画素を算出し、補間画像信号を生成する。以下では、補間画素の生成は画素値の処理として説明するが、その画素値は輝度値または色差信号値でもよく、色空間によらず適用可能である。なお、同一画面内で補間フィルタ処理を行う場合は、画像バッファ部１０５からの参照画像信号は、同一画面内において既に復号化された画像信号である。

予測信号生成部１０７は、補間フィルタ処理部１０６から補間画像信号を受け取り、動きベクトルを用いた動き補償予測などの予測処理を行い、予測画像信号を生成する。

次に、補間フィルタ処理部１０６の動作を図２のフローチャートを用いて詳細に説明する。なお、ここでは小数画素は４分の１画素を例として説明するが、４分の１画素に限らず、例えば８分の１画素、１６分の１画素などの小数画素に対しても同様に処理することができる。

ステップＳ２０１では、画像バッファ部１０５から参照画像信号を、エントロピー復号化部１０１から動きベクトルをそれぞれ受け取り、動きベクトルにより求める補間画素が整数画素かどうかを判定する。求める補間画素が整数画素である場合は、補間処理を行わずに参照画像をそのまま出力する。求める補間画素が整数画素でない、つまり小数画素である場合は、ステップＳ２０２に進む。

ステップＳ２０２では、補間画素が、整数画素の水平方向または垂直方向の列上にあるかどうかを判定する。補間画素の位置が、整数画素の水平方向または垂直方向の列上にある場合は、ステップＳ２０３に進む。補間画素の位置が、整数画素の水平方向または垂直方向の列上に存在しない場合は、ステップＳ２０５に進む。

ステップＳ２０３では、補間画素を算出するために、水平方向または垂直方向の小数画素の位置に応じた８タップのフィルタをかける。このとき使用する８タップのフィルタを式（１）から式（３）に示す。なお、式（１）は４分の１画素の位置、式（２）は２分の１画素の位置、式（３）は４分の３画素の位置を算出する場合に用いる。

各式中のＸ１からＸ８は整数画素の画素値を示し、「・」は乗算を示す。なお、式（１）および式（３）は、フィルタ係数に対称性がない非対称フィルタであり、式（２）はフィルタ係数に対称性がある対称フィルタである。

ステップＳ２０４では、ステップＳ２０３で算出した値について式（４）を用いた丸め処理が行う。

式（４）中で、ｆは丸め処理を施した値、ｆａは式（１）から式（３）のいずれかを用いて算出した値、Ｘは入力画像の画素ビット長で表現できる最大値を示す。さらに、「＞＞８」は８ビットの右算術シフト演算すること、すなわち２^８で割り算し余りを切り捨てる場合に等しい。また、Ｃｌｉｐ（ａ，ｂ，ｃ）は、式（５）に示すように、ｃをａ以上ｂ以下の範囲に収めるクリッピング処理を示す。

ステップＳ２０５では、補間画素の水平方向の位置に応じて判定を行う。補間画素が整数画素の位置から水平方向に４分の１画素ずれた位置にある場合、ステップＳ２０６に進む。補間画素が整数画素から水平方向に２分の１画素ずれた位置にある場合、ステップＳ２０７に進む。補間画素が整数画素から水平方向に４分の３画素ずれた位置にある場合、ステップＳ２０８に進む。

ステップＳ２０６では、整数画素から４分の１画素ずれた位置にある補間画素について、式（６）を用いて水平方向に６タップの非対称フィルタをかけてフィルタ処理を行う。

なお、式（６）中のＨ１からＨ６は整数画素の画素値を示す。

ステップＳ２０７では、整数画素から２分の１画素ずれた位置にある補間画素について、水平方向に８タップの対称フィルタをかけてフィルタ処理を行う。ここでは、式（２）と同じ対称フィルタを用いればよい。

ステップＳ２０８では、整数画素から４分の３画素ずれた位置にある補間画素について、式（７）を用いて水平方向に６タップの非対称フィルタをかけてフィルタ処理を行う。

ステップＳ２０９では、補間画素の垂直方向の位置に応じて判定を行う。補間画素が整数画素から垂直方向に４分の１画素ずれた位置にある場合、ステップＳ２１０に進む。補間画素が整数画素から垂直方向に２分の１画素ずれた位置にある場合、ステップＳ２１０に進む。補間画素が整数画素から垂直方向に４分の３画素ずれた位置にある場合、ステップＳ２１２に進む。

ステップＳ２１０では、整数画素から垂直方向に４分の１画素ずれた位置にある補間画素について、ステップＳ２０６と同様に式（６）を用いて、垂直方向に６タップの非対称フィルタをかけてフィルタ処理を行う。なお、式（６）中の整数画素の代わりに、ステップＳ２０６〜Ｓ２０８のいずれかで算出した小数画素の画素値を用いる。

ステップＳ２１１では、整数画素から垂直方向に２分の１画素ずれた位置にある補間画素について、垂直方向に８タップの対称フィルタをかけてフィルタ処理を行う。ここでは、式（２）と同じ対称フィルタを用いればよい。なお、式（２）中の整数画素の代わりに、ステップＳ２０６〜Ｓ２０８のいずれかで算出した小数画素の画素値を用いる。

ステップＳ２１２では、整数画素から垂直方向に４分の３画素ずれた位置にある補間画素について、ステップＳ２０８と同様に式（７）を用いて、垂直方向に６タップの非対称フィルタをかけてフィルタ処理を行う。なお、式（７）中の整数画素の代わりに、ステップＳ２０６〜Ｓ２０８のいずれかで算出した小数画素の画素値を用いる。

ステップＳ２１３では、水平方向および垂直方向に２段階でフィルタをかけて算出した小数画素値について、式（８）を用いて丸め処理を行う。

式（８）中における、ｆｂは水平方向および垂直方向に２段階でフィルタをかけた値を示す。以上で補間フィルタ処理部１０６の動作を終了する。この補間フィルタ処理を各小数画素に適応することにより、補間フィルタ処理対象となるブロック内の小数画素を算出した小数画素精度の補間画像信号を生成することができる。
このように、小数画素の位置に応じて非対称フィルタのタップ長を変化させ、予測画像を生成する際に影響が大きい整数画素の列以外で、比較的演算回数の多い小数画素にタップ長が短い非対称フィルタをかけることで、演算量を削減することができる。

ここで、補間フィルタ処理部１０６の動作の別例について図３のフローチャートを参照して説明する。
図３に示す動作はステップＳ３０１が追加された以外は図２の動作とほぼ同様であるので、ここでのその他のステップの説明は省略する。
ステップＳ３０１では、式（４）を用いて、ステップＳ２０６からステップＳ２０８のいずれかの処理を終えた後に、水平方向にフィルタをかけて算出した補間画素について丸め処理を行う。

ステップＳ３０２では、ステップＳ３０１で丸め処理を行った値を入力値として、垂直方向にフィルタをかけて算出した補間画素について丸め処理を行う。

このように、一方向のフィルタ処理を終えるごとに丸め処理を行うことで、水平方向および垂直方向のフィルタ処理を終えてまとめて丸め処理を行うよりも無駄な処理量を仮定しなくて済むので、乗算器の回路規模を小さくすることができる。
なお、ここでは、整数画素の水平方向または垂直方向の列上でない補間画素の算出方法では、水平方向に補間フィルタ処理を行った後に垂直方向に補間フィルタ処理を行っているが、垂直方向に補間フィルタ処理を行った後に水平方向に補間フィルタ処理を行ってもよい。さらに、整数画素の水平方向または垂直方向の列上にある補間画素を生成するときに使用する非対称フィルタのタップ長は、最悪の乗算回数に影響しないため対称フィルタのタップ長より短くしなくともよい。つまり、整数画素の水平方向または垂直方向の列上にない補間画素を生成するときに使用する非対称フィルタのタップ長は、整数画素の水平方向または垂直方向の列上の補間画素を生成するときに使用する非対称フィルタのタップ長より短くする。

さらに、整数画素の水平方向または垂直方向の列上に存在しない画素について、対称フィルタとして８タップのフィルタ、非対称フィルタとして６タップのフィルタを用いているが、対称フィルタのタップ長より非対称フィルタのタップ長が短ければよい。すなわち、対称フィルタとして１２タップのフィルタ、非対称フィルタとして６タップのフィルタを用いるなど、対称フィルタのタップ長より非対称フィルタのタップ長が短い組み合わせであれば何でもよい。
また、本実施形態では、式（１）から式（３）に示す８タップのフィルタ係数、および、式（６）と式（７）とに示すタップのフィルタ係数を用いているが、フィルタ係数はこれに限らず、他の８タップおよび６タップのフィルタ係数を用いてもよい。
さらに、整数画素の水平方向または垂直方向の列上にない補間画素の補間フィルタ処理において、水平方向のフィルタ処理と垂直方向のフィルタ処理との間に丸め処理を行う場合は、対称フィルタは係数をまとめて計算して乗算回数を少なくできるので、対称フィルタを用いた補間処理を非対称フィルタを用いた補間処理よりも先に行うことで全体の乗算回数を削減することができる。

ここで、補間フィルタ処理部１０６で算出される補間画素の一例について図４を参照して説明する。
図４では、４個の整数画素４０１と１５個の小数画素４０２（ａからｏまで）とが示される。４個の整数画素４０１のうち、左上の整数画素４０１を基準（以下、基準整数画素という）として、小数画素４０２を算出する。
具体的には、小数画素ａ、ｂ、ｃは基準整数画素４０１と水平方向に同列に並んでいるので、小数画素ａは式（１）、小数画素ｂは式（２）、小数画素ｃは式（３）に示す８タップのフィルタ処理をそれぞれ行って小数画素の画素値を算出する。同様に、小数画素ｄ、ｈ、ｉは基準整数画素４０１と垂直方向に同列に並んでいるので、小数画素ｄは式（１）、小数画素ｈは式（２）、小数画素ｉは式（３）に示す８タップのフィルタ処理を行うことで小数画素の画素値を算出することができる。
残りの小数画素ｅ、ｆ、ｇ、ｉ、ｊ、ｋ、ｍ、ｎ、ｏについては、上述したように２段階のフィルタ処理を行って小数画素の画素値を算出する。例えば、小数画素ｅの画素値について算出する場合は、まず、基準整数画素４０１から水平方向に４分の１画素ずれているので、図２中のステップＳ２０６の処理を行い、式（６）に示す６タップの非対称フィルタ処理を行う。次に、基準整数画素４０１から垂直方向に４分の１画素ずれているので、水平方向のフィルタ処理で算出した値を入力として、ステップＳ２１０の式（６）に示す６タップの非対称フィルタ処理を行えばよい。同様に、小数画素ｎを算出する場合は、基準整数画素４０１から水平方向に２分の１画素ずれているので、ステップＳ２０７に示す８タップの対称フィルタ処理を行う。次に、基準整数画素４０１から垂直方向に４分の３画素ずれているので、水平方向のフィルタ処理で算出した値を入力としてステップＳ２１２の式（７）に示す６タップの非対称フィルタ処理を行えばよい。

次に、第１の実施形態に係わる補間フィルタ処理部１０６の補間フィルタ処理において、画面外の画素値が必要となる場合の処理方法について図５および図６を参照して詳細に説明する。
図５は、４画素×４画素ブロック内（破線で囲まれた処理対象領域５０１）の小数画素を算出するために必要な整数画素５０２および小数画素５０３を表しており、整数画素５０２をＡ０からＡ８、Ｂ０からＢ８、・・・、Ｋ０からＫ８で示し、小数画素５０３を「○」で示し、小数画素５０４を「×」で示す。なお、太線は画面境界５０５であり、小数画素５０４は図４における小数画素ｆの位置であると仮定する。

小数画素ｆは基準整数画素から水平方向に２分の１画素、垂直方向に４分の１画素ずれた位置にあるため、本実施形態では、水平方向に８タップの対称フィルタを用いて補間処理を行った後、垂直方向に６タップの非対称フィルタを用いて補間処理を行うことになる。
処理対象領域５０１内の小数画素を算出する場合に、例えば２段階目の垂直方向の補間フィルタ処理を行って最終的な小数画素５０４を得るには、図５に示すように３６個の２分の１画素である小数画素５０３が必要となる。これらの小数画素５０３を生成するためには、１段階目の水平方向の補間フィルタ処理において、Ａ０からＫ８までの９９個の整数画素５０２を参照する必要がある。ここで、画面境界５０５の外側に位置する整数画素Ｃ２やＤ２などの整数画素５０２は、本来画素値が存在しない領域となっているため、画面境界５０５の内側の整数画素の画素値をコピーした後に補間フィルタ処理を行う。このように、動きベクトルが指し示す画素に応じて、画面内の画素値をコピーして画素値の存在しない部分を補間する。

なお、画面外の画素値を算出する別の方法として、画面境界５０５の内側の領域に対してのみ補間フィルタ処理を行い、それ以外の領域には画面境界５０５の内側の領域で算出した補間画素をコピーする方法を用いてもよい。具体的には、処理対象領域５０１では、基準整数画素としてＥ３からＥ５、Ｆ３からＦ５、Ｇ３からＧ５までの９個を用いて算出される小数画素５０４のみ補間フィルタ処理を行い、画面境界５０５より外にある整数画素Ｄ２からＤ５、Ｅ２、Ｆ２、Ｇ２については補間フィルタ処理を行わずに、隣接する画面内の補間画素の画素値をコピーする。こうすることで、整数画素Ａ０からＡ８、Ｂ０からＫ０をフィルタ処理に用いる必要がなく、演算量が削減できるとともにメモリ量も削減することができる。但し、上述した方式のように整数画素Ａ０からＫ８までを用いて補間処理を行う場合とは画面境界５０５の外側の補間画素の画素値が一致しない結果となることに留意すべきである。

次に、画面外の領域に対するパディング処理の一例について図６を参照して詳細に説明する。
本実施形態におけるパディング処理とは、画面外の領域にある画素値として画面内の領域にある画素値をコピーすることである。図６では、高さＶ、幅Ｈの画面領域６０２を含む、充分に大きな領域６０１にパディング処理を行う。まず、画面右の領域６０３には、画面領域６０２内の右端にある画素の一列の画素値をコピーする。同様に、画面左の領域６０４には画面領域６０２内の左端にある画素の一列の画素値を、画面上の領域６０５には画面領域６０２内の上端にある画素の一列の画素値を、画面下の領域６０６には画面領域６０２内の下端にある画素の一列の画素値をコピーする。領域６０１の４隅にある領域６０７、６０８、６０９、６１０に関しては、それぞれ画面領域６０２内の四隅の画素値をコピーする。このようにパディング処理を行うことで、補間フィルタ処理部１０６は、画面外の画素が必要な場合でも適切に補間フィルタ処理を行うことができる。
なお、パディング処理の順序としては、補間フィルタ処理の後に、または処理の間に行ってもよい。また、パディング処理は１度とは限らず、例えば水平方向のフィルタ処理を行った後にパディング処理を行い、さらに垂直方向のフィルタ処理を行った後に再度パディング処理を行ってもよい。

また、パディング処理で画素値をコピーする領域は、必ずしも図６に示したように画面領域６０２に隣接しているわけではなく、パディング処理を行う領域と画面領域との間に補間フィルタ処理によって生成された補間画素の画素値が格納されている領域が存在する場合もある。この場合は、整数画素と同様に、パディング処理を行う領域に補間画素の画素値をコピーすればよい。さらに、画素値をコピーせずに条件判定によって適切な位置の画素値を直接用いてもよい。こうすることで、画面外の画素を格納するメモリを用意する必要がなく、メモリを削減しながら画素値をコピーした場合と等価な処理を実現することができる。

さて、補間フィルタ処理部１０６で行う丸め処理については、式（４）および式（８）を用いるが、これに限らず、実施形式に応じた右算術シフト演算であればよい。一例として、式（９）のように丸め処理を表現したとする。

式（９）において、Ｘは補間フィルタ処理部１０６へ入力される画素のビット長で表現できる最大値、Ｖは丸め処理を行う値、Ｕは値の切り上げを行うために加算する値、Ｒは右算術シフト演算を行うビット数を示す。使用するフィルタのフィルタ係数の総和を２^Ｎとすると、右算術シフト演算を行うビット数ＲはＮとなり、値の切り上げを行うために加算する値Ｕは２^Ｎ−１となる。ただし、水平方向および垂直方向に２段階でフィルタ処理を行う場合は、１段階目のフィルタ処理後の丸め処理において、ＲをＮより小さい値Ｎ_Ｓにすることもできる。この場合、１段階目のフィルタ処理に使用するフィルタ係数の総和を２^Ａ、２段階目のフィルタ処理に使用するフィルタ係数の総和を２^Ｂ、補間フィルタ処理部１０６へ入力される画素のビット長で表現できる最大値を２^Ｍ−１とすると、Ｕは２^Ｎｓ−１、Ｘは２^{Ｍ＋（Ａ−Ｎｓ）}−１となる。それに応じて、２段階目のフィルタ処理後の丸め処理でも、Ｒは（Ａ＋Ｂ−Ｎ_Ｓ）、Ｕは２^{（Ａ＋Ｂ）−Ｎｓ−１}、Ｘは２^Ｍ−１となる。ＲをＮより小さくすることにより、フィルタ処理における演算精度を高めることができる。また、途中に丸め処理を挟まず、水平方向および垂直方向に２段階でフィルタ処理を行った場合の丸め処理では、Ｒは（Ａ＋Ｂ）、Ｕは２^{（Ａ＋Ｂ−１）}となる。なお、これまでに説明した丸め処理は、値を２^Ｒで割って小数点以下を四捨五入することと等価であるが、小数点以下を切り捨ててもよい。

以上に示した第１の実施形態によれば、整数画素の水平方向または垂直方向の列上にない補間画素を生成するときに、使用する非対称フィルタのタップ長を対称フィルタのタップ長より小さくすることで乗算回数を削減することができ、全体の演算量を削減した復号化処理を行うことができる。

（第２の実施形態）
第１の実施形態に係る動画像復号化装置に対応する動画像符号化装置について図７を参照して詳細に説明する。
第２の実施形態に係る動画像符号化装置７００は、減算部７０１、変換及び量子化部７０２、逆量子化及び逆変換部７０３、加算部７０４、ループフィルタ処理部７０５、画像バッファ部７０６、変位量生成部７０７、補間フィルタ処理部７０８、予測信号生成部７０９およびエントロピー符号化部７１０を含む。
なお、逆量子化及び逆変換部７０３、画像バッファ部７０６、補間フィルタ処理部７０８および予測信号生成部７０９は、第１の実施形態に係る逆量子化及び逆変換部１０２、画像バッファ部１０５、補間フィルタ処理部１０６および予測信号生成部１０７とそれぞれ同様の動作を行うため、ここでの詳細な説明は省略する。

減算部７０１は、外部から入力画像データ（信号）を、後述する予測信号生成部７０９から予測画像信号をそれぞれ受け取り、入力画像データと予測画像信号との差分を差分信号として出力する。

変換部及び量子化部７０２は、減算部７０１から差分信号を受け取り、差分信号を変換して量子化し、量子化変換係数情報を生成する。

加算部７０４は、第１の実施形態に係る加算部１０３と同様の動作をする。具体的には、逆量子化及び逆変換部７０３から再生差分信号を、後述する予測信号生成部７０９から予測画像信号をそれぞれ受け取る。そして加算部７０４は、再生差分信号と予測画像信号とを加算し、局所復号化画像信号を生成する。局所復号化画像信号は、処理ブロック単位内の画素の画素値を復号化した画像信号である。

ループフィルタ処理部７０５は、第１の実施形態に係るループフィルタ処理部１０４とほぼ同様の動作をする。具体的には加算部７０４から局所復号化画像信号を、外部からループフィルタ情報をそれぞれ受け取り、ループフィルタ情報に基づいて局所復号化画像信号にフィルタ処理を行い、参照画像信号を生成する。

変位量生成部７０７は、画像バッファ部１０５から参照画像信号を、外部から入力画像データを受け取り、変位量（ここでは、動きベクトル）を生成する。変位量の生成法は一般的な手法を用いるためここでの説明は省略する。

エントロピー符号化部７１０は、変換及び量子化部７０２から量子化変換係数情報を、ループフィルタ処理部７０５からループフィルタ情報を、変位量生成部７０７から変位量をそれぞれ受け取る。そしてエントロピー符号化部７１０は、量子化変換係数情報、ループフィルタ情報および変位量を符号化し、符号化データを生成する。

以上に示した第２の実施形態によれば、第１の実施形態に係る動画像復号化装置の補間フィルタ処理部と同様の処理を行うことで、フィルタ処理における乗算回数を削減することができ、全体の演算量を削減した符号化処理を行うことができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・動画像符号化装置、１０１・・・エントロピー復号化部、１０２，７０３・・・逆量子化及び逆変換部、１０３，７０４・・・加算部、１０４，７０５・・・ループフィルタ処理部、１０５，７０６・・・画像バッファ部、１０６，７０８・・・補間フィルタ処理部、１０７，７０９・・・予測信号生成部、４０１，５０２・・・整数画素、４０２，５０３，５０４・・・小数画素、５０１・・・処理対象領域、５０５・・・画面境界、６０１，６０３，６０４，６０５，６０６，６０７・・・領域、６０２・・・画面領域、７００・・・動画像符号化装置、７０１・・・減算部、７０２・・・変換及び量子化部、７０７・・・変位量生成部、７１０・・・エントロピー符号化部。

Claims (6)

1. 符号化されたデータから、復号化対象画像のループフィルタ情報と、画素位置の変位を示すベクトルと、再生差分信号とを取得し、
   前記ループフィルタ情報に基づいて復号化画像信号に対してフィルタ処理を行い、整数画素の画素値を有する参照画像信号を生成し、
   前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には、前記参照画像信号に対して対称な第１フィルタを垂直方向及び水平方向にかけることで、前記補間画素の画素値を求め、前記補間画素が、前記整数画素から水平方向に４分の１画素ずれかつ垂直方向に４分の１画素ずれた第２画素である場合には、前記参照画像信号に対して前記第１フィルタよりもタップ長が短い非対称の第２フィルタを水平方向及び垂直方向にかけることで、前記補間画素の画素値を求め、前記補間画素が前記第１画素又は前記第２画素でない場合、前記補間画素の位置が前記整数画素から垂直方向又は水平方向のどちらか一方であって、４分の１画素ずれた方向である第１方向には前記第２フィルタをかけ、前記第１方向ではない垂直方向又は水平方向のどちらか一方の第２方向に、前記第１フィルタをかけることで、前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成し、
   前記補間画像に基づいて予測画像信号を生成し、
   前記予測画像信号と前記再生差分信号とから出力画像信号を求めることを具備することを特徴とする動画像復号化方法。
2. 前記第１画素又は前記第２画素でない画素値を算出する際に前記第１フィルタおよび前記第２フィルタを用いる場合は、前記第１フィルタを用いたフィルタ処理を前記第２フィルタを用いたフィルタ処理よりも先に行うことを特徴とする請求項１に記載の動画像復号化方法。
3. 整数画素ごとに復号した画像信号を示す局所復号画像信号に、フィルタ処理を行う際の制御情報であるループフィルタ情報に基づいてフィルタ処理を行い整数画素の画素値を有する参照画像信号を生成し、
   外部からの入力画像データと前記参照画像信号とに基づいて、画素位置の変位を示すベクトルを生成し、
   前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には、前記参照画像信号に対して対称な第１フィルタを垂直方向および水平方向にかけることで、前記補間画素の画素値を求め、前記補間画素が、前記整数画素から水平方向に４分の１画素ずれかつ垂直方向に４分の１画素ずれた第２画素である場合には、前記参照画像信号に対して前記第１フィルタよりもタップ長が短い非対称の第２フィルタを水平方向及び垂直方向にかけることで、前記補間画素の画素値を求め、前記補間画素が前記第１画素又は前記第２画素でない場合、前記補間画素の位置が前記整数画素から垂直方向又は水平方向のどちらか一方であって、４分の１画素ずれた方向である第１方向には第２フィルタをかけ、前記第１方向ではない垂直方向又は水平方向のどちらか一方の第２方向に、前記第１フィルタをかけることで、前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成し、
   前記補間画像に基づいて予測画像信号を生成し、
   入力された画像信号である入力画像信号と前記予測画像信号との差分を示す差分信号を変換して量子化し量子化変換係数情報を生成し、
   前記量子化変換係数情報、前記ループフィルタ情報および前記ベクトルを符号化して符号化データを生成することを具備することを特徴とする動画像符号化方法。
4. 前記第１画素又は前記第２画素でない画素値を算出する際に前記第１フィルタおよび前記第２フィルタを用いる場合は、前記第１フィルタを用いたフィルタ処理を前記第２フィルタを用いたフィルタ処理よりも先に行うことを特徴とする請求項３に記載の動画像符号化方法。
5. 符号化されたデータを復号化し、復号化対象画像のループフィルタ情報と、画素位置の変位を示すベクトルと、再生差分信号とを取得する復号化部と、
   前記ループフィルタ情報に基づいて復号化画像信号にフィルタ処理を行い、参照画像を示す参照画像信号を生成するループフィルタ処理部と、
   前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には、前記参照画像信号に対して対称な第１フィルタを垂直方向及び水平方向にかけることで、前記補間画素の画素値を求め、前記補間画素が、前記整数画素から水平方向に４分の１画素ずれかつ垂直方向に４分の１画素ずれた第２画素である場合には、前記参照画像信号に対して前記第１フィルタよりもタップ長が短い非対称の第２フィルタを水平方向及び垂直方向にかけることで、前記補間画素の画素値を求め、前記補間画素が前記第１画素又は前記第２画素でない場合、前記補間画素の位置が前記整数画素から垂直方向又は水平方向のどちらか一方であって、４分の１画素ずれた方向である第１方向には前記第２フィルタをかけ、前記第１方向ではない垂直方向又は水平方向のどちらか一方の第２方向に、前記第１フィルタをかけることで、前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成する補間フィルタ処理部と、
   前記補間画像に基づいて予測画像信号を生成する予測信号生成部と、を具備することを特徴とする動画像復号化装置。
6. 整数画素ごとに復号した画像信号を示す局所復号画像信号に、フィルタ処理を行う際の制御情報であるループフィルタ情報に基づいてフィルタ処理を行い参照画像を示す参照画像信号を生成するループフィルタ処理部と、
   外部からの入力画像データと前記参照画像信号とに基づいて、画素位置の変位を示すベクトルを生成する変位量生成部と、
   前記ベクトルにより求める補間画素が前記整数画素でなく、かつ前記補間画素が前記整数画素の水平方向又は垂直方向の列上に位置する画素ではない場合であって、前記補間画素が前記整数画素から水平方向に２分の１画素ずれかつ垂直方向に２分の１画素ずれた第１画素である場合には、前記参照画像信号に対して対称な第１フィルタを垂直方向及び水平方向にかけることで、前記補間画素の画素値を求め、前記補間画素が、前記整数画素から水平方向に４分の１画素ずれかつ垂直方向に４分の１画素ずれた第２画素である場合には、前記参照画像信号に対して前記第１フィルタよりもタップ長が短い非対称の第２フィルタを水平方向及び垂直方向にかけることで、前記補間画素の画素値を求め、前記補間画素が前記第１画素又は前記第２画素でない場合、前記補間画素の位置が前記整数画素から垂直方向又は水平方向のどちらか一方であって、４分の１画素ずれた方向である第１方向には前記第２フィルタをかけ、前記第１方向ではない垂直方向又は水平方向のどちらか一方の第２方向に、前記第１フィルタをかけることで、前記補間画素の画素値を求め、前記整数画素及び前記補間画素の画素値を含む補間画像信号を生成する補間フィルタ処理部と、
   前記補間画像に基づいて予測画像信号を生成する予測信号生成部と、
   入力された画像信号である入力画像信号と前記予測画像信号との差分を示す差分信号を変換して量子化し量子化変換係数情報を生成する変換及び量子化部と、
   前記量子化変換係数情報、前記ループフィルタ情報および前記ベクトルを符号化して符号化データを生成する符号化部と、を具備することを特徴とする動画像符号化装置。

Images