JPWO2011033643A1

JPWO2011033643A1 - 動画像符号化方法及び動画像復号化方法

Info

Publication number: JPWO2011033643A1
Application number: JP2011531717A
Authority: JP
Inventors: 豪毅安田; 中條　健; 健中條; 昭行谷沢; 隆志渡辺; 直史和田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-09-17
Filing date: 2009-09-17
Publication date: 2013-02-07
Also published as: CN102484713A; WO2011033643A1

Abstract

動画像符号化方法は、符号化単位の局所復号画像を複数のブロックに分割するためのパラメータを含むブロック分割情報と、符号化単位のためのフィルタ群の各フィルタのフィルタ係数を含むフィルタ情報と、フィルタ群に含まれるフィルタの数を示すフィルタ数情報と、ブロック毎に適用すべきフィルタを特定するフィルタ特定情報とを設定すること（ステップＳ１１００）と、ブロック毎にフィルタ特定情報によって特定されるフィルタを適用し、参照画像を生成すること（ステップＳ１１０９，ステップＳ１１１２）と、フィルタ数情報、フィルタ情報、ブロック分割情報及びフィルタ特定情報を符号化すること（ステップＳ１１１３）とを具備する。

Description

本発明は、動画像の符号化及び復号化に関する。

動画像符号化の国際標準規格の１つであるＨ．２６４／ＭＰＥＧ−４ＡＶＣ（以降、単にＨ．２６４と称する）は、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）及びＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）によって共同で策定された。Ｈ．２６４は、ＭＰＥＧ−２の２倍以上という高い圧縮効率を実現している。

Ｈ．２６４では、符号化済みの画像または復号化済みの画像に関する参照画像を予測画像の生成に利用する。参照画像を生成するために、局所復号画像または復号画像に対してループフィルタ処理が行われることがある。具体的には、非特許文献１において開示されているようなデブロッキングフィルタがループフィルタ処理において利用される。デブロッキングフィルタは、局所復号画像または復号画像のブロック境界をぼかすことにより、視覚的に目立つ画質劣化（いわゆるブロック歪）を低減させる。但し、画像を必要以上にぼかすことは、かえって画質劣化を招く。故に、Ｈ．２６４では、処理対象ブロックの予測モード、ブロック境界付近の画素差分値の大きさなどの条件に応じて適応的にデブロッキングフィルタのフィルタ強度を変更する仕組みが採用されている。

特許文献１記載の画像符号化方法は、複数の画素間フィルタを予め準備しておき、例えばピクチャ毎に選択的にループフィルタ処理を行う。そして、選択した画素間フィルタの情報を復号化側に伝送することにより、符号化／復号化間で共通のループフィルタ処理を実現している。

特開２００３−１７９９３３号公報（米国特許出願公開第２００４／０３２９０８号公報）

G. Bjontegaard, "Deblocking filter for 4x4 based coding", ITU-T Q.15/SG16 VCEG document, Q15-J-27, May 2000.

特許文献１記載の画像符号化方法は、符号化側及び復号化側において複数の画素間フィルタを予め準備する必要がある。例えば、画像の性質（画像サイズ、撮影条件、被写体のテクスチャ、被写体の動きの複雑度など）、圧縮率などのパラメータ次第で、符号化に伴う画質劣化の傾向は異なる。故に、あらゆる条件を予め想定してフィルタを準備することは困難である。仮に、想定される画質劣化の傾向に応じて膨大な数のフィルタを準備するとしても、フィルタの選択情報のオーバヘッド符号量が増大する。また、特許文献１記載の画像符号化方法において、フィルタの選択単位（例えばピクチャ）は固定的である。仮に、画質向上などのためにフィルタの選択単位を小さく設定すると（例えば画素ブロックに設定すると）、フィルタの選択情報のオーバヘッド符号量が増大する。即ち、特許文献１記載の画像符号化方法において、多数のフィルタを準備したり、フィルタの選択単位を小さく設定したりすると、符号化効率が低下する。

従って、本発明は、ループフィルタ処理に関するパラメータを高効率に符号化可能な動画像符号化／動画像復号化を提供することを目的とする。

本発明の一態様に係る動画像符号化方法は、符号化済みの画像に関する参照画像を利用して予測画像を生成する動画像符号化方法において、符号化単位の局所復号画像を複数のブロックに分割するためのパラメータを含むブロック分割情報を設定することと、前記符号化単位のためのフィルタ群の各フィルタのフィルタ係数を含むフィルタ情報を設定することと、前記フィルタ群に含まれるフィルタの数を示すフィルタ数情報を設定することと、前記ブロック毎に適用すべきフィルタを特定するフィルタ特定情報を設定することと、前記ブロック毎に前記フィルタ特定情報によって特定されるフィルタを適用し、前記参照画像を生成することと、前記フィルタ数情報、前記フィルタ情報、前記ブロック分割情報及び前記フィルタ特定情報を符号化することとを具備する。

本発明の他の態様に係る動画像復号化方法は、復号化済みの画像に関する参照画像を利用して予測画像を生成する動画像復号化方法において、復号化単位の復号画像を複数のブロックに分割するためのパラメータを含むブロック分割情報を復号化することと、前記復号化単位のためのフィルタ群に含まれるフィルタの数を示すフィルタ数情報を復号化することと、前記フィルタ群の各フィルタのフィルタ係数を含むフィルタ情報を復号化することと、前記ブロック毎に適用すべきフィルタを特定するフィルタ特定情報を復号化することと、前記ブロック毎に前記フィルタ特定情報によって特定されるフィルタを適用し、前記参照画像を生成することとを具備する。

本発明によれば、ループフィルタ処理に関するパラメータを高効率に符号化可能な動画像符号化／動画像復号化を提供できる。

第１の実施形態に係る動画像符号化装置を示すブロック図。ループフィルタ処理部３００を示すブロック図。図１の動画像符号化装置の動作を示すフローチャート。第１の実施形態に係る動画像復号化装置を示すブロック図。ループフィルタ処理部４００を示すブロック図。図４の動画像復号化装置の動作を示すフローチャート。第２の実施形態に係る動画像符号化装置を示すブロック図。ループフィルタ処理部５００を示すブロック図。図７の動画像符号化装置の動作を示すフローチャート。図７の動画像符号化装置の動作を示すフローチャート。第２の実施形態に係る動画像復号化装置を示すブロック図。ループフィルタ処理部６００を示すブロック図。図１０の動画像復号化装置の動作を示すフローチャート。図１０の動画像復号化装置の動作を示すフローチャート。第１の実施形態に係る参照画像信号のフィルタ適用例を示す図。第２の実施形態に係る参照画像信号のフィルタ適用例を示す図。各実施形態に係るシンタクス構造を示す図。第１の実施形態に係るループフィルタデータシンタクスを示す図。第２の実施形態に係るループフィルタデータシンタクスを示す図。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る動画像符号化装置は、動画像符号化部１０００及び符号化制御部１０８を有する。動画像符号化部１０００は、予測信号生成部１０１、減算器１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆変換／逆量子化部１０５、加算器１０６、参照画像バッファ１０７及びループフィルタ処理部３００を含む。

予測信号生成部１０１は、参照画像バッファ１０７に保存されている符号化済みの画像に関する参照画像信号１７に基づいて、所定の予測処理を行う。予測信号生成部１０１は、入力画像信号１０の予測画像信号１１を予測処理によって生成し、減算器１０２及び加算器１０６に入力する。予測処理は、動き予測及び動き補償を利用することにより時間的な予測を実現するインター予測方式であってもよいし、周囲の画素値を利用することにより空間的な予測を実現するイントラ予測方式であってもよい。

減算器１０２は、予測信号生成部１０１からの予測画像信号１１を入力画像信号１０から減算し、予測誤差信号１２を得る。減算器１０２は、予測誤差信号１２を変換／量子化部１０３に入力する。

変換／量子化部１０３は、減算器１０２からの予測誤差信号１２を直交変換して、直交変換係数を得る。本実施形態の変換／量子化部１０３は、直交変換として例えばＤＣＴ（Discrete Cosine Transform）を用いる。変換／量子化部１０３は、量子化パラメータに従って直交変換係数を量子化し、量子化された直交変換係数（以降、単に量子化変換係数と称する）１３を得る。量子化パラメータは、符号化制御部１０８によって制御される。変換／量子化部１０３は、量子化変換係数１３をエントロピー符号化部１０４及び逆変換／逆量子化部１０５に入力する。

エントロピー符号化部１０４は、変換／量子化部１０３からの量子化変換係数１３、ループフィルタ処理部３００からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４を符号化パラメータとして取得する。また、エントロピー符号化部１０４は、予測モード、動きベクトル、量子化パラメータなども符号化パラメータとして取得してよい。エントロピー符号化部１０４は、多重化された符号化パラメータにエントロピー符号化（ハフマン符号化または算術符号化）を施し、符号化データ１４を生成して、外部に出力する。

逆変換／逆量子化部１０５は、量子化パラメータに従って、量子化変換係数１３を逆量子化し、直交変換係数を復元する。量子化パラメータは、変換／量子化部１０３と同じである。逆変換／逆量子化部１０５は、直交変換係数に対して例えばＩＤＣＴ（Inverse DCT）などの逆直交変換を施し、予測誤差信号１２を復元する。逆直交変換は、変換／量子化部１０３において施された直交変換に対応する。逆変換／逆量子化部１０５は、復元した予測誤差信号１２を予測誤差信号１５として加算器１０６に入力する。

加算器１０６は、逆変換／逆量子化部１０５からの予測誤差信号１５と、予測信号生成部１０１からの予測画像信号１１とを加算し、入力画像信号１０を復元する。加算器１０６は、復元した入力画像信号１０を局所復号画像信号１６としてループフィルタ処理部３００に入力する。

参照画像バッファ１０７は、ループフィルタ処理部３００からの参照画像信号１７を一時的に保存する。参照画像信号１７は、予測信号生成部１０１によって適宜読み出される。符号化制御部１０８は、動画像符号化部１０００の各構成要素を統括制御する。例えば、符号化制御部１０８は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４をループフィルタ処理部３００に指示する。また、符号化制御部１０８は、発生符号量のフィードバック制御、量子化制御、モード制御などを行う。

図２に示すように、ループフィルタ処理部３００は、ブロック分割部３０１、フィルタ切り替え部３０２、フィルタ処理部３０３及びブロック統合部３０４を含む。ループフィルタ処理部３００は、符号化単位（例えば、フレーム、スライスなど）の局所復号画像信号１６に対してループフィルタ処理を行って、参照画像信号１７を得る。より具体的には、ループフィルタ処理部３００は、符号化制御部１０８からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４に従って、ループフィルタ処理を行う。符号化制御部１０８からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４は、エントロピー符号化部１０４にも入力される。尚、ループフィルタ処理部３００は、符号化単位の局所復号画像信号１６にデブロッキングフィルタ処理を施して得られる画像信号を処理してもよい。

ブロック分割部３０１は、ブロック分割情報３３に従って、局所復号画像信号１６を所定サイズの複数の局所復号画素ブロック３５に分割する。ブロック分割情報３３は、符号化単位毎に設定される。ブロック分割情報３３は、符号化単位の局所復号画像信号１６を所定サイズの複数の局所復号画素ブロック３５に分割するための分割パラメータを示す。分割パラメータは、例えば、上記所定サイズや分割モードを示すパラメータである。ブロック分割部３０１は、局所復号画素ブロック３５をフィルタ切り替え部３０２に入力する。

フィルタ切り替え部３０２は、フィルタ特定情報３４に従って、局所復号画素ブロック３５のためのフィルタを切り替える。フィルタ特定情報３４は、局所復号画素ブロック３５毎に設定されている。フィルタ特定情報３４は、局所復号画素ブロック３５のために選択されるフィルタを特定する。図２に示すように、フィルタ切り替え部３０２は、局所復号画素ブロック３５の出力先を、端子ｓ1，・・・，ｓn（ｎは自然数）の間で切り替えるスイッチＳＷを含む。

フィルタ処理部３０３は、フィルタ数情報３１及びフィルタ情報３２に基づいて、各符号化単位のためのフィルタ群を準備する。フィルタ群は少なくとも１つのフィルタを含む。フィルタ数情報３１はフィルタ群に含まれるフィルタの数を示す。フィルタ情報３２は各フィルタのフィルタ係数を示す。フィルタ数情報３１及びフィルタ情報３２は、符号化単位毎に設定される。即ち、フィルタ処理部３０３は、符号化単位毎に、ｎ個のフィルタＦ1，・・・Ｆnを、フィルタ情報３２に基づいて準備する。尚、図２（端子ｓnを含むパス）に示すように、フィルタ処理部３０３は、処理のない（バイパスの）フィルタを準備してもよい。フィルタ処理部３０３は、フィルタ切り替え部３０２によって選択されたフィルタを、局所復号画素ブロック３５に適用し、フィルタリングされた画素ブロック３６を生成する。尚、以降の説明において、フィルタ処理部３０３が準備するフィルタは画像復元フィルタ（例えば、２次元のWiener filter）であるものとし、フィルタリングされた画素ブロック３６は単に復元画素ブロック３６と称する。フィルタ処理部３０３は、復元画素ブロック３６をブロック統合部３０４に入力する。

ブロック統合部３０４は、フィルタ処理部３０３からの復元画素ブロック３６を統合し、符号化単位の参照画像信号１７を得る。ブロック統合部３０４は、符号化単位の参照画像信号１７を参照画像バッファ１０７に入力する。

以下、図３を用いて、図１の動画像符号化装置の動作をループフィルタ処理に関連する部分を中心に説明する。
まず、符号化制御部１０９は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４を設定する（ステップＳ１１００）。これらフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４は、ユーザが手動で設定してもよいし、所定のアルゴリズムに従って自動で設定されてもよい。

フィルタ数情報３１は、各符号化単位において準備されるフィルタの数ｎを示しており、１以上の整数値が設定される。フィルタ特定情報３４は、ｎ個のフィルタに関する選択情報であり、例えばフィルタＦ1，・・・，Ｆnを選択するために、１，・・・，ｎの整数値が夫々設定される。

フィルタ情報３２は、フィルタＦ1，・・・，Ｆnのフィルタ係数を含む。フィルタＦ1，・・・Ｆnは、２次元のWiener filterであってもよい。Wiener filterは、画像復元において一般的に用いられる。Wiener filterには、参照画像信号１７と入力画像信号１０との間の平均二乗誤差を最小化するためのフィルタ係数が設定される。Wiener filterを用いることにより、符号化側及び復号化側の間で多数の固定フィルタを選択候補として準備する場合に比べて、選択候補の数を削減しつつ効果的に画質を向上させることができる。選択候補の数を削減することにより、フィルタ特定情報３４のオーバヘッド符号量は抑制される。

フィルタ係数以外のフィルタパラメータ（フィルタのタップ長、フィルタの形状、フィルタ係数の対称性、フィルタ係数の量子化ビット精度など）は、符号化側及び復号化側の間で予め規定されていてもよいし、フィルタ情報３２に含められてもよい。このようなフィルタ係数以外のフィルタパラメータをフィルタ情報３２に含める場合には、フィルタパラメータはパラメータ値によって直接表現されてもよいし、インデックスによって表現されてもよい。インデックスによってフィルタパラメータを表現する場合には、符号化側及び復号化側の間で、インデックスをパラメータ値に対応付けた共通のテーブルを予め作成しておく必要がある。フィルタ係数以外のフィルタパラメータをフィルタ情報３２に含めることにより、画質改善性能、フィルタ情報３２の符号量、フィルタ処理の演算量などを符号化側が制御できる。また、シーケンス、フレームなどの単位でフィルタパラメータを適切に制御することにより、符号化効率の向上が可能となる。

ブロック分割情報３３は、符号化単位の局所復号画像信号１６を所定サイズの複数の局所復号画素ブロック３５に分割するための分割パラメータを示す。例えば、局所復号画素ブロック３５が正方形状であれば、ブロック分割情報３３は局所復号画素ブロック３５の一辺の画素数であってよい。また、ブロック分割情報３３は局所復号画素ブロック３５の形状、サイズ、分割モードなどを示すインデックスであってもよい。ブロック分割情報３３をインデックスで表現する場合には、符号化側及び復号化側の間で、インデックスを局所復号画素ブロック３５の形状、サイズ、分割モードなどに対応付けた共通のテーブルを予め作成しておく必要がある。

ループフィルタ処理部３００は、ステップＳ１１００において設定されたフィルタ数情報３１及びフィルタ情報３２を取得する（ステップＳ１１０１）。フィルタ処理部３０３は、ステップＳ１１０１において取得したフィルタ数情報３１及びフィルタ情報３２に基づいて、ｎ個のフィルタＦ1，・・・，Ｆnを設定する（ステップＳ１１０２）。

ループフィルタ処理部３００は、ステップＳ１１００において設定されたブロック分割情報３３を取得する（ステップＳ１１０３）。ブロック分割部３０１は、ステップＳ１１０３において取得したブロック分割情報３３に従って、符号化単位の局所復号画像信号１６を複数の局所復号画素ブロック３５に分割する（ステップＳ１１０４）。

ループフィルタ処理部３００は、処理済みの局所復号画素ブロック３５をカウントするためのカウンタ変数ｉを初期化し（ステップＳ１１０５）、処理はステップＳ１１０６に進む。尚、ステップＳ１１０６〜ステップＳ１１０９の処理は、局所復号画素ブロック３５単位で行われる。

ステップＳ１１０６において、フィルタ切り替え部３０２は、処理対象の（第ｉ番目の）局所復号画素ブロック３５に対応するフィルタ特定情報３４を取得する。フィルタ切り替え部３０２は、ステップＳ１１０６において取得したフィルタ特定情報３４に従って、処理対象の局所復号画素ブロック３５がフィルタＦ1，・・・，Ｆnのいずれかに供給されるようにスイッチＳＷの接続を切り替える（ステップＳ１１０７）。

フィルタ処理部３０３は、フィルタ切り替え部３０２から処理対象の局所復号画素ブロック３５を取得する（ステップＳ１１０８）。フィルタ処理部３０３は、ステップＳ１１０７におけるスイッチＳＷの接続に従って、ステップＳ１１０８において取得した局所復号画素ブロック３５にフィルタＦ1，・・・，Ｆnのいずれかを適用し、復元画素ブロック３６を生成して（ステップＳ１１０９）、処理はステップＳ１１１０に進む。

ステップＳ１１１０において、ループフィルタ処理部３００は、符号化単位内における局所復号画素ブロック３５の総数を示す定数NumOfBlockと、カウンタ変数ｉの値とを比較する。カウンタ変数ｉの値が定数NumOfBlock未満であれば処理はステップＳ１１１１に進み、そうでなければ処理はステップＳ１１１２に進む。ステップＳ１１１１において、ループフィルタ処理部３００はカウンタ変数ｉを１だけインクリメントし、処理はステップＳ１１０６に戻る。

ステップＳ１１１２において、ブロック統合部３０４は、復元画素ブロック３６を統合し、符号化単位の参照画像信号１７を生成する。例えばｎ＝３であれば、図１３に示すように、参照画像信号１７内の復元画素ブロック３６には、フィルタＦ1，・・・，Ｆ3のいずれかが夫々適用されている。

エントロピー符号化部１０４はステップＳ１１００において設定されたフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４を含む符号化パラメータをエントロピー符号化し（ステップＳ１１１３）、処理が終了する。

以下、本実施形態に係る動画像符号化／動画像復号化において利用されるシンタクスについて説明する。尚、以降の説明ではフィルタ数情報３１、フィルタ情報３２及びブロック分割情報３３はスライス単位で設定され、フィルタ特定情報３４は画素ブロック単位で設定されるものとする。

図１５に示すように、シンタクスは３つのパートで構成される。ハイレベルシンタクス１９００には、スライス以上の上位レイヤのパラメータが記述される。スライスレベルシンタクス１９０３には、スライス毎のパラメータが記述される。マクロブロックレベルシンタクス１９０７には、マクロブロック毎のパラメータ（量子化変換係数１３、予測モード、動きベクトルなど）が記述される。

ハイレベルシンタクス１９００は、シーケンスパラメータセットシンタクス１９０１及びピクチャパラメータセットシンタクス１９０２を含む。シーケンスパラメータセットシンタクス１９０１には、シーケンス毎のパラメータが記述される。ピクチャパラメータセットシンタクス１９０２は、ピクチャ毎のパラメータが記述される。

スライスレベルシンタクス１９０３は、スライスヘッダーシンタクス１９０４、スライスデータシンタクス１９０５及びループフィルタデータシンタクス１９０６を含む。マクロブロックレベルシンタクス１９０７は、マクロブロックレイヤーシンタクス１９０８及びマクロブロックプレディクションシンタクス１９０９を含む。

本実施形態に係るループフィルタ処理に関するパラメータは、図１５におけるループフィルタデータシンタクス１９０７に記述される。即ち、ループフィルタデータシンタクス１９０７には、図１６に示すように、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４が記述される。

図１６において、num_of_filterはフィルタ数情報３１を表す。図１６において、filter_coeff[idx][cy][cx]は、フィルタ群のうちの第idx番目のフィルタの第cy行第cx列の位置のフィルタ係数（即ち、フィルタ情報３２の少なくとも一部）を表す。尚、フィルタ係数は、フィルタ係数の値そのもの、あるいは、フィルタ係数の予測を行った結果の差分情報を表現する。尚、図１６の例においては、フィルタのサイズfilter_size_x及びfilter_size_yは、符号化側及び復号化側の間で予め定められているものとするが、フィルタ情報３２に含まれるフィルタパラメータによって設定されてもよい。図１６において、filter_block_sizeはブロック分割情報３３を表す。図１６において、filter_idx[i]は第ｉ番目の画素ブロックに対応するフィルタ特定情報３４を表す。filter_idx[i]は、一般に用いられるハフマン符号化、算術符号化などによって符号化される。また、filter_idx[i]は、所定の可変長テーブルに従って符号化されてもよい。尚、出現頻度の高いfilter_idxに短い符号が割り当てられるように、所定のタイミングで可変長テーブルが切り替えられてもよい。また、前述のように、フィルタ係数以外のフィルタパラメータ（フィルタのタップ長、フィルタの形状、フィルタ係数の対称性、フィルタ係数の量子化ビット精度など）が、図１６のシンタクスにおいて更に記述されてもよい。

図４に示すように、本実施形態に係る動画像復号化装置は、動画像復号化部２０００及び復号化制御部２０６を有する。動画像復号化部２０００は、エントロピー復号化部２０１、逆変換／逆量子化部２０２、加算器２０３、参照画像バッファ２０４、予測信号生成部２０５及びループフィルタ処理部４００を含む。

エントロピー復号化部２０１は、図１５のシンタクス構造に従って、符号化データ１４の符号列をエントロピー復号化する。エントロピー復号化部２０１は、復号化された符号列から、量子化変換係数１３、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４、予測モード、動きベクトル、量子化パラメータなどの復号化パラメータを逆多重化する。具体的には、エントロピー復号化部２０１は、図１６のシンタクスに従って、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４を復号化する。エントロピー復号化部２０１は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４をループフィルタ処理部４００に入力する。

逆変換／逆量子化部２０２は、エントロピー復号化部２０１からの量子化変換係数１３を量子化パラメータに従って逆量子化し、直交変換係数を復元する。量子化パラメータは、エントロピー復号化部２０１によって復号化される。逆変換／逆量子化部２０２は、直交変換係数に対して逆直交変換を施して、予測誤差信号１５を得る。逆変換／逆量子化部２０２は、予測誤差信号１５を加算器２０３に入力する。

加算器２０３は、予測信号生成部２０５からの予測画像信号１１と、逆変換／逆量子化部２０２からの予測誤差信号１５とを加算し、復号画像信号２１を生成する。参照画像バッファ２０４は、ループフィルタ処理部４００からの参照画像信号１７を一時的に保存する。参照画像信号１７は、予測信号生成部２０５によって適宜読み出される。

予測信号生成部２０５は、参照画像バッファ２０４に保存されている復号化済みの画像に関する参照画像信号１７に基づき、予測モード、動きベクトルなどに応じた予測処理（イントラ予測処理、インター予測処理など）を行って、予測画像信号１１を生成する。予測モード及び動きベクトルは、エントロピー復号化部２０１によって復号化される。予測信号生成部２０５は、予測画像信号１１を加算器２０３に入力する。
復号化制御部２０６は、動画像復号化部２０００の各構成要素を統括制御する。例えば、復号化制御部２０６は、復号化タイミングを制御する。

図５に示すように、ループフィルタ処理部４００は、ブロック分割部４０１、フィルタ切り替え部４０２、フィルタ処理部４０３及びブロック統合部４０４を含む。ループフィルタ処理部４００は、復号化単位（例えば、フレーム、スライスなど）の復号画像信号２１に対してループフィルタ処理を行って、参照画像信号１７を得る。より具体的には、ループフィルタ処理部４００は、エントロピー復号化部２０１からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４に従って、ループフィルタ処理を行う。尚、ループフィルタ処理部４００は、復号化単位の復号画像信号２１にデブロッキングフィルタ処理を施して得られる画像信号を処理してもよい。

ブロック分割部４０１は、ブロック分割情報３３に従って、復号画像信号２１を所定サイズの複数の復号画素ブロック４１に分割する。ブロック分割情報３３は、復号化単位毎に設定されている。ブロック分割情報３３は、復号化単位の復号画像信号２１を所定サイズの複数の復号画素ブロック４１に分割するための分割パラメータ（例えば、上記所定サイズ、分割モードなど）を示す。ブロック分割部４０１は、復号画素ブロック４１をフィルタ切り替え部４０２に入力する。

フィルタ切り替え部４０２は、フィルタ特定情報３４に従って、復号画素ブロック４１のためのフィルタを切り替える。フィルタ特定情報３４は、復号画素ブロック４１毎に設定されている。フィルタ特定情報３４は、復号画素ブロック４１のために選択されるフィルタを特定する。図５に示すように、フィルタ切り替え部４０２は、復号画素ブロック４１の出力先を、端子ｓ1，・・・，ｓnの間で切り替えるスイッチＳＷを含む。

フィルタ処理部４０３は、フィルタ数情報３１及びフィルタ情報３２に基づいて、各復号化単位のためのフィルタ群を準備する。フィルタ群は少なくとも１つのフィルタを含む。フィルタ数情報３１はフィルタ群に含まれるフィルタの数を示す。フィルタ情報３２は各フィルタのフィルタ係数を示す。フィルタ数情報３１及びフィルタ情報３２は、復号化単位毎に設定されている。即ち、フィルタ処理部４０３は、復号化単位毎に、ｎ個のフィルタＦ1，・・・Ｆnを、フィルタ情報３２に基づいて準備する。尚、図５（端子ｓnを含むパス）に示すように、フィルタ処理部４０３は、処理のない（バイパスの）フィルタを準備することもある。フィルタ処理部４０３は、フィルタ切り替え部４０２によって選択されたフィルタを、復号画素ブロック４１に適用し、復元画素ブロック３６を生成する。フィルタ処理部４０３は、復元画素ブロック３６をブロック統合部４０４に入力する。

ブロック統合部４０４は、フィルタ処理部４０３からの復元画素ブロック３６を統合し、復号化単位の参照画像信号１７を得る。ブロック統合部４０４は、復号化単位の参照画像信号１７を参照画像バッファ２０４に入力する。

以下、図６を用いて、図４の動画像復号化装置の動作をループフィルタ処理に関連する部分を中心に説明する。
まず、エントロピー復号化部２０１は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３及びフィルタ特定情報３４を復号化する（ステップＳ２１００）。

ループフィルタ処理部４００は、ステップＳ２１００において設定されたフィルタ数情報３１及びフィルタ情報３２を取得する（ステップＳ２１０１）。フィルタ処理部４０３は、ステップＳ２１０１において取得したフィルタ数情報３１及びフィルタ情報３２に基づいて、ｎ個のフィルタＦ1，・・・，Ｆnを設定する（ステップＳ２１０２）。

ループフィルタ処理部４００は、ステップＳ２１００において設定されたブロック分割情報３３を取得する（ステップＳ２１０３）。ブロック分割部４０１は、ステップＳ２１０３において取得したブロック分割情報３３に従って、復号化単位の復号画像信号２１を複数の復号画素ブロック４１に分割する（ステップＳ２１０４）。

ループフィルタ処理部４００は、処理済みの復号画素ブロック４１をカウントするためのカウンタ変数ｉを初期化し（ステップＳ２１０５）、処理はステップＳ２１０６に進む。尚、ステップＳ２１０６〜ステップＳ２１０９の処理は、復号画素ブロック４１単位で行われる。

ステップＳ２１０６において、フィルタ切り替え部４０２は、処理対象の（第ｉ番目の）復号画素ブロック４１に対応するフィルタ特定情報３４を取得する。フィルタ切り替え部４０２は、ステップＳ２１０６において取得したフィルタ特定情報３４に従って、処理対象の復号画素ブロック４１がフィルタＦ1，・・・，Ｆnのいずれかに供給されるようにスイッチＳＷの接続を切り替える（ステップＳ２１０７）。

フィルタ処理部４０３は、フィルタ切り替え部４０２から処理対象の復号画素ブロック４１を取得する（ステップＳ２１０８）。フィルタ処理部４０３は、ステップＳ２１０７におけるスイッチＳＷの接続に従って、ステップＳ２１０８において取得した復号画素ブロック４１にフィルタＦ1，・・・，Ｆnのいずれかを適用し、復元画素ブロック３６を生成し（ステップＳ２１０９）、処理はステップＳ２１１０に進む。

ステップＳ２１１０において、ループフィルタ処理部４００は、復号化単位内における復号画素ブロック４１の総数を示す定数NumOfBlockと、カウンタ変数ｉの値とを比較する。カウンタ変数ｉの値が定数NumOfBlock未満であれば処理はステップＳ２１１１に進み、そうでなければ処理はステップＳ２１１２に進む。ステップＳ２１１１において、ループフィルタ処理部４００はカウンタ変数ｉを１だけインクリメントし、処理はステップＳ２１０６に戻る。

ステップＳ２１１２において、ブロック統合部４０４は復元画素ブロック３６を統合し、復号化単位の参照画像信号１７を生成し、処理が終了する。例えばｎ＝３であれば、図１３に示すように、参照画像信号１７内の復元画素ブロック３６には、フィルタＦ1，・・・，Ｆ3のいずれかが夫々適用されている。

以上説明したように、本実施形態に係る動画像符号化／動画像復号化は、符号化／復号化単位で準備するフィルタの数、フィルタの選択単位などを符号化側において任意に設定している。従って、本実施形態に係る動画像符号化／動画像復号化によれば、ループフィルタ処理に関するオーバヘッド符号量を要求されるビットレートなどに応じて制御し、ループフィルタ処理に関するパラメータを高効率に符号化できる。具体的には、フィルタ数情報３１が示すフィルタの数を増減させることにより、フィルタ情報３２（及びフィルタ特定情報３４）の符号量が制御可能である。また、ブロック分割情報３３が示す分割パラメータを変更することにより、フィルタ特定情報３４の符号量が制御可能である。

（第２の実施形態）
図７に示すように、本発明の第２の実施形態に係る動画像符号化装置は、図１の動画像符号化装置におけるループフィルタ処理部３００をループフィルタ処理部５００に置き換えた構成に相当する。以下の説明では、第１の実施形態と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

エントロピー符号化部１０４は、変換／量子化部１０３からの量子化変換係数１３、ループフィルタ処理部３００からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１を符号化パラメータとして取得する。また、エントロピー符号化部１０４は、予測モード、動きベクトル、量子化パラメータなども符号化パラメータとして取得してよい。エントロピー符号化部１０４は、多重化された符号化パラメータにエントロピー符号化を施し、符号化データ１４を生成して、外部に出力する。

図８に示すように、ループフィルタ処理部５００は、ブロック分割部３０１、フィルタ切り替え部３０２、フィルタ適用切り替え部５１０、フィルタ処理部５０３及びブロック統合部３０４を含む。ループフィルタ処理部５００は、符号化単位（例えば、フレーム、スライスなど）の局所復号画像信号１６に対してループフィルタ処理を行って、参照画像信号１７を得る。より具体的には、ループフィルタ処理部５００は、符号化制御部１０８からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１に従って、ループフィルタ処理を行う。符号化制御部１０８からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１は、エントロピー符号化部１０４にも入力される。尚、ループフィルタ処理部５００は、符号化単位の局所復号画像信号１６にデブロッキングフィルタ処理を施して得られる画像信号を処理してもよい。

フィルタ適用切り替え部５１０は、フィルタ適用情報５１に従って、局所復号画素ブロック３５（以降、便宜的にメインブロックとも称する）を更に分割したサブブロック毎にフィルタの適用／非適用を切り替える。フィルタ適用情報５１は、サブブロック毎に設定されている。フィルタ適用情報５１は、フィルタ特定情報３４に従ってメインブロックのために選択されたフィルタの適用／非適用をサブブロック毎に指定する。図８に示すように、フィルタ適用切り替え部５１０は、各サブブロックの出力先を端子ｔ1及び端子ｕ1の間で切り替えるスイッチＳＷ1，・・・，端子ｔn及び端子ｕnの間で切り替えるスイッチＳＷnの合計ｎ個のスイッチを含む。尚、メインブロックをサブブロックに分割するための分割パラメータは、ブロック分割情報３３またはその他の情報によって制御されてもよいし、符号化側及び復号化側において予め定められてもよい。分割パラメータは、サブブロックのサイズであってもよいし、分割モード（４分木分割など）であってもよい。

フィルタ処理部５０３は、フィルタ処理部３０３と同様に、フィルタ数情報３１によって指定される数のフィルタを含むフィルタ群を、フィルタ情報３２に基づいて準備する。即ち、フィルタ処理部５０３は、符号化単位毎に、ｎ個のフィルタＦ1，・・・Ｆnを、フィルタ情報３２に基づいて準備する。各フィルタＦ1，・・・，Ｆnは、フィルタの適用に対応する端子ｔ1，・・・，ｔnに夫々接続される。また、各フィルタＦ1，・・・，Ｆnの非適用に対応する端子ｕ1，・・・，ｕnには処理のない（バイパス）経路が接続される。フィルタ処理部５０３は、端子ｔ1，・・・，ｔnから入力されたサブブロックに対してフィルタＦ1，・・・，Ｆnの処理を行って出力する。フィルタ処理部５０３は、端子ｕ1，・・・，ｕnから入力されたサブブロックをそのまま出力する。

以下、図９Ａ及び図９Ｂを用いて、図７の動画像符号化装置の動作をループフィルタ処理に関連する部分を中心に説明する。
まず、符号化制御部１０９は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１を設定する（ステップＳ３１００）。これらフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１は、ユーザが手動で設定してもよいし、所定のアルゴリズムに従って自動で設定されてもよい。

フィルタ適用情報５１は、フィルタ特定情報３４に従ってメインブロックのために選択されたフィルタのサブブロック単位での適用／非適用を指定するパラメータである。フィルタ適用情報５１の値は、例えば、フィルタの適用を示す場合に１、フィルタの非適用を示す場合に０である。

ループフィルタ処理部５００は、ステップＳ３１００において設定されたフィルタ数情報３１及びフィルタ情報３２を取得する（ステップＳ３１０１）。フィルタ処理部５０３は、ステップＳ３１０１において取得したフィルタ数情報３１及びフィルタ情報３２に基づいて、ｎ個のフィルタＦ1，・・・，Ｆnを設定する（ステップＳ３１０２）。

ループフィルタ処理部５００は、ステップＳ３１００において設定されたブロック分割情報３３を取得する（ステップＳ３１０３）。ブロック分割部３０１は、ステップＳ３１０３において取得したブロック分割情報３３に従って、符号化単位の局所復号画像信号１６を複数の局所復号画素ブロック３５に分割する（ステップＳ３１０４）。

ループフィルタ処理部５００は、処理済みの局所復号画素ブロック３５（メインブロック）をカウントするためのカウンタ変数ｉを初期化し（ステップＳ３１０５）、処理はステップＳ３１０６に進む。尚、ステップＳ３１０６〜ステップＳ３１０８の処理は、メインブロック単位で行われる。

ステップＳ３１０６において、フィルタ切り替え部３０２は、処理対象の（第ｉ番目の）局所復号画素ブロック３５に対応するフィルタ特定情報３４を取得する。フィルタ切り替え部３０２は、ステップＳ３１０６において取得したフィルタ特定情報３４に従って、処理対象の局所復号画素ブロック３５がスイッチＳＷx（xは１以上ｎ以下の整数）に供給されるようにスイッチＳＷの接続を切り替える（ステップＳ３１０７）。ループフィルタ処理部５００は処理済みのサブブロックをカウントするためのカウンタ変数ｊを初期化し（ステップＳ３１０８）、処理はステップＳ３１０９に進む。尚、ステップＳ３１０９〜ステップＳ３１１４の処理は、サブブロック単位で行われる。

ステップＳ３１０９において、ループフィルタ処理部５００は第ｉ番目のメインブロック内の第ｊ番目のサブブロックに対応するフィルタ適用情報５１を取得する。フィルタ適用切り替え部５１０は、ステップＳ３１０９において取得したフィルタ適用情報５１に従って、スイッチＳＷxの接続を端子ｔx及び端子ｕxの間で切り替える（ステップＳ３１１０）。

フィルタ処理部５０３は、端子ｔxまたは端子ｕtからサブブロックを取得する（ステップＳ３１１１）。ステップＳ３１１１においてサブブロックが端子ｔxから取得されていれば処理はステップＳ３１１３に進み、端子ｕxから取得されていれば処理はステップＳ３１１４に進む。

ステップＳ３１１３において、フィルタ処理部５０３はステップＳ３１１１において取得したサブブロックに対してフィルタＦxを適用してサブブロックを出力し、処理はステップＳ３１１５に進む。ステップＳ３１１４において、フィルタ処理部５０３はステップＳ３１１１において取得したサブブロックに対してフィルタＦxを適用せずにサブブロックをそのまま出力し、処理はステップＳ３１１５に進む。

ステップＳ３１１５において、ループフィルタ処理部５００は、メインブロック内におけるサブブロックの総数を示す定数NumOfSubBlockと、カウンタ変数ｊの値とを比較する。カウンタ変数ｊの値が定数NumOfSubBlock未満であれば処理はステップＳ３１１６に進み、そうでなければ処理はステップＳ３１１７に進む。ステップＳ３１１６において、ループフィルタ処理部５００はカウンタ変数ｊを１だけインクリメントし、処理はステップＳ３１０９に戻る。

ステップＳ３１１７において、ループフィルタ処理部５００は、符号化単位内における局所復号画素ブロック３５の総数を示す定数NumOfBlockと、カウンタ変数ｉの値とを比較する。カウンタ変数ｉの値が定数NumOfBlock未満であれば処理はステップＳ３１１８に進み、そうでなければ処理はステップＳ３１１９に進む。ステップＳ３１１８において、ループフィルタ処理部５００はカウンタ変数ｉを１だけインクリメントし、処理はステップＳ３１０６に戻る。

ステップＳ３１１９において、ブロック統合部３０４は、フィルタ処理部５０３によって処理されたサブブロックの集合である復元画素ブロック３６（メインブロック）を統合し、符号化単位の参照画像信号１７を生成する。例えば、ｎ＝３であれば、図１４に示すように、参照画像信号１７内のメインブロックにはフィルタＦ1，・・・，Ｆ3のいずれかが夫々選択され、この選択されたフィルタはメインブロック内のサブブロック毎に適用／非適用が定められる。

エントロピー符号化部１０４はステップＳ３１００において設定されたフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１を含む符号化パラメータをエントロピー符号化し（ステップＳ３１２０）、処理が終了する。

以下、本実施形態に係る動画像符号化／動画像復号化において利用されるシンタクスについて説明する。尚、以降の説明ではフィルタ数情報３１、フィルタ情報３２及びブロック分割情報３３はスライス単位で設定され、フィルタ特定情報３４はメインブロック単位で設定され、フィルタ適用情報５１はサブブロック単位で設定されるものとする。

本実施形態に係るループフィルタ処理に関するパラメータは、図１５におけるループフィルタデータシンタクス１９０７に記述される。即ち、ループフィルタデータシンタクス１９０７には、図１７に示すように、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１が記述される。

図１７において、num_of_filterはフィルタ数情報３１を表す。図１７において、filter_coeff[idx][cy][cx]は、フィルタ群のうちの第idx番目のフィルタの第cy行第cx列の位置のフィルタ係数（即ち、フィルタ情報３２の少なくとも一部）を表す。尚、フィルタ係数は、フィルタ係数の値そのもの、あるいは、フィルタ係数の予測を行った結果の差分情報を表現する。尚、図１７の例において、フィルタのサイズfilter_size_x及びfilter_size_yは、符号化側及び復号化側の間で予め定められているものとするが、フィルタ情報３２に含まれるフィルタパラメータによって設定されてもよい。図１７において、filter_main_block_size及びfilter_sub_block_size[i]はブロック分割情報３３を表す。具体的には、filter_main_block_sizeは符号化単位の局所復号画像信号１６を複数のメインブロックに分割するための分割パラメータ（メインブロックのサイズ）を表し、fitler_sub_block_size[i]は第ｉ番目のメインブロックを複数のサブブロックに分割するための分割パラメータ（サブブロックのサイズ）を表す。尚、ブロック分割情報３３は、異なる表現であってもよい。例えば、ブロック分割情報３３はメインブロックまたはサブブロックのサイズまたは分割モードを示すインデックスで表現されてもよい。尚、ブロック分割情報３３をインデックスで表現する場合には、符号化側及び復号化側の間で、インデックスをメインブロックまたはサブブロックのサイズまたは分割モードに対応付けた共通のテーブルを予め作成しておく必要がある。図１７において、filter_idx[i]は第ｉ番目のメインブロックに対応するフィルタ特定情報３４を表す。filter_idx[i]は、一般に用いられるハフマン符号化、算術符号化などによって符号化される。また、filter_idx[i]は、所定の可変長テーブルに従って符号化されてもよい。尚、出現頻度の高いfilter_idxに短い符号が割り当てられるように、所定のタイミングで可変長テーブルが切り替えられてもよい。また、前述のように、フィルタ係数以外のフィルタパラメータ（フィルタのタップ長、フィルタの形状、フィルタ係数の対称性、フィルタ係数の量子化ビット精度など）が、図１７のシンタクスにおいて更に記述されてもよい。図１７において、filter_flag[i][j]は、第ｉ番目のメインブロック内の第ｊ番目のサブブロックに対応するフィルタ適用情報５１を表す。

図１０に示すように、本実施形態に係る動画像復号化装置は、図４の動画像復号化装置におけるループフィルタ処理部４００をループフィルタ処理部６００に置き換えた構成に相当する。以下の説明では、第の実施形態と同一部分には同一符号を付して示し、異なる部分を中心に述べる。

エントロピー復号化部２０１は、図１５のシンタクス構造に従って、符号化データ１４の符号列をエントロピー復号化する。エントロピー復号化部２０１は、復号化された符号列から、量子化変換係数１３、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４、フィルタ適用情報５１、予測モード、動きベクトル、量子化パラメータなどの復号化パラメータを逆多重化する。具体的には、エントロピー復号化部２０１は、図１７のシンタクスに従って、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１を復号化する。エントロピー復号化部２０１は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１をループフィルタ処理部６００に入力する。

図１１に示すように、ループフィルタ処理部６００は、ブロック分割部４０１、フィルタ切り替え部４０２、フィルタ適用切り替え部６１０、フィルタ処理部６０３及びブロック統合部４０４を含む。ループフィルタ処理部６００は、復号化単位（例えば、フレーム、スライスなど）の復号画像信号２１に対してループフィルタ処理を行って、参照画像信号１７を得る。より具体的には、ループフィルタ処理部６００は、エントロピー復号化部２０１からのフィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１に従って、ループフィルタ処理を行う。尚、ループフィルタ処理部６００は、復号化単位の復号画像信号２１にデブロッキングフィルタ処理を施して得られる画像信号を処理してもよい。

フィルタ適用切り替え部６１０は、フィルタ適用情報５１に従って、復号画素ブロック４１（以降、便宜的にメインブロックとも称する）を更に分割したサブブロック毎にフィルタの適用／非適用を切り替える。フィルタ適用情報５１は、サブブロック毎に設定されている。フィルタ適用情報５１は、フィルタ特定情報３４に従ってメインブロックのために選択されたフィルタの適用／非適用をサブブロック毎に指定する。図１１に示すように、フィルタ適用切り替え部６１０は、各サブブロックの出力先を端子ｔ1及び端子ｕ1の間で切り替えるスイッチＳＷ1，・・・，端子ｔn及び端子ｕnの間で切り替えるスイッチＳＷnの合計ｎ個のスイッチを含む。尚、メインブロックをサブブロックに分割するための分割パラメータは、ブロック分割情報３３またはその他の情報によって制御されてもよいし、符号化側及び復号化側において予め定められてもよい。分割パラメータは、サブブロックのサイズであってもよいし、分割モード（４分木分割など）であってもよい。

フィルタ処理部６０３は、フィルタ処理部４０３と同様に、フィルタ数情報３１によって指定される数のフィルタを含むフィルタ群を、フィルタ情報３２に基づいて準備する。即ち、フィルタ処理部６０３は、復号化単位毎に、ｎ個のフィルタＦ1，・・・Ｆnを、フィルタ情報３２に基づいて準備する。各フィルタＦ1，・・・，Ｆnは、フィルタの適用に対応する端子ｔ1，・・・，ｔnに夫々接続される。また、各フィルタＦ1，・・・，Ｆnの非適用に対応する端子ｕ1，・・・，ｕnには処理のない（バイパス）経路が接続される。フィルタ処理部６０３は、端子ｔ1，・・・，ｔnから入力されたサブブロックに対してフィルタＦ1，・・・，Ｆnの処理を行って出力する。フィルタ処理部６０３は、端子ｕ1，・・・，ｕnから入力されたサブブロックをそのまま出力する。

以下、図１２Ａ及び図１２Ｂを用いて、図１０の動画像復号化装置の動作をループフィルタ処理に関連する部分を中心に説明する。
まず、エントロピー復号化部２０１は、フィルタ数情報３１、フィルタ情報３２、ブロック分割情報３３、フィルタ特定情報３４及びフィルタ適用情報５１を復号化する（ステップＳ４１００）。

ループフィルタ処理部６００は、ステップＳ４１００において設定されたフィルタ数情報３１及びフィルタ情報３２を取得する（ステップＳ４１０１）。フィルタ処理部６０３は、ステップＳ４１０１において取得したフィルタ数情報３１及びフィルタ情報３２に基づいて、ｎ個のフィルタＦ1，・・・，Ｆnを設定する（ステップＳ４１０２）。

ループフィルタ処理部６００は、ステップＳ４１００において設定されたブロック分割情報３３を取得する（ステップＳ４１０３）。ブロック分割部４０１は、ステップＳ４１０３において取得したブロック分割情報３３に従って、復号化単位の復号画像信号２１を複数の復号画素ブロック４１に分割する（ステップＳ４１０４）。

ループフィルタ処理部６００は、処理済みの復号画素ブロック４１（メインブロック）をカウントするためのカウンタ変数ｉを初期化し（ステップＳ４１０５）、処理はステップＳ４１０６に進む。尚、ステップＳ４１０６〜ステップＳ４１０８の処理は、メインブロック単位で行われる。

ステップＳ４１０６において、フィルタ切り替え部４０２は、処理対象の（第ｉ番目の）復号画素ブロック４１に対応するフィルタ特定情報３４を取得する。フィルタ切り替え部４０２は、ステップＳ４１０６において取得したフィルタ特定情報３４に従って、処理対象の復号画素ブロック４１がスイッチＳＷxに供給されるようにスイッチＳＷの接続を切り替える（ステップＳ４１０７）。ループフィルタ処理部６００は処理済みのサブブロックをカウントするためのカウンタ変数ｊを初期化し（ステップＳ４１０８）、処理はステップＳ４１０９に進む。尚、ステップＳ４１０９〜ステップＳ４１１４の処理は、サブブロック単位で行われる。

ステップＳ４１０９において、ループフィルタ処理部６００は第ｉ番目のメインブロック内の第ｊ番目のサブブロックに対応するフィルタ適用情報５１を取得する。フィルタ適用切り替え部６１０は、ステップＳ４１０９において取得したフィルタ適用情報５１に従って、スイッチＳＷxの接続を端子ｔx及び端子ｕxの間で切り替える（ステップＳ４１１０）。

フィルタ処理部６０３は、端子ｔxまたは端子ｕtからサブブロックを取得する（ステップＳ４１１１）。ステップＳ４１１１においてサブブロックが端子ｔxから取得されていれば処理はステップＳ４１１３に進み、端子ｕxから取得されていれば処理はステップＳ４１１４に進む。

ステップＳ４１１３において、フィルタ処理部６０３はステップＳ４１１１において取得したサブブロックに対してフィルタＦxを適用してサブブロックを出力し、処理はステップＳ４１１５に進む。ステップＳ４１１４において、フィルタ処理部６０３はステップＳ４１１１において取得したサブブロックに対してフィルタＦxを適用せずにサブブロックをそのまま出力し、処理はステップＳ４１１５に進む。

ステップＳ４１１５において、ループフィルタ処理部６００は、メインブロック内におけるサブブロックの総数を示す定数NumOfSubBlockと、カウンタ変数ｊの値とを比較する。カウンタ変数ｊの値が定数NumOfSubBlock未満であれば処理はステップＳ４１１６に進み、そうでなければ処理はステップＳ４１１７に進む。ステップＳ４１１６において、ループフィルタ処理部６００はカウンタ変数ｊを１だけインクリメントし、処理はステップＳ４１０９に戻る。

ステップＳ４１１７において、ループフィルタ処理部６００は、復号化単位内における復号画素ブロック４１の総数を示す定数NumOfBlockと、カウンタ変数ｉの値とを比較する。カウンタ変数ｉの値が定数NumOfBlock未満であれば処理はステップＳ４１１８に進み、そうでなければ処理はステップＳ４１１９に進む。ステップＳ４１１８において、ループフィルタ処理部６００はカウンタ変数ｉを１だけインクリメントし、処理はステップＳ４１０６に戻る。

ステップＳ４１１９において、ブロック統合部４０４はフィルタ処理部６０３によって処理されたサブブロックの集合である復元画素ブロック３６（メインブロック）を統合して復号化単位の参照画像信号１７を生成し、処理が終了する。例えば、ｎ＝３であれば、図１４に示すように、参照画像信号１７内のメインブロックにはフィルタＦ1，・・・，Ｆ3のいずれかが夫々選択され、この選択されたフィルタはメインブロック内のサブブロック毎に適用／非適用が定められる。

以上説明したように、本実施形態に係る動画像符号化／動画像復号化は、メインブロックを更に分割したサブブロック単位でフィルタの適用／非適用を指定するフィルタ適用情報を使用する。従って、本実施形態に係る動画像符号化／動画像復号化によれば、メインブロック内で局所的にループフィルタ処理を実行できるので、復号化側はループフィルタ処理の演算量を削減しつつ効率的に画質を改善できる。また、本実施形態に係る動画像符号化／動画像復号化は、前述した第１の実施形態と同様の効果も奏する。

尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

例えば、各実施形態に係る動画像符号化装置／動画像復号化装置を汎用のコンピュータを基本ハードウェアとして用いて実現してもよい。即ち、予測信号生成部１０１、減算器１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆変換／逆量子化部１０５、加算器１０６、符号化制御部１０８、エントロピー復号化部２０１、逆変換／逆量子化部２０２、加算器２０３、予測信号生成部２０５、復号化制御部２０６及びループフィルタ処理部３００，４００，５００，６００は、コンピュータに搭載されたプロセッサに所定のプログラムを実行させることにより実現できる。また、参照画像バッファ１０７，２０４は、コンピュータに内蔵または外付けされたメモリ、ハードディスク、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体を適宜利用して実現できる。

所定のプログラムは、例えばコンピュータで読み取り可能な記憶媒体に格納して提供できる。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤなど）、光磁気ディスク（ＭＯなど）、半導体メモリなど、プログラムを記憶可能であって、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。また、所定のプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

１０・・・入力画像信号
１１・・・予測画像信号
１２・・・予測誤差信号
１３・・・量子化変換係数
１４・・・符号化データ
１５・・・予測誤差信号
１６・・・局所復号画像信号
１７・・・参照画像信号
２１・・・復号画像信号
３１・・・フィルタ数情報
３２・・・フィルタ情報
３３・・・ブロック分割情報
３４・・・フィルタ特定情報
３５・・・局所復号画素ブロック
３６・・・復元画素ブロック
４１・・・復号画素ブロック
５１・・・フィルタ適用情報
１０１・・・予測信号生成部
１０２・・・減算器
１０３・・・変換／量子化部
１０４・・・エントロピー符号化部
１０５・・・逆変換／逆量子化部
１０６・・・加算器
１０７・・・参照画像バッファ
１０８・・・符号化制御部
２０１・・・エントロピー復号化部
２０２・・・逆変換／逆量子化部
２０３・・・加算器
２０４・・・予測信号生成部
２０５・・・参照画像バッファ
２０６・・・復号化制御部
３００，４００，５００，６００・・・ループフィルタ処理部
３０１，４０１・・・ブロック分割部
３０２，４０２・・・フィルタ切り替え部
３０３，４０３，５０３，６０３・・・フィルタ処理部
３０４，４０４・・・ブロック統合部
５１０，６１０・・・フィルタ適用切り替え部
１０００，３０００・・・動画像符号化部
２０００，４０００・・・動画像復号化部

Claims

符号化済みの画像に関する参照画像を利用して予測画像を生成する動画像符号化方法において、
符号化単位の局所復号画像を複数のブロックに分割するためのパラメータを含むブロック分割情報を設定することと、
前記符号化単位のためのフィルタ群の各フィルタのフィルタ係数を含むフィルタ情報を設定することと、
前記フィルタ群に含まれるフィルタの数を示すフィルタ数情報を設定することと、
前記ブロック毎に適用すべきフィルタを特定するフィルタ特定情報を設定することと、
前記ブロック毎に前記フィルタ特定情報によって特定されるフィルタを適用し、前記参照画像を生成することと、
前記フィルタ数情報、前記フィルタ情報、前記ブロック分割情報及び前記フィルタ特定情報を符号化することと
を具備する動画像符号化方法。
前記ブロックを更に分割したサブブロック毎のフィルタの適用／非適用を示すフィルタ適用情報を設定することと、
前記フィルタ適用情報を符号化することと
を更に具備する請求項１記載の動画像符号化方法。
前記符号化単位は、フレームまたはスライスである請求項２記載の動画像符号化方法。
前記フィルタ特定情報は、前記フィルタ群に含まれるフィルタのうちの１つを特定するインデックスであって、
前記インデックスは、所定の可変長テーブルに従って符号化され、
前記所定の可変長テーブルは、所定のタイミングで切り替えられる
請求項３記載の動画像符号化方法
前記フィルタ情報は、フィルタのタップ長、フィルタの形状、前記フィルタ係数の対称性及び前記フィルタ係数の量子化ビット精度のうち少なくとも１つを示す情報を更に含む
請求項４記載の動画像符号化方法。
復号化済みの画像に関する参照画像を利用して予測画像を生成する動画像復号化方法において、
復号化単位の復号画像を複数のブロックに分割するためのパラメータを含むブロック分割情報を復号化することと、
前記復号化単位のためのフィルタ群に含まれるフィルタの数を示すフィルタ数情報を復号化することと、
前記フィルタ群の各フィルタのフィルタ係数を含むフィルタ情報を復号化することと、
前記ブロック毎に適用すべきフィルタを特定するフィルタ特定情報を復号化することと、
前記ブロック毎に前記フィルタ特定情報によって特定されるフィルタを適用し、前記参照画像を生成することと
を具備する動画像復号化方法。
前記ブロックを更に分割したサブブロック毎のフィルタの適用／非適用を示すフィルタ適用情報を復号化することを更に具備する請求項６記載の動画像復号化方法。
前記復号化単位は、フレームまたはスライスである請求項７記載の動画像復号化方法。
前記フィルタ特定情報は、前記フィルタ群に含まれるフィルタのうちの１つを特定するインデックスであって、
前記インデックスは、所定の可変長テーブルに従って復号化され、
前記所定の可変長テーブルは、所定のタイミングで切り替えられる
請求項８記載の動画像復号化方法。
前記フィルタ情報は、フィルタのタップ長、フィルタの形状、前記フィルタ係数の対称性及び前記フィルタ係数の量子化ビット精度のうち少なくとも１つを示す情報を更に含む請求項９記載の動画像復号化方法。