JP5728330B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。

非特許文献１〜３には、映像圧縮符号化処理において、符号化済み画像に対してフィルタ処理を施すことで画質を改善する手法が示されている。

特に、非特許文献１には、映像圧縮符号化の標準規格が示されている。この標準規格によれば、圧縮符号化によりブロック境界に生じる圧縮劣化を低減するフィルタ処理を、適用できる。

一方、非特許文献２には、符号化劣化を復元するフィルタを、フレームごとに適応的に更新する手法が示されている。この手法によれば、画面全体を対象として原画像との二乗誤差が最小となるように、画面全体に対して１種類のフィルタを算出できる。

また、非特許文献３には、非特許文献１と同様に、ブロック境界に生じる圧縮劣化を低減するために、非特許文献４に示されている画像復元処理フィルタであるＮｏｎ−Ｌｏｃａｌ Ｍｅａｎｓフィルタ（以降、「ＮＬＭフィルタ」と呼ぶこととする）に基づいてフィルタ処理を行う手法が示されている。この手法によれば、主観品質を向上させることができる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. D.-H. Kim, H.-Y. Oh, O. Urhan, S. Erturk and T.-G. Chang, "Optimal Post-Process/In-Loop Filtering for Improved Video Compression Performance," IEEE Trans. on Consumer Electronics, Vol. 53, No. 4, 2007. M. Mtsumura, Y. Bandoh, S. Takamura, H. Jozawa, "In-loop filter based on non-local means filter," Joint Collaborative Team on Video Coding (JCT-VC), JCTVC-E206, March, 2011. A. Buades, B. Coll, and J. M. Morel, "A Non Local Algorithm for Image Denoising," Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, June 2005. C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," In Proceedings of the Sixth International Conference on Computer Vision, page 839-846, 1998. S. Smith and J. Brady, "Susan - a new approach to low level image processing," International Journal of Computer Vision, 23(1):45-78, 1997.

非特許文献１に示されている標準規格では、ブロック境界のみを対象としてフィルタ処理が施される。このため、フィルタ処理による画質改善効果が十分ではなかった。

上述の非特許文献１に示されている標準規格に対して、非特許文献２に示されている手法では、画面全体を対象として適応的なフィルタ処理が施される。しかしながら、この適応的なフィルタは、画面全体に対する原画像との二乗誤差を最小化するためのものであり、視覚的に重要な絵柄であるエッジ成分の保持を、確実に行うことはできなかった。

非特許文献３に示されている手法では、復号の際のフィルタ処理に、非特許文献４に示されている画像復元処理フィルタを採用する。しかしながら、非特許文献４に示されている手法では、フィルタ処理対象画素の近傍の絵柄との類似性に応じてフィルタ係数を決定するため、フィルタ処理対象画素の近傍の絵柄が圧縮符号化によって大きく劣化している場合には、不適切なフィルタ係数が算出されてしまい、適切な画像復元を行うことができない。圧縮劣化によって局所的な絵柄が大きく劣化する特徴的なケースとして、例えばエッジの絵柄がある。このため、非特許文献３、４に示されている手法では、視覚的に重要な絵柄であるエッジ成分に関して、十分な画質を得ることができない場合があり、主観画質の向上を的確には実現できない場合があった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、主観画質の向上を的確に実現できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１） 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化装置（例えば、図１の動画像符号化装置ＡＡに相当）であって、入力画像（例えば、図２の原画像ａに相当）に対して、局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）を算出する第１のフィルタ係数算出手段（例えば、図２の第１のフィルタ係数算出部５１に相当）と、局所復号画像（例えば、図２のローカルデコード画像ｋに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２のローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２に相当）を算出する第２のフィルタ係数算出手段（例えば、図２の第２のフィルタ係数算出部５２に相当）と、前記局所復号画像に、前記第１のフィルタ係数算出手段により算出されたフィルタ係数を適用する第１のフィルタ係数適用手段（例えば、図２の第１のフィルタ係数適用部６１に相当）と、前記局所復号画像に、前記第２のフィルタ係数算出手段により算出されたフィルタ係数を適用する第２のフィルタ係数適用手段（例えば、図２の第２のフィルタ係数適用部６２に相当）と、予め定められた単位領域（例えば、後述のＮ×Ｎ個の画素からなる単位領域に相当）ごとに、前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断するフィルタ係数適否判断手段（例えば、図２のフィルタ係数適否判断部６３に相当）と、前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のうち、前記フィルタ係数適否判断手段により前記単位領域ごとに用いると判断されたものを用いて、前記局所復号画像に対してフィルタ処理を行うフィルタ処理手段（例えば、図２のフィルタ処理部６４に相当）と、前記フィルタ係数適否判断手段による判断結果（例えば、後述の適否情報ｒに相当）を符号化する適否情報符号化手段（例えば、図２の適否情報符号化部６６に相当）と、前記第１のフィルタ係数算出手段により算出されたフィルタ係数のうち、前記フィルタ係数適否判断手段により用いると判断されたものを符号化するフィルタ係数符号化手段（例えば、図２のフィルタ係数符号化部６５に相当）と、を備え、前記フィルタ係数適否判断手段は、前記単位領域ごとに、前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度と、前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度と、を求めるとともに、前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断することを特徴とする動画像符号化装置を提案している。

この発明によれば、符号化処理ループ内で適応フィルタ処理を許容して、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化装置に、第１のフィルタ係数算出手段、第２のフィルタ係数算出手段、第１のフィルタ係数適用手段、第２のフィルタ係数適用手段、フィルタ係数適否判断手段、フィルタ処理手段、適否情報符号化手段、およびフィルタ係数符号化手段を設けた。第１のフィルタ係数算出手段により、入力画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出し、第２のフィルタ係数算出手段により、局所復号画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出することとした。また、第１のフィルタ係数適用手段により、局所復号画像に、第１のフィルタ係数算出手段により算出されたフィルタ係数を適用し、第２のフィルタ係数適用手段により、局所復号画像に、第２のフィルタ係数算出手段により算出されたフィルタ係数を適用することとした。また、フィルタ係数適否判断手段により、予め定められた単位領域ごとに、第１のフィルタ係数算出手段により算出されたフィルタ係数と、第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断することとした。具体的には、まず、単位領域ごとに、第１のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度と、第２のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度と、を求めることとした。次に、単位領域ごとに、これら求めた劣化尺度に基づいて、第１のフィルタ係数算出手段により算出されたフィルタ係数と、第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断することとした。また、フィルタ処理手段により、第１のフィルタ係数算出手段により算出されたフィルタ係数と、第２のフィルタ係数算出手段により算出されたフィルタ係数と、のうち、フィルタ係数適否判断手段により単位領域ごとに用いると判断されたものを用いて、局所復号画像に対してフィルタ処理を行うこととした。また、適否情報符号化手段により、フィルタ係数適否判断手段による判断結果を符号化することとした。また、フィルタ係数符号化手段により、第１のフィルタ係数算出手段により算出されたフィルタ係数のうち、フィルタ係数適否判断手段により用いると判断されたものを符号化することとした。

このため、（１）の動画像符号化装置は、局所的な絵柄の類似性に基づくフィルタを用いてフィルタ処理を行うことができるため、主観画質の向上を図ることができる。

また、（１）の動画像符号化装置は、第１のフィルタ係数算出手段により、入力画像により得られたフィルタ係数を算出し、第２のフィルタ係数算出手段により、局所復号画像により得られたフィルタ係数を算出することができる。そして、フィルタ係数適否判断手段により、入力画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度と、局所復号画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度と、を比較して、比較結果に応じて、いずれのフィルタ係数をフィルタ処理に用いるかを判断することができる。このため、入力画像により得られたフィルタ係数と、局所復号画像により得られたフィルタ係数と、のうち、例えば、フィルタ処理に用いた場合に入力画像からの劣化が少ない方を、フィルタ処理に用いると判断することができる。また、例えば、基本的には局所復号画像により得られたフィルタ係数をフィルタ処理に用いると判断し、入力画像により得られたフィルタ係数を用いた方が、局所復号画像により得られたフィルタ係数を用いる場合と比べて、入力画像からの劣化を予め定められたレベル以上に抑えることができる場合には、入力画像により得られたフィルタ係数をフィルタ処理に用いると判断することもできる。以上によれば、視覚的に重要な絵柄であるエッジ成分といった、局所的な絵柄が大きく劣化するケースに関しても、十分な画質を得ることができるため、上述の主観画質の向上を的確に実現できる。

また、（１）の動画像符号化装置は、フィルタ係数符号化手段により、入力画像により得られたフィルタ係数のうち、フィルタ処理に用いられたもののみを符号化する。ここで、局所復号画像により得られたフィルタ係数については、動画像符号化装置で生成された符号化データを復号する動画像復号装置においても算出することができる。このため、動画像復号装置でのフィルタ処理の実現を担保しつつ、伝送する情報量を削減できる。

（２） 本発明は、（１）の動画像符号化装置について、前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度は、当該画像の当該入力画像に対する劣化の度合いが大きくなるに従って、大きな数値で表され、前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度は、当該画像の当該入力画像に対する劣化の度合いが大きくなるに従って、大きな数値で表され、前記フィルタ係数適否判断手段は、前記第２のフィルタ係数適用手段により得られる画像についての劣化尺度から、前記第１のフィルタ係数適用手段により得られる画像についての劣化尺度を減算した差分値が、予め定められた閾値（例えば、後述の予め定められた閾値ＴＨに相当）以上である単位領域に対しては、前記第１のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断し、前記差分値が前記閾値未満である単位領域に対しては、前記第２のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置において、第１のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度は、この画像の入力画像に対する劣化の度合いが大きくなるに従って大きな数値で表され、第２のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度は、この画像の入力画像に対する劣化の度合いが大きくなるに従って大きな数値で表されるものとした。また、フィルタ係数適否判断手段により、第２のフィルタ係数適用手段により得られる画像についての劣化尺度から、第１のフィルタ係数適用手段により得られる画像についての劣化尺度を減算した差分値が、予め定められた閾値以上である単位領域に対しては、第１のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断し、差分値が閾値未満である単位領域に対しては、第２のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断することとした。

このため、（２）の動画像符号化装置は、入力画像からの劣化を、入力画像により得られたフィルタ係数を用いた方が、局所復号画像により得られたフィルタ係数を用いる場合と比べて、閾値により定まるレベル以上に抑えることができる場合に、第１のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断することができる。したがって、上述した効果と同様の効果を奏することができる。

（３） 本発明は、（１）または（２）の動画像符号化装置について、前記フィルタ係数適否判断手段は、前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として、当該入力画像と、当該第１のフィルタ係数適用手段により得られる画像と、のＭｅａｎ Ｓｑｕａｒｅ ＥｒｒｏｒまたはＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙを用い、前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として、当該入力画像と、当該第２のフィルタ係数適用手段により得られる画像と、の前記Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒおよび前記Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙのうち前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として用いたものを用いることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）または（２）の動画像符号化装置において、フィルタ係数適否判断手段により、第１のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度として、入力画像と、第１のフィルタ係数適用手段により得られる画像と、のＭｅａｎ Ｓｑｕａｒｅ ＥｒｒｏｒまたはＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙを用いることとした。また、フィルタ係数適否判断手段により、第２のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度として、入力画像と、第２のフィルタ係数適用手段により得られる画像と、のＭｅａｎ Ｓｑｕａｒｅ ＥｒｒｏｒおよびＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙのうち第１のフィルタ係数適用手段により得られる画像の入力画像からの劣化尺度として用いたものを用いることとした。

このため、（３）の動画像符号化装置は、入力画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度として、Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒを用いた場合には、局所復号画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度として、Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒを用いることができる。また、入力画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度として、Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙを用いた場合には、局所復号画像により得られたフィルタ係数を用いた場合の入力画像からの劣化尺度として、Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙを用いることができる。以上によれば、上述した効果と同様の効果を奏することができる。

（４） 本発明は、（１）〜（３）のいずれかの動画像符号化装置について、前記適否情報符号化手段は、前記フィルタ係数適否判断手段による判断結果を、フラグ情報として表現し（例えば、後述の２次元情報や多段階層構造を用いて表現することに相当）、当該フラグ情報を算術符号化または可変長符号化を用いて符号化することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（３）のいずれかの動画像符号化装置において、適否情報符号化手段により、フィルタ係数適否判断手段による判断結果を、フラグ情報として表現し、このフラグ情報を算術符号化または可変長符号化を用いて符号化することとした。

このため、（４）の動画像符号化装置は、伝送する情報量の増加を抑制しつつ、入力画像により得られたフィルタ係数と、局所復号画像により得られたフィルタ係数と、のいずれを用いてフィルタ処理を行ったかを単位領域ごとに示すことができる。

（５） 本発明は、（４）の動画像符号化装置について、前記適否情報符号化手段は、前記フラグ情報について、２次元情報または多段階層構造を用いて表現することを特徴とする動画像符号化装置を提案している。

この発明によれば、（４）の動画像符号化装置において、適否情報符号化手段により、フラグ情報について、２次元情報または多段階層構造を用いて表現することとした。

このため、（５）の動画像符号化装置は、２次元情報または多段階層構造を用いて上述のフラグ情報を表現することができ、上述した効果と同様の効果を奏することができる。

（６） 本発明は、（１）〜（５）のいずれかの動画像符号化装置について、前記フィルタ係数符号化手段は、前記単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として直交変換するフィルタ係数情報直交変換手段と、前記フィルタ係数情報直交変換手段による直交変換の結果に対して、量子化し、算術符号化または可変長符号化により符号化する変換係数符号化手段と、を備えることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（５）のいずれかの動画像符号化装置において、フィルタ係数符号化手段に、フィルタ係数情報直交変換手段および変換係数符号化手段を設けた。フィルタ係数情報直交変換手段により、単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として直交変換することとした。また、変換係数符号化手段により、フィルタ係数情報直交変換手段による直交変換の結果に対して、量子化し、算術符号化または可変長符号化により符号化することとした。

このため、（６）の動画像符号化装置は、ファイル係数情報直交変換手段による直交変換により、単位領域を構成するＮ×Ｎ個の各画素の画素間相関が高くなるに従って、エネルギを大幅に圧縮することができる。したがって、直交変換の結果を量子化および符号化して、符号化データのデータ量をさらに削減できる。

（７） 本発明は、（１）〜（６）のいずれかの動画像符号化装置について、フィルタ処理単位ブロックごとに制御するフィルタ処理に、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓに基づくフィルタを用いることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（６）のいずれかの動画像符号化装置において、フィルタ処理単位ブロックごとに制御するフィルタ処理に、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓに基づくフィルタを用いることとした。

このため、（７）の動画像符号化装置は、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓに基づくフィルタを用いてフィルタ処理を行うことができ、上述した効果と同様の効果を奏することができる。

（８） 本発明は、復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、（１）〜（７）のいずれかの動画像符号化装置（例えば、図１の動画像符号化装置ＡＡに相当）において生成された符号化データを復号する動画像復号装置（例えば、図４の動画像復号装置ＢＢに相当）であって、前記適否情報符号化手段および前記フィルタ係数符号化手段により生成された符号化データ（例えば、図５の適否情報に関する符号化データｃと、図５のフィルタ係数に関する符号化データと、に相当）を復号するフィルタ情報復号手段（例えば、図５のフィルタ係数復号部１３１および適否情報復号部１３３に相当）と、復号画像（例えば、図５のデコード画像Ｅに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する復号画像フィルタ係数算出手段（例えば、図５のフィルタ係数算出部１３２に相当）と、前記フィルタ情報復号手段により復号されたフィルタ係数（例えば、図５の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）と、前記復号画像フィルタ係数算出手段により算出されたフィルタ係数（例えば、図５のデコード画像Ｅにより得られたＮＬＭフィルタ係数Ｆに相当）と、のうち、前記フィルタ情報復号手段により復号された前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う復号画像フィルタ処理手段（例えば、図５のフィルタ処理部１３４に相当）と、を備えることを特徴とする動画像復号装置を提案している。

この発明によれば、復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、（１）〜（７）のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置に、フィルタ情報復号手段、復号画像フィルタ係数算出手段、および復号画像フィルタ処理手段を設けた。フィルタ情報復号手段により、適否情報符号化手段およびフィルタ係数符号化手段により生成された符号化データを復号することとした。また、復号画像フィルタ係数算出手段により、復号画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出することとした。また、復号画像フィルタ処理手段により、フィルタ情報復号手段により復号されたフィルタ係数と、復号画像フィルタ係数算出手段により算出されたフィルタ係数と、のうち、フィルタ情報復号手段により復号された単位領域ごとの判断結果に応じたものを用いて、復号画像に対してフィルタ処理を行うこととした。

このため、（８）の動画像復号装置は、局所的な絵柄の類似性に基づくフィルタ係数を用いてフィルタ処理を行うことができるため、主観画質の向上を図ることができる。

また、（８）の動画像復号装置は、フィルタ情報復号手段により、動画像符号化装置においてフィルタ処理に用いられた入力画像により得られたフィルタ係数を求めるとともに、復号画像フィルタ係数算出手段により、復号画像により得られたフィルタ係数を算出することができる。そして、復号画像フィルタ処理手段により、動画像符号化装置において入力画像により得られたフィルタ係数が用いられた単位領域に対しては、この入力画像により得られたフィルタ係数を用いてフィルタ処理を行うことができる。一方、動画像符号化装置において局所復号画像により得られたフィルタ係数が用いられた単位領域に対しては、復号画像により得られたフィルタ係数を用いてフィルタ処理を行うことができる。このため、視覚的に重要な絵柄であるエッジ成分といった、局所的な絵柄が大きく劣化するケースに関しても、十分な画質を得ることができるため、上述の主観画質の向上を的確に実現できる。

また、（８）の動画像復号装置は、動画像符号化装置において算出された局所復号画像により得られたフィルタ係数については、復号画像により得られたフィルタ係数として算出し、動画像符号化装置において算出された入力画像により得られたフィルタ係数については、動画像符号化装置から伝送された符号化データを復号して求めることができる。このため、局所復号画像により得られたフィルタ係数については、伝送される必要がないため、動画像復号装置での復号の実現を担保しつつ、伝送される情報量を削減できる。

（９） 本発明は、（８）の動画像復号装置について、前記フィルタ情報復号手段は、前記適否情報符号化手段により生成された符号化データ（例えば、図５の適否情報に関する符号化データｃに相当）を、算術符号化または可変長符号化を用いて復号して、フラグ情報として表現された前記フィルタ係数適否判断手段による判断結果（例えば、図５の適否情報ｒに相当）を求めることを特徴とする動画像復号装置を提案している。

この発明によれば、（８）の動画像復号装置において、フィルタ情報復号手段により、適否情報符号化手段により生成された符号化データを、算術符号化または可変長符号化を用いて復号して、フラグ情報として表現されたフィルタ係数適否判断手段による判断結果を求めることとした。

このため、（９）の動画像復号装置は、伝送される情報量の増加を抑制しつつ、入力画像により得られたフィルタ係数と、局所復号画像により得られたフィルタ係数と、のいずれを用いて動画像符号化装置においてフィルタ処理が行われたのかを、単位領域ごとに判断することができる。

（１０） 本発明は、（９）の動画像復号装置について、前記フラグ情報は、２次元情報または多段階層構造を用いて表現されることを特徴とする動画像復号装置を提案している。

この発明によれば、（９）の動画像復号装置において、フラグ情報を、２次元情報または多段階層構造を用いて表現することとした。

このため、（１０）の動画像復号装置は、２次元情報または多段階層構造を用いて上述のフラグ情報を判断することができ、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、（８）〜（１０）のいずれかの動画像復号装置について、フィルタ情報復号手段は、前記フィルタ係数符号化手段により生成された符号化データを算術復号または可変長復号により復号する変換係数復号手段と、前記変換係数復号手段による復号結果に対して、逆量子化し、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として逆直交変換して、前記単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を求めるフィルタ係数情報逆直交変換手段と、を備えることを特徴とする動画像復号装置を提案している。

この発明によれば、（８）〜（１０）のいずれかの動画像復号装置において、フィルタ情報復号手段に、変換係数復号手段およびフィルタ係数情報逆直交変換手段を設けた。変換係数復号手段により、フィルタ係数符号化手段により生成された符号化データを算術復号または可変長復号により復号することとした。また、フィルタ係数情報逆直交変換手段により、変換係数復号手段による復号結果に対して、逆量子化し、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として逆直交変換して、単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を求めることとした。

このため、（１１）の動画像復号装置は、符号化データから、動画像符号化装置においてフィルタ処理に用いられた入力画像により得られたフィルタ係数を復元することができ、上述した効果と同様の効果を奏することができる。

（１２） 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化方法であって、入力画像（例えば、図２の原画像ａに相当）に対して、局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）を算出する第１のステップ（例えば、図２の第１のフィルタ係数算出部５１による処理に相当）と、局所復号画像（例えば、図２のローカルデコード画像ｋに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２のローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２に相当）を算出する第２のステップ（例えば、図２の第２のフィルタ係数算出部５２による処理に相当）と、前記局所復号画像に、前記第１のステップにおいて算出したフィルタ係数を適用する第３のステップ（例えば、図２の第１のフィルタ係数適用部６１による処理に相当）と、前記局所復号画像に、前記第２のステップにおいて算出したフィルタ係数を適用する第４のステップ（例えば、図２の第２のフィルタ係数適用部６２による処理に相当）と、予め定められた単位領域（例えば、後述のＮ×Ｎ個の画素からなる単位領域に相当）ごとに、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断する第５のステップ（例えば、図２のフィルタ係数適否判断部６３による処理に相当）と、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のうち、前記第５のステップにおいて前記単位領域ごとに用いると判断したものを用いて、前記局所復号画像に対してフィルタ処理を行う第６のステップ（例えば、図２のフィルタ処理部６４による処理に相当）と、前記第５のステップにおける判断結果（例えば、後述の適否情報ｒに相当）を符号化する第７のステップ（例えば、図２の適否情報符号化部６６による処理に相当）と、前記第１のステップにおいて算出したフィルタ係数のうち、前記第５のステップにおいて用いると判断したものを符号化する第８のステップ（例えば、図２のフィルタ係数符号化部６５による処理に相当）と、を備え、前記第５のステップでは、前記単位領域ごとに、前記第３のステップにおいて得た画像の前記入力画像からの劣化尺度と、前記第４のステップにおいて得た画像の前記入力画像からの劣化尺度と、を求めるとともに、前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断することを特徴とする動画像符号化方法を提案している。

この発明によれば、第１に、入力画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出するとともに、局所復号画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出する。第２に、入力画像を用いて算出したフィルタ係数を局所復号画像に適用するとともに、局所復号画像を用いて算出したフィルタ係数を局所復号画像に適用する。第３に、予め定められた単位領域ごとに、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断する。具体的には、まず、単位領域ごとに、入力画像を用いて算出したフィルタ係数の適用により得られた画像の入力画像からの劣化尺度と、局所復号画像を用いて算出したフィルタ係数の適用により得られた画像の入力画像からの劣化尺度と、を求める。次に、単位領域ごとに、これら求めた劣化尺度に基づいて、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断する。第４に、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のうち、上述の用いると判断したものを用いて、局所復号画像に対してフィルタ処理を行う。第５に、上述の用いる判断した結果を符号化する。第６に、入力画像を用いて算出したフィルタ係数のうち、上述の用いると判断したものを符号化する。以上によれば、上述した効果と同様の効果を奏することができる。

（１３） 本発明は、復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、（１２）の動画像符号化方法において生成された符号化データを復号する動画像復号方法であって、前記第７のステップおよび前記第８のステップにおいて生成した符号化データ（例えば、図５の適否情報に関する符号化データｃと、図５のフィルタ係数に関する符号化データと、に相当）を復号する第９のステップ（例えば、図５のフィルタ係数復号部１３１および適否情報復号部１３３による処理に相当）と、復号画像（例えば、図５のデコード画像Ｅに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１０のステップ（例えば、図５のフィルタ係数算出部１３２による処理に相当）と、前記第９のステップにおいて復号したフィルタ係数（例えば、図５の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）と、前記第１０のステップにおいて算出したフィルタ係数（例えば、図５のデコード画像Ｅにより得られたＮＬＭフィルタ係数Ｆに相当）と、のうち、前記第９のステップにおいて復号した前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う第１１のステップ（例えば、図５のフィルタ処理部１３４による処理に相当）と、を備えることを特徴とする動画像復号方法を提案している。

この発明によれば、まず、（１２）の動画像符号化方法において生成された符号化データを復号し、復号画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出する。次に、上述の符号化データの復号により得られたフィルタ係数と、上述の算出したフィルタ係数と、のうち、上述の符号化データの復号により得られた単位領域ごとの判断結果に応じたものを用いて、復号画像に対してフィルタ処理を行う。以上によれば、上述した効果と同様の効果を奏することができる。

（１４） 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、入力画像（例えば、図２の原画像ａに相当）に対して、局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）を算出する第１のステップ（例えば、図２の第１のフィルタ係数算出部５１による処理に相当）と、局所復号画像（例えば、図２のローカルデコード画像ｋに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数（例えば、図２のローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２に相当）を算出する第２のステップ（例えば、図２の第２のフィルタ係数算出部５２による処理に相当）と、前記局所復号画像に、前記第１のステップにおいて算出したフィルタ係数を適用する第３のステップ（例えば、図２の第１のフィルタ係数適用部６１による処理に相当）と、前記局所復号画像に、前記第２のステップにおいて算出したフィルタ係数を適用する第４のステップ（例えば、図２の第２のフィルタ係数適用部６２による処理に相当）と、予め定められた単位領域（例えば、後述のＮ×Ｎ個の画素からなる単位領域に相当）ごとに、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断する第５のステップ（例えば、図２のフィルタ係数適否判断部６３による処理に相当）と、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のうち、前記第５のステップにおいて前記単位領域ごとに用いると判断したものを用いて、前記局所復号画像に対してフィルタ処理を行う第６のステップ（例えば、図２のフィルタ処理部６４による処理に相当）と、前記第５のステップにおける判断結果（例えば、後述の適否情報ｒに相当）を符号化する第７のステップ（例えば、図２の適否情報符号化部６６による処理に相当）と、前記第１のステップにおいて算出したフィルタ係数のうち、前記第５のステップにおいて用いると判断したものを符号化する第８のステップ（例えば、図２のフィルタ係数符号化部６５による処理に相当）と、をコンピュータに実行させ、前記第５のステップでは、前記単位領域ごとに、前記第３のステップにおいて得た画像の前記入力画像からの劣化尺度と、前記第４のステップにおいて得た画像の前記入力画像からの劣化尺度と、を求めるとともに、前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断するためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、第１に、入力画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出するとともに、局所復号画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出する。第２に、入力画像を用いて算出したフィルタ係数を局所復号画像に適用するとともに、局所復号画像を用いて算出したフィルタ係数を局所復号画像に適用する。第３に、予め定められた単位領域ごとに、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断する。具体的には、まず、単位領域ごとに、入力画像を用いて算出したフィルタ係数の適用により得られた画像の入力画像からの劣化尺度と、局所復号画像を用いて算出したフィルタ係数の適用により得られた画像の入力画像からの劣化尺度と、を求める。次に、単位領域ごとに、これら求めた劣化尺度に基づいて、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のいずれを用いて局所復号画像に対してフィルタ処理を行うかを判断する。第４に、入力画像を用いて算出したフィルタ係数と、局所復号画像を用いて算出したフィルタ係数と、のうち、上述の用いると判断したものを用いて、局所復号画像に対してフィルタ処理を行う。第５に、上述の用いる判断した結果を符号化する。第６に、入力画像を用いて算出したフィルタ係数のうち、上述の用いると判断したものを符号化する。以上によれば、上述した効果と同様の効果を奏することができる。

（１５） 本発明は、復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、（１４）のプログラムをコンピュータに実行させることで生成された符号化データを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記第７のステップおよび前記第８のステップにおいて生成した符号化データ（例えば、図５の適否情報に関する符号化データｃと、図５のフィルタ係数に関する符号化データと、に相当）を復号する第９のステップ（例えば、図５のフィルタ係数復号部１３１および適否情報復号部１３３による処理に相当）と、復号画像（例えば、図５のデコード画像Ｅに相当）に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１０のステップ（例えば、図５のフィルタ係数算出部１３２による処理に相当）と、前記第９のステップにおいて復号したフィルタ係数（例えば、図５の原画像ａにより得られたＮＬＭフィルタ係数ｍ１に相当）と、前記第１０のステップにおいて算出したフィルタ係数（例えば、図５のデコード画像Ｅにより得られたＮＬＭフィルタ係数Ｆに相当）と、のうち、前記第９のステップにおいて復号した前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う第１１のステップ（例えば、図５のフィルタ処理部１３４による処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、まず、（１４）のプログラムをコンピュータに実行させることで生成された符号化データを復号し、復号画像に対して局所的な絵柄の類似性に基づいてフィルタ係数を算出する。次に、上述の符号化データの復号により得られたフィルタ係数と、上述の算出したフィルタ係数と、のうち、上述の符号化データの復号により得られた単位領域ごとの判断結果に応じたものを用いて、復号画像に対してフィルタ処理を行う。以上によれば、上述した効果と同様の効果を奏することができる。

本発明によれば、主観画質の向上を的確に実現できる。また、動画像復号装置での復号の実現を担保しつつ、伝送する情報量を削減できる。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるＮＬＭフィルタ係数算出部およびＮＬＭフィルタ処理部の構成を示すブロック図である。 前記ＮＬＭフィルタ係数算出部によるＮＬＭフィルタ係数の算出方法を説明するための図である。 本発明の一実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備えるＮＬＭフィルタ処理部の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［動画像符号化装置ＡＡの構成および動作］
図１は、本発明の一実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、予測値生成部１、ＤＣＴ／量子化部２、エントロピー符号化部３、逆ＤＣＴ／逆量子化部４、ＮＬＭフィルタ係数算出部５、ＮＬＭフィルタ処理部６、およびローカルメモリ７を備え、符号化制御単位（マクロブロック；ＭＢ）ごとに符号化を行う。

予測値生成部１は、入力画像としての原画像ａと、ローカルメモリ７から出力される後述のフィルタ済みローカルデコード画像ｅと、を入力とする。この予測値生成部１は、イントラ予測やインター予測などの予測方法を用いて予測値を生成する。そして、最も高い符号化性能が期待される予測方法を用いて生成した予測値を、予測値ｆとして出力する。

ＤＣＴ／量子化部２は、原画像ａと、予測値ｆと、の差分を入力とする。このＤＣＴ／量子化部２は、入力される信号に対してＤＣＴ処理および量子化処理を施し、量子化されたＤＣＴ係数（残差信号）ｇとして出力する。

エントロピー符号化部３は、量子化されたＤＣＴ係数（残差信号）ｇを入力とする。このエントロピー符号化部３は、入力される信号に対してエントロピー符号化を行い、符号化データｂとして出力する。

逆ＤＣＴ／逆量子化部４は、量子化されたＤＣＴ係数（残差信号）ｇを入力とする。この逆ＤＣＴ／逆量子化部４は、入力される信号に対して逆量子化処理および逆ＤＣＴ処理を施し、逆ＤＣＴされた画素信号ｈとして出力する。

ローカルメモリ７は、ＮＬＭフィルタ処理部６から出力される後述のフィルタ済みローカルデコード画像ｅを入力とする。このローカルメモリ７は、フィルタ済みローカルデコード画像ｅを蓄積し、適宜、予測値生成部１に出力する。

ＮＬＭフィルタ係数算出部５は、原画像ａと、局所復号画像としてのローカルデコード画像ｋと、を入力とする。このＮＬＭフィルタ係数算出部５は、詳細については図２を用いて後述するが、原画像ａの全ての画素に対してＮＬＭフィルタ係数を算出して、原画像ａにより得られたＮＬＭフィルタ係数ｍ１として出力するとともに、ローカルデコード画像ｋの全ての画素に対してＮＬＭフィルタ係数を算出して、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２として出力する。なお、ローカルデコード画像ｋとは、予測値ｆと、逆ＤＣＴされた画素信号ｈと、を加算したもののことである。

ＮＬＭフィルタ処理部６は、原画像ａと、ローカルデコード画像ｋと、原画像ａにより得られたＮＬＭフィルタ係数ｍ１と、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２と、を入力とする。このＮＬＭフィルタ処理部６は、詳細については図２を用いて後述するが、ＮＬＭフィルタ係数ｍ１、ｍ２のうちいずれを用いるべきかを単位領域ごとに判定し、判定結果に応じたＮＬＭフィルタ係数を用いてローカルデコード画像ｋに対してフィルタ処理を施す。そして、フィルタ処理を施したローカルデコード画像を、フィルタ済みローカルデコード画像ｅとして出力するとともに、後述の適否情報に関する符号化データｃと、後述のフィルタ係数に関する符号化データｄと、を出力する。

図２は、ＮＬＭフィルタ係数算出部５およびＮＬＭフィルタ処理部６の構成を示すブロック図である。

［ＮＬＭフィルタ係数算出部５の構成および動作］
ＮＬＭフィルタ係数算出部５は、第１のフィルタ係数算出部５１および第２のフィルタ係数算出部５２を備える。

第１のフィルタ係数算出部５１は、原画像ａを入力とする。この第１のフィルタ係数算出部５１は、原画像ａを構成する各画素に対してＮＬＭフィルタ係数を算出して、原画像ａにより得られたＮＬＭフィルタ係数ｍ１として出力する。ＮＬＭフィルタ係数とは、局所的な絵柄の類似性に基づくフィルタ係数の一種である。この原画像ａにより得られたＮＬＭフィルタ係数ｍ１の算出方法について、図３を用いて以下に説明する。

ＮＬＭフィルタでは、フィルタ処理対象画素ｉの近傍のＬ×Ｌ個（Ｌは、Ｌ≧２を満たす任意の整数）の画素を対象としたフィルタ処理を行う。フィルタ処理対象画素ｉと、フィルタ係数算出画素ｊと、のそれぞれについて、近傍のＭ×Ｍ個（Ｍは、１≦Ｍ≦Ｌを満たす任意の整数）の画素の領域との類似性を評価し、類似性が高いほど、大きなフィルタ係数を設定する。具体的には、入力される原画像ａを以下の式（１）のように表すものとすると、フィルタ処理対象画素ｉに対するフィルタ係数算出画素ｊにおけるフィルタ係数ｗ（ｉ、ｊ）は、以下の式（２）により求めることができる。

なお、式（２）において、Ｎ_ｉは、フィルタ処理対象画素ｉの近傍のＭ×Ｍ個の画素の領域を示し、Ｎ_ｊは、フィルタ係数算出画素ｊの近傍のＭ×Ｍ個の画素の領域を示すものとする。また、ｖ（Ｎ_ｉ）は、Ｎ_ｉに対するグレーレベルでの明度を示し、ｖ（Ｎ_ｊ）は、Ｎ_ｊに対するグレーレベルでの明度を示すものとする。また、ｈは、フィルタの強度を示すものとする。また、ｚ（ｉ）は、以下の式（３）により求めることができるものとする。

図２に戻って、第２のフィルタ係数算出部５２は、ローカルデコード画像ｋを入力とする。この第２のフィルタ係数算出部５２は、図３を用いて上述した方法と同様の方法により、ローカルデコード画像ｋを構成する各画素に対してＮＬＭフィルタ係数を算出して、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２として出力する。

［ＮＬＭフィルタ処理部６の構成および動作］
ＮＬＭフィルタ処理部６は、第１のフィルタ係数適用部６１、第２のフィルタ係数適用部６２、フィルタ係数適否判断部６３、フィルタ処理部６４、フィルタ係数符号化部６５、および適否情報符号化部６６を備える。

第１のフィルタ係数適用部６１は、ローカルデコード画像ｋと、原画像ａにより得られたＮＬＭフィルタ係数ｍ１と、を入力とする。この第１のフィルタ係数適用部６１は、原画像ａにより得られたＮＬＭフィルタ係数ｍ１を、ローカルデコード画像ｋに対して適用して、以下の式（４）に示す画素値ＮＬ［ｖ］（ｉ）を算出し、原画像ａにより得られたＮＬＭフィルタ係数ｍ１の適用結果ｐとして出力する。

第２のフィルタ係数適用部６２は、ローカルデコード画像ｋと、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２と、を入力とする。この第２のフィルタ係数適用部６２は、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２を、ローカルデコード画像ｋに対して適用して、上述の式（４）に示した画素値ＮＬ［ｖ］（ｉ）を算出し、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２の適用結果ｑとして出力する。

フィルタ係数適否判断部６３は、原画像ａと、原画像ａにより得られたＮＬＭフィルタ係数ｍ１の適用結果ｐと、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２の適用結果ｑと、を入力とする。このフィルタ係数適否判断部６３は、Ｎ×Ｎ個（Ｎは、Ｎ≧１を満たす任意の整数）の画素からなる単位領域ごとに、ＮＬＭフィルタ係数ｍ１およびＮＬＭフィルタ係数ｍ２のどちらを用いるかを判断し、判断結果を適否情報ｒとして出力する。

具体的には、まず、Ｎ×Ｎ個の画素からなる単位領域ごとに、ＮＬＭフィルタ係数ｍ１を適用した場合の原画像ａからの劣化尺度を、適用結果ｐを用いて求めるとともに、ＮＬＭフィルタ係数ｍ２を適用した場合の原画像ａからの劣化尺度を、適用結果ｑを用いて求める。なお、ＮＬＭフィルタ係数ｍ１を適用した場合の原画像ａからの劣化尺度は、ＮＬＭフィルタ係数ｍ１を適用した場合の原画像ａに対する劣化の度合いが大きくなるに従って、大きな数値で表されるものとする。また、ＮＬＭフィルタ係数ｍ２を適用した場合の原画像ａからの劣化尺度は、ＮＬＭフィルタ係数ｍ２を適用した場合の原画像ａに対する劣化の度合いが大きくなるに従って、大きな数値で表されるものとする。

次に、Ｎ×Ｎ個の画素からなる単位領域ごとに、ＮＬＭフィルタ係数ｍ２を適用した場合の劣化尺度からＮＬＭフィルタ係数ｍ１を適用した場合の劣化尺度を減算した差分値と、予め定められた閾値ＴＨと、を比較する。そして、上述の差分値が閾値ＴＨ以上である単位領域に対しては、原画像ａにより得られたＮＬＭフィルタ係数ｍ１を用いると判断する。一方、上述の差分値が閾値ＴＨ未満である単位領域に対しては、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２を用いると判断する。

なお、フィルタ係数適否判断部６３は、上述の２つの劣化尺度として、例えばＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）といった、原画像と符号化画像からの劣化度を評価できるものを用いるものとする。

フィルタ処理部６４は、ローカルデコード画像ｋと、原画像ａにより得られたＮＬＭフィルタ係数ｍ１と、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２と、適否情報ｒと、を入力とする。このフィルタ処理部６４は、適否情報ｒに基づいて、ＮＬＭフィルタ係数ｍ１およびＮＬＭフィルタ係数ｍ２のうち、フィルタ係数適否判断部６３により単位領域ごとに用いると判断されたものを用いて、ローカルデコード画像ｋに対してＮＬＭフィルタ処理を行って、フィルタ済みローカルデコード画像ｅとして出力する。

フィルタ係数符号化部６５は、原画像ａにより得られたＮＬＭフィルタ係数ｍ１と、適否情報ｒと、を入力とする。このフィルタ係数符号化部６５は、フィルタ係数適否判断部６３によりＮＬＭフィルタ係数ｍ１を用いると判断された単位領域を、適否情報ｒに基づいて識別し、識別した各単位領域におけるＮＬＭフィルタ係数ｍ１を符号化し、フィルタ係数に関する符号化データｄとして出力する。

ここで、各単位領域におけるＮＬＭフィルタ係数ｍ１は、Ｎ×Ｎ個の各画素に対してＬ×Ｌ個ずつ存在している。そこで、上述の各単位領域におけるＮＬＭフィルタ係数ｍ１の符号化では、まず、各単位領域におけるＮＬＭフィルタ係数ｍ１を、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として直交変換により周波数領域に変換し、低周波成分から高周波成分に向けたスキャン順序に従って１次元信号化する。次に、１次元化した信号を、量子化し、算術符号化または可変長符号化により符号化し、上述のフィルタ係数に関する符号化データｄとして出力する。なお、量子化においては、周波数成分ごとに量子化幅が異なることを許容するものとする。

適否情報符号化部６６は、適否情報ｒを入力とする。この適否情報符号化部６６は、適否情報ｒを、２次元情報である１ｂｉｔのフラグ情報として表現して符号化し、適否情報に関する符号化データｃとして出力する。

なお、上述の適否情報ｒを２次元情報である１ｂｉｔのフラグ情報として表現する際には、ＮＬＭフィルタ係数ｍ１を適用する単位領域を「０」で表し、ＮＬＭフィルタ係数ｍ２を適用する単位領域を「１」で表す。ただし、ＮＬＭフィルタ係数ｍ１を適用する単位領域を「１」で表し、ＮＬＭフィルタ係数ｍ２を適用する単位領域を「０」で表してもよい。

また、上述の適否情報ｒをフラグ情報として表現したものの符号化では、原画像ａのフレームサイズをＷ×Ｈとすると、１フレームあたり（Ｗ／Ｎ）×（Ｈ／Ｎ）個のフラグ情報について、算術符号化または可変長符号化により符号化する。算術符号化としては、例えばＣＡＢＡＣを用いることができ、可変長符号化としては、例えばラン長符号化を用いることができる。また、（Ｗ／Ｎ）×（Ｈ／Ｎ）個のフラグ情報は、２次元のベクトルまたは４分木表現による階層構造として表現することができる。

［動画像復号装置ＢＢの構成および動作］
図４は、本発明の一実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、エントロピー復号部１１０、予測値生成部１２０、ＮＬＭフィルタ処理部１３０、およびメモリ１４０を備え、動画像符号化装置ＡＡにおいて生成された符号化データｂを復号して復号済み画像Ａを生成する。

エントロピー復号部１１０は、符号化データｂを入力とする。このエントロピー復号部１１０は、符号化データ構造に従って符号化データｂに記載されている内容を解析し、エントロピー復号して、エントロピー復号の結果として得られる予測情報Ｂおよび残差信号Ｃを出力する。

予測値生成部１２０は、予測情報Ｂと、メモリ１４０から出力される復号済み画像Ａと、を入力とする。この予測値生成部１２０は、予測情報Ｂに基づいて予測方法を決定し、決定した方法に従って、復号済み画像Ａを用いて予測値Ｄを生成し、出力する。

ＮＬＭフィルタ処理部１３０は、適否情報に関する符号化データｃと、フィルタ係数に関する符号化データｄと、デコード画像Ｅと、を入力とする。ここで、デコード画像Ｅとは、残差信号Ｃと予測値Ｄとを加算したもののことである。このＮＬＭフィルタ処理部１３０は、詳細については図５を用いて後述するが、ＮＬＭフィルタ係数ｍ１およびＮＬＭフィルタ係数ｍ２のうち単位領域ごとに動画像符号化装置ＡＡのフィルタ係数適否判断部６３で判断されたものを用いて、デコード画像Ｅに対してフィルタ処理を行って、復号済み画像Ａとして出力する。

メモリ１４０は、ＮＬＭフィルタ処理部１３０から出力される復号済み画像Ａを入力とする。このメモリ１４０は、復号済み画像Ａを蓄積し、適宜、予測値生成部１２０に出力する。

図５は、ＮＬＭフィルタ処理部１３０の構成を示すブロック図である。

［ＮＬＭフィルタ処理部１３０の構成および動作］
ＮＬＭフィルタ処理部１３０は、フィルタ係数復号部１３１、フィルタ係数算出部１３２、適否情報復号部１３３、およびフィルタ処理部１３４を備える。

フィルタ係数復号部１３１は、フィルタ係数に関する符号化データｄを入力とする。このフィルタ係数復号部１３１は、フィルタ係数に関する符号化データｄについて、動画像符号化装置ＡＡで用いられた符号化方法に従って算術復号または可変長復号を行い、逆量子化および逆直交変換を行って、単位領域ごとにＮ×Ｎ×Ｌ×Ｌのフィルタ係数情報を求め、上述の原画像ａにより得られたＮＬＭフィルタ係数ｍ１を得る。そして、この原画像ａにより得られたＮＬＭフィルタ係数ｍ１を出力する。

フィルタ係数算出部１３２は、デコード画像Ｅを入力とする。このフィルタ係数算出部１３２は、図３を用いて上述した方法と同様の方法により、デコード画像Ｅの全ての画素に対してＮＬＭフィルタ係数を算出して、デコード画像Ｅにより得られたＮＬＭフィルタ係数Ｆとして出力する。

適否情報復号部１３３は、適否情報に関する符号化データｃを入力とする。この適否情報復号部１３３は、適否情報に関する符号化データｃについて、動画像符号化装置ＡＡで用いられた符号化方法に従って算術復号または可変長復号を行って、上述の適否情報ｒを得る。そして、この適否情報ｒを出力する。

フィルタ処理部１３４は、デコード画像Ｅと、デコード画像Ｅにより得られたフィルタ係数Ｆと、原画像ａにより得られたＮＬＭフィルタ係数ｍ１と、適否情報ｒと、を入力とする。このフィルタ処理部１３４は、まず、適否情報ｒに基づいて、フィルタ処理部６４においてＮＬＭフィルタ係数ｍ１が用いられた単位領域と、フィルタ処理部６４においてＮＬＭフィルタ係数ｍ２が用いられた単位領域と、を判別する。次に、デコード画像Ｅのうち、ＮＬＭフィルタ係数ｍ１が用いられた単位領域については、ＮＬＭフィルタ係数ｍ１を用いてＮＬＭフィルタ処理を行い、ＮＬＭフィルタ係数ｍ２が用いられた単位領域については、デコード画像Ｅにより得られたＮＬＭフィルタ係数Ｆを用いてＮＬＭフィルタ処理を行って、復号済み画像Ａとして出力する。

以上の動画像符号化装置ＡＡは、ＮＬＭフィルタ係数ｍ１、ｍ２を算出し、これらを用いてフィルタ処理を行う。このため、ＮＬＭフィルタを用いてフィルタ処理を行うことができるため、主観画質の向上を図ることができる。

また、動画像符号化装置ＡＡは、ＮＬＭフィルタ係数ｍ２を適用した場合の劣化尺度からＮＬＭフィルタ係数ｍ１を適用した場合の劣化尺度を減算した差分値が、閾値ＴＨ以上である単位領域に対しては、原画像ａにより得られたＮＬＭフィルタ係数ｍ１を用いると判断する。一方、上述の差分値が閾値ＴＨ未満である単位領域に対しては、ローカルデコード画像ｋにより得られたＮＬＭフィルタ係数ｍ２を用いると判断する。このため、基本的には、ＮＬＭフィルタ係数ｍ２を用いてフィルタ処理を行うが、ＮＬＭフィルタ係数ｍ１を用いた方が、ＮＬＭフィルタ係数ｍ２を用いる場合と比べて、原画像ａからの劣化を閾値ＴＨにより定まるレベル以上に抑えることができる場合には、ＮＬＭフィルタ係数ｍ１を用いることとなる。したがって、視覚的に重要な絵柄であるエッジ成分といった、局所的な絵柄が大きく劣化するケースに関しても、十分な画質を得ることができるため、上述の主観画質の向上を的確に実現できる。

また、動画像符号化装置ＡＡは、図３を用いて上述した方法により算出した全てのＮＬＭフィルタ係数ｍ１のうち、フィルタ処理に用いたもののみを符号化して、フィルタ係数に関する符号化データｄとして動画像復号装置ＢＢに伝送する。ここで、ＮＬＭフィルタ係数ｍ２については、ＮＬＭフィルタ係数Ｆとして動画像復号装置ＢＢで算出できる。このため、動画像復号装置ＢＢでのフィルタ処理の実現を担保しつつ、伝送する情報量を削減できる。

また、動画像符号化装置ＡＡは、適否情報符号化部６６により、適否情報ｒを、２次元情報である１ｂｉｔのフラグ情報として表現する。このため、動画像復号装置ＢＢに伝送する情報量の増加を抑制しつつ、ＮＬＭフィルタ係数ｍ１、ｍ２のいずれを用いてフィルタ処理を行ったかを、単位領域ごとに示すことができる。

また、動画像符号化装置ＡＡは、フィルタ係数符号化部６５により、ＮＬＭフィルタ係数ｍ１を直交変換する。ここで、単位領域を構成するＮ×Ｎ個の各画素の画素間相関が高くなるに従って、エネルギを大幅に圧縮することができる。このため、直交変換の結果を量子化および符号化して、動画像復号装置ＢＢに伝送する情報量をさらに削減できる。

また、以上の動画像復号装置ＢＢは、動画像符号化装置ＡＡにおいてＮＬＭフィルタ係数ｍ１が用いられた単位領域に対しては、ＮＬＭフィルタ係数ｍ１を用いてフィルタ処理を行う。一方、動画像符号化装置ＡＡにおいてＮＬＭフィルタ係数ｍ２が用いられた単位領域に対しては、このＮＬＭフィルタ係数ｍ２に相当するＮＬＭフィルタ係数Ｆを算出し、このＮＬＭフィルタ係数Ｆを用いてフィルタ処理を行う。このため、視覚的に重要な絵柄であるエッジ成分といった、局所的な絵柄が大きく劣化するケースに関しても、十分な画質を得ることができるため、上述の主観画質の向上を的確に実現できる。

なお、本発明の動画像符号化装置ＡＡの処理や、動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡや動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、局所的な絵柄の類似性に基づくフィルタとして、ＮＬＭフィルタを用いたが、これに限らず、ＮＬＭフィルタと同様の性質を持つフィルタ、例えばＴｏｔａｌ Ｖａｒｉａｔｉｏｎや、上述の非特許文献５に示されているＢｉｌａｔｅｒａｌ Ｆｉｌｔｅｒや、上述の非特許文献６に示されているＳＵＳＡＮ Ｆｉｌｔｅｒなどを用いてもよい。

また、上述の実施形態では、適否情報符号化部６６は、単位領域ごとにＮＬＭフィルタ係数ｍ１およびＮＬＭフィルタ係数ｍ２のどちらを用いるかを示す適否情報のフラグ情報について、２次元情報を用いて表現したが、これに限らず、例えば多段階層構造を用いて表現してもよい。

ＡＡ・・・動画像符号化装置
１・・・予測値生成部
２・・・ＤＣＴ／量子化部
３・・・エントロピー符号化部
４・・・逆ＤＣＴ／逆量子化部
５・・・ＮＬＭフィルタ係数算出部
５１・・・第１のフィルタ係数算出部
５２・・・第２のフィルタ係数算出部
６・・・ＮＬＭフィルタ処理部
６１・・・第１のフィルタ係数適用部
６２・・・第２のフィルタ係数適用部
６３・・・フィルタ係数適否判断部
６４・・・フィルタ処理部
６５・・・フィルタ係数符号化部
６６・・・適否情報符号化部
７・・・ローカルメモリ
ＢＢ・・・動画像復号装置
１１０・・・エントロピー復号部
１２０・・・予測値生成部
１３０・・・ＮＬＭフィルタ処理部
１３１・・・フィルタ係数復号部
１３２・・・フィルタ係数算出部
１３３・・・適否情報復号部
１３４・・・フィルタ処理部
１４０・・・メモリ

Claims (15)

1. 符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化装置であって、
   入力画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１のフィルタ係数算出手段と、
   局所復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第２のフィルタ係数算出手段と、
   前記局所復号画像に、前記第１のフィルタ係数算出手段により算出されたフィルタ係数を適用する第１のフィルタ係数適用手段と、
   前記局所復号画像に、前記第２のフィルタ係数算出手段により算出されたフィルタ係数を適用する第２のフィルタ係数適用手段と、
   予め定められた単位領域ごとに、前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断するフィルタ係数適否判断手段と、
   前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のうち、前記フィルタ係数適否判断手段により前記単位領域ごとに用いると判断されたものを用いて、前記局所復号画像に対してフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ係数適否判断手段による判断結果を符号化する適否情報符号化手段と、
   前記第１のフィルタ係数算出手段により算出されたフィルタ係数のうち、前記フィルタ係数適否判断手段により用いると判断されたものを符号化するフィルタ係数符号化手段と、を備え、
   前記フィルタ係数適否判断手段は、
   前記単位領域ごとに、前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度と、前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度と、を求めるとともに、
   前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のフィルタ係数算出手段により算出されたフィルタ係数と、前記第２のフィルタ係数算出手段により算出されたフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断することを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度は、当該画像の当該入力画像に対する劣化の度合いが大きくなるに従って、大きな数値で表され、
   前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度は、当該画像の当該入力画像に対する劣化の度合いが大きくなるに従って、大きな数値で表され、
   前記フィルタ係数適否判断手段は、
   前記第２のフィルタ係数適用手段により得られる画像についての劣化尺度から、前記第１のフィルタ係数適用手段により得られる画像についての劣化尺度を減算した差分値が、予め定められた閾値以上である単位領域に対しては、前記第１のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断し、
   前記差分値が前記閾値未満である単位領域に対しては、前記第２のフィルタ係数算出手段により算出されたフィルタ係数を用いると判断することを特徴とする動画像符号化装置。
3. 請求項１または２に記載の動画像符号化装置において、
   前記フィルタ係数適否判断手段は、
   前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として、当該入力画像と、当該第１のフィルタ係数適用手段により得られる画像と、のＭｅａｎ Ｓｑｕａｒｅ ＥｒｒｏｒまたはＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙを用い、
   前記第２のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として、当該入力画像と、当該第２のフィルタ係数適用手段により得られる画像と、の前記Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒおよび前記Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙのうち前記第１のフィルタ係数適用手段により得られる画像の前記入力画像からの劣化尺度として用いたものを用いることを特徴とする動画像符号化装置。
4. 請求項１から３のいずれかに記載の動画像符号化装置において、
   前記適否情報符号化手段は、前記フィルタ係数適否判断手段による判断結果を、フラグ情報として表現し、当該フラグ情報を算術符号化または可変長符号化を用いて符号化することを特徴とする動画像符号化装置。
5. 請求項４に記載の動画像符号化装置において、
   前記適否情報符号化手段は、前記フラグ情報について、２次元情報または多段階層構造を用いて表現することを特徴とする動画像符号化装置。
6. 請求項１から５のいずれかに記載の動画像符号化装置において、
   前記フィルタ係数符号化手段は、
   前記単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として直交変換するフィルタ係数情報直交変換手段と、
   前記フィルタ係数情報直交変換手段による直交変換の結果に対して、量子化し、算術符号化または可変長符号化により符号化する変換係数符号化手段と、を備えることを特徴とする動画像符号化装置。
7. 請求項１から６のいずれかに記載の動画像符号化装置において、
   フィルタ処理単位ブロックごとに制御するフィルタ処理に、Ｎｏｎ Ｌｏｃａｌ Ｍｅａｎｓに基づくフィルタを用いることを特徴とする動画像符号化装置。
8. 復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、請求項１から７のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
   前記適否情報符号化手段および前記フィルタ係数符号化手段により生成された符号化データを復号するフィルタ情報復号手段と、
   復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する復号画像フィルタ係数算出手段と、
   前記フィルタ情報復号手段により復号されたフィルタ係数と、前記復号画像フィルタ係数算出手段により算出されたフィルタ係数と、のうち、前記フィルタ情報復号手段により復号された前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う復号画像フィルタ処理手段と、を備えることを特徴とする動画像復号装置。
9. 請求項８に記載の動画像復号装置において、
   前記フィルタ情報復号手段は、前記適否情報符号化手段により生成された符号化データを、算術符号化または可変長符号化を用いて復号して、フラグ情報として表現された前記フィルタ係数適否判断手段による判断結果を求めることを特徴とする動画像復号装置。
10. 請求項９に記載の動画像復号装置において、
    前記フラグ情報は、２次元情報または多段階層構造を用いて表現されることを特徴とする動画像復号装置。
11. 請求項８から１０のいずれかに記載の動画像復号装置において、
    フィルタ情報復号手段は、
    前記フィルタ係数符号化手段により生成された符号化データを算術復号または可変長復号により復号する変換係数復号手段と、
    前記変換係数復号手段による復号結果に対して、逆量子化し、Ｎ×Ｎ×Ｌ×Ｌの４次元の信号として逆直交変換して、前記単位領域を構成するＮ×Ｎ個の各画素に対するＬ×Ｌ個のフィルタ係数を求めるフィルタ係数情報逆直交変換手段と、を備えることを特徴とする動画像復号装置。
12. 符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化方法であって、
    入力画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１のステップと、
    局所復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第２のステップと、
    前記局所復号画像に、前記第１のステップにおいて算出したフィルタ係数を適用する第３のステップと、
    前記局所復号画像に、前記第２のステップにおいて算出したフィルタ係数を適用する第４のステップと、
    予め定められた単位領域ごとに、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断する第５のステップと、
    前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のうち、前記第５のステップにおいて前記単位領域ごとに用いると判断したものを用いて、前記局所復号画像に対してフィルタ処理を行う第６のステップと、
    前記第５のステップにおける判断結果を符号化する第７のステップと、
    前記第１のステップにおいて算出したフィルタ係数のうち、前記第５のステップにおいて用いると判断したものを符号化する第８のステップと、を備え、
    前記第５のステップでは、
    前記単位領域ごとに、前記第３のステップにおいて得た画像の前記入力画像からの劣化尺度と、前記第４のステップにおいて得た画像の前記入力画像からの劣化尺度と、を求めるとともに、
    前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断することを特徴とする動画像符号化方法。
13. 復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、請求項１２に記載の動画像符号化方法において生成された符号化データを復号する動画像復号方法であって、
    前記第７のステップおよび前記第８のステップにおいて生成した符号化データを復号する第９のステップと、
    復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１０のステップと、
    前記第９のステップにおいて復号したフィルタ係数と、前記第１０のステップにおいて算出したフィルタ係数と、のうち、前記第９のステップにおいて復号した前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う第１１のステップと、を備えることを特徴とする動画像復号方法。
14. 符号化処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    入力画像に対して、局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１のステップと、
    局所復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第２のステップと、
    前記局所復号画像に、前記第１のステップにおいて算出したフィルタ係数を適用する第３のステップと、
    前記局所復号画像に、前記第２のステップにおいて算出したフィルタ係数を適用する第４のステップと、
    予め定められた単位領域ごとに、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断する第５のステップと、
    前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のうち、前記第５のステップにおいて前記単位領域ごとに用いると判断したものを用いて、前記局所復号画像に対してフィルタ処理を行う第６のステップと、
    前記第５のステップにおける判断結果を符号化する第７のステップと、
    前記第１のステップにおいて算出したフィルタ係数のうち、前記第５のステップにおいて用いると判断したものを符号化する第８のステップと、をコンピュータに実行させ、
    前記第５のステップでは、
    前記単位領域ごとに、前記第３のステップにおいて得た画像の前記入力画像からの劣化尺度と、前記第４のステップにおいて得た画像の前記入力画像からの劣化尺度と、を求めるとともに、
    前記単位領域ごとに、前記劣化尺度に基づいて、前記第１のステップにおいて算出したフィルタ係数と、前記第２のステップにおいて算出したフィルタ係数と、のいずれを用いて前記局所復号画像に対してフィルタ処理を行うかを判断するためのプログラム。
15. 復号処理ループ内で適応フィルタ処理を許容し、フィルタ処理単位ブロックごとにフィルタ処理を制御して、請求項１４に記載のプログラムをコンピュータに実行させることで生成された符号化データを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記第７のステップおよび前記第８のステップにおいて生成した符号化データを復号する第９のステップと、
    復号画像に対して、前記局所的な絵柄の類似性に基づいてフィルタ係数を算出する第１０のステップと、
    前記第９のステップにおいて復号したフィルタ係数と、前記第１０のステップにおいて算出したフィルタ係数と、のうち、前記第９のステップにおいて復号した前記単位領域ごとの前記判断結果に応じたものを用いて、前記復号画像に対してフィルタ処理を行う第１１のステップと、をコンピュータに実行させるためのプログラム。

Images