JPWO2010041534A1 - 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 - Google Patents

Abstract

画像本来のエッジを保ちつつ、再生された画像上に発生する残留歪み信号を抑制するために、画像加工装置（ループ内フィルタ（１０９））は、入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタ手段（２０１）と、生成された第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成器（２０２）と、生成された第１フィルタ画像の各画素についての属性値に基づいて選択される第１フィルタ画像の対象画素に、第２フィルタを適用して第２フィルタ画像を生成する第２フィルタ手段（２０３）と、を備える。

Description

本発明は、動画像を加工する画像加工装置、方法及びプログラム、動画像の符号化にて扱われる再生画像に残留する歪み信号を除去する動画像符号化装置、方法及びプログラム、動画像の復号にて扱われる再生画像に残留する歪み信号を除去する動画像復号装置、方法及びプログラム、並びに、符号化と復号を行う符号化・復号システム及び方法に関する。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１、２、４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

符号化効率を高めるために、符号化対象となる画像を複数の対象ブロックに分割した上で予測符号化・復号処理を行う。具体的には１フレームの画像を１６×１６画素から成る対象ブロックに分割する。画面内予測符号化方法では、符号化対象となる対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データから復元されたもの）を用いて予測信号を生成した上で、該予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。

また、画面内予測符号化方法に代わり、画面間予測符号化方法（動画像における時間軸上で隣接する他のフレームを参照して対象ブロックの予測信号を生成し該予測信号と対象ブロックとの差分を符号化する方法）が用いられる場合もある。この場合、対象ブロックに対し、符号化済で復元された他のフレームを参照画像として動き検出を行い、誤差の最も少ない予測信号を決定した上で、該予測信号と対象ブロックとの差分値を求める。

次に、画面内予測符号化方法又は画面間予測符号化方法により得られた差分信号に対し、離散コサイン変換と量子化処理を行う。そして、量子化された離散コサイン変換の係数、及び、予測信号を特定するための動きベクトル又はモード情報をエントロピー符号化し、符号化データを生成する。

このようにして符号化された符号化データは、次の対象ブロックの予測信号を求めるために、一度復元されて再生される。再生された画像は、ループ内フィルタ処理により、符号化に伴う歪みが除去された後、参照画像としてフレームメモリに格納される。

上記のループ内フィルタとしては、ブロック間に発生するブロック歪みを除去するブロック歪み除去フィルタが知られているが、このブロック歪み除去フィルタは、ボケた画像を生成しやすいという問題点がある。一方、特許文献１には、再生された画像内の本来のエッジ周辺のノイズを除去するフィルタ処理が記載されている。この特許文献１の手法では、画像内の物体のエッジをまたがないようにフィルタ処理が実行されるため、エッジを保存しつつ画面全体の印象を鮮明にする効果がある。

米国公開公報２００６／０１５３３０１

しかしながら、特許文献１のフィルタ処理は、エッジを保存する処理であるため、取り除けない歪を残してしまうという別の問題点がある。特に、ブロック歪みが階段状に発生する擬似輪郭が発生しやすい。このような残留歪み信号は、画面全体にローパスフィルタを適用することにより抑制できる。ところが、画面全体に無作為にローパスフィルタを適用すれば、画像本来のエッジをつぶしてしまう。

本発明は、上記の課題を解決するために成されたものであり、画像本来のエッジを保ちつつ、再生された画像上に発生する残留歪み信号を抑制することを目的とする。

上記目的を達成するために、本発明に係る画像加工装置は、入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタ手段と、前記第１フィルタ手段により生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成手段と、前記属性情報生成手段により生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタ手段と、を備えることを特徴とする。

上記の本発明に係る画像加工装置は、前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択手段、をさらに備えることが望ましい。

また、本発明に係る画像加工装置において、前記第２フィルタ手段は、前記第１フィルタ画像の前記対象画素についての前記属性値と該対象画素に隣接する所定数の画素についての前記属性値とから算出される値が所定の値より大きい場合、生成される前記第２フィルタ画像の画素として、前記第１フィルタ画像の前記対象画素を選択する構成とすることが望ましい。

また、本発明に係る画像加工装置において、前記第２フィルタは、１次元のフィルタであり、前記第２フィルタ手段は、前記第２フィルタを、前記第１フィルタ画像の対象画素に対し、水平方向および垂直方向のうち一方の方向に適用した後、さらに、前記第２フィルタを他方の方向に適用する構成とすることが望ましい。

また、本発明に係る画像加工装置において、前記第２のフィルタは、[1,1,1,1,1,1,1,2,1,1,1,1,1,1,1]／16で示される１５タップを有し、前記第２フィルタ手段は、前記対象画素および該対象画素の左右に隣接する７画素ずつの計１５画素、又は、前記対象画素および該対象画素の上下に隣接する７画素ずつの計１５画素を参照して、前記対象画素に前記第２のフィルタを適用する構成とすることが望ましい。

また、本発明に係る画像加工装置において、前記第１フィルタが適用対象の画素の周囲Ｍ画素で囲われる範囲の画素を参照するフィルタである場合、前記第２フィルタは、適用対象の画素の周囲における、前記Ｍ画素よりも多いＬ画素で囲われる範囲の画素を参照するフィルタにより構成されることが望ましい。

ところで、本発明は、画像加工方法に係る発明、および、画像加工プログラムに係る発明として捉えることもでき、それぞれ以下のように記述することができる。

本発明に係る画像加工方法は、画像加工装置により実行される画像加工方法であって、入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタステップと、前記第１フィルタステップにより生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成ステップと、前記属性情報生成ステップにより生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタステップと、を備えることを特徴とする。

なお、本発明に係る画像加工方法は、前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択ステップ、をさらに備えることが望ましい。

本発明に係る画像加工プログラムは、画像加工装置に設けられたコンピュータを、入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタ手段と、前記第１フィルタ手段により生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成手段と、前記属性情報生成手段により生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタ手段、として機能させることを特徴とする。

なお、本発明に係る画像加工プログラムは、前記コンピュータを、さらに、前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択手段、として機能させることが望ましい。

以上のような本発明によれば、画像本来のエッジを保ちつつ、再生された画像上に発生する残留歪み信号を抑制することができる。

また、本発明は、動画像符号化装置、方法、プログラムに適用することで、符号化処理の精度を向上させることができる。同様に、本発明は、動画像復号装置、方法、プログラムに適用することで、復号処理の精度を向上させることができる。

このうち、本発明を適用した動画像符号化装置、方法、プログラムは以下のように記述することができる。

本発明に係る動画像符号化装置は、入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリと、前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器と、を備えることを特徴とする。

本発明に係る動画像符号化方法は、動画像符号化装置により実行される動画像符号化方法であって、入力された符号化対象となる画像を複数のブロックに分割するステップと、符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成するステップと、前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成するステップと、前記対象ブロックの前記残差信号を周波数領域の変換係数に変換するステップと、前記変換係数を量子化処理により圧縮し量子化変換係数を得るステップと、前記量子化変換係数を逆量子化することで復号変換係数を復元するステップと、前記復号変換係数を逆変換することで残差信号を再生するステップと、前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元するステップと、上述した画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、フィルタ処理後の前記再生画像を格納するステップと、前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するステップと、を備えることを特徴とする。

本発明に係る動画像符号化プログラムは、動画像符号化装置に設けられたコンピュータを、入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリと、前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器、として機能させることを特徴とする。

また、本発明を適用した動画像復号装置、方法、プログラムは以下のように記述することができる。

本発明に係る動画像復号装置は、残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、前記付加情報に基づいて予測信号を生成する予測信号生成器と、前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリと、を備えることを特徴とする。

本発明に係る動画像復号方法は、動画像復号装置により実行される動画像復号方法であって、残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るステップと、前記付加情報に基づいて予測信号を生成するステップと、前記量子化変換係数を逆量子化し、復号変換係数を得るステップと、前記復号変換係数を逆変換し、残差信号を復元するステップと、前記予測信号と前記残差信号とを加算することで再生画像を生成するステップと、上述した画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、フィルタ処理後の前記再生画像を格納するステップと、を備えることを特徴とする。

本発明に係る動画像復号プログラムは、動画像復号装置に設けられたコンピュータを、残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、前記付加情報に基づいて予測信号を生成する予測信号生成器と、前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリ、として機能させることを特徴とする。

さらに、本発明は、符号化・復号システム、および、符号化・復号方法として、以下のように記述することができる。

本発明に係る符号化・復号システムは、動画像符号化装置と、動画像復号装置と、を含んで構成される符号化・復号システムであって、前記動画像符号化装置は、入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリと、前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器と、を備え、前記動画像復号装置は、残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、前記付加情報に基づいて予測信号を生成する予測信号生成器と、前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、上述した画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、フィルタ処理後の前記再生画像を格納するフレームメモリと、を備えることを特徴とする。

本発明に係る符号化・復号方法は、動画像符号化装置と動画像復号装置とを含んで構成される符号化・復号システムにおいて実行される符号化・復号方法であって、前記動画像符号化装置により実行される動画像符号化方法の処理ステップと、前記動画像復号装置により実行される動画像復号方法の処理ステップと、を備え、前記動画像符号化方法の処理ステップは、入力された符号化対象となる画像を複数のブロックに分割するステップと、符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成するステップと、前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成するステップと、前記対象ブロックの前記残差信号を周波数領域の変換係数に変換するステップと、前記変換係数を量子化処理により圧縮し量子化変換係数を得るステップと、前記量子化変換係数を逆量子化することで復号変換係数を復元するステップと、前記復号変換係数を逆変換することで残差信号を再生するステップと、前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元するステップと、上述した画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、フィルタ処理後の前記再生画像を格納するステップと、前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するステップと、を含み、前記動画像復号方法の処理ステップは、残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るステップと、前記付加情報に基づいて予測信号を生成するステップと、前記量子化変換係数を逆量子化し、復号変換係数を得るステップと、前記復号変換係数を逆変換し、残差信号を復元するステップと、前記予測信号と前記残差信号とを加算することで再生画像を生成するステップと、上述した画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、フィルタ処理後の前記再生画像を格納するステップと、を含むことを特徴とする。

本発明によれば、画像本来のエッジを保ちつつ、再生された画像上に発生する残留歪み信号を抑制することができる。

本実施形態に係る動画像符号化装置のブロック図である。 ループ内フィルタの処理を説明する流れ図である。 第２フィルタ画像生成処理を説明する流れ図である。 ループ内フィルタのブロック図である。 第１フィルタの一例を示すブロック図である。 属性情報生成器２０２における処理を説明する流れ図である。 本実施形態に係る動画像復号装置のブロック図である。 本実施形態に係る動画像符号化方法を示す流れ図である。 本実施形態に係る動画像復号方法を示す流れ図である。 本実施形態に係る動画像符号化プログラムのモジュールを示すブロック図である。 本実施形態に係るループ内フィルタプログラムのモジュールを示すブロック図である。 本実施形態に係る動画像復号プログラムのモジュールを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成図である。 図１３のコンピュータの斜視図である。 本実施形態に係る符号化・復号システムの構成図である。

以下、本発明に係る実施形態について、図１〜図１３を用いて説明する。

（動画像符号化装置について）
図１には、本発明による残留歪み信号除去機能を備えた動画像符号化装置１００のブロック図を示す。動画像符号化装置１００は、入力端子１０１、ブロック分割器１０２、差分器１０３、変換器１０４、量子化器１０５、逆量子化器１０６、逆変換器１０７、加算器１０８、ループ内フィルタ１０９、フレームメモリ１１０、予測信号生成器１１１、エントロピー符号化器１１２、及び、出力端子１１３を備えている。

このような動画像符号化装置１００について、以下、各構成部の動作を述べる。動画像を構成する複数の画像は入力端子１０１から入力される。

ブロック分割器１０２は、符号化対象となる画像を複数の小領域（ここでは例えば８×８画素から成るブロック）に分割する。分割された各ブロックについて、以下の圧縮・符号化処理が実行される。

予測信号生成器１１１は、符号化対象となるブロック（以下「対象ブロック」という）について予測信号を生成し、ラインＬ１１１経由で差分器１０３に出力される。また、予測信号生成器１１１は、画面内予測方法又は画面間予測方法を実行して複数の予測方法の候補を生成し、そして、ラインＬ１０２経由で入力される対象ブロックの信号を符号化する際に必要となる符号量が小さく且つ対象ブロックとの残差が小さくなる予測方法を、上記複数の予測方法の候補から選択する。なお、予測方法の候補については、本発明では限定されない。選択した予測方法を示す予測モード情報や画面間予測に伴う動き情報などは、付加情報として、ラインＬ１１２経由でエントロピー符号化器１１５及びループ内フィルタ１０９に出力される。

差分器１０３は、ラインＬ１０２経由で入力された対象ブロックの信号から、ラインＬ１１１経由で入力された予測信号を引き算することにより残差信号を生成する。生成された残差信号は、ラインＬ１０３経由で変換器１０４に出力される。

変換器１０４は、上記対象ブロックをさらに分割した差分信号ブロック（ここでは４×４画素から成るブロック）単位で、差分信号を周波数領域の変換係数に変換する。変換で得られた変換係数は、ラインＬ１０４経由で量子化器１０５に出力され、量子化器１０５による量子化処理により量子化変換係数に圧縮される。なお、動画像符号化装置１００は、変換器１０４と量子化器１０５のうち何れか一方が省略された構成であってもよい。

エントロピー符号化器１１２は、ラインＬ１０５経由で入力された量子化変換係数を可変長符号に変換し出力端子１１３よりビットストリームとして出力する。このとき、可変長符号の代わりに算術符号化を適用してもよい。また、エントロピー符号化器１１２は、同時にラインＬ１１２経由で入力される付加情報を量子化変換係数とともにエントロピー符号化する。

逆量子化器１０６は、量子化器１０５に対応する量子化精度にて、ラインＬ１０５経由で入力される量子化変換係数を逆量子化することで復号変換係数を復元し、ラインＬ１０６経由で逆変換器１０７に出力する。逆変換器１０７は、復号変換係数を逆変換することで残差信号を再生する。なお、上記の量子化精度を示す量子化パラメータは、量子化器１０５からエントロピー符号化器１１２へ送られ、エントロピー符号化器１１２においてフレーム単位又はブロック単位でエントロピー符号化され、ビットストリームの一部として出力端子１１３から出力される（即ち、上記ビットストリームを復号する動画像復号装置に通知される）。また、逆量子化器１０６は、ラインＬ１１３経由で、各４×４ブロックに関する量子化変換係数の情報をループ内フィルタ１０９に出力する。

加算器１０８は、ラインＬ１０７経由で入力される再生された残差信号に、ラインＬ１１１経由で入力される予測信号を加算することにより再生画像を復元し、ラインＬ１０８経由でループ内フィルタ１０９に出力する。

ループ内フィルタ１０９は、ラインＬ１１２経由で入力される付加情報、およびラインＬ１１３経由で入力される各４×４ブロックに関する量子化変換係数の情報を用いて、再生画像から不要な歪みを取り除く。これを「フィルタ処理」といい、その詳細は後述する。フィルタ処理が実施された再生画像は、次の画像を符号化する際の参照画像として用いるため、ラインＬ１０９経由でループ内フィルタ１０９からフレームメモリ１１０へ出力され、フレームメモリ１１０に格納される。

（ループ内フィルタ１０９について）
次に、図２〜図６を用いてループ内フィルタ１０９を詳細に説明する。本実施形態では、特性の異なる２種類のフィルタを用いる。即ち、ループ内フィルタ１０９は、本来のエッジを保存しつつ画像が鮮明になるようにエッジ周辺の歪みを取り除く第１のフィルタ（特許文献１に記載されたフィルタ）と、ぼかし効果があり特に第１フィルタでは残りやすいブロック状の歪みを取り除く第２のフィルタとを含んで構成される。

以下、ループ内フィルタ１０９の動作を述べる。図２はループ内フィルタ１０９の処理フローを示す。ループ内フィルタ１０９は、まず、ラインＬ１０８経由で入力された再生画像に第１フィルタを適用し、第１フィルタ画像を生成する（ステップ７０２）。

次に、ループ内フィルタ１０９は、第１フィルタ画像の各画素について、第２フィルタを適用するか否かを判定するための属性値を生成する（ステップ７０３）。以降、各画素についての属性値は、第１フィルタを施しても信号値が変化しない画素を選択するために用いられる。

そして、ループ内フィルタ１０９は、生成した属性値に基づいて第１フィルタ画像に第２フィルタを適用し、第２フィルタ画像を生成する（ステップ７０４）。即ち、ループ内フィルタ１０９は、第１フィルタ画像の各画素についての属性値に応じて、各画素について第２フィルタを適用するか否かを判定し、第２フィルタを適用すると判定された画素については第２フィルタを適用し、第２フィルタを適用しないと判定された画素については第２フィルタの適用を回避することで、第２フィルタ画像を生成する。このように第１フィルタ画像の各画素についての属性値を利用することで、第１フィルタを施しても歪みの残る領域について選択的に第２フィルタを適用することできるため、本来のエッジをぼかすことなく、第１フィルタ画像において残留する歪み信号だけを抑制した第２フィルタ画像を生成することができる。

その後、ループ内フィルタ１０９は、第１フィルタ画像と第２フィルタ画像との差分画像を生成する（ステップ７０５）。そして、当該差分画像のある画素について、差分画像の画素値（以下「差分値」という）と予め定められた閾値THとを比較する（ステップ７０６）。ここで、差分値が閾値THより小さい場合には、第２フィルタ画像の画素値を最終的なフィルタ画像の画素値として選択し（ステップ７０７）、一方、差分値が閾値TH以上の場合には、第１フィルタ画像の画素値を最終的なフィルタ画像の画素値として選択する（ステップ７０８）。これにより、フィルタ処理後の第２フィルタ画像の各画素において、第１フィルタ画像との比較で、信号値の変化が大きい場合は第１フィルタ画像の画素が選択され、信号値の変化が小さい場合は第２フィルタ画像の画素が選択されるため、本来のエッジをつぶすことなく、余分な残留歪みのみを除去できる。

以降、ステップ７０６〜７０８の処理を、差分画像の全ての画素について繰り返す（ステップ７０９）。

なお、閾値THは、例えば量子化器や逆量子化器における量子化精度を決める量子化パラメータに応じて定まる値としてもよい。このように閾値THを定めれば、量子化精度が粗いほど残留歪みのレベルが大きくなるという状況に対応できる。

また、ステップ７０５における差分画像は必ずしも生成する必要はない。例えば、差分画像を生成することなく、第１フィルタ画像と第２フィルタ画像からそれぞれ１画素を取得しながら、画素単位で差分値を算出する方法であっても、ステップ７０６〜ステップ７０８の処理を実行することができる。

また、ステップ７０５〜７０８に示したフィルタ画像を選択する処理は省略しても良い。また、第２フィルタ画像と入力画像との誤差が最小となる二乗誤差最小フィルタ（Wiener Filter）を算出し、ステップ７０５〜７０８の処理の代わりに、二乗誤差最小フィルタを第２フィルタ画像に適用してもよい。なお、前述した量子化パラメータと同様に、ここで算出された二乗誤差最小フィルタは、符号化して外部へ伝送してもよい。

次に、図３を用いて図２のステップ７０４の第２フィルタ画像生成処理を詳しく説明する。

図３のステップ８０２では、第１フィルタ画像の画素に対する属性値が順次、ループ内フィルタ１０９に入力され、ループ内フィルタ１０９は、入力された属性値が０であるか否かを判定し（ステップ８０３）、属性値が０でない場合（１の場合）にはステップ８０９に進み、属性値が０の場合にはステップ８０４に進む。

ステップ８０４ではループ内フィルタ１０９は、第１フィルタ画像における処理対象の画素および該処理対象の画素に隣接する左右７画素ずつの計１５画素について、画素値と属性値を取得する。続いて、取得された１５画素についての属性値を加算し（ステップ８０５）、加算値が０であるか否かを判定する（ステップ８０６）。ここで加算値が０でない場合にはステップ８０９に進み、加算値が０の場合にはステップ８０７に進む。

ステップ８０７ではループ内フィルタ１０９は、処理対象の画素に対し、該処理対象の画素に隣接する左右７画素ずつの計１４画素を参照して、第２フィルタを適用する。ここでは、参照される１４画素は、第１フィルタ画像内の画素とするが、予め方法を決めておけば第２フィルタ適用後の画素を参照してもよい。フィルタタップ数は下記に示す通りで、フィルタ形式はローパスフィルタとなっている。即ち、第２フィルタの出力画素の値は、第１フィルタ画像における処理対象の画素の値に２を乗算し、該乗算値に、処理対象の画素に隣接する左右７画素の値を加算し、該加算値を１６で割ることにより算出される。
Filter tap＝[1,1,1,1,1,1,1,2,1,1,1,1,1,1,1]／16
ステップ８０８ではループ内フィルタ１０９は、第２フィルタの出力画素の値を第２フィルタ画像の画素値として出力する。一方、ステップ８０９ではループ内フィルタ１０９は、第１フィルタ画像の画素値を第２フィルタ画像の画素値として出力する。

次のステップ８１０では、次の処理対象の画素が残っているか否かを確認し、残っている場合には、ステップ８０２に戻り、残りの処理対象の画素についてステップ８０２〜８１０の処理を再度実行する。そして、処理対象の画素全てについてステップ８０２〜８１０の処理が実行された時点で図３の処理を終了する。

なお、上記処理に加え、ステップ８０２〜８１０におけるフィルタ処理を「垂直方向」に実施（即ち、処理対象の画素に隣接する上下７画素ずつを参照し、画像を左下から右下に向かって縦方向（上から下、左から右）にスキャン）してもよい。言い換えれば、第２のフィルタとして「水平方向」の１次元フィルタをかけた画像に対し、さらに「垂直方向」の１次元フィルタをかけてもよい。加えて、「水平方向」の１次元フィルタをかけた画像に対して、ステップ７０５〜７０８に示すフィルタ画像選択処理を行い、生成された中間出力画像に対して、「垂直方向」の１次元フィルタをかけるようにしてもよい。その後、「垂直方向」の１次元フィルタをかけた画像に対して、ステップ７０５〜７０８に示したフィルタ画像選択処理を行う際には、ステップ７０５に示す第１フィルタ画像と第２フィルタ画像の差分値の代わりに、上記の中間出力画像と「垂直方向」の１次元フィルタをかけた画像（第２フィルタ画像に相当）の差分値に対してステップ７０６〜７０８の処理を行うようにしてもよい。この処理は、図２のステップ７０６〜７０８の処理を図３のステップ８０７と８０８の間で行うようにすることでも実現できる。つまり、ステップ８０７の処理にてフィルタをかける前と後の画素値の差分について閾値処理（ステップ７０６）を行い、フィルタ適用後の画素値（ステップ７０７）かフィルタ適用前の画素値（ステップ７０８）をステップ８０８にて出力する。このステップ８０２〜８１０（ステップ７０６〜７０８を含む）の処理を順に水平方向と垂直方向に実施するように変更すればよい。ここで、「水平方向」と「垂直方向」の１次元フィルタは異なるフィルタでもよい。また、「水平方向」と「垂直方向」の１次元フィルタ適用後のフィルタ画像選択処理に用いる閾値ＴＨは異なる値でもよい。これらの１次元フィルタと閾値を符号化するようにしてもよい。このとき、１次元フィルタと閾値を１組のデータとして水平方向と垂直方向の２組のデータを符号化するようにしてもよい。なお、「水平方向」の１次元フィルタと「垂直方向」の１次元フィルタにおいて、フィルタをかける順番は、「垂直方向」の１次元フィルタが先であってもよい。また、「垂直方向」の１次元フィルタのみを実施してもよい。

また、第２フィルタのフィルタ形状は、上記１５タップのフィルタには限定されない。また、１次元のフィルタではなく２次元フィルタを適用してもよいし、別の固定フィルタを適用してもよい。タップ数とフィルタ係数は限定されず、第２フィルタの形状情報およびタップ数情報を符号化し、符号化データをビットストリームに含めて外部に伝送しても良い。より具体的には、属性値をすべて「０」とし、第１フィルタ画像と入力画像との誤差が最小となる二乗誤差最小フィルタ（Wiener Filter）を算出し、該二乗誤差最小フィルタを第２フィルタとしてもよい。この際、二乗誤差最小フィルタを符号化し、符号化データをビットストリームに含めて外部に伝送しても良い。さらに、属性値をループ内フィルタ１０９の外部から入力する方法（例えば、フィルタを適用すべき対象画素を符号化装置および復号装置にて決める方法）を採用してもよい。この際、属性値は圧縮符号化してもよい。

上記の説明では、第１フィルタ処理および第２フィルタ処理を画像単位で実施しているが、ブロック単位（例えば、符号化対象ブロック単位）で実施してもよい。但し、復号順で未来のブロックの再生信号を用いるため、ブロック単位で上記のフィルタ処理を行う場合には、フィルタのタップ数に応じて、符号化・復号処理からフィルタ処理を数ブロック分遅延させる必要がある。例えば、上述したようにブロックサイズが８×８でフィルタタップ数が７の場合には、第２のフィルタにて参照する画素が再生済みとなるように、（１ブロック列＋１ブロック）分、フィルタ処理の実施を符号化・復号処理から遅延させる。

上記では、符号化フレーム内の全画素を第２フィルタ処理の対象としているが、残留歪み信号が発生しやすい画面内予測ブロック（イントラブロック）にのみ第２フィルタ処理を適用してもよい。また、画面内符号化フレーム（イントラフレーム）のみに第２フィルタ処理を適用してもよいし、フレーム内のイントラブロックの頻度が所定値よりも大きいフレームにのみ第２フィルタ処理を適用してもよい。このように第２フィルタ処理を適用するブロックを限定することで演算量を削減できる。

図４には、図２と図３で説明したループ内フィルタ処理を実施するループ内フィルタ１０９のブロック図を示す。ループ内フィルタ１０９は、第１フィルタ２０１と、属性情報生成器２０２と、第２フィルタ２０３と、フィルタ画像選択器２０４とを備えている。

第１フィルタ２０１は、ラインＬ１１２経由で入力される付加情報と、ラインＬ１１３経由で入力される各４×４ブロックに関する量子化変換係数の情報とに基づいて、例えば特許文献１に示す方法により、ラインＬ１０８経由で入力される再生画像に対し第１のフィルタを適用し、第１フィルタ画像を生成する。生成された第１フィルタ画像は、ラインＬ２０２経由で第２フィルタ２０３に出力されるとともに、ラインＬ２０５経由でフィルタ画像選択器２０４に出力される。また、第１フィルタ２０１の適用状況を示す情報が、ラインＬ２０１経由で属性情報生成器２０２に出力される。

属性情報生成器２０２は、入力される第１フィルタ２０１の適用状況を示す情報を用いて、第１フィルタ画像の各画素について、第２フィルタ２０３を適用するか否かを示す属性値を生成する。生成された属性値は、ラインＬ２０３経由で第２フィルタ２０３に出力される。なお、属性情報生成器２０２の処理は第１フィルタ２０１から得られるデータに基づいて実施されているので、属性情報生成器２０２の機能は第１フィルタ２０１に含めることが可能である。

第２フィルタ２０３は、ラインＬ２０３経由で入力される属性値に基づいて、ラインＬ２０２経由で入力される第１フィルタ画像に対し第２フィルタを適用し、第２フィルタ画像を生成する。生成された第２フィルタ画像は、ラインＬ２０４経由でフィルタ画像選択器２０４に出力される。

フィルタ画像選択器２０４は、図２のステップ７０６〜７０８に示したように、ラインＬ２０５経由で入力される第１フィルタ画像と、ラインＬ２０４経由で入力される第２フィルタ画像との差分画像を生成し、差分画像の各画素の値（差分値）を所定の閾値THと比較する。ここで、差分値が閾値THより小さい場合には第２フィルタ画像の画素値を選択し、一方、差分値が閾値TH以上の場合には第１フィルタ画像の画素値を選択する。最終的に生成したフィルタ画像は、ラインＬ１０９経由でフレームメモリ１１０に出力される。

なお、差分画像は作成せずに、第１フィルタ画像と第２フィルタ画像からそれぞれ１画素ずつ取得しながら差分値を計算し、画素単位でフィルタ画像の選択処理を行ってもよい。

また、ループ内フィルタ１０９において、フィルタ画像選択器２０４は省略しても良い。第２フィルタが「水平方向」と「垂直方向」の１次元フィルタで構成される場合には、フィルタ画像選択器２０４を第２フィルタ２０３に含めることで、「水平方向」の１次元フィルタをかけた後と「垂直方向」の１次元フィルタをかけた後にステップ７０６〜７０８に示すフィルタ画像選択処理を行う手法が実現できる。また、第２フィルタ画像と入力画像との誤差が最小となる二乗誤差最小フィルタ（Wiener Filter）を算出し、該二乗誤差最小フィルタを第２フィルタ画像に適用するようにフィルタ画像選択器２０４の処理を変更してもよい。なお、前述した量子化パラメータと同様に、ここで算出された二乗誤差最小フィルタは、符号化して外部へ伝送してもよい。

図５は、特許文献１に記載された第１フィルタ２０１の一例を示すブロック図である。第１フィルタ２０１は、１６個の変換器（「第１〜第１６変換器」という）３０１−１〜３０１−１６と、１６個の閾値処理器３０２−１〜３０２−１６と、１６個の逆変換器（「第１〜第１６逆変換器」という）３０３−１〜３０３−１６と、合成器３０４と、マスク処理器３０５とを備えている。

第１フィルタ２０１にラインＬ１０８経由で入力された再生画像は、例えば４×４画素のブロックに分割し、周波数変換される（但し、ブロックサイズは４×４には限定されない）。この際、変換器（第１変換器３０１−１〜第１６変換器３０１−１６）は、ブロック境界を縦４画素、横４画素の範囲で１画素ずつずらしながら、再生画像に１６回の周波数変換を施し、１６組の変換画像を生成する。本実施形態では、区別のため、図１の変換器１０４と逆変換器１０７における４×４ブロックを「Ｃブロック」と呼び、図５の第１フィルタ２０１における４×４ブロックを「Ｄブロック」と呼ぶことにする。

１６個の変換画像はそれぞれ、閾値処理器３０２−１〜３０２−１６に入力される。各閾値処理器は、ラインＬ１１２経由で入力される付加情報およびラインＬ１１３経由で入力される各Ｃブロックに関する量子化変換係数の情報に基づいて、全てのＤブロックの変換係数に対し閾値処理を施し、閾値より小さい変換係数を０値に変更する。つまり、歪みの要因となり得る変換係数を０値にすることにより画像内の歪みを除去する。

この閾値は、Ｄブロック毎に異なっており、Ｃブロックに関わるフィルタモードに基づいて決定される。具体的には、まず、各符号化対象ブロックの予測方法および各Ｃブロックに関する量子化変換係数の情報を用いて、２つのＣブロック間の境界にフィルタモードを設定する。そして、Ｄブロックが跨ぐＣブロック境界のフィルタモードに基づいてＤブロックのフィルタモードを決定する。例えば、フィルタモードの優先順位を予め決めておき、Ｄブロックが複数のＣブロック境界を跨ぐ場合、複数のフィルタモードの中から優先順位の最も高いフィルタモードが選択される。

閾値処理されたＤブロックは逆変換器３０３−１〜３０３−１６に出力される。同時に、各Ｄブロックに属する０係数の数が、ラインＬ２０１を経由して属性情報生成器２０２に出力される。

逆変換器（逆変換器３０３−１〜３０３−１６）は、閾値処理された１６組の変換画像に逆変換を施し、１６組の推定画像を生成する。生成された１６組の推定画像は、ラインＬ３０３を経由して合成器３０４に出力される。

合成器３０４は、１６組の推定画像を線形重み付け処理により合成し、第１フィルタ画像を生成する。生成された第１フィルタ画像は、ラインＬ３０４経由でマスク処理器３０５に出力される。なお、線形重み付け処理における重み係数は、各Ｄブロック内の０係数の数などに基づいて決められる。具体的には、０係数が多いＤブロックは、平坦領域に属すると推測されるため、０係数が多いＤブロックには大きな重みが与えられる。一方、０係数が少ないＤブロックは、エッジを含むと推測されるため、０係数が少ないＤブロックには小さな重みが与えられる。この第１フィルタ処理では、ブロック変換の変換効率が平坦領域ほど高いという性質を利用してエッジを抽出し、該エッジをつぶさないようにしつつ、平坦領域のノイズを抑制する。

マスク処理器３０５は、過剰なフィルタ処理を避けるため、第１フィルタ画像のＣブロック境界に、ラインＬ１０８経由で入力された再生画像によるマスク処理を施す。より具体的には、マスク処理器３０５は、各Ｃブロック境界について、マスクする画素の範囲を決定し、決定したマスク画素の範囲に基づいて、第１フィルタ画像の画素を、ラインＬ１０８経由で入力される再生画像の画素に置き換える。言い換えると、マスク処理にてマスクされていない画素位置の画素については、第１フィルタ画像の画素を、ラインＬ１０８経由で入力される再生画像の画素で置き換える。つまり、これらの画素位置の再生画素は、変化せずに第１フィルタを通過する。マスクされた画素の情報は、ラインＬ２０１−１７を経由して属性情報生成器２０２に出力される。また、マスク処理した第１フィルタ画像は、ラインＬ２０２経由で第２フィルタ２０３に出力される。

なお、図示しないが、変換器３０１−１〜３０１−１６、閾値処理器３０２−１〜３０２−１６、逆変換器３０３−１〜３０３−１６、合成器３０４およびマスク処理器３０５による上記の処理は、異なる閾値を用いて、繰り返し実施してもよい。

なお、第２フィルタは、第１フィルタでは飽和して処理できない画素を対象とするため、通常はフィルタのサポート範囲が第１フィルタよりも長くなる。例えば、第１フィルタが、フィルタの適用対象の画素に対し該画素の周囲３画素で囲われる範囲の画素を参照するフィルタである場合、第２フィルタは、フィルタの適用対象の画素に対し、該画素の周囲７画素（即ち、第１フィルタの場合の３画素よりも多い画素数）で囲われる範囲の画素を参照するフィルタとする、という場合が想定される。

図６には、図４の属性情報生成器２０２における処理フローを示す。属性情報生成器２０２では、属性値を決める対象画素を跨ぐ１６個のＤブロックに属する０係数の数と、属性値を決める対象画素の第１フィルタ２０１におけるマスク処理結果とが、ラインＬ２０１経由で入力される（ステップ９０２）。

次に、属性情報生成器２０２は、第１フィルタ２０１におけるマスク処理結果から、処理対象の画素がフィルタ処理対象外の画素（即ち、第１フィルタが適用されていない画素、および、マスク処理にてマスクされていない画素）であるか否かを判定する（ステップ９０３）。処理対象の画素がフィルタ処理対象外の画素である場合にはステップ９０６に進み、処理対象の画素がフィルタ処理対象外の画素でない（フィルタ処理対象の画素である）場合にはステップ９０４に進む。

ステップ９０４では、属性情報生成器２０２は、１６個のＤブロックの各々について、ブロック内の０係数の数が１５以上であるか否かを判定する。全てのＤブロックにおいてブロック内の０係数の数が１５以上である場合にはステップ９０５に進み、１つ以上のＤブロックにおいてブロック内の０係数の数が１５未満である場合にはステップ９０６に進む。

ステップ９０５では、処理対象の画素の属性値を「０」として出力し、一方、ステップ９０６では、処理対象の画素の属性値を「１」として出力する。

以上、ステップ９０２〜９０６の処理を、全画素の属性値が決まるまで繰り返し実行する（ステップ９０７）。

なお、属性値の決定方法は、上記には限定されない。例えば、Ｄブロック内の０係数の数は「１５個」以上ではなく、他の基準値を用いてもよい。また、上記では、Ｄブロック内の０係数の数を評価尺度として用いているが、ＤＣ係数（直流成分）以外の０係数の数を評価尺度としてもよい。

また、第１フィルタのマスク処理にてマスクされていない画素は、変化することなく第１フィルタを通過しているため、第２フィルタのフィルタ処理対象にしてもよい。

別の例としては、第１フィルタを適用しても信号値が変化しない画素から成る領域を抽出して属性値を決定しても良い。具体的には、第１フィルタへの入力画像と第１フィルタからの出力画像について、画素毎に差分を取り、差分の絶対値が規定値より小さい画素（又は、差分が０の画素）については属性値を「０」とし、それ以外は「１」とする例が挙げられる。

このように、本実施形態のループ内フィルタでは、画像本来のエッジを保ちつつ、エッジ周辺の歪みを第１フィルタにて抑制する。そして、第１フィルタでは変化の小さい領域（第１フィルタでは除去できない歪みを含む可能性がある領域）を示す情報に基づいて、当該領域に対し選択的に第２フィルタを適用するため、エッジが鮮明で残留歪み成分が少ないフィルタ画像を生成することができる。

ここでは、第１フィルタ処理について、特許文献１に記載の手法を例として説明してきたが、特許文献１に記載の手法には限定されない。例えば、第１フィルタ処理の詳細が不明な場合でも、本実施形態の第２フィルタによる残留歪み信号除去処理は適用可能である。

１つの例としては、上記で示したように、第１フィルタを適用しても信号値が変化しない画素から成る領域を抽出して属性値を決定しても良い。また別の例としては、フィルタの強さを変えて第１フィルタ処理を２回施し、その差分を取ることで属性値を決定する。例えば、第１フィルタ２０１は、量子化器１０５や逆量子化器１０７で用いられる量子化パラメータＱＰを考慮した通常通りの第１フィルタ処理を、再生画像に対し実施し、属性情報生成器２０２は、フィルタの強さを変えた２つのパラメータ（例えば「ＱＰ＋α」と「ＱＰ−α」に対応）でそれぞれ、再生画像に対し第１フィルタ処理を実施する。そして、属性情報生成器２０２は、２回の第１フィルタ処理で得られた２つのフィルタ画像の差分値を計算し、得られた差分値を、第１フィルタの適用状況を示す第２フィルタ画像の属性値とする。この処理により、フィルタの強さを変えてもフィルタ処理の結果が変わらない画素から成る領域を抽出できる。この領域では、ＱＰが示す量子化レベルで第１フィルタ処理が飽和しており、再生画像の画素がそのまま通過してしまう。つまり、再生画像上に歪が発生していても、第１フィルタ処理では除去できない。このような第１フィルタ処理では除去できない歪が発生しうる領域を抽出することができる。

（画像加工装置について）
上述したループ内フィルタ１０９の処理は、符号化に伴う再生画像に限らず、一般の歪み除去にも適用できる。図２〜図６に示した処理から、ラインＬ１１２で入力される付加情報およびラインＬ１１３経由で入力される各４×４ブロックに関する量子化変換係数の情報を除けば、第１・第２フィルタ処理、属性情報生成処理およびフィルタ画像選択処理は、歪みを除去する一般の画像加工処理にも適用できる。このとき、付加情報および各４×４ブロックに関する量子化変換係数の情報に代わり、入力信号から得られる情報を利用してもよい。

（動画像復号装置について）
図７には、本発明による残留歪み信号除去機能を伴う動画像復号装置５００のブロック図を示す。動画像復号装置５００は、入力端子５０１、データ解析器５０２、逆量子化器５０３、逆変換器５０４、加算器５０５、予測信号生成器５０６、ループ内フィルタ１０９、フレームメモリ５０７、及び、画像出力端子５０８を備えている。ループ内フィルタ１０９の機能は、図１のループ内フィルタ１０９と同じである。

このような動画像復号装置５００について、以下、各構成部の動作を述べる。入力端子５０１には、各対象ブロックの予測信号の生成に要する付加情報と対象ブロックの残差信号の符号化データとを含むビットストリームが入力される。本実施形態では、図１の動画像符号化装置１００により処理して得られたビットストリームが動画像復号装置５００に入力される。

データ解析器５０２は、入力データ（入力されたビットストリーム）を解析し、残差信号の符号化データ（量子化変換係数）と付加情報とを復号する。また、量子化精度を決める量子化パラメータや、ループ内フィルタで用いる第２フィルタのフィルタ係数およびタップ数が、入力データに含まれている場合には、データ解析器５０２は、これら情報も復号する。なお、復号方法としては、可変長復号あるいは算術復号などが用いられる。

復号された残差信号の符号化データ（量子化変換係数）は、ラインＬ５０２ａ経由で逆量子化器５０３に入力され、逆量子化器５０３は、量子化パラメータに基づいて量子化変換係数を逆量子化し、復号変換係数を復元してラインＬ５０３経由で逆変換器５０４に出力する。逆変換器５０４は、入力された復号変換係数を逆変換し残差信号を復元し、ラインＬ５０４経由で該残差信号を加算器５０５に出力する。なお、動画像復号装置５００は、逆変換器５０４と逆量子化器５０３のいずれか一方が省略された構成であってもよい。

一方、データ解析器５０２により復号された付加情報は、ラインＬ５０２ｂ経由で予測信号生成器５０６に出力される。予測信号生成器５０６は、入力された付加情報に基づき予測信号を生成し、ラインＬ５０６経由で予測信号を加算器５０５に出力するとともに、ラインＬ１１２経由で付加情報をループ内フィルタ１０９に出力する。加算器５０５は、予測信号と復元された残差信号とを加算することで再生画像を生成し、該再生画像をラインＬ１０８経由でループ内フィルタ１０９に出力するとともに、該再生画像をラインＬ５０５経由で画像出力端子５０８から出力する。

ループ内フィルタ１０９は、ラインＬ１１２経由で入力される付加情報、および、ラインＬ１１３経由で入力される各４×４ブロックに関する量子化変換係数の情報を用いて、再生画像から不要な歪みを取り除く（即ち、フィルタ処理を行う）。フィルタ処理された再生画像は、次の画像を符号化する際の参照画像として使用されるため、ラインＬ１０９経由でフレームメモリ５０７に出力され、フレームメモリ５０７に格納される。

以上の処理を、ビットストリームの全データが処理されるまで繰り返す。これにより動画像データが復元される。なお、ループ内フィルタ１０９による処理内容は、図２〜図６を用いて説明済みであるため、ここでは説明を割愛する。

（動画像符号化方法について）
図８には、動画像符号化装置１００により実行される、残留歪み信号除去機能を伴う動画像符号化処理の流れ図を示す。まず、符号化対象の画像（対象画像）が動画像符号化装置１００に入力され、ブロック分割器１０２が、入力された対象画像を複数の小ブロックに分割する（ステップ８５２）。

次に、予測信号生成器１１１は、各対象ブロックについて、フレームメモリ１１０に格納された参照画像を用いて、複数の予測方法の中から１つの予測方法を決定し予測信号を生成する。同時に、予測信号生成器１１１は、この予測信号の生成に要する付加情報を生成する（ステップ８５３）。各対象ブロックについて予測信号が得られることで、対象画像についての予測画像が得られる。

差分器１０３は、対象画像と予測画像との残差画像を生成し（ステップ８５４）、変換器１０４は、残差画像の各ブロックを周波数領域の変換係数に変換する（ステップ８５５）。そして、量子化器１０５は、量子化精度を決める量子化パラメータに基づいて上記変換係数を量子化し、量子化変換係数を生成する（ステップ８５６）。

次に、逆量子化器１０６は、上記量子化パラメータに基づいて量子化変換係数を逆量子化して復号変換係数を復元し（ステップ８５７）、逆変換器１０７が、上記復元された変換係数を逆変換して残差画像を復元（再生）する（ステップ８５８）。そして、加算器１０８が、復元された残差画像と、上記予測画像とを加算して再生画像を生成する（ステップ８５９）。

次に、ループ内フィルタ１０９は、上記付加情報および量子化変換係数の情報を用いて、再生画像から不要な歪みを取り除くループ内フィルタ処理を実施する（ステップ８６０）。そして、ループ内フィルタ処理が実施された再生画像は、次の画像を符号化する際の参照画像として用いるため、フレームメモリ１１０に出力され格納される（ステップ８６１）。

さらに、エントロピー符号化器１１２は、上記付加情報と量子化変換係数とをエントロピー符号化し、ビットストリームとして出力する（ステップ８６２）。

なお、ステップ８６０におけるループ内フィルタ処理については、図２、図３及び図６を用いて説明済みのため、ここでは説明を割愛する。

（画像加工方法について）
上述したループ内フィルタ１０９の処理は、符号化に伴う再生画像に限らず、一般のノイズ除去にも適用できる。図２、図３及び図６に示した処理から、付加情報ならびに各４×４ブロックに関する量子化変換係数の情報を除けば、残留歪み信号除去機能を含む第１・第２フィルタ処理、属性情報生成処理ならびにフィルタ画像選択処理は、歪みを除去する一般の画像加工方法にも適用できる。付加情報ならびに各４×４ブロックに関する量子化変換係数の代わりに、入力信号から得られる情報を利用してもよい。

（動画像復号方法について）
図９には、動画像復号装置５００により実行される、残留歪み信号除去機能を伴う動画像復号処理の流れ図を示す。図９のステップ９５２では、圧縮符号化されたデータが動画像復号装置５００に入力され、データ解析器９０２が、該入力されたデータをエントロピー復号し、量子化変換係数及び付加情報を抽出する。この際、入力されたデータが、量子化パラメータ、ループ内フィルタに用いられるフィルタ係数やフィルタタップ数の情報を含む場合には、これら量子化パラメータ、フィルタ係数やフィルタタップ数の情報も復号される。

次に、予測信号生成器５０６は、フレームメモリ５０７に格納された参照画像を用いて、上記付加情報に基づいて予測画像を生成する（ステップ９５３）。

また、逆量子化器５０３は、抽出された量子化変換係数を量子化パラメータに基づいて逆量子化して復号変換係数を得て（ステップ９５４）、逆変換器５０４は、復号変換係数を逆変換して残差画像を復元する（ステップ９５５）。

そして、加算器５０５は、上記予測画像と復元された残差画像とを加算し、再生画像を生成する（ステップ９５６）。

次に、ループ内フィルタ１０９は、上記付加情報および量子化変換係数の情報を用いて、再生画像から不要な歪みを取り除くループ内フィルタ処理を実施する（ステップ９５７）。そして、ループ内フィルタ処理が実施された再生画像は、次の画像を符号化する際の参照画像として用いるため、フレームメモリ１１０に出力され格納される（ステップ９５８）。

なお、ステップ９５７におけるループ内フィルタ処理については、図２、図３及び図６を用いて説明済みのため、ここでは説明を割愛する。

（動画像符号化プログラム、動画像復号プログラム、画像加工プログラムについて）
動画像符号化装置に係る発明は、コンピュータを動画像符号化装置として機能させるための動画像符号化プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る動画像符号化方法をプログラムとして記録媒体に格納して提供することもできる。また、動画像復号装置に係る発明は、コンピュータを動画像復号装置として機能させるための動画像復号プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る動画像復号方法をプログラムとして記録媒体に格納して提供することもできる。さらに、画像加工装置に係る発明は、コンピュータを画像加工装置として機能させるための画像加工プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る画像加工方法をプログラムとして記録媒体に格納して提供することもできる。

動画像符号化プログラム、画像加工プログラム及び動画像復号プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１０には、動画像符号化方法を実行することができる動画像符号化プログラムのモジュールを示す。図１０に示すように、動画像符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０２、記憶モジュールＰ１０３、減算モジュールＰ１０４、変換モジュールＰ１０５、量子化モジュールＰ１０６、逆量子化モジュールＰ１０７、逆変換モジュールＰ１０８、加算モジュールＰ１０９、ループ内フィルタモジュールＰ１１０及びエントロピー符号化モジュールＰ１１１を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した図１の動画像符号化装置１００の機能と同じである。即ち、機能面において、ブロック分割モジュールＰ１０１は図１のブロック分割器１０２に、予測信号生成モジュールＰ１０２は予測信号生成器１１１に、記憶モジュールＰ１０３はフレームメモリ１１０に、減算モジュールＰ１０４は差分器１０３に、変換モジュールＰ１０５は変換器１０４に、量子化モジュールＰ１０６は量子化器１０５に、逆量子化モジュールＰ１０７は逆量子化器１０６に、逆変換モジュールＰ１０８は逆変換器１０７に、加算モジュールＰ１０９は加算器１０８に、ループ内フィルタモジュールＰ１１０はループ内フィルタ１０９に、エントロピー符号化モジュールＰ１１１はエントロピー符号化器１１２に、それぞれ相当する。

図１０のループ内フィルタモジュールＰ１１０は、１つのプログラムとして捉えることができ、図１１に示すループ内フィルタプログラムＰ１１０として表すことができる。このループ内フィルタプログラムＰ１１０は、第１フィルタモジュールＰ１３１、属性情報生成モジュールＰ１３２、第２フィルタモジュールＰ１３３、およびフィルタ画像選択モジュールＰ１３４を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した図４のループ内フィルタ１０９の機能と同じである。即ち、機能面において、第１フィルタモジュールＰ１３１は図４の第１フィルタ２０１に、属性情報生成モジュールＰ１３２は属性情報生成器２０２に、第２フィルタモジュールＰ１３３は第２フィルタ２０３に、フィルタ画像選択モジュールＰ１３４はフィルタ画像選択器２０４に、それぞれ相当する。上記のループ内フィルタプログラムＰ１１０は、本発明に係る画像加工プログラムに相当する。

図１２には、動画像復号方法を実行することができる動画像復号プログラムのモジュールを示す。図１２に示すように、動画像復号プログラムＰ５００は、データ解析モジュールＰ５０１、予測信号生成モジュールＰ５０２、記憶モジュールＰ５０３、逆量子化モジュールＰ５０４、逆変換モジュールＰ５０５、加算モジュールＰ５０６、及びループ内フィルタモジュールＰ５０７を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した図７の動画像復号装置５００の機能と同じである。即ち、機能面において、データ解析モジュールＰ５０１は図７のデータ解析器５０２に、予測信号生成モジュールＰ５０２は予測信号生成器５０６に、記憶モジュールＰ５０３はフレームメモリ５０７に、逆量子化モジュールＰ５０４は逆量子化器５０３に、逆変換モジュールＰ５０５は逆変換器５０４に、加算モジュールＰ５０６は加算器５０５に、ループ内フィルタモジュールＰ５０７はループ内フィルタ１０９に、それぞれ相当する。

上記のように構成された動画像符号化プログラムＰ１００、動画像復号プログラムＰ５００およびループ内フィルタプログラム（画像加工プログラム）Ｐ１１０は、図１３に示す記録媒体１０に記憶され、後述するコンピュータ３０により実行される。

図１３は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示し、図１４は上記コンピュータ３０の斜視図を示す。ここでのコンピュータ３０としては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。

図１３に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶する不揮発性のメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６と、を備えている。記録媒体１０が読み取り装置１２に挿入されると、コンピュータ３０は、記録媒体１０に格納された動画像符号化プログラム、画像加工プログラム及び動画像復号プログラムにアクセス可能になる。コンピュータ３０は、動画像符号化プログラムによって、本発明に係る動画像符号化装置として動作することが可能になり、画像加工プログラムによって、本発明に係る画像加工装置として動作することが可能になり、動画像復号プログラムによって、本発明に係る動画像復号装置として動作することが可能になる。

図１４に示すように、動画像符号化プログラム、画像加工プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０として、有線ネットワーク・無線ネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、図１３の通信装置２４によって受信した動画像符号化プログラム、画像加工プログラム及び動画像復号プログラムをメモリ１６に格納し、ＣＰＵ２６によって当該動画像符号化プログラム、画像加工プログラム及び動画像復号プログラムを実行することができる。

なお、本発明は、上述した残留歪み信号機能を伴う動画像符号化装置１００（図１）と、上述した残留歪み信号機能を伴う動画像復号装置５００（図７）と、を含んで構成される符号化・復号システムに係る発明として、捉えることができる。図１５に示すように、符号化・復号システム１は、動画像符号化装置１００と動画像復号装置５００とを含んで構成される。但し、動画像符号化装置１００と動画像復号装置５００とは、任意の通信手段により接続可能とされており、動画像符号化装置１００から動画像復号装置５００へビットストリームが伝送される。

また、本発明は、符号化・復号システムにおいて実行される符号化・復号方法に係る発明として、捉えることができる。即ち、本発明に係る符号化・復号方法は、動画像符号化装置１００により実行される前述した動画像符号化方法の処理ステップ（図８）と、動画像復号装置５００により実行される前述した動画像復号方法の処理ステップ（図９）と、を備える。

以上説明した本実施形態によれば、画像本来のエッジを保ちつつ、フィルタ画像に残留する歪み信号を軽減できるという効果が得られる。

１…符号化・復号システム、１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像符号化装置、５００…動画像復号装置、１０１、５０１…入力端子、１０２…ブロック分割器、１０３…差分器、１０４、３０１…変換器、１０５…量子化器、１０６、５０３…逆量子化器、１０７、３０３、５０４…逆変換器、１０８…加算器、１０９…ループ内フィルタ、１１０、５０７…フレームメモリ、１１１、５０６…予測信号生成器、１１２…エントロピー符号化器、２０１…第１フィルタ、２０２…属性情報生成器、２０３…第２フィルタ、２０４…フィルタ画像選択器、３０２…閾値処理器、３０４…合成器、３０５…マスク処理器、１１３、５０８…出力端子、５０２…データ解析器。

Claims (20)

1. 入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタ手段と、
   前記第１フィルタ手段により生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成手段と、
   前記属性情報生成手段により生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタ手段と、
   を備えることを特徴とする画像加工装置。
2. 前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択手段、
   をさらに備えることを特徴とする請求項１に記載の画像加工装置。
3. 前記第２フィルタ手段は、
   前記第１フィルタ画像の前記対象画素についての前記属性値と該対象画素に隣接する所定数の画素についての前記属性値とから算出される値が所定の値より大きい場合、生成される前記第２フィルタ画像の画素として、前記第１フィルタ画像の前記対象画素を選択する、
   ことを特徴とする請求項１に記載の画像加工装置。
4. 前記第２フィルタは、１次元のフィルタであり、
   前記第２フィルタ手段は、前記第２フィルタを、前記第１フィルタ画像の対象画素に対し、水平方向および垂直方向のうち一方の方向に適用した後、さらに、前記第２フィルタを他方の方向に適用する、
   ことを特徴とする請求項１に記載の画像加工装置。
5. 前記第２のフィルタは、
   [1,1,1,1,1,1,1,2,1,1,1,1,1,1,1]／16
   で示される１５タップを有し、
   前記第２フィルタ手段は、前記対象画素および該対象画素の左右に隣接する７画素ずつの計１５画素、又は、前記対象画素および該対象画素の上下に隣接する７画素ずつの計１５画素を参照して、前記対象画素に前記第２のフィルタを適用する、
   ことを特徴とする請求項４に記載の画像加工装置。
6. 前記第１フィルタが適用対象の画素の周囲Ｍ画素で囲われる範囲の画素を参照するフィルタである場合、前記第２フィルタは、適用対象の画素の周囲における、前記Ｍ画素よりも多いＬ画素で囲われる範囲の画素を参照するフィルタにより構成される、
   ことを特徴とする請求項１に記載の画像加工装置。
7. 画像加工装置により実行される画像加工方法であって、
   入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタステップと、
   前記第１フィルタステップにより生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成ステップと、
   前記属性情報生成ステップにより生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタステップと、
   を備えることを特徴とする画像加工方法。
8. 前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択ステップ、
   をさらに備えることを特徴とする請求項７に記載の画像加工方法。
9. 画像加工装置に設けられたコンピュータを、
   入力された対象画像に第１フィルタを適用して第１フィルタ画像を生成する第１フィルタ手段と、
   前記第１フィルタ手段により生成された前記第１フィルタ画像の各画素について、当該画素に第２フィルタを適用するか否かを示す属性値を生成する属性情報生成手段と、
   前記属性情報生成手段により生成された前記第１フィルタ画像の各画素についての前記属性値に基づいて選択される前記第１フィルタ画像の対象画素に、前記第２フィルタを適用して第２フィルタ画像を生成する第２フィルタ手段、
   として機能させるための画像加工プログラム。
10. 前記コンピュータを、さらに、
    前記第１フィルタ画像と前記第２フィルタ画像とを比較し各画素の差分値を求め、前記差分値が予め定めた閾値以上の画素については前記第１フィルタ画像の画素を選択して出力し、前記差分値が前記閾値より小さい画素については前記第２フィルタ画像の画素を選択して出力するフィルタ画像選択手段、
    として機能させるための請求項９に記載の画像加工プログラム。
11. 入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、
    符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、
    前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、
    前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、
    前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、
    前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、
    前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、
    前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器と、
    を備える動画像符号化装置。
12. 動画像符号化装置により実行される動画像符号化方法であって、
    入力された符号化対象となる画像を複数のブロックに分割するステップと、
    符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成するステップと、
    前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成するステップと、
    前記対象ブロックの前記残差信号を周波数領域の変換係数に変換するステップと、
    前記変換係数を量子化処理により圧縮し量子化変換係数を得るステップと、
    前記量子化変換係数を逆量子化することで復号変換係数を復元するステップと、
    前記復号変換係数を逆変換することで残差信号を再生するステップと、
    前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元するステップと、
    請求項１に記載の画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、
    フィルタ処理後の前記再生画像を格納するステップと、
    前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するステップと、
    を備える動画像符号化方法。
13. 動画像符号化装置に設けられたコンピュータを、
    入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、
    符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、
    前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、
    前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、
    前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、
    前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、
    前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、
    前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器、
    として機能させるための動画像符号化プログラム。
14. 残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、
    前記付加情報に基づいて予測信号を生成する予測信号生成器と、
    前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、
    前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、
    前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    を備える動画像復号装置。
15. 残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、
    前記付加情報に基づいて予測信号を生成する予測信号生成器と、
    前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、
    前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、
    前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、
    請求項２に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    を備える動画像復号装置。
16. 動画像復号装置により実行される動画像復号方法であって、
    残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るステップと、
    前記付加情報に基づいて予測信号を生成するステップと、
    前記量子化変換係数を逆量子化し、復号変換係数を得るステップと、
    前記復号変換係数を逆変換し、残差信号を復元するステップと、
    前記予測信号と前記残差信号とを加算することで再生画像を生成するステップと、
    請求項１に記載の画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、
    フィルタ処理後の前記再生画像を格納するステップと、
    を備える動画像復号方法。
17. 動画像復号装置により実行される動画像復号方法であって、
    残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るステップと、
    前記付加情報に基づいて予測信号を生成するステップと、
    前記量子化変換係数を逆量子化し、復号変換係数を得るステップと、
    前記復号変換係数を逆変換し、残差信号を復元するステップと、
    前記予測信号と前記残差信号とを加算することで再生画像を生成するステップと、
    請求項２に記載の画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、
    フィルタ処理後の前記再生画像を格納するステップと、
    を備える動画像復号方法。
18. 動画像復号装置に設けられたコンピュータを、
    残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、
    前記付加情報に基づいて予測信号を生成する予測信号生成器と、
    前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、
    前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、
    前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリ、
    として機能させるための動画像復号プログラム。
19. 動画像符号化装置と、動画像復号装置と、を含んで構成される符号化・復号システムであって、
    前記動画像符号化装置は、
    入力された符号化対象となる画像を複数のブロックに分割するブロック分割器と、
    符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成する予測信号生成器と、
    前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成する差分器と、
    前記対象ブロックの前記残差信号を周波数領域の変換係数に変換する変換器と、
    前記変換係数を量子化処理により圧縮し量子化変換係数を得る量子化器と、
    前記量子化変換係数を逆量子化することで復号変換係数を復元する逆量子化器と、
    前記復号変換係数を逆変換することで残差信号を再生する逆変換器と、
    前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するエントロピー符号化器と、
    を備え、
    前記動画像復号装置は、
    残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るデータ解析器と、
    前記付加情報に基づいて予測信号を生成する予測信号生成器と、
    前記量子化変換係数を逆量子化し、復号変換係数を得る逆量子化器と、
    前記復号変換係数を逆変換し、残差信号を復元する逆変換器と、
    前記予測信号と前記残差信号とを加算することで再生画像を生成する加算器と、
    請求項１に記載の画像加工装置を含んで構成され、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行うループ内フィルタと、
    フィルタ処理後の前記再生画像を格納するフレームメモリと、
    を備える、
    ことを特徴とする符号化・復号システム。
20. 動画像符号化装置と動画像復号装置とを含んで構成される符号化・復号システムにおいて実行される符号化・復号方法であって、
    前記動画像符号化装置により実行される動画像符号化方法の処理ステップと、
    前記動画像復号装置により実行される動画像復号方法の処理ステップと、
    を備え、
    前記動画像符号化方法の処理ステップは、
    入力された符号化対象となる画像を複数のブロックに分割するステップと、
    符号化対象となる対象ブロックについて、予測信号、および少なくとも予測方法に関する情報を含む付加情報を生成するステップと、
    前記対象ブロックの信号から前記生成された予測信号を引き算することにより、残差信号を生成するステップと、
    前記対象ブロックの前記残差信号を周波数領域の変換係数に変換するステップと、
    前記変換係数を量子化処理により圧縮し量子化変換係数を得るステップと、
    前記量子化変換係数を逆量子化することで復号変換係数を復元するステップと、
    前記復号変換係数を逆変換することで残差信号を再生するステップと、
    前記逆変換器により再生された前記残差信号と、前記予測信号とを加算することにより再生画像を復元するステップと、
    請求項１に記載の画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、
    フィルタ処理後の前記再生画像を格納するステップと、
    前記量子化変換係数の情報および前記付加情報をエントロピー符号化し、ビットストリームとして出力するステップと、
    を含み、
    前記動画像復号方法の処理ステップは、
    残差信号の量子化変換係数と少なくとも予測方法に関する情報を含む付加情報とをエントロピー符号化して得られたビットストリームが入力され、前記ビットストリームをエントロピー復号し、前記量子化変換係数と前記付加情報とを得るステップと、
    前記付加情報に基づいて予測信号を生成するステップと、
    前記量子化変換係数を逆量子化し、復号変換係数を得るステップと、
    前記復号変換係数を逆変換し、残差信号を復元するステップと、
    前記予測信号と前記残差信号とを加算することで再生画像を生成するステップと、
    請求項１に記載の画像加工装置を含んで構成されたループ内フィルタの動作を行うステップであって、前記付加情報および前記量子化変換係数の情報を用いて、前記再生画像から不要な歪みを取り除くフィルタ処理を行う当該ステップと、
    フィルタ処理後の前記再生画像を格納するステップと、
    を含む、
    ことを特徴とする符号化・復号方法。

Images