JP5812806B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Description

この発明は、画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている画像を復号する画像復号装置及び画像復号方法とに関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力画像に対する予測画像を生成した後、入力画像と予測画像との差分を直交変換・量子化することによって情報圧縮を行うようにしている。
この際、圧縮率が高くなると、画像符号化装置が予測画像を生成する際に用いる参照画像の品質が低下し、圧縮効率が低下する。また、画像復号装置から出力される復号画像の品質も低下する。
そこで、画像符号化装置が、符号化対象画像と局所復号画像との誤差（符号化歪み）を最小化するフィルタを設計し、そのフィルタを局所復号画像に適用することで、参照画像の品質を向上させるとともに、そのフィルタを示すフィルタ係数を画像復号装置に伝送し、画像復号装置が、そのフィルタ係数が示すフィルタを復号画像に適用することで、復号画像の品質を向上させる技術が開発されている（例えば、特許文献１を参照）。

なお、特許文献１では、画像を所定の基準によって複数の領域に分割し、分割後の領域毎にフィルタ処理を行うことで、符号化対象画像と局所復号画像との誤差及び符号化対象画像と復号画像との誤差を減少させている画像符号化装置及び画像復号装置が開示されている。

ＷＯ２００９／１１０５５９

従来の画像符号化装置は以上のように構成されているので、参照画像の品質を向上させることができる。しかし、局所復号画像を構成している画素の中には、フィルタ処理による符号化歪みの軽減効果が認められる画素と、符号化歪みの軽減効果が認められない画素とが混在しているにもかかわらず、すべての画素に対してフィルタ処理が行われるため、演算量が多くなってしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、符号化歪みを軽減する処理の演算量を低減することができる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、フィルタ処理後の局所復号画像を記憶する画像メモリと、画像メモリに記憶されている局所復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成手段と、予測画像生成手段により生成された予測画像と符号化対象画像との差分画像を生成し、その差分画像を圧縮する画像圧縮手段と、画像圧縮手段により圧縮された差分画像の圧縮を解除する圧縮解除手段と、圧縮解除手段により圧縮が解除された差分画像と予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、その評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別手段と、局所復号画像生成手段により生成された局所復号画像の中で、フィルタ処理対象画素判別手段により符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類手段と、領域分類手段により分類された領域毎に、フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計手段と、フィルタ設計手段により設計されたフィルタを用いて、フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像を画像メモリに格納するフィルタ処理手段と、フィルタ設計手段により設計されたフィルタを示すフィルタ係数及び画像圧縮手段により圧縮された差分画像を示す圧縮データを符号化し、そのフィルタ係数及び圧縮データの符号化データが多重化されたビットストリームを生成する符号化手段とを設け、領域分類手段が、フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、局所復号画像生成手段により生成された局所復号画像を構成している画素に対するフィルタ処理対象画素の割合に対応する分類方法を用いて、フィルタ処理対象画素が属する領域を分類するようにしたものである。

この発明によれば、局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、その評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別手段と、局所復号画像生成手段により生成された局所復号画像の中で、フィルタ処理対象画素判別手段により符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類手段と、領域分類手段により分類された領域毎に、フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計手段とを設け、フィルタ処理手段が、フィルタ設計手段により設計されたフィルタを用いて、フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像を画像メモリに格納するように構成したので、符号化歪みを軽減する処理の演算量を低減することができる効果がある。
また、領域分類手段が、フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、局所復号画像生成手段により生成された局所復号画像を構成している画素に対するフィルタ処理対象画素の割合に対応する分類方法を用いて、フィルタ処理対象画素が属する領域を分類するように構成したので、符号化歪みの軽減処理の省略による演算量の削減に加えて、より効果的なフィルタ設計による符号化歪みの軽減処理の性能向上を期待することができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置のフィルタ効果判定部１１を示す構成図である。 評価値を算出する４×４画素単位の局所復号画像を示す説明図である。 評価値比較部２３の判別結果を示すフィルタ効果情報を示す説明図である。 メモリ２２に記憶されている閾値が２のべき乗でない場合の評価値比較部２３の処理内容を示すフローチャートである。 メモリ２２に記憶されている閾値が２のべき乗である場合の評価値比較部２３の処理内容を示すフローチャートである。 領域分類部１２の処理内容を示すフローチャートである。 領域番号の決定方法の一例を示す説明図である。 局所復号画像を構成している各画素に対応する領域番号を示す領域分類情報の一例を示す説明図である。 フィルタ設計部１３の処理内容を示すフローチャートである。 フィルタ処理部１４の処理内容を示すフローチャートである。 この発明の実施の形態２による画像復号装置を示す構成図である。 この発明の実施の形態３による画像符号化装置を示す構成図である。 この発明の実施の形態３による画像符号化装置のフィルタ効果判定部４０を示す構成図である。 閾値設定部５１の処理内容を示す説明図である。 可変長符号化部４１により生成されるビットストリームの一例を示す説明図である。 この発明の実施の形態４による画像復号装置を示す構成図である。 この発明の実施の形態４による画像復号装置のフィルタ効果判定部６２を示す構成図である。 領域番号の決定方法の一例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、符号化制御部１は予測処理が実施される際の処理単位となる符号化ブロックのサイズ（例えば、６４×６４画素など）を決定するとともに、選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部２から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部１は直交変換部５、量子化部６、逆量子化部７及び逆直交変換部８に与える予測差分符号化パラメータを決定する処理を実施する。

ブロック分割部２は符号化対象画像を示す映像信号を入力すると、その符号化対象画像を符号化制御部１により決定されたサイズの符号化ブロックに分割し、その符号化ブロックを予測部３及び減算部４に出力する処理を実施する。以下、この符号化ブロックを単位として符号化が行われる。
予測部３はフレームメモリ１０に記憶されている参照画像（フィルタ処理後の局所復号画像）を参照しながら、符号化制御部１により決定された予測パラメータにしたがって、ブロック分割部２から出力された符号化ブロックに対する予測処理（符号化制御部１により決定された符号化モードに対応する予測処理であり、その符号化モードがイントラ符号化モードであればイントラ予測処理、その符号化モードがインター符号化モードであればインター予測処理）を実施して予測画像を生成する処理を実施する。なお、予測部３は予測画像生成手段を構成している。

減算部４はブロック分割部２より出力された符号化ブロックから、予測部３により生成された予測画像を減算して、その減算結果である差分画像を示す予測残差信号を直交変換部５に出力する処理を実施する。
直交変換部５は符号化制御部１により決定された予測差分符号化パラメータを参照して、減算部４から出力された予測残差信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出する処理を実施する。

量子化部６は符号化制御部１により決定された予測差分符号化パラメータを参照して、直交変換部５から出力された変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化部７及び可変長符号化部１５に出力する処理を実施する。
なお、減算部４、直交変換部５及び量子化部６から画像圧縮手段が構成されている。

逆量子化部７は符号化制御部１により決定された予測差分符号化パラメータを参照して、量子化部６から出力された圧縮データを逆量子化し、逆量子化後の圧縮データである変換係数を逆直交変換部８に出力する処理を実施する。
逆直交変換部８は符号化制御部１により決定された予測差分符号化パラメータを参照して、逆量子化部７から出力された変換係数に対する逆直交変換処理を実施して、減算部４から出力された予測残差信号に相当する局所復号残差信号を算出する処理を実施する。
なお、逆量子化部７及び逆直交変換部８から圧縮解除手段が構成されている。

加算部９は逆直交変換部８により算出された局所復号残差信号と、予測部３により生成された予測画像とを加算して、ブロック分割部２から出力された符号化ブロックに相当する局所復号画像ブロックを算出する処理を実施する。なお、加算部９は局所復号画像生成手段を構成している。
フレームメモリ１０は加算部９により算出された局所復号画像ブロックを一時的に格納し、一画面分の符号化が完了した段階でこれを局所復号画像として構成するとともに、フィルタ処理部１４によるフィルタ処理後の局所復号画像を参照画像として記憶する記録媒体である。なお、フレームメモリ１０は画像メモリを構成している。

フィルタ効果判定部１１はフレームメモリ１０から読み出した局所復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素（以下、「フィルタ処理対象画素」と称する）を判別する処理を実施する。なお、フィルタ効果判定部１１はフィルタ処理対象画素判別手段を構成している。
領域分類部１２はフレームメモリ１０から読み出した局所復号画像の中で、フィルタ効果判定部１１により判別されたフィルタ処理対象画素が属する領域を分類する処理を実施する。なお、領域分類部１２は領域分類手段を構成している。

フィルタ設計部１３は領域分類部１２により分類された領域毎に、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に適用するフィルタを設計する処理を実施する。なお、フィルタ設計部１３はフィルタ設計手段を構成している。
フィルタ処理部１４はフィルタ設計部１３により設計されたフィルタを用いて、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像をフレームメモリ１０に格納する処理を実施する。なお、フィルタ処理部１４はフィルタ処理手段を構成している。

可変長符号化部１５はフィルタ設計部１３により設計されたフィルタを示すフィルタ係数と、符号化制御部１により決定された符号化モード、予測パラメータ及び予測差分符号化パラメータと、量子化部６から出力された圧縮データとを可変長符号化し、そのフィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ及び圧縮データの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１５は符号化手段を構成している。

図１の例では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、予測部３、減算部４、直交変換部５、量子化部６、逆量子化部７、逆直交変換部８、加算部９、フレームメモリ１０、フィルタ効果判定部１１、領域分類部１２、フィルタ設計部１３、フィルタ処理部１４及び可変長符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、予測部３、減算部４、直交変換部５、量子化部６、逆量子化部７、逆直交変換部８、加算部９、フィルタ効果判定部１１、領域分類部１２、フィルタ設計部１３、フィルタ処理部１４及び可変長符号化部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図２はこの発明の実施の形態１による画像符号化装置のフィルタ効果判定部１１を示す構成図である。
図２において、評価値算出部２１はフレームメモリ１０から読み出した局所復号画像を構成している画素に対してフィルタ処理が実施された場合の符号化歪みの軽減効果を表す評価値を算出する処理を実施する。
メモリ２２は予め設定された閾値を記憶している記録媒体である。
評価値比較部２３は評価値算出部２１により算出された評価値がメモリ２２に記憶されている閾値より大きい画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する処理を実施する。

次に動作について説明する。
まず、符号化制御部１は、予測処理が実施される際の処理単位となる符号化ブロックのサイズ（例えば、６４×６４画素など）を決定するとともに、選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部２から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する。

符号化ブロックのサイズの決め方としては、例えば、符号化対象画像を示す映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、符号化対象画像を示す映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する。
さらに、符号化制御部１は、直交変換部５、量子化部６、逆量子化部７及び逆直交変換部８に与える予測差分符号化パラメータを決定する。

ブロック分割部２は、符号化対象画像を示す映像信号を入力すると、その符号化対象画像を符号化制御部１により決定されたサイズの符号化ブロックに分割し、その符号化ブロックを予測部３及び減算部４に出力する。
予測部３は、ブロック分割部２から符号化ブロックを受けると、フレームメモリ１０に記憶されている参照画像を参照しながら、符号化制御部１により決定された予測パラメータにしたがって、その符号化ブロックに対する予測処理を実施して予測画像を生成する。
即ち、予測部３は、符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、イントラ予測処理を実施してイントラ予測画像を生成し、その符号化モードがインター符号化モードであれば、インター予測処理を実施してインター予測画像を生成する。

減算部４は、ブロック分割部２から符号化ブロックを受けると、その符号化ブロックから、予測部３により生成された予測画像を減算して、その減算結果である差分画像を示す予測残差信号を直交変換部５に出力する。
直交変換部５は、減算部４から予測残差信号を受けると、符号化制御部１により決定された予測差分符号化パラメータを参照して、その予測残差信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出し、その変換係数を量子化部６に出力する。
量子化部６は、直交変換部５から変換係数を受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれている量子化パラメータにしたがって、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化部７及び可変長符号化部１５に出力する。

逆量子化部７は、量子化部６から圧縮データ（量子化後の変換係数）を受けると、符号化制御部１により決定された予測差分符号化パラメータに含まれている量子化パラメータにしたがって、その圧縮データを逆量子化し、逆量子化後の圧縮データである変換係数を逆直交変換部８に出力する。
逆直交変換部８は、逆量子化部７から変換係数を受けると、符号化制御部１により決定された予測差分符号化パラメータを参照して、その変換係数に対する逆直交変換処理を実施して、減算部４から出力された予測残差信号に相当する局所復号残差信号を算出し、その局所復号残差信号を加算部９に出力する。

加算部９は、逆直交変換部８から局所復号残差信号を受けると、その局所復号残差信号と予測部３により生成された予測画像とを加算して、ブロック分割部２から出力された符号化ブロックに相当する局所復号画像ブロックを算出し、その局所復号画像ブロックをフレームメモリ１０に一時的に格納する。

フィルタ効果判定部１１は、加算部９が局所復号画像ブロックをフレームメモリ１０に一時的に格納していき、一画面分の符号化が完了して局所復号画像が構成されると、そのフレームメモリ１０から局所復号画像（フィルタ処理前の局所復号画像）を読み出し、その局所復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素（フィルタ処理対象画素）を判別する。
即ち、フィルタ効果判定部１１は、局所復号画像を構成している画素の中には、フィルタ処理による符号化歪みの軽減効果が認められる画素と、符号化歪みの軽減効果が認められない画素とが混在しているので、画素（または、複数の画素からなる領域）毎に、フィルタ効果の大小を判定することで、フィルタ処理による符号化歪みの軽減効果が認められる画素を判別する。

以下、フィルタ効果判定部１１の処理内容を具体的に説明する。
まず、フィルタ効果判定部１１の評価値算出部２１は、フレームメモリ１０から読み出した局所復号画像を構成している画素に対してフィルタ処理が実施された場合の符号化歪みの軽減効果を表す評価値を算出する。
ここで、評価値算出部２１により算出される評価値は、その値が大きいほど、フィルタ効果が高く、フィルタによる符号化歪みの軽減処理によって、符号化歪みが大幅に軽減されることを意味している。
一方、評価値が小さければフィルタ効果も小さく、符号化歪みの軽減処理を実施しても、符号化歪みはそれほど軽減されないこと、あるいは、そもそも局所復号画像に存在している符号化歪みが無視できる程度に小さいことを意味している。

評価値が小さい画素（または、評価値が小さい複数の画素からなる領域）では、符号化歪みの軽減処理がほとんど意味を持たないため、この軽減処理を省略しても、符号化性能への影響が小さい。
この実施の形態１は、この点に着目したものであり、フィルタ効果の小さい領域で符号化歪みの軽減処理を省略することで、符号化性能の大きな低下を伴うことなく、符号化歪みの軽減処理に係る演算量を削減するようにしている。
このとき、フィルタ効果の判定に要する処理の演算量を非常に小さく抑えることが極めて重要である。例えフィルタ効果の小さい領域についての符号化歪みの軽減処理を省略できても、効果判定に要する処理の演算量が大きくなれば、符号化処理の全体としては演算量を大きく削減することができないためである。

そこで、評価値算出部２１は、例えば、下記に示すような算出方法を採用することで、少ない演算量で評価値を算出するようにしている。ただし、下記に示す算出方法は一例に過ぎず、他の算出方法を用いてもよい。
ここでは、図３に示すように、４×４画素単位で評価値を算出する例を示し、座標（ｉ，ｊ）における局所復号画像の画素値をＩ（ｉ、ｊ）とする。ただし、評価値を算出する単位は必ずしも４×４画素である必要はなく、Ｎ×Ｍ画素（Ｎ，Ｍは１以上の整数）でも構わない。

（１）評価値算出方法１
評価値算出方法１では、下記の式（１）にしたがって評価値を算出する。

式（１）において、μは４画素（（ｉ，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋２））の画素値を平均した値である。｜＊｜は＊の絶対値を表す記号である。
式（１）で算出される評価値は、４×４画素の領域における画素値のばらつきに相当し、画素値のばらつきが小さいほど、その値も小さくなる。
一般的に、符号化歪みの軽減処理は、なだらかなテクスチャ（模様）を持つ領域で効果が小さい。そのような領域では画素値のばらつきが小さいため、評価値は小さな値を示すことになる。
したがって、評価値が小さいほど、その領域は符号化歪みの軽減処理の効果が小さいと判断することができる。
なお、式（１）では、演算量を削減するため、（ｉ，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋２）の４画素のみを用いているが、利用する画素の位置や個数は、必ずしもこのようにする必要はない。

（２）評価値算出方法２
評価値算出方法２では、下記の式（２）にしたがって評価値を算出する。

式（２）で算出される評価値は、算出方法１と同様に、４×４画素の領域における画素値のばらつきに相当し、画素値のばらつきが小さいほど、その値も小さくなる。
したがって、評価値が小さいほど、その領域は符号化歪みの軽減処理の効果が小さいと判断することができる。
なお、式（２）では、演算量を削減するため、（ｉ，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋２）の４画素のみを用いているが、利用する画素の位置や個数は、必ずしもこのようにする必要はない。

（３）評価値算出方法３
評価値算出方法３では、下記の式（３）にしたがって評価値を算出する。

式（３）において、Ｅ（ｉ，ｊ）は、座標（ｉ，ｊ）における予測残差の絶対値を表す記号である。
式（３）で算出される評価値は、４×４画素の領域における予測残差の大きさに相当し、予測残差が小さいほど、その値も小さくなる。
一般的に、符号化歪みの軽減処理は、予測残差の小さな領域で効果が小さい。したがって、評価値が小さいほど、その領域は、符号化歪みの軽減処理の効果が小さいと判断することができる。なお、式（３）では、演算量を削減するため、（ｉ，ｊ）、（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋２，ｊ＋２）の４画素のみを用いているが、利用する画素の位置や個数は、必ずしもこのようにする必要はない。

評価値比較部２３は、評価値算出部２１が評価値を算出すると、その評価値とメモリ２２に記憶されている閾値を比較し、その評価値が閾値より小さい画素（または、評価値が小さい複数の画素からなる領域）については、フィルタ処理による符号化歪みの軽減効果が認められない画素であると判別する。即ち、フィルタ効果が小さく、符号化歪みの軽減処理を省略しても問題ないと判断する。
一方、評価値が閾値以上の画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する。
なお、評価値比較部２３は、その判別結果を示すフィルタ効果情報を領域分類部１２、フィルタ設計部１３及びフィルタ処理部１４に出力するが、フィルタ効果情報は、例えば、図４に示すように、局所復号画像内の各画素に対応しており、フィルタ効果がないと判別された画素については“０”、フィルタ効果があると判別された画素については“０以外の値”が格納されている配列である。
この実施の形態１では、４×４画素単位で評価値が算出されているため、フィルタ効果の有無も４×４画素単位で決定される。

以下、評価値比較部２３の処理内容を具体的に説明する。
図５はメモリ２２に記憶されている閾値が２のべき乗でない場合の評価値比較部２３の処理内容を示すフローチャートである。
評価値比較部２３は、評価値算出部２１が評価値を算出すると、その評価値からメモリ２２に記憶されている閾値を減算し（ステップＳＴ１）、その減算結果が“０”以上であるか否かを判定する（ステップＳＴ２）。
評価値比較部２３は、その減算結果が“０”以上であれば、フィルタ効果情報における配列の中で、その評価値に係る画素に対応する座標に０以外の値（例えば、１）を格納する（ステップＳＴ３）。
一方、その減算結果が“０”より小さければ、フィルタ効果情報における配列の中で、その評価値に係る画素に対応する座標に０を格納する（ステップＳＴ４）。

図６はメモリ２２に記憶されている閾値が２のべき乗（ここでは２のｎ乗とする）である場合の評価値比較部２３の処理内容を示すフローチャートである。
メモリ２２に記憶されている閾値が２のべき乗である場合、評価値比較部２３における比較処理をビットシフトに置き換えることができる。
評価値比較部２３は、評価値算出部２１が評価値を算出すると、その評価値をｎビット左にシフトする（ステップＳＴ１１）。
このように、評価値をｎビット左にシフトすることで、その評価値をメモリ２２に記憶されている閾値（２のべき乗である閾値）で除算した場合の商を得ることができる。
このとき、評価値算出部２１により算出された評価値が、メモリ２２に記憶されている閾値以上であれば、当該商が１以上となり、その評価値が閾値より小さければ、当該商が０となる。

そこで、評価値比較部２３は、フィルタ効果情報における配列の中で、その評価値に係る画素に対応する座標に、ｎビット左にシフトした評価値をそのまま格納する。
この場合、ｎビット左にシフトした評価値をそのまま格納すればよく、減算結果が０以上であるか否かの判定処理を省略することができる。

領域分類部１２は、フィルタ効果判定部１１からフィルタ効果情報を受けると、フレームメモリ１０から局所復号画像（フィルタ処理前の局所復号画像）を読み出し、その局所復号画像の中で、そのフィルタ効果情報が示すフィルタ処理対象画素が属する領域を分類する。
以下、領域分類部１２の処理内容を具体的に説明する。
図７は領域分類部１２の処理内容を示すフローチャートである。

まず、領域分類部１２は、フィルタ処理前の局所復号画像を構成している画素の中から任意の画素を選択し、その画素に対応するフィルタ効果情報の座標に０以外の値が格納されている否かを判定する（ステップＳＴ２１）。
領域分類部１２は、０以外の値が格納されている場合、例えば、下記の式（４）に示すように、任意の画素の画素値Ｓ（ｘ，ｙ）と、任意の画素の周辺に存在している画素の画素値Ｓ（ｘ＋ｉ，ｙ＋ｉ）との絶対値差分の平均値Ｃ_ave（ｘ，ｙ）を分割基準値として算出する（ステップＳＴ２２）。

式（４）において、Ｎは任意の自然数である。

ここでは、分割基準値として、局所領域における絶対値差分の平均値Ｃ_ave（ｘ，ｙ）を算出する例を示したが、分割基準値は様々なものが考えられ、例えば、下記の式（５）に示すように、絶対値差分の最大値Ｃ_max（ｘ，ｙ）を算出するようにしてもよい。

また、下記の式（６）に示すように、高域通過フィルタ処理後の値の絶対値Ｃ_HF（ｘ，ｙ）を算出するようにしてもよい。

領域分類部１２は、分割基準値を算出すると、その分割基準値に基づいて、選択している任意の画素が属する領域の番号（以下、「領域番号」と称する）を決定する（ステップＳＴ２３）。
ここで、図８は領域番号の決定方法の一例を示す説明図である。
図８では、分割基準値が０〜１５の整数となる場合の例を示しており、分割基準値が近い画素同士が同一の領域に分類される。
即ち、分割基準値が０〜３となる画素は領域０に分類され、分割基準値が４〜７となる画素は領域１に分類され、分割基準値が８〜１１となる画素は領域２に分類され、分割基準値が１２〜１５となる画素は領域３に分類される。
なお、領域分類部１２では、画素に対応するフィルタ効果情報の座標に０が格納されている場合、分割基準値の算出処理及び領域番号の決定処理を省略する。

領域分類部１２は、フィルタ処理前の局所復号画像を構成している全ての画素について、ステップＳＴ２１〜ＳＴ２３の処理を繰り返し実行し（ステップＳＴ２４，ＳＴ２５）、局所復号画像を構成している各画素に対応する領域番号を示す領域分類情報をフィルタ設計部１３及びフィルタ処理部１４に出力する（ステップＳＴ２６）。
ここで、図９は局所復号画像を構成している各画素に対応する領域番号を示す領域分類情報の一例を示す説明図である。
図９において、黒で表されている部分は、フィルタ効果がないと判別された画素が属している領域であり、分割基準値の算出処理及び領域番号の決定処理が省略されているため、領域番号を示す値が格納されていない。

フィルタ設計部１３は、領域分類部１２により分類された領域毎に、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に適用するフィルタを設計する。
即ち、フィルタ設計部１３は、領域分類部１２から出力された領域分類情報を参照して、領域毎に、符号化対象画像とフィルタ処理前の局所復号画像との残差（符号化歪み）を求め、その残差を最小化するフィルタを設計する。
この際、フィルタ設計部１３では、フィルタ効果判定部１１から出力されたフィルタ効果情報を参照して、フィルタ効果がないと判別された画素（または、フィルタ効果がないと判別された複数の画素からなる領域）については、フィルタ設計に係る処理を省略する。

以下、フィルタ設計部１３の処理内容を具体的に説明する。
図１０はフィルタ設計部１３の処理内容を示すフローチャートである。
まず、フィルタ設計部１３は、フィルタ処理前の局所復号画像を構成している画素の中から任意の画素を選択し、その画素に対応するフィルタ効果情報の座標に０以外の値が格納されている否かを判定する（ステップＳＴ３１）。
フィルタ設計部１３は、０以外の値が格納されている場合、その選択した画素の値と、フィルタ処理前の局所復号画像における上記選択画素と同一位置にある画素の値とから、フィルタ設計に必要な情報を算出する（ステップＳＴ３２）。

フィルタ設計に必要な情報とは、例えば、設計するフィルタが局所復号画像と符号化対象画像との間の誤差を最小化するようなフィルタである場合、局所復号画像と符号化対象画像との画素値の差分等が考えられる。この他にも、局所領域での画素値特徴に基づいてフィルタを設計することも考えられる。この場合、ステップＳＴ３２で算出されるフィルタ設計に必要な情報は、画素値の分散やエッジ強度等が該当する。

フィルタ設計部１３は、フィルタ処理前の局所復号画像を構成している全ての画素について、ステップＳＴ３１〜ＳＴ３２の処理を繰り返し実行し（ステップＳＴ３３，ＳＴ３４）、フィルタ設計に必要な情報に基づいて、領域分類部１２から出力された領域分類情報が示す各々の領域毎にフィルタ設計を行う（ステップＳＴ３５）。
フィルタ設計部１３により設計されるフィルタは、例えば、ウィーナーフィルタなどのように、符号化対象画像とフィルタ処理前の局所復号画像との残差を最小化するようなフィルタや、画素値の分散やエッジ強度に応じて通過域を変化させる低域通過フィルタ、帯域通過フィルタ、高域通過フィルタ等である。
フィルタ設計部１３は、領域毎にフィルタ設計を行うと、そのフィルタを示すフィルタ係数をフィルタ処理部１４及び可変長符号化部１５に出力する（ステップＳＴ３６）。

フィルタ処理部１４は、フィルタ設計部１３がフィルタを設計すると、そのフィルタを用いて、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像をフレームメモリ１０に格納する。
この際、フィルタ処理部１４では、フィルタ効果判定部１１から出力されたフィルタ効果情報を参照して、フィルタ効果がないと判別された画素（または、フィルタ効果がないと判別された複数の画素からなる領域）については、フィルタ処理を省略する。

以下、フィルタ処理部１４の処理内容を具体的に説明する。
図１１はフィルタ処理部１４の処理内容を示すフローチャートである。
まず、フィルタ処理部１４は、フィルタ処理前の局所復号画像を構成している画素の中から任意の画素を選択し、その画素に対応するフィルタ効果情報の座標に０以外の値が格納されている否かを判定する（ステップＳＴ４１）。
フィルタ処理部１４は、０以外の値が格納されている場合、領域分類部１２から出力された領域分類情報を参照して、その選択した画素が属している領域の番号を認識し、フィルタ設計部１３により設計された領域毎のフィルタを示すフィルタ係数の中から、その領域番号に対応する領域のフィルタ係数を特定する。
そして、フィルタ処理部１４は、その領域番号に対応する領域のフィルタ係数が示すフィルタを用いて、その選択した画素に対するフィルタ処理を実施する（ステップＳＴ４２）。

フィルタ処理部１４は、フィルタ処理前の局所復号画像を構成している全ての画素について、ステップＳＴ４１〜ＳＴ４２の処理を繰り返し実行し（ステップＳＴ４３，ＳＴ４４）、全ての画素について処理が終了すると、フィルタ処理後の局所復号画像をフレームメモリ１０に格納する（ステップＳＴ４５）。

可変長符号化部１５は、フィルタ設計部１１により設計されたフィルタを示すフィルタ係数と、符号化制御部１により決定された符号化モード、予測パラメータ及び予測差分符号化パラメータと、量子化部６から出力された圧縮データとを可変長符号化し、そのフィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ及び圧縮データの符号化データが多重化されているビットストリームを生成する。
なお、符号化制御部１により決定された符号化モードがインター符号化モードである場合、予測部３により予測処理が実施される際に探索された動きベクトルも可変長符号化して、その動きベクトルの符号化データをビットストリームに多重化する。

以上で明らかなように、この実施の形態１によれば、加算部９により生成された局所復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素であるフィルタ処理対象画素を判別するフィルタ効果判定部１１と、加算部９により生成された局所復号画像の中で、フィルタ効果判定部１１により判別されたフィルタ処理対象画素が属する領域を分類する領域分類部１２と、領域分類部１２により分類された領域毎に、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計部１３とを設け、フィルタ処理部１４が、フィルタ設計部１３により設計されたフィルタを用いて、フィルタ効果判定部１１により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像をフレームメモリ１０に格納するように構成したので、符号化歪みを軽減する処理の演算量を低減することができる効果を奏する。

なお、特許文献１には、領域分割部により分割された領域毎にフィルタ設計及びフィルタ処理を適用するか否かを切り替えることが記載されているが、この実施の形態１では、全ての処理に先立ってフィルタの効果を判定しているため、領域分割に係る演算量も削減することができる。
また、特許文献１に記載の方法では、領域分割のための基準と、フィルタ効果を判定するための基準とが必ず同じでなければならないが、当然ながら、両者で最適な基準が異なる。
この実施の形態１では、両者を完全に独立に構成することが可能であり、特許文献１に記載の方法よりも効果が高いことは明らかである。

実施の形態２．
図１２はこの発明の実施の形態２による画像復号装置を示す構成図である。
図１２において、可変長復号部３１は図１の画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されている符号化データから、フィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ及び圧縮データの符号化データを可変長復号する処理を実施する。なお、可変長復号部３１は復号手段を構成している。

逆量子化部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化し、逆量子化後の圧縮データである変換係数を逆直交変換部３３に出力する処理を実施する。
逆直交変換部３３は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、逆量子化部３２から出力された変換係数に対する逆直交変換処理を実施して、図１の減算部４から出力された予測残差信号に相当する予測残差信号を算出する処理を実施する。
なお、逆量子化部３２及び逆直交変換部３３から圧縮解除手段が構成されている。

予測部３４はフレームメモリ３６に記憶されている参照画像（フィルタ処理後の局所復号画像）を参照しながら、可変長復号部３１により可変長復号された予測パラメータにしたがって、符号化ブロックに対する予測処理（可変長復号部３１により可変長復号された符号化モードに対応する予測処理であり、その符号化モードがイントラ符号化モードであればイントラ予測処理、その符号化モードがインター符号化モードであればインター予測処理）を実施して予測画像を生成する処理を実施する。なお、予測部３４は予測画像生成手段を構成している。

加算部３５は逆直交変換部３３により算出された予測残差信号が示す画像と、予測部３４により生成された予測画像とを加算して、図１のブロック分割部２から出力された符号化ブロックに相当する復号画像ブロックを算出する処理を実施する。なお、加算部３５は復号画像生成手段を構成している。
フレームメモリ３６は加算部３５により算出された復号画像ブロックを一時的に格納し、一画面分の復号が完了した段階でこれを復号画像として構成するとともに、フィルタ処理部３９によるフィルタ処理後の復号画像を参照画像として記憶する記録媒体である。なお、フレームメモリ３６は画像メモリを構成している。

フィルタ効果判定部３７は加算部３５により算出された復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素（以下、「フィルタ処理対象画素」と称する）を判別する処理を実施する。なお、フィルタ効果判定部３７はフィルタ処理対象画素判別手段を構成している。
領域分類部３８はフレームメモリ３６から読み出した復号画像の中で、フィルタ効果判定部３７により判別されたフィルタ処理対象画素が属する領域を分類する処理を実施する。なお、領域分類部３８は領域分類手段を構成している。

フィルタ処理部３９は可変長復号部３１により可変長復号されたフィルタ係数が示すフィルタを用いて、フィルタ効果判定部３７により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の復号画像をフレームメモリ３６に格納する処理を実施する。なお、フィルタ処理部３９はフィルタ処理手段を構成している。

図１２の例では、画像復号装置の構成要素である可変長復号部３１、逆量子化部３２、逆直交変換部３３、予測部３４、加算部３５、フレームメモリ３６、フィルタ効果判定部３７、領域分類部３８及びフィルタ処理部３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化部３２、逆直交変換部３３、予測部３４、加算部３５、フィルタ効果判定部３７、領域分類部３８及びフィルタ処理部３９の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
可変長復号部３１は、図１の画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。

また、可変長復号部３１は、図１の画像符号化装置の符号化制御部１により決定された符号化ブロックのサイズを画像符号化装置と同様の手順で決定する。
例えば、符号化ブロックのサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、画像符号化装置と同様の手順で符号化ブロックのサイズを決定する。
符号化ブロックのサイズが、画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。

また、可変長復号部３１は、各々の符号化ブロックに対応する符号化モード、予測パラメータ、予測差分符号化パラメータ及び圧縮データを可変長復号するとともに、復号画像内の各領域に対応するフィルタ係数を可変長復号する。
ここでは、符号化ブロックに対応する予測パラメータ等を可変長復号する例を示しているが、図１の画像符号化装置が符号化ブロックを更に１つないし複数の予測処理単位である予測ブロックに分割している場合、予測処理単位となる１つ以上の予測ブロック毎に予測パラメータ等を可変長復号する。

逆量子化部３２は、可変長復号部３１から予測差分符号化パラメータを受けると、図１の逆量子化部７と同様に、その予測差分符号化パラメータに含まれている量子化パラメータにしたがって、可変長復号部３１から出力された圧縮データを逆量子化し、逆量子化後の圧縮データである変換係数を逆直交変換部３３に出力する。
逆直交変換部３３は、逆量子化部３２から変換係数を受けると、図１の逆直交変換部８と同様に、可変長復号部３１から出力された予測差分符号化パラメータを参照して、その変換係数に対する逆直交変換処理を実施して、図１の減算部４から出力された予測残差信号に相当する予測残差信号を算出し、その予測残差信号を加算部３５に出力する。

予測部３４は、可変長復号部３１から予測パラメータを受けると、フレームメモリ３６に記憶されている参照画像（フィルタ処理後の局所復号画像）を参照しながら、その予測パラメータにしたがって、符号化ブロックに対する予測処理を実施して予測画像を生成する。
即ち、予測部３４は、可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、イントラ予測処理を実施してイントラ予測画像を生成し、その符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号された動きベクトルを用いたインター予測処理を実施してインター予測画像を生成する。

加算部３５は、予測部３４が予測画像を生成すると、その予測画像と逆直交変換部３３により算出された予測残差信号が示す画像とを加算して、図１のブロック分割部２から出力された符号化ブロックに相当する復号画像ブロックを算出し、その復号画像ブロックを一時的にフレームメモリ３６に格納する。

フィルタ効果判定部３７は、図１のフィルタ効果判定部１１と同様の手順で処理を実施するものであり、加算部３５が復号画像ブロックをフレームメモリ３６に一時的に格納すると、そのフレームメモリ３６から復号画像（フィルタ処理前の復号画像）を読み出し、その復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素（フィルタ処理対象画素）を判別する。
即ち、フィルタ効果判定部３７は、復号画像を構成している画素の中には、フィルタ処理による符号化歪みの軽減効果が認められる画素と、符号化歪みの軽減効果が認められない画素とが混在しているので、画素（または、複数の画素からなる領域）毎に、フィルタ効果の大小を判定することで、フィルタ処理による符号化歪みの軽減効果が認められる画素を判別する。

領域分類部３８は、図１の領域分類部１２と同様の手順で処理を実施するものであり、フィルタ効果判定部３７からフィルタ効果情報を受けると、フレームメモリ３６から復号画像（フィルタ処理前の復号画像）を読み出し、その復号画像の中で、そのフィルタ効果情報が示すフィルタ処理対象画素が属する領域を分類する。
領域分類部３８では、図１の領域分類部１２と同様に、フィルタ効果がないと判別された画素（または、フィルタ効果がないと判別された複数の画素からなる領域）については、分割基準値の算出処理及び領域番号の決定処理を省略する。

フィルタ処理部３９は、図１のフィルタ処理部１４と同様の手順で処理を実施するものであり、可変長復号部３１により可変長復号されたフィルタ係数が示すフィルタを用いて、フィルタ効果判定部３７により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の復号画像をフレームメモリ３６に格納する。
この際、フィルタ処理部１４では、フィルタ効果判定部１１から出力されたフィルタ効果情報を参照して、フィルタ効果がないと判別された画素（または、フィルタ効果がないと判別された複数の画素からなる領域）については、フィルタ処理を省略する。

以上で明らかなように、この実施の形態２によれば、加算部３５により生成された復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素であるフィルタ処理対象画素を判別するフィルタ効果判定部３７と、加算部３５により生成された復号画像の中で、フィルタ効果判定部３７により判別されたフィルタ処理対象画素が属する領域を分類する領域分類部３８とを設け、フィルタ処理部３９が、可変長復号部３１により可変長復号されたフィルタ係数が示すフィルタを用いて、フィルタ効果判定部３７により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の復号画像をフレームメモリ３６に格納するように構成したので、符号化歪みを軽減する処理の演算量を低減することができる効果を奏する。

実施の形態３．
図１３はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
フィルタ効果判定部４０は図１のフィルタ効果判定部１１と同様に、加算部９により算出された局所復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素であるフィルタ処理対象画素を判別する処理を実施するが、判別に用いる閾値を符号化対象画像の符号化に関する情報に基づいて設定し、その閾値を可変長符号化部４１に出力している点で、図１のフィルタ効果判定部１１と相違している。なお、フィルタ効果判定部４０はフィルタ処理対象画素判別手段を構成している。

可変長符号化部４１はフィルタ設計部１１により設計されたフィルタを示すフィルタ係数と、符号化制御部１により決定された符号化モード、予測パラメータ及び予測差分符号化パラメータと、量子化部６から出力された圧縮データと、フィルタ効果判定部４０から出力された閾値とを可変長符号化し、そのフィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ、圧縮データ及び閾値の符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部４１は符号化手段を構成している。

図１４はこの発明の実施の形態３による画像符号化装置のフィルタ効果判定部４０を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
閾値設定部５１は符号化制御部１から符号化対象画像の符号化に関する情報として、例えば、符号化歪みの軽減処理を省略する画素の割合を示す割合情報を受けると、評価値算出部２１により画素毎に算出された評価値の累積ヒストグラムを生成し、その割合に対応する評価値を閾値として設定する処理を実施する。
評価値比較部５２は評価値算出部２１により算出された評価値が閾値設定部５１により設定された閾値より大きい画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する処理を実施する。

次に動作について説明する。
フィルタ効果判定部４０及び可変長符号化部４１以外は、上記実施の形態１と同様であるため、フィルタ効果判定部４０及び可変長符号化部４１の処理内容だけを説明する。
まず、フィルタ効果判定部４０の評価値算出部２１は、上記実施の形態１と同様に、フレームメモリ３６から読み出した局所復号画像を構成している画素に対してフィルタ処理が実施された場合の符号化歪みの軽減効果を表す評価値を算出する。

符号化制御部１は、符号化画像毎に、例えば、量子化部６及び逆量子化部７に与える予測差分符号化パラメータに含まれている量子化パラメータや外部からの設定情報に基づいて、符号化歪みの軽減処理を省略する画素の割合を決定し、その割合を示す割合情報をフィルタ効果判定部４０の閾値設定部５１に出力する。

フィルタ効果判定部４０の閾値設定部５１は、符号化制御部１から符号化対象画像の符号化に関する情報として、例えば、符号化歪みの軽減処理を省略する画素の割合を示す割合情報を受けると、評価値算出部２１により画素毎の算出された評価値の累積ヒストグラムを生成し、その割合に対応する評価値を閾値として設定する。
以下、閾値設定部５１の処理内容を具体的に説明する。
図１５は閾値設定部５１の処理内容を示す説明図である。

まず、閾値設定部５１は、評価値算出部２１により画素毎の算出された評価値（図１５（ａ）を参照）を受けると、図１５（ｂ）に示すように、それらの評価値のヒストグラムを生成する。
閾値設定部５１は、評価値のヒストグラムを生成すると、図１５（ｃ）に示すように、各評価値の頻度を累積していくことで、評価値の累積ヒストグラムを生成する。

閾値設定部５１は、評価値の累積ヒストグラムを生成すると、その累積ヒストグラムの累積頻度［％］の中で、符号化制御部１から出力された割合情報が示す割合と一致する累積頻度［％］を特定する。
閾値設定部５１は、割合情報が示す割合と一致する累積頻度［％］を特定すると、その累積頻度に対応する評価値を特定し、その評価値を閾値として設定する。
図１４の例では、符号化歪みの軽減処理を省略する画素の割合が５０％であり、５０％の累積頻度に対応する評価値が“１”であるため、閾値が“１”に設定される。
この場合、全体の５０％の画素で、符号化歪みの軽減処理が省略されることになる。

なお、このとき、あらかじめ閾値の上限値を設定しておき、累積ヒストグラムから設定された閾値がこの上限値を上回る場合、設定する閾値をこの上限値に置き換えるようにしてもよい。

閾値設定部５１は、閾値を設定すると、その閾値を評価値比較部５２及び可変長符号化部４１に出力する。
評価値比較部５２は、評価値算出部２１が評価値を算出し、閾値設定部５１から閾値を受けると、図２の評価値比較部２３と同様に、その評価値と閾値を比較し、その評価値が閾値より小さい画素（または、評価値が小さい複数の画素からなる領域）については、フィルタ処理による符号化歪みの軽減効果が認められない画素であると判別する。
一方、その評価値が閾値以上の画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する。

可変長符号化部４１は、フィルタ設計部１１により設計されたフィルタを示すフィルタ係数と、符号化制御部１により決定された符号化モード、予測パラメータ及び予測差分符号化パラメータと、量子化部６から出力された圧縮データと、フィルタ効果判定部４０の閾値設定部５１から出力された閾値とを可変長符号化し、そのフィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ、圧縮データ及び閾値の符号化データが多重化されているビットストリームを生成する。
ここで、図１６は可変長符号化部４１により生成されるビットストリームの一例を示す説明図である。
閾値を重畳する位置としては、図１６に示すようなピクチャパラメータセット等が考えられるが、ピクチャパラメータセット以外の位置に重畳することも考えられる。

以上で明らかなように、この実施の形態３によれば、符号化歪みの軽減処理を省略する画素の割合に応じて閾値を設定するように構成したので、高精度なフィルタ効果判定が可能になり、符号化歪みの軽減処理を省略することに伴う符号化性能の低下を小さく抑えることができる効果を奏する。

実施の形態４．
図１７はこの発明の実施の形態４による画像復号装置を示す構成図であり、図において、図１２と同一符号は同一または相当部分を示すので説明を省略する。
可変長復号部６１は図１の画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに多重化されている符号化データから、フィルタ係数、符号化モード、予測パラメータ、予測差分符号化パラメータ、圧縮データ及び閾値の符号化データを可変長復号する処理を実施する。なお、可変長復号部６１は復号手段を構成している。

フィルタ効果判定部６２は図１２のフィルタ効果判定部３７と同様に、フレームメモリ３６から読み出した復号画像を構成している画素の中で、フィルタ処理による符号化歪みの軽減効果が認められる画素であるフィルタ処理対象画素を判別する処理を実施するが、判別に用いる閾値として、可変長復号部６１により可変長復号された閾値を使用する点で、図１２のフィルタ効果判定部３７と相違している。なお、フィルタ効果判定部６２はフィルタ処理対象画素判別手段を構成している。

図１８はこの発明の実施の形態４による画像復号装置のフィルタ効果判定部６２を示す構成図である。
図１８において、評価値算出部７１は加算部３５により算出された復号画像ブロックを構成している画素に対してフィルタ処理が実施された場合の符号化歪みの軽減効果を表す評価値を算出する処理を実施する。
評価値比較部７２は評価値算出部により算出された評価値が可変長復号部６１により可変長復号された閾値より大きい画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する処理を実施する。

次に動作について説明する。
可変長復号部６１及びフィルタ効果判定部６２以外は、上記実施の形態２と同様であるため、可変長復号部６１及びフィルタ効果判定部６２の処理内容だけを説明する。
まず、可変長復号部６１は、図１２の可変長復号部３１と同様に、各々の符号化ブロックに対応する符号化モード、予測パラメータ、予測差分符号化パラメータ及び圧縮データを可変長復号するとともに、各々の符号化ブロック内の各領域に対応するフィルタ係数を可変長復号する。
また、可変長復号部６１では閾値も可変長復号する。

フィルタ効果判定部６２の評価値算出部７１は、図２の評価値算出部２１と同様の手順で、加算部３７により算出された復号画像ブロックを構成している画素に対してフィルタ処理が実施された場合の符号化歪みの軽減効果を表す評価値を算出する。
評価値比較部７２は、評価値算出部７１が評価値を算出すると、その評価値と可変長復号部６１により可変長復号された閾値を比較する。
評価値比較部７２は、その評価値が閾値より小さい画素（または、評価値が小さい複数の画素からなる領域）については、図２の評価値比較部２３と同様に、フィルタ処理による符号化歪みの軽減効果が認められない画素であると判別する。
一方、その評価値が閾値以上の画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する。

以上で明らかなように、この実施の形態４によれば、画像符号化装置によって、符号化歪みの軽減処理を省略する画素の割合に応じて設定された閾値を用いるように構成したので、高精度なフィルタ効果判定が可能になり、符号化歪みの軽減処理を省略することに伴う符号化性能の低下を小さく抑えることができる効果を奏する。

実施の形態５．
上記実施の形態１〜４における画像符号化装置及び画像復号装置では、領域分類部１２，３８が、加算部９，３５により算出された局所復号画像ブロック（復号画像ブロック）の中で、フィルタ効果判定部１１，３７等により判別されたフィルタ処理対象画素が属する領域を分類するものを示したが、その局所復号画像ブロック（復号画像ブロック）を構成している画素に対するフィルタ処理対象画素の割合に応じて、フィルタ処理対象画素が属する領域の分類方法を変更するようにしてもよい。

図１９は領域番号の決定方法の一例を示す説明図である。
図１９の例では、分割基準値に対応する領域番号の変換表を３種類備えており、局所復号画像ブロック（復号画像ブロック）を構成している画素に対するフィルタ処理対象画素の割合に応じて、（ａ）の変換表、（ｂ）の変換表、または、（ｃ）の変換表のいずれかを使用して、フィルタ処理対象画素が属する領域を分類する。

例えば、フィルタ効果判定によって、フィルタによる符号化歪みの軽減効果がないと判断される領域では、分割基準値が小さくなる傾向にあるとする。このとき、図８に示すように、変換表が１つだけである場合、領域０で実際に符号化歪みの軽減処理が適用される画素が非常に少なくなり、小数の画素を用いて、フィルタ設計を行っても画像全体としての符号化歪みの軽減処理の効果が限定的なものとなる。
そこで、この実施の形態５では、領域分類部１２，３８が、フィルタ効果情報から符号化歪みの軽減処理が省略される画素の割合を算出し、図１９に示す３種類の変換表の中から、その割合に対応する変換表を選択し、その変換表を用いて、フィルタ処理対象画素が属する領域を分類するようにしている。

具体的には、符号化歪みの軽減処理が省略される画素の割合が小さい場合には、分割基準値の０〜３までを領域０に割り当て、割合が大きくなるにしたがって領域０に分類される分割基準値の上限値を増やしていくようにする。
図１９の例では、分割基準値０〜３を領域０に割り当てる場合と、分割基準値０〜６を領域０に割り当てる場合と、分割基準値０〜９を領域０に割り当てる場合とを示している。

この実施の形態５では、予め、３種類の変換表を用意して、３種類の変換表の中から、使用する変換表を適応的に選択しているが、画像に応じて、変換表をその都度生成するようにしてもよい。
図１５に示す累積ヒストグラムを分割基準値について作成すれば、領域０，領域１，領域２，領域３のそれぞれに属する画素の総数が所定の割合になるような変換表を生成することができる。
このようにすれば、どの画像においても、例えば、領域０〜３の各領域に属する画素の割合が全て全体の２５％に近くなるようにすることができ、ある領域に属する画素が極端に少なくなったり、多くなったりすることを避けることができる。

以上で明らかなように、この実施の形態５によれば、局所復号画像ブロック（復号画像ブロック）を構成している画素に対するフィルタ処理対象画素の割合に応じて、フィルタ処理対象画素が属する領域の分類方法を変更するように構成したので、符号化歪みの軽減処理の省略による演算量の削減に加えて、より効果的なフィルタ設計による符号化歪みの軽減処理の性能向上を期待することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部、２ ブロック分割部、３ 予測部（予測画像生成手段）、４ 減算部（画像圧縮手段）、５ 直交変換部（画像圧縮手段）、６ 量子化部（画像圧縮手段）、７ 逆量子化部（圧縮解除手段）、８ 逆直交変換部（圧縮解除手段）、９ 加算部（局所復号画像生成手段）、１０ フレームメモリ（画像メモリ）、１１，４０ フィルタ効果判定部（フィルタ処理対象画素判別手段）、１２ 領域分類部（領域分類手段）、１３ フィルタ設計部（フィルタ設計手段）、１４ フィルタ処理部（フィルタ処理手段）、１５，４１ 可変長符号化部（符号化手段）、３１，６１ 可変長復号部（復号手段）、３２ 逆量子化部（圧縮解除手段）、３３ 逆直交変換部（圧縮解除手段）、３４ 予測部（予測画像生成手段）、３５ 加算部（復号画像生成手段）、３６ フレームメモリ（画像メモリ）、３７，６２ フィルタ効果判定部（フィルタ処理対象画素判別手段）、３８ 領域分類部（領域分類手段）、３９ フィルタ処理部（フィルタ処理手段）、５１ 閾値設定部、５２ 評価値比較部、７１ 評価値算出部、７２ 評価値比較部。

Claims (11)

1. フィルタ処理後の局所復号画像を記憶する画像メモリと、上記画像メモリに記憶されている局所復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記符号化対象画像との差分画像を生成し、上記差分画像を圧縮する画像圧縮手段と、上記画像圧縮手段により圧縮された差分画像の圧縮を解除する圧縮解除手段と、上記圧縮解除手段により圧縮が解除された差分画像と上記予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、上記局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、上記評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別手段と、上記局所復号画像生成手段により生成された局所復号画像の中で、上記フィルタ処理対象画素判別手段により符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類手段と、上記領域分類手段により分類された領域毎に、上記フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計手段と、上記フィルタ設計手段により設計されたフィルタを用いて、上記フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記画像メモリに格納するフィルタ処理手段と、上記フィルタ設計手段により設計されたフィルタを示すフィルタ係数及び上記画像圧縮手段により圧縮された差分画像を示す圧縮データを符号化し、上記フィルタ係数及び上記圧縮データの符号化データが多重化されたビットストリームを生成する符号化手段とを備え、
   上記領域分類手段は、上記フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、上記局所復号画像生成手段により生成された局所復号画像を構成している画素に対する上記フィルタ処理対象画素の割合に対応する分類方法を用いて、上記フィルタ処理対象画素が属する領域を分類することを特徴とする画像符号化装置。
2. 上記フィルタ処理対象画素判別手段は、上記局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出する評価値算出部と、上記評価値算出部により算出された評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する評価値比較部とから構成されていることを特徴とする請求項１記載の画像符号化装置。
3. 上記フィルタ処理対象画素判別手段は、上記局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出する評価値算出部と、上記評価値算出部により画素群毎に算出された評価値の累積ヒストグラムを生成し、その累積ヒストグラムの累積頻度の中で、与えられた割合情報が示す符号化歪みの軽減処理を省略する画素の割合に対応する累積頻度を特定して、その特定した累積頻度に対応する評価値を閾値として設定する閾値設定部と、上記評価値算出部により算出された評価値が上記閾値設定部により設定された閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する評価値比較部とから構成されていることを特徴とする請求項１記載の画像符号化装置。
4. フィルタ処理後の局所復号画像を記憶する画像メモリと、上記画像メモリに記憶されている局所復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記符号化対象画像との差分画像を生成し、上記差分画像を圧縮する画像圧縮手段と、上記画像圧縮手段により圧縮された差分画像の圧縮を解除する圧縮解除手段と、上記圧縮解除手段により圧縮が解除された差分画像と上記予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、上記局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、上記評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別手段と、上記局所復号画像生成手段により生成された局所復号画像の中で、上記フィルタ処理対象画素判別手段により符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類手段と、上記領域分類手段により分類された領域毎に、上記フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計手段と、上記フィルタ設計手段により設計されたフィルタを用いて、上記フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記画像メモリに格納するフィルタ処理手段と、上記フィルタ設計手段により設計されたフィルタを示すフィルタ係数及び上記画像圧縮手段により圧縮された差分画像を示す圧縮データを符号化し、上記フィルタ係数及び上記圧縮データの符号化データが多重化されたビットストリームを生成する符号化手段とを備え、
   上記フィルタ処理対象画素判別手段は、上記局所復号画像生成手段により生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出する評価値算出部と、上記評価値算出部により画素群毎に算出された評価値の累積ヒストグラムを生成し、その累積ヒストグラムの累積頻度の中で、与えられた割合情報が示す符号化歪みの軽減処理を省略する画素の割合に対応する累積頻度を特定して、その特定した累積頻度に対応する評価値を閾値として設定する閾値設定部と、上記評価値算出部により算出された評価値が上記閾値設定部により設定された閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する評価値比較部とから構成されていることを特徴とする画像符号化装置。
5. 上記閾値設定部は、上記累積頻度に対応する評価値を閾値として設定する際、上記閾値が予め設定している閾値の上限値を上回る場合、上記閾値を上記上限値に置き換えることを特徴とする請求項３または請求項４記載の画像符号化装置。
6. 上記符号化手段は、上記閾値設定部により設定された閾値を符号化して、上記閾値の符号化データが多重化されているビットストリームを生成することを特徴とする請求項３または請求項４記載の画像符号化装置。
7. ビットストリームに多重化された符号化データからフィルタを示すフィルタ係数及び差分画像を示す圧縮データを復号する復号手段と、上記復号手段により復号された圧縮データが示す差分画像の圧縮を解除する圧縮解除手段と、フィルタ処理後の復号画像を記憶する画像メモリと、上記画像メモリに記憶されている復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成手段と、上記圧縮解除手段により圧縮が解除された差分画像と上記予測画像生成手段により生成された予測画像を加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段により生成された復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、上記評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別手段と、上記復号画像生成手段により生成された復号画像の中で、上記フィルタ処理対象画素判別手段により符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類手段と、上記復号手段により復号されたフィルタ係数が示すフィルタを用いて、上記フィルタ処理対象画素判別手段により判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の復号画像を上記画像メモリに格納するフィルタ処理手段とを備え、
   上記領域分類手段は、上記フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、上記復号画像生成手段により生成された復号画像を構成している画素に対する上記フィルタ処理対象画素の割合に対応する分類方法を用いて、上記フィルタ処理対象画素が属する領域を分類することを特徴とする画像復号装置。
8. 上記フィルタ処理対象画素判別手段は、上記復号画像生成手段により生成された復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出する評価値算出部と、上記評価値算出部により算出された評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する評価値比較部とから構成されていることを特徴とする請求項７記載の画像復号装置。
9. 上記復号手段は、上記ビットストリームに多重化されている符号化データから閾値を復号し、
   上記フィルタ処理対象画素判別手段は、上記復号画像生成手段により生成された復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出する評価値算出部と、上記評価値算出部により算出された評価値が上記復号手段により復号された閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別する評価値比較部とから構成されていることを特徴とする請求項７記載の画像復号装置。
10. 予測画像生成手段が、画像メモリに記憶されているフィルタ処理後の局所復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、画像圧縮手段が、上記予測画像生成処理ステップで生成された予測画像と上記符号化対象画像との差分画像を生成し、上記差分画像を圧縮する画像圧縮処理ステップと、圧縮解除手段が、上記画像圧縮処理ステップで圧縮された差分画像の圧縮を解除する圧縮解除処理ステップと、局所復号画像生成手段が、上記圧縮解除処理ステップで圧縮が解除された差分画像と上記予測画像生成処理ステップで生成された予測画像を加算して局所復号画像を生成する局所復号画像生成処理ステップと、フィルタ処理対象画素判別手段が、上記局所復号画像生成処理ステップで生成された局所復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、上記評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別処理ステップと、領域分類手段が、上記局所復号画像生成処理ステップで生成された局所復号画像の中で、上記フィルタ処理対象画素判別処理ステップで符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類する領域分類処理ステップと、フィルタ設計手段が、上記領域分類処理ステップで分類された領域毎に、上記フィルタ処理対象画素判別処理ステップで判別されたフィルタ処理対象画素に適用するフィルタを設計するフィルタ設計処理ステップと、フィルタ処理手段が、上記フィルタ設計処理ステップで設計されたフィルタを用いて、上記フィルタ処理対象画素判別処理ステップで判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記画像メモリに格納するフィルタ処理ステップと、符号化手段が、上記フィルタ設計処理ステップで設計されたフィルタを示すフィルタ係数及び上記画像圧縮処理ステップで圧縮された差分画像を示す圧縮データを符号化し、上記フィルタ係数及び上記圧縮データの符号化データが多重化されたビットストリームを生成する符号化処理ステップとを備え、
    上記領域分類処理ステップでは、上記フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、上記局所復号画像生成処理ステップで生成された局所復号画像を構成している画素に対する上記フィルタ処理対象画素の割合に対応する分類方法を用いて、上記フィルタ処理対象画素が属する領域を分類することを特徴とする画像符号化方法。
11. 復号手段が、ビットストリームに多重化された符号化データからフィルタを示すフィルタ係数及び差分画像を示す圧縮データを復号する復号処理ステップと、圧縮解除手段が、上記復号処理ステップで復号された圧縮データが示す差分画像の圧縮を解除する圧縮解除処理ステップと、予測画像生成手段が、画像メモリに記憶されているフィルタ処理後の復号画像を参照し、符号化対象画像に対する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記圧縮解除処理ステップで圧縮が解除された差分画像と上記予測画像生成処理ステップで生成された予測画像を加算して復号画像を生成する復号画像生成処理ステップと、フィルタ処理対象画素判別手段が、上記復号画像生成処理ステップで生成された復号画像を構成している複数の画素からなる画素群毎に、当該画素群における画素値のばらつき又は予測残差を評価値として算出し、上記評価値が閾値以上の画素群に属する画素については、フィルタ処理による符号化歪みの軽減効果が認められる画素であると判別するフィルタ処理対象画素判別処理ステップと、領域分類手段が、上記復号画像生成処理ステップで生成された復号画像の中で、上記フィルタ処理対象画素判別処理ステップで符号化歪みの軽減効果が認められると判別された画素であるフィルタ処理対象画素が属する領域を分類するフィルタ処理対象画素判別処理ステップと、領域分類手段が、上記復号画像生成処理ステップで生成された復号画像の中で、上記フィルタ処理対象画素判別処理ステップで判別されたフィルタ処理対象画素が属する領域を分類する領域分類処理ステップと、フィルタ処理手段が、上記復号処理ステップで復号されたフィルタ係数が示すフィルタを用いて、上記フィルタ処理対象画素判別処理ステップで判別されたフィルタ処理対象画素に対するフィルタ処理を実施し、フィルタ処理後の復号画像を上記画像メモリに格納するフィルタ処理ステップとを備え、
    上記領域分類処理ステップでは、上記フィルタ処理対象画素が属する領域を分類する複数の分類方法のうち、上記復号画像生成処理ステップで生成された復号画像を構成している画素に対する上記フィルタ処理対象画素の割合に対応する分類方法を用いて、上記フィルタ処理対象画素が属する領域を分類することを特徴とする画像復号方法。

Images