WO2012096150A1

WO2012096150A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Info

Publication number: WO2012096150A1
Application number: PCT/JP2012/000061
Authority: WO
Inventors: 彰峯澤; 杉本　和夫; 関口　俊一
Original assignee: 三菱電機株式会社
Priority date: 2011-01-12
Filing date: 2012-01-06
Publication date: 2012-07-19
Also published as: KR20160038082A; CA2961824A1; TW201624420A; JP5674972B2; KR101609490B1; US9736478B2; CN105872566A; KR101604959B1; JP2016042732A; JP5478740B2; KR20130124539A; BR112013016961B1; CA3017317C; KR101643121B1; CA3017317A1; CA2979455A1; US20160156929A1; US10205944B2; CN103299637B; JP2014132766A

Abstract

　イントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、フィルタ選択用のテーブルを参照することで、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施する。これにより、局所的に発生する予測誤差を低減して、画像品質を高めることができる。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

　この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

　例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）や「ＩＴＵ－Ｔ　Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化対象ブロック）に分割し、その符号化対象ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化対象ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。

　例えば、国際標準方式であるＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ　１４４９６－１０｜ＩＴＵ－Ｔ　Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
　図１０は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
　図１０において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。

　図１０では、イントラ予測モードとして、９個のモード０～モード８が用意されているが、モード２は平均値予測を行うモードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測する。
　モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード０が選択される。
　モード１は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで予測画像を生成する。例えば、横縞模様のときにはモード１が選択される。
　モード３～モード８は、上または左のブロックの隣接画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成する。

　イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素の場合と同様に９個のイントラ予測モードが規定されている。
　１６×１６画素の場合には、４個のイントラ予測モード（平均値予測、垂直方向予測、水平方向予測、平面予測）が規定されている。
　平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

　方向性予測を行うイントラ予測モードは、例えば、４５度など、モードによって予め定められた方向で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致する場合、予測効率が高くなって符号量を削減することができる。
　しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで（揺らぐ、曲がる等）いたりするだけで、局所的に大きな予測誤差が発生してしまい、予測効率が極端に低下することがある。
　このような予測効率の低下を防ぐために、８×８画素の方向性予測では、符号化済みの隣接画素に対して平滑化処理を施したものを用いて予測処理を行うことで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。

ＭＰＥＧ－４　ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０）／ＩＴＵ－Ｔ　Ｈ．２６４規格

　従来の画像符号化装置は以上のように構成されているので、平滑化された予測画像を生成すれば、予測方向の僅かなずれや、エッジに僅かな歪みが生じても、発生する予測誤差を低減することができる。しかし、非特許文献１では、８×８画素のブロック以外には平滑化処理を実施しておらず、８×８画素のブロックにおいても一通りの平滑化処理しかない。
　実際には、８×８画素以外のサイズのブロックでも同様に、予測画像と符号化対象画像の絵柄が似ていても、エッジの僅かなミスマッチによって、局所的に大きな予測誤差が発生して、予測効率の大幅な低下が生じることがある課題があった。また、同一サイズのブロックにおいても、予測誤差信号を量子化する際に用いる量子化パラメータや、ブロック内の画素の位置、予測モードなどが異なると、局所的な予測誤差を低減するのに適している処理が異なるが、一通りの平滑化処理しか用意されておらず、予測誤差を十分に低減することができない課題があった。
　さらに、平均値予測を行った際は、ブロック内の予測値を全てブロックに隣接する画素の平均値とするためにブロック境界に位置する画素の予測信号が周囲の符号化済み画素に対して不連続な信号になりやすく、一方で画像信号は一般に空間方向の相関が高い信号であることから、上記不連続性によってブロックの境界部分に予測誤差が発生しやすいという課題があった。

　この発明は上記のような課題を解決するためになされたもので、局所的に発生する予測誤差を低減して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。

　この発明に係る動画像符号化装置は、イントラ予測手段がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力するようにしたものである。

　この発明によれば、イントラ予測手段がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。この発明の実施の形態１による動画像復号装置を示す構成図である。この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。符号化ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４のとき、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。Ｎ＝５の場合の参照画素配置の一例を示す説明図である。輝度のブロックサイズが４×４画素の場合の非特許文献１のイントラ予測モードを示す説明図である。予測画像を生成する際に用いているフレーム内の符号化済みの画像とフィルタ処理対象画素の距離の一例を示す説明図である。具体的なフィルタの参照画素配置を示す説明図である。イントラ予測モードインデックスとパーティションサイズの組み合わせ毎にどのフィルタを使用するかを決めるテーブルの一例を示す説明図である。平均値予測を行った際にフィルタ処理の簡単化を行った一例を示す説明図である。フィルタ選択テーブルインデックスをシーケンスレベルヘッダに加えた場合のビットストリームの一例を示す説明図である。フィルタ選択テーブルインデックスをピクチャレベルヘッダに加えた場合のビットストリームの一例を示す説明図である。フィルタ選択テーブルインデックスをスライスヘッダに加えた場合のビットストリームの一例を示す説明図である。フィルタ選択テーブルインデックスを基準ブロックヘッダに加えた場合のビットストリームの一例を示す説明図である。イントラ予測モードインデックスとパーティションサイズの組み合わせ毎にどのフィルタを使用するかを決めるテーブルの図１３と異なる例を示す説明図である。中間予測画像を生成する際の参照画素に対する平滑化処理を行うか否かをイントラ予測モードインデックスとパーティションサイズの組み合わせ毎に決めるテーブルの例を示す説明図である。

　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　この実施の形態１では、映像の各フレーム画像を入力し、符号化済みの近傍画素からのイントラ予測処理または近接フレーム間で動き補償予測処理を実施することで予測画像を生成し、その予測画像とフレーム画像の差分画像である予測誤差信号に対して、直交変換・量子化による圧縮処理を施した後に、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

　この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
　一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
　時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

　符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測誤差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
　一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測誤差信号の符号量を削減することができない。
　そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測誤差信号の電力・エントロピーを低減するほうが望ましい。
　このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測誤差の符号化処理を実施するようにしている。

　この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
　ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

　図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
　図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
　また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
　また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測誤差符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
　なお、符号化制御部１は符号化制御手段を構成している。

　ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
　切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

　イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　ただし、イントラ予測部４は上記の予測画像を生成後、予め用意されている１以上のフィルタの中から、動画像復号装置において上記予測画像と同一の予測画像を生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を減算部６及び加算部９に出力する。
　具体的には、上記各種パラメータとして次の４個のパラメータのうちの少なくとも１つ以上のパラメータの状態に応じてフィルタを一意に決定する。
・パラメータ（１）
　上記の予測画像のブロックサイズ
・パラメータ（２）
　符号化制御部１により決定された量子化パラメータ
・パラメータ（３）
　予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
　符号化制御部１により決定されたイントラ予測パラメータ
なお、切替スイッチ３及びイントラ予測部４からイントラ予測手段が構成されている。

　動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。

　減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック－予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
　変換・量子化部７は符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

　逆量子化・逆変換部８は符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号として出力する処理を実施する。

　加算部９は逆量子化・逆変換部８から出力された局所復号予測誤差信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
　イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

　ループフィルタ部１１は加算器９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
　動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

　可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

　図２はこの発明の実施の形態１による動画像復号装置を示す構成図である。
　図２において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測誤差符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。

　切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。

　イントラ予測部５３はフレーム内の復号済みの画像信号を用いて、切替スイッチ５２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　ただし、イントラ予測部５３は上記の予測画像を生成後、予め用意されている１以上のフィルタの中から、上記予測画像を生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を加算部５６に出力する。
　具体的には、上記各種パラメータとして、次の４個のパラメータのうちの少なくとも１つ以上のパラメータの状態に応じてフィルタを一意に決定する。ただし、使用するパラメータは先述の動画像符号化装置と同一のパラメータに予め決めておく。即ち、動画像符号化装置側でイントラ予測部４がパラメータ（１）及び（４）を用いてフィルタ処理を行う場合、動画像復号装置側も同様にイントラ予測部５３がパラメータ（１）及び（４）を用いてフィルタ処理を行うように、動画像符号化装置及び動画像復号装置で使用するパラメータを統一する。
・パラメータ（１）
　上記の予測画像のブロックサイズ
・パラメータ（２）
　可変長復号部５１により可変長復号された量子化パラメータ
・パラメータ（３）
　予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
　可変長復号部５１により可変長復号されたイントラ予測パラメータ
なお、切替スイッチ５２及びイントラ予測部５３からイントラ予測手段が構成されている。

　動き補償予測部５４は動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ５２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。

　逆量子化・逆変換部５５は可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部５５は差分画像生成手段を構成している。

　加算部５６は逆量子化・逆変換部５５から出力された復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部５６は復号画像生成手段を構成している。
　イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

　ループフィルタ部５８は加算器５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
　動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

　図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図３はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

　図２では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

　次に動作について説明する。
　最初に、図１の動画像符号化装置の処理内容を説明する。
　まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図３のステップＳＴ１）。

　符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
　また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
　上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

　また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
　符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

　また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
　符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測誤差符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測誤差符号化パラメータを必要に応じてイントラ予測部４に出力する。

　ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
　ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
　図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ^０であり、輝度成分で（Ｌ^０，Ｍ^０）のサイズを有している。
　また、図５の例では、最大サイズの符号化ブロックＢ^０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢ^ｎを得ている。

　深さｎにおいては、符号化ブロックＢ^ｎはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
　ただし、Ｌ^ｎとＭ^ｎは同じであってもよいし異なっていてもよいが、図５の例ではＬ^ｎ＝Ｍ^ｎのケースを示している。
　以降、符号化ブロックＢ^ｎのサイズは、符号化ブロックＢ^ｎの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。

　ブロック分割部２は、４分木分割を行うため、常に（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
　ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）である。
　以降、第ｎ階層の符号化ブロックＢ^ｎで選択しうる符号化モードをｍ（Ｂ^ｎ）と記する。

　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
　符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢ^ｎに対して最も符号化効率がよい符号化モードを選択する。

　符号化ブロックＢ^ｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
　以降、符号化ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉ：第ｎ階層におけるパーティション番号）と表記する。
　符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割がどのようになされているかは符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
　パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

　符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢ^ｎを特定する。
　図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
　図６（ｂ）において、四角で囲まれているノードが、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロックＢ^ｎ）を示している。

　切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対して最適な符号化モードｍ（Ｂ^ｎ）を選択すると、その符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎをイントラ予測部４に出力する。
　一方、その符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを動き補償予測部５に出力する。

　イントラ予測部４は、切替スイッチ３から符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するフレーム内予測処理を実施することで、イントラ予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ４）。
　ただし、イントラ予測部４は、上記のイントラ予測画像Ｐ_ｉ ^ｎを生成後、予め用意されている１以上のフィルタの中から、動画像復号装置において上記イントラ予測画像Ｐ_ｉ ^ｎと同一の予測画像を生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐ_ｉ ^ｎに対するフィルタ処理を実施する。
　イントラ予測部４は、イントラ予測画像Ｐ_ｉ ^ｎに対するフィルタ処理を実施すると、フィルタ処理後のイントラ予測画像Ｐ_ｉ ^ｎを減算部６及び加算部９に出力するが、図２の動画像復号装置でも同じイントラ予測画像Ｐ_ｉ ^ｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
　イントラ予測部４の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。

　動き補償予測部５は、切替スイッチ３から符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを受けると、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施することでインター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ５）。
　なお、動き補償予測処理を実施することで予測画像を生成する技術は公知の技術であるため詳細な説明を省略する。

　減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を減算することで差分画像を生成し、その差分画像を示す予測誤差信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

　変換・量子化部７は、減算部６から差分画像を示す予測誤差信号ｅ_ｉ ^ｎを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

　逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号ｅ_ｉ ^ｎハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。

　加算部９は、逆量子化・逆変換部８から局所復号予測誤差信号ｅ_ｉ ^ｎハットを受けると、その局所復号予測誤差信号ｅ_ｉ ^ｎハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を示す予測信号を加算することで、局所復号パーティション画像Ｐ_ｉ ^ｎハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
　加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。

　ステップＳＴ３～ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。

　可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとをエントロピー符号化する。
　可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。

　ループフィルタ部１１は、加算器９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
　ループフィルタ部１１によるフィルタリング処理は、加算器９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、複数の最大符号化ブロックをまとめた単位で行ったり、１ピクチャ分の局所復号画像信号が出力された後に１ピクチャ分まとめて行ったりしてもよい。

　次に、イントラ予測部４の処理内容を詳細に説明する。
　図７は符号化ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
　図７の例では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを表しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計している。

　イントラ予測部４は、パーティションＰ_ｉ ^ｎに対するイントラ予測パラメータや、イントラ予測画像Ｐ_ｉ ^ｎの生成に使用するフィルタの選択パラメータに基づいて、パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施する。
　以下、パーティションＰ_ｉ ^ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。

　ここでは、パーティションＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
　図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４のとき、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
　図８では、パーティションＰ_ｉ ^ｎに隣接する符号化済みの上パーティションの画素（２×ｌ_ｉ ^ｎ＋１）個と左パーティションの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素よりも、多くても少なくてもよい。
　また、図８では、隣接する１行または１列分の画素を予測に用いているが、２行または２列、あるいはそれ以上の画素を予測に用いてもよい。

　パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の全ての画素の予測値として中間予測画像を生成する。
　イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
　ただし、予測値を生成する画素（予測対象画素）のパーティションＰ_ｉ ^ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とする。
　予測に用いる参照画素の位置は、下記に示すＡと隣接画素の交点となる。

　参照画素が整数画素位置にある場合は、その整数画素を予測対象画素の予測値とする。
　一方、参照画素が整数画素位置にない場合は、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
　図８の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素から内挿して予測値を算出する。ただし、予測値は隣接する２画素に限るものではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

　そして、上記の手順によって生成されたパーティションＰ_ｉ ^ｎ内の予測値で構成される中間予測画像に対して後述するフィルタ処理を行うことで、最終的なイントラ予測画像Ｐ_ｉ ^ｎを取得し、そのイントラ予測画像Ｐ_ｉ ^ｎを減算部６及び加算部９に出力する。
　また、イントラ予測画像Ｐ_ｉ ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力する。
　以下、具体的なフィルタ処理について説明する。

　予め用意されている少なくとも一つ以上のフィルタの中から、使用するフィルタを後述する手法で選択し、中間予測画像の各画素に対して、下記の式（１）に従ってフィルタ処理を行う。

　式（１）において、ａ_ｎ（ｎ＝０，１，・・・，Ｎ）は、参照画素にかかる係数（ａ_０，ａ_１，・・・，ａ_Ｎ－１）とオフセット係数ａ_Ｎから構成されるフィルタ係数である。
　ｐ_ｎ（ｎ＝０，１，・・・，Ｎ－１）は、フィルタ処理対象画素ｐ_０を含むフィルタの参照画素を表している。Ｎは任意の参照画素数である。
　ｓ（ｐ_n）は各参照画素の輝度値、ｓハット（ｐ_０）はフィルタ処理対象画素ｐ_０におけるフィルタ処理後の輝度値を示している。
　ただし、フィルタ係数はオフセット係数ａ_Ｎがないものとして構成してもよい。また、パーティションＰ_ｉ ^ｎ内にある各参照画素の輝度値ｓ（ｐ_ｎ）については、中間予測画像の各画素の輝度値としてもよいし、フィルタ処理済み画素位置のみフィルタ処理後の輝度値とするようにしてもよい。
　パーティションＰ_ｉ ^ｎの外となる各参照画素の輝度値ｓ（ｐ_ｎ）については、符号化済み領域ならば、符号化後の輝度値（復号される輝度値）、まだ符号化が行われていない領域ならば、上記で定義したパーティションＰ_ｉ ^ｎ内にある各参照画素の輝度値ｓ（ｐ_ｎ）及び符号化済み領域の符号化後の輝度値の中から、所定の手順で代用する信号値を選択する（例えば、候補となる画素の中で、最も近い位置にある信号値を選択するなど）。
　図９はＮ＝５の場合の参照画素配置の一例を示す説明図である。

　上記のフィルタ処理を行う際、パーティションＰ_ｉ ^ｎのサイズ（ｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ）が大きい程、入力画像に非直線的なエッジ等が存在し易くなり、中間予測画像の予測方向とのずれが生じ易いため、中間予測画像を平滑化する方が好ましい。
　さらに、予測誤差の量子化値が大きい程、復号画像に生じる量子化歪みが大きくなり、パーティションＰ_ｉ ^ｎに隣接している符号化済み画素から生成された中間予測画像の予測精度が低くなるため、パーティションＰ_ｉ ^ｎを大まかに表現するような平滑化した予測画像を用意する方が好ましい。
　さらに、同じパーティションＰ_ｉ ^ｎ内の画素でも、中間予測画像の生成に用いるパーティションＰ_ｉ ^ｎに隣接する符号化済み画素から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易いため、予測画像を平滑化して、ずれが生じたときの急激な予測誤差の増加を抑制するようにした方がよい。

　また、中間予測画像を生成する際のイントラ予測は、予測ブロック内の予測値が全て同じ値となる平均値予測と予測方向ベクトルｖ_ｐを用いる予測の２種類の異なる手法のいずれか一方の手法から予測するように構成されており、さらに予測方向ベクトルｖ_ｐを用いる予測の場合においても、整数画素位置にある参照画素の値をそのまま予測値としている画素と、少なくとも２画素以上の参照画素から内挿して整数画素位置にない画素を生成し、その画素値を予測値としている画素の予測ブロック内の配置が予測方向ベクトルｖ_ｐの方向よって異なる。したがって、イントラ予測モードによって予測画像の性質が異なり、最適なフィルタ処理も異なるため、イントラ予測モードのインデックス値によってもフィルタの強度や、フィルタの参照画素数、参照画素配置などを変更した方がよい。

　したがって、フィルタ選択処理では、下記の４つのパラメータ（１）～（４）を考慮して、フィルタを選択するように構成する。
（１）パーティションＰ_ｉ ^ｎのサイズ（ｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ）
（２）予測誤差符号化パラメータに含まれている量子化パラメータ
（３）中間予測画像の生成時に使用する符号化済み画素（図８に示す“予測に用いる画素”）群とフィルタ処理対象画素との距離
（４）中間予測画像を生成した際のイントラ予測モードのインデックス値

　具体的には、パーティションＰ_ｉ ^ｎのサイズ（ｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ）が大きい程、量子化パラメータによって決まる量子化値が大きい程、フィルタ処理対象画素とパーティションＰ_ｉ ^ｎの左及び上にある符号化済み画素群との距離が離れる程、平滑化の強度の強いフィルタや参照画素数の多いフィルタを用いるように構成する。フィルタ処理対象画素とパーティションＰ_ｉ ^ｎの左及び上にある符号化済み画素群との距離の一例としては図１１が挙げられる。また、イントラ予測モードのインデックス値によってもフィルタの強度や、フィルタの参照画素数、参照画素配置などを切り替えるように構成する。
　即ち、上記のパラメータの組み合わせのそれぞれに対して、予め用意したフィルタ群の中から適切なフィルタの対応付けをしておくことで、上記のパラメータに応じたフィルタの適応選択を実現する。また、例えば、パラメータ（３）と（４）を組み合わせる際に、パラメータ（３）の“符号化済み画素群との距離”の定義を、パラメータ（４）の“イントラ予測モード”に応じて適応的に変更するようにしてもよい。即ち、符号化済み画素群との距離の定義を図１１のように固定化するのではなく、図８に示す“参照画素”からの距離のような予測方向に依存する距離としてもよい。このようにすることで、パラメータ（３）と（４）といった複数のパラメータの関係も考慮した適応的なフィルタ処理を実現することができる。
　また、これらパラメータの組み合わせのうち、“フィルタ処理なし”と対応付けて、フィルタ処理を実施しない組み合わせを用意してもよい。さらに、フィルタの強度の定義として、最も弱いフィルタを“フィルタ処理なし”と定義してもよい。
　また、４つのパラメータ（１）～（４）は動画像復号装置側でも既知のパラメータであることから、上記のフィルタ処理を行うために必要な符号化すべき付加情報は一切発生しない。
　なお、上記の説明では、必要な数のフィルタを予め用意して適応選択することで、フィルタの切り替えを行っているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義することで、フィルタの切り替えを実現するようにしてもよい。

　さらに、上記の説明では、４つのパラメータ（１）～（４）を考慮して、フィルタを選択するように構成するものを示したが、４つのパラメータ（１）～（４）のうち、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成してもよい。
　以下、パラメータ（１）及び（４）を用いた場合を例として、パラメータの組み合わせのそれぞれに対して予め用意したフィルタ群の中から適切なフィルタを対応付けておくことでフィルタの適応選択を行うフィルタ処理の構成例を示す。

　上記フィルタ処理例で使用するフィルタを下記のように定義する。
　　フィルタインデックス１のフィルタ（参照画素数Ｎ＝３）：
　　　ａ_０＝３／４，ａ_１＝１／８，ａ_２＝１／８
　　フィルタインデックス２のフィルタ（参照画素数Ｎ＝３）：
　　　ａ_０＝１／２，ａ_１＝１／４，ａ_２＝１／４
　　フィルタインデックス３のフィルタ（参照画素数Ｎ＝３）：
　　　ａ_０＝１／４，ａ_１＝３／８，ａ_２＝３／８
　　フィルタインデックス４のフィルタ（参照画素数Ｎ＝５）：
　　　ａ_０＝１／４，ａ_１＝３／１６，ａ_２＝３／１６，ａ_３＝３／１６，
　　　ａ_４＝３／１６
　ただし、フィルタ処理はオフセット係数ａ_Ｎがないもの（ａ_Ｎ＝０）とした場合の式（１）に基づくものとし、今回使用するフィルタの種類は３種類、フィルタの参照画素配置は図１２に示す通りとする。

　次に、図１３はパーティションＰ_ｉ ^ｎのサイズ毎の各イントラ予測モードで使用するフィルタを表すテーブルの一例を示す説明図である。ただし、取り得るＰ_ｉ ^ｎのサイズは４×４画素、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素とし、イントラ予測モードのインデックス値とイントラ予測方向の対応は図７の通りとする。
　また、フィルタインデックス０はフィルタ処理を行わないことを表している。一般に方向性予測や平均値予測を用いる場合、下記の傾向があるため、図１３に示すテーブルのように、イントラ予測における画像の特性を考慮して、パラメータ（１）及び（４）の組み合わせ毎に、どのフィルタを用いるかをテーブルで対応付けしておくことで、テーブル参照による適切なフィルタ切り替えを実現することができる。

・一般に建物等の人工物に多く存在する水平・垂直方向のエッジは線形ではっきりとしたものが多いため、水平・垂直方向予測によって高精度な予測が行える場合が多い。したがって、水平・垂直方向予測の際は平滑化処理をしない方がよい。
・一般に画像信号は空間方向に連続性が高い信号であるため、パーティションＰ_ｉ ^ｎに隣接する符号化済み画素との連続性が損なわれる平均値予測を用いる際には、パーティションＰ_ｉ ^ｎの左及び上のブロック境界部周辺の画素に対して平滑化処理を行い、連続性を高めるようにした方がよい。
・斜め方向の方向性を持つ領域は、面積が大きい程、エッジ等が歪んで非線形な形状を有する場合が多いため、斜め方向予測を用いる際はパーティションサイズが大きい程、平滑化強度が強く、参照画素数が多いフィルタをかけるようにした方がよい。
・一般にパーティションサイズがあまりにも大きくなると、パーティション内の信号値の空間的変化が多様となり、方向性予測や平均値予測では非常に大まかな予測しか行えず、高精度な予測が困難な領域が増加する。そのような領域では、平滑化処理を行って画像をぼかしただけでは予測効率の改善効果が期待できないため、そのようなパーティションサイズでは、フィルタ処理を実施しないようにした方が不必要に演算量を増やさないで済むのでよい（例えば、図１３では、３２×３２画素以上のパーティションサイズではフィルタ処理を行わないように設定している）。

　さらに、フィルタ処理時の参照画素がパーティションＰ_ｉ ^ｎ内の画素である時には中間予測画像の輝度値を参照画素の輝度値として用いるようにした場合、フィルタ処理を簡略化できる場合がある。例えば、イントラ予測モードが平均値予測であった場合、パーティションＰ_ｉ ^ｎに対するフィルタ処理が図１４に示す領域毎に下記のフィルタ処理に簡略化できる。
・領域Ａ（パーティションＰ_ｉ ^ｎの左上の画素）
　　フィルタインデックス１のフィルタ（変更なし）：
　　　ａ_０＝３／４，ａ_１＝１／８，ａ_２＝１／８（参照画素数Ｎ＝３）
　　フィルタインデックス２のフィルタ（変更なし）：
　　　ａ_０＝１／２，ａ_１＝１／４，ａ_２＝１／４（参照画素数Ｎ＝３）
　　フィルタインデックス３のフィルタ（変更なし）：
　　　ａ_０＝１／４，ａ_１＝３／８，ａ_２＝３／８（参照画素数Ｎ＝３）
　　フィルタインデックス４のフィルタ：
　　　ａ_０＝５／８，ａ_１＝３／１６，ａ_２＝３／１６（参照画素数Ｎ＝３）
・領域Ｂ（領域Ａ以外のパーティションＰ_ｉ ^ｎの上端の画素）
　　フィルタインデックス１のフィルタ：
　　　ａ_０＝７／８，ａ_２＝１／８（参照画素数Ｎ＝２）
　　フィルタインデックス２のフィルタ：
　　　ａ_０＝３／４，ａ_２＝１／４（参照画素数Ｎ＝２）
　　フィルタインデックス３のフィルタ：
　　　ａ_０＝５／８，ａ_２＝３／８（参照画素数Ｎ＝２）
　　フィルタインデックス４のフィルタ：
　　　ａ_０＝１３／１６，ａ_２＝３／１６（参照画素数Ｎ＝２）
・領域Ｃ（領域Ａ以外のパーティションＰ_ｉ ^ｎの左端の画素）
　　フィルタインデックス１のフィルタ：
　　　ａ_０＝７／８，ａ_１＝１／８（参照画素数Ｎ＝２）
　　フィルタインデックス２のフィルタ：
　　　ａ_０＝３／４，ａ_１＝１／４（参照画素数Ｎ＝２）
　　フィルタインデックス３のフィルタ：
　　　ａ_０＝５／８，ａ_１＝３／８（参照画素数Ｎ＝２）
　　フィルタインデックス４のフィルタ：
　　　ａ_０＝１３／１６，ａ_１＝３／１６（参照画素数Ｎ＝２）
・領域Ｄ（領域Ａ、Ｂ，Ｃ以外のパーティションＰ_ｉ ^ｎの画素）
　　全てのフィルタインデックスのフィルタ：
　　　フィルタ処理なし
上記のようにフィルタ処理を簡略化しても簡略前とフィルタ処理結果は同一である。
　このように実際の処理の冗長な部分を取り除くことで、フィルタ処理の高速化を図ることができる。

　上述の例では図１３のテーブルを用いたが、その他のテーブルを用いてもよい。例えば、符号化性能の改善効果の大きさよりも処理量を抑えることを重視する場合、図１３のテーブルの代わりに図１９のテーブルを用いることも考えられる。このテーブルの場合、パーティションＰ_ｉ ^ｎのサイズが４×４画素、８×８画素、１６×１６画素の平均値予測のみにフィルタ処理を行うようにしているため、図１３のテーブルを用いる場合よりもフィルタ処理を行う予測モードが少なく、フィルタ処理に伴う演算量の増加を抑えることができる。このとき、上述したイントラ予測モードが平均値予測である場合のフィルタ処理の簡略化も利用することで、非常に処理負荷の低いフィルタ処理が実現できる。
　さらに、実装の容易性も重視する場合は、上記フィルタ処理と同様に平均値予測の場合のみフィルタ処理するものとし、さらに使用するフィルタをパーティションＰ_ｉ ^ｎのサイズによって切り替えずに、常に同じフィルタ（例えば、フィルタインデックス２のフィルタ）を用いるようにしてもよい。その場合、パーティションＰ_ｉ ^ｎのサイズ応じた処理を行なわない分、フィルタによる符号化性能の改善効果は低下するものの、実装する際の回路規模（ソフトウェアの場合はコードのライン数）を抑えることができる。本フィルタ処理は４つのパラメータ（１）～（４）のうち、パラメータ（４）のみを考慮したフィルタとなる。

　フィルタ処理の実装の形態としては、テーブル参照によって対応するフィルタインデックスのフィルタを選択する形で実装されていなくとも、パーティションＰ_ｉ ^ｎのサイズ毎に実行するフィルタ処理が直接実装されている、あるいは、パーティションＰ_ｉ ^ｎの各サイズの画素位置毎に実行するフィルタ処理が直接実装されている、といったように直接フィルタが実装されている形態でもよい。このように、テーブルを参照する形でなくともフィルタ処理を行った結果得られる予測画像が等価であれば実装の形態は問わない。

　また、先に述べた例では、フィルタを切り替えるためのテーブルを一つのみ用いる手法を説明したが、上記テーブルを複数用意して、図１５～図１８のいずれかの形で、フィルタ選択テーブルインデックス１００をヘッダ情報として符号化するように構成することで、フィルタ選択テーブルを所定の単位で切り換えるようにしてもよい。
　例えば、図１５に示すように、フィルタ選択テーブルインデックス１００をシーケンスレベルヘッダに加えることで、単一のテーブルしか使用しない場合よりも、シーケンスの特性に応じたフィルタ処理が可能となる。

　なお、先に説明したＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４においてパーティションＰ_ｉ ^ｎの中間予測画像を生成する際の参照画素を、パーティションＰ_ｉ ^ｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
　一方で、中間予測画像を生成する際の参照画素に対する平滑化処理と、中間予測画像に対するフィルタ処理による効果は重複する部分があるため、両処理を同時に用いてもどちらか一方の処理を行った場合と比較して僅かな性能改善効果しか得られないことがある。したがって、演算量を抑えることを重視する場合、中間予測画像を生成する際の参照画素に対する平滑化処理を行っているパーティションＰ_ｉ ^ｎに対しては中間予測画像に対するフィルタ処理を行わないように構成してもよい。例えば、中間予測画像に対するフィルタ処理は図１９のテーブルのように平均値予測のみにフィルタ処理を行うようにし、中間予測画像を生成する際の参照画素に対する平滑化処理は図２０のような特定の方向性予測のみ平滑化処理を行うテーブルを参照して行うようにすることが考えられる。ただし、図２０において‘１’は平滑化処理を行うことを、‘０’は平滑化処理を行わないことを示している。

　イントラ予測画像Ｐ_ｉ ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力する。
　パーティションＰ_ｉ ^ｎ内の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
　ただし、色差信号のイントラ予測については上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。

　次に、図２の動画像復号装置の処理内容を説明する。
　可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズの情報を復号する（図４のステップＳＴ２１）。
　可変長復号部５１は、図１の符号化制御部１と同様の手順で、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
　例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズ情報に基づいて符号化ブロックの最大サイズを決定する。
　なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。

　ビットストリームに多重化されている最大サイズの符号化ブロックＢ^０の符号化モードｍ（Ｂ^０）には、最大サイズの符号化ブロックＢ^０の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ^０の符号化モードｍ（Ｂ^０）を復号して、階層的に分割されている各々の符号化ブロックＢ^ｎを特定する（ステップＳＴ２３）。
　可変長復号部５１は、各々の符号化ブロックＢ^ｎを特定すると、その符号化ブロックＢ^ｎの符号化モードｍ（Ｂ^ｎ）を復号し、その符号化モードｍ（Ｂ^ｎ）に属しているパーティションＰ_ｉ ^ｎの情報に基づいて、符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎを特定する。
　可変長復号部５１は、符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎを特定すると、パーティションＰ_ｉ ^ｎ毎に、圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。

　即ち、符号化ブロックＢ^ｎに割り当てられた符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合、符号化ブロックに属しているパーティションＰ_ｉ ^ｎ毎にイントラ予測パラメータを復号する。
　符号化ブロックＢ^ｎに割り当てられた符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合、符号化ブロックに属しているパーティションＰ_ｉ ^ｎ毎にインター予測パラメータを復号する。
　予測処理単位となるパーティションは、さらに予測誤差符号化パラメータに含まれる変換ブロックサイズ情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する。

　切替スイッチ５２は、可変長復号部５１から符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎの符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
　一方、パーティションＰ_ｉ ^ｎの符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。

　イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、フレーム内の復号済みの画像信号を用いて、そのイントラ予測パラメータに基づいて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ２６）。
　ただし、イントラ予測部５３は、上記のイントラ予測画像Ｐ_ｉ ^ｎの生成後、図１のイントラ予測部４と同一の手法で、予め用意されている１以上のフィルタの中から、上記イントラ予測画像Ｐ_ｉ ^ｎを生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐ_ｉ ^ｎに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像Ｐ_ｉ ^ｎを最終的なイントラ予測画像としている。
　即ち、イントラ予測部４におけるフィルタ選択に使用するパラメータと同一のパラメータを用いて、イントラ予測部４におけるフィルタ選択手法と同一の手法でフィルタを選択し、フィルタ処理を行う。
　例えば、イントラ予測部４が、フィルタ処理を行わない場合をフィルタインデックス０、予め用意した４つのフィルタをそれぞれフィルタインデックス１から４に対応付けて図１３のテーブルを参照してフィルタ処理を行う場合、イントラ予測部５３もイントラ予測部４と同一のフィルタとフィルタインデックスを定義し、図１３のテーブルを参照することでパーティションＰ_ｉ ^ｎのサイズ及びイントラ予測パラメータであるイントラ予測モードのインデックスによるフィルタ選択を行い、フィルタ処理を行うように構成する。

　また、上述の例のように、パラメータの組み合わせ単位に使用するフィルタを定義するテーブルを用意し、そのテーブルを参照することでフィルタの切り替えを実現する場合、図１５～図１８のいずれかの形でフィルタ選択テーブルインデックス１００がヘッダ情報として復号され、予め用意された動画像符号化装置と同一のテーブル群の中から、復号されたフィルタ選択テーブルインデックス１００が示すテーブルを選択し、そのテーブルを参照してフィルタの選択を行うように構成してもよい。

　動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施することでインター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ２７）。

　逆量子化・逆変換部５５は、可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。

　加算部５６は、逆量子化・逆変換部５５から復号予測誤差信号を受けると、その復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。

　ステップＳＴ２３～ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
　ループフィルタ部５８は、加算器５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
　ループフィルタ部５８によるフィルタリング処理は、加算器５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。

　以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果を奏する。

　また、この実施の形態１によれば、イントラ予測部４が、（１）パーティションＰ_ｉ ^ｎのサイズ（ｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測を行った際に符号化対象画像のエッジが僅かに非線形に歪んでいたり、角度がずれていたりすることで生じる局所的な予測誤差や、平均値予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、予測効率を改善することができる効果を奏する。

　この実施の形態１によれば、動画像復号装置のイントラ予測部５３がフレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。

　また、この実施の形態１によれば、イントラ予測部５３が、（１）パーティションＰ_ｉ ^ｎのサイズ（ｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測を行った際に符号化対象画像のエッジが僅かに非線形に歪んでいたり、角度がずれていたりすることで生じる局所的な予測誤差や、平均値予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。

実施の形態２．
　上記実施の形態１では、イントラ予測部４が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するものについて示したが、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するようにしてもよい。
　以下、具体的に処理内容を説明する。

　上記実施の形態１では、イントラ予測部４，５３が、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択するようにしている。しかし、４つのパラメータ（１）～（４）を考慮して、フィルタを選択する場合、選択候補の中から適切なフィルタを選択することは可能であるが、選択候補以外に最適なフィルタが存在する場合には“最適なフィルタ処理”を行うことができない。
　この実施の形態２では、ピクチャ単位に動画像符号化装置側で、最適なフィルタを設計してフィルタ処理を実施するとともに、そのフィルタのフィルタ係数等を符号化し、動画像復号装置側で、そのフィルタ係数等を復号することで、当該フィルタを用いたフィルタ処理を実施するようにしていることを特徴とする。

　動画像符号化装置のイントラ予測部４は、上記実施の形態１と同様に、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_ｉ ^ｎを生成する。
　また、イントラ予測部４は、上記実施の形態１と同様の方法で、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、このフィルタを用いてイントラ予測画像Ｐ_ｉ ^ｎにフィルタ処理を行う。
　イントラ予測部４は、ピクチャ内の全ての符号化ブロックＢ^ｎでイントラ予測パラメータが決定した後、ピクチャ内で同じフィルタが用いられた領域（同一のフィルタインデックスを持つ領域）毎に、その領域内の入力画像とイントラ予測画像の二乗誤差和（対象領域内の平均二乗誤差）が最小となるウィーナ・フィルタを設計する。

　ウィーナ・フィルタは、中間予測画像信号ｓ’の自己相関行列Ｒ_s's'と、入力画像信号ｓと中間予測画像信号ｓ’の相互相関行列Ｒ_ss'とによって、下記の式（４）からフィルタ係数ｗを求めることができる。行列Ｒ_s's'，Ｒ_ss'の大きさは、求められるフィルタタップ数に対応する。

　イントラ予測部４は、ウィーナ・フィルタを設計すると、そのウィーナ・フィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ１、そのウィーナ・フィルタに係る情報（例えば、フィルタ係数）を符号化した際の符号量をＲ１、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ２として、下記の式（５）が成立するか否かを確認する。
　　　　Ｄ１＋λ・Ｒ１　＜　Ｄ２　　　　　　　　　　　　　　（５）
　ただし、λは定数である。

　イントラ予測部４は、式（５）が成立する場合、上記実施の形態１と同様の方法で選択しているフィルタの代わりに、そのウィーナ・フィルタを用いてフィルタ処理を実施する。
　一方、式（５）が成立しない場合、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施する。
　ここでは、２乗誤差和Ｄ１，Ｄ２を用いて評価しているが、これに限るものではなく、２乗誤差和Ｄ１，Ｄ２の代わりに、誤差の絶対値和等の他の予測の歪みを表す尺度を用いて評価するようにしてもよい。

　イントラ予測部４は、ウィーナ・フィルタを用いてフィルタ処理を実施する場合、そのウィーナ・フィルタのフィルタ係数や、どのインデックスのフィルタを、ウィーナ・フィルタに置き換えているかを示すフィルタ更新情報が必要になる。
　具体的には、フィルタ選択パラメータを用いたフィルタ処理によって選択可能なフィルタの数をＬとし、各フィルタに０～Ｌ－１のインデックスを割り振る場合、それぞれのインデックスに対して、設計したウィーナ・フィルタを用いる場合には“１”、予め用意されているフィルタを用いる場合には“０”の値を、フィルタ更新情報として符号化する必要がある。
　可変長符号化部１３は、イントラ予測部４から出力されたフィルタ更新情報を可変長符号化して、そのフィルタ更新情報の符号化データをビットストリームに多重化する。

　ここでは、ピクチャ内で同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するものを示したが、ピクチャ単位ではない他の特定の領域単位に、同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するように構成してもよいし、ある特定のピクチャのみ、フィルタ設計を行うようにしたり、特定の条件に該当する場合（例えば、シーンチェンジ検出機能を付加し、シーンチェンジが検出されたピクチャの場合）に限り、上記のフィルタ設計を行うようにしたりしてもよい。

　動画像復号装置の可変長復号部５１は、ビットストリームに多重化されている符号化データからフィルタ更新情報を可変長復号する。
　イントラ予測部５３は、上記実施の形態１と同様に、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐ_ｉ ^ｎを生成する。
　イントラ予測部５３は、可変長復号部５１からフィルタ更新情報を受けると、そのフィルタ更新情報を参照して、該当するインデックスのフィルタでの更新の有無を確認する。

　イントラ予測部５３は、その確認の結果、ある領域のフィルタが、ウィーナ・フィルタに置き換えられている場合、そのフィルタ更新情報に含まれているウィーナ・フィルタのフィルタ係数を読み出して、そのウィーナ・フィルタを特定し、そのウィーナ・フィルタを用いて、イントラ予測画像Ｐ_ｉ ^ｎのフィルタ処理を実施する。
　一方、ウィーナ・フィルタに置き換えられていない領域では、上記実施の形態１と同様の方法でフィルタを選択し、そのフィルタを用いて、イントラ予測画像Ｐ_ｉ ^ｎのフィルタ処理を実施する。

　以上で明らかなように、この実施の形態２によれば、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、そのウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、そのウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、上記実施の形態１よりも更に局所的に発生する予測誤差を低減することができる効果を奏する。

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　この発明は、動画像を高効率で符号化を行う必要がある動画像符号化装置に適しており、また、高効率で符号化されている動画像を復号する必要がある動画像復号装置に適している。

　１　符号化制御部（符号化制御手段）、２　ブロック分割部（ブロック分割手段）、３　切替スイッチ（イントラ予測手段、動き補償予測手段）、４　イントラ予測部（イントラ予測手段）、５　動き補償予測部（動き補償予測手段）、６　減算部（差分画像生成手段）、７　変換・量子化部（画像圧縮手段）、８　逆量子化・逆変換部、９　加算部、１０　イントラ予測用メモリ、１１　ループフィルタ部、１２　動き補償予測フレームメモリ、１３　可変長符号化部（可変長符号化手段）、５１　可変長復号部（可変長復号手段）、５２　切替スイッチ（イントラ予測手段、動き補償予測手段）、５３　イントラ予測部（イントラ予測手段）、５４　動き補償予測部（動き補償予測手段）、５５　逆量子化・逆変換部（差分画像生成手段）、５６　加算部（復号画像生成手段）、５７　イントラ予測用メモリ、５８　ループフィルタ部、５９　動き補償予測フレームメモリ、１００　フィルタ選択テーブルインデックス。

Claims

　予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりイントラ符号化モードが選択された場合、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
　上記イントラ予測手段は、予測画像を生成する際、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化装置。
　ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、参照画像を用いて、上記符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
　差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項１記載の動画像符号化装置。
　符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定し、
　画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、
　可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されているビットストリームを生成することを特徴とする請求項２記載の動画像符号化装置
　イントラ予測手段は、イントラ予測を行うブロックのサイズ、符号化制御手段により決定された量子化パラメータ、予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離、及び上記符号化制御手段により決定されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項３記載の動画像符号化装置。
　イントラ予測手段は、符号化制御手段により決定されたイントラ予測パラメータが平均値予測である場合、生成した予測画像に対してフィルタ処理を実施することを特徴とする請求項４記載の動画像符号化装置。
　イントラ予測を行うブロックのサイズ、符号化制御手段により決定された量子化パラメータ、予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離、及び上記符号化制御手段により決定されたイントラ予測パラメータの中で、フィルタを選択する際に考慮する組み合わせ毎に、フィルタ処理に用いるフィルタを示すフィルタ選択用のテーブルが用意されており、
　イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項４記載の動画像符号化装置。
　フィルタ選択用のテーブルが複数種類用意されている場合、
　符号化制御手段は、イントラ予測手段によりフィルタが選択された際に参照されたテーブルを示すフィルタ選択テーブルインデックスを出力し、
　可変長符号化手段は、上記符号化制御手段から出力されたフィルタ選択テーブルインデックスをビットストリームのヘッダに含めることを特徴とする請求項６記載の動画像符号化装置。
　イントラ予測手段は、ブロック分割手段により分割された符号化ブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力し、
　可変長符号化手段は、上記イントラ予測手段により設計されたウィーナ・フィルタのフィルタ係数を可変長符号化して、上記フィルタ係数の符号化データをビットストリームに多重化することを特徴とする請求項１記載の動画像符号化装置。
　ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、フレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
　上記イントラ予測手段は、予測画像を生成する際、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号装置。
　可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、参照画像を用いて、上記符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
　復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項９記載の動画像復号装置。
　可変長復号手段は、ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
　差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項１０記載の動画像復号装置。
　イントラ予測手段は、イントラ予測を行うブロックのサイズ、可変長復号手段により可変長復号された量子化パラメータ、予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離、及び上記可変長復号手段により可変長復号されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項１１記載の動画像復号装置。
　イントラ予測手段は、可変長復号手段により可変長復号されたイントラ予測パラメータが平均値予測である場合、生成した予測画像に対するフィルタ処理を実施することを特徴とする請求項１２記載の動画像復号装置。
　イントラ予測を行うブロックのサイズ、可変長復号手段により可変長復号された量子化パラメータ、予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離、及び上記可変長復号手段により可変長復号されたイントラ予測パラメータの中で、フィルタを選択する際に考慮する組み合わせ毎に、フィルタ処理に用いるフィルタを示すフィルタ選択用のテーブルが用意されており、
　イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項１２記載の動画像復号装置。
　フィルタ選択用のテーブルが複数種類用意されている場合、
　イントラ予測手段は、可変長復号手段により可変長復号されたフィルタ選択テーブルインデックスが示すフィルタ選択用のテーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項１４記載の動画像復号装置。
　イントラ予測手段は、可変長復号手段によりビットストリームに多重化されている符号化データからウィーナ・フィルタのフィルタ係数が可変長復号されている場合、予め用意されている１以上のフィルタの中から選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を復号画像生成手段に出力することを特徴とする請求項９記載の動画像復号装置。
　符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでイントラ符号化モードが選択された場合、イントラ予測手段が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記イントラ予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
　上記イントラ予測処理ステップでは、予測画像を生成する際、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化方法。
　イントラ予測処理ステップでは、イントラ予測を行うブロックのサイズ、符号化制御処理ステップで決定された量子化パラメータ、予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離、及び上記符号化制御処理ステップで決定されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項１７記載の動画像符号化方法。
　イントラ予測処理ステップでは、符号化制御処理ステップで決定されたイントラ予測パラメータが平均値予測である場合、生成した予測画像に対するフィルタ処理を実施することを特徴とする請求項１８記載の動画像符号化方法。
　可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測手段が、フレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記イントラ予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
　上記イントラ予測処理ステップでは、予測画像を生成する際、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号方法。
　イントラ予測処理ステップでは、イントラ予測を行うブロックのサイズ、可変長復号処理ステップで可変長復号された量子化パラメータ、予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離、及び上記可変長復号処理ステップで可変長復号されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項２０記載の動画像復号方法。
　イントラ予測処理ステップでは、可変長復号処理ステップで可変長復号されたイントラ予測パラメータが平均値予測である場合、生成した予測画像に対するフィルタ処理を実施することを特徴とする請求項２１記載の動画像復号装置。