JP6226863B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Description

この発明は、動画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法とに関するものである。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内デブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。

ここで、図２１は非特許文献１に開示されている動画像符号化装置を示す構成図である。
この動画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。

特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。

加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。

可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。

ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。

一方、非特許文献１に開示されている方式では、高圧縮率で符号化する程、信号の高周波成分が失われてしまい、画面全体が過度に平滑化されて映像がぼやけてしまうという問題がある。
この問題を解決するために、非特許文献２では、ループフィルタ１０６として、画面を複数のブロックに分割し、その分割されたブロック単位にブロック内の各画素をクラス分類し、クラス毎に原画像信号である符号化対象の画像信号と、その画像信号に対応する参照画像信号との二乗誤差歪みを最小化するオフセット値を加算する適応オフセット処理（画素適応オフセット処理）が提案されている。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格 "CE13：Sample Adaptive Offset with LCU-Independent Decoding"，JCT-VC Document JCTVC-E049，March 2011，Geneva，CH．

従来の動画像符号化装置は以上のように構成されているので、画面を分割したブロック単位にクラス数分のオフセットを符号化する必要がある。したがって、画素適応オフセット処理で高精度な歪み補償処理を行うために、画面を細かなブロックに分割する程、オフセットの符号化に要する符号量が増大して、符号化効率が低下してしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、オフセットの符号化に要する符号量を削減して、符号化効率を高めることができる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、フィルタリング手段が、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、分類手法を用いて、当該最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出して、オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、可変長符号化手段は、フィルタパラメータの一部として、フィルタリング手段により決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長符号化するとともに、最大サイズの符号化ブロック毎の各クラスのオフセット値をトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化し、オフセット値の最大値が、局所復号画像のビット深度によって定まるようにしたものである。

この発明によれば、フィルタリング手段が、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、分類手法を用いて、当該最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出して、オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、可変長符号化手段は、フィルタパラメータの一部として、フィルタリング手段により決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長符号化するとともに、最大サイズの符号化ブロック毎の各クラスのオフセット値をトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化し、オフセット値の最大値が、局所復号画像のビット深度によって定まるように構成したので、オフセットの符号化に要する符号量を削減して、符号化効率を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ_n）が割り当てられる状況を示す説明図である。 符号化ブロックＢⁿ内の各予測ブロックＰ_i ⁿが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_i ⁿ＝ｍ_i ⁿ＝４の場合の予測ブロックＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックＰ_i ⁿ内の左上画素を原点とする相対座標を示す説明図である。 量子化マトリクスの一例を示す説明図である。 この発明の実施の形態１による動画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１による動画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 画素適応オフセット処理を行う場合のクラス分類手法の一つであるＢＯ手法を示す説明図である。 画素適応オフセット処理を行う場合のクラス分類手法の一つであるＥＯ手法を示す説明図である。 符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。 画素適応オフセット処理のクラス毎のオフセット値の組み合わせのテーブルの一例を示す説明図である。 シーケンスレベルヘッダが複数符号化されている符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス毎のオフセット値の組み合わせのテーブルをビット深度毎に切り替える一例を示す説明図である。 画素適応オフセット処理のクラス毎のオフセット値の組み合わせのテーブルのオフセットの組み合わせ数を一つのテーブルでビット深度毎に切り替える一例を示す説明図である。 非特許文献１に開示されている動画像符号化装置を示す構成図である。 ＩＤＲピクチャを含むピクチャ構造の一例を示す説明図である。 ＣＲＡピクチャを含むピクチャ構造の一例を示す説明図である。 ＩＤＲピクチャまたはＣＲＡピクチャから開始する復号処理における適応パラメータセットの無効化処理を示す符号化ビットストリームの説明図である。 符号化対象シンボルの範囲が０から５の場合のｔｒｕｎｃａｔｅｄ ｕｎａｒｙ符号を示す説明図である。 ｕｎａｒｙ符号を示す説明図である。 適応パラメータセットのシンタックスの一例を示す説明図である。 図２４の符号化ビットストリーム内のデータの順序が復号側で入れ替わった場合の説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、スライス分割部１４は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。なお、スライス分割部１４はスライス分割手段を構成している。

ブロック分割部１はスライス分割部１４により分割されたスライスを入力する毎に、そのスライスを符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１はスライスを符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる直交変換ブロックの分割情報を示す直交変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
なお、符号化制御部２は符号化パラメータ決定手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、イントラ予測部４、イントラ予測用メモリ１０、動き補償予測部５及び動き補償予測フレームメモリ１２から予測手段が構成されている。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。

変換・量子化部７は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
ここで、図１０は８×８ＤＣＴの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。スケーリング値が０の係数は量子化ステップサイズが０となるため“量子化なし”と等価となる。
例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。

また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。一方、新しい量子化マトリクスを用いない場合には、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部７は、設定した量子化マトリクスパラメータを適応パラメータセットの一部として可変長符号化部１３に出力する。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部７が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
なお、逆量子化・逆変換部８及び加算部９から局所復号画像生成手段が構成されている。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグを符号化すべき適応パラメータセットの一部及びスライスレベルヘッダの一部として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、動画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
なお、ループフィルタ部１１はフィルタリング手段を構成している。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報を符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記のブロック分割情報が不要になり、ブロック分割情報に要する符号量分だけ符号量を削減することができる。

適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め動画像符号化装置及び動画像復号装置に共通の値として設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

さらに、適応フィルタ処理のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、例えば、最大符号化ブロックといった固定サイズのブロック毎に行ってもよい。
即ち、固定サイズのブロック内を分割した複数の小ブロック単位に画像の局所的な特性（分散など）に応じてクラス分類し、クラス毎にフィルタ設計及びフィルタ処理を行うようにして、固定サイズのブロック毎に、各クラスのフィルタを適応パラメータセットの一部として符号化するようにしてもよい。
このようにすることで、画像全体に対してクラス分類及びフィルタ設計・処理を実施する場合よりも、局所的な性質に応じた高精度なフィルタ処理を実現することができる。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように、図１の動画像符号化装置を変更する必要がある。

動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する。
また、可変長符号化部１３は、図１５に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。

スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、当該スライスで使用する適応パラメータセットのインデックス及び上記インデックスが示す適応パラメータセットを用いたループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。
適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるパラメータ（フィルタパラメータ）及び量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）が存在するか否かのフラグをそれぞれ持ち、上記フラグが“有効”であるパラメータのみ対応するパラメータを持つパラメータセットである。さらに、適応パラメータセットは符号化ビットストリームに多重化されている複数の適応パラメータセットを識別するためのインデックス（ａｐｓ＿ｉｄ）も持つ。

ここで、可変長符号化部１３は、図１８のように、シーケンスの切り替わりの際に新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）を符号化する場合、本シーケンスレベルヘッダより前に符号化されている適応パラメータセットを全て無効とする。
したがって、図１８において、ピクチャデータ３０の符号化に適応パラメータセット２を参照するといったシーケンスレベルヘッダを跨いだ適応パラメータセットの参照は禁止される。
即ち、新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）を符号化した後のピクチャで、適応パラメータセット内のパラメータを用いる場合は、そのパラメータを新しい適応パラメータセットとして符号化する必要がある。したがって、上記適応パラメータセットの無効化処理等によって過去の適応パラメータセットが一切使用できない場合に新しく符号化する適応パラメータセットは、量子化マトリクス等のパラメータが過去の適応パラメータセットを参照しない、当該適応パラメータセットのみで全てのパラメータが復号できる適応パラメータセットとなる。
このように、シーケンスの切り替わりの際にシーケンスレベルヘッダによって、適応パラメータセットを初期化することで、動画像復号装置において、新しいシーケンスレベルヘッダが復号される前の符号化ビットストリームにエラーが生じた際に、そのストリーム内にある適応パラメータセットを参照することによる復号エラーを回避することができ、エラー耐性を高めることができる。
ただし、シーケンスレベルヘッダに適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇを持つように構成してエラー耐性を高めるようにしてもよい。具体的には、初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“有効”である場合のみ適応パラメータセットを初期化し、初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“無効”である場合は適応パラメータセットを初期化しないようにする。このようにシーケンスレベルヘッダのパラメータの一つとして適応パラメータセットの初期化フラグを持つようにすることで適応的な初期化処理が実施でき、エラー耐性を高める必要がある時のみ初期化することで適応パラメータセットの初期化による符号化効率の低下を抑制することができる。

さらに、動画像復号装置にて符号化ビットストリームの先頭からではなく、途中から復号を開始しても所定のピクチャ以降は常に正しく映像再生ができるランダムアクセス性を保証する特殊なピクチャとしてＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ピクチャとＣＲＡ（ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）ピクチャがある。
図２２はＩＤＲピクチャを含むピクチャ構造の例を示している。ただし、図２２では表示順及び符号化（復号）順の最初の値を０としている。
ＩＤＲピクチャはイントラ符号化ピクチャであり、ＩＤＲピクチャから復号を開始した場合でも、ＩＤＲピクチャより後に符号化されるピクチャ（図２２における灰色のピクチャ）に対して図２２に示す動き補償時の参照ピクチャの制限を行うことで、ＩＤＲピクチャ及びＩＤＲピクチャ以降に復号されるピクチャを常に正しく復号できるようにするピクチャである。
次に、図２３はＣＲＡピクチャを含むピクチャ構造の例を示している。ただし、図２３では表示順及び符号化（復号）順の最初の値を０としている。
ＣＲＡピクチャはイントラ符号化ピクチャであり、ＣＲＡピクチャから復号を開始した場合でも、ＣＲＡピクチャより後に符号化され、かつ、表示順でもＣＲＡピクチャより後となるピクチャ（図２３における灰色のピクチャ）に対して図２３に示す動き補償時の参照ピクチャの制限を行い、さらに、ＣＲＡピクチャより先に符号化され、かつ、表示順はＣＲＡピクチャより後となるピクチャの存在を禁止することで、ＣＲＡピクチャ及びＣＲＡピクチャ以降に表示されるピクチャを常に正しく復号できるようにするピクチャである。

ここで、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合、適応パラメータセットについては上記ピクチャより前に符号化された適応パラメータセット全てを持っていないと、上記でＩＤＲピクチャやＣＲＡピクチャで正しく復号できるとしたピクチャが正しく復号できなくなる可能性が生じる（これら正しく復号できるとしたピクチャがＩＤＲピクチャやＣＲＡピクチャより前に符号化された適応パラメータセットを参照する可能性があるため）。したがって、ＩＤＲピクチャやＣＲＡピクチャの符号化データより前の符号化ビットストリームが長くなればなるほど、多くの適応パラメータセットを復号しなくてはならなくなったり、ＩＤＲピクチャやＣＲＡピクチャの符号化データより前の符号化ビットストリームのエラーによって適応パラメータセットが復号できずにピクチャが正しく復号できないといったエラー耐性の低下が生じたりするため、適応パラメータセットのパラメータの一部として、符号化済み適応パラメータセットを無効とするフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせる。可変長符号化部１３は、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”である場合、その適応パラメータセットより前に符号化された適応パラメータセットを無効とし、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“無効”である場合は、上記無効化処理は実施しない。

図２４は一部の適応パラメータセットの無効化処理を表す符号化ビットストリームの例を示している。ただし、図２４のピクチャデータ３１はシーケンスレベルヘッダ２、ピクチャレベルヘッダ３、適応パラメータセット２１を参照して符号化（復号）処理を行うものとする。一般に、このようにピクチャデータと関連するヘッダ情報をまとめたピクチャアクセスの単位をアクセスユニットと称する。
図２４の適応パラメータセットについて、適応パラメータセット２１のみフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”とすることで、適応パラメータセット１から適応パラメータセット２０までが無効化され、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は不可となる。したがって、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合には、図２４のシーケンスレベルヘッダ２から復号すれば良いこととなる。
一方、ランダムアクセス時の高速な復号処理や高いエラー耐性を必要としない場合はフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを常に“無効”として適応パラメータセットの無効化を行わないようにすれば良い。したがって、フラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇによって適応的な適応パラメータセットの無効化処理が実現できる。

上記例では、適応パラメータセット内のフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇによって、ランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現しているが、シーケンスレベルヘッダまたは、ＮＡＬユニットと呼ばれるユニット内に、ＩＤＲピクチャまたはＣＲＡピクチャを符号化（復号）する際に一部の適応パラメータセットを無効化するフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせることで、ランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現してもよい。ただし、ＮＡＬユニットとは、図１５におけるスライスデータやシーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータヘッダ等を格納するユニットで、ユニット内に格納されているデータが、スライスデータなのか、ヘッダ情報なのかといったことを識別する識別情報を持つユニットであり、スライスデータの場合は、この識別情報によって、ＩＤＲピクチャあるいはＣＲＡピクチャなのかも識別できる。

具体的には、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際に、フラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”であれば、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャの一つ前のピクチャのピクチャデータより前にある適応パラメータセットを無効とすることで、フラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇの場合と同様のランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現する。即ち、図２４の例の場合、シーケンスレベルヘッダ２、または、ピクチャデータ３１のＮＡＬユニット内にあるフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”とすることで、ピクチャデータ３１の符号化の際にピクチャデータ３１の一つ前のピクチャデータであるピクチャデータ３０より前にある適応パラメータセットを無効とするため、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は不可となる。即ち、ＩＤＲピクチャやＣＲＡピクチャのピクチャデータを含むアクセスユニットより前の適応パラメータセットが無効化され、参照は不可となる。したがって、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合には、図２４のシーケンスレベルヘッダ２から復号すれば良いこととなる。

なお、上記の説明では、フラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”の場合に適応パラメータセットの無効化処理を行うようにしているが、上記フラグを設けず、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際に常に適応パラメータセットの無効化処理を行うようにしてもよい。このようにすることで、上記フラグの符号化に要する符号量分の符号量が削減され、また、符号化処理の際に上記フラグを参照する処理が不要となり、動画像符号化装置が簡易化される。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄというパラメータを持つ動画像符号化装置を構成することも考えられる。
上記動画像符号化装置では、図２７に示すように、適応パラメータセット内に上記パラメータを設け、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、当該ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。
例えば、図２４の場合、適応パラメータセット１から適応パラメータセット２０のａｐｓ＿ｇｒｏｕｐ＿ｉｄを０とし、適応パラメータセット２１以降はａｐｓ＿ｇｒｏｕｐ＿ｉｄを１とすることで、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照する際に、適応パラメータセット２１のａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝１）とは異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を無効化する。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されない。

このように、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値を変更するように符号化することで適応パラメータセットの参照が制限され、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータを含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。なお、ａｐｓ＿ｇｒｏｕｐ＿ｉｄは０または１のみを持つフラグとしてもよく、その場合は、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットが持つ上記フラグの値を０から１、あるいは、１から０へと切り替えるようにすることで、同様の適応パラメータセットの無効化処理を実現することができる。

上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法を用いることで、符号化ビットストリームを複数の回線に分配して送信する等といった理由により、動画像復号装置側で受け取る符号化ビットストリーム内のデータの順序が、動画像符号化装置側で符号化した順番から入れ替わってしまった場合においても、正しく復号することができる。具体的には、図２４の順に符号化した符号化ビットストリームが、図２８に示すように、動画像復号装置側では適応パラメータセット２１，２２がピクチャデータ３０より先に復号するように入れ替わっていても、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１と異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を適切に無効化することができる。
なお、上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法において、エラー耐性よりも符号化効率を優先する場合、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値を切り替えないように符号化することで、適応パラメータセットは無効化されずに済むため、参照可能な適応パラメータセットが制限されることによる符号化効率の低下を回避することができる。
また、適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ動画像符号化装置について、ＩＤＲピクチャまたはＣＲＡピクチャ以外のピクチャを復号する際にも参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とするように動画像符号化装置を構成してもよい。このようにすることで、適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの変更のタイミングを任意に行うことによる適応パラメータセットの適応的な無効化処理を行うことができ、適応的なエラー耐性処理が実現できる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、ＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャが参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）より小さいインデックスを持つ適応パラメータセットを無効化するように動画像符号化装置を構成してもよい。
即ち、図２４、図２８の例において符号化順に適応パラメータセットのインデックスが付けられている場合、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１のインデックスより小さいインデックスを持つ適応パラメータセット１から適応パラメータセット２０が無効化される。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。

さらに、可変長符号化部１３は、量子化マトリクスパラメータを適応パラメータセットとして符号化するのではなく、ピクチャ単位に変更可能なパラメータとして、ピクチャレベルヘッダ内で符号化するように構成してもよい。このようにすることで、量子化マトリクスパラメータとフィルタパラメータを独立した単位で符号化することができる。この場合、上記で説明したシーケンスレベルヘッダによる適応パラメータセット初期化処理や、ＩＤＲ、ＣＲＡピクチャに伴う適応パラメータセットの無効化処理と同様の処理が量子化マトリクスパラメータにも実施される。

また、可変長符号化部１３は、ループフィルタ部１１で使用するフィルタパラメータを適応パラメータセットとして符号化するのではなく、スライス単位に使用するフィルタパラメータを直接スライスレベルヘッダ等のスライスデータで符号化するように構成してもよい。このようにすることで、スライス間で重複するフィルタパラメータが存在しない場合、ループフィルタ部１１で使用するフィルタパラメータのためにスライスレベルヘッダの一つであるスライスの復号処理時に参照する適応パラメータセットのインデックスを符号化する必要がなくなるため、インデックスの符号量を削減でき、符号化効率を改善することができる。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセット、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
このとき、可変長復号部３１によって可変長復号された適応パラメータセット内の量子化マトリクスパラメータから、当該適応パラメータセットの量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記適応パラメータセットに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
また、可変長復号部３１は、各ヘッダ情報を参照して、スライスデータに含まれる最大復号ブロック（図１の動画像符号化装置の「最大符号化ブロック」に相当するブロック）を特定し、ブロック分割情報を参照して、最大復号ブロックを階層的に分割して復号処理を行う単位である復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定し、各々の復号ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを直交変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は差分画像生成手段を構成している。

ここで、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される当該スライスで参照する適応パラメータセットの量子化マトリクスを用いて逆量子化処理を行う。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
なお、イントラ予測部３４、イントラ予測用メモリ３７、動き補償部３５及び動き補償予測フレームメモリ３９から予測手段が構成されている。

加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部３６は復号画像生成手段を構成している。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
なお、図１の動画像符号化装置において、ループフィルタ部３８で使用するフィルタパラメータをヘッダ情報の一つである適応パラメータセットの一部として符号化するのではなく、スライス単位に使用するフィルタパラメータをそれぞれ直接スライスデータで符号化している場合は、可変長復号部３１はスライスデータからループフィルタ部３８で使用するフィルタパラメータを復号する。
このとき、２つ以上のフィルタ処理を行う場合において、動画像符号化装置のループフィルタ部１１が図１１のように構成されていれば、図１２に示すようにループフィルタ部３８が構成される。
なお、ループフィルタ部３８はフィルタリング手段を構成している。

ここで、デブロッキングフィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報（適応パラメータセットに含まれているオフセット情報）を参照して、復号画像の輝度値にオフセットを加算する処理を行う。

ただし、動画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。

適応フィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の適応フィルタ処理において、上記のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、例えば、最大符号化ブロックといった固定サイズのブロック毎に行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類及びフィルタ処理を行う。

なお、可変長復号部３１は、図１８のように、シーケンスの切り替わりのために符号化ビットストリームの途中で新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）が挿入されている場合、新しいシーケンスレベルヘッダを復号する時点で既に復号されている適応パラメータセットを全て無効とする。
したがって、図１８において、ピクチャデータ３０の復号時に適応パラメータセット２を参照するといったシーケンスレベルヘッダを跨いだ適応パラメータセットの参照は発生しない。さらに、上記適応パラメータセットの無効化処理等によって過去の適応パラメータセットが一切使用できない場合に復号される適応パラメータセットは、量子化マトリクス等のパラメータが過去の適応パラメータセットを参照しない、当該適応パラメータセットのみで全てのパラメータが復号できる適応パラメータセットとなる。
この制限によって、新しいシーケンスレベルヘッダより前の符号化ビットストリームにエラーが生じた際にそのビットストリーム内にある適応パラメータセットを参照することによる復号エラーを回避することができ、エラー耐性を高めることができる。
ただし、動画像符号化装置がシーケンスレベルヘッダに適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇを持つように構成されている場合は、可変長復号部３１によって復号されたフラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“有効”である場合のみ適応パラメータセットを初期化し、フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“無効”である場合は適応パラメータセットを初期化しないようにする。このようにすることで、適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇによる適応的な初期化処理を行う動画像符号化装置で生成されたストリームを正しく復号できる。

さらに、動画像符号化装置が適応パラメータセットのパラメータの一部として、復号済み適応パラメータセットを無効とするフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持つように構成されている場合は、可変長復号部３１によって復号されたｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”である場合、可変長復号部３１は、その適応パラメータセットより前に復号された適応パラメータセットを無効とし、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“無効”である場合は、上記無効化処理は実施しない。
即ち、図２４の符号化ビットストリームの例において、動画像符号化装置の可変長符号化部１３が適応パラメータセット２１のフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”と符号化していれば、適応パラメータセット１から適応パラメータセット２０までが無効化され、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は行われないため、ＩＤＲピクチャまたはＣＲＡピクチャであるピクチャデータ３１を含むアクセスユニットの先頭であるシーケンスレベルヘッダ２からの復号でＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスが実現できる。

あるいは、動画像符号化装置がシーケンスレベルヘッダまたはＮＡＬユニット内に、ＩＤＲピクチャまたはＣＲＡピクチャを復号する際に一部の適応パラメータセットを無効化するフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせることでランダムアクセスのための適応パラメータセットの無効化処理を実現するように構成されている場合は、ＩＤＲピクチャまたはＣＲＡピクチャの復号の際に可変長復号部３１によって復号されたフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”であれば、可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャの一つ前のピクチャのピクチャデータより前にある適応パラメータセットを無効とする。即ち、図２４の例の場合、動画像符号化装置の可変長符号化部１３がシーケンスレベルヘッダ２または、ピクチャデータ３１のＮＡＬユニット内にあるフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”と符号化していれば、ピクチャデータ３１の復号の際にピクチャデータ３１の一つ前のピクチャデータであるピクチャデータ３０より前にある適応パラメータセットを無効とするため、復号順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は行われず、シーケンスレベルヘッダ２からの復号でＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスが実現できる。
ただし、動画像符号化装置が上記フラグを設けず、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際に、常に適応パラメータセットの無効化処理を行うように構成されている場合、ＩＤＲピクチャまたはＣＲＡピクチャの復号の際に、可変長復号部３１が常に上記適応パラメータセットの無効化処理を行うように動画像復号装置を構成することで、上記動画像符号化装置で生成された符号化ビットストリームを正しく復号することができる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する方法として、動画像符号化装置が適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄというパラメータを持つように構成されている場合、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャを復号する際に、当該ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。
例えば、図２４の場合、適応パラメータセット１から適応パラメータセット２０のａｐｓ＿ｇｒｏｕｐ＿ｉｄを０とし、適応パラメータセット２１以降はａｐｓ＿ｇｒｏｕｐ＿ｉｄを１とするように動画像符号化装置が符号化することで、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照する際に、適応パラメータセット２１のａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝１）とは異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を無効化するため、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットの先頭であるシーケンスレベルヘッダ２から復号を開始することで、所定のピクチャ以降は常に正しく復号することができる。

なお、上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法において、動画像符号化装置がエラー耐性よりも符号化効率を優先して、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値の切り替えを行わないように符号化している場合、動画像復号装置においても、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが適応パラメータセットを参照する際に、参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットが存在しないため、適応パラメータセットは無効化されずに正しく復号することができる。
また、ＩＤＲピクチャまたはＣＲＡピクチャ以外のピクチャを復号する際にも参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とするように動画像符号化装置が構成されている場合、動画像復号装置の可変長復号部３１がピクチャを復号する際に参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。このようにすることで、適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの変更のタイミングを任意に行うことによる適応パラメータセットの適応的な無効化処理を実現する動画像符号化装置で生成されたストリームを正しく復号することができる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、動画像符号化装置の可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）によってＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を行うように構成されている場合、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャが参照する適応パラメータセットを参照した際に、当該適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）より小さいインデックスを持つ適応パラメータセットを無効化する。
即ち、図２４、図２８の例において符号化順に適応パラメータセットのインデックスが付けられている場合、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１のインデックスより小さいインデックスを持つ適応パラメータセット１から適応パラメータセット２０が無効化される。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。

さらに、動画像符号化装置において、量子化マトリクスパラメータを適応パラメータセットとして符号化するのではなく、ピクチャ単位に変更可能なパラメータとして、ピクチャレベルヘッダ内で符号化するように構成されている場合、上記で説明したシーケンスレベルヘッダによる適応パラメータセット初期化処理や、ＩＤＲ、ＣＲＡピクチャに伴う適応パラメータセットの無効化処理と同様の処理が量子化マトリクスパラメータにも実施される。
動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像を格納する記録媒体である。
なお、一般に動画像復号装置には、メモリ容量等の回路規模を規定するための制約を示すものとして、プロファイルとレベルが規定されていることがある。プロファイルは動画像復号装置の仕様（可変長復号部、逆量子化・逆変換部、イントラ予測部、動き補償部、ループフィルタ部等の構成内容）を規定するものであり、レベルは最大入力画像サイズやフレームメモリ数、取り得る動きベクトルの範囲等の動画像復号装置の必要メモリ容量や演算量に影響する設定値を制限するものである。一方、ループフィルタ部３８における画素適応オフセット処理のピクチャ当たりのオフセット数や、適応フィルタ処理のピクチャ当たりのフィルタ数は画像の空間解像度が高い程最適な数は大きくなるため、画素適応オフセット処理のピクチャ当たりの最大オフセット数や、適応フィルタ処理のピクチャ当たりの最大フィルタ数はレベルで規定される最大入力画像サイズに応じて規定するようにしてもよい。このようにすることで、適切な最大オフセット数や最大フィルタ数を適応的に規定することができる。

図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力される符号化ビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。

分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずに動画像復号装置側も同一の決定処理を行うようにしてもよい。前者はヘッダ情報の符号量が増加するものの、動画像復号装置側で上記決定処理を行わずに済むため、動画像復号装置の処理負荷を抑えることができる上、動画像符号化装置側で最適な値を探索して送ることができる。後者は反対に、動画像復号装置側で上記決定処理を行うため、動画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。

符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。

スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ⁰，Ｍ⁰）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌⁿ，Ｍⁿ）の画像領域である。
ただし、ＬⁿとＭⁿは、同じであってもよいし、異なっていてもよいが、図５では、Ｌⁿ＝Ｍⁿのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌⁿ，Ｍⁿ）と定義する。
４分木分割を行うため、常に、（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌⁿ，Ｍⁿ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌⁿ／２，Ｍⁿ／２）になる。

以降、第ｎ階層の符号化ブロックをＢⁿで表し、符号化ブロックＢⁿで選択可能な符号化モードをｍ（Ｂⁿ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂⁿ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢⁿは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢⁿに属する予測ブロックをＰ_i ⁿ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ₀ ⁰とＰ₁ ⁰の例を示している。
符号化ブロックＢⁿ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂⁿ）の中に情報として含まれる。
予測ブロックＰ_i ⁿは、全て符号化モードｍ（Ｂⁿ）に従って予測処理が行われるが、予測ブロックＰ_i ⁿ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂⁿ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂⁿ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がイントラ符号化モードである場合（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢⁿをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がインター符号化モードである場合（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢⁿを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がイントラ符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢⁿを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢⁿ内の各予測ブロックＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_INTRAi ⁿを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_INTRAi ⁿと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_INTRAi ⁿの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂⁿ）がインター符号化モードであり（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢⁿを受けると（ステップＳＴ３）、その符号化ブロックＢⁿ内の各予測ブロックＰ_i ⁿと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢⁿ内の各予測ブロックＰ_i ⁿに対するインター予測処理を実施して、インター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_INTERi ⁿと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_INTERi ⁿの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢⁿを受けると、その符号化ブロックＢⁿ内の予測ブロックＰ_i ⁿから、イントラ予測部４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償予測部５により生成されたインター予測画像Ｐ_INTERi ⁿのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅ_i ⁿを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_i ⁿを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号ｅ_i ⁿに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。

量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。一方、新しい量子化マトリクスを用いない場合には、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部７は、設定した量子化マトリクスパラメータを適応パラメータセットの一部として可変長符号化部１３に出力する。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
変換・量子化部７が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部８は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_i ⁿに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償予測部５により生成されたインター予測画像Ｐ_INTERi ⁿのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。

ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグを符号化すべき適応パラメータセットの一部及びスライスレベルヘッダの一部として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、動画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。

ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。

画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。

クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法（ＢＯ手法と呼ぶ）や、エッジの方向毎に各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法（ＥＯ手法と呼ぶ）がある。
これらの手法は、予め動画像符号化装置及び動画像復号装置で共通に用意されており、図１６に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。

ここで、図１３はＢＯ手法を示す説明図である。
ＢＯ手法では、最初に、局所復号画像の輝度値をＭ_BO個のグループに等分割する。ただし、Ｍ_BOは（輝度値の最大値）−（輝度値の最小値）＋１の約数となる定数であり、図１３の例では、Ｍ_BO＝３２としている。
次に、ブロック内の各画素を、当該画素の輝度値に従って、Ｍ_BO個のグループの中の対応するグループに分類する。
そして、オフセットを加えるグループとなるクラスを決定するために、クラスの先頭位置を示すｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎを決定する。
図１３に示すように、ｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎが示すグループから順番にクラス０、クラス１、クラス２、・・・、クラスＬ_BO−１と定める。ただし、Ｌ_BOはクラス数を示す定数であり、図１３の例では、Ｌ_BO＝４としている。

ｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎは符号化すべき適応パラメータセットの一部であり、画像品質改善効果が最も高くなるように、各クラスに属する画素に加算するオフセット値と共にｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎを決定する。
なお、定数Ｍ_BOは、値が大きいほど、細かい単位にオフセットを設定することができるため画像品質改善効果は向上するが、ｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎの取り得る範囲が大きくなるため、ｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎの符号化に要する符号量が増加する。
定数Ｌ_BOは、値が大きいほど、オフセットの個数が増加するため画像品質改善効果は向上するが、オフセットの符号化に要する符号量が増加する。
したがって、定数Ｍ_BO，Ｌ_BOの値は、画像品質改善効果と符号量とのトレードオフを考慮して、予め動画像符号化装置及び動画像復号装置で共通に適切な値に設定される。
また、定数Ｍ_BO，Ｌ_BOの値は、予め動画像符号化装置及び動画像復号装置で共通に用意する定数ではなく、符号化すべき適応パラメータセットの一部としてもよい。その場合、定数Ｍ_BO，Ｌ_BOを適応的に設定することができるため画像品質改善効果が上がるが、一方で符号化すべき情報が増えるため、符号量は増加する。

次に、図１４はＥＯ手法を示す説明図である。
図１４のｃはオフセット処理対象画素、ａ，ｂはｃに隣接する画素を示している。
図１４に示すように、クラス分類手法はａ，ｂ，ｃの並ぶ方向別に４通りあり、手法１から順番に、図１６に示すＥＯ手法１からＥＯ手法４に対応している。
各分類手法は、図１４に示すクラス分類条件に従ってブロック内の各画素を５通りのクラスに分類し、クラスに属する画素に加算するオフセット値を決定する。

各クラスに属する画素に加算するオフセット値については、図１７に例示するように、予め動画像符号化装置及び動画像復号装置で共通に、各クラスのオフセット値を定めたテーブルを用意し、使用するオフセット値の組み合わせを示すインデックスをオフセット情報として選択するようにする。
このようにすることで、取り得るオフセット値は制限されてしまうものの、上記テーブルで用意するクラス毎のオフセット値の組み合わせを適切に設定しておくことで、オフセット値をそのまま符号化するよりも、オフセット情報の符号化に要する符号量を削減しつつ、高精度な歪み補償処理を実現することができる。
なお、可変長符号化部１３による上記インデックスの符号化手法としては、取り得るインデックスの範囲は予め用意したテーブルからわかるため、図２５に示すｔｒｕｎｃａｔｅｄ ｕｎａｒｙ符号（トランケーテッド・ユーナリ符号）のように符号化対象シンボルの値の範囲を考慮した２値化手法を用いることで効率の良い符号化が可能となる。ただし、図２５は符号化対象シンボルの値の範囲を０から５に設定した場合の例である。

このとき、予め用意するテーブルは、全てのクラス分類手法で共通でもよいし、クラス分類手法によって用意するテーブルを分けてもよい。
例えば、ＢＯ手法とＥＯ手法では、処理が全く異なるので、それぞれ別のテーブルを用意することで適応的な画像品質改善を実現することができる。
さらに、ＥＯ手法は、ＥＯ手法１，２と、ＥＯ手法３，４で、画素ａ，ｂ，ｃの距離が異なるため、ＥＯ手法１，２用のテーブルと、ＥＯ手法３，４用のテーブルをそれぞれ用意することで適応的な画像品質改善を実現することができる。
ただし、用意するテーブルが多くなると、そのテーブルを保持するためのメモリの容量も増加する。したがって、動画像符号化装置及び動画像復号装置で用意できるメモリ容量によって用意できるテーブル数は制限される。

また、各テーブルが持つインデックス数（各クラスのオフセットの組み合わせ数）を増やすことで高精度な画像品質改善を実現することができるが、選択可能なテーブルのインデックス数が増加することによってインデックスの符号化に要する符号量が増加する。したがって、インデックス数は、画像品質改善効果と符号量とのトレードオフを考慮して、予め動画像符号化装置及び動画像復号装置で共通に設定される。
なお、予め用意するテーブルは色信号毎に用意してもよい。このようにすることで、信号特性の異なる色信号毎に適切なテーブルが用意でき、画像品質改善効果を向上することができる。

さらに、全てのオフセットをテーブル参照とせずに、例えば、ＥＯ手法のみ、上記のようにテーブル参照とし、ＢＯ手法のオフセットは、オフセット値そのものを符号化するようにしてもよい。
一般にＥＯ手法では、エッジ部の僅かなノイズを除去する効果があり、最適なオフセット値は小さい値に偏り易い。一方、ＢＯ手法では、ある一定の輝度値内の信号の直流分を補正する効果があり、必ずしも最適なオフセット値は小さい値に偏るわけではない。
したがって、最適なオフセット値に偏りがあるクラス分類手法のみテーブル参照とし、最適なオフセット値に偏りがないクラス分類手法については、オフセット値そのものを符号化するようにすることで、より高い画像品質改善効果が得られる。
なお、可変長符号化部１３による上記オフセット値の符号化手法としては、予め取り得るオフセット値の範囲を動画像符号化装置及び動画像復号装置共通で設定しておくことで、図２５に示すｔｒｕｎｃａｔｅｄ ｕｎａｒｙ符号のように符号化対象シンボルの値の範囲を考慮した２値化手法を用いることで効率の良い符号化が可能となる。一方、予め取り得るオフセット値の範囲を設定しない場合は、図２６に示すｕｎａｒｙ符号のような符号化対象シンボルの値の範囲を考慮しないで２値化できる符号を用いる。

また、符号化処理時の輝度信号または色差信号の信号値のビット深度によって、テーブルを切り替えるようにしてもよい。
８ビット時のオフセット値１に対応する９ビットでのオフセット値は２である。しかし、８ビット時に最適なオフセット値が１であっても、９ビットで最適なオフセット値は２ではなく、１等である可能性もある。
したがって、図１９に例示するように、信号値のビット深度毎にテーブルを用意することで、画像品質改善効果を高めることができる。
さらに、図２０に例示するように、一つのテーブルのみを用いることとし、８ビットの場合は、インデックス０のみ（０ビット）、９ビットの場合は、インデックス０，１（１ビット）、１０ビットの場合はインデックス０〜４（２ビット）を選択肢とするようにすることで、用意するテーブル数を削減し、テーブルを保持するメモリを削減することができる。
なお、図１９及び図２０の例では、８ビットの場合、インデックス０のみであるため、インデックスを符号化する必要がない。このようにすることで、インデックスの符号化に要する符号量分符号化効率を改善することができる。

なお、画素適応オフセット処理は、上記複数のクラス分類手法と最適なオフセット値の組み合わせの中から、最適なクラス分類手法及びオフセット値を選択することで最適な歪み補償処理を実現することができる。

以上より、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報を符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。さらに、画素適応オフセット処理は、ブロック単位のクラス分類手法を示すインデックスがＢＯ手法を示すインデックスである場合、クラスの先頭位置を示すｂｏ＿ｓｔａｒｔ＿ｐｏｓｉｔｉｏｎも符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
なお、上記画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行うようにしてもよい。
この場合、上記ブロック分割情報が不要になり、ブロック分割情報に要する符号量分だけ符号量を削減することができる。

また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め動画像符号化装置及び動画像復号装置で共通の値に設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。

さらに、上記適応フィルタ処理のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、例えば、最大符号化ブロックといった固定サイズのブロック毎に行うようにしてもよい。
即ち、固定サイズのブロック内を分割した複数の小ブロック単位に画像の局所的な特性（分散など）に応じてクラス分類し、クラス毎にフィルタ設計及びフィルタ処理を行うようにして、固定サイズのブロック毎に各クラスのフィルタを適応パラメータセットの一部として符号化する。
このようにすることで、画像全体に対してクラス分類及びフィルタ設計・処理を実施する場合よりも、局所的な性質に応じた高精度なフィルタ処理を実現することができる。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢⁿに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢⁿに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂⁿ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。

また、可変長符号化部１３は、図１５に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。

シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、当該スライスで使用する適応パラメータセットのインデックス及び上記インデックスが示す適応パラメータセットを用いたループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。

適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるパラメータ（フィルタパラメータ）と、量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）とを持つパラメータセットであり、符号化ビットストリームに多重されている複数の適応パラメータセットを識別するために、各適応パラメータセットはインデックス（ａｐｓ＿ｉｄ）を有している。
そして、各適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるそれぞれのフィルタパラメータと、量子化マトリクスパラメータとがそれぞれ存在しているか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を有しており、各存在フラグが“有効”の場合は、それに対応するパラメータを有している。
したがって、適応パラメータセットは、各パラメータがあるか否かを自由に設定することができる。
各スライスは、スライスレベルヘッダ内にスライスの復号処理時に参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を少なくとも１つ以上持っており、対応する適応パラメータセットを参照して、量子化処理・逆量子化処理やループフィルタ処理を実施する。

また、適応パラメータセットを符号化して符号化ビットストリームに多重化する際、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に符号化ビットストリームに存在する場合には、そのインデックスを持つ適応パラメータセットが、上記の符号化対象の適応パラメータセットに置き換えられる。
したがって、新しい適応パラメータセットを符号化する際、既に符号化された適応パラメータセットが不要の場合は、その不要な適応パラメータセットのインデックスで符号化することで、適応パラメータセットの上書き更新が可能になり、保存しなければならない適応パラメータセットの数を増やさずに済むため、使用するメモリの容量を抑えることができる。

さらに、可変長符号化部１３は、図１８のようにシーケンスの切り替わりの際に新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）を符号化する場合、本シーケンスレベルヘッダより前に符号化されている適応パラメータセットを全て無効とする。
したがって、図１８において、ピクチャデータ３０の符号化に適応パラメータセット２を参照するといったシーケンスレベルヘッダを跨いだ適応パラメータセットの参照は禁止される。
即ち、新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）を符号化した後のピクチャで、適応パラメータセット内のパラメータを用いる場合は、そのパラメータを新しい適応パラメータセットとして符号化する必要がある。したがって、上記適応パラメータセットの無効化処理等によって過去の適応パラメータセットが一切使用できない場合に新しく符号化する適応パラメータセットは、量子化マトリクス等のパラメータが過去の適応パラメータセットを参照しない、当該適応パラメータセットのみで全てのパラメータが復号できる適応パラメータセットとなる。
このように、シーケンスの切り替わりの際にシーケンスレベルヘッダによって、適応パラメータセットを初期化することで、動画像復号装置において、新しいシーケンスレベルヘッダが復号される前の符号化ビットストリームにエラーが生じた際に、そのストリーム内にある適応パラメータセットを参照することによる復号エラーを回避することができ、エラー耐性を高めることができる。

ただし、シーケンスレベルヘッダに適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇを持つように構成してエラー耐性を高めるようにしてもよい。具体的には、初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“有効”である場合のみ適応パラメータセットを初期化し、初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“無効”である場合は適応パラメータセットを初期化しないようにする。このようにシーケンスレベルヘッダのパラメータの一つとして適応パラメータセットの初期化フラグを持つようにすることで適応的な初期化処理が実施でき、エラー耐性を高める必要がある時のみ初期化することで適応パラメータセットの初期化による符号化効率の低下を抑制することができる。

さらに、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合、復号処理の高速化の実現やエラー耐性向上のため、適応パラメータセットのパラメータの一部として、符号化済み適応パラメータセットを無効とするフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせる。可変長符号化部１３は、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”である場合、その適応パラメータセットより前に符号化された適応パラメータセットを無効とし、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“無効”である場合は、上記無効化処理は実施しない。

図２４は一部の適応パラメータセットの無効化処理を表す符号化ビットストリームの例を示している。ただし、図２４のピクチャデータ３１は、シーケンスレベルヘッダ２、ピクチャレベルヘッダ３、適応パラメータセット２１を参照して符号化（復号）処理を行うものとする。一般に、このようにピクチャデータと関連するヘッダ情報をまとめたピクチャアクセスの単位をアクセスユニットと称する。図２４の適応パラメータセットについて、適応パラメータセット２１のみフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”とすることで、適応パラメータセット１から適応パラメータセット２０までが無効化され、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は不可となる。したがって、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合には、図２４のシーケンスレベルヘッダ２から復号すれば良いこととなる。
一方、ランダムアクセス時の高速な復号処理や高いエラー耐性を必要としない場合はフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを常に“無効”として適応パラメータセットの無効化を行わないようにすれば良い。したがって、フラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇによって適応的な適応パラメータセットの無効化処理が実現できる。

上記例では適応パラメータセット内のフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇによって、ランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現しているが、シーケンスレベルヘッダまたはＮＡＬユニット内に、ＩＤＲピクチャまたはＣＲＡピクチャを符号化（復号）する際に一部の適応パラメータセットを無効化するフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせることでランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現してもよい。
具体的には、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際にフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”であれば、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャの一つ前のピクチャのピクチャデータより前にある適応パラメータセットを無効とすることで、フラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇの場合と同様のランダムアクセスのための適応的な適応パラメータセットの無効化処理を実現する。即ち、図２４の例の場合、シーケンスレベルヘッダ２または、ピクチャデータ３１のＮＡＬユニット内にあるフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”とすることで、ピクチャデータ３１の符号化の際にピクチャデータ３１の一つ前のピクチャデータであるピクチャデータ３０より前にある適応パラメータセットを無効とするため、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は不可となる。即ち、ＩＤＲピクチャやＣＲＡピクチャのピクチャデータを含むアクセスユニットより前の適応パラメータセットが無効化され、参照は不可となる。したがって、ＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスを行う場合には、図２４のシーケンスレベルヘッダ２から復号すれば良いこととなる。

なお、上記の説明では、フラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”の場合に適応パラメータセットの無効化処理を行うようにしているが、上記フラグを設けず、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際に、常に適応パラメータセットの無効化処理を行うようにしてもよい。このようにすることで、上記フラグの符号化に要する符号量分の符号量が削減され、また、符号化処理の際に上記フラグを参照する処理が不要となり、動画像符号化装置が簡易化される。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄというパラメータを持つ動画像符号化装置を構成することも考えられる。
上記動画像符号化装置では、図２７に示すように、適応パラメータセット内に上記パラメータを設け、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、当該ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。
例えば図２４の場合、適応パラメータセット１から適応パラメータセット２０のａｐｓ＿ｇｒｏｕｐ＿ｉｄを０とし、適応パラメータセット２１以降はａｐｓ＿ｇｒｏｕｐ＿ｉｄを１とすることで、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照する際に、適応パラメータセット２１のａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝１）とは異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を無効化する。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されない。

このように、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値を変更するように符号化することで適応パラメータセットの参照が制限され、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータを含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。なお、ａｐｓ＿ｇｒｏｕｐ＿ｉｄは０または１のみを持つフラグとしてもよく、その場合は、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットが持つ上記フラグの値を０から１、あるいは、１から０へと切り替えるようにすることで、同様の適応パラメータセットの無効化処理を実現することができる。

上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法を用いることで、符号化ビットストリームを複数の回線に分配して送信する等といった理由により、動画像復号装置側で受け取る符号化ビットストリーム内のデータの順序が、動画像符号化装置側で符号化した順番から入れ替わってしまった場合においても、正しく復号することができる。具体的には、図２４の順に符号化した符号化ビットストリームが、図２８に示すように、動画像復号装置側では適応パラメータセット２１，２２がピクチャデータ３０より先に復号するように入れ替わっていても、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１と異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を適切に無効化することができる。
なお、上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法において、エラー耐性よりも符号化効率を優先する場合、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値を切り替えないように符号化することで、適応パラメータセットは無効化されずに済むため、参照可能な適応パラメータセットが制限されることによる符号化効率の低下を回避することができる。
また、適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ動画像符号化装置について、ＩＤＲピクチャまたはＣＲＡピクチャ以外のピクチャを復号する際にも参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とするように動画像符号化装置を構成してもよい。このようにすることで、適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの変更のタイミングを任意に行うことによる適応パラメータセットの適応的な無効化処理を行うことができ、適応的なエラー耐性処理が実現できる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、ＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャが参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）より小さいインデックスを持つ適応パラメータセットを無効化するように動画像符号化装置を構成してもよい。
即ち、図２４、図２８の例において符号化順に適応パラメータセットのインデックスが付けられている場合、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１のインデックスより小さいインデックスを持つ適応パラメータセット１から適応パラメータセット２０が無効化される。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。

さらに、可変長符号化部１３は、量子化マトリクスパラメータを適応パラメータセットとして符号化するのではなく、ピクチャ単位に変更可能なパラメータとして、ピクチャレベルヘッダ内で符号化するように構成してもよい。このようにすることで、量子化マトリクスパラメータとフィルタパラメータを独立した単位で符号化することができる。この場合、上記で説明したシーケンスレベルヘッダによる適応パラメータセット初期化処理や、ＩＤＲ、ＣＲＡピクチャに伴う適応パラメータセットの無効化処理と同様の処理が量子化マトリクスパラメータにも実施される。

また、可変長符号化部１３は、ループフィルタ部１１で使用するフィルタパラメータを適応パラメータセットとして符号化するのではなく、スライス単位に使用するフィルタパラメータを直接スライスレベルヘッダ等のスライスデータで符号化するように構成してもよい。このようにすることで、スライス間で重複するフィルタパラメータが存在しない場合、ループフィルタ部１１で使用するフィルタパラメータのためにスライスレベルヘッダの一つであるスライスの復号処理時に参照する適応パラメータセットのインデックスを符号化する必要がなくなるため、インデックスの符号量を削減でき、符号化効率を改善することができる。

次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢⁿ内の各予測ブロックＰ_i ⁿが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、Ｎ_Iはイントラ予測モード数を表している。
図７では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_i ⁿのイントラ予測パラメータを参照して、その予測ブロックＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_INTRAi ⁿを生成するが、ここでは、輝度信号における予測ブロックＰ_i ⁿのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_i ⁿのサイズをｌ_i ⁿ×ｍ_i ⁿ画素とする。
図８はｌ_i ⁿ＝ｍ_i ⁿ＝４の場合の予測ブロックＰ_i ⁿ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_i ⁿの上の符号化済みの画素（２×ｌ_i ⁿ＋１）個と、左の符号化済みの画素（２×ｍ_i ⁿ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_i ⁿの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_i ⁿに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰ_i ⁿの上に隣接する符号化済み画素と予測ブロックＰ_i ⁿの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰ_i ⁿ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックＰ_i ⁿに対するイントラ予測モードのインデックス値が２（平均値（ＤＣ）予測）の場合には、予測ブロックＰ_i ⁿの上に隣接する符号化済み画素と予測ブロックＰ_i ⁿの左に隣接する符号化済み画素の平均値を予測ブロックＰ_i ⁿ内の画素の予測値として予測画像を生成する。

イントラ予測モードのインデックス値が０（平面予測）と２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_p＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_i ⁿ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_i ⁿの左上画素を原点として、予測ブロックＰ_i ⁿ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。

以上に述べた処理によって、予測ブロックＰ_i ⁿ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像Ｐ_INTRAi ⁿを出力する。
なお、イントラ予測画像Ｐ_INTRAi ⁿの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４において、予測ブロックＰ_i ⁿの中間予測画像を生成する際の参照画素を、予測ブロックＰ_i ⁿに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。

予測ブロックＰ_i ⁿの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、フレームサイズの情報などの１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、適応パラメータセットとして符号化されたループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
このとき、可変長復号部３１によって可変長復号された適応パラメータセット内の量子化マトリクスパラメータから、当該適応パラメータセットの量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記適応パラメータセットに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。このとき、各スライスで用いる適応パラメータセットは、スライスレベルヘッダ内に存在する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を参照することで特定する。
ただし、図１の動画像符号化装置において、ループフィルタ部３８で使用するフィルタパラメータを適応パラメータセットとして符号化するのではなく、スライス単位に使用するフィルタパラメータを直接スライスデータで符号化している場合は、スライスデータからループフィルタ部３８で使用するフィルタパラメータを復号する。

また、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。

さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づき、直交変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がイントラ符号化モードであれば（ｍ（Ｂⁿ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がインター符号化モードであれば（ｍ（Ｂⁿ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がイントラ符号化モード（ｍ（Ｂⁿ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢⁿ内の各予測ブロックＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_INTRAi ⁿを生成する（ステップＳＴ２６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂⁿ）がインター符号化モード（ｍ（Ｂⁿ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックＢⁿ内の各予測ブロックＰ_i ⁿに対するインター予測処理を実施してインター予測画像Ｐ_INTERi ⁿを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。

この際、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に使用する量子化マトリクスを特定する。
具体的には、スライスレベルヘッダから特定される当該スライスで参照する適応パラメータセットの量子化マトリクスを当該スライスで使用する量子化マトリクスに設定する。
また、逆量子化・逆変換部３２は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_INTRAi ⁿ、または、動き補償部３５により生成されたインター予測画像Ｐ_INTERi ⁿのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢⁿに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、２つ以上のフィルタ処理を行う場合に、動画像符号化装置のループフィルタ部１１が図１１のように構成されている場合には、図１２に示すようにループフィルタ部３８が構成される。

ここで、デブロッキングフィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。

画素適応オフセット処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて分割し、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。

そして、ループフィルタ部３８は、ブロック単位の各クラスのオフセット値を特定する適応パラメータセットに含まれるオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。

適応フィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の適応フィルタ処理において、上記のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、例えば、最大符号化ブロックといった固定サイズのブロック毎に行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類及びフィルタ処理を行う。
このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

なお、可変長復号部３１は、図１８のように、シーケンスの切り替わりのために符号化ビットストリームの途中で新しいシーケンスレベルヘッダ（シーケンスレベルヘッダ２）が挿入されている場合、新しいシーケンスレベルヘッダを復号する時点で既に復号されている適応パラメータセットを全て無効とする。
したがって、図１８において、ピクチャデータ３０の復号時に適応パラメータセット２を参照するといったシーケンスレベルヘッダを跨いだ適応パラメータセットの参照は発生しない。さらに、上記適応パラメータセットの無効化処理等によって過去の適応パラメータセットが一切使用できない場合に復号される適応パラメータセットは、量子化マトリクス等のパラメータが過去の適応パラメータセットを参照しない、当該適応パラメータセットのみで全てのパラメータが復号できる適応パラメータセットとなる。
この制限によって、新しいシーケンスレベルヘッダより前の符号化ビットストリームにエラーが生じた際にそのビットストリーム内にある適応パラメータセットを参照することによる復号エラーを回避することができ、エラー耐性を高めることができる。
ただし、動画像符号化装置がシーケンスレベルヘッダに適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇを持つように構成されている場合は、可変長復号部３１によって復号されたフラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“有効”である場合のみ適応パラメータセットを初期化し、フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇが“無効”である場合は適応パラメータセットを初期化しないようにする。このようにすることで、適応パラメータセットの初期化フラグａｐｓ＿ｒｅｓｅｔ＿ｆｌａｇによる適応的な初期化処理を行う動画像符号化装置で生成されたストリームを正しく復号できる。

さらに、動画像符号化装置が適応パラメータセットのパラメータの一部として、復号済み適応パラメータセットを無効とするフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持つように構成されている場合は、可変長復号部３１によって復号されたｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”である場合、可変長復号部３１は、その適応パラメータセットより前に復号された適応パラメータセットを無効とし、ｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“無効”である場合は、上記無効化処理は実施しない。
即ち、図２４の符号化ビットストリームの例において、動画像符号化装置の可変長符号化部１３が適応パラメータセット２１のフラグｐｒｅｖｉｏｕｓ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”と符号化していれば、適応パラメータセット１から適応パラメータセット２０までが無効化され、符号化順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は行われないため、ＩＤＲピクチャまたはＣＲＡピクチャであるピクチャデータ３１を含むアクセスユニットの先頭であるシーケンスレベルヘッダ２からの復号でＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスが実現できる。

あるいは、動画像符号化装置がシーケンスレベルヘッダまたは、ＮＡＬユニット内にＩＤＲピクチャまたはＣＲＡピクチャを復号する際に一部の適応パラメータセットを無効化するフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを持たせることでランダムアクセスのための適応パラメータセットの無効化処理を実現するように構成されている場合は、ＩＤＲピクチャまたはＣＲＡピクチャの復号の際に可変長復号部３１によって復号されたフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇが“有効”であれば、可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャの一つ前のピクチャのピクチャデータより前にある適応パラメータセットを無効とする。即ち、図２４の例の場合、動画像符号化装置の可変長符号化部１３がシーケンスレベルヘッダ２または、ピクチャデータ３１のＮＡＬユニット内にあるフラグｐａｒｔ＿ａｐｓ＿ｃｌｅａｒ＿ｆｌａｇを“有効”と符号化していれば、ピクチャデータ３１の復号の際にピクチャデータ３１の一つ前のピクチャデータであるピクチャデータ３０より前にある適応パラメータセットを無効とするため、復号順でＩＤＲピクチャまたはＣＲＡピクチャ以降のピクチャでは適応パラメータセット１から適応パラメータセット２０の参照は行われず、シーケンスレベルヘッダ２からの復号でＩＤＲピクチャやＣＲＡピクチャによるランダムアクセスが実現できる。
ただし、動画像符号化装置が上記フラグを設けず、ＩＤＲピクチャまたはＣＲＡピクチャの符号化の際に、常に適応パラメータセットの無効化処理を行うように構成されている場合、ＩＤＲピクチャまたはＣＲＡピクチャの復号の際に、可変長復号部３１が常に上記適応パラメータセットの無効化処理を行うように動画像復号装置を構成することで、上記動画像符号化装置で生成された符号化ビットストリームを正しく復号することができる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する方法として、動画像符号化装置が適応パラメータセット内にａｐｓ＿ｇｒｏｕｐ＿ｉｄというパラメータを持つように構成されている場合、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャを復号する際に、当該ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。
例えば、図２４の場合、適応パラメータセット１から適応パラメータセット２０のａｐｓ＿ｇｒｏｕｐ＿ｉｄを０とし、適応パラメータセット２１以降はａｐｓ＿ｇｒｏｕｐ＿ｉｄを１とするように動画像符号化装置が符号化することで、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照する際に、適応パラメータセット２１のａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝１）とは異なるａｐｓ＿ｇｒｏｕｐ＿ｉｄ（＝０）を持つ適応パラメータセット１から適応パラメータセット２０を無効化するため、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットの先頭であるシーケンスレベルヘッダ２から復号を開始することで、所定のピクチャ以降は常に正しく復号することができる。

なお、上記ａｐｓ＿ｇｒｏｕｐ＿ｉｄを導入する手法において、動画像符号化装置がエラー耐性よりも符号化効率を優先して、ＩＤＲピクチャまたはＣＲＡピクチャに応じて適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの値の切り替えを行わないように符号化している場合、動画像復号装置においても、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータが適応パラメータセットを参照する際に、参照する適応パラメータセットが持つａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットが存在しないため、適応パラメータセットは無効化されずに正しく復号することができる。
また、ＩＤＲピクチャまたはＣＲＡピクチャ以外のピクチャを復号する際にも参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とするように動画像符号化装置が構成されている場合、動画像復号装置の可変長復号部３１はピクチャを復号する際に参照するａｐｓ＿ｇｒｏｕｐ＿ｉｄとは異なる値のａｐｓ＿ｇｒｏｕｐ＿ｉｄを持つ適応パラメータセットを無効とする。このようにすることで、適応パラメータセットのａｐｓ＿ｇｒｏｕｐ＿ｉｄの変更のタイミングを任意に行うことによる適応パラメータセットの適応的な無効化処理を実現する動画像符号化装置で生成されたストリームを正しく復号することができる。

さらに、ＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を実現する別の方法として、動画像符号化装置の可変長符号化部１３がＩＤＲピクチャまたはＣＲＡピクチャを符号化する際に、適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）によってＩＤＲピクチャまたはＣＲＡピクチャによる適応パラメータセットの無効化処理を行うように構成されている場合、動画像復号装置の可変長復号部３１は、ＩＤＲピクチャまたはＣＲＡピクチャが参照する適応パラメータセットを参照した際に、当該適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）より小さいインデックスを持つ適応パラメータセットを無効化する。
即ち、図２４、図２８の例において符号化順に適応パラメータセットのインデックスが付けられている場合、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１が適応パラメータセット２１を参照した際に、適応パラメータセット２１のインデックスより小さいインデックスを持つ適応パラメータセット１から適応パラメータセット２０が無効化される。したがって、適応パラメータセット１から適応パラメータセット２０はピクチャデータ３１以降のピクチャデータから参照されることがなく、動画像復号装置は、ＩＤＲピクチャまたはＣＲＡピクチャのピクチャデータ３１を含むアクセスユニットから復号を開始すれば、所定のピクチャ以降は常に正しく復号することができる。

さらに、動画像符号化装置において、量子化マトリクスパラメータを適応パラメータセットとして符号化するのではなく、ピクチャ単位に変更可能なパラメータとして、ピクチャレベルヘッダ内で符号化するように構成されている場合、上記で説明したシーケンスレベルヘッダによる適応パラメータセット初期化処理や、ＩＤＲ、ＣＲＡピクチャに伴う適応パラメータセットの無効化処理と同様の処理が量子化マトリクスパラメータにも実施される。

以上で明らかなように、この実施の形態１によれば、ループフィルタ部１１が、局所復号画像を複数のブロックに分割して、ブロック単位にクラスの分類手法を選択し、その分類手法を用いて、当該ブロック内の各画素のクラス分けを実施する一方、各クラスのオフセット値の組み合わせに対応するインデックスを示すテーブルを参照して、クラス分けを実施している各画素の画素値に加算するオフセット値の組み合わせに対応するインデックスを特定するとともに、そのオフセット値を上記画素値に加算する画素適応オフセット処理を実施し、可変長符号化部１３が、ループフィルタ部１１により選択されたブロック単位のクラスの分類手法を示すインデックスと、ループフィルタ部１１により特定されたオフセット値の組み合わせに対応するインデックスとをフィルタパラメータとして符号化するように構成したので、オフセット情報の符号化に要する符号量を削減しつつ、高精度な歪み補償処理を実現することができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置のループフィルタ部３８の画素適応オフセット処理のクラス毎のオフセット値を特定するためのテーブルを持ち、復号されたテーブルのインデックス情報と上記テーブルからオフセット値を特定するようにすることで、ループフィルタ部１１の画素適応オフセット処理のクラス毎のオフセット値をテーブル化している動画像符号化装置で符号化されたビットストリームを正しく復号することができる効果を奏する。

実施の形態２．
上記実施の形態１では、ループフィルタ部１１の画素適応オフセット処理のクラス毎のオフセット値の組み合わせをテーブル化することでオフセット情報の符号化に要する符号量を削減する高精度な歪み補償処理を示したが、この実施の形態２では、テーブルを用いずにオフセット情報の符号化に要する符号量を削減する手法について説明する。

この実施の形態２では、上記実施の形態１のループフィルタ部１１及びループフィルタ部３８の画素適応オフセット処理における各クラスに属する画素に加算するオフセット値の算出手法と、符号化すべきオフセット情報のみが異なるため、その点について説明する。

ＥＯ手法での各クラスのオフセット算出処理を下記のように定義する。
ＯＦＦＳＥＴ₀ ＝ ０
ＯＦＦＳＥＴ₁ ＝ Ｘ
ＯＦＦＳＥＴ₂ ＝ ［Ｘ／２］
ＯＦＦＳＥＴ₃ ＝−［Ｘ／２］
ＯＦＦＳＥＴ₄ ＝−Ｘ
ただし、ＯＦＦＳＥＴ_zは、クラスｚでのオフセット値、Ｘはオフセット値を決めるパラメータを示し、［ｎ］は実数ｎの整数部分を表している。

このように定義することで、各クラスのオフセット値を符号化する必要がなく、パラメータＸのみをオフセット情報として符号化すればよいため、符号量を削減することができる。
さらに、上記実施の形態１のクラス毎のオフセット値の組み合わせを示すテーブルを用いる場合と比べて、テーブルに要するメモリを必要としない利点がある。なお、ＢＯ手法についても、同様に一つのパラメータのみで各クラスのオフセット値を定義してもよい。下記にクラス数Ｌ_BOを３とした場合の一例を示している。
ＯＦＦＳＥＴ₀＝［Ｙ／２］
ＯＦＦＳＥＴ₁＝Ｙ
ＯＦＦＳＥＴ₂＝［Ｙ／２］
ただし、Ｙはオフセット値を決めるパラメータ、［ｎ］は実数ｎの整数部分を表している。
このとき、可変長符号化部１３による上記Ｘ、Ｙの符号化手法としては、予め取り得る値の範囲を動画像符号化装置及び動画像復号装置共通で設定しておくことで、図２５に示すｔｒｕｎｃａｔｅｄ ｕｎａｒｙ符号のように符号化対象シンボルの値の範囲を考慮した２値化手法を用いることで効率の良い符号化が可能となる。一方、予め取り得る範囲を設定しない場合は、図２６に示すｕｎａｒｙ符号のような符号化対象シンボルの値の範囲を考慮しないで２値化できる符号を用いる。

なお、上記ではＥＯ手法、ＢＯ手法共に一つのパラメータのみで各クラスのオフセット値を定義しているが、どちらか一方は、各クラスのオフセット値自体をオフセット情報として符号化するようにしてもよい。
このとき、可変長符号化部１３による上記オフセット値の符号化手法としては、予め取り得るオフセット値の範囲を動画像符号化装置及び動画像復号装置共通で設定しておくことで、図２５に示すｔｒｕｎｃａｔｅｄ ｕｎａｒｙ符号のように符号化対象シンボルの値の範囲を考慮した２値化手法を用いることで効率の良い符号化が可能となる。一方、予め取り得るオフセット値の範囲を設定しない場合は、図２６に示すｕｎａｒｙ符号のような符号化対象シンボルの値の範囲を考慮しないで２値化できる符号を用いる。
一般にＥＯ手法は画像のエッジ部のノイズを平滑化する効果があり、各クラスの画素ａ，ｂ，ｃの関係からクラス間でのオフセット値の相関関係が高いが、ＢＯ手法に関してはＥＯ手法程の明確なクラス間の相関を有していない。したがって、ＥＯ手法のみパラメータＸでオフセットを定義し、ＢＯ手法は各クラスのオフセット値自体をオフセット情報として符号化するようにした方が、オフセット情報の符号化に要する符号量が増加するものの高い画像品質改善効果が得られるため適切である場合がある。
なお、各クラスのオフセット算出式は色信号毎に用意してもよい。このようにすることで、信号特性の異なる色信号毎に適切な各クラスのオフセット算出式が用意でき、画像品質改善効果を向上することができる。

また、上記のパラメータＸやＹの候補をテーブルで用意してもよい。このようにすることで、パラメータＸやＹの取り得る値が制限されてしまうものの、テーブルに用意する候補値を適切に設定することができる場合は、パラメータＸやＹの符号化に要する符号量を削減しつつ高精度な歪み補償処理を実現することができる。
他にも、ＥＯ手法は上記実施の形態１のオフセット算出手法及び符号化、ＢＯ手法は実施の形態２のオフセット算出手法及び符号化（あるいはＥＯ手法とＢＯ手法が逆）というように、両実施の形態を組み合わせてもよい。

以上で明らかなように、この実施の形態２によれば、ループフィルタ部１１が、局所復号画像を複数のブロックに分割して、ブロック単位にクラスの分類手法を選択し、その分類手法を用いて、当該ブロック内の各画素のクラス分けを実施する一方、クラス分けを実施している各画素の画素値に加算するオフセット値を算出するパラメータを決定するとともに、そのパラメータからオフセット値を算出して、そのオフセット値を上記画素値に加算する画素適応オフセット処理を実施し、可変長符号化部１３が、ループフィルタ部１１により選択されたブロック単位のクラスの分類手法を示すインデックスと、ループフィルタ部１１により決定されたオフセット値を算出するパラメータとをフィルタパラメータとして符号化するように構成したので、オフセット情報の符号化に要する符号量を削減しつつ、高精度な歪み補償処理を実現することができる効果を奏する。

また、この実施の形態２によれば、動画像復号装置のループフィルタ部３８の画素適応オフセット処理のクラス毎のオフセット値を一つのパラメータから特定するようにすることで、ループフィルタ部１１の画素適応オフセット処理のクラス毎のオフセット値を一つのパラメータで定義するようにした動画像符号化装置で符号化されたビットストリームを正しく復号することができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化パラメータ決定手段）、３ 切換スイッチ、４ イントラ予測部（予測手段）、５ 動き補償予測部（予測手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部（局所復号画像生成手段）、９ 加算部（局所復号画像生成手段）、１０ イントラ予測用メモリ（予測手段）、１１ ループフィルタ部（フィルタリング手段）、１２ 動き補償予測フレームメモリ（予測手段）、１３ 可変長符号化部（可変長符号化手段）、１４ スライス分割部（スライス分割手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（差分画像生成手段）、３３ 切換スイッチ、３４ イントラ予測部（予測手段）、３５ 動き補償部（予測手段）、３６ 加算部（復号画像生成手段）、３７ イントラ予測用メモリ（予測手段）、３８ ループフィルタ部（フィルタリング手段）、３９ 動き補償予測フレームメモリ（予測手段）、１０１ ブロック分割部、１０２ 予測部、１０３ 圧縮部、１０４ 局所復号部、１０５ 加算器、１０６ ループフィルタ、１０７ メモリ、１０８ 可変長符号化部。

Claims (14)

1. 入力画像の圧縮データから復号された差分画像と予測画像の加算結果である局所復号画像にフィルタ処理を実施するフィルタリング手段と、
   上記圧縮データ及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタパラメータを可変長符号化して、上記圧縮データ及び上記フィルタパラメータの符号化データが多重化された符号化ビットストリームを生成する可変長符号化手段と、を備え、
   上記フィルタリング手段は、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、上記分類手法を用いて、当該最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出して、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、
   上記可変長符号化手段は、上記フィルタパラメータの一部として、上記フィルタリング手段により決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長符号化するとともに、最大サイズの符号化ブロック毎の各クラスのオフセット値をトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化し、
   上記オフセット値の最大値は、上記局所復号画像のビット深度によって定まることを特徴とする画像符号化装置。
2. 入力画像を複数の部分画像であるスライスに分割するスライス分割手段と、
   符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、階層的に分割される各々の符号化ブロックに符号化モードを割り当てる符号化パラメータ決定手段と、
   上記スライス分割手段により分割されたスライスを上記符号化パラメータ決定手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化パラメータ決定手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、
   上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化パラメータ決定手段により割り当てられた符号化モードに応じた予測処理を実施して予測画像を生成する予測手段と、
   上記ブロック分割手段により分割された符号化ブロックと上記予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、
   上記差分画像生成手段により生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮手段と、
   上記画像圧縮手段から出力された圧縮データから差分画像を復号し、復号後の差分画像と上記予測手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、を備え、
   上記可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ、上記符号化パラメータ決定手段により割り当てられた符号化モード、上記画像圧縮手段により変換係数が量子化される際に用いられる量子化マトリクスを生成する量子化マトリクスパラメータ、上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタパラメータ及び上記スライス分割手段によるスライスの分割情報を含む各スライスのヘッダ情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記量子化マトリクスパラメータ、上記フィルタパラメータ及び上記ヘッダ情報の符号化データが多重化された符号化ビットストリームを生成することを特徴とする請求項１記載の画像符号化装置。
3. 上記予測手段は、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化パラメータ決定手段によりイントラ符号化モードが割り当てられた場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成することを特徴とする請求項２記載の画像符号化装置。
4. 上記予測手段は、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化パラメータ決定手段によりインター符号化モードが割り当てられた場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記フィルタリング手段によるフィルタ処理後の局所復号画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成することを特徴とする請求項３記載の画像符号化装置。
5. 上記符号化パラメータ決定手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
   上記予測手段は、上記符号化パラメータ決定手段によりイントラ符号化モードが割り当てられた場合、上記イントラ予測パラメータを用いて、フレーム内予測処理を実施し、上記符号化パラメータ決定手段によりインター符号化モードが割り当てられた場合、上記インター予測パラメータを用いて、動き補償予測処理を実施し、
   上記画像圧縮手段は、上記符号化パラメータ決定手段により決定された変換ブロック単位で、上記差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化パラメータ決定手段により決定された量子化パラメータ及び量子化マトリクスパラメータを用いて、上記差分画像の変換係数を量子化して量子化後の変換係数を上記差分画像の圧縮データとして出力し、
   上記可変長符号化手段は、上記圧縮データ、上記符号化モード、上記量子化マトリクスパラメータ、上記フィルタパラメータ及び各スライスの上記ヘッダ情報を可変長符号化する際、上記符号化パラメータ決定手段により決定された上記イントラ予測パラメータ又は上記インター予測パラメータ及び変換ブロック分割情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記量子化マトリクスパラメータ、上記フィルタパラメータ、上記ヘッダ情報、上記イントラ予測パラメータ又は上記インター予測パラメータ及び上記変換ブロック分割情報の符号化データが多重化された符号化ビットストリームを生成することを特徴とする請求項４記載の画像符号化装置。
6. 符号化ビットストリームに多重化された符号化データから圧縮データ及びフィルタパラメータを可変長復号する可変長復号手段と、
   上記可変長復号手段により可変長復号されたフィルタパラメータを用いて、上記可変長復号手段により可変長復号された圧縮データから復号された復号画像にフィルタ処理を実施するフィルタリング手段と、を備え、
   上記可変長復号手段は、上記符号化ビットストリームに多重化された符号化データから上記フィルタパラメータの一部として、最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長復号するとともに、トランケーテッド・ユーナリ符号により２値化処理された最大サイズの符号化ブロック毎の各クラスのオフセット値を可変長復号し、
   上記フィルタリング手段は、上記最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを用いて、各最大サイズの符号化ブロックのクラスの分類手法を特定して、上記最大サイズの符号化ブロック単位に特定されたクラスの分類手法による各画素のクラス分けを実施し、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、
   上記オフセット値の最大値は、上記復号画像のビット深度によって定まることを特徴とする画像復号装置。
7. 上記可変長復号手段は、上記符号化ビットストリームに多重化された符号化データから各スライスのヘッダ情報、量子化マトリクスパラメータ及びフィルタパラメータを可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号し、
   さらに、
   上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに応じた予測処理を実施して予測画像を生成する予測手段と、
   上記可変長復号手段により可変長復号された量子化パラメータ及び上記量子化マトリクスパラメータを用いて、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成手段と、
   上記差分画像生成手段により生成された差分画像と上記予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段と、を備えたことを特徴とする請求項６記載の画像復号装置。
8. 上記予測手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成することを特徴とする請求項７記載の画像復号装置。
9. 上記予測手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成することを特徴とする請求項８記載の画像復号装置。
10. 上記可変長復号手段は、上記符号化ビットストリームに多重化された符号化データから上記圧縮データ、上記符号化モード、上記フィルタパラメータを可変長復号する際、イントラ予測パラメータ又はインター予測パラメータ及び変換ブロック分割情報を可変長復号し、
    上記予測手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記イントラ予測パラメータを用いて、フレーム内予測処理を実施し、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、上記インター予測パラメータを用いて、動き補償予測処理を実施し、
    上記差分画像生成手段は、上記可変長復号手段により可変長復号された変換ブロック分割情報から得られる変換ブロック単位で、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成することを特徴とする請求項９記載の画像復号装置。
11. フィルタリング手段が、入力画像の圧縮データから復号された差分画像と予測画像の加算結果である局所復号画像にフィルタ処理を実施するフィルタリング処理ステップと、
    可変長符号化手段が、上記圧縮データ及び上記フィルタリング処理ステップでフィルタ処理が実施される際に用いられるフィルタパラメータを可変長符号化して、上記圧縮データ及び上記フィルタパラメータの符号化データが多重化された符号化ビットストリームを生成する可変長符号化処理ステップと、を備え、
    上記フィルタリング処理ステップでは、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、上記分類手法を用いて、当該最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出して、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、
    上記可変長符号化処理ステップでは、上記フィルタパラメータの一部として、上記フィルタリング処理ステップで決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長符号化するとともに、最大サイズの符号化ブロック毎の各クラスのオフセット値をトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化し、
    上記オフセット値の最大値は、上記局所復号画像のビット深度によって定まることを特徴とする画像符号化方法。
12. フィルタリング手段が、入力画像の圧縮データから復号された差分画像と予測画像の加算結果である局所復号画像にフィルタ処理を実施するフィルタリング処理ステップと、
    可変長符号化手段が、上記圧縮データ及び上記フィルタリング処理ステップでフィルタ処理が実施される際に用いられるフィルタパラメータを可変長符号化して、上記圧縮データ及び上記フィルタパラメータの符号化データが多重化された符号化ビットストリームを生成する可変長符号化処理ステップと、を備え、
    上記フィルタリング処理ステップでは、フィルタパラメータの一部として、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、上記分類手法を用いて、当該最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出し、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、
    上記可変長符号化処理ステップでは、上記フィルタリング処理ステップで決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長符号化するとともに、最大サイズの符号化ブロック毎の各クラスのオフセット値をトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化し、
    上記オフセット値の最大値は、上記局所復号画像のビット深度によって定まることを特徴とする画像符号化方法。
13. 可変長復号手段が、符号化ビットストリームに多重化された符号化データから圧縮データ及びフィルタパラメータを可変長復号する可変長復号処理ステップと、
    フィルタリング手段が、上記可変長復号処理ステップで可変長復号されたフィルタパラメータを用いて、上記可変長復号処理ステップで可変長復号された圧縮データから復号された復号画像にフィルタ処理を実施するフィルタリング処理ステップと、を備え、
    上記可変長復号処理ステップでは、上記符号化ビットストリームに多重化された符号化データからフィルタパラメータの一部として、最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを可変長復号するとともに、トランケーテッド・ユーナリ符号により２値化処理された最大サイズの符号化ブロック毎の各クラスのオフセット値を可変長復号し、
    上記フィルタリング処理ステップでは、上記最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスを用いて、各最大サイズの符号化ブロックのクラスの分類手法を特定して、上記最大サイズの符号化ブロック単位に特定されたクラスの分類手法による各画素のクラス分けを実施し、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施し、
    上記オフセット値の最大値は、上記復号画像のビット深度によって定まることを特徴とする画像復号方法。
14. 入力画像の圧縮データが可変長符号化されたデータと、
    予測画像と上記圧縮データから復号された差分画像との加算結果である復号画像にフィルタ処理を実施する際に用いられるフィルタパラメータが可変長符号化されたデータと、
    を備えた符号化ビットストリームのデータ構造であって、
    上記フィルタ処理は、最大サイズの符号化ブロック単位にクラスの分類手法を決定し、上記分類手法を用いて各最大サイズの符号化ブロック内の各画素のクラス分けを実施し、クラス毎のオフセット値を算出して、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施する処理であり、
    上記フィルタパラメータが可変長符号化されたデータは、
    上記フィルタ処理において決定された最大サイズの符号化ブロック単位のクラスの分類手法を示すインデックスが可変長符号化されたデータと、
    最大サイズの符号化ブロック毎の各クラスのオフセット値がトランケーテッド・ユーナリ符号による２値化処理に基づいて可変長符号化されたデータと、を有し、
    上記オフセット値の最大値は、上記復号画像のビット深度によって定まり、
    画像復号装置に、上記インデックスを用いて、各最大サイズの符号化ブロックのクラスの分類手法を特定させて、上記最大サイズの符号化ブロック単位に特定されたクラスの分類手法による各画素のクラス分けを実施させ、上記オフセット値を対応するクラスに属する画素の画素値に加算又は減算する画素適応オフセット処理を実施させることを特徴とする符号化ビットストリームのデータ構造。

Images