JP5941176B2 - 映像復号化方法 - Google Patents

Description

本発明は、映像の符号化及び復号化に係り、さらに具体的には、残差ブロックの符号化及び復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、４ｘ４，８ｘ８のような小サイズの変換単位を利用して残差ブロックを符号化する。

本発明の課題は、関連技術のビデオコーデックは、４ｘ４，８ｘ８のような小サイズを有する変換単位だけを利用して残差ブロックを符号化するところにある。

本発明は、大サイズの変換残差ブロック内の有効変換係数情報をさらに効率に符号化及び復号化するための方法及びその装置を提供するものである。

本発明の実施形態によれば、分割された周波数帯域単位別に有効変換係数の存在いかんを示す有効係数フラグを生成することによって、変換残差ブロック内に有効変換係数が存在しない周波数帯域のスキャニング過程をスキップさせ、かつ有効変換係数の符号化に必要なビット発生量を低減させることができる。

本発明の一実施形態による映像符号化装置のブロック図である。 本発明の一実施形態による映像復号化装置のブロック図である。 本発明の一実施形態による階層的符号化単位を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態による、深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 関連技術分野で、変換残差ブロックをエンコーディングする過程を説明するための参照図である。 関連技術分野で、変換残差ブロックをエンコーディングする過程を説明するための参照図である。 関連技術分野で、変換残差ブロックをエンコーディングする過程を説明するための参照図である。 本発明の一実施形態による残差ブロックの符号化装置のブロック図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明によって変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。 本発明の一実施形態による有効変換係数の符号化過程を説明するための参照図である。 本発明の一実施形態による有効変換係数の符号化過程を説明するための参照図である。 本発明の一実施形態による残差ブロックの符号化過程について、さらに具体的に説明するための参照図である。 本発明の一実施形態による残差ブロックの符号化過程について、さらに具体的に説明するための参照図である。 有効係数符号化部によって生成された変換残差ブロックの符号化情報の実施形態を示した参照図である。 有効係数符号化部によって生成された変換残差ブロックの符号化情報の実施形態を示した参照図である。 本発明の一実施形態による残差ブロックの符号化方法を示したフローチャートである。 本発明の一実施形態による残差ブロックの復号化装置を示したブロック図である。 本発明の一実施形態による残差ブロックの復号化方法を示したフローチャートである。

本発明の一実施形態による残差ブロックの符号化方法は、現在ブロックの予測ブロックを生成する段階と、前記予測ブロックと前記現在ブロックとの差である残差ブロックを生成する段階と、前記残差ブロックを周波数領域に変換して変換残差ブロックを生成する段階と、前記変換残差ブロックを所定周波数帯域単位に分割する段階と、前記分割された周波数帯域単位ごとに、０でない有効変換係数が存在するか否かを示す周波数帯域単位別有効係数フラグを符号化する段階と、を含むことを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、前記変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、同一サイズの周波数帯域単位に、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、所定間隔で、同じ値を有する水平周波数及び垂直周波数を連結し、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、前記変換残差ブロックを構成する変換係数を利用し、前記変換残差ブロックの映像特性を判断する段階と、前記判断された映像特性を利用し、前記変換残差ブロックの周波数帯域別に分割する大きさを決定する段階と、前記決定された周波数帯域別分割サイズによって、前記変換残差ブロックを分割する段階と、を含むことを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックの映像特性を判断する段階は、前記変換残差ブロックの各周波数帯域内に存在する変換係数の個数及び分布図のうち、少なくとも一つを利用することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記周波数帯域単位別有効係数フラグを符号化する段階は、前記分割された周波数帯域単位のうち、最も小さい低周波数帯域単位については、前記有効係数フラグを別途に符号化しないことを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記分割された周波数帯域単位のうち、０ではない有効変換係数が存在する周波数帯域単位内に存在する有効変換係数の位置を示す有効性マップ（significance map）を符号化する段階をさらに含むことを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記有効性マップを符号化する段階は、前記分割された周波数帯域単位ごとに独立した所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、前記周波数帯域単位内の有効変換係数の位置を示すフラグを符号化することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記有効性マップを符号化する段階は、所定スキャン順序によって、前記変換残差ブロック内の全体有効変換係数を読み取り、前記分割された周波数帯域単位別に存在する有効変換係数の位置を示すフラグを符号化することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記有効性マップを符号化する段階は、所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、各周波数帯域単位別に最後の有効変換係数が存在するか否かを示すフラグ（Ｔlast）を設定し、最後の有効変換係数が存在する周波数帯域単位に存在する有効変換係数についてのみ、全体変換残差ブロックの最後の有効変換係数であるか否かを示すフラグを設定することを特徴とする。

本発明の一実施形態による残差ブロックの符号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、前記周波数帯域単位の大きさ及び形態によって事前に決められた複数個の分割形態のうち選択された１つの分割形態によって、前記変換残差ブロックを前記周波数帯域単位に分割し、前記選択された分割形態を示す分割形態インデックス情報を、符号化されたビットストリームに付加する段階をさらに含むことを特徴とする。

本発明の一実施形態による残差ブロックの符号化装置は、現在ブロックの予測ブロックを生成する予測部；前記予測ブロックと前記現在ブロックとの差である残差ブロックを生成する減算部；前記残差ブロックを周波数領域に変換して変換残差ブロックを生成する変換部；及び前記変換残差ブロックを周波数帯域別に分割し、前記分割された周波数帯域別に、０ではない有効変換係数が存在するか否かを示す帯域別有効係数フラグを符号化するエントロピ符号化部；を含むことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法は、符号化されたビットストリームから、現在ブロックの変換残差ブロックを分割した所定周波数帯域単位別に、有効変換係数が存在するか否かを示す有効係数フラグを抽出する段階と、前記変換残差ブロックを所定周波数帯域単位に分割する段階と、前記有効係数フラグを利用し、前記変換残差ブロックを分割した周波数帯域単位のうち、有効変換係数が存在する周波数帯域単位を判断する段階と、を含むことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、前記変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分することを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、同一サイズの周波数帯域単位に、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、所定間隔で、同じ値を有する水平周波数及び垂直周波数を連結し、前記変換残差ブロックを分割することを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記変換残差ブロックを所定周波数帯域単位に分割する段階は、前記ビットストリームから、前記周波数帯域単位の大きさ及び形態によって事前に決められた複数個の分割形態のうち、前記変換残差ブロックの分割に利用された分割形態を示す分割形態インデックス情報を抽出する段階と、前記抽出された分割形態インデックス情報を利用し、前記変換残差ブロックを、前記事前に決められた大きさ及び形態を有する周波数帯域単位に分割する段階と、をさらに含むことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記ビットストリームから、有効変換係数が存在する周波数帯域単位に存在する有効変換係数の位置を示す有効性マップ（significance map）を抽出する段階と、前記有効性マップを利用し、前記有効変換係数が存在する周波数帯域単位内に存在する有効変換係数の位置を判断する段階と、をさらに含むことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記有効性マップは、前記分割された周波数帯域単位ごとに独立した所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数の位置を示すことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記有効性マップは、所定スキャン順序によって、前記変換残差ブロック内の全体有効変換係数を読み取ったときに検出された有効変換係数の位置を示すことを特徴とする。

本発明の一実施形態による残差ブロックの復号化方法において、前記有効性マップは、所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、各周波数帯域単位別に最後の有効変換係数が存在するか否かを示すフラグ（Ｔlast）、及び最後の有効変換係数が存在する周波数帯域単位に存在する有効変換係数についてのみ、全体変換残差ブロックの最後の有効変換係数であるか否かを示すフラグを含むことを特徴とする。

本発明の一実施形態による残差ブロックの復号化装置は、符号化されたビットストリームから、現在ブロックの変換残差ブロックを所定周波数帯域単位に分割した周波数帯域単位別に有効変換係数が存在するか否かを示す有効係数フラグを抽出するパージング部；及び前記変換残差ブロックを所定周波数帯域単位に分割し、前記抽出された有効係数フラグを利用し、前記周波数帯域単位のうち、有効変換係数が存在する周波数帯域単位を判断するエントロピ復号化部；を含むことを特徴とする。

本発明の他の実施形態による残差ブロックの符号化方法は、残差ブロックを周波数領域に変換することによって変換残差ブロックを生成する段階と、変換残差ブロックを周波数帯域単位に分割する段階と、０ではない有効変換係数が存在する周波数帯域単位の有効係数フラグを符号化する段階と、を含むことを特徴とする。

以下、図面を参照しつつ、本発明の実施形態について詳細に説明する。構成要素リストに先行する「少なくとも一つ」のような表現は、構成要素リスト全体を変更するものであり、リスト上の構成要素を個別的に変更するものではない。

実施形態で、符号化単位（coding unit）は、エンコーダ側で、映像データを符号化するのに利用されるデータ単位、及びデコーダ側で、符号化された映像データを復号化するのに利用されるデータ単位である。また、符号化深度（depth）は、符号化単位が符号化される深度を示す。

図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、最大サイズの符号化単位の最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２,６４ｘ６４,１２８ｘ１２８,２５６ｘ２５６などのデータ単位であり、縦横に大きさが８より大きい２の二乗である正方形のデータ単位であってもよい。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力されもする。

本発明の一実施形態によれば、最大符号化単位及び深度を利用して符号化単位が表現されてもよい。深度は、最大符号化単位から、符号化単位が空間的に分割された回数を示す。深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割され、最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含むことができる。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含むことができる。本発明の一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されもする。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。

符号化深度決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最も小さい符号化誤差が発生する深度を選択し、符号化深度に決定する。従って、決定された符号化深度に対応する符号化単位の符号化された映像データが、最終的に出力される。また、符号化深度に対応する符号化単位は、符号化された符号化単位と見なされもする。

決定された符号化深度及び決定された符号化深度による符号化された映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択されもする。それぞれの最大符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって分割されもする。

従って、一実施形態による符号化深度決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。この場合、最大符号化単位から４回分割された符号化単位が、最小符号化単位であるならば、深度０,１,２,３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換は、最大符号化単位によって行われる。最大符号化単位による予測符号化及び変換は、また最大深度以下の深度によるさらに深い深度の符号化単位に基づいて行われる。変換は、直交変換法または整数変換法によって行われる。

深度によって、最大符号化単位が分割されるたびに、下位深度の符号化単位の個数が増加するために、予測符号化及び変換を含む符号化過程は、深度が深くなるにつれて生じるあらゆる下位深度の符号化単位に対して行われる。説明の便宜のために、予測符号化及び変換は、最大符号化単位で、現在深度の符号化単位に基づいて説明する。

符号化装置１００は、映像データを符号化するために、多様なサイズまたは形態のデータ単位を選択することができる。映像データを符号化するために、予測符号化過程、変換過程及びエントロピ符号化過程のような動作が行われ、このとき、同じデータ単位があらゆる動作に利用されたり、あるいは各動作ごとに互いに異なるデータ単位が利用される。

例えば、符号化装置１００は、映像データを符号化するための符号化単位だけではなく、符号化単位内の映像データに係わる予測符号化のために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のために、予測符号化は、符号化深度の符号化単位、すなわち、それ以上下位深度に対応する符号化単位に分割されない符号化単位を基に遂行される。以下、それ以上分割されずに、予測の基になるデータ単位は、「予測単位」とする。予測単位が分割されたパーティションは、予測単位、または予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含むことができる。

例えば、大きさ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ,２ＮｘＮ,Ｎｘ２Ｎ,ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位の内部に、複数の予測単位があるならば、それぞれの予測単位について、独立して符号化が行われ、符号化誤差が最も小さい予測モードが選択されもする。

また、映像符号化装置１００は、符号化単位と異なる大きさのデータ単位に基づいて、映像データを周波数変換することができる。

符号化単位の周波数変換のために、符号化単位より小さいか、あるいは同じサイズのデータ単位を基に周波数変換が行われる。例えば、変換のためのデータ単位は、イントラモードのデータ単位及びインターモードのデータ単位を含んでもよい。

以下、周波数変換の基礎になる処理単位を「変換単位」とする。変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位と大きさが同じであるサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、全て４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に設定され、現在符号化単位の高さ及び幅がそれぞれ四分され、全てで４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定される。例えば、変換階層的変換深度によって、上位変換深度の変換単位が、４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定される。

符号化単位と同様に、符号化単位内の変換単位も、再帰的に（recursively）さらに小サイズの領域に分割され、変換単位は、領域単位で独立して決定される。従って、符号化単位の残差（resudual）データが変換深度によって、ツリー構造による変換単位によって分割されもする。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位深度決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、符号化深度の符号化予測単位を予測単位パーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

本発明の一実施形態によって、最大符号化単位のツリー構造による符号化単位、及びパーティションを決定する方法は、図３ないし図１２を参照して後述する。

符号化単位決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して、深度別符号化単位の符号化誤差を測定する。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び符号化深度による符号化モード情報をビットストリームとして出力する。

符号化された映像データは、映像の残差データを符号化して獲得される。

符号化深度による符号化モード情報は、符号化深度、予測単位のパーティション類型に係わる情報、予測モード情報及び変換単位サイズ情報を含んでもよい。

符号化深度情報は、現在深度に対して符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度で分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないなら、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、符号化は、下位深度の符号化単位に分割された符号化単位に対して行われる。現在深度の１つの符号化単位には、少なくとも１つの下位深度の符号化単位が存在するために、符号化は、下位深度の各符号化単位に対して反復的に行われ、同じ深度の符号化単位に対して再帰的に符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることもあるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

従って、出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割された大きさの正方形のデータ単位である。代案としては、最小単位は、最大符号化単位に含まれるあらゆる符号化単位内、予測単位内及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、符号化単位別符号化情報と、予測単位別符号化情報とに分類されもする。符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ＳＰＳ（sequence parameter set）またはビットストリームのヘッダに挿入されてもよい。

映像符号化装置１００で、下位深度の符号化単位は、上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式で符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、従来のマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。従って、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する。しかし、本発明の一実施形態による映像符号化装置１００は、映像の大きさを考慮して、符号化単位の最大サイズを増加させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態による映像復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及び映像符号化装置１００を参照して説明したところと同一である。

受信部２１０は、ビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、各最大符号化単位別に、ツリー構造の符号化単位に係わる符号化された映像データを抽出し、抽出された映像データを獲得し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、受信された現在ピクチャの符号化単位の最大サイズに係わる情報を、現在ピクチャに係わるヘッダまたはＳＰＳから抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、ビットストリームをパージングし、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。言い換えれば、ビットストリームの映像データは、最大符号化単位に分割され、映像データ復号化部２３０は、各最大符号化単位の映像データを復号化する。

最大符号化単位別の符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

符号化情報抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係わる情報は、一実施形態による映像符号化装置１００のように、符号化端で、最大符号化単位別に、深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、映像復号化装置２００は、最小符号化誤差を発生させる符号化深度及び符号化モードによって、データを復号化して映像を復元することができる。

符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、当該予測単位及び当該最小単位のうち、所定データ単位に対して割り当てられているので、符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同じ符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、符号化情報抽出部で抽出された最大符号化単位別の符号化深度及び符号化モード情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれたツリー構造による符号化単位のうちでそれぞれの符号化単位ごとに、パーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び逆変換過程を含んでもよい。逆変換過程は、逆直交変換または逆整数変換の方法によって行われる。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別の逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって、逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用する現在最大符号化単位の少なくとも１つの符号化深度を決定することができる。もし分割情報が、現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

例えば、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされもする。

映像復号化装置２００は、符号化過程で最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データが復号化される。また、符号化単位の最大サイズは、解像度及び映像データの量を考慮して決定される。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図３ないし図１３を参照し、本発明の一実施形態によって、ツリー構造の符号化単位、予測単位及び変換単位を決定する方法について説明する。

図３は、本発明の一実施形態による符号化単位の概念について説明するための図面である。

符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４,６４ｘ３２,３２ｘ６４,３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割されもする。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、最大符号化単位の大きさが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。また、ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択されもする。

ビデオデータ３１０の最大深度が２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、さらに小さい符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示したものである。

一実施形態による映像符号化部４００は、前述のビデオ符号化装置１００の符号化深度決定部１２０で映像データを符号化する作業を含んで遂行する。言い換えれば、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位について、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残差値が生成され、生成された残差値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、再び残差値に復元され、復元された残差値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されもする。

本発明の一実施形態による映像符号化装置１００に適用するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて、映像符号化過程を処理する。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを考慮し、変換単位の大きさを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示したものである。

パージング部５１０は、ビットストリーム５０５から、符号化された映像データ、及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆量子化されたデータは、周波数逆変換部５４０を経て、空間領域の映像データとして復元される。

イントラ予測部５５０は、空間領域の映像データについて、イントラモードで符号化単位に係わるイントラ予測を行い、動き補償部５６０は、参照ピクチャ５８５を利用し、インターモードで符号化単位に係わる動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域の映像データは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されて出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理された映像データは、参照フレーム５８５として出力される。

本発明の一実施形態による映像復号化装置２００に適用するために、映像復号化装置５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０は、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて動作を遂行する。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードに基づいて動作を行い、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさに基づいて動作を遂行する。

図６は、本発明の一実施形態による深度別符号化単位及び予測パーティションを図示している。

一実施形態による映像符号化装置１００、及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されもする。

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる予測単位及びパーティションが図示されている。

符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割されもする。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されもする。

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されもする。

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されもする。

深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位である。符号化単位６５０の予測単位は、サイズ４ｘ４のパーティションだけに設定される。

一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含むデータに対して、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用し、それぞれ符号化されねばならない。

深度のうち現在深度によって符号化を行うために、符号化単位の階層構造６００の横軸に沿って、現在深度の符号化単位の予測単位ごとに符号化を行い、現在深度の最も小さい符号化誤差が選択されもする。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなるにつれて、それぞれの深度ごとに符号化を行って深度別最小符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択されもする。

図７は、本発明の一実施形態による、符号化単位７１０及び変換単位７２０の関係を図示している。

映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、あるいは同じサイズの符号化単位で映像を分割し、符号化したり復号化する。符号化過程中、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択されもする。

例えば、符号化単位７１０の大きさが６４ｘ６４サイズであるとき、３２ｘ３２，１６ｘ１６，８ｘ８、４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。

本発明の一実施形態による映像符号化装置１００の符号化情報出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の動き予測のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの動き予測モードを示す。例えば、予測モードに係わる情報８１０を介して、分割タイプに係わる情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで動き予測が行われているかが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つであってもよい。

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化いかんを示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

図９を参照すれば、深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的比率で分割されたパーティション９１２，９１４，９１６，９１８だけ例示されているが、前述のように、パーティションタイプは、これに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われねばならない。サイズ２Ｎ＿０ｘＮ＿０、サイズＮ＿０ｘＮ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションに対して行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０、Ｎ＿０ｘ２Ｎ＿０及びＮ＿０ｘＮ＿０のパーティションタイプ９１２，９１４，９１６，９１８による符号化誤差が比較され、パーティションタイプのうち最も小さい符号化誤差が決定される。もしパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、予測単位９１０は、それ以上下位深度に分割されない。

例えば、サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、動作９２０で深度０は、１に変更されてパーティションタイプ９１８を分割し、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

例えば、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さいならば、動作９５０で深度１は、深度２に変更されてパーティションタイプ９４９を分割し、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度による分割動作は、深度ｄ−１であるまで行われ、分割情報は、０からｄ−２までの深度に対して符号化される。例えば、動作９７０で、深度ｄ−２に対応する符号化単位が分割され、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われてこそ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さくても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであり、ｄ−１の最下位深度を有する最小符号化単位９８０は、それ以上下位深度に分割されないために、符号化単位９８０に対して分割情報は、設定されない。

データ単位９９９は、現在最大符号化単位に係わる最小単位であってもよい。一実施形態による最小単位は、最小符号化単位９８０を４分割して獲得された正方形のデータ単位であってもよい。かような反復的符号化過程を介して、ビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードを、符号化深度の符号化モードに設定することができる。

かような方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報だけ０に設定され、符号化深度を除外した深度別分割情報は、１に設定される。

映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度、及び予測単位に係わる情報を抽出し、符号化単位９００を復号化するのに利用することができる。映像復号化装置２００は、深度別分割情報を利用し、分割情報が０である深度を符号化深度に決定し、当該深度に係わる符号化モードに係わる情報を復号化に利用することができる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

図１０を参照すれば、符号化単位１０１０は、最大符号化単位に対して、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。図１１及び図１２を参照すれば、予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０で、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位１０１０が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０において、一部変換単位１０５２，１０５４の映像データについては、符号化単位に比べて、小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

単位ごとに再帰的に符号化が行われて最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、ビデオ符号化装置１００及びビデオ復号化装置２００で設定される一例を示している。

ビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されているか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位で、それ以上分割されない深度が符号化深度であるから、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が、分割された大きさの変換単位に設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称型パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位間で、それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測される場合、現在符号化単位に隣接する下位深度の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

しかし、本発明の他の実施形態は、それに限定されるものではないということを理解することができる。例えば、現在符号化単位が、周辺データ単位の符号化情報に基づいて予測される場合、現在符号化単位の周辺データ単位は、データ単位の符号化情報を利用して検索され、検索された周辺符号化単位は、現在符号化単位の予測のために参照される。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうちの１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称型パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１３を参照すれば、変換単位分割情報（ＴＵ size flag）は、０または１を有するが、変換単位分割情報（ＴＵ size flag）は、１ビットに限定されるものではなく、変換単位分割情報（ＴＵ size flag）が０から増加するにつれて、変換単位は、階層的に分割されてツリー構造を有することができる。

その場合、実際に利用される変換単位の大きさは、変換単位の最大サイズ及び最小サイズと共に、変換単位の変換単位分割情報（ＴＵ size flag）を利用して表現される。一実施形態によれば、符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報（ＴＵ size flag）を符号化することができる。最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報（ＴＵ size flag）を符号化した結果は、ＳＰＳに挿入される。一実施形態によれば、復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報（ＴＵ size flag）を利用し、ビデオを復号化することができる。

例えば、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、変換単位分割情報（ＴＵ size flag）が０であるとき、変換単位の大きさが３２ｘ３２、変換単位分割情報（ＴＵ size flag）が１であるとき、変換単位の大きさが１６ｘ１６、変換単位分割情報（ＴＵ size flag）が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例として、現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、変換単位分割情報（ＴＵ size flag）が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さい数ではないので、それ以上の変換単位分割情報が設定されない。

さらに他の例で、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報（ＴＵ size flag）は、０または１であって、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報（ＴＵ size flag）を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報（ＴＵ size flag）が０である場合の変換単位サイズを「RootＴｕSize」であると定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上、採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズである。従って、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」及び「ＭｉｎTransformSize」において小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。

一実施形態による最大変換単位サイズRootＴｕSizeは、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、下記数式（２）によって決定される。数式（２）で「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードが、予測モードがイントラモードであるならば、「RootＴｕSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意せねばならない。

以下、図４の本発明の一実施形態による映像符号化装置４００のエントロピ符号化部４５０、及び図５の映像復号化装置５００のエントロピ復号化部５２０で行われる残差ブロックの符号化過程及び復号化過程について具体的に説明する。以下の説明で、符号化単位は、映像の符号化段階で、現在符号化されるブロックを指す用語であり、復号化単位は、映像の復号化段階で、現在復号化されるブロックを指す用語である。符号化単位及び復号化単位という用語は、映像の符号化段階及び復号化段階のうち、いずれの段階で指すかという差であるのみ、符号化段階での符号化単位は、復号化段階での復号化単位と呼ばれもする。用語の統一性のために、特別の場合を除いては、符号化段階及び復号化段階で、同一に符号化単位に統一して呼ぶ。また、本発明の一実施形態による残差ブロックの符号化方法及び復号化方法及びその装置は、一般的な映像コーデックでの残差ブロックの符号化及び復号化にも適用されるということを本発明が属する技術分野で当業者であるならば、明細書を介して理解することができるであろう。

図１４Ａないし図１４Ｃは、本発明が属する技術分野と関連した技術分野で、変換残差ブロック（transformation residual block）を符号化する過程について説明するための参照図である。

図１４Ａを参照すれば、残差ブロックに対する周波数変換が行われ、変換残差ブロック１４１０が生成されれば、ジグザグスキャン順序によって、変換残差ブロック１４１０内の変換係数をスキャンしつつ、変換残差ブロック１４１０内の０ではない値を有する有効変換係数の位置を示す有効性マップ（significance map）及び有効変換係数のレベル情報が符号化される。例えば、変換残差ブロックの大きさが４ｘ４であるとき、図１４Ｂに図示されているような変換残差ブロック１４２０を符号化する過程について説明する。図１４Ｂで、Χと表示された位置の変換係数は、０ではない値を有する有効変換係数であると仮定する。かような場合、図１４Ｃに図示されているように、残差ブロック１４３０内の変換係数において、有効変換係数を１と表示し、０である変換係数は、そのまま０と表示するのがまさに有効性マップである。有効性マップは、所定のスキャン順序によってスキャニングされつつ、コンテクスト基盤二進算術符号化（context adaptive binary arithmetic coding）される。一例として、図１４Ｃに図示されているような有効性マップを、左側から右側、上側から下側の順序でスキャニングするラスタースキャニング（raster scanning）順序によって符号化するときには、「１１１１１１１１０１０１０００」の二進ストリングに該当する有効性マップをコンテクスト基盤符号化する。かような有効性マップが符号化された後、有効係数のレベル情報、すなわち、有効係数の符号（sign）及び絶対値（ａｂｓ）が符号化される。

かような関連技術分野での変換残差ブロックを符号化する方法は、８ｘ８サイズまたは４ｘ４サイズの比較的小サイズの変換残差ブロックの符号化には適するが、本発明の一実施形態による映像符号化装置のように、１６ｘ１６、３２ｘ３２、６４ｘ６４のような大サイズを有する変換残差ブロックを符号化するには適さない。なぜならば、大サイズを有する変換残差ブロックに対して、図１４Ａないし図１４Ｃを参照して説明したような関連技術によって、変換残差ブロック内のあらゆる変換係数をスキャニングして符号化する場合、有効性マップに対応する二進ストリングの長さが増大し、符号化効率が低下しうるためである。

従って、本発明の一実施形態による残差ブロックの符号化方法及びその装置は、変換残差ブロックを所定周波数帯域単位に分割し、分割された周波数帯域単位ごとに、０ではない有効変換係数が存在するか否かを示す周波数帯域単位別有効係数フラグを符号化する一方、周波数帯域単位別有効係数フラグが１の値を有する周波数帯域についてのみ有効変換係数情報、すなわち、有効性マップ及び有効係数のレベル情報を符号化することによって、さらに効率的な変換残差ブロックの符号化を可能にする。

図１５は、本発明の一実施形態による残差ブロックの符号化装置１５００の構成を示したブロック図である。図１５の残差ブロック符号化装置１５００は、図４のエントロピ符号化部４５０に対応するか、あるいは内部に含まれもする。

図１５を参照すれば、残差ブロック符号化装置１５００は、周波数帯域分割部１５１０、有効係数フラグ生成部１５２０及び有効係数符号化部１５３０を含む。

周波数帯域分割部１５１０は、変換残差ブロックを所定周波数帯域単位に分割する。前述の図１４Ａを再び参照すれば、変換残差ブロック１４１０は、左上側に位置した変換係数であるほど、低周波数成分の変換係数に該当し、右下側に行くほど、高周波数成分の変換係数に該当する。一般的に、変換残差ブロック１４１０の変換係数は、低周波数成分側に集まっており、高周波数成分の変換係数は、０である値が多い。すなわち、高周波数成分の変換係数のうち、０ではない値を有する有効変換係数は、まれに（sparse）存在する。特に、本発明の一実施形態による映像符号化装置４００のように、従来４ｘ４，８ｘ８サイズの変換単位より大サイズを有する１６ｘ１６、３２ｘ３２、６４ｘ６４及びそれ以上の大きさの変換単位で周波数変換を行い、生成された変換残差の場合は、高周波数成分の有効変換係数の分布は、さらにまれになる。従って、周波数帯域分割部１５１０は、かような変換残差ブロック内に存在する変換係数の周波数帯域による分布特性を考慮し、変換残差ブロックを、所定周波数帯域単位に分割する。

図１６Ａないし図１６Ｊは、本発明によって、変換残差ブロックを所定周波数帯域単位に分割する実施形態を示した図である。

図１６Ａを参照すれば、周波数帯域分割部１５１０は、低周波数帯域から水平周波数Ｈ１及び垂直周波数Ｖ１まで、所定周波数間隔で変換残差ブロックを分割し、周波数帯域単位１６１１ないし１６１４を生成する。図１６Ａでは、周波数帯域単位１６１１ないし１６１４の横辺と縦辺とが同じ長さを有する場合を図示したが、これに限定されるものではなく、横辺と縦辺との長さは、互いに異なるように設定されてもよい。もし水平周波数Ｈ１から最大水平周波数までの残った周波数帯域の長さが、周波数帯域単位１６１１ないし１６１４の横辺の長さに該当する周波数間隔より小さい場合、または垂直周波数Ｖ１から最大垂直周波数までの残った周波数帯域の長さが、周波数帯域単位１６１１ないし１６１４の縦辺の長さに該当する周波数間隔より小さい場合には、周波数帯域分割部１５１０は、それ以上変換残差ブロックを分割せずに、高周波数帯域成分に該当する１つの周波数帯域単位１６１５を生成する。一般的に、有効変換係数は、低周波数成分に該当する周波数帯域単位１６１１ないし１６１４に集中的に分布し、高周波数成分の有効変換係数の分布は、希薄である。従って、所定周波数間隔で変換残差ブロックを分割することによって生成された周波数帯域単位１６１１ないし１６１４以外の残った高周波数帯域成分全体を、１つの周波数帯域単位１６１５に生成しても、周波数帯域単位１６１５内の変換係数を符号化するときのオーバーヘッドは大きく増加しない。

また、図１６Ｂに図示されているように、周波数帯域分割部１５１０は、前述の図１６Ａと同様に、低周波数帯域から水平周波数Ｈ２及び垂直周波数Ｖ２までの変換残差ブロック１６２０を分割し、周波数帯域単位１６２１ないし１６２４を生成し、残りの高周波数帯域成分の変換残差ブロックを、水平周波数Ｈ２及び垂直周波数Ｖ２を基準に分割し、周波数帯域単位１６２５，１６２６，１６２７を生成することができる。

また、図１６Ｃに図示されているように、周波数帯域分割部１５１０は、前述の図１６Ａと同様に、低周波数帯域から水平周波数Ｈ３及び垂直周波数Ｖ３までの変換残差ブロック１６３０を分割し、周波数帯域単位１６３１ないし１６３４を生成し、残りの高周波数帯域成分の変換残差ブロックを、垂直周波数Ｖ３を基準に二分割することにより、高周波数成分の周波数帯域単位１６３５及び１６３６を生成することができる。

また、図１６Ｄに図示されているように、周波数帯域分割部１５１０は、前述の図１６Ａと同様に、低周波数帯域から水平周波数Ｈ４及び垂直周波数Ｖ４までの変換残差ブロック１６４０を分割し、周波数帯域単位１６４１ないし１６４４を生成し、残りの高周波数帯域成分の変換残差ブロックを、水平周波数Ｈ４を基準に二分割することにより、高周波数成分の周波数帯域単位１６４５及び１６４６を生成することができる。

前述のように、有効変換係数の分布は、低周波数帯域に集中し、高周波数帯域に行くほど希薄になる。従って、かような有効変換係数の分布特性を考慮し、図１６Ｅに図示されているように、周波数帯域分割部１５１０は、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズに比べて小さくなるように、変換残差ブロック１６５０を分割する。言い換えれば、周波数帯域分割部１５１０は、低周波数帯域に集中的に分布する有効変換係数をさらに精密に符号化することができるように、低周波数帯域はさらに細密に分割し、高周波数帯域は、相対的に大きく分割する。例えば、図１６Ｅに図示されているように、周波数帯域分割部１５１０は、所定の水平周波数Ｈ５及び垂直周波数Ｖ５と、水平周波数Ｈ５の倍数より大きい値を有する水平周波数Ｈ６、及び垂直周波数Ｖ５の倍数より大きい値を有する垂直周波数Ｖ６を基準に、変換残差ブロック１６５０を分割することによって、周波数帯域分割単位１６５１，１６５２，１６５３，１６５４，１６５５，１６５６，１６５７を生成することができる。すなわち、周波数帯域分割単位１６５１，１６５２，１６５３，１６５４，１６５５，１６５６，１６５７の大きさをそれぞれＡ１６５１，Ａ１６５２，Ａ１６５３，Ａ１６５４，Ａ１６５５，Ａ１６５６，Ａ１６５７であるとすれば、Ａ１６５１が最小サイズを有し、Ａ１６５７が最大サイズを有するように分割する。

また、図１６Ｆに図示されているように、周波数帯域分割部１５１０は、変換残差ブロック１６６０を同一サイズの周波数帯域単位１６６１に分割することができる。

また、図１６Ｇに図示されているように、周波数帯域分割部１５１０は、変換残差ブロック１６７０を４等分し、４等分された周波数帯域単位のうち、最も小さい低周波数帯域単位１６７１をさらに４等分することにより、周波数帯域単位を生成することができる。周波数帯域分割部１５１０は、低周波数帯域単位１６７１を４等分した周波数帯域単位のうち、最も小さい低周波数帯域単位１６７２をさらに４等分することができる。かような分割過程は、４等分された周波数帯域単位の大きさが所定の大きさ以下になるまで反復される。

また、図１６Ｈに図示されているように、周波数帯域分割部１５１０は、低周波数から水平周波数Ｈ７及び垂直周波数Ｖ７までの低周波数成分の周波数帯域単位１６８１を生成し、変換残差ブロック１６８０の残りの高周波数成分を、対角線で分離し、周波数帯域単位１６８２，１６８３を生成することができる。

また、図１６Ｉ及び図１６Ｊに図示されているように、周波数帯域分割部１５１０は、所定値を有する水平周波数及び垂直周波数を連結し、変換残差ブロック１６９０，１６９５を分割することができる。図１６Ｉの場合は、変換残差ブロック１６９０について、同じ周波数間隔を有する水平周波数及び垂直周波数を連結した場合を図示した場合であり、図１６Ｊの場合は、高周波数側に行くほど、周波数間隔が増大するように、すなわち、ａ１＜ａ２＜ａ３＜ａ４及びｂ１＜ｂ２＜ｂ３＜ｂ４の関係を満足するａ１及びｂ１、ａ２及びｂ２、ａ３及びｂ３、ａ４及びとｂ４を連結し、変換残差ブロック１６９５を分割した場合である。

また、周波数帯域分割部１５１０は、図１６Ａないし図１６Ｊに図示されているように、あらかじめ設定された分割形態を利用する代わりに、変換残差ブロックを構成する有効変換係数の分布特性、または各周波数帯域ごとに存在する有効変換係数の個数を利用し、変換残差ブロックの映像特性を判断し、判断された変換残差ブロックの映像特性を利用し、各周波数帯域別に変換残差ブロックを分割する周波数単位の大きさを決定することができる。例えば、変換残差ブロック内の有効変換係数が、水平周波数Ｈ８及び垂直周波数Ｖ８より小さい周波数帯域内にだけ存在し、水平周波数Ｈ８及び垂直周波数Ｖ８より大きい周波数帯域内には、有効変換係数が存在しないと仮定すれば、周波数帯域分割部１５１０は、低周波数帯域から水平周波数Ｈ８及び垂直周波数Ｖ８までの変換残差ブロック全体を１つの周波数帯域単位に設定するか、あるいは同一大きさの周波数帯域単位に分割し、残りの水平周波数Ｈ８及び垂直周波数Ｖ８より大きい周波数帯域を、１つの周波数帯域単位に設定してもよい。

前述の図１６Ａないし図１６Ｊに図示された変換残差ブロックを、周波数帯域単位に分割する実施形態に限定されるものではなく、本発明が属する技術分野で当業者であるならば、多様な形態で変換残差ブロックを分割することができるということを、本明細書に記載された内容を介して理解することができるであろう。

一方、周波数帯域分割部１５１０で、変換残差ブロックを分割する形態は、符号化側及び復号化側で同一に設定するか、あるいは、図１６Ａないし図１６Ｊに図示されているような多様な分割形態ごとに、所定のインデックスを付与した後、符号化側での変換残差ブロックの符号化時に利用された分割情報に係わる分割インデックスを、符号化されたビットストリームに付加することができる。例えば、分割インデックス（ｄｉｖ＿ｉｎｄｅｘ）０〜９までの整数値が、それぞれ図１６Ａないし図１６Ｊに図示された各分割形態を示すと仮定し、現在変換残差ブロックの符号化時に利用された分割形態が、図１６Ｆに図示されているようなｄｉｖ＿ｉｎｄｅｘ＝５の値を有する場合であるならば、かような分割インデックス情報を、現在変換残差ブロックの符号化情報に付加することができる。

再び図１５を参照すれば、周波数帯域分割部１５１０によって、変換残差ブロックを所定周波数帯域単位に分割した後、有効係数フラグ生成部１５２０は、各周波数帯域単位ごとに有効変換係数が存在するか否かを示す有効係数フラグを生成する。このとき、有効係数フラグ生成部１５２０は、最も小さい低周波数帯域単位については、別途に有効係数フラグを生成しないことが望ましい。例えば、図１６Ａに図示されているように、変換残差１６１０を分割した場合、有効係数フラグ生成部１５２０は、最も小さい低周波数帯域単位１６１１を除外した残りの周波数帯域単位１６１２，１６１３，１６１４，１６１５ごとに有効変換係数が存在するか否かを示す有効係数フラグを生成する。周波数帯域単位１６１２，１６１３，１６１４，１６１５ごとに、有効係数フラグをそれぞれＣｏｅｆｆ＿exist＿１６１２、Ｃｏｅｆｆ＿exist＿１６１３、Ｃｏｅｆｆ＿exist＿１６１４、Ｃｏｅｆｆ＿exist＿１６１５とし、周波数帯域単位１６１２，１６１３，１６１４，１６１５において、周波数帯域単位１６１２，１６１３にだけ有効係数が存在すると仮定すれば、有効係数フラグ生成部１５２０は、Ｃｏｅｆｆ＿exist＿１６１２＝１、Ｃｏｅｆｆ＿exist＿１６１３＝１、Ｃｏｅｆｆ＿exist＿１６１４＝０、Ｃｏｅｆｆ＿exist＿１６１５＝０のように、各周波数帯域単位の有効係数フラグを生成する。前述のように、最も小さい低周波数帯域単位１６１１の場合、一般的に、有効変換係数が存在する可能性が非常に高いために、最も小さい低周波数帯域単位１６１１については、別途に有効変換係数の存在を示す有効係数フラグを生成しないことが望ましい。また、最も小さい低周波数帯域単位１６１１に有効変換係数の存在を示す有効係数フラグを別途に生成せずに、従来残差ブロック内に有効変換係数が存在するか否かを示すcoded＿block＿flagを利用し、最も小さい低周波数帯域単位１６１１での有効変換係数の存在いかんを示すようにすることができる。前述の有効係数フラグ生成過程は、図１６Ａに図示された分割形態に限定されるものではなく、図１６Ｂないし図１６Ｊに図示された他の分割形態にも同一に適用されてもよい。

一方、変換過程及び逆変換過程は、各周波数帯域単位で、互いに異なる変換及び逆変換方式を利用して独立して行われる。また、変換過程及び逆変換過程は、ただ有効係数フラグが１の値を有する周波数帯域単位についてのみ行われ、有効係数フラグが０の値を有する周波数帯域単位については、スキップされる。

再び図１５を参照すれば、有効係数符号化部１５３０は、有効係数フラグ生成部１５２０によって生成された有効係数フラグが１の値を有する、すなわち、有効変換係数が存在する周波数帯域単位内に存在する有効変換係数の位置を示す有効性マップ及び有効変換係数のレベル情報を符号化する。

図１７Ａ及び図１７Ｂは、本発明の一実施形態による有効変換係数の符号化過程について説明するための参照図である。図１７Ａ及び図１７Ｂでは、変換残差ブロックを４等分し、低周波数帯域をさらに４等分して周波数帯域単位を生成する前述の図１６Ｅに対応する分割形態を例示しているが、これに限定されるものではなく、前述の図１６Ａないし図１６Ｊに図示された他の分割形態の周波数帯域単位にも、以下説明する有効変換係数の符号化過程は、同一に適用される。

有効係数符号化部１５３０は、変換残差ブロック全体をスキャニングして有効変換係数を符号化したり、各周波数帯域単位ごとに、独立してスキャニングを行い周波数帯域単位で有効変換係数を符号化することができる。具体的には、図１７Ａを参照すれば、有効係数符号化部１５３０は、変換残差ブロック１７１０全体を所定のスキャニング順序、例えば、図示されているように、ラスタースキャニング順序によってスキャニングしつつ、変換残差ブロック１７１０内に存在する有効変換係数の位置を示す有効性マップ及び各有効変換係数の大きさ並びに符号情報を符号化することができる。その場合、有効係数フラグが０の値を有する周波数帯域単位、すなわち、有効変換係数が存在しない周波数帯域単位のスキャニング過程は、スキップされる。

また、図１７Ｂを参照すれば、有効係数符号化部１５３０は、周波数帯域分割部１５１０で分割された変換残差ブロック１７２０の分割形態によって、各周波数帯域単位ごとに、有効性マップ及び有効変換係数のレベル情報を符号化することができる。

図１８Ａ及び図１８Ｂは、本発明の一実施形態による残差ブロックの符号化過程についてさらに具体的に説明するための参照図である。図１８Ａ及び図１８Ｂで、Χで表示された変換係数は、有効変換係数であり、何の表示のない部分は、０の値を有する変換係数であると仮定する。

図１８Ａを参照すれば、周波数帯域分割部１５１０は、図１６Ａないし図１６Ｊに図示されているような分割形態のうち１つの分割形態によって、変換残差ブロック１８１０を分割する。図１８Ａでは、図１６Ｅに対応する分割形態を例示したが、これに限定されるものではなく、多様な分割形態にも、以下説明する変換残差ブロックの符号化過程が適用されるのである。有効係数フラグ生成部１５２０は、有効変換係数が存在する周波数帯域単位１８１１，１８１２，１８１３の有効係数フラグをそれぞれ１に設定し、残りの有効変換係数が存在しない周波数帯域単位１８１４，１８１５，１８１６，１８１７の有効係数フラグをそれぞれ０に設定する。有効係数符号化部１５３０は、変換残差ブロック１８１０全体をスキャニングしつつ、有効変換係数の位置を示す有効性マップ及び各有効変換係数のレベル情報を符号化する。前述のように、有効性マップは、各スキャン・インデックスによる変換係数が有効変換係数であるか、あるいは０であるかを示す。有効変換係数のレベル情報は、有効変換係数の符号及び絶対値情報を含む。例えば、有効変換係数が存在する周波数帯域単位１８１１，１８１２，１８１３の有効性マップは、図１８Ａに図示されているようなラスタースキャニング順序によってスキャニングされるとき、「１０００１０００１０１０１１１０１００１００１０００１０００１」のような二進ストリング値を有する。

また、図１８Ａに図示されているように、変換残差ブロック１８１０全体をスキャニングしつつ、有効変換係数の情報を符号化する場合、有効変換係数が最後の有効変換係数であるか否かを示すＥＯＢ（End−Of−Block）フラグは、全体変換残差ブロック１８１０全体に対して設定されるか、あるいは各周波数帯域単位で設定される。全体変換残差１８１０に対してＥＯＢフラグを設定する場合、図１８Ａに図示された変換係数において、スキャニング順序上、最後の有効変換係数である、図面符号１８０２に対応する変換係数のみがＥＯＢフラグが１の値を有する。すなわち、前述のように、図１８Ａによる有効性マップは、「１０００１０００１０１０１１１０１００１００１０００１０００１」のような値を有するが、かような有効性マップに対応するＥＯＢフラグは、「１０００１０００１０１０１１１０１００１００１０００１０００１」に含まれた全１２個の有効変換係数において、最後の有効変換係数のみに１の値が設定されるので、「０００００００００００１」のような値を有する。すなわち、図１８Ａの有効性マップに対応するＥＯＢフラグを表現するために、全１２ビットが必要である。

本発明の他の実施形態によれば、ＥＯＢフラグを表現するために必要なビット数を減少させるために、有効係数符号化部１５３０は、各周波数帯域単位別に、最後の有効変換係数が存在するか否かを示すフラグ（Ｔlast）を定義し、各周波数帯域単位別に最後の有効変換係数が存在する場合は、Ｔlastを１に、最後の有効変換係数が存在しない場合は、Ｔlastを０に設定した後、Ｔlastが１である周波数帯域単位についてのみＥＯＢフラグを設定することによって、全体変換残差ブロック内で、有効変換係数の位置と、最後の有効変換係数とを識別するために必要なビット数を減少させることができる。具体的には、図１８Ａを参照すれば、有効係数符号化部１５３０は、有効変換係数が存在する周波数帯域単位１８１１，１８１２，１８１３それぞれについて、最後の有効変換係数が存在するか否かを確認し、最後の有効変換係数が存在する周波数帯域単位１８１２には、Ｔlast値を１に設定し、残りの周波数帯域単位１８１１，１８１３には、Ｔlast値を０に設定する。初めてスキャニングされる変換係数の順序を基準に、Ｔlastフラグの各ビットが、各周波数帯域単位１８１１，１８１２，１８１３に最後の有効変換係数が存在するか否かを示すと仮定すれば、ＴlastのＭＳＢ（most significant bit）は、最も低い周波数帯域単位に、最後の有効変換係数が存在するか否かを示し、ＬＳＢ（least significant bit）は、周波数帯域単位１８１２に、最後の有効変換係数が存在するか否かを示す。すなわち、Ｔlastは、周波数帯域単位１８１１について「０」、周波数帯域単位１８１３について「０」及び周波数帯域単位（１８１２）について「１」の値を有するので、全体的に「００１」のビット値が設定される。このとき一般的に、変換残差ブロック内で、有効変換係数は、最も低い周波数帯域１８１１で終わる場合が多いために、最も低い周波数帯域１８１１について、別途のＴlast値を割り当てない。すなわち、スキャニング順序によってスキャニングされる周波数帯域単位のうち、最も低い周波数帯域１８１１を除き、残りの周波数帯域１８１２，１８１３についてのみ、Ｔlast値が設定される。この場合、Ｔlastフラグで、「０１」の２ビット値が設定される。「０１」のＭＳＢである「０」は、周波数帯域単位１８１３に全体変換残差ブロックの最後の有効変換係数が存在しないということを示し、「０１」のＬＳＢである「１」は、周波数帯域単位１８１２に全体変換残差ブロックの最後の有効変換係数が存在するということを示す。もし全体変換残差ブロックの最後の有効変換係数が、最も低い周波数帯域単位１８１１に存在する場合、Ｔlast値は、「００」の値を有するので、このように、Ｔlastのあらゆるビットが０である場合には、最も低い周波数帯域単位１８１１に、全体変換残差ブロックの最後の変換係数が存在するということを識別することができる。

次に、有効係数符号化部１５３０は、Ｔlastが１である周波数帯域単位、すなわち、全体変換残差ブロックの最後の有効変換係数が存在する周波数帯域単位についてのみＥＯＢフラグを設定する。図１８Ａを参照すれば、有効係数符号化部１５３０は、Ｔlastが１である周波数帯域単位１８１２に存在する各有効変換係数についてのみＥＯＢフラグを設定する。周波数帯域単位１８１２には、全４個の有効変換係数が存在するので、この場合、ＥＯＢフラグは、「０００１」の４ビットの値を有する。本発明の他の実施形態によれば、Ｔlast値として２〜３ビット値が設定され、ＥＯＢフラグとして４ビット値が設定され、全体的に６〜７ビットの値が全体変換残差ブロック内で、有効変換係数の位置と、最後の有効変換係数とを識別するために使われる。従って、前述の本発明の一実施形態によって、「０００００００００００１」のように、全１２ビットを利用してＥＯＢフラグを設定する場合に比べて、本発明の他の実施形態によれば、５〜６ビットを節約することができる。

本発明のさらに他の実施形態として、各周波数帯域単位ごとにＥＯＢフラグを設定する場合であるならば、周波数帯域単位１８１１内の図面符号１８０１に該当する変換係数、周波数帯域単位１８１２内の図面符号１８０２に該当する変換係数、周波数帯域単位１８１３内の図面符号１８０３に該当する変換係数のＥＯＢフラグが１に設定される。有効変換係数が存在しない周波数帯域単位１８１４，１８１５，１８１６，１８１７については、ＥＯＢフラグが設定される必要がない。このように、有効変換係数が存在する各周波数帯域単位ごとにＥＯＢフラグを設定する場合、所定周波数帯域単位での有効変換係数のスキャニングが完了した後、すぐに次の周波数帯域単位の有効変換係数のスキャニングが開始される。例えば、周波数帯域単位１８１３の最後の有効変換係数１８０３のスキャニングが完了した後、周波数帯域単位１８０２内に存在する変換係数のスキャニングが開始される。図１８Ｂは、各周波数帯域単位ごとに独立して、有効変換係数情報を符号化する場合を図示したものである。有効係数符号化部１５３０は、変換残差ブロック１８２０の各周波数帯域単位を独立してスキャニングしつつ、有効変換係数の位置を示す有効性マップ及び各有効変換係数のレベル情報を符号化する。例えば、周波数帯域単位１８２１の有効性マップは、図１８Ｂに図示されているようなラスタースキャニング順序によってスキャニングされるとき、「１０００１０００１００１１」のような二進ストリング値を有する。また、有効係数符号化部１５３０は、周波数帯域単位１８２１内の有効変換係数のうち、最後の有効変換係数に該当する図面符号１８３１の有効変換係数のＥＯＢフラグを１に設定する。同様に、有効係数符号化部１５３０は、周波数帯域単位１８２２の有効性マップとして、「１０１０１０００１」のような二進ストリング値を生成する。また、有効係数符号化部１５３０は、周波数帯域単位１８２２内の有効変換係数のうち、図面符号１８３２の有効変換係数のＥＯＢフラグを１に設定する。同様に、有効係数符号化部１５３０は、周波数帯域単位１８２３の有効性マップとして、「１１００１」のような二進ストリング値を生成し、図面符号１８３３の有効変換係数のＥＯＢフラグを１に設定する。

一方、有効係数符号化部１５３０は、各周波数帯域単位の最後の有効変換係数１８３１，１８３２，１８３３が、当該周波数帯域単位の最後の有効変換係数であることを示すＥＯＢフラグ以外に、全体変換残差ブロック１８２０において、最後の有効変換係数であるか否か示すフラグ（End＿Of＿WholeBlock）を別途に符号化することができる。図１８Ｂの場合、図面符号１８２１，１８２２，１８２３，１８２４，１８２５，１８２６，１８２７の順序に、周波数帯域単位が独立してスキャニングされるとするとき、有効変換係数１８３３は、周波数帯域単位１８２３の最後の有効変換係数であると同時に、全体変換残差ブロック１８２０の最後の有効変換係数となる。従って、有効変換係数１８３３のＥＯＢフラグ及びEnd＿Of＿WholeBlockフラグは、いずれも１の値を有する。周波数帯域単位１８２１，１８２２の最後の有効変換係数１８３１，１８３２は、ＥＯＢフラグは、１の値を有するが、End＿Of＿WholeBlockフラグは、０の値を有する。

このように、各周波数帯域単位別に、最後の有効変換係数について、ＥＯＢフラグ及びEnd＿Of＿WholeBlockフラグを設定する場合、復号化時に、まず前述の有効係数フラグを利用して、当該周波数帯域単位に有効変換係数が存在するか否かを判断することによって、有効係数フラグが０である周波数帯域単位のスキャニングは、スキップされる。また、有効係数フラグが１である周波数帯域単位、すなわち、有効変換係数が存在する周波数帯域単位内の変換係数をスキャニングするとき、ＥＯＢフラグが１である変換係数までスキャニングされれば、次の周波数帯域単位のスキャニングを開始することができる。もしＥＯＢフラグが１でありつつ、End＿Of＿WholeBlockフラグも１である有効変換係数がスキャニングされれば、全体変換残差ブロックの有効変換係数のスキャニングが完了したものであるので、当該変換残差ブロックのスキャニング過程を終了する。

図１９Ａ及び図１９Ｂは、有効係数符号化部１５３０によって生成された変換残差ブロックの符号化情報の実施形態を示した参照図である。

図１９Ａを参照すれば、有効係数符号化部１５３０は、各周波数帯域別に生成された有効性マップ及び有効係数フラグ情報を順次に符号化することができる。第１周波数帯域を、変換残差ブロックの最も小さい周波数帯域であるとするとき、図示されているように、第１周波数帯域については、第１周波数帯域の有効性マップ１９１１情報だけ符号化され、第１周波数帯域に有効変換係数が存在するか否かを示す第１周波数帯域フラグの符号化は、別途に行われない。また、図１９Ｂを参照すれば、各周波数帯域等の有効係数フラグ１９２１をまず符号化し、各周波数帯域の有効性マップ１９２５は、以後に符号化することもできる。

図２０は、本発明の一実施形態による残差ブロックの符号化方法を示したフローチャートである。図２０を参照すれば、段階２０１０で、イントラ予測部４１０または動き補償部４２５によるインター予測またはイントラ予測を介して、予測ブロックを生成する。

段階２０２０で、減算部によって、予測ブロックと現在ブロックとの差値である残差ブロックを生成する。

段階２０３０で、周波数変換部４３０は、残差ブロックを周波数領域に変換し、変換残差ブロックを生成する。一例として、ＤＣＴ（discrete cosine transform）を介して、残差ブロックを周波数領域に変換することができる。

段階２０４０で、周波数帯域分割部１５１０は、変換残差ブロックを所定周波数帯域単位に分割する。前述のように、周波数帯域分割部１５１０は、図１６Ａないし図１６Ｊに例示されたような多様な形態で変換残差ブロックを分割することができる。具体的には、周波数帯域分割部１５１０は、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように変換残差ブロックを分割したり、あるいは変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分する過程を反復することによって、変換残差ブロックを分割したり、あるいは同一サイズの周波数帯域単位で変換残差ブロックを分割したり、同じ値を有する水平周波数及び垂直周波数を連結して変換残差ブロックを分割したり、あるいは変換残差ブロックを構成する変換係数を利用して判断された変換残差ブロックの映像特性を利用し、変換残差ブロックの周波数帯域別に分割する大きさを決定し、決定された周波数帯域別分割サイズによって変換残差ブロックを分割することができる。

段階２０５０で、有効係数フラグ生成部１５２０は、分割された周波数帯域単位ごとに、０ではない有効変換係数が存在するか否かを示す周波数帯域単位別有効係数フラグを生成する。かような有効係数フラグは、変換残差ブロックの分割された周波数帯域単位のうち、最も小さい周波数帯域単位については、別途に生成されないことが望ましい。また、有効係数符号化部１５３０は、有効係数フラグが０ではない、すなわち、有効変換係数が含まれた周波数帯域単位について、図１７Ａ、図１７Ｂ、図１８Ａ及び図１８Ｂを参照して説明したように、全体変換残差ブロックを所定のスキャニング順序によってスキャニングしたり、あるいは各周波数帯域単位別に独立してスキャニングを行いつつ、有効変換係数の位置を示す有効性マップ及び有効変換係数のレベル情報を符号化する。

前述の本発明の一実施形態による残差ブロックの符号化方法及びその装置によれば、１６ｘ１６以上の大サイズを有する変換残差ブロックを周波数帯域単位に分割して処理することによって、変換残差ブロック内の有効変換係数の分布特性によって、さらに効率的に有効変換係数情報を符号化することができる。すなわち、本発明によれば、大サイズの変換残差ブロックを周波数帯域単位に分割し、分割された周波数帯域単位別に有効変換係数の存在いかんを示す有効係数フラグを生成することによって、変換残差ブロック内に有効変換係数が存在しない周波数帯域のスキャニング過程をスキップさせ、また有効変換係数の符号化に必要なビット発生量を減少させることができる。

図２１は、本発明の一実施形態による残差ブロックの復号化装置を示したブロック図である。本発明の一実施形態による残差ブロックの復号化装置２１００は、図５のエントロピ復号化部５２０に対応するか、あるいは内部に含まれる。

図２１を参照すれば、残差ブロックの復号化装置２１００は、周波数帯域分割部２１１０、有効周波数帯域判断部２１２０及び有効係数復号化部２１３０を含む。

周波数帯域分割部２１１０は、変換残差ブロックを所定周波数帯域単位に分割する。具体的には、周波数帯域分割部２１１０は、前述の図１６Ａないし図１６Ｊに例示されたように、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように、変換残差ブロックを分割したり、あるいは変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分する過程を反復することによって、変換残差ブロックを分割したり、あるいは同一サイズの周波数帯域単位で変換残差ブロックを分割したり、あるいは同じ値を有する水平周波数及び垂直周波数を連結して変換残差ブロックを分割したり、あるいは変換残差ブロックを構成する変換係数を利用して判断された変換残差ブロックの映像特性を利用して、変換残差ブロックの周波数帯域別に分割する大きさを決定し、決定された周波数帯域別分割サイズによって変換残差ブロックを分割することができる。多様な分割形態のうち、いかなる形態で変換残差ブロックを分割するかは、あらかじめ符号化装置及び復号化装置で決定された形態によるか、あるいは多様な分割形態ごとに所定の分割インデックスを設定し、符号化時に、現在変換残差ブロックの分割に利用された分割インデックス情報をビットストリームに付加すれば、周波数帯域分割部２１１０で、ビットストリームに含まれた分割インデックス情報から、現在変換残差ブロックをいかなる形態に分割したかを決定することもできる。

有効周波数帯域判断部２１２０は、ビットストリームから、変換残差ブロックを分割した周波数帯域単位別に、有効変換係数が存在するか否かを示す有効係数フラグを抽出する。かような有効係数フラグを利用し、有効周波数帯域判断部２１２０は、変換残差ブロックを分割した周波数帯域単位のうち、有効変換係数が存在する周波数帯域単位を判断することができる。例えば、符号化された変換残差ブロックが、前述の図１８Ｂのようであると仮定すれば、図面符号１８２１，１８２２，１８２３で表示された周波数帯域単位だけ有効係数フラグが１の値を有し、図面符号１８２４，１８２５，１８２６，１８２７で表示された周波数帯域単位は、有効係数フラグが０の値を有するので、有効周波数帯域判断部２１２０は、抽出された周波数帯域別有効係数フラグから、有効変換係数が存在する周波数帯域単位を判断される。

有効係数復号化部２１３０は、有効周波数帯域判断部２１２０によって、有効変換係数が存在すると判断された周波数帯域単位内の有効変換係数を復号化する。具体的には、有効係数復号化部２１３０は、ビットストリームから、有効変換係数の位置を示す有効性マップ及び有効変換係数のレベル情報を抽出する。そして、有効係数復号化部２１３０は、前述の図１７Ａ及び図１７Ｂに図示されているように、全体変換残差ブロックをスキャニングしたり、あるいは分割された周波数帯域単位ごとに独立した所定のスキャニング順序によって各周波数帯域単位をスキャニングしつつ抽出された有効性マップ情報を利用して、変換残差ブロック内の有効変換係数の位置を判断し、レベル情報を利用して有効変換係数の値を復元する。

図２２は、本発明の一実施形態による残差ブロックの復号化方法を示したフローチャートである。

段階２２１０で、有効周波数帯域判断部２１２０は、符号化されたビットストリームから、現在ブロックの変換残差ブロックを分割した所定周波数帯域単位別に、有効変換係数が存在するか否かを示す有効係数フラグを抽出する。

段階２２２０で、周波数帯域分割部２１１０は、変換残差ブロックを所定周波数帯域単位に分割する。周波数帯域分割部２１１０は、前述の図１６Ａないし図１６Ｊに例示されたように、低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように変換残差ブロックを分割したり、あるいは変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分する過程を反復することによって変換残差ブロックを分割したり、あるいは同一サイズの周波数帯域単位で変換残差ブロックを分割したり、あるいは同じ値を有する水平周波数及び垂直周波数を連結して変換残差ブロックを分割したり、あるいは変換残差ブロックを構成する変換係数を利用して判断された変換残差ブロックの映像特性を利用して変換残差ブロックの周波数帯域別に分割する大きさを決定し、決定された周波数帯域別分割サイズによって変換残差ブロックを分割する。かような分割形態は、前述のように符号化側と同一に、あらかじめ決定された形態によるか、あるいはビットストリームに別途に付加された分割インデックス情報を利用して決定される。段階２２１０及び段階２２２０の遂行順序は、変更されてもよい。

段階２２３０で、有効周波数帯域判断部２１１０は、抽出された有効係数フラグを利用し、分割された周波数帯域単位のうち、有効変換係数が存在する周波数帯域単位を判断する。有効係数復号化部２１３０は、有効係数が存在すると判断された周波数帯域単位に係わる有効性マップ及び有効変換係数のレベル情報を利用し、有効変換係数を復元する。

本発明による映像の符号化、復号化方法はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

以下、本願により教示される手段を例示的に列挙する。

（付記１）
残差ブロックの復号化方法において、
符号化されたビットストリームから、現在ブロックの変換残差ブロックを分割した所定周波数帯域単位別に、有効変換係数が存在するか否かを示す有効係数フラグを抽出する段階と、
前記変換残差ブロックを所定周波数帯域単位に分割する段階と、
前記有効係数フラグを利用し、前記変換残差ブロックを分割した周波数帯域単位のうち、有効変換係数が存在する周波数帯域単位を判断する段階と、を含むことを特徴とする残差ブロックの復号化方法。

（付記２）
前記変換残差ブロックを所定周波数帯域単位に分割する段階は、
低周波数帯域の分割された単位サイズが、高周波数帯域の分割された単位サイズより小さくなるように、前記変換残差ブロックを分割することを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記３）
前記変換残差ブロックを所定周波数帯域単位に分割する段階は、
前記変換残差ブロックを４等分し、４等分された変換残差ブロックのうち、最も低い周波数帯域をさらに４等分することを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記４）
前記変換残差ブロックを所定周波数帯域単位に分割する段階は、
同一サイズの周波数帯域単位に、前記変換残差ブロックを分割することを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記５）
前記変換残差ブロックを所定周波数帯域単位に分割する段階は、
所定間隔で、同じ値を有する水平周波数及び垂直周波数を連結し、前記変換残差ブロックを分割することを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記６）
前記変換残差ブロックを所定周波数帯域単位に分割する段階は、
前記ビットストリームから、前記周波数帯域単位の大きさ及び形態によって事前に決められた複数個の分割形態のうち、前記変換残差ブロックの分割に利用された分割形態を示す分割形態インデックス情報を抽出する段階と、
前記抽出された分割形態インデックス情報を利用し、前記変換残差ブロックを、前記事前に決められた大きさ及び形態を有する周波数帯域単位に分割する段階と、をさらに含むことを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記７）
前記ビットストリームから、有効変換係数が存在する周波数帯域単位に存在する有効変換係数の位置を示す有効性マップを抽出する段階と、
前記有効性マップを利用し、前記有効変換係数が存在する周波数帯域単位内に存在する有効変換係数の位置を判断する段階と、をさらに含むことを特徴とする付記１に記載の残差ブロックの復号化方法。

（付記８）
前記有効性マップは、
前記分割された周波数帯域単位ごとに独立した所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数の位置を示すことを特徴とする付記７に記載の残差ブロックの復号化方法。

（付記９）
前記有効性マップは、
所定スキャン順序によって、前記変換残差ブロック内の全体有効変換係数を読み取ったときに検出された有効変換係数の位置を示すことを特徴とする付記７に記載の残差ブロックの復号化方法。

（付記１０）
前記有効性マップは、所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、各周波数帯域単位別に最後の有効変換係数が存在するか否かを示すフラグ；及び最後の有効変換係数が存在する周波数帯域単位に存在する有効変換係数についてのみ、全体変換残差ブロックの最後の有効変換係数であるか否かを示すフラグ；を含むことを特徴とする付記７に記載の残差ブロックの復号化方法。

（付記１１）
残差ブロックの符号化方法において、
現在ブロックの予測ブロックを生成する段階と、
前記予測ブロックと前記現在ブロックとの差である残差ブロックを生成する段階と、
前記残差ブロックを周波数領域に変換して変換残差ブロックを生成する段階と、
前記変換残差ブロックを所定周波数帯域単位に分割する段階と、
前記分割された周波数帯域単位ごとに、０ではない有効変換係数が存在するか否かを示す周波数帯域単位別有効係数フラグを符号化する段階と、を含むことを特徴とする残差ブロックの符号化方法。

（付記１２）
前記周波数帯域単位別有効係数フラグを符号化する段階は、
前記分割された周波数帯域単位のうち、最も小さい低周波数帯域単位については、前記有効係数フラグを別途に符号化しないことを特徴とする付記１１に記載の残差ブロックの符号化方法。

（付記１３）
前記分割された周波数帯域単位のうち、０ではない有効変換係数が存在する周波数帯域単位内に存在する有効変換係数の位置を示す有効性マップを符号化する段階をさらに含むことを特徴とする付記１１に記載の残差ブロックの符号化方法。

（付記１４）
前記有効性マップを符号化する段階は、
前記分割された周波数帯域単位ごとに独立した所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、前記周波数帯域単位内の有効変換係数の位置を示すフラグを符号化することを特徴とする付記１３に記載の残差ブロックの符号化方法。

（付記１５）
前記有効性マップを符号化する段階は、
所定のスキャン順序によって、前記周波数帯域単位内の有効変換係数を読み取り、各周波数帯域単位別に最後の有効変換係数が存在するか否かを示すフラグを設定し、最後の有効変換係数が存在する周波数帯域単位に存在する有効変換係数についてのみ、全体変換残差ブロックの最後の有効変換係数であるか否かを示すフラグを設定することを特徴とする付記１３に記載の残差ブロックの符号化方法。

韓国特許出願公開第１０−２００８−００９２９４０号明細書

Claims (1)

1. 映像を複数の最大符号化単位に分割し、前記最大符号化単位を複数の符号化単位に階層的に分割し、前記符号化単位から一つ以上の変換残差ブロックを決定することによって生成されたビットストリームを受信する段階と、
   前記変換残差ブロックに含まれたサブ変換残差ブロックのうち特定サブ変換残差ブロックに、少なくとも一つの０でない有効変換係数が存在するか否かを示す前記特定サブ変換残差ブロックの有効係数フラグを、前記ビットストリームから獲得する段階と、
   前記特定サブ変換残差ブロックの有効係数フラグが前記特定サブ変換残差ブロックに前記有効変換係数が存在することを示す場合、前記ビットストリームから獲得された前記有効変換係数の位置情報及びレベル情報に基づいて前記特定サブ変換残差ブロックの変換係数を獲得する段階と、
   前記変換係数に基づいて前記特定サブ変換残差ブロックを含む前記変換残差ブロックを逆変換する段階と、を含み、
   前記特定サブ変換残差ブロックの変換係数は前記変換残差ブロックに含まれた変換係数のうち一部分であり、
   前記サブ変換残差ブロックは、同じサイズを有することを特徴とする映像復号化方法。
   

Images