JP6753916B2 - ビデオ符号化方法、ビデオ符号化装置、ビデオ復号化方法、ビデオ復号化装置及び記録媒体 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に係り、さらに詳細には、ビデオコーデックのシンボル符号化及びシンボル復号化に関する。

ＭＰＥＧ（moving picture experts group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を所定サイズのブロックに分けた後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、ブロックの残差データ（residual data）を獲得する。残差データは、変換、量子化、スキャニング、ランレングス・コーディング（run length coding）及びエントロピ・コーディングを介して圧縮される。エントロピ・コーディング時には、シンタックス（syntax）要素、例えば、ＤＣＴ（discrete cosine transformation）係数や動きベクトルなどをエントロピ符号化し、ビットストリームを出力する。デコーダ側面で、ビットストリームからシンタックス要素は抽出し、抽出されたシンタックス要素に基づいて復号化が行われる。

本発明が解決しようとする技術的課題は、階層的構造のデータ単位に基づいた映像コーデックで、階層構造情報を利用してコンテクスト・モデルを選択し、映像情報であるシンボルを、効率的にエントロピ符号化及びエントロピ復号化する方法及びその装置を提供することである。

本発明の実施形態によれば、階層的構造情報、及び階層的構造情報以外に符号化に係わる付加情報の組み合わせに基づいて、コンテクスト・モデルを選択することにより、エントロピ符号化及びエントロピ復号化を行う。

本発明によれば、階層的構造のデータ単位に基づいたビデオの圧縮効率を向上させることができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によって、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態によるエントロピ符号化装置の構成を示したブロック図である。 本発明の一実施形態による階層的構造のデータ単位と、階層的構造のデータ単位分割情報と、を図示する図面である。 本発明の一実施形態によって、データ単位の階層的構造を示すシンボルを図示した参照図である。 本発明の一実施形態によって、データ単位の階層的構造を示すシンボルを図示した参照図である。 本発明の一実施形態によって、変換係数のエントロピ符号化過程について説明するための参照図である。 本発明の一実施形態による、データ単位の大きさに基づいてコンテクスト・モデルを決定するためのコンテクスト・インデックスの例示である。 本発明の一実施形態によるコンテクスト・モデルの一例を示した参照図である。 本発明の一実施形態によるＭＰＳの発生確率値の一例を示す図面である。 本発明の一実施形態による、データ単位の大きさに基づいてコンテクスト・モデルを決定するためのコンテクスト・インデックスの他の例示である。 本発明の一実施形態によって、データ単位の位置情報に基づいて設定されるコンテクスト・インデックス・マッピングテーブルの一例を示した参照図である。 本発明の一実施形態によって、データ単位の位置情報に基づいて設定されるコンテクスト・インデックス・マッピングテーブルの一例を示した参照図である。 本発明の一実施形態によって、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、コンテクスト・インデックスを決定する事例を示した参照図である。 図１４のレギュラ・コーディング部１４２０で遂行される二進算術符号化過程について説明するための図面である。 本発明の一実施形態による階層的構造のデータ単位を利用したビデオ符号化方法を示したフローチャートである。 本発明の一実施形態によるエントロピ復号化装置の構成を示したブロック図である。 本発明の一実施形態による階層的構造のデータ単位を利用したビデオ復号化方法を示したフローチャートである。

本発明の一実施形態によるビデオ符号化方法は、階層的構造のデータ単位に基づいて、前記ビデオを構成するピクチャを符号化する段階と、前記符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定する段階と、前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ符号化する段階と、を含むことを特徴とする。

本発明の一実施形態によるビデオ符号化装置は、階層的構造のデータ単位に基づいて、前記ビデオを構成するピクチャを符号化する階層的符号化部と、前記符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定し、前記決定されたコンテクスト・モデルを利用して、前記シンボルを符号化するエントロピ符号化部と、を含むことを特徴とする。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビットストリームをパージングし、階層的構造のデータ単位に基づいて、符号化されたピクチャに係わるシンボルを抽出する段階と、前記シンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定する段階と、前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ復号化する段階と、を含むことを特徴とする。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビットストリームをパージングし、階層的構造のデータ単位に基づいて、符号化されたピクチャに係わるシンボルを抽出するシンボル抽出部と、前記シンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定し、前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ復号化するエントロピ復号化部と、を含むことを特徴とする。

以下、本明細書に記載された本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称するのである。

映像に係わるデータに対して、各種動作が遂行されるとき、映像に係わるデータは、データグループに分割され、同一データグループに含まれるデータに対して、同一の動作が遂行される。以下、本明細書で、所定基準によって形成されるデータグループを「データ単位」と称する。以下、本明細書で、「データ単位」ごとになされる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。

以下、図１ないし図１３を参照し、本発明の一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいたツリー構造のシンボルを符号化／復号化するビデオの符号化／復号化方法及びその装置を開示する。また、図１４ないし図３１を参照し、図１ないし図１３で説明したビデオの符号化方式及び復号化方式で利用されるエントロピ符号化及びエントロピ復号化の過程について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。

一実施形態によるビデオ符号化装置１００は、階層的符号化部１１０及びエントロピ符号化部１２０を含む。

階層的符号化部１１０は、符号化される現在ピクチャを、所定サイズのデータ単位に分割し、データ単位別に符号化を行う。具体的には、階層的符号化部１１０は、現在ピクチャを、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを分割することができる。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位で、縦横に大きさが８より大きい２の自乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは縮小される、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

階層的符号化部１１０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、階層的符号化部１１０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、エントロピ符号化部１２０に出力される。

最大符号化単位内の映像データは、最大深度以下の、少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されもする。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による階層的符号化部１１０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含みもする。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含んでもよい。

以下、周波数変換の基になるデータ単位を、「変換単位」と称する。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって分割される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。従って、階層的符号化部１１０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティション・タイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に説明する。

階層的符号化部１１０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

エントロピ符号化部１２０は、階層的符号化部１１０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。符号化された映像データは、映像の残差データの符号化結果でもある。深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティション・タイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。特に後述するように、一実施形態によるエントロピ符号化部１２０は、最大符号化単位の映像データ及び深度別符号化モードに係わるシンボルを符号化するとき、前述の階層的構造のデータ単位の階層構造情報、及び階層構造以外に、ビデオ符号化方式に利用されたカラー成分のような情報に基づいて、コンテクスト・モデルを選択してエントロピ符号化を行う。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度で分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定されれば、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって、階層的に分割され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態によるエントロピ符号化部１２０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、エントロピ符号化部１２０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

従って、映像の解像度が非常に高かったり、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置１００は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。

一実施形態によるビデオ復号化装置２００は、シンボル抽出部２１０、エントロピ復号化部２２０及び階層的復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

シンボル抽出部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。エントロピ復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、階層的復号化部２３０に出力する。エントロピ復号化部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、エントロピ復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、階層的復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、階層的復号化部２３０に、最大符号化単位ごとに、映像データを復号化させることができる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定されもし、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

エントロピ復号化部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることにより、決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を修復することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位において、所定データ単位について割り当てられているので、エントロピ復号化部２２０は、所定データ単位別に符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

特に、後述するように、一実施形態によるエントロピ復号化部２２０は、最大符号化単位の映像データ及び深度別符号化モードに係わるシンボルを復号化するとき、前述の階層的構造のデータ単位の階層構造情報、及び階層構造以外に、カラー成分などの多様な情報に基づいて、コンテクスト・モデルを選択してエントロピ復号化を行う。

階層的復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを修復する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、判読されたパーティション・タイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。

階層的復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、階層的復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。

階層的復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、階層的復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位のパーティション・タイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位において、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して修復することができる。

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上及び映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上するのである。

図４は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図を図示している。

イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるエントロピ復号化部４５０は、最大符号化単位の映像データ及び深度別符号化モードに係わるシンボルを符号化するとき、階層的構造のデータ単位の階層構造情報、及び階層構造以外に、カラー成分などの多様な情報に基づいて、コンテクスト・モデルを選択してエントロピ復号化を行う。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位において、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位において、それぞれの符号化単位内の変換単位の大きさを決定する。また、本発明の一実施形態によるエントロピ符号化部４５０は、シンボルをエントロピ符号化するのに利用されるコンテクスト・モデルを、当該シンボルの類型によって、階層的構造のデータ単位の階層構造情報、及び階層構造以外に、カラー成分などの多様な情報に基づいて、コンテクスト・モデルを選択してエントロピ符号化を行う。

図５は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決めなければならない。また、本発明の一実施形態によるエントロピ復号化部５２０は、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報を示すシンボルをエントロピ復号化するのに利用されるコンテクスト・モデルを、当該シンボルの類型によって、階層的構造のデータ単位の階層構造情報、及び階層構造以外に、カラー成分などの多様な情報に基づいて、コンテクスト・モデルを選択してエントロピ復号化を行う。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって多様に設定される。既定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけで設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するため、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比べるため、１つの深度１の符号化単位及び四つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小符号化誤差である代表符号化誤差が選択されもする。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプに選択される。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位で、映像を符号化したり復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティション・タイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティション・タイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティション・タイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含んでもよい。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティション・タイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティション・タイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで、予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションでのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘ２Ｎ＿０のパーティション・タイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティション・タイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。

パーティション・タイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティション・タイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１として決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードが、符号化深度の符号化モードとして設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、予測単位のパーティション・タイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度、及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態で他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００のエントロピ符号化部１２０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００のエントロピ復号化部２１０は、受信されたビットストリームをパージングし、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、それが下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティション・タイプで定義され、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。

パーティション・タイプ情報は、予測単位の高さまたは幅が、対称的な比率で分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率で分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：ｎ（ｎは、１より大きい整数）及びｎ：１に分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：ｎ及びｎ：１に分割された形態を示す。

変換単位サイズは、イントラモードで、２種類の大きさ、インターモードで、２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち、１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が、非対称形パーティション・タイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティション・タイプによって変更される。

例えば、パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティション・タイプ情報が、非対称形パーティション・タイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図９を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加させ、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

他の例で、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位大きさが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいこともあるので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例で、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位、すなわち、基礎変換単位RootＴｕの大きさを「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、基礎変換単位サイズである「RootＴｕSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、基礎変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」であるのである。

一実施形態による基礎変換単位サイズ「RootＴｕSize」は、予測モードによって変わりもする。

例えば、現在予測モードがインターモードであるならば、「RootＴｕSize」は、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位である基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootＴｕSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意しなければならない。

以下、図１のビデオ符号化装置１００のエントロピ符号化部１２０で遂行されるシンボルのエントロピ符号化過程、及び図２のビデオ復号化装置２００のエントロピ復号化部２２０で遂行されるシンボルのエントロピ復号化過程について詳細に説明する。

前述のように、本発明の一実施形態によるビデオ符号化装置１００、及びビデオ復号化装置２００は、最大符号化単位より小さいか、あるいはそれと同じ符号化単位に最大符号化単位を分割し、符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立して、コストに基づいて決定される。このように、最大符号化単位に含まれた、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、かような階層的構造のデータ単位の構造情報を示す情報である階層情報と、該階層情報以外に、復号化のための階層以外の情報とが伝送される必要がある。

階層的構造に係わる情報は、前述の図１０ないし図１２で説明したツリー構造の符号化単位、ツリー構造の予測単位及びツリー構造の変換単位を決定するために必要な情報であり、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグ（split flag）、変換単位のサイズ情報、変換単位の分割いかんを示す変換単位分割フラグ（ＴＵ size flag）などを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数のようなテクスチャ情報などを含む。

図１４は、本発明の一実施形態によるエントロピ符号化装置の構成を示したブロック図である。図１４のエントロピ符号化装置１４００は、図１のビデオ符号化装置１００のエントロピ符号化部１２０に対応する。

エントロピ符号化装置１４００は、符号化対象である階層的構造に係わる情報、及び階層的構造情報以外の符号化情報を示すシンボルをエントロピ符号化する。

図１４を参照すれば、一実施形態によるエントロピ符号化装置１４００は、コンテクスト・モデリング部１４１０、確率推定部１４２０及びレギュラ・コーディング部１４３０を含む。

コンテクスト・モデリング部１４１０は、符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定する。具体的には、コンテクスト・モデリング部１４１０は、現在符号化される対象シンボルが属するデータ単位の階層的構造に係わる階層情報がＩ（Ｉは、正の整数）個の状態値を有するとするとき、階層情報の状態値によって、Ｉ個以下のコンテクスト・モデルを設定し、階層情報の状態値によって、Ｉ個以下のコンテクスト・モデルのうち一つを示すコンテクスト・インデックスを割り当てることにより、現在シンボルの符号化に利用されるコンテクスト・モデルを決定することができる。例えば、現在符号化される対象シンボルが属するデータ単位の大きさが、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４の総５個の状態値を有し、かようなデータ単位の大きさを階層情報として利用する場合を仮定すれば、コンテクスト・モデリング部１４１０は、データ単位の大きさによって、５個以下のコンテクスト・モデルを設定し、現在シンボルが属するデータ単位の大きさに基づいて、現在シンボルのエントロピ符号化時に利用されるコンテクスト・モデルを示すコンテクスト・インデックスを決定して出力することができる。

一方、前述の例のように、データ単位の絶対的サイズ情報以外に、上位データ単位との関係で、シンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用することができる。例えば、現在データ単位が、２Ｎｘ２Ｎサイズの上位データ単位から分割されたＮｘＮサイズのデータ単位である場合、現在シンボルが属するデータ単位の大きさは、２Ｎｘ２Ｎサイズの上位データ単位の分割いかんを示す分割フラグを介して決定される。従って、コンテクスト・モデリング部１４１０は、かような上位データ単位のサイズ情報、及び上位データの分割いかんを示す分割フラグを介して、現在シンボルが属するデータ単位の大きさを決定し、決定されたデータ単位のサイズ情報に基づいて、現在シンボルに適用されるコンテクスト・モデルを決定することができる。また、階層情報として、上位データ単位の大きさに対比させた現在シンボルが属するデータ単位の大きさの比率を示す情報が利用されもする。例えば、現在データ単位が、２Ｎｘ２Ｎサイズの上位データ単位の１／２比率の大きさを有するデータ単位である場合、かような比率情報から、現在シンボルが属するデータ単位の大きさであるＮｘＮサイズが決定される。従って、コンテクスト・モデリング部１４１０は、階層情報として、かような上位データ単位との関係で、現在シンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用して、現在シンボルが属するデータ単位の大きさを決定し、決定されたデータ単位の大きさに基づいて、コンテクスト・モデルを決定することもできる。

また、コンテクスト・モデリング部１４１０は、エントロピ符号化される対象シンボルの類型によって、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、対象シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定することができる。具体的には、現在符号化される対象シンボルが属するデータ単位の階層的構造に係わる階層情報がＩ個の状態値を有し、該階層情報以外の他階層以外の情報がＪ（Ｊは、正の整数）個の状態値を有すると仮定すれば、階層情報、及び該階層以外の情報の可能な場合の数は、総ＩｘＪ個である。コンテクスト・モデリング部１４１０は、かようなＩｘＪ個の状態値組み合わせによって、ＩｘＪ個以下のコンテクスト・モデルを設定し、現在シンボルが属するデータ単位の階層情報、及び該階層以外の情報の状態値によって、ＩｘＪ個以下のコンテクスト・モデルのうち一つを示すコンテクスト・インデックスを割り当てることにより、現在シンボルの符号化に利用されるコンテクスト・モデルを決定することができる。例えば、階層情報として、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４の総５個の状態値を有するシンボルが属するデータ単位のサイズ情報を利用して、階層以外の情報として、輝度成分と色差成分との２種状態値を有するシンボルが属するデータ単位のカラー成分情報を利用する場合を仮定する。かような場合、階層情報、及び該階層以外の情報の状態値は、総５ｘ２、すなわち、１０個の組み合わせが可能であり、コンテクスト・モデリング部１４１０は、１０個の状態値組み合わせに対応する１０個以下のコンテクスト・モデルを設定し、現在シンボルに係わる状態値によって決定されたコンテクスト・インデックスを決定して出力する。

前述の例に限定せず、コンテクスト・モデリング部１４１０は、符号化されるシンボルの類型によって、階層情報、及び該階層以外の情報を多様に組み合わせ、複数個のコンテクスト・モデルのうち１つのコンテクスト・モデルを選択することができる。すなわち、ｎ（ｎは、整数）個の階層情報、及び該階層以外の情報をコンテクスト・モデルの決定時に利用して、ｎ個の階層情報、及び該階層以外の情報は、それぞれＳ_ｉ（Ｓ_ｉは、整数、ｉは、１からｎまでの整数）個の状態値を有すると仮定すれば、コンテクスト・モデリング部１４１０は、Ｓ_１ｘＳ_２ｘ…ｘＳ_ｎ個の状態値組み合わせに対応する複数個のコンテクスト・モデルのうち、符号化される現在シンボルに係わる状態値に基づいて、１つのコンテクスト・モデルを示すコンテクスト・インデックスを決定して出力することができる。Ｓ_１ｘＳ_２ｘ…ｘＳ_ｎ個の状態値をグループ化し、Ｓ_１ｘＳ_２ｘ…ｘＳ_ｎ個以下のコンテクスト・モデルを利用することができる。

再び図１４を参照すれば、確率推定部１４２０は、コンテクスト・モデリング部１４１０から出力されたコンテクスト・インデックス情報を利用して、０と１との二進信号のうち、ＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当する二進信号に係わる情報、及びＭＰＳまたはＬＰＳに係わる確率値情報を決定して出力する。かようなＭＰＳまたはＬＰＳの確率値は、既定のルックアップ（look-up）テーブルから、コンテクスト・インデックスが示す確率値を読み取って決定される。また、ＭＰＳ及びＬＰＳの確率値は、二進信号の発生統計累積値に基づいて更新されもする。
レギュラ・コーディング部１４３０は、ＭＰＳまたはＬＰＳに該当する二進信号情報及び確率値情報に基づいて、現在シンボルをエントロピ符号化して出力する。

一方、エントロピ符号化装置１４００は、ＭＰＳ及びＬＰＳの確率値に基づいて、シンボルを符号化するコンテクスト基盤適応的二進算術符号化（context-adaptive binary arithmetic coding）以外に、階層情報、及び該階層以外の情報の組み合わせによって、既定のコードワードを割り当てる可変長符号化方式を介して、各シンボルを符号化することができる。

以下、階層情報に基づいたコンテクスト・モデリングを利用して、シンボルをエントロピ符号化する過程について説明する。具体的には、変換係数に係わるシンボル、変換単位の階層的構造に係わるシンボル、及び階層的構造の符号化単位に係わるシンボルを符号化する過程について説明する。

図１５は、本発明の一実施形態による階層的構造のデータ単位と、階層的構造のデータ単位分割情報と、を図示する。以下の説明で、データ単位は、変換単位である場合を仮定する。

前述のように、本発明の一実施形態によれば、階層的構造の符号化単位、予測単位及び変換単位を利用して、符号化が行われる。図１５では、最上位レベルであるレベル０のＮｘＮサイズの変換単位１５００が、１段階下位レベルであるレベル１の変換単位３１ａ，３１ｂ，３１ｃ，３１ｄに分割され、レベル１の一部変換単位３１ａ，３１ｄは、それぞれ、さらに１段階下位レベルであるレベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割された場合を図示する。かような変換単位の階層的構造を示すためのシンボルとして、それぞれの変換単位が１段階下位レベルの変換単位に分割されるか否かを示す変換単位分割フラグ（ＴＵ size flag）が利用される。例えば、現在変換単位に係わる変換単位分割フラグが１であるならば、現在変換単位が、下位レベルの変換単位に分割されることを示し、０であるならば、それ以上分割されないことを示すことができる。

レベル０の変換単位３０から分割された変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈが階層的構造を形成することにより、それぞれの変換単位に係わる変換単位分割情報も、階層的構造を形成することができる。すなわち、階層的構造の変換単位分割情報３３は、最上位レベル０の変換単位分割情報３４、レベル１の変換単位分割情報３５ａ，３５ｂ，３５ｃ，３５ｄ、レベル２の変換単位分割情報３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，３６ｇ，３６ｈを含む。

階層的構造の変換単位分割情報３３のうち、レベル０の変換単位分割情報３４は、最上位レベル０の変換単位３０が分割されることを示すことができる。類似した方式で、レベル１の一部変換単位分割情報３５ａ，３５ｄは、それぞれ、レベル１の変換単位３１ａ，３１ｄが、レベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割されることを示すことができる。

レベル１の一部変換単位３１ｂ，３１ｃは、それ以上分割されず、ツリー構造において、子ノード（child node）が存在しないリーフ（leaf）ノードに該当する。同様に、レベル２の変換単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈは、それ以上下位レベルの変換単位に分割されないリーフノードに該当する。

このように、上位レベルの変換単位が、下位レベルの変換単位に分割されるか否かを示す変換単位分割フラグ（ＴＵ size flag）は、変換単位の階層的構造を示すシンボルとして利用される。

かような変換単位の階層的構造を示す変換単位分割フラグ（ＴＵ size flag）をエントロピ符号化するとき、一実施形態によるビデオ符号化装置１００は、全体全てのノードの変換単位分割フラグ（ＴＵ size flag）をエントロピ符号化したり、子ノードを有さないリーフノードの変換単位分割フラグのみをエントロピ符号化することができる。

図１６及び図１７は、本発明の一実施形態によって、データ単位の階層的構造を示すシンボルを図示した参照図である。

図１６及び図１７で、フラグ（flag）は、図１５のツリー構造３３で、各ノードの変換単位が、下位レベルの変換単位に分割されるか否かを示す変換単位分割フラグ（ＴＵ size flag）であると仮定する。図１６を参照すれば、一実施形態によるビデオ符号化装置１００は、変換単位の階層的構造を示すシンボルとして、全てのレベルの変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位分割フラグ情報flag０，flag１ａ，flag１ｂ，flag１ｃ，flag１ｄ，flag２ａ，flag２ｂ，flag２ｃ，flag２ｄ，flag２ｅ，flag２ｆ，flag２ｇ，flag２ｈをいずれもエントロピ符号化することができる。また、ビデオ符号化装置１００は、図１７に図示されたように、子ノードを有さないリーフノードに該当する変換単位の変換単位分割フラグ情報flag１ｂ，flag１ｃ，flag２ａ，flag２ｂ，flag２ｃ，flag２ｄ，flag２ｅ，flag２ｆ，flag２ｇ，flag２ｈのみをエントロピ符号化することができる。なぜならば、下位レベルの変換単位分割フラグ情報の存在いかんによって、上位レベルの変換単位の分割いかんが決定されるからである。例えば、図１７で、レベル２の変換単位３６ａ，３６ｂ，３６ｃ，３６ｄの変換単位分割フラグflag２ａ，flag２ｂ，flag２ｃ，flag２ｄが存在する場合、レベル２の変換単位３６ａ，３６ｂ，３６ｃ，３６ｄの上位レベルであるレベル１の変換単位３５ａは、当然下位レベルであるレベル２の変換単位に分割されなければならないので、別途にレベル１の変換単位３５ａの変換単位分割フラグ情報flag１ａが符号化される必要はない。

一実施形態によるビデオ復号化装置２００は、シンボル階層的復号化モードによって、全てのレベルの変換単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位分割フラグflag，flag１ａ，flag１ｂ，flag１ｃ，flag１ｄ，flag２ａ，flag２ｂ，flag２ｃ，flag２ｄ，flag２ｅ，flag２ｆ，flag２ｇ，flag２ｈをいずれも抽出して判読することにより、変換単位の階層的構造を決定することができる。また、一実施形態によるビデオ復号化装置２００は、リーフノードに該当する変換単位３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに係わる変換単位分割フラグflag１ｂ，flag１ｃ，flag２ａ，flag２ｂ，flag２ｃ，flag２ｄ，flag２ｅ，flag２ｆ，flag２ｇ，flag２ｈだけが符号化された場合、抽出された変換単位分割フラグflag１ｂ，flag１ｃ，flag２ａ，flag２ｂ，flag２ｃ，flag２ｄ，flag２ｅ，flag２ｆ，flag２ｇ，flag２ｈを基に、残りの変換単位分割フラグflag０，flag１ａ，flag１ｂ，flag１ｃ，flag１ｄを決定することにより、変換単位の階層的構造を決定することができる。

前述のように、コンテクスト・モデリング部１４１０は、階層情報、または階層情報と階層以外の情報との組み合わせによる状態値に基づいて、変換単位の階層的構造を示す変換単位分割フラグをエントロピ符号化するための複数個のコンテクスト・モデルのうち、１つのコンテクスト・モデルを決定することができる。

具体的には、コンテクスト・モデリング部１４１０は、符号化される現在変換単位分割フラグが属する変換単位の階層情報に基づいて、現在変換単位分割フラグのエントロピ符号化に利用されるコンテクスト・モデルを決定することができる。

図１９は、本発明の一実施形態による、データ単位の大きさに基づいて、コンテクスト・モデルを決定するためのコンテクスト・インデックスの例示である。

図１９を参照すれば、コンテクスト・モデリング部１４１０は、現在変換単位フラグが属する変換単位のサイズ情報に基づいて、既定の複数個のコンテクスト・モデルを示すコンテクスト・インデックスのうち一つを割り当てることにより、現在変換単位フラグをエントロピ符号化するためのコンテクスト・モデルを決定することができる。例えば、現在変換単位フラグが属した変換単位の大きさが１６ｘ１６である場合、６のコンテクスト・インデックス値を有するコンテクスト・モデルが選択される。

図２０は、本発明の一実施形態によるコンテクスト・モデルの一例を示した参照図である。

前述のように、確率値推定部１４２０は、コンテクスト・モデリング部１４１０から出力されたコンテクスト・インデックス情報を利用して、０と１との二進信号のうち、ＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当する二進信号に係わる情報、及びＭＰＳまたはＬＰＳに係わる確率値情報を決定して出力する。

図２０を参照すれば、確率値推定部１４２０は、二進信号の発生確率をルックアップ・テーブル形態で複数個具備し、現在符号化されるシンボルと周囲の状況とによって、二進信号の発生確率を変更して決定された確率値情報を、レギュラ・コーディング部１４３０に出力する。具体的には、コンテクスト・モデリング部１４１０で、現在シンボルに適用されるコンテクスト・モデルを示すコンテクスト・インデックス（index番号）が伝達されれば、確率値推定部１４２０は、当該コンテクスト・インデックス（index番号）に対応する発生確率表のインデックス（ｐStateＩｄｘ）及びＭＰＳに該当する二進信号を決定することができる。

図２１は、本発明の一実施形態によるＭＰＳの発生確率値の一例を示している。

発生確率表は、ＭＰＳの確率値を示すものであり、発生確率表のインデックス（ｐStateＩｄｘ）が指定されれば、当該ＭＰＳの確率値が決定される。例えば、コンテクスト・モデリング部１４１０で、現在シンボルの符号化に利用されるコンテクスト・モデルのインデックスの値を１に決定して出力すれば、確率値推定部１４２０は、図２０に図示されたコンテクスト・モデルのうち、コンテクスト・インデックス１に対応するｐStateＩｄｘ値７とＭＰＳの０とを決定する。また、確率値推定部１４２０は、図２１のように、ｐStateＩｄｘ値によって、既定のＭＰＳの確率値のうち、ｐStateＩｄｘ＝７に対応するＭＰＳの確率値を決定する。ＭＰＳとＬＰＳとの確率値の和が１であるので、ＭＰＳまたはＬＰＳのうち１つの確率値が分かれば、残りの二進信号の確率値は決定される。

一方、確率値推定部１４２０は、レギュラ・コーディング部１４３０で、１つのビン（bin）を符号化するたびに、ＭＰＳを符号化したか、あるいはＬＰＳを符号化したかということにより、ｐStateＩｄｘの値を更新することにより、二進信号の発生統計を考慮し、ＭＰＳ及びＬＰＳの確率値を更新することができる。例えば、確率値推定部１４２０は、レギュラ・コーディング部１４３０の符号化結果を考慮し、ＭＰＳを符号化するとき、更新後のｐStateＩｄｘの値であるｔｒａｎｓＩｄｘＭＰＳ、ＬＰＳを符号化するとき、更新後のｐStateＩｄｘの値であるｔｒａｎＩｄｘＬＰＳを、所定のルックアップ・テーブル形態で設定した後、符号化動作ごとに、ｐStateＩｄｘ値を更新することにより、ＭＰＳの確率値を変更することができる。

レギュラ・コーディング部１４３０は、ＭＰＳまたはＬＰＳに該当する二進信号情報及び確率値情報に基づいて、現在シンボルに該当する二進信号をエントロピ符号化して出力する。

図２６は、図１４のレギュラ・コーディング部１４２０で遂行される二進算術符号化過程について説明するための図面である。図２６で、変換単位の階層的構造を示す変換単位分割フラグ（ＴＵ size flag）が二進値「０１０」であり、１の発生確率が０．２、０の発生確率が０．８であると仮定する。ここで、１及び０の発生確率は、現在変換単位分割フラグが属する変換単位の階層情報、例えば、変換単位のサイズ情報に基づいて、決定された確率値である。

図２６を参照すれば、二進値「０１０」において、最初のビン（bin）値「０」を符号化する場合、初期区間［０．０〜１．０］において、下端８０％部分である［０．０〜０．８］が新しい区間に更新され、次のビン値「１」を符号化する場合、［０．０〜０．８］の上端の２０％部分である［０．６４〜０．８］が新しい区間に更新される。また、次の「０」を符号化する場合、［０．６４〜０．８］の下端の８０％部分である［０．６４〜０．７６８］が新しい区間に更新される。最終的な区間［０．６４〜０．７６８］間に入る実数である０．７５に対応する二進数０．１１で、最初の０を除いた小数点以下の「１１」が、変換単位分割フラグ（ＴＵ size flag）の二進値「０１０」に対応するビットストリームとして出力される。

一方、コンテクスト・モデリング部１４１０は、変換単位のサイズ情報に基づいて、変換単位分割フラグ（ＴＵ size flag）のエントロピ符号化のためのコンテクスト・モデルを決定するとき、変換単位の大きさをグループ化し、図２２に図示されたように、コンテクスト・モデルの決定のためのコンテクスト・インデックスを設定することができる。

また、コンテクスト・モデリング部１４１０は、変換単位の絶対的サイズ情報以外に、上位変換単位との関係で、シンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用することができる。例えば、現在変換単位が、２Ｎｘ２Ｎサイズの上位変換単位の１／２比率の大きさを有する変換単位である場合、コンテクスト・モデリング部１４１０は、比率情報から、現在変換単位分割フラグ（ＴＵ size flag）が属する変換単位が、ＮｘＮサイズを有すると決定し、決定された変換単位の大きさに基づいて、コンテクスト・モデルを決定することができる。

また、コンテクスト・モデリング部１４１０は、エントロピ符号化される対象シンボルの類型によって、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、変換単位分割フラグ（ＴＵ size flag）のエントロピ符号化に利用されるコンテクスト・モデルを決定することができる。

図２５は、本発明の一実施形態によって、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、コンテクスト・インデックスを決定する事例を示した参照図である。

図２５を参照すれば、コンテクスト・モデリング部１４１０は、Ｉ（Ｉは、整数）個の状態値を有する第１情報ｐ１ないしｐＩ、及びＪ（Ｊは、整数）個の状態値を有する第２情報ｑ１ないしｑＪの組み合わせによって、複数個のコンテクスト・モデルのうち、１つのコンテクスト・モデルを示すコンテクスト・インデックスを設定し、現在符号化されるシンボルに係わる第１情報及び第２情報によって、コンテクスト・インデックスを決定して出力する。例えば、第１情報として、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４の総５個の状態値を有するシンボルが属するデータ単位のサイズ情報を利用して、階層以外の情報として、輝度成分と色差成分との２種状態値を有するカラー成分情報を利用する場合、１０個の組み合わせが可能であり、コンテクスト・モデリング部１４１０は、１０個の状態値組み合わせに対応する１０個以下のコンテクスト・モデルを設定し、現在シンボルに係わる状態値によって決定されたコンテクスト・インデックスを決定して出力する。また、コンテクスト・モデリング部１４１０は、図２２のように、状態値をグループ化し、グループ化された状態値別に、コンテクスト・インデックスを設定することができる。

このように、本発明の一実施形態によるコンテクスト・モデリング部１４１０は、符号化されるシンボルの類型によって、階層情報、及び該階層以外の情報を多様に組み合わせ、複数個のコンテクスト・モデルのうち、１つのコンテクスト・モデルを選択することができる。

一方、前述の変換単位の階層的構造を示すためのシンボルの符号化過程は、符号化単位または予測単位の階層的構造を示すシンボルを符号化する過程にも、同一に適用される。符号化単位の階層的構造を示すためのシンボルとして、それぞれの符号化単位が、１段階下位レベルの符号化単位に分割されるか否かを示す分割フラグ（split flag）が利用される。例えば、現在符号化単位に係わる符号化単位フラグが１であるならば、現在符号化単位が、下位レベルの符号化単位に分割されるということを示し、０であるならば、現在符号化単位がそれ以上分割されないということを示すことができる。かような分割フラグ（split flag）は、前述の変換単位分割フラグ（ＴＵ size flag）のエントロピ符号化過程と同様に、階層情報、及び該階層以外の情報を多様に組み合わせた状態値によって、選択されたコンテクスト・モデルに基づいて、エントロピ符号化される。

以下、変換係数に係わるシンボルをエントロピ符号化する過程について説明する。

図１８は、本発明の一実施形態によって、変換係数のエントロピ符号化過程について説明するための参照図である。

階層的構造の変換単位に基づいて、変換された変換係数に係わるシンボルは、変換単位に含まれた変換係数のうち、０ではない変換係数値が存在するか否かを示すフラグ（coded＿block＿flag）、０ではない変換係数の位置を示すフラグ（significant＿ｃｏｅｆｆ＿flag）、最後の０ではない変換係数の位置を示すフラグ（last＿significant＿ｃｏｅｆｆ＿flag）、及び０ではない変換係数の絶対値を含む。

フラグ（coded＿block＿flag）が０であるならば、現在変換単位内に、０ではない変換係数が存在しない場合であり、それ以上伝送される情報がないということを意味する。各変換単位ごとに、０または１の二進値を有するフラグ（coded＿block＿flag）が決定され、前述の図１５の変換単位の階層的構造を示す変換単位分割フラグ（ＴＵ size flag）と同様に、フラグ（coded＿block＿flag）は、エントロピ符号化される。上位ノードに該当する変換単位のフラグ（coded＿block＿flag）が０であるならば、子ノードに該当する変換単位のフラグ（coded＿block＿flag）は、いずれも０の値を有するので、上位ノードのフラグ（coded＿block＿flag）だけがエントロピ符号化される。

図１８を参照すれば、変換単位２０００内の変換係数は、図示されたようなジグザグ（zigzag）スキャン順序によってスキャニングされる。スキャニング順序は、変更される。図１８で、空スペースに該当する変換係数は、いずれも０である変換係数を有すると仮定する。図１８で、最後の有効変換係数は、「−１」の値を有する図面符号２０１０で表示された変換係数である。エントロピ符号化装置１４００は、変換単位２０００内の各変換係数をスキャニングしながら、各変換係数が０ではない変換係数であるか否かを示すフラグ（significant＿ｃｏｅｆｆ＿flag）、０ではない変換係数がスキャニング順序上、最後の位置の０ではない変換係数であるか否かを示すフラグ（last＿significant＿ｃｏｅｆｆ＿flag）を符号化する。すなわち、フラグ（significant＿ｃｏｅｆｆ＿flag）が１であるならば、当該位置の変換係数は、０ではない値を有する有効変換係数であるということを示し、０であるならば、当該位置の変換係数が０である変換係数であるということを意味する。フラグ（last＿significant＿ｃｏｅｆｆ＿flag）が０であるならば、スキャニング順序上、後に位置した有効変換係数が存在するということを意味し、フラグ（last＿significant＿ｃｏｅｆｆ＿flag）が１であるならば、当該位置の有効変換係数が最後の有効変換係数であるということを意味する。最後の有効変換係数の位置を示すために、フラグ（last＿significant＿ｃｏｅｆｆ＿flag）の代わりに、最後の有効変換係数の相対的位置を示す座標情報が利用されもする。例えば、図１８に図示されたように、最左上側の変換係数を中心に、最後の有効変換係数「−１」２０１０は、横軸方向に５番目、縦軸方向に５番目に位置するので、エントロピ符号化装置１４００は、最後の有効変換係数の位置情報として、ｘ＝５，ｙ＝５の値を符号化することができる。

コンテクスト・モデリング部１４１０は、階層情報、または階層情報と、階層以外の情報との組み合わせによる状態値に基づいて、変換係数に係わるシンボルをエントロピ符号化するためのコンテクスト・モデルを決定することができる。すなわち、前述の変換単位の階層的構造を示す変換単位分割フラグのエントロピ符号化時に利用されるコンテクスト・モデル決定過程と同様に、コンテクスト・モデリング部１４１０は、符号化される現在変換係数が含まれる変換単位の階層情報に基づいて、変換係数に係わるシンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定することができる。例えば、コンテクスト・モデリング部１４１０は、現在変換係数が含まれた変換単位のサイズ情報に基づいて、図１９または図２２に図示されたように、既定のコンテクスト・インデックスを利用して、変換係数に係わるシンボルのエントロピ符号化時に利用されるコンテクスト・モデルを決定することができる。

また、コンテクスト・モデリング部１４１０は、変換単位の絶対的サイズ情報以外に、上位変換単位との関係でシンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用することができる。

また、コンテクスト・モデリング部１４１０は、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、変換係数に係わるシンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定することができる。例えば、コンテクスト・モデリング部１４１０は、変換単位のサイズ情報、及び階層以外の情報として、カラー成分情報に基づいて、コンテクスト・インデックスを設定することができる。また、コンテクスト・モデリング部１４１０は、変換係数が０ではない変換係数であるか否かを示すフラグ（significant＿ｃｏｅｆｆ＿flag）、０ではない変換係数が、スキャニング順序上、最後の位置の０ではない変換係数であるか否かを示すフラグ（last＿significant＿ｃｏｅｆｆ＿flag）のように、ピクセル単位で設定されるシンボルのエントロピ符号化時に、階層以外の情報として、各ピクセルの位置情報を利用することができる。

図２３及び図２４は、本発明の一実施形態によって、データ単位の位置情報に基づいて設定されるコンテクスト・インデックス・マッピングテーブルの一例を示した参照図である。

図２３及び図２４を参照すれば、コンテクスト・モデリング部１４１０は、ピクセル単位で設定されるシンボルのエントロピ符号化時に、各ピクセルの位置によって、図面符号２５００及び２６００で図示されたように、コンテクスト・インデックスを割り当て、現在シンボルの位置によって決定されたコンテクスト・インデックスを利用して、コンテクスト・モデルを決定することができる。また、コンテクスト・モデリング部１４１０は、ピクセル単位で設定されるシンボルのエントロピ符号化時に、階層情報との組み合わせを介して、コンテクスト・モデルを決定することができる。例えば、変換係数が０ではない変換係数であるか否かを示すフラグ（significant＿ｃｏｅｆｆ＿flag）、０ではない変換係数がスキャニング順序上、最後の位置の０ではない変換係数であるか否かを示すフラグ（last＿significant＿ｃｏｅｆｆ＿flag）は、変換単位の大きさによる第１情報、及び変換係数の位置による第２情報を組み合わせて決定される。前述の図２５のように、コンテクスト・モデリング部１４１０は、Ｉ（Ｉは、整数）個の状態値を有する第１情報ｐ１ないしｐＩ、及びＪ（Ｊは、整数）個の状態値を有する第２情報ｑ１ないしｑＪの組み合わせによって、複数個のコンテクスト・モデルのうち、１つのコンテクスト・モデルを示すコンテクスト・インデックスを設定し、現在変換係数が含まれた変換単位のサイズ情報及び現在変換係数の位置によって、コンテクスト・インデックスを決定して出力することができる。

一方、前述の説明では、コンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）方式を適用し、シンボルを符号化及び復号化することを中心に説明したが、エントロピ符号化装置１４００は、階層情報、及び該階層以外の情報の組み合わせによって、既定のコードワードを割り当てる可変長符号化方式を介して、各シンボルを符号化することができる。

前述の実施形態で限定されるものではなく、本発明の一実施形態によるエントロピ符号化装置１４００は、符号化単位の階層情報、予測単位の階層情報、変換単位の階層情報、カラー成分情報、予測モード情報、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグ（split flag）、変換単位のサイズ情報、変換単位の分割いかんを示す変換単位分割フラグ（ＴＵ size flag）、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、シンボルの位置に係わる情報のうち選択された少なくとも一つ以上の情報の組み合わせを介して、複数個のコンテクストのうち１つのコンテクスト・モデルを決定し、決定されたコンテクスト・モデルを利用して、シンボルに係わるエントロピ符号化を行うことができる。

図２７は、本発明の一実施形態による、階層的構造のデータ単位を利用したビデオ符号化方法を示したフローチャートである。図２７を参照すれば、段階２９１０で、階層的符号化部１１０は、階層的構造のデータ単位に基づいて、ビデオを構成するピクチャを符号化する。階層的構造のデータ単位に基づいたピクチャの符号化過程で、最大符号化単位ごとに、階層的に構成される深度別符号化単位、符号化深度の符号化単位を含むツリー構造による符号化単位、符号化深度の符号化単位ごとの予測符号化のためのパーティション、及び階層的構造の変換単位が決定される。

段階２９２０で、エントロピ符号化部１２０は、符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定する。また、エントロピ符号化部１２０は、階層構造に係わる情報、及び階層構造以外の付加情報の組み合わせを介して、複数個のコンテクスト・モデルのうち、現在シンボルに適用されるコンテクスト・モデルを決定することができる。

階層情報は、シンボルが属するデータ単位のサイズ情報、及びシンボルが属するデータ単位より大サイズの上位階層のデータ単位との関係でｂシンボルが属するデータ単位の相対的サイズを示す相対的階層情報のうち一つでもある。相対的階層情報は、上位データ単位のサイズ情報と、上位データ単位の分割いかんを示す分割フラグ、または上位データ単位を基準に、シンボルが属するデータサイズの相対的な比率に係わる情報とを含んでもよい。

段階２９３０で、エントロピ符号化部１２０は、決定されたコンテクスト・モデルを利用して、シンボルをエントロピ符号化する。シンボルは、変換係数関連情報、階層的構造のデータ単位を利用した符号化時に利用された変換単位の階層的構造に係わる情報、及びピクチャの階層的構造に係わる情報を含んでもよい。

図２８は、本発明の一実施形態によるエントロピ復号化装置の構成を示したブロック図である。図２８のエントロピ符号化装置３０００は、図２のビデオ復号化装置２００のエントロピ復号化部２２０に対応する。

エントロピ復号化装置３０００は、図２のシンボル抽出部２１０で抽出された符号化対象である階層的構造に係わる情報、及び階層的構造情報以外の符号化情報を示すシンボルをエントロピ復号化する。

図２８を参照すれば、一実施形態によるエントロピ復号化装置３０００は、コンテクスト・モデリング部３０１０、確率推定部３０２０及びレギュラ・デコーディング部３０３０を含む。

コンテクスト・モデリング部３０１０は、シンボルが属するデータ単位の階層情報に基づいて、シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定する。具体的には、コンテクスト・モデリング部３０１０は、現在復号化される対象シンボルが属するデータ単位の階層的構造に係わる階層情報が、Ｉ（Ｉは、正の整数）個の状態値を有するとするとき、階層情報の状態値によって、Ｉ個以下のコンテクスト・モデルを設定し、階層情報の状態値によって、Ｉ個以下のコンテクスト・モデルのうち一つを示すコンテクスト・インデックスを割り当てることにより、現在シンボルの復号化に利用されるコンテクスト・モデルを決定することができる。また、コンテクスト・モデリング部３０１０は、データ単位の絶対的サイズ情報以外に、上位データ単位との関係で、シンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用することができる。階層情報として、上位データ単位の大きさに対比させた現在シンボルが属するデータ単位の大きさの比率を示す情報が利用されもする。コンテクスト・モデリング部３０１０は、階層情報として、かような上位データ単位との関係で、現在シンボルが属するデータ単位の相対的サイズを示す相対的階層情報を利用して、現在シンボルが属するデータ単位の大きさを決定し、決定されたデータ単位の大きさに基づいて、コンテクスト・モデルを決定することもできる。また、コンテクスト・モデリング部３０１０は、シンボルの類型によって、階層情報と、該階層情報以外の多様な付加情報との組み合わせに基づいて、対象シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定することができる。具体的には、現在復号化される対象シンボルが属するデータ単位の階層的構造に係わる階層情報がＩ個の状態値を有し、該階層情報以外の他階層以外の情報が、Ｊ（Ｊは、正の整数）個の状態値を有すると仮定すれば、コンテクスト・モデリング部３０１０は、かようなＩｘＪ個の状態値組み合わせによって、ＩｘＪ個以下のコンテクスト・モデルを設定し、現在シンボルが属するデータ単位の階層情報、及び該階層以外の情報の状態値によって、ＩｘＪ個以下のコンテクスト・モデルのうち一つを示すコンテクスト・インデックスを割り当てることにより、現在シンボルの復号化に利用されるコンテクスト・モデルを決定することができる。また、コンテクスト・モデリング部３０１０で、階層情報及び階層外情報の組み合わせに基づいて、決定されるコンテクスト・モデルは、エントロピ符号化装置１４００のコンテクスト・モデリング部１４１０と同一に設定される。

前述の例に限定されず、コンテクスト・モデリング部３０１０は、復号化されるシンボルの類型によって、階層情報、及び該階層以外の情報を多様に組み合わせ、複数個のコンテクスト・モデルのうち、１つのコンテクスト・モデルを選択することができる。

確率推定部３０２０は、コンテクスト・モデリング部３０１０から出力されたコンテクスト・インデックス情報を利用して、０と１との二進信号のうち、ＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当する二進信号に係わる情報、及びＭＰＳまたはＬＰＳに係わる確率値情報を決定して出力する。かようなＭＰＳまたはＬＰＳの確率値は、既定のルックアップ・テーブルから、コンテクスト・インデックスが示す確率値を読み取って決定される。また、ＭＰＳ及びＬＰＳの確率値は、二進信号の発生統計累積値に基づいて更新されもする。

レギュラ・デコーディング部３０３０は、ＭＰＳまたはＬＰＳに該当する二進信号情報及び確率値情報に基づいて、ビットストリームに含まれた現在シンボルに係わるエントロピ復号化を行い、復号化されたシンボル情報を出力する。

図２９は、本発明の一実施形態による階層的構造のデータ単位を利用したビデオ復号化方法を示したフローチャートである。図２９を参照すれば、段階３１１０で、シンボル抽出部２１０は、符号化されたビットストリームをパージングし、階層的構造のデータ単位に基づいて、符号化されたピクチャに係わるシンボルを抽出する。

段階３１２０で、エントロピ復号化部２２０は、シンボルが属するデータ単位の階層情報に基づいて、シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定する。また、エントロピ復号化部２２０は、階層構造に係わる情報、及び階層構造以外の付加情報の組み合わせを介して、複数個のコンテクスト・モデルのうち、現在シンボルに適用されるコンテクスト・モデルを決定することができる。

階層情報は、シンボルが属するデータ単位のサイズ情報、及びシンボルが属するデータ単位より大サイズの上位階層のデータ単位との関係で、シンボルが属するデータ単位の相対的サイズを示す相対的階層情報のうち一つでもある。相対的階層情報は、上位データ単位のサイズ情報と、上位データ単位の分割いかんを示す分割フラグ、または上位データ単位を基準にシンボルが属するデータサイズの相対的な比率に係わる情報とを含んでもよい。

段階３１３０で、エントロピ復号化部２２０は、決定されたコンテクスト・モデルを利用して、シンボルをエントロピ符号化する。シンボルは、変換係数関連情報、階層的構造のデータ単位を利用した符号化時に利用された変換単位の階層的構造に係わる情報、及びピクチャの階層的構造に係わる情報を含んでもよい。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

以下、本願により教示される手段を例示的に列挙する。
（付記１）
ビデオを復号化する方法において、
符号化されたビットストリームをパージングし、階層的構造のデータ単位に基づいて、符号化されたピクチャに係わるシンボルを抽出する段階と、
前記シンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定する段階と、
前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ復号化する段階と、を含むことを特徴とするビデオ復号化方法。
（付記２）
前記シンボルを抽出する段階は、
前記ビットストリームから、前記ピクチャが分割された最大符号化単位の大きさ、前記最大符号化単位の空間的分割回数を示す深度、前記深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション、及び階層的構造の変換単位の構造を示す情報を抽出する段階を含み、
前記コンテクスト・モデルを決定する段階は、
前記最大符号化単位の大きさ、深度、パーティション、及び階層的構造の変換単位の構造を示す情報に基づいて、階層的に構成されるツリー構造による符号化単位、前記深度の符号化単位ごとに予測復号化のためのパーティション、及びツリー構造による変換単位を決定する段階を含むことを特徴とする付記に１記載のビデオ復号化方法。
（付記３）
前記階層情報は、
前記シンボルが属するデータ単位のサイズ情報、及び前記シンボルが属するデータ単位より大サイズの上位階層のデータ単位との関係で、前記シンボルが属するデータ単位の相対的サイズを示す相対的階層情報のうち少なくとも一つを含むことを特徴とする付記１に記載のするビデオ復号化方法。
（付記４）
前記コンテクスト・モデルを決定する段階は
Ｉ（Ｉは、整数）個の状態値を有し、前記階層的構造に係わる第１情報、Ｊ（Ｊは、整数）個の状態値を有し、前記階層的構造以外の前記ビデオの符号化に係わる第２情報に基づいて、既定の複数個のコンテクストのうち１つのコンテクストを決定することを特徴とする付記１に記載のビデオ復号化方法。
（付記５）
前記シンボルは、変換係数関連情報、前記階層的構造のデータ単位を利用した符号化時に利用された変換単位の階層的構造に係わる情報、及び前記ピクチャの階層的構造に係わる情報のうち少なくとも一つを含むことを特徴とする付記１に記載のビデオ復号化方法。
（付記６）
前記変換係数関連情報は、
階層的構造の変換単位に基づいて、変換されたツリー構造による変換単位の変換係数に係わる０ではない変換係数の位置を示すフラグ（significant＿ｃｏｅｆｆ＿flag）、最後の０ではない変換係数の位置を示すフラグ（last＿significant＿ｃｏｅｆｆ＿flag）、変換単位に含まれた変換係数のうち０ではない変換係数値が存在するか否かを示すフラグ（coded＿block＿flag）、及び０ではない変換係数の絶対値のうち少なくとも一つを含み、
前記コンテクストを決定する段階は、
前記変換係数が含まれた変換単位の大きさ、前記変換係数の前記変換単位内の位置、及び前記変換単位のカラー成分のうち少なくとも一つに基づいて、複数個のコンテクストのうち１つのコンテクストを決定することを特徴とする付記５に記載のビデオ復号化方法。
（付記７）
前記変換単位の階層的構造に係わる情報は、
階層的構造の変換単位の構造を示すための前記変換単位の分割いかんを示す変換単位分割フラグ（Ｔｕ size flag）を含み、
前記コンテクストを決定する段階は、
前記変換単位の大きさ、及び前記変換単位が含まれた予測単位に係わる前記変換単位の相対的サイズのうち少なくとも一つに基づいて、複数個のコンテクストのうち１つのコンテクストを決定することを特徴とする付記５に記載のビデオ復号化方法。
（付記８）
前記ピクチャの階層的構造に係わる情報は、
階層的構造の符号化単位の構造を示すための前記符号化単位の分割いかんを示す分割フラグ（ｓｐｌｉｔ＿flag）を含み、
前記コンテクストを決定する段階は、
前記符号化単位の大きさ、及び前記符号化単位が含まれた最大符号化単位に係わる前記符号化単位の相対的サイズのうち少なくとも一つに基づいて、複数個のコンテクストのうち１つのコンテクストを決定することを特徴とする付記５に記載のビデオ復号化方法。
（付記９）
前記コンテクスト・モデルは、
前記シンボルを示す二進信号である０と１とのうち、ＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当する二進信号に係わる情報、及び前記ＭＰＳ及びＬＰＳのうち少なくとも１つの確率値を含み、
前記ＭＰＳ及びＬＰＳのうち少なくとも１つの確率値は、ルックアップ・テーブルによって決定されるか、あるいは前記二進信号の発生統計累積値に基づいて決定されることを特徴とする付記１に記載のビデオ復号化方法。
（付記１０）
ビデオ復号化装置において、
符号化されたビットストリームをパージングし、階層的構造のデータ単位に基づいて、符号化されたピクチャに係わるシンボルを抽出するシンボル抽出部と、
前記シンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ復号化に利用されるコンテクスト・モデルを決定し、前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ復号化するエントロピ復号化部と、を含むことを特徴とするビデオ復号化装置。
（付記１１）
ビデオを符号化する方法において、
階層的構造のデータ単位に基づいて、前記ビデオを構成するピクチャを符号化する段階と、
前記符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定する段階と、
前記決定されたコンテクスト・モデルを利用して、前記シンボルをエントロピ符号化する段階と、を含むことを特徴とするビデオ符号化方法。
（付記１２）
前記ピクチャを符号化する段階は、
前記ピクチャを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位において、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定する段階を含むことを特徴とする付記１１に記載のビデオ符号化方法。
（付記１３）
前記階層情報は、
前記シンボルが属するデータ単位のサイズ情報、及び前記シンボルが属するデータ単位より大サイズの上位階層のデータ単位との関係で、前記シンボルが属するデータ単位の相対的サイズを示す相対的階層情報のうち少なくとも一つを含むことを特徴とする付記１１に記載のビデオ符号化方法。
（付記１４）
前記コンテクスト・モデルを決定する段階は
Ｉ（Ｉは、整数）個の状態値を有し、前記階層的構造に係わる第１情報、Ｊ（Ｊは、整数）個の状態値を有し、前記階層的構造以外の前記ビデオの符号化に係わる第２情報に基づいて、既定の複数個のコンテクストのうち１つのコンテクストを決定することを特徴とする付記１１に記載のビデオ符号化方法。
（付記１５）
ビデオ符号化装置において、
階層的構造のデータ単位に基づいて、前記ビデオを構成するピクチャを符号化する階層的符号化部と、
前記符号化されたピクチャに係わるシンボルが属するデータ単位の階層情報に基づいて、前記シンボルのエントロピ符号化に利用されるコンテクスト・モデルを決定し、前記決定されたコンテクスト・モデルを利用して、前記シンボルを符号化するエントロピ符号化部と、を含むことを特徴とするビデオ符号化装置。

Claims (5)

1. 符号化単位の最大サイズに係る情報及び現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報をビットストリームから獲得する段階と、
   前記最大サイズに係る情報に基づいて映像を複数の最大符号化単位に分割する段階と、
   前記分割情報に基づいて前記複数の最大符号化単位のうち、１つの最大符号化単位を１つ以上の符号化単位に分割する段階と、
   現在変換単位の分割如何を示す変換単位分割フラグを前記ビットストリームから獲得する段階と、
   前記変換単位分割フラグが前記現在変換単位の分割を示す場合、前記１つ以上の符号化単位のうち、現在符号化単位内の前記現在変換単位を４つの下位変換単位に分割する段階と、
   前記変換単位分割フラグが前記現在変換単位の非分割を示す場合、前記現在変換単位に対する逆変換を行う段階と、を含み、
   前記変換単位分割フラグを獲得する段階は、
   前記現在変換単位の大きさに係る情報に基づいてコンテクスト・モデルを決定する段階と、
   前記決定されたコンテクスト・モデルに基づいて前記ビットストリームをエントロピー復号化して、前記変換単位分割フラグを獲得し、
   前記分割情報が現在深度で分割されることを示すとき、前記現在深度の符号化単位は、隣接符号化単位と独立して正方形である下位深度の符号化単位に４分割され、
   前記分割情報が前記現在深度で分割されないことを示すとき、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得されることを特徴とするビデオ復号化方法。
2. 符号化単位の最大サイズに係る情報、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報、現在符号化単位に含まれた現在変換単位の分割如何を示す変換単位分割フラグをビットストリームから獲得するエントロピー復号化部と、
   映像を前記最大サイズに係る情報に基づいて複数の最大符号化単位に分割し、前記複数の最大符号化単位のうち、現在最大符号化単位を前記分割情報に基づいて現在深度と下位深度のうち、少なくとも１つを含む深度の符号化単位に分割し、前記変換単位分割フラグが前記現在変換単位の分割を示す場合、前記現在変換単位を４つの下位変換単位に分割し、前記変換単位分割フラグが前記現在変換単位の非分割を示す場合、前記現在変換単位に対する逆変換を行う階層的復号化部と、を含み、
   前記変換単位分割フラグは、前記現在変換単位のサイズに係る情報に基づいて決定されたコンテクスト・モデルによって、前記ビットストリームをエントロピー復号化して獲得され、
   前記分割情報が現在深度で分割されることを示すとき、前記現在深度の符号化単位は、隣接符号化単位と独立して正方形である下位深度の符号化単位に４分割され、
   前記分割情報が前記現在深度で分割されないことを示すとき、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得されることを特徴とするビデオ復号化装置。
3. 符号化単位内に属する現在変換単位の分割如何を示す変換単位分割フラグを生成する段階と、
   前記現在変換単位のサイズに基づいて決定されたコンテクスト・モデルを用いて前記変換単位分割フラグを符号化する段階と、を含み、
   映像は、最大符号化単位サイズ情報によって、複数の最大符号化単位に分割され、
   前記複数の最大符号化単位のうち、１つの最大符号化単位は、分割情報によって、現在深度と下位深度のうち、少なくとも１つを含む深度の符号化単位で階層的に分割され、
   前記分割情報が現在深度で分割されることを示すとき、前記現在深度の符号化単位は、４つの下位深度の符号化単位に分割され、
   前記分割情報が前記現在深度で分割されないことを示すとき、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得されることを特徴とするビデオ符号化方法。
4. 符号化単位内に属する現在変換単位の分割如何を示す変換単位分割フラグを生成する階層的符号化部と、
   前記現在変換単位のサイズに基づいて決定されたコンテクスト・モデルを用いて、前記変換単位分割フラグを符号化するエントロピー符号化部と、を含み、
   映像は最大符号化単位サイズ情報によって、複数の最大符号化単位に分割され、
   前記複数の最大符号化単位のうち、１つの最大符号化単位は、分割情報によって、現在深度と下位深度のうち、少なくとも１つを含む深度の符号化単位で階層的に分割され、
   前記分割情報が現在深度で分割されることを示すとき、前記現在深度の符号化単位は、４つの下位深度の符号化単位に分割され、
   前記分割情報が前記現在深度で分割されないことを示すとき、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得されることを特徴とするビデオ符号化装置。
5. １つ以上のプロセッサが映像データに対応するビットストリームを生成する動作を行うように制御するコードを保存したコンピュータで読取り可能な記録媒体において、
   前記ビットストリームは、符号化単位内に属する現在変換単位の分割如何を示す変換単位分割フラグ情報を含み、
   前記プロセッサは、前記現在変換単位のサイズに基づいて前記変換単位分割フラグ情報のためのコンテクスト・モデルを決定し、
   前記プロセッサは、前記決定されたコンテクスト・モデルを用いて前記変換単位分割フラグ情報を符号化して前記ビットストリームに含め、
   前記プロセッサは、映像を複数の最大符号化単位に分割し、前記ビットストリームに最大符号化単位サイズに係わる情報を含め、
   前記プロセッサは、前記複数の最大符号化単位のうち、１つの最大符号化単位を現在深度と下位深度のうち、少なくとも１つを含む深度の符号化単位で階層的に分割し、前記最大符号化単位の階層的分割構造に係わる分割情報を前記ビットストリームに含め、
   前記現在深度の符号化単位が４つの下位深度の符号化単位に分割される場合、前記プロセッサは、前記現在深度の分割情報が前記現在深度の分割を示すように設定し、
   前記現在深度の符号化単位が分割されない場合、前記プロセッサは、前記現在深度の符号化単位から少なくとも１つの予測単位を獲得し、前記現在深度の分割情報が前記現在深度の非分割を示すように設定することを特徴とする記録媒体。