JP5917746B2 - 階層的構造のデータ単位を利用したエントロピー符号化方法及び該装置、並びに復号化方法及び該装置 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に係り、より詳しくは、ビデオデータを構成する構文要素のエントロピー符号化及び復号化に関する。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)のような映像圧縮方式では、映像を所定のサイズのブロックに分けた後、インター予測またはイントラ予測を利用して、ブロックのレジデュアルデータを獲得する。レジデュアルデータは、変換、量子化、スキャニング、ランレングスコーディング及びエントロピーコーディングを通じて圧縮される。エントロピーコーディング時には、構文要素、例えば、ＤＣＴ(Discrete Cosine Transform)係数や動きベクトルなどをエントロピー符号化して、ビットストリームを出力する。デコーダの側面で、ビットストリームから構文要素を抽出し、抽出された構文要素に基づいて、復号化が行われる。

本発明が解決しようとする課題は、構文要素が含まれた付加情報を組み合わせて、構文要素のエントロピー符号化に利用するコンテキストモデルを選択して、効率的にエントロピー符号化及び復号化する方法及び該装置を提供することにある。

現在のデータ単位の利用可能な構文要素に基づいて、現在のデータ単位の他の構文要素のエントロピー符号化のためのコンテキストモデルを決定する。

本発明によれば、以前に復元された周辺情報を利用するものではなく、現在の構文要素が含まれたデータ単位の情報に基づいて、コンテキストモデルを選択することによって、以前に復元された周辺情報を保存するためのメモリ要求量などが減少する。

本発明の一実施形態によるビデオ符号化装置を示すブロック図である。 本発明の一実施形態によるビデオ復号化装置を示すブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。 本発明の一実施形態による深度別の符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位と変換単位の関係を示す図面である。 本発明の一実施形態による深度別の符号化情報を示す図面である。 本発明の一実施形態による深度別の符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態によるエントロピー符号化装置の構成を示すブロック図である。 図１４のコンテキストモデラーの具体的な構成を示すブロック図である。 本発明の一実施形態による階層的構造のデータ単位と、階層的構造のデータ単位分割情報とを示す図面である。 本発明の一実施形態によって、データ単位の階層的構造を表すシンボルを示す参照図である。 本発明の一実施形態によって、データ単位の階層的構造を表すシンボルを示す参照図である。 本発明の一実施形態によって、付加情報の組み合わせによってコンテキストモデルを決定するためのコンテキストインデックスの例示を示す図面である。 本発明の一実施形態によって、付加情報の組み合わせによってコンテキストモデルを決定するためのコンテキストインデックスの例示を示す図面である。 本発明の一実施形態によるコンテキストモデルの一例を示す参照図である。 本発明の一実施形態によるＭＰＳの発生確率値の一例を示すグラフである。 図１４のレギュラーコーディング部で行われる二進算術符号化過程を説明するための図面である。 本発明の一実施形態によるエントロピー符号化方法を示すフローチャートである。 本発明の一実施形態によるエントロピー復号化装置の構成を示すブロック図である。 本発明の一実施形態によるエントロピー復号化方法を示すフローチャートである。

本発明の一実施形態によるビデオ符号化方法は、階層的構造のデータ単位に基づいて、前記ビデオを符号化するステップと、エントロピー符号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、前記現在のデータ単位の第１構文要素のエントロピー符号化に利用されるコンテキストモデルを決定するステップと、前記決定されたコンテキストモデルを利用して、前記現在のデータ単位の第１構文要素をエントロピー符号化するステップと、を含むことを特徴とする。

本発明の一実施形態によるビデオ符号化装置は、階層的構造のデータ単位に基づいて、前記ビデオを符号化する階層的符号化部と、エントロピー符号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、前記現在のデータ単位の第１構文要素のエントロピー符号化に利用されるコンテキストモデルを決定し、前記決定されたコンテキストモデルを利用して、前記現在のデータ単位の第１構文要素をエントロピー符号化するエントロピー符号化部と、を備えることを特徴とする。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビットストリームをパージングして、階層的構造のデータ単位に基づいて符号化されたピクチャについての構文要素を抽出するステップと、エントロピー復号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、前記現在のデータ単位の第１構文要素のエントロピー復号化に利用されるコンテキストモデルを決定するステップと、前記決定されたコンテキストモデルを利用して、前記現在のデータ単位の第１構文要素をエントロピー復号化するステップと、を含むことを特徴とする。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビットストリームをパージングして、階層的構造のデータ単位に基づいて符号化されたピクチャについての構文要素を抽出する構文要素抽出部と、エントロピー復号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、前記現在のデータ単位の第１構文要素のエントロピー復号化に利用されるコンテキストモデルを決定し、前記決定されたコンテキストモデルを利用して、前記現在のデータ単位の第１構文要素をエントロピー復号化するエントロピー復号化部と、を備えることを特徴とする。

以下、本明細書に記載の本発明の多様な実施形態において、‘映像’は、静止画像だけでなく、ビデオのような動画を含んで包括的に指す。

映像に係るデータに対して、各種の動作が行われる時、映像に係るデータは、データグループに分割され、同一なデータグループに含まれるデータに対して、同一な動作が行われる。以下、本明細書において、所定の基準によって形成されるデータグループを‘データ単位’とする。また、‘データ単位’ごとに行われる動作は、データ単位に含まれたデータを利用して、当該動作が行われることを意味する。

以下、図１ないし図１３を参照して、本発明の一実施形態によって、階層的なツリー構造による符号化単位に基づいたツリー構造の構文要素を符号化及び復号化するビデオの符号化及び復号化方法及び装置が開示される。また、図１４ないし図２４を参照して、図１ないし図１３で述べられたビデオの符号化及び復号化方式において利用されるエントロピー符号化及び復号化の過程が具体的に開示される。

図１は、本発明の一実施形態によるビデオ符号化装置を示すブロック図である。一実施形態によるビデオ符号化装置１００は、階層的符号化部１１０と、エントロピー符号化部１２０とを備える。

階層的符号化部１１０は、符号化される現在のピクチャを、所定のサイズのデータ単位に分割して、データ単位別に符号化を行う。具体的に、階層的符号化部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャを分割する。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であって、横及び縦のサイズが８よりも大きい２の自乗である正方形のデータ単位である。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を表し、深度が深くなるほど、深度別の符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別の符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述したように、符号化単位の最大サイズによって、現在のピクチャの映像データを、最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割可能な総回数を制限する最大深度及び符号化単位の最大サイズは、予め設定されていてもよい。

階層的符号化部１１０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に、最終の符号化結果が出力される深度を決定する。すなわち、階層的符号化部１１０は、現在のピクチャの最大符号化単位ごとに、深度別の符号化単位で映像データを符号化して、最小の符号化誤差が発生する深度を選択して、符号化深度として決定する。決定された符号化深度及び最大符号化単位別の映像データは、エントロピー符号化部１２０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって、深度別の符号化単位に基づいて符号化され、それぞれの深度別の符号化単位に基づいた符号化結果が比較される。深度別の符号化単位の符号化誤差の比較結果、符号化誤差の最も小さい深度が選択される。それぞれの最大符号化単位ごとに、少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、一つの最大符号化単位に含まれる同一な深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別の符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

したがって、一実施形態による階層的符号化部１１０は、現在の最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在の最大符号化単位に含まれる全ての深度別の符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、他の領域では独立して決定される。同様に、現在の領域についての符号化深度は、他の領域についての符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を表す。例えば、最大符号化単位の深度が０であるとする時、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であれば、深度０、１、２、３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別の符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に、深度別の符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別の符号化単位に対して、予測符号化及び周波数変換を含む符号化が行われなければならない。以下、説明の便宜上、少なくとも一つの最大符号化単位のうち、現在の深度の符号化単位に基づいて、予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択可能である。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などのステップを経るが、全てのステップにわたって、同一なデータ単位が使われてもよく、ステップ別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位に基づいて、予測符号化が行われる。以下、予測符号化の基本となるそれ以上分割されない符号化単位を、‘予測単位’とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位となり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションだけでなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意の形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の一つの予測単位ごとに、独立して符号化が行われて、符号化誤差の最も小さい予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて、符号化単位の映像データの周波数変換を行う。

符号化単位の周波数変換のためには、符号化単位よりも小さいか、またはそれと同じサイズのデータ単位に基づいて、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位と、インターモードのためのデータ単位とを含む。

以下、周波数変換の基本となるデータ単位を、‘変換単位’とする。符号化単位と類似した方式によって、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって分割される。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割され、変換単位に達するまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位の変換単位のサイズが２Ｎ×２Ｎであれば、変換深度は０、変換単位のサイズがＮ×Ｎであれば、変換深度は１、変換単位のサイズがＮ／２×Ｎ／２であれば、変換深度は２に設定される。すなわち、変換単位に対しても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別の符号化情報は、符号化深度だけでなく、予測関連情報及び周波数変換関連情報が必要である。したがって、階層的符号化部１１０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別の予測モード、周波数変換のための変換単位のサイズなどを決定する。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

階層的符号化部１１０は、深度別の符号化単位の符号化誤差を、ラグランジュ乗数に基づいた率−歪曲最適化技法を利用して測定する。

エントロピー符号化部１２０は、階層的符号化部１１０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別の符号化モードに係る情報を、ビットストリームの形態で出力する。符号化された映像データは、映像のレジデュアルデータの符号化結果である。深度別の符号化モードに係る情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。特に、後述するように、一実施形態によるエントロピー符号化部１２０は、最大符号化単位の映像データ、及び深度別の符号化モードに係る構文要素を符号化する時、前述した階層的構造のデータ単位の階層構造情報、及び階層構造以外のビデオ符号化方式に利用されたカラー成分などの現在のデータ単位が有する付加情報に基づいて、コンテキストモデルを選択して、エントロピー符号化を行う。また、エントロピー符号化部１２０は、現在の符号化単位の付加情報以外に、周辺符号化単位が有する付加情報を共に考慮して、現在の符号化単位の構文要素のエントロピー符号化のためのコンテキストモデルを決定する。エントロピー符号化部１２０で構文要素のエントロピー符号化のためのコンテキストモデルを決定する過程については後述する。

符号化深度情報は、現在の深度で符号化せず、下位深度の符号化単位で符号化するか否かを表す深度別の分割情報を利用して定義される。現在の符号化単位の現在の深度が符号化深度であれば、現在の符号化単位は、現在の深度の符号化単位で符号化されるので、現在の深度の分割情報は、それ以上下位深度に分割されないように定義される。逆に、現在の符号化単位の現在の深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みなければならないので、現在の深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在の深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して、符号化が行われる。現在の深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われて、同一な深度の符号化単位ごとに、再帰的に符号化が行われる。

一つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも一つの符号化モードに係る情報が決定されなければならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに係る情報が決定される。また、最大符号化単位のデータは、深度によって階層的に分割されて、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係る情報が設定される。

したがって、一実施形態によるエントロピー符号化部１２０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係る符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、エントロピー符号化部１２０を通じて出力される符号化情報は、深度別の符号化単位別の符号化情報と、予測単位別の符号化情報とに分けられる。深度別の符号化単位別の符号化情報は、予測モード情報及びパーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係る情報、インターモードの参照映像インデックスに係る情報、動きベクトルに係る情報、イントラモードのクロマ成分に係る情報、イントラモードの補間方式に係る情報などを含む。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに係る情報、及び最大深度に係る情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な実施形態によれば、深度別の符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在の深度の符号化単位のサイズが２Ｎ×２Ｎであれば、下位深度の符号化単位のサイズは、Ｎ×Ｎである。また、２Ｎ×２Ｎサイズの現在の符号化単位は、Ｎ×Ｎサイズの下位深度の符号化単位を最大四つ含む。

したがって、一実施形態によるビデオ符号化装置１００は、現在のピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などにより符号化するので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

したがって、映像の解像度が高すぎるか、またはデータ量が多すぎる映像を既存のマクロブロック単位で符号化すれば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置１００は、映像のサイズを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置を示すブロック図である。一実施形態によるビデオ復号化装置２００は、構文要素抽出部２１０、エントロピー復号化部２２０、及び階層的復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種のプロセッシングのための符号化単位、深度、予測単位、変換単位、各種の符号化モードに係る情報などの各種の用語の定義は、図１及びビデオ符号化装置１００を参照して説明した通りである。

構文要素抽出部２１０は、符号化されたビデオについてのビットストリームを受信して、パージングする。エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに、符号化された映像データを抽出して、階層的復号化部２３０に出力する。

エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位についての符号化深度、符号化モード、カラー成分情報、予測モード情報などの付加情報を抽出する。抽出された符号化深度及び符号化モードなどに係る情報は、階層的復号化部２３０に出力される。ビット列の映像データは、最大符号化単位に分割されて符号化されたので、階層的復号化部２３０は、最大符号化単位ごとに映像データを復号化する。

最大符号化単位別の符号化深度及び符号化モードに係る情報は、一つ以上の符号化深度情報について設定され、符号化深度別の符号化モードに係る情報は、当該符号化単位のパーティションタイプ情報、予測モード情報、及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別の分割情報が抽出されることも可能である。

エントロピー復号化部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係る情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別の深度別の符号化単位ごとに、反復的に符号化を行って、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係る情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して、映像を復元する。

一実施形態による符号化深度及び符号化モードに係る符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して割り当てられているので、エントロピー復号化部２２０は、所定のデータ単位別に、符号化深度及び符号化モードに係る情報を抽出する。所定のデータ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係る情報が記録されていれば、同一な符号化深度及び符号化モードに係る情報を有している所定のデータ単位は、同一な最大符号化単位に含まれるデータ単位として類推される。

特に後述するように、一実施形態によるエントロピー復号化部２２０は、構文要素を復号化する時、前述した階層的構造のデータ単位の階層構造情報、及び階層構造以外にカラー成分などの多様な情報に基づいて、コンテキストモデルを選択して、エントロピー復号化を行う。

階層的復号化部２３０は、最大符号化単位別の符号化深度及び符号化モードに係る情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャを復元する。すなわち、階層的復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード及び変換単位に基づいて、符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程と、周波数逆変換過程とを含む。

階層的復号化部２３０は、符号化深度別の符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、階層的復号化部２３０は、最大符号化単位別の周波数逆変換のために、符号化深度別の符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行う。

階層的復号化部２３０は、深度別の分割情報を利用して、現在の最大符号化単位の符号化深度を決定する。若し、分割情報が現在の深度でそれ以上分割されないことを表していれば、現在の深度が符号化深度である。したがって、階層的復号化部２３０は、現在の最大符号化単位の映像データに対して、現在の深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち、所定のデータ単位に対して設定されている符号化情報を観察して、同一な分割情報を含む符号化情報を保有しているデータ単位が集まって、階層的復号化部２３０によって、同一な符号化モードに復号化する一つのデータ単位であると見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に係る情報を獲得して、現在のピクチャについての復号化に利用する。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像、またはデータ量が多すぎる映像であるとしても、符号化端から伝送された最適符号化モードに係る情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式を詳細に説明する。

図３は、階層的な符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズが幅×高さで表現され、サイズ６４×６４の符号化単位から３２×３２，１６×１６，８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４，６４×３２，３２×６４，３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２，３２×１６，１６×３２，１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６，１６×８，８×１６，８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８，８×４，４×８，４×４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０×１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２×２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に示した最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上及び映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０よりも解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が二階層深くなって、長軸サイズが３２、１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が一階層深くなって、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が三階層深くなって、長軸サイズが３２、１６、８である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能が向上する。

図４は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。

イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの符号化単位に対して、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在のフレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０及び周波数逆変換部４７０を通じて、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるエントロピー復号化部４５０は、最大符号化単位の映像データ及び深度別の符号化モードに係る構文要素を符号化する時、階層的構造のデータ単位の階層構造情報、及び階層構造以外にカラー成分などの多様な情報に基づいて、コンテキストモデルを選択して、エントロピー復号化を行う。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在の最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定する。また、本発明の一実施形態によるエントロピー符号化部４５０は、当該構文要素の類型によって、階層的構造のデータ単位の階層構造情報、及び階層構造以外にカラー成分などの多様な情報に基づいて、構文要素をエントロピー符号化するのに利用されるコンテキストモデルを選択して、エントロピー符号化を行う。

図５は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。ビットストリーム５０５から、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係る情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０及び動き補償部５６０は、ツリー構造による符号化単位ごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定しなければならない。また、本発明の一実施形態によるエントロピー復号化部５２０は、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係る情報を表す構文要素をエントロピー復号化するのに利用されるコンテキストモデルを、当該構文要素の類型によって、階層的構造のデータ単位の階層構造情報、及び階層構造以外にカラー成分などの多様な情報に基づいて、コンテキストモデルを選択して、エントロピー復号化を行う。

図６は、本発明の一実施形態による深度別の符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像の特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定されてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別の符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別の符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別の符号化単位の予測符号化の基本となる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００で最大符号化単位であって、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６である深度２の符号化単位６３０、サイズ８×８である深度３の符号化単位６４０、及びサイズ４×４である深度４の符号化単位６５０が存在する。サイズ４×４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位であれば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、及びサイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、及びサイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、及びサイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、及びサイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最下位深度の符号化単位であり、当該予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一な範囲及びサイズのデータを含むための深度別の符号化単位の個数は、深度が深くなるほど増加する。例えば、深度１の符号化単位が一つ含まれるデータに対して、深度２の符号化単位は四つ必要である。したがって、同一なデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位、及び四つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別の符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別の符号化単位の予測単位ごとに符号化を行って、当該深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行って、深度別の代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図７は、本発明の一実施形態による符号化単位と変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位よりも小さいか、またはそれと同じサイズの符号化単位に映像を符号化または復号化する。符号化過程で周波数変換のための変換単位のサイズは、それぞれの符号化単位よりも大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して、周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２，１６×１６，８×８，４×４サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択される。

図８は、本発明の一実施形態による深度別の符号化情報を示す。

一実施形態によるビデオ符号化装置１００のエントロピー符号化部１２０は、符号化モードに係る情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を符号化して伝送する。

パーティションタイプに係る情報８００は、現在の符号化単位の予測符号化のためのデータ単位として、現在の符号化単位の予測単位が分割されたパーティションの形態に係る情報を表す。例えば、サイズ２Ｎ×２Ｎの現在の符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。その場合、現在の符号化単位のパーティションタイプに係る情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに係る情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに係る情報８１０を通じて、パーティションタイプに係る情報８００が表すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかが設定される。

また、変換単位サイズに係る情報８２０は、現在の符号化単位を、どの変換単位に基づいて周波数変換を行うかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、及び第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００のエントロピー復号化部２２０は、それぞれの深度別の符号化単位ごとに、パーティションタイプに係る情報８００、予測モードに係る情報８１０、及び変換単位サイズに係る情報８２０を抽出して、復号化に利用可能である。

図９は、本発明の一実施形態による深度別の符号化単位を示す。

深度の変化を表すために、分割情報が利用される。分割情報は、現在の深度の符号化単位が、下位深度の符号化単位に分割されるか否かを表す。

深度０及びサイズ２Ｎ＿０×２Ｎ＿０の符号化単位９００の予測符号化のための予測単位９１０は、サイズ２Ｎ＿０×２Ｎ＿０のパーティションタイプ９１２、サイズ２Ｎ＿０×Ｎ＿０のパーティションタイプ９１４、サイズＮ＿０×２Ｎ＿０のパーティションタイプ９１６、及びサイズＮ＿０×Ｎ＿０のパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述したように、パーティションタイプは、それらに限定されず、非対称的なパーティション、任意の形態のパーティション、幾何学的な形態のパーティションなどを含む。

パーティションタイプごとに、一つのサイズ２Ｎ＿０×２Ｎ＿０のパーティション、二つのサイズ２Ｎ＿０×Ｎ＿０のパーティション、二つのサイズＮ＿０×２Ｎ＿０のパーティション、及び四つのサイズＮ＿０×Ｎ＿０のパーティションごとに、反復的に予測符号化が行わなければならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０、サイズ２Ｎ＿０×Ｎ＿０、及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションに対してのみ、予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、及びサイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して、反復的に符号化を行って、最小符号化誤差を検索する。

最大深度がｄである場合、深度別の分割情報は、深度がｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割されて（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、及びサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、二つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、二つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、及び四つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を通じた符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在の最大符号化単位９００についての符号化深度が、深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されていない。

データ単位９９９は、現在の最大符号化単位についての‘最小単位’であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。かかる反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別の符号化誤差を比較して、最小符号化誤差が発生する深度を選択して、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定される。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別の最小符号化誤差を比較して、誤差が最も小さい深度が選択されて、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係る情報として符号化されて伝送される。また、深度０から符号化深度に達するまで、符号化単位が分割されなければならないので、符号化深度の分割情報のみが‘０’に設定され、符号化深度を除いた深度別の分割情報は、‘１’に設定されなければならない。

一実施形態によるビデオ復号化装置２００のエントロピー復号化部２２０は、符号化単位９００についての符号化深度及び予測単位に係る情報を抽出して、符号化単位９１２を復号化するのに利用する。一実施形態によるビデオ復号化装置２００は、深度別の分割情報を利用して、分割情報が‘０’である深度を符号化深度として把握し、当該深度についての符号化モードに係る情報を利用して復号化する。

図１０、図１１及び図１２は、本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別の符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別の符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別の符号化単位の変換単位である。

深度別の符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４の深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２の深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８の深度が３、符号化単位１０４０，１０４２，１０４４，１０４６の深度が４である。

予測単位１０６０のうち、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎ×２Ｎのパーティションタイプであり、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別の符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位よりも小さいか、またはそれと同じである。

変換単位１０７０のうち、一部の符号化単位１０５２の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較すれば、異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一な符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別途のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われて、最適符号化単位が決定されることによって、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係る分割情報、パーティションタイプ情報、予測モード情報、及び変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定可能な一例を表す。

一実施形態によるビデオ符号化装置１００のエントロピー符号化部１２０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００のエントロピー復号化部２２０は、受信されたビットストリームをパージングして、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在の符号化単位が下位深度の符号化単位に分割されるか否かを表す。現在の深度ｄの分割情報が０であれば、現在の符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード及び変換単位サイズ情報が定義される。分割情報によってさらに分割されなければならない場合には、分割された四つの下位深度の符号化単位ごとに独立して符号化が行わなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的なパーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、及び非対称的な割合で分割された非対称的なパーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎを表す。非対称的なパーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：ｎ（ｎは、１よりも大きい整数）及びｎ：１に分割された形態であり、非対称的なパーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：ｎ及びｎ：１に分割された形態である。

変換単位サイズは、イントラモードで二種類のサイズに、インターモードで二種類のサイズに設定される。すなわち、変換単位分割情報が０であれば、変換単位サイズが、現在の符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１であれば、現在の符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎである現在の符号化単位についてのパーティションタイプが、対称的なパーティションタイプであれば、変換単位サイズは、Ｎ×Ｎ、非対称的なパーティションタイプであれば、変換単位サイズは、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一な符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一な符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、その場合、現在の符号化単位が、周辺データ単位を参照して予測する場合、現在の符号化単位に隣接する深度別の符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態として、現在の符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別の符号化単位の符号化情報を利用して、深度別の符号化単位内で、現在の符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されることも可能である。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称的なパーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称的なパーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報(TU size flag)が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

変換単位分割情報(TU size flag)は、変換インデックスの一種であって、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更可能である。

例えば、パーティションタイプ情報が、対称的なパーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報が０であれば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であれば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称的なパーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定されている場合、変換単位分割情報が０であれば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であれば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図９を参照して説明した変換単位分割情報は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０，１，２，３，…に増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施例として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化する。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用できる。

例えば、（ａ）現在の符号化単位のサイズが６４×６４であり、最大変換単位サイズが３２×３２であれば、（ａ−１）変換単位分割情報が０である時、変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１である時、変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時、変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在の符号化単位のサイズが３２×３２であり、最小変換単位サイズが３２×３２であれば、（ｂ−１）変換単位分割情報が０である時、変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２よりも小さいことはないので、それ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在の符号化単位のサイズが６４×６４であり、最大変換単位分割情報が１であれば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されない。

したがって、最大変換単位分割情報を‘MaxTransformSizeIndex’、最小変換単位サイズを‘MinTransformSize’、変換単位分割情報が０である場合の変換単位、すなわち、基本変換単位ＲｏｏｔＴｕのサイズを‘RootTuSize’と定義する時、現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’は、下記の数式（１）のように定義される。

CurrMinTuSize
=max(MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) （１）
現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’と比較して、基本変換単位サイズ‘RootTuSize’は、システム上採択可能な最大変換単位サイズを表す。すなわち、数式（１）によれば、‘RootTuSize/(2^MaxTransformSizeIndex)’は、基本変換単位サイズ‘RootTuSize’を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘MinTransformSize’は、最小変換単位サイズであるので、それらのうち小さい値が、現在の符号化単位で決定可能な最小変換単位サイズ‘CurrMinTuSize’である。

一実施形態による基本変換単位サイズ‘RootTuSize’は、予測モードによって変わる。

例えば、現在の予測モードがインターモードであれば、‘RootTuSize’は、下記の数式（２）によって決定される。数式（２）において、‘MaxTransformSize’は、最大変換単位サイズを表し、‘PUSize’は、現在の予測単位サイズを表す。

RootTuSize=min(MaxTransformSize, PUSize) （２）
すなわち、現在の予測モードがインターモードであれば、変換単位分割情報が０である場合の変換単位である基本変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在の予測単位サイズのうち小さい値に設定される。

現在のパーティション単位の予測モードがイントラモードであれば、‘RootTuSize’は、下記の数式（３）によって決定される。‘PartitionSize’は、現在のパーティション単位のサイズを表す。

RootTuSize=min(MaxTransformSize, PartitionSize) （３）
すなわち、現在の予測モードがイントラモードであれば、基本変換単位サイズ‘RootTuSize’は、最大変換単位サイズ及び現在のパーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変わる一実施例による現在の最大変換単位サイズである基本変換単位サイズ‘RootTuSize’は、一実施例であるのみ、現在の最大変換単位サイズを決定する要因が、それに限定されるものではないことに留意しなければならない。

以下、図１のビデオ符号化装置１００のエントロピー符号化部１２０で行われる構文要素のエントロピー符号化過程、及び図２のビデオ復号化装置２００のエントロピー復号化部２２０で行われる構文要素のエントロピー復号化過程について詳細に説明する。

前述したように、本発明の一実施形態によるビデオ符号化装置１００及びビデオ復号化装置２００は、最大符号化単位よりも小さいか、それと同じ符号化単位に最大符号化単位を分割して、符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立してコストに基づいて決定される。このように、最大符号化単位に含まれた階層的構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、当該階層的構造のデータ単位の構造情報を表す情報である階層情報、及び階層情報以外に復号化のための階層外情報が伝送される必要がある。

階層的構造に係る情報は、図１０ないし図１２で説明したツリー構造の符号化単位、ツリー構造の予測単位、及びツリー構造の変換単位を決定するために必要な情報であって、最大符号化単位のサイズ、符号化深度、予測単位のパーティション情報、符号化単位の分割如何を表す分割フラグ、変換単位のサイズ情報、変換単位の分割如何を表す変換単位分割フラグ(TU size flag)などを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数のようなテクスチャ情報などを含む。以下の説明において、復号化のために伝送される階層情報及び階層外情報は、エントロピー符号化の対象である構文要素と呼ばれる。

図１４は、本発明の一実施形態によるエントロピー符号化装置の構成を示すブロック図である。図１４のエントロピー符号化装置１４００は、図１のビデオ符号化装置１００のエントロピー符号化部１２０に対応する。

図１４を参照すれば、一実施形態によるエントロピー符号化装置１４００は、二進化部１４１０、コンテキストモデラー１４２０、及び二進算術符号化部１４３０を備える。また、二進算術符号化部１４３０は、レギュラーコーディング部１４３２と、バイパスコーディング部１４３４とを備える。

エントロピー符号化装置１４００に入力される構文要素は、二進値ではないことがあるので、構文要素が二進値ではない場合、二進化部１４１０は、構文要素を二進化して、０または１の二進値で構成されたビン（Ｂｉｎ）ストリングを出力する。ビンは、０または１で構成されたストリームの各ビットを表すものであって、各ビンは、ＣＡＢＡＣ(Context Adaptive Binary Arithmetic Coding)を通じて符号化される。構文要素が０と１の頻度の同一なデータであれば、確率値を利用しないバイパスコーディング部１４３４に出力されて符号化される。

コンテキストモデラー１４２０は、レギュラーコーディング部１４３２に、現在の符号化シンボルについての確率モデルを提供する。具体的に、コンテキストモデラー１４２０は、現在の符号化シンボルの二進値を符号化するための二進値の発生確率を、二進算術符号化部１４３０に出力する。現在の符号化シンボルとは、符号化される現在の構文要素を二進化、すなわち、二進値で構成した時の各二進値を表す。

本発明の一実施形態によるコンテキストモデラー１４２０は、現在の符号化単位の符号化される第１構文要素のためのコンテキストモデルを決定するために、同一な現在の符号化単位内で利用可能な第１構文要素とは異なる第２構文要素の情報に基づいて、第１構文要素に適用されるコンテキストモデルを決定する。従来のＨ．２６４標準などでは、現在のブロックの所定の構文要素についてのコンテキストモデルを決定するために、前記所定の構文要素と同一な構文要素についての情報を、周辺ブロックから獲得して、現在のブロックの所定の構文要素に適用されるコンテキストを決定した。しかし、かかる従来のエントロピー符号化のためのコンテキストモデルを決定するためには、周辺ブロックから、同一な類型の構文要素を獲得しなければならないので、システム上で所定のメモリに、当該周辺ブロックの構文要素が保存されなければならず、現在のブロックの構文要素のエントロピー符号化のためのコンテキストモデルの決定時、当該メモリにアクセスを行わなければならなかった。しかし、一実施形態によるコンテキストモデラー１４２０は、周辺符号化単位の情報を利用するものではなく、現在の符号化単位で利用可能な他の第２構文要素を利用して、第１構文要素のエントロピー符号化のためのコンテキストモデルを選択することによって、メモリアクセス回数を減らすだけでなく、構文要素を保存するためのメモリを減らすことができる。

また、後述するように、一実施形態によるコンテキストモデラー１４２０は、周辺符号化単位から、現在のエントロピー符号化される第１構文要素と同一な類型の構文要素を獲得し、現在の符号化単位から獲得された第２構文要素と、周辺符号化単位の第１構文要素とを組み合わせて、現在の符号化単位の第１構文要素をエントロピー符号化するためのコンテキストモデルを決定する。

コンテキストモデルは、ビンについての確率モデルであって、０と１のうちどちらの値がＭＰＳ(Most Probable Symbol)及びＬＰＳ(Least Probable Symbol)に該当するかについての情報と、ＭＰＳまたはＬＰＳの確率とを含む。

レギュラーコーディング部１４３２は、コンテキストモデラー１４２０から提供されたＭＰＳ及びＬＰＳについての情報と、ＭＰＳまたはＬＰＳの確率情報とに基づいて、現在の符号化シンボルについての二進算術符号化を行う。

以下、図１４のコンテキストモデラー１４２０で行われる構文要素のエントロピー符号化のためのコンテキストモデルの決定過程について詳細に説明する。

図１５は、図１４のコンテキストモデラー１４２０の具体的な構成を示すブロック図である。図１５を参照すれば、一実施形態によるコンテキストモデラー１４２０は、付加情報獲得部１４２１と、確率モデル決定部１４２２とを備える。

付加情報獲得部１４２１は、現在のデータ単位の第１構文要素をエントロピー符号化する時に利用可能な現在の符号化単位の第２構文要素についての情報を獲得する。例えば、第２構文要素は、現在のデータ単位のサイズ情報、現在のデータ単位よりも大きい上位階層のデータ単位との関係で、前記第１構文要素が含まれた現在のデータ単位の相対的なサイズを表す情報、データ単位が属するカラーピクチャのカラー類型情報、予測モード情報などを含み、第１構文要素がエントロピー符号化される時点で利用可能な現在の符号化単位の付加情報である。

確率モデル決定部１４２２は、獲得された第２構文要素についての付加情報に基づいて、第１構文要素のエントロピー符号化に利用されるコンテキストモデルを決定する。具体的に、確率モデル決定部１４２２は、現在の符号化される第１構文要素のエントロピー符号化のために利用可能な第２構文要素が、ａ（ａは、正の整数）個の状態値を有するとする時、第２構文要素の状態値によって、ａ個のコンテキストモデルのうち一つを表すコンテキストインデックスを決定することによって、現在の符号化単位の第１構文要素のエントロピー符号化に利用されるコンテキストモデルを決定する。例えば、現在の符号化される第１構文要素が属する現在のデータ単位のサイズが２×２，４×４，８×８，１６×１６，３２×３２，６４×６４の全部で五つの状態値を有し、かかるデータ単位のサイズを第２構文要素として利用する場合を仮定すれば、確率モデル決定部１４２２は、第２構文要素であるデータ単位のサイズによって、五つ以下のコンテキストモデルを設定し、現在の第２構文要素、すなわち、現在のデータ単位のサイズに基づいて、現在の第１構文要素のエントロピー符号化時に利用されるコンテキストモデルを表すコンテキストインデックスを決定して出力する。

また、一実施形態による確率モデル決定部１４２２は、複数個の第２構文要素を利用して、現在の符号化単位の第１構文要素をエントロピー符号化するためのコンテキストモデルを決定する。具体的に、コンテキストモデルの決定に利用される第２構文要素の個数をｎ（ｎは、整数）、ｎ個の第２構文要素それぞれが有する状態値の個数をａ_ｉ（ｉは、１からｎまでの整数）とする時、第２構文要素の状態値の組み合わせの個数であるａ_１＊ａ_２＊…＊ａ_ｎに基づいて、複数個のコンテキストモデルのうち、第１構文要素のエントロピー符号化に利用される一つのコンテキストモデルを決定する。

一例として、変換単位内に、０ではない変換係数が存在するか否かを表すフラグであるＣＢＦフラグｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが、１２個のコンテキストモデルを有すると仮定する時、現在の変換単位のＣＢＦフラグのエントロピー符号化のためのコンテキストモデルは、現在の変換単位が属するピクチャのカラー成分情報と、現在の変換単位のサイズ情報とに基づいて決定される。カラー成分情報は、Ｙ、Ｃｂ及びＣｒのうち一つであり、カラー成分を表すインデックスｃｏｌｏｒ＿ｔｙｐｅ＿ｉｎｄｅｘは、Ｙ、Ｃｂ及びＣｒそれぞれに対して、０、１及び２に設定されると仮定する。また、変換単位のサイズを表すインデックスＴＵ＿Ｂｌｏｃｋ＿ｓｉｚｅ＿ｉｎｄｅｘが、４×４，８×８，１６×１６，３２×３２に対して、それぞれ０、１、２及び３に設定されたと仮定する。その場合、確率モデル決定部１４２２は、次の数式；ＣｔｘＩｄｘ＝ｃｏｌｏｒ＿ｔｙｐｅ＿ｉｎｄｅｘ＊４＋ＴＵ＿Ｂｌｏｃｋ＿ｓｉｚｅ＿ｉｎｄｅｘによって、現在の変換単位のＣＢＦフラグをエントロピー符号化するためのコンテキストモデルを表すコンテキストインデックスＣｔｘＩｄｘを、他の構文要素であるカラー成分を表すインデックスｃｏｌｏｒ＿ｔｙｐｅ＿ｉｎｄｅｘ、及び変換単位のサイズを表すインデックスＴＵ＿Ｂｌｏｃｋ＿ｓｉｚｅ＿ｉｎｄｅｘを利用して獲得する。前述したように、同一な現在の符号化単位内の他の構文要素情報を利用して、コンテキストモデルを選択することによって、メモリアクセス回数及び必要なメモリのサイズを減らすことができる。

前述した例では、ＣＢＦフラグの場合、変換単位のサイズ情報と、カラー成分情報とを利用する場合を例示したが、エントロピー符号化される第１構文要素と、コンテキストモデルの選択のために利用される第２構文要素は、現在の利用可能なデータ単位の付加情報を利用して多様に設定可能である。

また、付加情報獲得部１４２１は、現在のデータ単位の付加情報以外に、現在のデータ単位の周辺データ単位から、現在のエントロピー符号化される第１構文要素と同一な類型の第１構文要素を獲得する。確率モデル決定部１４２２は、周辺符号化単位から獲得された第１構文要素と、現在の符号化単位の他の第２構文要素とを利用して、現在のデータ単位の第１構文要素のエントロピー符号化のための確率モデルを決定する。例えば、現在のデータ単位の符号化される第１構文要素を、現在のデータ単位の分割如何を表す分割フラグであると仮定する。その場合、確率モデル決定部１４２２は、左側または上側の周辺データ単位から、分割フラグを獲得し、周辺のデータ単位の分割フラグｓｐｌｉｔ＿ｆｌａｇ＿ｎｅｉｇｈｂｏｒと、現在のデータ単位の利用可能な分割フラグとを除いた他の構文要素、例えば、現在のデータ単位の深度を第２構文要素として利用して、現在のデータ単位の分割フラグのエントロピー符号化のためのコンテキストモデルを、次の数式；ｃｔｘＩｄｘ＝ｓｐｌｉｔ＿ｆｌａｇ＿ｌｅｆｔ＋（ｄｅｐｔｈ＞＞１）を通じて選択する。一方、付加情報獲得部１４２１は、現在のデータ単位の第１構文要素のエントロピー符号化のために、周辺データ単位から同一な類型の第１構文要素についての情報を獲得する時、望ましくは、現在のデータ単位の左側に隣接した周辺データから、当該第１構文要素についての情報を獲得することが望ましい。なぜならば、データ単位に係る情報は、一般的にバッファに／からライン単位で保存されて読み出されるので、現在のデータ単位と、上側に隣接した周辺データ単位との第１構文要素情報を利用するよりは、現在のデータ単位と、左側に隣接した周辺データ単位とから第１構文要素情報を獲得することが、バッファのサイズを減少させるので望ましい。また、ラスタースキャンなどの処理順序を考慮する時、上側の周辺データ単位の情報を、現在のデータ単位の第１構文要素のエントロピー符号化のために利用するよりは、現在のデータ単位と同一なラインに位置し、かつ現在のデータ単位以前に処理された左側に隣接した周辺データ単位の情報を利用することが、バッファのサイズを縮小させるので望ましい。

他の例として、第１構文要素として、図１ないし図１３で前述した階層的な符号化単位の情報をエントロピー符号化する過程を説明する。

図１６は、本発明の一実施形態による階層的構造のデータ単位と、階層的構造のデータ単位分割情報とを示す。データ単位は、前述した符号化単位、予測単位及び変換単位のうちいずれであってもよい。

前述したように、本発明の一実施形態によれば、階層的構造の符号化単位、予測単位及び変換単位を利用して符号化が行われる。図１６において、最上位レベルであるレベル０のＮ×Ｎサイズのデータ単位１６００が、一ステップの下位レベルであるレベル１のデータ単位３１ａ，３１ｂ，３１ｃ，３１ｄに分割され、レベル１の一部のデータ単位３１ａ，３１ｄは、それぞれさらに一ステップの下位レベルであるレベル２のデータ単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割された場合を示す。かかるデータ単位の階層的構造を表すためのシンボルとして、それぞれのデータ単位が一ステップ下位レベルのデータ単位に分割されるか否かを表す分割フラグが利用される。例えば、現在のデータ単位についての分割フラグが１であれば、現在のデータ単位が下位レベルのデータ単位に分割されることを表し、分割フラグが０であれば、それ以上分割されないことを表す。

レベル０のデータ単位から分割されたデータ単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈが階層的構造を形成することによって、それぞれのデータ単位についての分割情報も、階層的構造を形成する。すなわち、階層的構造のデータ単位分割情報３３は、最上位レベル０のデータ単位分割情報３４、レベル１のデータ単位分割情報３５ａ，３５ｂ，３５ｃ，３５ｄ、及びレベル２のデータ単位分割情報３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｆ，３６ｇ，３６ｈを含む。

階層的構造のデータ単位分割情報３３のうち、レベル０のデータ単位分割情報３４は、最上位レベル０のデータ単位が分割されることを表す。同様に、レベル１の一部のデータ単位分割情報３５ａ，３５ｄは、それぞれレベル１のデータ単位３１ａ，３１ｄが、レベル２のデータ単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈに分割されることを表す。

レベル１の一部のデータ単位３１ｂ，３１ｃは、それ以上分割されず、ツリー構造で子ノードが存在しないリーフノードに該当する。同様に、レベル２のデータ単位３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈは、それ以上下位レベルのデータ単位に分割されないリーフノードに該当する。

このように、上位レベルのデータ単位が、下位レベルのデータ単位に分割されるか否かを表す分割フラグは、データ単位の階層的構造を表すシンボルとして利用される。

かかるデータ単位の階層的構造を表す分割フラグをエントロピー符号化する時、一実施形態によるエントロピー符号化部１２０は、全てのノードのデータ単位の分割フラグをエントロピー符号化するか、または子ノードを有していないリーフノードに該当するデータ単位の分割フラグのみをエントロピー符号化する。

図１７Ａ及び図１７Ｂは、本発明の一実施形態によって、データ単位の階層的構造を表すシンボルを示す参照図である。

図１７Ａ及び図１７Ｂにおいて、フラグは、図１６のツリー構造３３で各ノードのデータ単位が、下位レベルのデータ単位に分割されるか否かを表すデータ単位の分割フラグであると仮定する。図１７Ａを参照すれば、一実施形態によるエントロピー符号化部１２０は、データ単位の階層的構造を表すシンボルとして、全てのレベルのデータ単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈについての分割フラグ情報ｆｌａｇ０，ｆｌａｇ１ａ，ｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ１ｄ，ｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄ，ｆｌａｇ２ｅ，ｆｌａｇ２ｆ，ｆｌａｇ２ｇ，ｆｌａｇ２ｈをいずれもエントロピー符号化する。また、エントロピー符号化部１２０は、図１７Ｂに示したように、子ノードを有していないリーフノードに該当するデータ単位の分割フラグ情報ｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄ，ｆｌａｇ２ｅ，ｆｌａｇ２ｆ，ｆｌａｇ２ｇ，ｆｌａｇ２ｈのみをエントロピー符号化する。なぜならば、下位レベルのデータ単位分割フラグ情報の存在如何によって、上位レベルのデータ単位の分割如何が決定されるためである。例えば、図１７Ｂにおいて、レベル２のデータ単位３６ａ，３６ｂ，３６ｃ，３６ｄの分割フラグｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄが存在する場合、レベル２のデータ単位３６ａ，３６ｂ，３６ｃ，３６ｄの上位レベルであるレベル１のデータ単位３５ａは、当然のこととして下位レベルであるレベル２のデータ単位に分割されなければならないので、別途にレベル１のデータ単位３５ａの分割フラグ情報ｆｌａｇ１ａは符号化される必要がない。

一実施形態によるビデオ復号化装置２００は、シンボル階層的な復号化モードによって、全てのレベルのデータ単位３０，３１ａ，３１ｂ，３１ｃ，３１ｄ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈについての分割フラグｆｌａｇ，ｆｌａｇ１ａ，ｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ１ｄ，ｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄ，ｆｌａｇ２ｅ，ｆｌａｇ２ｆ，ｆｌａｇ２ｇ，ｆｌａｇ２ｈをいずれも抽出して読み取ることによって、データ単位の階層的構造を決定する。また、一実施形態によるビデオ復号化装置２００は、リーフノードに該当するデータ単位３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃ，３２ｄ，３２ｅ，３２ｆ，３２ｇ，３２ｈについての分割フラグｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄ，ｆｌａｇ２ｅ，ｆｌａｇ２ｆ，ｆｌａｇ２ｇ，ｆｌａｇ２ｈのみが符号化された場合、抽出された分割フラグｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ２ａ，ｆｌａｇ２ｂ，ｆｌａｇ２ｃ，ｆｌａｇ２ｄ，ｆｌａｇ２ｅ，ｆｌａｇ２ｆ，ｆｌａｇ２ｇ，ｆｌａｇ２ｈに基づいて、符号化されていない残りのデータ単位の分割フラグｆｌａｇ０，ｆｌａｇ１ａ，ｆｌａｇ１ｂ，ｆｌａｇ１ｃ，ｆｌａｇ１ｄを決定することによって、データ単位の階層的構造を決定する。

コンテキストモデラー１４２０は、付加情報の組み合わせによる状態値に基づいて、データ単位の階層的構造を表す分割フラグをエントロピー符号化するための複数個のコンテキストモデルのうち一つのコンテキストモデルを決定する。

図１８Ａ及び図１８Ｂは、本発明の一実施形態によって、付加情報の組み合わせによってコンテキストモデルを決定するためのコンテキストインデックスの例示を示す図面である。

図１８Ａを参照すれば、コンテキストモデラー１４２０は、分割フラグが属するデータ単位の分割フラグを除いた利用可能な他の付加情報に基づいて、現在のデータ単位の分割フラグのエントロピー符号化に利用されるコンテキストモデルを決定する。コンテキストモデラー１４２０は、ｎ個の付加情報がそれぞれａ_ｉ（ａ_ｉは、整数、ｉは、１からｎまでの整数）個の状態値を有すると仮定すれば、コンテキストモデラー１４２０は、ａ_１×ａ_２×…×ａ_ｎ個の状態値の組み合わせによって決定されたコンテキストインデックスｃｔｘＩｄｘに基づいて、複数個のコンテキストモデルのうち、分割フラグのエントロピー符号化に利用するコンテキストモデルを決定する。図１８Ａに示したように、ａ_１×ａ_２×…×ａ_ｎの値がＳ_１，Ｓ_２，…，Ｓ_ｍの値を有すると仮定すれば、かかるｍ個の状態値Ｓ_１，Ｓ_２，…，Ｓ_ｍによって、一つのコンテキストインデックスが決定される。

また、コンテキストモデラー１４２０は、図１８Ｂに示したように、ｍ個の状態値Ｓ_１，Ｓ_２，…，Ｓ_ｍをグループ化して、付加情報の組み合わせ値によるコンテキストインデックスを決定する。

図１９は、本発明の一実施形態によるコンテキストモデルの一例を示す参照図である。

確率モデル決定部１４２２は、付加情報の組み合わせによって決定されたコンテキストインデックス情報を利用して、０と１の二進信号のうち、ＭＰＳ及びＬＰＳに該当する二進信号についての情報と、ＭＰＳまたはＬＰＳについての確率値情報とを決定して出力する。図１９を参照すれば、確率モデル決定部１４２２は、二進信号の発生確率をルックアップテーブル１９００の形態に備え、付加情報の組み合わせによって決定されたコンテキストインデックスｃｔｘＩｄｘに対応する確率値情報を、レギュラーコーディング部１４３２に出力する。具体的に、現在のデータ単位の付加情報の組み合わせに基づいて、現在のシンボルに適用されるコンテキストモデルを表すコンテキストインデックスｃｔｘＩｄｘが決定されれば、確率モデル決定部１４２２は、当該コンテキストインデックスに対応する発生確率表のインデックスｐＳｔａｔｅＩｄｘと、ＭＰＳに該当する二進信号とを決定する。また、コンテキストモデラー１４２０は、現在のデータ単位の付加情報と、現在のデータ単位と隣接した周辺データ単位の付加情報とを結合した組み合わせによって、同様に複数個のコンテキストのうち、現在のデータ単位の構文要素をエントロピー符号化するためのコンテキストモデルを決定する。

図２０は、本発明の一実施形態によるＭＰＳの発生確率値の一例を示す。

発生確率表は、ＭＰＳの確率値を表すものであって、発生確率表のインデックスｐＳｔａｔｅＩｄｘが指定されれば、当該ＭＰＳの確率値が決定される。例えば、コンテキストモデラー１４２０が、現在のシンボルの符号化に利用されるコンテキストモデルのインデックスの値を１に決定して出力すれば、確率モデル決定部１４２２は、図１９に示したコンテキストモデルのうち、コンテキストインデックス１に対応するインデックスｐＳｔａｔｅＩｄｘの値を７に決定し、ＭＰＳを０に決定する。また、確率モデル決定部１４２２は、図２０のように、インデックスｐＳｔａｔｅＩｄｘの値によって予め設定されたＭＰＳの確率値のうち、ｐＳｔａｔｅＩｄｘ＝７に対応するＭＰＳの確率値を決定する。ＭＰＳとＬＰＳの確率値の和は１であるので、ＭＰＳまたはＬＰＳのうち一つの確率値が決定されれば、残りの二進信号の確率値は決定される。

一方、確率モデル決定部１４２２は、レギュラーコーディング部１４３２で一つのビン（ｂｉｎ）を符号化する度に、ＭＰＳを符号化したか、ＬＰＳを符号化したかによって、インデックスｐＳｔａｔｅＩｄｘの値を更新することによって、二進信号の発生統計を考慮して、ＭＰＳ及びＬＰＳの確率値を更新する。例えば、確率モデル決定部１４２２は、レギュラーコーディング部１４３２の符号化結果を考慮して、ＭＰＳを符号化する時に更新後のインデックスｐＳｔａｔｅＩｄｘの値であるｔｒａｎｓＩｄｘＭＰＳを、ＬＰＳを符号化する時に更新後のインデックスｐＳｔａｔｅＩｄｘの値であるｔｒａｎＩｄｘＬＰＳを、所定のルックアップテーブルの形態に設定した後、符号化動作ごとにインデックスｐＳｔａｔｅＩｄｘの値を更新することによって、ＭＰＳの確率値を変更する。

レギュラーコーディング部１４３２は、ＭＰＳまたはＬＰＳに該当する二進信号情報及び確率値情報に基づいて、現在の構文要素についてのシンボルの二進信号をエントロピー符号化して出力する。

図２１は、図１４のレギュラーコーディング部１４３０で行われる二進算術符号化過程を説明するための図面である。図２１において、データ単位の階層的構造を表す分割フラグが二進値“０１０”であり、１の発生確率が０．２であり、０の発生確率が０．８であると仮定する。ここで、１及び０の発生確率は、二進値を符号化する度に更新されなければならないが、説明の便宜上、固定された確率値を仮定する。

図２１を参照すれば、二進値“０１０”のうち、最初のビン値“０”を符号化する場合、初期区間［０．０〜１．０］のうち、下端の８０％部分である［０．０〜０．８］が新たな区間として更新され、次のビン値“１”を符号化する場合、［０．０〜０．８］の上端の２０％部分である［０．６４〜０．８］が新たな区間として更新される。また、最後のビン値“０”を符号化する場合、［０．６４〜０．８］の下端の８０％部分である［０．６４〜０．７６８］が新たな区間として更新される。最終的な区間［０．６４〜０．７６８］の間に入る実数である０．７５に対応する二進数０．１１において、最初の０を除いた小数点以下の“１１”が、分割フラグの二進値“０１０”に対応するビットストリームに出力される。

図２２は、本発明の一実施形態によるエントロピー符号化方法を示すフローチャートである。図２２を参照すれば、ステップ２２１０において、階層的符号化部１１０は、階層的構造のデータ単位に基づいて、ビデオを符号化する。ステップ２２２０において、コンテキストモデラー１４２０は、エントロピー符号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、現在のデータ単位の第１構文要素のエントロピー符号化に利用されるコンテキストモデルを決定する。前述したように、第２構文要素の個数をｎ（ｎは、整数）、ｎ個の第２構文要素それぞれが有する状態値の個数をａ_ｉ（ｉは、１からｎまでの整数）とする時、コンテキストモデラー１４２０は、第２構文要素の状態値の組み合わせの個数であるａ_１＊ａ_２＊…＊ａ_ｎに基づいて決定されたコンテキストインデックスｃｔｘＩｄｘが表すコンテキストモデルを決定する。

ステップ２２３０において、レギュラーコーディング部１４３２は、決定されたコンテキストモデルを利用して、データ単位の第１構文要素をエントロピー符号化する。

図２３は、本発明の一実施形態によるエントロピー復号化装置の構成を示すブロック図である。図２３を参照すれば、エントロピー復号化装置２３００は、コンテキストモデラー２３１０、レギュラーデコーディング部２３２０、バイパスデコーディング部２３３０、及び逆二進化部２３４０を備える。エントロピー復号化装置２３００は、前述したエントロピー符号化装置１４００で行われるエントロピー符号化過程の逆過程を行う。

バイパスコーディングにより符号化されたシンボルは、バイパスデコーディング部２３３０に出力されて復号化され、レギュラーコーディングにより符号化されたシンボルは、レギュラーデコーディング部２３２０により復号化される。レギュラーデコーディング部２３２０は、コンテキストモデラー２３１０により提供されるコンテキストモデルに基づいて、現在の符号化シンボルの二進値を算術復号化する。

コンテキストモデラー２３１０は、前述した図１４のコンテキストモデラー１４２０と同様に、現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータの少なくとも一つ以上の第２構文要素に基づいて、現在のデータ単位の第１構文要素のエントロピー復号化に利用されるコンテキストモデルを決定する。前述したように、コンテキストモデラー２３１０は、現在のデータ単位と隣接した周辺データ単位から、現在のデータ単位の第１構文要素と同一な類型の第１構文要素についての情報を獲得し、周辺データ単位から獲得された第１構文要素と、現在のデータ単位から獲得された利用可能な第２構文要素とを利用して、現在のデータ単位の第１構文要素をエントロピー復号化するためのコンテキストモデルを決定する。

図２３のコンテキストモデラー２３１０の動作は、復号化側で行われるという点を除いて、図１４のコンテキストモデラー１４２０の動作と同一であるところ、具体的な説明は省略する。

逆二進化部２３４０は、レギュラーデコーディング部２３２０またはバイパスデコーディング部２３３０で復元されたビンストリングを、再び構文要素に復元する。

図２４は、本発明の一実施形態によるエントロピー復号化方法を示すフローチャートである。図２４を参照すれば、ステップ２４１０において、構文要素抽出部２１０は、符号化されたビットストリームをパージングして、階層的構造のデータ単位に基づいて符号化されたピクチャについての構文要素を抽出する。ステップ２４２０において、エントロピー復号化装置２３００のコンテキストモデラー２３１０は、エントロピー復号化される現在のデータ単位の第１構文要素とは異なる利用可能な現在のデータ単位の少なくとも一つ以上の第２構文要素に基づいて、現在のデータ単位の第１構文要素のエントロピー復号化に利用されるコンテキストモデルを決定する。前述したように、コンテキストモデラー２３１０は、かかる現在のデータ単位の第２構文要素情報以外に、現在のデータ単位と、左側または上側に隣接した周辺データ単位から、第１構文要素と同一な類型の第１構文要素を獲得し、現在のデータ単位から獲得された第２構文要素と組み合わせて、現在の符号化単位の第１構文要素をエントロピー復号化するためのコンテキストモデルを選択する。ステップ２４３０において、レギュラーデコーディング部２３２０は、決定されたコンテキストモデルを利用して、データ単位の構文要素をエントロピー復号化する。

本発明は、また、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式によって、コンピュータで読み取り可能なコードに保存されて実行される。

以上、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態で具現可能であるということを理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されなければならない。

Claims (2)

1. 符号化単位内に属する変換単位が分割されるか否かについての分割変換フラグをビットストリームから獲得するステップと、
   前記分割変換フラグに基づいて少なくとも一つの変換単位のサイズを決定するステップと、
   前記変換単位のサイズ及び前記変換単位が属したピクチャのカラー類型に基づいて、コンテキストモデルを決定するステップと、
   前記決定されたコンテキストモデルを利用して前記ビットストリームをエントロピー復号化することによって、前記変換単位のブロック内に０でない変換係数が存するかを表す変換係数フラグを抽出するステップと、
   前記変換係数フラグに基づいて、前記変換単位内の変換係数を獲得するステップとを含み、
   前記カラー類型は、輝度成分、第１色差成分及び第２色差成分のうち一つを指すカラーインデックス情報であり、
   前記エントロピー復号化は、前記決定されたコンテキストモデルに基づいて０と１のうちＭＰＳ(Most Probable Symbol)についての情報を獲得するステップとを含むことを特徴とするビデオ復号化方法。
2. 符号化単位内に属する変換単位が分割されるか否かについての分割変換フラグをビットストリームから獲得し、前記分割変換フラグに基づいて少なくとも一つの変換単位のサイズを決定し、前記変換単位のサイズ及び前記変換単位が属したピクチャのカラー類型に基づいて、コンテキストモデルを決定し、前記決定されたコンテキストモデルを利用して前記ビットストリームをエントロピー復号化することによって、前記変換単位のブロック内に０でない変換係数が存するかを表す変換係数フラグを抽出するエントロピー復号化部と、
   前記変換係数フラグに基づいて、前記変換単位内の変換係数を獲得する階層的復号化部とを備え、
   前記カラー類型は、輝度成分、第１色差成分及び第２色差成分のうち一つを指すカラーインデックス情報であり、
   前記エントロピー復号化部は、前記決定されたコンテキストモデルに基づいて０と１のうちＭＰＳ(Most Probable Symbol)についての情報を獲得することを特徴とするビデオ復号化装置。

Images