JP5891329B2 - ビデオ復号化方法及び装置 - Google Patents

Description

本発明は、空間領域と変換領域との変換を行うビデオ符号化及び復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、マクロブロックを同一サイズのブロックを利用して、変換及び逆変換を行ってビデオデータを符号化／復号化する。

本発明は、空間領域と変換領域との変換を行うビデオ符号化及び復号化に関する。

本発明の一実施形態による変換インデックスを利用するビデオ符号化方法は、ビデオの現在ピクチャを符号化するためのデータ単位である符号化単位のうち現在符号化単位の変換を行うための変換単位を決める段階と、前記現在符号化単位を符号化するために、前記変換単位に基づいた変換を行う段階と、前記現在符号化単位の符号化されたデータ、前記現在符号化単位の符号化されたデータの符号化モードを示す符号化モード情報、及び前記変換単位の構造を示す変換インデックス情報を出力する段階と、を含む。

本発明の実施形態によるビデオ符号化装置及び実施形態によるビデオ復号化装置は、一実施形態による変換インデックスを利用することにより、多様なサイズ及び形態の符号化単位に基づいたビデオ符号化及び復号化の過程で、変換及び逆変換を行うのに必要なツリー構造による変換単位の多様なサイズ及び形態を決めるための情報を効率的に符号化／復号化することができる。

本発明の一実施形態によって、変換インデックスを利用するビデオ符号化装置のブロック図である。 本発明の一実施形態によって、変換インデックスを利用するビデオ復号化装置のブロック図である。 第１実施形態による変換単位の構造及び変換インデックスを図示する図面である。 第２実施形態による変換単位の構造及び変換インデックスを図示する図面である。 第２実施形態による変換インデックスの使用例を図示する図面である。 第２実施形態による変換インデックスの使用例を図示する図面である。 本発明の一実施形態による変換インデックスを利用ビデオ符号化方法のフローチャートである。 本発明の一実施形態による変換インデックスを利用ビデオ復号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造による符号化単位及び変換インデックスを利用するビデオ符号化装置のブロック図である。 本発明の一実施形態による、ツリー構造による符号化単位及び変換インデックスを利用するビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図ある。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ符号化方法のフローチャートである。 本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ復号化方法のフローチャートである。

本発明の一実施形態による変換インデックスを利用するビデオ符号化方法は、ビデオの現在ピクチャを符号化するためのデータ単位である符号化単位のうち、現在符号化単位の変換を行うための変換単位を決める段階と、前記現在符号化単位を符号化するために、前記変換単位に基づいた変換を行う段階と、前記現在符号化単位の符号化されたデータ、前記現在符号化単位の符号化されたデータの符号化モードを示す符号化モード情報、及び前記変換単位の構造を示す変換インデックス情報を出力する段階と、を含む。

本発明の一実施形態による変換インデックスを利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する段階と、前記パージングされたビットストリームから、前記符号化されたビデオの現在ピクチャを符号化するためのデータ単位である符号化単位のうち、現在符号化単位の符号化されたデータ、前記現在符号化単位の符号化されたデータの符号化モードを示す符号化モード情報、及び前記現在符号化単位の変換を行うための変換単位の構造を示す変換インデックス情報を抽出する段階と、前記符号化されたデータを復号化するために、前記変換インデックス情報に基づいて構成された変換単位に基づいて、前記現在符号化単位の逆変換を行う段階と、を含む。

本発明の一実施形態による変換インデックスを利用するビデオ符号化装置は、ビデオの現在ピクチャを符号化するためのデータ単位である符号化単位のうち、現在符号化単位の変換を行うための変換単位を決める変換単位決定部と、前記現在符号化単位を符号化するために、前記変換単位に基づいた変換を行う符号化部と、前記現在符号化単位の符号化されたデータ、前記現在符号化単位の符号化されたデータの符号化モードを示す符号化モード情報、及び前記変換単位の構造を示す変換インデックス情報を出力する符号化データ出力部と、を含む。

本発明の一実施形態による変換インデックスを利用するビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記パージングされたビットストリームから、前記符号化されたビデオの現在ピクチャを符号化するためのデータ単位である符号化単位のうち、現在符号化単位の符号化されたデータ、前記現在符号化単位の符号化されたデータの符号化モードを示す符号化モード情報、及び前記現在符号化単位の変換を行うための変換単位の構造に係わる変換インデックス情報を抽出する抽出部と、前記符号化されたデータを復号化するために、前記変換インデックス情報に基づいて構成された変換単位に基づいて、前記現在符号化単位の逆変換を行う復号化部と、を含む。

本発明の一実施形態によるツリー構造による符号化単位及び変換インデックスを利用するビデオ符号化装置は、前記現在ピクチャを最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割する最大符号化単位分割部と、前記最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに符号化結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立している符号化深度の符号化単位で構成されるツリー構造による符号化単位を決定し、前記ツリー構造による符号化単位のうち、現在符号化単位の変換を行うための変換単位を決定し、前記変換単位に基づいた変換を含み、前記現在符号化単位を符号化する符号化単位決定部と、前記最大符号化単位ごとに、前記ピクチャの符号化データ、前記ツリー構造による符号化単位の符号化深度及び符号化モードについての情報、及び前記符号化深度の符号化単位の変換単位の構造に係わる変換インデックス情報を符号化して出力する出力部と、を含む。

本発明の一実施形態によるツリー構造による符号化単位及び変換インデックスを利用するビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記パージングされたビットストリームから、ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、前記ピクチャの符号化データ、符号化深度及び符号化モードについての情報、及び前記符号化深度の符号化単位の符号化単位の変換を行うための変換単位の構造に係わる変換インデックス情報を抽出する映像データ及び符号化情報抽出部と、前記復号化段階は、前記最大符号化単位ごとに、前記変換インデックス情報に基づいて構成された変換単位に基づいて、前記符号化深度の符号化単位の逆変換を行い、前記符号化されたデータを復号化する映像データ復号化部と、を含み、前記ツリー構造による符号化単位は、前記最大符号化単位が符号化されるとき、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成された深度別符号化単位のうち、符号化結果を出力するように決定された符号化深度の符号化単位を含む。

本発明は、本発明の一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明は、本発明のビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

以下、本明細書に記載した本発明の多様な実施形態で、「単位」は、文脈によって、大きさの単位でもあり、そうではないこともある。また、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称することができる。

以下、本明細書に記載した本発明の多様な実施形態で、「符号化単位」は、符号化端で、映像を符号化するための符号化対象であるデータ単位であり、復号化端では、符号化された映像データを復号化するための符号化されたデータ単位であってもよい。また、「符号化深度」は、符号化単位が符号化される深度を示す。

以下、図１ないし図８を参照し、一実施形態によって、ツリー構造による変換単位に基づいて、変換インデックスを利用するビデオの符号化及び復号化を開示する。以下、図９ないし図２３を参照し、本発明の一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオの符号化及び復号化を開示する。

以下、図１ないし図８を参照し、一実施形態による変換インデックスを利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について詳述する。

図１は、本発明の一実施形態による変換インデックスを利用するビデオ符号化装置のブロック図である。一実施形態による変換インデックスを利用するビデオ符号化装置１０は、変換単位決定部１２、符号化部１４及び符号化データ出力部１６を含む。以下、説明の便宜のために、一実施形態による変換インデックスを利用するビデオ符号化装置１０を、「ビデオ符号化装置１０」と略称して呼ぶ。ビデオ符号化装置１０の変換単位決定部１２、符号化部１４及び符号化データ出力部１６の動作は、ビデオエンコーディング・プロセッサ、中央プロセッサ、グラフィック・プロセッサなどによって、有機的に制御されもする。

一実施形態によるビデオ符号化装置１０は、入力されたビデオのうち現在ピクチャを符号化するため、現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。以下、現在ピクチャの符号化のためのデータ単位を「符号化単位」と呼ぶ。一実施形態によるビデオ符号化装置１０は、符号化単位別に、インター予測、イントラ予測を含む予測符号化、変換及び量子化及びエントロピー符号化を行うことにより、現在ピクチャの符号化を行うことができる。

一実施形態による変換単位決定部１２は、現在ピクチャの符号化単位のうち、現在符号化単位の変換を行うためのデータ単位である変換単位を決定する。一実施形態による変換単位は、現在符号化単位に含まれ、現在符号化単位より小さいか、あるいは同じサイズのデータ単位に決定されてもよい。一実施形態による変換単位決定部１２は、現在符号化単位の高さ及び幅を半分にして変換単位を生成することができる。

一実施形態による変換単位決定部１２は、変換単位の高さ及び幅をさらに半分にし、下位レベルの変換単位を生成することができる。一実施形態による変換単位決定部１２は、全ての変換単位を下位レベルの変換単位に分割することにより、現在符号化単位が、いずれも同一サイズの変換単位に分割されもする。全ての変換単位の高さ及び幅が半分にされることにより、現在符号化単位が、４の累乗の個数の同一サイズの変換単位に分割される。

一実施形態による変換単位決定部１２は、現在符号化単位の変換のための変換単位として、ツリー構造による変換単位を決定することができる。一実施形態によるツリー構造の変換単位は、現在符号化単位内の変換単位のうち、変換結果を出力するように決定された最終変換単位を含む。

一実施形態による変換単位決定部１２は、ツリー構造による変換単位を決定するため、現在符号化単位内の変換単位のうち、所定変換単位の高さ及び幅を反復して半分にし、下位レベルの変換単位を生成することができる。また、一実施形態による変換単位決定部１２は、それぞれの変換単位を下位レベルの変換単位に分割するか否かは、同一レベルの他の変換単位とは独立して決定することができる。

一実施形態による変換単位決定部１２は、現在符号化単位に含まれる他の階層的構造の全てのレベルの変換単位について、それぞれのレベルの変換単位ごとに変換を反復して行い、変換による誤差が最小化されるレベルの変換単位を選択することができる。最小誤差が生じるレベルの変換単位が、変換結果が出力される最終変換単位に決定されてもよい。これにより、一実施形態による変換単位決定部１２は、変換結果を出力するように決定された最終変換単位が含まれた一実施形態によって、ツリー構造による変換単位を決定することができる。

一実施形態による符号化部１４は、現在符号化単位の残差データを生成し、変換単位決定部１２によって決定された変換単位に基づいて、残差データに対する変換を行うことにより、現在符号化単位を符号化する。一実施形態によるビデオ符号化のための「変換」は、ビデオの空間領域のデータを、変換領域のデータに変換するためのデータ処理技法を指す。一実施形態による符号化部１４が、ビデオ符号化のために行う変換は、周波数変換、直交変換、定数変換などを含んでもよい。

一実施形態による符号化データ出力部１６は、現在符号化単位の符号化されたデータ、符号化モードについての情報、及び変換インデックス情報を出力する。

一実施形態による符号化モードについての情報は、現在符号化単位を符号化するために利用された各種方式などについての情報を含んでもよい。

一実施形態による変換インデックス情報は、現在符号化単位を変換するのに利用された変換単位の構造に係わる情報を示すことができる。例えば、一実施形態による変換インデックス情報は、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位のサイズ及び形態についての情報を含んでもよい。

一実施形態による変換インデックス情報は、現在変換単位が、下位レベルの変換単位に分割されるか否かを示すことができる。例えば、一実施形態による変換インデックス情報として、変換単位が、下位レベルの変換単位に分割されるか否かを示す１ビットのデータである変換単位分割ビットが利用されもする。

第１実施形態による変換インデックス情報は、現在符号化単位が均一なサイズの変換単位に分割されるか否かを示すことができる。例えば、第１実施形態による変換インデックス情報は、現在符号化単位の高さ及び幅が１回ずつ半分にされ、４個の変換単位に分割されるか、２回ずつ半分にされて１６個の変換単位に分割されるかを示すことができる。すなわち、第１実施形態による変換インデックス情報は、現在符号化単位が分割された同一サイズの変換単位の４の累乗の個数を示すことができる。

第２実施形態による変換インデックス情報は、現在符号化単位が、一実施形態によるツリー構造によって、多様なサイズの変換単位に分割されるか否かを示すことができる。

変換単位のサイズは、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて決定されてもよい。例えば、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変わりもする。

例えば、現在変換単位が、同一サイズを有する変換単位に分割されるならば、変換単位の現在サイズは、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて決定されてもよい。他例として、現在符号化単位が、ツリー構造によって、多様なサイズを有する変換単位に分割されるならば、現在変換単位のサイズが、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて決定されてもよい。

一実施形態によって、変換単位の最大サイズは、現在符号化単位のサイズと同一でもある。他の例によれば、変換単位の最大サイズは、現在予測単位タイプまたは現在パーティションタイプによって決定されてもよい。例えば、現在変換単位に許容される最大サイズは、現在予測単位または現在パーティションに含まれる最大サイズの正方形のサイズを示すことができる。

例えば、第２実施形態による変換インデックス情報は、現在符号化単位が、ツリー構造による変換単位に分割されるまで、それぞれのレベルの変換単位の変換単位分割ビットが羅列されたビット列として表現されもする。第２実施形態による変換単位インデックス情報は、互いに隣接する同一レベルの変換単位の変換単位分割ビットが、それぞれの変換単位のジグザグスキャンの順序に羅列されたビット列を含んでもよい。また、所定変換単位が、階層的構造の下位レベルの変換単位に分割される場合、第２実施形態による変換単位インデックス情報は、下位レベルの変換単位の変換単位分割ビットが、それぞれの変換単位のジグザグスキャンの順序に羅列されたビット列を含んでもよい。

図２は、本発明の一実施形態による変換インデックスを利用するビデオ復号化装置のブロック図である。一実施形態による変換インデックスを利用するビデオ復号化装置２０は、受信部２２、抽出部２４及び復号化部２６を含む。以下、説明の便宜のために一実施形態による変換インデックスを利用するビデオ復号化装置２０を、「ビデオ復号化装置２０」と略称して呼ぶ。ビデオ復号化装置２０の受信部２２、抽出部２４及び復号化部２６の動作は、ビデオデコーディング・プロセッサ、グラフィック・プロセッサ、中央プロセッサなどによって有機的に制御される。

ビデオ復号化装置２０は、入力されたビデオのうち、現在ピクチャを符号化するため、現在ピクチャの符号化単位別に、エントロピー復号化、逆量子化、逆変換及びインター予測／補償、並びにイントラ予測／補償を含む予測復号化を行うことにより、現在ピクチャの復号化を行うことができる。

一実施形態による受信部２２は、符号化されたビデオに係わるビットストリームを受信してパージングする。一実施形態による抽出部２４は、受信部２２によってパージングされたビットストリームから、現在ピクチャの符号化単位の符号化されたデータ、符号化モードについての情報及び現在符号化単位の変換インデックス情報を抽出する。

一実施形態による復号化部２６は、抽出部２４によって抽出された変換インデックス情報に基づいて、現在符号化単位の変換単位を構成し、変換単位に基づいて、現在符号化単位の逆変換を行いつつ、符号化されたデータを復号化する。符号化単位の復号化結果、現在ピクチャが復元される。

変換単位の概念は、図１及び一実施形態によるビデオ符号化装置１０を参照して説明した通りである。すなわち、一実施形態による変換単位は、現在符号化単位または上位レベルの変換単位の高さ及び幅が半分になった形態である。一実施形態による現在符号化単位内の全ての変換単位は、同一サイズであってもよい。他の実施形態による変換単位は、現在符号化単位のツリー構造による変換単位のうちの一つであり、変換単位のレベル別に反復して、下位レベルの変換単位に分割され、隣接する変換単位と独立して、下位レベルの変換単位に分割されもする。

一実施形態による復号化部２６は、一実施形態による変換単位インデックス情報に基づいて、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位のサイズ及び形態についての情報などを判読することができる。

一実施形態による復号化部２６は、変換インデックス情報に基づいて、現在変換単位が、下位レベルの変換単位に分割されるか否かを判読することができる。

一実施形態による復号化部２６は、第１実施形態による変換インデックスに基づいて、変換単位のレベルを判読することができる。この場合、現在符号化単位から最終レベルの変換単位まで、レベルごとに均一なサイズの変換単位に分割されるので、右一実施形態による復号化部２６は、変換インデックスに基づいて変換単位の最終レベルを決定し、現在符号化単位から最終レベルまで、上位レベルの全ての変換単位の高さ及び幅を折半することにより、同一サイズの最終レベルの変換単位が決定されてもよい。

第１実施形態による変換インデックスの場合、復号化部２６は、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて、変換単位のサイズを決定することができる。例えば、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変わりもする。

復号化部２６が、現在符号化単位を分割して同一サイズの変換単位を決定するならば、現在変換単位のサイズは、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて、決定されてもよい。また、現在符号化単位が、ツリー構造によって、多様なサイズを有する変換単位に分割する場合にも、現在変換単位のサイズは、変換インデックス、及び現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて、決定されてもよい。

一実施形態による復号化部２６は、第２実施形態による変換インデックス情報に基づいて、ツリー構造によって分割された変換単位を決定することができる。例えば、第２実施形態による変換インデックス情報のビット列は、それぞれのレベルの変換単位に係わる変換単位分割ビットのビット列を示すことができる。一実施形態による復号化部２６は、第２実施形態による変換インデックス情報のビット列を判読し、現在符号化単位を、隣接する同一レベルの変換単位同士は独立して分割し、所定レベルの変換単位は、下位レベルに反復して分割することにより、現在符号化単位が、ツリー構造によって分割された変換単位を決定することができる。

このとき、一実施形態による復号化部２６は、第２実施形態による変換単位インデックス情報において、互いに隣接する同一レベルの変換単位の変換単位分割ビットを判読し、上位レベルを、変換単位をジグザグスキャンの順序によって、下位レベルの変換単位に分割することができる。また、上位レベルの変換単位が、下位レベルの変換単位に分割される場合、一実施形態による復号化部２６は、上位変換単位が含む下位レベルの変換単位の変換単位分割ビットをジグザグスキャンの順序で判読することができる。

一実施形態による復号化部２６が、ビデオ復号化のために行う逆変換は、変換領域のデータを、空間領域のデータに変換するプロセスを指すことができる。一実施形態による復号化部２６の逆変換は、周波数逆変換、直交逆変換、定数逆変換などを含んでもよい。

一実施形態によるビデオ符号化装置１０及び一実施形態によるビデオ復号化装置２０は、一実施形態による変換インデックスを利用することにより、多様なサイズ及び形態の符号化単位に基づいたビデオ符号化及び復号化の過程で、変換及び逆変換を行うのに必要なツリー構造による変換単位の多様なサイズ及び形態を決定するための情報を効率的に符号化／復号化することができる。

図３は、第１実施形態による変換単位の構造及び変換インデックスを図示している。符号化単位ＣＵ０ ３０の変換のために、均一なサイズの変換単位で構成される第１実施形態による変換単位の構造として、変換インデックスによって、レベル０の変換単位グループ３２、レベル１の変換単位グループ３４、レベル２の変換単位グループ３６が開示されている。第１実施形態による変換インデックスは、符号化単位ＣＵＯ ３０から現在レベルの変換単位グループまで分割された回数、すなわち、レベル数を示す。

すなわち、レベル０の変換単位グループ３２は、符号化単位ＣＵＯ ３０の高さ及び幅が０回分割され、符号化単位ＣＵＯ ３０と同一サイズの変換単位ＴＵ０を含む。この場合、レベル０の変換単位グループ３２の変換インデックスは、０である。

レベル１の変換単位グループ３４は、符号化単位ＣＵＯ ３０の高さ及び幅が１回半分にされ、符号化単位ＣＵＯ ３０の高さ及び幅がそれぞれ半分である変換単位ＴＵ１０，ＴＵ１１，ＴＵ１２及びＴＵ１３を含む。この場合、レベル１の変換単位グループ３４の変換インデックスは、１である。

レベル２の変換単位グループ３６は、符号化単位ＣＵＯ ３０の高さ及び幅が２回半分にされ、符号化単位ＣＵＯ ３０の高さ及び幅がそれぞれ１／４である変換単位ＴＵ２０，ＴＵ２１，ＴＵ２２，ＴＵ２３，ＴＵ２４，ＴＵ２５，ＴＵ２６，ＴＵ２７，ＴＵ２８，ＴＵ２９，ＴＵ２Ａ，ＴＵ２Ｂ，ＴＵ２Ｃ，ＴＵ２Ｄ，ＴＵ２Ｅ及びＴＵ２Ｆを含む。この場合、レベル２の変換単位グループ３６の変換インデックスは、２である。

図４は、第２実施形態による変換単位の構造及び変換インデックスを図示している。符号化単位ＣＵ０ ３０の変換のために、ツリー構造による変換単位で構成される第２実施形態による変換単位の構造として、変換単位グループ４０が開示されている。第２実施形態による変換インデックスは、符号化単位ＣＵＯ ３０からツリー構造の変換単位を構成するまで、それぞれのレベルごとに、変換単位分割ビットのビット列として表現される。

すなわち、まず、符号化単位ＣＵ０ ３０と同一サイズのレベル０の変換単位から、レベル１の変換単位ＴＵ４０，ＴＵ４１，ＴＵ４２，ＴＵ４３に分割されるので、レベル１に係わる変換単位分割ビット１が生じ、変換インデックスに追加されもする。同一レベルの変換単位間では、ジグザグスキャンの順序で、変換単位分割ビットが羅列されるので、レベル０に係わる変換単位分割ビットは、変換単位ＴＵ４０，ＴＵ４１，ＴＵ４２，ＴＵ４３に係わる変換単位分割ビットの順序で羅列されもする。まず、変換単位ＴＵ４０及びＴＵ４１は、それ以上分割されないので、それぞれの変換単位分割ビット０と０とが順に生じ、変換インデックスに追加される。

レベル１の変換単位ＴＵ４２は、レベル２の変換単位ＴＵ５０，ＴＵ５１，ＴＵ５２，ＴＵ５３にさらに分割される。従って、レベル１の変換単位ＴＵ４２に係わる変換単位分割ビット１が生じる。現在レベルの変換単位が、下位レベルの変換単位に分割される場合、変換インデックスに、下位レベルの変換単位に係わる変換単位分割ビットが追加されもする。従って、レベル２の変換単位ＴＵ５０に係わる変換単位分割ビット０、レベル２の変換単位ＴＵ５１に係わる変換単位分割ビット１、レベル２の変換単位ＴＵ５２に係わる変換単位分割ビット０、レベル２の変換単位ＴＵ５３に係わる変換単位分割ビット０が順に変換インデックスに追加される。レベル２の変換単位ＴＵ５１は、レベル３の変換単位ＴＵ６０，ＴＵ６１，ＴＵ６２，ＴＵ６３にさらに分割されるが、レベル３の変換単位が、最小変換単位または最小単位であるので、それ以上分割されない。

すなわち、現在レベルの変換単位に係わる変換単位分割ビットが１であり、下位レベルの変換単位が、最小変換単位または最小単位ではないならば、現在レベルの変換単位に係わる変換単位分割ビットに続いて、下位レベルの変換単位に係わる変換単位分割ビットが連続して羅列されもする。

最後に、レベル１の変換単位ＴＵ４３は、それ以上分割されないので、変換単位分割ビット０が、変換インデックスに追加される。

従って、最終的に符号化単位ＣＵ０ ３０に係わる第２実施形態による変換インデックスは、１，０，０，１，０，１，０，０，０に決定されてもよい。最後の下位レベルの変換単位に係わる変換単位分割ビットが連続して０であるならば、それ以上の下位レベルの変換単位に分割されないと解釈されもする。

このような方式で生じた変換単位分割ビットが、符号化単位と同一サイズのレベル０の変換単位から、互いに隣接する同一レベルの変換単位の変換単位分割ビットは、ジグザグスキャンの順序で羅列され、所定変換単位が、階層的構造の下位レベルの変換単位に分割される場合、下位レベルの変換単位の変換単位分割ビットがジグザグスキャンの順序で羅列され、第２実施形態による変換インデックスが決定される。

図５及び図６は、第２実施形態による変換インデックスの使用例を図示している。

図４を参照して説明したように、下位レベルの変換単位に、それ以上分割されない場合、それ以上の変換単位分割ビットが発生しないので、最小変換単位または最小単位のサイズによって、第２実施形態による変換インデックスが異なって設定されもする。

サイズ２Ｎｘ２Ｎの符号化単位５０の最小変換単位５２のサイズがＮｘＮである場合、符号化単位５０は、サイズＮｘＮの変換単位まで分割されるので、変換単位グループ５４のための符号化単位５０の変換インデックスは、１に設定される。

一方、サイズ２Ｎｘ２Ｎの符号化単位６０の最小変換単位６２のサイズが（Ｎ／２）ｘ（Ｎ／２）である場合、変換単位グループ６４のサイズＮｘＮの変換単位は、それぞれ１回ずつさらに分割される可能性がある。従って、変換単位グループ６４のための符号化単位６０の変換インデックスは、レベル０の変換単位に係わる変換単位分割ビット１だけではなく、変換単位グループ６４のレベル１の変換単位に係わる変換単位分割ビット０，０，０，０が追加して含まれる。

以上、図３ないし６を参照して説明した変換単位は、一実施形態によるビデオ符号化装置１０の変換単位決定部１２によって決定され、変換インデックスは、符号化データ出力部１４で符号化されもする。また、一実施形態によるビデオ復号化装置２０の抽出部２４は、変換インデックス情報を抽出し、復号化部２６は、変換インデックスを判読し、変換単位を構成して逆変換を行う。

図７は、本発明の一実施形態による変換インデックスを利用するビデオ符号化方法のフローチャートである。段階７２で、現在ピクチャの符号化単位のうち、現在符号化単位の変換を行うための変換単位が決定される。一実施形態による変換単位は、現在符号化単位に含まれるように、現在符号化単位より小さいか、あるいは同じサイズのデータ単位に決定されてもよいし、符号化単位の高さ及び幅が半分にされることより、変換単位が生成されもする。一実施形態による変換単位は、階層的構造を構成することができるので、上位変換単位の高さ及び幅が半分にされ、下位レベルの変換単位が生成される。例えば、現在符号化単位内の所定レベルの全ての変換単位が、下位レベルの変換単位に分割され、同一サイズの変換単位が４の累乗の個数ほど生成されもする。

一実施形態による変換単位は、現在符号化単位内の変換単位のうち、変換結果を出力するように決定された最終変換単位を含んでもよい。

一実施形態によって、階層的構造による変換単位は、ツリー構造による。現在符号化単位内の変換単位のうち、現在変換単位の高さ及び幅が反復して半分にされつつ、周辺領域の他の変換単位とは独立して分割いかんが決定され、下位レベルの変換単位が生成され、同一領域内のレベル別変換単位間では、階層的構造が形成されもする。このように生成された変換単位のうち、変換結果を出力するように最終変換単位が決定されることにより、一実施形態によるツリー構造による変換単位が構成されもする。

一実施形態によって、変換結果を出力する最終変換単位は、現在符号化単位に含まれる他の階層的構造の変換単位に対して、レベルごとに変換を反復して行い、その結果を比べて、それぞれの変換単位ごとに変換による誤差が最小化されるレベルの変換単位として選択されもする。

段階７４で、変換単位に基づいた変換を含み、現在符号化単位が符号化される。段階７６で、現在符号化単位の符号化されたデータ、符号化モードについての情報、及び変換インデックス情報が出力される。

一実施形態による変換単位の構造に係わる変換インデックス情報は、現在変換単位が、下位レベルの変換単位に分割されるか否かを示すことができる。一実施形態による変換単位の構造に係わる変換インデックス情報は、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位のサイズ及び形態などの情報を含んでもよい。

第１実施形態による変換インデックス情報は、現在符号化単位から最終レベルの変換単位までの分割された回数を示すレベルを示すことができる。それぞれのレベルの変換単位は、均一なサイズで構成されもする。

第２実施形態による変換インデックス情報は、現在符号化単位が反復して分割され、ツリー構造による変換単位を構成するまでの分割いかんを示すことができる。第２実施形態による変換インデックス情報は、それぞれのレベルの変換単位ごとに、下位レベルの変換単位に分割されるか否かを示す変換単位分割ビットが羅列されたビット列の形態であってもよい。変換単位インデックス情報のビット列は、互いに隣接する同一レベルの変換単位の変換単位分割ビットが、それぞれの変換単位のジグザグスキャンの順序で羅列された形態であってもよい。また、現在変換単位が、階層的構造の下位レベルの変換単位を含む場合には、下位レベルの変換単位の変換単位分割ビットが、当該下位レベルの変換単位のジグザグスキャンの順序によって羅列されるように、変換単位インデックス情報のビット列が決定されてもよい。

図８は、本発明の一実施形態による変換インデックスを利用するビデオ復号化方法のフローチャートである。段階８２で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。

段階８４で、パージングされたビットストリームから、現在ピクチャの現在符号化単位の符号化されたデータ、符号化モードについての情報、及び変換インデックス情報が抽出される。

段階８６で、変換インデックス情報に基づいて構成された変換単位に基づいて、現在符号化単位の逆変換を行い、符号化されたデータが復号化される。符号化単位別に復号化された結果、現在ピクチャが復元される。一実施形態による変換単位の構造に係わる変換インデックス情報に基づいて、現在変換単位が、下位レベルの変換単位に分割されるか否かが判読され、変換単位が決定されてもよい。変換単位に基づいて、現在符号化単位の逆変換が行われる。

一実施形態による変換単位の構造に係わる変換インデックス情報に基づいて、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位のサイズ及び形態などの情報が判読されもする。

第１実施形態による変換インデックス情報に基づいて、現在符号化単位から最終レベルの変換単位までの分割レベルが判読されもする。変換単位のレベルは、現在符号化単位が均一なサイズの変換単位に４分割された回数を示す。これにより、現在符号化単位が均一なサイズの変換単位に分割された変換単位の構造が決定されてもよい。

第２実施形態による変換インデックス情報に基づいて、現在符号化単位が反復して分割され、前記ツリー構造による変換単位を構成するまで、それぞれのレベルの変換単位ごとに、下位レベルの変換単位に分割されるか否かを示す変換単位分割ビットのビット列が判読され、これにより、現在符号化単位が、ツリー構造によって分割された変換単位の構造が決定されてもよい。

例えば、第２実施形態による変換単位インデックス情報において、互いに隣接する同一レベルの変換単位の変換単位分割ビットは、変換単位のジグザグスキャンの順序で判読されもする。また、他の実施形態による変換単位インデックス情報において、所定変換単位が含む階層的構造の下位レベルの変換単位の変換単位分割ビットは、下位レベルの変換単位のジグザグスキャンの順序で判読されもする。

以下、図９ないし図２３を参照し、本発明の一実施形態によって、ツリー構造による符号化単位及び変換インデックスに基づいて、変換インデックスを利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について詳述する。

図９は、本発明の一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用する符号化単位に基づくビデオ符号化装置のブロック図である。

一実施形態によって、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ符号化装置１００は、「ビデオ符号化装置１００」と略称して呼ぶ。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横にサイズが２の自乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度というのは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義されもする。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは縮小されるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されもする。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択して符号化深度に決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択されもする。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータについての符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されてもよい。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定されもする。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全ての分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が、１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定されもする。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、さらにそれ以上分割されない符号化単位を基に、予測符号化が行われる。以下、測符号化の基盤になるさらにそれ以上分割されない符号化単位を、「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位並びに予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の定数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してだけ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行う。

前述の図１ないし図８を参照して説明したように、符号化単位の変換のためには、符号化単位より小さいか、あるいは同じサイズの変換単位を基に、変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定されもする。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位のサイズが２Ｎｘ２Ｎであるならば、変換深度０、変換単位のサイズがＮｘＮであるならば、変換深度１、変換単位のサイズがＮ／２ｘＮ／２であるならば、変換深度２に設定されもする。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定されもする。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図１１及び図１２を参照して後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して、測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム状に出力する。

符号化された映像データは、映像の残差データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して、定義されもする。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義されもする。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されもする。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されてもよい。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードについての情報が設定されもする。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位のうちに含まれる最大サイズの正方形データ単位であってもよい。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されもする。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に送信される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入されもする。また、出力部１３０を介して出力される符号化情報は、図１ないし図８を参照して説明した多様な実施形態による変換インデックスを含んでもよい。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定されてもよい。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の送信負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上する。

図１０は、本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ復号化装置のブロック図である。

一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ復号化装置２００は、「ビデオ復号化装置２００」と略称して呼ぶ。

一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など、各種用語の定義は、図９及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０に、最大符号化単位ごとに、映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定されもし、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。また、符号化モード情報として、図１ないし図８を参照して説明した多様な実施形態による変換インデックスについての情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位として類推されもする。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報を含めてツリー構造による変換単位を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行う。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし、分割情報が現在深度で、それ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされもする。

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位についての情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から送信された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図１１ないし図２１を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳述する。

図１１は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１１に図示された最大深度は、最大符号化単位から最小符号化単位までの全ての分割回数を示す。

解像度が高かったり、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から２回分割され、深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から１回分割され、深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から３回分割され、深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。

図１２は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用し、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定しなければならない。

図１３は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を一緒に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力されもする。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力されもする。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定しなければならない。

図１４は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって、適応的に決定されもし、ユーザの要求によって多様に設定されてもよい。既設定の符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されてもよい。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全ての分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけとして設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するため、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用し、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索されもする。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図１５は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じサイズの符号化単位で、映像を符号化したり復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が、６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータに対して、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１６は、本発明の一実施形態による、深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用されもする。この場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるか否かが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位をいなかる変換単位を基に、変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうちいずれか一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。

図１７は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用されもする。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称比率で分割されたパーティション９１２，９１４、９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションに対してのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して、反復して符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定されもする。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」と称されもする。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードとして設定されもする。

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定されてもよい。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて送信されもする。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度についての符号化モードについての情報を利用し、復号化に利用することができる。

図１８、図１９及び図２０は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部の符号化単位１０５２の映像データに対しては、符号化単位に比べて、小サイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較してみれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態の他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業としても、それぞれ別個のデータ単位を基に行う。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

ビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定されもする。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定されもする。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位のサイズは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用されもする。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されてもよい。

図２１は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ１３３２，２ＮｘｎＤ１３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換単位の現在サイズは、変換インデックス及び符号化単位の予測単位タイプ、またはパーティションタイプによって変更されもする。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定されもする。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定されもする。

従って、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

図２１を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用されもする。

この場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現されもする。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入されもする。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位のサイズが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位のサイズが８ｘ８に設定される。

他例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２に設定され、変換単位のサイズが３２ｘ３２より小さくはないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を、「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の数式（１）のように定義されもする。

CurrMinTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わることもある。

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、以下の数式（２）によって決定されてもよい。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定されもする。

現在パーティション単位の予測モードが、予測モードがイントラモードであるならば、「RootTuSize」は、以下の数式（３）によって決定されてもよい。「PartitionSize」は、現在パーティション単位のサイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないことを留意しなければならない。

一実施形態によれば、「RootTuSize」は、現在符号化単位に許容される現在最大変換単位サイズであり、現在符号化単位のサイズと同一でもある。他の実施形態によれば、現在最大変換単位サイズ「RootTuSize」は、現在符号化単位の予測単位タイプまたはパーティションタイプに基づいて、決定されてもよい。例えば、現在最大符号化単位サイズ「RootTuSize」は、現在予測単位またはパーティションに含まれる正方形の最大サイズを示すこともある。

図２２は、本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ符号化方法のフローチャートである。

段階１２１０で、現在ピクチャは少なくとも１つの最大符号化単位に分割される。また、可能な全ての分割回数を示す最大深度があらかじめ設定されてもよい。段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域が符号化され、少なくとも１つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ、また下位深度の符号化単位に分割されもする。深度別に、符号化単位ごとに反復して符号化が行われなければならない。

また、深度別符号化単位ごとに、符号化誤差が最小であるパーティションタイプ別変換単位が決定されなければならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、全ての深度別符号化単位ごとに符号化誤差が測定されて比較されもする。

符号化単位の決定過程において、符号化単位の変換のための変換単位が決定されてもよい。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位に決定されてもよい。変換単位は、１つの符号化単位内で、いずれも同一サイズに構成されるように決定されてもよい。また、現在符号化単位内で、変換深度によるレベル別に変換を行った結果、周辺領域の変換単位とは独立的であり、同一領域の変換深度別変換単位間では、階層的な構造を形成するツリー構造による変換単位が決定されてもよい。

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別に最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位サイズ情報及び変換インデックス情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データと共に復号化端に送信される。

図２３は、本発明の一実施形態による、ツリー構造による符号化単位及び変換単位に基づいて、変換インデックスを利用するビデオ復号化方法のフローチャートである。

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度及び符号化モードについての情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に、符号化誤差が最小である深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割されもする。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することにより、映像の符号化／復号化の効率性が向上するのである。

また、符号化モードについての情報のうち変換インデックスによれば、符号化単位内のツリー構造による変換単位が決定される。例えば、変換インデックスに基づいて、現在符号化単位から変換単位までの分割回数が判読される。また、他の実施形態で、現在符号化単位が、下位変換単位に分割されるか否かが判読され、現在符号化単位の領域別に、最上位変換単位から下位変換単位までの分割いかんを示すビット列に基づいて、最終的にツリー構造による変換単位の構造が判読される。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して送信されもする。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。または、本発明の実施形態は、インターネットのようなコンピュータネットワークを介して送信されるために、データ信号のようにコンピュータで読み取り可能な送信メディア信号に具現されもする。

本発明の実施形態によるビデオ符号化装置またはビデオ復号化装置は、各装置の全てのユニットに結合されたバス、命令語を実行するためにバスに連結された少なくとも１つのプロセッサ及び命令語、受信されたメッセージ、生成されたメッセージを保存するためにバスに連結されたメモリを含んでもよい。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現される可能性があるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

２０ ビデオ復号化装置
２２ 受信部
２４ 抽出部
２６ 復号化部
２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部

Claims (4)

1. 復号化装置が符号化されたビデオのビットストリームを受信する段階と、
   前記復号化装置が前記ビットストリームから獲得された分割情報を用いて一つ以上の符号化単位を決定する段階と、
   前記復号化装置が前記一つ以上の符号化単位のうち、現在符号化単位から決定された予測単位に対して予測を行い、予測データを生成する段階と、
   前記復号化装置が前記ビットストリームから獲得された最大変換単位分割情報と前記現在符号化単位に含まれた変換単位の現在レベルとを比較する段階と、
   前記現在レベルが前記最大変換単位分割情報より大きいか、あるいは同じである場合、前記復号化装置が前記現在レベルの変換単位に対して逆変換を行い、前記現在レベルの変換単位に対応するレジデュアルデータを生成する段階と、
   前記現在レベルが前記最大変換単位分割情報よりも小さい場合、前記復号化装置が前記現在レベルの変換単位の分割いかんを示す変換インデックス情報を前記ビットストリームから獲得する段階と、
   前記変換インデックス情報が前記現在レベルの変換単位の分割を示すと、前記復号化装置が前記現在レベルの変換単位を下位レベルの変換単位で分割する段階と、
   前記変換インデックス情報が前記現在レベルの変換単位の非分割を示すと、前記復号化装置が前記現在レベルの変換単位に対して逆変換を行って前記現在レベルの変換単位に対応するレジデュアルデータを生成する段階と、
   前記復号化装置が前記予測データと前記レジデュアルデータとを用いて前記現在符号化単位を復元する段階と、を含み、
   前記最大変換単位分割情報と同じレベルの変換単位のサイズは、変換単位の最小サイズであり、
   前記分割情報が分割を示す時、前記現在符号化単位は、周辺符号化単位と独立して下位レベルの符号化単位に分割され、
   前記分割情報が非分割を示す時、前記現在符号化単位から前記現在レベルの変換単位が決定されることを特徴とする復号化方法。
2. 前記現在レベルの変換単位は、前記現在符号化単位内に含まれ、
   前記現在レベルの変換単位のサイズは、前記現在符号化単位のサイズより小さいか、あるいは同じであることを特徴とする請求項１に記載の復号化方法。
3. 前記現在レベルの変換単位は、前記現在符号化単位の高さ及び幅を分割して決定されることを特徴とする請求項１に記載の復号化方法。
4. 符号化されたビデオのビットストリームを受信する受信部と、
   前記ビットストリームから符号化単位の分割情報、最大変換単位分割情報、及び一つ以上の符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換インデックス情報を獲得する抽出部と、
   前記符号化単位の分割情報を用いて一つ以上の符号化単位を決定し、前記一つ以上の符号化単位のうち、現在符号化単位から決定された予測単位に対して予測を行い、予測データを生成する復号化部と、を備え、
   前記復号化部は、前記変換インデックス情報が前記現在レベルの変換単位の分割を示すと、前記現在レベルの変換単位を下位レベルの変換単位で分割し、前記変換インデックス情報が前記現在レベルの変換単位の非分割を示すと、前記現在レベルの変換単位に対して逆変換を行って前記現在レベルの変換単位に対応するレジデュアルデータを生成し、前記予測データと前記レジデュアルデータとを用いて前記現在符号化単位を復元し、
   前記抽出部は、前記最大変換単位分割情報と前記変換単位の現在レベルとを比べて、前記現在レベルが前記最大変換単位分割情報よりも小さい場合、前記変換インデックス情報を前記ビットストリームから獲得し、
   前記復号化部は、前記現在レベルが前記最大変換単位分割情報より大きいか、あるいは同じである場合、前記現在レベルの変換単位に対して逆変換を行い、前記現在レベルの変換単位に対応するレジデュアルデータを生成し、
   前記最大変換単位分割情報と同じレベルの変換単位のサイズは、変換単位の最小サイズであり、
   前記分割情報が分割を示す時、前記現在符号化単位は、周辺符号化単位と独立して下位レベルの符号化単位に分割され、
   前記分割情報が非分割を示す時、前記現在符号化単位から前記現在レベルの変換単位が決定されることを特徴とする復号化装置。
   

Images