JP5894314B2 - 映像復号化方法及び装置 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に関する。

高解像度または高画質のビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効果的に符号化／復号化するビデオ・コーデックの必要性が増大している。既存のビデオ・コーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。また、既存のビデオ・コーデックは、マクロブロックをラスタ（raster）方式によってスキャンしてビデオデータを符号化／復号化する。

本発明は、ビデオの符号化／復号化と関連したデータスキャン順序及びデータ間の隣接関係を提供するところにある。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する段階；最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャの符号化された映像データと、前記最大符号化単位別符号化深度及び符号化モードについての情報と、を抽出する段階；及び前記最大符号化単位のラスタスキャン順序、及び深度別符号化単位のジグザグスキャン順序を考慮し、前記最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別符号化された映像データを復号化する段階；を含み、前記最大符号化単位は、少なくとも１つの深度によって空間的に分割され、少なくとも１つの深度別符号化単位を含み、最下位深度から深度が深くなるにつれて、前記最上位深度の最大符号化単位から最下位深度である最小符号化単位まで、前記最大符号化単位が階層的に分割される。

最大符号化単位または予測単位のラスタスキャン順序、最小単位のジグザグスキャン順序またはラスタスキャン順序など、多様な階層的データ単位のスキャン順序を考慮し、隣接情報の利用可能性が検索され、所定符号化単位の復号化のために、隣接情報が参照される。一実施形態による隣接情報は、現在データ単位の左側下端に位置するデータ単位についての情報を含むことができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。 本発明の一実施形態による深度別符号化情報を図示する図である。 本発明の一実施形態による深度別符号化単位を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を図示する図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。 本発明の一実施形態による最大符号化単位のラスタスキャン順序を図示する図である。 本発明の一実施形態による最小単位のラスタスキャン順序を図示する図である。 本発明の一実施形態による深度別符号化単位のジグザグスキャン順序を図示する図である。 本発明の一実施形態による符号化単位、予測単位、パーティション、変換単位の位置及びスキャン・インデックスの関係を図示する図である。 本発明の一実施形態による符号化単位のスキャン・インデックスを図示する図である。 本発明の一実施形態による符号化単位のスキャン・インデックスによる符号化単位のスキャン順序を図示する図である。 一実施形態によるパーティションタイプ別にパーティションのスキャン・インデックスを図示する図である。 本発明の一実施形態による、現在データ単位の隣接情報になりうるデータ単位を図示する図である。 本発明の一実施形態によって、現在最大符号化単位に隣接する最大符号化単位を図示する図である。 ラスタスキャン方式による既存マクロブロックを図示する図である。 本発明の一実施形態によって、ジグザグスキャン順序による現在予測単位を図示する図である。 本発明の一実施形態によって、現在パーティションに隣接する最小単位を図示する図である。 本発明の一実施形態によって、隣接情報を利用した動きベクトルの予測方法を図示する図である。 本発明の一実施形態によって、隣接情報を利用した補間方法を図示する図である。 本発明の一実施形態によって、隣接情報を参照するビデオ復号化方法を図示するフローチャートである。 本発明の一実施形態によって、隣接情報を参照するビデオ符号化方法を図示するフローチャートである。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する段階；最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャの符号化された映像データと、前記最大符号化単位別符号化深度及び符号化モードについての情報と、をビットストリームから抽出する段階；及び前記最大符号化単位のラスタスキャン順序と、前記最大符号化単位の深度別符号化単位のジグザグスキャン順序と、を考慮し、前記最大符号化単位に係わる符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別符号化された映像データを復号化する段階；を含み、前記最大符号化単位は、少なくとも１つの深度によって空間的に分割され、少なくとも１つの深度別符号化単位を含み、最下位深度から深度が深くなるにつれて、前記最上位深度の最大符号化単位から最下位深度である最小符号化単位まで、前記最大符号化単位が階層的に分割される。

一実施形態による前記復号化段階は、前記最大符号化単位別符号化深度及び符号化モードについての情報を利用し、前記最大符号化単位別の少なくとも１つの深度別符号化単位の階層的構造を分析する段階を含んでもよい。

一実施形態による前記復号化段階は、ラスタスキャン順序による最大符号化単位別アドレスに基づいて、前記それぞれの最大符号化単位の位置を検索する段階をさらに含んでもよい。

一実施形態による前記復号化段階は、前記最大符号化単位ごとにジグザグスキャン順序による最小単位別インデックスに基づいて、それぞれの最小単位の位置を検索する段階をさらに含んでもよい。

一実施形態による前記復号化段階は、前記最大符号化単位ごとにラスタスキャン順序による最小単位別インデックスに基づいて、それぞれの最小単位の位置を検索する段階をさらに含んでもよい。

一実施形態による前記復号化段階は、前記最大符号化単位ごとに、それぞれの最小単位のジグザグスキャン順序によるインデックス及びラスタスキャン順序によるインデックスを相互変換する段階をさらに含んでもよい。

一実施形態による前記最大符号化単位の位置は、前記映像ピクチャの左側上端のサンプル位置に対して相対的である前記最大符号化単位の左側上端のピクセル位置として表現されてもよい。

一実施形態による前記最小単位の位置は、当該最大符号化単位の左側上端のサンプル位置に対して相対的である前記最小単位の左側上端のピクセル位置として表現されてもよい。

一実施形態による前記復号化段階は、前記最大符号化単位、予測単位及び最小単位のスキャン順序を考慮し、隣接情報の利用可能性を検索し、前記隣接情報を参照することができる。

一実施形態による前記復号化段階は、前記最大符号化単位の利用可能性を検索する段階をさらに含んでもよい。

一実施形態によって、前記復号化単位で、前記最大符号化単位が現在ピクチャに含まれない場合、前記最大符号化単位が現在スライスに含まれない場合、及び前記最大符号化単位のアドレスが現在最大符号化単位のアドレスより後順位である場合のうち１つの場合を除外すれば、前記最大符号化単位のデータは利用されてもよい。

一実施形態による前記復号化段階は、最大符号化単位内で、深度別符号化単位の利用可能性を検索する段階を含んでもよい。

一実施形態による前記復号化段階で、前記最大符号化単位が現在ピクチャに含まれない場合、前記最大符号化単位がスライスに含まれない場合、前記最大符号化単位のアドレスが最大符号化単位のアドレスより後順位である場合、及び前記深度別符号化単位の左側上端の最小単位のジグザグスキャン順序によるインデックスが最小単位のジグザグスキャン順序によるインデックスより後順位である場合のうち１つの場合を除外すれば、前記深度別符号化単位のデータは利用されてもよい。

一実施形態による前記復号化段階は、現在最大符号化単位に隣接する最大符号化単位及び利用可能性を検索する段階をさらに含んでもよい。

一実施形態による前記復号化段階で、前記現在最大符号化単位に隣接する最大符号化単位は、前記現在最大符号化単位の左側最大符号化単位、上端最大符号化単位、右側上端最大符号化単位、及び左側上端最大符号化単位のうち少なくとも一つを含んでもよい。

一実施形態によって、前記復号化段階は、現在最大符号化単位に含まれる現在予測単位に隣接する最小単位及び前記隣接する最小単位の利用可能性を検索する段階をさらに含んでもよい。

一実施形態によって、前記現在予測単位に隣接する最小単位は、前記現在予測単位の左側最小単位、上端最小単位、右側上端最小単位、左側上端最小単位及び左側下端最小単位のうち少なくとも一つを含んでもよい。

一実施形態によって、前記復号化段階は、現在最大符号化単位に隣接する境界の位置及び前記隣接する境界の利用可能性を検索する段階をさらに含んでもよい。

一実施形態によって、前記現在最大符号化単位に隣接する境界は、前記現在最大符号化単位の左側最大符号化単位、上端最大符号化単位、右側上端最大符号化単位及び左側上端最大符号化単位のうち少なくとも１つの境界を含んでもよい。

一実施形態によって、前記最小単位に係わって、当該深度別符号化単位についての情報、前記当該深度別符号化単位の予測単位への分割についての情報、前記予測単位の予測モードについての情報のうち少なくとも一つを含む符号化情報が設定されていてもよい。

一実施形態による前記復号化段階は、前記最小単位の符号化情報に基づいて、前記最小単位を含む深度別符号化単位または予測単位の利用可能性を検索する段階をさらに含んでもよい。

一実施形態によって、前記最大符号化単位は、少なくとも１つの符号化単位を含み、互いに隣接する第１符号化単位及び第２符号化単位において、ラスタスキャン順序によって、第１符号化単位が第２符号化単位より後順位であり、ジグザグスキャン順序によって、前記第１符号化単位が前記第２符号化単位より先順位である場合、前記第２符号化単位の復号化のために、前記第１符号化単位を参照することができる。

一実施形態によって、前記第１符号化単位が前記第２符号化単位の左側下端に隣接する場合、前記第２符号化単位の復号化のために、前記第１符号化単位を参照することができる。

一実施形態によって、前記第１符号化単位が前記第２符号化単位の左側下端に隣接する場合、前記第２符号化単位の復号化のために、前記第１符号化単位の右側境界を参照することができる。

本発明の一実施形態によるビデオ符号化方法は、ビデオの現在ピクチャを最大サイズの符号化単位である最大符号化単位に分割する段階；前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、前記少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する段階；及び前記最大符号化単位に係わって決定された１つの符号化深度で符号化された映像データと、符号化深度及び符号化モードについての情報と、を符号化して出力する段階；を含み、前記最大符号化単位のラスタスキャン順序と、前記それぞれの最大符号化単位に含まれる少なくとも１つの深度別符号化単位らの間のジグザグスキャン順序と、を考慮して符号化されてもよい。

一実施形態によるビデオ符号化方法は、現在データ単位の映像データの符号化のために、現在データ単位の左側下端に位置するデータ単位を含む隣接情報を参照することができる。

一実施形態による前記隣接情報は、最大符号化単位の左側最大符号化単位、上端最大符号化単位、右側上端最大符号化単位及び左側上端最大符号化単位を含んでもよい。また、前記隣接情報は、予測単位の左側最小単位、上端最小単位、右側上端最小単位、左側上端最小単位及び左側下端最小単位を含んでもよい。前記隣接情報は、予測単位の左側下端符号化単位の境界を含んでもよい。

一実施形態によるビデオ符号化方法で、前記最大符号化単位は、少なくとも１つの符号化単位を含み、互いに隣接する第１符号化単位及び第２符号化単位において、ラスタスキャン順序によって、第１符号化単位が第２符号化単位より後順位であるか、あるいはジグザグスキャン順序によって、前記第１符号化単位が前記第２符号化単位より先順位である場合、前記第１符号化単位は、前記第２符号化単位の隣接情報として参照することができる。前記第１符号化単位が、前記第２符号化単位の左側下端に隣接して位置してもよい。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部；最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャの符号化された映像データと、符号化深度及び符号化モードについての情報と、をビットストリームから抽出する抽出部；及び前記最大符号化単位のラスタスキャン順序、及び深度別符号化単位のジグザグスキャン順序を考慮し、前記最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、前記最大符号化単位別符号化された映像データを復号化する映像データ復号化部；を含み、前記最大符号化単位は、少なくとも１つの深度による深度別符号化単位を含み、最上位深度から深度が深くなるにつれて、前記最下位深度の最大符号化単位からの前記深度別符号化単位が階層的に分割される。

本発明の一実施形態によるビデオ符号化装置は、ビデオの現在ピクチャを最大サイズの符号化単位である最大符号化単位に分割する最大符号化単位分割部；前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、前記少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する符号化単位決定部；及び前記最大符号化単位に係わって決定された１つの符号化深度で符号化された映像データと、符号化沈図及び符号化モードについての情報と、を符号化して出力する出力部；を含み、前記最大符号化単位間のラスタスキャン順序と、前記それぞれの最大符号化単位に含まれる少なくとも１つの深度別符号化単位間のジグザグスキャン順序と、を考慮して符号化される。

本発明は、本発明の一実施形態によるビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を開始している。

本発明は、本発明の一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を開始している。

本発明の他の実施形態によるビデオ復号化方法は、ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャの符号化された映像データと、上記最大符号化単位別符号化深度と、に係わる情報を抽出する段階；及び前記最大符号化単位のラスタスキャン順序と、前記最大符号化単位の深度別符号化単位のジグザグスキャン順序と、を考慮し、前記最大符号化単位に係わる符号化深度についての情報に基づいて、前記最大符号化単位別に符号化された映像データを復号化する段階；を含み、前記最大符号化単位は、少なくとも１つの深度によって空間的に分割され、少なくとも１つの深度別符号化単位を含み、最下位深度から深度が深くなるにつれて、前記最上位深度の最大符号化単位から最下位深度である最小符号化単位まで、前記最大符号化単位が階層的に分割される。

以下、図面を参照しつつ、本発明の実施形態について説明し、全図面にわたって、同じ参照番号は同じ構成要素を示す。本明細書で、構成要素の目録前に先行する「少なくとも１つの」のような表現は、構成要素の全体目録を修飾する表現であり、それぞれの構成要素を修飾するものではない。

以下、符号化単位は、実施形態によって、符号化端で映像データを符号化するための符号化するデータ単位であり、復号化端で符号化された映像データを復号化するための符号化されたデータ単位である。また、符号化深度は、符号化単位が符号化された深度（depth）を示す。

以下、「映像（image）」は、ビデオの静止（still）映像または動映像、すなわち、ビデオそれ自体を意味する。

図１は、本発明の一実施形態によるビデオ符号化装置１００のブロック図を図示している。

図１で、一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きいならば、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されてもよい。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の二乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力されてもよい。

一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割した回数を示す。従って、深度が深くなったり、あるいは増加するほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されてもよい。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類されてもよい。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。例えば、例えば、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。従って、決定された符号化深度の符号化単位の符号化された映像データが符号化単位決定部１２０によって出力される。また、符号化深度の符号化単位を、符号化される符号化単位であると見ることができる。

決定された符号化深度及び最大符号化単位別の映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択されてもよい。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定されてもよい。

最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって、区画されてもよい。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定できる。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の５つの深度レベルが存在する。この場合、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が遂行される。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。変換は、直交変換または整数変換の方式によって行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、あらゆる段階にわたって、同じデータ単位が使われ、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、もうそれ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるもうそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、非対称的比率（例えば、１：ｎまたはｎ：１）で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択されてもよい。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基に変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含んでもよい。

以下、変換の基盤になるデータ単位は、「変換単位」とする。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズが同じであるサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、総４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分され、総４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定される。例えば、変換深度の階層的性格によって、上位変換深度の変換単位が、４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定されてもよい。

また、符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さいサイズの変換単位に分割されつつ、領域別に独立して決定されてもよい。従って、一実施形態による符号化単位内で、符号化単位の残余データは、変換深度によって、ツリー構造による変換単位によって区画されもする。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照して詳細に述べる。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗法（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データと、深度別符号化モードについての情報とを、ビットストリーム形態に出力する。

符号化された映像データは、映像の残余データの符号化結果であってもよい。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されてもよい。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならない。従って、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されてもよい。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在する。従って、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同じ深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なってもよいので、データについて、符号化深度及び符号化モードに係わる符号化情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードについての符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれてもよい最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されてもよい。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報のうち少なくとも一つを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（groups of picture）別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのＳＰＳ（sequence parameter set）またはヘッダに挿入されてもよい。

ビデオ符号化装置１００で、深度別符号化単位は、ある階層上位深度の符号化単位の高さ及び幅のうち少なくとも一つを半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を４個含む。

従って、一実施形態によるビデオ復号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定されもする。

映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を、従来マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置１００は、映像のサイズを考慮して符号化単位の最大サイズを拡大させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇しうる。

図２は、本発明の一実施形態によるビデオ復号化装置２００のブロック図を図示している。図２のビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照し述べたところと同一であるか、あるいは類似している。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダまたはＳＰＳから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる符号化情報を抽出する。抽出された符号化深度及び符号化モードに係わる符号化情報は、映像データ復号化部２３０に出力される。従って、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化することができる。

最大符号化単位別符号化深度及び符号化モードに係わる符号化情報は、一つ以上の符号化深度情報について設定されてもよい。また、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報のうち少なくとも一つを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる符号化情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる符号化情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードについての符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに係わる符号化情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる符号化情報が記録されているならば、同じ符号化深度及び符号化モードに係わる符号化情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位であると類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程のうち少なくとも一つを含んでもよい。逆変換過程は、直交逆変換または整数逆変換の方式に従うものである。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって、逆変換を行うことができる。

映像データ復号化部２３０は、深度別分割情報を利用し、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度でそれ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、各符号化深度に対応する符号化単位の符号化されたデータを、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化し、現在最大符号化単位の映像データを出力することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。符号化単位の最大単位は、解像度または映像データ量を考慮して決定することができる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について述べる。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。しかし、他の実施形態への変形が制限されるものではないということを銘記せねばならない。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割されてもよい。

図３で、第１ビデオデータ３１０は、解像度１９２０ｘ１０８０、符号化単位の最大サイズ６４、最大深度２を有する。第２ビデオデータ３２０は、解像度１９２０ｘ１０８０、符号化単位の最大サイズ６４、最大深度３を有する。第３ビデオデータ３３０は、解像度３５２ｘ２８８、符号化単位の最大サイズ１６、最大深度１を有する。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、第３ビデオデータ３３０に比べて、解像度の高い第１ビデオデータ３１０、第２ビデオデータ３２０は、符号化サイズの最大サイズが６４に選択されてもよい。

第１ビデオデータ３１０の最大深度が２であるから、第１ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、第３ビデオデータ３３０の最大深度が１であるから、第３ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

第２ビデオデータ３２０の最大深度が３であるから、第２ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど（すなわち、増加するほど）細部情報の表現能力が向上しうる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。図４で、一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含んでいる。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用し、インター推定及び動き補償をそれぞれ行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されてもよい。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素のイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。図５で、ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用し、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別の作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素のパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定せねばならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されもする。

図６で、一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので（増加するので）、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、第１符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、符号化単位の階層構造６００は、サイズ３２ｘ３２である深度１の第２符号化単位６２０、サイズ１６ｘ１６である深度２の第３符号化単位６３０、サイズ８ｘ８である深度３の第４符号化単位６４０、サイズ４ｘ４である深度４の第５符号化単位６５０を含む。サイズ４ｘ４である深度４の第５符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位６１０，６２０，６３０，６４０，６５０の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の第１符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の第１符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割されてもよい。

同様に、深度１のサイズ３２ｘ３２の第２符号化単位６２０の予測単位は、サイズ３２ｘ３２の第２符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されてもよい。

同様に、深度２のサイズ１６ｘ１６の第３符号化単位６３０の予測単位は、サイズ１６ｘ１６の第３符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されてもよい。

同様に、深度３のサイズ８ｘ８の第４符号化単位６４０の予測単位は、サイズ８ｘ８の第４符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されてもよい。

最後に、深度４のサイズ４ｘ４の第５符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、第５符号化単位６５０の予測単位も、サイズ４ｘ４のパーティション６５０にのみ設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含むデータについて、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用し、それぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小である符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択されてもよい。

図７は、本発明の一実施形態による、符号化単位７１０及び変換単位７２０の関係を図示している。一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、それぞれ、最大符号化単位ごとに最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位で映像を符号化／復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位ほど大きくないデータ単位を基に選択されてもよい。

図７で、例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択されてもよい。

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。図８で、一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる第１情報８００、予測モードに係わる第２情報８１０、変換単位サイズに係わる第３情報８２０を符号化して伝送することができる。

パーティションタイプに係わる第１情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示している。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプに係わる第１情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる第２情報８１０は、それぞれのパーティションの予測モードを示している。例えば、予測モードに係わる第２情報８１０を介して、パーティションタイプに係わる第１情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つとして予測符号化が行われるか否かが設定されてもよい。

また、変換単位サイズに係わる第３情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示している。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つであってもよい。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる第１情報８００、予測モードに係わる第２情報８１０、変換単位サイズに係わる第３情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示している。

図９で、深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。図９では、予測単位が対称的比率で分割されたパーティション９１２，９１４，９１６，９１８のみ例示されているが、パーティションタイプの他の実施形態を制限するものではなく、例えば、他の実施形態によるパーティションタイプは、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われねばならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

パーティションタイプ９１２，９１４，９１６，９１８による予測符号化を含む符号化誤差が比較され、パーティションタイプ９１２，９１４，９１６，９１８内から最小符号化誤差が決定される。サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割されない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更して分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索して行くことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定されてもよい。すなわち、深度ｄ−２から分割（９７０）され、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプ中で、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であっても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるから、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると見ることができる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードを符号化深度の符号化モードに設定されてもよい。

このようにして、深度０、１、…、ｄ−１、ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、及び予測単位のパーティションタイプ及び予測モードのうち少なくとも一つは、符号化モードについての情報で符号化されて伝送されもする。また、深度０から符号化深度に至るまで、符号化単位が分割されねばならないので、符号化深度の分割情報だけ「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用される。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用し、復号化に利用することができる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位１０１０、予測単位１０６０及び変換単位１０７０の関係を図示している。

図１０ないし図１２で、符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。例えば、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互い異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報のうち少なくとも一つを含んでもよい。以下表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位についての符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示している。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位であり、それ以上分割されない深度が符号化深度であるから、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さ及び幅のうち少なくとも一つが対称的比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、予測単位の高さ及び幅のうち少なくとも一つが非対称的比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示している。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定されてもよい。例えば、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位のサイズはＮｘＮ、非対称型パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１個以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。図１３で、最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８、２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ
１３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２、２ＮｘＮ １３２４、Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、ＴＵ size flagが１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称型パーティションタイプ２ＮｘｎＵ １３３２、２ＮｘｎＤ １３３４、ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、ＴＵ size flagが１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１３を参照して述べた変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではない。例えば、他の実施形態によるＴＵ size flagが０，１，２，３，…などに増加し、変換単位が階層的に分割されることもある。

その場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

例えば、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズは、３２ｘ３２であるならば、変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２、変換単位分割情報が１であるとき、変換単位のサイズが１６ｘ１６、変換単位分割情報が２であるとき、変換単位のサイズが８ｘ８に設定される。

他の例で、現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２に設定され、変換単位のサイズが３２ｘ３２より小さくはないので、それ以上の変換単位分割情報が設定されない。

さらに他の例で、現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であって、他の変換単位分割情報が設定されない。

従って、最大変換単位分割情報を「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootＴｕSize」であると定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記関係式（１）のように定義されてもよい。

ＣｕｒｒＭｉｎＴｕSize＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、関係式（１）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるから、それらのうち小さい値が現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」であってもよい。

一実施形態による最大変換単位サイズRootＴｕSizeは、予測モードによって変わりもする。

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、下記関係式（２）によって決定される。関係式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ「ＰＵSize」は、現在予測単位サイズを示す。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootＴｕSize」は、下記関係式（３）によって決定される。「PartitionSize」は、現在パーティション単位のサイズを示している。

RootＴｕSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意せねばならない。

以下、図１４ないし図２７を参照しつつ、本発明の一実施形態による一実施形態によるツリー構造による符号化単位及び予測単位、変換単位に基づいたデータ単位のインデックス及びスキャン順序について述べる。

一実施形態によるビデオ符号化装置１００は、スライス内の最大符号化単位別符号化順序は、ラスタスキャン順序による。最大符号化単位内の階層的深度別符号化単位は、深度別に、同じ深度の深度別符号化単位間で、ジグザグスキャン順序によってスキャンされてもよい。また、最大符号化単位内で、最小単位別符号化順序は、ラスタスキャン順序によるものである。

一実施形態によるビデオ符号化装置１００は、現在データ単位の映像データの符号化のために、現在データ単位の隣接情報を参照することができる。例えば、現在最大符号化単位、現在符号化深度別符号化単位または現在予測単位の予測符号化のために、隣接する最大符号化単位、隣接する深度別符号化単位などの隣接情報が参照することができる。

具体的には、隣接情報は、現在最大符号化単位の左側最大符号化単位、上端最大符号化単位、右側上端最大符号化単位及び左側上端最大符号化単位のうち少なくとも一つについての情報を含んでもよい。隣接情報は、現在最大符号化単位の左側、上端、右側上端及び左側上端に位置する符号化単位を含んでもよい。また、隣接情報は、現在最大符号化単位の左側、上端、右側上端及び左側上端のうち少なくとも一つに位置する予測単位などに係わる情報を含んでもよい。また、隣接情報は、現在最大符号化単位の左側、上端、右側上端及び左側上端に位置する予測単位などに係わる情報を含んでもよい。また、隣接情報は、現在最大符号化単位の左側、上端、右側上端及び左側上端に位置するパーティションなどに係わる情報を含んでもよい。

また、隣接情報は、現在予測単位の左側、上端、右側上端、左側上端及び左側下端のうち少なくとも一つに位置する最小単位などの情報を含んでもよい。

また、データ単位全体ではないデータ単位の一部分が隣接情報として参照されもする。例えば、現在予測単位の左側下端に位置する最大符号化単位の右側境界を含んでもよい。

現在データ単位の左側下端に位置するデータ単位は、ラスタスキャン順序によれば、現在データ単位より後順位であるために、ラスタスキャン順序によるマクロブロック単位の符号化方式では、現在マクロブロックの符号化のために参照されない。しかし、本発明では、最大符号化単位は、ラスタスキャン順序だけによるものの、最大符号化単位内の最小単位及びデータ単位は、ジグザグスキャン順序によてスキャンされるので、隣接情報として参照される。

一実施形態による符号化単位決定部１２０は、所定符号化単位の位置及び利用可能性を検索することができる。このとき、検索される符号化単位は、ツリー構造による符号化単位のうち一つ、すなわち、符号化深度の符号化単位であることが望ましい。一実施形態による符号化単位決定部１２０は、現在データ単位に隣接するデータ単位の位置及び利用可能性を検索することができる。現在データ単位に隣接するデータ単位は、現在データ単位の左側、上端、右側上端、左側上端及び左側下端に位置するデータ単位のうち少なくとも一つを含んでもよい。検索対象になる隣接データ単位は、最大符号化単位、符号化単位、予測単位、パーティション、変換単位及び最小単位のうち少なくとも一つを含んでもよい。

一実施形態による映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の符号化された映像データを復号化して現在ピクチャを復元するにあたり、最大符号化単位のラスタスキャン順序、及び深度別符号化単位のジグザグスキャン順序を考慮する。以下、最大符号化単位のラスタスキャン順序、及び深度別符号化単位のジグザグスキャン順序を考慮してスキャンされる符号化単位は、ツリー構造による符号化単位のうち１つである符号化深度の符号化単位である。

現在データ単位の復号化のために、隣接情報が参照されもする。例えば、現在パーティションのインター予測のために、隣接するパーティションの動きベクトルが参照されてもよい。また、現在パーティションのイントラ予測のために、現在パーティションのピクセル値に隣接するデータ単位のピクセル値が参照されてもよい。

一実施形態による映像データ復号化部２３０は、現在データ単位の復号化のために参照することができる隣接するデータ単位の位置、隣接するデータ単位の利用可能性などを検索することができる。これにより、一実施形態による映像データ復号化部２３０は、最大符号化単位及びパーティションのラスタスキャン順序、最小単位のジグザグスキャン順序またはラスタスキャン順序を考慮し、隣接情報の利用可能性を検索して隣接情報を参照することができる。

一実施形態による映像データ復号化部２３０は、スキャン順序によるデータ単位の位置を検索することができる。例えば、ラスタスキャン順序による最大符号化単位別アドレスに基づいて、それぞれの最大符号化単位の位置が検索されてもよい。

また、ジグザグスキャン順序による最小単位別インデックスに基づいて、最大符号化単位内での最小単位の位置が検索されてもよい。最大符号化単位内で、ラスタスキャン順序による最小単位別インデックスに基づいて、それぞれの最小単位の位置が検索されてもよい。最大符号化単位内で、最小単位のジグザグスキャン順序によるインデックス及びラスタスキャン順序によるインデックスが相互変換されもする。以下、説明の便宜のために、スキャン順序によるインデックスをスキャン・インデックスと縮約して称する。

また、一実施形態による符号化単位、予測単位及び変換単位のうち、それぞれのデータ単位のスキャン・インデックスは、当該最大符号化単位内での最小単位のスキャン・インデックスに基づいて表現される。また、予測単位のパーティションのスキャン・インデックスも、当該最大符号化単位内での最小単位のスキャン・インデックスに基づいて表現される。

一実施形態による符号化単位及び予測単位のデータ単位のサンプルの位置または座標は、当該最大符号化単位内での座標として表現されてもよい。また、一実施形態による予測単位内のパーティション及び変換単位のサンプル位置または座標は、当該予測単位内での座標として表現される。

最大符号化単位の位置は、現在スライスの左側上端のサンプル位置に対して相対的である現在最大符号化単位の左側上端のピクセル位置として表現されてもよい。また、最小単位の位置は、当該最大符号化単位の左側上端のサンプル位置に対して相対的である現在最小単位の左側上端のピクセル位置として表現される。

一実施形態による映像データ復号化部２３０は、所定符号化単位の位置及び利用可能性を検索することができる。このとき、検索される符号化単位は、ツリー構造による符号化単位、すなわち、符号化深度の符号化単位であることが望ましい。一実施形態による映像データ復号化部２３０は、現在最大符号化単位に隣接する最大符号化単位の位置及び利用可能性を検索することができる。現在最大符号化単位に隣接する最大符号化単位は、現在最大符号化単位の左側最大符号化単位、上端最大符号化単位、右側上端最大符号化単位及び左側上端最大符号化単位のうち少なくとも一つを含んでもよい。

一実施形態による映像データ復号化部２３０は、現在符号化単位に隣接する符号化単位の位置及びインデックス、そして利用可能性を検索することができる。現在符号化単位に隣接する符号化単位は、現在符号化単位の左側及び上端に位置する符号化単位のうち、少なくとも一つを含んでもよい。このとき、符号化単位は、ツリー構造による符号化単位のうち１つである符号化深度の符号化単位である。

一実施形態による映像データ復号化部２３０は、現在予測単位に隣接する予測単位の位置及びインデックス、そして利用可能性を検索することができる。現在符号化単位に隣接する予測単位は、現在符号化単位の左側、上端、右側上端及び左側上端に位置する予測単位のうち少なくとも一つを含んでもよい。

一実施形態による映像データ復号化部２３０は、現在予測単位に隣接するパーティションの位置及びインデックス、そして利用可能性を検索することができる。現在符号化単位に隣接するパーティションは、現在符号化単位の左側、上端、右側上端及び左側上端に位置するパーティションのうち少なくとも一つを含んでもよい。

また、一実施形態による映像データ復号化部２３０は、現在最大符号化単位に含まれる現在予測単位に隣接する最小単位及び隣接する最小単位の利用可能性を検索することができる。現在予測単位に隣接する最小単位は、現在予測単位の左側最小単位、上端最小単位、右側上端最小単位、左側上端最小単位及び左側下端最小単位のうち少なくとも一つを含んでもよい。

また、一実施形態による映像データ復号化部２３０は、現在予測単位に隣接する境界の位置及び隣接する境界の利用可能性を検索することができる。現在最大符号化単位に隣接する境界は、現在予測単位の左側データ単位、上端データ単位、右側上端データ単位、左側上端データ単位及び左側下端データ単位のうち少なくとも１つの境界を含んでもよい。境界上のピクセルの位置は、現在符号化単位の左側上端のピクセル位置に係わる相対的な座標として表現され、現在最大符号化単位の左側上端のサンプル位置に係わる相対的な座標として表現される。現在符号化単位に隣接するピクセルが、現在最大符号化単位を外れるならば、当該ピクセルは、利用可能性のないものであると決定される。一実施形態による映像データ復号化部２３０は、最小単位の符号化情報に基づいて、最小単位を含む深度別符号化単位または予測単位の利用可能性を検索することができる。従って、現在データ単位に隣接する最小単位の符号化情報を利用し、現在データ単位に隣接する予測単位、深度別データ単位、最大符号化単位などの位置または利用可能性が検索されてもよい。

ラスタスキャン順序によれば、現在最大符号化単位をスキャンする時点で、左側に位置する最大符号化単位または上端に位置する最大符号化単位は、すでに復号化されているが、右側に位置する最大符号化単位または下端に位置する最大符号化単位は、まだ復号化されてない状態である。

既存マクロブロックと、一実施形態による階層的データ単位とを比較するために、最大符号化単位が少なくとも１つのマクロブロックを含む場合を仮定して説明する。第１マクロブロック及び第２マクロブロックが、同じ最大符号化単位に含まれ、第１マクロブロックが第２マクロブロックの左側下端に隣接して位置する場合を例に挙げる。

ラスタスキャン順序によれば、第１マクロブロックが第２マクロブロックより後順位であり、ジグザグスキャン順序によれば、第１マクロブロックが第２マクロブロックより先順位である。既存の符号化方式は、ラスタスキャン方式によって、後順位である第１マクロブロックは、第２マクロブロックに比べて遅く符号化／復号化されるので、第１マクロブロックの情報を第２マクロブロックが参照することができない。一方、一実施形態によるビデオ符号化装置１００は、第２マクロブロックの符号化のために、第１マクロブロックを第２マクロブロックの隣接情報として参照する。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、ツリー構造による階層的符号化単位別に、ラスタスキャン方式だけではなく、ジグザグスキャン方式を利用するので、より広い範囲の隣接情報を利用することができる。

図１４は、本発明の一実施形態による最大符号化単位のラスタスキャン順序を図示している。図１４で、最大符号化単位１６１０は、ラスタスキャン順序によって、ピクチャ１６００の左側端からピクチャ１６００の右側端に、またピクチャ１６００の上端からピクチャ１６００の下端にスキャンされる。従って、ラスタスキャン順序によれば、現在最大符号化単位をスキャンする時点で、左側に位置する最大符号化単位または上端に位置する最大符号化単位は、すでにスキャンされているが、右側に位置する最大符号化単位または下端に位置する最大符号化単位は、まだスキャンされていない状態である。

一実施形態によるビデオ復号化装置２００は、現在最大符号化単位のアドレス、最大符号化単位のサイズ、ピクチャのサイズを知っていれば、ラスタスキャン順序による現在最大符号化単位の位置が分かる。このとき、現在最大符号化単位の位置は、ピクチャの左側上端から現在最大符号化単位の左側上端までの距離であり、ピクチャの左側上端のサンプル位置に対して相対的である現在最大符号化単位の左側上端のピクセル位置として表現されてもよい。

図９を参照しつつ、深度別符号化単位のパーティションのスキャン順序について述べる。深度０，１，…，ｄ−１によって、深度別符号化単位のパーティションは、ラスタスキャン順序による。例えば、深度０である場合、２Ｎ＿０ｘＮ＿０サイズの分割タイプ９１４及びＮ＿０ｘ２Ｎ＿０サイズの分割タイプ９１６では、インデックス０，１であるパーティションが、インデックス順序によってスキャンされる。また、Ｎ＿０ｘＮ＿０サイズの分割タイプ９１８では、インデックス０，１，２，３であるパーティションが、インデックス順序によってスキャンされる。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、深度別符号化単位ごとに、パーティションの位置を検索することができる。現在深度別符号化単位において、現在パーティションのインデックス、パーティションのサイズ及び現在深度別符号化単位のサイズを知っていれば、ラスタスキャン順序による現在パーティションの位置が分かる。

このとき、現在パーティションの位置は、現在深度別データ単位の左側上端から現在パーティションの左側上端までの距離であり、現在深度別データ単位の左側上端のサンプル位置に対して相対的である現在パーティションの左側上端のピクセル位置として表現される。

一実施形態によって、最大符号化単位内の最小単位は、ジグザグスキャン順序またはラスタスキャン順序によってスキャンされる。従って、最小単位に係わって、ジグザグスキャン順序に基づくインデックス及びラスタスキャン順序に基づくインデックスが定義される。以下、図１５は、一実施形態によるラスタスキャン順序による最小単位を、図１６は、一実施形態によるジグザグスキャン順序による最小単位を図示している。

図１５は、本発明の一実施形態による最小単位のラスタスキャン順序を図示している。一実施形態によって、最小単位１７１０は、ラスタスキャン順序によって、最大符号化単位１７００の左側端から右側端に、また上端から下端にスキャンされる。従って、上端の最小単位から始まり、左側端から右側端に、インデックス０，１，２，３，４，５，６，７の最小単位の順序でスキャンされ、下端におりて行き、インデックス８，９，１０，１１，１２，１３，１４，１５の最小単位の順序でスキャンされ、さらに下端におりて行き、インデックス１６，１７，１８，１９の最小単位などの順序でスキャンされる。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、最大符号化単位内の最小単位の位置を検索することができる。ラスタスキャン順序による現在最小単位のインデックス、最小単位のサイズ及び最大符号化単位のサイズを知っていれば、ラスタスキャン順序による最小単位の位置が分かる。

このとき、最小単位の位置は、現在最大符号化単位の左側上端から現在最小単位の左側上端までの距離であり、現在最大符号化単位の左側上端のサンプル位置に対して相対的である現在最小単位の左側上端のピクセル位置として表現される。

図１６は、本発明の一実施形態による深度別符号化単位のジグザグスキャン順序を図示している。

同じ深度の深度別符号化単位間では、ジグザグスキャン順序でスキャンされる。例えば、最大符号化単位１８００が深度０であり、最小単位１８１０が深度３である。４個の最小単位がグループになっており、ジグザグスキャン順序によってスキャンされる。すなわち、インデックス０，１，２，３である最小単位がジグザグ順序でスキャンされ、インデックス４，５，６，第７の最小単位がジグザグ順序でスキャンされる。

また、インデックス０，１，２，３である最小単位のグループは、深度２の符号化単位である。従って、インデックス０，１，２，３である最小単位を含む第１グループ、インデックス４，５，６，７である最小単位を含む第２グループ、インデックス８，９，１０，１１である最小単位を含む第３グループ、インデックス１２，１３，１４，１５である最小単位を含む第４グループは、それぞれ深度２の符号化単位として、ジグザグ順序でスキャンされる。

同様に、深度２の符号化単位４個を含む深度１の符号化単位についても、４個の深度１の符号化単位同士ジグザグ順序でスキャンされる。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、最大符号化単位内の最小単位の位置を検索することができる。ジグザグスキャン順序による現在最小単位のインデックス、最小単位のサイズ及び最大符号化単位のサイズを知っていれば、ジグザグスキャン順序による最小単位の位置が分かる。

このとき、最小単位の位置は、現在最大符号化単位の左側上端から現在最小単位の左側上端までの距離であり、現在最大符号化単位の左側上端のサンプル位置に対して相対的である現在最小単位の左側上端のピクセル位置として表現される。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、最大符号化単位内で、最小単位のジグザグスキャン順序によるインデックス及びラスタスキャン順序によるインデックスを相互変換することができる。最小単位のジグザグスキャン順序によるインデックス及びラスタスキャン順序によるインデックスの変換のために、最大符号化単位のサイズ、現在深度及び最大深度が考慮されてもよい。

図１７は、一実施形態による符号化単位、予測単位、パーティション、変換単位の位置及びスキャン・インデックスの関係を図示している。図１７で、ピクチャは、スライスに分割され、スライス１７５０は、一連の最大符号化単位で構成される。スライス１７５０内の最大符号化単位のうち、最大符号化単位ＬＣＵ １７６０の位置ｌｃｕＡｄｄｒは、スライス１７５０の左側上端サンプルに比べ、最大符号化単位１７６０の左側上端サンプルの相対的な位置として表現される。

最大符号化単位１７６０内のツリー構造による符号化単位において、符号化単位１７７０の位置は、最大符号化単位１７６０の左側上端サンプルに比べ、符号化単位１７７０のスキャン・インデックスｃｕＩｄｘとして表現されてもよい。符号化単位１７７０が、それ以上分割されない符号化深度の符号化単位であるならば、予測単位ＰＵ
１７７０になり、予測単位１７７０の位置は、最大符号化単位１７６０の左側上端サンプルに比べ、予測単位１７７０のスキャン・インデックスｐｕＩｄｘとして表現される。

予測単位１７７０は、一つ以上のパーティションに分割されてもよい。予測単位１７７０のパーティションのうち、ＰＵパーティション１７９０の位置は、予測単位１７７０の左側上端サンプルに比べ、パーティション１７９０のスキャン・インデックスｐｕＰａｒｔＩｄｘとして表現される。また、予測単位１７７０は、一つ以上の変換単位ＴＵに分割されてもよい。予測単位１７７０の変換単位のうち変換単位１７８０の位置は、予測単位１７７０の左側上端サンプルに比べ、変換単位１７８０のスキャン・インデックスｔｕＩｄｘとして表現される。

一実施形態によるビデオ符号化装置１００は、ビデオの符号化のために、図１７を参照して説明した一実施形態による符号化単位、予測単位、パーティション、変換単位の位置及びスキャン・インデックスを利用することができる。一実施形態によるビデオ復号化装置２００は、前述の符号化単位、予測単位、パーティション、変換単位の位置及びスキャン・インデックスを利用し、ツリー構造による符号化単位に基づいた映像の符号化されたデータを復号化することができる。

図１８は、一実施形態による符号化単位のスキャン・インデックスを図示している。図１８で、高さ及び幅がＣＵSizeである符号化単位１８５０が、１段階深度が増加しつつ、４個の下位深度の符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３に分割されてもよい。符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３の高さ及び幅は、ＣＵSize／２である。

符号化単位１８５０及び符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３のスキャン・インデックスは、当該符号化単位の左側上端に位置した最小単位のスキャン・インデックスとして表現され、最小単位のスキャン・インデックスは、最大符号化単位内での最小単位のスキャン順序を示す。例えば、符号化単位１８５０のインデックスｃｕＩｄｘは、符号化単位１８５０の左側上端の最小単位のインデックスを示す。

また、一実施形態による最大符号化単位、符号化単位、予測単位、変換単位などのデータ単位のサイズは、最小単位の個数でもって表現される。例えば、データ単位の高さ（幅）上に配列される最小単位の個数でもって、データ単位の高さ（幅）を指すことができる。

従って、符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３のスキャン・インデックスは、符号化単位１８５０の左側上端位置から、符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３ほど離れた位置であるから、符号化単位１８５０のスキャン・インデックスｃｕＩｄｘに比べて増加する符号化単位ＣＵ_０，ＣＵ_１，ＣＵ_２，ＣＵ_３のサイズは、最小単位の個数でもって表現される。具体的に、下記のように定義されてもよい。

（１）符号化単位ＣＵ_０のスキャン・インデックスは、ｃｕＩｄｘである。従って、符号化単位ＣＵ_０のスキャン・インデックスは、符号化単位ＣＵ_０より上位深度である上位符号化単位１８５０のスキャン・インデックスと同一である。

（２）符号化単位ＣＵ_１のスキャン・インデックスは、上位符号化単位１８５０のスキャン・インデックスから、符号化単位ＣＵ_０の横に配列される最小単位の個数（ＣｕSizeＩｎＳｕ／２）ほど増加する。従って、符号化単位ＣＵ_１のスキャン・インデックスは、ｃｕＩｄｘ＋ＣｕSizeＩｎＳｕ／２である。

（３）符号化単位ＣＵ_２のスキャン・インデックスは、上位符号化単位１８５０のスキャン・インデックスから、最大符号化単位の横に配列される最小単位の個数ＬｃｕSizeＩｎＳｕに、符号化単位ＣＵ_０の縦に配列される最小単位の個数ＣｕSizeＩｎＳｕ／２ほど乗じた値ほど増加する。従って、符号化単位ＣＵ_２のスキャン・インデックスは、ｃｕＩｄｘ＋ＣｕSizeＩｎＳｕ／２＊ＬｃｕSizeＩｎＳｕである。

（４）符号化単位ＣＵ_３のスキャン・インデックスは、符号化単位ＣＵ_２のスキャン・インデックスから、符号化単位ＣＵ_２の横サイズＣｕSizeＩｎＳｕ／２ほど増加する。従って、符号化単位ＣＵ_３のスキャン・インデックスは、ｃｕＩｄｘ＋ＣｕSizeＩｎＳｕ／２＋ＣｕSizeＩｎＳｕ／２＊ＬｃｕSizeＩｎＳｕである。

図１９は、一実施形態による符号化単位のスキャン・インデックスによる符号化単位のスキャン順序を図示している。図１９で、最大符号化単位１９００内のツリー構造による符号化単位は、それぞれの符号化単位が最小単位と同じサイズになるか、あるいはそれ以上分割が許容されないか、あるいは可能ではなくなるまで反復的に分割されてもよい。最大符号化単位１９００のツリー構造による符号化単位は、深度１の符号化単位１９７０、深度２の符号化単位１９１０，１９１２，１９１４，１９１６；１９６０，１９６２，１９６４，１９６６、深度３の符号化単位１９２０，１９２２，１９２４，１９２６，１９３０，１９３２，１９３４，１９３６，１９４０，１９４２，１９４４，１９４６，１９５０，１９５３，１９５４，１９５６を含んでもよい。

一実施形態によって、ツリー構造による符号化単位の全体に、ジグザグスキャン順序によってスキャンが行われ、同じ深度の符号化単位同士もジグザグスキャンが行われる。

従って、最大符号化単位１９００のツリー構造による符号化単位のスキャン順序及びスキャン・インデックスは、深度２の符号化単位（１９１０→１９１２→１９１４→１９１６の順序）→深度３の符号化単位（１９２０→１９２２→１９２４→１９２６の順序）→深度３の符号化単位（１９３０→１９３２→１９３４→１９３６の順序）→深度３の符号化単位（１９４０→１９４２→１９４４→１９４６の順序）→深度３の符号化単位（１９５０→１９５３→１９５４→１９５６の順序）→深度２の符号化単位（１９６０→１９６２→１９６４→１９６６の順序）→深度１の符号化単位１９７０の順序として定義される。

図２０は、一実施形態によるパーティションタイプ別に、パーティションのスキャン・インデックスを図示している。図２０で、一実施形態による予測単位のパーティションは、予測単位の高さ及び幅のうち少なくとも一つが分割された比率によって、対称的パーティションタイプ２０５０，２０５２，２０５４，２０５６と、非対称的パーティションタイプ２０６０，２０６２，２０６４，２０６６とに定義される。

一実施形態による予測単位の位置は、最小単位のサイズによって定義される予測単位のインデックスとして表現される。対称的パーティションタイプ２０５０，２０５２，２０５４，２０５６と、非対称的パーティションタイプ２０６０，２０６２，２０６４，２０６６との内に表記された数字０，１，２，３がそれぞれ当該予測単位に係わるパーティションのスキャン・インデックスを示している。

一実施形態による映像データ復号化部２３０は、予測単位のスキャン・インデックスに基づいて、予測単位の位置を検索することができる。具体的には、一実施形態による映像データ復号化部２３０は、予測単位のスキャン・インデックス、最小単位の高さ及び幅、最大符号化単位のサイズを利用し、最大符号化単位の左側上端サンプルに対比した予測単位の左側上端のピクセルの相対的位置を検索することができる。

一実施形態による映像データ復号化部２３０は、予測単位パーティションのスキャン・インデックスに基づいて、予測単位パーティションの位置を検索することができる。具体的には、一実施形態による映像データ復号化部２３０は、予測単位パーティションのスキャン・インデックス、最小単位の高さ及び幅、予測単位のサイズを利用し、予測単位の左側上端サンプルに対比した予測単位パーティションの左側上端のピクセルの相対的位置を検索することができる。

類似した方式で、一実施形態による映像データ復号化部２３０は、変換単位のスキャン・インデックスに基づいて、変換単位の位置を検索することができる。具体的には、一実施形態による映像データ復号化部２３０は、変換単位のスキャン・インデックス、最小単位の高さ及び幅、予測単位のサイズを利用し、予測単位の左側上端サンプルに対比した変換単位の左側上端のピクセルの相対的位置を検索することができる。

図２１は、一実施形態によって、現在データ単位２１７０の隣接情報になりうるデータ単位を図示している。図２１で、一実施形態によるビデオ符号化装置１００及び一実施によるビデオ復号化装置２００は、現在データ単位２１７０に対する符号化及び復号化のために、隣接するデータ単位を参照することができる。データ単位は、最大符号化単位、符号化単位、予測単位、パーティションを含む。

現在データ単位Ｘ ２１７０の隣接するデータ単位は、左側データ単位Ａ ２１８０、上端データ単位Ｂ ２１８２、右側上端データ単位Ｃ ２１８４、左側上端データ単位Ｄ ２１８６及び左側下端データ単位Ｅ ２１８８が含まれてもよい。

図２２は、本発明の一実施形態によって、現在最大符号化単位に隣接する最大符号化単位を図示している。図２２で、一実施形態によるビデオ符号化装置１００は、最大符号化単位に基づく符号化のために、隣接する最大符号化単位を参照することができる。また、一実施によるビデオ復号化装置２００は、最大符号化単位に基づく復号化のために、隣接する最大符号化単位を参照することができる。

現在最大符号化単位２２７０の隣接する最大符号化単位は、左側最大符号化単位２２８０、上端最大符号化単位２２８２、右側上端最大符号化単位２２８４、左側上端最大符号化単位２２８６及び左側下端最大符号化単位２２８８が含まれてもよい。一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、隣接する最大符号化単位２２８０，２２８２，２２８４，２２８６，２２８８のアドレス及び利用可能性ｌｃｕＡｄｄｒＡ，ｌｃｕＡｄｄｒＢ，ｌｃｕＡｄｄｒＣ，ｌｃｕＡｄｄｒＤ，ｌｃｕＡｄｄｒＥを検索することができる。隣接する最大符号化単位２２８０，２２８２，２２８４，２２８６，２２８８のアドレスは、現在最大符号化単位のアドレスＣｕｒｒＬｃｕＡｄｄｒに対して相対的である位置として表現される。

一実施形態による映像データ復号化部２３０は、最大符号化単位別利用可能性を検索することができる。（ｉ）最大符号化単位が現在ピクチャに含まれる場合、（ｉｉ）最大符号化単位が現在スライスに含まれない場合、及び（ｉｉｉ）最大符号化単位のアドレスが現在最大符号化単位のアドレスより後順位である場合のうち１つの場合を除外すれば、最大符号化単位のデータは、利用可能であると検索される。

図２３は、ラスタスキャン方式による既存マクロブロックを図示している。Ｈ．２６４のような従来コーデックは、最大サイズが１６ｘ１６であるマクロブロック単位を利用する。しかし、図２３のように、現在マクロブロック２０１０の復号化のために、同じピクチャ２０００の周辺マクロブロックが参照されるが、マクロブロックは、ラスタスキャン順序によって復号化されるので、左側下端に位置するマクロブロック２０２０は、まだ復号化されておらず、現在マクロブロック２０１０によって参照されない。以下、データ単位がまだ復号化されておらず、現在符号化単位によって参照されない場合、当該データ単位は、利用可能性がないと定義される。

図２４は、本発明の一実施形態によって、ジグザグスキャン順序による現在予測単位を図示している。既存の符号化方式は、ラスタスキャン方式によって、マクロブロックをスキャンするので、後順位である第１マクロブロックの情報を、第２マクロブロックが参照することができない。一方、一実施形態によるビデオ符号化装置１００は、第２マクロブロックの符号化のために、第１マクロブロックを第２マクロブロックの隣接情報として参照することが可能である。

図２４で、ピクチャ２１００を例に挙げれば、サイズ６４ｘ６４の最大符号化単位は、深度１の深度別符号化単位２１１０，２１２０，２１３０，２１４０間に、ジグザグスキャン順序で復号化される。また、深度１の深度別符号化単位２１４０内の深度２の深度別符号化単位２１４２，２１４４，２１４６，２１４８もジグザグ順序によって、スキャンされる。

ジグザグスキャン順序によって、深度１の深度別符号化単位２１４０が復号化された後、深度１の深度別符号化単位２１５０が復号化される。深度１の深度別符号化単位２１５０の復号化は、深度２の深度別符号化単位２１５２，２１５４，２１５６の順序で進められる。深度２の深度別符号化単位２１４４が、深度２の深度別符号化単位２１５６の左側下端に存在するが、ジグザグスキャン順序上、すでに復号化されているので、深度２の深度別符号化単位２１５６の隣接情報として参照されもする。深度２の深度別符号化単位２１５６がそれ以上分割されないならば、予測単位になり、現在予測単位２１５６の予測復号化のために、深度２の深度別符号化単位２１４４を参照することができる。

ラスタスキャン方式によるマクロブロック間には、スキャン順序上、後順位であるブロック２１４４が、ブロック２１５６に比べて後順位に復号化される。従って、ブロック２１４４の情報を、ブロック２１５６が参照することができない。

図２５は、本発明の一実施形態によって、現在パーティションに隣接する最小単位を図示している。図２５で、深度０の最大符号化単位２２１０，２２２０，２２３０が存在し、最小符号化単位のサイズ２２４０は、深度３に設定される。現在最大符号化単位２２１０の現在パーティション２２５０の隣接情報は、現在パーティション２２５０内の最小単位に隣接する外部最小単位を指す。

例えば、現在パーティション２２５０の左側隣接情報、上端隣接情報、左側上端隣接情報は、それぞれ現在パーティション２２５０内の左側上端に位置した最小単位２２５６の左側に位置する最小単位２２６２、上端に位置する最小単位２２６０、左側上端に位置する最小単位２２６６を指す。

現在パーティション２２５０の右側上端隣接情報は、現在パーティション２２５０内の右側上端に位置した最小単位２２５４の右側上端に位置する最小単位２２６４を指す。また、現在予測単位２２５０の左側下端隣接情報は、現在パーティション２２５０内に、左側下端の位置した最小単位２２５６の左側下端に位置する最小単位２２６８を指す。

一実施形態によるビデオ復号化装置２００の映像データ復号化部２３０は、現在パーティションに隣接する最小単位または最大符号化単位の位置及び利用可能性を検索することができる。隣接する最小単位のアドレスまたは最大符号化単位の位置は、現在パーティションに隣接する最小単位のインデックス、及び隣接する最小単位を含む最大符号化単位のアドレスで表現されてもよい。

（ｉ）最大符号化単位が現在ピクチャに含まれる場合、（ｉｉ）最大符号化単位が現在スライスに含まれない場合、（ｉｉｉ）最大符号化単位のアドレスが現在最大符号化単位のアドレスより後順位である場合、及び（ｉｖ）深度別符号化単位の左側上端の最小単位のジグザグスキャン順序によるインデックスが、現在最小単位のジグザグスキャン順序によるインデックスより後順位である場合のうち１つの場合を除外すれば、深度別符号化単位のデータは、利用可能であるということが検索される。

現在パーティションに隣接する隣接情報を検索するために、現在パーティション内の左側上端、右側上端または左側下端に位置する最小単位のインデックスが考慮され、分割タイプ情報及び現在深度についての情報が必要である。また、あらゆるパーティションのサイズが同一ではないならば、現在予測単位に係わるパーティションのインデックスが必要である。

図２６は、本発明の一実施形態によって、隣接情報を利用した動きベクトルの予測方法を図示している。一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、インターモードによる動き予測を行う場合、現在予測単位に隣接する予測単位の動きベクトルを参照することができる。

すなわち、図２６で、現在予測単位２３００の動き情報を予測するために、隣接する予測単位の動き情報ＭＶ＿Ａ（２３１０），ＭＶ＿Ｂ（２３２０），ＭＶ＿Ｃ（２３３０），ＭＶ＿Ｄ（２３４０），ＭＶ＿Ｅ（２３５０）が参照されもする。動き情報ＭＶ＿Ａ（２３１０），ＭＶ＿Ｂ（２３２０），ＭＶ＿Ｃ（２３３０），ＭＶ＿Ｄ（２３４０），ＭＶ＿Ｅ（２３５０）は、それぞれ現在予測単位２３００の左側、上端、右側上端、左側上端、左側下端の隣接情報である。動き情報ＭＶ＿Ａ（２３１０），ＭＶ＿Ｂ（２３２０），ＭＶ＿Ｃ（２３３０），ＭＶ＿Ｄ（２３４０），ＭＶ＿Ｅ（２３５０）はそれぞれ、当該予測単位の最小単位の符号化情報を利用して検索することができる。

図２７は、本発明の一実施形態によって、隣接情報を利用した補間方法を図示している。一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、イントラモードによる予測符号化を行う場合、現在予測単位に隣接する予測単位の境界上のピクセル値を参照することができる。

すなわち、図２７で、現在予測単位２４００のピクセル値を予測するために、隣接するデータ単位の境界上のピクセル値、すなわち、コンテクスト・ピクセル２４１０，２４２０が参照されて利用される。このうち、コンテクスト・ピクセル２４３０は、現在予測単位２４００の左側下端に位置する隣接情報である。

ラスタスキャン順序によるマクロブロック単位に基づいた既存コーデックは、現在マクロブロックの左側下端に位置する隣接情報、すなわち、動き情報ＭＶ＿Ｅ（２３５０）またはコンテクスト・ピクセル２４３０を隣接情報として利用することができない。

しかし一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、階層的深度による深度別符号化単位を、ジグザグスキャン順序によって符号化または復号化するので、現在データ単位の左側下端に位置した隣接情報が参照されもする。従って、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、現在予測単位の左側下端の隣接情報の利用可能性を確認した後、利用可能であるならば、左側下端の隣接情報を、現在予測単位の符号化または復号化に参照することが可能である。

図２８は、本発明の一実施形態によって、隣接情報を参照するビデオ符号化方法を図示している。図２８で、段階２５１０で、現在ピクチャは、最大サイズの符号化単位である少なくとも１つの最大符号化単位に分割される。

段階２５２０で、深度が増加するにつれて、階層的に分割される深度別符号化単位に基づいて、最大符号化単位ごとに映像データが符号化され、少なくとも１つの符号化深度が決定され、ツリー構造による符号化単位が決定される。最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ、さらに下位深度の符号化単位に分割されてもよい。深度別に符号化単位ごとに、反復的に符号化が行われねばならない。また、深度別符号化単位ごとに、符号化誤差が最小であるパーティションタイプ及び変換単位が決定されねばならない。符号化単位の最小符号化誤差を生じさせる符号化深度が決定されるために、あらゆる深度別符号化単位ごとに、符号化誤差が測定されて比較される。

映像データは、最大符号化単位間のラスタスキャン順序、及びそれぞれの最大符号化単位に含まれる深度別符号化単位間のジグザグスキャン順序を考慮して符号化される。また、データ単位間のスキャン順序を考慮し、利用可能性がある隣接情報を参照して符号化することができる。

段階２５３０では、それぞれの最大符号化単位ごとに、１つの符号化深度で符号化された映像データ及び符号化深度及び符号化モードについての情報が符号化されて出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データと共に復号化端に伝送することができる。

図２９は、本発明の一実施形態によって、隣接情報を参照するビデオ符号化方法を図示している。

段階２６１０で、符号化されたビデオに係わるビットストリームが受信され、パージングされる。段階２６２０で、パージングされたビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャの符号化された映像データが獲得され、最大符号化単位別符号化深度及び符号化モードについての情報が抽出される。

最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に符号化誤差が最も小さい深度でもって選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位がツリー構造による符号化単位に分割されてもよい。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、ツリー構造による符号化単位のそれぞれの映像データを復号化することによって、映像の符号化／復号化の効率性が向上しうる。

段階２５３０で、最大符号化単位別に符号化された映像データは、最大符号化単位のラスタスキャン順序、及び深度別符号化単位のジグザグスキャン順序を考慮して復号化される。ラスタスキャン順序による最大符号化単位の位置、及びジグザグスキャン順序による深度別符号化単位の位置が検索され、最小単位のジグザグスキャン順序によるインデックス、及びラスタスキャン順序によるインデックスは、相互変換される。

最大符号化単位または予測単位のラスタスキャン順序、最小単位のジグザグスキャン順序またはラスタスキャン順序など、多様な階層的データ単位のスキャン順序を考慮し、隣接情報の利用可能性が検索され、所定符号化単位の復号化のために、隣接情報が参照されもする。一実施形態による隣接情報は、現在データ単位の左側下端に位置するデータ単位についての情報を含んでもよい。

復号化された映像データは、再生装置によって再生されたり、あるいは記録媒体に保存されたり、ネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行可能であるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部

Claims (3)

1. 映像復号化装置において、
   ビットストリームから複数の最大符号化単位の符号化された映像データ及び前記複数の最大符号化単位のうち一つの最大符号化単位に含まれた符号化単位の分割情報を獲得する獲得部と、
   前記複数の最大符号化単位をラスタスキャン順序によって復号化し、前記最大符号化単位に含まれた符号化単位をジグザグスキャン順序によって復号化する復号化部を備え、
   前記最大符号化単位は、前記分割情報によって現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位で空間的に分割され、
   前記分割情報が前記現在深度で分割されることを示す時、前記現在深度の符号化単位は隣接符号化単位と独立して下位深度の４つの符号化単位で分割され、前記分割情報が前記現在深度で分割されないことを示す時、前記現在深度の符号化単位で少なくとも一つの予測単位が獲得され、
   前記下位深度の４つの符号化単位についてのジグザグスキャン順序は前記４つの符号化単位についてのラスタスキャン順序と同じであり、
   前記予測単位は、パーティションタイプ情報によって前記現在深度の符号化単位に基づいて決定されることを特徴とする映像復号化装置。
2. 前記復号化部は、前記最大符号化単位及び前記最大符号化単位に含まれ同じ符号化深度を有する符号化単位のスキャン順序による隣接情報の利用可能性を確認することによって前記隣接情報を参照することを特徴とする請求項１に記載の映像復号化装置。
3. 前記復号化部は、前記最大符号化単位の前記符号化単位の利用可能性を確認することを特徴とする請求項１に記載の映像復号化装置。
   

Images