JP7069379B2 - 符号化順序符号化方法及びその装置、該復号方法及びその装置 - Google Patents

Description

本発明は、ビデオの符号化方法及び復号方法に係り、さらに具体的には、映像の符号化／復号順序を決定する方法及びその装置のためのイントラ予測方法またはインター予測方法に関する。

高画質のビデオは、符号化時、多量のデータが要求される。しかし、ビデオデータ伝達のために許容される帯域幅は、限定されており、ビデオデータ伝送時に適用されるデータレートが制限されもする。従って、効率的なビデオデータ伝送のために、画質の劣化を最小化させながら、圧縮率を上昇させたビデオデータの符号化方法及び復号方法が必要である。

該ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することによって圧縮される。隣接したピクセル間において共通した特徴を有することが一般的であるために、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。

データ単位に含まれたピクセルのピクセル値は、直接伝送されず、ピクセル値を獲得するために必要な方法が伝送される。該ピクセル値を、原本値と類似して予測する予測方法がデータ単位ごとに決定され、該予測方法についての符号化情報が、符号化器から復号器に伝送される。また、予測値が原本値と完全には同一ではないので、該原本値と該予測値との差に係わるレジデュアルデータが、符号化器から復号器に伝送される。

予測が正確になるほど、予測方法特定に必要な符号化情報が増大するが、該レジデュアルデータの大きさが低減される。従って、該符号化情報と該レジデュアルデータとの大きさを考慮して予測方法が決定される。特に、ピクチャで分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど、予測正確度が低下する可能性が高い代わりに、符号化情報が減少する。従って、ピクチャの特性に相応するように、ブロックサイズ決定される。

また、予測方法には、イントラ予測とインター予測とがある。該イントラ予測は、ブロックの周辺ピクセルからブロックのピクセルを予測する方法である。インター予測は、ブロックが含まれたピクチャが参照する他のピクチャのピクセルを参照し、ピクセルを予測する方法である。従って、イントラ予測により、空間的重複性が除去され、インター予測により、時間的重複性が除去される。

予測方法の数が増加するほど、予測方法を示すための符号化情報の量が増加する。従って、ブロックに適用される符号化情報も、他のブロックから予測し、符号化情報の大きさを低減させることができる。

人間視覚が認知することができない限度において、ビデオデータの損失が許容されるが、レジデュアルデータを、変換過程及び量子化過程によって損失圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）し、レジデュアルデータ量を減少させることができる。

ブロックの最適符号化順序を決定してビデオを符号化するビデオ符号化方法が開示される。また、決定された符号化順序によってビデオを復号するビデオ復号方法が開示される。併せて、本開示の一実施形態によるビデオ符号化方法及びビデオ復号方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が開示される。

互いに隣接した第１ブロック及び第２ブロックの符号化順序変更いかんを示す符号化順序情報を獲得する段階、前記符号化順序情報により、前記第１ブロック及び前記第２ブロックの符号化順序を決定する段階、並びに前記第１ブロック及び前記第２ブロックを、決定された符号化順に復号する段階を含むことを特徴とするビデオ復号方法が提供される。

互いに隣接した第１ブロック及び第２ブロックの符号化順序変更いかんを決定する段階、前記符号化順序変更いかんにより、前記第１ブロック及び前記第２ブロックを符号化する段階、前記符号化順序変更いかんを示す符号化順序情報と、前記第１ブロック及び前記第２ブロックの符号化情報と、を含むビットストリームを出力する段階を含むビデオ符号化方法が提供される。

互いに隣接した第１ブロック及び第２ブロックの符号化順序変更いかんを示す符号化順序情報を獲得する符号化順序情報獲得部、前記符号化順序により、前記第１ブロック及び前記第２ブロックの符号化順序を決定する符号化順序決定部、並びに前記第１ブロック及び前記第２ブロックを、決定された符号化順に復号する復号部を含むことを特徴とするビデオ復号装置が提供される。

互いに隣接した第１ブロック及び第２ブロックの符号化順序変更いかんを決定する符号化順序決定部、前記符号化順序変更いかんにより、前記第１ブロック及び前記第２ブロックを符号化する符号化部、並びに前記符号化順序変更いかんを示す符号化順序情報と、前記第１ブロック及び前記第２ブロックの符号化情報と、を含むビットストリームを出力する出力部を含むビデオ符号化装置が提供される。

本実施形態がなす技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題が類推される。

本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置１５０のブロック図である。 一実施形態による、現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態による、非正方形の形態である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態による、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図面である。 一実施形態による、奇数個の符号化単位のうち所定符号化単位が決定される方法を図示する図面である。 一実施形態による、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態による、所定順序で符号化単位が処理されない場合、現在符号化単位が奇数個の符号化単位に分割されることによって決定される過程を図示する図面である。 一実施形態による、第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態によって、第１符号化単位が分割されて決定された非正方形の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する図面である。 一実施形態によって、分割形態情報が４個の正方形の符号化単位に分割することを示すことができない場合、正方形の符号化単位が分割される過程を図示する図面である。 一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示した図面である。 一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。 一実施形態による、符号化単位の形態及び大きさによって決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ ｉｎｄｅｘ）を図示する図面である。 一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたことを図示する図面である。 一実施形態による、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。 ブロックの符号化順序決定に係わる一実施形態によるビデオ復号装置１６００を図示する図面である。 ブロックの符号化順序決定に係わる一実施形態によるビデオ符号化装置１７００を図示する図面である。 ブロックの符号化順序変更の必要性について説明するための例を図示する図面である。 ブロックの符号化順序の決定方法に係わる実施形態を図示する図面である。 ブロックの符号化順序の決定方法に係わる実施形態を図示する図面である。 ブロックの符号化順序交替いかんを決定するために、符号化効率の比較方法を図示する図面である。 ブロックがイントラモードによって予測される場合、使用される参照サンプルを図示する図面である。 ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。 ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。 ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。 ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。 ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。 ブロックがインターモードによって予測される場合、使用される参照ブロックの位置を図示する図面である。 一実施形態によるビデオ復号装置１６００で遂行されるビデオ復号方法を示す図面である。 一実施形態によるビデオ符号化装置１７００で遂行されるビデオ符号化方法を示す図面である。

開示された実施形態の利点、特徴、及びそれらを達成する方法は、添付される図面と共に後述する実施形態を参照すれば、明確になるであろう。しかし、本開示は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、ただ、本実施形態は、本開示の開示を完全なものにし、本開示が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるものであるのみである。

本明細書で使用される用語について簡略に説明し、開示された実施形態について具体的に説明する。

本明細書で使用される用語は、本開示での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは、関連分野の当業者の意図または判例、新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本開示で使用される用語は、単純な用語の名称ではない、その用語が有する意味と、本開示の全般にわたる内容とを基に定義されなければならない。

本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。

明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかし、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されることも可能であり、または、それ以上のプロセッサを再生させるように構成されることも可能である。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素内及び「部」内で提供される機能は、さらに少数の構成要素及び「部」に結合されるか、あるいはさらなる構成要素とさらなる「部」とにさらに分離されもする。

「現在ブロック」は、現在、符号化または復号される符号化単位、予測単位及び変換単位のうち一つを意味する。また、「下位ブロック」は、「現在ブロック」から分割されたデータ単位を意味する。そして「上位ブロック」は、「現在ブロック」を含むデータ単位を意味する。

以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。かような少なくとも１つのサンプルを含む単位を、ブロックと定義することができる。

以下では、添付した図面を参照し、実施形態について、本開示が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面で本開示について明確に説明するために、説明と関係ない部分は省略する。

図１Ａは、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図である。

映像符号化装置１００は、最大符号化単位決定部１１０、符号化単位決定部１２０及び出力部１３０を含む。

最大符号化単位決定部１１０は、最大符号化単位の大きさにより、ピクチャ、またはピクチャに含まれたスライスを、複数の最大符号化単位に分割する。該最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位でもある。最大符号化単位決定部１１０は、該最大符号化単位の大きさを示す最大符号化単位サイズ情報を出力部１３０に提供することができる。そして、出力部１３０は、最大符号化単位サイズ情報をビットストリームに含めることができる。

符号化単位決定部１２０は、最大符号化単位を分割して符号化単位を決定する。該符号化単位は、最大サイズ及び最大深度と決定される。深度とは、最大符号化単位から、符号化単位が、空間的に分割された回数と定義されることができる。該深度が１増加するたびに、該符号化単位は、２個以上の符号化単位に分割される。従って、該深度が増大するほど、深度別符号化単位の大きさは、小さくなる。該符号化単位の分割いかんは、率・歪曲最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）により、符号化単位分割が効率的であるか否かということによって決定される。そして、該符号化単位が分割されたか否かということを示す分割情報が生成される。該分割情報は、フラグ形態によっても表現される。

該符号化単位は、多様な方法によっても分割される。例えば、正方形の符号化単位は、幅及び高さが半分である４個の正方形の符号化単位にも分割される。正方形の符号化単位は、幅が半分である２個の長方形の符号化単位にも分割される。正方形の符号化単位は、高さが半分である２個の長方形の符号化単位にも分割される。正方形の符号化単位は、幅または高さを１：２：１に分割することにより、３つの符号化単位にも分割される。

幅が高さの２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、２個の幅が高さの４倍である長方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、幅を１：２：１に分割することにより、２個の長方形の符号化単位と、１つの正方形の符号化単位とに分割される。

同様に、高さが幅の２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。また、高さが幅の２倍である長方形の符号化単位は、２個の高さが幅の４倍である長方形の符号化単位にも分割される。同様に、高さが幅の２倍である長方形の符号化単位は、高さを１：２：１に分割することにより、２個の長方形の符号化単位と、１つの正方形の符号化単位とに分割される。

映像符号化装置１００において、２個以上の分割方法が使用可能である場合、映像符号化装置１００で使用可能な分割方法のうち、符号化単位に使用される分割方法に係わる情報が、ピクチャごとに決定される。従って、ピクチャごとに特定の分割方法だけが使用されるように、決定されもする。もし映像符号化装置１００が１つの分割方法のみ使用する場合、符号化単位に使用される分割方法に係わる情報は、別途に決定されない。

該符号化単位の分割情報が、符号化単位が分割されることを示すとき、該符号化単位の分割方法を示す分割形態情報が生成される。もし該符号化単位が属したピクチャで使用される分割方法が一つである場合、分割形態情報が生成されない。もし該分割方法が符号化単位周辺の符号化情報に適応的に決定される場合、該分割形態情報は、生成されない。

最大符号化単位は、最小符号化単位サイズ情報により、最小符号化単位まで分割される。該最大符号化単位の深度が最上位深度であり、該最小符号化単位が最下位深度と定義されもする。従って、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データは、最大符号化単位に分割される。そして、該最大符号化単位は、深度別に分割される符号化単位を含んでもよい。該最大符号化単位は、深度別に分割されるので、該最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが、深度によって階層的に分類される。

該最大符号化単位を階層的に分割することができる最大回数を制限する最大深度、または符号化単位の最小サイズがあらかじめ設定されている。

符号化単位決定部１２０は、符号化単位を階層的に分割したときの符号化効率と、符号化単位を分割しなかったときの符号化効率とを比較する。そして、符号化単位決定部１２０は、比較結果により、符号化単位を分割するか否かということを決定する。もし符号化単位の分割がさらに効率的であると決定された場合、符号化単位決定部１２０は、符号化単位を階層的に分割する。もし比較結果により、符号化単位を分割しない方が効率的であると決定された場合、符号化単位を分割しない。符号化単位の分割いかんは、隣接した他の符号化単位の分割いかんに独立しても決定される。

一実施形態によれば、符号化単位の分割いかんは、符号化過程において、深度が大きい符号化単位からも決定される。例えば、最大深度の符号化単位と、最大深度より１ほど小さい符号化単位との符号化効率が比較され、最大符号化単位の各領域ごとに、最大深度の符号化単位と、最大深度より１ほど小さい符号化単位とのうちいずれがさらに効率的に符号化されるということが判断される。そして、該判断結果により、最大符号化単位の各領域ごとに、最大深度より１ほど小さい符号化単位の分割いかんが決定される。その後、該最大符号化単位の各領域ごとに、最大深度より２ほど小さい符号化単位と、前述の判断結果に基づいて選択された最大深度より１ほど小さい符号化単位と、最小深度の符号化単位との組み合わせのうちいずれがさらに効率的に符号化されるかということが判断される。同一判断過程が、深度が小さい符号化単位に対して順次に遂行され、最終的に、最大符号化単位と、最大符号化単位が階層的に分割されて生成された階層構造とのうちいずれがさらに効率的に符号化されるかということにより、最大符号化単位の分割いかんが決定される。

符号化単位の分割いかんは、符号化過程において、深度が小さい符号化単位から決定される。例えば、最大符号化単位と、最大符号化単位より１ほど深度が大きい符号化単位との符号化効率が比較され、最大符号化単位と、最大符号号単位より１ほど深度が大きい符号化単位とのうちいずれがさらに効率的に符号化されるかということが判断される。もし最大符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割されない。もし最大符号化単位より１ほど深度が大きい符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割され、分割された符号化単位に対して、同一比較過程が反復される。

深度が大きい符号化単位から符号化効率を検討する場合、演算量が多いが、符号化効率が高いツリー構造を獲得することができる。反対に、深度が小さい符号化単位から符号化効率を検討する場合、演算量が少ないが、符号化効率が低いツリー構造を獲得することができる。従って、符号化効率と演算量とを考慮し、最大符号化単位の階層的ツリー構造を獲得するためのアルゴリズムが多様な方法によっても設計される。

符号化単位決定部１２０は、深度別符号化単位の効率性を判断するために、符号化単位に最も効率的な予測及び変換方法を決定する。該符号化単位は、最も効率的な予測及び変換方法を決定するために、所定データ単位にも分割される。該データ単位は、符号化単位の分割方法により、多様な形態を有することができる。該データ単位を決定するための符号化単位の分割方法は、パーティションモードとも定義される。例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が分割されない場合、符号化単位に含まれた予測単位の大きさは、２Ｎｘ２Ｎになる。サイズ２Ｎｘ２Ｎの符号化単位が分割される場合、符号化単位に含まれた予測単位の大きさは、パーティションモードにより、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどにもなる。一実施形態によるパーティションモードは、符号化単位の高さまたは幅が対称的比率に分割された対称的データ単位だけではなく、１：ｎまたはｎ：１のように、非対称的比率に分割されたデータ単位、斜線方向に分割されたデータ単位、その他幾何学的な形態に分割されたデータ単位、任意的形態のデータ単位を生成することができる。

該符号化単位は、該符号化単位に含まれたデータ単位を基準に、予測及び変換が行われる。しかし、一実施形態により、予測のためのデータ単位と、変換のためのデータ単位とが別途にも決定される。予測のためのデータ単位は、予測単位と定義され、変換のためのデータ単位は、変換単位とも定義される。該予測単位で適用されるパーティションモードと、該変換単位で適用されるパーティションモードは、互いに異なり、符号化単位において、予測単位の予測と、変換単位の変換は、並列して独立しても行われる。

該符号化単位は、効率的な予測方法を決定するために、１以上の予測単位にも分割される。同様に、該符号化単位は、効率的な変換方法を決定するために、１以上の変換単位にも分割される。該予測単位の分割と、該変換単位の分割は、独立しても行われる。しかし、該符号化単位内部の復元サンプルが、イントラ予測に使用される場合、該符号化単位に含まれた予測単位または変換単位の間に、従属的関係が形成されるので、該予測単位と該変換単位との分割は、互いに影響を及ぼす。

該符号化単位に含まれた予測単位は、イントラ予測またはインター予測によって予測される。該イントラ予測は、予測単位周辺の参照サンプルを利用して、予測単位のサンプルを予測する方法である。該インター予測は、現在ピクチャが参照する参照ピクチャから参照サンプルを獲得し、予測単位のサンプルを予測する方法である。

符号化単位決定部１２０は、イントラ予測のために、複数のイントラ予測方法を予測単位に適用し、最も効率的なイントラ予測方法を選択することができる。該イントラ予測方法には、ＤＣモード、プレーナ（ｐｌａｎａｒ）モード、垂直モード及び水平モードのような方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードなどが含まれる。

該イントラ予測は、符号化単位周辺の復元サンプルを、参照サンプルとして使用する場合、予測単位ごとに行われる。しかし、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、該符号化単位内部の参照サンプルの復元が予測より優先されなければならないので、該変換単位の変換順序に、予測単位の予測順序が従属する。従って、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、該予測単位に対して、該予測単位に対応する変換単位に対するイントラ予測方法だけが決定され、実質的なイントラ予測は、変換単位ごとに行われる。

符号化単位決定部１２０は、最適の動きベクトル及び参照ピクチャを決定することにより、最も効率的なインター予測方法を選択することができる。符号化単位決定部１２０は、インター予測のために、現在符号化単位から空間的、時間的に隣接する符号化単位から、複数の動きベクトル候補を決定し、そのうち、最も効率的な動きベクトルを動きベクトルとして決定することができる。同様に、現在符号化単位から空間的、時間的に隣接する符号化単位から、複数の参照ピクチャ候補を決定し、そのうち、最も効率的な参照ピクチャを決定することができる。一実施形態により、参照ピクチャは、現在ピクチャに対してあらかじめ決定された参照ピクチャリストのうち決定される。一実施形態より、予測の正確性のために、複数の動きベクトル候補のうち、最も効率的な動きベクトルを予測動きベクトルとして決定し、該予測動きベクトルを補正し、動きベクトルを決定することができる。該インター予測は、符号化単位内部の予測単位別に、並列的に行われる。

符号化単位決定部１２０は、スキップモードにより、動きベクトル及び参照ピクチャを示す情報のみを獲得し、符号化単位を復元することができる。該スキップモードによれば、動きベクトル及び参照ピクチャを示す情報を除き、残差信号を含んだ全ての符号化情報が省略される。該残差信号が省略されるので、予測の正確性が非常に高い場合、該スキップモードが使用される。

該予測単位に係わる予測方法によって使用されるパーティションモードが制限される。例えば、イントラ予測には、２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードだけが適用される一方、インター予測には、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードが適用される。また、該インター予測のスキップモードには、２Ｎｘ２Ｎサイズの予測単位に係わるパーティションモードだけが適用される。映像符号化装置１００において、各予測方法に対して許容されるパーティションモードは、符号化効率によっても変更される。

映像符号化装置１００は、符号化単位、または符号化単位に含まれた変換単位を基準に変換を行うことができる。映像符号化装置１００は、符号化単位に含まれたピクセルに係わる原本値と、予測値との差値であるレジデュアルデータを、所定過程を経て変換させることができる。例えば、映像符号化装置１００は、レジデュアルデータを、量子化及びＤＣＴ／ＤＳＴ変換を介して損失圧縮を行うことができる。または、映像符号化装置１００は、レジデュアルデータを、量子化なしに無損失圧縮を行うことができる。

映像符号化装置１００は、量子化及び変換に最も効率的な変換単位を決定することができる。ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度により、ツリー構造による変換単位によって区画される。そして、映像符号化装置１００は、決定された変換単位のツリー構造により、符号化単位及び変換単位の分割に係わる変換分割情報を生成することができる。

映像符号化装置１００は、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２にも設定される。すなわち、変換深度により、ツリー構造による変換単位が設定される。

結論として、符号化単位決定部１２０は、複数のイントラ予測方法及びインター予測方法のうち、現在予測単位に最も効率的な予測方法を決定する。そして、符号化単位決定部１２０は、予測結果による符号化効率により、予測単位決定方式を判断する。同様に、符号化単位決定部１２０は、変換結果による符号化効率により、変換単位決定方式を判断する。最も効率的な予測単位と変換単位との決定方式により、最終的に符号化単位の符号化効率が決定される。符号化単位決定部１２０は、各深度別符号化単位の符号化効率により、最大符号化単位の階層構造を確定する。

符号化単位決定部１２０は、深度別符号化単位の符号化効率性、予測方法の予測効率性などを、ラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ ｍｕｌｔｉｐｌｉｅｒ）基盤の率・歪曲最適化技法（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）を利用して測定することができる。
符号化単位決定部１２０は、決定された最大符号化単位の階層構造により、符号化単位の深度別分割いかんを示す分割情報を生成することができる。そして、符号化単位決定部１２０は、分割が完了した符号化単位に対して、予測単位の決定のためのパーティションモード情報、及び変換単位の決定のための変換単位分割情報を生成することができる。また、符号化単位決定部１２０は、符号化単位の分割方法が２個以上である場合、該分割方法を示す分割形態情報を、分割情報と共に生成することができる。そして、符号化単位決定部１２０は、予測単位及び変換単位に使用された予測方法及び変換方法に係わる情報を生成することができる。

出力部１３０は、最大符号化単位の階層構造により、最大符号化単位決定部１１０及び符号化単位決定部１２０が生成した情報をビットストリーム形態に出力することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位及び変換単位の決定方式については、図３ないし図１２を参照して詳細に後述する。

図１Ｂは、一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置１５０のブロック図である。

映像復号装置１５０は、受信部１６０、符号化情報抽出部１７０及び復号部１８０を含む。

一実施形態による映像復号装置１５０の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図１及び映像符号化装置１００を参照して説明したところと同一である。また、映像復号装置１５０の目的が、映像データの復元であるが、映像符号化装置１００で使用された多様な符号化方法が、映像復号装置１５０にも適用される。

受信部１６０は、符号化されたビデオに係わるビットストリームを受信してパージングする。符号化情報抽出部１７０は、パージングされたビットストリームから、最大符号化単位別に復号に必要な情報を抽出し、復号部１８０に提供する。符号化情報抽出部１７０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、符号化情報抽出部１７０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、復号部１８０に出力される。復号部１８０は、最大符号化単位を、抽出された最終深度及び分割情報によって分割し、最大符号化単位のツリー構造を決定することができる。

符号化情報抽出部１７０が抽出した分割情報は、映像符号化装置１００によって、最小符号化誤差を発生させると決定されたツリー構造に係わる分割情報である。従って、映像復号装置１５０は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。

符号化情報抽出部１７０は、符号化単位に含まれた予測単位及び変換単位のようなデータ単位に係わる分割情報を抽出することができる。例えば、符号化情報抽出部１７０は、予測単位に係わる最も効率的なパーティションモードに係わる情報を抽出することができる。そして、符号化情報抽出部１７０は、変換単位において、最も効率的なツリー構造に係わる変換分割情報を抽出することができる。

また、符号化情報抽出部１７０は、符号化単位から分割された予測単位に対して、最も効率的な予測方法に係わる情報を獲得することができる。そして、符号化情報抽出部１７０は、符号化単位から分割された変換単位に対して、最も効率的な変換方法に係わる情報を獲得することができる。

符号化情報抽出部１７０は、映像符号化装置１００の出力部１３０から、ビットストリームを構成する方式により、ビットストリームから情報を抽出する。

復号部１８０は、分割情報に基づいて、最大符号化単位を最も効率的なツリー構造を持った符号化単位に分割することができる。そして、復号部１８０は、パーティションモードに係わる情報によって、符号化単位を予測単位に分割することができる。復号部１８０は、変換分割情報により、符号化単位を変換単位に分割することができる。

復号部１８０は、予測単位を、予測方法に係わる情報によって予測することができる。そして、復号部１８０は、変換単位を、変換方法に係わる情報により、ピクセルの原本値と予測値との差に該当するレジデュアルデータを、逆量子化及び逆変換することができる。また、復号部１８０は、予測単位の予測結果と、変換単位の変換結果とにより、符号化単位のピクセルを復元することができる。

図２は、一実施形態による映像復号装置１５０が、現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態による映像復号装置１５０は、ブロック形態情報を利用して、符号化単位の形態を決定することができ、分割形態情報を利用して、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置１５０が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定される。

一実施形態により、映像復号装置１５０は、現在符号化単位が正方形であるということを示すブロック形態情報を利用することができる。例えば、映像復号装置１５０は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するというようなことを決定することができる。図２を参照すれば、現在符号化単位２００のブロック形態情報が正方形の形態を示す場合、復号部１８０は、分割されないことを示す分割形態情報により、現在符号化単位２００と同一サイズを有する符号化単位２１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位２１０ｂ，２１０ｃ，２１０ｄなどを決定することができる。

図２を参照すれば、映像復号装置１５０は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づいて、現在符号化単位２００を垂直方向に分割した２つの符号化単位２１０ｂを決定することができる。映像復号装置１５０は、水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位２００を水平方向に分割した２つの符号化単位２１０ｃを決定することができる。映像復号装置１５０は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位２００を、垂直方向及び水平方向に分割した４つの符号化単位２１０ｄを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定分割形態は、以下で、多様な実施形態を介して具体的に説明する。

図３は、一実施形態による映像復号装置１５０が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態による映像復号装置１５０は、現在符号化単位が非正方形であることを示すブロック形態情報を利用することができる。映像復号装置１５０は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図３を参照すれば、現在符号化単位３００または３５０のブロック形態情報が非正方形の形態を示す場合、映像復号装置１５０は、分割されないことを示す分割形態情報により、現在符号化単位３００または３５０と同一サイズを有する符号化単位３１０または３６０を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位３２０ａ，３２０ｂ，３３０ａ，３３０ｂ，３３０ｃ，３７０ａ，３７０ｂ，３８０ａ，３８０ｂ，３８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で、多様な実施形態を介して具体的に説明する。

一実施形態による映像復号装置１５０は、分割形態情報を利用して、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図３を参照すれば、該分割形態情報が２つの符号化単位に、現在符号化単位３００または３５０が分割されることを示す場合、映像復号装置１５０は、分割形態情報に基づいて、現在符号化単位３００または３５０を分割し、現在符号化単位に含まれる２つの符号化単位３２０ａ，３２０ｂまたは３７０ａ，３７０ｂを決定することができる。

一実施形態による映像復号装置１５０が、分割形態情報に基づいて、非正方形の形態の現在符号化単位３００または３５０を分割する場合、非正方形の現在符号化単位３００または３５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置１５０は、現在符号化単位３００または３５０の形態を考慮し、現在符号化単位３００または３５０の長辺を分割する方向に、現在符号化単位３００または３５０を分割し、複数個の符号化単位を決定することができる。

一実施形態により、分割形態情報が、奇数個のブロックに符号化単位を分割することを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が、３個の符号化単位に、現在符号化単位３００または３５０を分割することを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０を、３個の符号化単位３３０ａ，３３０ｂ，３３０ｃ，３８０ａ，３８０ｂ，３８０ｃに分割することができる。一実施形態による映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさが、いずれも同一ではないこともある。例えば、決定された奇数個の符号化単位３３０ａ，３３０ｂ，３３０ｃ，３８０ａ，３８０ｂ，３８０ｃにおいて、所定符号化単位３３０ｂまたは３８０ｂの大きさは、他の符号化単位３３０ａ，３３０ｃ，３８０ａ，３８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位３００または３５０が分割されて決定される符号化単位は、複数種の大きさを有することができる。

一実施形態により、分割形態情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置１５０は、現在符号化単位３００または３５０に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置１５０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して、所定制限を置くことができる。図３を参照すれば、映像復号装置１５０は、現在符号化単位３００または３５０が分割されて生成された３個の符号化単位３３０ａ，３３０ｂ，３３０ｃ，３８０ａ，３８０ｂ，３８０ｃのうち、中央に位置する符号化単位３３０ｂ，３８０ｂに対する復号過程を、他の符号化単位３３０ａ，３３０ｃ，３８０ａ，３８０ｃと異なるようにすることができる。例えば、映像復号装置１５０は、中央に位置する符号化単位３３０ｂ，３８０ｂについては、他の符号化単位３３０ａ，３３０ｃ，３８０ａ，３８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどだけ分割されるように制限することができる。

図４は、一実施形態による映像復号装置１５０が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。

一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形の第１符号化単位４００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、該分割形態情報が、水平方向に、第１符号化単位４００を分割することを示す場合、映像復号装置１５０は、第１符号化単位４００を水平方向に分割し、第２符号化単位４１０を決定することができる。一実施形態によって利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定される。以下では、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものと理解する。

一実施形態による映像復号装置１５０は、決定された第２符号化単位４１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図４を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００を分割して決定された非正方形の形態の第２符号化単位４１０を、少なくとも１つの第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどに分割するか、あるいは第２符号化単位４１０を分割しないこともある。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、映像復号装置１５０は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００を分割し、例えば、多様な形態の複数個の第２符号化単位４１０を分割することができ、第２符号化単位４１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位４００が分割された方式によっても分割される。一実施形態により、第１符号化単位４００が、第１符号化単位４００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位４１０に分割された場合、第２符号化単位４１０も、第２符号化単位４１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的にも分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。

一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位４２０ａ，４２０ｂ，４２０ｃ，４２０ｄなどそれぞれを符号化単位に分割するか、あるいは第２符号化単位４１０を分割しないと決定することができる。映像復号装置１５０は、一実施形態により、非正方形の第２符号化単位４１０を、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄに分割することができる。映像復号装置１５０は、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄにおいて、所定第３符号化単位に対して所定制限を置くことができる。例えば、映像復号装置１５０は、奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄのうち真ん中に位置する符号化単位４２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数で分割されなければならないと制限することができる。図４を参照すれば、映像復号装置１５０は、非正方形の第２符号化単位４１０に含まれる奇数個の第３符号化単位４２０ｂ，４２０ｃ，４２０ｄのうち真ん中に位置する符号化単位４２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にのみ分割するか、あるいは第２符号化単位４１０が分割された形態に対応する形態に分割する）されると制限するか、あるいは所定回数だけで分割（例えば、ｎ回だけ分割（ｎ＞０）する）すると制限することができる。ただし、真ん中に位置した符号化単位４２０ｃに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位４２０ｃが、異なる符号化単位４２０ｂ，４２０ｄと異なるように復号される多様な制限を含むと解釈されなければならない。

一実施形態による映像復号装置１５０は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。

図１３は、一実施形態による映像復号装置１５０が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。図１３を参照すれば、現在符号化単位１３００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位１３００に含まれる複数個のサンプルのうち、所定位置のサンプル（例えば、真ん中に位置するサンプル１３４０）で獲得される。ただし、かようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位１３００内の所定位置は、図１３で図示する真ん中の位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位１３００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれると解釈されなければならない。映像復号装置１５０は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。

一実施形態による映像復号装置１５０は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものがあり、かような方法に係わる説明は、以下の多様な実施形態を介して後述する。

一実施形態による映像復号装置１５０は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。

図５は、一実施形態による映像復号装置１５０が、奇数個の符号化単位のうち、所定位置の符号化単位を決定するための方法を図示する。

一実施形態による映像復号装置１５０は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図５を参照すれば、映像復号装置１５０は、現在符号化単位５００を分割し、奇数個の符号化単位５２０ａ，５２０ｂ，５２０ｃを決定することができる。映像復号装置１５０は、奇数個の符号化単位５２０ａ，５２０ｂ，５２０ｃの位置に係わる情報を利用し、真ん中符号化単位５２０ｂを決定することができる。例えば、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃに含まれる所定サンプルの位置を示す情報に基づいて、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を決定することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。具体的には、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃの左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報に基づいて、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を決定することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。

一実施形態により、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報は、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す情報は、現在符号化単位５００に含まれる符号化単位５２０ａ，５２０ｂ，５２０ｃの幅または高さを示す情報を含んでもよく、かような幅または高さは、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での座標間差を示す情報に該当する。すなわち、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位５２０ｂを決定することができる。

一実施形態により、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃにそれぞれ含まれる左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの座標を利用し、真ん中符号化単位５２０ｂを決定することができる。例えば、左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの座標を昇順または降順に整列したとき、真ん中に位置するサンプル５３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位５２０ｂを、現在符号化単位５００が分割されて決定された符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル５３０ａ，５３０ｂ，５３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を基準に、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法によって解釈されなければならない。

一実施形態による映像復号装置１５０は、現在符号化単位５００を、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割することができ、符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、所定基準によって符号化単位を選択することができる。例えば、映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃにおいて、大きさが異なる符号化単位５２０ｂを選択することができる。

一実施形態による映像復号装置１５０は、上端符号化単位５２０ａの左側上端のサンプル５３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位５２０ｂの左側上端のサンプル５３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位５２０ｃの左側上端のサンプル５３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位５２０ａ，５２０ｂ，５２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１５０は、符号化単位５２０ａ，５２０ｂ，５２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位５２０ａ，５２０ｂ，５２０ｃそれぞれの大きさを決定することができる。

一実施形態により、映像復号装置１５０は、上端符号化単位５２０ａの幅を、ｘｂ－ｘａと決定することができ、高さを、ｙｂ－ｙａと決定することができる。一実施形態による映像復号装置１５０は、真ん中符号化単位５２０ｂの幅を、ｘｃ－ｘｂと決定することができ、高さを、ｙｃ－ｙｂと決定することができる。一実施形態による映像復号装置１５０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位５２０ａ、並びに真ん中符号化単位５２０ｂの幅及び高さと、を使用して決定することができる。映像復号装置１５０は、決定された符号化単位５２０ａ，５２０ｂ，５２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図５を参照すれば、映像復号装置１５０は、上端符号化単位５２０ａ及び下端符号化単位５２０ｃの大きさと異なる大きさを有する真ん中の符号化単位５２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置１５０が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。

ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されると解釈される。

一実施形態による映像復号装置１５０は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより長い非正方形であるならば、映像復号装置１５０は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より長い非正方形であるならば、映像復号装置１５０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。

一実施形態による映像復号装置１５０は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置１５０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図５で述べた奇数個の符号化単位のうち、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略する。

一実施形態により、非正方形の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置１５０は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。

図５を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位５００を、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割することができ、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、真ん中に位置する符号化単位５２０ｂを決定することができる。さらには、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位５２０ｂを決定することができる。すなわち、現在符号化単位５００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位５００の真ん中に位置するサンプル５４０から獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位５００が、複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃに分割された場合、前記サンプル５４０を含む符号化単位５２０ｂを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程で利用される。

一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルから獲得される。図５を参照すれば、映像復号装置１５０は、現在符号化単位５００が分割されて決定された複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃにおいて、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位５００内の所定位置のサンプル（例えば、現在符号化単位５００の真ん中に位置するサンプル）から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、映像復号装置１５０は、現在符号化単位５００のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置１５０は、現在符号化単位５００が分割されて決定される複数個の符号化単位５２０ａ，５２０ｂ，５２０ｃのうち、所定情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されるサンプルが含まれた符号化単位５２０ｂを決定し、所定制限を置くことができる。図５を参照すれば、一実施形態による映像復号装置１５０は、所定情報が獲得されるサンプルとして、現在符号化単位５００の真ん中に位置するサンプル５４０を決定することができ、映像復号装置１５０は、かようなサンプル５４０が含まれる符号化単位５２０ｂに対して、復号過程での所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、該制限を置くために決定する符号化単位５２０ｂに含まれる任意の位置のサンプルと解釈される。

一実施形態により、所定情報が獲得されるサンプル位置は、現在符号化単位５００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によっては、所定情報が獲得されるサンプルの位置を決定することができる。例えば、映像復号装置１５０は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち、少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルと決定することができる。他の例を挙げれば、映像復号装置１５０は、現在符号化単位に係わるブロック形態情報が非正方形であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルと決定することができる。

一実施形態による映像復号装置１５０は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置１５０は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図４を介して説明したので、詳細な説明は、省略する。

一実施形態による映像復号装置１５０は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、かような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。

図６は、一実施形態による映像復号装置１５０が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。

一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報により、第１符号化単位６００を垂直方向に分割し、第２符号化単位６１０ａ，６１０ｂを決定するか、第１符号化単位６００を水平方向に分割し、第２符号化単位６３０ａ，６３０ｂを決定するか、あるいは第１符号化単位６００を垂直方向及び水平方向に分割し、第２符号化単位６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを決定することができる。

図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を垂直方向に分割して決定された第２符号化単位６１０ａ，６１０ｂを、水平方向６１０ｃに処理されるように、順序を決定することができる。映像復号装置１５０は、第１符号化単位６００を水平方向に分割して決定された第２符号化単位６３０ａ，６３０ｂの処理順序を、垂直方向６３０ｃと決定することができる。映像復号装置１５０は、第１符号化単位６００を、垂直方向及び水平方向に分割して決定された第２符号化単位６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタスキャン順序（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）またはｚスキャン順序（ｚ ｓｃａｎ ｏｒｄｅｒ）６５０ｅなど）によって決定することができる。

一実施形態による映像復号装置１５０は、符号化単位を再帰的に分割することができる。図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を分割し、複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを決定することができ、決定された複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄそれぞれを、再帰的に分割することができる。複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄを分割する方法は、第１符号化単位６００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位６１０ａ，６１０ｂ，６３０ａ，６３０ｂ，６５０ａ，６５０ｂ，６５０ｃ，６５０ｄは、それぞれ独立して複数個の符号化単位にも分割される。図６を参照すれば、映像復号装置１５０は、第１符号化単位６００を垂直方向に分割し、第２符号化単位６１０ａ，６１０ｂを決定することができ、さらには、第２符号化単位６１０ａ，６１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。

一実施形態による映像復号装置１５０は、左側の第２符号化単位６１０ａを水平方向に分割し、第３符号化単位６２０ａ，６２０ｂに分割することができ、右側の第２符号化単位６１０ｂは、分割しない。

一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいて決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置１５０は、左側の第２符号化単位６１０ａが分割されて決定された第３符号化単位６２０ａ，６２０ｂが処理される順序を、右側の第２符号化単位６１０ｂと独立して決定することができる。左側の第２符号化単位６１０ａが水平方向に分割され、第３符号化単位６２０ａ，６２０ｂが決定されたので、第３符号化単位６２０ａ，６２０ｂは、垂直方向６２０ｃに処理される。また、左側の第２符号化単位６１０ａ及び右側の第２符号化単位６１０ｂが処理される順序は、水平方向６１０ｃに該当するので、左側の第２符号化単位６１０ａに含まれる第３符号化単位６２０ａ，６２０ｂが、垂直方向６２０ｃに処理された後、右側符号化単位６１０ｂが処理される。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理される多様な方法に利用されると解釈されなければならない。

図７は、一実施形態による映像復号装置１５０が、所定順序で符号化単位が処理されない場合、現在符号化単位が、奇数個の符号化単位に分割されるか否かということを決定する過程を図示する。

一実施形態による映像復号装置１５０は、獲得されたブロック形態情報及び分割形態情報に基づいて、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図７を参照すれば、正方形の第１符号化単位７００が非正方形の第２符号化単位７１０ａ，７１０ｂに分割され、第２符号化単位７１０ａ，７１０ｂは、それぞれ独立して、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅにも分割される。一実施形態による映像復号装置１５０は、第２符号化単位のうち左側符号化単位７１０ａは、水平方向に分割され、複数個の第３符号化単位７２０ａ，７２０ｂを決定することができ、右側符号化単位７１０ｂは、奇数個の第３符号化単位７２０ｃ，７２０ｄ，７２０ｅに分割される。

一実施形態による映像復号装置１５０は、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅが、所定順序に処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図７を参照すれば、映像復号装置１５０は、第１符号化単位７００を再帰的に分割し、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅを決定することができる。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位７００、第２符号化単位７１０ａ，７１０ｂまたは第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位７１０ａ，７１０ｂのうち、右側に位置する符号化単位が、奇数個の第３符号化単位７２０ｃ，７２０ｄ，７２０ｅにも分割される。第１符号化単位７００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚスキャン順序（ｚ－ｓｃａｎ ｏｒｄｅｒ）７３０）にもなり、映像復号装置１５０は、右側第２符号化単位７１０ｂが奇数個に分割されて決定された第３符号化単位７２０ｃ，７２０ｄ，７２０ｅが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。

一実施形態による映像復号装置１５０は、第１符号化単位７００に含まれる第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位７２０ａ，７２０ｂ，７２０ｃ，７２０ｄ，７２０ｅの境界により、第２符号化単位７１０ａ，７１０ｂの幅及び高さのうち、少なくとも一つを半分に分割するか否かということに係わる。例えば、非正方形の左側第２符号化単位７１０ａの高さを半分に分割して決定される第３符号化単位７２０ａ，７２０ｂは、条件を満足するが、右側第２符号化単位７１０ｂを、３個の符号化単位に分割して決定される第３符号化単位７２０ｃ，７２０ｄ，７２０ｅの境界が、右側第２符号化単位７１０ｂの幅または高さを半分に分割することができないので、第３符号化単位７２０ｃ，７２０ｄ，７２０ｅは、条件を満足することができないと決定され、映像復号装置１５０は、かような条件不満足の場合、スキャン順序の断絶（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）と判断し、判断結果に基づいて、右側第２符号化単位７１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して、所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。

図８は、一実施形態による映像復号装置１５０が、第１符号化単位８００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態による映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位８００を分割することができる。正方形の第１符号化単位８００は、４個の正方形を有する符号化単位に分割されるか、あるいは非正方形の複数個の符号化単位に分割することができる。例えば、図８を参照すれば、ブロック形態情報が、第１符号化単位８００は、正方形であるということを示し、分割形態情報が、非正方形の符号化単位に分割されるということを示す場合、映像復号装置１５０は、第１符号化単位８００を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第１符号化単位８００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定するということを示す場合、映像復号装置１５０は、正方形の第１符号化単位８００を、奇数個の符号化単位として垂直方向に分割されて決定された第２符号化単位８１０ａ，８１０ｂ，８１０ｃ、または水平方向に分割されて決定された第２符号化単位８２０ａ，８２０ｂ，８２０ｃに分割することができる。

一実施形態による映像復号装置１５０は、第１符号化単位８００に含まれる第２符号化単位８１０ａ，８１０ｂ，８１０ｃ，８２０ａ，８２０ｂ，８２０ｃが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位８１０ａ，８１０ｂ，８１０ｃ，８２０ａ，８２０ｂ，８２０ｃの境界により、第１符号化単位８００の幅及び高さのうち少なくとも一つを半分に分割するか否かということに係わる。図８を参照すれば、正方形の第１符号化単位８００を垂直方向に分割して決定される第２符号化単位８１０ａ，８１０ｂ，８１０ｃの境界が、第１符号化単位８００の幅を半分に分割することができないので、第１符号化単位８００は、所定順序によって処理される条件を満足することができないと決定される。また、正方形の第１符号化単位８００を水平方向に分割して決定される第２符号化単位８２０ａ，８２０ｂ，８２０ｃの境界が、第１符号化単位８００の幅を半分に分割することができないので、第１符号化単位８００は、所定順序によって処理されることができる条件を満足することができないと決定される。映像復号装置１５０は、かような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づいて、第１符号化単位８００は、奇数個の符号化単位に分割されることによって決定することができる。一実施形態による映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。

一実施形態により、映像復号装置１５０は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。

図８を参照すれば、映像復号装置１５０は、正方形の第１符号化単位８００、非正方形の第１符号化単位８３０または８５０を、多様な形態の符号化単位に分割することができる。

図９は、一実施形態による映像復号装置１５０が、第１符号化単位９００が分割されて決定された非正方形の第２符号化単位が、所定条件を満足する場合、第２符号化単位が分割される形態が制限されるということを図示する。

一実施形態による映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形の第１符号化単位９００を、非正方形の第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂに分割すると決定することができる。第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂは、独立しても分割される。それにより、映像復号装置１５０は、第２符号化単位９１０ａ，９１０ｂ，９２０ａ，９２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態による映像復号装置１５０は、垂直方向に、第１符号化単位９００が分割されて決定された非正方形の左側第２符号化単位９１０ａを、水平方向に分割し、第３符号化単位９１２ａ，９１２ｂを決定することができる。ただし、映像復号装置１５０は、左側第２符号化単位９１０ａを、水平方向に分割した場合、右側第２符号化単位９１０ｂは、左側第２符号化単位９１０ａが分割された方向と同一に、水平方向に分割されないように制限することができる。もし右側第２符号化単位９１０ｂが同一方向に分割され、第３符号化単位９１４ａ，９１４ｂが決定された場合、左側第２符号化単位９１０ａ及び右側第２符号化単位９１０ｂが、水平方向にそれぞれ独立して分割されることにより、第３符号化単位９１２ａ，９１２ｂ，９１４ａ，９１４ｂが決定される。しかし、それは、映像復号装置１５０がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位９００を４個の正方形の第２符号化単位９３０ａ，９３０ｂ，９３０ｃ、９３０ｄに分割したところと同一結果であり、それは、映像復号側面で非効率的でもある。

一実施形態による映像復号装置１５０は、水平方向に第１符号化単位３３０が分割されて決定された非正方形の第２符号化単位９２０ａまたは９２０ｂを、垂直方向に分割し、第３符号化単位９２２ａ，９２２ｂ，９２４ａ，９２４ｂを決定することができる。ただし、映像復号装置１５０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位９２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位９２０ｂ）は、上端第２符号化単位９２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。

図１０は、一実施形態により、分割形態情報が４個の正方形の符号化単位に分割するということを示すことができない場合、映像復号装置１５０が、正方形の符号化単位を分割する過程を図示する。

一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００を分割し、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどを決定することができる。分割形態情報には、符号化単位が分割される多様な形態に係わる情報が含まれるが、多様な形態に係わる情報には、正方形の４個の符号化単位に分割するための情報が含まれない場合がある。かような分割形態情報によれば、映像復号装置１５０は、正方形の第１符号化単位１０００を、４個の正方形の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ、１０３０ｄに分割することができない。該分割形態情報に基づいて、映像復号装置１５０は、非正方形の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどを決定することができる。

一実施形態による映像復号装置１５０は、非正方形の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００が分割される方法に対応する分割方法でもある。

例えば、映像復号装置１５０は、左側第２符号化単位１０１０ａが水平方向に分割され、正方形の第３符号化単位１０１２ａ，１０１２ｂを決定することができ、右側第２符号化単位１０１０ｂが水平方向に分割され、正方形の第３符号化単位１０１４ａ，１０１４ｂを決定することができる。さらには、映像復号装置１５０は、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂがいずれも水平方向に分割され、正方形の第３符号化単位１０１６ａ，１０１６ｂ，１０１６ｃ，１０１６ｄを決定することもできる。かような場合、第１符号化単位１０００が、４個の正方形の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割されたところと同一形態に符号化単位が決定される。

他の例を挙げれば、映像復号装置１５０は、上端第２符号化単位１０２０ａが垂直方向に分割され、正方形の第３符号化単位１０２２ａ，１０２２ｂを決定することができ、下端第２符号化単位１０２０ｂが垂直方向に分割され、正方形の第３符号化単位１０２４ａ，１０２４ｂを決定することができる。さらには、映像復号装置１５０は、上端第２符号化単位１０２０ａ及び下端第２符号化単位１０２０ｂがいずれも垂直方向に分割され、正方形の第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することもできる。かような場合、第１符号化単位１０００が４個の正方形の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割されたところと同一形態で符号化単位が決定される。

図１１は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。

一実施形態による映像復号装置１５０は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１１００を分割することができる。ブロック形態情報が正方形を示し、分割形態情報が、第１符号化単位１１００が、水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１１００を分割し、例えば、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄなどを決定することができる。図１１を参照すれば、第１符号化単位１１００が、水平方向または垂直方向だけに分割されて決定された非正方形の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立しても分割される。例えば、映像復号装置１５０は、第１符号化単位１１００が垂直方向に分割されて生成された第２符号化単位１１１０ａ，１１１０ｂを、水平方向にそれぞれ分割し、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することができ、第１符号化単位１１００が、水平方向に分割されて生成された第２符号化単位１１２０ａ，１１２０ｂを、水平方向にそれぞれ分割し、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができる。かような第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂの分割過程は、図９に係わって説明したので、詳細な説明は、省略する。

一実施形態による映像復号装置１５０は、所定順序によって、符号化単位を処理することができる。所定順序による符号化単位の処理についての特徴は、図６に係わって説明したので、詳細な説明は、省略する。図１１を参照すれば、映像復号装置１５０は、正方形の第１符号化単位１１００を分割し、４個の正方形の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができる。一実施形態による映像復号装置１５０は、第１符号化単位１１００が分割される形態により、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄの処理順序を決定することができる。

一実施形態による映像復号装置１５０は、垂直方向に分割されて生成された第２符号化単位１１１０ａ，１１１０ｂを水平方向にそれぞれ分割し、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することができ、映像復号装置１５０は、左側第２符号化単位１１１０ａに含まれる第３符号化単位１１１６ａ，１１１６ｂを、垂直方向にまず処理した後、右側第２符号化単位１１１０ｂに含まれる第３符号化単位１１１６ｃ，１１１６ｄを垂直方向に処理する順序１１１７により、第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを処理することができる。

一実施形態による映像復号装置１５０は、水平方向に分割されて生成された第２符号化単位１１２０ａ，１１２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを決定することができ、映像復号装置１５０は、上端第２符号化単位１１２０ａに含まれる第３符号化単位１１２６ａ，１１２６ｂを水平方向にまず処理した後、下端第２符号化単位１１２０ｂに含まれる第３符号化単位１１２６ｃ，１１２６ｄを水平方向に処理する順序１１２７により、第３符号化単位１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄを処理することができる。

図１１を参照すれば、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂがそれぞれ分割され、正方形の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄが決定される。垂直方向に分割されて決定された第２符号化単位１１１０ａ，１１１０ｂ、及び水平方向に分割されて決定された第２符号化単位１１２０ａ，１１２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄ，１１２６ａ，１１２６ｂ，１１２６ｃ，１１２６ｄによれば、結局、同一形態の符号化単位に、第１符号化単位１１００が分割された結果になる。それにより、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。

図１２は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。

一実施形態による映像復号装置１５０は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置１５０は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎ位深度が増大されたと決定することができる。以下では、深度が増大された符号化単位を、下位深度の符号化単位と表現する。

図１２を参照すれば、一実施形態により、正方形であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示すことができる）に基づいて、映像復号装置１５０は、正方形である第１符号化単位１２００を分割し、下位深度の第２符号化単位１２０２、第３符号化単位１２０４などを決定することができる。正方形の第１符号化単位１２００の大きさを、２Ｎｘ２Ｎとするならば、第１符号化単位１２００の幅及び高さを１／２^１倍に分割して決定された第２符号化単位１２０２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位１２０２の幅及び高さを、１／２サイズに分割して決定された第３符号化単位１２０４は、Ｎ／２ｘＮ／２サイズを有することができる。その場合、第３符号化単位１２０４の幅及び高さは、第１符号化単位１２００の１／２^２倍に該当する。第１符号化単位１２００の深度がＤである場合、第１符号化単位１２００の幅及び高さの１／２^１倍である第２符号化単位１２０２の深度は、Ｄ＋１でもあり、第１符号化単位１２００の幅及び高さの１／２^２倍である第３符号化単位１２０４の深度は、Ｄ＋２でもある。

一実施形態により、非正方形を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より長い非正方形であることを示す「１：ＮＳ＿ＶＥＲ」または幅が高さより長い非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、映像復号装置１５０は、非正方形である第１符号化単位１２１０または１２２０を分割し、下位深度の第２符号化単位１２１２または１２２２、第３符号化単位１２１４または１２２４などを決定することができる。

映像復号装置１５０は、Ｎｘ２Ｎサイズの第１符号化単位１２１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１２０２，１２１２，１２２２などを決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１２１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１２０２またはＮｘＮ／２サイズの第２符号化単位１２２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１２１２を決定することもできる。

一実施形態による映像復号装置１５０は、２ＮｘＮサイズの第１符号化単位１２２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１２０２，１２１２，１２２２などを決定することもできる。すなわち、映像復号装置１５０は、第１符号化単位１２２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１２０２、またはＮ／２ｘＮサイズの第２符号化単位１２１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１２２２を決定することもできる。

一実施形態による映像復号装置１５０は、ＮｘＮサイズの第２符号化単位１２０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２０２を、垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４を決定するか、あるいはＮ／２ｘＮ／２サイズの第３符号化単位１２１４を決定するか、あるいはＮ／２ｘＮ／２サイズの第３符号化単位１２２４を決定することができる。

一実施形態による映像復号装置１５０は、Ｎ／２ｘＮサイズの第２符号化単位１２１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１２２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２１４を決定することができる。

一実施形態による映像復号装置１５０は、ＮｘＮ／２サイズの第２符号化単位１２１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１２０４，１２１４，１２２４などを決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１２１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１２１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１２２４を決定することができる。

一実施形態による映像復号装置１５０は、例えば、正方形の符号化単位１２００，１２０２，１２０４を、水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１２００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１２１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１２２０を決定することができる。一実施形態により、深度が、符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１２００，１２０２または１２０４が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１２００，１２０２または１２０４の深度と同一でもある。

一実施形態により、第３符号化単位１２１４または１２２４の幅及び高さは、第１符号化単位１２１０または１２２０の１／２倍に該当する。第１符号化単位１２１０または１２２０の深度がＤである場合、第１符号化単位１２１０または１２２０の幅及び高さの１／２倍である第２符号化単位１２１２または１２１４の深度は、Ｄ＋１でもあり、第１符号化単位１２１０または１２２０の幅及び高さの１／２倍である第３符号化単位１２１４または１２２４の深度は、Ｄ＋２でもある。

図１３は、一実施形態により、符号化単位の形態及び大きさによって決定される深度及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ ｉｎｄｅｘ）を図示する。

一実施形態による映像復号装置１５０は、正方形の第１符号化単位１３００を分割し、多様な形態の第２符号化単位を決定することができる。図１３を参照すれば、映像復号装置１５０は、分割形態情報により、第１符号化単位１３００を、垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄを決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１３００に係わる分割形態情報に基づいて、第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄを決定することができる。

一実施形態により、正方形の第１符号化単位１３００に係わる分割形態情報によって決定される第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂ，１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄは、長辺長に基づいても深度が決定される。例えば、正方形の第１符号化単位１３００の一辺長と、非正方形の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂの長辺長と、が同一であるので、第１符号化単位１３００と、非正方形の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、映像復号装置１５０が、分割形態情報に基づいて、第１符号化単位１３００を４個の正方形の第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄに分割した場合、正方形の第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄの一辺長は、第１符号化単位１３００の一辺長の１／２倍であるので、第２符号化単位１３０６ａ，１３０６ｂ，１３０６ｃ，１３０６ｄの深度は、第１符号化単位１３００の深度であるＤより１深度下位であるＤ＋１の深度でもある。

一実施形態による映像復号装置１５０は、高さが幅より長い形態の第１符号化単位１３１０を分割形態情報によって水平方向に分割し、複数個の第２符号化単位１３１２ａ，１３１２ｂ，１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。一実施形態による映像復号装置１５０は、幅が高さより大きい形態の第１符号化単位１３２０を分割形態情報によって垂直方向に分割し、複数個の第２符号化単位１３２２ａ，１３２２ｂ，１３２４ａ，１３２４ｂ，１３２４ｃに分割することができる。

一実施形態により、非正方形の第１符号化単位１３１０または１３２０に係わる分割形態情報によって決定される第２符号化単位１３１２ａ，１３１２ｂ，１３１４ａ，１３１４ｂ，１３１６ａ，１３１６ｂ，１３１６ｃ，１３１６ｄは、長辺長に基づいても深度が決定される。例えば、正方形の第２符号化単位１３１２ａ，１３１２ｂの一辺長は、高さが幅より長い非正方形の第１符号化単位１３１０の一辺長の１／２倍であるので、正方形の第２符号化単位１３０２ａ，１３０２ｂ，１３０４ａ，１３０４ｂの深度は、非正方形の第１符号化単位１３１０の深度Ｄより１深度下位の深度であるＤ＋１である。

さらには、映像復号装置１５０が分割形態情報に基づいて、非正方形の第１符号化単位１３１０を、奇数個の第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。奇数個の第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃは、非正方形の第２符号化単位１３１４ａ，１３１４ｃ、及び正方形の第２符号化単位１３１４ｂを含んでもよい。その場合、非正方形の第２符号化単位１３１４ａ，１３１４ｃの長辺長、及び正方形の第２符号化単位１３１４ｂの一辺長は、第１符号化単位１３１０の一辺長の１／２倍であるので、第２符号化単位１３１４ａ，１３１４ｂ，１３１４ｃの深度は、第１符号化単位１３１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。映像復号装置１５０は、第１符号化単位１３１０に係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより長い非正方形の第１符号化単位１３２０に係わる符号化単位の深度を決定することができる。

一実施形態による映像復号装置１５０は、分割された符号化単位区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１３を参照すれば、奇数個に分割された符号化単位１３１４ａ，１３１４ｂ，１３１４ｃのうち、真ん中に位置する符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃと、幅は同一であるが、高さが異なる符号化単位１３１４ａ，１３１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位１３１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１３１４ｃは、インデックスが２増加した３でもある。すなわち、インデックス値の不連続性が存在する。一実施形態による映像復号装置１５０は、かような分割された符号化単位間区分のためのインデックスの不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということ決定することができる。

一実施形態による映像復号装置１５０は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１３を参照すれば、映像復号装置１５０は、高さが幅より長い長方形形態の第１符号化単位１３１０を分割し、偶数個の符号化単位１３１２ａ，１３１２ｂを決定するか、あるいは奇数個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃを決定することができる。映像復号装置１５０は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、ＰＩＤは、それぞれの符号化単位の所定位置サンプル（例えば、左側上端サンプル）から獲得される。

一実施形態による映像復号装置１５０は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より長い長方形形態の第１符号化単位１３１０に係わる分割形態情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１３１０を３個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃに分割することができる。映像復号装置１５０は、３個の符号化単位１３１４ａ，１３１４ｂ，１３１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１５０は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１５０は、符号化単位のインデックスに基づいて、インデックスのうち、真ん中値に該当するインデックスを有する符号化単位１３１４ｂを、第１符号化単位１３１０が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態による映像復号装置１５０は、分割された符号化単位区分のためのインデックス決定において、符号化単位が、互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１３を参照すれば、第１符号化単位１３１０が分割されて生成された符号化単位１３１４ｂは、他の符号化単位１３１４ａ，１３１４ｃと、幅は同一であるが、高さが異なる符号化単位１３１４ａ，１３１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１３１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１３１４ｃは、インデックスが２増加した３でもある。かような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置１５０は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置１５０は、奇数個の符号化単位のうち所定位置の符号化単位（例えば、真ん中符号化単位）が異なる符号化単位と、大きさが異なる形態に現在符号化単位と、を分割することができる。その場合、映像復号装置１５０は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中の符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態についての説明に特定したものであり、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。

一実施形態による映像復号装置１５０は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。

図１４は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたことを図示する。

一実施形態により、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位に該当する。以下では、説明上、便宜のために、かような所定データ単位を基準データ単位と称する。

一実施形態により、基準データ単位は、所定サイズ及び所定形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であってもよく、２の乗数で表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位にも分割される。

一実施形態による映像復号装置１５０は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態による映像復号装置１５０は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。かような基準データ単位の分割過程は、四分木（ｑｕａｄ－ｔｒｅｅ）構造を利用した分割過程に対応する。

一実施形態による映像復号装置１５０は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、映像復号装置１５０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用し、少なくとも１つの符号化単位を決定することができる。

図１４を参照すれば、映像復号装置１５０は、正方形の基準符号化単位１４００を利用することができ、または非正方形の基準符号化単位１４０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（ｓｅｑｕｅｎｃｅ）、ピクチャ（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、スライスセグメント（ｓｌｉｃｅ ｓｅｇｍｅｎｔ）、最大符号化単位など）によって決定される。

一実施形態による映像復号装置１５０の受信部１６０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形の基準符号化単位１４００に含まれる少なくとも１つの符号化単位の決定される過程は、図１０の現在符号化単位３００が分割される過程を介して説明し、非正方形の基準符号化単位１４００に含まれる少なくとも１つの符号化単位の決定される過程は、図１１の現在符号化単位１１００または１１５０が分割される過程を介して説明したので、詳細な説明は、省略する。

一実施形態による映像復号装置１５０は、所定条件に基づいて、あらかじめ決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部１６０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置１５０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、該ビットストリームの利用効率が良好ではないこともあるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、既定でもある。すなわち、映像復号装置１５０は、既定基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。

一実施形態による映像復号装置１５０は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定される。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を四分木構造によって、ｎ回分割した大きさでもある。すなわち、映像復号装置１５０は、最大符号化単位を、四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位をブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。

図１５は、一実施形態による、ピクチャ１５００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。

一実施形態による映像復号装置１５０は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）、Ｚスキャン（Ｚ－ｓｃａｎ）、Ｎスキャン（Ｎ－ｓｃａｎ）、右上向対角スキャン（ｕｐ－ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ）、水平的スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）、垂直的スキャン（ｖｅｒｔｉｃａｌ ｓｃａｎ）のような多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。

一実施形態による映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。

一実施形態による映像復号装置１５０の受信部１６０は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームからも獲得される。すなわち、受信部１６０は、前記多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、映像復号装置１５０は、獲得されたプロセッシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定し、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。

一実施形態による映像復号装置１５０は、ピクチャ１５００に含まれるプロセッシングブロック１５０２，１５１２の大きさを決定することができる。例えば、映像復号装置１５０は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１５を参照すれば、映像復号装置１５０は、一実施形態により、プロセッシングブロック１５０２，１５１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。映像復号装置１５０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。

一実施形態により、映像復号装置１５０は、プロセッシングブロックの大きさに基づいて、ピクチャ１５００に含まれるそれぞれのプロセッシングブロック１５０２，１５１２を決定し、プロセッシングブロック１５０２，１５１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。

一実施形態による映像復号装置１５０は、ビットストリームから、少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得し、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向と定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定される。

一実施形態による映像復号装置１５０は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部１６０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、該決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとに獲得される。

映像復号装置１５０は、一実施形態によって決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。

一実施形態により、受信部１６０は、ビットストリームから、プロセッシングブロック１５０２，１５１２に係わる情報として、基準符号化単位決定順序に係わる情報を獲得し、映像復号装置１５０は、前記プロセッシングブロック１５０２，１５１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１５００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１５を参照すれば、映像復号装置１５０は、それぞれのプロセッシングブロック１５０２，１５１２に係わる少なくとも１つの基準符号化単位の決定順序１５０４，１５１４を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１５０２，１５１２に係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック１５０２に係わる基準符号化単位決定順序１５０４がラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）順序である場合、プロセッシングブロック１５０２に含まれる基準符号化単位は、ラスタスキャン順序によって決定される。それに対し、他のプロセッシングブロック１５１２に係わる基準符号化単位決定順序１５１４は、変形されたラスタスキャン順序である場合、プロセッシングブロック１５１２に含まれる基準符号化単位は、変形されたラスタスキャン順序によって決定される。図１ないし図１５では、映像を最大符号化単位に分割し、最大符号化単位を、階層的ツリー構造の符号化単位に分割する方法について説明した。図１６ないし図２５においては、ブロックに対して、いかなる符号化順序によって、符号化または復号することということについて説明する。

図１６は、ブロックの符号化順序決定に係わる一実施形態によるビデオ復号装置１６００が図示されている。

ビデオ復号装置１６００は、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０を含む。図１６において、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０は、別途の構成単位で表現されているが、一実施形態により、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０は、合わされ、同一構成単位にも具現される。

図１６において、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０は、１つの装置に位置した構成単位で表現されているが、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、一実施形態により、符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０が分散してもいる。

符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０は、一実施形態により、１つのプロセッサによっても具現される。また、一実施形態により、複数個のプロセッサによっても具現される。

図１６の符号化順序情報獲得部１６１０、符号化順序決定部１６２０及び復号部１６３０で遂行される機能は、図２の復号部１８０でも遂行される。

符号化順序情報獲得部１６１０は、互いに隣接したブロックの符号化順序に係わる符号化順序情報を獲得する。

該符号化順序情報は、ブロックの符号化順序に係わる情報を示す。該符号化順序情報は、２個以上のブロックを、基本符号化順序によって符号化するか否かということを含んでもよい。もし該符号化順序情報により、ブロックの符号化順序が、基本符号化順序に従わない場合、ブロックの符号化順序は、該符号化順序情報によって変更される。反対に、該符号化順序情報により、ブロックの符号化順序が基本符号化順序に従う場合、ブロックの符号化順序は、該基本符号化順序によって変更される。

該基本符号化順序は、符号化順序情報がないとき、全てのブロックに適用される符号化順序を意味する。該基本符号化順序は、図１５で説明された符号化順序または変形された符号化順序でもある。

符号化順序情報は、２個のブロック間の符号化順序を示す１ビットサイズの符号化順序フラグを含んでもよい。例えば、該符号化順序フラグが０を示すとき、２個のブロックは、基本符号化順序によって符号化順序が決定される。反対に、該符号化順序フラグが１を示すとき、２個のブロックは、基本符号化順序の反対に符号化順序が決定される。

１つの符号化順序フラグにより、３個以上のブロックのうち２個のブロックの符号化順序が、基本符号化順序によるか否かということが決定される。従って、複数の符号化順序フラグにより、３個以上のブロックの符号化順序が決定される。

ただし、符号化順序情報のビット量を減らすために、該符号化順序情報は、３個以上の空間的に連続されたブロック間の符号化順序について、１ビットの符号化順序フラグを含んでもよい。例えば、該符号化順序情報が０を示すとき、３個以上のブロックの符号化順序は、基本符号化順序によって決定される。反対に、該符号化順序情報が１を示すとき、３個以上のブロックの符号化順序は、基本符号化順序の逆順によって決定される。

符号化順序情報獲得部１６１０は、ビットストリームから、符号化順序情報を獲得することができる。もしビットストリームに符号化順序情報がない場合、ブロックの符号化順序は、基本符号化順序によって決定される。符号化順序決定部１６２０が、現在ブロックの周辺環境によって、内在的に符号化順序を決定する場合、符号化順序情報獲得部１６１０は、ビットストリームから、符号化順序情報を獲得しない。

符号化順序情報獲得部１６１０は、現在ブロックの上位データ単位に対して、符号化順序変更許容情報を確認することができる。該符号化順序変更許容情報は、現在ブロックの上位データ単位に含まれたブロックに対して、符号化順序変更が許容されたか否かということを示す。もし該符号化順序変更許容情報が、符号化順序変更を許容しなければ、上位データ単位の全てのブロックは、基本符号化順序によって復号される。もし該符号化順序変更許容情報が、現在ブロックに係わる符号化順序情報が符号化されたと示す場合、符号化順序情報獲得部１６１０は、符号化順序情報を獲得することができる。

また、該符号化順序変更許容情報は、獲得される符号化順序フラグが示す値の意味を決定することができる。該符号化順序変更許容情報により、符号化順序フラグは、２個のブロックに適用されるか、３個以上のブロックに適用されるか、あるいは他の既定方式により、複数のブロックに適用されるようにも決定される。

該符号化順序変更許容情報は、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスセグメントヘッダ（ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ）、最大符号化単位ヘッダなどに含まれている。そして、該符号化順序情報の種類が２個以上である場合、各符号化順序情報に係わる符号化順序変更許容情報は、互いに異なるヘッダに分割されて保存される。

符号化順序決定部１６２０は、符号化順序情報により、ブロックの符号化順序を決定する。

符号化順序フラグが２個のブロックに適用されるとき、符号化順序決定部１６２０は、２個のブロックの符号化順序を決定することができる。例えば、第１ブロックと基本符号化順序とにより、第１ブロックの次の符号化順序を有する第２ブロックに対して、符号化順序フラグが０を示すとき、第１ブロックと第２ブロックとの符号化順序は、基本符号化順に決定される。しかし、符号化順序フラグが１を示すとき、第１ブロックと第２ブロックとの符号化順序が交替され、第２ブロックが第１ブロックより先立つ符号化順序を有するように決定される。

該符号化順序フラグが３個以上のブロックに適用されるとき、符号化順序決定部１６２０は、３個以上のブロックの符号化順序の方向を決定することができる。例えば、基本符号化順序による３個ブロックの符号化順序が、第１ブロック、第２ブロック及び第３ブロックであるとき、符号化順序フラグが０である場合、３個ブロックの符号化順序は、基本符号化順序方向のように、第１ブロック、第２ブロック及び第３ブロックと決定される。反対に、符号化順序フラグが１である場合、３個ブロックの符号化順序は、基本符号化順序の反対方向に沿って、第３ブロック、第２ブロック及び第１ブロックと決定される。

符号化順序決定部１６２０は、該符号化順序情報を、現在ブロックの周辺環境によって内在的に決定することができる。例えば、復元された周辺ブロックに適用された符号化順序を参照し、現在ブロックの符号化順序が決定される。また、現在ブロック、または復元された周辺ブロックの特性により、符号化順序が決定される。

復号部１６３０は、ブロックを、決定された符号化順に復号する。復号部１６３０の復号方法に、図２及び図１５で説明された方法が適用される。

図１７は、ブロックの符号化順序決定に係わる一実施形態によるビデオ符号化装置１７００が図示されている。

ビデオ符号化装置１７００は、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０を含む。図１７において、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０は、別途の構成単位に表現されているが、一実施形態により、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０は、合わされ、同一構成単位によっても具現される。

図１７において、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０は、１つの装置に位置した構成単位に表現されたが、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、一実施形態により、符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０が分散していてもよい。

符号化順序決定部１７１０、符号化部１７２０及び出力部１７３０は、一実施形態により、１つのプロセッサによっても具現される。また、一実施形態により、複数個のプロセッサによっても具現される。

図１７の符号化順序決定部１７１０及び符号化部１７２０で遂行される機能は、図１の符号化単位決定部１２０でも遂行される。そして、図１７の出力部１７３０で遂行される機能は、図１の出力部１３０でも遂行される。

符号化順序決定部１７１０は、互いに隣接したブロックの符号化順序変更いかんを決定する。基本符号化順序によるときのブロックの符号化効率と基本符号化順序とから、変更された順序によるときのブロックの符号化効率を比較し、符号化順序変更いかんが決定される。もし該基本符号化順序によるとき、符号化効率がさらに良好である場合、該基本符号化順序に基づいた符号化順序は、変更されない。反対に、該基本符号化順序から変更された順序によるとき、符号化効率がさらに良好である場合、該基本符号化順序に基づいた符号化順序は、変更される。

符号化順序決定部１７１０は、既定の符号化順序の符号化効率を比較することができる。例えば、２個のブロック単位において、符号化順序が基本符号化順序によって決定されるか否かということが決定される。また、他の例として、３個以上のブロック単位において、符号化順序が基本符号化順序によって決定されるか否かということが決定される。

符号化順序決定部１７１０は、符号化順序情報を現在ブロックの周辺環境によって所定規則により、内在的に決定することができる。もし符号化順序が、現在ブロックの周辺環境に基づいて、内在的に決定される場合、符号化順序候補の決定過程は、省略される。また、他の実施形態において、符号化順序決定部１７１０は、現在ブロックの周辺ブロックと、現在ブロックとのテクスチャを分析し、符号化順序を決定することができる。該テクスチャの類似性により、符号化順序を決定することにより、符号化順序候補の符号化効率がいずれも計算されない。従って、該符号化過程において、演算効率が上昇する。

もし現在ブロックに対する符号化順序変更許容情報が、現在ブロックの符号化順序変更を許容すると示す場合、符号化順序決定部１７１０は、符号化順序変更いかんを決定することができる。反対に、符号化順序変更許容情報により、符号化順序変更が許容されない場合、符号化順序決定部１７１０は、基本符号化順序により、全てのブロックの符号化順序を決定することができる。

符号化部１７２０は、符号化順序決定部１７１０で決定された符号化順序により、ブロックを符号化する。

出力部１７３０は、ブロックの符号化順序が、基本符号化順序から変更されるか否かということを示す符号化順序情報を含むビットストリームを出力する。また、出力部１７３０は、ブロックの符号化方法及び符号化結果に係わる符号化情報を出力することができる。

図１６及び図１７のブロックは、最大符号化単位または最大符号化単位に含まれた符号化単位を意味する。そして、図１６のブロックは、基本符号化順序により、順序上で隣接することができる。また、図１６のブロックは、水平または垂直に隣接することができる。

図１８は、ブロックの符号化順序変更の必要性について説明するための図面である。連結線１８５０と連結線１８６０は、類似した性質を有したサンプルを連結したものである。従って、ブロック１８００の復号過程において、連結線１８５０と連結線１８６０とに位置したサンプルに対応する符号化情報を活用すれば、高い符号化効率を得ることができる。図１８の左側実施形態の連結線１８５０は、ブロック１８１０の左側境界と上側境界とを通過する。そして、図１８の右側実施形態の連結線１８６０は、ブロック１８１０の左側境界と右側境界とを通過する。

ブロック１８００を復元するとき、ラスタスキャン（ｒａｓｔｅｒ ｓｃａｎ）による場合、ブロック１８００の左側、上側、左上側、右上側のブロックだけが復元されている。従って、ブロック１８００の左側、上側、左上側、右上側のブロック符号化情報だけがブロック１８００の復号に使用される。

図１８の左側実施形態の場合、連結線１８５０は、ブロック１８００の左上側ブロック１８２０を通過する。従って、左上側ブロック１８２０がすでに復元されたが、ブロック１８００は、左上側ブロック１８２０に基づいても復元される。従って、ブロック１８１０が、ブロック１８００に先立って復元されなくてもよい。

しかし、図１８の右側実施形態の場合、連結線１８６０は、ブロック１８００の周辺ブロックのうち、すでに復元されたブロックを通過しない。従って、ブロック１８１０が先に復元されない限り、ブロック１８００は、効率的に復元されない。従って、ブロック１８００とブロック１８１０との符号化順序を変える必要がある。

連結線１８６０が、ブロック１８１０の右上側ブロック１８４０を通過するので、ブロック１８１０は、右上側ブロック１８４０の符号化情報を利用しても効果的に復元される。そして、ブロック１８１０が復元された後、ブロック１８００は、ブロック１８１０の符号化情報を利用しても復元される。従って、図１８の右側実施形態の場合、ブロック１８１０を、ブロック１８００より先に復元することがさらに効率的である。

図１９Ａ及び図１９Ｂには、ブロックの符号化順序の決定方法に係わる実施形態が開示されている。図１９Ａには、２個の隣接ブロックの符号化順序変更いかんを示す符号化順序フラグを使用する実施形態が開示されている。図１９Ｂには、３個以上の隣接ブロックの符号化順序の方向変更いかんを示す符号化順序フラグを使用する実施形態が開示されている。

図１９Ａの符号化順序フラグ１９１２は、ブロック１９０２とブロック１９０４との符号化順序変更いかんを示す。符号化順序フラグ１９１２が０である場合、ブロック１９０２がブロック１９０４より先立つ符号化順序を有する。反対に、符号化順序フラグ１９１２が１である場合、ブロック１９０４がブロック１９０２より先立つ符号化順序を有する。同様に、符号化順序フラグ１９１４は、ブロック１９０４とブロック１９１６との符号化順序を決定し、符号化順序フラグ１９１６は、ブロック１９０６とブロック１９１８との符号化順序を決定する。

一実施形態によれば、符号化順序フラグ１９１２が０である場合、ブロック１９０２とブロック１９０４との順序は、変更されず、ブロック１９０２だけが復元される。そして、符号化順序フラグ１９１４によって復元されたブロック１９０２の横に位置したブロック１９０４と、ブロック１９０６との符号化順序が決定される。

もし符号化順序フラグ１９１２が１である場合、ブロック１９０２とブロック１９０４との順序は、変更され、ブロック１９０４とブロック１９０２とが順次に復元される。ブロック１９０４がすでに復元されたので、符号化順序フラグ１９１４は、獲得されず、符号化順序フラグ１９１６が獲得される。そして、符号化順序フラグ１９１６により、ブロック１９０４の横に位置したブロック１９０６と、ブロック１９０８との順序が決定される。

前述の実施形態は、位置とブロックとの種類に係わらず、行（ｌｉｎｅ）の全てのブロックに対して適用される。従って、ブロック１９１０に対する復元が行われるまで、符号化順序の決定及び復元が行われる。

図１９Ｂの符号化順序フラグ１９４０は、全てのブロックに対して適用される符号化順序方向いかんを示す。もし符号化順序フラグ１９４０が０である場合、ラスタスキャンにより、左側に位置したブロック１９２２から符号化される。例えば、ブロック１９２２が復元された後、ブロック１９２４が復元され、ブロック１９２４が復元された後、ブロック１９２６が復元される。

反対に、符号化順序フラグ１９４０が１である場合、ラスタスキャンの逆順により、右側に位置したブロック１９３０から符号化される。

図２０は、ブロックの符号化順序交替いかんを決定するために、符号化効率を比較するための方法を示す。図２０には、ラスタスキャンによって符号化される２個のブロック２０００，２０２０、ブロック２０００に含まれ、ブロック２０００の右側境界に隣接したサブブロック２０１０と、ブロック２０２０に含まれ、ブロック２０２０の左側境界に隣接したサブブロック２０３０と、が図示されている。

ラスタスキャンによれば、ブロック２０００が、ブロック２０２０よりさらに先に符号化される。従って、ブロック２０００に含まれたサブブロック２０１０が、ブロック２０２０に含まれたサブブロック２０３０より早く符号化される。

もしサブブロック間の符号化順序変更なしに、ブロック２０００とブロック２０２０との符号化順序だけが交替される場合、サブブロック２０３０は、左側及び右側のサブブロックの符号化情報なしに符号化されるので、サブブロック２０３０の符号化効率が低下する。一方、サブブロック２０１０は、左側及び右側のサブブロックの符号化情報をいずれも利用して符号化されるので、サブブロック２０１０の符号化効率が上昇する。

従って、サブブロック２０１０の符号化効率上昇分と、サブブロック２０３０の符号化効率低下分とを加え、ブロック２０００とブロック２０２０との符号化順序交替が効率的であるか否かということを判断することができる。もしサブブロック２０１０の符号化効率上昇分が、サブブロック２０３０の符号化効率低下分より大きければ、ブロック２０００とブロック２０２０との符号化順序を交替することがさらに有利である。しかし、反対に、サブブロック２０３０の符号化効率低下分が、サブブロック２０１０の符号化効率上昇分より大きければ、符号化順序を交替しない方がさらに有利である。

図２１は、ブロック２１００がイントラモードによって予測される場合、使用される参照サンプルを示す。

図２１において、第１実施形態２１２０は、上側行のブロックと、左側ブロックとが復元された場合、イントラ予測に使用される参照ピクセル２１０２，２１０６，２１０８，２１１０を示す。第１実施形態２１２０の場合、復元された上側ブロックの参照ピクセル２１０２，２１０６と、復元された左側ブロックの参照ピクセル２１０８とがイントラ予測に使用される。左下側ブロックの参照ピクセル２１１０は、左下側ブロックが復元された場合にのみ使用される。参照ピクセル２１０２，２１０６，２１０８，２１１０を使用するために、第１イントラ予測方向群２１２５に含まれた予測方向が、ブロック２１００のイントラ予測にも使用される。

第２実施形態２１３０は、上側行のブロックと、右側ブロックとが復元された場合、イントラ予測に使用される参照ピクセル２１０２，２１０４、２１１２，２１１４を示す。第２実施形態２１３０の場合、復元された上側ブロックの参照ピクセル２１０２，２１０４と、復元された右側ブロックの参照ピクセル２１１２とがイントラ予測にも使用される。右下側ブロックの参照ピクセル２１１４は、右下側ブロックが復元された場合にのみ使用される。参照ピクセル２１０２，２１０４、２１１２，２１１４を使用するために、第２イントラ予測方向群２１３５に含まれた予測方向が、ブロック２１００のイントラ予測にも使用される。

第３実施形態２１４０は、上側ブロック、右側ブロック及び左側ブロックが復元された場合、イントラ予測に使用される参照ピクセル２１０２，２１０８，２１１２を示す。第３実施形態２１４０の場合、上側ブロックの参照ピクセル２１０２、左側ブロックの参照ピクセル２１０８、及び右側ブロックの参照ピクセル２１１２がイントラ予測にも使用される。第３イントラ予測方向群２１４５に含まれた予測方向がブロック２１００のイントラ予測にも使用される。

第１実施形態２１２０及び第２実施形態２１３０によれば、左下側ブロックの参照ピクセル２１１０と、右下側ブロックの参照ピクセル２１１４とを使用することができない場合、予測の正確性が低くなる。例えば、右上側方向性モードの場合、第１実施形態２１２０による予測が不正確でもある。しかし、第３実施形態２１４０の場合、使用される参照ピクセル２１０２，２１０８，２１１２が、いずれも現在ブロックに隣接するので、予測正確度が異なる実施形態に比べ、相対的に高い。

第４実施形態２１５０は、上側行のブロックだけが復元された場合、イントラ予測に使用される参照ピクセル２１０２，２１０４、２１０６を示す。第４実施形態２１５０の場合、復元された上側ブロックの参照ピクセル２１０２，２１０４、２１０６だけがイントラ予測にも使用される。第４イントラ予測方向群２１５５に含まれた予測方向がブロック２１００のイントラ予測にも使用される。

第４実施形態２１５０では、第３実施形態と異なり、現在ブロックと隣接する参照ピクセルが、上側ブロックの参照ピクセル２１０２しかない。また、参照ピクセル２１０４，２１０６は、現在ブロックから空間的に離れており、他の実施形態２１２０，２１３０，２１４０に比べ、予測正確度が低い。従って、第４実施形態２１５０に使用されるイントラ予測方法は、ブロック２１００と隣接した上側ブロックの参照ピクセル２１０２を利用する垂直モードまたは垂直モードと隣接した方向の方向性予測モードであることが望ましい。

図２２Ａないし図２２Ｅは、ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を示す。

図２２Ａは、プレーナ（ｐｌａｎａｒ）モードでのイントラ予測方法を示す。プレーナモードは、現在ブロックに隣接したピクセルのうち現在ピクセルと同一行または同一列にある４個のピクセルを、現在ピクセルの位置に基づいて、二重補間することにより、現在ピクセルを予測するイントラ予測モードをいう。符号化順序変更がない場合、現在ブロックの右側ブロック及び下側ブロックは、復元されていないので、現在ピクセルの予測のための下側ピクセル及び右側ピクセルの代わりに、左下側ピクセル２２０１と右上側ピクセル２２０２とが使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右上側ピクセル２２０２の代わりに、右側ピクセル２２０３のうち、現在ピクセルと同一行に位置したピクセルが、プレーナモードのための参照ピクセルとしても使用される。

図２２Ｂは、ＤＣモードでのイントラ予測方法を示す。ＤＣモードでは、現在ブロックに隣接したピクセルの平均値が、現在ブロックに含まれたピクセルの予測値になる。符号化順序変更がない場合、現在ブロックの右側ブロック及び下側ブロックは、復元されていないので、左側ピクセル２２１１と上側ピクセル２２１２とがＤＣモードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル２２１３がＤＣモードにさらに使用される。従って、左側ピクセル２２１１、上側ピクセル２２１２及び右側ピクセル２２１３のピクセル値の平均値が、現在ブロックに含まれたピクセルの予測値としても使用される。

図２２Ｃは、水平モードでのイントラ予測方法を示す。水平モードでは、現在ピクセルから水平方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、左側ピクセル２２２１だけが、水平モードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル２２２２が、水平モードにさらに使用される。例えば、現在ピクセルの予測値は、左側ピクセル２２２１及び右側ピクセル２２２２のうち、現在ピクセルから水平方向に位置したピクセルの平均値としても決定される。または、現在ピクセルの予測値は、左側ピクセル２２２１及び右側ピクセル２２２２のうち、現在ピクセルから水平方向に位置したピクセルを、現在ピクセルの位置によって補間することによっても決定される。

図２２Ｄは、右上側方向性モードでのイントラ予測方法を示す。右上側方向性モードでは、現在ピクセルから右上側方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、右側ピクセル２２３３の代わりに、右上側ピクセル２２３２が、右上側方向性モードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル２２３３が、右上側方向性モードにも使用される。右側ピクセル２２３３が、右上側ピクセル２２３２より現在ブロックからさらに近くにあるので、現在ブロックは、さらに正確に予測される。

図２２Ｅは、左下側方向性モードでのイントラ予測方法を示す。左下側方向性モードでは、現在ピクセルから左下側方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、左側ピクセル２２４１及び左下側ピクセル２２４２だけが、左下側方向性モードによる予測に使用される。しかし、符号化順序が変更されることによって現在ブロックの右側ブロックが復元された場合、右側ピクセル２２４３も、下側方向性モードに使用される。例えば、左側ピクセル２２４１及び左下側ピクセル２２４２のうち、現在ピクセルから左下側方向に位置したピクセルと、右側ピクセル２２４３とのうち、左下側方向の反対方向に位置したピクセルの平均値が、現在ピクセルの予測値としても決定される。または、現在ピクセルの予測値は、左側ピクセル２２４１及び左下側ピクセル２２４２のうち、現在ピクセルから左下側方向に位置したピクセル及び右側ピクセル２２４３のうち、左下側方向の反対方向に位置したピクセルを、現在ピクセルの位置によって補間することによっても決定される。

図２２Ａないし２２Ｅで説明されていないイントラモードでも、イントラ予測の正確性で高めるために、現在ブロックの右側ピクセルを使用する方法が適用される。

図２３は、ブロック２３００がインターモードによって予測される場合、使用される参照ブロックを示す。

図２３のブロック２３００の左側ブロックだけが復元された場合、参照ピクセル２３０２，２３０４，２３０６，２３０８，２３１０を含むブロックに係わる動きベクトルのうち一部が、第１候補リストの動きベクトル候補に決定される。第１候補リストの動きベクトル候補のうち１つの動きベクトルが選択され、選択された動きベクトルが含まれたブロックから、参照ピクチャインデックスなどのインター予測に必要な符号化情報が獲得される。

ブロック２３００の右側ブロックだけが復元された場合、参照ピクセル２３０２，２３１０，２３１２，２３１６，２３１８を含むブロックのうち一部が、第２候補リストの動きベクトル候補にも決定される。または、参照ピクセル２３０２，２３０８，２３１０，２３１４，２３１８を含むブロックに係わる動きベクトルのうち一部が、第２候補リストの動きベクトル候補にも決定される。第２候補リストの動きベクトル候補のうち１つの動きベクトルが選択され、選択された動きベクトルが含まれたブロックから、参照ピクチャインデックスなどのインター予測に必要な符号化情報が獲得される。

現在ブロック２３００の左側ブロック及び右側ブロックがいずれも復元された場合、第２候補リスト及び第１候補リストのうち効率的な候補リストが選択される。そして、選択された候補リストから、動きベクトルが決定される。他の実施形態によれば、現在ブロック２３００の左側ブロック及び右側ブロックがいずれも復元された場合、第１候補リストまたは第２候補リストとは異なる第３候補リストが生成される。例えば、参照ピクセル２３０２，２３０４，２３１０，２３１２，２３１６を含むブロックに係わる動きベクトルが、第３候補リストの動きベクトル候補に含まれてもよい。

現在ブロック２３００の左側ブロック及び右側ブロックがいずれも復元されていない場合、左側ブロック及び右側ブロックから、符号化情報が獲得されない。従って、現在ブロック２３００の上側行に位置したブロックに係わる動きベクトルを動きベクトル候補に含む第４候補リストを使用することができる。例えば、参照ピクセル２３０２，２３０８，２３１０，２３１２を含むブロックに係わる動きベクトルが、第４候補リストの動きベクトル候補に含まれてもよい。

Ｚ符号化順序では、第１候補リストによるインター予測が使用される。しかし、２個の左右に隣接したブロックの符号化順序が変更された場合、まず、右側ブロックが、第２候補リストまたは第４候補リストによってインター予測される。そして、右側ブロックが復元された後、左側ブロックが、第２候補リスト及び第３候補リストのうち一つによって予測されることにより、左側ブロックが復元される。

図２４は、一実施形態によるビデオ復号装置１６００で遂行されるビデオ復号方法を示す。

段階２４１０において、互いに隣接したブロックの符号化順序変更いかんを示す符号化順序情報が獲得される。

段階２４２０において、符号化順序情報により、ブロックの符号化順序が決定される。

段階２４３０において、ブロックが決定された符号化順に復号される。

一実施形態によれば、符号化順序情報が、互いに隣接した第１ブロック及び第２ブロックの符号化順序を示すことができる。もし該符号化順序情報が、第１ブロック及び第２ブロックの符号化順序変更がないということを示す場合、第１ブロックがまず復号される。そして、第２ブロックと、第２ブロックに隣接した第３ブロックとの符号化順序情報が獲得される。

反対に、符号化順序情報が、第１ブロック及び第２ブロックの符号化順序変更があるということを示す場合、第２ブロックがまず復号される。そして、第２ブロックが復号された後、第１ブロックが復号される。第１ブロックが復号された後、第３ブロック及び第４ブロックの符号化順序に係わる符号化順序情報が獲得される。

一実施形態によれば、符号化順序情報は、符号化順序の方向を示すことができる。もし該符号化順序情報が、該符号化順序の方向が基本符号化順序と同一方向であるということと示す場合、該符号化順序情報に対応するブロックは、基本符号化順序と同一方向に復号される。反対に、該符号化順序情報が、符号化順序の方向が、基本符号化順序の反対方向であるということを示す場合、該符号化順序情報に対応するブロックは、基本符号化順序の反対方向に復号される。

前記符号化順序情報は、１ビットサイズの符号化順序フラグによっても具現される。従って、該符号化順序情報は、符号化順序が基本符号化順序と同一である否かという個を示すことができる。

一実施形態によれば、現在ブロックが含まれた上位データ単位に対して、上位データ単位に含まれたブロックに対して符号化順序変更が許容されるか否かということを示す符号化順序変更許容情報を獲得する段階がさらに含まれてもよい。従って、該符号化順序変更許容情報が現在ブロックに対する符号化順序変更が許容されたと示す場合にのみ、現在ブロックに係わる符号化順序情報が獲得されることができる。

図２５は、一実施形態によるビデオ符号化装置１７００で遂行されるビデオ符号化方法を示す。

段階２５１０において、互いに隣接したブロックの符号化順序変更いかんが決定される。

段階２５２０において、符号化順序変更いかんにより、ブロックが符号化される。

段階２５３０において、符号化順序変更いかんを示す符号化順序情報と、ブロックの符号化情報とを含むビットストリームが出力される。

図２４及び図２５のブロックは、水平方向または垂直方向に隣接することができる。また、図２４及び図２５のブロックは、最大符号化単位または最大符号化単位に含まれたデータ単位でもある。

図１ないし図２５を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法により、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介しても伝送される。

なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。

本開示は、特定の最上実施形態に係わって説明したが、それら以外に、本開示に、代替、変形及び修正が適用された発明は、前述の説明に照らし、当業者に明白であろう。すなわち、特許請求の範囲は、かような全ての代替、変形及び修正された発明を含むように解釈される。従って、本明細書及び本図面で説明した全ての内容は、例示的なものであり、非制限的な意味で解釈されるものではない。

１００ 映像符号化装置
１５０ ビデオ復号装置
２００、３００ 現在符号化単位
４００ 第１符号化単位
５００ 現在符号化単位
６００、７００、８００ 第１符号化単位

Claims (6)

1. 互いに隣接した第１ブロック及び第２ブロックが含まれた上位データ単位に対し、前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを示す符号化順序変更許容情報を獲得する段階と、
   前記符号化順序変更許容情報が、前記ブロックに対する符号化順序変更が許容されたと示すとき、前記第１ブロック及び前記第２ブロックのうち、右側に位置する前記第２ブロックが左側に位置する前記第１ブロックよりも先に復号されるか否かを示す符号化順序情報を獲得する段階と、
   前記符号化順序情報により、前記第１ブロック及び前記第２ブロック間の符号化順序を決定する段階と、
   前記符号化順序変更許容情報が前記ブロックに対する符号化順序変更が許容されないことを示すとき、前記第１ブロック及び前記第２ブロック間の符号化順序を第１符号化順序になるように決定する段階と、
   前記第１ブロック及び前記第２ブロックを前記決定された符号化順序によって復号する段階と、を含み、
   前記第１符号化順序は、前記上位データ単位に含まれた所定ブロックの符号化順序と同一であり、前記所定ブロックを分割して前記第１ブロック及び前記第２ブロックが決定される、
   ことを特徴とするビデオ復号方法。
2. 前記復号する段階は、前記決定された符号化順序によって前記第２ブロックが前記第１ブロックよりも先に復号されるとき、前記第１ブロックの第１サブブロックの隣接ブロックの動きベクトルを用いて前記第１ブロックの第１サブブロックの第１動きベクトル候補リストを決定し、前記第１動きベクトル候補リストから決定された動きベクトルを用いて前記第１サブブロックに対してインター予測を遂行する段階を含み、前記第１サブブロックは、前記第１ブロックと前記第２ブロックとの境界線に隣接し、前記第１ブロックに含まれたサブブロックのうち、１つであり、前記第１サブブロックの隣接ブロックは、前記第２ブロックに含まれた１つ以上のサブブロックを含み、
   前記復号する段階は、前記決定された符号化順序によって前記第１ブロックが前記第２ブロックよりも先に復号されるとき、前記第２ブロックの第２サブブロックの隣接ブロックの動きベクトルを用いて前記第２ブロックの第２サブブロックの第２動きベクトル候補リストを決定し、前記第２動きベクトル候補リストから決定された動きベクトルを用いて前記第２サブブロックに対してインター予測を遂行する段階を含み、前記第２サブブロックは、前記第１ブロックと前記第２ブロックとの境界線に隣接し、前記第２ブロックに含まれたサブブロックのうち、１つであり、前記第２サブブロックの隣接ブロックは、前記第１ブロックに含まれた１つ以上のサブブロックを含む、
   ことを特徴とする請求項１に記載のビデオ復号方法。
3. 互いに隣接した第１ブロック及び第２ブロックが含まれた上位データ単位に対して、前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを示す符号化順序変更許容情報を獲得し、前記符号化順序変更許容情報が前記ブロックに対する符号化順序変更が許容されたと示すとき、前記第１ブロック及び前記第２ブロックのうち、右側に位置する前記第２ブロックが左側に位置する前記第１ブロックよりも先に復号されるか否かを示す符号化順序情報を獲得する符号化順序情報獲得部と、
   前記符号化順序により、前記第１ブロック及び前記第２ブロック間の符号化順序を決定し、前記符号化順序変更許容情報が前記ブロックに対する符号化順序変更が許容されないことを示すとき、前記第１ブロック及び前記第２ブロック間の符号化順序を第１符号化順序になるように決定する符号化順序決定部と、
   前記第１ブロック及び前記第２ブロックを、決定された符号化順序によって復号する復号部と、を含む、
   ことを特徴とするビデオ復号装置。
4. 互いに隣接した第１ブロック及び第２ブロックが含まれた上位データ単位に対して、前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを決定する段階と、
   前記ブロックに対する符号化順序変更が許容されるとき、前記第１ブロック及び第２ブロックのうち、右側に位置する前記第２ブロックが左側に位置する前記第１ブロックよりも先に符号化されるか否かを決定する段階と、
   前記ブロックに対する符号化順序変更が許容されないとき、前記第１ブロック及び前記第２ブロック間の符号化順序を第１符号化順序になるように決定する段階と、
   前記第２ブロックが前記第１ブロックよりも先に符号化されるか否かにより、前記第１ブロック及び前記第２ブロックを符号化する段階と、
   前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを示す符号化順序変更許容情報と、前記第２ブロックが前記第１ブロックよりも先に符号化されるか否かを示す符号化順序情報と、前記第１ブロック及び前記第２ブロックの符号化情報と、を含むビットストリームを出力する段階と、を含む、
   ことを特徴とするビデオ符号化方法。
5. 前記符号化する段階は、前記第２ブロックが前記第１ブロックよりも先に符号化されるとき、前記第１ブロックの第１サブブロックの隣接ブロックの動きベクトルを用いて前記第１ブロックの第１サブブロックの第１動きベクトル候補リストを決定し、前記第１動きベクトル候補リストから決定された動きベクトルを用いて前記第１サブブロックに対してインター予測を遂行する段階を含み、前記第１サブブロックは、前記第１ブロックと前記第２ブロックとの境界線に隣接し、前記第１ブロックに含まれたサブブロックのうち、１つであり、前記第１サブブロックの隣接ブロックは、前記第２ブロックに含まれた１つ以上のサブブロックを含み、
   前記符号化する段階は、前記第１ブロックが前記第２ブロックよりも先に符号化されるとき、前記第２ブロックの第２サブブロックの隣接ブロックの動きベクトルを用いて前記第２ブロックの第２サブブロックの第２動きベクトル候補リストを決定し、前記第２動きベクトル候補リストから決定された動きベクトルを用いて前記第２サブブロックに対してインター予測を遂行する段階を含み、前記第２サブブロックは、前記第１ブロックと前記第２ブロックとの境界線に隣接し、前記第２ブロックに含まれたサブブロックのうち、１つであり、前記第２サブブロックの隣接ブロックは、前記第１ブロックに含まれた１つ以上のサブブロックを含む、
   ことを特徴とする請求項４に記載のビデオ符号化方法。
6. 互いに隣接した第１ブロック及び第２ブロックが含まれた上位データ単位に対して、前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを決定し、前記ブロックに対する符号化順序変更が許容されるとき、前記第１ブロック及び第２ブロックのうち、右側に位置する前記第２ブロックが左側に位置する前記第１ブロックよりも先に符号化されるか否かを決定し、前記ブロックに対する符号化順序変更が許容されないとき、前記第１ブロック及び前記第２ブロック間の符号化順序を第１符号化順序になるように決定する符号化順序決定部と、
   前記第２ブロックが前記第１ブロックよりも先に符号化されるか否かにより、前記第１ブロック及び前記第２ブロックを符号化する符号化部と、
   前記上位データ単位に含まれたブロックに対して符号化順序の変更が許容されるか否かを示す符号化順序変更許容情報と、前記第２ブロックが前記第１ブロックよりも先に符号化されるか否かを示す符号化順序情報と、前記第１ブロック及び前記第２ブロックの符号化情報と、を含むビットストリームを出力する出力部と、を含む、
   ことを特徴とするビデオ符号化装置。

Images