JP7475505B2 - ビデオ復号方法及び装置並びに符号化方法及び記憶方法 - Google Patents

Description

本発明は、ビデオ符号化及び復号化のための装置及び方法に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて、制限された符号化方式によって符号化されている。

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差によって表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復的に発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。

動きベクトルを利用して、多様な予測動きベクトル候補を探索し、ビット表現を減らして圧縮率を向上させるビデオ符号化方法及びビデオ復号方法を提供する。

一側によれば、ビデオ復号装置によって遂行されるビデオ復号方法において、ビットストリームから、現在ブロックの予測モード情報及び予測候補を示すインデックスを決定する段階と、前記予測モード情報によって、予測子候補リストを決定する段階と、前記現在ブロックの予測モード情報が既設定予測モードを示せば、前記予測子候補リストのうち、前記インデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定する段階と、前記予測動きベクトルに基づいて、前記現在ブロックの動きベクトルを決定する段階と、を含み、前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。

動きベクトルを利用して、多様な予測動きベクトル候補を探索し、ビット表現を減らして圧縮率を向上させるビデオ符号化方法及びビデオ復号方法を提供する。

一実施形態によるビデオ符号化装置のブロック図である。 一実施形態によるビデオ符号化方法のフローチャートである。 一実施形態によるビデオ復号装置のブロック図である。 一実施形態によるビデオ復号方法のフローチャートである。 一実施形態によって、予測動きベクトル候補を決定する過程について説明するための図面である。 一実施形態によって、予測動きベクトル候補を決定する過程について説明するための図面である。 一実施形態によって、予測動きベクトル候補を決定する過程について説明するための図面である。 一実施形態によって、予測動きベクトル候補を決定する過程について説明するための図面である。 一実施形態によって、既存の予測子候補リストに、既設定予測モード情報が挿入される場合、ビット表現方法について説明するための図面である。 一実施形態によって、既存の予測子候補リストに、既設定予測モード情報が挿入される場合、ビット表現方法について説明するための図面である。 一実施形態によって、既存の予測子候補リストに、既設定予測モード情報が挿入される場合、ビット表現方法について説明するための図面である。 一実施形態によって、予測動きベクトルのビット表現方法について説明するための図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図である。 一実施形態による符号化単位の概念を図示する図面である。 一実施形態による、符号化単位に基づいたビデオ符号化部のブロック図である。 一実施形態による、符号化単位に基づいたビデオ復号部のブロック図である。 一実施形態による、符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による符号化情報を図示する図面である。 一実施形態による符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 一実施形態によるビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

本発明は、以下の詳細な説明と、それに伴う図面との結合によって、容易に理解され、参照番号（reference numerals）は、構造的構成要素（structural elements）を意味する。

一側によれば、ビデオ復号装置によって遂行されるビデオ復号方法において、ビットストリームから、現在ブロックの予測モード情報及び予測候補を示すインデックスを決定する段階と、前記予測モード情報によって、予測子候補リストを決定する段階と、前記現在ブロックの予測モード情報が既設定予測モードを示せば、前記予測子候補リストのうち、前記インデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定する段階と、前記予測動きベクトルに基づいて、前記現在ブロックの動きベクトルを決定する段階と、を含み、前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。

また、前記既設定予測モードによる予測子候補リストは、基本動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含んでもよい。

また、前記基本動きベクトルは、前記現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

また、前記現在ブロックの予測動きベクトル候補を決定する段階は、前記基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、前記基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することができる。

また、前記動きベクトルに係わる動き予測情報は、前記現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、前記動きベクトルの値、及び動きベクトル差分値情報のうち少なくとも一つを含み、前記現在ブロックの予測動きベクトルを決定する段階は、前記参照方向、前記参照ピクチャのインデックス、前記動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、前記現在ブロックの予測動きベクトルを決定することができる。

また、前記予測子候補リストに含まれる予測動きベクトル候補が示すインデックスは、スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックス、及び前記既設定予測モードによる予測動きベクトル候補を示すインデックスを含み、前記既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されもする。

また、前記既設定予測モードの予測モード情報は、スキップフラグ及びマージモードフラグの間で獲得されるか、あるいはスキップフラグ及びマージモードフラグの次において獲得されもする。

他の一側によれば、ビデオ復号装置によって遂行されるビデオ符号化方法において、既設定予測モードによって、予測子候補リストを決定する段階と、現在ブロックの予測モード情報が、前記既設定予測モードを示せば、前記予測子候補リストのうちインデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定する段階と、前記予測動きベクトルに基づいて、前記現在ブロックの動きベクトルを決定する段階と、前記既設定予測モードを示す予測モード情報を符号する段階と、を含み、前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。

また、前記既設定予測モードによる予測子候補リストは、基本動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含んでもよい。

また、前記基本動きベクトルは、前記現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

また、前記現在ブロックの予測動きベクトル候補を決定する段階は、前記基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、前記基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することができる。

また、前記予測子候補リストに含まれる予測動きベクトル候補が示すインデックスは、スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックス、及び前記既設定予測モードによる予測動きベクトル候補を示すインデックスを含み、前記既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されもする。

また、前記既設定予測モードの予測モード情報は、スキップフラグ及びマージモードフラグの間に挿入されるか、あるいはスキップフラグ及びマージモードフラグの次に挿入されもする。

さらに他の一側によれば、ビットストリームから、現在ブロックの予測モード情報及び予測候補を示すインデックスを決定し、前記予測モード情報によって、予測子候補リストを決定する決定部と、前記現在ブロックの予測モード情報が既設定予測モードを示せば、前記予測子候補リストのうち、前記インデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルから獲得された前記現在ブロックの動きベクトルに基づいて、前記現在ブロックの動き補償を行う復号部と、を含み、前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。

さらに他の一側によれば、既設定予測モード情報によって、予測子候補リストを決定し、現在ブロックの予測モード情報が、前記既設定予測モードを示せば、前記予測子候補リストのうちインデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルから獲得された前記現在ブロックの動きベクトルに基づいて、前記現在ブロックの動き予測を遂行する符号化部と、前記既設定予測モードを示す予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含み、前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。

本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り現在広く使用される一般的な用語を選択したが、それらは、当分野の当業者の意図、判例、または新たな技術の出現などによって異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語、は単なる用語の名称ではない、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されるものである。

明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体に存在するように構成されもするが、またはそれ以上のプロセッサを再生させるように構成されもする。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」において提供される機能は、さらに少数の構成要素、及び「部」に結合されるか、あるいはさらなる構成要素と「部」とに一層分離されもする。

第１、第２のような用語は、多様な構成要素についての説明に使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。例えば、本発明の権利範囲を外れずに、第１構成要素は、第２構成要素と命名され、類似して、第２構成要素も第１構成要素と命名されもする。「及び／または」という用語は、複数の関連する記載項目の組み合わせ、または複数の関連記載項目のうちいずれかの項目を含む。

以下において、添付した図面を参照し、本発明の実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。
以下、図１ないし図７を参照し、一実施形態によるビデオ符号化方法及びビデオ復号方法が提案される。

また、図８ないし図２０を参照し、先立って提案したビデオ符号化方法及びビデオ復号方法に適用可能な、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化方法及びビデオ復号方法が開示される。

また、図２１ないし図２７を参照し、先立って提案したビデオ符号化方法、ビデオ復号方法が適用可能な一実施形態が開示される。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示す。

以下、「現在ブロック（current block）」は、符号化または復号する映像のブロックを意味する。

以下、「周辺ブロック（neighboring block）」は、現在ブロックに隣接する符号化されたり復号されたりする少なくとも１つのブロックを示す。例えば、周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端に位置することができる。また、空間的に隣接するブロックだけではなく、時間的に隣接するブロックも含んでもよい。例えば、時間的に隣接する周辺ブロックは、参照ピクチャの現在ブロックの周辺ブロックを含んでもよい。また、周辺ブロックは、参照ピクチャの現在ブロックと同一位置ブロック（co-located block）、または同一位置ブロックの空間的に隣接するブロックを含んでもよい。

図１は、一実施形態によるビデオ符号化装置のブロック図である。図１を参照すれば、ビデオ符号化装置１０は、符号化部１２及びビットストリーム生成部１４を含んでもよい。しかし、図示された構成要素が、いずれも必須構成要素であるものではない。図示された構成要素より多くの構成要素によって、ビデオ符号化装置１０が具現され、それより少ない構成要素によっても、ビデオ符号化装置１０が具現されもする。以下、前記構成要素について説明する。

ビデオ符号化装置１０（例えば、エンコーダ）は、インター予測において、現在ブロックと最も類似した予測ブロックを参照ピクチャから探し出した後、予測ブロックに係わる情報をビデオ復号装置２０（例えば、デコーダ）に伝送することができる。

ビデオ符号化装置１０は、動き推定過程を介して、参照ピクチャから最適の予測ブロックを探し、動き補償過程を介して、予測ブロックを生成することができる。

以下、「動き推定」は、参照ピクチャから最適の予測ブロックを探すことを意味する。また、ビデオ符号化装置１０は、さらに精密な動き推定のために、ビデオコーデックの種類によって、復元ピクチャを補間した後、補間された映像に対して、副画素単位で動き推定を行うこともできる。

以下、「動き補償」は、動き推定過程において探した最適の予測ブロックに係わる動き情報に基づいて、予測ブロックを生成することを意味する。ここで、該動き情報は、モーションベクトル、参照ピクチャインデックスでもあるが、それらに限定されるものではない。

一開示によれば、インター予測において、ビデオ符号化装置１０は、動き推定結果方向情報、参照リスト内の参照ピクチャを区分する参照インデックス、動きベクトル情報などをビデオ復号装置２０に伝送する。ここで、該動き推定結果方向情報は、参照ピクチャリスト０と参照ピクチャリスト１とを区分する方向情報でもある。ビデオ符号化装置１０は、予測単位に伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関度を利用する予測モードを利用することができる。該予測モードは、スキップモード（skip mode）、マージモード（merge mode）、ＡＭＶＰ（advanced motion vector prediction）でもあるが、それらに限定されるものではなく、他の予測モードが含まれてもよい。

符号化部１２は、動き情報を誘導するための候補ブロックのリストを構成し、リスト内の候補ブロックを選択することができる。例えば、該動き情報は、現在ブロックの動きベクトルでもある。すなわち、符号化部１２は、動き情報を誘導するための予測候補リストを決定することができる。

以下、本明細書における「予測候補」は、候補ブロックを意味する。「予測候補リスト」は、候補ブロックの動きベクトルのリストを意味する。「予測候補リスト」は、候補ブロックの動きベクトルを示すインデックスのリストを意味することもできる。「基本動きベクトル」は、候補ブロックが参照ブロックを示す動きベクトルを意味する。「予測動きベクトル」は、「基本動きベクトル」から派生したベクトルであり、基本動きベクトルに係わる動き予測情報を利用して決定された動きベクトル候補のうち現在ブロックの動きベクトルを予測するために選択された動きベクトルを意味する。

符号化部１２は、既設定予測モード情報によって、予測候補リストを決定することができる。ここで、該既設定予測モードは、スキップモード及びマージマードと異なる予測モードでもある。該既設定予測モードは、スキップモードまたはマージモードで使用された情報だけではなく、映像を符号化及び復号するところに使用される情報を利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定するモードでもある。

例えば、符号化部１２は、該既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値及び動きベクトル差分値（motion vector difference）のうち少なくとも一つを利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定することができる。それに係わる内容は、図５Ａないし図５Ｄで説明する。

他例を挙げれば、符号化部１２は、既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値、動きベクトル差分値のうち少なくとも一つを変形し、変形された情報のみを利用したり、変形された情報、及び変形以前の情報を利用したりして、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定することができる。

一開示によれば、該既設定予測モードによる予測候補リストは、基本動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含んでもよい。それに係わる予測動きベクトル候補を決定する内容は、図５Ａないし図５Ｄで説明する。

予測候補リストには、空間的候補または時間的候補が含まれてもよい。該空間的候補は、現在ブロックと隣接したブロックの動きは、類似しているという仮定により、予測単位の分割形態によって決定された隣接周辺ブロックでもある。例えば、２Ｎｘ２Ｎ予測単位は、現在ブロックの周辺に位置した５つのブロックを空間的候補として使用することができる。２ＮｘＮ，Ｎｘ２Ｎ，２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎ予測単位も、現在ブロック周辺に位置した５つのブロックを空間的候補として使用することができる。また、空間的候補構成が完了すれば、符号化部１２は、時間的候補を決定することができる。また、空間的候補または時間的候補の構成が完了し、完了された候補の組み合わせにより、さらなる候補を決定することもできる。

符号化部１２は、現在ブロックの予測モード情報が、該既設定予測モードを示せば、予測候補リストのうち予測候補インデックスが示す動きベクトルを決定することができる。符号化部１２は、動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、現在ブロックの予測動きベクトルを決定することができる。符号化部１２は、動きベクトルに係わる動き予測情報を組み合わせ、予測動きベクトル候補を獲得し、予測動きベクトル候補のうち現在ブロックと最も類似した予測ブロックによる予測動きベクトルを決定することができる。

動きベクトルに係わる動き予測情報は、現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、動きベクトル値及び動きベクトル差分値情報のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。

符号化部１２は、参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、新たな予測動きベクトル候補を獲得し、新たな予測動きベクトル候補のうち現在ブロックの予測動きベクトルを決定することができる。

また、符号化部１２は、各候補グループに対して、予測動きベクトル候補の個数を異ならせて構成することもできる。符号化部１２は、基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することができ、基本動きベクトルにおいて、第ｎ画素距離にある予測動きベクトル候補を、第ｎ候補グループと決定することができる。ここで、一定画素距離にある予測動きベクトル候補には、一定画素距離と、既設定の誤差範囲内の画素距離にある予測動きベクトル候補も、含まれてもよい。また、符号化部１２は、グループ増加によって、画素距離が増大するように、予測動きベクトル候補を構成することができ、画素距離間の距離は、線形または非線形に増大する。

符号化部１２は、第１候補グループ及び第２候補グループのうち予測動きベクトルが属したグループを示す候補インデックスを決定することができる。

一方、予測子候補リストに含まれる予測動きベクトル候補を示すインデックスは、スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックス、及び既設定予測モードによる予測動きベクトル候補を示すインデックスを含んでもよい。該既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されもする。

該既設定予測モードの予測モード情報は、既存予測モードのフラグまたはインデックスを利用して表示されもする。該既存予測モードは、スキップモード、マージモード、ＡＭＶＰモードを含んでもよいが、それらに限定されるものではない。ビデオ符号化装置１０は、スキップモード及びマージモードによって、周辺ブロックからの参照方向、参照ピクチャインデックス、動きベクトル値などを誘導し、予測動きベクトルを決定することができる。ビデオ符号化装置１０は、ＡＭＶＰモードによって、スキップモード及びマージモードと異なる参照方向、参照ピクチャインデックス、動きベクトルの差分値をビデオ復号装置２０に伝送することができる。

例えば、既設定予測モードの使用いかんフラグは、既存のスキップフラグ及びマージモードフラグの間に挿入されもする。既設定予測モードフラグがオン（on）であるならば、ビデオ符号化装置１０は、予測動きベクトル候補のインデックスを除いては、動き予測に係わるシンタックス情報を送らないか、あるいは残差成分（residual）に係わる情報を伝送することができる。その場合、該残差成分に係わる情報を伝送するか否かということは、明示的にフラグに送ることもできる。ビデオ符号化装置１０は、該既設定予測モードの予測モード情報を、既存モードのフラグまたはインデックスを利用して表示することにより、ビット表現を減らして圧縮率を向上させることができる。

他例を挙げれば、既設定予測モードの使用いかんフラグは、マージモードフラグの次に挿入されもする。前述の例と同様に、既設定予測モードフラグがオンであるならば、ビデオ符号化装置１０は、予測動きベクトル候補のインデックスを除き、動き予測に係わるシンタックス情報を送らないか、あるいは残差成分に係わる情報を伝送することができる。その場合、残差成分に係わる情報を伝送するか否かということは、明示的にフラグに送ることもできる。

既設定予測モードの予測モード情報が、既存インデックスリストに挿入されることにより、予測モード情報が挿入された後のインデックスは、ビット表現の変化が生ずることになる。それに係わる内容は、図６Ａないし図６Ｃで説明する。

また、符号化部１２は、予測動きベクトルを利用して、現在ブロックの動きベクトルを決定し、現在ブロックの動きベクトルに基づいて、現在ブロックの動き予測を行うことができる。

ビットストリーム生成部１４は、既設定予測モードを示す予測モード情報を含むビットストリームを生成することができる。ビデオ符号化装置１０は、生成されたビットストリームを、ビデオ復号装置２０に伝送することができる。ビデオ符号化装置１０は、予測子候補リスト内で選択された予測動きベクトル情報を、ビデオ復号装置２０に伝送することにより、動き関連データの量を効果的に減らすことができる。

また、ビデオ符号化装置１０は、インター予測から獲得された予測ブロックと、原本ブロックとの差値である残差信号を、変換、量子化、エントロピー符号化することができる。

ビデオ符号化装置１０は、符号化部１２及びビットストリーム生成部１４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。該中央プロセッサ（図示せず）は、多数の論理ゲートのアレイによっても具現され、汎用的なマイクロプロセッサと、そのマイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせによって具現されもする。また、中央プロセッサ（図示せず）は、他形態のハードウェアによっても具現されるということは、本実施形態が属する技術分野で当業者であるならば、理解することができるであろう。または、符号化部１２及びビットストリーム生成部１４が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１０が全体的に動作されもする。または、ビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、符号化部１２及びビットストリーム生成部１４が制御されもする。

ビデオ符号化装置１０は、符号化部１２及びビットストリーム生成部１４の入出力データが保存される１以上のメモリ（図示せず）を含んでもよい。ビデオ符号化装置１０は、メモリのデータ入出力を制御するメモリ制御部（図示せず）を含んでもよい。

以下では、ビデオ符号化装置１０が遂行する多様な動作や応用について説明するが、符号化部１２及びビットストリーム生成部１４のうちいずれの構成を特定するものではないとしても、本発明の技術分野に係わる当業者が明確に理解して予想することができるほどの内容は、通常の具現と理解され、本発明の権利範囲は、特定の構成の名称や物理的／論理的構造によって制限されるものではない。以下、ビデオ符号化装置１０の動作について、図２を参照して説明する。

図２は、一実施形態によるビデオ符号化方法のフローチャートである。図２の段階Ｓ１１において、ビデオ符号化装置１０は、既設定予測モードによって、予測候補リストを決定することができる。ここで、該既設定予測モードは、スキップモード及びマージモードと異なる予測モードであることを特徴とする。該既設定予測モードは、スキップモードまたはマージモードで使用された情報だけではなく、映像を符号化及び復号するところに使用される情報を利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定するモードでもある。

例えば、ビデオ符号化装置１０は、既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値及び動きベクトル差分値のうち少なくとも一つを利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを、予測動きベクトルとして決定することができる。

一開示によれば、既設定予測モードによる予測候補リストは、基本動きベクトルにおいて一定距離にある候補の動きベクトルを含んでもよい。また、該基本動きベクトルは、現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

段階Ｓ１３において、現在ブロックの予測モード情報が既設定予測モードを示せば、ビデオ符号化装置１０は、予測候補リストのうち予測候補インデックスが示す動きベクトルを決定することができる。ビデオ符号化装置１０は、動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、現在ブロックの予測動きベクトルを決定することができる。

ビデオ符号化装置１０は、動き予測情報のうち少なくとも一つに基づいて、予測動きベクトル候補を決定することができ、決定された予測動きベクトル候補のうち現在ブロックと最も類似した予測ブロックによる予測動きベクトルを決定することができる。

動きベクトルに係わる動き予測情報は、現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。ビデオ符号化装置１０は、参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、現在ブロックの予測動きベクトルを決定することができる。

ビデオ符号化装置１０は、既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値及び動きベクトル差分値のうち少なくとも一つを利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定することができる。

一方、予測候補リストに含まれる予測動きベクトル候補を示すインデックスは、スキップモードまたはマージマードによる予測動きベクトル候補を示すインデックス、及び既設定予測モードによる予測動きベクトル候補を示すインデックスを含んでもよい。

ここで、がい既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されもする。また、該既設定予測モードの予測モード情報は、スキップフラグ及びマージモードフラグの間に挿入されるか、あるいはスキップフラグ及びマージモードフラグの次に挿入されもする。

また、ビデオ符号化装置１０は、ｍ個の予測動きベクトル候補を１つの候補グループに構成し、ｎ個の候補グループを生成することができる（ここで、ｍ、ｎは、正の整数である）。例えば、ビデオ符号化装置１０は、１／４画素距離にある予測動きベクトル候補４個を、第１候補グループと決定することができる。ビデオ符号化装置１０は、１／２画素距離にある予測動きベクトル候補４個を、第２候補グループと決定することができる。

段階Ｓ１５において、ビデオ符号化装置１０は、予測動きベクトルに基づいて、現在ブロックの動きベクトルを決定することができる。

段階Ｓ１７において、ビデオ符号化装置１０は、既設定予測モードを示す予測モード情報を符号化することができる。ビデオ符号化装置１０は、既設定予測モードを示す予測モード情報を含むビットストリームを生成することができる。ビデオ符号化装置１０は、生成されたビットストリームをビデオ復号装置２０に伝送することができる。また、ビデオ符号化装置１０は、予測モード情報の符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することができる。ビデオ符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置１０、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

図３は、一実施形態によるビデオ復号装置のブロック図である。図３を参照すれば、ビデオ復号装置２０は、決定部（２２）及び復号部（２４）を含んでもよい。しかし、図示された構成要素が、いずれも必須構成要素であるものではない。図示された構成要素より多くの構成要素によって、ビデオ復号装置２０が具現され、それより少ない構成要素によっても、ビデオ復号装置２０が具現されもする。以下、前記構成要素について説明する。

ビデオ復号装置２０は、現在ブロックの予測モードがインター予測モードであるならば、ビデオ符号化装置１０で伝送された参照ピクチャ情報及び参照ブロック情報を利用して、動き補償を行う。ビデオ復号装置２０は、動き補償を介して予測ブロックを生成することができる。ビデオ復号装置２０は、生成された予測ブロックと、エントロピー符号化、逆量子化、逆変換過程を経て生成した残差信号とを合わせることにより、映像を復元することができる。

決定部２２は、ビスストリームを受信し、受信されたビットストリームから、現在ブロックの予測モード情報、及び予測候補を示すインデックスを決定することができる。該予測モードは、スキップモード、マージモード、ＡＭＶＰモードを含んでもよいが、それらに限定されるものではなく、他の予測モードが含まれてもよいということは、当業者の立場で理解することができるであろう。該スキップモード及び該マージモードは、周辺ブロックからの参照方向、参照ピクチャインデックス、動きベクトル値などを誘導し、予測動きベクトルを決定するモードである。ＡＭＶＰモードは、スキップモード及びマージモードと異なる参照方向、参照ピクチャインデックス、動きベクトルをビデオ符号化装置１０から伝送される。該予測モードは、映像の符号化及び復号に使用される情報に基づいて、既設定でもある。

決定部２２は、動き情報を誘導するための候補ブロックのリストを構成し、リスト内の候補ブロックを選択することができる。例えば、該動き情報は、現在ブロックの予測動きベクトルでもある。すなわち、決定部２２は、動き情報を誘導するための予測候補リストを決定することができる。

「予測候補」は、候補ブロックを意味する。「予測候補リスト」は、候補ブロックの動きベクトルのリストを意味する。「予測候補リスト」は、候補ブロックの動きベクトルを示すインデックスのリストを意味することもできる。「基本動きベクトル」は、候補ブロックが参照ブロックを示す動きベクトルを意味する。「予測動きベクトル」は、「基本動きベクトル」から派生したベクトルであり、基本動きベクトルに係わる動き予測情報を利用して決定された動きベクトル候補のうち現在ブロックの動きベクトルを予測するために選択された動きベクトルを意味する。決定部２２は、予測モード情報によって、予測候補リストを決定することができる。

現在ブロックの予測モード情報が既設定予測モードを示せば、復号部２４は、予測候補リストのうち予測候補インデックスが示す動きベクトルを決定し、動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、現在ブロックの予測動きベクトルを決定することができる。復号部２４は、予測動きベクトルから獲得された現在ブロックの動きベクトルに基づいて、現在ブロックの動き補償を行うことができる。復号部２４は、予測動きベクトルと原動きベクトルとの差値に係わる情報を獲得し、該差値と予測動きベクトルとを加算し、現在ブロックの動きベクトルを復元することができる。該既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。該既設定予測モードは、スキップモードまたはマージモードで使用された情報だけではなく、映像を符号化及び復号するところに使用される情報を利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定するモードでもある。

例えば、復号部２４は、既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値及び動きベクトル差分値のうち少なくとも一つを利用して、予測動きベクトル候補を生成し、予測動きベクトル候補のうち参照ブロックの動きベクトルを、予測動きベクトルとして決定することができる。

他例を挙げれば、復号部２４は、既設定予測モードによって、参照ピクチャリストを区分する参照方向情報、参照ピクチャインデックス、動きベクトル値、動きベクトル差分値のうち少なくとも一つを変形し、変形された情報のみを利用したり、変形された情報及び変形以前の情報を利用したりし、予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定することができる。

すなわち、復号部２４は、既設定予測モードによって予測動きベクトル候補を生成し、予測動きベクトル候補のうち一つを予測動きベクトルとして決定することができる。

一開示によれば、既設定予測モードによる予測候補リストは、既存動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含んでもよい。それに係わる予測動きベクトル候補を決定する内容は、図５Ａないし図５Ｄで説明する。ここで、「基本動きベクトル」は、現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

復号部２４は、基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することができる。ここで、第１画素距離にある予測動きベクトル候補には、第１画素距離と、既設定の誤差範囲内の画素距離にある予測動きベクトル候補も、含まれてもよい。

予測子候補リストには、空間的候補または時間的候補が含まれてもよい。該空間的候補は、現在ブロックと隣接したブロックの動きは、類似しているという仮定によって、予測単位の分割形態によって決定された隣接周辺ブロックでもある。例えば、２Ｎｘ２Ｎ予測単位は、現在ブロックの周辺に位置した５つのブロックを空間的候補として使用することができる。２ＮｘＮ，Ｎｘ２Ｎ，２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎ予測単位は、現在ブロックの周辺に位置した５つのブロックを空間的候補として使用することができる。また、空間的候補構成が完了すれば、決定部２２は、時間的候補を決定することができる。また、空間的候補または時間的候補の構成が完了し、完了された候補の組み合わせにより、さらなる候補を決定することもできる。

復号部２４は、現在ブロックの予測モード情報が既設定予測モードを示せば、予測候補リストのうち予測候補インデックスが示す動きベクトルを決定することができる。復号部２４は、動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、現在ブロックの予測動きベクトルを決定することができる。復号部２４は、動きベクトルに係わる動き予測情報を組み合わせて予測動きベクトル候補を獲得し、予測動きベクトル候補のうち予測候補インデックスが示す動きベクトルを決定することができる。

動きベクトルに係わる動き予測情報は、現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、動きベクトル値及び動きベクトル差分値情報のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。

復号部２４は、参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、新たな予測動きベクトル候補を獲得し、新たな予測動きベクトル候補のうち現在ブロックの予測動きベクトルを決定することができる。

復号部２４は、第１候補グループ及び第２候補グループのうち、予測動きベクトルが属したグループを示す候補インデックスを決定することができる。

予測子候補リストに含まれる予測動きベクトル候補を示すインデックスは、スキップモードまたはマージモードによる予測動きベクトル候補が示すインデックス、及び既設定予測モードによる予測動きベクトル候補を示すインデックスを含んでもよい。該既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックスを基に変形されもする。既存インデックスは、スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックスである。それに係わる内容は、図６Ａないし図６Ｃで説明する。

また、既設定予測モードの予測モード情報は、スキップフラグ及びマージモードフラグの次において獲得されもする。また、既設定予測モードの予測モード情報は、ＡＭＶＰモードシンタックスエレメントから獲得されもする。

スキップフラグは、コーディング単位呼び出し時、開始部分に位置し、現在ブロックがスキップモードであるか否かということの情報を表示する。もしスキップモードであるならば、スキップインデックスを除いた動き予測に係わるシンタックスを送らない。該スキップインデックスは、周辺ブロックの候補に構成されたリストのうち選択された候補の位置を意味する。該周辺ブロックから候補情報として持ってくる情報は、参照方向、参照ピクチャインデックス、動きベクトル予測値などがある。

マージフラグは、予測単位呼び出し時、開始部分に位置して現在ブロックの予測単位ブロックがマージモードであるか否かということの情報を表示する。もしマージモードであるならば、ビデオ符号化装置１０は、マージインデックスを送り、動きベクトル差分、予測方向、参照ピクチャインデックスに係わるシンタックスを送らない。マージインデックスは、周辺ブロックの候補に構成されたリストで選択された候補を示す。候補ブロックから候補情報として持ってくる情報は、参照方向、参照ピクチャインデックス、動きベクトル予測値などがある。

ＡＭＶＰモードにおいて、ビデオ符号化装置１０は、動きベクトルと予測動きベクトルとの差分値であるＭＶＤをビデオ復号装置２０に伝送する。ＡＭＶＰモードであることで決まれば、ビデオ復号装置２０は、ＡＭＶＰフラグ、動きベクトル差分、予測方向、参照ピクチャインデックスに係わるシンタックスを共に受けることができる。ＡＭＶＰフラグは、周辺ブロックの候補に構成された２つの候補のうち１個を決定する。

復号部２４は、ビットストリームからパージングされた映像のシンボルを利用して、映像を復号することができる。ビデオ復号装置２０が、ツリー構造の符号化単位を基に符号化されたストリームを受信するならば、復号部２４は、ストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号を行うことができる。最大符号化単位に係わる内容は、図８で説明する。

復号部２４は、最大符号化単位ごとにエントロピー復号を行い、符号化情報と符号化されたデータとを獲得することができる。復号部２４は、ストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、レジデントデュアル成分を復元することができる。また、復号部２４は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った結果、映像のレジデュアル成分が復元されもする。

復号部２４は、現在ブロックに最も類似した予測ブロックの動き情報に基づいて、予測ブロックを生成することができる。ここで、該動き情報は、予測ブロックのモーションベクトル、参照ピクチャインデックスを含んでもよい。復号部２４は、予測ブロックと原本ブロックとの差であるレジデュアル成分を予測ブロックに加え、映像を復元することができる。

ビデオ復号装置２０は、決定部２２及び復号部２４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。該中央プロセッサ（図示せず）は、多数の論理ゲートのアレイによって具現され、汎用的なマイクロプロセッサと、そのマイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせによって具現されもする。また、該中央プロセッサ（図示せず）は、他形態のハードウェアによっても具現されるということは、本実施形態が属する技術分野で当業者であるならば、理解することができるであろう。または、決定部２２及び復号部２４が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号装置２０が全体的に動作されもする。または、ビデオ復号装置２０の外部プロセッサ（図示せず）の制御によって、決定部２２及び復号部２４が制御されもする。

ビデオ復号装置２０は、決定部２２及び復号部２４の入出力データが保存される１以上のメモリ（図示せず）を含んでもよい。ビデオ復号装置２０は、メモリのデータ入出力を制御するメモリ制御部（図示せず）を含んでもよい。

以下では、ビデオ復号装置２０が遂行する多様な動作や応用について説明するが、決定部２２及び復号部２４のうちいずれの構成を特定しないとしても、本発明の技術分野に係わる当業者が明確に理解して予想することができるほどの内容は、通常の具現と理解され、本発明の権利範囲は、特定の構成の名称や物理的／論理的構造によって制限されるものではない。以下、ビデオ復号装置２０の動作について、図４を参照して説明する。

図４は、一実施形態によるビデオ復号方法のフローチャートである。図４の段階Ｓ２１において、ビデオ復号装置２０は、ビットストリームから、現在ブロックの予測モード情報、及び予測候補を示すインデックスを決定することができる。該予測モードは、スキップモード、マージモード、ＡＭＶＰモードを含んでもよいが、それらに限定されるものではない。

段階Ｓ２３において、ビデオ復号装置２０は、予測モード情報によって、予測子候補リストを決定することができる。

段階Ｓ２５において、現在ブロックの予測モード情報が既設定予測モードを示せば、ビデオ復号装置２０は、予測子候補リストのうちインデックスが示す動きベクトルを決定し、動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、予測動きベクトルを決定することができる。

該動きベクトルに係わる動き予測情報は、現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。ビデオ復号装置２０は、参照方向、参照ピクチャのインデックス、動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、現在ブロックの予測動きベクトルを決定することができる。

該既設定予測モードは、スキップモード及びマージモードと異なる予測モードでもある。該既設定予測モードによる予測子候補リストは、基本動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含んでもよい。外基本動きベクトルは、現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

一方、ビデオ復号装置２０は、基本動きベクトルから派生した予測動きベクトル候補を、一定距離に基づいてグルーピングすることができる。具体的には、ビデオ復号装置２０は、基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することができる。

ビデオ復号装置２０は、第１候補グループ及び第２候補グループのうち予測動きベクトルが属したグループを、ビットストリームから獲得した候補インデックスと決定することができる。

段階Ｓ２７において、ビデオ復号装置２０は、予測動きベクトルに基づいて、現在ブロックの動きベクトルを決定することができる。ビデオ復号装置２０は、現在ブロックの動きベクトルに基づいて、現在ブロックの動き補償を行うことができる。

ビデオ復号装置２０は、予測動きベクトルと原動きベクトルとの差値に係わる情報を抽出した後、該差値と予測動きベクトルとを加算し、現在ブロックの動きベクトルを復元することができる。

ビデオ復号装置２０は、ビデオ復号を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、ビデオ復号動作を遂行することができる。ビデオ復号装置２０の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、ビデオ復号装置２０、または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号動作を具現する場合も含んでもよい。

図５Ａないし図５Ｄは、一実施形態によって、予測動きベクトル候補を決定する過程について説明するための図面である。

一開示によって、現在ブロックの予測モードが、スキップモード、マージモード及びＡＭＶＰモードと異なる既設定予測モードである場合、ビデオ復号装置２０は、基本動きベクトルを利用して、予測動きベクトル候補を決定することができる。ここで、該基本動きベクトルは、現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。該基本動きベクトルは、スキップモードまたはマージモード以外の所定の予測モードで使用されるベクトル候補のうち一つでもある。

また、基本動きベクトルは、現在符号化しているピクチャのコーディングされたブロックの動きベクトルから決定されるか、あるいは時間的に現在ピクチャが参照することができるピクチャのコーディングされたブロックの動きベクトルから決定される。例えば、該基本動きベクトルは、現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つでもある。

また、該基本動きベクトルは、基本動きベクトル間の演算を介しても決定される。

また、該基本動きベクトルは、第１予測モードにおいて、予測候補が動きベクトル情報を含んでいるならば、ビデオ復号装置２０は、動きベクトル情報を基本動きベクトルとして決定することができる。

図５Ａないし図５Ｄを参照すれば、ビデオ復号装置２０は、予測動きベクトル候補構成において、螺旋分布の動きベクトルを決定することができる。該螺旋分布の形態は、菱形、四角形などのＮ角形、または円形と類似した形態にもなる。

ビデオ復号装置２０は、基本動きベクトルにおいて一定距離にある候補を予測動きベクトル候補に決定することができる。ビデオ復号装置２０は、基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定し、第ｎ画素距離にある予測動きベクトル候補を、第ｎ候補グループと決定することができる。ここで、ビデオ復号装置２０は、基本動きベクトルで最も近い予測動きベクトル候補を、第１候補グループ、その次に近い予測動きベクトル候補を、第２候補グループと決定することができ、画素距離が増大するにつれ、候補グループ番号が順番通り増大する。

該画素距離は、１／４画素単位を１と仮定するとき、候補グループ番号が増大するにつれ、画素距離間隔は、ログスケール間隔または非線形間隔などに決定される。また、ユーザの定義によって、画素距離の間隔が決定される。

各候補グループ内の予測動きベクトル候補の数は、１、２、３、…Ｍ個まで決定される。

図５Ａ及び図５Ｂは、各候補グループ内の予測動きベクトル候補の数が４であるとき（Ｍ＝４）について説明する。ここで、該候補グループは、３個のグループであるときとして、例を挙げるが、それに限定されるものではない。

図５Ａを参照すれば、ビデオ復号装置２０は、基本動きベクトルを基準に、菱形状の分布を有する予測動きベクトル候補を決定することができる。各画素間の間隔が、１／４画素距離であるが、以下、ベクトル候補の成分値を、便宜上４倍スケーリングして表示する。

ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から、１／４画素の距離にある予測動きベクトル候補（（base＿ｘ＋１，base＿ｙ）５０２、（base＿ｘ－１，base＿ｙ）５０３、（base＿ｘ，base＿ｙ＋１）５０４、（base＿ｘ，base＿ｙ－１）５０５）を第１候補グループと決定することができる。

ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から、１／２画素の距離にある予測動きベクトル候補（（base＿ｘ＋２，base＿ｙ）５０６、（base＿ｘ－２，base＿ｙ）５０７、（base＿ｘ，base＿ｙ＋２）５０８、（base＿ｘ，base＿ｙ－２）５０９）を第２候補グループと決定することができる。

ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から１画素の距離にある予測動きベクトル候補（（base＿ｘ＋４，base＿ｙ）５１０、（base＿ｘ－４，base＿ｙ）５１１、（base＿ｘ，base＿ｙ＋４）５１２、（base＿ｘ，base＿ｙ－４）５１３）を第３候補グループと決定することができる。

図５Ｂを参照すれば、ビデオ復号装置２０は、基本動きベクトルを基準に、四角形状の分布を有する予測動きベクトル候補を決定することができる。各画素間の間隔が１／４画素距離であるが、以下、ベクトル候補の成分値を、便宜上４倍スケーリングして表示する。

同様に、ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から約１／４画素の距離にある予測動きベクトル候補（（base＿ｘ＋１，base＿ｙ＋１）５２１、（base＿ｘ＋１，base＿ｙ－１）５２２、（base＿ｘ－１，base＿ｙ＋１）５２３、（base＿ｘ－１，base＿ｙ－１）５２４）を第１候補グループと決定することができる。

ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から約１／２画素の距離にある予測動きベクトル候補（（base＿ｘ＋２，base＿ｙ＋２）５２５、（base＿ｘ＋２，base＿ｙ－２）５２６、（base＿ｘ－２，base＿ｙ＋２）５２７、（base＿ｘ－２，base＿ｙ－２）５２８）を第２候補グループと決定することができる。

ビデオ復号装置２０は、基本動きベクトル（base＿ｘ，base＿ｙ）５０１から約１画素の距離にある予測動きベクトル候補（（base＿ｘ＋４，base＿ｙ＋４）５２９、（base＿ｘ＋４，base＿ｙ－４）５３０、（base＿ｘ－４，base＿ｙ＋４）５３１、（base＿ｘ－４，base＿ｙ－４）５３２）を第３候補グループと決定することができる。

図５Ｃを参照すれば、ビデオ復号装置２０は、各グループを、異なる個数の予測動きベクトル候補と決定することができる。各画素間の間隔が１／４画素距離であるが、以下、ベクトル候補の成分値を、便宜上４倍スケーリングして表示する。

具体的には、ビデオ復号装置２０は、基本動きベクトルから約１／４画素の距離にある８個の予測動きベクトル候補（（base＿ｘ＋１，base＿ｙ）５０２、（base＿ｘ－１，base＿ｙ）５０３、（base＿ｘ，base＿ｙ＋１）５０４、（base＿ｘ，base＿ｙ－１）５０５、（base＿ｘ＋１，base＿ｙ＋１）５２１、（base＿ｘ＋１，base＿ｙ－１）５２２、（base＿ｘ－１，base＿ｙ＋１）５２３、（base＿ｘ－１，base＿ｙ－１）５２４）を第１候補グループと決定することができる。

また、ビデオ復号装置２０は、基本動きベクトルから約１／２画素の距離にある８個の予測動きベクトル候補（（base＿ｘ＋２，base＿ｙ）５０６、（base＿ｘ－２，base＿ｙ）５０７、（base＿ｘ，base＿ｙ＋２）５０８、（base＿ｘ，base＿ｙ－２）５０９、（base＿ｘ＋２，base＿ｙ＋２）５２５、（base＿ｘ＋２，base＿ｙ－２）５２６、（base＿ｘ－２，base＿ｙ＋２）５２７、（base＿ｘ－２，base＿ｙ－２）５２８）を第２候補グループと決定することができる。

ビデオ復号装置２０は、基本動きベクトルから約１画素の距離にある４個の予測動きベクトル候補（（base＿ｘ＋４，base＿ｙ）５１０、（base＿ｘ－４，base＿ｙ）５１１、（base＿ｘ，base＿ｙ＋４）５１２、（base＿ｘ，base＿ｙ－４）５１３）を第３候補グループと決定することができる。

図５Ｄを参照すれば、ビデオ復号装置２０は、予測動きベクトル候補を、候補グループ別に決定することができ、各候補グループの分布形態を多様に決定することができる。具体的には、ビデオ復号装置２０は、基本動きベクトル５０１を基準に、菱形状の分布を有する予測動きベクトル候補５０２，５０３，５０４，５０５を第１候補グループと決定することができる。また、ビデオ復号装置２０は、基本動きベクトル５０１を基準に、四角形状の分布を有する予測動きベクトル候補５２５，５２６，５２７，５２８を第２候補グループと決定することができる。また、ビデオ復号装置２０は、基本動きベクトル５０１を基準に、菱形状の分布を有する予測動きベクトル候補５１０，５１１，５１２，５１３を、第３候補グループと決定することができる。図５Ｄに図示されているように、各候補グループの予測動きベクトル候補の分布は、図５Ｄに図示された分布形態以外に、多様な分布形態でもっても決定される。

ビデオ復号装置２０は、１以上の基本動きベクトルを決定することができる。もし基本動きベクトルが二つであるならば、基本動きベクトルそれぞれを利用して、予測動きベクトル候補が生成されもする。

ビデオ復号装置２０は、双方向動き予測が可能である。もし基本動きベクトルが、List ０とList １とにある参照ピクチャを利用して双方向予測によって遂行されるならば、各参照方向の動きベクトルは、反対符号の大きさに変化される。

例えば、現在復号されるピクチャのＰＯＣが、２つの予測参照ピクチャＰＯＣ間に存在（List ０にある参照ピクチャのＰＯＣ＜現在復号ピクチャのＰＯＣ＜List １にある参照ピクチャのＰＯＣ）するならば、ビデオ復号装置２０が、現在復号ピクチャにおいて、基本動きベクトルにおいて、List ０にある参照ピクチャを示す予測動きベクトル候補を（ｘ＋１，ｙ）で決定すれば、基本動きベクトルにおいて、List １にある参照ピクチャを示す予測動きベクトル候補を（ｘ－１，ｙ）と決定することができる。ここで、List ０動きベクトルとList １動きベクトルは、基本動きベクトルのｘ成分値またはｙ成分値が反対符号の変化量ほど移動されたベクトルでもある。例えば、基本動きベクトル（ｘ，ｙ）から、ｘ成分が＋１、－１ほど変化し、Ｌ０動きベクトルは、（ｘ＋１）と決定され、Ｌ１動きベクトルは、（ｘ－１，ｙ）と決定される。

現在復号されるピクチャのＰＯＣが、List ０にある参照ピクチャと、List １にある参照ピクチャとのＰＯＣ間に存在しないのであるならば、List ０及びList １にある参照ピクチャを示す予測動きベクトル候補は、同一であるか、あるいは異なる符号の大きさに変化する。

図６Ａないし図６Ｃは、一実施形態による、既存の予測子候補リストに、既設定予測モード情報が挿入される場合、ビット表現方法について説明するための図面である。すなわち、スキップモードまたはマージモードにおいて、５個のインデックスのうち一つを利用し、て既設定予測モードの使用を表示する例について説明するための図面である。

もしスキップモードまたはマージモードが５個の候補を使用しており、既設定予測モードの表示のために、１個のインデックスを追加して使用するとき、スキップモードまたはマージモードは、総６個の候補を使用することができる。ビデオ復号装置２０においては、スキップモードまたはマージモードのインデックスをパージングするとき、既設定予測モードの使用によって約束されたインデックス情報が獲得されれば、既設定予測モードが使用されたと把握し、予測動きベクトル候補のインデックスを追加してパージングすることができる。その場合、それぞれのシーケンス、ピクチャ、スライスごとに、いかなるスキップモードまたはいかなるマージモードのインデックスが、既設定予測モードの使用を知らせるかということは、上位レベルでパージングされた情報で解釈することができる。上位レベルの例として、ヘッダ情報を有することができる。ビデオ符号化装置１０は、それぞれのシーケンス、ピクチャ、スライスごとに、いかなるスキップモードまたはいかなるマージモードのインデックスが既設定予測モードの使用情報として表示されるかということを決定することができる。

一開示によれば、ビデオ符号化装置１０は、既設定予測モードの使用を知らせるインデックスと、スキップモードまたはマージモードの既存候補のインデックスとのヒット率（hit ratio）情報を統計的に累積し、シーケンス単位、ピクチャ単位またはスライス単位で適応的に順序を決定することができる。既設定予測モードの使用を知らせるインデックスは、次のピクチャまたはスライスのヘッダに明示的にシグナリング（signaling）可能である。従って、ビデオ復号装置２０は、ピクチャまたはスライスのヘッダで獲得した情報により、どのインデックスが既設定予測モードの使用を知らせるかということを解釈することができる。

図６Ａは、５個のスキップモードまたはマージモードの予測動きベクトル候補のインデクシング方法を切削型単項（truncated unary）方法で表現したものである。

図６Ｂは、既設定予測モードの予測モード情報が、既存インデックスリストに挿入可能な位置について説明するための図面である。該既存インデックスリストは、予測モードの予測モード情報が、インデックスリストに挿入される前のリストを意味する。例えば、該既存インデックスリストは、スキップモードまたはマージモードの候補を示すインデックスリストでもある。既設定予測モードの予測モード情報は、１つの候補形態でインデックスリストに挿入可能である。図６Ｂに図示されているように、既存インデックスリストにおいて、既設定予測モードの予測モード情報が挿入されうる位置は、６個の位置６０１，６０２，６０３，６０４，６０５，６０６が可能である。

図６Ｃは、既設定予測モードの予測モード情報が、既存インデックスリストにおいて、ＩＤＸ３に挿入されたときの表現ビットの変化について説明するための図面である。図６Ｃに図示されているように、既設定予測モードの予測モード情報が、ＩＤＸ２後に挿入されれば、切削型単項方法によって、予測モード情報のインデックス６１０は、１１１０と表現され、それ以前のＩＤＸ３及びＩＤＸ４は、１ビットずつ増えたビットによって表現される。

図７は、一実施形態によって、予測動きベクトルのビット表現方法について説明するための図面である。

ビデオ符号化装置１０は、予測動きベクトル候補の絶対的位置をシグナリングするのではなく、一定基準によって生成された予測動きベクトル候補をインデックス化して伝送することができる。例えば、予測動きベクトル候補の絶対的位置シグナリングは、基本動きベクトルと予測動きベクトル候補との差を伝送することを意味することができ、一定基準は、螺旋分布において、予測動きベクトル候補を選定することでもある。図７に図示されているように、いかなる予測動きベクトル候補が使用されたかというをビットで表現することができる。

図７を参照すれば、ＮＩＤＸは、いかなる基本動きベクトルを使用したかということに係わる情報である。具体的には、第１基本動きベクトルの情報は、ＩＤＸ０に割り当てられ、第２基本動きベクトルの情報は、ＩＤＸ１に割り当てられる。各基本動きベクトルの情報をいずれのＮＩＤＸに割り当てるかということは、予測動きベクトルに係わる基本動きベクトルに採択された頻度によって決定される。各基本動きベクトルのインデックス情報は、図７の７０１のようにビットによって表現されもする。

また、同一基本動きベクトルから派生した予測動きベクトル候補は、一定基準によって候補グループにグルーピングされもする。ここで、該一定基準は、基本動きベクトルにおいて、同一画素距離にある候補を予測動きベクトル候補に決定する基準にもなる。グルーピングされた各グループに係わるインデックス情報は、図７の７０２のように、ビットで表現されもする。

既設定予測モードのインデックスがＩＤＸ３と定義される場合、ＩＤＸ３において、基本動きベクトルから派生した予測動きベクトル候補は、ＮＩＤＸと表現されもする。また、それぞれのＮＩＤＸは、基本動きベクトルに基づいた予測動きベクトル候補をグループ別に含んでもよい。ＮＩＤＸの表現は、固定長符号化（ＦＬＣ：fixed length coding）方法を使用するか、あるいは切削型単項方法を使用することができる。

図７の場合、切削型単項方法で表現した例示である。ＮＩＤＸの情報は、切削型単項方法によって表示され、予測動きベクトルがいずれのグループに含まれているかということを示すことができる。基本動きベクトルに係わる各候補グループの表現も、固定長符号化（ＦＬＣ）方法を使用するか、あるいは切削型単項方法を使用して示すことができる。

予測動きベクトルに係わる各候補グループを切削型単項で表現するとき、ピクチャ単位やスライス単位において、適応的に異なるビット表現で示すことができる。例えば、ビデオ符号化装置１０において、累積グループ別ヒット率を求めた結果、第３候補グループにある候補が、予測動きベクトルに最も多く選択されたとすれば、次のピクチャやスライスのヘッダに該情報をシグナリングし、第３候補グループを最も短いビット表現「０」で表現する。

その場合、次のピクチャやスライスのヘッダにシグナリングする方法は、最も多く選択される候補グループのインデックスを送る方法でも可能である。例えば、最も多く選択されるグループの順序が、次の通りであると仮定する。

第３候補グループ＞第２候補グループ＞第４候補グループ＞第１候補グループ＞第５候補グループ＞第０候補グループ＞第６候補グループ＞第７候補グループ
例えば、上位３個の情報を送るためには、３ビット（総８個の候補）ずつ３個であり、全てのピクチャ単位またはスライス単位において、９ビットの表現情報が必要である。発生頻度が高いと予想される上位３個の候補グループ情報を送るとすれば、第３候補グループの表現ビットである「０１１」、第２候補グループの表現ビットである「０１０」、第４候補グループの表現ビットである「１００」がそれぞれシグナリングされることになる。

一方、候補グループ情報をシグナリングし、候補グループ内の４個候補のうちいかなる候補であるかということを示すことができるビット表現が必要である。図７の７０３を参照すれば、４方位概念で存在する候補を２個以上のグループに分け、ＣＡＢＡＣコンテクストモデル（context-based adaptive binary arithmetic coding context model）を適用することができる。横成分候補と縦成分候補とをそれぞれ２個ずつ２個のグループに分けたフラグに、コンテクストモデル（context model）が適用されもする。図７の７０４を参照すれば、フラグパージング後には、２個のうちいずれの候補を使用するかということを決定するフラグも、コンテクストモデルが適用されもする。

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号装置２０において、ビデオデータが分割されるブロックが最大符号化単位に分割され、最大符号化単位ごとに、ツリー構造の符号化単位を基に符号化／復号される。以下、図８ないし２０を参照し、多様な実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号方法及びその装置が開示される。

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置８００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、符号化単位決定部８２０及び出力部８３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、「ビデオ符号化装置８００」と縮約して指称する。

符号化単位決定部８２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されもする。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の自乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されもする。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義されもする。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは、小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類されもする。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部８２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部８２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小符号化誤差が発生する深度を選択し、最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部８３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なって決定される。従って、１つの最大符号化単位に対して、最終深度が１以上設定され、最大符号化単位のデータは、１以上の最終深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部８２０は、現在最大符号化単位に含まれる、ツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４と設定され、第２最大深度は、５と設定される。

最大符号化単位の予測符号化及び変換も行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置８００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置８００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置８００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態による、ツリー構造による符号化単位と類似した方式により、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部８２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１７ないし図１９を参照して詳細に説明する。

符号化単位決定部８２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部８３０は、符号化単位決定部８２０で決定された少なくとも１つの深度に基づいて符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。

最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて、深度及び分割情報が設定される。

従って、一実施形態による出力部８３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードについての符号化情報が割り当てられる。

一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部８３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。該深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメーターセットまたはピクチャパラメーターセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小大きさに係わる情報も、ビットストリームのヘッダ、シーケンスパラメーターセットまたはピクチャパラメーターセットなどを介して出力される。出力部８３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置８００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置８００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率の低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が向上する。

図９は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置９００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、受信部９１０、映像データ及び符号化情報抽出部９２０、並びに映像データ復号部９３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置９００は、「ビデオ復号装置９００」と縮約して指称する。

一実施形態によるビデオ復号装置９００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図８及びビデオ符号化装置８００を参照して説明したところと同一である。

受信部９１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部９３０に出力する。映像データ及び符号化情報抽出部９２０は、現在ピクチャに係わるヘッダ、シーケンスパラメーターセットまたはピクチャパラメーターセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部９３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部９３０が最大符号化単位ごとに映像データを復号する。

最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、該深度情報として、深度別分割情報が抽出される。

映像データ及び符号化情報抽出部９２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置８００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置９００は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。

一実施形態による深度及び符号化モードについての符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部９２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一の深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号部９３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部９３０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて、符号化された映像データを復号することができる。該復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号部９３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号部９３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号部９３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度である。従って、映像データ復号部９３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部９３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。

結局、ビデオ復号装置９００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。

図１０は、多様な実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ１０１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ１０２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ１０３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ１０３０に比べ、解像度が高いビデオデータ１０１０，１０２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ１０１０の最大深度が２であるので、ビデオデータ１０１０の符号化単位１０１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ１０３０の最大深度が１であるので、ビデオデータ１０３０の符号化単位１０３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ１０２０の最大深度が３であるので、ビデオデータ１０２０の符号化単位１０２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図１１は、多様な実施形態による符号化単位に基づいたビデオ符号化部１１００のブロック図を図示している。

一実施形態によるビデオ符号化部１１００は、ビデオ符号化装置８００のピクチャ符号化部１５２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部１１２０は、現在映像１１０５のうちイントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部１１１５は、インターモードの符号化単位に対して、予測単位別に、現在映像１１０５及び復元ピクチャバッファ１１１０で獲得された参照映像を利用して、インター予測を行う。現在映像１１０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。そのとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われる。

イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に対する予測データを、現在映像１１０５のエンコーディングされる符号化単位に係わるデータから差し引くことにより、レジデューデータを生成し、レジデューデータは、変換部１１２５及び量子化部１１３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部１１４５、逆変換部１１５０を介して、空間領域のレジデューデータに復元される。復元された空間領域のレジデューデータは、イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部１１５５及びＳＡＯ遂行部１１６０を経て、復元映像に生成される。生成された復元映像は、復元ピクチャバッファ１１１０に保存される。復元ピクチャバッファ１１１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部１１２５及び量子化部１１３０で量子化された変換係数は、エントロピー符号化部１１３５を経て、ビットストリーム１１４０として出力される。

一実施形態によるビデオ符号化部１１００がビデオ符号化装置８００に適用されるために、ビデオ符号化部１１００の構成要素である、インター予測部１１１５、イントラ予測部１１２０、変換部１１２５、量子化部１１３０、エントロピー符号化部１１３５、逆量子化部１１４５、逆変換部１１５０、デブロッキング部１１５５及びＳＡＯ遂行部１１６０が最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。

特に、イントラ予測部１１２０及びインター予測部１１１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部１１２５は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。

図１２は、多様な実施形態による符号化単位に基づいたビデオ復号部１２００のブロック図を図示している。

エントロピー復号部１２１５は、ビットストリーム１２０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部１２２０及び逆変換部１２２５は、量子化された変換係数からレジデューデータを復元する。

イントラ予測部１２４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部１２３５は、現在映像のうちインターモードの符号化単位に対して、予測単位別に復元ピクチャバッファ１２３０で獲得された参照映像を利用してインター予測を行う。

イントラ予測部１２４０またはインター予測部１２３５を経た各モードの符号化単位に係わる予測データと、レジデューデータとが加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部１２４５及びＳＡＯ遂行部１２５０を経て、復元映像１２６０として出力される。また、復元ピクチャバッファ１２３０に保存された復元映像は、参照映像として出力される。

ビデオ復号装置９００のピクチャ復号部９３０において、映像データを復号するために、一実施形態によるビデオ復号部１２００のエントロピー復号部１２１５以後の段階別作業が遂行される。

ビデオ復号部１２００が一実施形態によるビデオ復号装置９００に適用されるために、ビデオ復号部１２００の構成要素である、エントロピー復号部１２１５、逆量子化部１２２０、逆変換部１２２５、イントラ予測部１２４０、インター予測部１２３５、デブロッキング部１２４５及びＳＡＯ遂行部１２５０が最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。

特に、イントラ予測部１２４０及びインター予測部１２３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部１２２５は、符号化単位ごとに四分木構造による変換単位の分割いかんを決定することができる。

図１３は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造１３００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造１３００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造１３００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位１３１０は、符号化単位の階層構造１３００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位１３２０、サイズ１６ｘ１６である深度２の符号化単位１３３０、サイズ８ｘ８である深度３の符号化単位１３４０が存在する。サイズ８ｘ８である深度３の符号化単位１３４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位１３１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位１３１０に含まれるサイズ６４ｘ６４のパーティション１３１０、サイズ６４ｘ３２のパーティション１３１２、サイズ３２ｘ６４のパーティション１３１４、サイズ３２ｘ３２のパーティション１３１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位１３２０の予測単位は、サイズ３２ｘ３２の符号化単位１３２０に含まれるサイズ３２ｘ３２のパーティション１３２０、サイズ３２ｘ１６のパーティション１３２２、サイズ１６ｘ３２のパーティション１３２４、サイズ１６ｘ１６のパーティション１３２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位１３３０の予測単位は、サイズ１６ｘ１６の符号化単位１３３０に含まれるサイズ１６ｘ１６のパーティション１３３０、サイズ１６ｘ８のパーティション１３３２、サイズ８ｘ１６のパーティション１３３４、サイズ８ｘ８のパーティション１３３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位１３４０の予測単位は、サイズ８ｘ８の符号化単位１３４０に含まれるサイズ８ｘ８のパーティション１３４０、サイズ８ｘ４のパーティション１３４２、サイズ４ｘ８のパーティション１３４４、サイズ４ｘ４のパーティション１３４６に分割される。

一実施形態によるビデオ符号化装置８００の符号化単位決定部８２０は、最大符号化単位１３１０の深度を決定するために、最大符号化単位１３１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造１３００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造１３００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位１３１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位１３１０の深度及びパーティションモードに選択される。

図１４は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程のうち変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号装置９００において、現在符号化単位１４１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位１４２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位１４１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１５は、多様な実施形態による符号化情報を図示している。

一実施形態によるビデオ符号化装置８００の出力部８３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を符号化して伝送することができる。

パーティションモードに係わる情報１５００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６、サイズＮｘＮのパーティション１５０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報１５００は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６及びサイズＮｘＮのパーティション１５０８のうち一つを示すように設定される。

予測モードに係わる情報１５１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報１５１０を介して、パーティションモードに係わる情報１５００が示すパーティションが、イントラモード１５１２、インターモード１５１４及びスキップモード１５１６のうち一つで予測符号化が行われるか否かということが設定される。

また、変換単位サイズに係わる情報１５２０は、現在符号化単位をいかなる変換単位を基に変換を行ったかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ１５２２、第２イントラ変換単位サイズ１５２４、第１インター変換単位サイズ１５２６、第２インター変換単位サイズ１５２８のうち一つでもある。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部１６１０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報１５００、予測モードに係わる情報１５１０、変換単位サイズに係わる情報１５２０を抽出し、復号に利用することができる。

図１６は、多様な実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位１６００の予測符号化のための予測単位１６１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション１６１２，１６１４，１６１６，１６１８だけが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード１６１２，１６１４，１６１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションモード１６１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（１６２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位１６３０に対して反復的に符号化を行い、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位１６３０の予測符号化のための予測単位１６４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード１６４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード１６４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード１６４６、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（１６５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位１６６０に対して反復的に符号化を行い、最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は、深度ｄ－１になるまで設定され、分割情報は、深度ｄ－２まで設定される。すなわち、深度ｄ－２から分割され（１６７０）、深度ｄ－１まで符号化が行われる場合、深度ｄ－１及びサイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）の符号化単位１６８０の予測符号化のための予測単位１６９０は、サイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティションモード１６９２、サイズ２Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションモード１６９４、サイズＮ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティションモード１６９６、サイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションモード１６９８を含んでもよい。

パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティション、２つのサイズ２Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティション、２つのサイズＮ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティション、４つのサイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションごとに、反復的に、予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。

サイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションモード１６９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ－１の符号化単位ＣＵ＿（ｄ－１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位１６００に係わる深度が深度ｄ－１に決定され、パーティションモードは、Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）と決定される。また、最大深度がｄであるので、深度ｄ－１の符号化単位１６５２について、分割情報が設定されない。

データ単位１６９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置８００は、符号化単位１６００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが、深度の符号化モードに設定される。

かように、深度０，１，…，ｄ－１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度に決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号装置９００の映像データ及び符号化情報抽出部９２０は、符号化単位１６００に係わる深度及び予測単位に係わる情報を抽出し、符号化単位１６１２の復号に利用することができる。一実施形態によるビデオ復号装置９００は、深度別分割情報を利用して、分割情報が「０」である深度を深度と把握し、当該深度に係わる分割情報を利用して、復号に利用することができる。

図１７、図１８及び図１９は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１７１０は、最大符号化単位について、一実施形態によるビデオ符号化装置８００が決定した深度別符号化単位である。予測単位１７６０は、符号化単位１７１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１７７０は、それぞれの深度別符号化単位の変換単位である。

深度別符号化単位１７１０は、最大符号化単位の深度が０であるととすれば、符号化単位１７１２，１０５４は、深度が１であり、符号化単位１７１４，１７１６，１７１８，１７２８，１７５０，１７５２は、深度が２であり、符号化単位１７２０，１７２２，１７２４，１７２６，１７３０，１７３２，１７４８は、深度が３であり、符号化単位１７４０，１７４２，１７４４，１７４６は、深度が４である。

予測単位１７６０のうち一部パーティション１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、符号化単位が分割された形態である。すなわち、パーティション１７１４，１７２２，１７５０，１７５４は、２ＮｘＮのパーティションモードであり、パーティション１７１６，１７４８，１７５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１７３２は、ＮｘＮのパーティションモードである。深度別符号化単位１７１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１７７０のうち一部変換単位１７５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、予測単位１７６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置８００、及び一実施形態に他のビデオ復号装置９００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号装置９００において設定される一例を示す。

一実施形態によるビデオ符号化装置８００の出力部８３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号装置９００の符号化情報抽出部９２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出することができる。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度について、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。

パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎと、を示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態による、ツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図２０は、表７の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位２０００は、深度の符号化単位２００２，２００４，２００６，２０１２，２０１４，２０１６，２０１８を含む。そのうち１つの符号化単位２０１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位２０１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６，ＮｘＮ ２０２８，２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４，ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。

例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ ２０２２，２ＮｘＮ ２０２４，Ｎｘ２Ｎ ２０２６及びＮｘＮ ２０２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位２０４４が設定される。

パーティションモード情報が非対称形パーティションモード２ＮｘｎＵ ２０３２，２ＮｘｎＤ ２０３４，ｎＬｘ２Ｎ ２０３６及びｎＲｘ２Ｎ ２０３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位２０５４が設定される。

図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって０、１、２、３、…などに増加し、変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置８００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置９００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ－１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ－２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ－３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ－１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

CurrMinTuSize
= max (MinTransformSize, RootTuSize/(2^MaxTransformSizeIndex)) （１）
現在符号化単位において可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても異なる。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

RootTuSize = min(MaxTransformSize, PUSize) （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize = min(MaxTransformSize, PartitionSize) （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。

図８ないし図２０を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに、復号が行われながら空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１ないし図２０を参照して説明したビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と総称する。また、先に図１ないし図２０を参照して説明したビデオ復号方法及び／またはビデオ復号方法は、「本発明のビデオ復号方法」と総称する
また、先に図１ないし図２０を参照して説明したビデオ符号化装置、ビデオ符号化装置８００、またはビデオ符号化部１１００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と総称する。また、先に図１ないし図２０を参照して説明したインターレイヤビデオ復号装置、ビデオ復号装置９００、またはビデオ復号部１２００で構成されたビデオ復号装置は、「本発明のビデオ復号装置」と総称する。

一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。

図２１は、多様な実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ－ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒにより構成され、該トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００のおける特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。

図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６７００に伝送される。

図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。

図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。該独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されてもよい。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ－ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。

カメラ１２６００によって撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ－ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

該ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザによって、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

該クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントとして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号して再生させ、個人放送（personal broadcasting）を可能にする。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本発明のビデオ符号化装置及びビデオ復号装置が適用される。

図２４及び２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

図２４は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）、ＯＬＥＤ（organic light emitting diodes）の画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ－mail）によって受信されたり、他形態によって獲得されたりするビデオや静止映像のように、符号化されたり復号されたりするデータを保存するための記録媒体１２５７０と、記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０と、を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable programmable read-only memory）のような他形態のフラッシュメモリでもある。

図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作させ、「電源オフ」状態で「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ（read-only memory）及びＲＡＭを含む。

携帯電話１２５００が外部に通信データを送信する過程としては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される。例えば、音響処理部１２６５０においては、デジタル音響信号が生成され、ビデオ符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によっ、てデジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が、外部から通信データを受信する過程においては、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。

データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号部１２６９０の構造は、前述の本発明のビデオ復号装置の構造に相応する。映像復号部１２６９０は、前述の本発明のビデオ復号方法を利用して、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。

それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００、または他形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号装置のみを含む受信端末機でもある。

本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２６は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０、または他のデバイスによって復号されて再生される。

再生装置１２８３０において、本発明のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体にも、本発明のビデオ復号装置が搭載される。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及びビデオ符号化部１２７２０を含まないこともある。

図２７は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでもなる。

該クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望程度選んで使用することができる。

特定サービスユーザのユーザ端末機、はインターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デストトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報と、住所、氏名などの個人信用情報とを含んでもよい。また、該ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に、所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号し、ビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００が、ユーザ端末機に、当該動画を最初フレームからストリーミング伝送する。一方、該端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。

そのとき、該ユーザ端末機は、図１ないし図２０を参照して説明した本発明のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１ないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１ないし図２０を参照して説明した、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。

図１ないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される多様な実施形態は、図２１ないし図２７で説明した。しかし、図１ないし図２０を参照して説明したビデオ符号化方法及びビデオ復号方法が記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現される多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。

本発明は、またコンピュータで読取り可能な記録媒体に、コンピュータが読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存される全種の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読取り可能なコードに保存されて実行される。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解するであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

以下、本願により教示される手段を例示的に列挙する。
（付記１）
ビデオ復号装置によって遂行されるビデオ復号方法において、
ビットストリームから、現在ブロックの予測モード情報、及び予測候補を示すインデックスを決定する段階と、
前記予測モード情報によって予測候補リストを決定する段階と、
前記現在ブロックの予測モード情報が既設定予測モードを示せば、前記予測候補リストのうち、前記インデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定する段階と、
前記予測動きベクトルに基づいて、前記現在ブロックの動きベクトルを決定する段階と、を含み、
前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードであることを特徴とするビデオ復号方法。
（付記２）
前記既設定予測モードによる予測候補リストは、
基本動きベクトルにおいて一定距離にある候補の動きベクトルを含むことを特徴とする付記１に記載のビデオ復号方法。
（付記３）
前記基本動きベクトルは、前記現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つであることを特徴とする付記２に記載のビデオ復号方法。
（付記４）
前記現在ブロックの予測動きベクトル候補を決定する段階は、
前記基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、前記基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することを特徴とする付記２に記載のビデオ復号方法。
（付記５）
前記動きベクトルに係わる動き予測情報は、
前記現在ブロックの周辺ブロックから獲得された参照方向、参照ピクチャのインデックス、前記動きベクトルの値、及び動きベクトル差分値情報のうち少なくとも一つを含み、
前記現在ブロックの予測動きベクトルを決定する段階は、
前記参照方向、前記参照ピクチャのインデックス、前記動きベクトルの値、及び動きベクトル差分値情報を組み合わせたり変移させたりし、前記現在ブロックの予測動きベクトルを決定することを特徴とする付記１に記載のビデオ復号方法。
（付記６）
前記予測子候補リストに含まれる予測動きベクトル候補が示すインデックスは、
スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックス、及び前記既設定予測モードによる予測動きベクトル候補を示すインデックスを含み、
前記既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されることを特徴とする付記１に記載のビデオ復号方法。
（付記７）
前記既設定予測モードの予測モード情報は、
スキップフラグ及びマージモードフラグの間で獲得されるか、あるいはスキップフラグ及びマージモードフラグの次において獲得されることを特徴とする付記１に記載のビデオ復号方法。
（付記８）
ビデオ符号化装置によって遂行されるビデオ符号化方法において、
既設定予測モードによって、予測子候補リストを決定する段階と、
現在ブロックの予測モード情報が、前記既設定予測モードを示せば、前記予測子候補リストのうちインデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定する段階と、
前記予測動きベクトルに基づいて、前記現在ブロックの動きベクトルを決定する段階と、
前記既設定予測モードを示す予測モード情報を符号する段階と、を含み、
前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードであることを特徴とするビデオ符号化方法。
（付記９）
前記既設定予測モードによる予測子候補リストは、
基本動きベクトルにおいて、一定距離にある候補を予測動きベクトル候補に含むことを特徴とする付記８に記載のビデオ符号化方法。
（付記１０）
前記基本動きベクトルは、
前記現在ブロックのスキップモードまたはマージモードで使用される予測動きベクトル候補のうち一つであることを特徴とする付記９に記載のビデオ符号化方法。
（付記１１）
前記現在ブロックの予測動きベクトル候補を決定する段階は、
前記基本動きベクトルにおいて、第１画素距離にある予測動きベクトル候補を、第１候補グループと決定し、前記基本動きベクトルにおいて、第２画素距離にある予測動きベクトル候補を、第２候補グループと決定することを特徴とする付記９に記載のビデオ符号化方法。
（付記１２）
前記予測子候補リストに含まれる予測動きベクトル候補が示すインデックスは、
スキップモードまたはマージモードによる予測動きベクトル候補を示すインデックス、及び前記既設定予測モードによる予測動きベクトル候補を示すインデックスを含み、
前記既設定予測モードによる予測動きベクトル候補を示すインデックスは、既存インデックス間で生成されることを特徴とする付記８に記載のビデオ符号化方法。
（付記１３）
前記既設定予測モードの予測モード情報は、
スキップフラグ及びマージモードフラグの間に挿入されるか、あるいはスキップフラグ及びマージモードフラグの次に挿入されることを特徴とする付記８に記載のビデオ符号化方法。
（付記１４）
ビットストリームから、現在ブロックの予測モード情報、及び予測候補を示すインデックスを決定し、前記予測モード情報によって、予測子候補リストを決定する決定部と、
前記現在ブロックの予測モード情報が既設定予測モードを示せば、前記予測子候補リストのうち、前記インデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルから獲得された前記現在ブロックの動きベクトルに基づいて、前記現在ブロックの動き補償を行う復号部と、を含み、
前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードであることを特徴とするビデオ復号装置。
（付記１５）
既設定予測モード情報によって、予測子候補リストを決定し、現在ブロックの予測モード情報が、前記既設定予測モードを示せば、前記予測子候補リストのうちインデックスが示す動きベクトルを決定し、前記動きベクトルに係わる動き予測情報のうち少なくとも一つに基づいて、前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルから獲得された前記現在ブロックの動きベクトルに基づいて、前記現在ブロックの動き予測を行う符号化部と、
前記既設定予測モードを示す予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含み、
前記既設定予測モードは、スキップモード及びマージモードと異なる予測モードであることを特徴とするビデオ符号化装置。

特表２０１４－５２０４８４号公報 韓国公開特許第１０－２０１４－００５１０２６号公報

Claims (4)

1. ビデオ復号装置によって遂行されるビデオ復号方法において、
   ビットストリームから、現在ブロックの動きベクトル予測モード情報を獲得する段階と、
   前記現在ブロックの動きベクトル予測モードが第１予測モードを指すとき、前記ビットストリームから動きベクトル差分の符号がある方向を示す情報、前記動きベクトル差分の画素距離を示す情報及び第１候補リストのうち、第１動きベクトル候補を示す第１インデックスを獲得し、
   前記現在ブロックに隣接するブロックの動きベクトルを含む前記第１候補リストを決定し、
   前記第１候補リストのうち、前記第１インデックスが示す前記第１動きベクトル候補を決定し、前記動きベクトル差分の符号がある方向及び前記動きベクトル差分の画素距離に基づいて前記動きベクトル差分を決定し、前記第１動きベクトル候補及び前記動きベクトル差分に基づいて前記現在ブロックの動きベクトルを決定する段階と、
   前記現在ブロックの動きベクトル予測モードが第１予測モードではないことを指すとき、前記ビットストリームから、第２候補リストのうち、第２動きベクトル候補を示す第２インデックスを獲得し、前記現在ブロックに隣接するブロックの動きベクトルを含む前記第２候補リストを決定し、前記第２候補リストのうち、前記第２インデックスが示す前記第２動きベクトル候補を決定し、前記第２動きベクトル候補に基づいて前記現在ブロックの動きベクトルを決定する段階と、
   前記動きベクトルが指す予測ブロックを用いて前記現在ブロックの復元ブロックを決定する段階と、を含み、
   前記動きベクトル差分の符号がある方向（ｓｉｇｎｅｄ ｄｉｒｅｃｔｉｏｎ）は、正の水平方向、負の水平方向、正の垂直方向及び負の垂直方向のうち、１つであり、
   前記動きベクトル差分の画素距離、副画素単位の値及び整数画素単位の値のうち、１つであることを特徴とするビデオ復号方法。
2. ビデオ符号化装置によって遂行されるビデオ符号化方法において、
   現在ブロックの動きベクトルを決定する段階と、
   前記現在ブロックの動きベクトルが第１予測モードによって予測されるか否かを示す現在ブロックの動きベクトル予測モード情報を決定する段階と、
   前記現在ブロックが第１予測モードによって予測されるとき、前記現在ブロックに隣接するブロックの動きベクトルを含む第１候補リストを決定し、前記第１候補リストのうち、第１動きベクトル候補を決定し、前記第１動きベクトル候補と前記現在ブロックの動きベクトル間の動きベクトル差分を決定し、前記動きベクトル差分の符号がある方向を示す情報、前記動きベクトル差分の画素距離を示す情報及び第１候補リストのうち、前記第１動きベクトル候補を示す第１インデックスを生成する段階と、
   前記現在ブロックの動きベクトルが前記第１予測モードによって予測されないとき、前記現在ブロックに隣接するブロックの動きベクトルを含む第２候補リストを決定し、前記第２候補リストのうち、第２動きベクトル候補を決定し、第２候補リストのうち、前記第２動きベクトル候補を示す第２インデックスを生成する段階と、
   前記動きベクトルが指す予測ブロックを前記現在ブロックから差し引くことでレジデュアルブロックを決定する段階と、
   前記レジデュアルブロックに変換を遂行することで、前記レジデュアルブロックの変換係数を生成する段階と、を含み、
   前記動きベクトル差分の符号がある方向（ｓｉｇｎｅｄ ｄｉｒｅｃｔｉｏｎ）は、正の水平方向、負の水平方向、正の垂直方向及び負の垂直方向のうち、１つであり、
   前記動きベクトル差分の画素距離、副画素単位の値及び整数画素単位の値のうち、１つであることを特徴とするビデオ符号化方法。
3. ビットストリームから現在ブロックの動きベクトル予測モード情報を獲得する決定部と、
   前記現在ブロックに隣接するブロックの動きベクトルを含む候補リストを決定し、前記候補リストのうち、動きベクトル候補を決定し、動きベクトル差分に基づいて前記現在ブロックの動きベクトルを決定し、前記動きベクトルが指す予測ブロックを用いて前記現在ブロックの復元ブロックを決定する復号部と、を含み、
   前記現在ブロックの動きベクトル予測モードが第１予測モードを指すとき、
   前記決定部は、前記ビットストリームから、動きベクトル差分の符号がある方向を示す情報、前記動きベクトル差分の画素距離を示す情報及び第１候補リストのうち、第１動きベクトル候補を示す第１インデックスを獲得し、
   前記復号部は、前記現在ブロックに隣接するブロックの動きベクトルを含む前記第１候補リストを決定し、前記第１候補リストのうち、前記第１インデックスが示す前記第１動きベクトル候補を決定し、前記動きベクトル差分の符号がある方向及び前記動きベクトル差分の画素距離に基づいて前記動きベクトル差分を決定し、前記第１動きベクトル候補及び前記動きベクトル差分に基づいて前記現在ブロックの動きベクトルを決定し、
   前記現在ブロックの動きベクトル予測モードが第１予測モードではないことを示すとき、
   前記決定部は、前記ビットストリームから、第２候補リストのうち、第２動きベクトル候補を示す第２インデックスを獲得し、
   前記復号部は、前記現在ブロックに隣接するブロックの動きベクトルを含む前記第２候補リストを決定し、前記第２候補リストのうち、前記第２インデックスが示す前記第２動きベクトル候補を決定し、前記第２動きベクトル候補に基づいて前記現在ブロックの動きベクトルを決定し、
   前記動きベクトル差分の符号がある方向（ｓｉｇｎｅｄ ｄｉｒｅｃｔｉｏｎ）は、正の水平方向、負の水平方向、正の垂直方向及び負の垂直方向のうち、１つであり、
   前記動きベクトル差分の画素距離、副画素単位の値及び整数画素単位の値のうち、１つであることを特徴とするビデオ復号装置。
4. ビデオ符号化方法によって生成されたビットストリームを記録媒体に保存する方法において、
   現在ブロックの動きベクトルを決定する段階と、
   前記現在ブロックの動きベクトルが第１予測モードによって予測されるか否かを示す前記現在ブロックの動きベクトル予測モード情報を決定する段階と、
   前記現在ブロックが第１予測モードによって予測されるとき、前記現在ブロックに隣接するブロックの動きベクトルを含む第１候補リストを決定し、前記第１候補リストのうち、第１動きベクトル候補を決定し、前記第１動きベクトル候補と前記現在ブロックの動きベクトルとの動きベクトル差分を決定し、前記動きベクトル差分の符号がある方向を示す情報、前記動きベクトル差分の画素距離を示す情報及び第１候補リストのうち、前記第１動きベクトル候補を示す第１インデックスを生成する段階と、
   前記現在ブロックの動きベクトルが前記第１予測モードによって予測されないとき、前記現在ブロックに隣接するブロックの動きベクトルを含む第２候補リストを決定し、前記第２候補リストのうち、第２動きベクトル候補を決定し、第２候補リストのうち、前記第２動きベクトル候補を示す第２インデックスを生成する段階と、
   前記動きベクトルが指す予測ブロックを前記現在ブロックから差し引くことでレジデュアルブロックを決定する段階と、
   前記レジデュアルブロックに変換を遂行することで、前記レジデュアルブロックの変換係数を生成する段階と、
   前記動きベクトル予測モード情報及び前記レジデュアルブロックの変換係数を含むビットストリームを記録媒体に保存する段階と、を含み、 前記ビットストリームは、前記第１インデックス及び前記第２インデックスのうち、１つを含み、
   前記ビットストリームが前記第１インデックスを含む場合、前記ビットストリームは、前記動きベクトル差分の符号がある方向を示す情報及び前記動きベクトル差分の画素距離を示す情報を含み、
   前記動きベクトル差分の符号がある方向（ｓｉｇｎｅｄ ｄｉｒｅｃｔｉｏｎ）は、正の水平方向、負の水平方向、正の垂直方向及び負の垂直方向のうち、１つであり、
   前記動きベクトル差分の画素距離、副画素単位の値及び整数画素単位の値のうち、１つであることを特徴とする方法。