一実施形態による映像を復号する方法において、前記映像を分割する少なくとも1つの符号化単位のうち1つの現在符号化単位に含まれる少なくとも1つの予測単位を決定する段階と、前記少なくとも1つの予測単位に含まれる現在予測単位に係わる併合候補リスト(merge candidate list)を生成する段階と、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定する段階と、前記決定された予測モードによって予測を行う段階と、を含み、前記併合候補リストを生成する段階は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測(view synthesis prediction)併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定する段階をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、前記隣接予測単位は、空間的併合候補(spatial merging candidates)のうち、前記現在予測単位の左側に隣接することを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定する段階をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、隣接予測単位が、空間的併合候補として利用され、隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、現在予測単位において、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、予測モードを決定する段階は、第1情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定する段階と、第2情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定する段階と、をさらに含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、予測モードを決定する段階は、前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第3情報がビュー合成予測併合候補を利用することができることを示す場合、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む併合候補リストを生成する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像復号方法において、併合候補リストを生成する段階は、隣接予測単位が、空間的併合候補として利用されないか、あるいは隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補を併合候補リストに追加した後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行する段階を含むことを特徴とする映像復号方法が提供される。
一実施形態による映像を復号する装置において、前記映像を分割する少なくとも1つの符号化単位のうち1つの現在符号化単位に含まれる少なくとも1つの予測単位を決定し、前記少なくとも1つの予測単位に含まれる現在予測単位に係わる併合候補リスト(merge candidate list)を生成し、前記併合候補リストに基づいて、前記予測単位で遂行する予測モードを決定し、前記決定された予測モードによって予測を行う復号部を含み、前記復号部は、前記現在予測単位に隣接した隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということに基づいて、前記ビュー合成予測併合候補を、前記併合候補リストに追加するか否かということを決定することをさらに特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、前記隣接予測単位は、空間的併合候補(spatial merging candidates)のうち、前記現在予測単位の左側に隣接することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記隣接予測単位が、空間的併合候補として利用されるか否かということを決定することをさらに特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、隣接予測単位が、空間的併合候補として利用され、隣接予測単位が、ビュー合成予測併合候補を利用して符号化されている場合、現在予測単位において、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、第1情報に基づいて、前記現在予測単位が空間的併合候補を利用して予測されるか否かということを決定し、第2情報に基づいて、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されているか否かということを決定することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記現在予測単位が空間的併合候補を利用して予測されるように予測モードが決定され、前記隣接予測単位が、ビュー合成予測併合候補を利用して符号化されていると決定され、第3情報がビュー合成予測併合候補を利用することができることを示す場合、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、前記隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、前記現在予測単位において、ビュー合成予測併合候補を含む前記併合候補リストを生成することを特徴とする映像復号装置が提供される。
一実施形態による映像復号装置において、該復号部は、隣接予測単位が、空間的併合候補として利用されないか、あるいは隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補を併合候補リストに追加した後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することを特徴とする映像復号装置が提供される。
一実施形態による、映像復号方法を具現するためのプログラムが保存されたコンピュータ判読可能記録媒体が提供される。
以下、図1Aないし図6Bを参照し、一実施形態によって、ビュー合成予測併合候補を利用して予測を行うための併合候補リストを生成して映像を符号化または復号する方法及び装置が提案される。また、図7ないし図19を参照し、先に提案した映像符号化方法及び映像復号方法に適用可能な一実施形態によるツリー構造の符号化単位に基づいた映像符号化方法及び映像復号方法が開示される。また、図20ないし図27を参照し、先に提案した映像符号化方法、映像復号方法が適用可能な一実施形態が開示される。
以下、「映像」は、ビデオの静止映像や動画、すなわち、映像それ自体を示す。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値またはブロックのレジデュアルがサンプルでもある。
以下、現在ブロック(current block)は、符号化または復号しようとする映像のブロックを意味する。
以下、周辺ブロック(neighboring block)は、現在ブロックに隣接する符号化されたり復号されたりする少なくとも1つのブロックを示す。例えば、周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端、左側下端に位置することができる。また、空間的に隣接するブロックだけではなく、時間的に隣接するブロックも含んでもよい。例えば、時間的に隣接するブロックである対応位置(co-located)ブロックは、参照ピクチャの現在ブロックと同一位置ブロック、あるいは同一位置ブロックの周辺ブロックを含んでもよい。
以下、「レイヤ(layer)映像」は、特定視点または同一類型の映像を示す。多視点ビデオにおいて、1つのレイヤ映像は、特定視点に入力されたテクスチャ映像またはデプス映像を示す。例えば、三次元映像において、左視点テクスチャ映像、右視点テクスチャ映像及びデプス映像は、それぞれ1つのレイヤ映像を構成する。すなわち、左視点テクスチャ映像は、第1レイヤ映像、右視点テクスチャ映像は、第2レイヤ映像、デプス映像は、第3レイヤ映像を構成することができる。
図1Aは、本発明の一実施形態による多視点ビデオシステムを示す。
多視点ビデオシステム10は、多視点ビデオ符号化装置12及び多視点ビデオ復号装置13を含んでもよい。2台以上の多視点カメラ11を介して獲得された多視点ビデオ映像と、デプスカメラ14を介して獲得された多視点映像のデプス映像、及び多視点カメラ11に係わるカメラパラメータ情報を符号化してビットストリームを生成する。多視点ビデオ復号装置13、及びビットストリームを復号し、復号された多視点ビデオフレームを視聴者の要求によって、多様な形態で提供する。ここで、多視点ビデオシステム10の多視点ビデオ復号装置13は、図2Aの映像復号装置20に対応する構成でもあり、多視点ビデオ符号化装置12は、図2Bの映像符号化装置25に対応する構成でもある。
多視点カメラ11は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、毎フレームごとに、多視点ビデオ映像を提供する。以下の説明において、YUVフォーマット、YCbCrフォーマットのように、所定カラーフォーマットによって各視点別に獲得されたカラー映像は、テクスチャ(texture)映像とされる。
デプスカメラ14は、場面のデプス情報を、256段階の8ビット映像などで表現したデプス映像(depth image)を提供する。デプス映像の1ピクセルを表現するためのビット数は、8ビットではなく、変更されてもよい。デプスカメラ14は、赤外線などを利用し、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有するデプス映像を提供することができる。このように、1視点の映像は、テクスチャ映像及びデプス映像を含む。
映像符号化装置25において、多視点のテクスチャ映像と対応するデプス映像を符号化して伝送すれば、多視点ビデオデータ復号装置13は、ビットストリームに具備された多視点のテクスチャ映像及びデプス映像を利用して、ステレオ映像や三次元映像を介して、立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。多視点ビデオデータのビットストリームヘッダには、データパケットに、デプス映像に係わる情報も含まれているか否かということを示すための情報、各データパケットが、テクスチャ映像に係わるものであるか否かということ、あるいはデプス映像に係わる映像類型を示す情報が含まれてもよい。受信側のハードウェア性能によって、多視点ビデオを復元するのに、デプス映像を利用する場合、受信されたデプス映像を利用して、多視点ビデオを復号し、受信側のハードウェアが多視点ビデオを支援せず、デプス映像を活用することができない場合には、デプス映像に係わって受信されたデータパケットを廃棄する。かように、受信側が多視点映像をディスプレイすることができない場合、多視点映像のうちある1視点の映像を二次元映像(2D映像)でディスプレイすることができる。
多視点ビデオデータは、視点の個数に比例し、符号化されるデータ量が増加し、また立体感を具現するためのデプス映像も符号化されなければならないために、図1Aに図示されたような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータを効率的に圧縮する必要がある。
図1Bは、多視点ビデオを構成するテクスチャ映像及びデプス映像を例示した図面である。図1Bでは、第1視点(view 0)のテクスチャピクチャ(v0)16a、第1視点(view 0)のテクスチャピクチャ(v0)16aに対応するデプス映像ピクチャ(d0)16b、第2視点(view 1)のテクスチャピクチャ(v1)17a、第2視点(view 1)のテクスチャピクチャ(v1)17aに対応するデプス映像ピクチャ(d1)17b、第3視点(view 2)のテクスチャピクチャ(v2)18a、及び第3視点(view 2)のテクスチャピクチャ(v2)18aに対応するデプス映像ピクチャ(d2)18bを図示する。図1Bでは、3個の視点(view 0,view 1,view 2)での多視点のテクスチャピクチャ(v0,v1,v2)16a,17a,18a、及び対応するデプス映像(d0,d1,d2)16b,17b,18bを図示したが、視点の個数は、それらに限定されることなく、変更されてもよい。多視点のテクスチャピクチャ(v0,v1,v2)16a,17a,18a、及び対応するデプス映像(d0,d1,d2)16b,17b,18bは、いずれも同一時間に入力され、同一POC(picture order count)を有するピクチャである。以下の説明において、多視点のテクスチャピクチャ(v0,v1,v2)16a,17a,18a、及び対応するデプス映像ピクチャ(d0,d1,d2)16b,17b,18bのように、同一n(nは整数)のPOC値を有するピクチャグループ15を、n−thピクチャグループと称する。同一POCを有するピクチャグループは、1つのアクセス単位(access unit)を構成することができる。アクセス単位の符号化順序は、必ずしも映像のキャプチャ順序(入力順序)やディスプレイ順序と同一である必要はなく、アクセス単位の符号化順序は、参照関係を考慮し、キャプチャ順序やディスプレイ順序と異なってもよい。
各視点のテクスチャ映像及びデプス映像の視点を特定するために、視点順序インデックス(view order index)である視点識別子(ViewId)が利用される。同一視点のテクスチャ映像及びデプス映像は、同一視点識別子を有する。視点識別子は、符号化順序の決定に利用される。例えば、映像符号化装置25は、視点識別子が小さい値から大きい値の順序で、多視点ビデオを符号化することができる。すなわち、映像符号化装置25は、ViewIdが0であるテクスチャ映像とデプス映像とを符号化した後、ViewIdが1であるテクスチャ映像及びデプス映像を符号化することができる。かように、視点識別子を基準に符号化順序を決定する場合、エラーが発生しやすい環境において、視点識別子を利用して、受信されたデータのエラー発生いかんを識別することができる。ただし、視点識別子の大きさ順序に依存せずに、各視点映像の符号化/復号順序は、変更されてもよい。
図2Aは、一実施形態による映像復号装置20のブロック図を図示する。図2Aでの映像復号装置20は、図1Aの多視点ビデオ復号装置13に対応するものでもある。一実施形態によって、映像復号装置20は、制御部21を含んでもよい。制御部21は、映像を復号するために、映像を複数個の符号化単位に分割することができる。符号化単位を決定するために、制御部21は、まず符号化単位の最大サイズを決定することができる。制御部21は、決定された最大符号化単位の大きさによって、映像を多数の最大符号化単位に分割した後、それぞれの最大符号化単位を階層的に分割し、符号化単位を決定することができる。一実施形態によって、ビットストリームから符号化単位の最大サイズに係わる情報は、ビットストリーム獲得部(図示せず)を介して獲得され、制御部21は、前記最大サイズに係わる情報に基づいて、符号化単位の最大サイズを決定することができる。
図3は、一実施形態によって、併合候補リストを生成して予測を行う映像復号方法に係わるフローチャートを図示する。
S310段階において、映像復号装置20の制御部21は、一実施形態によって、符号化単位で少なくとも1つの予測単位を決定することができる。符号化単位において、少なくとも1つの予測単位を決定する具体的な方法は、以下で具体的に説明する。
制御部21は、入力された多視点のテクスチャ映像及びデプス映像を予測復号する。制御部21は、多視点映像で重複する情報を低減させるために予測を使用する。具体的には、イントラ予測部(図示せず)は、現在ブロック周辺の復元されたサンプルを参照し、現在ブロックを予測する。インター予測部(図示せず)は、現在ブロックに係わる予測値を、以前に符号化/復号されたピクチャから生成するインター予測を行う。予測モード決定部(図示せず)は、多様なイントラ予測モード、インター予測モードのうち符号化された結果値のコストを比較することによって決定された予測モードに係わる情報に基づいて、現在ブロックに係わる予測モードを決定することができる。かようなイントラ予測部(図示せず)、インター予測部(図示せず)及び予測モード決定部(図示せず)の動作は、制御部21で遂行される。
インター予測時、参照ピクチャから最適の予測ブロックを探す過程を、動き予測(motion estimation)と呼ぶ。さらに精密な動き推定のために、ビデオコーデックの種類によって、復元ピクチャを補間(interpolation)した後、補間された映像に対して、副画素単位で動き推定を行うことができる。動き補償(motion compensation)とは、動き推定過程で求めた最適の予測ブロックに係わる動き情報(モーションベクトル、参照ピクチャインデックス)を基に、予測ブロックを生成することを意味する。制御部21は、動き推定過程を介して、参照ピクチャから最適の予測ブロックを探し、動き補償過程を介して、予測ブロックを生成することができる。
制御部21は、イントラ予測またはインター予測を介して、現在ブロックに係わる予測ブロックを生成することができる。また、制御部21は、ビットストリームから、予測ブロックと原本ブロックとの差値であるレジデュアル信号を復元するために、ブロック別に逆変換、逆量子化し、エントロピー復号を行う。
映像復号装置20は、予測符号化された多視点ビデオに係わるデータを含むビットストリームを獲得することができる。一実施形態によって、映像復号装置20のビットストリーム獲得部(図示せず)は、多視点ビデオに係わるデータとして、NAL(network adaptive layer)単位で多重化して生成されたデータパケットを、ビットストリームから獲得することができる。
映像復号装置20は、イントラ予測された映像データ復号のために、現在ブロックの予測モードに係わる情報、イントラ予測モードのうち現在ブロックに適用されたイントラ予測モードを特定するための情報、現在ブロックと予測ブロックとの差値であるレジデュアル信号をビットストリームから獲得することができる。例えば、HEVCに基づいて、イントラ予測された現在ブロックに係わる情報として、DCモード、プレーナモード、33個の方向を有する方向モードの総35個のイントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードに係わる情報を、ビットストリームから獲得することができる。
インター予測された映像データを伝送するために、現在ブロックの予測モードに係わる情報、リスト0(list 0)、リスト1(list 1)のような参照ピクチャリストに係わる情報、参照ピクチャリスト内に含まれた参照ピクチャのうち、現在ブロックのインター予測時に利用された参照ピクチャを示すインデックス情報(ref idx)、現在ブロックの動きベクトルに係わる情報がビットストリームに含まれてもよい。また、インター予測またはイントラ予測される現在ブロックは、予測単位(PU:prediction unit)でもある。具体的な符号化/復号方式は、図20ないし図26を参照して後述する。
インター予測時に伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関度を利用する併合(merge)モード、AMVP(advanced motion vector prediction)モードが利用される。併合モード及びAMVPモードは、いずれもインター予測の特殊な場合であり、併合モード及びAMVPモードにおいては、すでに復元されたものとして、現在ブロックと、時間的、空間的に係わる以前ブロックが利用される。現在ブロックの動き情報を誘導するために利用される以前ブロックのリストが生成され、映像復号装置20は、リスト内の以前ブロックの選択情報を獲得することができる。併合モード及びAMVPモードにおいて、映像復号装置20は、同一過程によって動き情報を持ち込むための以前ブロックの候補リストを獲得する。スキップ(skip)モードにおいて、レジデュアル信号の伝送なしに、併合候補リスト内の以前ブロック選択情報だけが伝送される。すなわち、スキップモードは、併合候補リストのうち動き情報を持ち込むインデックス(merge index)情報だけがビットストリームに含まれて伝送され、併合モードの場合、インデックス情報以外に、レジデュアル信号がビットストリームに含まれて伝送される。
前述のように、多視点映像は、複数個の視点で入力されたテクスチャ映像及びデプス映像を含む。1視点を介して入力されるテクスチャ映像及びデプス映像が、それぞれ1つのレイヤ映像を構成すると仮定する。例えば、三次元ビデオの場合、左視点のテクスチャ映像、右視点のテクスチャ映像、左視点のデプス映像、及び右視点のデプス映像が、それぞれ1つのレイヤ映像に構成される。また、三次元ビデオにおいて、デプス映像として、1つのデプス映像だけが利用され、左視点と右視点との視点差によるカメラパラメータ情報から、左視点及び右視点それぞれのデプス映像が生成される。かような場合、左視点のテクスチャ映像、右視点のテクスチャ映像、及び1つのデプス映像それぞれが1つのレイヤ映像を構成し、三次元ビデオは、総3個のレイヤ映像によって構成される。
多視点映像を構成する各レイヤの映像間には、高い相関関係が存在する。例えば、同一視点のテクスチャ映像とデプス映像との間には、同じ時間、同じ視点での映像を、それぞれカラーと深さとで表現したものであるために、相関関係が存在する。また、同一時間に入力された互いに異なる視点のテクスチャ映像やデプス映像の間にも、一定相関関係が存在する。また、異なる時間に入力された他の視点のテクスチャ映像とデプス映像との間にも、一定相関関係が存在する。従って、多視点映像の場合、利用可能な多様な類型の参照ピクチャが存在し、多様な方式でインター予測を行うことができる。すなわち、従来の単一視点の映像のインター予測時、時間方向だけにインター予測を行う場合に限定されず、多視点映像のインター予測時には、時間方向だけではなく、視点方向にもインター予測が行われる。また、対応するテクスチャ映像とデプス映像との間にも、相関関係が存在するので、テクスチャ映像及びデプス映像それぞれは、相手方映像を参照してインター予測される。一般的に、テクスチャ映像に含まれた情報量が多いために、テクスチャ映像を参照してデプス映像がインター予測される。
従って、一実施形態によるインター予測部(図示せず)は、多視点ビデオを構成するピクチャ間の相関関係を考慮し、多様な方式で、他のレイヤのピクチャから、現在レイヤのピクチャを予測するインター・レイヤ予測を行うことができる。
他のレイヤ映像を参照せずに、独立して符号化/復号されるレイヤの映像を独立(independent)レイヤ映像と定義し、他のレイヤの映像を参照して符号化/復号されるレイヤの映像を従属(dependent)レイヤ映像と定義する。独立レイヤ映像は、従属レイヤ映像より先に符号化/復号され、従属レイヤ映像は、以前に符号化/復号された他のレイヤの映像を参照して符号化/復号される。
前述のように、併合モードは、現在ブロック以前に処理された以前ブロックから、参照方向、参照ピクチャインデックス、動きベクトル予測値(MVP:motion vector predictor)を誘導する技術である。動きベクトル値は、併合で誘導された動きベクトル予測値に基づいて決定される。映像復号装置20は、動き選択された併合ブロック情報に該当する併合インデックス(merge index)を獲得することができる。
S311段階において、映像復号装置20の制御部21は、一実施形態によって、少なくとも1つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成することができる。制御部21は、併合モードで利用される併合候補として、少なくとも下記のような候補のうち一つを利用することができる。併合候補は、下記の候補だけに制限されるものではなく、予測方式によって、多様な種類の候補が付加されたり省略されたりする。ここで、併合候補とは、現在予測ブロックに対して遂行される予測モードに係わる候補と定義される。
(1)動きパラメータ相続候補(motion parameter inheritance candidate)
(2)インター視点候補(inter-view candidate)
(3)空間的候補(spatial candidate)
(4)変移候補(disparity candidate)
(5)時間的候補(temporal candidate)
(6)ビュー合成予測候補(VSP candidate:view synthesis prediction candidate)
それらのうち、(1)動きパラメータ相続候補、(2)インター視点候補、(3)空間的候補及び(5)時間的候補は、現在ブロックと同一視点のレイヤ映像だけではなく、他視点のレイヤ映像に含まれた以前ブロックでもある。(4)変移候補、(6)ビュー合成予測候補は、現在ブロックと異なる視点のレイヤ映像に含まれた以前ブロックでもある。
図4Aないし図4Dでは、現在ブロックに係わる変移ベクトルを獲得する過程について説明する。ただし、以後で説明する変移ベクトル獲得過程は、一実施形態に過ぎないので、本発明を具現するためには、現在ブロックに係わる変移ベクトルを獲得するための多様な方法が利用される。
図4Aは、一実施形態によって、現在ブロックに係わる周辺ブロックから、変移ベクトル(disparity vector)が獲得される過程について説明するための図面である。
図4Aを参照すれば、映像復号装置20の制御部21は、現在ブロックと、空間的及び時間的に関連した周辺ブロック(neighboring block)から、現在ブロックの変移ベクトルを獲得することができる。ここで、現在ブロックは、符号化単位(CU:coding unit)または予測単位(PU:prediction unit)でもある。空間的に関連した周辺ブロックとして、現在ブロックの左下側に位置したA1ブロック、及び右上側に位置したB1ブロックから、変移ベクトルが獲得される。変移ベクトルを獲得するために、A1ブロック及びB1ブロックの順序で、変移ベクトルを有するか否かということがチェックされ、A1ブロック及びB1ブロックにおいて変移ベクトルを有する場合、当該変移ベクトルを利用して、現在ブロックの変移ベクトルが獲得される。
また、参照ピクチャのブロックのうち、現在ブロックと同一位置の時間的隣接ブロック(T0)を利用して、現在ブロックの変移ベクトルが獲得される。現在ピクチャと時間的に関連した参照ピクチャとして、2個の参照ピクチャが利用される。2個の参照ピクチャのうち第1参照ピクチャは、スライスヘッダの参照ピクチャ情報を介してシグナリングされる参照ピクチャとして決定される。参照ピクチャリストに含まれた参照ピクチャのうち、ランダムアクセスポイント(RAP:random access point)ピクチャが含まれた場合、第2参照ピクチャは、RAPピクチャと決定される。もし参照ピクチャリストにRAPピクチャが存在しない場合、参照ピクチャリストの参照ピクチャのうち、時間的識別子(temporal ID)が最も低い参照ピクチャが第2参照ピクチャと決定される。時間的識別子(temporal ID)が最も低い参照ピクチャが複数個である場合、現在ピクチャとのPOC(picture order count)が最小である参照ピクチャが第2参照ピクチャと決定される。第2参照ピクチャの同一位置のブロックが有する動きベクトルは、選択的には、現在ブロックの変移ベクトル決定に利用される。
一方、図4Aに図示されているように、現在ブロックと時間的、空間的に係わる隣接ブロックのうち、変移補償予測(DCP)を利用して、変移ベクトルを有する隣接ブロック以外にも、動き補償予測(MCP)を利用する隣接ブロックから、変移ベクトルを獲得することができる。
図4Bは、一実施形態によって、動き補償予測された隣接ブロックから、変移ベクトルが獲得される過程を図示する。図4Bを参照すれば、現在ブロックに係わる隣接ブロック41が、動き補償予測を介して予測されたブロックであり、他視点の参照ブロック42を示すインター視点動き予測を介して、隣接ブロック41の動きベクトルが予測された場合、隣接ブロック41のインター視点動き予測に利用された変移ベクトルは、現在視点ピクチャとインター視点参照ピクチャとの動き対応関係を示す。従って、隣接ブロック41のインター視点動き予測を介して予測された動きベクトルを利用して、現在ブロックの変移ベクトルを決定することができる。
図4Cは、一実施形態による併合候補リストに含まれる空間的候補を示す。図4Cを参照すれば、映像復号装置20は、現在ブロック44の予測情報を決定するために参照する候補ブロックは、現在ブロック44に空間的に隣接する予測単位でもある。このとき、現在ブロックは、予測単位でもある。例えば、現在ブロック44の左側下端サンプルの左側下端外部に位置する予測単位A0 45a、現在ブロック44の左側下端サンプルの左側外部に位置する予測単位A1 45b、現在ブロック44の右側上端サンプルの右側上端外部に位置する予測単位B0 46a、現在ブロック44の右側上端サンプルの上端外部に隣接する予測単位B1 46b、現在ブロック44の左側上端サンプルの左側上端外部に位置する予測単位B2 47が候補ブロックにもなる。候補ブロックにもなるブロックを決定するために、予測単位A1 45b,B1 46b,B0 46a,A0 45a,B2 47の順序で、所定位置の予測単位3200,3300,3400,3500,3600が探索される。
例えば、予測単位A1 45b,B1 46b,B0 46a,A0 45a,B2 47のうち、4個の予測単位が空間的候補ブロックとして選択される。すなわち、4個の空間的候補ブロックが、インター予測のための候補リストに含まれてもよい。
映像復号装置20は、ブロックA1 45b,B1 46b,B0 46a,A0 45a,B2 47のうち動き情報を有するブロック、すなわち、インター予測されたブロックのみをインター予測のための予測候補に含め、動き情報を有さないブロックは、予測候補から除く。また、映像復号装置20は、重複する動き情報を有するブロックは、インター予測のための予測候補から除く。
空間的予測候補に含まれてもよい周辺ブロックの位置及び個数は、前述の例に限定されることなく、変更されてもよい。
図4Dは、一実施形態による併合候補リストに含まれる時間的候補を示す。
時間的併合(merge)候補のための参照ピクチャの方向と、参照ピクチャインデックスとがスライスヘッダを介して、デコーダ(復号装置)に伝送される。図4Dは、現在予測単位(PU)の時間的併合(merge)候補の選択位置を示す。同一位置の予測単位は、選択された参照ピクチャにおいて、現在予測単位と同一位置に存在する予測単位(PU)を意味する。時間的併合(merge)候補は、同一位置のPUの右側下端ブロック(H)をまず探索し、右側下端ブロック(H)の動き情報が存在しなければ、同一位置の予測単位(PU)中央(C3)のピクセルを含むブロックを探索する。
図4Eは、一実施形態による、併合モードで利用されるインター視点(inter-view)予測候補を示す。図4Eを参照すれば、映像復号装置20の制御部21は、第2レイヤ現在ピクチャ48aに含まれた現在ブロック49aのインター予測のために、現在ブロック49aの位置において、ディスパリティベクトル(DV)が示す第1レイヤ参照ブロック49bが動き情報(mvref)を有するか否かということを判断する。すなわち、参照ピクチャ48bに含まれた第1レイヤ参照ブロック49bが、インターモードまたはスキップモードと決定されたか否かということが判断される。ここで、ディスパリティベクトルが示す参照位置は、現在ブロック49aの中心ピクセルを基準にすることもでき、あるいは現在ブロック49aの左側上端ピクセルを基準にすることもできる。
映像復号装置20の制御部21は、第1レイヤ参照ブロック49bが動き情報を有していれば、参照ブロック49bをインター視点予測候補に決定し、参照ブロック53の動き情報を、インター予測のための候補リストに追加することができる。一方、インタービュー予測候補決定に利用されるブロックは、符号化単位または予測単位でもある。
図5は、本発明の他の実施形態によるビュー合成予測(view synthesis prediction)を利用して、映像を復号する方法について説明するための図面である。
一実施形態によって、映像復号装置20は、現在ブロックの変移ベクトルに係わる情報を有していないので、現在ブロックの周辺ブロックの変移ベクトルを誘導する。ここで、現在ブロックとは、予測単位(prediction unit)を含むものであると定義される。例えば、現在ブロック51aの周辺ブロック51bは、現在ブロック51aより先に復元されたブロックに該当し、周辺ブロック51bに係わる変移ベクトル52bの情報が復元された状態でもある。すなわち、制御部21は、現在ブロック51aに係わる変移ベクトル51bを誘導するために、周辺ブロック51bの変移ベクトル52bに係わる情報を獲得することができる。現在ブロックに係わる変移ベクトルは、図4Aないし図4Dを含む多様な誘導方法を利用して誘導されると詳述したので、詳細な説明は省略する。
一実施形態によって、映像復号装置20の制御部21は、現在ブロック51aの周辺ブロック51bの変移ベクトル52bに係わる情報を利用して、現在ブロック51aの変移ベクトル52aを決定することができる。現在ブロックに係わる変移ベクトルは、図4Aないし図4Dを含む多様な誘導方法を利用して誘導されると詳述したので、詳細な説明は省略する。
一実施形態によって、映像復号装置20の制御部21は、現在ブロック51aの変移ベクトル52aによって決定される参照レイヤ(または、参照視点)の参照デプスピクチャ上のデプスブロック53情報を利用して、参照テクスチャピクチャ上の現在ブロック51aに係わる参照ブロックを決定することができる。参照ブロックとは、現在ブロック51aに含まれた少なくとも1つのサブブロックに係わる参照ピクチャ上のブロックと定義される。さらには、サブブロックは、現在ブロック51aから分割されたブロックであり、それぞれのサブブロックは、少なくとも1つのサンプルを含んでもよい。以下では、説明上の便宜のために、サブブロックは、複数個のサンプルを含む特定サイズのブロックであるということを前提に説明する。
図5を参照すれば、映像復号装置20の制御部21は、現在ブロック51aの変移ベクトル52aが示す参照デプスピクチャ上のデプスブロック53を決定することができ、デプスブロック53に係わるデプス値(depth value)に基づいて、現在ブロック51aのサブブロック51c,51dから、参照テクスチャピクチャ上のブロックを示す変移ベクトルを決定することができる。すなわち、制御部21は、現在ブロック51aの変移ベクトル52aに係わる情報を、代表変移ベクトルとして周辺ブロック51bから獲得し、獲得された変移ベクトル52aに基づいて決定される参照デプスピクチャ上のデプスブロック53のデプス値に基づいて、サブブロック51c,51dそれぞれの変移ベクトルを決定することができる。
一実施形態によって、参照デプスピクチャと参照テクスチャピクチャはb同一視点(またはbレイヤ)に含まれたピクチャでもある。サブブロック51a,51bそれぞれの変移ベクトルを、デプスブロック53のデプス値に基づいて決定する方法は、多様なものがある。例えば、現在ブロック51aに係わる現在視点(または、レイヤ)と、参照デプスブロック53に係わる参照視点(または、レイヤ)との幾何学的関係(例えば、2つの視点に係わる映像撮影装置間の距離、焦点長など)に基づいて決定される。かような決定過程は、当業者として実施することができる多様な方法に基づいて遂行されるものであるので、詳細な説明は省略する。
一実施形態によって、サブブロックの大きさを決定するために、現在ブロックのサブブロックへの分割(sub-block partitioning)に係わる情報に基づいて、それぞれのサブブロックを決定することができる。例えば、サブブロックへの分割に係わる情報が1を示せば、サブブロックは、1つのサンプルを含むものであると決定され、2を示せば、サブブロックは、複数個のサンプルを含む特定サイズのブロックと決定される。
一実施形態によって、映像復号装置20の制御部21は、現在ブロック51aに含まれたサブブロック51c,51dそれぞれの変移ベクトルに基づいて、参照テクスチャピクチャ上の参照ブロック52c,52dを決定することができる。すなわち、制御部21は、サブブロック51c,51dそれぞれの変移ベクトルを利用して、バックワードワーピング(backward warping)を行うことによって、参照テクスチャピクチャに含まれた参照ブロックを決定することができる。映像復号装置20は、参照ブロックを利用して、現在ブロックに係わる予測値を生成し、これを利用して予測復号を行うことができる。すなわち、映像復号装置20の制御部21は、サブブロック(例えば、51c及び51d)ごとに決定された参照ブロック(例えば、52c及び52d)を合成することによって、現在ブロック51aに係わる予測を行うことができる。
一実施形態によって、映像復号装置20の制御部21は、決定された予測単位に係わる併合候補リストを生成することができる。制御部21は、映像を予測するための方法として、予測モードを決定することができる。予測モードとは、符号化単位に含まれたサンプルを予測するための方法に係わるのであり、かような予測モードには、多様な予測方法が含まれてもよい。例えば、互いに異なる画面上のピクチャを参照して予測を行うインター(inter)予測またはインターレイヤ(inter-layer)予測が利用される。
一実施形態による映像復号装置20は、スケーラブル符号化方式によって、レイヤ別にビットストリームを受信することができる。映像復号装置20が受信するビットストリームのレイヤの個数が限定されるのではない。しかし、説明の便宜のために以下映像復号装置20が第1レイヤストリームを受信して復号し、また第2レイヤストリームを受信して復号する実施形態について述べる。
映像復号装置20は、第1レイヤストリーム及び第2レイヤストリームから、第1レイヤ映像及び第2レイヤ映像の符号化されたデータを獲得し、さらには、インター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
例えば、映像復号装置20は、各レイヤ別にインター予測されたデータを復号し、多数レイヤ間で、インターレイヤ予測されたデータを復号することができる。符号化単位または予測単位を基に、動き補償(motion compensation)及びインターレイヤ復号を介した復元も行われる。
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことによって、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
また、映像復号装置20は、インターレイヤ予測を介して予測された第2レイヤ映像を復号するために、第1レイヤ映像の予測情報を参照し、インターレイヤ復号を行うこともできる。インターレイヤ復号は、現在映像の予測情報を決定するために、他のレイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を含む。
映像復号装置20は、ビデオのそれぞれの映像のブロック別に復号する。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
映像復号装置20は、パージングされた第1レイヤ映像の符号化シンボルを利用して、第1レイヤ映像を復号することができる。映像復号装置20がツリー構造の符号化単位を基に符号化されたストリームを受信するならば、第1レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号を行うことができる。
映像復号装置20は、最大符号化単位ごとにエントロピー復号を行い、復号情報と、復号されたデータとを獲得することができる。映像復号装置20は、ビットストリームから獲得した符号化されたデータに対して、逆量子化、逆変換を行い、レジデュアル成分を復元することができる。他の実施形態による映像復号装置20は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った結果、映像のレジデュアル成分が復元される。
映像復号装置20は、同一レイヤ映像間で、動き補償を介して、予測映像とレジデュアル成分とを結合し、第1レイヤ映像を復元することができる。
映像復号装置20は、インターレイヤ予測構造によれば、第1レイヤ復元映像のサンプルを利用し、第2レイヤ予測映像を生成することができる。映像復号装置20は、第2レイヤストリームを復号し、インターレイヤ予測による予測誤差を獲得することができる。映像復号装置20は、第2レイヤ予測映像に予測誤差を結合することにより、第2レイヤ復元映像を生成することができる。
映像復号装置20は、復号された第1レイヤ復元映像を利用して、第2レイヤ予測映像を決定することができる。映像復号装置20は、インターレイヤ予測構造によって、第2レイヤ映像の符号化単位または予測単位のようなブロック別に、インター予測を行うことができる。すなわち、第2レイヤ映像のブロックが参照する第1レイヤ映像のブロックを決定することができる。例えば、第2レイヤ映像において、現在ブロックの位置に相応して位置する第1レイヤ映像の復元ブロックが決定される。映像復号装置20は、第2レイヤブロックに相応する第1レイヤ復元ブロックを利用して、第2レイヤ予測ブロックを決定することができる。
一方、予測単位別に伝送される動き情報に係わるデータ量を減らすために、映像符号化装置25は、空間的(spatial)/時間的(temporal)相関度に基づいて、現在ブロックの周辺ブロック、またはインターレイヤ方向への現在ブロックの参照ブロックに存在する動き情報を、現在ブロックの動き情報として設定する併合(merge)モードを利用することができる。
併合候補リストは、空間的周辺ブロックの動き情報を基にした空間的候補(spatial candidate)、時間的周辺ブロックの動き情報を基にした時間的候補(temporal candidate)、インターレイヤ候補(inter-layer candidate)を含んでもよい。
インターレイヤ候補は、インターレイヤ方向の参照ブロックに存在する動き情報を基にする時間的インターレイヤ候補(temporal inter layer candidate)、及びインターレイヤ方向の参照ブロックを示すディスパリティベクトル情報を基にした視差インターレイヤ候補(disparity inter layer candidate)を含んでもよい。従って、動きパラメータ相続候補、インター視点候補、変移候補及びビュー合成予測候補は、動き情報あるいはディスパリティベクトル情報の利用いかんによって、時間的インターレイヤ候補または視差インターレイヤ候補に該当する。
映像復号装置20は、所定の順序によって、空間的候補、時間的候補、時間的インターレイヤ候補、視差インターレイヤ候補のうち少なくとも一つを、併合候補リスト(merge candidate list)に含めることができる。一実施形態による映像復号装置20は、現在ブロックの予測方法に基づいて、一部併合候補を除き、併合候補リストを生成することによって、復号効率を向上させることができる。
図6Aは、一実施形態によって、併合候補リストが生成される過程を図示したものである。
映像復号装置20の制御部21は、併合候補リスト生成のために、それぞれの併合候補に対する利用可能性いかんを判断することができる。併合候補を利用することができると判断される場合、制御部21は、当該併合候補を現在予測単位に係わる併合候補リストに含めることができる。
図6Aを参照すれば、一実施形態によって、制御部21は、空間的併合候補を利用することができるか否かということを判断することができる(61a)。具体的には、制御部21は、空間的併合候補それぞれに対して、利用可能性いかんを判断することができる。例えば、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagA1の値が0ではない場合、制御部21は、左側に隣接する空間的併合候補を利用することができると決定することができる。空間的併合候補に係わる内容は、図4Cに係わって詳述したので、詳細な説明は省略する。制御部21は、現在予測単位での空間的併合候補を利用することができると決定した場合、当該空間的予測候補を併合候補リストに追加する過程(61b)を遂行することができる。図6Aを参照すれば、制御部21は、availableFlagA1が0ではない場合、併合候補リストを示すextMergeCandListに空間的併合候補A1を追加することができる。
一実施形態によって、映像復号装置20の制御部21は、ビュー合成予測併合候補(view synthesis prediction merging candidate)を利用することができるか否かということを判断することができる。具体的には、制御部21は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPの値が0ではない場合、制御部21は、現在予測単位でのビュー合成予測併合候補を利用することができると決定することができる。現在予測単位において、ビュー合成予測併合候補を利用することができると決定された場合、制御部21は、ビュー合成予測併合候補を併合候補リストに追加する過程(62d)を遂行することができる。図6Aを参照すれば、制御部21は、availableFlagVSPが0ではない場合、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができる。制御部21は、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することができる。具体的には、映像復号装置20は、現在予測単位が符号化される過程で使用された予測モードに係わる情報またはインデックス(index)を含むビットストリームを獲得し、現在予測単位に係わる併合候補リスト、及び当該情報またはインデックスに基づいて、現在予測単位に係わる予測モードを決定することができる。
一実施形態によって、映像復号装置20の制御部21は、ビュー合成予測併合候補を利用することができるか否かということ、及び現在予測単位の左側に隣接する空間的併合候補A1に該当するブロックが、ビュー合成予測を行って復元されたものであるか否かということを判断することができる。具体的には、制御部21は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPの値が0ではないか否かということを決定することができる(62a)。さらには、制御部21は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを決定することができ(62b)、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを決定することができる(62c)。
図6Aを参照すれば、制御部21は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagA1が0であるか否かということを決定し(62b)、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを示すVspMcFlag[xPb−1][yPb+nPbH−1]値が0であるか否かということを決定することができる(62c)。ここで、xPb及びyPbは、現在予測単位のピクチャ上の位置を示し、nPbHは、現在予測単位の高さを示すものであると定義される。VspMcFlag[xPb−1][yPb+nPbH−1]が0である場合、制御部21は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されていないと決定することができ、VspMcFlag[xPb−1][yPb+nPbH−1]が0ではない場合、制御部21は、現在予測単位の左側に隣接する空間的併合候補がビュー合成予測によって復元されたと決定することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補が利用され、当該空間的併合候補がビュー合成予測によって復元されたものではなく、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない場合、制御部21は、併合候補リストにビュー合成予測併合候補を示すVSPを追加することができる。
一実施形態によって、たとえ現在予測単位の左側に隣接する空間的併合候補が利用されるにしても、当該空間的併合候補がビュー合成予測によって復元されていない場合であるとしても、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではないならば、制御部21は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない値を示す場合であるとしても、制御部21は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができない。すなわち、現在予測単位において、ビュー合成予測併合候補を利用することができると決定される場合でも、現在予測単位の左側に存在する空間的併合候補がビュー合成予測によって復元されているならば、現在予測単位に係わる併合候補リストには、ビュー合成予測併合候補が追加されない。
一実施形態によって、映像復号装置20の制御部21は、空間的併合候補のうち一部に対する併合候補リスト追加過程中、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。例えば、制御部21は、図6Aのように、空間的併合候補のうち、現在予測単位の左側に隣接するA1、及び現在予測単位の上端に隣接するB1を併合候補リストに追加する過程後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。それにより、ビュー合成予測併合候補を併合候補リストに追加するための条件として、現在予測単位の左側に隣接する空間的併合候補の利用いかん、及び現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたものであるか否かということが判断される。
S312段階において、映像復号装置20の制御部21は、一実施形態によって、S311段階において生成された併合候補リストに基づいて、現在予測単位において遂行する予測モードを決定することができる。
図6Bは、一実施形態によって、現在予測単位の周辺ブロックが、ビュー合成予測を利用したか否かということによって、現在予測単位に係わる予測モードを決定する過程を図示する。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補が、ビュー合成予測によって復元された場合には、制御部21は、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない値を示す場合であるとしても、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができない。従って、その場合には、現在予測単位に係わる併合候補リスト上に、ビュー合成予測併合候補が追加されない。しかし、一実施形態によって、現在予測単位において、ビュー合成予測併合候補を利用することができ、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合であるならば、制御部21は、併合候補リスト上にビュー合成予測併合候補がないとしても、現在予測単位の予測モードをビュー合成予測で決定することができる。
図6Bを参照すれば、現在予測単位において利用する併合候補に係わる情報であるNが、A1を示す現在予測単位において、空間的併合候補であるA1を利用して予測を行うと決定され(63b)、VspMcFlag[xPb−1][yPb+nPbH−1]が1を示す現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定される場合(63c)、availableFlagVSPが1を示す予測単位において、ビュー合成予測併合候補が利用可能であると決定されるならば(63a)、制御部21は、現在予測単位において、ビュー合成予測併合候補を利用して予測を行うと決定することができる(63d)。すなわち、現在予測単位に対して、空間的併合候補A1がビュー合成予測を介して復元されたと判断されるならば、制御部21は、現在予測単位についても、ビュー合成予測を行うように決定することができる。他の空間的併合候補であるA0、B0、B1、B2についてまでも、ビュー合成予測によって復元されたか否かということを判断せず、まず第一に、併合候補リストに追加されたA1に対して、ビュー合成予測を介した復元いかんを確認し、その結果、A1がビュー合成予測によって復元されたならば、現在予測単位も、ビュー合成予測で符号化されている可能性が高いために、制御部21は、予測モードをビュー合成予測で遂行するように決定することができる。それによって、映像復号装置20での演算の簡素化を介した映像復号の効率性が上昇する。
一実施形態によって、映像復号装置20のビットストリーム獲得部(図示せず)は、現在予測単位が符号化される過程で使用された予測モードに係わる情報を含むビットストリームを獲得することができる。現在予測単位がいかなる方式で符号化されているかということは、併合候補によって決定され、従って、映像復号装置20は、現在予測単位の予測に係わる併合候補に係わる情報をビットストリームから獲得し、当該情報に基づいて、併合候補リスト上の併合候補を決定し、決定された併合候補による予測モードを決定することができる。現在予測単位において遂行された予測モードは、映像符号化装置25において、併合候補の率・歪曲コスト(rate-distortion cost)に基づいて、併合候補リスト上の併合候補のうち一つに決定されたものでもある。
一実施形態によって、映像復号装置20の制御部21は、隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、制御部21は、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成するのではない、空間的併合候補を併合候補リストに含める過程に、追加してビュー合成予測併合候補を併合候補リスト含めることができる。一実施形態によって、ビュー合成予測併合候補は、空間的併合候補のうち、現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補が、併合候補リストに追加された後で追加される。
S313段階において、映像復号装置20の制御部21は、S312段階において決定された予測モードによって予測を行うことができる。予測を行うことによって映像を復元する過程は、前述の多様な実施形態を介して説明され、以下で説明する映像復元過程で説明されるので、詳細な説明は省略する。
図2Bは、一実施形態による映像符号化装置25のブロック図を図示する。図2Bでの映像符号化装置25は、図1Aの多視点ビデオ符号化装置12に対応するものでもある。一実施形態によって、映像符号化装置25は、制御部26を含んでもよい。制御部26は、映像を復号するために、映像を複数個の符号化単位に分割することができる。符号化単位を決定するために、制御部26は、まず符号化単位の最大サイズを決定することができる。制御部26は、決定された最大符号化単位の大きさによって、映像を最大符号化単位に分割した後、それぞれの最大符号化単位を階層的に分割し、符号化単位を決定することができる。一実施形態によって、符号化単位の最大サイズに係わる情報を含むビットストリームを、ビットストリーム生成部(図示せず)で生成することができ、制御部26は、前記最大サイズに係わる情報に基づいて、符号化単位の最大サイズを決定することができる。
一実施形態によって、映像符号化装置25の制御部26は、一実施形態によって、符号化単位において、少なくとも1つの予測単位を決定することができる。該過程は、映像復号装置20が、図3のS310段階において、少なくとも1つの予測単位を決定する過程に対応する過程でもある。符号化単位において、少なくとも1つの予測単位を決定する具体的な方法は、以下で具体的に説明する。
制御部26は、入力された多視点のテクスチャ映像及びデプス映像を予測符号化する。制御部26は、多視点映像で重複する情報を低減させるために、予測を使用する。具体的には、イントラ予測部(図示せず)は、現在ブロックの周辺の復元されたサンプルを参照し、現在ブロックを予測する。インター予測部(図示せず)は、現在ブロックに係わる予測値を、以前に符号化/復号されたピクチャから生成するインター予測を行う。予測モード決定部(図示せず)は、多様なイントラ予測モード、インター予測モードによって符号化された結果値のコストを比較し、現在ブロックに係わる最適の予測モードを決定し、決定された予測モード情報を出力する。かようなイントラ予測部(図示せず)、インター予測部(図示せず)及び予測モード決定部(図示せず)の動作は、制御部26で遂行される。
インター予測時、参照ピクチャから最適の予測ブロックを探す過程を、動き予測(motion estimation)と呼ぶ。さらに精密な動き推定のために、ビデオコーデックの種類によって、復元ピクチャを補間(interpolation)した後、補間された映像について、副画素単位で動き推定を行うことができる。動き補償(motion compensation)とは、動き推定過程で求めた最適の予測ブロックに係わる動き情報(モーションベクトル、参照ピクチャインデックス)を基に、予測ブロックを生成することを意味する。制御部26は、動き推定過程を介して、参照ピクチャから最適の予測ブロックを探し、動き補償過程を介して、予測ブロックを生成することができる。
制御部26は、イントラ予測またはインター予測を介して、現在ブロックに係わる予測ブロックを生成し、予測ブロックと原本ブロックとの差値であるレジデュアル信号を変換、量子化、エントロピー符号化する。
映像符号化装置25は、予測符号化された多視点ビデオに係わるデータを含むビットストリームを生成することができる。一実施形態によって、映像符号化装置25のビットストリーム生成部(図示せず)は、多視点ビデオに係わるデータであり、NAL単位で多重化して生成されたデータパケットを含むビットストリームを生成することができる。
映像符号化装置25は、イントラ予測された映像データ符号化のために、現在ブロックの予測モードに係わる情報、イントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードを特定するための情報、現在ブロックと予測ブロックとの差値であるレジデュアル信号を含むビットストリームを生成することができる。例えば、HEVCに基づいてイントラ予測された現在ブロックに係わる情報として、DCモード、プレーナモード、33個の方向を有する方向モードの総35個のイントラ予測モードのうち、現在ブロックに適用されたイントラ予測モードに係わる情報を含むビットストリームを生成することができる。
インター予測された映像データを伝送するために、現在ブロックの予測モードに係わる情報、リスト0(list 0)、リスト1(list 1)のような参照ピクチャリストに係わる情報、参照ピクチャリスト内に含まれた参照ピクチャのうち、現在ブロックのインター予測時に利用された参照ピクチャを示すインデックス情報(ref idx)、現在ブロックの動きベクトルに係わる情報がビットストリームに含まれてもよい。また、インター予測またはイントラ予測される現在ブロックは、予測単位(PU:prediction unit)でもある。具体的な符号化/復号方式は、図20ないし図26を参照して後述する。
インター予測時に伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関度を利用する併合(merge)モード、AMVP(advanced motion vector prediction)モードが利用される。併合モード及びAMVPモードは、いずれもインター予測の特殊な場合であり、併合モード及びAMVPモードでは、すでに復元されたものであり、現在ブロックと時間的、空間的に係わる以前ブロックを利用して、動き情報を誘導するための以前ブロックのリストが生成され、映像符号化装置25は、リスト内の以前ブロックの選択情報を獲得することができる。併合モード及びAMVPモードにおいて、映像符号化装置25は、同一過程で動き情報を持ち込むための以前ブロックの候補リストを獲得する。スキップ(skip)モードにおいて、レジデュアル信号の伝送なしに、併合候補リスト内の以前ブロック選択情報だけが伝送される。すなわち、スキップモードは、併合候補リストのうち、動き情報を持ち込むインデックス(merge index)情報だけがビットストリームに含まれて伝送され、併合モードの場合、インデックス情報以外に、レジデュアル信号がビットストリームに含まれて伝送される。
前述のように、多視点映像は、複数個の視点で入力されたテクスチャ映像及びデプス映像を含む。1視点を介して入力されるテクスチャ映像及びデプス映像がそれぞれ1つのレイヤ映像を構成すると仮定する。例えば、三次元ビデオの場合、左視点のテクスチャ映像、右視点のテクスチャ映像、左視点のデプス映像、及び右視点のデプス映像がそれぞれ1つのレイヤ映像に構成される。また、三次元ビデオにおいて、デプス映像として1つのデプス映像だけが利用され、左視点と右視点との視点差によるカメラパラメータ情報から、左視点及び右視点それぞれのデプス映像が生成される。かような場合、左視点のテクスチャ映像、右視点のテクスチャ映像、及び1つのデプス映像それぞれが1つのレイヤ映像を構成し、三次元ビデオは、総3個のレイヤ映像に構成される。多様な類型の参照過程を介した多視点映像の予測遂行については、前記映像復号装置20に係わって説明した予測モードに係わる内容に係わって詳述し、映像符号化装置25においても、やはり映像復号装置20での動作に対応する方式で予測遂行が可能であるので、詳細な説明は省略する。
映像符号化装置25の制御部26は、一実施形態によって、少なくとも1つの予測単位に含まれる現在予測単位に係わる併合候補リストを生成することができる。かような過程は、映像復号装置20が、図3のS311段階において遂行した併合候補リスト生成過程に対応するものでもある。制御部26は、併合モードで利用される併合候補として、少なくとも一つを利用することができる。映像符号化装置25が利用することができる併合候補に係わる内容は、映像復号装置20に係わって説明した内容に対応するので、詳細な説明は省略する。
図4Aないし図4Dでは、現在ブロックに係わる変移ベクトルを獲得する過程について説明する。ただし、以後に説明する変移ベクトル獲得過程は、一実施形態に過ぎないので、本発明を具現するためには、現在ブロックに係わる変移ベクトルを獲得するための多様な方法が利用される。
図4Aは、一実施形態によって、現在ブロックに係わる周辺ブロックから変移ベクトルが獲得される過程について説明するための図面である。図4Aを参照すれば、映像符号化装置25の制御部26は、現在ブロックと空間的及び時間的に関連した周辺ブロック(neighboring block)から、現在ブロックの変移ベクトルを獲得することができる。ここで、現在ブロックは、符号化単位(CU:coding unit)または予測単位(PU:prediction unit)でもある。空間的に関連した周辺ブロックとして、現在ブロックの左下側に位置したA1ブロック、及び右上側に位置したB1ブロックから変移ベクトルが獲得される。変移ベクトルを獲得するために、A1ブロック及びB1ブロックの順序で変移ベクトルを有するか否かということがチェックされ、A1ブロック及びB1ブロックにおいて、変移ベクトルを有する場合、当該変移ベクトルを利用して、現在ブロックの変移ベクトルが獲得される。現在ブロックの変移ベクトルを獲得する過程に係わる説明は、映像復号装置20に係わって詳述した内容に対応するので、詳細な説明は省略する。
図4Bは、一実施形態によって、動き補償予測された隣接ブロックから、変移ベクトルが獲得される過程を図示する。図4Bを参照すれば、現在ブロックに係わる隣接ブロック41が、動き補償予測を介して予測されたブロックであり、他視点の参照ブロック42を示すインター視点動き予測を介して、隣接ブロック41の動きベクトルが予測された場合、隣接ブロック41のインター視点動き予測に利用された変移ベクトルは、現在視点ピクチャとインター視点参照ピクチャとの動き対応関係を示す。従って、隣接ブロック41のインター視点動き予測を介して予測された動きベクトルを利用して、現在ブロックの変移ベクトルを決定することができる。
図4Cは、一実施形態による併合候補リストに含まれる空間的候補を示す。図4Cを参照すれば、映像符号化装置25は、現在ブロック44の予測情報を決定するために参照する候補ブロックは、現在ブロック44に空間的に隣接する予測単位でもある。このとき、現在ブロックは、予測単位でもある。例えば、現在ブロック44の左側下端サンプルの左側下端外部に位置する予測単位A0 45a、現在ブロック44の左側下端サンプルの左側外部に位置する予測単位A1 45b、現在ブロック44の右側上端サンプルの右側上端外部に位置する予測単位B0 46a、現在ブロック44の右側上端サンプルの上端外部に隣接する予測単位B1 46b、現在ブロック44の左側上端サンプルの左側上端外部に位置する予測単位B2 47が候補ブロックにもなる。候補ブロックにもなるブロックを決定するために、予測単位A1 45b、B1 46b、B0 46a、A0 45a、B2 47の順序で、所定位置の予測単位3200,3300,3400,3500,3600が探索される。
例えば、予測単位A1 45b、B1 46b、B0 46a、A0 45a、B2 47のうち4個の予測単位が空間的候補ブロックに選択される。すなわち、4個の空間的候補ブロックが、インター予測のための候補リストに含まれてもよい。
映像符号化装置25は、ブロックA1 45b,B1 46b,B0 46a,A0 45a,B2 47のうち動き情報を有するブロック、すなわち、インター予測されたブロックのみをインター予測のための予測候補に含め、動き情報を有さないブロックは、予測候補から除くことができる。また、映像符号化装置25は、重複する動き情報を有するブロックは、インター予測のための予測候補から除くことができる。
空間的予測候補に含まれてもよい周辺ブロックの位置及び個数は、前記例に限定されることなく、変更されてもよい。
図4Dは、一実施形態による併合候補リストに含まれる時間的候補を示す。
時間的併合(merge)候補のための参照ピクチャの方向及び参照ピクチャインデックスが、スライスヘッダを介して、映像復号装置20に伝送される。図4Dは、現在予測単位(PU)の時間的併合(merge)候補の選択位置を示す。同一位置の予測単位は、選択された参照ピクチャにおいて、現在予測単位と同一位置に存在する予測単位(PU)を意味する。時間的併合(merge)候補は、同一位置のPUの右側下端ブロック(H)を先に探索し、右側下端ブロック(H)の動き情報が存在しないのであるならば、同一位置の予測単位(PU)中央(C3)のピクセルを含むブロックを探索する。
図4Eは、一実施形態による併合モードで利用されるインター視点(inter-view)候補を示す。図4Eを参照すれば、映像符号化装置25の制御部26は、第2レイヤ現在ピクチャ48aに含まれた現在ブロック49aのインター予測のために、現在ブロック49a位置において、ディスパリティベクトル(DV)が示す第1レイヤ参照ブロック49bが、動き情報(mvref)を有するか否かということを判断する。すなわち、参照ピクチャ48bに含まれた第1レイヤ参照ブロック49bが、インターモードまたはスキップモードで決定されたか否かということが判断される。ここで、ディスパリティベクトルが示す参照位置は、現在ブロック49aの中心ピクセルを基準にすることもでき、あるいは現在ブロック49aの左側上端ピクセルを基準にすることもできる。
映像符号化装置25の制御部26は、第1レイヤ参照ブロック49bが動き情報を有していれば、参照ブロック49bをインター視点併合候補に決定し、参照ブロック53の動き情報を、インター予測のための併合候補リストに追加することができる。一方、インター視点候補決定に利用されるブロックは、符号化単位または予測単位でもある。
図5は、本発明の他の実施形態によるビュー合成予測を利用して、映像を符号化する方法について説明するための図面である。
一実施形態によって、映像符号化装置25は、現在ブロックの変移ベクトルに係わる情報を有していないので、現在ブロックの周辺ブロックの変移ベクトルを誘導する。ここで、現在ブロックとは、予測単位(prediction unit)を含むものであると定義される。例えば、現在ブロック51aの周辺ブロック51bは、現在ブロック51aより先に復元されたブロックに該当し、周辺ブロック51bに係わる変移ベクトル52bの情報が復元された状態でもある。すなわち、制御部26は、現在ブロック51aに係わる変移ベクトル51bを誘導するために、周辺ブロック51bの変移ベクトル52bに係わる情報を獲得することができる。それに係わる詳細な内容は、映像復号装置20の動作に係わって詳述し、当業者は、それに対応する動作を介して、容易に映像符号化装置25で符号化のための予測動作を遂行させることができるので、詳細な説明は省略する。
図6Aは、一実施形態によって、併合候補リストが生成される過程を図示したものである。映像符号化装置25の制御部26は、併合候補リスト生成のために、それぞれの併合候補に対して利用可能性いかんを判断することができる。併合候補を利用することができると判断される場合、制御部26は、当該併合候補を、現在予測単位に係わる併合候補リストに含めることができる。
図6Aを参照すれば、一実施形態によって、制御部26は、空間的併合候補を利用することができるか否かということを判断することができる(61a)。具体的には、制御部26は、空間的併合候補それぞれに対して、利用可能性いかんを判断することができる。例えば、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagA1の値が0ではない場合、制御部26は、左側に隣接する空間的併合候補を利用することができると決定することができる。空間的併合候補に係わる内容は、図4Cに係わって詳述したので、詳細な説明は省略する。制御部26は、現在予測単位での空間的併合候補を利用することができると決定した場合、当該空間的予測候補を併合候補リストに追加する過程(61b)を遂行することができる。図6Aを参照すれば、制御部26は、availableFlagA1が0ではない場合、併合候補リストを示すextMergeCandListに、空間的併合候補A1を追加することができる。
一実施形態によって、映像符号化装置25の制御部26は、ビュー合成予測併合候補(view synthesis prediction merging candidate)を利用することができるか否かということを判断することができる。具体的には、制御部26は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPの値が0ではない場合、制御部26は、現在予測単位でのビュー合成予測併合候補を利用することができると決定することができる。現在予測単位において、ビュー合成予測併合候補を利用することができると決定された場合、制御部26は、ビュー合成予測併合候補を、併合候補リストに追加する過程(62d)を遂行することができる。図6Aを参照すれば、制御部26は、availableFlagVSPが0ではない場合、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができる。
一実施形態によって、映像符号化装置25の制御部26は、ビュー合成予測併合候補を利用することができるか否かということ、及び現在予測単位の左側に隣接する空間的併合候補A1に該当するブロックが、ビュー合成予測を遂行して復元されたものであるか否かということを判断することができる。具体的には、制御部26は、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPの値が0ではないか否かということを決定することができる(62a)。さらには、制御部26は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを決定することができ(62b)、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを決定することができる(62c)。
図6Aを参照すれば、制御部26は、現在予測単位の左側に隣接する空間的併合候補の利用可能いかんを示すavailableFlagA1が0であるか否かということを決定し(62b)、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたか否かということを示すVspMcFlag[xPb−1][yPb+nPbH−1]値が0であるか否かということを決定することができる(62c)。ここで、xPb及びyPbは、現在予測単位のピクチャ上の位置を示し、nPbHは、現在予測単位の高さを示すものであると定義される。VspMcFlag[xPb−1][yPb+nPbH−1]が0である場合、制御部26は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されていないと決定することができ、VspMcFlag[xPb−1][yPb+nPbH−1]が0ではない場合、制御部26は、現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補が利用され、当該空間的併合候補がビュー合成予測によって復元されたものではなく、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない場合、制御部26は、併合候補リストに、ビュー合成予測併合候補を示すVSPを追加することができる。制御部26は、ビュー合成予測併合候補を含む併合候補リストに基づいて、予測モードを決定することができる。一実施形態よって、映像符号化装置25は、現在予測単位が符号化される過程で使用された予測モードに係わる情報またはインデックスを含むビットストリームを生成し、映像復号装置20に伝達することができる。
一実施形態によって、たとえ現在予測単位の左側に隣接する空間的併合候補が利用されるにしても、当該空間的併合候補が、ビュー合成予測によって復元されていない場合であるしても、現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではないならば、制御部26は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができる。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない値を示す場合であすとしても、制御部26は、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができない。すなわち、現在予測単位において、ビュー合成予測併合候補を利用することができると決定される場合でも、現在予測単位の左側に存在する空間的併合候補が、ビュー合成予測によって復元されたならば、現在予測単位に係わる併合候補リストには、ビュー合成予測併合候補が追加されない。
一実施形態によって、映像符号化装置25の制御部26は、空間的併合候補のうち一部に対する併合候補リスト追加過程中、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。例えば、制御部26は、図6Aのように、空間的併合候補のうち、現在予測単位の左側に隣接するA1、及び現在予測単位の上端に隣接するB1を併合候補リストに追加する過程後、ビュー合成予測併合候補を併合候補リストに追加する過程を遂行することができる。それによって、ビュー合成予測併合候補を併合候補リストに追加するための条件として、現在予測単位の左側に隣接する空間的併合候補の利用いかん、及び現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたものであるか否かということが判断される。
映像符号化装置25の制御部26は、一実施形態によって、生成された併合候補リストに基づいて、現在予測単位において遂行する予測モードを決定することができる。かような過程は、映像復号装置20が、S312段階において遂行した予測モード決定過程に対応する過程でもある。
図6Bは、一実施形態によって、現在予測単位の周辺ブロックが、ビュー合成予測を利用したか否かということによって、現在予測単位に係わる予測モードを決定する過程を図示する。
一実施形態によって、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補が、ビュー合成予測によって復元された場合には、制御部26は、たとえ現在予測単位において、ビュー合成予測併合候補を利用することができるか否かということを示すavailableFlagVSPが0ではない値を示す場合でも、併合候補リストを示すextMergeCandListに、ビュー合成予測併合候補を示すVSPを追加することができない。従って、その場合には、現在予測単位に係わる併合候補リスト上に、ビュー合成予測併合候補が追加されない。しかし、一実施形態によって、現在予測単位において、ビュー合成予測併合候補を利用することができ、現在予測単位の左側に隣接する空間的併合候補を利用することができ、当該空間的併合候補がビュー合成予測によって復元された場合であるならば、制御部26は、併合候補リスト上に、ビュー合成予測併合候補がないとしても、現在予測単位の予測モードをビュー合成予測で決定することができる。
図6Bを参照すれば、現在予測単位において利用する併合候補に係わる情報であるNがA1を示す現在予測単位において、空間的併合候補であるA1を利用して予測を行うと決定され(63b)、VspMcFlag[xPb−1][yPb+nPbH−1]が1を示す現在予測単位の左側に隣接する空間的併合候補が、ビュー合成予測によって復元されたと決定される場合(63c)、availableFlagVSPが1を示す予測単位において、ビュー合成予測併合候補が利用可能であると決定されるならば(63a)、制御部26は、現在予測単位において、ビュー合成予測併合候補を利用して予測を行うと決定することができる(63d)。すなわち、現在予測単位に対して、空間的併合候補A1がビュー合成予測を介して復元されたと判断されたならば、制御部26は、現在予測単位についても、ビュー合成予測を行うように決定することができる。他の空間的併合候補であるA0、B0、B1、B2についてまでビュー合成予測に復元されたか否かということを判断せず、まず第一に、併合候補リストに追加されたA1に対して、ビュー合成予測を介した復元いかんを確認し、その結果、A1がビュー合成予測によって復元されたならば、現在予測単位も、ビュー合成予測で符号化されている可能性が高いために、制御部26は、予測モードをビュー合成予測に決定することができる。それによって、映像符号化装置25での演算簡素化を介した映像符号化の効率性が上昇する。
一実施形態によって、映像符号化装置25としては、現在予測単位において、併合候補リスト上の併合候補のうち、いかなる候補を利用するのが効率的であるかということを、併合候補の率・歪曲コスト(rate-distortion cost)に基づいて決定することができる。一実施形態によって、映像符号化装置25のビットストリーム生成部(図示せず)は、併合候補リストのうち決定された併合候補に係わる情報を含むビットストリームを生成することができる。
一実施形態によって、映像符号化装置25の制御部26は、隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、空間的併合候補のうち、現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補を併合候補リストに追加した後、前記ビュー合成予測併合候補を、併合候補リストに追加する過程を遂行することができる。隣接予測単位が、空間的併合候補として利用されないか、あるいは前記隣接予測単位が、ビュー合成予測併合候補を利用せずに符号化されている場合、制御部26は、隣接予測単位に係わる空間的併合候補の代わりに、ビュー合成予測併合候補を含む併合候補リストを生成するものではない、空間的併合候補を併合候補リストに含める過程に追加し、ビュー合成予測併合候補を併合候補リスト含めることができる。一実施形態によって、ビュー合成予測併合候補は、空間的併合候補のうち、現在予測単位の左側に隣接する第1空間的併合候補、及び現在予測単位の上端に隣接する第2空間的併合候補が併合候補リストに追加された後で追加される。
映像符号化装置25の制御部26は、決定された予測モードによって予測を行うことができる。かような過程は、映像復号装置20が、S313段階において、予測を行う過程に対応する過程と見ることができる。予測を行うことによって映像を符号化する過程は、前述の多様な実施形態を介して説明され、以下で説明する映像符号化過程において説明するので、詳細な説明は省略する。
図7は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図を図示する。図7のビデオ符号化装置100は、図2Bの映像符号化装置25に対応するものでもある。また、図7の最大符号化単位分割部110及び符号化単位決定部120で遂行する動作は、図2Bの制御部26で遂行され、図7の出力部130で遂行する動作は、図2Bの映像復号装置20のビットストリーム生成部(図示せず)でも遂行される。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約して指称する。
符号化単位決定部120は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位であり、縦横サイズが2の累乗である正方形のデータ単位でもある。
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データが深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
符号化単位決定部120は、深度ごとに、最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの最終深度が決定される。
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって最終深度が異なって決定される。従って、1つの最大符号化単位に対して、最終深度が一つ以上設定され、最大符号化単位のデータは、1以上の最終深度の符号化単位によって区画される。
従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度に決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する最終深度は、他の領域に対する最終深度と独立して決定される。
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は、4に設定され、第2最大深度は、5に設定される。
最大符号化単位の予測符号化及び変換も行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用されてもよく、段階別にデータ単位が変更されてもよい。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。符号化単位が分割されたパーティションは、符号化単位及び符号化単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。該パーティションは、符号化単位が分割された形態のデータ単位及び符号化単位と同一サイズのデータ単位を含んでもよい。予測の基盤になるパーティションは、予測単位と称される。
例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N、2NxN、Nx2N、NxNなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションに対して遂行される。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ遂行される。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが2Nx2Nであるならば、変換深度0に設定され、変換単位の大きさがNxNであるならば、変換深度1に設定され、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、並びに変換単位の決定方式については、図9ないし図19を参照し、詳細に説明する。
符号化単位決定部120は、深度別符号化単位の符号化誤差を、ラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
出力部130は、符号化単位決定部120で決定された少なくとも1つの深度に基づいて符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態に出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が1以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的(recursive)符号化が行われる。
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも1つの分割情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて、深度及び分割情報が設定される。
従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。
一実施形態による最小単位は、最下位深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ別、スライス別またはGOP別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部130は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含んでもよい。
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
図8は、多様な実施形態にる、ツリー構造による符号化単位に基づいたビデオ復号装置200のブロック図を図示する。図8のビデオ復号装置200は、図1Aの映像復号装置20に対応するものでもある。また、図8の映像データ及び符号化情報抽出部220及び映像データ復号部230で遂行する動作は、図1Aの制御部21でも遂行され、図8の受信部210で遂行する動作は、図1Aの映像復号装置20に含まれる情報獲得部(図示せず)でも遂行される。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置200は、受信部210、映像データ及び符号化情報抽出部220、並びに映像データ復号部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置200は、「ビデオ復号装置200」と縮約して指称する。
一実施形態によるビデオ復号装置200の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図7及びビデオ符号化装置100を参照して説明したところと同一である。
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部230が、最大符号化単位ごとに、映像データを復号させる。
最大符号化単位別深度及び分割情報は、1以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出される。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置100のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。
一実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているのであるならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
映像データ復号部230は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号して現在ピクチャを復元する。すなわち、映像データ復号部230は、最大符号化単位に含まれる、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。該復号過程は、イントラ予測及び動き補償を含む予測過程、並びに変換過程を含んでもよい。
映像データ復号部230は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号部230は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が、現在深度において、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号部230は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位大きさ情報を利用して復号することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部230によって、同一符号化モードで復号する1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
図2Aを参照して説明した映像復号装置20は、受信された第1レイヤ映像ストリーム及び第2レイヤ映像ストリームを復号し、第1レイヤ映像及び第2レイヤ映像を復元するために、ビデオ復号装置200を視点個数ほど含んでもよい。
第1レイヤ映像ストリームが受信された場合には、ビデオ復号装置200の映像データ復号部230は、抽出部220によって、第1レイヤ映像ストリームから抽出された第1レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部230は、第1レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第1レイヤ映像を復元することができる。
第2レイヤ映像ストリームが受信された場合には、ビデオ復号装置200の映像データ復号部230は、抽出部220によって、第2レイヤ映像ストリームから抽出された第2レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部230は、第2レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第2レイヤ映像を復元することができる。
抽出部220は、第1レイヤ映像と第2レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報を、ビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ2Nx2Nの予測単位に対してのみ輝度補償が行われる。
結局、ビデオ復号装置200は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。
従って、高解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。
図9は、多様な実施形態による符号化単位の概念を図示する。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに分割され、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに分割され、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
ビデオデータ310については、解像度は、1920x1080に設定され、符号化単位の最大サイズは、64に設定され、最大深度は、2に設定されている。ビデオデータ320については、解像度は、1920x1080に設定され、符号化単位の最大サイズは、64に設定され、最大深度は、3に設定されている。ビデオデータ330については、解像度は、352x288に設定され、符号化単位の最大サイズは、16に設定され、最大深度は、1に設定されている。図9に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図10は、多様な実施形態による符号化単位に基づいた映像符号化部400のブロック図を図示する。
一実施形態による映像符号化部400は、ビデオ符号化装置100のピクチャ符号化部120において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部420は、現在映像405において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部415は、インターモードの符号化単位に対して、予測単位別に現在映像405及び復元ピクチャバッファ410で獲得された参照映像を利用して、インター予測を行う。現在映像405は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングが行われる。
イントラ予測部420またはインター予測部415から出力された各モードの符号化単位に係わる予測データを、現在映像405のエンコーディングされる符号化単位に係わるデータから差し引くことによってレジデュデータを生成し、レジデュデータは、変換部425及び量子化部430を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部445、逆変換部450を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部420またはインター予測部415から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像405の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部455及びSAO遂行部460を経て復元映像に生成される。生成された復元映像は、復元ピクチャバッファ410に保存される。復元ピクチャバッファ410に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部425及び量子化部430で量子化された変換係数は、エントロピー符号化部435を経て、ビットストリーム440として出力される。
一実施形態による映像符号化部400が、ビデオ符号化装置100に適用されるために、映像符号化部400の構成要素である、インター予測部415、イントラ予測部420、変換部425、量子化部430、エントロピー符号化部435、逆量子化部445、逆変換部450、デブロッキング部455及びSAO遂行部460が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
特に、イントラ予測部420及びインター予測部415は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部425は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。
図11は、多様な実施形態による符号化単位に基づいた映像復号部500のブロック図を図示する。
エントロピー復号部515は、ビットストリーム505から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部520及び逆変換部525は、量子化された変換係数からレジデュデータを復元する。
イントラ予測部540は、イントラモードの符号化単位に対して、予測単位別に、イントラ予測を行う。インター予測部535は、現在映像のうち、インターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ530で獲得された参照映像を利用してインター予測を行う。
イントラ予測部540またはインター予測部535を経た各モードの符号化単位に係わる予測データとレジデュデータとが加えられることにより、現在映像405の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部545及びSAO遂行部550を経て、復元映像560として出力される。また、復元ピクチャバッファ530に保存された復元映像は、参照映像として出力される。
ビデオ復号装置200のピクチャ復号部230において、映像データを復号するために、一実施形態による映像復号部500のエントロピー復号部515以後の段階別作業が遂行される。
映像復号部500が、一実施形態によるビデオ復号装置200に適用されるために、映像復号部500の構成要素である、エントロピー復号部515、逆量子化部520、逆変換部525、イントラ予測部540、インター予測部535、デブロッキング部545及びSAO遂行部550が、最大符号化単位ごとに、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて作業を遂行することができる。
特に、イントラ予測部540及びインター予測部535は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部525は、符号化単位ごとに、四分木構造による変換単位の分割いかんを決定することができる。
図10の符号化動作及び図11の復号動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号動作について説明したものである。従って、図2Bの映像符号化装置25が、2以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部400を含んでもよい。類似して、図2Aの復号装置30が、2以上のレイヤのビデオストリームを復号するならば、レイヤ別に、映像復号部500を含んでもよい。
図12は、多様な実施形態による、深度別符号化単位及びパーティションを図示する。
一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によっても多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が3である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640が存在する。サイズ8x8である深度3の符号化単位640は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つを含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、1つの深度1の符号化単位、及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の深度及びパーティションモードに選択される。
図13は、多様な実施形態による、符号化単位及び変換単位の関係を図示する。
一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号装置200において、現在符号化単位710がサイズ64x64であるとき、サイズ32x32の変換単位720を利用して変換が行われる。
また、サイズ64x64の符号化単位710のデータを、サイズ64x64以下のサイズ32x32,16x16,8x8,4x4の変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図14は、多様な実施形態による深度別符号化情報を図示する。
一実施形態によるビデオ符号化装置100の出力部130は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。
パーティションモードに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報810を介して、パーティションモードに係わる情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるということが設定される。
また、変換単位サイズに係わる情報820は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826)、第2インター変換単位サイズ828のうち一つでもある。
一実施形態によるビデオ復号装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出し、復号に利用することができる。
図15は、多様な実施形態による深度別符号化単位を図示する。
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションモード912、2N_0xN_0サイズのパーティションモード914、N_0x2N_0サイズのパーティションモード916、N_0xN_0サイズのパーティションモード918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、該パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションモードごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0のパーティションモード912,サイズ2N_0xN_0のパーティションモード914及びサイズN_0x2N_0のパーティションモード916のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
サイズN_0xN_0のパーティションモード918による符号化誤差が最小であるならば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションモードの符号化単位930に対して反復的に符号化を行い、最小符号化誤差を検索する。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションモード942、サイズ2N_1xN_1のパーティションモード944、サイズN_1x2N_1のパーティションモード946、サイズN_1xN_1のパーティションモード948を含んでもよい。
また、サイズN_1xN_1のパーティションモード948による符号化誤差が最小であるならば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960に対して反復的に符号化を行い、最小符号化誤差を検索する。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションモード992、サイズ2N_(d−1)xN_(d−1)のパーティションモード994、サイズN_(d−1)x2N_(d−1)のパーティションモード996、サイズN_(d−1)xN_(d−1)のパーティションモード998を含んでもよい。
パーティションモードにおいて、1つのサイズ2N_(d−1)x2N_(d−1)のパーティション、2つのサイズ2N_(d−1)xN_(d−1)のパーティション、2つのサイズN_(d−1)x2N_(d−1)のパーティション、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズN_(d−1)xN_(d−1)のパーティションモード998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に対する深度が深度d−1に決定され、パーティションモードは、N_(d−1)xN_(d−1)に決定される。また、最大深度がdであるので、深度d−1の符号化単位980に対して、分割情報が設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
かように、深度0,1,…,d−1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度に決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度0から深度に至るまで、符号化単位が分割されなければならないので、深度の分割情報だけが「0」に設定され、深度を除いた深度別分割情報は、「1」に設定されなければならない。
一実施形態によるビデオ復号装置200の映像データ及び符号化情報抽出部220は、符号化単位900に対する深度及び予測単位に係わる情報を抽出し、符号化単位912を復号するのに利用することができる。一実施形態によるビデオ復号装置200は、深度別分割情報を利用して、分割情報が「0」である深度を深度と把握し、当該深度に係わる分割情報を利用して、復号に利用することができる。
図16、図17及び図18は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示する。
符号化単位1010は、最大符号化単位に対して、一実施形態によるビデオ符号化装置100が決定した深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1であり、符号化単位1014,1016,1018,1028,1050,1052は、深度が2であり、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3であり、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060のうち一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションモードであり、パーティション1016,1048,1052は、Nx2Nのパーティションモードであり、パーティション1032は、NxNのパーティションモードである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
変換単位1070のうち一部変換単位1052の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060のうち当該予測単位及びパーティションと比べれば、互いに異なる大きさ、または形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態に他のビデオ復号装置200は、同一符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。該符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号装置200で設定することができる一例を示す。
一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度dの分割情報が0であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード2Nx2Nでのみ定義される。
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションモード2NxnU,2NxnD,nLx2N,nRx2Nと、を示すことができる。非対称的パーティションモード2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションモードnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。
変換単位サイズは、イントラモードで二種の大きさに設定され、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさは、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションモードが対称形パーティションモードであるならば、変換単位の大きさは、NxNに設定され、非対称形パーティションモードであるならば、N/2xN/2に設定される。
一実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を1以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されてもよい。
図19は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。
最大符号化単位1300は、深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションモード情報は、パーティションモード2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
例えば、パーティションモード情報が、対称形パーティションモード2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションモード情報が、非対称形パーティションモード2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図19を参照して説明された変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報は、1ビットのフラグに限定されるものではなく、設定によっては、0、1、2、3、…などに増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、(a−2)変換単位分割情報が1であるとき、変換単位の大きさは、16x16に設定され、(a−3)変換単位分割情報が2であるとき、変換単位の大きさは、8x8に設定される。
他の例として、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、変換単位の大きさが32x32より小さいことがないので、それ以上の変換単位分割情報が設定されない。
さらに他の例として、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が0である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の数式(1)のように定義される。
CurrMinTuSize=
max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、以下の数式(2)によって決定される。数式(2)において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、以下の数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。
図7ないし図19を参照して説明されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の実施形態は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読取り可能な記録媒体はマグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD−ROM(compact disc read only memory)、DVD(digital versatile disc)など)のような記録媒体を含む。
説明の便宜のために、先に図1Aないし図19を参照して説明された映像符号化方法及び/またはビデオ符号化方法は、「ビデオ符号化方法」とする。また、先に図1Aないし図19を参照して説明された映像復号方法及び/またはビデオ復号方法は、「ビデオ復号方法」とする
また、先に図1Aないし図19を参照して説明された映像符号化装置40、ビデオ符号化装置100または映像符号化部400で構成されたビデオ符号化装置は、「ビデオ符号化装置」とする。また、先に図1Aないし図19を参照して説明された映像復号装置20、ビデオ復号装置200または映像復号部500で構成されたビデオ復号装置は、「ビデオ復号装置」とする。
一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク26000である実施形態について、以下で詳述する。
図20は、多様な実施形態による、プログラムが保存されたディスク26000の物理的構造を例示する。記録媒体として説明されたディスク26000は、ハードドライブ、CD−ROMディスク、ブルーレイ(登録商標(Blu-ray))ディスク、DVDディスクでもある。ディスク26000は、多数の同心円トラックTrで構成され、該トラックは、円周方向に沿って所定個数のセクタSeに分割される。前述の一実施形態による、プログラムを保存するディスク26000において、特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図22を参照して後述する。
図21は、ディスク26000を利用して、プログラムを記録して判読するためのディスクドライブ26800を図示する。コンピュータシステム26700は、ディスクドライブ26800を利用して、一実施形態によるビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムを、ディスク26000に保存することができる。ディスク26000に保存されたプログラムをコンピュータシステム26700上で実行するために、ディスクドライブ26800によって、ディスク26000からプログラムが判読され、該プログラムがコンピュータシステム26700に伝送される。
図20及び図21で例示されたディスク26000だけではなく、メモリカード、ROMカセット、SSD(solid state drive)にも、一実施形態によるビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。
図22は、コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)11000の全体的構造を図示する。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局11700,11800,11900,12000が設置される。
コンテンツ供給システム11000は、多数の独立デバイスを含む。例えば、コンピュータ12100、PDA(personal digital assistant)12200、カメラ12600及び携帯電話12500のような独立デバイスが、インターネットサービス・プロバイダ11200、通信網11400及び無線基地局11700,11800,11900,12000を経て、インターネット11100に連結される。
しかし、コンテンツ供給システム11000は、図24に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されてもよい。独立デバイスは、無線基地局11700,11800,11900,12000を経ず、通信網11400に直接連結されてもよい。
ビデオカメラ12300は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話12500は、PDC(personal digital communications)方式、CDMA(code division multiple access)方式、W−CDMA(wideband code division multiple access)方式、GSM(登録商標(global system for mobile communications))方式及びPHS(personal handyphone system)方式のような多様なプロトコルのうち少なくとも1つの通信方式を採択することができる。
ビデオカメラ12300は、無線基地局11900及び通信網11400を経て、ストリーミングサーバ11300に連結される。ストリーミングサーバ11300は、ユーザが、ビデオカメラ12300を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ12300から受信されたコンテンツは、ビデオカメラ12300またはストリーミングサーバ11300によって符号化される。ビデオカメラ12300によって撮影されたビデオデータは、コンピュータ12100を経て、ストリーミングサーバ11300に伝送されてもよい。
カメラ12600によって撮影されたビデオデータも、コンピュータ12100を経て、ストリーミングサーバ11300に伝送される。カメラ12600は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ12600から受信されたビデオデータは、カメラ12600またはコンピュータ12100によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ12100がアクセスすることができるCD−ROMディスク、フロッピーディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。
また、携帯電話12500に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話12500から受信される。
該ビデオデータは、ビデオカメラ12300、携帯電話12500またはカメラ12600に搭載されたLSI(large scale integrated circuit)システムによって符号化される。
一実施形態によるコンテンツ供給システム11000において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ12300、カメラ12600、携帯電話12500、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ11300に伝送される。ストリーミングサーバ11300は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ12100、PDA 12200、ビデオカメラ12300または携帯電話12500でもある。従って、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムで復号して再生させ、個人放送(personal broadcasting)が可能にする。
コンテンツ供給システム11000に含まれた独立デバイスの符号化動作及び復号動作に、一実施形態によるビデオ符号化装置及びビデオ復号装置が適用される。
図23及び図24を参照し、コンテンツ供給システム11000において、携帯電話12500の一実施形態について詳細に説明する。
図23は、多様な実施形態による、ビデオ符号化方法及びビデオ復号方法が適用される携帯電話12500の外部構造を図示する。携帯電話12500は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
携帯電話12500は、無線基地局12000とRF信号を交換するための内蔵アンテナ12510を含み、カメラ12530によって撮影された映像、またはアンテナ12510によって受信されて復号された映像をディスプレイするためのLCD(liquid crystal display)画面、OLED(organic light emitting diodes)画面のようなディスプレイ画面12520を含む。スマートフォン12510は、制御ボタン、タッチパネルを含む動作パネル12540を含む。ディスプレイ画面12520がタッチスクリーンである場合、動作パネル12540は、ディスプレイ画面12520のタッチ感知パネルをさらに含む。スマートフォン12510は、音声、音響を出力するためのスピーカ12580、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン12550、または他の形態の音響入力部と、を含む。スマートフォン12510は、ビデオ及び静止映像を撮影するためのCCDカメラのようなカメラ12530をさらに含む。また、スマートフォン12510は、カメラ12530によって撮影されたり、電子メール(E−mail)で受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されたり復号されたりするデータを保存するための記録媒体12570と、記録媒体12570を携帯電話12500に装着するためのスロット12560と、を含んでもよい。記録媒体12570は、SDカードまたはプラスチックケースに内蔵されたEEPROM(electrically erasable programmable read-only memory)のような他の形態のフラッシュメモリでもある。
図24は、携帯電話12500の内部構造を図示する。ディスプレイ画面12520及び動作パネル12540で構成された携帯電話12500の各パートを組織的に制御するために、電力供給回路12700、動作入力制御部12640、映像符号化部12720、カメラ・インターフェース12630、LCD制御部12620、映像復号部12690、マルチプレクサ/デマルチプレクサ(MUX/DEMUX:multiplexer/demultiplexer)12680、記録/判読部12670、変調/復調(modulation/demodulation)部12660及び音響処理部12650が、同期化バス12730を介して、中央制御部12710に連結される。
ユーザが、電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路12700は、バッテリパックから携帯電話12500の各パートに電力を供給することによって、携帯電話12500が動作モードにセッティングされる。
中央制御部12710は、CPU、ROM及びRAM(random access memory)を含む。
携帯電話12500が、外部に通信データを送信する過程においては、中央制御部12710の制御によって、携帯電話12500でデジタル信号が生成される、例えば、音響処理部12650では、デジタル音響信号が生成され、映像符号化部12720では、デジタル映像信号が生成され、動作パネル12540及び動作入力制御部12640を介して、メッセージのテキストデータが生成される。中央制御部12710の制御によって、デジタル信号が変調/復調部12660に伝達されれば、変調/復調部12660は、デジタル信号の周波数帯域を変調し、通信回路12610は、帯域変調されたデジタル音響信号に対して、D/A変換(digital-analog conversion)処理及び周波数変換(frequency conversion)処理を行う。通信回路12610から出力された送信信号は、アンテナ12510を介して、音声通信基地局または無線基地局12000に送出される。
例えば、携帯電話12500が通話モードであるとき、マイクロフォン12550によって獲得された音響信号は、中央制御部12710の制御によって、音響処理部12650において、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部12660及び通信回路12610を経て送信信号に変換され、アンテナ12510を介して送出される。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル12540を利用してメッセージのテキストデータが入力され、テキストデータが、動作入力制御部12640を介して、中央制御部12610に伝送される。中央制御部12610の制御によって、テキストデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して、無線基地局12000に送出される。
データ通信モードにおいて、映像データを伝送するために、カメラ12530によって撮影された映像データが、カメラ・インターフェース12630を介して、映像符号化部12720に提供される。カメラ12530によって撮影された映像データは、カメラ・インターフェース12630及びLCD制御部12620を介して、ディスプレイ画面12520に直ちにディスプレイされる。
映像符号化部12720の構造は、前述の一実施形態によるビデオ符号化装置の構造と相応する。映像符号化部12720は、カメラ12530から提供された映像データを、前述のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化/逆多重化部12680に出力することができる。カメラ12530の録画中、携帯電話12500のマイクロフォン12550によって獲得された音響信号も、音響処理部12650を経て、デジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部12680に伝達される。
多重化/逆多重化部12680は、音響処理部12650から提供された音響データと共に、映像符号化部12720から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して送出される。
携帯電話12500が、外部から通信データを受信する過程においては、アンテナ12510を介して受信された信号を、周波数復元(frequency recovery)処理及びA/D変換(analog-digital conversion)処理を介して、デジタル信号を変換する。変調/復調部12660は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部12690、音響処理部12650またはLCD制御部12620に伝達される。
携帯電話12500は、通話モードであるとき、アンテナ12510を介して受信された信号を増幅し、周波数変換及びA/D変換(analog-digital conversion)処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部12710の制御によって、変調/復調部12660及び音響処理部12650を経て、アナログ音響信号に変換され、アナログ音響信号が、スピーカ12580を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ12510を介して、無線基地局12000から受信された信号は、変調/復調部12660の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化/逆多重化部12680に伝達される。
アンテナ12510を介して受信した多重化されたデータを復号するために、多重化/逆多重化部12680は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス12730によって、符号化されたビデオデータストリームは、ビデオ復号部12690に提供され、符号化されたオーディオデータストリームは、音響処理部12650に提供される。
映像復号部12690の構造は、前述のビデオ復号装置の構造と相応する。映像復号部12690は、前述のビデオ復号方法を利用して、符号化されたビデオデータを復号し、復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部12620を経てディスプレイ画面12520に、復元されたビデオデータを提供することができる。
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面12520でディスプレイされる。それと同時に、音響処理部12650も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ12580に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ12580で再生される。
携帯電話12500、または他の形態の通信端末機は、一実施形態によるビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の一実施形態によるビデオ符号化装置のみを含む送信端末機であるか、あるいは一実施形態によるビデオ復号装置のみを含む受信端末機でもある。
一実施形態による通信システムは、図24を参照して説明した構造に限定されるものではない。例えば、図25は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示する。図25の一実施形態によるデジタル放送システムは、一実施形態によるビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して、伝送されるデジタル放送を受信することができる。
具体的に見れば、放送局12890は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星12900に伝送する。放送衛星12900は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ12860によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、TV受信機12810、セットトップボックス(set-top box)12870、または他のデバイスによって復号されて再生される。
再生装置12830において、一実施形態によるビデオ復号装置が具現されることにより、再生装置12830が、ディスク及びメモリカードのような記録媒体12820に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ12840で再生される。
衛星/地上波放送のためのアンテナ12860、またはケーブルTV受信のためのケーブルアンテナ12850に連結されたセットトップボックス12870にも、一実施形態によるビデオ復号装置が搭載される。セットトップボックス12870の出力データも、TVモニタ12880で再生される。
他の例として、セットトップボックス12870の代りに、TV受信機12810自体に、一実施形態によるビデオ復号装置が搭載されてもよい。
適切なアンテナ12910を具備した自動車12920が、衛星12800または無線基地局11700から送出される信号を受信することもできる。自動車12920に搭載された自動車ナビゲーションシステム12930のディスプレイ画面に、復号されたビデオが再生される。
ビデオ信号は、一実施形態によるビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、DVDレコーダによって、映像信号がDVDディスク12960に保存されるか、あるいはハードディスクレコーダ12950によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、SDカード12970に保存されてもよい。ハードディスクレコーダ12950が、一実施形態による一実施形態によるビデオ復号装置を具備すれば、DVDディスク12960、SDカード12970、または他の形態の記録媒体に記録されたビデオ信号が、モニタ12880で再生される。
自動車ナビゲーションシステム12930は、図24のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。例えば、コンピュータ12100及びTV受信機12810も、図24のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。
図26は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する。
一実施形態によるクラウドコンピューティングシステムは、クラウドコンピューティングサーバ14100、ユーザDB(database)14100、コンピュータ資源14200及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンドアウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、運用体制(OS)、保安(security)などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ14100に接続する。ユーザ端末機は、クラウドコンピューティングサーバ14100から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップPC 14300、スマートTV 14400、スマートフォン14500、ノート型パソコン14600、PMP(portable multimedia player)14700、タブレットPC 14800など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ14100は、クラウド網に分散している多数のコンピューティング資源14200を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源14200は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ14100は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 14100には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報と、住所、名前など個人信用情報とを含んでもよい。また、該ユーザ情報は、動画のインデックス(index)を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザDB 14100に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン14600から再生要請され、ノート型パソコン14600に所定動画サービスを提供した場合、ユーザDB 14100に、所定動画サービスの再生ヒストリーが保存される。スマートフォン14500から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ14100は、ユーザDB 14100を参照し、所定動画サービスを求めて再生する。スマートフォン14500が、クラウドコンピューティングサーバ14100を介して、動画データストリームを受信する場合、動画データストリームを復号してビデオを再生する動作は、先に図24を参照して説明した携帯電話12500の動作と類似している。
クラウドコンピューティングサーバ14100は、ユーザDB 14100に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ14100は、ユーザ端末機から、ユーザDB 14100に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ14100は、ユーザ端末機からの選択により、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
このとき、ユーザ端末機は、図1Aないし図19を参照して説明した一実施形態によるビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図1Aないし図19を参照して説明した一実施形態によるビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図1Aないし図19を参照して説明した一実施形態によるビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。
図1Aないし図19を参照して説明された映像符号化方法及び映像復号方法、映像符号化装置及び映像復号装置が活用される多様な実施形態については、図20ないし図26で説明した。しかし、図1Aないし図19を参照して説明されたビデオ符号化方法及びビデオ復号方法が、記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現されたりする多様な実施形態は、図20ないし図26の実施形態に限定されるものではない。
以上で開示された多様な実施形態が属する技術分野において、当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それらと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。