JP6367965B2 - デプス映像を符号化または復号する方法、及びその装置 - Google Patents

Description

本発明は、三次元（３Ｄ：３−dimensional）映像において、デプス映像に係わるデプスイントラスライスが、カラー映像に係わるカラーイントラスライスを参照するためのフラグ、及び新たなイントラスライス形態を定義する方法、及びその装置に関する。

最近、デジタル映像処理とコンピュータグラフィック技術との発展により、現実世界を再現し、それを、実感をもって経験させる三次元ビデオ技術及び多視点ビデオ技術に係わる研究が活発に進められている。多視点映像を利用した三次元テレビは、現実世界を再構成したコンテンツで、臨場感あふれる感覚をユーザに提供することができるので、次世代放送技術として、多くの関心を集めている。三次元ビデオ符号化システムは、ユーザが自由に視聴視点を変更したり、多様な種類の三次元再生装置に再現されるように、多視点の映像を支援したりする機能を有する。多視点映像に使用されるデプス映像は、当該映像に対応するカラー映像に含まれた情報を参照して生成される。

本発明の実施形態によって、デプスイントラスライスがカラーイントラスライスを参照する場合であるということを示すフラグを定義し、カラーイントラスライスを参照することができるデプスイントラスライスについて定義するスライスタイプが提供される。

前記技術的課題解決のための一実施形態によるデプス映像復号方法は、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグをビットストリームから獲得し、第１フラグに基づいて、デプス映像の予測単位においてイントラコンツアー予測が行われるか否かということを決定する段階と、予測単位においてイントラコンツアー予測が行われると決定された場合、予測単位においてイントラコンツアー予測を行う段階と、予測を行った結果に基づいて、デプス映像を復号する段階と、を含んでもよい。

デプス映像に係わるスライスパラメータシーケンスに含まれたイントラコンツアー予測に係わるフラグに基づいて、当該デプス映像を復号したり符号化したりするにおいて、デプス映像の予測単位において、カラー映像を参照するイントラコンツアー予測が行われるか否かということを決定することができる。

一実施形態による多視点ビデオシステムを示す図面である。 多視点ビデオを構成する、テクスチャ映像及びデプス映像を例示した図面である。 カラー映像及びデプス映像の復号装置に係わるブロック図である。 一実施形態によるデプス映像復号方法のフローチャートである。 カラー映像及びデプス映像の符号化装置に係わるブロック図である。 一実施形態によるデプス映像符号化方法のフローチャートである。 ３Ｄ ＨＥＶＣで支援するslice＿typeを、種類によって分類した図面である。 一実施形態によって、現在の符号化単位において、予測単位で遂行される予測モードを決定して復号するためのシンタックスを図示する図面である。 一実施形態によるintra＿contour＿flag［ｄ］を含むｓｐｓ＿３ｄ＿extension（）を図示する図面である。 intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）において、ビットストリームから、第３フラグ［ｘ０］［ｙ０］及び第２フラグ［ｘ０］［ｙ０］を獲得する過程について説明するためのシンタックスを図示する図面である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置のブロック図である。 一実施形態による符号化単位の概念を図示する図面である。 一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。 一実施形態による、符号化単位に基づいた映像復号部のブロック図である。 一実施形態による、深度別符号化単位及びパーティションを図示する図面である。 一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 一実施形態による深度別符号化情報を図示する図面である。 一実施形態による深度別符号化単位を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の外部構造を図示する図面である。 一実施形態による、本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話の内部構造を図示する図面である。 本発明による通信システムが適用されたデジタル放送システムを図示する図面である。 一実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

一実施形態によるデプス映像（depth image）復号方法は、デプス映像の画面内予測に係わるイントラコンツアー（contour）予測モードの使用に係わる情報である第１フラグをビットストリームから獲得し、第１フラグに基づいて、デプス映像の予測単位においてイントラコンツアー予測が行われるか否かということを決定する段階と、予測単位においてイントラコンツアー予測が行われると決定された場合、予測単位においてイントラコンツアー予測を行う段階と、予測を行った結果に基づいて、デプス映像を復号する段階と、を含んでもよい。

一実施形態によるデプス映像復号方法において、前記第１フラグは、前記デプス映像の復号のための付加的な情報をさらに含む拡張シーケンスパラメータセットに含まれることを特徴とする。

一実施形態によるデプス映像復号方法は、ビットストリームから獲得されたカラー映像に係わる符号化情報に基づいてカラー映像を復元する段階と、デプス映像の分割情報に基づいて、デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する段階と、符号化単位においてイントラ予測が行われるか否かということを決定する段階と、符号化単位を、予測復号のための予測単位に分割する段階と、をさらに含み、前記イントラコンツアー予測が行われるか否かということを決定する段階は、符号化単位に対応するスライスタイプが、イントラスライスであるか否かということを決定する段階を含み、イントラスライスに該当するスライスタイプには、デプス映像において、イントラスライスのうちカラー映像を参照する予測を行うことができるスライスである向上イントラスライスが含まれることを特徴とする。

一実施形態によるデプス映像復号方法において、前記予測を行う段階は、向上イントラスライスに含まれる予測単位において、デプス映像と同一なアクセス単位に含まれるカラー映像上のブロックを参照して予測を行う段階を含んでもよい。

一実施形態によるデプス映像復号方法において、前記イントラコンツアー予測モードで予測が行われるか否かということを決定する段階は、ビットストリームから、デプスイントラ予測モードの使用に係わる情報である第２フラグを獲得するか否かということを決定する情報である第３フラグを獲得する段階と、第３フラグが０である場合、デプスイントラ予測モードで予測が行われると決定する段階を含んでもよい。

一実施形態によるデプス映像復号方法において、前記予測を行う段階は、第３フラグが０である場合、第２フラグをビットストリームから獲得する段階と、第２フラグがイントラコンツアー予測モードに係わる情報と同一であるか否かということを決定する段階と、第２フラグがイントラコンツアー予測モードに該当する情報と同一である場合、予測単位でイントラコンツアー予測モードを遂行する段階と、を含んでもよい。

一実施形態によるデプス映像復号方法において、前記イントラコンツアー予測モードを遂行する段階は、デプス映像と同一なアクセス単位に含まれるカラー映像において、予測単位の位置に対応する位置のブロックを参照する段階と、参照結果に基づいて、予測単位で予測を行う段階と、を含んでもよい。

他の一実施形態によるデプス映像符号化方法は、イントラ予測モードにおいて、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグを生成する段階と、予測単位において、イントラコンツアー予測が行われるか、あるいは第１フラグに基づいて決定する段階と、予測単位がイントラコンツアー予測モードで予測が行われると決定された場合、予測単位においてイントラコンツアー予測を行う段階と、予測を行った結果に基づいて、デプス映像を符号化する段階と、を含んでもよい。

一実施形態によるデプス映像符号化方法において第１フラグは、デプス映像の復号のための付加的な情報をさらに含む拡張シーケンスパラメータセットに含まれることを特徴とする。

一実施形態によるデプス映像符号化方法は、カラー映像を符号化して生成された符号化情報を含むビットストリームを生成する段階と、前記デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する段階と、前記符号化単位においてイントラ予測が行われるか否かということを決定する段階と、前記符号化単位を予測復号のための前記予測単位に分割する段階と、をさらに含んでもよく、前記イントラコンツアー予測が行われるか否かということを決定する段階は、予測単位に対応するスライスタイプが、イントラスライスであるか否かということを決定する段階を含み、イントラスライスに該当するスライスタイプには、カラー映像を参照する予測を行うことができるスライスである向上イントラスライスが含まれることを特徴とする。

一実施形態によるデプス映像符号化方法において、前記予測を行う段階は、デプス映像で向上イントラスライスに含まれる予測単位において、デプス映像と同一なアクセス単位に含まれるカラー映像上のブロックを参照して予測を行う段階を含んでもよい。

一実施形態によるデプス映像符号化方法において、前記イントラコンツアー予測モードで予測が行われるか否かということを決定する段階は、デプスコンツアー予測モードが使用されるか否かということに係わる情報である第２フラグを獲得するか否かということを決定する情報である第３フラグを含むビットストリームを生成する段階と、第３フラグが０である場合、デプスイントラ予測モードで予測が行われると決定する段階と、を含んでもよい。

一実施形態によるデプス映像符号化方法において、前記予測を行う段階は、第３フラグが０である場合、第２フラグを含むビットストリームを生成する段階と、第２フラグがイントラコンツアー予測モードに係わる情報と同一であるか否かということを決定する段階と、第２フラグがイントラコンツアー予測モードに係わる情報と同一である場合、予測単位においてイントラコンツアー予測を行う段階と、を含んでもよい。

一実施形態によるデプス映像符号化方法において、前記イントラコンツアー予測を行う段階は、デプス映像と同一なアクセス単位に含まれるカラー映像上で、予測単位の位置に対応する位置のブロックを参照する段階と、参照結果に基づいて、予測単位においてイントラコンツアー予測を行う段階と、を含んでもよい。

さらに他の一実施形態によるデプス映像復号装置は、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグをビットストリームから獲得し、第１フラグに基づいて、予測単位がイントラコンツアー予測モードで予測が行われるか否かということを決定するデプス映像予測モード決定部；及び予測単位がイントラコンツアー予測モードで予測が行われると決定された場合、デプス映像でイントラコンツアー予測を行い、予測を行った結果に基づいて、デプス映像を復号するデプス映像復号部；を含んでもよい。

さらに他の一実施形態によるデプス映像符号化装置は、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグを生成し、第１フラグに基づいて、予測単位がイントラコンツアー予測モードで予測が行われるか否かということを決定するデプス映像予測モード決定部；及び予測単位がイントラコンツアー予測モードで予測が行われると決定された場合、予測単位においてイントラコンツアー予測を行い、予測を行った結果に基づいて、デプス映像を符号化するデプス映像符号化部；を含んでもよい。

さらに他の一実施形態によるデプス映像復号方法を具現するためのプログラムを保存するコンピュータ可読記録媒体が提供される。

さらに他の一実施形態によるデプス映像符号化方法を具現するためのプログラムを保存するコンピュータ可読記録媒体が提供される。

以下、図１ないし図６Ｃを参照し、多様な実施形態による、デプス映像復号技法、デプス映像符号化技法が提案される。また、図７ないし図１９を参照し、先に提案したデプス映像復号技法及びデプス映像符号化技法に適用可能な多様な実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号技法が開示される。また、図２０ないし図２６を参照し、先に提案したビデオ符号化方法、ビデオ復号方法が適用可能な多様な実施形態が開示される。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。

以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。

以下、「レイヤ（layer）映像」は、特定視点または同一類型の映像を示す。多視点ビデオにおいて１つのレイヤ映像は、特定視点に入力されたカラー映像またはデプス映像を示す。

図１は、一実施形態による多視点ビデオシステムを示す。

多視点ビデオシステム１０は、２台以上の多視点カメラ１１を介して獲得された多視点ビデオ映像、デプスカメラ１４を介して獲得された多視点映像のデプス映像、多視点カメラ１１に係わるカメラパラメータ情報を符号化してビットストリームを生成する多視点ビデオ符号化装置１２、及びビットストリームを復号して復号された多視点ビデオフレームを、視聴者の要求によって多様な形態で提供する多視点ビデオ復号装置１３を含む。

多視点カメラ１１は、互いに異なる視点を有する複数個のカメラを結合して構成されながら、毎フレームごとに、多視点ビデオ映像を提供する。以下の説明において、ＹＵＶ、ＹＣｂＣｒのように、所定カラーフォーマットによって、各視点別に獲得されたカラー映像は、テクスチャ（texture）映像とされる。

デプスカメラ１４は、場面のデプス情報を、２５６段階の８ビット映像などで表現したデプス映像を提供する。デプス映像の１ピクセルを表現するためのビット数は、８ビットではなく、変更されてもよい。デプスカメラ１４は、赤外線などを利用して、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有するデプス映像を提供することができる。このように、１視点の映像は、テクスチャ映像及びデプス映像を含む。

多視点ビデオ符号化装置１２において、多視点のテクスチャ映像と対応するデプス映像を符号化して伝送すれば、多視点ビデオ復号装置１３は、ビットストリームに具備された多視点のテクスチャ映像及びデプス映像を利用して、既存のステレオ映像や三次元映像を介して立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。多視点ビデオデータのビットストリームヘッダには、データパケットに、デプス映像に係わる情報も含まれているか否かということを示すための情報、各データパケットがテクスチャ映像に係わるものであるか、あるいはデプス映像に係わるものであるか映像類型を示す情報が含まれてもよい。受信側のハードウェア性能により、多視点ビデオ復号装置１３は、多視点ビデオ復元にデプス映像を利用する場合、受信されたデプス映像を利用して多視点ビデオを復号し、受信側のハードウェアが多視点ビデオを支援せず、デプス映像を活用することができない場合には、デプス映像に係わって受信されたデータパケットを廃棄することができる。そのように、受信側において、多視点ビデオ復号装置１３が、多視点映像をディスプレイすることができない場合、多視点映像のうちいずれか１視点の映像を二次元映像（２Ｄ映像）にディスプレイすることができる。

多視点ビデオデータは、視点の個数に比例して符号化されるデータ量が増加し、また立体感を具現するためのデプス映像も符号化されなければならないために、図１に図示されているような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータが効率的に圧縮される必要がある。

図２は、多視点ビデオを構成する、テクスチャ映像及びデプス映像を例示した図面である。

図２では、第１視点（view ０）のテクスチャピクチャｖ０ ２１、第１視点（view ０）のテクスチャピクチャｖ０ ２１に対応するデプス映像ピクチャｄ０ ２４、第２視点（view １）のテクスチャピクチャｖ１ ２２、第２視点（view １）のテクスチャピクチャｖ１ ２２に対応するデプス映像ピクチャｄ１ ２５、第３視点（view ２）のテクスチャピクチャｖ２ ２３、及び第３視点（view ２）のテクスチャピクチャｖ２ ２３に対応するデプス映像ピクチャｄ２ ２６を図示している。図２では、３個の視点（view ０，view １，view ２）での多視点のテクスチャピクチャｖ０ ２１，v１ ２２，v２ ２３、及び対応するデプス映像ピクチャｄ０ ２４，ｄ１ ２５，ｄ２ ２６を図示しているが、視点の個数は、それらに限定されるものではんく、変更されてもよい。多視点のテクスチャピクチャｖ０ ２１，v１ ２２，v２ ２３、及び対応するデプス映像ピクチャｄ０ ２４，ｄ１ ２５，ｄ２ ２６は、いずれも同一時間に獲得され、同一ＰＯＣ（picture order count）を有するピクチャである。以下の説明において、多視点のテクスチャピクチャｖ０ ２１，v１ ２２，v２ ２３、及び対応するデプス映像ピクチャｄ０ ２４，ｄ１ ２５，ｄ２ ２６のように、同一ｎ（ｎは、整数）のＰＯＣ値を有するピクチャグループ１５００を、ｎ^ｔｈピクチャグループとする。同一ＰＯＣを有するピクチャグループは、１つのアクセス単位（access unit）を構成することができる。アクセス単位の符号化順序は、必ずしも映像のキャプチャ順序（獲得順序）やディスプレイ順序と同一である必要はなく、アクセス単位の符号化順序は、参照関係を考慮し、キャプチャ順序やディスプレイ順序と異なってもよい。

各視点のテクスチャ映像及びデプス映像の視点を特定するために、視点順序インデックス（view order index）である視点識別子（ViewＩｄ）が利用されてもよい。同一視点のテクスチャ映像及びデプス映像は、同一視点識別子を有する。視点識別子は、符号化順序の決定に利用されてもよい。例えば、多視点ビデオ符号化装置１２は、視点識別子が小さい値から大きい値の順序に多視点ビデオを符号化することができる。すなわち、多視点ビデオ符号化装置１２は、ViewＩｄが０であるテクスチャ映像及びデプス映像を符号化した後、ViewＩｄが１であるテクスチャ映像及びデプス映像を符号化することができる。このように、視点識別子を基準に符号化順序を決定する場合、エラーが発生しやすい環境において、視点識別子を利用して受信されたデータのエラー発生いかんを識別することができる。ただし、視点識別子の大きさ順序に依存せず、各視点映像の符号化／復号順序が変更されてもよい。

図３Ａは、デプス映像復号装置３０に係わるブロック図を図示したものである。図３Ａのデプス映像復号装置３０は、図１の多視点ビデオ復号装置１０に対応するものでもある。

図３Ａを参照すれば、デプス映像復号部３６は、ビットストリームから獲得されたデプス映像の分割情報に基づいて、デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する。デプス映像復号部３６は、符号化単位を、予測復号のための少なくとも１つの予測単位に分割する。デプス映像復号部３６は、現在予測単位のパーティション分割いかん、及び差分情報の利用いかんに基づいて、差分情報を利用して現在予測単位に対して復号する。このとき、デプス映像復号部３６は、差分情報を利用して、現在予測単位に対してイントラ予測復号を行う。

デプス映像復号部３６は、ビットストリームから差分情報を獲得し、それを利用してデプス映像を復号することができる。デプス映像復号部３６は、差分情報を利用せずに復号すると決定されれば、ビットストリームから差分情報を獲得せず、現在予測単位に対して復号することができる。

一方、デプス映像予測モード決定部３４は、ビットストリームから、現在予測単位のパーティション分割いかんを示す情報を獲得し、現在予測単位を少なくとも１つのパーティションに分割して復号するか否かということを決定する。また、デプス映像予測モード決定部３４は、現在予測単位をパーティションに分割して復号すると決定されれば、前記ビットストリームから、予測単位についての予測情報を獲得し、原デプス映像に対応するパーティションのデプス値と、現在予測単位についての予測情報を獲得し、デプス映像に対応するパーティションのデプス値との差を示す差分情報を利用して復号するか否かということを決定する。一方、現在予測単位についての予測情報は、ビットストリームに含まれた差分情報を利用して復号を行うか否かということを示すフラグを含んでもよく、デプス映像予測モード決定部３４は、ビットストリームに含まれたフラグを基に、差分情報を利用して復号を行うか否かということを決定することができる。

一方、現在予測単位のパーティション分割いかんを示す情報は、現在予測単位を少なくとも１つのパーティションに分割して復号する所定のイントラ予測モードであるか否かということを示すフラグを含んでもよく、デプス映像予測モード決定部３４は、かようなフラグに基づいて、少なくとも１つのパーティションに分割して復号するか否かということを決定することができる。このとき、所定のイントラ予測モードは、ＤＭＭ（depth modeling modes）を含んでもよい。ＤＭＭは、デプスイントラ予測モードであり、デプス映像の場合、客体と背景との境界区分が明確であるという点、及び客体内部の情報値の変化が少ないという点に基づいて、デプス映像に対して、画面内予測符号化を行う技術である。すなわち、デプスイントラ予測モードは、デプス映像に係わる画面内予測モードを意味する。一実施形態によるデプス映像復号方法によれば、従来、映像復号過程で支援する予測単位分割構造、及び３５個の画面内予測モードに追加し、直線であるウェッジレット（wedgelet）、または曲線であるコンツアーを利用したブロックの分割が可能である。デプスイントラ予測モードでは、このように、ウェッジレットまたはコンツアーを利用した分割領域に含まれる情報を、任意の平均値を基準に区分することによって予測を行う。

デプスイントラ予測モードは、ウェッジレットまたはコンツアーの設定方法によって、２種のモードを支援する。そのうちモード１は、ウェッジレットを符号化するためのモードであり、モード４は、コンツアーを符号化するためのモードである。特に、モード１とは異なり、モード４（ＤＭＭ４）は、曲線を予測する方法である。例えば、ＤＭＭ４では、現在符号化するデプス映像のブロックに対応する位置のカラー映像のブロックの輝度平均を求め、それを基準にして、カラー映像を複数のパーティションに分割した後、かような分割情報に基づいて、デプス映像を分割することができる。

一実施形態によるデプス映像復号装置３０は、ＤＭＭ４のようなデプスイントラ予測モード（depth intra prediction）によって、デプス映像を画面内予測する場合、当該デプス映像のブロックに対応するカラー映像上のブロックを参照することができる。デプスイントラ予測モードとは、デプス映像に係わる情報及びカラー映像に係わる情報を利用して予測を行うモードでもある。デプス映像復号装置３０は、デプス映像のブロックを含むスライスの種類に係わる情報（slice＿type）をビットストリームから獲得することができる。かようなslice＿typeは、slice＿segment＿headerに含まれている。既存の映像復号方法においては、Ｉ−type、Ｐ−type及びＢ−typeに該当するスライスタイプが提供される。Ｉ−typeに該当するスライスタイプに含まれるブロックでは、符号化後に復号された当該フレーム上のブロックを参照し、画面内予測が行われる。Ｐ−type及びＢ−typeでは、現在復号するブロックに該当するフレームと異なるＰＯＣに該当するフレーム上のブロックの動き情報を利用して、画面間予測が行われる。すなわち、復号するブロックに係わるslice＿typeがＩ−typeに該当する場合、現在復号するブロックに係わる映像が参照されず、当該ブロックが含まれるフレーム上で、他のブロックに係わる予測情報を利用して画面間予測が行われるのみである。しかし、一実施形態によるデプス映像復号方法においては、デプス映像を支援して、カラー映像と、ＰＯＣが同一であるアクセス単位（access unit）にデプス映像が含まれてもよい。かようなデプス映像も、復号過程を経る。デプス映像復号装置３０は、デプス映像に含まれたブロックの復号過程において、当該ブロックのslice＿typeを検討し、当該ブロックがＩ−typeに該当する場合には、デプス映像の予測単位において画面内予測を行う。

さらには、一実施形態によるデプス映像復号方法においては、デプスイントラ予測モードを支援する。従って、復号するブロックに係わるスライスタイプがＩ−typeに該当するとしても、デプス映像を復号する過程において、同一アクセス単位に含まれる他のフレームインカラー映像に含まれるスライスを参照することができるスライス種類が提供される。図５は、一実施形態によるデプス映像復号方法において支援されるslice＿typeを、種類によって分類したものである。図５を参照すれば、slice＿typeが２に該当するＩ−type ５０のスライスには、既存の映像符号化方法によって、画面内予測だけ遂行可能なＩ slice以外にも、向上イントラスライス（ＥＩ（enhanced intra） slice）５２が含まれてもよい。かような向上イントラスライス５２は、復号する予測単位において、画面内予測（intra prediction）だけではなく、イントラビュー予測（intra−view prediction）が行われる。イントラビュー予測は、現在のピクチャと同一な視点（view）及び同一アクセス単位にあるピクチャのデータ要素に基づいた予測でもある。それによれば、特定視点に係わるデプス映像上の予測単位は、同一アクセス単位に含まれる前記特定視点に係わるカラー映像上のブロックを参照することができ、かような予測方法は、デプスイントラ予測モード（depth intra mode）において、イントラコンツアー予測モード（INTRA＿CONTOUR）に該当する。デプスイントラ予測モードとは、デプス映像の予測単位において遂行される画面内予測モードを意味する。かようなデプスイントラ予測モードは、カラー映像で行われる画面内予測と区別される別途の画面内予測モードでもある。また、イントラコンツアー予測モードとは、デプス映像の画面内予測に係わる予測モードであり、デプス映像復号部３６は、デプス映像のブロックを少なくとも１つのパーティションに分割することができ、かような分割のために、デプス映像復号部３６は、デプス映像のブロックに対応する位置上のカラー映像のブロックに係わる情報を利用することができる。従って、デプス映像予測モード決定部３４は、かような予測単位に係わるスライスのslice＿sequence＿header（）に含まれたslice＿typeを参照し、予測単位でデプスイントラ予測が行われるか否かということを決定することができる。

一実施形態によって、デプス映像復号装置３０は、デプス映像に対応するカラー映像に係わる符号化情報に基づいて、カラー映像を復元することができるカラー映像復号部（図示せず）をさらに含んでもよい。現在復号するデプス映像のブロックが、同一アクセス単位に含まれるカラー映像のブロックを参照しようとすれば、デプス映像より先にカラー映像が復号されなければならない。一実施形態によって、デプス映像復号装置３０は、ビットストリームから獲得されたカラー映像の符号化情報を基に、カラー映像を復元するカラー映像復号部（図示せず）をさらに含んでもよい。さらには、デプス映像復号部３６は、一実施形態によって、デプス映像の符号化情報、それに対応するカラー映像の符号化情報、及びカラー映像に対応するデプス映像の相関関係に係わる情報を含むビットストリームを受信することができる。それにより、デプス映像復号装置３０は、ビットストリームからカラー映像を復元し、デプス映像復号部３６は、符号化された後で復元されたカラー映像を利用して、カラー映像に対応するデプス映像を復号することができる。特に、一実施形態によるデプス映像復号部３６は、デプス映像の符号化時、対応するカラー映像フレームとの相関関係を考慮し、相関関係を決定するために、以前に符号化された後で復元されたカラー映像のブロックを、ピクセル値に基づいて、パーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとにカラー映像とデプス映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、以前に符号化された後で復元されたカラー映像のブロックを分割するパーティションに対応するデプス映像のブロックのパーティションを予測することができる。

一実施形態によって、デプス映像復号部３６は、ビットストリームから獲得されたデプス映像の分割情報に基づいて、デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割することができる。かように分割された符号化単位ごとに、画面内予測（intra prediction）または画面間予測（inter prediction）のうちいずれの予測モードで予測が行われるかということが決定される。

一実施形態によって、デプス映像復号部３６は、符号化単位を、予測復号のための少なくとも１つの予測単位に分割することができる。デプス映像予測モード決定部３４は、決定された符号化単位において、画面内予測が行われるか否かということが決定される。すなわち、予測単位は、符号化単位に分割され、前記符号化単位で画面内予測が行われると決定される場合、前記符号化単位に分割された予測単位では、画面内予測が行われる。図６Ａは、それと関連して一実施形態によって、現在の符号化単位で予測単位で遂行される予測モードを決定して復号するためのシンタックスを図示している。図６Ａを参照すれば、現在符号化単位のためのシンタックスcoding＿unit（）６０は、デプス映像の予測単位の画面内予測モードを決定するための条件文及び反復文などを含んでもよい。デプス映像予測モード決定部３４は、現在符号化単位での予測モードに係わる情報であるＣｕＰｒｅｄMode［ｘ０］［ｙ０］が、ＭＯＤＥ＿INTRAであるか否かということに基づいて予測モードを決定することができる。ｘ０及びｙ０は、現在符号化単位の左上側座標に係わる情報でもある。現在デプス映像の符号化単位に係わるスライスのslice＿typeがＩ−typeではない場合、条件文６２を満足しないために、ｃｕ＿skip＿flag［ｘ０］［ｙ０］がビットストリームから獲得されない。ｃｕ＿skip＿flag［ｘ０］［ｙ０］がビットストリームから獲得されない場合、ｃｕ＿skip＿flag［ｘ０］［ｙ０］は、０に該当するために、条件文６３を満足することになる。また、現在デプス映像の符号化単位に係わるスライスのslice＿typeがＩ−typeではない場合であるならば、条件文６４を満足しないために、ｐｒｅｄ＿mode＿flagがビットストリームから獲得されない。その場合、ＣｕＰｒｅｄMode［ｘ０］［ｙ０］がＭＯＤＥ＿INTRAと同一であると見られるので、条件文６５を満足するので、条件文６６が実行されてもよい。

以下、デプス映像復号装置３０の詳細な動作について、図３Ｂを参照して詳細に説明する。

図３Ｂは、一実施形態によるデプス映像復号方法のフローチャートを図示している。

段階３０１において、デプス映像復号装置３０は、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグをビットストリームから獲得することができる。一実施形態によれば、ビットストリームから獲得した第１フラグは、イントラコンツアー予測モードを遂行するか否かということを決定するのに利用される情報でもあり、intra＿contour＿flag［ｄ］を含むフラグでもある。以下では、説明上の便宜のために、第１フラグは、intra＿contour＿flag［ｄ］であるということを前提に説明する。

段階３０２において、デプス映像復号装置３０は、第１フラグに基づいて、予測単位が、イントラコンツアー予測モードで予測が行われるか否かということを決定することができる。図６Ｂは、一実施形態によるintra＿contour＿flag［ｄ］６７を含む拡張シーケンスパラメータセットを図示している。拡張シーケンスパラメータセットは、従来使用されていたシーケンスパラメータセットに、付加的な情報を含むシーケンスパラメータセットである。一実施形態によって、拡張シーケンスパラメータセットは、デプス映像の復号過程で利用される情報をさらに含むシーケンスパラメータセットであり、ｓｐｓ＿３ｄ＿extension（）６１に対応するものでもある。以下では、説明上の便宜のために、拡張シーケンスパラメータセットは、ｓｐｓ＿３ｄ＿extension（）６１であることを前提に説明する。

一実施形態によれば、イントラコンツアー予測モードの使用に係わる情報は、ｓｐｓ＿３ｄ＿extension（）６１に含まれるintra＿contour＿flag［ｄ］６７でもあり、ｄは、現在ビューに、デプス情報を含んでいるか否かということに係わる情報であるDepthFlagを意味する。デプス映像復号装置３０は、現在符号化単位に含まれる予測単位ごとに、条件文６６を満足するか否かということを判断することができる。条件文６６は、現在の符号化単位において、デプスイントラ予測モードを遂行することができる場合、条件を満足する。すなわち、デプス映像予測モード決定部３４は、予測単位でイントラコンツアー予測モードを遂行することができるか否かということを、当該符号化単位に係わるｓｐｓ＿３ｄ＿extension（）６１に含まれるintra＿contour＿flag［ｄ］６７を、ビットストリームから獲得したか否かということに基づいて決定することができる。一実施形態によって、デプス映像予測モード決定部３４は、デプスイントラ予測モード（depth intra mode）のうちイントラコンツアー予測モード（INTRA＿ＤＥＰ＿CONTOUR）であるＤＭＭ４予測を行うか否かということに係わる情報であるintra＿contour＿flag［ｄ］６７をビットストリームから獲得することができる。数式（１）を参照すれば、intra＿contour＿flag［ｄ］６７が１である場合、他の所定の条件（ｎｕｈ＿layer＿ｉｄ＞０、及びtextＯｆＣｕｒViewAvailFlagが０ではない場合）を満足すれば、イントラコンツアー予測モードに係わる情報の値が１にもなる。イントラコンツアー予測モードに係わる情報は、デプス映像の予測単位において遂行されるデプスイントラモードのうちイントラコンツアー予測モードを示す任意の情報でもあり、IntraContourFlagを含んでもよい。以下では、説明上の便宜のために、イントラコンツアー予測モードに係わる情報は、IntraContourFlagであるということを前提に説明する。

IntraContourFlag＝（ｎｕｈ＿layer＿ｉｄ＞０）＆＆intra＿contour＿flag［DepthFlag］＆＆textOfＣｕｒViewAvailFlag （１）
ここで、ｎｕｈ＿layer＿ｉｄは、ＮＡＬ（network abstraction layer） unit headerに含まれたシンタックス要素であり、既存の映像復号方法または映像符号化方法よりさらに拡張された情報を含む復号方法または符号化方法で使用されるシンタックス要素でもある。従って、従来の映像符号化過程または映像復号過程と異なり、一実施形態によるデプス映像復号方法においては、０ではないこともある。また、textOfＣｕｒViewAvailFlagは、現在のビュー（view）に係わるカラー映像を利用することができるか否かということに係わる情報でもある。すなわち、一実施形態によって、ｎｕｈ＿layer＿ｉｄが０より大きく、当該ビュー（または、レイヤ）においてカラー映像を利用することができ、ｎｕｈ＿layer＿ｉｄに該当するビュー（または、レイヤ）の予測単位において、イントラコンツアー予測モードが遂行されたことを示す情報であるintra＿contour＿flag［DepthFlag］値が１である場合には、イントラコンツアー予測モードに係わる情報であるIntraContourFlagは、１にもなり、その場合、条件文６６の条件を満足する。従って、デプス映像予測モード決定部３４は、intra＿contour＿flag［ｄ］に基づいて、デプスイントラ予測モードで予測が行われるか否かということを決定することができ、かようなデプスイントラ予測モードは、イントラコンツアー予測モードでもある。

一実施形態によって、条件文６６を満足する場合、デプス映像予測モード決定部３４は、現在の符号化単位に含まれた予測単位に係わるデプスイントラ予測を行うための機能を遂行することができる。デプス映像に係わるデプスイントラ予測が行われるためには、従来のイントラ予測モードとは別個の拡張された予測モードを遂行する機能が必要である。一実施形態によって、デプス映像予測モード決定部３４は、現在の符号化単位に含まれた予測単位に係わるデプスイントラ予測を行うためのシンタックス要素として、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）を利用することができる。デプス映像予測モード決定部３４は、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）を介して、現在位置の予測単位において、デプス映像でデプスイントラ予測が行われるか否かということ、及びデプスイントラ予測の種類に係わる情報を獲得することができる。図６Ｃは、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）において、ビットストリームから、第３フラグ及び第２フラグを獲得する過程について説明するためのシンタックスを図示している。ここで、第３フラグは、予測単位でデプスイントラ予測が行われるか否かということに係わる情報を意味し、第２フラグは、デプスイントラ予測モードの種類を意味する。すなわち、第３フラグを利用して、デプス映像の予測単位においてイントラ予測のうちデプスイントラ予測が行われるか否かということが決定され、第２フラグによって、デプス映像でのイントラ予測モードのうちデプスイントラ予測モードの種類が区分される。一実施形態によれば、第２フラグは、depth＿intra＿mode＿flagでもあり、第３フラグは、ｄｉｍ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿flagであることがある。以下では説明上の便宜のために第２フラグは、depth＿intra＿mode＿flag、第３フラグは、ｄｉｍ＿not＿present＿flagであるということを前提に説明する。表１は、depth intra modeの値によって、デプスイントラ予測モードの種類を分類した表である。

ここで、depth intra mode［ｘ０］［ｙ０］は、depth intra mode［ｘ０］［ｙ０］＝ｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］？−１：depth＿intra＿mode＿flag［ｘ０］［ｙ０］のようである。すなわち、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が、０または１である場合には、デプスイントラ予測を行うが、−１である場合には、デプスイントラ予測を行わない。デプス映像予測モード決定部３４は、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が０である場合、デプス映像のブロックを直線（wedgelet）で分割して予測するINTRA＿ＤＥＰ＿ＷＥＤＧＥモードに予測モードを決定することができ、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が１である場合、デプス映像のブロックを曲線（contour）で分割して予測するINTRA＿ＤＥＰ＿CONTOURモードに予測モードを決定することができる。すなわち、一実施形態によって、デプス映像予測モード決定部３４は、予測単位において、イントラコンツアー予測モードで予測が行われるか否かということを、intra＿ｃｏｎｔｒｏｕ＿flag［ｄ］が１である場合、条件文６６を満足することにより、intra＿mode＿ｅｘｔ（ｘ０＋ｉ，ｙ０＋ｊ，log２ＰｂSize）を実行し、実行されたintra＿mode＿ｅｘｔ（ｘ０＋ｉ，ｙ０＋ｊ，log２ＰｂSize）において、ビットストリームから獲得したｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］が０であるか否かということを確認することができる。デプス映像予測モード決定部３４は、ｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］が０である場合、depth＿intra＿mode＿flag［ｘ０］［ｙ０］をビットストリームから獲得し、INTRA＿ＤＥＰ＿CONTOURに対応する値であるか否かということ確認することができる。確認されたdepth＿intra＿mode＿flag［ｘ０］［ｙ０］値が、INTRA＿ＤＥＰ＿CONTOURに対応する値である場合、デプス映像予測モード決定部３４は、予測単位でイントラコンツアー予測モードが遂行されると決定することができる。

段階３０２において、予測単位がイントラコンツアー予測が行われると決定された場合、デプス映像復号装置３０は、段階３０３において、デプス映像でイントラコンツアー予測を行うことができる。デプス映像復号装置３０は、イントラコンツアー予測モードにおいて、デプス映像の現在の予測単位に係わるスライスタイプがＩ−typeであるととしても、同一アクセス単位に含まれるカラー映像を参照して予測を行うことができる。

段階３０４において、デプス映像復号装置３０は、段階３０３において予測単位に対してイントラコンツアー予測を行った結果に基づいて、デプス映像を復号することができる。

以下では、本発明の他の側面での一実施形態によるデプス映像符号化装置４０及びその方法について説明する。かようなデプス映像符号化装置４０及びその方法は、前述のデプス映像復号装置３０で遂行される動作に相応する動作に係わる内容にもなり、それに係わる実施形態は、当該技術分野の当業者によって容易に理解されるであろう。

一実施形態による、デプス映像復号装置３０及びデプス映像復号方法においては、デプス映像の情報が輝度情報で構成される４：０：０のフォーマットで復号され、ディスパリティ（disparity）情報が、輝度情報で構成される４：０：０のフォーマットで復号される。さらには、デプス映像復号装置３０及びデプス映像復号方法においては、三次元（３Ｄ：３−dimensional）映像具現のために、４：０：０のフォーマットで復号される輝度情報を利用することができる。

図４Ａは、デプス映像符号化装置４０に係わるブロック図を図示したものである。図４Ａのデプス映像符号化装置４０は、図１の多視点ビデオ符号化装置１２に対応する。

図４Ａを参照すれば、デプス映像符号化部４６は、デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する。デプス映像符号化部４６は、符号化単位を、予測符号化のための少なくとも１つの予測単位に分割する。デプス映像符号化部４６は、現在予測単位のパーティション分割いかん、及び差分情報の利用いかんに基づいて、差分情報を利用して、現在予測単位に対して符号化する。そのとき、デプス映像符号化部４６は、差分情報を利用して、現在予測単位に対してイントラ予測符号化を行う。

デプス映像符号化部４６は、ビットストリームから差分情報を獲得し、それを利用してデプス映像を符号化することができる。デプス映像符号化部４６は、差分情報を利用せずに符号化すると決定されれば、ビットストリームから差分情報を獲得せず、現在予測単位に対して符号化することができる。

一方、デプス映像予測モード決定部３４は、ビットストリームから、現在予測単位のパーティション分割いかんを示す情報を獲得し、現在予測単位を少なくとも１つのパーティションに分割して符号化するか否かということを決定する。また、デプス映像予測モード決定部３４は、現在予測単位をパーティションに分割して符号化すると決定されれば、前記ビットストリームから、予測単位についての予測情報を獲得し、原デプス映像に対応するパーティションのデプス値、及び現在予測単位についての予測情報を獲得し、デプス映像に対応するパーティションのデプス値の差を示す差分情報を利用して、符号化するか否かということを決定する。一方、現在予測単位についての予測情報は、ビットストリームに含まれた差分情報を利用して符号化を行うか否かということを示すフラグを含んでもよく、デプス映像予測モード決定部３４は、ビットストリームに含まれたフラグを基に、差分情報を利用して符号化を行うか否かということを決定することができる。

一方、現在予測単位のパーティション分割いかんを示す情報は、現在予測単位を少なくとも１つのパーティションに分割して符号化する所定のイントラ予測モードであるか否かということを示すフラグを含んでもよく、デプス映像予測モード決定部４４は、かようなフラグに基づいて、少なくとも１つのパーティションに分割して符号化するか否かということを決定することができる。そのとき、所定のイントラ予測モードは、ＤＭＭ（depth modeling modes）を含んでもよい。ＤＭＭは、デプスイントラ予測モードであり、デプス映像の場合、客体と背景との境界の区分が明確な点、及び客体内部の情報値の変化が少ない点に基づいて、デプス映像を画面内予測符号化を行う技術である。すなわち、デプスイントラ予測モードは、デプス映像に係わる画面内予測モードを意味する。一実施形態によるデプス映像符号化方法によれば、従来、映像復号過程で支援する予測単位分割構造、及び３５個の画面内予測モードに追加し、直線であるウェッジレット（wedgelet）、または曲線であるコンツアー（contour）を利用したブロックの分割が可能である。デプスイントラ予測モードでは、そのように、ウェッジレットまたはコンツアーを利用した分割領域に含まれる情報を、任意の平均値を基準に区分することによって予測を行う。

デプスイントラ予測モードは、ウェッジレットまたはコンツアーの設定方法によって、２種のモードを支援する。そのうちモード１は、ウェッジレットを符号化するためのモードであり、モード４は、コンツアーを符号化するためのモードである。特に、モード１とは異なりモード４（ＤＭＭ４）は、曲線を予測する方法である。例えば、ＤＭＭ４においては、現在符号化するデプス映像のブロックに対応する位置のカラー映像のブロックの輝度平均を求め、それを基準にしてカラー映像を、複数のパーティションに分割した後、かような分割情報に基づいて、デプス映像を分割することができる。

一実施形態によるデプス映像符号化装置３０は、ＤＭＭ４のようなデプスイントラ予測モード（depth intra prediction）によって、デプス映像を画面内予測する場合、当該デプス映像のブロックに対応するカラー映像上のブロックを参照することができる。デプスイントラ予測モードとは、デプス映像に係わる情報、及びカラー映像に係わる情報を利用して予測を行うモードでもある。デプス映像符号化装置３０は、デプス映像のブロックを含むスライスの種類に係わる情報（slice＿type）を含むビットストリームを生成することができる。かようなslice＿typeは、slice＿segment＿headerに含まれている。既存の映像符号化方法においては、Ｉ−type、Ｐ−type及びＢ−typeに該当するスライスタイプが提供される。Ｉ−typeに該当するスライスタイプに含まれるブロックにおいては、符号化後、符号化された当該映像のブロックを参照して画面内予測が行われる。Ｐ−type及びＢ−typeにおいては、現在符号化するブロックに該当する映像と異なるＰＯＣに該当する映像のブロックの動き情報を利用して、画面間予測が行われる。すなわち、符号化するブロックに係わるslice＿typeが、Ｉ−typeに該当する場合、現在符号化するブロックに係わる映像が参照されず、当該ブロックが含まれる映像において、他のブロックに係わる予測情報を利用して、画面間予測が行われるのみである。しかし、一実施形態によるデプス映像符号化方法においては、デプス映像を支援し、カラー映像、及びＰＯＣが同一であるアクセス単位にデプス映像が含まれてもよい。かようなデプス映像も、符号化過程を経る。デプス映像符号化装置４０は、デプス映像に含まれたブロックの符号化過程において、当該ブロックのslice＿typeを検討し、当該ブロックがＩ−typeに該当する場合には、デプス映像の予測単位において画面内予測を行う。

さらには、一実施形態によるデプス映像符号化方法においては、デプスイントラ予測モードを支援する。従って、符号化するブロックに係わるスライスタイプがＩ−typeに該当するとしても、デプス映像を符号化する過程において、同一アクセス単位に含まれる他の映像であるカラー映像に含まれるスライスを参照することができるスライス種類が提供される。図５は、一実施形態によるデプス映像復号方法において支援されるslice＿typeを、種類によって分類したものである。図５を参照すれば、slice＿typeが２に該当するＩ−type ５０のスライスには、既存の映像符号化方法によって、画面内予測だけ遂行可能なＩ slice以外にも、向上イントラスライス（ＥＩ（enhanced intra） slice）５２が含まれてもよい。かような向上イントラスライス５２は、符号化する予測単位において、画面内予測（intra prediction）だけではなく、イントラビュー予測（intra−view prediction）が行われる。イントラビュー予測は、現在のピクチャと同一な視点（view）及び同一アクセス単位にあるピクチャのデータ要素に基づいた予測でもある。それによれば、特定視点に係わるデプス映像上の予測単位は、同一アクセス単位に含まれる前記特定視点に係わるカラー映像上のブロックを参照することができ、かような予測方法は、デプスイントラ予測モード（depth intra mode）のうちイントラコンツアー予測モード（INTRA＿CONTOUR）に該当する。デプスイントラ予測モードとは、デプス映像の予測単位において遂行される画面内予測モードを意味する。かようなデプスイントラ予測モードは、カラー映像で行われる画面内予測と区別される別途の画面内予測モードでもある。また、イントラコンツアー予測モードとは、デプス映像の画面内予測に係わる予測モードであり、デプス映像復号部３６は、デプス映像のブロックを、少なくとも１つのパーティションに分割することができ、かような分割のために、デプス映像復号部３６は、デプス映像のブロックに対応する位置上のカラー映像のブロックに係わる情報を利用することができる。従って、デプス映像予測モード決定部４４は、かような予測単位に係わるスライスのslice＿sequence＿header（）に含まれたslice＿typeを参照し、予測単位でデプスイントラ予測が行われるか否かということが決定される。

一実施形態によって、デプス映像符号化装置４０は、デプス映像に対応するカラー映像に係わる符号化情報に基づいて、カラー映像を復元することができるカラー映像復号部（図示せず）をさらに含んでもよい。デプス映像符号化部４６は、デプス映像の符号化情報、それに対応するカラー映像の符号化情報、及びカラー映像に対応するデプス映像の相関関係に係わる情報を含むビットストリームを生成することができる。それにより、デプス映像符号化装置４０は、カラー映像を符号化し、デプス映像符号化部４６は、符号化された後で復元されたカラー映像を利用して、カラー映像に対応するデプス映像を符号化することができる。特に、一実施形態によるデプス映像符号化部４６は、デプス映像の符号化時、対応するカラー映像との相関関係を考慮し、相関関係を決定するために、以前に符号化された後で復元されたカラー映像のブロックを、ピクセル値に基づいてパーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとにカラー映像とデプス映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、以前に符号化された後で復元されたカラー映像のブロックを分割するパーティションに対応するデプス映像のブロックの少なくとも１つのパーティションを予測することができる。

一実施形態によって、デプス映像符号化部４６は、デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割することができる。かように分割された符号化単位ごとに、画面内予測または画面間予測のうちいずれの予測モードで予測が行われるかということ決定される。

一実施形態によって、デプス映像符号化部４６は、符号化単位を、予測符号化のための少なくとも１つの予測単位に分割することができる。デプス映像予測モード決定部４４は、決定された符号化単位において画面内予測が行われるか否かということを決定することができる。すなわち、予測単位は、符号化単位に分割され、前記符号化単位において画面内予測が行われると決定される場合、前記符号化単位に分割された予測単位では、画面内予測が行われる。それに係わるシンタックスとして、図６Ａを参照すれば、図６Ａは、一実施形態によって、現在の符号化単位において、予測単位で遂行される予測モードを決定して符号化するためのシンタックスを図示している。現在符号化単位のためのシンタックスcoding＿unit（）６０は、デプス映像の予測単位の画面内予測モードを決定するための条件文及び反復文などを含んでもよい。デプス映像予測モード決定部４４は、現在符号化単位での予測モードに係わる情報であるＣｕＰｒｅｄMode［ｘ０］［ｙ０］が、ＭＯＤＥ＿INTRAであるか否かということに基づいて、予測モードを決定することができる。ｘ０及びｙ０は、現在符号化単位の左上側座標に係わる情報でもある。現在デプス映像の符号化単位に係わるスライスのslice＿typeがＩ−typeではない場合、条件文６２を満足しないために、ｃｕ＿skip＿flag［ｘ０］［ｙ０］が生成されない。ｃｕ＿skip＿flag［ｘ０］［ｙ０］が生成されない場合、ｃｕ＿skip＿flag［ｘ０］［ｙ０］は、０に該当するために、条件文６３を満足することになる。また、現在デプス映像の符号化単位に係わるスライスのslice＿typeがＩ−typeではない場合であるならば、条件文６４を満足しないために、ｐｒｅｄ＿mode＿flagが生成されない。その場合、ＣｕＰｒｅｄMode［ｘ０］［ｙ０］がＭＯＤＥ＿INTRAと同一であると見ることができるので、条件文６５を満足するので、条件文６６が実行される。

以下、デプス映像符号化装置４０の詳細な動作について、図４Ｂを参照して詳細に説明する。

図４Ｂは、一実施形態によるデプス映像符号化方法のフローチャートを図示している。

段階４０１において、デプス映像符号化装置３０は、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグを生成することができる。一実施形態によれば、第１フラグは、イントラコンツアー予測モードを遂行するか否かということを決定するのに利用される情報でもあり、intra＿contour＿flag［ｄ］を含んでもよい。以下では、説明上の便宜のために、第１フラグは、intra＿contour＿flag［ｄ］であるということを前提に説明する。

段階４０２において、デプス映像符号化装置４０は、第１フラグに基づいて、予測単位が、イントラコンツアー予測モードで予測が行われるか否かということを決定することができる。図６Ｂは、一実施形態によるintra＿contour＿flag［ｄ］６７を含む拡張シーケンスパラメータセットを図示している。拡張シーケンスパラメータセットは、従来使用されたシーケンスパラメータセットに付加的な情報を含むシーケンスパラメータセットである。一実施形態によって、拡張シーケンスパラメータセットは、デプス映像の符号化過程で利用される情報をさらに含むシーケンスパラメータセットであり、ｓｐｓ＿３ｄ＿extension（）６１に対応するものでもある。以下では、説明上の便宜のために、拡張シーケンスパラメータセットは、ｓｐｓ＿３ｄ＿extension（）６１であるということを前提に説明する。

一実施形態によれば、イントラコンツアー予測モードの使用に係わる情報は、ｓｐｓ＿３ｄ＿extension（）６１に含まれるintra＿contour＿flag［ｄ］６７でもあり、ｄは、現在ビューにデプス情報を含んでいるか否かということに係わる情報であるDepthFlagを意味する。デプス映像符号化装置３０は、現在符号化単位に含まれる予測単位ごとに、条件文６６を満足するか否かということを判断することができる。条件文６６は、現在の符号化単位において、デプスイントラ予測モードを遂行することができる場合、条件を満足する。すなわち、デプス映像予測モード決定部４４は、予測単位において、イントラコンツアー予測モードを遂行することができるか否かということを、当該符号化単位に係わるｓｐｓ＿３ｄ＿extension（）６１に含まれるintra＿contour＿flag［ｄ］６７を生成したか否かということに基づいて決定することができる。一実施形態によって、デプス映像予測モード決定部４４は、デプスイントラ予測モード（depth intra mode）において、イントラコンツアー予測モード（INTRA＿ＤＥＰ＿CONTOUR）であるＤＭＭ４予測を行うか否かということに係わる情報であるintra＿contour＿flag［ｄ］６７を生成することができる。デプス映像符号化方法においても、前記数式（１）を利用して、イントラコンツアー予測を行うか否かということに係わる情報を生成することができる。前記数式（１）を参照すればintra＿contour＿flag［ｄ］６７が１である場合、他の所定条件（ｎｕｈ＿layer＿ｉｄ＞０、及びtextOfＣｕｒViewAvailFlagが０ではない場合）を満足すれば、イントラコンツアー予測モードに係わる情報の値が１にもなる。イントラコンツアー予測モードに係わる情報は、デプス映像の予測単位において遂行されるデプスイントラモードのうちイントラコンツアー予測モードを示す任意の情報でもあり、IntraContourFlagを含んでもよい。以下では、説明上の便宜のために、イントラコンツアー予測モードに係わる情報は、IntraContourFlagであるということを前提に説明する。ここで、ｎｕｈ＿layer＿ｉｄは、ＮＡＬ（network abstraction layer） unit headerに含まれたシンタックス要素であり、既存の映像復号方法または映像符号化方法よりさらに拡張された情報を含む復号方法または符号化方法において使用されるシンタックス要素でもある。従って、従来の映像符号化過程または映像復号過程と異なり、一実施形態によるデプス映像復号方法においては、０ではないこともある。また、textOfＣｕｒViewAvailFlagは、現在のビュー（view）に対するカラー映像を利用することができるか否かということに係わる情報でもある。すなわち、デプス映像符号化装置４０が、デプス映像を符号化する過程において、現在ビュー（または、レイヤ）において、デプス映像のｎｕｈ＿layer＿ｉｄが０より大きく、当該ビューでカラー映像を利用することができ、ｎｕｈ＿layer＿ｉｄに該当するビューの予測単位において、イントラコンツアー予測モードが遂行されることを示す情報であるintra＿contour＿flag［DepthFlag］値が１である場合には、イントラコンツアー予測モードに係わる情報であるIntraContourFlagは１にもなり、その場合、条件文６６の条件を満足する。従って、デプス映像予測モード決定部４４は、intra＿contour＿flag［ｄ］に基づいて、デプスイントラ予測モードで予測が行われるか否かということを決定することができ、かようなデプスイントラ予測モードは、イントラコンツアー予測モードでもある。

一実施形態によって、条件文６６を満足する場合、デプス映像予測モード決定部４４は、現在の符号化単位に含まれた予測単位に係わるデプスイントラ予測を行うための機能を遂行することができる。デプス映像に係わるデプスイントラ予測が行われるためには、従来のイントラ予測モードとは別個の拡張された予測モードを遂行する機能が必要である。一実施形態によって、デプス映像予測モード決定部３４は、現在の符号化単位に含まれた予測単位に係わるデプスイントラ予測を行うためのシンタックス要素として、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）を利用することができる。デプス映像予測モード決定部４４は、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）を介して、現在位置の予測単位において、デプス映像でデプスイントラ予測が行われるか否かということ、及びデプスイントラ予測の種類に係わる情報を生成することができる。図６Ｃは、intra＿mode＿ｅｘｔ（ｘ０，ｙ０，log２ＰｂSize）において、ビットストリームから、第３フラグ及び第２フラグを獲得する過程について説明するためのシンタックスを図示している。第３フラグは、現在予測単位において、デプスイントラ予測が行われるか否かということに係わる情報を意味し、第２フラグは、デプスイントラ予測モードの種類を意味する。すなわち、第３フラグを利用して、デプス映像の予測単位において、イントラ予測のうちデプスイントラ予測が行われるか否かということが決定され、第２フラグによって、デプス映像でのイントラ予測モードのうちデプスイントラ予測モードの種類が区分されてもよい。一実施形態によれば、第２フラグは、depth＿intra＿mode＿flagでもあり、第３フラグは、ｄｉｍ＿not＿present＿flagでもある。以下では、説明上の便宜のために、第２フラグは、depth＿intra＿mode＿flag、第３フラグは、ｄｉｍ＿not＿present＿flagであるということを前提に説明する。前記表１を参照すれば、depth intra modeの値によって、デプスイントラ予測モードの種類が分類される。ここで、depth intra mode［ｘ０］［ｙ０］は、depth intra mode［ｘ０］［ｙ０］＝ｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］？−１：depth＿intra＿mode＿flag［ｘ０］［ｙ０］のようである。すなわち、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が、０または１である場合には、デプスイントラ予測を行うが、−１である場合には、デプスイントラ予測を行わない。デプス映像予測モード決定部４４は、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が０である場合、デプス映像のブロックを直線（wedgelet）に分割して予測するINTRA＿ＤＥＰ＿ＷＥＤＧＥモードに予測モードを決定することができ、depth＿intra＿mode＿flag［ｘ０］［ｙ０］が１である場合、デプス映像のブロックを曲線（contour）で分割して予測するINTRA＿ＤＥＰ＿CONTOURモードに予測モードを決定することができる。すなわち、一実施形態によって、デプス映像予測モード決定部４４は、予測単位において、イントラコンツアー予測モードで予測が行われるか否かということを、intra＿ｃｏｎｔｒｏｕ＿flag［ｄ］が１である場合、条件文６６を満足することにより、intra＿mode＿ｅｘｔ（ｘ０＋ｉ，ｙ０＋ｊ，log２ＰｂSize）を実行し、実行されたintra＿mode＿ｅｘｔ（ｘ０＋ｉ，ｙ０＋ｊ，log２ＰｂSize）において、ビットストリームから獲得したｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］が０であるか否かということを確認する。デプス映像予測モード決定部４４は、ｄｉｍ＿not＿present＿flag［ｘ０］［ｙ０］が０である場合、depth＿intra＿mode＿flag［ｘ０］［ｙ０］を生成し、INTRA＿ＤＥＰ＿CONTOURに対応する値であるか否かということを確認することができる。確認されたdepth＿intra＿mode＿flag［ｘ０］［ｙ０］値が、INTRA＿ＤＥＰ＿CONTOURに対応する値である場合、デプス映像予測モード決定部４４は、予測単位において、イントラコンツアー予測モードが遂行されると決定することができる。

段階４０２において、予測単位において、イントラコンツアー予測が行われると決定された場合、デプス映像符号化装置３０は、段階４０３において、デプス映像でイントラコンツアー予測を行うことができる。デプス映像符号化装置３０は、イントラコンツアー予測モードにおいて、デプス映像の予測単位に係わるスライスタイプがＩ−typeであるとしても、同一アクセス単位に含まれるカラー映像を参照して予測を行うことができる。

段階４０４において、デプス映像符号化装置３０は、段階４０３において、予測単位に対してイントラコンツアー予測を行った結果に基づいて、デプス映像を符号化することができる。

一実施形態による、デプス映像符号化装置４０及びデプス映像復号方法においては、デプス映像の情報が輝度情報で構成される４：０：０のフォーマットで復号され、ディスパリティ（disparity）情報が輝度情報で構成される４：０：０のフォーマットで復号されてもよい。さらには、デプス映像符号化装置４０及びデプス映像復号方法においては、３Ｄ映像具現のために、４：０：０のフォーマットで復号される輝度情報を利用することができる。

図７は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼ぶ。

符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されてもよい。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なっても決定される。従って、１つの最大符号化単位に対して、最終深度が少なくとも一つ設定され、最大符号化単位のデータは、少なくとも１つの最終深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０において、現在最大符号化単位に含まれる、ツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び変換が行われもする。予測符号化及び変換も、同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に予、測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用されもし、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。符号化単位が分割されたパーティションは、符号化単位、並びに符号化単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位が分割された形態のデータ単位、及び符号化単位と同一サイズのデータ単位を含んでもよい。予測の基盤になるパーティションは、「予測単位」とされる。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態による、ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図９ないし図１９を参照して詳細に説明する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの深度に基づいて符号化された最大符号化単位の映像データ、及び深度別分割情報をビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。

最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が最終深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が、最終深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が最終深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が少なくとも一つ存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位中において、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データに対して、深度及び分割情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ別、スライス別またはＧＯＰ別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存メクロブロック単位に符号化するならば、ピクチャ当たりメクロブロックの数が過度に多くなる。それによって、メクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率の低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

図４Ａを参照して説明したデプス映像符号化装置４０は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置１００を含んでもよい。例えば、第１レイヤ符号化部１２が、１つのビデオ符号化装置１００を含み、デプス映像符号化部１４が、第２レイヤの個数ほどのビデオ符号化装置１００を含んでもよい。

ビデオ符号化装置１００が第１レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。

ビデオ符号化装置１００が第２レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。

ビデオ符号化装置１００は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位についてのみ輝度補償が行われる。

図８は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置２００のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号装置２００は、「ビデオ復号装置２００」と縮約して呼ぶ。

一実施形態によるビデオ復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度、及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに映像データを復号する。

最大符号化単位別深度及び分割情報は、少なくとも１つの深度情報について設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報、及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出されもする。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号して映像を復元することができる。

一実施形態による、深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号部２３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号部２３０は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度であり、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して、復号することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。

図３を参照して説明したデプス映像復号装置３０は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号装置２００を視点数ほど含んでもよい。

第１レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。

第２レイヤ映像ストリームが受信された場合には、ビデオ復号装置２００の映像データ復号部２３０は、抽出部２２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号部２３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。

抽出部２２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報をビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位についてのみ輝度補償が行われる。

結局、ビデオ復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。

図９は、多様な実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が、１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図１０は、多様な実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００のピクチャ符号化部１２０において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部４２０は、現在映像４０５において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部４１５は、インターモードの符号化単位に対して、予測単位別に現在映像４０５及び復元ピクチャバッファ４１０で獲得された参照映像を利用してインター予測を行う。現在映像４０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。そのとき、最大符号化単位が、ツリー構造に分割される符号化単位に対してエンコーディングが行われる。

イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データを、現在映像４０５のエンコーディングされる符号化単位に係わるデータから差し引くことによってレジデュデータを生成し、該レジデュデータは、変換部４２５及び量子化部４３０を経て変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４４５、逆変換部４５０を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部４２０またはインター予測部４１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４５５及びＳＡＯ遂行部４６０を経て、復元映像に生成される。生成された復元映像は、復元ピクチュアバッファ４１０に保存される。復元ピクチャバッファ４１０に保存された復元映像は、他映像のインター予測のための参照映像に利用される。変換部４２５及び量子化部４３０で量子化された変換係数は、エントロピー符号化部４３５を経て、ビットストリーム４４０として出力される。

一実施形態による映像符号化部４００が、ビデオ符号化装置１００に適用されるために、映像符号化部４００の構成要素である、インター予測部４１５、イントラ予測部４２０、変換部４２５、量子化部４３０、エントロピー符号化部４３５、逆量子化部４４５、逆変換部４５０、デブロッキング部４５５及びＳＡＯ遂行部４６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。

特に、イントラ予測部４２０及びインター予測部４１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部４２５は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の四分木による変換単位の分割いかんを決定することができる。

図１１は、多様な実施形態による符号化単位に基づいた映像復号部５００のブロック図を図示している。

エントロピー復号部５１５は、ビットストリーム５０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部５２０及び逆変換部５２５は、量子化された変換係数からレジデュデータを復元する。

イントラ予測部５４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部５３５は、現在映像のうち、インターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ５３０で獲得された参照映像を利用してインター予測を行う。

イントラ予測部５４０またはインター予測部５３５を経た各モードの符号化単位に係わる予測データと、レジデュデータとが加えられることにより、現在映像４０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部５４５及びＳＡＯ遂行部５５０を経て、復元映像５６０として出力される。また、復元ピクチュアバッファ５３０に保存された復元映像は、参照映像として出力される。

ビデオ復号装置２００のピクチャ復号部２３０において映像データを復号するために、一実施形態による映像復号部５００のエントロピー復号部５１５以後の段階別作業が遂行される。

映像復号部５００が、一実施形態によるビデオ復号装置２００に適用されるために、映像復号部５００の構成要素である、エントロピー復号部５１５、逆量子化部５２０、逆変換部５２５、イントラ予測部５４０、インター予測部５３５、デブロッキング部５４５及びＳＡＯ遂行部５５０が、最大符号化単位ごとにツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。

特に、イントラ予測部５４０及びインター予測部５３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部５２５は、符号化単位ごとに四分木構造による変換単位の分割いかんを決定することができる。

図１０の符号化動作及び図１１の復号動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号動作について説明したものである。従って、図３Ａの符号化部１２が２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に映像符号化部４００を含んでもよい。類似して、、図４Ａの復号部２６が２以上のレイヤのビデオストリームを復号するならば、レイヤ別に映像復号部５００を含んでもよい。

図１２は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。

一実施形態による、ビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定されもし、ユーザの要求によって、多様に設定されもする。既設定符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の深度及びパーティションモードに選択される。

図１３は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１４は、多様な実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションモードに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティション形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションモードに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、該変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうちいずれか一つである。

一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号に利用することができる。

図１５は、多様な実施形態による深度別符号化単位を図示している。

深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード９１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割される必要はない。

サイズＮ＿０ｘＮ＿０のパーティションモード９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索して行く。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード９４６、サイズＮ＿１ｘＮ＿１のパーティションモード９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションモード９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索して行く。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８を含んでもよい。

パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションごとに、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションごとに、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが、深度の符号化モードに設定される。

かように深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、深度と決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる深度、及び予測単位に係わる情報を抽出し、符号化単位９１２を復号するのに利用することができる。一実施形態によるビデオ復号装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を深度と把握し、当該深度についての分割情報を利用して、復号に利用することができる。

図１６、図１７及び図１８は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８、１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションモードであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１０３２は、ＮｘＮのパーティションモードである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位において、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表２は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。

パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさに設定され、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を少なくとも一つ含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態において、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図１９は、表２の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。

例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１９を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（２）のように定義される。

CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （２）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（２）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても異なる。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。数式（３）において、「MaxTransformSize」は、最大変換単位サイズを示し、「ＰＵSize」、は現在予測単位サイズを示す。

「RootTuSize」＝min（MaxTransformSize，ＰＵSize） （３）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（４）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝min（MaxTransformSize，PartitionSize） （４）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。

図７ないし図１９を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）「ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１ないし図１９を参照して説明したデプス映像符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と総称する。また、先に図１ないし図１９を参照して説明したデプス映像復号方法及び／またはビデオ復号方法は、「本発明のビデオ復号方法」と総称する。

また、先に図１ないし図１９を参照して説明したデプス映像符号化装置４０、ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と総称する。また、先に図１ないし図１９を参照して説明したデプス映像復号装置３０、ビデオ復号装置２００または映像復号部５００で構成されたビデオ復号装置は、「本発明のビデオ復号装置」と総称する。

一実施形態によるプログラムが保存される、コンピュータで判読可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。

図２０は、多様な実施形態による、プログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤ（digital versatile disc）ディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００内の特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータグシステムについて、図２１を参照して説明する。

図２１は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラム、をディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、該プログラムがコンピュータシステム２６７００に伝送される。

図２０及び図２１に例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号方法が適用されたシステムについて説明する。

図２２は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２２に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。
カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

該ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

該クライアントは、符号化されたコンテンツデータを復号することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントが、符号化されたコンテンツデータを受信して再生する。また、コンテンツ供給システム１１０００は、クライアントが、符号化されたコンテンツデータを受信し、リアルタイムで復号して再生するようにし、個人放送（personal broadcasting）を可能にする。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号動作に、本発明のビデオ符号化装置及びビデオ復号装置が適用される。

図２３及び図２４を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

図２３は、多様な実施形態による本発明のビデオ符号化方法及びビデオ復号方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）によって受信されたり、他の形態によって獲得されたりするビデオや静止映像のように、符号化されるか復号されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２４は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作し、「電源ＯＦＦ」状態から「電源ＯＮ」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

携帯電話１２５００が、外部に通信データを送信する過程としては、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０においては、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して無線基地局１２０００に送出される。

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が外部から通信データを受信する過程においては、アンテナ１２５１０を介して受信された信号を周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経てアナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。

データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号部１２６９０の構造は、前述の本発明のビデオ復号装置の構造と相応する。映像復号部１２６９０は、前述の本発明のビデオ復号方法を利用して、符号化されたビデオデータを復号して復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。

それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号装置のみを含む受信端末機でもある。

本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２５は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図２５の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box)１２８７０、または他のデバイスによって復号されて再生される。

再生装置１２８３０において、本発明のビデオ復号装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に本発明のビデオ復号装置が搭載されもする。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２９００または無線基地局１１７００（図２２）から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によってハ、ードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２２）及びＴＶ受信機１２８１０も、図２４のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。

図２６は、多様な実施形態による、ビデオ符号化装置及びビデオ復号装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューディング資源１４２００及びユーザ端末機を含んでなる。

クラウドコンピューティングシステムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピューディング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューてぃんう資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューディング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望するほど選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、テブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューディング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューディング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報と、を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リスト、再生中の動画リスト、再生中の動画の停止時点などを含んでもよい。

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照して所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号してビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画についての再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機への選択によって、最初から再生するか、あるいは以前停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に当該動画を、停止時点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１ないし図１９を参照して説明した本発明のビデオ復号装置を含んでもよい。他の例として、ユーザ端末機は、図１ないし図１９を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１ないし図１９を参照して説明した、本発明のビデオ符号化装置及びビデオ復号装置をいずれも含んでもよい。

図１ないし図１９を参照して説明した、ビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置が活用される多様な実施形態について、図２０ないし図２６で説明した。しかし、図１ないし図１９を参照して説明した、ビデオ符号化方法及びビデオ復号方法が、記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号装置がデバイスで具現されたりする多様な実施形態は、図２０ないし図２６の実施形態に限定されるものではない。

以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないのである。

Claims (16)

1. デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグをビットストリームから獲得する段階と、
   前記第１フラグに基づいて、前記デプス映像の予測単位において、前記イントラコンツアー予測が行われるか否かということを決定する段階と、
   前記予測単位において、前記イントラコンツアー予測が行われると決定された場合、前記予測単位において、前記デプス映像と同じ視点及び同じアクセス単位に含まれるカラー映像のブロックを参照して、前記イントラコンツアー予測を行う段階と、
   前記予測を行った結果に基づいて、前記デプス映像を復号する段階と、を含むデプス映像復号方法。
2. 前記第１フラグは、前記デプス映像の復号のための付加的な情報をさらに含む拡張シーケンスパラメータセットに含まれることを特徴とする請求項１に記載のデプス映像復号方法。
3. 前記デプス映像復号方法は、
   前記ビットストリームから獲得されたカラー映像に係わる符号化情報に基づいて、前記カラー映像を復元する段階と、
   前記デプス映像の分割情報に基づいて、前記デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する段階と、
   前記符号化単位においてイントラ予測が行われるか否かということを決定する段階と、
   前記符号化単位を予測復号のための前記予測単位に分割する段階と、をさらに含み、
   前記イントラコンツアー予測が行われるか否かということを決定する段階は、前記符号化単位に対応するスライスタイプが、イントラスライスであるか否かということを決定する段階を含み、
   前記イントラスライスに該当するスライスタイプには、前記デプス映像において、イントラスライスのうち、前記カラー映像を参照する予測を行うことができるスライスである向上イントラスライスが含まれることを特徴とする請求項１に記載のデプス映像復号方法。
4. イントラコンツアー予測モードで予測が行われるか否かということを決定する段階は、
   前記ビットストリームから、デプスイントラ予測モードの使用に係わる情報である第２フラグを獲得するか否かということを決定する情報である第３フラグを獲得する段階と、
   前記第３フラグが０である場合、前記デプスイントラ予測モードで予測が行われると決定する段階と、を含むことを特徴とする請求項１に記載のデプス映像復号方法。
5. 前記予測を行う段階は、
   前記第３フラグが０である場合、前記第２フラグを前記ビットストリームから獲得する段階と、
   前記第２フラグがイントラコンツアー予測モードに係わる情報であるか否かということを決定する段階と、
   前記第２フラグが、前記イントラコンツアー予測モードに係わる情報である場合、前記予測単位において、前記イントラコンツアー予測モードを遂行する段階と、を含むことを特徴とする請求項４に記載のデプス映像復号方法。
6. 前記イントラコンツアー予測モードを遂行する段階は、前記デプス映像と同一なアクセス単位に含まれるカラー映像において、前記予測単位の位置に対応する位置のブロックを参照する段階と、
   前記参照結果に基づいて、前記予測単位で予測を行う段階と、を含むことを特徴とする請求項５に記載のデプス映像復号方法。
7. イントラ予測モードにおいて、デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグを生成する段階と、
   前記デプス映像の予測単位において、前記イントラコンツアー予測が行われるか、あるいは前記第１フラグに基づいて決定する段階と、
   前記予測単位が、前記イントラコンツアー予測モードで予測が行われると決定された場合、前記予測単位において、前記デプス映像と同じ視点及び同じアクセス単位に含まれるカラー映像のブロックを参照して、前記イントラコンツアー予測を行う段階と、
   前記予測を行った結果に基づいて、前記デプス映像を符号化する段階と、を含むデプス映像符号化方法。
8. 前記第１フラグは、前記デプス映像の復号のための付加的な情報をさらに含む拡張シーケンスパラメータセットに含まれることを特徴とする請求項７に記載のデプス映像符号化方法。
9. 前記デプス映像符号化方法は、
   カラー映像を符号化して生成された符号化情報を含むビットストリームを生成する段階と、
   前記デプス映像の最大符号化単位を、少なくとも１つの符号化単位に分割する段階と、
   前記符号化単位においてイントラ予測が行われるか否かということを決定する段階と、
   前記符号化単位を、予測復号のための前記予測単位に分割する段階と、をさらに含み、
   前記イントラコンツアー予測が行われるか否かということを決定する段階は、前記予測単位に対応するスライスタイプが、イントラスライスであるか否かということを決定する段階を含み、
   前記イントラスライスに該当するスライスタイプには、前記カラー映像を参照する予測を行うことができるスライスである向上イントラスライスが含まれることを特徴とする請求項７に記載のデプス映像符号化方法。
10. 前記イントラコンツアー予測モードで予測が行われるか否かということを決定する段階は、
    デプスコンツアー予測モードが使用されるか否かということに係わる情報である第２フラグを獲得するか否かということを決定する情報である第３フラグを含むビットストリームを生成する段階と、
    前記第３フラグが０である場合、前記デプスイントラ予測モードで予測が行われると決定する段階と、を含むことを特徴とする請求項７に記載のデプス映像符号化方法。
11. 前記予測を行う段階は、
    前記第３フラグが０である場合、前記第２フラグを含む前記ビットストリームを生成する段階と、
    前記第２フラグがイントラコンツアー予測モードに係わる情報に係わるか否かということが決定する段階と、
    前記第２フラグが、前記イントラコンツアー予測モードに係わる情報に係わる場合、前記予測単位において、前記イントラコンツアー予測を行う段階と、を含むことを特徴とする請求項１０に記載のデプス映像符号化方法。
12. 前記イントラコンツアー予測を行う段階は、前記デプス映像と同一なアクセス単位に含まれるカラー映像において、前記予測単位の位置に対応する位置のブロックを参照する段階と、
    前記参照結果に基づいて、前記予測単位において、前記イントラコンツアー予測を行う段階と、を含むことを特徴とする請求項１１に記載のデプス映像符号化方法。
13. デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグをビットストリームから獲得し、前記第１フラグに基づいて、前記デプス映像の予測単位がイントラコンツアー予測モードで予測が行われるか否かということを決定するデプス映像予測モード決定部と、
    前記予測単位がイントラコンツアー予測モードで予測が行われると決定された場合、前記デプス映像において、前記デプス映像と同じ視点及び同じアクセス単位に含まれるカラー映像のブロックを参照して、イントラコンツアー予測を行い、前記予測を行った結果に基づいて、前記デプス映像を復号するデプス映像復号部と、を含むデプス映像復号装置。
14. デプス映像の画面内予測に係わるイントラコンツアー予測モードの使用に係わる情報である第１フラグを生成し、前記第１フラグに基づいて、予測単位がイントラコンツアー予測モードで予測が行われるか否かということを決定するデプス映像予測モード決定部と、
    前記予測単位がイントラコンツアー予測モードで予測が行われると決定された場合、前記予測単位において前記デプス映像と同じ視点及び同じアクセス単位に含まれるカラー映像のブロックを参照して、イントラコンツアー予測を行い、前記予測を行った結果に基づいて、前記デプス映像を符号化するデプス映像符号化部と、を含むデプス映像符号化装置。
15. 請求項１ないし６のうちいずれか１項に記載のデプス映像復号方法を実行するためのプログラムが保存されたコンピュータ可読記録媒体。
16. 請求項７ないし１２のうちいずれか１項に記載のデプス映像符号化方法を実行するためのプログラムが保存されたコンピュータ可読記録媒体。