JP6545796B2 - ビデオコーディングにおけるデプスピクチャコーディング方法及び装置 - Google Patents

Description

本発明は、ビデオコーディングに関し、より詳しくは、ビデオコーディングにおけるデプスピクチャコーディング方法及び装置に関する。

最近、高解像度、高品質の映像に対する要求が多様な応用分野において増加している。しかしながら、映像が高解像度を有し高品質になるほど、該当映像に関する情報量も共に増加する。

したがって、従来の有線又は無線広帯域回線のような媒体を利用して、映像情報を送信するか、または従来の格納媒体を利用して映像情報を格納する場合には、情報の送信費用と格納費用が増加するようになる。高解像度、高品質映像の情報を効果的に送信したり格納し、再生するために、高効率の映像圧縮技術を使用することができる。

一方、高解像度／大容量の映像を処理できるようになるにつれて、３Ｄビデオを利用したデジタル放送サービスが次世代放送サービスの一つとして注目されている。３Ｄビデオは、複数の視点（ｖｉｅｗ）チャネルを利用して現場感と没入感を提供できる。

３Ｄビデオは、ＦＶＶ（ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ）、ＦＴＶ（ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ＴＶ）、３ＤＴＶ、社会安全網（ｓｕｒｖｅｉｌｌａｎｃｅ）及びホームエンターテイメントのような多様な領域に使用されることができる。

シングルビュービデオ（ｓｉｎｇｌｅ ｖｉｅｗ ｖｉｄｅｏ）とは異なり、マルチビューを利用した３Ｄビデオは、同じＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）のビューの間に高い相関（ｃｏｒｒｅｌａｔｉｏｎ）を有する。マルチビュー映像は、隣接した複数のカメラ、即ち、複数視点（ｖｉｅｗ）を利用して全く同じ場面を同時に撮影するから、視差と若干の照明差を除外すると、ほとんど同じ情報を含んでいるので、互いに異なるビュー間の相関が高い。

したがって、マルチビュービデオのエンコード／デコードでは、互いに異なるビュー間の相関を考慮して、現在ビューのエンコード及び／またはデコードに必要な情報を獲得できる。例えば、現在ビューのデコード対象ブロックを他のビューのブロックを参照して予測またはデコードできる。

また、デプスピクチャとテクスチャピクチャは、同じ場面に対する情報を含んでいるため、互いに相関が高い。したがって、テクスチャピクチャを参照してデプスピクチャを予測し、またはデコーディングすることもできる。

本発明は、３Ｄビデオコーディングにおいて、現在ブロックを予測する方法及び装置を提供する。

本発明は、インタービュー動き予測（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ、ＩＭＶＰ）を実行する方法及び装置を提供する。

本発明は、ＩＭＶＰを実行するにあたって使用可能な参照ビューを設定する方法及び装置を提供する。

本発明は、デプスピクチャコーディングにおいて、現在ブロックのディスパリティ（ｄｉｓｐａｒｉｔｙ）を誘導する方法及び装置を提供する。

本発明は、現在ブロックのディスパリティを誘導するために使われる参照ビューインデックスを設定する方法及び装置を提供する。

本発明の一実施例によると、３Ｄビデオデコーディング方法を提供する。前記デコーディング方法は、参照ビュー（ｖｉｅｗ）及び所定値に基づいてディスパリティ値を取得するステップ、前記ディスパリティ値に基づいてデプスピクチャ内の現在ブロックの動き情報を導出するステップ、及び前記動き情報に基づいて前記現在ブロックの予測サンプルを生成するステップを含み、前記参照ビューは、参照ピクチャリスト内の参照ピクチャのビューであることを特徴とする。

本発明の他の実施例によると、３Ｄビデオデコーディング装置を提供する。前記デコーディング装置は、予測モード情報を含むビットストリームを受信してデコーディングするデコーディング部、前記参照ビュー（ｖｉｅｗ）及び所定値に基づいてディスパリティ値を取得し、前記ディスパリティ値に基づいてデプスピクチャ内の現在ブロックの動き情報を導出し、及び前記予測モード情報及び前記動き情報に基づいて前記現在ブロックの予測サンプルを生成する予測部を含み、前記参照ビューは、参照ピクチャリスト内の参照ピクチャのビューであることを特徴とする。

本発明によると、３Ｄビデオコーディングにおいて、現在ブロックのディスパリティベクトルを円滑に誘導することができる。

本発明によると、ベースビュー（ｂａｓｅ ｖｉｅｗ）をアクセスすることができない場合にも、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）内の使用可能な参照ビューインデックスに基づいてディスパリティベクトルを誘導することができ、コーディング効率を向上させることができる。

本発明が適用されることができる３Ｄビデオのエンコーディング及びデコーディング過程を概略的に説明する図面である。 本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図面である。 本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図面である。 本発明が適用されることができるマルチビュービデオコーディングの一例を概略的に説明するための図面である。 Ｗｅｄｇｅｌｅｔモードを概略的に示す図面である。 Ｃｏｎｔｏｕｒモードを概略的に示す図面である。 ＳＤＣ符号化方法を概略的に示す図面である。 ＩＶＭＰ方法を概略的に示す図面である。 本発明の実施例に係る３Ｄビデオエンコーディング方法を概略的に示す流れ図である。 本発明の実施例に係る３Ｄビデオデコーディング方法を概略的に示す流れ図である。

本発明は多様な変更を加えることができ、さまざまな実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは本発明を特定の実施形態に対して限定しようとするものではない。本明細書で使用する用語は単に特定の実施形態を説明するために使われたものであって、本発明の技術的思想を限定しようとする意図として使われるものではない。単数の表現は文脈上、明白に異なる意味として使用されない限り、複数の表現を含む。本明細書で、“含む”または“有する”などの用語は明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはその以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないことと理解されるべきである。

一方、本発明で説明される図面上の各構成はビデオエンコーディング装置／デコーディング装置で互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示されたものであって、各構成が互いに別のハードウェアや別のソフトウェアで実装されることを意味しない。例えば、各構成のうち、二つ以上の構成が合わさって一つの構成をなすこともでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／又は分離された実施形態も本発明の本質から逸脱しない限り、本発明の権利範囲に含まれる。

以下、添付した図面を参照して、本発明の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複した説明は省略する。

本明細書において、ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいてピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されることができ、必要によって、ピクチャ及びスライスは、互いに混用されることができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味する。また、特定のピクセルの値を示す用語として‘サンプル（ｓａｍｐｌｅ）’が使われることができる。サンプルは、一般的にピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル値のみを示すこともできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセットを示すことができる。

図１は、本発明が適用されることができる３Ｄビデオのエンコーディング及びデコーディング過程を概略的に説明する図面である。

図１を参照すると、３Ｄビデオエンコーダは、ビデオピクチャ及びデプスマップ（ｄｅｐｔｈ ｍａｐ）とカメラパラメータ（ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）をエンコーディングしてビットストリームで出力できる。

デプスマップは、対応するビデオピクチャ（テクスチャピクチャ）のピクセルに対してカメラと被写体との間の距離情報（深さ情報）で構成されることができる。例えば、デプスマップは、深さ情報をビットデプス（ｂｉｔ ｄｅｐｔｈ）によって正規化した映像である。このとき、デプスマップは、色差表現なしで記録された深さ情報で構成されることができる。デプスマップは、デプスマップピクチャまたはデプスピクチャと呼ばれることができる。

一般的に、被写体との距離とディスパリティは、互いに反比例するため、カメラパラメータを利用してデプスマップの深さ情報からビュー間の相関を示すディスパリティ情報を誘導することができる。

一般的な、カラー映像、即ち、ビデオピクチャ（テクスチャピクチャ）と共にデプスマップとカメラパラメータを含むビットストリームは、ネットワーク（ｎｅｔｗｏｒｋ）または格納媒体を介してデコーダに送信されることができる。

デコーダ側ではビットストリームを受信してビデオを復元することができる。デコーダ側で３Ｄビデオデコーダが利用される場合、３Ｄビデオデコーダは、ビットストリームからビデオピクチャとデプスマップ及びカメラパラメータをデコーディングすることができる。デコーディングされたビデオピクチャとデプスマップ、そしてカメラパラメータに基づいてマルチビュー（ｍｕｌｔｉ ｖｉｅｗ）ディスプレイに必要なビューを合成する（ｓｙｎｔｈｅｓｉｚｅ）することもできる。このとき、使われるディスプレイがステレオ（ｓｔｅｒｅｏ）ディスプレイである場合、復元されたマルチビューのうち二つのビューに対するピクチャを利用して３Ｄ映像をディスプレイすることができる。

ステレオビデオデコーダが使われる場合、ステレオビデオデコーダは、ビットストリームから両眼（ｅｙｅｓ）に各々入射される二つのピクチャを復元することができる。ステレオディスプレイでは、左眼に入射される左側映像と右眼に入射される右側映像の視差（ｖｉｅｗ ｄｉｆｆｅｒｅｎｃｅ）またはディスパリティ（ｄｉｓｐａｒｉｔｙ）を利用して立体映像をディスプレイすることができる。ステレオビデオデコーダと共にマルチビューディスプレイが使われる場合には、復元された二つのピクチャに基づいて異なるビューを生成してマルチビューをディスプレイすることもできる。

２Ｄデコーダが使われる場合には、２次元映像を復元して２Ｄディスプレイで映像を出力することができる。２Ｄディスプレイを使用するが、デコーダは、３Ｄビデオデコーダを使用したり、ステレオビデオデコーダを使用したりする場合には、復元された映像のうち一つを２Ｄディスプレイで出力することもできる。

図１の構成において、ビュー合成は、デコーダ側で実行されることもでき、ディスプレイ側で実行されることもできる。また、デコーダとディスプレイは、一つの装置であってもよく、別途の装置であってもよい。

図１では、説明の便宜のために、３Ｄビデオデコーダとステレオビデオデコーダ、そして２Ｄビデオデコーダが別途のデコーダであると説明したが、一つのデコーディング装置が３Ｄビデオデコーディング、ステレオビデオデコーディング、そして２Ｄビデオデコーディングを全て実行することもできる。また、３Ｄビデオデコーディング装置が３Ｄビデオデコーディングを実行し、ステレオビデオデコーディング装置がステレオビデオデコーディングを実行し、２Ｄビデオデコーディング装置が２Ｄビデオデコーディングを実行することもできる。さらに、マルチビューディスプレイが２Ｄビデオを出力したりステレオビデオを出力したりすることもできる。

図２は、本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図面である。

図２を参照すると、ビデオエンコーディング装置２００は、ピクチャ分割部２０５、予測部２１０、減算部２１５、変換部２２０、量子化部２２５、再整列部２３０、エントロピーエンコーディング部２３５、逆量子化部２４０、逆変換部２４５、加算部２５０、フィルタ部２５５及びメモリ２６０を含む。

ピクチャ分割部２０５は、入力されたピクチャを少なくとも一つの処理ユニットブロック（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ｂｌｏｃｋ）に分割できる。このとき、処理ユニットブロックは、コーディングユニットブロック（ｃｏｄｉｎｇ ｕｎｉｔ ｂｌｏｃｋ）、予測ユニットブロック（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ ｂｌｏｃｋ）または変換ユニットブロック（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ ｂｌｏｃｋ）である。コーディングユニットブロックは、コーディングのユニットブロックであって、最大（ｌａｒｇｅｓｔ）コーディングユニットブロックからクアッドツリー構造（ｑｕａｄ−ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）によって分割（ｓｐｌｉｔ）されることができる。予測ユニットブロックは、コーディングユニットブロックからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるブロックであって、サンプル予測のユニットブロックである。このとき、予測ユニットブロックは、サブブロック（ｓｕｂ ｂｌｏｃｋ）に分けられる。変換ユニットブロックは、コーディングユニットブロックからクアッドツリー構造によって分割されることができ、変換係数によって誘導するユニットブロックまたは変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットブロックである。

以下、コーディングユニットブロックは、コーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）またはコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれ、予測ユニットブロックは、予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）または予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）と呼ばれ、変換ユニットブロックは、変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）と呼ばれることができる。

予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数またはレジデュアルサンプルのアレイを含むことができる。

予測部２１０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成することができる。予測部２１０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。

予測部２１０は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定することができる。一例として、予測部２１０は、ＣＵ単位にイントラ予測またはインター予測が適用されるかを決定することができる。

イントラ予測の場合、予測部２１０は、現在ブロックが属するピクチャ（以下、現在ピクチャ）内の現在ブロックの外部の参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部２１０は、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）またはインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ii）現在ブロックの隣接参照サンプルのうち予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することができる。（ｉ）の場合は非方向性モードと呼ばれ、（ii）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードと呼ばれることができる。予測部２１０は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測の場合、予測部２１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部２１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部２１０は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って、予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）で利用して現在ブロックの動きベクトル予測子で利用して現在ブロックの動きベクトルを誘導することができる。

インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含む。前記時間的隣接ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして利用されることもできる。

マルチビューの場合、独立ビュー（ｉｎｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）と従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）とに区分されることができ、従属ビューに対するエンコーディングの場合、予測部２１０は、インター予測だけでなく、インタービュー（ｉｎｔｅｒ−ｖｉｅｗ）予測を実行することもできる。

予測部２１０は、他のビューのピクチャを含んで参照ピクチャリストを構成することができる。インタービュー予測のために、予測部２１０は、ディスパリティベクトルを誘導することができる。現在ビュー内の他のピクチャで現在ブロックに対応するブロックを特定する動きベクトルと違って、ディスパリティベクトルは、現在ピクチャと同じＡＵ（ａｃｃｅｓｓ ｕｎｉｔ）の他のビューで現在ブロックに対応するブロックを特定することができる。ＡＵは、例えば、マルチビューで、同じ時点（ｓａｍｅ ｔｉｍｅ ｉｎｓｔａｎｃｅ）に対応する（ｃｏｒｒｅｓｐｏｎｄ）ビデオピクチャ及びデプスマップを含むことができる。ここで、ＡＵは、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）が同じピクチャのセットを意味する。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区別されることができる。

予測部２１０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ ｖｉｅｗ）内のデプスブロック（ｄｅｐｔｈ ｂｌｏｃｋ）を特定することができ、マージリストの構成、インタービュー動き予測（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを実行することができる。

現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から誘導されたり、現在または他のビュー内の隣接ブロックの動きベクトルまたはディスパリティベクトルから誘導されることができる。

例えば、予測部２１０は、参照ビュー（ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ）の時間的動き情報に対応するインタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：ＩｖＭＣ）、ディスパリティベクトルに対応するインタービューディスパリティベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ：ＩｖＤＣ）、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により誘導されるシフテッドインタビューマージ候補（ｓｈｉｆｔｅｄ ＩｖＭＣ）、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャピクチャから誘導されるテクスチャマージ候補（ｔｅｘｔｕｒｅ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：Ｔ）、テクスチャマージ候補からディスパリティを利用して誘導されるディスパリティ誘導マージ候補（ｄｉｓｐａｒｉｔｙ ｄｅｒｉｖｅｄ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ：Ｄ）、ビュー合成に基づいて誘導されるビュー合成予測候補（ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ ｃａｎｄｉｄａｔｅ：ＶＳＰ）などをマージ候補リストに追加できる。

このとき、従属ビューに適用されるマージ候補リストに含まれる候補の個数は、所定値に制限されることができる。

また、予測部２１０は、インタービュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部２１０は、対応する深さブロック内の最大深さ値の変換（ｃｏｎｖｅｒｓｉｏｎ）に基づいてディスパリティベクトルを誘導することができる。参照ビュー内の現在ブロックのサンプル位置にディスパリティベクトルを加えて参照ビュー内の参照サンプルの位置が特定されると、参照サンプルを含むブロックを参照ブロックとして利用できる。予測部２１０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータまたは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをディスパリティ補償予測（ｄｉｓｐａｒｉｔｙ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ：ＤＣＰ）のための候補ディスパリティベクトルとして利用できる。

減算部２１５は、原本サンプルと予測サンプルとの間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、前述したようにレジデュアルサンプルを生成しない。

変換部２２０は、変換ブロック単位にレジデュアルサンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。量子化部２２５は、変換係数を量子化し、量子化された変換係数を生成することができる。

再整列部２３０は、量子化された変換係数を再整列する。再整列部２３０は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。

エントロピーエンコーディング部２３５は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのようなエンコーディング方法を含むことができる。エントロピーエンコーディング部２３５は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエンコーディングすることもできる。エントロピーエンコーディングされた情報は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位に送信または格納されることができる。

加算部２５０は、レジデュアルサンプルと予測サンプルを加えてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックが生成されることができる。ここで、加算部２５０を別途の構成で説明したが、加算部２５０は、予測部２１０の一部であってもよい。

復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対してフィルタ部２５５は、デブロッキングフィルタ及び／またはサンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応的オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪曲が補正されることができる。サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。

メモリ２６０は、復元ピクチャまたはエンコーディング／デコーディングに必要な情報を格納することができる。例えば、メモリ２６０は、インター予測／インタービュー予測に使われる（参照）ピクチャを格納することができる。このとき、インター予測／インタービュー予測に使われるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されることができる。

ここでは、一つのエンコーディング装置が独立ビュー及び従属ビューをエンコーディングすると説明したが、これは説明の便宜のためのものに過ぎず、各ビュー別に別途のエンコーディング装置が構成されたり、各ビュー別に別途の内部モジュール（例えば、各ビュー別予測モジュール）が構成されたりすることもできる。

図３は、本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図面である。

図３を参照すると、ビデオデコーディング装置３００は、エントロピーデコーディング部３１０、再整列部３２０、逆量子化部３３０、逆変換部３４０、予測部３５０、加算部３６０、フィルタ部３７０、メモリ３８０を含む。

ビデオ情報を含むビットストリームが入力されると、ビデオデコーディング装置３００は、ビデオエンコーディング装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。

例えば、ビデオデコーディング装置３００は、ビデオエンコーディング装置で適用された処理ユニットを利用してビデオデコーディングを実行することができる。したがって、ビデオデコーディングの処理ユニットブロックは、コーディングユニットブロック、予測ユニットブロックまたは変換ユニットブロックである。コーディングユニットブロックは、デコーディングのユニットブロックであって、最大コーディングユニットブロックからクアッドツリー構造によって分割されることができる。予測ユニットブロックは、コーディングユニットブロックからパーティショニングされるブロックであって、サンプル予測のユニットブロックである。このとき、予測ユニットブロックは、サブブロックに分けられる。変換ユニットブロックは、コーディングユニットブロックからクアッドツリー構造によって分割されることができ、変換係数を誘導するユニットブロックまたは変換係数からレジデュアル信号を誘導するユニットブロックである。

エントロピーデコーディング部３１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに対する変換係数の量子化された値を出力することができる。

３Ｄビデオを再生するために、複数のビュー（ｖｉｅｗ）を処理する場合、ビットストリームは、各ビュー別に入力されることができる。または、ビットストリーム内で各ビューに対する情報がマルチプレクシングされている。この場合、エントロピーデコーディング部３１０は、ビットストリームを逆多重化（ｄｅ−ｍｕｌｔｉｐｌｉｘｉｎｇ）してビュー別にパーシング（ｐａｒｓｉｎｇ）することもできる。

再整列部３２０は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部３２０は、エンコーディング装置で実行された係数スキャニングに対応して再整列を実行することができる。

逆量子化部３３０は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。

逆変換部３４０は、変換係数を逆変換してレジデュアルサンプルを誘導することができる。

予測部３５０は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測ブロックを生成することができる。予測部３５０で実行される予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。

予測部３５０は、イントラ予測を適用するか、インター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測のうちいずれかを適用するかを決定する単位と予測サンプルを生成する単位は異なる。併せて、インター予測とイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測とイントラ予測のうちいずれかを適用するかは、ＣＵ単位に決定できる。また、例えば、インター予測において、ＰＵ単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位に予測モードを決定して、ＴＵ単位に予測サンプルを生成することもできる。

イントラ予測の場合に、予測部３５０は、現在ピクチャ内の隣接参照サンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部３５０は、現在ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを利用して現在ブロックに適用する予測モードが決定されることもできる。

インター予測の場合に、予測部３５０は、参照ピクチャ上で動きベクトルにより、参照ピクチャ上で特定されるサンプルに基づいて現在ブロックに対する予測サンプルを誘導することができる。予測部３５０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード及びＭＶＰモードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。

スキップモードとマージモードの場合に、隣接ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。

予測部３５０は、使用可能な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含むことができる。スキップモードとマージモードで時間的隣接ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることができる。

スキップモードの場合、マージモードと違って、予測サンプルと原本サンプルとの間の差（レジデュアル）が送信されない。

ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）で利用して現在ブロックの動きベクトルが誘導されることができる。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含むことができる。

従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）に対する場合に、予測部３５０は、インタービュー予測を実行することができる。このとき、予測部３５０は、他のビューのピクチャを含んで参照ピクチャリストを構成することができる。

インタービュー予測のために、予測部３５０は、ディスパリティベクトルを誘導することができる。予測部３５０は、ディスパリティベクトルに基づいて、デプスビュー（ｄｅｐｔｈ ｖｉｅｗ）内のデプスブロックを特定することもでき、マージリストの構成、インタービュー動き予測（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）、レジデュアル予測、ＩＣ（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、ビュー合成などを実行することができる。

現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から誘導されたり、現在または他のビュー内の隣接ブロックの動きベクトルまたはディスパリティベクトルから誘導されたりすることができる。カメラパラメータは、エンコーディング装置からシグナリングされることができる。

従属ビューの現在ブロックにマージモードを適用する場合に、予測部３５０は、参照ビュー（ｒｅｆｅｒｎｅｃｅ ｖｉｅｗ）の時間的動き情報に対応するＩｖＭＣ、ディスパリティベクトルに対応するＩｖＤＣ、ディスパリティベクトルのシフト（ｓｈｉｆｔ）により誘導されるシフテッドＩｖＭＣ、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャピクチャから誘導されるテクスチャマージ候補（Ｔ）、テクスチャマージ候補からディスパリティを利用して誘導されるディスパリティ誘導マージ候補（Ｄ）、ビュー合成に基づいて誘導されるビュー合成予測マージ候補（ＶＳＰ）などをマージ候補リストに追加できる。

このとき、従属ビューに適用されるマージ候補リストに含まれる候補の個数は、所定値に制限されることができる。

また、予測部３５０は、インタービュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部３５０は、ディスパリティベクトルにより特定される参照ビュー内のブロックを参照ブロックとして利用できる。予測部３５０は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータまたは動きベクトル予測子候補として利用でき、前記ディスパリティベクトルをディスパリティ補償予測（ｄｉｓｐａｒｉｔｙ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ：ＤＣＰ）のための候補ディスパリティベクトルとして利用できる。

加算部３６０は、レジデュアルサンプルと予測サンプルを加えて現在ブロックまたは現在ピクチャを復元することができる。加算部３６０は、レジデュアルサンプルと予測サンプルをブロック単位に加えて現在ピクチャを復元することもできる。スキップモードが適用された場合にはレジデュアルが送信されないため、予測サンプルが復元サンプルになることができる。ここでは、加算部３６０を別途の構成で説明したが、加算部３６０は、予測部３５０の一部であってもよい。

フィルタ部３７０は、復元されたピクチャにデブロッキングフィルタリング及び／またはサンプル適応的オフセットを適用することができる。このとき、サンプル適応的オフセットは、サンプル単位に適用されることができ、デブロッキングフィルタリング以後に適用されることもできる。

メモリ３８０は、復元ピクチャまたはデコーディングに必要な情報を格納することができる。例えば、メモリ３８０は、インター予測／インタービュー予測に使われるピクチャを格納することができる。このとき、インター予測／インタービュー予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。

また、メモリ３８０は、復元されたピクチャを出力順序によって出力することもできる。図示されていないが、３Ｄ映像を再生するために、出力部は、複数の互いに異なるビューをディスプレイすることができる。

図３の例では、一つのデコーディング装置で独立ビュー（ｉｎｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）と従属ビュー（ｄｅｐｅｎｄｅｎｔ ｖｉｅｗ）がデコーディングされると説明したが、これは説明の便宜のためのものに過ぎず、本発明はこれに限定されるものではない。例えば、ビュー別に各々のデコーディング装置が動作することもでき、一つのデコーディング装置内の各ビューに対応する内部モジュール（例えば、予測モジュール）が備えられることもできる。

マルチビュービデオコーディングは、現在ピクチャと同じＡＵ（ａｃｃｅｓｓ ｕｎｉｔ）に属する他のビューのデコーディングデータを利用して現在ピクチャをコーディングすることで、現在ビューに対するビデオコーディング効率を上げることができる。

マルチビュービデオコーディングでは、ＡＵ単位にビューをコーディングすることができ、ビュー単位にピクチャをコーディングすることもできる。ビュー間には決められた順序によってコーディングが進行される。他のビューの参照なしでコーディングされることができるビューをベースビュー（ｂａｓｅ ｖｉｅｗ）または独立ビューということができる。また、独立ビューがコーディングされた後、独立ビューまたは他のビューを参照してコーディングされることができるビューを従属ビューまたは拡張ビューということができる。また、現在ビューが従属ビューである場合、現在ビューのコーディングに参照されるビューを参照ビューということもできる。ここで、ビューをコーディングするとは、該当ビューに属するテクスチャピクチャ、デプスピクチャなどをコーディングすることを含む。

図４は、本発明が適用されることができるマルチビュービデオコーディングの一例を概略的に説明するための図面である。

マルチビュービデオをコーディングする場合、一つのＡＵ内のビューＩＤが異なり、ＰＯＣが同じピクチャは、あらかじめ定義されたビューコーディング順序（ｖｉｅｗ ｃｏｄｉｎｇ ｏｒｄｅｒ）によってコーディングされる。

例えば、図４に示すように、二つのビュー（ビューＶ０及びビューＶ１）をコーディングし、ビューコーディング順序がビューＶ０、ビューＶ１の順序である場合を仮定する。このとき、ＡＵ内の最初にコーディングされるビューであるＶ０は、他のビューの参照なしでコーディングされることができ、前記Ｖ０は、ベースビューまたは独立ビューになり、次にコーディングされるビューであるＶ１は、従属ビューになる。

ベースビューは、他のビューを参照せずに、ベースビューに属するピクチャを参照してコーディングされる。従属ビューは、ベースビューの次にコーディングされ、既にコーディングされた他のビューを参照してコーディングされる。

マルチビュービデオコーディングにおいて、従属ビューに属するＣＵは、既にコーディングされたピクチャを参照してインター予測を実行することができる。このとき、ビューＩＤが同じピクチャを参照して予測を実行する方法は、動き補償予測（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＭＣＰ）といい、同じＡＵ内のビューＩＤが異なるピクチャを参照して予測を実行する方法をディスパリティ補償予測（ｄｉｓｐａｒｉｔｙ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＤＣＰ）という。

例えば、図４を参照すると、Ａブロックは、自分と同じビュー（Ｖ１）に属するピクチャを参照して動きベクトルに基づいてＭＣＰを実行することで予測サンプルを誘導することができる。Ｂブロックは、同じＡＵ内の自分と異なるビュー（Ｖ０）のピクチャを参照してディスパリティベクトルに基づいてＤＣＰを実行することで予測サンプルを誘導することができる。マルチビュービデオをコーディングする時、異なるビューのピクチャを利用することができ、同じビューのデプスピクチャを利用することもできる。

例えば、ＤＣＰを実行して予測サンプルを誘導する場合、現在ブロック内の予測サンプルの位置（ｘ、ｙ）に対応する参照ビュー内の対応ピクチャのサンプルの位置（ｘ、ｙ）にディスパリティベクトルを加え、参照ビュー内の対応ピクチャの参照サンプルの位置を決定することができる。前記参照ビュー内の前記参照サンプルに基づいて前記予測サンプルを誘導することができる。一例として、ディスパリティベクトルは、ｘ軸成分のみを有している場合がある。この場合、ディスパリティベクトルは（ｄｉｓｐ、０）であり、参照サンプルの位置（ｘｒ、ｙ）は（ｘ＋ｄｉｓｐ、ｙ）に決定されることができる。ここで、ｄｉｓｐは、前記ディスパリティベクトルの値を示す。

一方、３Ｄビデオは、一般的なカラー映像情報を有するテクスチャピクチャ（または、ビデオピクチャ）と、テクスチャピクチャに対する深さ情報を有するデプスピクチャと、を含む。３Ｄビデオでは、同じＰＯＣに互いに異なる時点を有する複数個のテクスチャピクチャが存在し、前記複数個のテクスチャピクチャに各々対応するデプスピクチャが存在する。また、前記複数個のテクスチャピクチャは、互いに異なる時点を有する複数のカメラから取得されることができる。

デプスピクチャは、映像の各ピクセルが有する距離をグレースケール（ｇｒａｙ ｓｃａｌｅ）で格納しており、一つのブロック内では各ピクセル間の細かい深さの差が激しくなくて前景（ｆｏｒｅｇｒｏｕｎｄ）と背景（ｂａｃｋｇｒｏｕｎｄ）の二つに分けて表現できる場合が多い。また、深さマップビデオは、物体の境界では強い（ｓｔｒｏｎｇ）エッジを有し、境界でない位置ではほぼ一定の値（定数値）を有する特性を示す。

デプスピクチャは、テクスチャピクチャと類似の方法により、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）、動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、ディスパリティ補償（ｄｉｓｐａｒｉｔｙ ｃｏｍｐｅｎｓａｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）などを使用してエンコーディング及びデコーディングされることができる。しかし、デプスピクチャは、テクスチャピクチャと違って、ピクセル値の変化が大きくなくて強いエッジを有する特性を有しているため、デプスピクチャの特性を反映する新しいイントラ予測モードが使われることができる。

このようなデプスピクチャのためのイントラ予測モードでは、ブロック（または、デプスブロック）を二つの四角形でない（ｎｏｎ−ｒｅｃｔａｎｇｕｌａｒ）領域に分割（ｐａｒｔｉｔｉｏｎｉｎｇ）するモデル（ｍｏｄｅｌ）で表現し、分割された各領域は、定数値で表すことができる。

このように、デプスピクチャ内のブロックをモデリングして予測するイントラ予測モードをデプスモデリングモード（ＤＭＭ：Ｄｅｐｔｈ Ｍｏｄｅｌｌｉｎｇ Ｍｏｄｅ）という。ＤＭＭでは、デプスピクチャ内のブロックがどのように分割されるかに対するパーティション情報と各パーティションがどんな値で満たされるかに対する情報に基づいてデプスピクチャを予測することができる。

例えば、ＤＭＭは、分割（ｐａｒｔｉｔｉｏｎｉｎｇ）する方式によって、ＷｅｄｇｅｌｅｔモードとＣｏｎｔｏｕｒモードとに区分されることができる。

図５は、Ｗｅｄｇｅｌｅｔモードを概略的に示す図面である。

図５を参照すると、Ｗｅｄｇｅｌｅｔモードは、ブロック（または、デプスブロック、現在ブロック）内の二つの領域が直線により分割されることができる。即ち、直線ＳＥによって、前記ブロックは、Ｐ１領域及びＰ２領域に分割される。分割された領域は、各々、一つの定数値として予測値が生成されることができる。

図６は、Ｃｏｎｔｏｕｒモードを概略的に示す図面である。

図６を参照すると、Ｃｏｎｔｏｕｒモードは、ブロック（または、デプスブロック、現在ブロック）内の二つの領域が任意の曲線形態で分割されることができる。Ｃｏｎｔｏｕｒモードにおいて、前記ブロック内の二つの領域は、一つの幾何学的な（ｇｅｏｍｅｔｒｉｃ）関数により容易に表現されず、二つの領域は、任意のもようを有することができる。ここで、図５に示すように、各領域は、一つの塊でない分割された形態になることもできる。Ｃｏｎｔｏｕｒモードにおいて、領域分割は、デプスピクチャ内の現在ブロック（デプスブロック）に対応されるテクスチャピクチャ内の対応ブロック（テクスチャブロック）に基づいて実行されることができる。Ｃｏｎｔｏｕｒモードでも、分割された領域は、各々、一つの定数値として予測値が生成されることができる。

ブロックに対する予測値を生成した以後は既存のイントラ予測モードと同様に、原本サンプルと予測サンプルとの間の差を示すレジデュアル（または、レジデュアル信号）を計算し、変換（ｔｒａｎｓｆｏｒｍ）及び量子化（ｑｕａｎｔｉｚａｔｉｏｎ）を介して前記レジデュアル信号を送信することができる。

一方、ＳＤＣ（ｓｅｇｍｅｎｔ−ｗｉｓｅ ＤＣ ｃｏｄｉｎｇ）方法がデプスピクチャのために使われることができる。ＳＤＣでは、分割された領域に対して予測値の平均を利用してレジデュアル信号を生成することができる。ＳＤＣにおいて、レジデュアルデータは、変換及び量子化手順なしでコーディングされることができる。一般的に、デプスピクチャのサンプル（ピクセル）値は、最小値（例えば、０）から最大値（例えば、２５５）まで等しく分布せずに特定領域に集中的に分布し、ブロック単位で値の変化が大きくないという特性がある。このような特性を考慮してデプスルックアップテーブル（ｄｅｐｔｈ ｌｏｏｋｕｐ ｔａｂｌｅ、ＤＬＴ）を生成し、デプスルックアップテーブルを使用してデプスピクチャの深さ値をデプスルックアップテーブルのインデックス値に変換して符号化を実行する場合、符号化するビット数を減らすことができる。デプスルックアップテーブルを利用して生成されたレジデュアルブロックは、変換と量子化過程なしでエントロピーコーディングされることができる。即ち、ＳＤＣは、原本ピクチャの平均明度値と予測ピクチャの平均明度値との差のみを送信するレジデュアルコーディング方法とみることができる。

以下、ＳＤＣ方法に対してより具体的に説明する。

デプスピクチャのデプス値は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）またはスライス（ｓｌｉｃｅ）単位で送信される。この場合、デプスピクチャのデプス値は、ＤＬＴに基づいて送信されることができる。この場合、各々のＣＵまたはＰＵブロック単位でＳＤＣのための予測を実行する。

例えば、現在ブロック内の分割された各領域に対して（ＤＭＭの場合は二つの領域、プラナーモードの場合は一つの領域）イントラ予測されたデプス値の平均（ＤＣ_ｐｒｅｄ）と元のデプス値の平均（ＤＣ_ｏｒｇ）を計算し、計算された各々の平均値をＤＬＴに最も誤差が少ない値でマッピングして各インデックス値をさがすことができる。そして、元のデプス値と予測されたデプス値との間の差分値を符号化する代わりに、ＤＬＴでマッピングされた元のデプス値の平均（ＤＣ_ｏｒｇ）に対するインデックスと予測されたデプス値の平均（ＤＣ_ｐｒｅｄ）に対するインデックスとの間の差分値（ＳＤＣ_{ｒｅｓｉｄｕａｌ}）が符号化されることができる。ＳＤＣは、ＣＵブロック単位でフラグ情報により選択的に使われることができる。ＳＤＣが適用されるブロックに対してはＳＤＣモード情報が送信される。ＳＤＣモード情報が送信された以後には元のデプス値の平均（ＤＣ_ｏｒｇ）に対するインデックスと予測されたデプス値の平均（ＤＣ_ｐｒｅｄ）に対するインデックスとの差分値（ＳＤＣ_{ｒｅｓｉｄｕａｌ}）が送信される。

以下の数式１は、ＳＤＣ方法により現在ブロックに対する差分インデックス値を生成する過程を示す。

数式１において、Ｖａｌｕｅ２Ｉｄｘ（ｘ）は、ＤＬＴで入力されるｘ値に最も近い値を有するインデックスを示す。

図７は、ＳＤＣ符号化方法を概略的に示す図面である。

図７を参照すると、符号化する原本ブロックに対してＤＣ_ｏｒｇを求め、画面内予測により生成された予測ブロックに対してＤＣ_ｐｒｅｄを求めた後、ＤＣ_ｏｒｇとＤＣ_ｐｒｅｄを各々最も近いＤＬＴ値を有するインデックスでマッピングする。図６では、ＤＣ_ｏｒｇは、ＤＬＴインデックス２でマッピングされ、ＤＣ_ｐｒｅｄは、ＤＬＴインデックス４でマッピングされる。したがって、符号化過程では、前記二つのＤＬＴインデックスの差に該当する値２が符号化されて送信される。一方、ＤＣ_ｏｒｇとＤＣ_ｐｒｅｄのマッピング後、インデックス差がない場合が頻繁に発生し、効率的な処理のためにインデックス差が存在するかどうかを示すフラグを先に送信することができる。フラグ値が０である場合、ＤＣ_ｏｒｇとＤＣ_ｐｒｅｄとの間の差がないことを意味し、デコーダは、予測ブロックの平均値（ＤＣ_ｐｒｅｄ）で復元映像を生成することができる。もし、前記フラグ値が１である場合、ＤＣ_ｏｒｇとＤＣ_ｐｒｅｄとの間の差が存在することを意味し、この場合、前記インデックス差分値が送信される。インデックス差分値は、正数または負数が存在できるため、インデックス差分値の符号（ｓｉｇｎ）と大きさ（ｍａｇｎｉｔｕｄｅ）が各々送信されることができる。

一方、デプスピクチャが従属ビューに属する場合、テクスチャピクチャと同様に、参照ビューの対応ブロックにある動きベクトルなどの動き情報に基づいて現在ブロックの動き情報を導出するインタービュー動き予測（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ、ＩＶＭＰ）が使われることができる。

図８は、ＩＶＭＰ方法を概略的に示す図面である。

図８を参照すると、現在ピクチャ８１０内の現在ブロック８２０がコーディング（エンコーディング／デコーディング）される場合を仮定する。ここで、現在ピクチャ８１０は、デプスピクチャである。また、ここで、現在ブロック８２０は、予測ブロックであり、ＭＣＰベースにコーディングされたブロックである。ＩＶＭＰを適用する場合、インタービュー参照ピクチャ８３０内の対応ブロック８４０の動き情報に基づいて現在ブロック８２０の動き情報を導出することができる。対応ブロック８４０は、ディスパリティベクトルに基づいて誘導されることができる。

本発明によると、デプスピクチャのためのイントラ予測、ディスパリティ導出及びＳＤＣを効率的に実行するためのシグナリング方法が提供される。

一般的にイントラ予測に使われる予測ユニット（ＰＵ）大きさの範囲は、エンコーダで決定されることができる。しかし、変換ユニット（ＴＵ）の大きさによって、実際に予測されるＰＵの大きさが変わることができる。即ち、ブロック情報及び予測モードの送信は、ＰＵ単位で実行されるが、イントラ予測過程は、ＴＵ単位で実行される。イントラ予測では、符号化しようとする現在ブロックの隣接ブロックのピクセルが利用されるため、ＰＵの大きさとは別途にＴＵの大きさによって予測を実行する。即ち、イントラ予測過程では、ＴＵ単位ブロックの復元された隣接サンプルを利用してイントラ予測が実行される。これは復元された隣接ピクセルを使用して圧縮及びコーディング効率を上げるためである。したがって、イントラ予測が実行されるブロックの大きさは、ＴＵの大きさによって制限される。それに対し、デプスピクチャのための前述したＳＤＣ方法では変換及び量子化が使われないため、ＰＵに対してＴＵの大きさに関係なしで予測が実行されることができる。しかし、場合によって、エンコーダで提示する最大のＴＵの大きさより大きいブロックに対するイントラ予測が必要であり、そのためにＳＤＣ方法が適用されたブロックであるとしてもＴＵの大きさによってＰＵ予測を実行するように制限できる。一方、ＤＭＭの場合には、モードの特性上、ＰＵの大きさがＴＵの大きさより大きいとしてもブロックを分割して予測を実行することができない。したがって、ＴＵの大きさよりＰＵの大きさが大きい場合には、ＤＭＭが適用されないように制限されなければならない。このような制限を介してエンコーダで設定したＴＵの大きさより大きいブロックに対する予測過程は除外されることができる。

一方、前述したように、従属ビューの現在（デプス）ピクチャの現在ブロックに対するＩＶＭＰを実行するために、ディスパリティベクトルが必要である。テクスチャビューまたはテクスチャピクチャのためにＮＢＤＶ（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｆｒｏｍ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋｓ）またはＤｏＮＢＤＶ（Ｄｅｐｔｈ−ｏｒｉｅｎｔｅｄ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｄｅｒｉｖａｔｉｏｎ）が使われることと違って、デプスビューまたはデプスピクチャのためのディスパリティは、周辺に復号化されたデプス値から誘導され、または所定の（デプス）値から誘導されることができる。前記所定の（デプス）値は、デプス値範囲（ｄｅｐｔｈ ｖａｌｕｅ ｒａｎｇｅ）の中間値（ｍｉｄｄｌｅ ｖａｌｕｅ）である。また、前記所定値は“１＜＜（ビット深度（ＢｉｔＤｅｐｔｈ）−１）”である。ここで、前記ビット深度は、輝度サンプルに対して設定されたビット深度である。

ＩＶＭＰでは、参照ビューの対応ブロックから動きベクトルを有してくることができるため、ディスパリティベクトルを誘導する時、前記動きベクトルを有してくるための前記参照ビューを考慮しなければならない。一例として、前記参照ビューは、ベースビューに固定されずに、参照ピクチャリスト内の使用可能な参照ピクチャのビューに設定されることができる。また、前記ディスパリティベクトルを誘導するための参照ビューと前記動きベクトルを有してくるための参照ビューは、互いに同じように設定されることもできる。

例えば、前記ディスパリティベクトルは、以下の数式２のように誘導されることができる。

ここで、ＤｅｐｔｈＴｏＤｉｓｐａｒｉｔｙＢ［ｊ］［ｄ］は、現在ビューとデプス値ｄに相応するビューインデックス（ＶｉｅｗＩｄｘ）がｊであるビューとの間のディスパリティベクトルの水平成分を示す（ｔｈｅ ｈｏｒｉｚｏｎｔａｌ ｃｏｍｐｏｎｅｎｔ ｏｆ ａ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｂｅｔｗｅｅｎ ｔｈｅ ｃｕｒｒｅｎｔ ｖｉｅｗ ａｎｄ ｔｈｅ ｖｉｅｗ ｗｉｔｈ ＶｉｅｗＩｄｘ ｅｑｕａｌ ｊ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｅ ｄｅｐｔｈ ｖａｌｕｅ ｄ ｉｎ ｔｈｅ ｖｉｅｗ ｗｉｔｈ ＶｉｅｗＩｄｘ ｅｑｕａｌ ｔｏ ｊ）。即ち、ここで、ＤｅｆａｕｌｔＲｅｆＶｉｅｗＩｄｘは、前記ディスパリティベクトルを誘導するための参照ビューのインデックスを示す。この場合、前記動きベクトルを有してくるための参照ビューの参照ビュー順序インデックス（ｒｅｆｅｒｅｎｃｅ ｖｉｅｗ ｏｒｄｅｒ ｉｎｄｅｘ、ＲｅｆＶｉｅｗＩｄｘ）は前記ＤｅｆａｕｌｔＲｅｆＶｉｅｗＩｄｘと同じである。

一方、前述したように、ＳＤＣによると、現在ブロックに対する差分インデックス値が送信され、この場合、前記差分インデックス値は、二つのステップに分けて送信されることができ、または差分値として送信されることもできる。一例として、インデックス差分値の存在可否を示すフラグ情報が先に送信され、フラグ値が１の時、前記インデックス差分値が送信されることができる。この場合、差分値は、０を有することができない。したがって、この場合、前記インデックス差分値に対する符号は、常に送信されることができる。他の例として、前記インデックス差分値の存在有無を示すフラグ情報なしで前記インデックス差分値が送信されることができる。この場合、前記インデックス差分値は、０を有することができ、前記インデックス差分値に対する符号は、前記インデックス差分値が０でない場合にのみ送信されることができる。

図９は、本発明の実施例に係る３Ｄビデオエンコーディング方法を概略的に示す流れ図である。図９の方法は、前述した図２のビデオエンコーディング装置により実行されることができる。

図９を参照すると、エンコーディング装置は、ディスパリティベクトルを導出する（Ｓ９００）。前記ディスパリティベクトルは、デプスビューの現在ピクチャの現在ブロックに対するディスパリティベクトルである。エンコーディング装置は、前述したように、周辺に復号化されたデプス値から前記ディスパリティベクトルを導出し、または所定値から導出することができる。前記所定値は、デプス値範囲（ｄｅｐｔｈ ｖａｌｕｅ ｒａｎｇｅ）の中間値（ｍｉｄｄｌｅ ｖａｌｕｅ）である。また、前記所定値は“１＜＜（ビット深度（ＢｉｔＤｅｐｔｈ）−１）”である。ここで、前記ビット深度は、輝度サンプルに対して設定されたビット深度である。

エンコーディング装置は、前記現在ブロックに対する動き情報を導出する（Ｓ９１０）。エンコーディング装置は、参照ピクチャの決まった領域内で動き情報推定（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順によって現在ブロックと類似のブロックを探し、前記現在ブロックに対する動き情報を導出することができる。

エンコーディング装置は、前記現在ブロックに対する予測サンプルを生成する（Ｓ９２０）。エンコーディング装置は、前記予測サンプルとレジデュアルサンプル（信号）に基づいて現在ピクチャを復元することができ、前記復元されたピクチャは、他のピクチャのコーディングのための参照ピクチャとして活用されることができる。

エンコーディング装置は、ビデオデコーディングのためのビデオ情報をエンコーディングすることができる（Ｓ９３０）。エンコーディング装置は、ビデオ情報をエントロピーエンコーディングしてビットストリームに出力できる。出力されたビットストリームは、ネットワークを介して送信され、または格納媒体に格納されることができる。前記ビデオ情報は、現在ブロックを復元するための情報（例えば、予測モード情報及びレジデュアル信号）を含むことができる。前記ビデオ情報は、現在ブロックを復元するためのシンタックスエレメントの値を含むことができる。

図１０は、本発明の実施例に係る３Ｄビデオデコーディング方法を概略的に示す流れ図である。図１０の方法は、前述した図３のビデオデコーディング装置により実行されることができる。

図１０を参照すると、デコーディング装置は、ディスパリティ値を導出する（Ｓ１０００）。デコーディング装置は、ビットストリームに含まれているビデオ情報をエントロピーデコーディングし、参照ビュー（ｖｉｅｗ）及び所定値に基づいてデプスビュー内の現在ピクチャの現在ブロックに対するディスパリティ値を取得することができる。

デコーディング装置は、前述したように、周辺に復号化されたデプス値から前記ディスパリティベクトルを導出し、または所定値から導出することができる。前記所定値は、デプス値範囲（ｄｅｐｔｈ ｖａｌｕｅ ｒａｎｇｅ）の中間値（ｍｉｄｄｌｅ ｖａｌｕｅ）である。また、前記所定値は“１＜＜（ビット深度（ＢｉｔＤｅｐｔｈ）−１）”である。ここで、前記ビット深度は、輝度サンプルに対して設定されたビット深度である。前記デコーディング装置は、前述した数式２に基づいて前記ディスパリティベクトルを導出することができる。

前記参照ビューは、参照ピクチャリスト内の参照ピクチャのビューである。一例として、前記参照ビューは、前記参照ピクチャリスト内の１番目の参照ピクチャのビューである。

デコーディング装置は、前記ディスパリティ値に基づいて前記現在ブロックの動き情報を導出する（Ｓ１０１０）。デコーディング装置は、前述したＩＶＭＰ方法に基づいて現在ブロックの動き情報を導出することができる。この場合、前記現在ブロックの動き情報は、前記ディスパリティ値を利用してインタービュー参照ピクチャ上で導出される対応ブロックの動き情報に基づいて導出されることができる。ここで、前記対応ブロックの動き情報が現在ブロックの動き情報として使われることができる。前記動き情報は、動きベクトルを含む。ここで、前記インタービュー参照ピクチャが属するビューは、前記参照ビューと同じである。

デコーディング装置は、前記動き情報に基づいて前記現在ブロックの予測サンプルを生成する（Ｓ１０２０）。デコーディング装置は、前記動き情報及び前記デプスビュー（現在ビュー）内の参照ピクチャに基づいて前記現在ブロックの予測サンプルを生成することができる。即ち、デコーディング装置は、前記デプスビュー内の参照ピクチャ上で前記動き情報に基づいて導出されたブロックに基づいて前記予測サンプルを生成することができる。

デコーディング装置は、受信したビットストリームから現在ブロックに対するレジデュアルサンプルを生成することができ、生成した予測サンプルとレジデュアルサンプルに基づいて復元サンプルを誘導することで現在ピクチャを復元することができる。サンプルの復元は、ブロック単位またはピクチャ単位で実行されることができる。

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲で多様な修正及び変形が可能である。したがって、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、特許請求の範囲により解釈されなければならない。

本発明において、実施例がソフトウェアで実装される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で実装されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。

Claims (8)

1. ３Ｄビデオデコーディング方法であって、
   現在ビューと参照ビューに基づいてディスパリティ値を導出するステップと、
   前記ディスパリティ値に基づいて前記参照ビュー内の参照ピクチャ上で対応するブロックの動き情報を導出するステップと、
   前記ディスパリティ値に前記対応するブロックの前記動き情報に基づいて前記現在ビュー内のデプスピクチャ内の現在ブロックの動き情報を導出するステップと、
   前記現在ブロックの前記動き情報に基づいて前記現在ブロックの予測サンプルを生成するステップと、を含み、
   前記ディスパリティ値を導出するために利用された前記参照ビューは、参照ピクチャリスト内の前記参照ピクチャに対する前記参照ビューに等しく設定される、３Ｄビデオデコーディング方法。
2. 前記ディスパリティ値を導出するために利用された前記参照ビューは、前記参照ピクチャリスト内の１番目の参照ピクチャのビューである、請求項１に記載の３Ｄビデオデコーディング方法。
3. 前記ディスパリティ値を導出するために利用された前記参照ビューは、インタービュー参照ピクチャが属するビューと同じである、請求項１に記載の３Ｄビデオデコーディング方法。
4. 前記予測サンプルは、前記現在ビュー内の参照ピクチャ上で前記動き情報に基づいて導出されたブロックに基づいて生成される、請求項３に記載の３Ｄビデオデコーディング方法。
5. 前記デプスピクチャ内の前記現在ブロックのディスパリティ値は所定値に基づいてさらに取得され、
   前記所定値は、デプス値範囲の中間値である、請求項１に記載の３Ｄビデオデコーディング方法。
6. 前記デプスピクチャ内の前記現在ブロックのディスパリティ値は所定値に基づいてさらに取得され、
   前記所定値は、“１＜＜（ビット深度−１）”である、請求項１に記載の３Ｄビデオデコーディング方法。
7. 前記ビット深度は、輝度サンプルに対して設定されたビット深度である、請求項６に記載の３Ｄビデオデコーディング方法。
8. ３Ｄビデオデコーディング装置であって、
   現在ビューと参照ビューに基づいてディスパリティ値を導出するエントロピデコーディングモジュールと、
   前記ディスパリティ値に基づいて前記参照ビュー内の参照ピクチャ上で対応するブロックの動き情報を導出し、前記対応するブロックの前記動き情報に基づいて前記現在ビュー内のデプスピクチャ内の現在ブロックの動き情報を導出し、前記現在ブロックの前記動き情報に基づいて前記現在ブロックの予測サンプルを生成する予測モジュールと、を含み、
   前記ディスパリティ値を導出するために利用された前記参照ビューは、参照ピクチャリスト内の前記参照ピクチャに対する前記参照ビューに等しく設定される、３Ｄビデオデコーディング装置。

Images