JP6096217B2 - ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング - Google Patents

Description

優先権の主張

本出願は、その全体が参照により本明細書に組み込まれる、２０１２年１月５日に出願された米国仮出願第６１／５８３，４６９号の利益を主張する。

本開示は、ビデオコーディングに関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。

[0006]概して、本開示は、ビュー合成予測に関係する情報をコーディングするための技法について説明する。ビュー合成予測は、概して、ビュー間予測を使用してビューのピクチャをコーディングするときに参照ピクチャとして合成ビューコンポーネントが使用されるマルチビュービデオコーディングのためのビデオコーディング技法を指す。場合によっては、ビュー合成予測は使用可能（enabled）であり得るが、他の場合には、ビュー合成予測は使用不能(disabled)であり得る。本開示は、たとえば、ビットストリームまたはサブビットストリーム（マルチビュービットストリームの動作点など）のためにビュー合成予測が使用可能であるかどうかをシグナリングすることに関係する技法について説明する。このようにして、ビデオ復号デバイスは、たとえば、ビデオ復号デバイスがビュー合成予測を実行する能力があるかどうかに基づいて、ビットストリームまたはサブビットストリームが正常に復号され得るかどうかを決定し得る。さらに、ビデオ復号デバイスは、ビュー合成予測が使用不能なときにビュー合成を実行することを回避し得、それにより、処理リソースとバッテリー電力とを節約し得る。

[0007]一例では、方法は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、前記ビデオデータを使用してビュー合成ピクチャを生成することと、前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることとを含む。一方、ビュー合成予測がビデオデータのために使用可能でないことを前記情報が示すとき、本方法は、どのビュー合成ピクチャとも無関係に、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して現在のピクチャをコーディングすることを含み得る。

[0008]別の例では、デバイスは、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングするように構成されたビデオコーダを含む。ビュー合成予測がビデオデータのために使用可能であることを前記情報が示すとき、ビデオコーダは、ビデオデータを使用してビュー合成ピクチャを生成し、前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングし得る。

[0009]別の例では、デバイスは、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングする手段と、ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオデータを使用してビュー合成ピクチャを生成する手段と、ビュー合成予測がビデオデータのために使用可能であることを前記情報が示すとき、前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングする手段とを含む。

[0010]別の例では、コンピュータ可読記憶媒体は、実行されたとき、プログラマブルプロセッサに、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、ビュー合成予測がビデオデータのために使用可能であることを前記情報が示すとき、ビデオデータを使用してビュー合成ピクチャを生成することと、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることとを行わせる命令で符号化される。

[0011]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

ビュー合成予測に関係する情報をコーディングするための技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 ビュー合成予測に関係する情報をコーディングするための技法を実装し得るビデオエンコーダの一例を示すブロック図。 ビュー合成予測に関係する情報をコーディングするための技法を実装し得るビデオデコーダの一例を示すブロック図。 例示的なマルチビュービデオコーディング（ＭＶＣ：multi-view video coding）予測パターンを示す概念図。 ビュー合成予測に関係する情報をコーディングするための例示的な方法を示すフローチャート。 ビュー合成予測に関係する情報をコーディングするための別の例示的な方法を示すフローチャート。

[0018]概して、本開示は、マルチビュービデオデータ、たとえば、３次元（３Ｄ）効果を生成するために使用されるビデオデータをコーディングし処理するための技法について説明する。特に、本開示は、３Ｄビデオコーディングプロセスにおけるビュー合成予測サポートシグナリングに関係する。

[0019]ビデオ中で３次元効果を生成するために、シーンの２つのビュー、たとえば、左眼ビューと右眼ビューとが同時にまたはほぼ同時に示され得る。シーンの左眼ビューと右眼ビューとに対応する、同じシーンの２つのピクチャは、閲覧者の左眼と右眼との間の水平視差を表すわずかに異なる水平位置からキャプチャされ得る（または、たとえば、コンピュータ生成グラフィックとして生成され得る）。左眼ビューのピクチャが閲覧者の左眼によって知覚され、右眼ビューのピクチャが閲覧者の右眼によって知覚されるようにこれらの２つのピクチャを同時またはほぼ同時に表示することによって、閲覧者は３次元ビデオ効果を経験し得る。

[0020]本開示は、深度マップをもつピクチャの２つ以上のビューのコーディングを含む高度なコーデックに基づく３Ｄビデオコーディングに関係する。概して、本開示の技法は、多種多様なビデオコーディング規格のいずれかに適用され得る。たとえば、これらの技法は、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ（アドバンストビデオコーディング：advanced video coding）のマルチビュービデオコーディング（ＭＶＣ：multi-view video coding）拡張、次回の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格の３Ｄビデオ（３ＤＶ：3D video）拡張、または他のコーディング規格に適用され得る。次回のＨＥＶＣ規格の最近のドラフトは、文書ＨＣＴＶＣ−Ｉ１００３、Ｂｒｏｓｓら、「高効率ビデオコーディング（ＨＥＶＣ）テキスト仕様ドラフト７」、ＩＴＵ−Ｔ ＳＧ１６ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、第９回会合：ジュネーブ、スイス、２０１２年４月２７日〜２０１２年５月７日に記載されており、２０１２年８月２日の時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｉ１００３−ｖ１０．ｚｉｐからダウンロード可能である。説明のために、本開示の技法について、主に、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張またはＨＥＶＣの３ＤＶ拡張のいずれかに関して説明する。ただし、これらの技法が、３次元効果を生成するために使用されるビデオデータをコーディングするための他の規格にも適用され得ることを理解されたい。

[0021]マルチビューコーディング（またはステレオビューコーディング）に関係するビデオコーディング技法は、概して、ビュー間予測および／またはコーディング深度情報を含み得る。ビュー間予測は、概して、標準のイントラ予測またはインター予測を使用してベースビューのピクチャをコーディングし、次いで、ベースビューまたは他のビューに対して他のビューのピクチャを予測することを含む。このようにして、非ベースビューのいくつかのピクチャは、ベースビューまたは別の非ベースビューのピクチャに対して予測され得る。

[0022]一般に、ピクチャが参照ピクチャに対してコーディングされるとき、ビデオコーディングデバイスは、参照ピクチャリストのメンバーとして参照ピクチャをシグナリングする。したがって、ビュー間コーディングでは、参照ピクチャリストに追加される参照ピクチャは、たとえば、時間的予測のための現在のビューの他のピクチャに加えて、他のビューのピクチャを含み得る。参照ピクチャリスト構成プロセスは、時間的およびビュー予測参照をフレキシブルに構成することができる。参照ピクチャ選択および冗長ピクチャ機構がビュー次元に拡張され得るので、これは、潜在的なコーディング効率向上だけでなく誤り耐性も与え得る。参照ピクチャリスト構成は、次のステップを含み得る：１）（たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣにおいて指定されている）時間的（ビュー内（intra-view））参照ピクチャのための参照ピクチャリスト初期化プロセス、ここでは、他のビューからの参照ピクチャは考慮されない、２）たとえば、ビュー間（inter-view）参照ピクチャがＭＶＣ ＳＰＳ拡張で生じる順序で、ビュー間参照ピクチャをリストの最後に付加する、および３）ビュー内参照ピクチャとビュー間参照ピクチャの両方のための参照ピクチャリスト並替え（ＲＰＬＲ）プロセスを適用し、そこで、ビュー間参照ピクチャは、たとえばＭＶＣ ＳＰＳ拡張で指定されたそれらのインデックス値によってＲＰＬＲコマンド中で識別され得る。

[0023]上記のように、本開示の技法は、ＨＥＶＣの３ＤＶ拡張に適用され得る。Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）は、最近、ＨＥＶＣに基づく３Ｄビデオ規格化アクティビティを開始した。３Ｄビデオ（３ＤＶ）の現在のコンテキストでは、ビデオコーダは、マルチビュービットストリームの各ビューについてのテクスチャ情報（たとえば、ルミナンス／輝度およびクロミナンス／色）と深度情報との両方をコーディングし得る。これは、マルチビュービットストリームが単にテクスチャ情報のみをもつ複数のビューを含んでいるビットストリームである、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣビットストリームとは対照的である。３ＤＶビットストリームは、ＨＥＶＣに基づく３Ｄビデオ規格化コンテキストでは、複数のビューのコード化表現を含み得、複数のビューの各々が、テクスチャ情報（テクスチャビューコンポーネント）と深度情報（深度ビューコンポーネント）との両方を含み得る。３ＤＶはまた複数のビューのテクスチャを含んでいるが、場合によっては、３ＤＶビットストリームはマルチビュービットストリームに適合し得る。したがって、ＨＥＶＣのマルチビュー拡張において使用されるコーディングツールおよび高レベル機構がＨＥＶＣの３ＤＶ拡張または他のコーディング規格において再使用されるか、または後方互換性の形で拡張され得ることは簡単である。

[0024]深度情報を与えることによって、デバイスは、ビットストリーム中に与えられるビュー以外の様々なビューのためのピクチャをレンダリングし得る。たとえば、深度情報をもつ２つのビューがビットストリーム中に与えられている場合、クライアントデバイスは、たとえば、ビットストリームの２つのコード化ビューとの間に第３のビューのためのピクチャを生成するために深度情報を使用し得る。そのようなピクチャの生成は、深度画像ベースレンダリング（ＤＩＢＲ：depth image based rendering）と呼ばれる。ＤＩＢＲは、利用可能なテクスチャおよび深度画像に基づいてビューを生成するために使用され得る。そのような生成プロセスはビュー合成と呼ばれる。ビュー合成は、ビューの復号に続く後処理のために使用され得る（「ループ後（post-loop）」ビュー合成とも呼ばれる）。追加または代替として、ビュー合成は、ビュー間予測のために使用される参照ピクチャを生成するために使用され得る（「ループ内（in-loop）」ビュー合成とも呼ばれる）。ＤＩＢＲがテクスチャピクチャ、（一般に深度マップと呼ばれる）深度ピクチャ、またはその両方をレンダリングするために使用され得ることを理解されたい。概して、深度マップは、クロミナンス情報を含むことなしに、深度マップのピクセル値が輝度情報ではなく、対応するテクスチャ情報のための深度を表すことを除いて、テクスチャピクチャのルミナンス（ルーマ）データと同様に表される。

[0025]ビュー合成参照ピクチャ（ＶＳＲＰ：view synthesis reference picture）と呼ばれることがある、ビュー合成を使用して生成される参照ピクチャは、時間的インター予測参照ピクチャまたはビュー間参照ピクチャと同様の参照ピクチャとして使用され得る。ＶＳＲＰは参照ピクチャリスト中に含まれ得る。従来のコーディング技法のいくつかの特定の設計では、ＤＩＢＲを介してただ１つのＶＳＲＰを生成するために（深度をもつ）複数のビューが使用され得る。したがって、現在コーディングされているピクチャについて、ただ１つのＶＳＲＰがこれらの従来のコーディング技法において利用可能であり得る。

[0026]ビデオコーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、またはツール、およびそのアルゴリズム、機能、およびツールに適用される制約のサブセットに対応する。たとえば、ＨＥＶＣ ＷＤ７によって定義される「プロファイル」は、ＨＥＶＣ ＷＤ７によって指定されたビットストリームシンタックス全体のサブセットである。ＨＥＶＣ ＷＤ７によって定義される「レベル」は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットである。これらの制約は、値に関する単純な制限であり得る。代替的に、それらは、値の演算の組合せ（たとえば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数）に関する制約の形態をとり得る。このようにして、レベル値は、たとえば、ピクチャの解像度、ビットレート、およびマクロブロック（ＭＢ：macroblock）または最大コーディングユニット（ＬＣＵ：largest coding unit）処理レートに関係し得るデコーダメモリおよび計算など、デコーダリソース消費の制限に対応し得る。プロファイルはｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイルインジケータ）値でシグナリングされ得、レベルはｌｅｖｅｌ＿ｉｄｃ（レベルインジケータ）値でシグナリングされ得る。

[0027]動作点（operation point）は、概して、複数のビューを含むビットストリームのビューのフルセットの復号可能／表示可能ビューのサブセットに対応する。たとえば、ビットストリームが８つのビューを含む場合、動作点は、他の５つのビューなしに適切に復号または表示され得る、８つのビューのうちの３つに対応し得る。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張において定義されているように：
動作点は、ターゲット時間レベルを表すｔｅｍｐｏｒａｌ＿ｉｄ値と、ターゲット出力ビューを表すｖｉｅｗ＿ｉｄ値のセットとによって識別される。１つの動作点がビットストリームサブセットに関連付けられ、これは、ターゲット出力ビューと、ターゲット出力ビューが依存するすべての他のビューとからなり、入力としてｔｅｍｐｏｒａｌ＿ｉｄ値に等しいｔＩｄＴａｒｇｅｔと、ｖｉｅｗ＿ｉｄ値のセットからなるｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔとを用いて、［ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣの］Ｈ．８．５．３項において規定されているサブビットストリーム抽出プロセスを使用して導出される。同じビットストリームサブセットに２つ以上の動作点が関連付けられ得る。本仕様書で「動作点が復号される」と述べられているとき、それは、動作点に対応するビットストリームサブセットの復号と、ターゲット出力ビューの後続の出力とを指す。

[0028]本開示は、たとえば、ＨＥＶＣの３ＤＶ拡張およびＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張の従来のコーディング技法に関して生じ得るいくつかの問題を認識する。たとえば、ＶＳＲＰをサポートしない３Ｄビデオコーディングビットストリームのいくつかのプロファイル、レベル、または動作点があり得る。現在、ビットストリームをコーディングするビデオコーダがビュー合成予測をまったく行う必要がないかどうかの指示がない。したがって、本開示の技法がなければ、ビデオコーディングデバイスは、ＶＳＲＰを不必要に生成し得、それにより、処理効率が低下し、処理サイクルの浪費につながり得、それにより、不要なバッテリー消費を生じ得る。さらに、ビュー合成予測が使用可能であるときでも、１つのビューコンポーネントまたはビューコンポーネントの１つのスライスがビュー合成を使用しない可能性がある。これによっても、処理サイクルの浪費および／または不要なバッテリー消費につながり得る。概して、ビュー合成ピクチャを常に作成することは、不要な、無駄な計算につながり得る。

[0029]本開示では、ビュー合成予測に関して不要な計算を低減させるかまたはなくすための様々な技法について説明する。たとえば、ビデオコーディングデバイス、たとえばビデオエンコーダおよびビデオデコーダは、パラメータセット（たとえば、シーケンスパラメータセット（ＳＰＳ：sequence parameter set））に対応するピクチャがビュー合成を使用可能にされているかどうかを示す、ＳＰＳなどのパラメータセット中のフラグをコーディングし得る。いくつかのビデオコーディングプロファイル、たとえば、いくつかの３ＤＶプロファイルでは、このフラグは、ビュー合成予測がそのプロファイルに対応するビデオデータのために使用不能であることを示すために常に０に設定され得る。追加または代替として、ビデオコーディングデバイスは、対応するスライスがビュー合成予測を使用してコーディングされるかどうかを示すためにスライスヘッダ中のフラグをコーディングし得る。代替的に、このフラグは、スライスのためのピクチャパラメータセット（ＰＰＳ：picture parameter set）または適応パラメータセット（ＡＰＳ：adaptation parameter set）中でコーディングされ得る。このようにして、ビデオコーディングデバイスは、ビュー合成予測が使用可能であるかどうかを示す情報をコーディングし、ビュー合成予測が使用可能であるときのみ、ビュー合成ピクチャを生成し、生成されたビュー合成ピクチャに対して現在のピクチャをコーディングし得る。

[0030]同様に、ＡＶＣベースの３ＤＶでは、パラメータセット、すなわち、深度パラメータセット（深度距離パラメータセットとも呼ばれる）があり、それは、アクセスユニットごとに変更され、深度距離に関係する情報と潜在的にカメラパラメータとを含み得る。フラグは、深度パラメータセット中に存在し、ビュー合成予測が、深度パラメータセットを参照するスライスのために使用可能であるかどうかを示し得る。このようにして、適応パラメータセットと深度パラメータセットとは、アクセスユニットレベルパラメータセットの例を表す。

[0031]図１は、ビュー合成予測に関係する情報をコーディングするための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0032]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、符号化ビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[0033]いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイスから、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

[0034]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0035]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、ビュー合成予測に関係する情報をコーディングするための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0036]ビデオソース１８は、ビデオエンコーダ２０にビデオデータの複数のビューを与え得る。たとえば、ビデオソース１８は、各々が、撮影されている特定のシーンに対して一意の水平位置を有するカメラのアレイに対応し得る。代替的に、ビデオソース１８は、たとえば、コンピュータグラフィックスを使用して異種水平カメラの観点からビデオデータを生成し得る。場合によっては、ビデオソース１８はまた、深度データをキャプチャするかまたは生成するか、あるいはビデオエンコーダ２０に深度データを与えるように構成され得、一方、他の場合には、ビデオエンコーダ２０、またはソースデバイス１２の別のユニットは、たとえば、異なるビューのピクチャ間の水平視差に基づいて深度データを計算することができる。

[0037]図１の図示のシステム１０は一例にすぎない。ビュー合成予測に関係する情報をコーディングするための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。さらに、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオテレフォニーのための、ビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートし得る。

[0038]ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。

[0039]コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化されたビデオデータを受信し、宛先デバイス１４に符号化されたビデオデータを与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。したがって、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解されよう。

[0040]宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。いくつかの例では、ディスプレイデバイス３２は、たとえば、閲覧者のための３Ｄ視覚影響を生成するために、同時にまたは実質的に同時に２つ以上のビューを表示することが可能なデバイスを備え得る。ディスプレイデバイス３２は、仮想ビューのピクチャをレンダリングするために深度情報を使用するように構成され得る。代替的に、宛先デバイス１４の別個のユニットは、深度情報を使用して仮想ビューのピクチャをレンダリングし得る。

[0041]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格またはそれの３ＤＶ拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張など、そのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0042]ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。いくつかの態様では、本開示で説明する技法は、Ｈ．２６４規格に概して準拠するデバイスに適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ Ｓｔｕｄｙ Ｇｒｏｕｐによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と呼ぶことがある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣへの拡張に取り組み続けている。

[0043]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

[0044]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。

[0045]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。

[0046]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。

[0047]ＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最終的な分割されていない子ノードは、コーディングノードを備え、リーフＣＵとも呼ばれる。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格のコンテキストにおける同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

[0048]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形（たとえば、矩形）であり得る。

[0049]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。

[0050]リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、もしくはリストＣ）を記述し得る。

[0051]１つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。たとえば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットは、さらに、さらなるサブＴＵに分割され得る。ＴＵがさらに分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、概して、リーフＣＵのすべてのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングの場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。したがって、ＴＵはＰＵよりも大きくまたは小さくなり得る。イントラコーディングの場合、ＰＵは、同じＣＵについて対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。

[0052]その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（またはＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。

[0053]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。

[0054]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0055]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、Ｎは、非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。さらに、ブロックは、必ずしも、水平方向に垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。

[0056]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディング（たとえば、時間的インター予測またはビュー間予測）の後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵのための変換係数を生成し得る。

[0057]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、さらなる圧縮を行う、係数を表すために使用されるデータの量をできるだけ低減するために変換係数を量子化するプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。

[0058]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（したがってより高い周波数）の係数をアレイの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための、符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0059]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、相対的により短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられるコンテキストに基づき得る。

[0060]本開示の技法によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、ビュー合成予測が特定のビットストリームまたはサブビットストリーム（たとえば、複数のビューを含むビットストリームの動作点）のために使用可能であるかどうかを示す情報をコーディングするように構成され得る。ビデオエンコーダ２０は、たとえば、ビットストリームまたはサブビットストリームのためにビュー合成予測を使用可能にすべきかどうかを決定するように構成され得る。たとえば、ビデオエンコーダ２０は、ビュー合成予測を実行する能力がないビデオデコーダと後方互換性があるべきであるビットストリームをコーディングし得る。代替的に、ビデオエンコーダ２０は、ビュー合成予測が他の従来のコーディング方法よりもコーディング結果の改善をもたらさないと決定し、したがって、ビュー合成予測が使用可能にされるべきでないと決定し得る。いずれの場合も、ビデオエンコーダ２０は、ビュー合成予測がビットストリームまたはサブビットストリームのために使用可能であるかどうかを示す情報を符号化し得る。ビデオデコーダ３０は、次に、ビュー合成予測が使用可能であるかどうかを示す情報を復号し、ビュー合成予測が使用可能であることを情報が示すときにのみ、（ビュー合成参照ピクチャまたはＶＳＲＰとも呼ばれる）参照ピクチャとして使用するためにビュー合成ピクチャを生成し得る。

[0061]概して、ビュー合成予測を実行するために、ビデオエンコーダ２０またはビデオデコーダ３０などのビデオコーダは、合成ビューコンポーネントを生成するために１つまたは複数のビューのテクスチャおよび深度情報を使用し得る。このプロセスは、表示のためにテクスチャおよび深度情報を使用して合成ビューコンポーネントを生成するためのプロセスと実質的に同様である。しかしながら、ビュー合成予測では、合成ビューコンポーネント（すなわち、ピクチャ）は、異なるビューをコーディングするときに参照ピクチャとして使用するために参照ピクチャリストに追加され得る。ビュー合成予測は、テクスチャ情報または深度情報をコーディングするために参照ピクチャを生成するために使用され得る。もちろん、生成されたビュー合成ピクチャはまた、再生の一部としてクライアントデバイスによって表示され得る。追加または代替として、ビデオデコーダ３０、または後処理ユニット（図示せず）など、宛先デバイス１４の別のユニットは、再生のための合成ピクチャを生成するためにビュー合成を実行し得る。予測のために使用されるビュー合成ピクチャが表示され得るが、いくつかの例では、別個のピクチャは、表示のためにＤＩＢＲを使用して生成され得ることを理解されたい。予測のためのビュー合成画像は、コーディングまたは「ループ内」中に生成され得、一方、表示のためのビュー合成画像は、「ループ内」または「ループ後」で、すなわちコーディングに続いて生成され得る。

[0062]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ビデオパラメータセット（ＶＰＳ：video parameter set）、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）、ピクチャパラメータセット（ＰＰＳ：picture parameter set）、または適応パラメータセット（ＡＰＳ：adaptation parameter set）などのパラメータセットのシンタックス要素としてビュー合成予測が使用可能であるかどうかを示す情報をコーディングするように構成され得る。概して、ＶＰＳは、ビットストリームの１つまたは複数のレイヤ（たとえば、１つまたは複数のビュー）に適用され、ＳＰＳは、（たとえば、瞬時デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）ピクチャから始まり、後続のＩＤＲピクチャの直前のピクチャで終了する）特定のレイヤの一連のピクチャに適用され、ＰＰＳは、個別のピクチャに適用され、ＡＰＳは、ピクチャの個別のスライスに適用される。ビデオエンコーダ２０およびビデオデコーダ３０は、上記のデータ構造、たとえば、ＶＰＳ、ＳＰＳ、ＰＰＳ、および／またはＡＰＳのいずれかまたはすべての中で、ビュー合成予測が使用可能であるかどうかを示すシンタックス要素をコーディングし得る。

[0063]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＳＰＳ、ＰＰＳ、およびＡＰＳ中でシンタックス要素を階層的にコーディングし得る。たとえば、ビュー合成予測が使用可能でないことをＳＰＳ中のシンタックス要素が示す場合、ビュー合成予測が全シーケンスのために使用不能であるので、ＰＰＳおよびＡＰＳ中のシンタックス要素がシグナリングされる必要はない。したがって、ビュー合成予測が使用可能でないことをＳＰＳ中のシンタックス要素が示す場合、ビデオデコーダ３０は、ＳＰＳに対応するシーケンス中のピクチャおよびピクチャのスライスのＰＰＳおよびＡＰＳのシンタックス要素の値を推論し得、推論される値は、ビュー合成予測が使用不能であることを示す値である。

[0064]別の例として、ビュー合成予測が使用可能であることをＳＰＳ中のシンタックス要素が示す場合、ビュー合成予測が特定の対応するピクチャのために使用可能であるかどうかを示すためにＰＰＳ中に追加のシンタックス要素が与えられ得る。追加または代替として、ビュー合成予測が使用可能であることをＳＰＳ中のシンタックス要素が示す場合、ビュー合成予測に関して、同じピクチャのスライスのためのＡＰＳのシンタックス要素が同じ値を有するように、特定のピクチャの各スライスのためのＡＰＳ中に追加のシンタックス要素が与えられ得る。概して、ビュー合成は全参照ピクチャを合成することを伴い、したがって、ビュー合成予測がピクチャの１つのスライスのために使用可能である場合、ビュー合成予測は、ピクチャのすべてのスライスのために使用可能であると見なされる。いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、追加または代替として、スライスのスライスヘッダ中でシンタックス要素をコーディングし得る。さらに、同様のシンタックス要素が、上記で説明したように、スライスのためにシグナリングされることに加えて、またはその代替として、ピクチャのタイルまたは波面のために個々にシグナリングされ得る。

[0065]以下の表１は、本開示の技法のいくつかの例による、ＳＰＳについてのシンタックスの例示的なセットを与える。この例では、ＳＰＳは、３ＤＶのためのＳＰＳ拡張である。したがって、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣまたはＨＥＶＣなど、（表１で省略符号によって表されている）ベースコーディング規格の他のシンタックス要素は、対応するベースコーディング規格において定義されているシンタックス要素と同じままであり得る。

[0066]表１の例に示すように、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿３ｄｖｃ＿ｅｘｔｅｎｓｉｏｎ（）は、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのサブセットＳＰＳのための拡張の例を表す。しかしながら、ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、代替的に、たとえば、表２に示すように、ＳＰＳ自体中で直接シグナリングされ得る。

[0067]ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇについてのセマンティクスは次のように定義され得る。１に等しいｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＳＰＳを参照するビューコンポーネント（テクスチャまたは深度ビューコンポーネント）がビュー合成予測モードを使用し得ることを示し得る。０に等しいｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＳＰＳを参照するビューコンポーネントがビュー合成を使用しないことを示し得る。（表１および表２で省略符号によって表されている）他のシンタックス要素についてのセマンティクスは、それぞれのコーディング規格においてこれらのシンタックス要素に対して定義されていているセマンティクスと実質的に同様のままであり得る。

[0068]以下の表３は、本開示の技法のいくつかの例による、ＰＰＳについてのシンタックスの例示的なセットを与える。

[0069]表３の例では、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄに対応するＳＰＳは、ビュー合成予測がシーケンスために使用可能であるかどうかを示すｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値をシグナリングしたと想定される。したがって、ビュー合成予測がシーケンスのために使用可能でない場合、ＰＰＳは、ｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｌｅｄ＿ｆｌａｇの値を含む必要がなく、ビデオデコーダ３０は、ｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｌｅｄ＿ｆｌａｇの値がたとえば、０であるものとして推論し得る。代替的に、ｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリングなしに直接シグナリングされ得る（言い換えれば、ＰＰＳについてのシンタックスは、ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが常に１に等しくなることと同等であり得る）。

[0070]シンタックス要素ｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇについてのセマンティクスは次のように定義され得る。１に等しいｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＰＰＳを参照するビューコンポーネント（テクスチャまたは深度ビューコンポーネント）がビュー合成予測を使用し得ることを示し得る。０に等しいｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＰＰＳを参照するビューコンポーネントがビュー合成を使用しないことを示し得る。他のシンタックス要素についてのセマンティクスは、それぞれのコーディング規格においてこれらのシンタックス要素に対して定義されていているセマンティクスと実質的に同様のままであり得る。

[0071]以下の表４は、本開示の技法のいくつかの例による、ＡＰＳについてのシンタックスの例示的なセットを与える。

[0072]表４の例では、（たとえば、表１または２の）ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいか、または（たとえば、表３の）ｐｉｃ＿ｖｉｅｗ＿ｓｙｅｎｔｈｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ＶｉｅｗＳｙｎｔｈｅｓｉｓＥｎａｂｌｅｄは０（すなわち、「偽」）の値を有するように導出され得る。表４の例に示すように、ａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＶｉｅｗＳｙｎｔｈｅｓｉｓＥｎａｂｌｅｄが１（すなわち、「真」）の値を有するときのみシグナリングされる。したがって、ビュー合成予測が対応するシーケンスまたはピクチャのために使用可能でないことをｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇまたはｐｉｃ＿ｖｉｅｗ＿ｓｙｅｎｔｈｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのいずれかが示す場合、ａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのための値がシグナリングされる必要はなく、代わりに、ビデオデコーダ３０は、ビュー合成予測が対応するスライスのために使用可能でないことを示すものとしてａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのための値を推論し得る。代替的に、ａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇまたはｐｉｃ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇのシグナリングなしに直接シグナリングされ得る。

[0073]ａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇについてのセマンティクスは次のように定義され得る。１に等しいａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＡＰＳを参照するビューコンポーネント（テクスチャまたは深度ビューコンポーネント）がビュー合成予測を使用し得ることを示し得る。０に等しいａｐｓ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、このＡＰＳを参照するビューコンポーネントがビュー合成を使用しないことを示し得る。ＡＰＳの他のシンタックス要素についてのセマンティクスは、それぞれのビデオコーディング規格において定義されているセマンティクスと実質的に同様のままであり得る。

[0074]いくつかの例では、ビュー合成予測が対応するスライスのために使用可能であるかどうかを示すＡＰＳ中でシンタックス要素をシグナリングすることに加えて、またはその代替として、ビュー合成予測が対応するスライスのために使用可能であるかどうかを示すスライスヘッダ中でシンタックス要素がシグナリングされ得る。表５は、本開示の技法のいくつかの例による、スライスヘッダについてのシンタックスの例示的なセットを与える。

[0075]表４に関して説明したように、ｓｅｑ＿ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、シグナリングされ、０（すなわち、「偽」）に等しいか、またはｐｉｃ＿ｖｉｅｗ＿ｓｙｅｎｔｈｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、シグナリングされ、０（すなわち、「偽」）に等しい場合、ＶｉｅｗＳｙｎｔｈｅｓｉｓＥｎａｂｌｅｄは０であると導出され得る。ＨＥＶＣベースの３ＤＶ、またはビュー合成予測が使用可能であるかどうかを示すシンタックス要素を含むＡＰＳがシグナリングされる他のコーディング規格のコンテキストでは、ａｐｓ＿ｖｉｅｗ＿ｓｙｅｎｔｈｓｉｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされ、０（すなわち、「偽」）に等しい場合、ＶｉｅｗＳｙｎｔｈｅｓｉｓＥｎａｂｌｅｄは０であると導出され得る。

[0076]表５のｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇについてのセマンティクスは次のように定義され得る。１に等しいｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇは、現在のスライスが予測されたビュー合成であり得、したがって、ビュー合成参照ピクチャが生成されるべきであることを示し得る。０に等しいｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇは、現在のスライスが予測されたビュー合成でなく、したがって、ビュー合成参照ピクチャが生成される必要はないことを示し得る。存在しないとき、このフラグは０であると推測され得る。

[0077]ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣベースの３ＤＶの現在のバージョンでは、ピクチャは複数のスライスに分割され得る。ＨＥＶＣなどの他のコーディング規格では、ピクチャは、タイルまたは波面などの他の領域に分割され得る。スライスに関して上記で説明した技法（たとえば、スライスヘッダ中でおよび／またはＡＰＳヘッダ中でシンタックス要素をシグナリングすること）はまた、タイルまたは波面などの他のサブピクチャ領域に適用され得る。

[0078]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、共通ピクチャの複数のスライスが同じ値のｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇを有するように構成され得る。すなわち、ピクチャのすべてのスライスがｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇについて同じ値を有するような制約が導入され得る。このようにして、ビューコンポーネントの第１のスライス（すなわち、順序第１のスライス）のスライスヘッダがパースされ、ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇが１に等しいとき、（ピクセルごとの）ビュー合成ピクチャが、生成され得、制約により、同じビューコンポーネント中のすべてのスライスのために使用され得る。一方、この例では、第１のスライスのｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇが０に等しい場合、ビュー合成ピクチャは、制約により、ビュー合成予測のために現在のビューコンポーネントのいかなるスライスのためにも生成されない。

[0079]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、代わりに、共通ピクチャの複数のスライスがｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇについて異なる値を有し得るように構成され得る。１に等しいｖｉｅｗ＿ｓｙｎｔｈｉｓｉｓ＿ｆｌａｇを有するビューコンポーネントのスライスのスライスヘッダがパースされるとき、（ピクセルごとの）ビュー合成参照ピクチャがそのビューコンポーネントのために生成され得る。代替として、ビュー合成予測プロセスは、０に等しいｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇをもつ現在のスライスに関係する（たとえば、それとコロケートされる、または視差による水平オフセットの後にそれとコロケートされる）領域にのみ適用され得る。

[0080]いくつかの例では、ｖｉｅｗ＿ｓｙｎｔｈｅｓｉｓ＿ｆｌａｇがスライスヘッダ中でシグナリングされないとき、およびＶｉｅｗＳｙｎｔｈｅｓｉｓＥｎａｂｌｅｄが１に等しい場合、参照ピクチャリスト構成の後に、ビデオエンコーダ２０およびビデオデコーダ３０は、現在のスライスのための参照ピクチャを生成するためにビュー合成予測を使用すべきかどうかを決定するために検査を実行し得る。そのような検査は、各参照ピクチャリストの各エントリに対して実行され得、参照ピクチャリストの１つのエントリが、現在のスライスのピクチャ順序カウント（ＰＯＣ：picture order count）値に等しいＰＯＣ値を有する場合、現在のスライスのためにビュー合成予測を使用すべきと決定され得る。さらに、ビュー合成予測が現在のスライスのために使用されるとき、ビデオエンコーダ２０およびビデオデコーダ３０は、参照ピクチャとして使用されるべきビュー合成ピクチャを生成するように構成され得る。

[0081]代替的に、検査が、ビュー合成予測を使用すべきという決定に帰着する場合、ビデオエンコーダ２０およびビデオデコーダ３０は、現在のスライスに関係する参照領域を生成するためにビュー合成予測のみを実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、パディングエリアで定義され得、ビデオエンコーダ２０およびビデオデコーダ３０は、コロケートスライス領域とパディングエリアとの中のピクセルの値を合成し得る。

[0082]概して、ビデオエンコーダ２０およびビデオデコーダ３０は、１つまたは２つの参照ビューのテクスチャおよび深度情報を使用するビュー合成予測を使用して参照ピクチャを生成し得る。２つの参照ビューが考慮に入れられるとき、一般に、参照ビューのうちの１つが、コーディングされている現在のビュー、すなわち、ビュー合成のターゲットビューの左側にあり、一方、他方の参照ビューが現在のビューの右側にある。

[0083]ビデオエンコーダ２０およびビデオデコーダ３０が参照ビューを識別した後、（テクスチャおよび深度情報を含む）ビューコンポーネントを復号するとき、ビデオエンコーダ２０およびビデオデコーダ３０は、さらに、識別されたビュー、を使用して参照ビューコンポーネントを識別し得、同じアクセスユニット内の現在のビューコンポーネントをコーディングするためにテクスチャまたは深度情報（またはその両方）が使用され得る。ビデオエンコーダ２０およびビデオデコーダ３０は、たとえば、ビュー識別子（ｖｉｅｗ＿ｉｄ）値を使用するか、または水平変換情報を使用して参照ビュー識別子をコーディングするように構成され得る。ビデオエンコーダ２０およびビデオデコーダ３０は、参照ピクチャとして使用するためにビューコンポーネントを合成するために識別された（１つまたは複数の）参照ビューを使用し得る。

[0084]上記のように、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ｖｉｅｗ＿ｉｄ値を使用してビューコンポーネントを合成するために使用されるべき参照ビューについての識別情報をコーディングし得る。ＶＯＩｄｘに等しいビュー順序インデックスをもつ現在のビューの場合、現在のビューよりも小さいビュー順序インデックスと現在のビューのｖｉｅｗ＿ｉｄ（ｖｉｅｗＩＤ）に最も近いｖｉｅｗ＿ｉｄとをもつビューが参照ビューとして識別され得る。ＶＯＩｄｘよりも小さいビュー順序インデックスとｖｉｅｗＩＤよりも小さいｖｉｅｗ＿ｉｄとをもつビューの中から、最大のｖｉｅｗ＿ｉｄをもつビューが第１の参照ビューとして識別され得る。ＶＯＩｄｘよりも小さいビュー順序インデックスとｖｉｅｗ＿ｉｄよりも大きいｖｉｅｗ＿ｉｄとをもつビューの中から、最小のｖｉｅｗ＿ｉｄをもつビューが第２の参照ビューとして識別され得る。

[0085]ビュー合成予測のための参照ビューを識別するためにｖｉｅｗ＿ｉｄ値が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビデオエンコーダ２０およびビデオデコーダ３０は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビデオエンコーダ２０およびビデオデコーダ３０は単に、１つの参照ビューからビュー合成参照ピクチャを合成する。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近いｖｉｅｗ＿ｉｄをもつ１つが選定され得る。両方の参照ビューが同じ距離（distance）のｖｉｅｗ＿ｉｄを有する場合、ビデオエンコーダ２０およびビデオデコーダ３０は、より小さい（またはより大きい）ｖｉｅｗ＿ｉｄをもつ参照ビューを選択するように構成され得る。

[0086]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ビュー合成予測のための参照ビューを識別するために水平変換情報を使用するように構成され得る。２つの参照ビューが可能にされる場合、ＶＯＩｄｘよりも小さいビュー順序インデックスと現在のビューの水平変換よりも小さい水平変換とをもつビューの中から、最も近い水平ロケーションをもつビューは第１の参照ビューとして識別され得る。ＶＯＩｄｘよりも小さいビュー順序インデックスと現在のビューよりも大きい水平変換とをもつビューの中から、最も近い水平ロケーションをもつビューが第２の参照ビューとして識別され得る。

[0087]参照ビューを識別するために水平変換情報が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビデオエンコーダ２０およびビデオデコーダ３０は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビデオエンコーダ２０およびビデオデコーダ３０は単に、１つの参照ビューからビュー合成参照ピクチャを合成し得る。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近い水平ロケーションをもつ１つが選定され得る。両方の参照ビューが現在のビューまで同じ距離を有する場合、ビデオエンコーダ２０およびビデオデコーダ３０は左側の（または右側の）１つを選択するように構成され得る。

[0088]概して、ビデオエンコーダ２０およびビデオデコーダ３０は、ビュー合成のための参照ビューを選定するときに実質的に同じ方法で動作するように構成され得る。したがって、ただ１つの参照ビューが使用されるべきであり、２つの異なる参照ビューがほぼ同じ結果をもたらし得る場合、ビデオエンコーダ２０およびビデオデコーダ３０は、それらが同じ参照ビューを選択するように構成され得、したがって、参照ビューを明示的に識別するために追加のシンタックス要素がシグナリングされる必要はない。

[0089]このようにして、ビデオエンコーダ２０およびビデオデコーダ３０は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオデータを使用してビュー合成ピクチャを生成することと、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることとを行うように構成されたビデオコーダの例を表す。一方、ビュー合成予測が使用可能でないことを情報が示すとき、ビデオコーダは、どのビュー合成ピクチャとも無関係に、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して現在のピクチャをコーディングするように構成され得る。したがって、ビデオコーダは、ビュー合成予測が使用可能であることを情報が示すときにのみ、参照ピクチャとして使用されるべきビュー合成ピクチャを生成するように構成され得、そうでない場合、ビュー合成はスキップされ得、それにより、処理リソースおよび／またはバッテリー電力を節約し得る。

[0090]ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報は、表１〜表５に関して上記で説明したように、ＶＰＳ、ＳＰＳ、ＰＰＳ、またはＡＰＳなどパラメータセット中でシグナリングされるか、および／あるいはスライスヘッダ中でシグナリングされ得る。この情報は、これらのデータ構造のいずれかまたはすべて中にシンタックス要素を、単独でまたは任意の組合せで備え得る。さらに、上記で説明したように、ビデオコーダは、たとえば、１つまたは複数の参照ビューのｖｉｅｗ＿ｉｄ値または水平変換情報を使用して、参照ピクチャとして使用されるべきビュー合成ピクチャを生成するために使用するために１つまたは複数の参照ビューについての識別情報をコーディングするように構成され得る。

[0091]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダまたはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0092]図２は、ビュー合成予測に関係する情報をコーディングするための技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。

[0093]図２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコーディングユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、パーティションユニット４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内またはループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

[0094]符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対して、受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータの各ブロックのための適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。

[0095]その上、パーティションユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、パーティションユニット４８は、初めにフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。

[0096]モード選択ユニット４０は、たとえば、誤差結果に基づいて、イントラ予測、時間的インター予測、またはビュー間予測などのコーディングモードのうちの１つを選択し得、残差ブロックデータを生成するために、予測ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、予測ブロックを加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピーコーディングユニット５６に与える。いくつかの例では、モード選択ユニット４０は、ビュー合成予測のために、たとえば、前にコーディングされたビューまたは合成ビューに対してビュー間予測を選択するように構成され得る。以下でより詳細に説明するように、ビュー合成ユニット６６は、ビュー合成予測のためにビューを合成する（すなわち、テクスチャおよび／または深度ピクセル値を含むピクチャを合成する）ように構成され得る。たとえば、ビュー合成ユニット６６は、深度画像ベースレンダリング（ＤＩＢＲ：depth-image based rendering）と実質的に同様の技法を実行するように構成され得る。

[0097]さらに、モード選択ユニット４０は、エントロピーコーディングユニット５６にＰＵのための選択されたコーディングモードを示すシンタックス情報を与え得る。ビュー合成予測が使用可能である場合、モード選択ユニット４０は、依然として、前にコーディングされたピクチャに対して他の利用可能なコーディングモード、たとえば、イントラ予測、時間的インター予測、またはビュー間予測の中から選択し得ることを理解されたい。したがって、ビデオエンコーダ２０は、ビュー合成予測が使用可能であるかどうかを示す情報とは別個に、ビデオデータのブロックのためにどのコーディングモードが選択されるかの指示を与え得る。

[0098]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム（または他のコード化ユニット）内でコーディングされている現在のブロックに対する参照フレーム（または他のコード化ユニット）内の予測ブロックに対して現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。動きベクトルは、時間的に別個のピクチャ中の同じビューの前にコーディングされたブロックに対してブロックの動きについて説明する時間的動きベクトルと、（異なる水平カメラパースペクティブを有する）が同じ時間的位置を有し得る異なるビュー中の同様のブロック間の視差について説明する視差動きベクトルとを含み得る。場合によっては、動きベクトルは、異なるビュー中にも存在する時間的に別個のピクチャに関する動きについて説明し得る。

[0099]いくつかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。

[0100]ビュー間予測を実行するとき、動き推定ユニット４２は、ビュー合成予測のために、異なるビューの前にコーディングされたピクチャまたは合成ピクチャに対して視差動きベクトルを計算し得る。したがって、動き推定ユニット４２は、動き／視差推定ユニットと呼ばれることもある。概して、合成ピクチャは、ビュー合成ユニット６６によって参照フレームメモリ６４に記憶され得、したがって、動き推定ユニット４２および動き補償ユニット４４は、参照ピクチャが、異なるビューの前にコーディングされたピクチャであるのか、ビュー合成プロセスからの合成ピクチャであるのかを決定するように構成される必要はない。シーンのピクチャが、異種水平カメラの観点からキャプチャまたは生成されるために、同じ時間的位置における異なるビューのピクチャは、一般に、水平差異のみを含み、垂直差異を含まないので、視差動きベクトルを探索するためのプロセスは、水平方向と垂直方向の両方に探索するのではなく、水平方向に探索することに制限され得る。

[0101]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトル（たとえば、時間的動きベクトルまたは視差動きベクトル）を計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0102]動き補償ユニット４４によって実行される動き補償は、同じく、時間的動きベクトルまたは視差動きベクトルであり得る、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。

[0103]概して、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。動き推定ユニット４２および動き補償ユニット４４は、深度マップをコーディングするためにルーマ成分から動きベクトル再使用するか、または深度マップのための動きベクトルを独立して計算するように構成され得る。したがって、場合によっては、動き推定４２および動き補償ユニット４４は、ルーマ成分と同様の方法で、またはクロマ成分と同様の方法で深度マップを予測するように構成され得る。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[0104]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測（たとえば、時間的インター予測および／またはビュー間予測）の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[0105]たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。

[0106]ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、エントロピーコーディングユニット５６にブロックのための選択されたイントラ予測モードを示す情報を与え得る。エントロピーコーディングユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。

[0107]さらに、上記のように、モード選択ユニット４０は、非ベースビューの特定のブロックをコーディングするためにビュー合成予測を利用すべきかどうかを決定し得る。モード選択ユニット４０は、ビュー合成予測がビットストリームのために、またはマルチビュービットストリームの特定の動作点のために使用可能であるかどうかを示す構成データを受信し得る。たとえば、ユーザは、ビットストリームがビュー合成予測を実行する能力がないデバイスに適合すべきであることを示す構成データを与えられていることがあり、その場合、モード選択ユニット４０は、全ビットストリームのためにビュー合成予測を使用不能にし得る。代替的に、構成データは、ビュー合成予測が使用不能である、動作点を形成するビューのサブセットを示し得、その場合、モード選択ユニット４０は、サブセット中のビューの各々のためにビュー合成予測を使用不能にするが、サブセット中に含まれないビットストリームの他のビューのためにビュー合成予測をテストし得る。

[0108]概して、特定の非ベースビューに対してビュー合成予測が許可されると仮定すると、モード選択ユニット４０は、ビュー合成予測が、前にコーディングされた（非合成）ビューに対して他のコーディングモード、たとえば、時間的インター予測、イントラ予測、および／またはビュー間予測よりも良いパフォーマンスをもたらすかどうかを決定するために非ベースビューのピクチャのブロックのためのビュー合成予測をテストし得る。モード選択ユニット４０は、レートひずみ最適化（ＲＤＯ：rate-distortion optimization）を使用して、および／またはＢｊｏｎｔｅｇａａｒｄデルタレート（ＢＤレート）を使用して様々なコーディングモードのパフォーマンスをテストし得る。概して、レートひずみ最適化は、モードまたはモードの組合せによってもたらされるひずみの量に対して、特定のモードまたはモードの組合せを使用してビデオデータのセットをコーディングするために必要なビット数の量（measure）である。モード選択ユニット４０は、これらの量（measure）によって示される最良のパフォーマンスをもたらすモードまたはモードの組合せを選択し得る。

[0109]さらに、モード選択ユニット４０は、ビュー合成予測が最良のパフォーマンスをもたらすスライス、ピクチャ、シーケンス、または他のコード化ユニット（たとえば、タイルまたは波面）中のブロックの数を決定し、ブロックのこの数がビュー合成予測を使用することの処理時間を正当化するのに十分に高いかどうかを決定し得る。上記のように、ビデオデコーダによってビューを合成することは、かなり大量の処理リソースを必要とし得、したがって、ビュー合成予測が使用されるべきコード化ユニットに十分に多くの数のブロックがない場合、モード選択ユニット４０は、ビュー合成予測の他に特定のブロックのための異なるコーディングモードを選択し得る。

[0110]モード選択ユニット４０は、ビュー合成予測が、コード化ユニット（たとえば、シーケンス、ピクチャ、スライス、タイル、波面（wavefront）、または他の同様のコード化ユニット）のために階層的に使用可能であるべきかどうかを決定し得る。たとえば、ビュー合成予測がスライス、タイル、または波面のうちの１つのために使用可能であるべきである場合、モード選択ユニット４０は、たとえば、表３〜表５のいずれかまたはすべてのシンタックス（および／または、たとえば、タイルヘッダまたは波面ヘッダ中のタイルまたは波面のための同様のシンタックス）を使用して、ビュー合成予測がスライス、タイル、または波面を含むピクチャのために使用可能であることを示し得る。追加または代替として、ビュー合成予測が、ピクチャ、スライス、タイル、または波面のうちの１つのために使用可能であるべきである場合、モード選択ユニット４０は、たとえば、表１および表２のいずれかのシンタックスを使用して、ビュー合成予測がピクチャ、スライス、タイル、または波面を含む一連のピクチャのために使用可能であることを示し得る。モード選択ユニット４０は、エントロピーコーディングユニット５６に適切なシンタックスデータを与え得、エントロピーコーディングユニット５６は、それに応じて、表１〜表５のいずれかまたはすべてのデータ構造をコーディングし得る。

[0111]ビュー合成ユニット６６は、ビュー間予測のためのビューを合成するユニットを表す。モード選択ユニット４０は、ビュー合成予測（ＶＳＰ：view synthesis prediction）が（図２中で「ＶＳＰ使用可能情報」と標示された）特定のピクチャまたはビューのために使用可能であるかどうかを示す情報を与え得る。ビュー合成予測が使用可能であるとき、ビュー合成ユニット６６は、参照フレームメモリ６４に記憶されたテクスチャおよび深度情報を使用して合成ビューのためのピクチャを合成し得る。

[0112]ビュー合成ユニット６６は、別のビューを合成するために１つまたは複数の参照ビューを使用し得る。いくつかの例では、ビュー合成ユニット６６は、合成されるべきビューのための水平ロケーションを決定し、前にコーディングされたビューのための水平ロケーションを決定し、次いで、前にコーディングされたビューの水平ロケーションに基づいて参照ビューを選択し得る。たとえば、ビュー合成ユニット６６は、合成されるべきビューの水平ロケーションの左側に最も近い水平ロケーションを有する第１の参照ビューと、合成されるべきビューの水平ロケーションの右側に最も近い水平ロケーションを有する第２の参照ビューとを選択し得る。

[0113]ビュー合成ユニット６６は、ｖｉｅｗ＿ｉｄｓおよび／または水平オフセット情報を使用して参照ビューを識別し得る。ビュー合成予測のための参照ビューを識別するためにｖｉｅｗ＿ｉｄ値が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビュー合成ユニット６６は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビュー合成ユニット６６は単に、１つの参照ビューからビュー合成参照ピクチャを合成し得る。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近いｖｉｅｗ＿ｉｄをもつ１つが選定され得る。両方の参照ビューが同じ距離のｖｉｅｗ＿ｉｄを有する場合、ビュー合成ユニット６６は、より小さい（またはより大きい）ｖｉｅｗ＿ｉｄをもつ参照ビューを選択するように構成され得る。いくつかの例では、ビュー合成予測が使用可能であるものとして示されると仮定すると、より小さいｖｉｅｗ＿ｉｄが選定されるべきであるのか、またはより大きいｖｉｅｗ＿ｉｄが選定されるべきであるのかを示すシンタックス情報が、たとえば、ＳＰＳまたはＶＰＳ中に与えられ得る。

[0114]参照ビューを識別するために水平変換情報が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビュー合成ユニット６６は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビュー合成ユニット６６は単に、１つの参照ビューからビュー合成参照ピクチャを合成し得る。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近い水平ロケーションをもつ１つが選定され得る。両方の参照ビューが現在のビューまで同じ距離を有する場合、ビュー合成ユニット６６は左側の（または右側の）１つを選択するように構成され得る。いくつかの例では、ビュー合成予測が使用可能であるものとして示されると仮定すると、左の水平ロケーションが選定されるべきであるのか、または右の水平ロケーションが選定されるべきであるのかを示すシンタックス情報が、たとえば、ＳＰＳまたはＶＰＳ中に与えられ得る。

[0115]概して、ピクチャを合成するために、ビュー合成ユニット６６は、１つまたは複数の前にコーディングされたビューのテクスチャおよび深度情報を使用し得る。ビュー合成ユニット６６は、テクスチャピクチャの対応する（たとえば、実質的にコロケートされる）深度情報と対応する深度マップとに基づいてテクスチャ情報のための水平視差を計算し得る。概して、ディスプレイの深度に（たとえば、収束の平面に）出現すべき物体は、０の視差を有し得る。すなわち、この物体を表すピクセルは、参照ビューの場合のように合成ビュー中で実質的に同じ水平位置を有し得る。物体をスクリーンの前に表示すべき場合、「左眼」ピクチャ中で、物体のためのピクセルが「右眼」ピクチャ中の対応するピクセルの右側に配置されるように正の視差が割り当てられ得る。代替として、物体をスクリーンの背後に表示すべき場合、「左眼」ピクチャ中で、物体のためのピクセルが「右眼」ピクチャ中の対応するピクセルの左側に配置されるように負の視差が割り当てられ得る。相対的水平シフトは、達成されるべき深度の量、相対的水平オフセット、収束平面までの距離、現実世界距離、カメラパラメータなどの関数として決定され得る。

[0116]このようにして、ビュー合成ユニット６６は、参照ピクチャとして使用されるべきビューのピクチャを合成し得る。ビュー合成ユニット６６は、テクスチャ画像および／または深度マップのいずれかまたは両方を合成するために同様のプロセスを使用し得る。したがって、ビデオエンコーダ２０は、合成ビューコンポーネントに対してテクスチャ画像および／または深度マップ、たとえば、合成テクスチャ画像または合成深度マップをコーディングし得る。ビュー合成ユニット６６は、参照フレームメモリ６４中に合成ビューコンポーネントについてのデータを記憶し得る。このようにして、モード選択ユニット４０と、動き推定ユニット４２と、動き補償ユニット４４とは、合成ビューコンポーネントが従来の参照ピクチャであるかのように合成ビューコンポーネントを扱い得る。

[0117]ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。

[0118]いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

[0119]量子化の後に、エントロピーコーディングユニット５６は量子化変換係数をエントロピーコーディングする。たとえば、エントロピーコーディングユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピーコーディングユニット５６によるエントロピーコーディングの後に、符号化ビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。

[0120]逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化および逆変換を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

[0121]このようにして、図２のビデオエンコーダ２０は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングするように構成されたビデオエンコーダの一例を表すものである。ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオエンコーダ２０は、ビデオデータを使用してビュー合成ピクチャを生成し、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングし得る。現在のピクチャの少なくとも一部分は、たとえば、ブロック（たとえば、ＰＵ、ＣＵ、マクロブロック、またはマクロブロックのパーティション）、スライス、タイル、波面、または現在のピクチャの全体を備え得る。

[0122]図３は、ビュー合成予測に関係する情報をコーディングするための技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0123]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0124]本開示の技法によれば、ビデオデコーダ３０は、ビュー合成予測が一連のピクチャ、個別のピクチャ、スライス、タイル、または波面のいずれかまたはすべてのために使用可能であるかどうかを示すシンタックス情報を受信し得る。いくつかの例では、ビュー合成予測がより高次のコード化ユニット（たとえば、一連のピクチャ）のために使用不能であることをシンタックス情報が示すとき、ビデオデコーダ３０は、ビュー合成予測がより低次のコード化ユニット（たとえば、ピクチャのシーケンス中のピクチャの各々）のために使用不能であると推論し得る。したがって、ビュー合成予測が使用可能でないことをより高次のコード化ユニットについてのシンタックス情報が示すとき、ビデオデコーダ３０は、ビュー合成予測がより低次のコード化ユニットのために使用可能であるかどうかを示すシンタックス情報を受信する必要はない。

[0125]シンタックス情報は、上記で説明した表１〜表５のシンタックス情報に対応し得る。たとえば、ビデオデコーダ３０は、ビュー合成予測が一連のピクチャのために使用可能であるかどうかを決定するために、表１および２のいずれかに対応するデータ構造（たとえば、ＳＰＳ）を復号するように構成され得る。ビュー合成予測が一連のピクチャのために使用可能であるとき、ビデオデコーダ３０は、ビュー合成予測がピクチャのシーケンス中の特定のピクチャのために使用可能であるかどうかを決定するために、表３に対応するデータ構造（たとえば、ＰＰＳ）を復号するように構成され得る。追加または代替として、ビュー合成予測が一連のピクチャのために（および、いくつかの例では、シーケンス中の特定のピクチャのために）使用可能であるとき、ビデオデコーダ３０は、ビュー合成予測が個別のスライス（または、いくつかの例では、タイルまたは波面のための同様のデータ構造）のために使用可能であるかどうかを決定するために、表４に対応するデータ構造（たとえば、ＡＰＳ）を復号するように構成され得る。追加または代替として、ビュー合成予測が一連のピクチャのために（および、いくつかの例では、シーケンス中の特定のピクチャおよび／またはスライスのために）使用可能であるとき、ビデオデコーダ３０は、ビュー合成予測が個別のスライス（または、いくつかの例では、タイルまたは波面のための同様のデータ構造）のために使用可能であるかどうかを決定するために、表５に対応するデータ構造（たとえば、スライスヘッダ）を復号するように構成され得る。

[0126]エントロピー復号ユニット７０は、シンタックス情報を復号し、（図３中で「ＶＰＳ使用可能情報」で表される）ビュー合成予測が使用可能であるかどうかを示す情報をビュー合成ユニット８４に送り得る。ビュー合成ユニット８４は、ビュー合成ユニット６６（図２）の方法と実質的に同様の方法で動作するように構成され得る。たとえば、ビュー合成予測が使用可能であるとき、ビュー合成ユニット８４は、ビュー合成を使用して参照ピクチャ（すなわち、ビュー合成参照ピクチャ）を生成するために、参照フレームメモリ８２に記憶された、前に復号されたピクチャのテクスチャおよび深度情報を使用し得る。ビュー合成ユニット８４は、参照フレームメモリ８２中に合成ピクチャを記憶し得る。ビュー合成予測が使用可能でないとき、ビュー合成ユニット８４は、ピクチャを生成する必要はなく、それにより、処理リソースおよび／またはバッテリー電力を節約し得る。

[0127]ビュー合成ユニット８４は、別のビューを合成するために１つまたは複数の参照ビューを使用し得る。いくつかの例では、ビュー合成ユニット８４は、合成されるべきビューのための水平ロケーションを決定し、前にコーディングされたビューのための水平ロケーションを決定し、次いで、前にコーディングされたビューの水平ロケーションに基づいて参照ビューを選択し得る。たとえば、ビュー合成ユニット８４は、合成されるべきビューの水平ロケーションの左側に最も近い水平ロケーションを有する第１の参照ビューと、合成されるべきビューの水平ロケーションの右側に最も近い水平ロケーションを有する第２の参照ビューとを選択し得る。

[0128]ビュー合成ユニット８４は、ｖｉｅｗ＿ｉｄｓおよび／または水平オフセット情報を使用して参照ビューを識別し得る。ビュー合成予測のための参照ビューを識別するためにｖｉｅｗ＿ｉｄ値が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビュー合成ユニット８４は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビュー合成ユニット８４は単に、１つの参照ビューからビュー合成参照ピクチャを合成し得る。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近いｖｉｅｗ＿ｉｄをもつ１つが選定され得る。両方の参照ビューが同じ距離のｖｉｅｗ＿ｉｄを有する場合、ビュー合成ユニット８４は、より小さい（またはより大きい）ｖｉｅｗ＿ｉｄをもつ参照ビューを選択するように構成され得る。いくつかの例では、エントロピー復号ユニット７０は、より小さいｖｉｅｗ＿ｉｄが選定されるべきであるのか、またはより大きいｖｉｅｗ＿ｉｄが選定されるべきであるのかを示すシンタックス情報を復号し、それをビュー合成ユニット８４に与え得る。ビュー合成予測が使用可能であるものとして示されると仮定すると、エントロピー復号ユニット７０は、たとえば、ＳＰＳまたはＶＰＳからそのようなシンタックス情報を抽出し得る。

[0129]参照ビューを識別するために水平変換情報が使用される例では、第１の参照ビューと第２の参照ビューの両方が識別され得る場合、ビュー合成ユニット８４は、２つの参照ビューが可能にされれば、これらの２つの参照ビューからビュー合成参照ピクチャを合成し得る。そうでない場合、ビュー合成ユニット８４は単に、１つの参照ビューからビュー合成参照ピクチャを合成し得る。１つの参照ビューしか可能にされず、第１および第２の参照ビューが両方とも識別される場合、より近い水平ロケーションをもつ１つが選定され得る。両方の参照ビューが現在のビューまで同じ距離を有する場合、ビュー合成ユニット８４は左側の（または右側の）１つを選択するように構成され得る。いくつかの例では、エントロピー復号ユニット７０は、左側の水平ロケーションが選定されるべきであるのか、または右側の水平ロケーションが選定されるべきであるのかを示すシンタックス情報を復号し、それをビュー合成ユニット８４に与え得る。ビュー合成予測が使用可能であるものとして示されると仮定すると、エントロピー復号ユニット７０は、たとえば、ＳＰＳまたはＶＰＳからそのようなシンタックス情報を抽出し得る。

[0130]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（たとえば、Ｂ、Ｐ、またはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０およびリスト１を構成し得る。

[0131]動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測、時間的インター予測、またはビュー間予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトル（たとえば、視差動きベクトルおよび／または時間的動きベクトル）と、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[0132]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

[0133]本開示の技法によれば、動き補償ユニット７２は、視差動きベクトルを使用してビュー間予測を実行し得る。ビュー合成予測が使用可能であると仮定すると、そのようなビュー間予測は、別のビューの前に復号されたピクチャに対するものであるか、またはビュー合成を使用して生成される参照ピクチャに対するものであり得る。したがって、動き補償ユニット７２は、動き／視差補正ユニット７２と呼ばれることがある。

[0134]逆量子化ユニット７６は、ビットストリーム中に与えられ、エントロピー復号ユニット７０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ３０によって計算される量子化パラメータＱＰ_Yの使用を含み得る。

[0135]逆変換ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0136]動き補償ユニット７２またはイントラ予測ユニット７４が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照フレームメモリ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上で後で表示するために、復号されたビデオを記憶する。

[0137]このようにして、図３のビデオデコーダ３０は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングするように構成されたビデオデコーダの一例を表すものである。ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオデコーダ３０は、ビデオデータを使用してビュー合成ピクチャを生成し、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングし得る。現在のピクチャの少なくとも一部分は、たとえば、ブロック（たとえば、ＰＵ、ＣＵ、マクロブロック、またはマクロブロックのパーティション）、スライス、タイル、波面、または現在のピクチャの全体を備え得る。

[0138]図４は、例示的なＭＶＣ予測パターンを示す概念図である。マルチビュービデオコーディング（ＭＶＣ：multi-view video coding）は、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣの拡張である。同様の技法はＨＥＶＣに適用され得る。図４の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図４中の各行はビューに対応し、各列は時間ロケーションを示す。

[0139]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの１つの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを用いて３Ｄビデオコンテンツを予想し得る。

[0140]典型的なＭＶＣ復号順序構成は、時間優先コーディングと呼ばれる。アクセスユニットは、１つの出力時間インスタンスのためのすべてのビューのコード化ピクチャを含み得る。たとえば、時間Ｔ０のピクチャの各々は共通アクセスユニット中に含まれ得、時間Ｔ１のピクチャの各々は第２の共通アクセスユニット中に含まれ得、以下同様である。復号順序は、必ずしも出力または表示順序と同一であるとは限らない。

[0141]図４中のフレームは、対応するフレームがイントラコード化される（すなわち、Ｉフレームである）のか、一方向に（すなわち、Ｐフレームとして）インターコード化されるのか、複数の方向に（すなわち、Ｂフレームとして）インターコード化されるのかを指定する、文字を含む影付きブロックを使用して、図４中の各行と各列との交差部において示されている。ｂフレームとして指定されたフレーム（すなわち、小文字の「ｂ」をもつ）はまた、複数の方向にインターコード化され得、概して、ビューまたは時間的次元におけるコーディング階層においてＢフレーム（すなわち、大文字の「Ｂ」をもつ）よりも低いフレームを指し得る。概して、予測は矢印によって示され、ここで矢印の終点のフレームは、予測参照のために矢印の始点のオブジェクトを使用する。たとえば、時間ロケーションＴ０におけるビューＳ２のＰフレームは、時間ロケーションＴ０におけるビューＳ０のＩフレームから予測される。

[0142]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのフレームは、異なる時間ロケーションにおけるフレームに関して予測符号化され得る。たとえば、時間ロケーションＴ１におけるビューＳ０のｂフレームは、時間ロケーションＴ０におけるビューＳ０のＩフレームからそのｂフレームに向けられた矢印を有し、その矢印は、ｂフレームがＩフレームからインター予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、フレームは、ビュー間予測され得る。すなわち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ得、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。

[0143]Ｈ．２６４／ＡＶＣのＭＶＣ拡張では、同じアクセスユニット中のピクチャ（すなわち、同じ時間インスタンスを有するピクチャ）の間でビュー間予測が許容にされる。非ベースビューのうちの１つ中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンスをもつ場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測参照ピクチャは、任意のインター予測参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。

[0144]Ｈ．２６４／ＡＶＣのＭＶＣ拡張では、一例として、ビュー間予測は視差動き補償によってサポートされ、視差動き補償は、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャを参照ピクチャとして使用することが可能になる。ＭＶＣによって２つのビューのコーディングがサポートされ得、それは、一般に、立体視ビューと呼ばれる。ＭＶＣの利点のうちの１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとらえることができ、また、ＭＶＣデコーダがそのようなマルチビュー表現を復号することができることである。したがって、ＭＶＣデコーダをもつレンダリングデバイスは、３つ以上のビューをもつ３Ｄビデオコンテンツを予想し得る。

[0145]以下の表６は、概して、本明細書では「ＳＰＳ ＭＶＣ拡張」と呼ぶ、シーケンスパラメータセットのためのＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ ＭＶＣ拡張を表す。

[0146]表６のＳＰＳ ＭＶＣ拡張の例では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数がシグナリングされ得る。ＳＰＳ ＭＶＣ拡張でシグナリングされるアンカーピクチャについての予測関係は、同じビューの（ＳＰＳ ＭＶＣ拡張でシグナリングされる）非アンカーピクチャについての予測関係とは異なり得る。

[0147]ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣのＭＶＣ拡張の例では、ＮＡＬユニットタイプがプレフィックスＮＡＬユニットまたはＭＶＣ ＶＣＬ ＮＡＬユニットである場合、ＭＶＣ ＮＡＬユニットは、（ＮＡＬユニットタイプとｎａｌ＿ｒｅｆ＿ｉｄｃシンタックス要素とを含む）１バイトＮＡＬユニットヘッダと３バイトＭＶＣ ＮＡＬユニットヘッダ拡張とを含んでいる。ＮＡＬユニットヘッダ拡張は、ＭＶＣ拡張の例では、ＮＡＬユニットがｃｌｏｓｅｄ−ＧＯＰランダムアクセスポイントとして使用され得るＩＤＲアクセスユニットに属するかどうかを示すためのｎｏｒ＿ｉｄｒ＿ｆｌａｇと、単純な、１次元適応のために使用され得るｐｒｉｏｒｉｔｙ＿ｉｄと、現在のビューのビュー識別子を示すためのｖｉｅｗ＿ｉｄと、現在のＮＡＬユニットの時間的なレベルを示すためのｔｅｍｐｏｒａｌ＿ｉｄと、ＮＡＬユニットがｏｐｅｎ−ＧＯＰランダムアクセスポイントとして使用され得るアンカーピクチャに属するかどうかを示すためのａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇと、ビューコンポーネントが他のビュー中のＮＡＬユニットのためのビュー間予測のために使用されるかどうかを示すｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇとのシンタックス要素を含んでいる。ＭＶＣにおけるプレフィックスＮＡＬユニットは、ＮＡＬユニットヘッダと、それのＭＶＣ ＮＡＬユニットヘッダ拡張とのみを含んでいる。

[0148]図４のＳ０〜Ｓ７は、コード化ビュー、すなわち、コード化情報がビットストリーム中に与えられるビューの例を表すものである。本開示の技法によれば、追加のビューがＳ０からＳ７の間に合成され得る。たとえば、ビューＳ０とＳ１との間にビューが合成され得る。そのようなビューのピクチャを合成するために、ビューＳ０およびＳ２中のピクチャのテクスチャおよび深度情報が使用され得る。たとえば、時間Ｔ１における参照ピクチャを合成するために、ビューＳ０および／またはＳ２からの時間Ｔ１におけるピクチャからのテクスチャおよび深度情報が使用され得る。ビデオエンコーダ２０またはビデオデコーダ３０などのビデオコーダは、別のピクチャ、たとえば、時間Ｔ１におけるビューＳ１のピクチャをコーディングするための参照として使用されるべき合成ビューのそのようなピクチャについてのピクセルデータを補間し得る。

[0149]本開示の技法によれば、ビュー合成予測がビューＳ０〜Ｓ７についてのデータを含むビットストリームのために、またはそのようなビットストリームの動作点のために使用可能であるかどうかを示すシンタックス情報が与えられ得る。たとえば、動作点は、ビューＳ０、Ｓ１、およびＳ２を含み得る。この動作点についてのシンタックス情報は、ビュー合成予測が使用可能でないことを示し得る。したがって、この動作点をコーディングするとき、ビデオコーディングデバイスは、合成ビューについてのデータを生成する必要はなく、それにより、処理リソースとバッテリー電力とを節約し得る。しかしながら、別の動作点、たとえば、ビューＳ０、Ｓ２、Ｓ３、およびＳ４を含む動作点についてのシンタックス情報は、ビュー合成予測が使用可能であることを示し得る。この例では、ビューは、ビューＳ２とＳ４との間に合成され、ビューＳ３のピクチャをコーディングするためにビュー合成予測中に参照として使用され得る。

[0150]図５は、ビュー合成予測に関係する情報をコーディングするための例示的な方法を示すフローチャートである。図５の方法についてビデオエンコーダ２０（図１および図２）に関して説明する。しかしながら、他のビデオコーディングデバイスが、同様の方法を実行するように構成され得ることを理解されたい。さらに、本方法におけるいくつかのステップは、異なる順序で、または並行して実行され得る。同様に、様々な例では、いくつかのステップが省略され得、他のステップが追加され得る。

[0151]図５の例では、ビデオエンコーダ２０は、ビュー合成予測を使用可能にすべきかどうかを決定する（１５）。たとえば、ビデオエンコーダ２０は、ビュー合成予測が特定のビットストリームまたはビットストリームの動作点のために使用可能であるべきかどうかを示す構成データを受信し得る。追加または代替として、ビデオエンコーダ２０は、許容できるコーディング性能をもたらす予測モードまたは予測モードの組合せを決定するために、ビュー合成予測を含む様々なコーディングモードをテストし得る。ビュー合成予測を使用可能にすることが（たとえば、処理リソースおよびバッテリー電力の増加と比較して）コーディング性能に十分な利得をもたらすとき、ビデオエンコーダ２０はビュー合成予測を使用可能にし得る。

[0152]ビデオエンコーダ２０はまた、ステップ１５０からの決定に基づいて、ビュー合成予測が使用可能であるかどうかを示す情報を符号化する（１５２）。たとえば、ビデオエンコーダ２０は、ビュー合成予測が一連のピクチャのために使用可能であるかどうかを示すために、表１および表２のうちの１つに従ってＳＰＳを符号化し得る。ビュー合成予測がシーケンス中の少なくとも１つのピクチャのために使用可能であるとき、ビデオエンコーダ２０は、ビュー合成予測がピクチャのシーケンスのために使用可能であることを示すためにＳＰＳを符号化し得る。一方、ビュー合成予測がシーケンス中のピクチャのどれのためにも使用されないとき、ビデオエンコーダ２０は、ビュー合成予測がピクチャのシーケンスのために使用可能であることを示すためにＳＰＳを符号化し得る。

[0153]ビュー合成予測が使用可能であることをＳＰＳが示すとき、ビデオエンコーダ２０は、さらに、ビュー合成予測が、個別のピクチャ、スライス、タイル、または波面などのより低次のコード化ユニットのために使用可能であるかどうかを示すために、よりきめの細かいデータ構造を符号化し得る。ビデオエンコーダ２０は、表３に関して説明したように、ビュー合成予測がピクチャのために使用可能であるかどうかを示すためにＰＰＳを符号化し得る。より詳細には、ビデオエンコーダ２０は、上記で決定されたように、ビュー合成予測が使用可能であるかどうかを示すＰＰＳのうちの１つのＰＰＳ識別子（ＰＰＳ ｉｄ）を指すために、様々なＰＰＳを符号化し、ピクチャ（たとえば、ピクチャヘッダまたはスライスヘッダ）のシンタックス情報をコーディングし得る。同様に、ビデオエンコーダ２０は、ビュー合成予測がスライスのために使用可能であるかどうかを示すために、それぞれ表４および表５に関して説明したように、ＡＰＳおよび／またはスライスヘッダを符号化し得る。

[0154]ビュー合成予測が使用可能でないとき（１５４の「いいえ」分岐）、ビデオエンコーダ２０は、現在のピクチャのブロックのためのコーディングモードを決定する（１５６）。利用可能なコーディングモードは、（現在のビューが非ベースビューであると仮定すると）イントラ予測、時間的インター予測、およびビュー間予測を含み得る。上記で説明したように、ビデオエンコーダ２０は、たとえば、様々なテストされたコーディングモードのＲＤＯパフォーマンスに基づいて、ピクチャまたはスライスの各ブロックのためのコーディングモードを選択し得る。ビデオエンコーダ２０は、次いで、それぞれの決定されたモードを使用して現在のピクチャのブロックを符号化する（１５８）。このようにして、ビュー合成予測が使用可能でないとき、ビデオエンコーダ２０は、どのビュー合成ピクチャとも無関係に現在のピクチャのブロックを符号化し得る。

[0155]一方、ビュー合成予測が使用可能であるとき（１５４の「はい」分岐）、ビデオエンコーダ２０は、ビュー合成を実行するための１つまたは複数の参照ビューを決定する（１６０）。たとえば、上記で説明したように、ビデオエンコーダ２０は、ｖｉｅｗ＿ｉｄ値および／または水平変換情報を使用して参照ビューを識別し得る。ビデオエンコーダ２０は、次いで、１つまたは複数の参照ビューピクチャに対してビュー合成ピクチャを生成する（１６２）。ビデオエンコーダ２０はまた、参照ビュー識別情報を符号化する（１６４）。ビデオエンコーダ２０は、さらに、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分を符号化する（１６６）。特に、ビデオエンコーダ２０は、ビュー合成予測モードを含み得る、現在のピクチャの各ブロックのためのコーディングモードを選択し得る。ビデオエンコーダ２０が、現在のピクチャのためにビュー合成予測を使用可能にしたので、現在のピクチャの少なくとも一部分（たとえば、スライス、タイル、波面、あるいは１つまたは複数のブロック）はビュー合成参照ピクチャに対して符号化され得る。

[0156]このようにして、図５の方法は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオデータを使用してビュー合成ピクチャを生成することと、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることとを含む方法の一例を表すものである。上記のように、一方、ビュー合成予測がビデオデータのために使用可能でないことを情報が示すとき、本方法は、どのビュー合成ピクチャとも無関係に、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して現在のピクチャをコーディングすることを含み得る。

[0157]図６は、ビュー合成予測に関係する情報をコーディングするための例示的な方法を示すフローチャートである。図６の方法についてビデオデコーダ３０（図１および図３）に関して説明する。しかしながら、他のビデオコーディングデバイスが、同様の方法を実行するように構成され得ることを理解されたい。さらに、本方法におけるいくつかのステップは、異なる順序で、または並行して実行され得る。同様に、様々な例では、いくつかのステップが省略され得、他のステップが追加され得る。

[0158]最初に、ビデオデコーダ３０は、ビュー合成予測が使用可能であるかどうかを示す情報を復号する（２００）。情報は、表１〜表５に関して説明した、情報の階層構成を含み得る。たとえば、ビュー合成予測が一連のピクチャのために使用可能であることをＳＰＳが示す場合、ビデオデコーダ３０は、シーケンス中の各ピクチャについて、たとえば、対応するＰＰＳデータ構造を使用してビュー合成予測が使用可能であるかどうかを決定し得る。追加または代替として、ビュー合成予測が一連のピクチャまたはシーケンス中の個別のピクチャのために使用可能である場合、ビデオデコーダ３０は、さらに、たとえば、ＡＰＳおよび／またはスライスヘッダ（またはタイルヘッダまたは波面ヘッダ、または対応するパラメータセットデータ構造）中でシグナリングされたデータを使用してビュー合成予測が個別のスライス（またはタイルまたは波面）のために使用可能であるかどうかを決定し得る。

[0159]ビュー合成予測が使用可能でないことを情報が示すとき（２０２の「いいえ」分岐）、ビデオデコーダ３０は、たとえば、現在のピクチャのブロックのためにシグナリングされたシンタックス情報を使用して、現在のピクチャのブロックのためのコーディングモードを決定する（２０４）。ビデオデコーダ３０は、この場合ビュー合成参照ピクチャを生成する必要はなく、それにより、処理リソースおよび／またはバッテリー電力を節約し得る。ビデオデコーダ３０は、次いで、それぞれの決定されたコーディングモード、たとえば、イントラ予測、時間的インター予測、および／またはビュー間予測を使用して現在のピクチャのブロックを復号する（２０６）。このようにして、ビュー合成予測がビデオデータのために使用可能でないことを情報が示すとき、ビデオデコーダ３０は、どのビュー合成ピクチャとも無関係に、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して現在のピクチャを復号し得る。

[0160]一方、ビュー合成予測が使用可能であることを情報が示すとき（２０２の「はい」分岐）、ビデオデコーダ３０は、参照ビュー識別情報、たとえば、ｖｉｅｗ＿ｉｄおよび／または水平オフセット情報を復号する（２０８）。この識別情報を使用して、ビデオデコーダ３０は、ビュー合成のために使用されるべき１つまたは複数の参照ビューを決定する（２１０）。ビデオデコーダ３０は、次いで、１つまたは複数の参照ビューのピクチャに対してビュー合成ピクチャを生成する（２１２）。ビデオデコーダ３０は、さらに、ビュー合成ピクチャに対して少なくとも一部分（たとえば、１つまたは複数のブロック、スライス、タイル、波面、さらには全ピクチャ）を復号する（２１４）。

[0161]このようにして、図６の方法は、ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、ビュー合成予測がビデオデータのために使用可能であることを情報が示すとき、ビデオデータを使用してビュー合成ピクチャを生成することと、ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることとを含む方法の一例を表すものである。上記のように、一方、ビュー合成予測がビデオデータのために使用可能でないことを情報が示すとき、本方法は、どのビュー合成ピクチャとも無関係に、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して現在のピクチャをコーディングすることを含み得る。

[0162]例によっては、本明細書で説明した技法のうちいずれかの、いくつかの作用またはイベントは、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明した作用またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して、同時に実行され得る。

[0163]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0164]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0165]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

[0166]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0167]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
ビデオデータをコーディングする方法であって、
ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、
ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、
前記ビデオデータを使用してビュー合成ピクチャを生成することと、
前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることと、
を備える、方法。
[Ｃ２]
前記情報をコーディングすることは、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングすることを備える、Ｃ１に記載の方法。
[Ｃ３]
前記シンタックス要素をコーディングすることは、前記現在のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素をコーディングすることを備える、Ｃ２に記載の方法。
[Ｃ４]
前記シンタックス要素をコーディングすることは、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングすることを備える、Ｃ２に記載の方法。
[Ｃ５]
前記アクセスユニットレベルパラメータセットは適応パラメータセットと深度パラメータセットとのうちの１つを備える、Ｃ４に記載の方法。
[Ｃ６]
前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、前記情報をコーディングすることは、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングすることを備える、Ｃ１に記載の方法。
[Ｃ７]
ビュー合成予測が使用可能であるかどうかを示す前記情報とは別個に、前記現在のピクチャの前記少なくとも一部分のための選択されたコーディングモードを表す値をコーディングすることをさらに備える、Ｃ１に記載の方法。
[Ｃ８]
前記ビュー合成ピクチャを生成するために使用するために参照ビューについての識別情報をコーディングすることをさらに備え、前記ビュー合成ピクチャを生成することは、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成することを備える、Ｃ１に記載の方法。
[Ｃ９]
前記識別情報をコーディングすることは、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）に基づいて値をコーディングすることを備える、Ｃ８に記載の方法。
[Ｃ１０]
前記識別情報をコーディングすることは、前記参照ビューのための水平変換情報に基づいて値をコーディングすることを備える、Ｃ８に記載の方法。
[Ｃ１１]
ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングすることをさらに備える、Ｃ１に記載の方法。
[Ｃ１２]
ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、前記ビデオデータをコーディングする間にビュー合成ピクチャが生成されない、Ｃ１に記載の方法。
[Ｃ１３]
前記現在のピクチャの前記少なくとも一部分をコーディングすることは、前記現在のピクチャの前記少なくとも一部分を復号することを備える、Ｃ１に記載の方法。
[Ｃ１４]
前記現在のピクチャの前記少なくとも一部分をコーディングすることは、前記現在のピクチャの前記少なくとも一部分を符号化することを備える、Ｃ１に記載の方法。
[Ｃ１５]
ビデオデータをコーディングするためのデバイスであって、
ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、
ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、前記ビデオデータを使用してビュー合成ピクチャを生成することと、前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることと、
を行うように構成されたビデオコーダを備えるデバイス。
[Ｃ１６]
前記ビデオコーダは、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングするように構成された、Ｃ１５に記載のデバイス。
[Ｃ１７]
前記ビデオコーダは、前記現在のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素をコーディングするように構成された、Ｃ１６に記載のデバイス。
[Ｃ１８]
前記ビデオコーダは、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングするように構成された、Ｃ１６に記載のデバイス。
[Ｃ１９]
前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、
前記ビデオコーダは、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングするように構成された、Ｃ１５に記載のデバイス。
[Ｃ２０]
前記ビデオコーダは、前記ビュー合成ピクチャを生成するために使用するために参照ビューについての識別情報をコーディングするようにさらに構成され、前記ビデオコーダは、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成するように構成された、Ｃ１５に記載のデバイス。
[Ｃ２１]
前記ビデオコーダは、前記識別情報として前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングするように構成された、Ｃ２０に記載のデバイス。
[Ｃ２２]
前記ビデオコーダは、前記識別情報として前記参照ビューのための水平変換情報をコーディングするように構成された、Ｃ２０に記載のデバイス。
[Ｃ２３]
ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、前記ビデオコーダは、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングするように構成された、Ｃ１５に記載のデバイス。
[Ｃ２４]
前記ビデオコーダはビデオデコーダを備える、Ｃ１５に記載のデバイス。
[Ｃ２５]
前記ビデオコーダはビデオエンコーダを備える、Ｃ１５に記載のデバイス。
[Ｃ２６]
前記デバイスは、
集積回路と、
マイクロプロセッサと、
前記ビデオコーダを含むワイヤレス通信デバイスと、
のうちの少なくとも１つを備える、Ｃ１５に記載のデバイス。
[Ｃ２７]
ビデオデータをコーディングするためのデバイスであって、
ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングする手段と、
ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、前記ビデオデータを使用してビュー合成ピクチャを生成する手段と、
ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングする手段と、
を備える、デバイス。
[Ｃ２８]
前記情報をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングする手段を備える、Ｃ２７に記載のデバイス。
[Ｃ２９]
前記シンタックス要素をコーディングする前記手段は、前記現在のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素をコーディングする手段を備える、Ｃ２８に記載のデバイス。
[Ｃ３０]
前記シンタックス要素をコーディングする前記手段は、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングする手段を備える、Ｃ２８に記載のデバイス。
[Ｃ３１]
前記現在のピクチャの前記少なくとも一部分が現在のスライスを備え、
前記情報をコーディングする前記手段は、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングする手段を備える、Ｃ２７に記載のデバイス。
[Ｃ３２]
前記ビュー合成ピクチャを生成するために使用するために参照ビューについての識別情報をコーディングする手段をさらに備え、前記ビュー合成ピクチャを生成する前記手段は、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成する手段を備える、Ｃ２７に記載のデバイス。
[Ｃ３３]
前記識別情報をコーディングする前記手段は、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングする手段を備える、Ｃ３２に記載のデバイス。
[Ｃ３４]
前記識別情報をコーディングする前記手段は、前記参照ビューのための水平変換情報をコーディングする手段を備える、Ｃ３２に記載のデバイス。
[Ｃ３５]
ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングする手段をさらに備える、Ｃ２７に記載のデバイス。
[Ｃ３６]
前記現在のピクチャの前記少なくとも一部分をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分を復号する手段を備える、Ｃ２７に記載のデバイス。
[Ｃ３７]
前記現在のピクチャの前記少なくとも一部分をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分を符号化する手段を備える、Ｃ２７に記載のデバイス。
[Ｃ３８]
実行されたとき、プロセッサに、
ビュー合成予測がビデオデータのために使用可能であるかどうかを示す情報をコーディングすることと、
ビュー合成予測が前記ビデオデータのために使用可能であることを前記情報が示すとき、
前記ビデオデータを使用してビュー合成ピクチャを生成することと、
前記ビュー合成ピクチャに対して現在のピクチャの少なくとも一部分をコーディングすることと、
を行わせる命令を記憶したコンピュータ可読記憶媒体。
[Ｃ３９]
前記情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４０]
前記シンタックス要素をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ３９に記載のコンピュータ可読記憶媒体。
[Ｃ４１]
前記シンタックス要素をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ３９に記載のコンピュータ可読記憶媒体。
[Ｃ４２]
前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、
前記情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４３]
前記ビュー合成ピクチャを生成するために使用するために参照ビューについての識別情報をコーディングすることを前記プロセッサに行わせる命令をさらに備え、
前記ビュー合成ピクチャを生成することを前記プロセッサに行わせる前記命令は、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成することを前記プロセッサに行わせる命令を備える、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４４]
前記識別情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ４３に記載のコンピュータ可読記憶媒体。
[Ｃ４５]
前記識別情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記参照ビューのための水平変換情報をコーディングすることを前記プロセッサに行わせる命令を備える、Ｃ４３に記載のコンピュータ可読記憶媒体。
[Ｃ４６]
ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングすることを前記プロセッサに行わせる命令をさらに備える、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４７]
前記現在のピクチャの前記少なくとも一部分をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分を復号することを前記プロセッサに行わせる命令を備える、Ｃ３８に記載のコンピュータ可読記憶媒体。
[Ｃ４８]
前記現在のピクチャの前記少なくとも一部分をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分を符号化することを前記プロセッサに行わせる命令を備える、Ｃ３８に記載のコンピュータ可読記憶媒体。

Claims (48)

1. ビデオデータをコーディングする方法であって、
   ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す情報をコーディングすることと、
   ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、
   前記ビデオデータの前記１つまたは複数のピクチャを使用してビュー合成ピクチャを生成することと、
   前記１つまたは複数のピクチャの現在のピクチャの少なくとも一部分がビュー合成予測コーディングモードを使用して予測されるかどうかを示す前記少なくとも一部分のための選択されたコーディングモードを表す値をコーディングすることと、ここにおいて、前記値は、ビュー合成予測が前記１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報とは別個のものである、
   前記少なくとも一部分が前記ビュー合成予測コーディングモードを使用して予測されることを示す前記値に基づいて、前記ビュー合成ピクチャに対して前記少なくとも一部分をコーディングすることと、
   を備え、
   ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報は、ビュー合成予測が複数のビューを含むビットストリームの動作点のために使用可能であるかどうかを示す情報を含む、方法。
2. 前記情報をコーディングすることは、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングすることを備える、請求項１に記載の方法。
3. 前記シンタックス要素をコーディングすることは、前記１つまたは複数のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素を、ビュー合成予測が前記対応する一連のピクチャのために使用可能であるかどうかを前記シンタックス要素が示すように、コーディングすることを備える、請求項２に記載の方法。
4. 前記シンタックス要素をコーディングすることは、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングすることを備える、請求項２に記載の方法。
5. 前記アクセスユニットレベルパラメータセットは適応パラメータセットと深度パラメータセットとのうちの１つを備える、請求項４に記載の方法。
6. 前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、前記情報をコーディングすることは、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングすることを備える、請求項１に記載の方法。
7. 前記ビュー合成ピクチャを生成するために使用するための参照ビューについての識別情報をコーディングすることをさらに備え、前記ビュー合成ピクチャを生成することは、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成することを備える、請求項１に記載の方法。
8. 前記識別情報をコーディングすることは、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）に基づいて値をコーディングすることを備える、請求項７に記載の方法。
9. 前記参照ビューは、そのビュー順序インデックスおよび水平ロケーションに基づき識別される、請求項７に記載の方法。
10. ビュー合成予測が前記ビデオデータのために使用可能でないことを示す前記情報に基づいて、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングすることをさらに備える、請求項１に記載の方法。
11. ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、前記ビデオデータをコーディングする間にビュー合成ピクチャが生成されない、請求項１に記載の方法。
12. 前記現在のピクチャの前記少なくとも一部分をコーディングすることは、前記現在のピクチャの前記少なくとも一部分を復号することを備える、請求項１に記載の方法。
13. 前記現在のピクチャの前記少なくとも一部分をコーディングすることは、前記現在のピクチャの前記少なくとも一部分を符号化することを備える、請求項１に記載の方法。
14. 前記現在のピクチャの前記少なくとも一部分は、前記現在のピクチャのコーディングユニットの予測ユニットを備え、前記値は、前記予測ユニットのためのコーディングモードを表すシンタックス要素の値を備える、請求項１に記載の方法。
15. ビデオデータをコーディングするためのデバイスであって、
    ビデオデータを記憶するように構成されたメモリと、
    ビュー合成予測が前記ビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す情報をコーディングすることと、
    ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、
    前記ビデオデータの前記１つまたは複数のピクチャを使用してビュー合成ピクチャを生成することと、
    前記１つまたは複数のピクチャの現在のピクチャの少なくとも一部分がビュー合成予測コーディングモードを使用して予測されるかどうかを示す前記少なくとも一部分のための選択されたコーディングモードを表す値をコーディングすることと、ここにおいて、前記値は、ビュー合成予測が前記１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報とは別個のものである、
    前記少なくとも一部分が前記ビュー合成予測コーディングモードを使用して予測されることを示す前記値に基づいて、前記ビュー合成ピクチャに対して前記少なくとも一部分をコーディングすることと、
    を行うように構成されたビデオコーダと、
    を備え、
    ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報は、ビュー合成予測が複数のビューを含むビットストリームの動作点のために使用可能であるかどうかを示す情報を含む、デバイス。
16. 前記ビデオコーダは、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングするように構成された、請求項１５に記載のデバイス。
17. 前記ビデオコーダは、前記１つまたは複数のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素を、ビュー合成予測が前記対応する一連のピクチャのために使用可能であるかどうかを前記シンタックス要素が示すように、コーディングするように構成された、請求項１６に記載のデバイス。
18. 前記ビデオコーダは、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングするように構成された、請求項１６に記載のデバイス。
19. 前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、
    前記ビデオコーダは、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングするように構成された、請求項１５に記載のデバイス。
20. 前記ビデオコーダは、前記ビュー合成ピクチャを生成するために使用するための参照ビューについての識別情報をコーディングするようにさらに構成され、前記ビデオコーダは、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成するように構成された、請求項１５に記載のデバイス。
21. 前記ビデオコーダは、前記識別情報として前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングするように構成された、請求項２０に記載のデバイス。
22. 前記参照ビューは、そのビュー順序インデックスおよび水平ロケーションに基づき識別される、請求項２０に記載のデバイス。
23. ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、前記ビデオコーダは、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングするように構成された、請求項１５に記載のデバイス。
24. 前記ビデオコーダはビデオデコーダを備える、請求項１５に記載のデバイス。
25. 前記ビデオコーダはビデオエンコーダを備える、請求項１５に記載のデバイス。
26. 前記デバイスは、
    集積回路と、
    マイクロプロセッサと、
    前記ビデオコーダを含むワイヤレス通信デバイスと、
    のうちの少なくとも１つを備える、請求項１５に記載のデバイス。
27. ビデオデータをコーディングするためのデバイスであって、
    ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す情報をコーディングする手段と、
    ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、前記ビデオデータの前記１つまたは複数のピクチャを使用してビュー合成ピクチャを生成する手段と、
    ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、前記１つまたは複数のピクチャの現在のピクチャの少なくとも一部分がビュー合成予測コーディングモードを使用して予測されるかどうかを示す前記少なくとも一部分のための選択されたコーディングモードを表す値をコーディングする手段と、ここにおいて、前記値は、ビュー合成予測が前記１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報とは別個のものである、
    ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、および前記少なくとも一部分が前記ビュー合成予測コーディングモードを使用して予測されることを示す前記値に基づいて、前記ビュー合成ピクチャに対して前記少なくとも一部分をコーディングする手段と、
    を備え、
    ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報は、ビュー合成予測が複数のビューを含むビットストリームの動作点のために使用可能であるかどうかを示す情報を含む、デバイス。
28. 前記情報をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングする手段を備える、請求項２７に記載のデバイス。
29. 前記シンタックス要素をコーディングする前記手段は、前記１つまたは複数のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素を、ビュー合成予測が前記対応する一連のピクチャのために使用可能であるかどうかを前記シンタックス要素が示すように、コーディングする手段を備える、請求項２８に記載のデバイス。
30. 前記シンタックス要素をコーディングする前記手段は、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングする手段を備える、請求項２８に記載のデバイス。
31. 前記現在のピクチャの前記少なくとも一部分が現在のスライスを備え、
    前記情報をコーディングする前記手段は、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングする手段を備える、請求項２７に記載のデバイス。
32. 前記ビュー合成ピクチャを生成するために使用するための参照ビューについての識別情報をコーディングする手段をさらに備え、前記ビュー合成ピクチャを生成する前記手段は、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成する手段を備える、請求項２７に記載のデバイス。
33. 前記識別情報をコーディングする前記手段は、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングする手段を備える、請求項３２に記載のデバイス。
34. 前記参照ビューは、そのビュー順序インデックスおよび水平ロケーションに基づき識別される、請求項３２に記載のデバイス。
35. ビュー合成予測が前記ビデオデータのために使用可能でないことを前記情報が示すとき、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングする手段をさらに備える、請求項２７に記載のデバイス。
36. 前記現在のピクチャの前記少なくとも一部分をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分を復号する手段を備える、請求項２７に記載のデバイス。
37. 前記現在のピクチャの前記少なくとも一部分をコーディングする前記手段は、前記現在のピクチャの前記少なくとも一部分を符号化する手段を備える、請求項２７に記載のデバイス。
38. 実行されたとき、プロセッサに、
    ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す情報をコーディングすることと、
    ビュー合成予測が前記ビデオデータの前記１つまたは複数のピクチャのために使用可能であることを示す前記情報に基づいて、
    前記ビデオデータの前記１つまたは複数のピクチャを使用してビュー合成ピクチャを生成することと、
    前記１つまたは複数のピクチャの現在のピクチャの少なくとも一部分がビュー合成予測コーディングモードを使用して予測されるかどうかを示す前記少なくとも一部分のための選択されたコーディングモードを表す値をコーディングすることと、ここにおいて、前記値は、ビュー合成予測が前記１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報とは別個のものである、
    前記少なくとも一部分が前記ビュー合成予測コーディングモードを使用して予測されることを示す前記値に基づいて、前記ビュー合成ピクチャに対して前記少なくとも一部分をコーディングすることと、
    を行わせる命令を記憶し、
    ビュー合成予測がビデオデータの１つまたは複数のピクチャのために使用可能であるかどうかを示す前記情報は、ビュー合成予測が複数のビューを含むビットストリームの動作点のために使用可能であるかどうかを示す情報を含む、非一時的コンピュータ可読記憶媒体。
39. 前記情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分に対応するパラメータセットのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
40. 前記シンタックス要素をコーディングすることを前記プロセッサに行わせる前記命令は、前記１つまたは複数のピクチャを含む一連のピクチャに対応するシーケンスパラメータセットのシンタックス要素を、ビュー合成予測が前記対応する一連のピクチャのために使用可能であるかどうかを前記シンタックス要素が示すように、コーディングすることを前記プロセッサに行わせる命令を備える、請求項３９に記載の非一時的コンピュータ可読記憶媒体。
41. 前記シンタックス要素をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャに対応するピクチャパラメータセットと前記現在のピクチャの前記少なくとも一部分を備えるスライスに対応するアクセスユニットレベルパラメータセットとのうちの少なくとも１つのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、請求項３９に記載の非一時的コンピュータ可読記憶媒体。
42. 前記現在のピクチャの前記少なくとも一部分は現在のスライスを備え、
    前記情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のスライスのためのスライスヘッダのシンタックス要素をコーディングすることを前記プロセッサに行わせる命令を備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
43. 前記ビュー合成ピクチャを生成するために使用するための参照ビューについての識別情報をコーディングすることを前記プロセッサに行わせる命令をさらに備え、
    前記ビュー合成ピクチャを生成することを前記プロセッサに行わせる前記命令は、前記参照ビューのピクチャに対して前記ビュー合成ピクチャを生成することを前記プロセッサに行わせる命令を備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
44. 前記識別情報をコーディングすることを前記プロセッサに行わせる前記命令は、前記参照ビューのためのビュー識別子（ｖｉｅｗ＿ｉｄ）をコーディングすることを前記プロセッサに行わせる命令を備える、請求項４３に記載の非一時的コンピュータ可読記憶媒体。
45. 前記参照ビューは、そのビュー順序インデックスおよび水平ロケーションに基づき識別される、請求項４３に記載の非一時的コンピュータ可読記憶媒体。
46. ビュー合成予測が前記ビデオデータのために使用可能でないことを示す前記情報に基づいて、どのビュー合成ピクチャも参照することなく、イントラ予測と、時間的インター予測と、ビュー間予測とのうちの少なくとも１つを使用して前記現在のピクチャをコーディングすることを前記プロセッサに行わせる命令をさらに備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
47. 前記現在のピクチャの前記少なくとも一部分をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分を復号することを前記プロセッサに行わせる命令を備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。
48. 前記現在のピクチャの前記少なくとも一部分をコーディングすることを前記プロセッサに行わせる前記命令は、前記現在のピクチャの前記少なくとも一部分を符号化することを前記プロセッサに行わせる命令を備える、請求項３８に記載の非一時的コンピュータ可読記憶媒体。