JP6855242B2 - ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測 - Google Patents

ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測 Download PDF

Info

Publication number
JP6855242B2
JP6855242B2 JP2016544446A JP2016544446A JP6855242B2 JP 6855242 B2 JP6855242 B2 JP 6855242B2 JP 2016544446 A JP2016544446 A JP 2016544446A JP 2016544446 A JP2016544446 A JP 2016544446A JP 6855242 B2 JP6855242 B2 JP 6855242B2
Authority
JP
Japan
Prior art keywords
layer
video
depth
block
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016544446A
Other languages
English (en)
Other versions
JP2017501644A (ja
JP2017501644A5 (ja
Inventor
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017501644A publication Critical patent/JP2017501644A/ja
Publication of JP2017501644A5 publication Critical patent/JP2017501644A5/ja
Application granted granted Critical
Publication of JP6855242B2 publication Critical patent/JP6855242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

[0001] 本出願は、２０１４年１月３日に出願された米国仮出願第６１／９２３，６１３号の利益を主張するもので、その内容全体が参照により本明細書に組み込まれる。
[0002] 本開示は、ビデオコーディングに関する。
[0003] デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0004] ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を行う。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ピクチャまたはピクチャの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間予測(spatial prediction)を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測(temporal prediction)を使用し得る。
[0005] 空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは空間領域から変換領域に変換され、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
[0006] 一例では、３次元（３Ｄ）ビデオデータを処理する方法は、ビデオパラメータセット（ＶＰＳ：video parameter set）中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤ(depth layer)に依存すると決定することと、深度レイヤを使用して現在テクスチャレイヤを処理することとを含む。
[0007] 別の例では、３Ｄビデオデータを符号化する方法は、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存することに応答して、ビデオパラメータセット中で直接依存レイヤをシグナリングすることと、深度レイヤを使用して現在テクスチャレイヤを処理することとを含む。
[0008] 別の例では、ビデオコーディングデバイスは、ビデオデータを記憶するように構成されたメモリと、ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存すると決定することと、深度レイヤを使用して現在テクスチャレイヤを処理することとを行うように構成された１つまたは複数のプロセッサとを含む。
[0009] 別の例では、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存すると決定することと、深度レイヤを使用して現在テクスチャレイヤを処理することとを行わせる命令を記憶するコンピュータ可読記憶媒体。
[0010] 別の例では、３Ｄビデオデータを処理するための装置は、ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存すると決定するための手段と、深度レイヤを使用して現在テクスチャレイヤを処理するための手段とを含む。
[0011] １つまたは複数の例の詳細が以下の添付の図面および説明に記載されている。他の特徴、目的、および利点は、説明および図面、並びに特許請求の範囲から明らかになろう。
本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図である。 高効率ビデオコーディング（ＨＥＶＣ）規格に記載されたイントラ予測モードを示す図である。 隣接ブロックベースディスパリティベクトル（ＮＢＤＶ：Neighboring Blocks based Disparity Vector）のために使用される空間隣接ブロックおよび時間隣接ブロックを示すブロック図である。 動きベクトル予測子候補についての例示的なロケーションを示すブロック図である。 参照ビューからの深度ブロックがどのように位置を特定され、次いで、後方ワーピングビュー合成予測（ＢＶＳＰ）のために使用されるかについての３つのステップを示す図である。 ビュー間予測動きベクトル候補の導出プロセスの一例を示す図である。 ３次元ＨＥＶＣ（３Ｄ−ＨＥＶＣ）におけるｌ０ＣａｎｄＩｄｘおよびｌ１ＣａｎｄＩｄｘの仕様を示す表である。 対応するテクスチャブロックが、現在ＰＵの中心の右下に位置する４×４ブロックとして選択される、動きベクトル継承（ＭＶＩ：motion vector inheritance）候補を決定するための例示的な導出プロセスを示す図である。 １つの参照ピクチャリストのためのマルチビュービデオコーディングおよび３Ｄビデオコーディングにおける高度残差予測（ＡＲＰ：advanced residual prediction）の予測構造を示す図である。 ビュー間残差についてのＡＲＰの例示的な予測構造を示す図である。 時間残差についてのブロックレベルＡＲＰのための例示的な予測構造を示す図である。 ビュー間残差についてのブロックレベルＡＲＰのための例示的な予測構造を示す図である。 本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図である。 本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図である。 本開示で説明する技法による、ビデオデータを符号化するための例示的な方法を示すフローチャートである。 本開示で説明する技法による、ビデオデータを処理するための例示的な方法を示すフローチャートである。
[0027] 本開示では、ビデオコーディングに関する技法について説明し、より詳細には、３次元（３Ｄ）ビデオコーディングおよび他のタイプのマルチレイヤおよび／またはマルチビューコーディングに関する技法について説明する。マルチレイヤビデオをコーディングするために使用される様々なコーディングツールは、現在レイヤ中の１つまたは複数のビデオブロックをコーディングするために、１つのレイヤから取得された情報を利用する。例えば、現在レイヤの現在ブロックをコーディングするための動きベクトルは、別のレイヤの別のブロックをコーディングするために使用される動きベクトルを識別することによって決定され得る。現在レイヤのコーディングが別のレイヤに依存するとき、現在レイヤは、他のレイヤに直接依存すると見なされる。ビデオデコーダおよび他のビデオ処理デバイスがマルチレイヤビデオを適切に扱うために、ビデオ処理デバイスは、あるレイヤがどの他のレイヤに依存するかを知る必要があり得る。
[0028] ３Ｄビデオコーディングでは、ビデオデータは、一般に、１つまたは複数のテクスチャビューおよび１つまたは複数の対応する深度ビューとしてコーディングされる。コード化テクスチャビューとコード化深度ビューとに基づいて、ビデオレンダリングデバイスは追加のビューを合成し得る。以下でより詳細に説明するように、深度指向隣接ブロックディスパリティ（ＤｏＮＢＤＶ：depth-oriented, neighboring block disparity）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ：backward-warping view synthesis prediction）プロセスなどの様々なコーディングツールは、深度レイヤから取得された情報を利用してテクスチャレイヤをコーディングし、従って、テクスチャレイヤを深度レイヤに直接依存させ得る。
[0029] 本開示の技法によれば、ビデオエンコーダは、例えばビデオパラメータセット（ＶＰＳ）中で、深度およびテクスチャの異なるプロパティとともにレイヤの直接依存性をシグナリングし得る。言い換えれば、ビデオエンコーダは、ビデオビットストリーム中で、テクスチャレイヤが特定の深度レイヤに依存すること、または深度レイヤが特定のテクスチャレイヤに依存することをシグナリングし得る。
[0030] 本開示における様々な技法についてビデオコーダに関して説明し、ビデオコーダは、ビデオエンコーダまたはビデオデコーダのいずれをも指すことができる総称語であるものとする。別段に明記されていない限り、ビデオエンコーダまたはビデオデコーダに関して説明する技法は、ビデオエンコーダまたはビデオデコーダの他方によって行われないことがあると考えられるべきではない。例えば、多くの事例では、ビデオデコーダは、符号化ビデオデータを復号するために、同じまたは時々逆のコーディング技法をビデオエンコーダとして行う。多くの事例では、ビデオエンコーダもビデオ復号ループを含み、従って、ビデオエンコーダは、ビデオデータを符号化することの一部としてビデオ復号を行う。従って、別段に記載されていない限り、本開示で説明する技法は、ビデオエンコーダまたはビデオデコーダのいずれによっても行われ得る。
[0031] 本開示はまた、現在レイヤ、現在ブロック、現在ピクチャ、現在スライスなどの用語を使用することがある。本開示のコンテキストでは、現在という用語は、例えば、前にコーディングされたレイヤ、ブロック、ピクチャ、およびスライス、またはこれからコーディングされるべきブロック、ピクチャ、およびスライスとは対照的に、現在コーディングされているレイヤ、ブロック、ピクチャ、スライスなどを識別するものとする。
[0032] 図１は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４はワイヤレス通信のために装備され得る。
[0033] 宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、リアルタイムで宛先デバイス１４に直接符号化ビデオデータを送信することを可能にするための通信媒体を備え得る。
[0034] 符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0035] いくつかの例では、符号化ビデオデータは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化ビデオデータは入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。
[0036] 宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0037] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために一方向または二方向ビデオ送信をサポートするように構成され得る。
[0038] 図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、マルチビューコーディングにおける動きベクトル予測のための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他のコンポーネントまたは構成を含み得る。例えば、ソースデバイス１２は、外部カメラなど、外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0039] 図１の図示されたシステム１０は一例にすぎない。時間動きベクトル予測のための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって行われ得る。概して、本開示の技法はビデオ符号化デバイスによって行われが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても行われ得る。その上、本開示の技法はビデオプリプロセッサによっても行われ得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオテレフォニーのためのビデオデバイス１２とビデオデバイス１４との間の一方向または二方向ビデオ送信をサポートし得る。
[0040] ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４はいわゆるカメラフォンまたはビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
[0041] コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、ソースデバイス１２から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先デバイス１４に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解されよう。
[0042] 宛先デバイス１４の入力インターフェース２８はコンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニット、例えば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、ユーザに復号ビデオデータを表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0043] ビデオエンコーダ２０およびビデオデコーダ３０は、高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオコーディング規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替または追加として、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、またはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0044] ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、ジョイントビデオチーム（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ（ＭＰＥＧ）とともにＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）によって策定された。いくつかの態様では、本開示で説明する技法は、Ｈ．２６４規格に概して準拠するデバイスに適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ Ｓｔｕｄｙ Ｇｒｏｕｐによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４、Advanced Video Coding for generic audiovisual servicesに記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と呼ぶことがある。ジョイントビデオチーム（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣの拡張に取り組み続けている。
[0045] ビデオエンコーダ２０およびビデオデコーダ３０がそれに従って動作するように構成され得る他のビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。ＭＶＣのドラフトは、「Advanced video coding for generic audiovisual services」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。
[0046] ＪＣＴ−ＶＣはＨＥＶＣ規格を最近確定した。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づいていた。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対して、ビデオコーディングデバイスのいくつかの追加の能力を仮定する。例えば、Ｈ．２６４は９個のイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。
[0047] 概して、ＨＭの作業モデルは、ビデオピクチャ（または「フレーム」）が、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木（quadtree）に従ってコーディングユニット（ＣＵ）にスプリットされ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵにスプリットされた場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
[0048] ４分木データ構造の各ノードは、対応するＣＵのためのシンタックスデータを与え得る。例えば、４分木中のノードは、そのノードに対応するＣＵがサブＣＵにスプリットされるかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵにスプリットされるかどうかに依存し得る。ＣＵがさらにスプリットされない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的スプリッティングが存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶことがある。例えば、１６×１６サイズのＣＵがさらにスプリットされない場合、この１６×１６ＣＵが決してスプリットされなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶことがある。
[0049] ＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードにスプリットされ得、各子ノードは、今度は親ノードとなり、別の４つの子ノードにスプリットされ得る。４分木のリーフノードと呼ばれる、最後のスプリットされていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックがスプリットされ得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。従って、ビットストリームはまた、最小コーディングユニット（ＳＣＵ：smallest coding unit）を定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
[0050] ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４ピクセル以上をもつツリーブロックのサイズにまでわたり得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵの１つまたは複数のＰＵへの区分を記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるのか、イントラ予測モード符号化されるのか、またはインター予測モード符号化されるのかによって異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータはまた、例えば、４分木に従うＣＵの１つまたは複数のＴＵへの区分を記述し得る。ＴＵは、形状が正方形または非正方形（例えば、矩形）であり得る。
[0051] ＨＥＶＣ規格は、異なるＣＵについて異なり得る、ＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵのために定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか、またはそれよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換係数を生成するために変換され、その変換係数は量子化され得る。
[0052] リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵのためのデータは、ＰＵに対応するＴＵのためのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度（例えば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、またはリストＣ）を記述し得る。
[0053] １つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、スプリットフラグは、リーフＣＵが４つの変換ユニットにスプリットされるかどうかを示し得る。次いで、各変換ユニットは、さらなるサブＴＵにさらにスプリットされ得る。ＴＵがさらにスプリットされないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコーディングの場合、リーフＣＵに属する全てのリーフＴＵは、同じイントラ予測モードを共有する。すなわち、同じイントラ予測モードが、概して、リーフＣＵの全てのＴＵのための予測値を計算するために適用される。イントラコーディングの場合、ビデオエンコーダ２０は、イントラ予測モードを使用して各リーフＴＵのための残差値を、ＴＵに対応するＣＵの部分と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵは、ＰＵよりも大きいことも小さいこともある。イントラコーディングの場合、ＰＵは、同じＣＵのための対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
[0054] その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連し得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（またはＬＣＵ）に対応する。スプリットされないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、別段に明記されていない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。
[0055] ビデオシーケンスは、一般に一連のピクチャを含む。本明細書で説明する「ピクチャ」および「フレーム」という用語は同義で使用され得る。すなわち、ビデオデータを含んでいるピクチャは、ビデオフレームまたは単に「フレーム」と呼ばれることがある。ピクチャグループ（ＧＯＰ：group of picture）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに作用する。ビデオブロックはＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは変動サイズを有し得、指定されたコーディング規格に応じてサイズが異なり得る。
[0056] 一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とそれに続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。
[0057] 本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、例えば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために同義で使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、および水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここで、Ｎは非負整数値を表す。ブロック中のピクセルは行と列とに構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。例えば、ブロックはＮ×Ｍピクセルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0058] ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後の、変換領域における係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。
[0059] 変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は変換係数の量子化を行い得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、但し、ｎはｍよりも大きい。
[0060] 量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー（従って、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（従って、より高い周波数）係数を配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するための予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を行い得る。１次元ベクトルを形成するために量子化された変換係数を走査した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディングまたは別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0061] ＣＡＢＡＣを行うために、ビデオエンコーダ２０は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを行うために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣ中のコードワードは、比較的より短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0062] ビデオエンコーダ２０は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のピクチャの数を記述し得、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示し得る。
[0063] 図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれ、オーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0064] ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなど、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
[0065] 本開示で説明する隣接ブロックベースディスパリティベクトル（ＮＢＤＶ：Neighboring Blocks based Disparity Vector）および高度残差予測（ＡＲＰ：advanced residual prediction）技法の基礎の理解を容易にするために、ＨＥＶＣのいくつかの態様を以下で概説する。イントラ予測、参照リスト構成、および時間動きベクトル予測など、ベースＨＥＶＣの様々な態様について以下で説明する。さらに、イントラ予測、参照リスト構成、および時間動きベクトル予測から構築するＨＥＶＣの３次元ビデオ拡張の様々な態様についても以下で説明する。本開示のいくつかの態様について説明の目的でＨＥＶＣに関して説明するが、本技法は、これに限定されず、様々な他のコーディング規格とともに使用され得ることを理解されたい。
[0066] 図２は、ＨＥＶＣによってサポートされるイントラ予測モードを示す図である。ＨＥＶＣに従ってイントラ予測を行うとき、各ＰＵのルーマ成分について、ビデオエンコーダ２０および／またはビデオデコーダ３０は、図２に示されているように、（２から３４までインデックス付けされた）３３個の角度予測モードと、（１でインデックス付けされた）ＤＣモードと、（０でインデックス付けされた）平面モードとを利用し得る。イントラ予測を行うとき、ビデオデコーダ３０は、角度イントラ予測が使用されるとき、イントラ予測モードの角度に従って隣接ブロックから取得されたピクセル値に基づいて現在ブロックを予測する。ＤＣイントラ予測モードを使用してコーディングされるブロックの場合、ビデオデコーダ３０は、平均値を決定するために隣接参照サンプルの値を平均することによって予測ブロックを決定し、平面モードを使用してコーディングされるブロックの場合、ビデオデコーダ３０は、隣接ピクセル値の２次元線形補間を行うことによって予測ブロックを決定する。
[0067] インター予測を行うために、ビデオエンコーダ２０およびビデオデコーダ３０は、ビデオエンコーダ２０およびビデオデコーダ３０がブロックをそれからインター予測し得る参照ピクチャを含む参照ピクチャリストを構成し得る。ＨＥＶＣにおける参照ピクチャリスト構成に関して、ビデオエンコーダ２０およびビデオデコーダ３０は、一般に、２つのステップを使用してＢピクチャの第１または第２の参照ピクチャリストについて参照ピクチャリストを構成し得る。第１に、ビデオエンコーダ２０およびビデオデコーダ３０は参照ピクチャリスト初期化を行い得、第２に、ビデオエンコーダ２０およびビデオデコーダ３０は参照ピクチャリスト並べ替え（例えば順序付けの変更）を行い得る。参照ピクチャリスト初期化は、ＰＯＣ（ピクチャの表示順序に整合するピクチャ順序カウント（Picture Order Count））値の順序に基づいて、（復号ピクチャバッファとしても知られる）参照ピクチャメモリ中の参照ピクチャをリストに入れる明示的機構であり得る。参照ピクチャリスト並べ替え機構は、参照ピクチャリスト初期化中にリストに入れられたピクチャの位置を任意の新しい位置に変更するか、または参照ピクチャメモリ中の任意の参照ピクチャを、そのピクチャが初期化リストに属していなくても任意の位置に入れ得る。いくつかのピクチャは、参照ピクチャリスト並べ替えの後に、リスト中のより低い位置に入れられ得る。ピクチャの位置がリストのアクティブ参照ピクチャの数を超える事例では、そのピクチャは最終参照ピクチャリストのエントリとは見なされないことがある。言い換えれば、参照リストが、０からＸ−１にわたるリスト位置をもつＸ個のアクティブ参照ピクチャを含む場合、ビデオエンコーダ２０およびビデオデコーダ３０は、インター予測を行うための候補参照ピクチャとして、並びに参照ピクチャリスト中の位置Ｘおよびより高い位置にある参照ピクチャを除外し得る。アクティブ参照ピクチャの数は、例えば、リストごとにスライスヘッダ中でシグナリングされ得る。
[0068] ビデオエンコーダ２０およびビデオデコーダ３０が参照ピクチャリスト（すなわち、利用可能な場合、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１）を構成した後、参照ピクチャリストへの参照インデックスが、参照ピクチャリスト中に含まれる任意の参照ピクチャを識別するために使用され得る。言い換えれば、ビデオエンコーダ２０は、インター予測を行うために使用すべき１つまたは複数の参照ピクチャを選択し、選択された参照ピクチャを符号化ビデオビットストリーム中でビデオデコーダ３０にシグナリングし得る。
[0069] 選択された参照ピクチャをシグナリングすることに加えて、ビデオエンコーダ２０は、選択された参照ピクチャ中の参照ブロックの位置を特定する際に使用すべきビデオデコーダ３０のための動きベクトルをも符号化ビットストリーム中でシグナリングし得る。ビデオエンコーダ２０は動きベクトルを予測的にシグナリングし得る。予測シグナリング技法の２つの例は、高度動きベクトル予測（ＡＭＶＰ：advanced motion vector prediction）とマージモードシグナリングとを含む。ＡＭＶＰでは、ビデオエンコーダ２０およびビデオデコーダ３０は、両方とも、すでにコーディングされたブロックから決定された動きベクトルに基づいて候補リストをアセンブルする。ビデオエンコーダ２０は、次いで、動きベクトル予測子（ＭＶＰ：motion vector predictor）を識別するための候補リストへのインデックスをシグナリングし、動きベクトル差分（ＭＶＤ：motion vector difference）をシグナリングする。ＡＭＶＰでは、ビデオデコーダ３０がブロックをインター予測するために使用する動きベクトルは、ＭＶＤだけ変更されたＭＶＰ、例えば、ＭＶＰ＋ＭＶＤである。
[0070] マージモードでは、ビデオエンコーダ２０およびビデオデコーダ３０は、両方とも、すでにコーディングされたブロックに基づいて候補リストをアセンブルし、ビデオエンコーダ２０は、候補リスト中の候補のうちの１つのためのインデックスをシグナリングする。マージモードでは、ビデオデコーダ３０は、シグナリングされた候補の動きベクトルと参照ピクチャインデックスとを使用して現在ブロックをインター予測する。ＡＭＶＰとマージモードの両方において、ビデオエンコーダ２０およびビデオデコーダ３０は、ブロックをどのように符号化するかを決定するときにビデオエンコーダ２０によって使用されるリストが、そのブロックをどのように復号するかを決定するときにビデオデコーダ３０によって使用されるリストに一致するように、同じリスト構成技法を利用する。
[0071] ＡＭＶＰとマージとを行うために、ビデオエンコーダ２０およびビデオデコーダ３０は時間動きベクトル予測子（ＴＭＶＰ：temporal motion vector predictor）候補を決定し得る。動きベクトル予測、より詳細には時間動きベクトル予測に関して、ＴＭＶＰ候補を識別するために、最初にビデオエンコーダ２０および／またはビデオデコーダ３０はコロケートピクチャを識別し得る。現在ピクチャがＢスライスである場合、ビデオエンコーダ２０は、コロケートピクチャがＲｅｆＰｉｃＬｉｓｔ０からのものであるのかＲｅｆＰｉｃＬｉｓｔ１からのものであるのかを示すために、スライスヘッダ中でｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇをシグナリングし得る。参照ピクチャリストが識別された後、ビデオコーダは、リスト中のピクチャ中のピクチャを識別するために、スライスヘッダ中でシグナリングされたｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘを使用する。
[0072] ビデオコーダは、次いで、場合によってはコロケートピクチャを検査することによって、コロケート予測ユニット（ＰＵ）を識別し得る。このＰＵを含んでいるコーディングユニット（ＣＵ）の右下ＰＵの動き情報、またはこのＰＵを含んでいるＣＵの中心ＰＵ内の右下ＰＵの動きのいずれかが使用され得る。
[0073] 上記のプロセスによって識別された動きベクトルが、ＡＭＶＰまたはマージモードのための動き候補を生成するために使用されるとき、動きベクトルは、（ピクチャ順序カウント（ＰＯＣ）値によって反映される）時間ロケーションに基づいてスケーリングされ得る。
[0074] いくつかの事例では、ＴＭＶＰから導出される時間マージング候補のための全てのあり得る参照ピクチャリストのターゲット参照インデックスは常に０に設定されるが、ＡＭＶＰでは、それは復号参照インデックスに等しく設定される。
[0075] ＨＥＶＣでは、シーケンスパラメータセット（ＳＰＳ）はフラグｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇを含み、スライスヘッダは、ｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇが１に等しいとき、フラグｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇを含む。特定のピクチャについてｐｉｃ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇとｔｅｍｐｏｒａｌ＿ｉｄの両方が０に等しいとき、復号順序でその特定のピクチャの前のピクチャからの動きベクトルは、その特定のピクチャまたは復号順序でその特定のピクチャの後のピクチャの復号において時間動きベクトル予測子として使用されないことがある。
[0076] ＶＣＥＧおよびＭＰＥＧのジョイントコラボレーションチームオン３Ｄビデオコーディング（ＪＣＴ−３Ｃ）は、ＨＥＶＣに基づく３ＤＶ規格を開発中であり、それのために、規格化作業の一部は、ＨＥＶＣに基づくマルチビュービデオコーデック（ＭＶ−ＨＥＶＣ）と、ＨＥＶＣに基づく３Ｄビデオコーディング（３Ｄ−ＨＥＶＣ）のための別の部分との規格化を含む。ＭＶ−ＨＥＶＣでは、ＪＣＴは、ＨＥＶＣにおけるＣＵ／ＰＵレベルでのモジュールが再設計される必要がなく、従って、ＭＶ−ＨＥＶＣのために完全に再利用され得るように、ＨＥＶＣのハイレベルシンタックス（ＨＬＳ）変更しかないことを保証することを目指している。しかしながら、３Ｄ−ＨＥＶＣでは、テクスチャビューと深度ビューの両方のためにＣＵ／ＰＵレベルで使用されるコーディングツールを含む、新たなコーディングツールが含められ、サポートされ得る。３Ｄ−ＨＥＶＣのための最新のソフトウェア３Ｄ−ＨＴＭが以下のリンクからダウンロードされ得る。［３Ｄ−ＨＴＭ ｖｅｒｓｉｏｎ ７．０］：
https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-7.0/
[0077] 以下のような最新の参照ソフトウェア記述並びに３Ｄ−ＨＥＶＣのワーキングドラフトが入手可能になる。
Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｎｇｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｓｅｈｏｏｎ Ｙｅａ、「3D-HEVC Test Model 4」、ＪＣＴ３Ｖ−Ｆ１００１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。これは、以下のリンクからダウンロードされ得る。
http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2.zip
[0078] ３Ｄ−ＨＥＶＣによってサポートされる新しいツールの一例として、３Ｄ−ＨＥＶＣを実装するビデオコーダは暗黙的ディスパリティベクトル（ＩＤＶ：implicit disparity vector）を決定し、利用する。ビデオコーダは、例えば、ＰＵがビュー間動きベクトル予測を採用するとき、例えば、ＡＭＶＰまたはマージモードのための候補が、ディスパリティベクトルの助けによって他のビュー中の対応するブロックから導出されるとき、ＩＤＶを生成し得る。そのようなディスパリティベクトルはＩＤＶと呼ばれることがある。ＩＤＶは、ディスパリティベクトル導出の目的でＰＵのために記憶され得る。
[0079] ３Ｄ−ＨＥＶＣはまた、ディスパリティベクトル導出プロセスを与える。ディスパリティベクトルを導出するために、ビデオコーダは、現在の３Ｄ−ＨＴＭにおいてＮＢＤＶと呼ばれるプロセス（ビデオエンコーダ２０などのビデオエンコーダによって実装されるべきテストソフトウェアを指す）を使用し得る。ＮＢＤＶに従って、ビデオエンコーダ２０およびビデオデコーダ３０は、空間隣接ブロックおよび時間隣接ブロックから決定されたＤＭＶを利用し得る。ＮＢＤＶでは、ビデオエンコーダ２０およびビデオデコーダ３０は、固定された順序で空間および／または時間隣接ブロックの動きベクトルを検査する。ディスパリティ動きベクトルまたはＩＤＶが識別されると、ビデオエンコーダ２０およびビデオデコーダ３０は検査プロセスを終了する。ビデオエンコーダ２０およびビデオデコーダ３０は、識別されたディスパリティ動きベクトルを、ビュー間動き予測および／またはビュー間残差予測において使用され得るディスパリティベクトルに変換し得る。全ての予め定義された隣接ブロックを検査した後、そのようなディスパリティ動きベクトルが見つからない場合、ビデオエンコーダ２０およびビデオデコーダ３０はビュー間動き予測のためにゼロディスパリティベクトルを使用し得るが、ビュー間残差予測は、対応するＰＵに対して無効にされ得る。
[0080] 図３に、ＮＢＤＶのためにビデオエンコーダ２０およびビデオデコーダ３０によって使用され得る空間隣接ブロックおよび時間隣接ブロックの表現を示す。ビデオエンコーダ２０およびビデオデコーダ３０は、ディスパリティベクトル導出のために５つの空間隣接ブロックを使用し得る。５つの空間隣接ブロックは、図３に示されているように、それぞれＡ０、Ａ１、Ｂ０、Ｂ１またはＢ２によって示された、現在予測ユニット（ＰＵ）の左下ブロック、左ブロック、右上ブロック、上ブロックおよび左上ブロックである。
[0081] ビデオエンコーダ２０およびビデオデコーダ３０は、例えば、時間隣接ブロックを決定するために現在ビューからの最高２つの参照ピクチャを考慮し得る。２つの参照ピクチャは、例えば、コロケートピクチャ、およびランダムアクセスピクチャまたは最小ＰＯＣ差分と最小時間ＩＤとをもつ参照ピクチャであり得、時間ブロック検査のために考慮され得る。いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、最初にランダムアクセスピクチャを検査し、続いてコロケートピクチャを検査し得る。候補ピクチャごとに、ビデオエンコーダ２０およびビデオデコーダ３０は２つの候補ブロックを検査し得る。２つの候補ブロックは、例えば、中心ブロック（例えば、現在ＰＵのコロケート領域の中心４×４ブロック、図４中の「Ｐｏｓ．Ａ」参照）および右下ブロック（例えば、現在ＰＵのコロケート領域の右下４×４ブロック、図４中の「Ｐｏｓ．Ｂ」参照）であり得る。
[0082] いわゆる「検査順序(checking order)」に関して、ＤＭＶが使用されるかどうかは、いくつかの例では、最初に全ての空間／時間隣接ブロックについて検査され、続いてＩＤＶについて検査される。これらの例では、空間隣接ブロックが最初に検査され、続いて時間隣接ブロックが検査される。
[0083] 一般に、ビデオエンコーダ２０およびビデオデコーダ３０は、Ａ１、Ｂ１、Ｂ０、Ａ０およびＢ２の順序で図３の５つの空間隣接ブロックを検査する。それらのうちの１つがＤＭＶを使用して予測していた場合、ビデオエンコーダ２０およびビデオデコーダ３０は、検査プロセスを終了し、最終ディスパリティベクトルとして対応するＤＭＶを使用する。
[0084] また、これらおよび他の例では、候補ピクチャごとに、２つのブロックが、第１の非ベースビューのためのＣＲおよびＢＲ、または第２の非ベースビューのためのＢＲ、ＣＲの順序で検査される。それらのうちの１つがＤＭＶを使用して予測された場合、ビデオエンコーダ２０およびビデオデコーダ３０は、検査プロセスを終了し、最終ディスパリティベクトルとして対応するＤＭＶを使用する。
[0085] ビデオエンコーダ２０およびビデオデコーダ３０はまた、Ａ０、Ａ１、Ｂ０、Ｂ１およびＢ２の順序で図３の５つの空間隣接ブロックを検査し得る。５つの空間隣接ブロックのうちの１つがＤＭＶを使用して予測され、スキップ／マージモードを使用してコーディングされた場合、ビデオエンコーダ２０およびビデオデコーダ３０は、これらおよび他の例では、検査プロセスを終了し、最終ディスパリティベクトルとして対応するＩＤＶを使用し得る。
[0086] ＮＢＤＶのためのデフォルト参照インデックスの導出に関して、３Ｄ−ＨＥＶＣでは、ＮＢＤＶプロセスは、検査された隣接ブロックがＤＭＶを含んでいないとき、デフォルトビュー順序インデックスに関連するデフォルトディスパリティベクトル（０）を返し得る。このようにして、現在のＮＢＤＶプロセスは、デフォルトビュー順序インデックスを導出するために、両方の参照ピクチャリストを検査し、ビュー順序インデックスを１つずつ比較する必要があり得る。
[0087] ３Ｄ−ＨＥＶＣはまた、ディスパリティベクトルの改良を与える。すなわち、ＮＢＤＶ方式から生成されたディスパリティベクトルは、コード化深度マップ中の情報を使用してさらに改良され得る。言い換えれば、ディスパリティベクトルの精度は、情報コード化ベースビュー深度マップ(information coded base view depth map)を利用することによって向上され得る。改良ステップは、一例として以下のように説明される。
１）ベースビューなど、前にコーディングされた参照深度ビュー中の導出されたディスパリティベクトルによって、対応する深度ブロックの位置を特定する。対応する深度ブロックのサイズは現在ＰＵのサイズと同じである。
２）ディスパリティベクトルは、コロケート深度ブロックから、４つのコーナー深度値の最大値から計算される。これは、ディスパリティベクトルの水平成分に等しく設定されるが、ディスパリティベクトルの垂直成分は０に設定される。
[0088] この新しいディスパリティベクトルは、「深度指向隣接ブロックベースディスパリティベクトル（ＤｏＮＢＤＶ：depth oriented neighboring block based disparity vector）」と呼ばれることがある。ＮＢＤＶ方式からのディスパリティベクトルは、次いで、ＡＭＶＰおよびマージモードのためのビュー間候補導出のためにＤｏＮＢＤＶ方式からのこの新たに導出されたディスパリティベクトルによって置き換えられ得る。改良されていないディスパリティベクトルがビュー間残差予測のために使用され得ることに留意されたい。さらに、改良されたディスパリティベクトルは、それが後方ＶＳＰ（ＢＶＳＰ）モードでコーディングされる場合、１つのＰＵの動きベクトルとして記憶される。
[0089] ３Ｄ−ＨＥＶＣはまた、隣接ブロックを使用するブロックベースビュー合成予測を与える。著者Ｔｉａｎらによる「CE1.h: Backward View Synthesis Prediction using Neighbouring Blocks」と題するＪＣＴ３Ｖ−Ｃ０１５２において提案された後方ワーピングＶＳＰ手法（ＢＶＳＰと同じまたは同様であり、同じくＢＶＳＰとして示される）は第３回ＪＣＴ−３Ｖ会議において採用された。この後方ワーピングＶＳＰの基本概念は、３Ｄ−ＡＶＣにおけるブロックベースＶＳＰと同じまたは同様である。これらの２つのプロセスの両方は、動きベクトル差分を送信することを回避し、より正確な動きベクトルを使用するために、後方ワーピングおよびブロックベースＶＳＰを使用し得る。実装詳細は、異なるプラットフォームにより異なる。
[0090] 以下の段落では、「ＢＶＳＰ」という用語を、３Ｄ−ＨＥＶＣにおける後方ワーピングＶＳＰ手法を示すためにも使用する。
[0091] ３Ｄ−ＨＴＭでは、ビデオエンコーダ２０は、一般に、共通テスト条件においてテクスチャファーストコーディングを適用し得る。従って、ある非ベーステクスチャビューを復号するとき、対応する非ベース深度ビューは利用不可能である。従って、ビデオコーダは、深度情報を推定し得、ＢＶＳＰを行うためにこの推定深度情報を使用した。
[0092] ブロックのための深度情報を推定するために、ビデオコーダは、最初に隣接ブロックからディスパリティベクトルを導出し、次いで、参照ビューから深度ブロックを取得するために、導出されたディスパリティベクトルを使用し得る。
[0093] ＨＴＭ５．１テストモデルでは、ＮＢＤＶ（隣接ブロックディスパリティベクトル）と呼ばれる、ディスパリティベクトル予測子を導出するためのプロセスが存在する。（ｄｖｘ，ｄｖｙ）がＮＢＤＶ関数から識別されたディスパリティベクトルを示し、現在ブロック位置が（ｂｌｏｃｋｘ，ｂｌｏｃｋｙ）であるとする。ビデオコーダは、参照ビューの深度画像中の（ｂｌｏｃｋｘ＋ｄｖｘ，ｂｌｏｃｋｙ＋ｄｖｙ）において深度ブロックをフェッチし得る。フェッチされた深度ブロックは、概して、現在予測ユニット（ＰＵ）と同じサイズを有し、このフェッチされた深度ブロックは、次いで、現在ＰＵのための後方ワーピングを行うために使用され得る。
[0094] 図５は、参照ビューからの深度ブロックがどのように位置を特定され、次いで、ＢＶＳＰ予測のために使用され得るかの一例を示す図である。図５の例では、深度ピクチャ１０２およびテクスチャピクチャ１０６は同じビューに対応するが、テクスチャピクチャ１０４は異なるビューに対応する。特に、テクスチャピクチャ１０４は、参照ピクチャとして働くテクスチャピクチャ１０６に対してコーディングされた現在ブロック１１２を含む。ビデオコーダは、ディスパリティベクトルを決定するために、現在ブロック１１２に隣接する隣接ブロック１１４を参照し得る。隣接ブロック１１４は、前に決定されたディスパリティベクトル１１８を含む。ディスパリティベクトル１１８は、現在ブロック１１２のためのディスパリティベクトル１１６として導出され得る。従って、ディスパリティベクトル１１６は、参照ビューの深度ピクチャ１０２中の深度ブロック１０８を参照する。
[0095] ビデオコーダは、次いで、後方ワーピングを行うために、現在ブロック１１２のピクセル（すなわち、テクスチャ値）のためのディスパリティ値１１９を決定するために、深度ブロック１０８のピクセル（すなわち、深度値）を使用し得る。ビデオコーダは、次いで、ディスパリティ値１１９によって識別されたピクセルから現在ブロック１１２のための予測ブロック（すなわち、ＢＶＳＰ参照ブロック）のための値を合成し得る。ビデオコーダは、次いで、この予測ブロックを使用して現在ブロック１１２を予測し得る。例えば、ビデオエンコーダ２０によるビデオ符号化中に、ビデオエンコーダ２０は、残差値を生成するために、予測ブロックと現在ブロック１１２との間のピクセルごとの差分を計算し得、ビデオエンコーダ２０は、次いで、残差値を変換、量子化、およびエントロピー符号化し得る。一方、ビデオデコーダ３０によるビデオ復号中に、ビデオデコーダ３０は、残差データをエントロピー復号、逆量子化、および逆変換し、次いで、現在ブロック１１２を再生するために、残差データを（ピクセルごとに）予測ブロックと結合し得る。
[0096] ＢＶＳＰがシーケンスのために有効にされる場合、ビュー間動き予測のためのＮＢＤＶプロセスは変更され得る。以下の段落では、相違点に下線が引かれている。
・ 時間隣接ブロックの各々について、時間隣接ブロックがディスパリティ動きベクトルを使用する場合、ディスパリティ動きベクトルがディスパリティベクトルとして返され、ディスパリティベクトルは、上記で説明したプロセスを用いてさらに改良される。
・ 空間隣接ブロックの各々について、以下が適用される。
○ 参照ピクチャリスト０または参照ピクチャリスト１ごとに、以下が適用される。
□ 空間隣接ブロックがディスパリティ動きベクトルを使用する場合、ディスパリティ動きベクトルがディスパリティベクトルとして返され、ディスパリティベクトルは、上記で説明したプロセスを用いてさらに改良される。
□ そうではなく、空間隣接ブロックがＢＶＳＰモードを使用する場合、関連する動きベクトルがディスパリティベクトルとして返される。ディスパリティベクトルは、上記で説明したのと同様の方法でさらに改良される。しかしながら、最大深度値は、４つのコーナーピクセルではなく、対応する深度ブロックの全てのピクセルから選択される。
[0097] 空間隣接ブロックの各々について、空間隣接ブロックがＩＤＶを使用する場合、ＩＤＶがディスパリティベクトルとして返され、ディスパリティベクトルは、上記で説明したプロセスを用いてさらに改良される。
[0098] 導入されたＢＶＳＰモードは、空間インターコード化モードとして扱われ得、ＢＶＳＰモードの使用を示すフラグがＰＵごとに維持され得る。ビットストリーム中でフラグをシグナリングするのではなく、新しいマージング候補（ＢＶＳＰマージング候補）がマージ候補リストに追加され得、ここで、このフラグは、復号されたマージ候補インデックスがＢＶＳＰマージング候補に対応するかどうかに依存し得る。ＢＶＳＰマージング候補は以下のように定義される。
・ 参照ピクチャリストごとの参照ピクチャインデックス：−１
・ 参照ピクチャリストごとの動きベクトル：改良されたディスパリティベクトル
[0099] ＢＶＳＰマージング候補の挿入位置は、いくつかの例では、空間隣接ブロックに依存し得る。
・ ５つの空間隣接ブロックのいずれか（Ａ０、Ａ１、Ｂ０、Ｂ１またはＢ２）がＢＶＳＰモードでコーディングされる場合、例えば、隣接ブロックの維持されたフラグが１に等しい場合、ＢＶＳＰマージング候補は、対応する空間マージング候補として扱われ、マージ候補リストに挿入される。いくつかの例では、ＢＶＳＰマージング候補はマージ候補リストに一度のみ挿入され得る。
・ そうでない場合（５つの空間隣接ブロックのいずれもＢＶＳＰモードでコーディングされない）、ＢＶＳＰマージング候補は、時間マージング候補の直前にマージ候補リストに挿入され得る。
[0100] いくつかの例では、結合双予測マージング候補の導出プロセス(combined bi-predictive merging candidate derivation process)中に、ＢＶＳＰマージング候補を含めることを回避するために、追加の条件が検査されるべきである。
[0101] 予測導出プロセスに関して、それのサイズがＮ×Ｍによって示されるＢＶＳＰコード化ＰＵごとに、ＰＵは、Ｋ×Ｋ（ここにおいて、Ｋは４または２であり得る）に等しいサイズをもついくつかの下位領域にさらに区分され得る。下位領域ごとに、別個のディスパリティ動きベクトルが導出され得、各下位領域は、ビュー間参照ピクチャ中の導出されたディスパリティ動きベクトルによって位置を特定された１つのブロックから予測され得る。言い換えれば、ビデオコーダは、ＢＶＳＰコード化ＰＵのための動き補償ユニットのサイズをＫ×Ｋに設定し得る。共通テスト条件では、Ｋは４に設定され得る。
[0102] ディスパリティ動きベクトル導出プロセス(disparity motion vector derivation process)に関して、ＢＶＳＰモードでコーディングされた１つのＰＵ内の下位領域（４×４ブロック）ごとに、ビデオコーダは、上述の改良されたディスパリティベクトルを用いて参照深度ビュー中の対応する４×４深度ブロックの位置を特定し得る。第２に、ビデオコーダは、対応する深度ブロック中の１６個の深度ピクセルの最大値を選択する。第３に、ビデオコーダは、その最大値をディスパリティ動きベクトルの水平成分に変換する。ディスパリティ動きベクトルの垂直成分は０に設定され得る。
[0103] ３Ｄ−ＨＴＭはまた、スキップ／マージモードのためのビュー間候補導出プロセスを与える。ＤｏＮＢＤＶ方式から導出されたディスパリティベクトルに基づいて、ビデオエンコーダ２０は、利用可能な場合、新しい動きベクトル候補、ビュー間予測動きベクトル候補（ＩＰＭＶＣ：Inter-view Predicted Motion Vector Candidate）をＡＭＶＰおよびスキップ／マージモードに追加し得る。ビュー間予測動きベクトルは、利用可能な場合、時間動きベクトルを備え得る。
[0104] スキップモードは、概して、マージモードと同じ動きベクトル導出プロセスを利用したので、本開示で説明する全てのプロセスはマージモードとスキップモードの両方に適用され得る。
[0105] マージ／スキップモードでは、ビュー間予測動きベクトルは以下のステップによって導出される。最初に、ビデオエンコーダ２０およびビデオデコーダ３０は、ディスパリティベクトルを使用して、同じアクセスユニットの参照ビュー中の現在ＰＵ／ＣＵの対応するブロックの位置を特定する。次に、対応するブロックがイントラコーディングされず、ビュー間予測されず、それの参照ピクチャが現在ＰＵ／ＣＵの同じ参照ピクチャリスト中の１つのエントリのものに等しいＰＯＣ値を有する場合、ビデオエンコーダ２０およびビデオデコーダ３０は、ＰＯＣに基づいて参照インデックスをビュー間予測動きベクトルになるように変換した後に、それの動き情報（予測方向、参照ピクチャ、および動きベクトル）を導出する。
[0106] 対応するブロックは以下のように定義される。
現在ピクチャの左上ルーマサンプルに対する現在予測ユニットの左上ルーマサンプルのルーマロケーション（ｘＰ，ｙＰ）を示し、ｎＰＳＷおよびｎＰＳＨは、それぞれ現在予測ユニットの幅および高さを示し、参照ビュー順序インデックスｒｅｆＶｉｅｗＩｄｘ、およびディスパリティベクトルｍｖＤｉｓｐ、参照レイヤルーマロケーション（ｘＲｅｆ，ｙＲｅｆ）は以下によって導出される。
Figure 0006855242
Figure 0006855242
[0107] ビデオコーダは、対応するブロックを、ｒｅｆＶｉｅｗＩｄｘに等しいＶｉｅｗＩｄｘをもつビューコンポーネント中のルーマロケーション（ｘＲｅｆ，ｙＲｅｆ）をカバーする予測ユニットに設定し得る。
[0108] 図６は、ビュー間予測動きベクトル候補の導出プロセスの一例を示す図である。第１のビュー（Ｖ１）中の現在ブロック１２０について、ビデオデコーダ３０は、異なるビュー（Ｖ０）中の対応するブロック１２１の位置を特定する。ビデオデコーダ３０は、現在ブロック１２０のための動き情報を導出するために、参照ブロック１２１の動き情報を再利用し得る。例えば、ビデオデコーダ３０が参照ブロック１２１を予測するために動きベクトル１２４Ｂを使用した場合、ビデオデコーダ３０は、現在ブロック１２０を予測するために動きベクトル１２４Ａを使用し得る。動きベクトル１２４Ａおよび動きベクトル１２４Ｂは、同じ動きベクトルの２つの異なるインスタンスを表すものとする。
[0109] さらに、ビデオコーダは、ディスパリティベクトルをビュー間ディスパリティ動きベクトルに変換し得、ビュー間ディスパリティ動きベクトルは、次いで、ＩＰＭＶＣとは異なる位置においてマージ候補リストに追加され、または場合によっては、それが利用可能であるとき、ＩＰＭＶＣと同じ位置においてＡＭＶＰ候補リストに追加され得る。ＩＰＭＶＣまたはビュー間ディスパリティ動きベクトル候補（ＩＤＭＶＣ：Inter-view Disparity Motion Vector Candidate）のいずれも、このコンテキストでは「ビュー間候補」と呼ばれることがある。
[0110] マージ／スキップモードでは、ＩＰＭＶＣは、利用可能な場合、常に、全ての空間マージング候補および時間マージング候補の前にマージ候補リストに挿入され得る。ＩＤＭＶＣは、Ａ０から導出された空間マージング候補の前に挿入され得る。
[0111] ３Ｄ−ＨＥＶＣはまた、テクスチャコーディングのためのマージ候補リスト構成を与える。このコンテキストでは、ビデオコーダは、最初に、ＤｏＮＢＤＶのプロセスを用いてディスパリティベクトルを導出し得る。ディスパリティベクトルを用いて、３Ｄ−ＨＥＶＣにおけるマージング候補リスト構成プロセスは、一例として、以下のように定義され得る。
１． ＩＰＭＶＣ挿入
ＩＰＭＶＣが、上記で説明したプロシージャによって導出される。ＩＰＭＶＣが利用可能である場合、ＩＰＭＶＣはマージリストに挿入される。
２． ３Ｄ−ＨＥＶＣにおける空間マージング候補のための導出プロセスおよびＩＤＭＶＣ挿入
以下の順序、すなわち、Ａ１、Ｂ１、Ｂ０、Ａ０、またはＢ２で空間隣接ＰＵの動き情報を検査する。次いで、制約付きプルーニングが以下のプロシージャによって行われ得る。
・ Ａ１およびＩＰＭＶＣが同じ動きベクトルと同じ参照インデックスとを有する場合、Ａ１は候補リストに挿入されず、そうでない場合、Ａ１はそのリストに挿入される。
・ Ｂ１およびＡ１／ＩＰＭＶＣが同じ動きベクトルと同じ参照インデックスとを有する場合、Ｂ１は候補リストに挿入されず、そうでない場合、Ｂ１はそのリストに挿入される。
・ Ｂ０が利用可能である場合、Ｂ０は候補リストに追加される。ＩＤＭＶＣが、上記で説明したプロシージャによって導出される。ＩＤＭＶＣが利用可能であり、それがＡ１およびＢ１から導出された候補と異なる場合、ＩＤＭＶＣは候補リストに挿入される。
・ ＢＶＳＰがピクチャ全体に対してまたは現在スライスに対して有効にされる場合、ＢＶＳＰマージング候補はマージ候補リストに挿入される。
・ Ａ０が利用可能である場合、Ａ０は候補リストに追加される。
・ Ｂ２が利用可能である場合、Ｂ２は候補リストに追加される。
３． 時間マージング候補のための導出プロセス
コロケートＰＵの動き情報が利用される、ＨＥＶＣにおける時間マージング候補導出プロセスと同様に、但し、時間マージング候補のターゲット参照ピクチャインデックスが、０であるように固定するのではなく変更され得る。０に等しいターゲット参照インデックスが（同じビュー中の）時間参照ピクチャに対応し、コロケート予測ユニット（ＰＵ）の動きベクトルがビュー間参照ピクチャを指すとき、ターゲット参照インデックスは、参照ピクチャリスト中のビュー間参照ピクチャの第１のエントリに対応する別のインデックスに変更される。反対に、０に等しいターゲット参照インデックスがビュー間参照ピクチャに対応し、コロケート予測ユニット（ＰＵ）の動きベクトルが時間参照ピクチャを指すとき、ターゲット参照インデックスは、参照ピクチャリスト中の時間参照ピクチャの第１のエントリに対応する別のインデックスに変更される。
４． ３Ｄ−ＨＥＶＣにおける結合双予測マージング候補のための導出プロセス
上記の２つのステップから導出された候補の総数が候補の最大数未満である場合、ｌ０ＣａｎｄＩｄｘおよびｌ１ＣａｎｄＩｄｘの仕様を除いて、ＨＥＶＣにおいて定義されたのと同じプロセスが行われる。ｃｏｍｂＩｄｘとｌ０ＣａｎｄＩｄｘとｌ１ＣａｎｄＩｄｘとの間の関係は、図７に示す表において定義されている。
５． ゼロ動きベクトルマージング候補のための導出プロセス
・ ＨＥＶＣにおいて定義されたのと同じプロシージャが行われ得る。
[0112] 最新のソフトウェアでは、ＭＲＧリスト中の候補の総数は最大６であり、スライスヘッダ中で６から減算されるＭＲＧ候補の最大数を指定するために、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄがシグナリングされ得る。いくつかの例では、ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、両端値を含む０〜５の範囲内にある。
[0113] 深度コーディングのための動きベクトル継承も与えられる。動きベクトル継承（ＭＶＩ）は、一般に、テクスチャ画像とそれの関連する深度画像との間の動き特性の類似度を活用する。
[0114] 図８に、対応するテクスチャブロック１３３が、現在ＰＵ１３５の中心の右下に位置する４×４ブロックとして選択される、ＭＶＩ候補の導出プロセスの一例を示す。深度ピクチャ１３７中の所与のＰＵについて、ＭＶＩ候補は、利用可能な場合、すでにコーディングされた対応するテクスチャブロック１３３の動きベクトルと参照インデックスとを再利用し得る。
[0115] いくつかの例では、整数精度をもつ動きベクトルが深度コーディングにおいて使用され、動きベクトルの１／４精度がテクスチャコーディングのために利用される。その結果、対応するテクスチャブロックの動きベクトルは、ＭＶＩ候補として使用する前にスケーリングされ得る。
[0116] ＭＶＩ候補生成により、深度ビューのためのマージ候補リストが、以下の例示的な様式に記載されているように構成される。
１． ＭＶＩ挿入
ＭＶＩが、上記で説明したプロシージャによって導出される。ＭＶＩが利用可能である場合、ＭＶＩはマージリストに挿入される。
２． ３Ｄ−ＨＥＶＣにおける空間マージング候補のための導出プロセスおよびＩＤＭＶＣ挿入
以下の順序、すなわち、Ａ１、Ｂ１、Ｂ０、Ａ０、またはＢ２で空間隣接ＰＵの動き情報を検査する。制約付きプルーニングが以下のプロシージャによって行われる。
・ Ａ１およびＭＶＩが同じ動きベクトルと同じ参照インデックスとを有する場合、Ａ１は候補リストに挿入されない。
・ Ｂ１およびＡ１／ＭＶＩが同じ動きベクトルと同じ参照インデックスとを有する場合、Ｂ１は候補リストに挿入されない。
・ Ｂ０が利用可能である場合、Ｂ０は候補リストに追加される。
・ Ａ０が利用可能である場合、Ａ０は候補リストに追加される。
・ Ｂ２が利用可能である場合、Ｂ２は候補リストに追加される。
３． 時間マージング候補のための導出プロセス
コロケートＰＵの動き情報が利用される、ＨＥＶＣにおける時間マージング候補導出プロセスと同様に、但し、時間マージング候補のターゲット参照ピクチャインデックスが、０であるように固定するのではなく、セクション２．４．６において説明されているように変更され得る。
４． ３Ｄ−ＨＥＶＣにおける結合双予測マージング候補のための導出プロセス
上記の２つのステップから導出された候補の総数が候補の最大数未満である場合、ｌ０ＣａｎｄＩｄｘおよびｌ１ＣａｎｄＩｄｘの仕様を除いて、ＨＥＶＣにおいて定義されたのと同じプロセスが行われる。ｃｏｍｂＩｄｘとｌ０ＣａｎｄＩｄｘとｌ１ＣａｎｄＩｄｘとの間の関係は表２において定義されている。
５． ゼロ動きベクトルマージング候補のための導出プロセス
・ ＨＥＶＣにおいて定義されたのと同じプロシージャが行われる。
このコーディングツールは、本開示では「ＭＰＩ」と呼ばれることがある。
[0117] ３Ｄ−ＨＥＶＣでは、高度残差予測（ＡＲＰ：advanced residual prediction）は依存テクスチャビューに対して有効にされ得る。図９は、１つの参照ピクチャリストのためのマルチビュービデオコーディングおよび３ＤビデオコーディングにおけるＡＲＰの予測構造の一例を示す図である。１つの参照ピクチャリスト中の１つのＰＵの予測子を得るために、図９に示されているように、現在ブロック１４０の動き情報を再利用することによって、３つのブロック、すなわち、この例では、（ＣｕｒｒＲｅｆ１４５によって示される）現在ビュー中の時間参照ブロック、（Ｂａｓｅ１４１によって示される）ＮＢＤＶプロセスからＤＶによって位置を特定される参照ビュー中の対応するブロック、および（ＢａｓｅＲｅｆ１４３によって示される）参照ビュー中の参照ブロックが識別され得る。次いで、参照ビュー中の２つのブロックの差、すなわち、ＢａｓｅＲｅｆ−Ｂａｓｅによって残差予測子が計算され得る。さらに、（０、１または０．５である）重み付け係数ｗが残差予測子にさらに乗算され得、重み付けされた残差予測子は、１つの参照ピクチャリストのための現在ブロックの最終予測を生成するために、現在時間参照ブロックに追加され得る。
[0118] しかしながら、現在ブロックが１つの参照ピクチャリストのための（異なるビュー中の）ビュー間参照ピクチャを使用するとき、残差予測プロセスは、ｍｖＬＸの欠落により無効にされ得る。
[0119] 時間残差のためのＡＲＰ設計と同様に、現在予測ユニットがビュー間参照ピクチャを使用するとき、ビュー間残差の予測が有効にされ得る。最初に、異なるアクセスユニット内のビュー間残差が計算され得、次いで、計算された残差情報が、現在ブロックのビュー間残差を予測するために使用され得る。
[0120] この点において、以下で説明する図１０の例に示されているように、Ｂａｓｅからの時間動き情報を再利用することによって、３つの関係するブロック、すなわち、（Ｂａｓｅによって示される）現在ブロックのディスパリティ動きベクトルによって位置を特定される参照ビュー中の参照ブロック、時間動きベクトル（ｍｖＬＸ）と、利用可能な場合、Ｂａｓｅによって含まれている参照インデックスとによって位置を特定される（ＢａｓｅＲｅｆによって示される）参照ビュー中のＢａｓｅの参照ブロック、および（ＣｕｒｒＲｅｆによって示される）現在ビュー中の参照ブロックが識別され得る。
[0121] 識別された３つのブロックを用いて、現在ＰＵの残差信号の残差予測子が、異なるアクセスユニット中のこれらの２つのブロック間の差、ＣｕｒｒＲｅｆ−ＢａｓｅＲｅｆとして計算され得る。さらに、ビュー間予測子は、現在のＡＲＰにおいて使用されている重み付け係数を乗算され得る。
[0122] 同様に、ビデオコーダは、時間残差予測のためのＡＲＰの現在の設計の場合のように、３つの相対ブロックを生成するために双線形フィルタを使用し得る。さらに、Ｂａｓｅによって含まれている時間動きベクトルが、現在ＰＵの第１の利用可能な時間参照ピクチャの異なるアクセスユニット中にある参照ピクチャを指すとき、時間動きベクトルは、最初に、第１の利用可能な時間参照ピクチャにスケーリングされ得、スケーリングされた動きベクトルは、異なるアクセスユニット中の２つのブロックの位置を特定するために使用され得る。
[0123] 図１０に、ビュー間ＡＲＰのための例示的な予測構造を示す。図１０に示されているように、ビュー間ＡＲＰでは、ビデオデコーダ３０は、現在ブロック１７０のための３つの関係するブロックを識別する。Ｂａｓｅ１７１は、現在ブロック１７０のディスパリティ動きベクトル（ＤＭＶ１７２Ａ）によって位置を特定される参照ビュー中の参照ブロックを表す。ＢａｓｅＲｅｆ１７３は、時間動きベクトルｍｖＬＸ１７４Ａと、利用可能な場合、Ｂａｓｅ１７１によって含まれている参照インデックスとによって位置を特定される参照ビュー中のＢａｓｅ１７１の参照ブロックを表す。ＣｕｒｒＲｅｆ１７５は、Ｂａｓｅ１７１からの時間動き情報を再利用することによって識別される現在ビュー中の参照ブロックを表す。従って、ビデオデコーダ３０は、ｍｖＬＸ１７４Ｂを使用してＣｕｒｒＲｅｆ１７５の位置を特定し得、ここで、ｍｖＬＸ１７４ＡおよびｍｖＬＸ１７４Ｂは、同じ動きベクトルの２つのインスタンスを表す。ＤＭＶ１７２Ｂは、Ｃｕｒｒ１７０とＢａｓｅ１７１との間のディスパリティがＣｕｒｒＲｅｆ１７５とＢａｓｅＲｅｆ１７３との間のディスパリティに等しいことを示すために図１０に含まれているＤＭＶ１７２Ａに等しい。ＤＭＶ１７２Ｂは、実際は、ビデオデコーダ３０によって使用または生成されるディスパリティ動きベクトルに対応しないことがある。
[0124] 識別された３つのブロックを用いて、ビデオデコーダ３０は、現在ＰＵ（すなわちＣｕｒｒ１７０）のための残差信号の残差予測子をＣｕｒｒＲｅｆとＢａｓｅＲｅｆとの間の差として計算し得る。さらに、ビュー間予測子は重み付け係数（ｗ）を乗算され得る。従って、ビデオデコーダ３０によって決定された現在ブロック（Ｃｕｒｒ１７０）の最終予測子はＢａｓｅ＋ｗ＊（ＣｕｒｒＲｅｆ−ＢａｓｅＲｅｆ）として示される。
[0125] ビデオデコーダ３０は、時間残差予測のためのＡＲＰのいくつかの知られている設計の場合のように、３つの相対ブロックを生成するために双線形フィルタ処理(bi-linear filtering)を使用し得る。さらに、Ｂａｓｅ１７１によって含まれている時間動きベクトルが、現在ＰＵの第１の利用可能な時間参照ピクチャの異なるアクセスユニット中にある参照ピクチャを指すとき、ビデオデコーダ３０は、時間動きベクトルを第１の利用可能な時間参照ピクチャにスケーリングし得、スケーリングされた動きベクトルは、異なるアクセスユニット中の２つのブロックの位置を特定するために使用され得る。
[0126] 以下で、ビデオコーダがＡＲＰのためのターゲット参照インデックスをそれによって導出し得る１つの例示的なプロセスについて説明する。３Ｄ−ＨＥＶＣでは、ＡＲＰを使用できるピクチャごとにターゲット参照インデックスＲｐＲｅｆＩｄｘＬＸが選定される。
[0127] 第１に、各参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）に対応する時間参照ピクチャが識別される。
[0128] 第２に、そのような時間参照ピクチャを用いて、（スライスヘッダにおいて定義されている）アクティブレイヤ間参照ピクチャの参照ピクチャリスト中の参照ビューが１つずつ検査される。ｒｅｆＶｉｅｗＩｄｘに等しいビュー順序インデックスをもつアクティブレイヤ間参照ピクチャが、現在ピクチャのＲｐＲｅｆＩｄｘＬＸと同じＰＯＣをもつ（ＤＰＢ中にまだ存在する）時間参照ピクチャを有する場合、変数ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ] は１に等しく設定される。そうでない場合、ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］は０に等しく設定される。ＮＢＤＶプロセスが、０に等しいＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｉ］に対応する（ｉによって示される）ビュー順序インデックスを返す場合、ＡＲＰは適用されるべきでない。
[0129] サブクローズＨ．８．３．９（残差予測のためのターゲット参照インデックスのための導出プロセス）における現在の３Ｄ−ＨＥＶＣ設計は以下の通りである。
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
変数ＲｐＲｅｆＩｄｘＬ０およびＲｐＲｅｆＩｄｘＬ１は−１に等しく設定され、変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０およびＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１は０に等しく設定される。
両端値を含む０〜１の範囲内のＸについて、以下が適用される。
− Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
− 両端値を含む０〜ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の範囲内のｉについて、以下が適用される。
− ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）がＰｉｃＯｒｄｅｒＣｎｔＶａｌに等しくなく、ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが０に等しいとき、以下が適用される。
Figure 0006855242
Figure 0006855242
［Ｅｄ．（ＧＴ）：上記の条件を満たすが、例えば、現在レイヤと比較してＤｅｐｔｈＦｌａｇの異なる値を有する、ＤＰＢ中に存在するピクチャがあり得る。］。
変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが（ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０｜｜ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１）に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが１に等しいとき、両端値を含む０〜１の範囲内のＸについて、以下が適用される。
Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
ａ． 両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉについて、以下が適用される。
ｉ． 変数ｒｅｆＶｉｅｗＩｄｘがＶｉｅｗＩｄｘ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）に等しく設定される。
ｉｉ． 変数ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］が０に等しく設定される。
ｉｉｉ． ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが１に等しく、ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ＲｐＲｅｆＩｄｘＬＸ］）に等しいＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）、ｒｅｆＶｉｅｗＩｄｘに等しいＶｉｅｗＩｄｘ（ｐｉｃＡ）、０に等しいＤｅｐｔｈＦｌａｇ（ｐｉｃＡ）をもち、「参照のために使用される」とマークされたピクチャｐｉｃＡがＤＰＢ中にあるとき、ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］は１に等しく設定される。
このサブクローズにおいて、ｉ番目の参照ピクチャではなく、ｉ番目のアクティブレイヤ間参照ピクチャので、この箇条「ｉ．変数ｒｅｆＶｉｅｗＩｄｘがＶｉｅｗＩｄｘ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）に等しく設定される。」には明らかな誤りがある。
[0130] ＡＲＰのコーディング効率をさらに改善するために、サブＰＵ（ブロック）レベルＡＲＰがＪＣＴ３Ｖ−Ｆ０１２４において提案された。
[0131] この提案では、ＡＲＰが時間残差またはビュー間残差のいずれかに適用されるとき、現在ＰＵの動きベクトルによって位置を特定される参照ブロックの中心位置をカバーするブロックに関連する動き情報が、ＮＢＤＶからのＤＶを更新するか、または最終残差予測子を生成するために使用される時間動きベクトルを更新するために使用される。場合によっては、参照ブロックは異なる動き情報を含んでいることがある。従って、参照ブロック内の複数の動き情報を考慮する場合、より良いコーディング利得が予想され得る。
[0132] １つの方法は、ブロックレベルでＡＲＰを行うことである。より詳細には、各ＰＵが、この例では、いくつかのブロックに最初にスプリットされ（シミュレーションでは８×８ブロックサイズが使用される）、各ブロックは現在ＰＵと同じ動き情報を共有する。
[0133] 各８×８ブロックについて、ディスパリティベクトルまたは時間動きベクトル情報がブロックごとに更新され得る。現在「ＡＲＰコード化」ＰＵが時間参照ピクチャを有するとき、以下で説明する図１１Ａの例に示されているように、現在ＰＵ内の各８×８ブロックのディスパリティベクトルは異なることがある。現在ＡＲＰコード化ＰＵがビュー間参照ピクチャを有するとき、以下で説明する図１１Ｂの例に示されているように、現在ＰＵ内の各８×８ブロックの時間動きベクトルは異なることがある。
[0134] さらに、現在ＰＵがＡＲＰでコーディングされる場合、クロマ成分の残差はコーディングされないことがある。
[0135] 図１１Ａに、ブロックレベル時間ＡＲＰの例示的な予測構造を示す。図１１Ａの例では、Ｃｕｒｒ１８０は、図１１ＡにおいてＡ〜Ｄと標示された４つの８×８ブロックに分割されたＰＵを表す。Ｂａｓｅ１８１は、Ｃｕｒｒ１８０のディスパリティベクトルによって導出された参照／ベースビュー中の（Ａ’〜Ｄ’と標示された）４つの参照ブロックを表す。Ｂａｓｅｄ１８１のブロックＡ’は、（ＤＶ［０］として図１１Ａに示された）ブロックＡのディスパリティベクトルを使用して識別され、ブロックＢ’は、（ＤＶ［１］として図１１Ａに示された）ディスパリティベクトルを使用して識別される。図１１Ａには明示的に示されていないが、ブロックＣ’およびＤ’は、ブロックＣおよびＤのディスパリティベクトルを使用して同様に識別され得る。
[0136] 導出された動きベクトル（すなわち、時間ＡＲＰにおけるディスパリティベクトル）は８×８ブロックごとに更新され得る。時間ＡＲＰでは、（図１１Ａにおいて、ｉ番目の８×８ブロックの場合、ＤＶ［ｉ］によって示される）デフォルトｄｅｒｉｖｅｄＭｖは、最初に、ＮＢＤＶプロセスからのＤＶであるように設定される。ＣｕｒｒＲｅｆ内のｉ番目の８×８ブロックの中心位置をカバーするブロックがディスパリティ動きベクトルを含んでいるとき、ＤＶ［ｉ］は、そのディスパリティ動きベクトルになるように更新される。従って、図１１Ａに示されているように、ブロックＡ’〜Ｄ’は、ブロックＡ〜Ｄが互いに対して配置されるのとは別様に、互いに対して配置され得る。ＣｕｒｒＲｅｆ１８３は、Ｃｕｒｒ１８０の（図１１ＡにおいてｍｖＬＸ１８４Ａとして示された）時間動きベクトルによって導出されたｃｕｒｒ１８０と同じビュー中の４つのブロック（ＡP〜ＤP）を表す。ＢａｓｅＲｅｆ１８５は、現在ブロックの時間動きベクトル（ｍｖＬＸ１８４Ｂ）によって導出されたＢａｓｅ１８１と同じビュー中の４つのブロック（ＡR〜ＤR）を表す。図１１Ａの例では、ｍｖＬＸ１８４ＡおよびｍｖＬＸ１８４Ｂは、同じ動きベクトルの２つの異なる適用例を表すものとする。すなわち、ｍｖＬＸ１８４ＡおよびｍｖＬＸ１８４Ｂは同じｘ成分とｙ成分とを有する。
[0137] 残差予測子は、図１１Ａの例では、ＢａｓｅＲｅｆ−Ｂａｓｅとして示され、ここで、減算演算は、示されたピクセルアレイの各ピクセルに適用される。重み付け係数（ｗ）が残差予測子にさらに乗算される。従って、ビデオデコーダ３０によって決定されたブロックＡ〜Ｄのための最終予測子は、ＣｕｒｒＲｅｆ［ＮP］＋ｗ＊（Ｂａｓｅ［Ｎ’］−ＢａｓｅＲｅｆ［ＮR］）として示され、ＮはＡ〜Ｄに対応する。
[0138] 図１１Ｂに、ブロックレベルビュー間ＡＲＰの例示的な予測構造を示す。図１１Ｂの例では、ビデオデコーダ３０は、現在ブロック１８２の３つの関係するブロックを識別する。Ｂａｓｅ１８６は、現在ブロック１８２のディスパリティ動きベクトル（ＤＭＶ１８８Ａ）によって位置を特定される参照ビュー中の４つの参照ブロック（Ａ〜Ｄ）を表す。ＢａｓｅＲｅｆ１８７は、時間動きベクトルｍｖＬＸ［Ｎ］と、利用可能な場合、Ｂａｓｅ１８６によって含まれている参照インデックスとによって位置を特定される参照ビュー中のＢａｓｅ１８６の４つの参照ブロック（Ａ’〜Ｄ’）を表し、ただし、ＮはブロックＡ〜Ｄに対応する。ビュー間ＡＲＰでは、（図１１Ｂにおいて、ｉ番目の８×８ブロックの場合、ｍｖＬＸ［ｉ］によって示される）デフォルトｄｅｒｉｖｅｄＭｖは、現在のＡＲＰの場合のように、Ｂａｓｅの中心位置をカバーするブロックに関連する時間動きベクトルに設定され得る。Ｂａｓｅ内のｉ番目の８×８ブロックの中心位置をカバーするブロックが時間動きベクトルを含んでいるとき、ｍｖＬＸ［ｉ］は、その時間動きベクトルになるように更新される。従って、図１１Ａに示されているように、ブロックＡ’〜Ｄ’は、ブロックＡ〜Ｄが互いに対して配置されるのとは別様に、互いに対して配置され得る。
[0139] ＣｕｒｒＲｅｆ１８９は、Ｂａｓｅ１８６からの時間動き情報を再利用することによって識別される現在ビュー中の４つの参照ブロック（ＡR〜ＤR）を表す。従って、例えば、ビデオデコーダ３０は、ｍｖＬＸ［Ａ］を使用してＡRの位置を特定し、ｍｖＬＸ［Ｂ］を使用してＢRの位置を特定し、以下同様である。３つの識別されたブロックを用いて、ビデオデコーダ３０は、現在ＰＵの残差信号の残差予測子をＣｕｒｒＲｅｆ−ＢａｓｅＲｅｆ間の差として計算し得る。それは、異なるアクセスユニット中にあり得る。さらに、ビュー間予測子は重み付け係数（ｗ）を乗算され得る。従って、ビデオデコーダ３０によって決定された現在ブロックの最終予測子はＢａｓｅ［Ｎ］＋ｗ＊（ＣｕｒｒＲｅｆ［ＮR］−ＢａｓｅＲｅｆ［Ｎ’］）として示される。
[0140] 以下で、ビデオコーダがスライスヘッダ中のアクティブレイヤ間参照をどのように指定または場合によっては決定し得るかについて説明する。
[0141] ＭＶ−ＨＥＶＣでは、アクティブレイヤ間参照ピクチャは、現在ピクチャの初期参照ピクチャリストに入れられるである参照ピクチャのためのスライスヘッダ中でシグナリングされ得る。
Figure 0006855242
[0142] アクティブレイヤ間参照ピクチャの数とレイヤ間参照ピクチャの各々とがスライスヘッダ中でシグナリングされ得る。現在レイヤがＶＰＳ中でシグナリングされた参照レイヤを有するでも、スライスレベルシグナリングにより、それが参照レイヤとしてシグナリング／導出されない場合、そのようなレイヤのピクチャはそれの参照ピクチャリストに挿入されないことがある。
[0143] 上記のことは以下の潜在的問題を生じ得る。現在の３Ｄ−ＨＥＶＣは、ビデオデコーダ３０が、ＮＢＤＶのためのデフォルトレイヤ間参照ピクチャを見つけるために参照ピクチャリスト全体を検査することを必要とする。このプロセスは不要であり得る。その上、３Ｄ−ＨＥＶＣでは、実際の深度参照レイヤがテクスチャピクチャのためのスライスレベルにおいてどのようにシグナリングされるべきか、および同様に、アクティブテクスチャ参照レイヤ（関連するもののみ）が深度ピクチャのためのスライスヘッダ中でどのようにシグナリングされるべきかがまだ決定されていない。
[0144] 本開示で説明する技法によれば、ビデオエンコーダ２０は、参照ピクチャリストに記憶された各参照ピクチャを査定する必要なしにＮＢＤＶプロセスのためのデフォルトレイヤ間参照ピクチャを決定し、ディスパリティベクトルを決定するためにデフォルトレイヤ間参照ピクチャを使用してＮＢＤＶプロセスを行い、ディスパリティベクトルに基づいて３次元ビデオデータの現在ピクチャを符号化し得る。
[0145] すなわち、本開示では、デフォルトディスパリティベクトルがそれに関連するデフォルトＮＢＤＶピクチャの導出と、ＡＲＰのためのターゲット参照インデックスの導出とのための、３Ｄ−ＨＥＶＣに関係する技法について説明する。言い換えれば、本開示の技法は、（例えば、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］によって）スライスヘッダ中でシグナリングされるアクティブ参照レイヤが、テクスチャまたは深度である、現在ピクチャと同じプロパティを有するレイヤにのみ関係し得るように、（例えば、上述のように、テストモデル４に対して）３Ｄ−ＨＥＶＣを変更し得る。従って、アクティブレイヤは、現在ピクチャの参照ピクチャリストに入れられ得るレイヤ間参照ピクチャを示すために使用され得る。
[0146] 本開示の一技法によれば、３Ｄ−ＨＥＶＣでは、（例えば、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］によって）スライスヘッダ中でシグナリングされるアクティブ参照レイヤは、テクスチャまたは深度である、現在ピクチャと同じプロパティを有するレイヤのみに関係し得る。従って、そのようなアクティブレイヤは、現在ピクチャの参照ピクチャリストに入れられ得るレイヤ間参照ピクチャを示すために使用されるが、他のタイプの依存性を示すために使用されない。
[0147] ＮＢＤＶピクチャのデフォルトビュー順序インデックスは、スライスヘッダ中でシグナリングされるか、またはスライスレベルにおいて導出される、第１のアクティブレイヤ間参照のビュー順序インデックスであると導出され得る。
[0148] 本開示の一技法によれば、ビデオエンコーダ２０は、ＤｏＮＢＤＶまたはＢＶＳＰが深度レイヤからの情報を使用して行われる場合、テクスチャレイヤが深度レイヤに依存することを、例えばＶＰＳ中でシグナリングし得る。代替的に、ビデオエンコーダ２０はこの依存性をシグナリングしないことがあるが、代わりに、ビデオエンコーダ２０およびビデオデコーダ３０は依存性を導出し得る。例えば、テクスチャレイヤＡがテクスチャレイヤＢに依存する場合、テクスチャレイヤＡは、テクスチャレイヤＣがテクスチャレイヤＢと同じビューに属するとき、（存在する場合）深度レイヤＣにも依存する。
[0149] ＶＰＳ中で、ビデオエンコーダ２０は、テクスチャレイヤが深度レイヤと同じビューに属する場合、深度レイヤがテクスチャレイヤに依存することまたは依存しないことをシグナリングし得る。シングリング機構は、現在のＭＶ−ＨＥＶＣの場合と同じであり、従って、依存レイヤがテクスチャであるのか深度であるのかに関係しないことがある。
[0150] ビデオデコーダ３０は、例えば、ＶＰＳ中でシグナリングされた現在テクスチャレイヤの直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存すると決定し、深度レイヤを使用して現在テクスチャレイヤを処理し得る。言い換えれば、ビデオデコーダ３０は、パラメータセット（例えばＶＰＳ）中でシグナリングされた１つまたは複数のパラメータに基づいて、ビデオデータのテクスチャレイヤがビデオデータの深度レイヤに依存すると決定し、テクスチャレイヤが深度レイヤに依存することに応答して、深度レイヤを処理し得る。深度レイヤを処理することの一部として、ビデオデコーダ３０は、深度レイヤから取得された情報を使用して、ＤｏＮＢＤＶプロセスまたはＢＶＳＰプロセスのうちの少なくとも１つを使用してテクスチャレイヤのブロックを予測し得る。ビデオデコーダ３０は、パラメータセットとは別に、例えばテクスチャレイヤのスライスのためのスライスヘッダ中で、テクスチャレイヤのスライスのためのアクティブ参照スライスレイヤの指示を受信し得る。ビデオデコーダ３０は、パラメータセットとは別に、例えば深度レイヤのスライスのためのスライスヘッダ中で、深度レイヤのスライスのためのアクティブ参照スライスレイヤの指示を受信し得る。これらの例では、深度レイヤはベース深度レイヤであり得、テクスチャレイヤは非ベーステクスチャレイヤであり得る。深度レイヤは、依存テクスチャレイヤとは異なるテクスチャレイヤに対応し得る。
[0151] 代替的に、フラグ（例えばｔｅｘｔｕｒｅ＿ｄｅｐ＿ｆｌａｇ）が同じ目的のためにシグナリングされ得る。例えば、このフラグが１である場合、現在深度レイヤは同じビュー中のテクスチャレイヤに依存し得る。そうでない場合、現在深度レイヤは同じビュー中のテクスチャレイヤに依存しない。これらおよび他の例では、ｔｅｘｔｕｒｅＤｅｐＦｌａｇは、上記の２つの場合のいずれかで導出され得、ｔｅｘｔｕｒｅＤｅｐＦｌａｇが１であるときのみ、ＭＰＩが有効にされ、ｍｐｉ＿ｆｌａｇ［ｌａｙｅｒＩｄ］がシグナリングされる。さらに、ｔｅｘｔｕｒｅＤｅｐＦｌａｇが１に等しいときのみ、ＤＭＭモード４（深度ブロックの区分がコロケートテクスチャブロックに依存する）が有効にされ得る。代替的に、そのような依存性はシグナリングされないことがあるが、代わりに、常に仮定され得る。
[0152] これらおよび他の例では、ビデオエンコーダ２０は、異なる深度レイヤとテクスチャレイヤとの間の１つまたは複数の依存性に基づいて、深度レイヤへのテクスチャレイヤの依存性を導出し得る。これらおよび他の例では、ビデオエンコーダ２０は、異なる深度レイヤとテクスチャレイヤとの間の１つまたは複数の依存性に基づいて、深度レイヤへのテクスチャレイヤの依存性を導出し得る。ビデオエンコーダ２０は、テクスチャレイヤが深度レイヤと同じビューに属するかどうかに基づいて、深度レイヤがテクスチャレイヤに依存するかどうかを決定し得る。
[0153] すなわち、各テクスチャスライスについて、参照深度レイヤへの現在テクスチャピクチャのためのスライスレベル依存性は、スライスヘッダ中でシグナリングされたアクティブ参照レイヤに属さないことがある。いくつかの例では、それは、ＶＰＳ中でシグナリングされたものと常に潜在的に同じであると仮定される。これらの例では、参照深度レイヤへの現在テクスチャピクチャのためのスライスレベル依存性は、テクスチャ参照レイヤが現在スライスのアクティブ参照レイヤである場合（アクティブ参照レイヤのアクセスユニット中のピクチャが現在ピクチャの復号のために必要とされ得ることを意味する）、同じビューの深度参照レイヤは、同じアクセスユニット中に存在する場合、現在スライス／ピクチャの参照レイヤであるという形で導出される。いくつかの例では、テクスチャレイヤのためのそのような依存深度レイヤは、現在テクスチャスライスのスライスヘッダ中で明示的にシグナリングされ得る。
[0154] 各深度スライスについて、それが同じビューのおよび同じアクセスユニットのテクスチャピクチャに依存するかどうかを示す、スライスヘッダ中のフラグが存在し得る。代替的に、そのようなフラグはシグナリングされず、依存性が存在することを意味する、１であると常に仮定される。代替的に、そのようなフラグは、ＭＰＩ（現在深度レイヤについて１であるｍｐｉ＿ｆｌａｇ［ｌａｙｅｒＩｄ］）またはＤＭＭモード４が深度レイヤ全体に対して有効にされるときのみシグナリングされる。
[0155] 代替的に、そのようなフラグは存在せず、ｔｅｘｔｕｒｅＤｅｐＦｌａｇが０に等しい場合、またはＭＰＩとＤＭＭの両方が深度レイヤ全体に対して無効にされる場合、０に等しいと推論される。そのようなフラグが０に等しいとき、同じビュー中の同じアクセスユニットのテクスチャレイヤへの依存性は可能にされず、それに依存するコーディングツールは無効にされる。無効にされるツールは、現在スライス／ピクチャのためのＭＰＩとＤＭＭ４とを含む。
[0156] 言い換えれば、ビデオエンコーダ２０は、デフォルトレイヤ間参照ピクチャを決定するとき、現在ピクチャに関連するスライスヘッダからデフォルトレイヤ間参照ピクチャを決定し得る。
[0157] これらおよび他の例では、現在ピクチャは現在テクスチャピクチャを備える。現在ピクチャを符号化するとき、ビデオエンコーダ２０は、現在テクスチャピクチャを符号化するために、ディスパリティベクトルに基づいてビュー合成予測（ＶＰＳ：view synthesis prediction）を行い得る。ＮＢＤＶプロセスを行うとき、ビデオエンコーダ２０は、参照深度レイヤへの現在テクスチャピクチャのためのスライスレベル依存性が、現在テクスチャピクチャに関連するスライスヘッダ中でシグナリングされるアクティブ参照レイヤに属さないが、ＶＰＳを行うためにシグナリングされるアクティブ参照レイヤに属するように、その依存性を決定し得る。
[0158] これらおよび他の例では、ビデオエンコーダ２０は、スライスヘッダから、深度スライスが同じビューのおよび同じアクセスユニットのテクスチャピクチャに依存するかどうかをさらに決定し得る。
[0159] 動作中、ビデオエンコーダ２０は、３Ｄ−ＨＥＶＣ規格の改訂バージョンに関して指定された以下の技法に従って動作し得、ここで、改訂は、削除を示すための取消し線または追加を示すための下線を使用して示されている。
[0160] この態様は、上記で説明した事例に対応し、ここにおいて、アクティブ参照レイヤは、現在ピクチャと同じテクスチャ／深度プロパティをもつアクティブ参照レイヤのみに関係し得る。
[0161] 変更は、デフォルトＮＢＤＶ参照ピクチャおよびＡＲＰのターゲット参照インデックスに関するものである。
[0162] デフォルト参照ビュー順序インデックスの導出は、ＡＲＰにおけるターゲット参照ピクチャの導出プロセスの場合と同様の方法で簡略化されるべきであることが提案される。さらに、ＡＲＰにおけるターゲット参照ピクチャの導出プロセスに関するバグフィックスが行われる。
変更されたテキストには下線が引かれ、削除されたテキストには
Figure 0006855242
が引かれている。
Ｈ．８．３．８ ディスパリティ導出のためのデフォルト参照ビュー順序インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
Figure 0006855242
Ｈ．８．３．９ 残差予測のためのターゲット参照インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
変数ＲｐＲｅｆＩｄｘＬ０およびＲｐＲｅｆＩｄｘＬ１は−１に等しく設定され、変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０およびＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１は０に等しく設定される。
両端値を含む０〜１の範囲内のＸについて、以下が適用される。
Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
両端値を含む０〜ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の範囲内のｉについて、以下が適用される。
ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）がＰｉｃＯｒｄｅｒＣｎｔＶａｌに等しくなく、ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが０に等しいとき、以下が適用される。
Figure 0006855242
Figure 0006855242
Figure 0006855242
変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが（ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０｜｜ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１）に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが１に等しいとき、両端値を含む０〜１の範囲内のＸについて、以下が適用される。
Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉについて、以下が適用される。
Figure 0006855242
変数ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］が０に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが１に等しく、ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ＲｐＲｅｆＩｄｘＬＸ］）に等しいＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）、ｒｅｆＶｉｅｗＩｄｘに等しいＶｉｅｗＩｄｘ（ｐｉｃＡ）、０に等しいＤｅｐｔｈＦｌａｇ（ｐｉｃＡ）をもち、「参照のために使用される」とマークされたピクチャｐｉｃＡがＤＰＢ中にあるとき、ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］は１に等しく設定される。
[0163] その上、本技法の様々な態様は、ビデオコーダが、アクティブ参照レイヤの第１の非０セットを決定し、アクティブ参照レイヤの第２の非０セットを決定し、アクティブ参照レイヤの第１の非０セットおよびアクティブ参照レイヤの第２の非０セットのうちの１つまたは複数に基づいて３次元ビデオデータをコーディングすることを可能にし得る。
[0164] これらおよび他の例では、アクティブ参照レイヤの第１の非０セットは、コーディングされるべき３次元ビデオデータの現在テクスチャレイヤのためのテクスチャ参照レイヤのみを含む。これらおよび他の例では、アクティブ参照レイヤの第２の非０セットは現在テクスチャレイヤのための残りのレイヤを含む。これらおよび他の例では、アクティブ参照レイヤの第２の非０セットは残りのレイヤを含む。
[0165] これらおよび他の例では、アクティブ参照レイヤの第１の非０セットは、コーディングされるべき３次元ビデオデータの深度テクスチャレイヤのための深度参照レイヤのみを含む。これらおよび他の例では、アクティブ参照レイヤの第２の非０セットは現在深度レイヤのための残りのレイヤを含む。これらおよび他の例では、アクティブ参照レイヤの第２の非０セットは残りのレイヤを含む。
[0166] これらおよび他の例では、３次元ビデオデータをコーディングすることは、ビデオエンコーダ２０を用いて３次元ビデオデータを符号化することを備える。
[0167] これらおよび他の例では、３次元ビデオデータは符号化３次元ビデオデータを備え、３次元ビデオデータをコーディングすることは、ビデオデコーダ３０を用いて符号化３次元ビデオデータを復号することを備える。
[0168] すなわち、アクティブ参照レイヤが、現在テクスチャピクチャのための深度レイヤまたは現在深度レイヤのためのテクスチャレイヤを含むとき。ビデオコーダはアクティブ参照レイヤの２つのセットを作成し得る。いくつかの例では、第１のセットは、現在テクスチャレイヤのためのテクスチャ参照レイヤのみを含んでいるか、または現在深度レイヤのための深度参照レイヤのみを含んでいる、同じプロパティのアクティブ参照レイヤセットを有し得る。これらおよび他の例では、第２のセットは、残りのアクティブ参照レイヤを含んでいる、異なるプロパティのアクティブ参照レイヤセットである。アクティブ参照レイヤを必要とする３Ｄ−ＨＥＶＣにおける復号プロセスは、同じプロパティのアクティブレイヤセットによって置き換えられ得る。
[0169] 動作中、ビデオエンコーダ２０および／またはビデオデコーダ３０は、３Ｄ−ＨＥＶＣ規格の改訂バージョンに関して指定された以下の技法に従って動作し得、ここで、改訂は、削除を示すための取消し線または追加を示すための下線を使用して示されている。
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃのセマンティクスは以下のように変更される。
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］は、レイヤ間予測のために現在ピクチャによって使用され得るｉ番目のピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄを表す変数ＲｅｆＰｉｃＬａｙｅｒＩｄ［ｉ］を指定する。シンタックス要素ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］の長さはＣｅｉｌ（Ｌｏｇ２（ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］））ビットである。ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］の値は、両端値を含む０〜ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］−１の範囲内にあることになる。存在しないとき、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］の値はｒｅｆＬａｙｅｒＰｉｃＩｄｃ［ｉ］に等しいと推論される。
ｉが０よりも大きいとき、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ］はｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｌａｙｅｒ＿ｉｄｃ［ｉ−１］よりも大きくなる。
両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉの全ての値のための変数ＲｅｆＰｉｃＬａｙｅｒＩｄ［ｉ］は以下のように導出される。
Figure 0006855242
Figure 0006855242
両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉの値ごとに、以下２つの条件のいずれかが真になることが、ビットストリームコンフォーマンスの要件である。
− ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ＲｅｆＰｉｃＬａｙｅｒＩｄ［ｉ］］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値がＴｅｍｐｏｒａｌＩｄよりも大きい。
− ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ＲｅｆＰｉｃＬａｙｅｒＩｄ［ｉ］］］［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］の値とＴｅｍｐｏｒａｌＩｄの値が両方とも０に等しく、ＲｅｆＰｉｃＬａｙｅｒＩｄ［ｉ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ現在アクセスユニット中のピクチャがＩＲＡＰピクチャである。
ＲｅｆＰｉｃＬａｙｅｒＩｄは、現在、同じプロパティのアクティブ参照レイヤセットを表し、ＲｅｆＰｉｃＬａｙｅｒＩｄＤｉｆｆＰｒｏｐｅｒｔｙは、現在、異なるプロパティのアクティブ参照レイヤセットを表すことに留意されたい。
Ｈ．８．３．８ ディスパリティ導出のためのデフォルト参照ビュー順序インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
Figure 0006855242
Ｈ．８．３．９ 残差予測のためのターゲット参照インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
変数ＲｐＲｅｆＩｄｘＬ０およびＲｐＲｅｆＩｄｘＬ１は−１に等しく設定され、変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０およびＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１は０に等しく設定される。
両端値を含む０〜１の範囲内のＸについて、以下が適用される。
− Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
− 両端値を含む０〜ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の範囲内のｉについて、以下が適用される。
− ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）がＰｉｃＯｒｄｅｒＣｎｔＶａｌに等しくなく、ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが０に等しいとき、以下が適用される。
Figure 0006855242
Figure 0006855242
変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが（ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０｜｜ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１）に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが１に等しいとき、両端値を含む０〜１の範囲内のＸについて、以下が適用される。
− Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
− 両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉについて、以下が適用される。
Figure 0006855242
− 変数ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］が０に等しく設定される。
− ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが１に等しく、ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ＲｐＲｅｆＩｄｘＬＸ］）に等しいＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）、ｒｅｆＶｉｅｗＩｄｘに等しいＶｉｅｗＩｄｘ（ｐｉｃＡ）、０に等しいＤｅｐｔｈＦｌａｇ（ｐｉｃＡ）をもち、「参照のために使用される」とマークされたピクチャｐｉｃＡがＤＰＢ中にあるとき、ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］は１に等しく設定される。
[0170] 本技法の様々な態様はまた、ビデオコーダが、参照レイヤがテクスチャレイヤであるのか深度レイヤであるのかの決定に基づいてアクティブ参照レイヤの非０セットを決定し、アクティブ参照レイヤの決定された非０セットに基づいて３次元ビデオデータをコーディングすることを可能にし得る。
[0171] 動作中、ビデオコーダは、３Ｄ−ＨＥＶＣ規格の改訂バージョンに関して指定された以下の技法に従って動作し得、ここで、改訂は、削除を示すための取消し線または追加を示すための下線を使用して示されている。
[0172] この態様は、アクティブ参照レイヤの２つのセットを潜在的に作成しないことによって、直前の態様と同じ目的を達成し得る。この場合、アクティブ参照レイヤに依存する復号プロセスは、参照レイヤがテクスチャレイヤであるのか深度レイヤであるのかを検査する必要があり得る。
Ｈ．８．３．８ ディスパリティ導出のためのデフォルト参照ビュー順序インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
Figure 0006855242
Ｈ．８．３．９ 残差予測のためのターゲット参照インデックスのための導出プロセス
このプロセスは、現在スライスがＰスライスまたはＢスライスであるときに呼び出される。
変数ＲｐＲｅｆＩｄｘＬ０およびＲｐＲｅｆＩｄｘＬ１は−１に等しく設定され、変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０およびＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１は０に等しく設定される。
両端値を含む０〜１の範囲内のＸについて、以下が適用される。
Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
両端値を含む０〜ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１の範囲内のｉについて、以下が適用される。
ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ｉ］）がＰｉｃＯｒｄｅｒＣｎｔＶａｌに等しくなく、ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが０に等しいとき、以下が適用される。
Figure 0006855242
Figure 0006855242
変数ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが（ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ０｜｜ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬ１）に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇが１に等しいとき、両端値を含む０〜１の範囲内のＸについて、以下が適用される。
Ｘが０に等しいか、または現在スライスがＢスライスであるとき、以下が適用される。
両端値を含む０〜ＮｕｍＡｃｔｉｖｅＲｅｆＬａｙｅｒＰｉｃｓ−１の範囲内のｉについて、以下が適用される。
Figure 0006855242
変数ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］が０に等しく設定される。
ＲｐＲｅｆＰｉｃＡｖａｉｌＦｌａｇＬＸが１に等しく、ＰｉｃＯｒｄｅｒＣｎｔ（ＲｅｆＰｉｃＬｉｓｔＸ［ＲｐＲｅｆＩｄｘＬＸ］）に等しいＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）、ｒｅｆＶｉｅｗＩｄｘに等しいＶｉｅｗＩｄｘ（ｐｉｃＡ）、０に等しいＤｅｐｔｈＦｌａｇ（ｐｉｃＡ）をもち、「参照のために使用される」とマークされたピクチャｐｉｃＡがＤＰＢ中にあるとき、ＲｅｆＲｐＲｅｆＡｖａｉｌＦｌａｇＬＸ［ｒｅｆＶｉｅｗＩｄｘ］は１に等しく設定される。
[0173] 図１２は、時間動きベクトル予測のための本開示で説明する技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを行い得る。イントラコーディングは、所与のピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接ピクチャまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
[0174] 図１２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオデータを受信する。図１２の例では、ビデオエンコーダ２０は、ビデオデータメモリ３８と、モード選択ユニット４０と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６と、復号ピクチャバッファ６４とを含む。モード選択ユニット４０は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測ユニット４６と、パーティションユニット４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図１２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のループフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。
[0175] ビデオデータメモリ３８は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ３８に記憶されるビデオデータは、例えば、ビデオソース１８から取得され得る。復号ピクチャバッファ６４は、例えば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ２０によってビデオデータを符号化する際に使用する参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ３８および復号ピクチャバッファ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ３８および復号ピクチャバッファ６４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ３８は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0176] 符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきピクチャまたはスライスを受信する。ピクチャまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数のブロックに対する受信したビデオブロックのインター予測コーディングを行う。イントラ予測ユニット４６は、代替的に、空間圧縮を行うために、コーディングされるべきブロックと同じピクチャまたはスライス中の１つまたは複数の隣接ブロックに対する受信したビデオブロックのイントラ予測コーディングを行い得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを行い得る。
[0177] その上、パーティションユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、パーティションユニット４８は、初めにピクチャまたはスライスをＬＣＵに区分し、レートひずみ分析（例えば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、サブＣＵへのＬＣＵの区分を示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。
[0178] モード選択ユニット４０は、例えば、誤差結果に基づいて、コーディングモード、すなわち、イントラまたはインターのうちの１つを選択し得、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用する符号化ブロックを再構成するために加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット５６に与える。
[0179] 動き推定ユニット４２、動きベクトル予測ユニット４３、および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在ピクチャ（または他のコード化ユニット）内でコーディングされている現在ブロックに対する参照ピクチャ（または他のコード化ユニット）内の予測ブロックに対する現在ピクチャ内のビデオブロックのＰＵの変位を示し得る。
[0180] 予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャバッファと呼ばれることもある復号ピクチャバッファ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに関して動き探索を行い、分数ピクセル精度で動きベクトルを出力し得る。
[0181] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。従って、概して、動きベクトルのためのデータは、参照ピクチャリストと、参照ピクチャリストへのインデックス（ｒｅｆ＿ｉｄｘ）と、水平成分と、垂直成分とを含み得る。参照ピクチャは、第１の参照ピクチャリスト（リスト０）、第２の参照ピクチャリスト（リスト１）、または結合参照ピクチャリスト（リストｃ）から選択され得、それらの各々が、復号ピクチャバッファ６４に記憶された１つまたは複数の参照ピクチャを識別する。
[0182] 動き推定ユニット４２は、参照ピクチャの予測ブロックを識別する動きベクトルを生成し、エントロピー符号化ユニット５６と動き補償ユニット４４とに送り得る。すなわち、動き推定ユニット４２は、予測ブロックを含んでいる参照ピクチャリストと、予測ブロックのピクチャを識別する参照ピクチャリストへのインデックスと、識別されたピクチャ内の予測ブロックの位置を特定するための水平成分および垂直成分とを識別する動きベクトルデータを生成し、送り得る。
[0183] いくつかの例では、現在ＰＵのための実際の動きベクトルを送るのではなく、動きベクトル予測ユニット４３は、動きベクトルを通信するために必要とされるデータの量をさらに低減するために、動きベクトルを予測し得る。この場合、動きベクトル自体を符号化し、通信するのではなく、動きベクトル予測ユニット４３は、知られている（または知り得る）動きベクトルに対する動きベクトル差分（ＭＶＤ）を生成し得る。現在動きベクトルを定義するためにＭＶＤとともに使用され得る、知られている動きベクトルは、いわゆる動きベクトル予測子（ＭＶＰ）によって定義され得る。概して、有効なＭＶＰであるために、予測のために使用されている動きベクトルは、現在コーディングされている動きベクトルと同じ参照ピクチャを指さなければならない。
[0184] いくつかの例では、以下で図６および図７に関してより詳細に説明するように、動きベクトル予測ユニット４３は、ＭＶＰのための候補として空間および／または時間方向におけるいくつかの隣接ブロックを含む動きベクトル予測子候補リストを構築し得る。複数の動きベクトル予測子候補が（複数の候補ブロックから）利用可能であるとき、動きベクトル予測ユニット４３は、所定の選択基準に従って現在ブロックのための動きベクトル予測子を決定し得る。例えば、動きベクトル予測ユニット４３は、符号化レートおよびひずみの分析に基づいて（例えば、レートひずみコスト分析または他のコーディング効率分析を使用して）、候補セットから最も正確な予測子を選択し得る。他の例では、動きベクトル予測ユニット４３は動きベクトル予測子候補の平均を生成し得る。動きベクトル予測子を選択する他の方法も可能である。
[0185] 動きベクトル予測子を選択するときに、動きベクトル予測ユニット４３は、ＭＶＰ候補ブロックを含んでいる参照ピクチャリスト中のどこにＭＶＰがあるかを（例えば、ビデオデコーダ３０などの）ビデオデコーダに通知するために使用され得る、動きベクトル予測子インデックス（ｍｖｐ＿ｆｌａｇ）を決定し得る。動きベクトル予測ユニット４３はまた、現在ブロックと選択されたＭＶＰとの間のＭＶＤを決定し得る。ＭＶＰインデックスおよびＭＶＤは、動きベクトルを再構成するために使用され得る。
[0186] いくつかの例では、動きベクトル予測ユニット４３は、代わりに、いわゆる「マージモード」を実装し得、マージモードでは、動きベクトル予測ユニット４３は、予測ビデオブロックの（動きベクトル、参照ピクチャインデックス、予測方向、または他の情報などの）動き情報を現在ビデオブロックと「マージ」し得る。従って、マージモードに関して、現在ビデオブロックは、別の知られている（または知り得る）ビデオブロックから動き情報を継承する。動きベクトル予測ユニット４３は、マージモードのための候補として空間および／または時間方向におけるいくつかの隣接ブロックを含むマージモード候補リストを構築し得る。動きベクトル予測ユニット４３は、マージング候補ブロックを含んでいる参照ピクチャリスト中のどこにマージングビデオブロックがあるかを（例えば、ビデオデコーダ３０などの）ビデオデコーダに通知するために使用され得るインデックス値（例えば、ｍｅｒｇｅ＿ｉｄｘ）を決定し得る。
[0187] 動きベクトル予測ユニット４３は、マルチビューコーディングにおいて、例えば、ＭＶＤを生成するか、またはマージするために、動きベクトル予測子を識別し得る。例えば、動きベクトル予測ユニット４３は、現在ブロックのための動きベクトルを予測するために、現在ブロックとは異なるビューコンポーネント中のブロックからディスパリティ動きベクトルを識別し得る。他の例では、動きベクトル予測ユニット４３は、現在ブロックのための動きベクトルを予測するために、現在ブロックとは異なるビューコンポーネント中のブロックから時間動きベクトルを識別し得る。
[0188] ディスパリティ動きベクトル予測に関して、動きベクトル予測ユニット４３は、（「現在ブロック」と呼ばれる）現在コーディングされているビデオブロックのための動きベクトルを予測するために、候補ブロックからディスパリティ動きベクトル候補を識別し得る。現在ブロックは、候補ブロックと同じピクチャ中にあり得（例えば、候補ブロックに空間的に隣接する）、または候補ブロックと同じビュー内の別のピクチャ中にあり得る。いくつかの例では、動きベクトル予測ユニット４３は、現在ブロックのための動きベクトルとは異なるビュー中の参照ピクチャを指す動きベクトル予測子を識別し得る。そのような場合、本開示の技法によれば、動きベクトル予測ユニット４３は、２つのビュー（例えば、動きベクトル予測子によって指されたビューと現在動きベクトルによって指されたビューとの）間のカメラロケーションの差に基づいて動きベクトル予測子をスケーリングし得る。例えば、動きベクトル予測ユニット４３は、２つのビュー間の差に従ってディスパリティ動きベクトル予測子をスケーリングし得る。いくつかの例では、２つのビュー間の差は、ビューに関連するビュー識別子（ｖｉｅｗ＿ｉｄ）間の差によって表され得る。
[0189] 時間動きベクトル予測に関して、動きベクトル予測ユニット４３は、現在ブロックのための動きベクトルを予測するために、現在ブロックとは異なるビュー中の候補ブロックから時間動きベクトル候補を識別し得る。例えば、動きベクトル予測ユニット４３は、第１のビューの別の時間ロケーションにあるピクチャ中のブロックを指す、第１のビュー中の時間動きベクトル予測子候補を識別し得る。動きベクトル予測ユニット４３は、第２の異なるビュー中の現在ブロックに関連する動きベクトルを予測するために、識別された時間動きベクトル予測子候補を使用し得る。（動きベクトル予測子候補を含む）候補ブロックと現在ブロックとはコロケートされ得る。しかしながら、２つのビュー間のディスパリティにより、候補ブロックの相対ロケーションは現在ブロックからオフセットされることがある。
[0190] 動き補償ユニット４４によって行われる動き補償は、動き推定ユニット４２によって決定された動きベクトルおよび／または動きベクトル予測ユニット４３からの情報に基づいて、予測ブロックをフェッチまたは生成することを伴い得る。この場合も、動き推定ユニット４２と、動きベクトル予測ユニット４３と、動き補償ユニット４４とは、いくつかの例では、機能的に統合され得る。現在ビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいてそれを指す予測ブロックの位置を特定し得る。
[0191] 加算器５０は、以下で説明するように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット４２はルーマ成分に対して動き推定を行い、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のための、ルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0192] イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって行われるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0193] 例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードについてレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、並びに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックについてのひずみおよびレートから比を計算し得る。
[0194] ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の変更イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更イントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
[0195] ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を行う１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を行い得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。
[0196] 変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を行い得る。代替的に、エントロピー符号化ユニット５６が走査を行い得る。
[0197] 量子化の後に、エントロピー符号化ユニット５６は量子化変換係数をエントロピーコーディングする。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を行い得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後に、符号化ビットストリームは、別のデバイス（例えば、ビデオデコーダ３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
[0198] 逆量子化ユニット５８および逆変換処理ユニット６０は、例えば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、復号ピクチャバッファ６４のピクチャのうちの１つの予測ブロックに残差ブロックを加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するサブ整数ピクセル値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、復号ピクチャバッファ６４に記憶するための再構成されたビデオブロックを生成するために、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算する。再構成されたビデオブロックは、後続のピクチャ中のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット４２および動き補償ユニット４４によって使用され得る。
[0199] 本開示で説明する技法の様々な態様によれば、モード選択ユニット４０は、上記でより詳細に説明したように、参照ピクチャリストに記憶された各参照ピクチャを査定する必要なしにＮＢＤＶプロセスのためのデフォルトレイヤ間参照ピクチャを決定し、ディスパリティベクトルを決定するためにデフォルトレイヤ間参照ピクチャを使用してＮＢＤＶプロセスを行い、ディスパリティベクトルに基づいて符号化３次元ビデオデータの現在ピクチャを復号し得る。
[0200] その上、本開示で説明する技法の様々な態様によれば、モード選択ユニット４０は、本開示で説明する技法の他の態様とは別にまたはそれとともに、アクティブ参照レイヤの第１の非０セットを決定し、アクティブ参照レイヤの第２の非０セットを決定し、アクティブ参照レイヤの第１の非０セットおよびアクティブ参照レイヤの第２の非０セットのうちの１つまたは複数に基づいて３次元ビデオデータをコーディングし得る。
[0201] その上、本開示で説明する技法の様々な態様によれば、モード選択ユニット４０は、本開示で説明する技法の他の態様とは別にまたはそれとともに、参照レイヤがテクスチャレイヤであるのか深度レイヤであるのかの決定に基づいてアクティブ参照レイヤの非０セットを決定し、アクティブ参照レイヤの決定された非０セットに基づいて３次元ビデオデータをコーディングし得る。
[0202] その上、本開示で説明する技法の様々な態様によれば、モード選択ユニット４０は、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存することに応答して、ＶＰＳ中で直接依存レイヤをシグナリングし得る。
[0203] 図１３は、マルチビューコーディングにおいて動きベクトルを予測するための本開示で説明する技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図１３の例では、ビデオデコーダ３０は、ビデオデータメモリ７８と、エントロピー復号ユニット８０と、予測ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、復号ピクチャバッファ９２とを含む。予測ユニット８１は、動き補償ユニット８２とイントラ予測ユニット８４とを含む。
[0204] ビデオデータメモリ７８は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７８に記憶されるビデオデータは、例えば、コンピュータ可読媒体１６から、例えば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレスネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７８は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ）を形成し得る。復号ピクチャバッファ９２は、例えば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ３０によってビデオデータを復号する際に使用する参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７８および復号ピクチャバッファ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ７８および復号ピクチャバッファ９２は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ７８は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0205] 復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数、動きベクトル、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
[0206] 例えば、背景として、ビデオデコーダ３０は、ネットワークを介した送信のために、いわゆる「ネットワークアブストラクションレイヤユニット（network abstraction layer unit）」またはＮＡＬユニットに圧縮された圧縮ビデオデータを受信し得る。各ＮＡＬユニットは、ＮＡＬユニットに記憶されるデータのタイプを識別するヘッダを含み得る。一般にＮＡＬユニットに記憶される、２つのタイプのデータがある。ＮＡＬユニットに記憶される第１のタイプのデータはビデオコーディングレイヤ（ＶＣＬ）データであり、これは圧縮ビデオデータを含む。ＮＡＬユニットに記憶される第２のタイプのデータは非ＶＣＬデータと呼ばれ、これは、多数のＮＡＬユニットに共通のヘッダデータを定義するパラメータセットなどの追加の情報と、補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）とを含む。
[0207] 例えば、パラメータセットは、（例えば、シーケンスパラメータセット（ＳＰＳ）中の）シーケンスレベルヘッダ情報と、（例えば、ピクチャパラメータセット（ＰＰＳ）中の）まれに変化するピクチャレベルヘッダ情報とを含んでいることがある。パラメータセット中に含まれている、まれに変化する情報は、シーケンスまたはピクチャごとに繰り返される必要がなく、それによりコーディング効率が改善される。さらに、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、それにより誤り耐性のための冗長送信の必要が回避される。
[0208] ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測ユニット８１のイントラ予測ユニット８４は、シグナリングされたイントラ予測モードと、現在ピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ピクチャがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされたとき、予測ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、復号ピクチャバッファ９２に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照ピクチャリスト、リスト０およびリスト１を構成し得る。
[0209] 動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために、その予測情報を使用する。例えば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。いくつかの例では、動き補償ユニット８２は、動きベクトル予測ユニット８３からいくらかの動き情報を受信し得る。
[0210] 動きベクトル予測ユニット８３は、現在ブロックのための動き情報をどこで取り出すべきかを示す予測データを受信し得る。例えば、動きベクトル予測ユニット８３は、ＭＶＰインデックス（ｍｖｐ＿ｆｌａｇ）、ＭＶＤ、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、および／またはマージインデックス（ｍｅｒｇｅ＿ｉｄｘ）などの動きベクトル予測情報を受信し、現在ブロックを予測するために使用される動き情報を識別するために、そのような情報を使用し得る。すなわち、ビデオエンコーダ２０に関して上述したように、本開示の態様によれば、動きベクトル予測ユニット８３は、ＭＶＰインデックス（ｍｖｐ＿ｆｌａｇ）とＭＶＤとを受信し、現在ブロックを予測するために使用される動きベクトルを決定するために、そのような情報を使用し得る。動きベクトル予測ユニット８３は、ＭＶＰまたはマージ候補のリストを生成し得る。本開示の態様によれば、ＭＶＰおよび／またはマージ候補は、現在復号されているビデオブロックとは異なるビュー中にある１つまたは複数のビデオブロックを含み得る。
[0211] 動きベクトル予測ユニット８３は、現在ブロックの動きベクトルを予測するために使用される動き情報を識別するために、ＭＶＰまたはマージインデックスを使用し得る。すなわち、例えば、動きベクトル予測ユニット８３は、ＭＶＰインデックス（ｍｖｐ＿ｆｌａｇ）を使用して参照ピクチャのリストからＭＶＰを識別し得る。動きベクトル予測ユニット８３は、現在ブロックのための動きベクトルを決定するために、識別されたＭＶＰを受信されたＭＶＤと結合し得る。他の例では、動きベクトル予測ユニット８３は、現在ブロックのための動き情報を決定するために、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を使用して参照ピクチャのリストからマージ候補を識別し得る。いずれの場合も、現在ブロックのための動き情報を決定した後に、動きベクトル予測ユニット８３は現在ブロックのための予測ブロックを生成し得る。
[0212] 動きベクトル予測ユニット８３は、マルチビューコーディングにおいて動きベクトル予測子を決定し得る。例えば、動きベクトル予測ユニット８３は、現在ブロックのための動きベクトルを予測するために使用される、現在ブロックとは異なるビューコンポーネント中のブロックからのディスパリティ動きベクトルを指定する情報を受信し得る。他の例では、動きベクトル予測ユニット８３は、現在ブロックのための動きベクトルを予測するために使用される、現在ブロックとは異なるビューコンポーネント中のブロックからの時間動きベクトルを識別する情報を受信し得る。
[0213] ディスパリティ動きベクトル予測に関して、動きベクトル予測ユニット８３は、候補ブロックから現在ブロックのためのディスパリティ動きベクトルを予測し得る。候補ブロックは、現在ブロックと同じピクチャ中にあり得（例えば、候補ブロックに空間的に隣接する）、または現在ブロックと同じビュー内の別のピクチャ中にあり得る。候補ブロックはまた、異なるビューのピクチャ中にあるが、現在ブロックと同じタイムインスタンス中にあり得る。
[0214] 例えば、ＭＶＰまたはマージモードのいずれかに関して、予測されるべき現在ブロックのディスパリティ動きベクトル「Ａ」のターゲットピクチャおよび参照ピクチャは知られている（以前に決定された）。説明の目的で、候補ブロックからの動きベクトルは「Ｂ」であると仮定する。動きベクトルＢがディスパリティ動きベクトルでない場合、動きベクトル予測ユニット８３は、候補ブロックを利用不可能である（例えば、動きベクトルＡを予測するために利用可能でない）と見なし得る。すなわち、動きベクトル予測ユニット８３は、動きベクトル予測のために候補ブロックを使用する能力を無効にし得る。
[0215] 動きベクトルＢがディスパリティ動きベクトルであり、動きベクトルＢの参照ピクチャがディスパリティ動きベクトルＡの参照ピクチャのビューと同じビューに属し、動きベクトルＢのターゲットピクチャがディスパリティ動きベクトルＡのターゲットピクチャと同じビューに属する場合、動きベクトル予測ユニット８３は、動きベクトルＡの候補予測子として直接動きベクトルＢを使用し得る。そうでない場合、動きベクトル予測ユニット８３は、ディスパリティ動きベクトルＢが動きベクトルＡの候補予測子として使用され得る前に、ディスパリティ動きベクトルＢをスケーリングし得る。そのような場合、本開示の技法によれば、動きベクトル予測ユニット８３は、動きベクトルＡのビュー距離と動きベクトルＢのビュー距離とに基づいてディスパリティ動きベクトルをスケーリングし得る。例えば、動きベクトル予測ユニット８３は、動きベクトルＢのビュー距離で除算された動きベクトルＡのビュー距離に等しいスケーリングファクタによってディスパリティ動きベクトルＢをスケーリングし得る。いくつかの例では、動きベクトル予測ユニット８３は、参照ピクチャおよびターゲットピクチャのビュー識別子を使用してそのようなスケーリングを行い得る。
[0216] 時間動きベクトル予測に関して、動きベクトル予測ユニット８３は、現在ブロックのビューとは異なるビュー中の候補ブロックから現在ブロックのための時間動きベクトルを予測し得る。例えば、動きベクトル予測ユニット８３は、第１のビュー中にターゲットピクチャを有する時間動きベクトル予測子候補を識別し得、第１のビューの別の時間ロケーションにある参照ピクチャ中のブロックを指す。
[0217] 例えば、ＭＶＰまたはマージモードのいずれかに関して、予測されるべき現在ブロックの時間動きベクトル「Ａ」のターゲットピクチャおよび参照ピクチャは知られている（すなわち、以前に決定された）。説明の目的で、候補ブロックからの動きベクトルは「Ｂ」であると仮定する。候補ブロックからの動きベクトルＢが時間動きベクトルでない場合、動きベクトル予測ユニット８３は、候補ブロックを利用不可能である（例えば、動きベクトルＡを予測するために利用可能でない）と見なし得る。すなわち、いくつかの例では、動きベクトル予測ユニット８３は、動きベクトル予測のために候補ブロックを使用する能力を無効にし得る。
[0218] 動きベクトルＢが時間動きベクトルであり、動きベクトルＢの参照ピクチャのＰＯＣが動きベクトルＡの参照ピクチャと同じであり、動きベクトルＢのターゲットピクチャのＰＯＣが動きベクトルＢのターゲットピクチャと同じである場合、動きベクトル予測ユニット８３は、動きベクトルＡの候補予測子として直接動きベクトルＢを使用し得る。そうでない場合、動きベクトル予測ユニット８３は、時間距離(temporal distance)に基づいて時間動きベクトルＢをスケーリングし得る。（動きベクトル予測子候補を含む）候補ブロックと現在ブロックとは、異なるビュー中にコロケートされ得る。しかしながら、２つのビュー間のディスパリティにより、候補ブロックの相対ロケーションは現在ブロックからオフセットされることがある。
[0219] 逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。
[0220] 逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。本開示の態様によれば、逆変換処理ユニット８８は、変換が残差データに適用された様式を決定し得る。すなわち、例えば、逆変換処理ユニット８８は、受信されたビデオデータのブロックに関連する残差ルーマサンプルおよび残差クロマサンプルに変換（例えば、ＤＣＴ、整数変換、ウェーブレット変換、または１つまたは複数の他の変換）が適用された様式を表すＲＱＴを決定し得る。
[0221] 動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を行う１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためのデブロッキングフィルタも適用され得る。（コーディングループ中またはコーディングループ後のいずれかの）他のループフィルタも、ピクセル遷移を平滑化するか、または場合によってはビデオ品質を改善するために使用され得る。所与のピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ９２に記憶される。復号ピクチャバッファ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上で後で表示するために復号ビデオを記憶する。
[0222] 本開示の態様によれば、ビデオデコーダ３０の予測ユニット８１は、上記でより詳細に説明したように、参照ピクチャリストに記憶された各参照ピクチャを査定する必要なしにＮＢＤＶプロセスのためのデフォルトレイヤ間参照ピクチャを決定し、ディスパリティベクトルを決定するためにデフォルトレイヤ間参照ピクチャを使用してＮＢＤＶプロセスを行い、ディスパリティベクトルに基づいて符号化３次元ビデオデータの現在ピクチャを復号し得る。
[0223] これらおよび他の例では、デフォルトレイヤ間参照ピクチャを決定するとき、予測ユニット８１は、第１のアクティブレイヤ間参照のビュー順序インデックスに基づいて、デフォルトレイヤ間参照ピクチャのデフォルトビュー順序インデックスを決定し得る。
[0224] これらおよび他の例では、予測ユニット８１は、現在ピクチャに関連するスライスヘッダから第１のアクティブレイヤ間参照を決定し得る。
[0225] これらおよび他の例では、予測ユニット８１は、スライスレベルにおいて第１のアクティブレイヤ間参照を決定し得る。
[0226] これらおよび他の例では、予測ユニット８１は、現在ピクチャを復号するとき、現在ピクチャを復号するために、ディスパリティベクトルに基づいてビュー合成予測（ＶＳＰ）を行い得る。
[0227] これらおよび他の例では、予測ユニット８１は、ＶＳＰを行うとき、ＮＢＤＶプロセスが深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスであるか、またはＶＳＰプロセスが後方ワーピングＶＰＳ（ＢＶＳＰ）プロセスであるとき、テクスチャレイヤが深度レイヤに依存すると決定し得る。
[0228] これらおよび他の例では、予測ユニット８１は、ＶＰＳを行うとき、異なる深度レイヤとテクスチャレイヤとの間の１つまたは複数の依存性に基づいて、深度レイヤへのテクスチャレイヤの依存性を導出し得る。
[0229] これらおよび他の例では、予測ユニット８１は、ＶＰＳを行うとき、テクスチャレイヤが深度レイヤと同じビューに属するかどうかに基づいて、深度レイヤがテクスチャレイヤに依存するかどうかを決定し得る。
[0230] これらおよび他の例では、予測ユニット８１は、デフォルトレイヤ間参照ピクチャを決定するとき、現在ピクチャに関連するスライスヘッダからデフォルトレイヤ間参照ピクチャを決定し得る。
[0231] これらおよび他の例では、現在ピクチャは現在テクスチャピクチャを備える。現在ピクチャを復号するとき、予測ユニット８１は、現在テクスチャピクチャを復号するために、ディスパリティベクトルに基づいてＶＳＰを行い得る。ＮＢＤＶプロセスを行うとき、予測ユニット８１は、参照深度レイヤへの現在テクスチャピクチャのためのスライスレベル依存性が、現在テクスチャピクチャに関連するスライスヘッダ中でシグナリングされるアクティブ参照レイヤに属さないが、ＶＳＰを行うためにシグナリングされるアクティブ参照レイヤに属するように、その依存性を決定し得る。
[0232] これらおよび他の例では、予測ユニット８１は、スライスヘッダから、深度スライスが同じビューのおよび同じアクセスユニットのテクスチャピクチャに依存するかどうかを決定し得る。
[0233] 本開示で説明する技法の様々な態様によれば、予測ユニット８１は、本開示で説明する技法の他の態様とともにまたはそれとは別に、アクティブ参照レイヤの第１の非０セットを決定し、アクティブ参照レイヤの第２の非０セットを決定し、アクティブ参照レイヤの第１の非０セットおよびアクティブ参照レイヤの第２の非０セットのうちの１つまたは複数に基づいて３次元ビデオデータをコーディングし得る。
[0234] 本開示で説明する技法の様々な態様によれば、予測ユニット８１は、本開示で説明する技法の他の態様とともにまたはそれとは別に、参照レイヤがテクスチャレイヤであるのか深度レイヤであるのかの決定に基づいてアクティブ参照レイヤの非０セットを決定し、アクティブ参照レイヤの決定された非０セットに基づいて３次元ビデオデータをコーディングし得る。
[0235] 図１４は、本開示で説明する技法による、ビデオデータを符号化するための例示的な方法を示すフローチャートである。図１４の技法について、ビデオエンコーダ２０などのビデオエンコーダに関して説明する。ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存することに応答して、ＶＰＳ中で直接依存レイヤをシグナリングするビデオエンコーダ２０（２０２）。深度レイヤは、現在テクスチャレイヤとは異なるビューに属する。ビデオエンコーダ２０は、深度レイヤを使用して現在テクスチャレイヤを処理する（２０４）。深度レイヤから取得された情報を使用して、ＤｏＮＢＤＶプロセスまたはＢＶＳＰプロセスのうちの少なくとも１つを使用して現在テクスチャレイヤのブロックを予測することに応答して、ビデオエンコーダ２０は、ビデオデータの現在テクスチャレイヤが深度レイヤに依存すると決定する。いくつかの例では、テクスチャから深度への依存性に加えて、深度からテクスチャへの依存性もＶＰＳ中でシグナリングされ得る。
[0236] ビデオエンコーダ２０は、テクスチャレイヤのスライスについて、テクスチャレイヤのスライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤ(direct dependent texture layers)を、ＶＰＳ中でシグナリングされた直接依存レイヤとは別にシグナリングする。このコンテキストでは、シグナリングすることは、符号化ビデオデータ中に含めるための１つまたは複数のシンタックス要素を生成することを含み得る。
[0237] 図１５は、本開示で説明する技法による、ビデオデータを処理するための例示的な方法を示すフローチャートである。図１５の技法について、ビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、例えば、ビデオデコーダ３０などのビデオデコーダを含み得るか、またはメディアアウェアネットワークエンティティ（ＭＡＮＥ：media aware network entity）などのネットワークエンティティでもあり得る。ビデオ処理デバイスは、ＶＰＳ中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤがビデオデータの深度レイヤに依存すると決定する（２１０）。ビデオ処理デバイスは、例えば、直接依存レイヤを識別する１つまたは複数のシンタックス要素をＶＰＳ中で受信し得る。シンタックス要素は、例えば、現在テクスチャレイヤがそれに依存する深度レイヤを識別し得る。深度レイヤは、現在テクスチャレイヤとは異なるビューに属し得る。ビデオ処理デバイスは、深度レイヤを使用して現在テクスチャレイヤを処理する（２１２）。
[0238] いくつかの例では、テクスチャから深度への依存性に加えて、深度からテクスチャへの依存性もＶＰＳ中でシグナリングされ得る。例えば、ビデオデコーダ２０は、ＶＰＳ中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在深度レイヤがビデオデータのテクスチャレイヤに依存すると決定し得る。
[0239] ビデオ処理デバイスは、ＶＰＳ中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在深度レイヤがビデオデータの第２のテクスチャレイヤに依存するとさらに決定し得る。ビデオ処理デバイスは、さらに、深度レイヤから取得された情報を使用して、ＤｏＮＢＤＶプロセスまたはＢＶＳＰプロセスのうちの少なくとも１つを使用して現在テクスチャレイヤのブロックを予測し得る。
[0240] ビデオデコーダ３０は、ビデオパラメータセット中でシグナリングされた直接依存レイヤから、テクスチャレイヤのスライスについて、テクスチャレイヤのスライスのためのアクティブ参照レイヤ(active reference layers)を形成するために使用される直接依存テクスチャレイヤを分離し得る。ビデオデコーダ２０は、ビデオパラメータセット中でシグナリングされた直接依存レイヤから、深度レイヤのスライスについて、深度レイヤのスライスのためのアクティブ参照レイヤを形成するために使用される直接依存深度レイヤを分離し得る。言い換えれば、混合（テクスチャおよび深度）依存レイヤを決定した後に、ビデオデコーダ３０は、混合依存レイヤ(mixed dependent layers)を深度依存レイヤ(depth dependent layers)とテクスチャ依存レイヤ(texture dependent layers)とに分離するために復号プロセスを行い得る。場合によっては、例えばスライスレベルシグナリングに基づいて、これらの２つのサブセットのうちの１つのみがアクティブ参照レイヤを構築するために使用され得る。
[0241] ビデオ処理デバイスがビデオデコーダを含む場合、深度レイヤを使用して現在テクスチャレイヤを処理することは、現在テクスチャレイヤから取得された情報を使用して深度レイヤのブロックを予測すること、および／または深度レイヤから取得された情報を使用して現在テクスチャレイヤのブロックを予測することを含み得る。ビデオ処理デバイスがＭＡＮＥを含む場合、現在テクスチャレイヤを処理することは、ビデオデータに対してサブビットストリーム抽出プロセスを行うことを含み得る。
[0242] 例によっては、本明細書で説明した方法のうちのいずれかのいくつかの行為またはイベントは、異なるシーケンスで行われ得、追加、マージ、または完全に除外され得る（例えば、全ての説明した行為またはイベントが、本方法の実施のために必要であるとは限らない）ことを理解されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に行われ得る。さらに、本開示のいくつかの態様について、明快のために単一のモジュールまたはユニットによって行われるものとして説明したが、本開示の技法は、ビデオコーダに関連するユニットまたはモジュールの組合せによって行われ得ることを理解されたい。
[0243] 技法の様々な態様の特定の組合せについて上記で説明したが、これらの組合せは、本開示で説明した技法の例を示すために与えたものにすぎない。従って、本開示の技法は、これらの例示的な組合せに限定されるべきではなく、本開示で説明した技法の様々な態様の任意の想起可能な組合せを包含し得る。
[0244] １つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。
[0245] このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0246] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。
[0247] 但し、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびｂｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0248] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
[0249] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を行うように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0250] 本開示の様々な態様について説明した。これらおよび他の態様は以下の特許請求の範囲内に入る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
３次元（３Ｄ）ビデオデータを処理する方法であって、前記方法は、
ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在テクスチャレイヤが前記ビデオデータの深度レイヤに依存すると決定することと、
前記深度レイヤを使用して前記現在テクスチャレイヤを処理することとを備える、方法。
［Ｃ２］
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤに基づいて、前記ビデオデータの現在深度レイヤが前記ビデオデータの第２のテクスチャレイヤに依存すると決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記深度レイヤのスライスについて、前記深度レイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存深度レイヤを分離することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記アクティブ参照レイヤは、前記深度レイヤの前記スライスのブロックがそれから予測される参照レイヤを備える、Ｃ５に記載の方法。
［Ｃ７］
処理することが、
前記現在テクスチャレイヤから取得された情報を使用して前記深度レイヤのブロックを予測することを備える、Ｃ１に記載の方法。
［Ｃ８］
前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測することをさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記深度レイヤが前記現在テクスチャレイヤとは異なるビューに属する、Ｃ１に記載の方法。
［Ｃ１０］
前記方法がビデオデコーダによって行われる、Ｃ１に記載の方法。
［Ｃ１１］
３次元（３Ｄ）ビデオデータを符号化する方法であって、前記方法は、
前記ビデオデータの現在テクスチャレイヤが前記ビデオデータの深度レイヤに依存することに応答して、ビデオパラメータセット中で直接依存レイヤをシグナリングすることと、
前記深度レイヤを使用して前記現在テクスチャレイヤを処理することとを備える、方法。
［Ｃ１２］
前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測することに応答して、前記ビデオデータの前記現在テクスチャレイヤが前記深度レイヤに依存すると決定することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記深度レイヤが前記現在テクスチャレイヤとは異なるビューに属する、Ｃ１１に記載の方法。
［Ｃ１５］
ビデオデータを記憶するように構成されたメモリと、
ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在テクスチャレイヤが前記ビデオデータの深度レイヤに依存すると決定することと、
前記深度レイヤを使用して前記現在テクスチャレイヤを処理することとを行うように構成された１つまたは複数のプロセッサとを備えるビデオコーディングデバイス。
［Ｃ１６］
前記１つまたは複数のプロセッサは、
前記ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在深度レイヤが前記ビデオデータの第２のテクスチャレイヤに依存すると決定することを行うようにさらに構成された、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサが、
前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測することを行うようにさらに構成された、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ１８］
前記１つまたは複数のプロセッサが、
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することを行うようにさらに構成された、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ１９］
前記１つまたは複数のプロセッサが、
前記深度レイヤのスライスについて、前記深度レイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存深度レイヤを、前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤとは別にシグナリングすることを行うようにさらに構成された、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ２０］
前記アクティブ参照レイヤは、前記深度レイヤの前記スライスのブロックがそれから予測される参照レイヤを備える、Ｃ１９に記載のビデオコーディングデバイス。
［Ｃ２１］
前記現在テクスチャレイヤを処理するために、前記１つまたは複数のプロセッサが、前記現在テクスチャレイヤから取得された情報を使用して前記深度レイヤのブロックを予測する、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ２２］
前記１つまたは複数のプロセッサが、前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測するようにさらに構成された、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ２３］
前記深度レイヤが前記現在テクスチャレイヤとは異なるビューに属する、Ｃ１５に記載のビデオコーディングデバイス。
［Ｃ２４］
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオデコーダを含むワイヤレス通信デバイスとのうちの少なくとも１つを備える、Ｃ１５に記載のデバイス。
［Ｃ２５］
１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤが前記ビデオデータの深度レイヤに依存すると決定することと、
前記深度レイヤを使用して前記現在テクスチャレイヤを処理することとを行わせる命令を記憶するコンピュータ可読記憶媒体。
［Ｃ２６］
実行されたとき、前記１つまたは複数のプロセッサに、
前記ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在深度レイヤが前記ビデオデータの第２のテクスチャレイヤに依存すると決定することを行わせる命令をさらに記憶する、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２７］
実行されたとき、前記１つまたは複数のプロセッサに、
前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測することを行わせる命令をさらに記憶する、Ｃ２５に記載のコンピュータ可読媒体。
［Ｃ２８］
実行されたとき、前記１つまたは複数のプロセッサに、
前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することを行わせる命令をさらに記憶する、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ２９］
実行されたとき、前記１つまたは複数のプロセッサに、
前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測することを行わせる命令をさらに記憶する、Ｃ２５に記載のコンピュータ可読記憶媒体。
［Ｃ３０］
前記深度レイヤが前記現在テクスチャレイヤとは異なるビューに属する、Ｃ２５に記載のコンピュータ可読記憶媒体。

Claims (19)

  1. ３次元（３Ｄ）ビデオデータを処理する方法であって、前記方法は、
    ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在テクスチャレイヤの少なくとも１つのブロックが前記ビデオデータの深度レイヤの１つまたは複数のブロックを使用して予測されることにより、前記現在テクスチャレイヤが前記深度レイヤに依存すると決定することと、ここにおいて、前記現在テクスチャレイヤは、第１のビューに属する、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤに基づいて、前記ビデオデータの前記深度レイヤの少なくとも１つのブロックが前記ビデオデータの第２のテクスチャレイヤの１つまたは複数のブロックを使用して予測されることにより、前記深度レイヤが前記第２のテクスチャレイヤに依存すると決定することと、ここにおいて、前記第２のテクスチャレイヤおよび前記深度レイヤは、前記第１のビューとは異なる第２のビューに属する、
    前記深度レイヤを使用して前記現在テクスチャレイヤを処理することと、
    前記第２のテクスチャレイヤを使用して前記深度レイヤを処理することと、
    前記現在テクスチャレイヤおよび前記第２のテクスチャレイヤを備える復号ビデオデータを出力することと、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することと
    を備える、方法。
  2. 前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測すること
    をさらに備える、請求項１に記載の方法。
  3. 前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記深度レイヤのスライスについて、前記深度レイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存深度レイヤを分離すること
    をさらに備える、請求項１に記載の方法。
  4. 前記アクティブ参照レイヤは、前記深度レイヤの前記スライスのブロックがそれから予測される参照レイヤを備える、請求項３に記載の方法。
  5. 前記深度レイヤを使用して前記現在テクスチャレイヤを処理することが、
    前記現在テクスチャレイヤから取得された情報を使用して前記深度レイヤのブロックを予測すること
    を備える、請求項１に記載の方法。
  6. 前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測すること
    をさらに備える、請求項１に記載の方法。
  7. 前記方法がビデオデコーダによって行われる、請求項１に記載の方法。
  8. ３次元（３Ｄ）ビデオデータを符号化する方法であって、前記方法は、
    前記ビデオデータの現在テクスチャレイヤが前記ビデオデータの深度レイヤに依存することに応答して、前記ビデオデータの前記現在テクスチャレイヤの少なくとも１つのブロックが前記ビデオデータの前記深度レイヤの１つまたは複数のブロックを使用して予測されることにより、前記現在テクスチャレイヤが前記深度レイヤに依存することを示す直接依存レイヤを、ビデオパラメータセット中でシグナリングすることと、ここにおいて、前記現在テクスチャレイヤは、第１のビューに属する、
    前記ビデオデータの前記深度レイヤの少なくとも１つのブロックが前記ビデオデータの第２のテクスチャレイヤの１つまたは複数のブロックを使用して予測されることにより、前記深度レイヤが前記第２のテクスチャレイヤに依存することに応答して、前記ビデオデータの前記深度レイヤが前記ビデオデータの前記第２のテクスチャレイヤに依存することを示す直接依存レイヤを、前記ビデオパラメータセット中でシグナリングすることと、ここにおいて、前記第２のテクスチャレイヤおよび前記深度レイヤは、前記第１のビューとは異なる第２のビューに属する、
    前記深度レイヤを使用して前記現在テクスチャレイヤを処理することと、
    前記第２のテクスチャレイヤを使用して前記深度レイヤを処理することと、
    前記現在テクスチャレイヤ、前記深度レイヤ、および前記第２のテクスチャレイヤを備える符号化ビデオデータを出力することと、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することと
    を備える、方法。
  9. 前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測することに応答して、前記ビデオデータの前記現在テクスチャレイヤが前記深度レイヤに依存すると決定することをさらに備える、請求項８に記載の方法。
  10. ビデオデータを記憶するように構成されたメモリと、
    ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、前記ビデオデータの現在テクスチャレイヤの少なくとも１つのブロックが前記ビデオデータの深度レイヤの１つまたは複数のブロックを使用して予測されることにより、前記現在テクスチャレイヤが前記深度レイヤに依存すると決定することと、ここにおいて、前記現在テクスチャレイヤは、第１のビューに属する、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤに基づいて、前記ビデオデータの前記深度レイヤの少なくとも１つのブロックが前記ビデオデータの第２のテクスチャレイヤの１つまたは複数のブロックを使用して予測されることにより、前記深度レイヤが前記第２のテクスチャレイヤに依存すると決定することと、ここにおいて、前記第２のテクスチャレイヤおよび前記深度レイヤは、前記第１のビューとは異なる第２のビューに属する、
    前記深度レイヤを使用して前記現在テクスチャレイヤを処理することと、
    前記第２のテクスチャレイヤを使用して前記深度レイヤを処理することと、
    前記現在テクスチャレイヤおよび前記第２のテクスチャレイヤを備える復号ビデオデータを出力することと、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することと
    を行うように構成された１つまたは複数のプロセッサと
    を備えるビデオコーディングデバイス。
  11. 前記１つまたは複数のプロセッサが、
    前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測すること
    を行うようにさらに構成された、請求項１０に記載のビデオコーディングデバイス。
  12. 前記１つまたは複数のプロセッサが、
    前記深度レイヤのスライスについて、前記深度レイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存深度レイヤを、前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤとは別にシグナリングすること
    を行うようにさらに構成された、請求項１０に記載のビデオコーディングデバイス。
  13. 前記アクティブ参照レイヤは、前記深度レイヤの前記スライスのブロックがそれから予測される参照レイヤを備える、請求項１２に記載のビデオコーディングデバイス。
  14. 前記現在テクスチャレイヤを処理するために、前記１つまたは複数のプロセッサが、前記現在テクスチャレイヤから取得された情報を使用して前記深度レイヤのブロックを予測する、請求項１０に記載のビデオコーディングデバイス。
  15. 前記１つまたは複数のプロセッサが、前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測するようにさらに構成された、請求項１０に記載のビデオコーディングデバイス。
  16. 前記デバイスが、
    集積回路、
    マイクロプロセッサ、または、
    ビデオデコーダを含むワイヤレス通信デバイス
    のうちの少なくとも１つを備える、請求項１０に記載のデバイス。
  17. １つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
    ビデオパラメータセット中でシグナリングされた直接依存レイヤに基づいて、ビデオデータの現在テクスチャレイヤの少なくとも１つのブロックが前記ビデオデータの深度レイヤの１つまたは複数のブロックを使用して予測されることにより、前記現在テクスチャレイヤが前記深度レイヤに依存すると決定することと、ここにおいて、前記現在テクスチャレイヤは、第１のビューに属する、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤに基づいて、前記ビデオデータの前記深度レイヤの少なくとも１つのブロックが前記ビデオデータの第２のテクスチャレイヤの１つまたは複数のブロックを使用して予測されることにより、前記深度レイヤが前記第２のテクスチャレイヤに依存すると決定することと、ここにおいて、前記第２のテクスチャレイヤおよび前記深度レイヤは、前記第１のビューとは異なる第２のビューに属する、
    前記深度レイヤを使用して前記現在テクスチャレイヤを処理することと、
    前記第２のテクスチャレイヤを使用して前記深度レイヤを処理することと、
    前記現在テクスチャレイヤおよび前記第２のテクスチャレイヤを備える復号ビデオデータを出力することと、
    前記ビデオパラメータセット中でシグナリングされた前記直接依存レイヤから、前記テクスチャレイヤのスライスについて、前記テクスチャレイヤの前記スライスのためのアクティブ参照レイヤを形成するために使用される直接依存テクスチャレイヤを分離することと
    を行わせる命令を記憶する非一時的なコンピュータ可読記憶媒体。
  18. 実行されたとき、前記１つまたは複数のプロセッサに、
    前記深度レイヤから取得された情報を使用して、深度指向ＮＢＤＶ（ＤｏＮＢＤＶ）プロセスまたは後方ワーピングビュー合成予測（ＢＶＳＰ）プロセスのうちの少なくとも１つを使用して前記現在テクスチャレイヤのブロックを予測すること
    を行わせる命令をさらに記憶する、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
  19. 実行されたとき、前記１つまたは複数のプロセッサに、
    前記深度レイヤから取得された情報を使用して前記現在テクスチャレイヤのブロックを予測すること
    を行わせる命令をさらに記憶する、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
JP2016544446A 2014-01-03 2015-01-03 ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測 Active JP6855242B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461923613P 2014-01-03 2014-01-03
US61/923,613 2014-01-03
US14/588,837 2015-01-02
US14/588,837 US9948950B2 (en) 2014-01-03 2015-01-02 Disparity vector and/or advanced residual prediction for video coding
PCT/US2015/010073 WO2015103502A1 (en) 2014-01-03 2015-01-03 Disparity vector and/or advanced residual prediction for video coding

Publications (3)

Publication Number Publication Date
JP2017501644A JP2017501644A (ja) 2017-01-12
JP2017501644A5 JP2017501644A5 (ja) 2018-06-28
JP6855242B2 true JP6855242B2 (ja) 2021-04-07

Family

ID=52392244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544446A Active JP6855242B2 (ja) 2014-01-03 2015-01-03 ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測

Country Status (7)

Country Link
US (1) US9948950B2 (ja)
EP (1) EP3090555B1 (ja)
JP (1) JP6855242B2 (ja)
KR (1) KR102312766B1 (ja)
CN (1) CN105850135B (ja)
HK (1) HK1223758A1 (ja)
WO (1) WO2015103502A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HRP20231385T1 (hr) 2011-09-22 2024-03-01 Lg Electronics Inc. Postupak i uređaj za signaliziranje slikovnih informacija, te postupak i uređaj za dekodiranje korištenjem istih
US9781416B2 (en) 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
AU2014288482A1 (en) * 2013-07-12 2015-02-26 Sony Corporation Image coding device and method
KR20150012206A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
JP6482191B2 (ja) * 2014-06-12 2019-03-13 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR102378459B1 (ko) * 2014-06-30 2022-03-24 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
KR20170065502A (ko) * 2014-10-08 2017-06-13 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
US10623767B2 (en) * 2015-10-19 2020-04-14 Lg Electronics Inc. Method for encoding/decoding image and device therefor
CN105635736B (zh) * 2016-03-14 2018-11-13 杭州电子科技大学 一种简单快速的合并方法
US10412410B2 (en) * 2017-08-14 2019-09-10 Google Llc Compound motion-compensated prediction
CN118632013A (zh) * 2017-09-19 2024-09-10 三星电子株式会社 对运动信息进行编码和解码的方法以及设备
US10542279B2 (en) 2017-09-25 2020-01-21 Intel Corporation Temporal motion vector prediction control in video coding
CN112997494B (zh) * 2018-10-08 2023-05-09 北京达佳互联信息技术有限公司 用于视频编码的运动矢量存储
BR112022000158A2 (pt) * 2019-07-08 2022-02-22 Huawei Tech Co Ltd Restrições de imagem de unidade de nal mista em codificação de vídeo

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973739B2 (en) * 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
EP2666296A4 (en) * 2011-01-19 2013-12-25 Ericsson Telefon Ab L M INDICATION OF BITS FLOW SUBASSEMBLIES
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
KR101664758B1 (ko) * 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
CN103402097B (zh) * 2013-08-15 2016-08-10 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103428499B (zh) * 2013-08-23 2016-08-17 清华大学深圳研究生院 编码单元的划分方法及使用该方法的多视点视频编码方法

Also Published As

Publication number Publication date
WO2015103502A1 (en) 2015-07-09
US20150195572A1 (en) 2015-07-09
US9948950B2 (en) 2018-04-17
KR102312766B1 (ko) 2021-10-13
KR20160102076A (ko) 2016-08-26
JP2017501644A (ja) 2017-01-12
BR112016015572A2 (pt) 2017-08-08
CN105850135A (zh) 2016-08-10
EP3090555B1 (en) 2020-02-26
EP3090555A1 (en) 2016-11-09
HK1223758A1 (zh) 2017-08-04
CN105850135B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
JP6855242B2 (ja) ビデオコーディングのためのディスパリティベクトルおよび／または高度残差予測
JP6766079B2 (ja) 空間および／または時間動き情報を使用するサブ予測ユニット動きベクトル予測
JP7000565B2 (ja) ビデオコーディングのためのアフィン予測動き情報をコーディングすること
JP6636530B2 (ja) サブ予測ユニットベース高度時間動きベクトル予測
JP6545667B2 (ja) Ｈｅｖｃにおけるサブ予測ユニット（ｐｕ）ベースの時間的動きベクトル予測および３ｄ−ｈｅｖｃにおけるサブｐｕ設計
JP6339183B2 (ja) Ｈｅｖｃにおけるサブ予測ユニット（ｐｕ）ベースの時間的動きベクトル予測および３ｄ−ｈｅｖｃにおけるサブｐｕ設計
JP6419808B2 (ja) ビデオコーディングのための照明補償を処理すること
JP6215295B2 (ja) Ｈｅｖｃおよびその拡張における動きベクトルのコーディングおよび双予測
JP6765957B2 (ja) 後方ビュー合成予測
JP6271575B2 (ja) ３ｄビデオのための高度マージ／スキップモード及び高度動きベクトル予測（ａｍｖｐ）モード
JP6185143B2 (ja) スキップおよびダイレクトモード用の３ｄビデオコーディングにおける視差ベクトル導出
JP6337104B2 (ja) テクスチャコーディングのためのより正確な高度残差予測（ａｒｐ）
JP6231203B2 (ja) ビデオコード化における視差ベクトルを使用するブロック識別
JP2022504073A (ja) 履歴ベースの動きベクトル予測子の改善
JP2019068447A (ja) ３ｄビデオコーディングにおける視差ベクトル導出および動きベクトル予測の簡略化
JP2015515227A (ja) ビデオコーディングのためのビュー間予測のための視差ベクトル生成
JP2015536118A (ja) ３ｄビデオのためのインタ・ビュー予測動きベクトル
JP2016507969A (ja) ビュー間またはレイヤ間参照ピクチャについてのビットストリーム制約および動きベクトル制限
JP2015532067A (ja) ３ｄ映像に関するインタービュー動き予測
JP2016506185A (ja) ビデオコーディング拡張規格のための時間動きベクトル予測
JP6352271B2 (ja) 高効率ビデオコーディングに基づくスケーラブルコーディングのための動きフィールドアップサンプリング
OA18314A (en) Sub-prediction unit based advanced temporal motion vector prediction.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180827

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190731

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200512

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210112

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210216

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6855242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250