JP6629363B2 - マルチビューコード化及び３ｄコード化におけるビュー依存性 - Google Patents

マルチビューコード化及び３ｄコード化におけるビュー依存性 Download PDF

Info

Publication number
JP6629363B2
JP6629363B2 JP2018018202A JP2018018202A JP6629363B2 JP 6629363 B2 JP6629363 B2 JP 6629363B2 JP 2018018202 A JP2018018202 A JP 2018018202A JP 2018018202 A JP2018018202 A JP 2018018202A JP 6629363 B2 JP6629363 B2 JP 6629363B2
Authority
JP
Japan
Prior art keywords
view
layer
prediction
inter
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018018202A
Other languages
English (en)
Other versions
JP2018110413A (ja
Inventor
イン・チェン
イェ−クイ・ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018110413A publication Critical patent/JP2018110413A/ja
Application granted granted Critical
Publication of JP6629363B2 publication Critical patent/JP6629363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年４月２３日に出願された米国仮特許出願第６１／６３７，１９７号の利益を主張する。
[0002]本開示は、ビデオコード化に関し、より詳細には、ビデオデータの予測で使用されるビュー依存性に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、携帯電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込むことができる。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３又はＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、高度ビデオコード化（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信及び受信することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間的予測（イントラピクチャ）及び／又は時間的予測を実行する。ブロックベースのビデオコード化の場合、ビデオフレーム又はスライス（即ち、ピクチャ又はピクチャの一部分）は、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれる場合があるビデオブロックに区分化することができる。各ブロックは更に区分化され得る。ピクチャのイントラコード化（Ｉ）フレーム又はスライス内のビデオブロックは、同じピクチャにおける近接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）フレーム又はスライス内のビデオブロックは、同じピクチャにおける近接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャ内の参照サンプルに対する時間的予測を使用することができる。
[0005]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化することができる。最初は２次元アレイで配列される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査することができ、なお一層の圧縮を実現するように、エントロピーコード化を適用することができる。
[0006]ビデオコード化規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及び、そのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）の拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られている）ＩＴＵ−Ｔ Ｈ．２６４が含まれる。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されており、その内容全体は参照により本明細書に組み込まれる。
[0007]加えて、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって開発されている新しいビデオコード化規格、即ち高効率ビデオコード化（ＨＥＶＣ）が存在する。更に、ＨＥＶＣ向けのスケーラブルビデオコード化拡張、マルチビュービデオコード化拡張、及び３ＤＶ拡張を製作する作業が進行中である。ＨＥＶＣに対するマルチビュー拡張、即ちＭＶ−ＨＥＶＣは、ＪＣＴ−３Ｖ．Ｔｅｃｈらの「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ３ （ＩＳＯ／ＩＥＣ ２３００８−２：２０１ｘ／ＰＤＡＭ２）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会議、ジュネーブ、スイス、２０１３年１月（以下ＭＶ−ＨＥＶＣ ＷＤ ３と呼ぶ）によって開発中であり、これは２０１３年４月２２日の時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／３＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｃ１００４−ｖ４．ｚｉｐから入手可能であり、その内容全体は参照により本明細書に組み込まれる。ＨＥＶＣに対するスケーラブル拡張、即ちＳＨＶＣも、ＪＣＴ−ＶＣ．Ｃｈｅｎらの「ＳＨＶＣ Ｄｒａｆｔ Ｔｅｘｔ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会議、ジュネーブ、スイス、２０１３年１月（以下ＳＨＶＣ ＷＤ１と呼ぶ）によって開発中であり、これは２０１３年４月２２日の時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００８−ｖ１．ｚｉｐから入手可能であり、その内容全体は参照により本明細書に組み込まれる。ＨＥＶＣのテキスト仕様書ドラフト１０であり、以下ＨＥＶＣと呼ぶＨＥＶＣの最近の仕様書ドラフトは、参照により本明細書に組み込まれており、２０１３年４月２２日の時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐから入手可能である。
[0008]一般に、本開示は、多重レイヤを含むビデオデータをコード化するための技法を記載する。より具体的には、本開示は、スケーラブルビデオコード化と、マルチビュービデオコード化と、３次元ビデオコード化（３ＤＶＣ）とを実行するための技法を記載する。スケーラブルビデオコード化は、一般に、多重レイヤをコード化するためのビデオコード化技法を定義することができる。マルチビュービデオコード化は、一般に、ビデオデータの複数のビューをコード化するためのビデオコード化技法を定義することができるが、一方３ＤＶＣは、一般に、複数のビューコンポーネント（即ち、テクスチャコンポーネント及び深度コンポーネント）を備えるビデオデータの１つ又は複数のビューをコード化するためのビデオコード化技法を定義することができる。各ビューは、別個のビデオスライス又はピクチャであるが、共通のシーンの対応するビデオデータが撮影された異なる視点又は角度に対応することができる。１つの時間インスタンスにおけるビューのコード化表現は、ビューコンポーネントである。幾つかの例では、ビューは、テクスチャコンポーネントと深度ビューコンポーネントの両方を含む場合がある。本開示の技法は、一般に、現在のビデオスライス又はピクチャの予測のためのビュー依存性を処理し信号伝達することに関する。より具体的には、本開示の技法は、依存するスライス又はピクチャに関連付けられたインター予測のタイプを信号伝達すること、及び信号伝達されたインター予測のタイプに基づいて参照ピクチャセットを生成することに関する。
[0009]一例では、本開示はビデオデータを復号する方法を記載し、方法は、コード化ビットストリームから所与のレイヤに関連付けられたレイヤ依存性を取得することと、コード化ビットストリームから、レイヤ依存性のうちの１つ又は複数に関連付けられた予測のタイプを取得することとを備える。
[0010]別の例では、本開示はビデオデータを符号化する方法を記載し、方法は、所与のレイヤに関連付けられたレイヤ依存性を生成することと、レイヤ依存性のうちの１つ又は複数に関連付けられた予測のタイプを生成することとを備える。
[0011]別の例では、ビデオデータをコード化するための装置は、所与のレイヤに関連付けられたレイヤ依存性をコード化することと、レイヤ依存性のうちの１つ又は複数に関連付けられた予測のタイプをコード化することとを行うように構成された、１つ又は複数のプロセッサを備える。
[0012]別の例では、本開示はビデオデータをコード化する機器を記載し、機器は、所与のレイヤに関連付けられたレイヤ依存性をコード化するための手段と、レイヤ依存性のうちの１つ又は複数に関連付けられた予測のタイプをコード化するための手段とを備える。
[0013]別の例では、本開示は、実行されたとき、ビデオデータをコード化するための装置の１つ又は複数のプロセッサに、所与のレイヤに関連付けられたレイヤ依存性をコード化することと、レイヤ依存性のうちの１つ又は複数に関連付けられた予測のタイプをコード化することとを行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体を記載する。
[0014]本開示の１つ又は複数の態様の詳細は、添付の図面及び以下の説明において記載される。本開示に記載された技法の他の特徴、目的、及び利点は、これらの説明及び図面、ならびに特許請求の範囲から明らかになろう。
[0015]例示的なビデオの符号化及び復号のシステムを示すブロック図。 [0016]例示的なタイムファーストコード化を示す概念図。 [0017]例示的なマルチビュービデオコード化の時間的予測及びビュー間予測の構造を示す概念図。 [0018]本開示の技法を実装できる例示的なビデオエンコーダを示すブロック図。 [0019]本開示の技法を実装できる例示的なビデオデコーダを示すブロック図。 [0020]マルチビュービットストリームを符号化する例示的な方法を示す流れ図。 [0021]マルチビュービットストリームを復号する例示的な方法を示す流れ図。 [0022]マルチビュービットストリームを符号化する例示的な方法を示す流れ図。 [0023]マルチビュービットストリームを復号する例示的な方法を示す流れ図。
[0024]特定のビデオコード化システムによれば、データ圧縮を実現するように、ビデオシーケンスにおける時間的冗長性を低減するために、動き推定及び動き補償を使用することができる。この場合、ビデオデータの予測ブロック、例えば、コード化されている現在ビデオブロックの値を予測するために使用できる別のビデオのスライス又はピクチャからのブロックを識別する動きベクトルを生成することができる。予測ビデオブロックの値が現在ビデオブロックの値から減算されて、残差データのブロックを生成する。動き情報（例えば、動きベクトル、動きベクトルインデックス、予測方向、又は他の情報）が、残差データとともにビデオエンコーダからビデオデコーダに通信される。デコーダは、（動きベクトルに基づいて）同じ予測ブロックの位置を特定し、残差データを予測ブロックのデータと合成することにより、符号化されたビデオブロックを復元することができる。
[0025]スケーラブルビデオコード化は、ベースレイヤ及び１つ又は複数のスケーラブル拡張レイヤが使用されるビデオコード化を指す。スケーラブルビデオコード化の場合、ベースレイヤは、通常、ベースレベルの品質を有するビデオデータを搬送する。１つ又は複数の拡張レイヤは、追加のビデオデータを搬送して、より高い空間レベル、時間レベル、及び／又は（本明細書全体にわたる慣例になるように、時々「品質」レベルと呼ばれる）信号対ノイズＳＮＲレベルをサポートする。拡張レイヤは、以前符号化されたレイヤに対して定義され得る。スケーラブルビデオコード化技法がレイヤの概念を導入するにもかかわらず、本技法は依然スライス又はフレームに基づいてコード化する。例えば、最も低い時間レイヤを有するフレーム又はスライスは、より高い時間レイヤにあるスライス又はフレームで拡張され得る時間ベースレイヤを形成することができる。
[0026]時間スケーラビリティをサポートする幾つかのスケーラブルビデオコード化プロセスでは、ベースレイヤは、７．５Ｈｚの再生フレームレートをサポートするビデオデータを含むことができる。ビデオコード化プロセスは、より高い再生フレームレートをサポートする追加のレイヤをコード化することができる。例えば、ビデオコード化プロセスは、１５Ｈｚ及び３０Ｈｚの再生フレームレートをサポートする１つ又は複数の追加のレイヤをコード化することができる。レイヤに基づいて、ビデオコード化プロセスは、アプリケーション要件に従って、フレームレートの観点から実際の配信されたコンテンツを適合させる抽出器ツールをサポートすることができる。要件は、クライアント機器又は伝送チャネルに依存する場合がある。
[0027]空間スケーラビリティをサポートする幾つかのスケーラブルビデオコード化プロセスでは、ベースレイヤは、特定のベース解像度を表すビデオデータを含むことができる。ビデオコード化プロセスは、より高い解像度を表すビデオデータを含む１つ又は複数の追加のレイヤをコード化することができる。時間スケーラビリティと同様に、抽出器ツールは、アプリケーション要件に基づいて、実際の解像度の観点から実際の配信されたコンテンツを調整することができる。
[0028]品質スケーラビリティをサポートする幾つかのスケーラブルビデオコード化プロセスでは、ベースレイヤは、時々ベースＳＮＲレベルと呼ばれる特定のベース品質を表すビデオデータを含むことができる。ビデオコード化プロセスは、より高いＳＮＲレベルを表すビデオデータを含む１つ又は複数の追加のレイヤをコード化することができる。時間スケーラビリティと同様に、抽出器ツールは、アプリケーション要件に基づいて、実際の解像度の観点から実際の配信されたコンテンツを調整することができる。
[0029]最終的に、スケーラブルビデオコード化プロセスは、３つのタイプのレイヤの全てを組み合わせて使用して、必要なレイヤを抽出し、それらのレイヤを一緒に加えることによって、アプリケーション要件に適合する結果をもたらすことができる。
[0030]マルチビュービデオコード化は、ビデオデータの複数のビューをコード化するためのビデオコード化プロセスである。一般に、各ビューは、共通のシーンの対応するビデオデータが撮影された、異なる視点又は角度を備える異なるビデオスライス又はピクチャに対応する。例えば、単一の時間インスタンスにある共通のシーンに対応する複数の角度からのビューがキャプチャされ得るし、それによって、単一の時間インスタンスに対応する複数のビューを備えるビデオデータを作成する。単一の時間インスタンスに関連付けられたビューの全ては、「アクセス単位」にグループ化され得る。マルチビュービデオコード化では、各ビューは、テクスチャデータ（即ち、テクスチャコンポーネント）のみを備えことができる。３次元ビデオコード化は、ビデオデータの複数のビューをコード化するための別のビデオコード化プロセスである。マルチビュービデオコード化におけるビデオデータが、ビューごとにテクスチャコンポーネントのみを含むことができるのに対して、３Ｄビデオデータは、ビューごとにテクスチャコンポーネントと深度コンポーネントの両方を含むことができる。テクスチャコンポーネントは、従来のピクチャを含むことができる。深度コンポーネントは、対応するテクスチャコンポーネントで示された対象の３次元深度を表すことができる。
[0031]幾つかの例では、マルチビュービデオコード化技法と同様に、３ＤＶＣ技法は、各アクセス単位で複数のビューを使用することができる（即ち、本技法は複数のビューを実現することができる）。そのような例では、３ＤＶＣ技法は、マルチビュービデオで使用されるコード化技法のうちの多くを採用することができる。例えば、Ｈ．２６４／ＡＶＣ及びＨＥＶＣに対する３ＤＶＣ拡張では、ビデオエンコーダは、アクセス単位の他のビューと同じ方式で深度コンポーネントを符号化することができる。即ち、様々なビュー用のテクスチャコンポーネントに加えて、アクセス単位は深度コンポーネントを含むことができる。「ビューコンポーネント」という用語は、アクセス単位のテクスチャビューコンポーネント又は深度ビューコンポーネントのいずれかを指すために使用され得る。
[0032]更に、幾つかのビデオコード化技法は、深度画像ベースレンダリング（ＤＩＢＲ）を使用して、利用可能なテクスチャビューコンポーネント及び深度ビューコンポーネントに基づいて、合成テクスチャビューコンポーネントを生成することができる。合成テクスチャビューコンポーネントは、深度マップ及び１つ又は複数のテクスチャビューコンポーネントに基づいて合成されたテクスチャビューコンポーネントであり得る。場合によっては、合成テクスチャビューコンポーネントは、アクセス単位間予測又はビュー間予測用の参照ピクチャとして使用され得る。参照ピクチャとして使用される合成テクスチャビューコンポーネントは、ビュー合成参照ピクチャ（ＶＳＲＰ）と呼ばれる場合がある。ビデオコーダは参照ピクチャリスト内にＶＳＲＰを含めることができる。幾つかの特定の設計では、ビデオコーダは、複数の（深度付き）ビューコンポーネントを使用して、ＤＩＢＲを介して１つのＶＳＲＰを生成することができる。
[0033]従って、一般的な意味では、マルチビュービデオデータは、３Ｄビデオデータと互換的に使用され得る。例えば、ビデオエンコーダ及びビデオデコーダは、マルチビュービデオのビットストリームの１つのビューを深度コンポーネントとして扱うことができる。他の例では、エンコーダ及びデコーダは、マルチビュービデオのビットストリームから深度ビューコンポーネントを生成するように動作することができる。
[0034]３ＤＶＣ技法では、２つ以上のビュー（例えば、視聴者の左眼のビュー及び右眼のビュー）は、光の異なる偏光を使用して同時に、又はほぼ同時に表示することができ、視聴者の眼の各々がビューのそれぞれ１つを受け取るように、視聴者はパッシブ偏光眼鏡を着用することができる。代替的に、視聴者は、各眼を単独に遮断するアクティブ眼鏡を着用することができ、表示器は、眼鏡と同期して各眼の画像間を高速に交互することができる。
[0035]各ビュー（例えば、左眼のビュー及び右眼のビュー）は個別にコード化され得るが、３ＤＶＣでは、ビューの１つは、ビューの深度コンポーネントを使用して他のビューから復元され得る。この理由で、３ＤＶＣのこの形式は、マルチビュービデオコード化プラス深度（ＭＶＣ＋Ｄ）と呼ばれる場合もある。
例示すると、ビューの特定のピクチャ（ここで、このビューの特定のピクチャは、ビューの「ビューコンポーネント」と呼ばれる場合がある）の深度コンポーネント又は「深度マップ」は、左眼のビューと右眼のビューとの間の差分として計算され得る。エンコーダは、例えば、ビューコンポーネントの所謂「テクスチャコンポーネント」として左眼のビューを符号化することができ、深度マップは、ビューコンポーネントの所謂「深度コンポーネント」として符号化され得る。
[0036]次いで、デコーダは、ビューコンポーネントのテクスチャコンポーネントとビューコンポーネントの深度コンポーネントとを復号し、深度コンポーネントを使用して（左眼のビューを表す）テクスチャコンポーネントから右眼のビューを復元することができる。１つのビュー及び対応する深度マップのみをこの方式で符号化することによって、３ＤＶＣは、３ＤＶＣデータの別個のビューとして独立に左眼のビューと右眼のビューの両方を符号化することと比較して、左眼のビューと右眼のビューの両方をより効率的に符号化することができる。
[0037]上記で簡単に説明されたように、特定のビデオコード化システムは、ビデオシーケンス内の冗長性を低減するために、動き推定データと動き補償データとを生成することができる。この動きデータは、参照ビデオブロックが位置する他のビデオピクチャ又はビューへの特定の参照を含むことができる。幾つかの例では、特定の参照ブロックは同じピクチャ（イントラ予測）内にある。他の例では、特定の参照ブロックは、最終出力順序で（即ち、現在のピクチャに対して過去又は未来における時間インスタンスに関連付けられた）現在のビデオブロックを含むピクチャの先又は後のいずれかである、異なるピクチャ（インター予測）内にあり得る。マルチビュービデオコード化及び３ＤＶＣでは、この概念は、様々なビューの中に予測ブロックを含めるように拡張され得る。例えば、予測ブロックは、現在のピクチャと同じ時間インスタンスに関連付けられた異なるピクチャ（ビュー間予測）内にあり得る。
[0038]ビュー間予測は、一般に、別のビュー内のビューコンポーネントがインター予測参照であるように実現される。予測用の「動き」ベクトルを使用するのではなく、ビュー間予測は、動きベクトルと概念的に同様であるが、動きではなく変位を記述する「視差の動き」ベクトルを利用する。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）内で信号伝達され、インター予測参照又はビュー間予測参照の柔軟な順序付けを可能にする、参照ピクチャリスト構築プロセスによって修正され得る。
[0039]スケーラブルビデオコード化をサポートするビデオコード化技法では、それらのビデオコード化技法は、レイヤ間予測を採用することもできる。例えば、マルチビュービデオコード化及び３Ｄビデオコード化と同様に、特定のスライス又はフレームのレイヤの全て（即ち、ベースレイヤ及び任意の拡張レイヤ）は、マルチビュービデオコード化及び３Ｄビデオコード化に関して上述されたアクセス単位に類似するアクセス単位を形成することができる。従って、特定のレイヤが与えられると、別のレイヤはインター予測参照であり得る。ビュー間参照と同様に、これらのレイヤ間参照はＳＰＳ内で信号伝達される場合があり、インター予測参照又はレイヤ間予測参照の柔軟な順序付けを可能にする、参照ピクチャリスト構築プロセスによって修正され得る。
[0040]一般的な意味では、テクスチャビューコンポーネント、深度ビューコンポーネント、ならびに様々な時間レイヤ、空間レイヤ、及び品質レイヤは、本開示に関していくらか互換性があるものとして考えられ得る。例えば、ビデオコード化技法がテクスチャビューコンポーネントを処理するか、深度ビューコンポーネントを処理するか、又は様々なレイヤのいずれかを処理するかにかかわらず、本技法は、様々なコンポーネント間及びレイヤ間のインター予測を実行することができる。従って、本発明の技法は、一般的な意味で「レイヤ」に適用可能であると考えられ得るし、ここで、レイヤは、テクスチャビューコンポーネント、深度ビューコンポーネント、時間スケーラブルレイヤ、空間スケーラブルレイヤ、及び品質スケーラブルレイヤのうちのいずれかであり得る。以下で、本開示の技法は、主にビュー及びビューコンポーネントに関して記載される。加えて、幾つかの領域では、本開示の技法は、ＳＶＣスケーラブルレイヤ、例えば、時間スケーラブルレイヤ、空間スケーラブルレイヤ、及び品質スケーラブルレイヤに関して記載される。しかしながら、これは説明及び理解を簡単にするためにすぎない。それは、ビュー及びビューコンポーネント又は必然的にスケーラブルレイヤのみに適用可能であると、記載された技法を限定するものとして考察されるべきではない。反対に、本明細書に記載された技法は、上述された用語として一般的な「レイヤ」により広く適用可能であることを理解されたい。
[0041]インター予測プロセスの一部として、ビデオエンコーダは、ビットストリーム内で特定のビューコンポーネントの参照ピクチャセット（ＲＰＳ）を信号伝達する。特定のビューコンポーネントの参照ピクチャセットは、特定のビューコンポーネント内のブロックのインター予測に使用されるために利用可能な参照ピクチャを含むことができる。マルチビューコード化及び３次元ビデオコード化（３ＤＶＣ）では、ビデオエンコーダは、特定のビューコンポーネントと同じアクセス単位のビューコンポーネントを、特定のビューコンポーネントを符号化するための参照ピクチャとして使用することができる。しかしながら、幾つかのビデオコード化技法では、ビデオエンコーダは、ビューコンポーネントの参照ピクチャセット内のそのようなビュー間参照ピクチャを信号伝達しない場合がある。これにより、ビットストリームを復号するビデオデコーダの効率が低下する可能性がある。更に、ビデオエンコーダがビューコンポーネントの参照ピクチャセット内のそのようなビュー間参照ピクチャを信号伝達しない幾つかのビデオコード化技法では、ビデオエンコーダは更に、ビュー間参照ピクチャに関連付けられたインター予測のタイプを信号伝達しない場合がある。これにより、ビデオエンコーダがビュー間参照ピクチャに関連付けられたインター予測のタイプに基づいて、ＲＰＳに含めるようにビュー間参照ピクチャを選択することを可能にしないことによって、コード化効率が低下する可能性がある。
[0042]ビデオデータは、ビデオテレフォニ、ストレージ、ブロードキャスト、又はストリーミングなどのアプリケーションに対処する「ネットワークフレンドリ」なビデオ表現を提供するネットワークアブストラクションレイヤ（ＮＡＬ）単位に編成することができる。例えば、ビデオエンコーダは、通常、ビデオデータの各ピクチャを１つ又は複数の単独で復号可能なスライスとして符号化する。スライスは、ネットワーク上の伝送用のＮＡＬ単位にパッケージ化することができる。ビデオコード化レイヤ（ＶＣＬ）データを含むＮＡＬ単位は、ピクチャ用のデータ又はピクチャのスライス用のデータを含むことができる。例えば、ＮＡＬ単位は、コード化ブロックパターン（ＣＢＰ）値、ブロックタイプ、コード化モード、（フレーム、スライス、ブロック、若しくはシーケンスなどの）コード化単位用の最大ブロックサイズ、又は他の情報などのシンタックス情報を含むことができる。
[0043]各ＮＡＬ単位は、ＮＡＬ単位に記憶されたデータのタイプを識別するヘッダを含む。例示的なマルチビュービデオコード化のＮＡＬ単位ヘッダは、ＮＡＬ単位が属するビューのビュー識別子と、ＮＡＬ単位が（他のビューコンポーネントによる参照用の）ランダムアクセスポイントとして使用できる、所謂アンカーピクチャに属するかどうかと、ＮＡＬ単位が他のビュー内のＮＡＬ単位用のビュー間予測に使用されるかどうかと、様々な他の情報とを示すシンタックス要素を含むことができる。本明細書に記載されたように、アンカーピクチャは、一般にランダムアクセスピクチャに該当する場合があり、それらの用語は互換的に使用することができる。即ち、「ランダムアクセス」は、一般に、ストリームの開始以外のポイントでビットストリームに対する復号プロセスを開始する行為を指す。ランダムアクセスピクチャは、一般に、イントラコード化スライス（Ｉスライス）のみを含んでいるピクチャに関係する。復号順序と出力順序の両方でランダムアクセスピクチャに続くコード化ピクチャは、復号順序又は出力順序のいずれかでランダムアクセスピクチャに先行するピクチャから予測されない。
[0044]一般に、アクセス単位は、特定の時間インスタンスの全てのビューコンポーネントを含むことができる。特定のビューコンポーネントは、特定の時間インスタンスで特定のビューの全てのＮＡＬ単位を含む。マルチビュービデオコード化のＮＡＬ単位は、（ＮＡＬ単位タイプを含む）１バイトのＮＡＬ単位ヘッダを含んでいる場合があり、マルチビュービデオコード化のＮＡＬ単位ヘッダ拡張部を更に含むことができる。
[0045]最終的に、エンコーダは、現在のピクチャの復元時に使用する動き情報を生成し符号化することができる。従って、エンコーダは、現在のピクチャ内の各個のビデオブロックに関連付けられた動き情報を生成し符号化することができる。各ビデオブロックは互いのビデオブロックから独立している場合があるので、エンコーダは、現在のピクチャ全体の正確な復元のために、様々な異なる参照ピクチャに信号伝達する必要があり得る。ビデオブロックごとに動き情報に含まれる（それらの一部がビューであり得る）参照ピクチャに基づいて、エンコーダは、残差データから現在のピクチャを再構築するために必要なピクチャを備える参照ピクチャリストを構築することができる。
[0046]本開示の技法は、一般に、依存ビューに関連付けられたインター予測のタイプをコード化することと、ビュー間予測用の参照ピクチャリスト構築プロセスとに関する。例えば、ビュー間テクスチャ予測のみに使用され、ビュー間動き予測及びビュー間残差予測などの他のビュー間予測のタイプに使用されない、最終の参照ピクチャリスト内に参照ビューを含むことは、非効率的であり得る。最終の参照ピクチャリストに含まれるビューを識別し、可能な限り、ビュー間テクスチャ予測と少なくとも別のタイプのビュー間予測の両方で使用されるビューに限定することによって、ビデオコード化の効率は向上され得る。
[0047]例えば、本開示の少なくとも幾つかの態様によれば、記載されたビデオコード化技法は、シーケンスパラメータセット（ＳＰＳ）内で依存性を信号伝達することができる。ビューごとに、別のビュー（即ち、現在のピクチャと同じ時間インスタンスに関連付けられたピクチャ）が任意の種類のビュー間予測に使用される場合、それは依存ビューとして信号伝達される。しかしながら、別の指示は、どのビューがビュー間テクスチャ予測に使用され得るか、又は同等に、どのビューがビュー間動き予測及び／又はビュー間残差予測のみに使用されるかを信号伝達することもできる。
[0048]以下の説明は、マルチビュービデオコード化技法と３Ｄビデオコード化技法の両方のコンテキストにおけることを理解されたい。３Ｄビデオデータは追加の情報（即ち、深度ビューコンポーネント）を含むことができるが、本明細書に記載された技法は、一般的にビューコンポーネントに関する。しかしながら、記載された技法は更に、深度ビューコンポーネントのコンテキストにおいて３ＤＶＣに一意に適用され得る。例えば、エンコーダは更に、参照ビューがビュー間深度予測に使用され得ることを信号伝達することができる。
[0049]図１は、例示的なビデオの符号化及び復号のシステム１０を示すブロック図である。図１に示されたように、システム１０は、コンピュータ可読媒体１６を介して宛先機器１４に符号化ビデオを提供する発信源機器１２を含む。発信源機器１２及び宛先機器１４は、広範囲にわたる機器のいずれかを備えることができる。本開示の技法は、無線テレビジョン放送、ケーブルテレビジョン伝送、衛星テレビジョン伝送、インターネットビデオ伝送、記憶媒体に符号化される符号化されたデジタルビデオ、又は他のシナリオに適用することができる。従って、コンピュータ可読媒体１６は、符号化されたビデオデータの伝送に適したワイヤレス媒体若しくは有線媒体、又はディスク、ハードドライブなどのコンピュータ可読記憶媒体の任意の組合せを備える場合がある。
[0050]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。本開示によれば、発信源機器１２のビデオエンコーダ２０は、マルチビューコード化又は３次元（３Ｄ）ビデオコード化用の技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は、他の構成要素又は装置を含むことができる。例えば、発信源機器１２は、外部カメラなどの外部のビデオ発信源１８からビデオデータを受信することができる。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースすることができる。
[0051]図１の図示されたシステム１０は一例にすぎない。マルチビュービデオコード化又は３Ｄビデオコード化のための技法は、任意のデジタルビデオの符号化及び／又は復号の機器によって実行することができる。一般に、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによって実行することもできる。更に、本開示の技法は、ビデオプリプロセッサによって実行することもできる。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するためのコード化ビデオデータを生成するようなコード化機器の例にすぎない。幾つかの例では、機器１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、機器１２、１４は、実質的に対称的な方式で動作することができる。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、又はビデオテレフォニのための、ビデオ機器１２とビデオ機器１４との間の一方向又は双方向のビデオ送信をサポートすることができる。
[0052]発信源機器１２のビデオ発信源１８には、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからのビデオフィードが含まれ得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオ、アーカイブビデオ、及びコンピュータ生成ビデオの合成を生成することができる。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ付き携帯電話又はビデオ電話を形成することができる。しかしながら、上述のように、本開示に記載された技法は、一般にビデオコード化に適用可能であり得るし、ワイヤレス及び／又は有線の適用例に適用することができる。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化することができる。次いで、符号化ビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力することができる。
[0053]コンピュータ可読媒体１６には、ワイヤレス放送若しくは有線ネットワーク送信などの一時的媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイ（登録商標）ディスク、若しくは他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）が含まれ得る。幾つかの例では、ネットワークサーバ（図示せず）は、発信源機器１２から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先機器１４に提供することができる。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティング機器は、発信源機器１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを製造することができる。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
[0054]宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ブロック及び他のコード化単位、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、ビデオエンコーダ２０によって定義されたシンタックス情報を含むことができ、シンタックス情報はまた、ビデオデコーダ３０によって使用される。表示装置３２は、復号されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置などの、様々な表示装置のいずれかを備えることができる。
[0055]図１の例では、コンピュータ可読媒体１６は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理伝送線路などの任意のワイヤレス通信媒体若しくは有線通信媒体、又はワイヤレス媒体と有線媒体との任意の組合せを備える場合がある。コンピュータ可読媒体１６は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を形成する場合がある。コンピュータ可読媒体１６は、一般に、有線媒体又はワイヤレス媒体の任意の適切な組合せを含む、発信源機器１２から宛先機器１４にビデオデータを送信するための、任意の適切な通信媒体又は異なる通信媒体の集合を表す。コンピュータ可読媒体１６は、ルータ、スイッチ、基地局、又は発信源機器１２から宛先機器１４への通信を容易にするのに有用であり得る任意の他の機器を含む場合がある。
[0056]図１に示された例では、システム１０は、１つ又は複数のルータ３６などのネットワーク要素を含む場合がある、サーバ／コンテンツ配信ネットワーク３４も含む。幾つかの例では、発信源機器１２は、上述のように、様々なワイヤレス送信及び／又は有線送信又は記憶媒体を介して、サーバ／コンテンツ配信ネットワーク３４と通信することができる。更に、図１の例では別々に示されたが、幾つかの例では、発信源機器１２とサーバ／コンテンツ配信ネットワーク３４は同じ機器を備える。サーバ／コンテンツ配信ネットワーク３４は、（発信源機器１２のビデオエンコーダ２０からの）コード化ビデオデータの１つ又は複数のバージョンを記憶することができ、そのようなコード化ビデオデータを宛先機器１４及びビデオデコーダ３０によるアクセスに利用できるようにすることができる。幾つかの例では、ルータ３６は、コード化ビデオデータを宛先機器１４に、要求されたフォーマットで提供することを担当することができる。
[0057]図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、各々オーディオエンコーダ及びオーディオデコーダと統合され得るし、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム内のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。
[0058]幾つかの例では、ビデオエンコーダ２０及びビデオデコーダ３０は、そのスケーラブルビデオコード化（ＳＶＣ）拡張、マルチビュービデオコード化（ＭＶＣ）拡張、及びＭＶＣベースの３ＤＶ拡張を含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ及び（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４などのビデオ圧縮規格に従って動作する。場合によっては、ＭＶＣベースの３ＤＶに準拠する任意の正当なビットストリームは、ＭＶＣプロファイル、例えばステレオハイプロファイルに準拠するサブビットストリームを常に含んでいる。更に、Ｈ．２６４／ＡＶＣに対する３次元ビデオ（３ＤＶ）コード化拡張、即ちＡＶＣベースの３ＤＶを生成する作業が進行中である。他の例では、ビデオエンコーダ２０及びビデオデコーダ３０は、本明細書に記載されたように、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及びＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｖｉｓｕａｌ、又は来たるＨＥＶＣ規格に従って動作することができる。
[0059]ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示に記載された技法は、一般にＨ．２６４規格に準拠する機器に適用することができる。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格若しくはＨ．２６４仕様、又はＨ．２６４／ＡＶＣ規格若しくはＨ．２６４／ＡＶＣ仕様と呼ぶ場合がある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに対する拡張に取り組み続けている。
[0060]ビデオエンコーダ２０及びビデオデコーダ３０は、各々１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ又は複数のエンコーダ又はデコーダに含まれる場合があり、それらのいずれかは、複合エンコーダ／デコーダ（コーデック）の一部として統合される場合がある。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む装置は、集積回路、マイクロプロセッサ、及び／又は携帯電話などのワイヤレス通信機器を備える場合がある。他の装置には、カメラ、コンピュータ、モバイル機器、加入者機器、ブロードキャスト機器、セットトップボックス、サーバなどが含まれ得る。
[0061]以下でより詳細に記載される本開示の例によれば、図１のビデオデコーダ３０は、所与のビューに関連付けられたビュー依存性を受信し、ビュー依存性のうちの１つ又は複数に関連付けられた予測のタイプを受信するように構成され得る。
[0062]最初に、Ｈ．２６４／アドバンストビデオコード化（ＡＶＣ）規格の拡張のマルチビュービデオコード化技法が説明される。マルチビュービデオコード化のこの特定の実装形態は、本開示では「ＭＶＣ／ＡＶＣ」と呼ばれる場合がある。しかしながら、本開示の技法は、新生のＨＥＶＣ規格のためのマルチビュー提案を含む、マルチビューコード化をサポートする任意のビデオコード化の規格又は技法に適用可能であり得る。上記のように、３Ｄビデオデータが単一の時間インスタンスに関連付けられた複数のビュー又はサンプルを含む場合があるか、又は複数のビュー又はサンプルが少なくとも１つのビューコンポーネント及び１つの深度コンポーネントから生成される場合があるので、本開示の技法は更に、３ＤＶＣ機能を含む任意のビデオコード化の規格又は技法に適用可能であり得る。
[0063]典型的なＭＶＣ／ＡＶＣ復号順序（即ち、ビットストリーム順序）が図２に示される。復号順序の構成はタイムファーストコード化と呼ばれる。アクセス単位の復号順序は、出力又は表示の順序と同一ではない場合があることに留意されたい。図２では、Ｓ０〜Ｓ７は、各々マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８は、各々１つの出力時間インスタンスを表す。アクセス単位は、１つの出力時間インスタンスに対する全てのビューのコード化ピクチャを含むことができる。例えば、第１のアクセス単位は時間インスタンスＴ０に対するビューＳ０〜Ｓ７の全てを含むことができ、第２のアクセス単位は時間インスタンスＴ１に対するビューＳ０〜Ｓ７の全てを含むことができ、以下同様である。
[0064]上記で簡単に説明されたように、本開示は以下の定義を使用する場合がある。
ビューコンポーネント：単一のアクセス単位内のビューのコード化表現。ビューがコード化テクスチャ表現とコード化深度表現の両方を含むとき、ビューコンポーネントは、テクスチャビューコンポーネント及び深度ビューコンポーネントから構成される。
テクスチャビューコンポーネント：単一のアクセス単位内のビューのテクスチャのコード化表現。
深度ビューコンポーネント：単一のアクセス単位内のビューの深度のコード化表現。
[0065]図２では、ビューの各々はピクチャのセットを含む。例えば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、及び６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、及び６５のセットを含み、以下同様である。各セットは２つのピクチャを含み、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネント及び深度ビューコンポーネントは、互いに対応すると見なされ得る。例えば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ、その逆も同様である（即ち、深度ビューコンポーネントはセット内のそのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、テクスチャビューコンポーネントと見なされ得るし、深度ビューコンポーネントは単一のアクセス単位の同じビューの一部である。
[0066]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。例えば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（Ｃｂ及びＣｒ）成分とを含むことができる。深度ビューコンポーネントは、その対応するテクスチャビューコンポーネント内の画素の相対深度を示すことができる。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビューコンポーネントは、任意のテクスチャの画像コンテンツを伝達するのではなく、テクスチャビューコンポーネント内で定義された様々な画素の相対深度の測定値を提供することができる。深度ビューコンポーネント内の深度値は、ゼロ視差平面に対するそれぞれの画素の深度、又は場合によっては他の何らかの基準を定義することができる。
[0067]概念上、深度ビューコンポーネント内の純白の画素は、対応するテクスチャビューコンポーネント内のその対応する１つ又は複数の画素がビューアから見てより近いことを示し、かつ深度ビューコンポーネント内の純黒の画素は、対応するテクスチャビューコンポーネント内のその対応する１つ又は複数の画素がビューアから見てより遠いことを示す。黒と白との間のグレーの様々な色合いは、様々な深度レベルを示す。例えば、深度ビューコンポーネント内の濃いグレーの画素は、テクスチャビューコンポーネント内のその対応する画素が、深度ビューコンポーネント内の薄いグレーの画素よりも遠いことを示す。画素の深度を識別するためにグレースケールのみが必要になるので、深度ビューコンポーネント用の色値がいかなる目的も果たし得ないことから、深度ビューコンポーネントはクロマ成分を含む必要がない。深度を識別するためにルーマ値（例えば、強度値）のみを使用する深度ビューコンポーネントは、説明のために与えられ、限定するものと見なされるべきではない。
[0068]より一般的な意味では、深度ビューコンポーネントは、最小値から最大値までの範囲の値を備えることができる。１つの特定の基準のフレームによれば、最大深度値を有する深度ビューコンポーネント内の画素は、より低い値を有する深度ビューコンポーネント内の画素に対応するテクスチャビューコンポーネント内の画素と比べてビューアからより遠いものとして、テクスチャビューコンポーネント内のそれぞれの画素の深度を定義することができる。その結果、最小深度値を有する深度ビューコンポーネント内の画素は、より高い値を有する深度ビューコンポーネント内の画素に対応するテクスチャビューコンポーネント内の画素と比べてビューアからより近いものとして、テクスチャビューコンポーネント内のそれぞれの画素の深度を定義することができる。他の例では、基準のフレームは異なるように定義され得る。例えば、基準のフレームは、比較的高い値と比較的低い値の意味が反転するように定義され得る。即ち、比較的低い値がビューアからより遠い深度に対応する場合があり、より高い値がビューアからより近い深度に対応する場合がある。他の例では、テクスチャビューコンポーネント内の画素の相対深度を示すために、任意の技法が利用され得る。
[0069]マルチビュービデオコード化用の（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ／ＡＶＣ予測構造が図３に示される。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣ／ＡＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー内のピクチャが参照ピクチャとして使用されることを可能にする視差動き補償により、ビュー間予測がサポートされる。
[0070]図３は、例示的なＭＶＣ／ＡＶＣの予測パターンを示す概念図である。図３の例では、８個のビューが示され、ビューごとに１２個の時間位置が示される。一般に、図３の各行はビューに対応し、各列は時間位置を示す。ビューの各々は、他のビューに対する相対的なカメラ位置を示すために使用され得る、ビュー識別子（「ｖｉｅｗ＿ｉｄ」）を使用して識別され得る。図３に示された例では、ビューＩＤは「Ｓ０」〜「Ｓ７」として示されているが、数字のビューＩＤが使用される場合もある。加えて、時間位置の各々は、ピクチャの表示順序を示すピクチャ順序カウント（ＰＯＣ）値を使用して識別され得る。図３に示された例では、ＰＯＣ値は「Ｔ０」〜「Ｔ１１」として示されている。
[0071]ＭＶＣ／ＡＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、所謂ベースビューを有し、ステレオビューペアもＭＶＣ／ＡＶＣによってサポートされ得るが、ＭＶＣ／ＡＶＣの利点は、ＭＶＣ／ＡＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートできることである。ＭＶＣ／ＡＶＣデコーダを有するクライアントのレンダラは、複数のビューを有する３Ｄビデオコンテンツを予想することができる。
[0072]図３のピクチャは、各行と各列の交点に示されている。Ｈ．２６４／ＡＶＣ規格は、フレームという用語を使用してビデオの一部分を表す場合がある。本開示は、ピクチャという用語とフレームという用語とを互換的に使用する場合がある。
[0073]図３のピクチャは、対応するピクチャがイントラコード化される（即ち、Ｉフレームである）か、又は一方向に（即ち、Ｐフレームとして）インターコード化されるか、又は複数の方向に（即ち、Ｂフレームとして）インターコード化されるかを指定する、文字を含む影付きブロックを使用して示される。一般に、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のオブジェクトを使用する。例えば、時間位置Ｔ０にあるビューＳ２のＰフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームから予測される。図３に示されたピクチャの各々は、ビューコンポーネントと呼ばれる場合がある。即ち、ビューのビューコンポーネントは、ビューの特定の時間インスタンスに対応する。
[0074]シングルビュービデオの符号化と同様に、マルチビュービデオコード化のビデオシーケンスのピクチャは、様々な時間位置にあるピクチャに関して予測符号化され得る。例えば、時間位置Ｔ１にあるビューＳ０のｂピクチャは、時間位置Ｔ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、加えて、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。即ち、ビューコンポーネントは、参照用に他のビュー内のビューコンポーネントを使用することができる。ＭＶＣ／ＡＶＣでは、例えば、別のビュー内のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）のＭＶＣ／ＡＶＣ拡張において信号伝達され、インター予測参照又はビュー間予測参照の柔軟な順序付けを可能にする、参照ピクチャリスト構築プロセスによって修正され得る。ビュー間予測はまた、３Ｄ−ＨＥＶＣ（マルチビュープラス深度）を含むＨＥＶＣの提案されたマルチビュー拡張の機能である。
[0075]図３は、ビュー間予測の様々な例を提供する。図３の例では、ビューＳ１のピクチャは、ビューＳ１の様々な時間位置にあるピクチャから予測されるものとして、及び同じ時間位置にあるビューＳ０及びビューＳ２のピクチャのうちのピクチャからビュー間予測されるものとして示されている。例えば、時間位置Ｔ１にあるビューＳ１のｂフレームは、時間位置Ｔ０及び時間位置Ｔ２にあるビューＳ１のＢフレームの各々、及び時間位置Ｔ１にあるビューＳ０並びにビューＳ２のｂフレームから予測される。
[0076]図３の例では、大文字「Ｂ」及び小文字「ｂ」は、異なる符号化方法ではなく、ピクチャ間の異なる階層関係を示すものとする。一般に、大文字の「Ｂ」フレームは、小文字の「ｂ」フレームよりも予測階層が比較的高い。図３はまた、様々なレベルの陰影を使用して予測階層における変形形態を示し、より大きい量の陰影の（即ち、比較的暗い）ピクチャは、より少ない陰影を有する（即ち、比較的明るい）ピクチャよりも予測階層が高い。例えば、図３の全てのＩフレームは完全陰影を用いて示されるが、Ｐフレームは幾分明るい陰影を有し、Ｂフレーム（及び小文字のｂフレーム）は、互いに対して様々なレベルの陰影を有するが、Ｐフレーム及びＩフレームの陰影よりも常に明るい。一般に、階層が比較的高いピクチャが、階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得るように、予測階層が比較的高いピクチャは、階層が比較的低いピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する。ビュー順序インデックスは、アクセス単位内のビューコンポーネントの復号順序を示すインデックスである。ビュー順序インデックスは、ＳＰＳなどのパラメータセット内で暗示される場合がある。
[0077]このようにして、参照ピクチャとして使用されるピクチャは、その参照ピクチャを参照して符号化されたピクチャを復号する前に復号され得る。ビュー順序インデックスは、アクセス単位内のビューコンポーネントの復号順序を示すインデックスである。ＭＶＣ／ＡＶＣによれば、ビュー順序インデックスｉごとに、対応するｖｉｅｗ＿ｉｄが信号伝達される。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。全てのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数まで連続的に順序付けされたセットを備える。
[0078]場合によっては、全ビットストリームのサブセットが抽出されて、依然としてＭＶＣ／ＡＶＣに準拠するサブビットストリームを形成することができる。例えば、サーバによって提供されるサービス、１つ又は複数のクライアントのデコーダの容量、サポート、及び能力、及び／又は、１つ以上のクライアントの選好に基づいて、特定の適用例が必要とする場合がある、多くの可能なサブビットストリームが存在する。例えば、あるクライアントが３つのビューのみを必要とする場合があり、２つのシナリオがあり得る。一例では、あるクライアントは滑らかなビューイング体験を必要とし、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ１、及びＳ２のビューを選好する場合があり、一方、別の他のクライアントはビュースケーラビリティを必要とし、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ２、及びＳ４のビューを選好する場合がある。これらのサブビットストリームの両方は、独立したＭＶＣビットストリームとして復号され得るし、同時にサポートされ得る。
[0079]一般に、カメラの位置、方向、及び、異なるビュー間の幾何学的関係は、ビューＩＤ又はビュー順序インデックスから推論され得る。この目的のために、内部と外部の両方のカメラパラメータは、マルチビュー収集情報ＳＥＩメッセージを使用するビットストリーム内に含まれ得る。
[0080]上記のように、図３は８個のビュー（Ｓ０〜Ｓ７）を示すが、ＭＶＣ／ＡＶＣ拡張は１０２４個までのビューをサポートし、ＮＡＬ単位ヘッダ内のｖｉｅｗ＿ｉｄを使用して、ＮＡＬ単位が属するビューを識別する。本開示の態様によれば、ビュー順序インデックスは、ＮＡＬ単位ヘッダの一部として信号伝達され得る。即ち、比較の目的で、ビュー順序インデックスは、ＭＶＣ／ＡＶＣ拡張のＮＡＬ単位ヘッダ内で信号伝達されるｖｉｅｗ＿ｉｄと置き換わることができる。ビュー順序は、一般に、アクセス単位内のビューの順序付けを記述し、ビュー順序インデックスは、そのアクセス単位のビュー順序における特定のビューを識別する。即ち、ビュー順序インデックスは、アクセス単位の対応するビューコンポーネントの復号順序を記述する。
[0081]幾つかの例では、図３はテクスチャビューコンポーネントを示すものとして見なされ得る。例えば、図２に示されたＩピクチャ、Ｐピクチャ、Ｂピクチャ、及びｂピクチャは、ビューの各々のためのテクスチャビューコンポーネントと見なされ得る。本開示に記載された少なくとも幾つかの技法によれば、図３に示されたテクスチャビューコンポーネントの各々について、対応する深度ビューコンポーネントが存在する場合がある。例えば、上述されたように、本開示の技法は、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を取り入れる３ＤＶコード化規格を含むビデオコード化規格に適用され得る。代替として、少なくとも幾つかの例では、本開示の技法はまた、マルチビュー互換性を含み、テクスチャビューコンポーネントのみを取り入れるコード化規格に関連する。幾つかの例では、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントについて図３に示された方式と同様の方式で予測され得る。
[0082]２つのビューのコード化もＭＶＣ／ＡＶＣによってサポートされ得る。ＭＶＣ／ＡＶＣの利点の１つは、ＭＶＣ／ＡＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューを取り込むことができ、かつＭＶＣ／ＡＶＣデコーダがそのようなマルチビュー表現を復号することができることである。従って、ＭＶＣ／ＡＶＣデコーダを有する任意のレンダラは、３つ以上のビューを有する３Ｄビデオコンテンツを復号することができる。
[0083]上記で説明されたように、ＭＶＣ／ＡＶＣでは、ビュー間予測は同じアクセス単位内の（即ち、場合によっては、同じ時間インスタンスを有する）ピクチャ間で可能にされる。非ベースビューのうちの１つの中のピクチャをコード化するとき、ピクチャが異なるビュー内にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示されたように、ビューコンポーネントは、参照用に他のビュー内のビューコンポーネントを使用することができる。ＭＶＣ／ＡＶＣでは、別のビュー内のビューコンポーネントがインター予測参照であったかのように、ビュー間予測が実現される。
[0084]ビデオシーケンスは、通常、一連のビデオフレームを含む。ピクチャのグループ（ＧＯＰ）は、一般に、一連の１つ又は複数のビデオフレームを備える。ＧＯＰは、ＧＯＰに含まれるフレームの数を記述するシンタックスデータを、ＧＯＰのヘッダ、ＧＯＰの１つ又は複数のフレームのヘッダ、又は他の場所に含む場合がある。各フレームは、それぞれのフレーム用の符号化モードを記述するフレームシンタックスデータを含む場合がある。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオフレーム内のビデオブロックに対して動作する。ビデオブロックは、ブロック又はブロックの区分に対応することができる。ビデオブロックは、固定サイズ又は可変サイズを有することができ、指定されたコード化規格に応じてサイズが異なる場合がある。各ビデオフレームは複数のスライスを含む場合がある。各スライスは複数のブロックを含む場合があり、それらのブロックは、サブブロックとも呼ばれる区分(partitions)に構成される場合がある。
[0085]一例として、ＩＴＵ−Ｔ Ｈ．２６４規格は、ルーマ成分については１６×１６、８×８、又は４×４、及びクロマ成分については８×８などの様々なブロックサイズでのイントラ予測をサポートし、ならびにルーマ成分については１６×１６、１６×８、８×１６、８×８、８×４、４×８及び４×４、並びにクロマ成分については対応するスケーリングされたサイズなどの様々なブロックサイズでのインター予測をサポートする。本開示では、「Ｎ×（x）Ｎ」及び「Ｎ×（by）Ｎ」は、垂直寸法及び水平寸法に関するブロックの画素寸法、例えば、１６×（x）１６画素又は１６×（by）１６画素を指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、ここでＮは非負の整数値を表す。ブロック内の画素は行と列で構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはＮ×Ｍの画素を備える場合があり、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0086]高効率ビデオコード化（ＨＥＶＣ）と現在呼ばれる、新しいビデオコード化規格を開発する作業が現在進行中である。新生のＨＥＶＣ規格は、ＩＴＵ Ｈ．２６５規格と呼ばれる場合もある。規格化の活動は、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器のモデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う機器に対して、ビデオコード化機器の幾つかの能力を仮定する。
[0087]ＨＭは、ビデオデータのブロックをコード化単位（ＣＵ）と呼ぶ。ビットストリーム内のシンタックスデータは、画素の数に関して最大のコード化単位である最大コード化単位（ＬＣＵ）を定義することができる。一般に、ＣＵは、ＣＵがサイズの区別を有していないことを除いて、Ｈ．２６４のマクロブロックと同様の目的を有する。従って、ＣＵはサブＣＵに分割され得る。一般に、本開示におけるＣＵへの参照は、ピクチャの最大コード化単位（ＬＣＵ）又はＬＣＵのサブＣＵを指す場合がある。ＬＣＵはサブＣＵに分割され得るし、各サブＣＵはサブＣＵに分割され得る。ビットストリーム用のシンタックスデータは、ＣＵ深度と呼ばれる、ＬＣＵが分割され得る最大回数を定義することができる。それに応じて、ビットストリームはまた、最小コード化単位（ＳＣＵ）を定義することができる。本開示はまた、「ブロック」という用語を使用して、ＣＵ、ＰＵ、又はＴＵのいずれをも指す。
[0088]ＬＣＵは、４分木データ構造に関連付けられ得る。一般に、４分木データ構造は、ＣＵ当たり１つのノードを含み、ルートノードがＬＣＵに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。４分木データ構造の各ノードは、対応するＣＵにシンタックスデータを提供することができる。例えば、４分木内のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含むことができる。ＣＵ用のシンタックス要素は再帰的に定義することができ、ＣＵがサブＣＵに分割されるかどうかに依存する場合がある。ＣＵがこれ以上分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれる。例えば、１６×１６サイズのＣＵがこれ以上分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵもリーフＣＵと呼ばれる。
[0089]ＣＵは、ＣＵがサイズ差異を有していないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードに分割することができ、各子ノードが今度は親ノードになり、別の４つの子ノードに分割することができる。４分木のリーフノードと呼ばれる、最後の分割されない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックを分割できる最大回数を確定することができ、また、コード化ノードの最小サイズを確定することもできる。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ）を確定することもできる。本開示は、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、又はＴＵ、若しくは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
[0090]分割されないＣＵは、１つ又は複数の予測単位（ＰＵ）を含む場合がある。一般に、ＰＵは、対応するＣＵの全部又は一部を表し、そのＰＵ用の参照サンプルを取り出すためのデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵは、そのＰＵ用のイントラ予測モードを記述するデータを含む場合がある。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、そのＰＵ用の動きベクトルを定義するデータを含む場合がある。動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照フレーム、及び／又は動きベクトル用の参照リスト（例えば、リスト０又はリスト１）を記述することができる。ＰＵを定義するＣＵ用のデータはまた、例えば、ＣＵを１つ又は複数のＰＵに区分化することを記述することができる。区分化モードは、ＣＵがコード化されていないか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なる場合がある。
[0091]ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズはコード化ノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８画素から、最大６４×６４以上の画素を有するツリーブロックのサイズまで及ぶ場合がある。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含んでいる場合がある。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分化することを記述することができる。区分モードは、ＣＵが、スキップモード又はダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、若しくはインター予測モードで符号化されるかの間で異なる場合がある。ＰＵは、形状が非正方形になるように区分化することができる。ＣＵに関連するシンタックスデータは、例えば、４分木に従ってＣＵを１つ又は複数のＴＵに区分化することも記述することができる。ＴＵは、形状が正方形又は非正方形（例えば、矩形）であり得る。加えて、ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵは、同じＣＵ用の対応するＰＵよりも大きくても又は小さくてもよい。幾つかの例では、ＴＵの最大サイズは、対応するＣＵのサイズに対応する場合がある。
[0092]ＨＥＶＣ規格は、異なるＣＵで異なる場合があるＴＵに従って、変換を可能にする。ＴＵは、通常、区分されたＬＣＵ用に確定された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、通常、ＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用して、より小さい単位に再分割することができる。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれる場合がある。ＴＵに関連する画素差分値は、変換されて変換係数を生成することができ、その変換係数は量子化することができる。
[0093]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含むことができる。一般に、ＰＵは、対応するＣＵの全部又は一部に対応する空間的エリアを表し、そのＰＵ用の参照サンプルを取り出すためのデータを含むことができる。更に、ＰＵは予測に関係するデータを含む。例えば、ＰＵがイントラモードで符号化されるとき、ＰＵ用のデータは残差４分木（ＲＱＴ）に含むことができ、ＲＱＴはＰＵに対応するＴＵ用のイントラ予測モードを記述するデータを含むことができる。別の例として、ＰＵがインターモードで符号化されるとき、ＰＵは、ＰＵ用の１つ又は複数の動きベクトルを確定するデータを含むことができる。ＰＵ用の動きベクトルを確定するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトル用の解像度（例えば、１／４画素精度若しくは１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトル用の参照ピクチャリスト（例えば、リスト０、リスト１、若しくはリストＣ）を記述することができる。
[0094]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含むことができる。変換単位は、上記で説明されたように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定することができる。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示すことができる。次いで、各変換単位は、更なるサブＴＵに更に分割することができる。ＴＵがこれ以上分割されないとき、そのＴＵはリーフＴＵと呼ぶことができる。一般に、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは、同じイントラ予測モードを共有する。即ち、一般に、リーフＣＵの全てのＴＵについて予測値を計算するように、同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダ２０は、イントラ予測モードを使用してリーフＴＵごとの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算することができる。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなることができる。イントラコード化の場合、ＰＵは、同じＣＵ用の対応するリーフＴＵとコロケートすることができる。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに該当する場合がある。
[0095]更に、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けることができる。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含むことができる。ＴＵ４分木のルートノードは、一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは、一般にツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。一般に、本開示は、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するために、それぞれＣＵ及びＴＵという用語を使用する。
[0096]上記のように、イントラ予測は、あるピクチャの現在のＣＵのＰＵを、同じピクチャの以前コード化されたＣＵから予測することを含む。より具体的には、ビデオエンコーダは、特定のイントラ予測モードを使用して、あるピクチャの現在のＣＵをイントラ予測することができる。ＨＭエンコーダは、最大３３個のイントラ予測モードで構成され得る。従って、方向性イントラ予測モードと方向性変換との間の１対１のマッピングをサポートするために、ＨＭエンコーダ及びＨＭデコーダは、サポートされる変換サイズごとに６６個の行列を記憶する必要があり得る。更に、全ての３３個のイントラ予測モードがサポートされるブロックサイズは、比較的大きいブロック、例えば、３２×３２画素、６４×６４画素、又はより一層大きい画素であり得る。
[0097]ビデオシーケンスは、通常、一連のピクチャ（又は、互換的に「フレーム」）を含む。ピクチャのグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ内に含まれるピクチャの数を記述するシンタックスデータを、ＧＯＰのヘッダ内、ピクチャのうちの１つ又は複数のヘッダ内、又は他の場所に含むことができる。ピクチャの各スライスは、それぞれのスライス用の符号化モードを記述するスライスシンタックスデータを含むことができる。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応することができる。ビデオブロックは、固定サイズ又は可変サイズを有することができ、指定されたコード化規格に従ってサイズが異なる場合がある。
[0098]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測用の非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という指示によって示される。従って、例えば「２Ｎ×ｎＵ」は、上部に２Ｎ×０．５ＮのＰＵと下部に２Ｎ×１．５ＮのＰＵとで水平方向に区分された２Ｎ×２ＮのＣＵを指す。
[0099]本開示では、「Ｎ×Ｎ（ＮｘＮ）」と「Ｎ×Ｎ（Ｎ ｂｙ Ｎ）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×（x）１６画素又は１６×（by）１６画素を指すために互換的に使用することができる。一般に、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、ここでＮは非負整数値を表す。ブロック内の画素は行と列とに配置することができる。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはＮ×Ｍ画素を備えることができ、ここでＭは必ずしもＮに等しいとは限らない。
[0100]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ２０は、ＣＵのＴＵ用の残差データを計算することができる。この残差値は、一般に、ブロック用の予測データとブロックの真値との間の差分に対応する。ブロックの残差値を更に圧縮するために、残差値は、できる限り多くの（「エネルギー」とも呼ばれる）データをできる限り少ない係数に圧縮する、変換係数のセットに変換され得る。変換係数は、元のブロックと同じサイズであり得る係数の２次元行列に対応する。言い換えると、元のブロック内の画素と同数の変換係数が存在する可能性がある。しかしながら、変換により、変換係数の多くは、０に等しい値を有する場合がある。
[0101]ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備えることができ、ＴＵは、変換、例えば、残差ビデオデータに対する離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後、変換領域において係数を備えることができる。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応することができる。ビデオエンコーダ２０は、ＣＵ用の残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵ用の変換係数を生成することができる。
[0102]変換係数を生成する任意の変換の後、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は、一般に、相対的に大きい範囲内の値を相対的に小さい範囲内の値にマッピングすることに関与し、従って、量子化変換係数を表すために必要とされるデータの量を削減する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減することができる。例えば、量子化中にｎビットの値をｍビットの値に切り捨てることができ、ここでｎはｍよりも大きい。
[0103]量子化の後、ビデオエンコーダは変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成することができる。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計することができる。幾つかの例では、ビデオエンコーダ２０は、量子化変換係数を走査して、エントロピー符号化できるシリアル化ベクトルを生成するために、予め定義された走査順序を利用することができる。他の例では、ビデオエンコーダ２０は適応走査を実行することができる。
[0104]量子化変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化、又は別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化することができる。例えば、量子化変換係数についての絶対値及び対応する符号（例えば、「＋１」又は「−１」）として表される係数値は、エントロピーコード化技法を使用して符号化され得る。
[0105]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、例えば、シンボルの近傍値が非０であるか否かに関係する場合がある。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボル用の可変長コードを選択することができる。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボル（more probable symbols）に対応し、より長いコードが劣勢シンボル（less probable symbols）に対応するように構築することができる。このようにして、ＶＬＣを使用すると、例えば、送信されるべきシンボルごとに等長コードワードを使用するよりも、ビット節約を実現することができる。確率決定は、シンボルに割り当てられるコンテキストに基づく場合がある。
[0106]ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダの中でビデオデコーダ３０に送ることができる。ＧＯＰシンタックスデータは、それぞれのＧＯＰ内のピクチャの数を記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示すことができる。
[0107]幾つかの例では、ビデオデータを復号するときに使用できる特定のパラメータセットを、ビデオエンコーダ２０は生成することができ、ビデオデコーダ３０は受信することができる。例えば、パラメータセットは、（シーケンスパラメータセット（ＳＰＳ）内の）シーケンスレベルヘッダ情報と、（ピクチャパラメータセット（ＰＰＳ）内の）まれにしか変化しないピクチャレベルヘッダ情報とを含んでいる場合がある。パラメータセット（例えば、ＰＰＳ及びＳＰＳ）がある場合、まれにしか変化しない情報をシーケンス（例えば、ピクチャのシーケンス）ごと又はピクチャごとに繰り返す必要はなく、従ってコード化効率を改善することができる。更に、パラメータセットを使用すると、重要なヘッダ情報の帯域外送信が可能になり、誤り耐性のための冗長送信の必要を回避することができる。帯域外送信の例では、補足強調情報（ＳＥＩ）のＮＡＬ単位などの他のＮＡＬ単位とは異なるチャネル上で、パラメータセットのＮＡＬ単位を送信することができる。
[0108]（ＳＥＩメッセージと呼ばれる）ＳＥＩのＮＡＬ単位は、ＶＣＬのＮＡＬ単位からのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、及び他の目的に関係するプロセスを支援できる情報を含んでいる場合がある。ＳＥＩメッセージは、非ＶＣＬのＮＡＬ単位に含まれている場合がある。ＳＥＩメッセージは、幾つかの標準仕様の規範部分に含まれている場合があり、従って、標準準拠のデコーダ実装のために常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージ又はピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例ではスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣではビュースケーラビリティ情報ＳＥＩメッセージなどのＳＥＩメッセージ内に、何らかのシーケンスレベル情報が含まれている場合がある。
[0109]幾つかの例では、ビデオエンコーダ２０は、ＭＶＣ／ＡＶＣに準拠するマルチビュービデオのビットストリームを符号化することができる。同様に、ビデオデコーダ３０は、ＭＶＣ／ＡＶＣに準拠するマルチビュービデオのビットストリームを復号することができる。ＭＶＣ／ＡＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されており、その内容全体は参照により本明細書に組み込まれる。
[0110]ＭＶＣ／ＡＶＣのＮＡＬ単位は、ＮＡＬ単位タイプを含む１バイトのＮＡＬ単位ヘッダ及びＮＡＬ単位ヘッダを４バイトに拡張するＭＶＣ／ＡＶＣのＮＡＬ単位ヘッダ拡張部を含む場合がある。一例として、ＭＶＣ／ＡＶＣのＮＡＬ単位ヘッダ拡張部は、以下の表１の中のシンタックス要素を含むことができる。
[0111]上記の表１では、ｉｄｒ＿ｆｌａｇ要素は、ＮＡＬ単位が瞬時復号リフレッシュ（ＩＤＲ）ピクチャに属するか、又は閉ＧＯＰランダムアクセスポイントとして使用できるビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャに属するかを示すことができる。例えば、ＩＤＲピクチャ、及び表示順序とビットストリーム順序の両方でそれに続く全てのピクチャは、ビットストリーム順序又は表示順序のいずれかで前のピクチャを復号することなしに正しく復号することができる。ｐｒｉｏｒｉｔｙ＿ｉｄ要素は、変化するネットワーク状態及び／又は（例えば、単一パス適応プロセスなどの）ビデオデコーダ３０及び／又は表示装置３２の能力に応じてビットストリームを変更する、ビットストリーム適応プロセスで使用することができる。ｖｉｅｗ＿ｉｄ要素は、ＮＡＬ単位が所属するビューのビュー識別子を示すために使用することができ、ビュー識別子は、例えば、ビュー間予測用にＭＶＣ／ＡＶＣデコーダの内部で、レンダリング用にデコーダの外部で使用することができる。幾つかの例では、ｖｉｅｗ＿ｉｄは、予め定義されたカメラＩＤに等しく設定することができ、比較的大きい場合がある。ｔｅｍｐｏｒａｌ＿ｉｄ要素は、特定のフレームレートに対応できる、現在のＮＡＬ単位の時間レベルを示すために使用することができる。
[0112]ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素は、ＮＡＬ単位が開ＧＯＰランダムアクセスポイントとして使用できるアンカーピクチャに属するかどうかを示すために使用することができる。例えば、アンカーピクチャ、及び表示順序でそれに続く全てのピクチャは、復号順序（即ち、ビットストリーム順序）で前のピクチャを復号することなしに正しく復号することができ、従ってランダムアクセスポイントとして使用することができる。アンカーピクチャと非アンカーピクチャとは異なるビュー依存性を有することができ、それらの両方はＳＰＳ内で通知することができる。即ち、本明細書に記載されたように、ビュー依存性は、一般に、現在コード化されているビューが依存するビューを指す。言い換えれば、ビュー依存性は、現在コード化されているビューをどのビューから予測できるかを説明することができる。幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ／ＡＶＣ拡張において通知することができる。そのような例では、全てのビュー間予測は、ＳＰＳのＭＶＣ／ＡＶＣ拡張によって指定された範囲内で行うことができる。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、ＮＡＬ単位が他のビュー内のＮＡＬ単位用のビュー間予測に使用されるかどうかを示すために使用することができる。
[0113]ＭＶＣ／ＡＶＣビットストリームのベースビュー用の上記４バイトのＮＡＬ単位ヘッダ情報を搬送するために、プレフィックスＮＡＬ単位をＭＶＣ／ＡＶＣ内に定義することができる。ＭＶＣ／ＡＶＣのコンテキストにおいて、ベースビューアクセス単位は、特定のビューの現在時間インスタンスのＶＣＬのＮＡＬ単位及びベースビューアクセス単位用のプレフィックスＮＡＬ単位を含むことができ、プレフィックスＮＡＬ単位はＮＡＬ単位ヘッダのみを含んでいる場合がある。プレフィックスＮＡＬ単位が（例えば、単一ビューの復号などの）復号に必要でない場合、デコーダはプレフィックスＮＡＬ単位を無視及び／又は廃棄することができる。
[0114]ＳＰＳのＭＶＣ／ＡＶＣ拡張に関して、ＭＶＣ／ＡＶＣのＳＰＳはビュー間予測の目的で使用できるビューを示すことができる。例えば、潜在的なビュー間参照は、ＳＰＳのＭＶＣ／ＡＶＣ拡張において通知することができ、インター予測参照又はビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリストの構築プロセスによって修正することができる。例示的なＭＶＣ／ＡＶＣのＳＰＳが下記の表２で説明される。
[0115]幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ／ＡＶＣ拡張において通知することができる。全てのビュー間予測は、ＳＰＳのＭＶＣ／ＡＶＣ拡張によって指定された範囲内で行うことができる。即ち、ＳＰＳは、現在コード化されているビューによる予測の目的でどのビューを参照できるかを説明することができる。上記の表２では、ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、リスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ０）用の初期化された参照ピクチャリスト内のビュー間予測用のビューコンポーネントの数を指定することができる。加えて、ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、リスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ１）用の初期化された参照ピクチャリスト内のビュー間予測用のビューコンポーネントの数を指定することができる。ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１内のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ内のビュー間予測用の第ｊのビューコンポーネントのｖｉｅｗ＿ｉｄを指定することができる。
[0116]初期化された、又は「初期の」参照ピクチャリストは、ビューコンポーネントをビュー間予測する目的で使用される最後の参照ピクチャリストと同じか又は異なる場合がある。即ち、幾つかの参照候補（即ち、ビュー間予測に使用され得る参照ピクチャ）は、参照ピクチャリスト修正プロセス中などの初期の参照ピクチャリスト（例えば、冗長なピクチャ）から削除され得る。加えて、以下でより詳細に記載されるように、参照候補は、初期の参照ピクチャリストから並べ替えられて、最後の参照ピクチャリストを形成することができる。
[0117]この例では、ＭＶＣ／ＡＶＣによれば、アンカーピクチャ用のビュー依存性と非アンカーピクチャ用のビュー依存性は、別々に維持及び通知することができる。即ち、ビデオコーダは、合計４個の参照ピクチャリスト（例えば、非アンカーピクチャのリスト０、非アンカーピクチャのリスト１、アンカーピクチャのリスト０、アンカーピクチャのリスト１）を決定することができる。加えて、上記の表２に示されたように、ビデオデコーダ３０にビュー依存性を示すために別の信号伝達が必要である。即ち、ＳＰＳは、ａｎｃｈｏｒ＿ｒｅｆｓとｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓの両方に信号伝達する別個のリスト０とリスト１とを含むことができる。
[0118]更に、表２によれば、非アンカービューコンポーネント用のビュー間依存性は、アンカービューコンポーネント用のビュー間依存性のサブセットである。即ち、例えば、アンカービューのビューコンポーネントは、ビュー３とビュー４などの２つ以上の他のビューから予測することができる。しかしながら、非アンカービューは、ビュー３（アンカービューのサブセット）のピクチャから予測することしかできない。このようにして、アンカービューコンポーネント用のビュー依存性と非アンカービューコンポーネント用のビュー依存性は、別々に維持することができる。
[0119]加えて、表２では、ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄは、コード化ビデオシーケンスに通知されたレベル値の数を指定することができる。ｌｅｖｅｌ＿ｉｄｃ［ｉ］要素は、コード化ビデオシーケンスに通知された第ｉのレベル値を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ１［ｉ］プラス１要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される動作点の数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ１［ｉ］によって示されたレベルが適用される第ｊの動作点のｔｅｍｐｏｒａｌ＿ｉｄを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用のターゲット出力ビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］［ｋ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用の第ｋのターゲット出力ビューを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点で、ターゲット出力ビューによって依存されるが、ターゲット出力ビューに属さないビューを含むビューの数を指定することができる。
[0120]従って、ＳＰＳのＭＶＣ／ＡＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用できるビューの数を通知することができる。加えて、ＳＰＳのＭＶＣ／ＡＶＣ拡張で通知されたアンカーピクチャ用の予測関係は、同じビューの（ＳＰＳのＭＶＣ／ＡＶＣ拡張で通知された）非アンカーピクチャ用の予測関係とは異なる場合がある。
[0121]以下でより詳細に記載されるように、ビデオエンコーダ２０及びビデオデコーダ３０は、参照ピクチャリストを構築するときに、時間予測参照とビュー予測参照とをフレキシブルに配置することができる。参照ピクチャセクションと冗長ピクチャメカニズムとをビュー寸法に拡張することができるので、フレキシブルな配列を可能にすると、潜在的なコード化効率ゲインだけでなく誤り耐性も提供される。一例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、以下のステップに従って参照ピクチャリストを構築することができる。
１）他のビューからの参照ピクチャが考慮されないように、時間的（即ち、ビュー内）参照ピクチャ用の参照ピクチャリストを初期化する。
２）ピクチャがＭＶＣ／ＡＶＣのＳＰＳ拡張で発生する順序で、ビュー間参照ピクチャをリストの最後に追加する。
３）参照ピクチャリスト並べ替え（ＲＰＬＲ）プロセスをビュー内参照ピクチャとビュー間参照ピクチャの両方に適用する。ビュー間参照ピクチャは、ＭＶＣのＳＰＳ拡張で指定されたそれらのインデックス値により、ＲＰＬＲコマンド内で識別することができる。
[0122]上述されたように、Ｈ．２６４／ＡＶＣは、ＭＶＣ／ＡＶＣとしてのＭＶＣサポートを含む。しかしながら、ＭＶＣ／ＡＶＣは、他のビデオコード化規格に関して幾つかの非効率を含む場合がある。具体的には、ＭＶＣ／ＡＶＣは、ビュー依存性を信号伝達することに関係する幾つかの非効率を含む場合がある。同様に前述されたように、本開示の技法は、他のビデオコード化規格に、又はＭＶＣ／ＡＶＣに含まれるビデオコード化技法とは異なるビデオコード化技法を使用して、実装され得る。ビュー依存性の修正の信号伝達に関してコード化効率を向上することができる、ＭＶＣ／ＡＶＣとは異なるビデオコード化技法の幾つかの例示的な実装形態は、「ＣＯＤＩＮＧ ＳＴＥＲＥＯ ＤＡＴＡ」と題する、２０１２年７月２６日に出願された米国特許出願第１３／５５９，２６９号に記載されており、その内容全体は参照により本明細書に組み込まれる。従って、エンコーダ２０は、ＭＶＣ／ＡＶＣマルチビュービデオコード化技法とは異なる以下の説明に従って、動作することができる。
[0123]一例として、Ｈ．２６４／ＭＶＣ規格は１０２４個までのビューをサポートし、ＮＡＬ単位ヘッダ内のビュー識別子（ｖｉｅｗ＿ｉｄ）を使用して、ＮＡＬ単位が属するビューを識別する。ビューＩＤは１０ビットの長さなので、ビューＩＤの値により１０００個を超える異なるビューを一意に識別することができる。しかしながら、多くの３次元（３Ｄ）ビデオアプリケーションは、かなり少ないビューしか必要としない。更に、ビュー合成を使用してより多くの（コード化を必要としない）ビューを生成する３Ｄビデオアプリケーションには、より少ないビューしか必要とされない可能性がある。ＭＶＣ／ＡＶＣ拡張によれば、ＮＡＬ単位ヘッダは、常に提供される１０ビットのビューＩＤを含む。ビューＩＤは、ＮＡＬ単位ヘッダ用のビットの数を実質的に増加させる可能性があり、ＮＡＬ単位ヘッダはビットストリームの比較的大きな部分を占める。
[0124]例えば、ビュー順序インデックス（「ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ」又は「ｖｉｅｗ＿ｉｄｘ」）は、ＮＡＬ単位ヘッダの一部として通知することができる。即ち、ビュー順序インデックスをＮＡＬ単位ヘッダの一部として、ビデオエンコーダ２０は符号化し送信することができ、ビデオデコーダ３０は受信し復号することができる。比較の目的で、ビュー順序インデックスは、ＭＶＣ／ＡＶＣのＮＡＬ単位ヘッダ内に通知されたビューＩＤと置き換わることができる。即ち、例えば、ｖｉｅｗ＿ｉｄｘはＮＡＬ単位ヘッダ内のｖｉｅｗ＿ｉｄと置き換わることができる。
[0125]上記で説明されたように、ＭＶＣ／ＡＶＣはビュー間予測を提供する。従って、参照用に使用されるビュー（即ち、他のビューを予測するために使用されるビュー）は、上記で説明されたように、参照するビューよりも前のコード化順序で発生しなければならない。ビュー順序は、一般に、アクセス単位内のビューの順序付けを記述し、ビュー順序インデックスは、そのアクセス単位のビュー順序における特定のビューを識別する。即ち、ビュー順序インデックスは、アクセス単位の対応するビューコンポーネントの復号順序を記述する。
[0126]ＳＰＳは、ビュー用のビューＩＤ（ｖｉｅｗ＿ｉｄｓ）とビュー用のビュー順序インデックスとの間の関係を提供することができる。一例として、ビュー順序インデックスとＳＰＳ内のデータとを使用して、ビデオエンコーダ２０及びビデオデコーダ３０は、ＮＡＬ単位ヘッダ内のＭＶＣ／ＡＶＣの１０ビットのｖｉｅｗ＿ｉｄをビュー順序インデックスと置き換えることができる。例えば、ビュー順序インデックスは、（例えば、２ビット、３ビットなどの）１０よりもかなり少ないビットを含む場合がある。
[0127]ビュー用のｖｉｅｗ＿ｉｄとビュー順序インデックスとの間の関係を提供する例示的なＳＰＳが、下記の表６に提供される。
[0128]表３に示された例では、太字で斜体のシンタックス要素は、ＭＶＣ／ＡＶＣのＳＰＳシンタックスからの逸脱、即ち、以前定義されたＭＶＣ／ＡＶＣのＳＰＳシンタックスに対する修正を示す。例えば、表３に示されたＳＰＳは、コード化ビデオシーケンス用のビュー間依存関係を指定する。ＳＰＳはまた、コード化ビデオシーケンス用の動作点のサブセットについてのレベル値を指定する。コード化ビデオシーケンスによって参照される全てのＳＰＳは、同一であるべきである。しかしながら、ｖｉｅｗ＿ｉｄ［ｉ］によって識別される幾つかのビューは、コード化ビデオシーケンス内に存在しない場合がある。加えて、ＳＰＳによって記述される幾つかのビュー又は時間サブセットは、元のコード化ビデオシーケンスから削除されている場合があり、従って、コード化ビデオシーケンス内に存在しない場合がある。しかしながら、ＳＰＳ内の情報は、残りのビュー及び時間サブセットに常に適用され得る。
[0129]上記の表３では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１の要素は、コード化ビデオシーケンス内のコード化ビューの最大数を指定することができる。ｎｕｍ＿ｖｉｅｗ＿ｍｉｎｕｓ１の値は、両端値を含む０から３１の範囲内であり得る。場合によっては、コード化ビデオシーケンス内のビューの実際の数は、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１よりも少ない場合がある。ｖｉｅｗ＿ｉｄ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューのビュー識別子を指定することができる。ｖｉｅｗ＿ｌｅｖｅｌ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューのｖｉｅｗ＿ｌｅｖｅｌを指定することができる。幾つかの例では、事前に定義された値（ＶＬ）までのｖｉｅｗ＿ｌｅｖｅｌを有する全てのビューコンポーネントは、ＶＬよりも大きいｖｉｅｗ＿ｌｅｖｅｌを有するいずれのビューコンポーネントも復号することなしに復号可能であり得る。
[0130]幾つかの例によれば、ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するときの、初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１の中のビュー間予測用のビューコンポーネントの数を指定することができる。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］要素の値は、Ｍｉｎ（１５、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１）よりも大きくない場合がある。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［０］の値は、０に等しい場合がある。加えて、本開示の態様によれば、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するときの、初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１の中のビュー間予測用のｊ番目のビューコンポーネントのビュー順序インデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、両端値を含む０から３１の範囲内であり得る。
[0131]従って、様々な例では、アンカーピクチャ用のビュー依存性と非アンカーピクチャ用のビュー依存性は、もはや別々に維持し信号伝達する必要はない可能性がある。即ち、ビデオエンコーダ２０及び／又はビデオエンコーダ３０は、アンカーピクチャ用、及び同様の非アンカーピクチャ用に、単一の参照ピクチャリストを使用（又は、２つの参照ピクチャリスト、リスト０とリスト１とを維持）することができる。このようにして、上記の表３に示されたように、ビデオデコーダ３０にビュー依存性を示すために、別々の信号伝達は必要とされない。むしろ、ＳＰＳは、ビューコンポーネント用にリスト０とリスト１の両方を構築するために使用され得るｒｅｆ＿ｖｉｅｗ＿ｉｄｘを含む。
[0132]そのような例によれば、例えば、ビデオデコーダ３０は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を受信することができる。即ち、ビデオデコーダ３０は、ビューのアンカーピクチャ及び同様のビューの非アンカーピクチャについてのビュー依存性を示す参照ビュー情報を受信することができる。特定のビューの（アクセス単位の）特定のピクチャを復号するとき、ビデオデコーダ３０は、特定のピクチャと同じアクセス単位からの、及び参照ビュー情報によって示された参照ビューからの参照候補（例えば、特定のピクチャがそれから予測され得るビューコンポーネント）を含めることができる。場合によっては、ビデオデコーダ３０は、参照候補の数が参照ビューの数と等しくなるように、各参照ビューから参照ピクチャリストに参照候補を追加することができる。加えて、ビデオデコーダ３０は、リスト１、リスト０、又は両方のいずれかに参照候補を追加することができる。次いで、ビデオデコーダ３０は、参照ピクチャリスト内の参照ピクチャのうちの１つに基づいて、特定のピクチャを復号することができる。
[0133]その上、表３によれば、非アンカービューコンポーネントについてのビュー間依存性は、もはやアンカービューコンポーネントについてのビュー間依存性のサブセットとして、ＳＰＳ内で信号伝達される場合はない。むしろ、アンカービューのビューコンポーネントは、ビュー３及びビュー４などの２つ以上の他のビューから予測され得るし、非アンカービューも、ビュー３及びビュー４のピクチャから予測され得る。更なる制限ビュー依存性制限が非アンカーピクチャに必要である場合、そのような制限は、ＳＥＩメッセージなどの補足信号伝達で提供され得る。
[0134]ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１プラス１の要素は、コード化ビデオシーケンスに信号伝達されたレベル値の数を指定することができる。ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１の値は、両端値を含む０から６３の範囲内であり得る。ｌｅｖｅｌ＿ｉｄｃ［ｉ］要素は、コード化ビデオシーケンスに信号伝達されたｉ番目のレベル値を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ１［ｉ］プラス１の要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される動作点の数を指定することができる。ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ１［ｉ］要素の値は、両端値を含む０から１０２３の範囲内であり得る。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］［ｊ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用されるｊ番目の動作点のｔｅｍｐｏｒａｌ＿ｉｄを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１の要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用されるｊ番目の動作点用のターゲット出力ビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素の値は、両端値を含む０から１０２３の範囲内であり得る。
[0135]ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］［ｋ］要素は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用されるｊ番目の動作点用のｋ番目のターゲット出力ビューのビュー順序インデックスを指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］［ｋ］要素の値は、両端値を含む０から３１の範囲内であり得る。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用されるｊ番目の動作点に対応するターゲット出力ビューを復号するために必要なビューの数を指定することができる。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１によって指定されたビューの数は、サブビットストリーム抽出プロセスによって指定されたように、ターゲット出力ビューとターゲット出力ビューが依存するビューとを含む場合がある。
[0136]別の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、同じ時間インスタンス内のビューコンポーネントの復号順序に基づいて、ｉよりも小さくなることが必要とされる場合がある。
[0137]ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］は、（ＭＶＣ／ＡＶＣに対する更なるビット節約のために）サイズが更に縮小される場合がある。例えば、更なるビット節約は、２つだけのビューを含む（即ち、ステレオビデオ用の）マルチビュービデオコード化のストリーム内で実現され得る。この例では、ビデオデコーダ３０が常に第２のビュー（例えば、ビュー１）を復号する前に第１のビュー（例えば、ビュー０）を復号することができるので、ビュー順序インデックスは必要とされない可能性がある。例示的な縮小されたＳＰＳが下記の表４に提供される。
[0138]表４に示された例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ＿ｄｉｆｆ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラスｉ＋１の要素は、ｉに等しいビュー順序インデックスを有するビューコンポーネントを復号するときの、初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１の中のビュー間予測用のｊ番目のビューコンポーネントのビュー順序インデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ＿ｄｉｆｆ＿ｍｉｎｕｓ１［ｉ］［ｊ］要素の値は、両端値を含む０から３０−ｉの範囲内であり得る。
[0139]他の例も可能である。例えば、（上記の表６及び表７に示された例などの）ＳＰＳ内でビュー依存性を信号伝達するのではなく、ビュー依存性はＰＰＳ内で信号伝達され得る。別の例では、ビュー依存性はＳＰＳ内で信号伝達され得るし、ビュー依存性は更に、シーケンスパラメータセット内で信号伝達されるビュー依存性の範囲内であるＰＰＳ内で信号伝達され得る。例えば、ＳＰＳでは、依存ビュー（例えば、ビュー２）がビュー０とビュー１とに依存していると信号伝達され得るし、ＰＰＳでは、依存ビュー（例えば、ビュー２）がビュー０のみに依存していると信号伝達され得る。
[0140]ビュー順序インデックスとビューＩＤとの間の関係は、幾つかの関連する信号伝達を必要とする場合があるが、例えば、ＳＰＳでは、ＮＡＬ単位ヘッダは、通常そのような信号伝達よりもはるかに多いビットを消費する。従って、ＮＡＬ単位ヘッダのサイズを縮小することによって、これらの技法は、ＭＶＣ／ＡＶＣの方式上でビット節約を実現することができる。関係を示す情報は、例えば、ビュー順序インデックスの値にｖｉｅｗ＿ｉｄ値をマッピングするマッピングテーブルを備えることができる。このようにして、ビデオデコーダ３０は、単にＮＡＬ単位ヘッダ内のビュー順序インデックスの値を受信し、マッピングテーブルを使用してＮＡＬ単位のｖｉｅｗ＿ｉｄを決定することができる。
[0141]更に、ビュー順序インデックスは動的な長さを有する場合がある。例えば、ＨＥＶＣでは、ビュー順序インデックスの長さは、それがベースビューであるか、プロファイルであるか、又はマルチビュービデオコード化のビットストリーム内でサポートされるビューの数であるかに依存する場合がある。例えば、更なるビット節約は、２つだけのビューを含む（即ち、ステレオビデオ用の）マルチビュービデオコード化のストリーム内で実現することができる。この例では、ビデオデコーダ３０が常に第２のビュー（例えば、ビュー１）を復号する前に第１のビュー（例えば、ビュー０）を復号するので、ビュー順序インデックスは必要とされない可能性がある。即ち、幾つかの例によれば、ベースビューは、０のデフォルトのビュー順序インデックスを割り当てることができ、従って通知される必要がない。
[0142]加えて、上述のビュー順序インデックスを使用するとき、ＭＶＣ／ＡＶＣベースビューのベースビュー（例えば、ビュー０）のＮＡＬ単位の直前に含まれるプレフィックスＮＡＬ単位は、もはや必要とされない可能性がある。例えば、ビュー順序インデックスがベースビューについて常に０であり得るし、ベースビューの時間位置が（ＭＣＶ／ＡＶＣ内に含まれる）ｔｅｍｐｏｒａｌ＿ｉｄを使用して決定できるので、ビデオデコーダ３０は、ベースビュー用のプレフィックスＮＡＬ単位をもはや必要としない可能性がある。従って、ビデオエンコーダ２０は、ＮＡＬ単位ヘッダ内のｔｅｍｐｏｒａｌ＿ｉｄを通知することができ、ｔｅｍｐｏｒａｌ＿ｉｄは、ビデオデコーダ３０に必要な情報の全てを提供して、特定のビューコンポーネントを特定のビューと適切な時間位置とに関連付けることができる。
[0143]新ＨＥＶＣ規格に関して、幾つかの例では、プレフィックスＮＡＬ単位がＨＥＶＣ準拠ベースビューに使用されないとき、ＨＥＶＣベースビューのＮＡＬ単位ヘッダにフラグを追加することができる。フラグは、（その特定のＮＡＬ単位の）ビューコンポーネントが、ビットストリームの他のビューのビューコンポーネントをインター予測するために使用できるかどうかを示すためのみに使用することができる。
[0144]加えて、幾つかの例によれば、ビュー順序インデックスは、（例えば、ピクチャの表示順序を示す）ピクチャ順序カウント（ＰＯＣ）値又は（例えば、ピクチャの復号順序を示す）フレーム値とともに使用されて、ビットストリームのビューコンポーネントを識別することができる。
[0145]別の例として、上記のように、ＭＶＣ／ＡＶＣのＳＰＳは、ビューごとに別々に依存ビュー（即ち、予測の目的で１つ又は複数の他のビューによって参照されるビュー）を示すことができる。例えば、ＭＶＣ／ＡＶＣのＮＡＬ単位ヘッダ内に含まれるａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは、ＮＡＬ単位が開ＧＯＰランダムアクセスポイントとして使用できるアンカーピクチャに属するかどうかを示すために使用することができる。ＭＶＣ／ＡＶＣでは、上述のように、ビュー依存性は、アンカーピクチャと非アンカーピクチャに異なって通知される。従って、ビューごとに通知される依存ビューについて、４つの異なるカテゴリが考えられ、それらの各々は、ピクチャがアンカーピクチャ用かどうか、又はピクチャがリスト０用か若しくはリスト１用かによって差別化される。そのような設計は、そのような分界を維持するために比較的大きい数のビットを必要とするだけでなく、参照ピクチャリストの構築を複雑にする場合もある（例えば、各カテゴリは参照リストの構築及び並べ替えの間維持されなければならない）。
[0146]幾つかの例によれば、ビューコンポーネントがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、ビデオエンコーダ２０は、通常全てのビューコンポーネントについてマルチビュービデオコード化のビットストリームのビューごとにビュー依存性を通知することができる（ビデオデコーダ３０はそのような信号伝達を受信することができる）。幾つかの例では、ＳＰＳは、ＮＡＬ単位ヘッダ内の情報に依存するのではなく、ビューコンポーネント用のビュー依存性の指示を含む。このようにして、ビデオエンコーダ２０及びビデオデコーダ３０は、ＭＶＣ／ＡＶＣのＮＡＬ単位ヘッダ内で使用されるａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇを使用しない場合がある。スケーラブルビデオコード化に適用可能な例では、スケーラブルレイヤがアンカーピクチャ用か又は非アンカーピクチャ用かにかかわらず、ビデオエンコーダ２０は、通常全てのスケーラブルレイヤについてスケーラブルビデオコード化のビットストリームのスケーラブルレイヤごとにスケーラブルレイヤ依存性を信号伝達することができる（ビデオデコーダ３０はそのような信号伝達を受信することができる）。
[0147]通知された依存ビューのビューコンポーネントは、リスト０とリスト１の両方で参照ピクチャとして使用することができる。加えて、リスト０及びリスト１についての参照ピクチャリストの構築及び参照ピクチャリストの並べ替えは、アンカーピクチャ及び非アンカーピクチャへの通常信号伝達に基づく場合もある。幾つかの例では、シーケンスレベル、補足強調情報（ＳＥＩ）メッセージは、非アンカーピクチャがアンカーピクチャとは異なるビュー依存性を有するときを示すために使用することができる。
[0148]従って、本開示の特定の態様は、ＭＶＣ／ＡＶＣのアンカーピクチャ／非アンカーピクチャとリスト０／リスト１との信号伝達差異を削除すること、それによりビットストリームを簡略化すること、ならびに参照ピクチャリストの構築に関する。例えば、本開示の態様によれば、ビデオデコーダ３０は、第１のビューの任意のビューコンポーネントについて、第１のビューのビューコンポーネントを予測するための１つ又は複数の参照ビューを示す参照ビュー情報を受信することができる。即ち、ビデオデコーダ３０は、ビューのアンカーピクチャ用及び同様のビューの非アンカーピクチャ用のビュー依存性を示す参照ビュー情報を受信することができる。上述のように、参照ビュー情報は、例えば、各参照ビューに関連する（アクセス単位内のビューの復号順序を示す）ビュー順序インデックスを含むことができる。
[0149]加えて、特定のビューの（アクセス単位の）特定のピクチャを復号するとき、ビデオデコーダ３０は、特定のピクチャと同じアクセス単位から、及び参照ビュー情報によって示された参照ビューからの参照候補（例えば、特定のピクチャがそれから予測できるビューコンポーネント）を含むことができる。幾つかの例では、ビデオデコーダ３０は、参照候補の数が参照ビューの数と等しくなるように、各参照ビューから参照ピクチャリストに参照候補を追加することができる。加えて、ビデオデコーダ３０は、リスト１、リスト０、又は両方のいずれかに参照候補を追加することができる。次いで、ビデオデコーダ３０は、参照ピクチャリスト内の参照ピクチャのうちの１つに基づいて、特定のピクチャを復号することができる。
[0150]更に別の例として、上述のように、ｐｒｉｏｒｉｔｙ＿ｉｄは、ＭＶＣ／ＡＶＣ準拠ビットストリームのＮＡＬ単位ヘッダに含まれる。ｐｒｉｏｒｉｔｙ＿ｉｄは、特定のＮＡＬ単位の優先度の指示を提供する。より詳細には、各ＮＡＬ単位は、慣例的に優先度値を割り当てられる。優先度値Ｐに対する要求に応答して、Ｐ以下の優先度値を有する全てのＮＡＬ単位が提供される（即ち、Ｐより大きいｐｒｉｏｒｉｔｙ＿ｉｄ値を有するＮＡＬ単位は廃棄される）。このようにして、より低い優先度値がより高い優先度を指定する。例えば、ビュー内の時間スケーラビリティについて、同じビューのＮＡＬ単位が異なる優先度を有する場合があることを理解されたい。
[0151]この優先度は、スケーラビリティの目的で使用することができる。例えば、（比較的低い品質の表示を形成するという犠牲を払って）最小量の帯域幅を消費するビデオデータを取り出すために、ビデオデコーダ３０（又は、より一般的に宛先機器１４）は、最も高い優先度のＮＡＬ単位だけが、発信源機器１２／ビデオエンコーダ２０などの発信源から送信されることを要求することができ、ｐｒｉｏｒｉｔｙ＿ｉｄはより低い優先度のＮＡＬ単位をフィルタ処理して除くために使用することができる。幾つかの例では、サーバ／コンテンツ配信ネットワーク３４のルータ３６は、ｐｒｉｏｒｉｔｙ＿ｉｄを使用して、比較的高い優先度のＮＡＬ単位をより低い優先度のＮＡＬ単位から分離することができる。（より高い帯域幅の消費という犠牲を払って）比較的高い品質の表示を生成するために、ビデオデコーダ３０は、例えば、より高い優先度値を指定することによって、より低い優先度を有するＮＡＬ単位がより高い優先度のＮＡＬ単位を補足することを要求することができる。
[0152]幾つかの例によれば、ＮＡＬ単位ヘッダ内のｐｒｉｏｒｉｔｙ＿ｉｄを通知するのではなく、ビデオエンコーダ２０はＳＰＳ内のｐｒｉｏｒｉｔｙ＿ｉｄ値を提供することができる。即ち、特定の時間レベルを有するビューごとのｐｒｉｏｒｉｔｙ＿ｉｄは、シーケンスレベルで通知することができる。加えて、幾つかの例によれば、単一パスの適応は、その適応に関連する信号伝達コンテキストが知られている限り可能であり得る。
[0153]上記で説明されたように、幾つかの例では、ビットストリームを宛先機器１４に転送することを担当することができるルータ３６は、ＳＰＳのｐｒｉｏｒｉｔｙ＿ｉｄ値を使用して特定のビューをフィルタ処理することができる。即ち、ルータ３６は完全なビットストリームを受信することができるが、宛先機器１４によって指定された優先度値以下のｐｒｉｏｒｉｔｙ＿ｉｄ値を有するＮＡＬ単位を含むサブビットストリームを抽出し、そのサブビットストリームを宛先機器１４に転送することができる。
[0154]更に別の例では、ＭＶＣ／ＡＶＣによれば、単一パスの適応は、ＮＡＬ単位ヘッダ内の６ビットのｐｒｉｏｒｉｔｙ＿ｉｄを必要とする。例えば、上記のように、ＭＶＣ／ＡＶＣのＳＰＳは、ビュースケーラビリティ用のビューレベル指示を含むことができる。即ち、ＭＶＣビットストリームの各ビューは、階層的にコード化し、数値のビューレベルを割り当てることができる。
[0155]幾つかの例によれば、ＳＰＳはビューレベル情報を含むことができる。従って、宛先機器１４がサーバ／コンテンツ配信ネットワーク３４からビューレベルＶのビューを要求するとき、宛先機器１４は、Ｖ以下のビューレベルを有する全てのビューを受信する。上述のｐｒｉｏｒｉｔｙ＿ｉｄ値の使用と同様に、サーバ／コンテンツ配信ネットワーク３４のルータ３６は、ビューレベルを使用して、クライアントが要求したビューレベル以下のビューレベルを有するビュー用のデータを含むサブビットストリームを抽出することができる。
[0156]本開示の幾つかの態様によれば、ＭＶＣ／ＡＶＣに関する別の例示的な効率向上として、ＭＶＣ／ＡＶＣの実装形態、又は、来たるＨＥＶＣ規格などの上述されたＭＶＣ／ＡＶＣとの差異を実装する異なるビデオコード化技法などのビデオコード化技法は、所与のビューに関連付けられたビュー依存性を信号伝達することと、ビュー依存性のうちの１つ又は複数に関連付けられた予測のタイプを信号伝達することとを含む場合がある。
[0157]１つのタイプの予測のみに使用される参照ピクチャセット（ＲＰＳ）のサブセット内にビュー間予測用のビューを含むことは、余り効率的ではない可能性がある。より一般的な意味では、他の依存ビューよりも比較的少ないタイプのビュー間予測に関連付けられたビュー間ＲＰＳのサブセット内にビュー間予測用の依存ビューを含むことは、余り効率的ではない可能性がある。例えば、所与のビューＡについて、ビューＢは、ビュー間テクスチャ予測参照として使用されるだけの場合がある。代替として、ビューＢは、ビュー間動き予測参照として使用されるだけの場合がある。しかしながら、ビューＡを復号するためにビュー間ＲＰＳのサブセット内にビューＢを含むことは、ビュー間テクスチャ予測とビュー間動き予測の両方に使用され得るビューのみを含むことと同じほど効率的ではない。この概念は、ビュー間テクスチャ予測及びビュー間動き予測のみを超えて、ビュー間残差予測などに拡張され得る。例えば、一般に、比較的多いタイプの予測に使用されるビューとは対照的に、限定された数のタイプの予測に使用されるだけのビューを含むことは、余り効率的ではない。
[0158]従って、本開示の幾つかの態様によれば、依存ビューが所与のビュー用のビュー間ＲＰＳのサブセットに含まれるかどうかだけでなく、依存ビューに関連付けられた予測のタイプも示すＳＰＳシンタックスの一部として、新しいシンタックス要素が追加され得る。例えば、ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］、及びｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］のシンタックス要素は、ＳＰＳセットに追加され得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、所与のビューｉ用の第ｊの依存ビューがビュー間テクスチャ予測に使用され得るかどうか、従ってビューｉ用のビュー間ＲＰＳのサブセットに含まれるべきかどうかを示すことができる。以下の表５のシンタックス構造は、追加のシンタックス要素の例を表す。
[0159]上記の表５では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１の要素は、コード化ビデオシーケンス内のコード化ビューの最大数を指定することができる。幾つかの例では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１の値は、両端値を含む０から３１の範囲であり得る。加えて、ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有する（又はｉに等しいビューインデックスを有する）ビューを復号するために使用されるべき依存ビューの数を指定することができる。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］の値は、Ｍｉｎ（１５，ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１）よりも大きくなるべきでない。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［０］の値は、０に等しくなるべきである。更に、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］は、ｉに等しいビューインデックスを有するビューコンポーネントを復号するときの、第ｊの依存ビューのビューインデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、両端値を含む０から３１の範囲内であるべきである。
[0160]ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］要素が１に等しいとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれるべきであることを指定することができる。例えば、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントのビュー間テクスチャ予測に使用され得るとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は１に等しく設定され得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれるべきではないことを指定することができる。例えば、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントのビュー間テクスチャ予測に使用されない場合があるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は０に等しく設定され得る。他の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ビュー間テクスチャ予測、及びビュー間動き予測又はビュー間テクスチャ予測などの別のタイプのビュー間予測に使用される場合があるときのみ、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は１に等しく設定され得る。
[0161]ｉに等しいビューインデックスを有するビューコンポーネントの復号用にビュー間ＲＰＳのサブセットに追加されたビューコンポーネントは、ｊの昇順である。このようにして、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネント用のビュー間テクスチャ予測に使用され得るか、又は使用され得ないかを指定することができる。
[0162]上記の説明では、ビューインデックスは、ビュー順序インデックスと同様の意味で表記され得る。代替として、上記の信号伝達で使用されるビューインデックスは、ＬＤのレイヤＩＤを有するビューの復号がＬＤよりも高いレイヤＩＤ値を有するビューに依存しないとき、レイヤＩＤと交換され得る。
[0163]上述された要素は、スケーラブルコード化技法にも適用可能であり得る。例えば、要素は異なる命名をされている場合があるが、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］と同様の要素は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するスケーラブルレイヤの参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれるべきかどうかを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するスケーラブルレイヤのレイヤ間テクスチャ予測に使用され得るとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］又は同様の要素は、１に等しく設定され得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれないことを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するスケーラブルレイヤのレイヤ間テクスチャ予測に使用されない場合があるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は、０に等しく設定され得る。
[0164]本開示の幾つかの態様によれば、ビュー間参照ごとに指示が信号伝達され得る。指示は、特定のビュー間参照がビュー間ＲＰＳのサブセットに含まれるべきかどうかと、特定のビュー間参照がビュー間動き予測及びビュー間残差予測などの他のタイプのビュー間予測に使用されるかどうかの両方を表すことができる。以下の表６は、指示ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］の例を提供する。
[0165]例えば、表６のｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が０に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネント（即ち、参照ビューコンポーネント）が、ｉに等しいビューインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれないことを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、所与のビューｉについて、ビュー間テクスチャ予測、又は他のタイプのビュー間予測、例えばビュー間動き予測又はビュー間残差予測に使用されないとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、０に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用されず、単一の他のタイプのビュー間予測のみ（即ち、ビュー間動き予測又はビュー間残差予測のみだが、両方ではない）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、０に等しく設定され得る。
[0166]スケーラブルビデオコード化への応用では、表６のｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が０に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するスケーラブルレイヤの参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれないことを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、所与のビューｉについて、レイヤ間テクスチャ予測、又は他のタイプのレイヤ間予測、例えばレイヤ間動き予測又はレイヤ間残差予測に使用されないとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、０に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、レイヤ間テクスチャ予測で使用されず、単一の他のタイプのレイヤ間予測のみ（即ち、レイヤ間動き予測又はレイヤ間残差予測のみだが、両方ではない）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、０に等しく設定され得る。
[0167]ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が１に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれるべきであることを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、所与のビューｉについてのビュー間テクスチャ予測に使用されるが、所与のビューｉについて、他のタイプのビュー間予測、例えばビュー間動き予測又はビュー間残差予測に使用されないとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、１に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用され、単一の他のタイプのビュー間予測のみ（即ち、ビュー間動き予測又はビュー間残差予測のみだが、両方ではない）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、１に等しく設定され得る。
[0168]スケーラブルビデオコード化への応用では、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が１に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するレイヤの参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれるべきであることを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、所与のレイヤｉについてのレイヤ間テクスチャ予測に使用されるが、所与のレイヤｉについて、他のタイプのレイヤ間予測、例えばレイヤ間動き予測又はレイヤ間残差予測に使用されないとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、１に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、レイヤ間テクスチャ予測で使用され、単一の他のタイプのレイヤ間予測のみ（即ち、レイヤ間動き予測又はレイヤ間残差予測のみだが、両方ではない）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は１に等しく設定され得るのみである。
[0169]ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が２に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれるべきでないことを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、所与のビューｉについて、ビュー間テクスチャ予測に使用されないが、他のタイプのビュー間予測に使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用されず、少なくとも１つの他のタイプのビュー間予測（即ち、ビュー間動き予測又はビュー間残差予測のうちの１つ）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。他の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用されず、少なくとも２つの他のタイプのビュー間予測（即ち、ビュー間動き予測とビュー間残差予測の両方）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。
[0170]スケーラブルビデオコード化への応用では、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が２に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれるべきでないことを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、所与のレイヤｉについて、レイヤ間テクスチャ予測に使用されないが、他のタイプのレイヤ間予測に使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、レイヤ間テクスチャ予測で使用されず、少なくとも１つの他のタイプのレイヤ間予測（即ち、レイヤ間動き予測又はレイヤ間残差予測のうちの１つ）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。他の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤコンポーネントが、レイヤ間テクスチャ予測で使用されず、少なくとも２つの他のタイプのレイヤ間予測（即ち、レイヤ間動き予測とレイヤ間残差予測の両方）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、２に等しく設定され得る。
[0171]ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が３に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ｉに等しいビューインデックスを有するビューコンポーネントの参照ピクチャリストの構築に使用されるべきビュー間ＲＰＳのサブセットに含まれるべきであることを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、所与のビューｉについて、ビュー間テクスチャ予測と他のタイプのビュー間予測の両方で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用され、少なくとも１つの他のタイプのビュー間予測（即ち、ビュー間動き予測又はビュー間残差予測のうちの１つ）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得るのみである。他の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する参照ビューコンポーネントが、ビュー間テクスチャ予測で使用され、少なくとも２つの他のタイプのビュー間予測（即ち、ビュー間動き予測とビュー間残差予測の両方）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得るのみである。
[0172]スケーラブルビデオコード化への応用では、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が３に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有するスケーラブルレイヤが、ｉに等しいレイヤインデックスを有するレイヤの参照ピクチャリストの構築に使用されるべきレイヤ間ＲＰＳのサブセットに含まれるべきであることを指定することができる。少なくとも１つの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、所与のレイヤｉについて、レイヤ間テクスチャ予測と他のタイプのレイヤ間予測の両方に使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得る。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤが、レイヤ間テクスチャ予測で使用され、少なくとも１つの他のタイプのレイヤ間予測（即ち、レイヤ間動き予測又はレイヤ間残差予測のうちの１つ）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得るのみである。他の例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいレイヤ順序インデックスを有する参照スケーラブルレイヤコンポーネントが、レイヤ間テクスチャ予測で使用され、少なくとも２つの他のタイプのレイヤ間予測（即ち、レイヤ間動き予測とレイヤ間残差予測の両方）で使用されるとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、３に等しく設定され得るのみである。
[0173]加えて、本開示の幾つかの態様によれば、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が１又は３に等しく設定された場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は１に等しくなるように導出され得るし、そうでない場合、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は０に等しくなるように導出され得る。これは、スケーラブルビデオコード化の応用にも同様に適用可能である。
[0174]本開示の幾つかの態様によれば、別のシンタックス要素が導入され得る：ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］。上記の例を続けると、場合によっては、所与のビューｉ用のｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する１つ又は複数の依存ビューは、ビュー間テクスチャ予測以外のビュー間予測のタイプで使用され得る。例えば、所与のビューｉ用のｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の第ｊのビューは、ビュー間動き予測又はビュー間残差予測で使用され得る。所与のビューｉ用のｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の第ｊのビューがビュー間テクスチャ予測以外のビュー間予測で使用されないとき、例えば、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が０又は１のいずれかに等しく設定されたとき、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、０に等しくなるように導出され得る。従って、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］が０に等しいとき、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する特定のビューコンポーネントが、所与のビューｉについて、他のタイプのビュー間予測、例えばビュー間動き予測又はビュー間残差予測で使用されない場合があることを示すことができる。
[0175]所与のビューｉ用のｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の第ｊのビューがビュー間テクスチャ予測以外のビュー間予測で使用されるとき、例えば、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が２又は３のいずれかに等しく設定されたとき、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、１に等しくなるように導出され得る。従って、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］が１に等しいとき、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有する特定のビューコンポーネントが、所与のビューｉについて、他のタイプのビュー間予測、例えばビュー間動き予測又はビュー間残差予測で使用され得ることを示すことができる。幾つかの例では、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、単一より多い他のタイプのビュー間予測、例えばビュー間動き予測とビュー間残差予測の両方で使用され得るときのみ、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、１に等しくなるように導出され得る。
[0176]上記のｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］要素及びｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］要素と同様に、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、スケーラブルビデオコード化方式で適用可能であるように適合され得る。
[0177]本開示の幾つかの態様によれば、ビデオコーダ２０は、現在のピクチャ用のデータを予測するための様々な予測プロセスで使用される、（参照ビューを含む場合がある）参照ピクチャを備える１つ又は複数の参照ピクチャセットを構築することができる。幾つかの例では、ビデオエンコーダ２０は、その全体が参照により本明細書に組み込まれる、２０１２年１２月１９日に出願された、「ＲＥＦＥＲＥＮＣＥ ＬＩＳＴ ＣＯＮＳＴＲＵＣＴＩＯＮ ＦＯＲ ＭＵＬＴＩＶＩＥＷ ＡＮＤ ３Ｄ ＥＸＴＥＮＳＩＯＮＳ ＯＦ ＨＥＶＣ」と題する、米国特許出願第１３／７２０，６２２号に記載された方法に従って、ビュー間参照ピクチャセット（ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）を構築することができる。
[0178]従って、幾つかの参照ピクチャは「短期」参照ピクチャであり、かつ幾つかの参照ピクチャは「長期」参照ピクチャである。長期参照ピクチャは、短期参照ピクチャよりも長い時間期間の間参照ピクチャリストに残ることができる。延長時間期間（例えば、数秒）の間参照ピクチャの利用可能性を維持することが有利なはずであるとビデオエンコーダ２０が決定した場合、ビデオエンコーダ２０は、参照ピクチャが長期参照ピクチャであることを信号伝達することができる。例えば、参照ピクチャが静的バックグラウンドを含んでおり、他のピクチャがこの静的バックグラウンドの部分を隠す及び露呈する場合、ビデオエンコーダ２０は、参照フレームが長期参照ピクチャであることを示すことができる。Ｈ．２６４／ＡＶＣ又はＨ．２６４／ＭＶＣ／ＡＶＣでは、短期参照ピクチャは、現在のピクチャ（即ち、現在コード化されているピクチャ）のフレーム番号に等しいフレーム番号（ｆｒａｍｅ＿ｎｕｍ）を決して有してはいない。ピクチャのフレーム番号は、ピクチャのピクチャ番号に基づく値である。ピクチャのフレーム番号は、ピクチャが短期参照ピクチャとして使用されるとき、ピクチャを識別するために使用され得る。
[0179]上述されたように、ビデオコーダ（例えば、ビデオエンコーダ２０及びビデオデコーダ３０）は、第１の参照ピクチャリスト（リスト０）と、第２の参照ピクチャリスト（リスト１）とを維持することができる。リスト０及びリスト１は、参照ピクチャのフレーム番号のリストであり得る。ビデオエンコーダ２０は、特定の参照ピクチャのフレーム番号の参照ピクチャリスト内の位置を信号伝達することによって、特定の参照ピクチャ内の参照ブロックを使用してビデオブロックがインター予測されることを信号伝達することができる。
[0180]幾つかのビデオコーダは、時間的（即ち、ビュー内）参照ピクチャのフレーム番号が常に初めは最初に列記されるように、参照ピクチャリストを生成する。参照ピクチャリスト内で、時間的参照ピクチャのフレーム番号の後には、ビュー間参照ピクチャのフレーム番号が続く。即ち、ビデオコーダは、以下のステップを使用して参照ピクチャを生成することができる。第１に、ビデオコーダは、Ｈ．２６４／ＡＶＣ規格において規定されているように時間的（即ち、ビュー内）参照ピクチャのための参照ピクチャリスト初期化プロセスを適用することができ、他のビューからの参照ピクチャは考慮されない。第２に、ビデオコーダは、マルチビュービデオコード化ＳＰＳ拡張においてビュー間参照ピクチャが出現する順序で、参照ピクチャリストの終端にビュー間参照ピクチャを付加することができる。第３に、ビデオコーダは、ビュー内参照ピクチャとビュー間参照ピクチャの両方のための参照ピクチャリスト修正（ＲＰＬＭ）プロセスを適用することができる。例えば、ビデオエンコーダ又はビデオデコーダは、ビュー間参照ビューコンポーネントの参照ピクチャリスト内の位置を変更する参照ピクチャリスト修正プロセスを実行することができる。ビュー間参照ピクチャは、マルチビュービデオコード化ＳＰＳ拡張によって規定されているように、それらのインデックス値によりＲＰＬＭコマンド内で識別され得る。ＲＰＬＭプロセスは、以下で詳細に記載される。
[0181]ＨＥＶＣでは、ＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダは、長さが２バイトであり得る。対照的に、Ｈ．２６４／ＡＶＣにおけるＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダは、長さが１バイトのみであり得る。ＨＥＶＣのＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダの第１バイトは、Ｈ．２６４／ＡＶＣのＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダと同じシンタックスとセマンティクスとを有することができる。ＨＥＶＣのＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダの第２バイトが存在するとき、ＨＥＶＣのＶＣＬ ＮＡＬ単位のＮＡＬ単位ヘッダの第２バイトは、時間識別子（例えば、「ｔｅｍｐｏｒａｌ＿ｉｄ」）シンタックス要素と、出力フラグ（例えば、「ｏｕｔｐｕｔ＿ｆｌａｇ」）シンタックス要素とを含むことができる。時間識別子シンタックス要素は、ＮＡＬ単位用の時間識別子を指定することができる。アクセス単位のビューコンポーネントのコード化スライスを含む各ＮＡＬ単位は、同じ時間識別子を有することができる。ＨＥＶＣの付属書類Ｃに記載されているように、出力フラグシンタックス要素は、ＮＡＬ単位に関連付けられた復号ピクチャの出力に影響を及ぼす場合がある。
[0182]更に、ＨＥＶＣにおいてビデオコーダが参照ピクチャリスト０と参照ピクチャリスト１とを生成した後、ビデオコーダは、参照ピクチャリスト０及び参照ピクチャリスト１の中の参照ピクチャから、合成参照ピクチャリストを生成することができる。合成参照ピクチャリストを生成するために、ビデオコーダは、リスト０及びリスト１から項目（即ち、参照ピクチャ）を選択することができ、選択された項目を合成参照ピクチャリストに挿入（例えば、追加）する。幾つかの例では、ビデオコーダは、リスト０及びリスト１の中の出現の昇順に基づいて、リスト０及びリスト１から項目を選択することができる。選択された項目がすでに合成参照ピクチャリスト内にある場合、ビデオコーダは、その項目を合成参照ピクチャリストに再び挿入することはしない。ビデオコーダは、項目のピクチャ順序カウント（ＰＯＣ）番号を検査することによって、選択された項目がすでに合成参照ピクチャリスト内にあるかどうかを決定することができる。
[0183]ＨＥＶＣでは、ビデオエンコーダ２０は、コード化ピクチャごとに参照ピクチャセット（ＲＰＳ）を信号伝達する。コード化ピクチャのＲＰＳは、コード化ピクチャに関連付けられた参照ピクチャのセットである。ＲＰＳは、コード化ピクチャ、又は復号順序でコード化ピクチャに続く任意のピクチャのインター予測に使用され得る、復号順序でコード化ピクチャに先立つ全ての参照ピクチャを含み、幾つかの例では、それらから構成される場合がある。
[0184]ビデオエンコーダ２０は、ＰＰＳ及びスライスヘッダ内でコード化ピクチャのＲＰＳを信号伝達することができる。例えば、ビデオエンコーダ２０は、ＰＰＳ内でＲＰＳを信号伝達することができ、コード化ピクチャのＲＰＳがＰＰＳ内で信号伝達されたＲＰＳであることを、コード化ピクチャのスライスヘッダ内で信号伝達することができる。他の例では、ビデオエンコーダ２０は、コード化ピクチャのスライスヘッダ内で、コード化ピクチャのＲＰＳを直接信号伝達することができる。従って、ビデオデコーダ３０は、ＲＰＳを示すシンタックス要素をスライスヘッダから構文解析することができる。
[0185]ビューコンポーネント（即ち、現在のビューコンポーネント）のＲＰＳは、５つの参照ピクチャサブセットに分割され得る：ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、及びＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌ。これらの参照ピクチャサブセットの各々は、参照ビューコンポーネントを識別するＰＯＣ値のリストを備えることができる。「参照ビューコンポーネント」及び「参照ピクチャ」という用語は、本開示では互換的に使用され得る。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０は、復号順序と出力順序の両方で現在のビューコンポーネントに先立ち、現在のビューコンポーネントのインター予測で使用され得る、全ての短期参照ビューコンポーネントから構成され得る。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１は、復号順序で現在のビューコンポーネントに先立ち、出力順序で現在のビューコンポーネントに続き、現在のビューコンポーネントのインター予測で使用され得る、全ての短期参照ビューコンポーネントから構成され得る。ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０は、復号順序と出力順序の両方で現在のビューコンポーネントに先立ち、復号順序で現在のビューコンポーネントに続き現在のビューコンポーネントのインター予測で使用されないビューコンポーネントのうちの１つ又は複数のインター予測で使用され得る、全ての短期参照ビューコンポーネントから構成され得る。ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１は、復号順序で現在のビューコンポーネントに先立ち、出力順序で現在のビューコンポーネントに続き、復号順序で現在のビューコンポーネントに続き現在のビューコンポーネントのインター予測で使用されないビューコンポーネントのうちの１つ又は複数のインター予測で使用され得る、全ての短期参照ビューコンポーネントから構成され得る。ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒは、復号順序で現在のビューコンポーネントに先立ち、現在のビューコンポーネントのインター予測で使用され得る、全ての長期参照ビューコンポーネントから構成され得る。ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは、復号順序で現在のビューコンポーネントに先立ち、復号順序で現在のビューコンポーネントに続き現在のビューコンポーネントのインター予測で使用されないビューコンポーネントのうちの１つ又は複数のインター予測で使用され得る、全ての長期参照ビューコンポーネントから構成され得る。
[0186]ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、及びＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌの中の項目の数は、本開示では、それぞれＮｕｍＲｐｓＳｔＣｕｒｒ０、ＮｕｍＲｐｓＳｔＣｕｒｒ１、ＮｕｍＲｐｓＳｔＦｏｌｌ０、ＮｕｍＲｐｓＳｔＦｏｌｌ１、ＮｕｍＲｐｓＬｔＣｕｒｒ、及びＮｕｍＲｐｓＬｔＦｏｌｌと呼ばれる場合がある。現在のビューコンポーネントがＩＤＲピクチャである場合、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、及びＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは全て空であり、かつＮｕｍＲｐｓＳｔＣｕｒｒ０、ＮｕｍＲｐｓＳｔＣｕｒｒ１、ＮｕｍＲｐｓＳｔＦｏｌｌ０、ＮｕｍＲｐｓＳｔＦｏｌｌ１、ＮｕｍＲｐｓＬｔＣｕｒｒ、及びＮｕｍＲｐｓＬｔＦｏｌｌは全て０に等しい。参照ピクチャセットの更なる説明は、Ｂｏｙｃｅらの「ＪＣＴ−ＶＣ ｂｒｅａｋ−ｏｕｔ ｒｅｐｏｒｔ： Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒｉｎｇ ａｎｄ ｌｉｓｔ ｃｏｎｓｔｒｕｃｔｉｏｎ（ＡＨＧ２１）」、文書番号ＪＣＴＶＣ−Ｇ１００２、２０１１年１１月１１日付で見出され得るし、これは２０１３年４月２２日の時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｇ１００２−ｖ５．ｚｉｐから入手可能であり、その内容全体は参照により本明細書に組み込まれる。
[0187]ビデオコーダがＰスライス又はＢスライスをコード化するとき、ビデオコーダは、リスト０及びリスト１の初期バージョンを生成することができる。言い換えれば、ビデオコーダは、リスト０とリスト１とを初期化することができる。ビデオコーダは、リスト０及びリスト１がＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、又はＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒからの少なくとも１つの参照ピクチャを含むように、リスト０及びリスト１の初期バージョンを生成することができる。
[0188]例えば、ビデオコーダは、以下の擬似コードによって記述された動作を実行して、リスト０の初期バージョンを生成することができる。
cIdx = 0
while( cIdx <= num_ref_idx_l0_active_minus1 )
{
for( i=0; i < NumRpsStCurr0 && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++ )
RefPicList0[cIdx] = RefPicSetStCurr0[i]
for( i=0; i < NumRpsStCurr1 && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++ )
RefPicList0[cIdx] = RefPicSetStCurr1[i]
for( i=0; i < NumRpsLtCurr && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++ )
RefPicList0[cIdx] = RefPicSetLtCurr[i]
}
上記の擬似コードでは、ｃＩｄｘはカウンタ変数である。更に、上記の擬似コードでは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌ０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１は、リスト０内のアクティブな参照ピクチャの数マイナス１を示す値である。ビデオコーダが上記の擬似コードを実行するとき、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０の各参照ピクチャを参照ピクチャリスト０に挿入し、次いでＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１の各参照ピクチャを参照ピクチャリスト０に挿入し、次いでＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒの各参照ピクチャを参照ピクチャリスト０に挿入する。
[0189]ビデオコーダは、以下の擬似コードによって記述された動作を実行して、リスト１の初期バージョンを生成することができる。
cIdx = 0
while(cIdx <= num_ref_idx_l1_active_minus1)
{
for( i=0; i < NumRpsStCurr1 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++ )
RefPicList1[cIdx] = RefPicSetStCurr1[i]
for( i=0; i < NumRpsStCurr0 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++ )
RefPicList1[cIdx] = RefPicSetStCurr0[i]
for( i=0; i < NumRpsLtCurr && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++ )
RefPicList1[cIdx] = RefPicSetLtCurr[i]
}
ビデオコーダが上記の擬似コードを実行するとき、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０の各参照ピクチャを参照ピクチャリスト１に挿入し、次いでＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１の各参照ピクチャを参照ピクチャリスト１に挿入し、次いでＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒの各参照ピクチャを参照ピクチャリスト１に挿入する。
[0190]場合によっては、参照ピクチャリスト内の参照ピクチャの順序を変更することが有利であり得る。例えば、位置は単項値を使用して信号伝達され得るので、参照ピクチャリスト内の最初の位置を示すためには、参照ピクチャリスト内の最後の位置よりも少ないビットが必要とされ得る。従って、特定の参照ピクチャが頻繁に使用される可能性がある場合、その特定の参照ピクチャを参照ピクチャリスト内の最後の位置よりも参照ピクチャリスト内の最初の位置に近接させることが有利であり得る。
[0191]従って、ビデオエンコーダ２０は、ビットストリーム内に一連の１つ又は複数のＲＰＬＭコマンドを含めることができる。ＲＰＬＭコマンドは、参照ピクチャを参照ピクチャリストに挿入するための１つ又は複数のシンタックス要素のセットであり得る。従って、ビットストリームにＲＰＬＭコマンドを含めることによって、ビデオエンコーダ２０は、時間的及びビュー予測参照を柔軟に構成することができ、それにより、潜在的なコード化効率の向上を得ることができる。加えて、ＲＰＬＭコマンドを使用すると、参照ピクチャ選択及び冗長ピクチャ機構がビュー次元に拡張され得るので、誤り耐性が増大され得る。
[0192]ビデオデコーダ３０は、ＲＰＬＭコマンドがビットストリーム内で信号伝達される順序でＲＰＬＭコマンドを処理する。更に、ビデオデコーダ３０が一連のＲＰＬＭコマンドを処理するとき、ビデオデコーダ３０は、最初に現在インデックス値を０に設定することができ、各ＲＰＬＭコマンドの処理中に現在インデックス値を増分することができる。ビデオデコーダ３０がＲＰＬＭコマンドを処理するとき、ビデオデコーダ３０は、現在インデックス値によって示された位置にある参照ピクチャと、現在インデックス値によって示された位置に続く位置にある全ての参照ピクチャとを、参照ピクチャリスト内で１つの位置だけ下にシフトすることができる。次いで、ビデオデコーダ３０は、現在インデックス値によって示された位置で、参照ピクチャを参照ピクチャリストに挿入することができる。次いで、ビデオデコーダ３０は、参照ピクチャリストを走査し、存在する場合、挿入された参照ピクチャの重複を除去することができる。
[0193]ＲＰＬＭコマンドは、コード化スライスのスライスヘッダ内で指定され得る。以下の表３は、スライスヘッダに含まれ得るＲＰＬＭコマンド用の例示的なシンタックスを示す。
[0194]表７では、「ｓｌｉｃｅ＿ｔｙｐｅ」は、現在スライス（即ち、スライスヘッダがＲＰＬＭコマンドを含むスライス）のタイプを示す。以下の表８は、「ｓｌｉｃｅ＿ｔｙｐｅ」の例示的なセマンティクスを示す。
[0195]更に、表８の例示的なシンタックスでは、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素及び「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、参照ピクチャリストの初期バージョンから、ビデオコーダがインター予測に使用する参照ピクチャリストのバージョンへの変更を指定することができる。「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０」シンタックス要素は、リスト０を変更する１つ又は複数の「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が存在するかどうかを示す。「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０」シンタックス要素が１に等しいとき、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が３に等しくない回数は、リスト０内のアクティブな参照ピクチャリストの数を超えない場合がある。「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ１」シンタックス要素は、リスト１を変更する１つ又は複数の「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が存在するかどうかを示す。「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ１」シンタックス要素が１に等しいとき、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が３に等しくない回数は、リスト１内のアクティブな参照ピクチャリストの数を超えない場合がある。
[0196]一般に、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、参照ピクチャリスト内の現在インデックスに移動されるべき参照ピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、又はＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内の位置へのインデックスを指定する。「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素の値は、両端値を含む０から参照ピクチャの最大許容数までの範囲であり得る。
[0197]「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素は、実行するＲＰＬＭコマンドのタイプを指定する。説明を簡単にするために、このシンタックス要素は、ＲＰＬＭタイプシンタックス要素と呼ばれる場合がある。幾つかの例では、ＲＰＬＭタイプシンタックス要素は、下記の表によって示されるように、両端値を含む０から３の範囲の値を有することができる。
[0198]リスト０について、ＲＰＬＭタイプシンタックス要素が０に等しい場合、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素が存在し、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内の位置へのインデックスに対応する。例えば、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内の２番目の位置にある参照ピクチャを示す場合がある。リスト１について、ＲＰＬＭタイプシンタックス要素が０に等しい場合、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素が存在し、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内の位置へのインデックスに対応する。
[0199]リスト０について、ＲＰＬＭタイプシンタックス要素が１に等しい場合、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素が存在し、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内の位置へのインデックスに対応する。リスト１について、ＲＰＬＭタイプシンタックス要素が１に等しい場合、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素が存在し、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内の位置へのインデックスに対応する。
[0200]ＲＰＬＭタイプシンタックス要素が２に等しい場合、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素が存在し、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素は、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内の位置へのインデックスを示す。ＲＰＬＭタイプシンタックス要素が３に等しい場合、ビデオコーダは、参照ピクチャリストを修正するループを停止する。
[0201]「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ０」シンタックス要素が１に等しいとき、ビデオコーダは、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素を、それらがビットストリーム内で出現した順序で処理することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素ごとに、ビデオコーダは、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０、１、又は２に等しいかどうかを決定することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０、１、又は２に等しい場合、ビデオコーダは、１つの参照ピクチャを参照ピクチャインデックスに移動するプロセスを起動することができる。ビデオコーダは、プロセスへの入力としてインデックスｒｅｆＩｄｘＬ０を提供することができ、プロセスの出力にｒｅｆＩｄｘＬ０を設定することができる。ｒｅｆＩｄｘＬ０はリスト０へのインデックスである。ビデオコーダは、最初にｒｅｆＩｄｘＬ０を０に等しくなるように設定することができる。１つの参照ピクチャを参照ピクチャインデックスに移動するプロセスは、以下に記載される。そうではなく、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が３に等しい場合、ビデオコーダは、リスト０についての参照ピクチャリスト修正プロセスを停止する。
[0202]現在スライスがＢスライスであり、「ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｆｌａｇ＿ｌ１」シンタックス要素が１に等しいとき、ビデオコーダは、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素を、それらがビットストリーム内で出現した順序で処理することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素ごとに、ビデオコーダは、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０、１、又は２に等しいかどうかを決定することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０、１、又は２に等しい場合、ビデオコーダは、１つの参照ピクチャを参照ピクチャインデックスに移動するプロセスを起動することができる。ビデオコーダは、プロセスへの入力としてインデックスｒｅｆＩｄｘＬ１を提供することができ、プロセスの出力にｒｅｆＩｄｘＬ１を設定することができる。ｒｅｆＩｄｘＬ１はリスト１へのインデックスである。ビデオコーダは、最初にｒｅｆＩｄｘＬ１を０に等しくなるように設定することができる。１つの参照ピクチャを参照ピクチャインデックスに移動するプロセスは、以下に記載される。そうではなく、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が３に等しい場合、ビデオコーダは、リスト１についての参照ピクチャリスト修正プロセスを停止する。
[0203]上述されたように、ビデオコーダは、参照ピクチャを参照ピクチャインデックスに移動するプロセスを実行することができる。このプロセスは、入力として参照ピクチャインデックスを取得し、増分された参照ピクチャインデックスを出力することができる。参照ピクチャインデックスは、ｒｅｆＩｄｘＬＸと表記される場合があり、ここで、リスト０内の参照ピクチャの移動の場合Ｘは０に等しく、リスト１内の参照ピクチャの移動の場合Ｘは１に等しい。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０に等しく、現在の参照ピクチャリストがリスト０である場合、ビデオデコーダは、現在の参照ピクチャセットとしてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０を指定することができる。そうではなく、「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が０に等しく、現在の参照ピクチャリストがリスト１である場合、ビデオコーダは、現在の参照ピクチャセットとしてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１を指定することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が１に等しく、現在の参照ピクチャリストがリスト０である場合、ビデオコーダは、現在の参照ピクチャセットとしてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１を指定することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が１に等しく、現在の参照ピクチャリストがリスト１である場合、ビデオコーダは、現在の参照ピクチャセットとしてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０を指定することができる。「ｌｉｓｔ＿ｍｏｄｉｆｉｃａｔｉｏｎ＿ｉｄｃ」シンタックス要素が２に等しい場合、ビデオコーダは、現在の参照ピクチャセットとしてＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒを指定することができる。
[0204]更に、参照ピクチャを参照ピクチャインデックスに移動するプロセスでは、ビデオコーダは、関連ＰＯＣ値ｐｏｃＬＸを決定することができる。関連ＰＯＣ値は、「ｒｅｆ＿ｐｉｃ＿ｓｅｔ＿ｉｄｘ」シンタックス要素によって示された現在の参照ピクチャセット内の位置で、参照ピクチャリストＸ（ここで、Ｘは０又は１である）に挿入する参照ピクチャのＰＯＣ値であり得る。ｐｏｃＬＸ変数は、一般に次のように導出される。

pocLX = curRefPicSet[ref_pic_set_idx]

[0205]加えて、ビデオコーダは、以下の擬似コードによって記述されたプロセスを実行して、関連ＰＯＣ値を有するピクチャを、ｒｅｆＩｄｘＬＸ（ここで、Ｘは０又は１である）によって示された位置で、現在の参照ピクチャリストに挿入することができる。
for( cIdx = num_ref_idx_lX_active_minus1 + 1; cIdx > refIdxLX; cIdx-- )
RefPicListX[cIdx] = RefPicListX[cIdx−1]
RefPicListX[refIdxLX++] = pocLX
nIdx = refIdxLX
for( cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1; cIdx++ )
if(PicOrderCnt(RefPicListX[cIdx]) != pocLX )
RefPicListX[nIdx++] = RefPicListX[cIdx]
上記の擬似コードでは、ｃＩｄｘはカウンタ変数である。更に、上記の擬似コードでは、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１は、現在の参照ピクチャリスト内のアクティブな参照ピクチャの数マイナス１に等しい変数である。ＰｉｃＯｒｄｅｒＣｎｔは、参照ピクチャのＰＯＣ値を返す関数である。ビデオコーダが上記の擬似コードによって記述されたプロセスを実行するとき、ビデオコーダは、ｒｅｆＩｄｘＬＸによって示された位置に続く参照ピクチャを現在の参照ピクチャリスト内のより後の位置にシフトし、関連ＰＯＣ値を有する参照ピクチャを挿入し、ｒｅｆＩｄｘＬＸを増分し、関連ＰＯＣ値を有する参照ピクチャのあらゆる複製を参照ピクチャリストから除去することができる。
[0206]上記の擬似コードでは、現在の参照ピクチャリストの長さは、一時的に、現在の参照ピクチャリストの最終バージョンの長さよりも１要素だけ長い場合がある。従って、ビデオコーダが上記の擬似コードによって記述された動作を実行した後、ビデオコーダは、現在の参照ピクチャリストの最終バージョン内の０からｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ｌＸ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１までの要素のみを保持することができる。
[0207]本開示の技法によれば、ビデオコーダは、現在のビューコンポーネント用のＲＰＳを導出する。上述されたように、現在のビューコンポーネントのＲＰＳは、参照ピクチャサブセットＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌを含む場合がある。加えて、現在のビューコンポーネントのＲＰＳは、ビュー間参照ピクチャセット（ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）を含む場合がある。ビュー間参照ピクチャセットは、現在のビューコンポーネントと同じビューからではなく、現在のビューコンポーネントと同じアクセス単位からの、かつビュー間予測参照用に現在のビューコンポーネントによって使用されるビューコンポーネントを含む。幾つかの例では、ビュー間参照ピクチャセットは、シーケンスレベルで信号伝達され、同じビューの全てのビューコンポーネントによって共有され得る。
[0208]本開示の態様によれば、ビデオエンコーダ２０は、前に記載されたシンタックス要素を含む任意の符号化技法に続いて、以下の擬似コードを使用してＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗを導出することができる。

for( j = 0; j < num_ref_views[VOIdx]; j++ )
if (inter_view_texture_flag[i][j])
RefPicSetInterView[j] = ref_view_idx[VOIdx][j]
NumRpsInterView = j

[0209]上記のＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ導出方法に続くコード化技法では、ビデオエンコーダ２０は、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内の所与のビューｉ用のｊ番目の参照のために、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］が１に等しく設定された参照ビューのみを含めることができる。例えば、前述されたように、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ビュー間テクスチャ予測で使用され得るとき、ビデオエンコーダ２０は、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］を１に等しく設定することができる。従って、これらの例では、ビデオエンコーダ２０は、ビュー間テクスチャ予測で使用され得る参照ビューのみを含めることによって、参照ピクチャセットＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗを構築することができる。前述されたように、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が１又は３のいずれかに設定されたとき、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は１に等しくなるように導出され得る。即ち、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗに含まれる参照ビューの全ては、ビュー間テクスチャ予測で使用され得るが、それらのうちの幾つかは、ビュー間動き予測又はビュー間残差予測などの他のビュー間予測でも使用され得る。
[0210]本開示の態様によれば、ビデオエンコーダは、別のビュー間参照ピクチャセット（ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ）を導出することができる。ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗは、ビュー間動き予測又はビュー間残差予測などの他のタイプのビュー間予測に使用され得る、全てのビュー間参照ビューコンポーネントから構成されるビュー間参照ピクチャセットであり得る。ビデオエンコーダ２０は、以下の擬似コードを使用してＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗを導出することができる。

for( j = 0; j < num_ref_views[VOIdx]; j++ )
if (InterViewOtherFlag[i][j])
OtherRefSetInterView[j] = ref_view_idx[VOIdx][j]
NumOtherRefInterView = j

[0211]ビデオエンコーダ２０が、ビュー間テクスチャ予測で使用され得る参照ビューのみに従って、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗを導出する上記の例における擬似コードと同様に、ビデオエンコーダ２０は、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］が１に等しく設定されるＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ内のビュー間参照のみを含めることができる。上述されたように、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビューコンポーネントが、ビュー間動き予測及びビュー間残差予測などのビュー間テクスチャ予測とは異なるタイプのビュー間予測で使用され得るとき、ビデオエンコーダ２０は、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］を１に等しく設定することができる。従って、これらの例では、ビデオエンコーダ２０は、他のタイプのビュー間予測で使用され得る参照ビューのみを含めることによって、参照ピクチャセットＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗを構築することができる。前述されたように、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］が２又は３のいずれかに設定されたとき、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、１に等しくなるように導出され得る。即ち、ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗに含まれる参照ビューの全ては、（ビュー間動き予測又はビュー間残差予測などの）ビュー間テクスチャ予測とは異なるタイプのビュー間予測で使用され得るが、それらのうちの幾つかはビュー間テクスチャ予測でも使用され得る。
[0212]上述されたＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ及びＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗの構築は、マルチビュービデオコード化及び３Ｄビデオコード化に関係したが、同様のプロセスは、スケーラブルビデオコード化を使用する技法に適用され得る。例えば、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ要素及びＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ要素は、同じ擬似コードを使用して構築され得る。しかしながら、それぞれ、ビュー間テクスチャ予測及び他のタイプのビュー間予測で使用され得るビューのみを含む要素の代わりに、要素は、それぞれ、ビュー間テクスチャ予測及び他のタイプのビュー間予測で使用され得るスケーラブルレイヤのみを含むはずである。ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］要素及びｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］要素に関して前述されたように、要素のうちの幾つかは、それらの本質的な動作を変更せずに異なるように命名され得る。
[0213]現在ビューのビューコンポーネントの場合、ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ［ｊ］のビュー間コンポーネントは、ｊの順序インデックスを増大させることによって順序付けされ得るし、ここで、ｊは両端値を含む０からＮｕｍＯｔｈｅｒＲｅｆＩｎｔｅｒＶｉｅｗ−１までの範囲である。ビデオエンコーダ２０は、適切な予測値を見出すまで、０からＮｕｍＯｔｈｅｒＲｅｆＩｎｔｅｒＶｉｅｗ−１までＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ［ｊ］を辿って実行することができる。ビデオエンコーダ２０が適切な予測値の参照ビューを見出すと、ビデオエンコーダ２０はその予測値を選択し、他のビュー間コンポーネントは検査されない。
[0214]ビデオエンコーダ２０は、アクセス単位の現在のビューコンポーネントの参照ピクチャセットに基づいて、現在のビューコンポーネント用の参照ピクチャリストを生成することができる。参照ピクチャセットは、アクセス単位に属し、様々なビューに関連付けられた複数のビューコンポーネントを含む、１つ又は複数のビュー間参照ピクチャセット、例えばＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ、ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗ、及び本明細書に記載された他のビュー間参照セットを含む場合がある。参照ピクチャリストを生成するとき、ビデオエンコーダ２０は、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗに属さないインデックスを有する参照ビューを除外することができる。従って、ビュー間動き予測又はビュー間残差予測などのビュー間テクスチャ予測とは異なるタイプのビュー間予測のみで使用され得る参照ビューは、前述されたように、参照ピクチャリストの初期化又は修正では使用されない。
[0215]更に、ビデオエンコーダ２０は、参照ピクチャリスト内の１つ又は複数の参照ピクチャに基づいて、現在のビューコンポーネントを符号化することができる。ビデオエンコーダ２０は、現在のビューコンポーネントの参照ピクチャセットを示すシンタックス要素を含むビットストリームを生成することができる。
[0216]更に、本開示の技法によれば、ビデオデコーダ３０は、ビットストリームから、アクセス単位の現在のビューコンポーネントの参照ピクチャセットを示すシンタックス要素を構文解析することができ、参照ピクチャセットは、アクセス単位に属し、様々なビューに関連付けられた複数のビューコンポーネントを含むビュー間参照ピクチャセットを含む。ビデオデコーダ３０は、参照ピクチャセットに基づいて、現在のビューコンポーネント用の参照ピクチャリストを生成することができる。加えて、ビデオデコーダ３０は、参照ピクチャリスト内の１つ又は複数の参照ピクチャに少なくとも部分的に基づいて、現在のビューコンポーネントを復号することができる。
[0217]（ビデオエンコーダ２０又はビデオデコーダ３０などの）ビデオコーダが現在のビューコンポーネント用の参照ピクチャリスト０と参照ピクチャリスト１とを初期化するとき、ビデオコーダは、参照ピクチャリスト０及び参照ピクチャリスト１の中のＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗからの参照ビューコンポーネントを含める。幾つかの例では、ビデオコーダは、参照ピクチャリスト０及び参照ピクチャリスト１がビュー間参照ピクチャセット（ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）の各ビューコンポーネントを含むように、参照ピクチャリスト０と参照ピクチャリスト１とを生成する。ビデオコーダは、様々な既定の順序に従って、参照ピクチャリスト０及び参照ピクチャリスト１の中の様々な位置にある、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗからの参照ビューコンポーネントを含めることができる。
[0218]第１の例示的な順序では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネントが続くように、参照ピクチャリスト０を初期化する。この例では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネントが続くように、参照ピクチャリスト１を初期化する。従って、この例では、ビデオデコーダ３０は、第１のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０）又は第２のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１）が参照ピクチャリスト内で最初に出現し、ビュー間参照ピクチャセット（即ち、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）が続くように、参照ピクチャリスト（例えば、リスト０又はリスト１）を生成することができる。
[0219]第２の例示的な順序では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネントが続くように、参照ピクチャリスト０を初期化する。この例では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネントが続くように、参照ピクチャリスト１を初期化する。従って、この例では、ビデオデコーダ３０は、第１のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０）及び第２のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１）が参照ピクチャリスト内で出現し、ビュー間参照ピクチャセット（即ち、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）が続くように、参照ピクチャリスト（例えば、リスト０又はリスト１）を生成することができる。
[0220]第３の例示的な順序では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネントが続くように、参照ピクチャリスト０を初期化する。この例では、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１内のビューコンポーネントが最初に列記され、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０内のビューコンポーネント、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ内のビューコンポーネント、及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ内のビューコンポーネントが続くように、参照ピクチャリスト１を初期化する。従って、この第３の例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ（ビュー間参照ピクチャセット）内のビューコンポーネントは、参照ピクチャリスト０及び参照ピクチャリスト１の中で最後に出現する。即ち、この例では、ビデオデコーダ３０は、第１のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０）、第２のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１）、第５のサブセット（即ち、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ）が参照ピクチャリスト内で出現し、ビュー間参照ピクチャセット（即ち、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ）が続くように、参照ピクチャリスト（例えば、リスト０又はリスト１）を生成することができる。
[0221]幾つかの例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗは、２つのサブセット、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄに更に分割される。ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄは、現在のビューコンポーネントのビュー識別子よりも小さいビュー識別子を有する、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗの参照ビューコンポーネントを含む。ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄは、現在のビューコンポーネントのビュー識別子よりも大きいビュー識別子を有する、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗの参照ビューコンポーネントを含む。ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ内のビューコンポーネントの順序及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ内のビューコンポーネントの順序は、対応するＳＰＳ内で信号伝達された順序と同じである。即ち、任意のビューＡ及びビューＢについて、ビューＡとビューＢの両方が現在ビューのｖｉｅｗ＿ｉｄよりも大きいｖｉｅｗ＿ｉｄ値を有し、ビューＡがＳＰＳ内でビューＢに先行する場合、ビューＡのビューコンポーネントは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ内でビューＢのビューコンポーネントに先行する。ビューＡとビューＢの両方が現在ビューのｖｉｅｗ＿ｉｄよりも小さいｖｉｅｗ＿ｉｄ値を有し、ビューＡがＳＰＳ内でビューＢに先行する場合、ビューＡのビューコンポーネントは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ内でビューＢのビューコンポーネントに先行する。
[0222]他の例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄは、現在のビューコンポーネントのビュー順序インデックスよりも小さいビュー順序インデックスを有する、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗの参照ビューコンポーネントを含む。ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄは、現在のビューコンポーネントのビュー順序インデックスよりも大きいビュー順序インデックスを有する、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗの参照ビューコンポーネントを含む。ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ内のビューコンポーネントの順序及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ内のビューコンポーネントの順序は、対応するＳＰＳ内で信号伝達された順序と同じである。即ち、任意のビューＡ及びビューＢについて、ビューＡとビューＢの両方が現在ビューのビュー順序インデックスよりも大きいビュー順序インデックス値を有し、ビューＡがＳＰＳ内でビューＢに先行する場合、ビューＡのビューコンポーネントは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ内でビューＢのビューコンポーネントに先行する。ビューＡとビューＢの両方が現在ビューのビュー順序インデックスよりも小さいビュー順序インデックス値を有し、ビューＡがＳＰＳ内でビューＢに先行する場合、ビューＡのビューコンポーネントは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ内でビューＢのビューコンポーネントに先行する。
[0223]幾つかの例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗは、シーケンスパラメータセット内で信号伝達されたビュー依存性シンタックス要素を使用することによって導出される。そのような例では、クリーンランダムアクセス（ＣＲＡ）のアクセス単位と等価なアンカーアクセス単位に現在のビューコンポーネントが属するとき、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄは、ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］に等しくなるように導出され得る。全てのｊの値について、現在のビューコンポーネントが非アンカーアクセス単位に属するとき、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄは、ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］に等しくなるように導出され得る。ＣＲＡのアクセス単位と等価なアンカーアクセス単位に現在のビューコンポーネントが属するとき、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄは、ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］に等しくなるように導出される。全てのｊの値について、現在のビューコンポーネントが非アンカーアクセス単位に属するとき、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄは、ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］に等しくなるように導出され得る。
[0224]幾つかの例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄに更に分割され、ビデオコーダは、参照ピクチャリスト０がＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄからの参照ビューコンポーネントを含むが、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄからの参照ビューコンポーネントを含まないように、参照ピクチャリスト０を初期化することができる。ビデオコーダは、参照ピクチャリスト１がＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒｎ、及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄからの参照ビューコンポーネントを含むが、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄからの参照ビューコンポーネントを含まないように、参照ピクチャリスト１を初期化することができる。
[0225]従って、ビデオコーダは、第１の参照ピクチャリストがビュー間参照ピクチャの第１のサブセット（例えば、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ）を含み、ビュー間参照ピクチャの第２のサブセット（例えば、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ）を含まないように、第１の参照ピクチャリスト（例えば、リスト０）を生成することができる。更に、ビデオコーダは、第２の参照ピクチャリストがビュー間参照ピクチャの第２のサブセット（例えば、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄ）を含み、ビュー間参照ピクチャの第１のサブセット（例えば、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ）を含まないように、第２の参照ピクチャリスト（例えば、リスト１）を生成することができる。
[0226]代替として、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗがＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄ及びＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄに更に分割される幾つかの例では、ビデオコーダは、上述された第１、第２、又は第３の例示的な順序に従って、参照ピクチャリスト０と参照ピクチャリスト１とを初期化することができる。しかしながら、ビデオコーダが参照ピクチャリスト０内のビュー間参照ビューコンポーネントを含めるとき、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄからのビュー間参照ビューコンポーネントの前に、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄからの各ビュー間参照ビューコンポーネントを含めることができる。ビデオコーダが参照ピクチャリスト１内のビュー間参照ビューコンポーネントを含めるとき、ビデオコーダは、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＦｗｄからの任意のビュー間参照ビューコンポーネントの前に、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗＢｗｄからの各ビュー間参照ビューコンポーネントを含めることができる。
[0227]図４は、本開示の技法を実施できるビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ブロック、又はブロックの区分若しくはサブ区分を含む、ビデオフレーム内のブロックのイントラコード化とインターコード化とを実行することができる。イントラコード化は、空間的予測に依拠して、所与のビデオフレーム内のビデオにおける空間的冗長性を低減又は除去する。インターコード化は、時間的予測に依拠して、ビデオシーケンスの隣接するフレーム内のビデオにおける時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、幾つかの空間ベースの圧縮モードのいずれかを指す場合があり、かつ単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指す場合がある。図４ではインターモード符号化用の構成要素が描写されているが、ビデオエンコーダ２０は、イントラモード符号化用の構成要素を更に含む場合があることを理解されたい。しかしながら、そのような構成要素は、簡潔さ及び明瞭さのために図示されていない。
[0228]図４に示されたように、ビデオエンコーダ２０は、ビデオフレーム内の符号化されるべき現在のビデオブロックを受信する。図４の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコード化ユニット５６とを含む。次に、モード選択ユニット４０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分化ユニット４８とを含む。ビデオブロック復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。ブロック境界をフィルタ処理して、復元されたビデオからブロック歪み(blockiness artifacts)を除去するデブロッキングフィルタ（図４に図示せず）も含むことができる。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタ処理することになる。
[0229]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、１つ又は複数の参照フレーム内の１つ又は複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行して、時間圧縮を実現する。代替的に、イントラ予測ユニット４６は、コード化されるべきブロックと同じフレーム又はスライス内の１つ又は複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コード化を実行して、空間圧縮を実現する。ビデオエンコーダ２０は、複数のコード化パスを実行して、例えば、ビデオデータのブロックごとに適切なコード化モードを選択することができる。
[0230]その上、区分化ユニット４８は、以前のコード化パスにおける以前の区分化方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分化することができる。例えば、区分化ユニット４８は、最初にフレーム又はスライスをＬＣＵに区分化し、レート歪み分析（例えば、レート歪み最適化）に基づいて、ＬＣＵの各々をサブＣＵに区分化することができる。モード選択ユニット４０は更に、ＬＣＵをサブＣＵに区分化することを示す４分木データ構造を生成することができる。４分木のリーフノードＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含む場合がある。
[0231]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ちイントラ又はインターのうちの１つを選択し、得られたイントラコード化ブロック又はインターコード化ブロックを、加算器５０に提供して残差ブロックデータを生成し、加算器６２に提供して参照フレームとして使用するための符号化ブロックを復元することができる。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報などのシンタックス要素を、エントロピーコード化ユニット５６に提供する。
[0232]動き推定ユニット４２と動き補償ユニット４４は高度に統合できるが、概念的な目的のために別々に示される。動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又は他のコード化単位）内のコード化されている現在ブロックに対する予測参照フレーム（又は他のコード化単位）内の予測ブロックの変位を示すことができる。予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、又は他の差分メトリックによって決定できる画素差分に関して、コード化されるべきブロックに厳密に一致することが分かるブロックである。動きベクトルはまた、ブロックの区分の変位を示すことができる。動き補償は、動き推定によって決定された動きベクトルに基づいて、予測ブロックを取得又は生成することに関与することができる。この場合も、幾つかの例では、動き推定ユニット４２と動き補償ユニット４４は機能的に統合することができる。
[0233]動き推定ユニット４２は、ビデオブロックを参照フレームメモリ６４内の参照フレームのビデオブロックと比較することによって、インターコード化フレームのビデオブロックについての動きベクトルを計算する。動き補償ユニット４４はまた、参照フレーム、例えば、Ｉフレーム又はＰフレームのサブ整数画素を補間することができる。例として、ＩＴＵ Ｈ．２６４規格は、２つのリスト、即ち、符号化されている現在のフレームよりも前の表示順序を有する参照フレームを含むリスト０と、符号化されている現在のフレームよりも後の表示順序を有する参照フレームを含むリスト１とを記述する。従って、参照フレームメモリ６４に記憶されたデータは、これらのリストに従って編成され得る。
[0234]動き推定ユニット４２は、参照フレームメモリ６４からの１つ又は複数の参照フレームのブロックを、現在のフレーム、例えばＰフレーム又はＢフレームの符号化されるべきブロックと比較する。参照フレームメモリ６４内の参照フレームがサブ整数画素についての値を含むとき、動き推定ユニット４２によって計算される動きベクトルは、参照フレームのサブ整数画素位置を指すことができる。動き推定ユニット４２及び／又は動き補償ユニット４４はまた、サブ整数画素位置についての値が参照フレームメモリ６４に記憶されていない場合、参照フレームメモリ６４に記憶された参照フレームのサブ整数画素位置についての値を計算するように構成され得る。動き推定ユニット４２は、計算された動きベクトルをエントロピーコード化ユニット５６及び動き補償ユニット４４に送る。動きベクトルによって識別される参照フレームブロックは、予測ブロックと呼ばれる場合がある。動き補償ユニット４４は、予測ブロックに基づいて予測データを計算することができる。
[0235]イントラ予測ユニット４６は、上述の動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測することができる。詳細には、イントラ予測ユニット４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パスの間、様々なイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
[0236]例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードについてのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロック用の最良のレート歪み値を呈するかを決定するために、様々な符号化ブロック用の歪み及びレートから比率を計算することができる。ブロック用のイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロック用に選択されたイントラ予測モードを示す情報を、エントロピーコード化ユニット５６に提供することができる。
[0237]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を代表する。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、概念的にＤＣＴに類似する、Ｈ． ２６４規格又は来たるＨＥＶＣ規格によって定義される変換などの他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用することができる。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から、周波数領域などの変換領域に変換することができる。量子化ユニット５４は、残差変換係数を量子化してビットレートを更に低減する。量子化プロセスは、係数の一部又は全部に関連するビット深さを低減することができる。量子化の程度は、量子化パラメータを調整することによって修正することができる。
[0238]量子化の後、エントロピーコード化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピーコード化ユニット５６は、コンテンツ適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）又は別のエントロピーコード化技法を実行することができる。エントロピーコード化ユニット５６によるエントロピーコード化の後、符号化されたビデオは、別の機器に送信されるか、又は後で送信するか若しくは取り出すためにアーカイブすることができる。コンテキスト適応型バイナリ算術コード化の場合、コンテキストは隣接ブロックに基づく場合がある。
[0239]場合によっては、エントロピーコード化ユニット５６又はビデオエンコーダ２０の別のユニットは、エントロピーコード化に加えて、他のコード化機能を実行するように構成され得る。例えば、エントロピーコード化ユニット５６は、ブロック及び区分についてのＣＢＰ値を決定するように構成され得る。また、場合によっては、エントロピーコード化ユニット５６は、ブロック又はその区分内の係数のランレングスコード化を実行することができる。特に、エントロピーコード化ユニット５６は、ジグザグスキャン又は他のスキャンパターンを適用して、ブロック又は区分内の変換係数をスキャンし、更なる圧縮のためにゼロのランを符号化することができる。エントロピーコード化ユニット５６はまた、符号化ビデオビットストリーム内での送信用の適切なシンタックス要素を有するヘッダ情報を構築することができる。
[0240]逆量子化ユニット５８及び逆変換ユニット６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域内の残差ブロックを復元する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって、参照ブロックを計算することができる。動き補償ユニット４４はまた、復元された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算することができる。加算器６２は、復元された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための復元されたビデオブロックを生成する。復元されたビデオブロックは、後続ビデオフレーム内のブロックをインターコード化するために、動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用することができる。
[0241]ビデオエンコーダ２０は、上述のように、幾つかのシンタックス要素を生成することができ、それらはエントロピー符号化ユニット５６又はビデオエンコーダ２０の別の符号化ユニットによって符号化することができる。幾つかの例では、ビデオエンコーダ２０は、上述のように、ＭＶＣビットストリーム用のシンタックス要素を生成し符号化することができる。
[0242]上記のように、ビデオエンコーダ２０は、ビュー依存性、即ち、所与のビューを復元するためにデコーダがどのビューをビュー間予測で使用できるかを信号伝達することができる。本開示の態様によれば、また上記のように、ビデオエンコーダ２０は更に、依存ビューに関連付けられたビュー間予測のタイプを信号伝達することができる。例えば、ビデオエンコーダ２０は、特定の依存ビューが、所与のビューについて、ビュー間テクスチャ予測、ビュー間動き予測、及び／又はビュー間残差予測に関連付けられていることを信号伝達することができる。
[0243]同じく上記のように、ビデオエンコーダ２０は、スケーラブルレイヤ依存性、即ち、所与のビューを復元するためにデコーダがどのスケーラブルレイヤをレイヤ間予測で使用できるかを信号伝達することができる。本開示の態様によれば、また上記のように、ビデオエンコーダ２０は更に、依存スケーラブルレイヤに関連付けられたレイヤ間予測のタイプを信号伝達することができる。例えば、ビデオエンコーダ２０は、特定の依存スケーラブルレイヤが、所与のレイヤについて、レイヤ間テクスチャ予測、レイヤ間動き予測、及び／又はレイヤ間残差予測に関連付けられていることを信号伝達することができる。
[0244]同じく本開示の態様によれば、ビデオエンコーダ２０は、１つ又は複数の参照ピクチャリスト（リスト０及びリスト１）を構築することができる。ビデオエンコーダ２０は更に、１つ又は複数の参照ピクチャセット（ＲＰＳ）とサブセットとを構築することができる。本開示の態様によれば、ビデオエンコーダ２０は、候補参照ビューに関連付けられたビュー間予測のタイプに基づいて、１つ以上の参照ピクチャリスト、又は１つ以上の参照ピクチャセット若しくはサブセットを構築することができる。例えば、ビデオエンコーダは、ビュー間テクスチャ予測、ビュー間動き予測、及びビュー間残差予測などの、１つのタイプのビュー間予測のみに使用され得る、参照候補ビューのうちの一部又は全部を除外することができる。スケーラブルビデオコード化技法に適用可能な例では、ビデオエンコーダ２０は、候補スケーラブルレイヤに関連付けられたレイヤ間予測のタイプに基づいて、１つ又は複数の参照ピクチャリストと、１つ又は複数の参照ピクチャセット又はサブセットとを構築することができる。
[0245]図５は、本開示の技法を実装できるビデオデコーダ３０の例を示すブロック図である。図５の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。幾つかの例では、ビデオデコーダ３０は、ビデオエンコーダ２０（図４）に関して記載された符号化パスとは全体的に逆の復号パスを実行することができる。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて、予測データを生成することができる。
[0246]復号プロセス中に、ビデオデコーダは、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオのビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、ビットストリームをエントロピー復号して、量子化係数と、動きベクトルと、他のシンタックス要素とを生成する。エントロピー復号ユニット７０は、動き補償ユニット７２とイントラ予測ユニット７４とに動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信することができる。
[0247]例えば、ビデオデコーダ３０は、ビデオエンコーダ２０からの様々なパラメータセット内のシンタックス要素の数を受信することができる。パラメータセットは、上述のＳＰＳ、ＰＰＳ、又は他のパラメータセットなどのシーケンスレベルヘッダ情報を含んでいる場合がある。
[0248]本開示の態様によれば、ビデオデコーダ３０は、ビュー間予測参照間のビュー依存性を示すシンタックス要素を受信することができる。例えば、１つ又は複数のシンタックス要素は、所与のビューについて、上述されたビュー間予測プロセス、即ち、ビュー間テクスチャ予測、ビュー間動き予測、及びビュー間残差予測のうちの１つ又は複数をビデオデコーダ３０が実行することを可能にすることによって、所与のビューを復元するためにビデオデコーダ３０によって使用され得る、ビュー間依存ビューの全てを指定することができる。ビデオデコーダ３０はまた、各依存ビュー間参照に関連付けられたビュー間予測の１つ又は複数のタイプを示す、１つ又は複数の他のシンタックス要素を受信することができる。
[0249]幾つかの例では、本開示の態様によれば、ビデオデコーダ３０は、１つ又は複数の参照ピクチャリスト又は参照ピクチャセット（ＲＰＳ）若しくはサブセットを導出することができる。例えば、ビデオデコーダ３０は、ビュー間参照間のビュー間依存性を示す１つ又は複数のシンタックス要素を受信することができる。加えて、ビデオデコーダ３０は、ビュー間参照ピクチャの各々について、ビュー間予測のタイプ、即ち、ビュー間テクスチャ予測、ビュー間動き予測、及びビュー間残差予測を示す、１つ又は複数のシンタックス要素を受信することができる。各ビュー間参照に関連付けられたビュー間予測の１つ又は複数のタイプに基づいて、又は、幾つかの例では各ビュー間参照に関連付けられたビュー間予測の様々なタイプの数に基づいて、ビデオデコーダ３０は、ビュー間予測の特定のタイプのみに関連付けられた最終的なリスト、セット、又はサブセットに含まれるビュー間参照を除外又は最小化するように、参照ピクチャのリスト、セット、又はサブセットを構築することができる。代替として、ビデオデコーダ３０は、ビュー間予測の単一のタイプのみに関連付けられた最終的なリスト、セット、又はサブセットに含まれるビュー間参照を除外又は最小化するように、参照ピクチャのリスト、セット、又はサブセットを構築することができる。更に、ビデオコーダ３０は、依存性がレイヤ間依存性であることを除いて、スケーラブルビデオコード化技法に関して同様の方式で動作することができる。
[0250]動き補償ユニット７２は、ビットストリーム内で受信された動きベクトルを使用して、参照フレームメモリ８２内の参照フレームの中の予測ブロックを識別することができる。イントラ予測ユニット７４は、ビットストリーム内で受信されたイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成することができる。逆量子化ユニット７６は、ビットストリーム内で与えられ、エントロピー復号ユニット７０によって復号された量子化ブロック係数を逆量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、例えば、Ｈ．２６４復号規格によって定義された従来のプロセスを含む場合がある。逆量子化プロセスはまた、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するために、ブロックごとにエンコーダ２０によって計算された量子化パラメータＱＰYの使用を含む場合がある。
[0251]逆変換ユニット５８は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。動き補償ユニット７２は、動き補償されたブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行する。サブ画素精度を有する動き推定に使用されるべき補間フィルタ用の識別子は、シンタックス要素に含まれる場合がある。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素についての補間値を計算することができる。動き補償ユニット７２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成することができる。
[0252]動き補償ユニット７２は、シンタックス情報の幾つかを使用して、符号化ビデオシーケンスのフレームを符号化するために使用されるブロックのサイズと、符号化ビデオシーケンスのフレームの各ブロックがどのように区分化されるかを記述する区分情報と、各区分がどのように符号化されるかを示すモードと、各インター符号化ブロック又は区分用の１つ又は複数の参照フレーム（及び参照フレームリスト）と、符号化ビデオシーケンスを復号するための他の情報とを決定する。
[0253]加算器８０は、残差ブロックを、動き補償ユニット７２又はイントラ予測ユニット７４によって生成された対応する予測ブロックと合計して、復号ブロックを形成する。必要な場合、ブロック歪みを除去するために、デブロッキングフィルタも適用されて、復号されたブロックをフィルタ処理することができる。次いで、復号されたビデオブロックは、その後の動き補償に参照ブロックを提供する参照フレームメモリ８２に記憶され、表示装置（図１の表示装置３２など）上に提示するための、復号されたビデオも生成する。
[0254]図６は、マルチビュービットストリームを符号化する例示的な方法を示す流れ図である。図６に示された例は、全体的に、ビデオエンコーダ２０（図１及び図４）によって実行されるものとして記載される。しかしながら、図６に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化ユニットなどによって遂行できることを理解されたい。
[0255]図６の例では、ビデオエンコーダ２０は、複数のビューコンポーネント用のビデオデータを符号化することができる（１１０）。例えば、ビデオエンコーダ２０は、複数の複数の異なるビューを符号化することができ、各ビューは、共通のシーンの対応するビデオデータが撮影される異なる視点又は角度に対応する。上記のように、特定のビューの特定のピクチャはビューコンポーネントと呼ばれる。即ち、ビューのビューコンポーネントは、ビューの特定の時間インスタンスに対応する。
[0256]ビデオエンコーダ２０はまた、ビュー依存関係の指示を符号化することができる（１１２）。例えば、所与のビューについて、ビデオエンコーダ２０は、他のビューを使用して所与のビュー内のデータを予測することができる。上述されたように、この予測はビュー間予測であり得るし、より具体的には、ビュー間テクスチャ予測、又はビュー間動き予測又はビュー間残差予測などの他のビュー間予測であり得る。ビデオエンコーダ２０は、ビデオエンコーダ２０が所与のビューの一部分のビュー間予測で使用できる各ビューは依存ビューであると決定することができる。上述されたように、ビデオエンコーダ２０は、これらのビュー間予測参照を、ＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１などのリスト内の依存ビューとして指定することができる。更に、ビデオエンコーダ２０は、１つ又は複数のシンタックス要素を使用することによって、所与のビューに関連付けられたビュー間予測参照を追跡することができる。例えば、上述されたように、ビデオエンコーダ２０は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］などのシンタックス要素を使用して、ビュー間予測参照のビュー順序インデックスを指定することができる。
[0257]幾つかの例では、本開示の態様によれば、ビデオエンコーダ２０は、各依存ビューに関連付けられた指示と、依存ビューに関連付けられた予測のタイプを指定する指示とを符号化することができる（１１４）。例えば、各ビュー間予測参照は、所与のビューについてのインター予測の１つ又は複数のタイプに関連付けられ得る。ビデオエンコーダ２０は、ビュー間予測参照がどのインター予測のタイプ（即ち、ビュー間テクスチャ予測、ビュー間動き予測、及びビュー間残差予測のうちの１つ又は複数）に関連付けられるかを決定することができる。ビデオエンコーダ２０はまた、１つ又は複数のシンタックス要素を使用して各ビュー間予測参照に関連付けられたインター予測のタイプを示すことができる。
[0258]本開示の態様によれば、上で説明されたように、ビデオエンコーダ２０は、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］のようなシンタックス要素を符号化して、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビュー間予測参照が、参照ピクチャリスト構築のために使用されることになるビュー間ＲＰＳサブセットに含まれることになるかどうかを指定することができる。少なくとも幾つかの例では、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］は０に等しく設定され、これは、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビュー間予測参照がビュー間テクスチャ予測において使用されないことを意味し得る。
[0259]本開示の態様によれば、ビデオエンコーダ２０は、ビュー間予測参照と関連付けられる追加のタイプのインター予測を指定し得る、追加のシンタックス要素を符号化することができる。例えば、前に説明されたように、ビデオエンコーダ２０は、ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］のようなシンタックス要素を使用することができる。ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビュー間予測参照が、所与のビューｉについて、他のビュー間予測、例えばビュー間テクスチャ予測又はビュー間レジデュラ予測で使用され得るかどうかを示すことができる。
[0260]本開示の態様による他の例では、ビデオエンコーダは、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］のような別のシンタックス要素を利用することができ、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］は、ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］に等しいビュー順序インデックスを有するビュー間予測参照がビュー間テクスチャ予測に使用され得るかどうかと、ビュー間予測参照が他のビュー間予測に使用され得るかどうかとの、両方を示すことができる。ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］の決定に基づいて、ビデオエンコーダ２０は、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］及びＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］のような他のシンタックス要素を導出することができる。
[0261]前に説明されたように、図６に関して説明されたものと同じ技法が、依存性がビュー間の依存性とは対照的にレイヤ間の依存性に関することを除いて、スケーラブルビデオコード化の実施の状況において適用され得る。
[0262]図７は、マルチビュービットストリームを復号する例示的な方法を示す流れ図である。図７に示された例は、全体的に、ビデオデコーダ３０（図１及び図５）によって実行されるものとして記載される。しかしながら、図７に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化単位などによって遂行できることを理解されたい。
[0263]図７の例では、ビデオデコーダ３０は、複数のビューコンポーネント用の符号化ビデオデータを受信することができる（１５０）。符号化ビデオデータは、複数の異なるビューを含んでよく、各ビューは、共通のシーンの対応するビデオデータが撮影される異なる視点又は角度に対応する。
[0264]本開示の態様によれば、図６に関して説明されたように、ビデオデコーダ３０は追加で、ビュー依存性の指示を受信することができる（１５２）。例えば、ビデオデコーダ３０は、ビュー間のビュー依存関係を示す、１つ以上のシンタックス要素又は参照ピクチャリスト若しくはセットを受信することができる。
[0265]本開示の態様によれば、ビデオデコーダはまた、各依存ビューに関連付けられた指示と、依存ビューに関連付けられた予測のタイプを指定する指示とを受信することができる（１５４）。例えば、ビデオデコーダ３０は、ビデオエンコーダ２０又は介在する機器から１つ又は複数のシンタックス要素を受信することができる。図６に関して説明された、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］、ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］、及びＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］のようなこれらのシンタックス要素は、所与のビューｉと所与のビューｉの依存ビューの全てとの間の、１つ又は複数の特定のタイプのインター予測関係を示すことができる。
[0266]ビデオデコーダ３０はまた、受信された情報を使用して、マルチビュービデオデータを復号することができる（１５６）。即ち、例えば、ビデオデコーダは、ビューの各々を復号し、受信された別個の情報を使用して適切なビュー識別子を決定することができる。次いで、ビデオデコーダ３０は、例えば、表示装置３２に、ビューを使用する３Ｄ表現を提示することができる。
[0267]前に説明されたように、図７に関して説明された同じ技法が、依存性がビュー間の依存性とは対照的にレイヤ間の依存性に関することを除いて、スケーラブルビデオコード化の実施の状況において適用され得る。
[0268]図８は、マルチビュービットストリームを符号化する例示的な方法を示す流れ図である。図８に示された例は、全体的に、ビデオエンコーダ２０（図１及び図４）によって実行されるものとして記載される。他の例では、図８に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化単位などによって遂行することができる。図８の例では、ビデオエンコーダ２０は、現在のビューコンポーネントの参照ピクチャセット、参照ピクチャリストに基づいて、ビュー間動き予測又はビュー間残差予測のみに関連付けられるビュー間参照を除くビュー間参照ピクチャセットを含む参照ピクチャセットを生成することができる（２１０）。
[0269]本開示の態様によれば、少なくとも一例では、ビデオエンコーダ２０は、ビュー間予測参照に関連付けられる特定のビュー間予測の１つ又は複数のタイプを信号伝達することができる。例えば、ビデオエンコーダ２０は、本明細書で前に説明され図６に関して更に説明されたもののような、１つ又は複数のシンタックス要素を使用することができる。加えて、ビデオエンコーダ２０は、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ及びＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗのような、１つ又は複数の参照ピクチャセットを含む参照ピクチャセットを導出することができる。幾つかの例では、ビデオエンコーダ２０は、ビュー間動き予測又はビュー間残差予測のような、ビュー間テクスチャ予測以外のビュー間予測のみに関連付けられるビュー間参照を除くように、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗを導出することができる。ビュー間テクスチャ予測以外のビュー間予測のみに関連付けられるビュー間参照をビュー間参照ピクチャセットに含めることは、コード化効率を低下させ得る。ビデオエンコーダ２０は、ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗも導出することができ、これは、ビュー間テクスチャ予測以外のタイプのビュー間予測に関連付けられる全てのビュー間参照を含む参照ピクチャセットであり得る。しかし、これは、ビュー間テクスチャ予測にも関連付けられるビュー間参照を排除しない。
[0270]ビデオエンコーダ２０はまた、参照ピクチャリスト内の１つ又は複数の参照ピクチャに基づいて、現在のビューコンポーネントを符号化することができる（２１２）。ビデオエンコーダ２０は、現在のビューコンポーネントの参照ピクチャセットを示すシンタックス要素を含むビットストリームを生成することができる（２１４）。
[0271]図８に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図８の方法のステップは、必ずしも図８に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
[0272]前に説明されたように、図８に関して説明された同じ技法が、依存性がビュー間の依存性とは対照的にレイヤ間の依存性に関することを除いて、スケーラブルビデオコード化の実施の状況において適用され得る。
[0273]図９は、マルチビュービットストリームを復号する例示的な方法を示す流れ図である。図９に示された例は、全体的に、ビデオデコーダ３０（図１及び図５）によって実行されるものとして記載される。他の例では、図９に関して記載されたプロセスは、様々な他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化単位などによって遂行することができる。
[0274]図９に示される例では、ビデオデコーダ３０は、ビットストリーム、アクセス単位の現在のビューコンポーネントの参照ピクチャセットを示すシンタックス要素から、ビュー間動き予測又はビュー間残差予測のみに関連付けられるビュー間参照を除くビュー間参照ピクチャセットを含む参照ピクチャセットを解析することができる（２５０）。例えば、本明細書で前に説明され図６に関して更に説明されたもののような、シンタックス要素の１つ又は複数が、依存ビューに関連付けられるインター予測関係を指定することができる。本開示の態様によれば、シンタックス要素はまた、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗ及びＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗのような、１つ又は複数の参照ピクチャセットを含む参照ピクチャセットを指定することができる。幾つかの例では、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＶｉｅｗは、ビュー間動き予測又はビュー間残差予測のような、ビュー間テクスチャ予測以外のビュー間予測のみに関連付けられるビュー間参照を除く、参照ピクチャセットであり得る。ＯｔｈｅｒＲｅｆＳｅｔＩｎｔｅｒＶｉｅｗは、ビュー間テクスチャ予測以外のタイプのビュー間予測に関連付けられる全てのビュー間参照を含む参照ピクチャセットであり得る。しかし、これは、ビュー間テクスチャ予測にも関連付けられるビュー間参照を排除しない。幾つかの例によれば、ビデオデコーダ３０は、解析されたシンタックス要素に基づいて、１つ又は複数の参照ピクチャを導出することができる。
[0275]本開示の態様によれば、少なくとも一例では、ビデオデコーダ３０は、参照ピクチャセットに基づいて、現在のビューコンポーネントに対する参照ピクチャリストを生成することができる（２５２）。ビデオデコーダ３０はまた、参照ピクチャリスト内の１つ又は複数の参照ピクチャに基づいて、現在のビューコンポーネントを符号化することができる（２５３）。
[0276]図９に関して図示及び記載されたステップは、一例として提供されたにすぎないことを理解されたい。即ち、図９の方法のステップは、必ずしも図９に示された順序で実行される必要があるとは限らず、より少ない、追加の、又は代替のステップを実行することができる。
[0277]前に説明されたように、図９に関して説明された同じ技法が、依存性がビュー間の依存性とは対照的にレイヤ間の依存性に関することを除いて、スケーラブルビデオコード化の実施の状況において適用され得る。
[0278]本開示に関して記載された特定のシンタックス要素は、説明の目的で例示的な名称を提供されたが、本開示に記載された概念は、名称にかかわらず、より一般的に任意のシンタックス要素に適用可能であることを理解されたい。例えば、特定の態様が「ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］［ｊ］」、「ｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｉｄｃ［ｉ］［ｊ］」又は「ＩｎｔｅｒＶｉｅｗＯｔｈｅｒＦｌａｇ［ｉ］［ｊ］」に言及するが、そのようなシンタックス要素は、将来のコード化規約において代替の名称を与えられる可能性があることを理解されたい。
[0279]本開示の特定の技法が新ＨＥＶＣ規格を含むＭＶＣ／ＡＶＣ及び他の修正されたコード化技法に関して記載されたが、本技法は任意の特定のコード化規格に限定されないことを理解されたい。即ち、これらの技法は全般に、例えば、依存ビューとしてビュー間参照を信号伝達することに加えて、ビュー間参照に関連付けられるビュー間予測のタイプを信号伝達することを通じて、マルチビュービデオコード化におけるコード化の効率性を達成することに関する。幾つかの例では、あるビュー間参照は、ビュー間参照に関連付けられるビュー間予測の１つ又は複数のタイプに基づいて、参照ピクチャリストから除かれ得る。他の例では、ビュー間参照は、ビュー間ピクチャ参照に関連付けられるビュー間予測のタイプの数に基づいて、参照ピクチャリストから除かれ得る。ビュー間テクスチャ予測のみ、又はより一般的には単一のタイプのビュー間予測のみのために使用され得る参照ピクチャリストに含まれるビュー間参照を最小化することは、より小さな参照ピクチャリストを可能にすることによってコード化効率を向上させ得る。
[0280]１つ又は複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せに実装することができる。ソフトウェアに実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行することができる。コンピュータ可読媒体は、例えば、データ記憶媒体などの有形媒体、又は、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は、（２）信号若しくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示に記載された技法を実装するための命令、コード及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータ、又は１つ又は複数のプロセッサによってアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
[0281]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージ機器、フラッシュメモリ、又は命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備えることができる。同様に、いかなる接続も厳密にはコンピュータ可読媒体と称される。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（登録商標）（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0282]更に他の例では、本開示は、その上に記憶されたデータ構造を備えるコンピュータ可読媒体を企図し、データ構造は本開示に一致する符号化ビットストリームを含む。具体的には、符号化ビットストリームは、ビュー依存性を信号伝達するための第１のシンタックス要素と、ビュー依存性の１つ又は複数に関連付けられる予測のタイプを信号伝達するための第２のシンタックス要素とを含み得る。そのようなシンタックス要素は、シーケンスパラメータセット（ＳＰＳ）中で信号伝達され得る。
[0283]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）などの１つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路若しくはディスクリート論理回路によって実行することができる。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書に記載された技法の実装に適した任意の他の構造のいずれかを指すことができる。加えて、幾つかの態様では、本明細書に記載された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュールの内部に提供でき、又は合成コーデックに組み込むことができる。また、本技法は、１つ又は複数の回路又は論理要素に完全に実装することができる。
[0284]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又は一組のＩＣ（例えば、チップセット）を含む、多種多様な機器又は装置に実装することができる。開示された技法を実行するように構成された機器の機能的態様を強調するために、様々な構成要素、モジュール、又はユニットが本開示に記載されたが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上述のように、様々なユニットが、適切なソフトウェア及び／又はファームウェアとともに、上述された１つ又は複数のプロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせることができるか、又は相互動作ハードウェアユニットの集合によって提供することができる。
様々な例が記載された。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
コード化ビットストリームから、所与のレイヤに関連付けられるレイヤ依存性を取得することと、
コード化ビットストリームから、前記レイヤ依存性の１つ以上に関連付けられる予測のタイプを取得することとを備える、方法。
［Ｃ２］
前記レイヤが、
ビュー、
ビューのテクスチャコンポーネント、
ビューの深度コンポーネント、
空間スケーラブルレイヤ、及び
品質スケーラブルレイヤ
のうちの１つである、Ｃ１に記載の方法。
［Ｃ３］
コード化ビットストリームから、前記レイヤ依存性を信号伝達するための第１のシンタックス要素を取得することと、
コード化ビットストリームから、前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達するための第２のシンタックス要素を取得することとを更に備える、Ｃ１に記載の方法。
［Ｃ４］
予測の前記タイプを取得することが、レイヤ間テクスチャ予測に使用され得る１つ以上のレイヤの指示を取得することを備える、Ｃ１に記載の方法。
［Ｃ５］
予測の前記タイプを取得することが、レイヤ間テクスチャ予測に使用され得ない１つ以上のレイヤの指示を取得することを備える、Ｃ１に記載の方法。
［Ｃ６］
予測の前記タイプを取得することが、レイヤ間動き予測にのみ使用され得る、又は、残差予測にのみ使用され得る、１つ以上のレイヤの指示を取得することを備える、Ｃ１に記載の方法。
［Ｃ７］
レイヤ依存性を取得することと予測の前記タイプを取得することの両方が、シーケンスパラメータセットにおいて発生する、Ｃ１に記載の方法。
［Ｃ８］
ビデオデータを符号化する方法であって、
所与のレイヤに関連付けられるレイヤ依存性を生成することと、
前記レイヤ依存性の１つ以上に関連付けられる予測のタイプを生成することとを備える、方法。
［Ｃ９］
前記レイヤが、
ビュー、
ビューのテクスチャコンポーネント、
ビューの深度コンポーネント、
空間スケーラブルレイヤ、及び
品質スケーラブルレイヤ
のうちの１つである、Ｃ８に記載の方法。
［Ｃ１０］
前記生成することがコード化ビットストリームで信号伝達することを含む、Ｃ８に記載の方法。
［Ｃ１１］
前記レイヤ依存性を信号伝達するための第１のシンタックス要素を生成することと、
前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達するための第２のシンタックス要素を生成することとを更に備える、Ｃ８に記載の方法。
［Ｃ１２］
予測の前記タイプを生成することが、レイヤ間テクスチャ予測に使用され得る１つ以上のレイヤの指示を生成することを備える、Ｃ８に記載の方法。
［Ｃ１３］
予測の前記タイプを生成することが、レイヤ間テクスチャ予測に使用され得ない１つ以上のレイヤの指示を生成することを備える、Ｃ８に記載の方法。
［Ｃ１４］
予測の前記タイプを生成することが、レイヤ間動き予測にのみ使用され得る、又は、残差予測にのみ使用され得る、１つ以上のレイヤの指示を生成することを備える、Ｃ８に記載の方法。
［Ｃ１５］
前記生成することが、前記レイヤ依存性と予測の前記タイプとを生成することと、シーケンスパラメータセットで信号伝達することとを備える、Ｃ８に記載の方法。
［Ｃ１６］
ビデオデータをコード化するための装置であって、
所与のレイヤに関連付けられるレイヤ依存性をコード化し、
前記レイヤ依存性の１つ以上に関連付けられる予測のタイプをコード化する
ように構成される１つ以上のプロセッサを備える、装置。
［Ｃ１７］
前記レイヤが、
ビュー、
ビューのテクスチャコンポーネント、
ビューの深度コンポーネント、
空間スケーラブルレイヤ、及び
品質スケーラブルレイヤ
のうちの１つである、Ｃ１６に記載の装置。
［Ｃ１８］
ビデオデータを記憶するように構成され前記プロセッサと通信しているメモリを更に備える、Ｃ１６に記載の装置。
［Ｃ１９］
ビデオデータをコード化することが符号化することを備え、前記符号化することが、生成することとコード化ビットストリームで信号伝達することとを備え、前記生成することが、
前記レイヤ依存性を信号伝達するための第１のシンタックス要素を生成することと、
前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達するための第２のシンタックス要素を生成することとを備える、Ｃ１６に記載の装置。
［Ｃ２０］
ビデオデータをコード化することが復号することを備え、前記復号することが、
コード化ビットストリームから、前記レイヤ依存性を信号伝達する第１のシンタックス要素を取得することと、
コード化ビットストリームから、前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達する第２のシンタックス要素を取得することとを備える、Ｃ１６に記載の装置。
［Ｃ２１］
予測の前記タイプをコード化することが、レイヤ間テクスチャ予測に使用され得る１つ以上のレイヤの指示をコード化することを備える、Ｃ１６に記載の装置。
［Ｃ２２］
予測の前記タイプをコード化することが、レイヤ間テクスチャ予測に使用され得ない１つ以上のレイヤの指示をコード化することを備える、Ｃ１６に記載の装置。
［Ｃ２３］
予測の前記タイプをコード化することが、レイヤ間動き予測にのみ使用され得る、又は、残差予測にのみ使用され得る、１つ以上のレイヤの指示をコード化することを備える、Ｃ１６に記載の装置。
［Ｃ２４］
前記コード化することが、前記レイヤ依存性と予測の前記タイプとをコード化し、シーケンスパラメータセットで信号伝達することを備える、Ｃ１６に記載の装置。
［Ｃ２５］
ビデオデータをコード化する機器であって、
所与のレイヤに関連付けられるレイヤ依存性をコード化するための手段と、
前記レイヤ依存性の１つ以上に関連付けられる予測のタイプをコード化するための手段とを備える、機器。
［Ｃ２６］
前記レイヤが、
ビュー、
ビューのテクスチャコンポーネント、
ビューの深度コンポーネント、
空間スケーラブルレイヤ、及び
品質スケーラブルレイヤ
のうちの１つである、Ｃ２５に記載の機器。
［Ｃ２７］
レイヤ依存性をコード化するための前記手段が、
前記レイヤ依存性を信号伝達するための第１のシンタックス要素を生成するための手段を備え、
予測のタイプをコード化するための手段が、前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達するための第２のシンタックス要素を生成するための手段を備える、Ｃ２５に記載の機器。
［Ｃ２８］
予測の前記タイプをコード化するための前記手段が、レイヤ間テクスチャ予測に使用され得る１つ以上のレイヤの指示をコード化するための手段を備える、Ｃ２５に記載の機器。
［Ｃ２９］
予測の前記タイプをコード化するための前記手段が、レイヤ間テクスチャ予測に使用され得ない１つ以上のレイヤの指示をコード化するための手段を備える、Ｃ２５に記載の機器。
［Ｃ３０］
予測の前記タイプをコード化するための前記手段が、レイヤ間動き予測にのみ使用され得る、又は、残差予測にのみ使用され得る、１つ以上のレイヤの指示をコード化するための手段を備える、Ｃ２５に記載の機器。
［Ｃ３１］
レイヤ依存性をコード化するための前記手段と予測の前記タイプをコード化するための前記手段の両方が、シーケンスパラメータセットの一部分を生成するための手段を備える、Ｃ２５に記載の機器。
［Ｃ３２］
実行されたとき、ビデオデータをコード化するための装置の１つ以上のプロセッサに、
所与のレイヤに関連付けられるレイヤ依存性をコード化させ、
前記レイヤ依存性の１つ以上に関連付けられる予測のタイプをコード化させる
命令を記憶した、非一時的コンピュータ可読記憶媒体。
［Ｃ３３］
前記レイヤが、
ビュー、
ビューのテクスチャコンポーネント、
ビューの深度コンポーネント、
空間スケーラブルレイヤ、及び
品質スケーラブルレイヤ
のうちの１つである、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３４］
前記１つ以上のプロセッサに、
前記レイヤ依存性を信号伝達するための第１のシンタックス要素を生成させ、
前記レイヤ依存性の１つ以上に関連付けられる予測の前記タイプを信号伝達するための第２のシンタックス要素を生成させる
命令を更に備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３５］
予測の前記タイプを信号伝達することが、レイヤ間テクスチャ予測に使用され得る１つ以上のレイヤの指示を信号伝達するための手段を備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３６］
予測の前記タイプをコード化することが、レイヤ間テクスチャ予測に使用され得ない１つ以上のレイヤの指示をコード化することを備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３７］
予測の前記タイプをコード化することが、レイヤ間動き予測にのみ使用され得る、又は、残差予測にのみ使用され得る、１つ以上のレイヤの指示をコード化することを備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３８］
レイヤ依存性をコード化することと予測の前記タイプをコード化することの両方が、シーケンスパラメータセットのコード化部分を備える、Ｃ３２に記載の非一時的コンピュータ可読記憶媒体。

Claims (15)

  1. ビデオデータを復号する方法であって、
    コード化ビットストリームから、所与のレイヤに関連付けられた依存レイヤの数を指定するシンタックス要素を取得することと、前記所与のレイヤに関連付けられた前記依存レイヤは、前記所与のレイヤを復号するために使用されるために利用可能なレイヤである、
    前記所与のレイヤに関連付けられた前記依存レイヤのそれぞれの依存レイヤごとに、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の第１のシンタックス要素を取得することと、前記それぞれの依存レイヤ用の前記第１のシンタックス要素は、前記それぞれの依存レイヤのビューインデックスを指定する、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素とは別個の、前記それぞれの依存レイヤ用の第２のシンタックス要素を取得することと、前記それぞれの依存レイヤ用の前記第２のシンタックス要素は、以下の予測のタイプ（１）テクスチャ予測であるが動き予測でない、（２）動き予測であるがテクスチャ予測でない、及び（３）テクスチャ予測と動き予測の両方、のうちのどの１つが前記それぞれの依存レイヤで使用可能であるかを示す、
    ビュー間参照ピクチャセットを含む参照ピクチャセット（ＲＰＳ）を構築することと、ここにおいて、前記所与のレイヤに関連付けられた前記依存レイヤは、特定の依存レイヤを含み、前記特定の依存レイヤで使用可能な予測のタイプがテクスチャ予測であることを前記特定の依存レイヤ用の前記第２のシンタックス要素が示すことに基づいて、前記ビュー間参照ピクチャセットは、前記特定の依存レイヤのビューインデックスに等しいビュー順序インデックスを有するビューコンポーネントを含む、
    前記ビデオデータのコード化ピクチャのインター予測のために前記ＲＰＳ中の参照ピクチャを使用することとを備える、方法。
  2. 前記所与のレイヤが、
    ビュー、
    ビューのテクスチャコンポーネント、
    ビューの深度コンポーネント、
    空間スケーラブルレイヤ、及び
    品質スケーラブルレイヤ
    のうちの１つである、請求項１に記載の方法。
  3. 前記コード化ビットストリームから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を取得することは、前記コード化ビットストリームのシーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を取得することを備え、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を取得することは、前記シーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を取得することを備える、
    請求項１に記載の方法。
  4. ビデオデータを符号化する方法であって、
    コード化ビットストリームに、所与のレイヤに関連付けられた依存レイヤの数を指定するシンタックス要素を含めることと、前記所与のレイヤに関連付けられた前記依存レイヤは、前記所与のレイヤを復号するために使用されるために利用可能なレイヤである、
    前記所与のレイヤに関連付けられた前記依存レイヤのそれぞれの依存レイヤごとに、
    前記コード化ビットストリームに、前記それぞれの依存レイヤ用の第１のシンタックス要素を含めることと、前記それぞれの依存レイヤ用の前記第１のシンタックス要素は、前記それぞれの依存レイヤのビューインデックスを指定する、
    前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素とは別個の、前記それぞれの依存レイヤ用の第２のシンタックス要素を含めることと、前記それぞれの依存レイヤ用の前記第２のシンタックス要素は、以下の予測のタイプ（１）テクスチャ予測であるが動き予測でない、（２）動き予測であるがテクスチャ予測でない、及び（３）テクスチャ予測と動き予測の両方、のうちのどの１つが前記それぞれの依存レイヤで使用可能であるかを示す、
    ビュー間参照ピクチャセットを含む参照ピクチャセット（ＲＰＳ）を構築することと、ここにおいて、前記所与のレイヤに関連付けられた前記依存レイヤは、特定の依存レイヤを含み、前記特定の依存レイヤで使用可能な予測のタイプがテクスチャ予測であることを前記特定の依存レイヤ用の前記第２のシンタックス要素が示すことに基づいて、前記ビュー間参照ピクチャセットは、前記特定の依存レイヤのビューインデックスに等しいビュー順序インデックスを有するビューコンポーネントを含む、
    前記ビデオデータのコード化ピクチャのインター予測のために前記ＲＰＳ中の参照ピクチャを使用することとを備える、方法。
  5. 前記所与のレイヤが、
    ビュー、
    ビューのテクスチャコンポーネント、
    ビューの深度コンポーネント、
    空間スケーラブルレイヤ、及び
    品質スケーラブルレイヤ
    のうちの１つである、請求項４に記載の方法。
  6. 前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を含めることは、前記コード化ビットストリームのシーケンスパラメータセットに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を含めることを備え、
    前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を含めることは、前記シーケンスパラメータセットに、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を含めることを備える、
    請求項４に記載の方法。
  7. ビデオデータを復号するための装置であって、
    ビデオデータを記憶するメモリと、
    １つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、
    コード化ビットストリームから、所与のレイヤに関連付けられた依存レイヤの数を指定するシンタックス要素を取得し、前記所与のレイヤに関連付けられた前記依存レイヤは、前記所与のレイヤを復号するために使用されるために利用可能なレイヤである、
    前記所与のレイヤに関連付けられた前記依存レイヤのそれぞれの依存レイヤごとに、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の第１のシンタックス要素を取得し、前記それぞれの依存レイヤ用の前記第１のシンタックス要素は、前記それぞれの依存レイヤのビューインデックスを指定する、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素とは別個の、前記それぞれの依存レイヤ用の第２のシンタックス要素を取得し、前記それぞれの依存レイヤ用の前記第２のシンタックス要素は、以下の予測のタイプ（１）テクスチャ予測であるが動き予測でない、（２）動き予測であるがテクスチャ予測でない、及び（３）テクスチャ予測と動き予測の両方、のうちのどの１つが前記それぞれの依存レイヤで使用可能であるかを示す、
    ビュー間参照ピクチャセットを含む参照ピクチャセット（ＲＰＳ）を構築し、ここにおいて、前記所与のレイヤに関連付けられた前記依存レイヤは、特定の依存レイヤを含み、前記特定の依存レイヤで使用可能な予測のタイプがテクスチャ予測であることを前記特定の依存レイヤ用の前記第２のシンタックス要素が示すことに基づいて、前記ビュー間参照ピクチャセットは、前記特定の依存レイヤのビューインデックスに等しいビュー順序インデックスを有するビューコンポーネントを含む、
    前記ビデオデータのコード化ピクチャのインター予測のために前記ＲＰＳ中の参照ピクチャを使用するように構成される、装置。
  8. 前記所与のレイヤが、
    ビュー、
    ビューのテクスチャコンポーネント、
    ビューの深度コンポーネント、
    空間スケーラブルレイヤ、及び
    品質スケーラブルレイヤ
    のうちの１つである、請求項７に記載の装置。
  9. 前記１つ以上のプロセッサは、
    前記コード化ビットストリームのシーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を取得し、
    前記シーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を取得するように構成される、請求項７に記載の装置。
  10. ビデオデータを符号化する機器であって、
    ビデオデータを記憶するメモリと、
    １つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、
    コード化ビットストリームに、所与のレイヤに関連付けられた依存レイヤの数を指定するシンタックス要素を含め、前記所与のレイヤに関連付けられた前記依存レイヤは、前記所与のレイヤを復号するために使用されるために利用可能なレイヤである、
    前記所与のレイヤに関連付けられた前記依存レイヤのそれぞれの依存レイヤごとに、
    前記コード化ビットストリームに、前記それぞれの依存レイヤ用の第１のシンタックス要素を含め、前記それぞれの依存レイヤ用の前記第１のシンタックス要素は、前記それぞれの依存レイヤのビューインデックスを指定する、
    前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素とは別個の、前記それぞれの依存レイヤ用の第２のシンタックス要素を含め、前記それぞれの依存レイヤ用の前記第２のシンタックス要素は、以下の予測のタイプ（１）テクスチャ予測であるが動き予測でない、（２）動き予測であるがテクスチャ予測でない、及び（３）テクスチャ予測と動き予測の両方、のうちのどの１つが前記それぞれの依存レイヤで使用可能であるかを示す、
    ビュー間参照ピクチャセットを含む参照ピクチャセット（ＲＰＳ）を構築し、ここにおいて、前記所与のレイヤに関連付けられた前記依存レイヤは、特定の依存レイヤを含み、前記特定の依存レイヤで使用可能な予測のタイプがテクスチャ予測であることを前記特定の依存レイヤ用の前記第２のシンタックス要素が示すことに基づいて、前記ビュー間参照ピクチャセットは、前記特定の依存レイヤのビューインデックスに等しいビュー順序インデックスを有するビューコンポーネントを含む、
    前記ビデオデータのコード化ピクチャのインター予測のために前記ＲＰＳ中の参照ピクチャを使用するように構成される、機器。
  11. 前記所与のレイヤが、
    ビュー、
    ビューのテクスチャコンポーネント、
    ビューの深度コンポーネント、
    空間スケーラブルレイヤ、及び
    品質スケーラブルレイヤ
    のうちの１つである、請求項１０に記載の機器。
  12. 前記１つ以上のプロセッサは、前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を含めるために、前記１つ以上のプロセッサが前記コード化ビットストリームのシーケンスパラメータセットに、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を含めるように構成され、
    前記１つ以上のプロセッサは、前記コード化ビットストリームに、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を含めるために、前記１つ以上のプロセッサが前記シーケンスパラメータセットに、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を含めるように構成される、請求項１０に記載の機器。
  13. 実行されたとき、ビデオデータを復号するための装置の１つ以上のプロセッサに、
    コード化ビットストリームから、所与のレイヤに関連付けられた依存レイヤの数を指定するシンタックス要素を取得させ、前記所与のレイヤに関連付けられた前記依存レイヤは、前記所与のレイヤを復号するために使用されるために利用可能なレイヤである、
    前記所与のレイヤに関連付けられた前記依存レイヤのそれぞれの依存レイヤごとに、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の第１のシンタックス要素を取得させ、前記それぞれの依存レイヤ用の前記第１のシンタックス要素は、前記それぞれの依存レイヤのビューインデックスを指定する、
    前記コード化ビットストリームから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素とは別個の、前記それぞれの依存レイヤ用の第２のシンタックス要素を取得させ、前記それぞれの依存レイヤ用の前記第２のシンタックス要素は、以下の予測のタイプ（１）テクスチャ予測であるが動き予測でない、（２）動き予測であるがテクスチャ予測でない、及び（３）テクスチャ予測と動き予測の両方、のうちのどの１つが前記それぞれの依存レイヤで使用可能であるかを示す、
    ビュー間参照ピクチャセットを含む参照ピクチャセット（ＲＰＳ）を構築させ、ここにおいて、前記所与のレイヤに関連付けられた前記依存レイヤは、特定の依存レイヤを含み、前記特定の依存レイヤで使用可能な予測のタイプがテクスチャ予測であることを前記特定の依存レイヤ用の前記第２のシンタックス要素が示すことに基づいて、前記ビュー間参照ピクチャセットは、前記特定の依存レイヤのビューインデックスに等しいビュー順序インデックスを有するビューコンポーネントを含む、
    前記ビデオデータのコード化ピクチャのインター予測のために前記ＲＰＳ中の参照ピクチャを使用させる命令を記憶した、コンピュータ可読記憶媒体。
  14. 前記所与のレイヤが、
    ビュー、
    ビューのテクスチャコンポーネント、
    ビューの深度コンポーネント、
    空間スケーラブルレイヤ、及び
    品質スケーラブルレイヤ
    のうちの１つである、請求項１３に記載のコンピュータ可読記憶媒体。
  15. 前記命令の実行は、前記１つ以上のプロセッサに、
    前記コード化ビットストリームのシーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第１のシンタックス要素を取得させ、
    前記シーケンスパラメータセットから、前記それぞれの依存レイヤ用の前記第２のシンタックス要素を取得させる、請求項１３に記載のコンピュータ可読記憶媒体。
JP2018018202A 2012-04-23 2018-02-05 マルチビューコード化及び３ｄコード化におけるビュー依存性 Active JP6629363B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261637197P 2012-04-23 2012-04-23
US61/637,197 2012-04-23
US13/867,924 US10205961B2 (en) 2012-04-23 2013-04-22 View dependency in multi-view coding and 3D coding
US13/867,924 2013-04-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015507259A Division JP2015515228A (ja) 2012-04-23 2013-04-23 マルチビューコード化及び３ｄコード化におけるビュー依存性

Publications (2)

Publication Number Publication Date
JP2018110413A JP2018110413A (ja) 2018-07-12
JP6629363B2 true JP6629363B2 (ja) 2020-01-15

Family

ID=49380099

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015507259A Withdrawn JP2015515228A (ja) 2012-04-23 2013-04-23 マルチビューコード化及び３ｄコード化におけるビュー依存性
JP2018018202A Active JP6629363B2 (ja) 2012-04-23 2018-02-05 マルチビューコード化及び３ｄコード化におけるビュー依存性

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015507259A Withdrawn JP2015515228A (ja) 2012-04-23 2013-04-23 マルチビューコード化及び３ｄコード化におけるビュー依存性

Country Status (5)

Country Link
US (1) US10205961B2 (ja)
EP (1) EP2842328B1 (ja)
JP (2) JP2015515228A (ja)
CN (1) CN104272741B (ja)
WO (1) WO2013163155A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012007038A1 (en) 2010-07-15 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding supporting intermediate view synthesis
US9686543B2 (en) * 2011-06-15 2017-06-20 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
MX361767B (es) * 2012-07-09 2018-12-17 Vid Scale Inc Arquitectura de códec para codificación de video de múltiples capas.
WO2014039778A2 (en) * 2012-09-07 2014-03-13 Vid Scale, Inc. Reference picture lists modification
US9654786B2 (en) 2012-09-09 2017-05-16 Lg Electronics Inc. Image decoding method and apparatus using same
KR101775250B1 (ko) * 2012-09-28 2017-09-05 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2014110452A1 (en) 2013-01-11 2014-07-17 Futurewei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
CN105308966B (zh) * 2013-04-05 2019-01-04 三星电子株式会社 视频编码方法及其设备以及视频解码方法及其设备
US9473546B2 (en) * 2013-04-23 2016-10-18 Cisco Technology, Inc. Reducing real time media traffic in a network environment
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
US20160191933A1 (en) * 2013-07-10 2016-06-30 Sharp Kabushiki Kaisha Image decoding device and image coding device
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3614381A1 (en) * 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
KR20150075040A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9948950B2 (en) * 2014-01-03 2018-04-17 Qualcomm Incorporated Disparity vector and/or advanced residual prediction for video coding
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
KR20150110295A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN107077855B (zh) 2014-07-28 2020-09-22 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
KR102423610B1 (ko) * 2015-02-27 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US10063861B2 (en) * 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
US10368083B2 (en) * 2016-02-15 2019-07-30 Qualcomm Incorporated Picture order count based motion vector pruning
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
US11109069B2 (en) * 2019-09-20 2021-08-31 Tencent America LLC Signaling of scalability parameters in video bitstream
CN112468818B (zh) * 2021-01-22 2021-06-29 腾讯科技（深圳）有限公司 视频通信的实现方法及装置、介质和电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8823821B2 (en) 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7616199B2 (en) 2005-09-20 2009-11-10 Siemens Medical Solutions Usa, Inc. System and method for interleaved slice volume rendering
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
JP5587552B2 (ja) 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
BRPI0709194A2 (pt) 2006-03-29 2011-06-28 Thomson Licensing métodos e aparelhos para uso em um sistema de codificação de vìdeo multivista
WO2007114612A1 (en) 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8594202B2 (en) * 2006-07-21 2013-11-26 Vidyo, Inc. Systems and methods for signaling and performing temporal level switching in scalable video coding
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
EP2080382B1 (en) * 2006-10-20 2016-07-20 Nokia Technologies Oy System and method for implementing low-complexity multi-view video coding
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
DK2103136T3 (en) 2006-12-21 2017-12-04 Thomson Licensing METHODS AND APPARATUS FOR IMPROVED SIGNALING USING HIGH-LEVEL SYNTHOLOGY FOR MULTIVIEW VIDEO AND DECODING
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
EP2215844A2 (en) 2007-10-15 2010-08-11 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
EP2314072B1 (en) * 2008-07-16 2014-08-27 SISVEL International S.A. Track and track-subset grouping for multi view video decoding.
US8391356B1 (en) * 2009-02-18 2013-03-05 Sprint Communications Company L.P. Scalable video coding priority marking
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US20120269275A1 (en) * 2010-10-20 2012-10-25 Nokia Corporation Method and device for video coding and decoding
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9351004B2 (en) * 2011-12-27 2016-05-24 Ati Technologies Ulc Multiview video coding reference picture selection under a one reference picture constraint
US20130195169A1 (en) * 2012-02-01 2013-08-01 Vidyo, Inc. Techniques for multiview video coding

Also Published As

Publication number Publication date
US20130279576A1 (en) 2013-10-24
WO2013163155A1 (en) 2013-10-31
JP2015515228A (ja) 2015-05-21
CN104272741B (zh) 2019-01-22
JP2018110413A (ja) 2018-07-12
US10205961B2 (en) 2019-02-12
EP2842328B1 (en) 2020-12-09
CN104272741A (zh) 2015-01-07
EP2842328A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
JP6629363B2 (ja) マルチビューコード化及び３ｄコード化におけるビュー依存性
EP3022932B1 (en) Processing illumination compensation for video coding
CA2843187C (en) Multiview video coding
US9549180B2 (en) Disparity vector generation for inter-view prediction for video coding
AU2012245299B2 (en) Motion vector prediction in video coding
US9288506B2 (en) Signaling view synthesis prediction support in 3D video coding
CA2843189C (en) Multiview video coding
US10136119B2 (en) View synthesis in 3D video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191204

R150 Certificate of patent or registration of utility model

Ref document number: 6629363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250