JP6242802B2 - マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化 - Google Patents

マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化 Download PDF

Info

Publication number
JP6242802B2
JP6242802B2 JP2014544925A JP2014544925A JP6242802B2 JP 6242802 B2 JP6242802 B2 JP 6242802B2 JP 2014544925 A JP2014544925 A JP 2014544925A JP 2014544925 A JP2014544925 A JP 2014544925A JP 6242802 B2 JP6242802 B2 JP 6242802B2
Authority
JP
Japan
Prior art keywords
view
component
video
depth
parameter set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014544925A
Other languages
English (en)
Other versions
JP2015500589A (ja
Inventor
チェン、イン
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015500589A publication Critical patent/JP2015500589A/ja
Application granted granted Critical
Publication of JP6242802B2 publication Critical patent/JP6242802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本開示は、その各々の内容の全体が参照により本明細書に組み込まれる、２０１１年１１月３０日に出願された米国仮出願第６１／５６５，３７６号、２０１１年１２月１日に出願された米国仮出願第６１／５６５，９３８号、２０１１年１２月２２日に出願された米国仮出願第６１／５７９，６３１号、及び２０１２年１月６日に出願された米国仮出願第６１／５８４，００９号の優先権を主張する。
本開示は、ビデオコード化に関し、より詳細には、３次元ビデオコード化（３ＤＶＣ）に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコード化（ＡＶＣ：Advanced Video Coding）、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶することができる。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（即ち、ピクチャ又はピクチャの一部分）は、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれる場合もあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス内のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス内のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間的予測、又は他の参照ピクチャの中の参照サンプルに対する時間的予測を使用することができる。
空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、及びコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは画素領域から変換領域に変換されて残差変換係数を得ることができ、次いで、その残差変換係数は量子化され得る。最初は２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するために、エントロピーコード化が適用されてよい。
全般に、本開示では、３次元ビデオコード化（３ＤＶＣ）のための技法を説明する。より具体的には、本開示は、Ｈ．２６４／アドバンストビデオコード化（ＡＶＣ）規格の３ＤＶＣ拡張を使用して３ＤＶＣを実行するための技法を説明する。３ＤＶＣ拡張は、深度データを伴うビデオデータの複数のビューを符号化するための、ビデオコード化技術を定義する。各ビュー（視界）は、共通のシーンの対応するビデオデータが撮影された異なる視点又は角度に対応し得る。３ＤＶＣの状況では、各ビューは、テクスチャビューと深度ビューとを含み得る。１つの時間インスタンスにおけるビューのコード化表現は、ビュー成分である。ビュー成分は、深度ビュー成分とテクスチャビュー成分とを含み得る。本開示の技法は全般に、マルチビュービデオデータとともに深度データをコード化するときに、３ＤＶＣのためのビューのテクスチャ成分と深度成分の両方の取扱を可能にすることに関する。本技法は、ＭＶＣに対する３ＤＶＣの適合性を向上させ得る。
一例では、深度成分とテクスチャ成分とを備えるビュー成分を含むビデオデータをコード化する方法は、ビュー成分のテクスチャ成分に対するテクスチャパラメータセットとしてパラメータセットをアクティブ化（活性化）することと、アクティブ化されたテクスチャパラメータセットに基づいてビュー成分のテクスチャ成分をコード化することとを備える。
別の例では、深度成分とテクスチャ成分とからなるビュー成分を含むビデオデータをコード化するためのビデオコード化機器は、ビュー成分のテクスチャ成分に対するテクスチャパラメータセットとしてパラメータセットをアクティブ化し、アクティブ化されたテクスチャパラメータセットに基づいてビュー成分のテクスチャ成分をコード化するように構成されるプロセッサを備える。
別の例では、深度成分とテクスチャ成分とからなるビュー成分を含むビデオデータをコード化するためのビデオコード化機器は、ビュー成分のテクスチャ成分に対するテクスチャパラメータセットとしてパラメータセットをアクティブ化するための手段と、アクティブ化されたテクスチャパラメータセットに基づいてビュー成分のテクスチャ成分をコード化するための手段とを備える。
別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオコード化機器の１つ又は複数のプロセッサに、ビュー成分のテクスチャ成分に対するテクスチャパラメータセットとしてパラメータセットをアクティブ化させ、アクティブ化されたテクスチャパラメータセットに基づいてビュー成分のテクスチャ成分をコード化させる命令を記憶している。
別の例では、深度成分とテクスチャ成分とを備えるビュー成分を含むビデオデータを処理する方法が説明される。方法は、ビデオデータのビュー成分を処理するときに適用される補助強化情報メッセージを決定することと、補助強化情報メッセージに加えて、ビュー成分の深度成分に適用されるネスト化(入れ子化)された補助強化情報メッセージを決定することとを備える。
別の例では、深度成分とテクスチャ成分とからなるビュー成分を含むビデオデータを処理するための機器が説明される。機器は、ビデオデータのビュー成分を処理するときに適用される補助強化情報メッセージを決定し、ビュー成分の深度成分を処理するときに補助強化情報メッセージに加えて適用されるネスト化された補助強化情報メッセージを決定するように構成される、プロセッサを備える。
別の例では、深度成分とテクスチャ成分とからなるビュー成分を含むビデオデータを処理するための機器が説明される。機器は、ビデオデータのビュー成分を処理するときに適用される補助強化情報メッセージを決定するための手段と、ビュー成分の深度成分を処理するときに補助強化情報メッセージに加えて適用されるネスト化された補助強化情報メッセージを決定するための手段とを備える。
別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、深度成分とテクスチャ成分とからなるビュー成分を含むビデオデータを処理するための機器の１つ又は複数のプロセッサに、ビデオデータのビュー成分を処理するときに適用される補助強化情報メッセージを決定することと、ここでビュー成分は深度成分とテクスチャ成分の両方を含む、ビュー成分の深度成分を処理するときに補助強化情報メッセージに加えて適用されるネスト化された補助強化情報メッセージを決定することとを行わせる、命令を記憶している。
別の例では、ビデオコード化のための方法は、復号ピクチャバッファに深度成分を記憶することと、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定することと、深度成分がビュー間予測のために使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去することとを備える。
別の例では、ビデオデータをコード化するように構成されるビデオコード化機器は、復号ピクチャバッファと、復号ピクチャバッファに深度成分を記憶し、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定し、深度成分がビュー間予測のために使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去するように構成される、プロセッサとを備える。
別の例では、ビデオデータをコード化するためのビデオコード化機器は、復号ピクチャバッファに深度成分を記憶するための手段と、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定するための手段と、深度成分がビュー間予測のために使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去するための手段とを備える。
別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオコード化機器の１つ又は複数のプロセッサに、復号ピクチャバッファへ深度成分を記憶させ、ビュー依存性を分析させて深度成分がビュー間予測のために使用されるかどうかを決定させ、深度成分がビュー間予測のために使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去させる、命令を記憶している。
別の例では、１つ又は複数の深度成分と１つ又は複数のテクスチャ成分とを備えるビュー成分を含むビデオデータを処理する方法は、深度成分の特性を記述する第１のシーケンスレベル情報を決定することと、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定することとを備える。
別の例では、１つ又は複数の深度成分と１つ又は複数のテクスチャ成分とを備えるビュー成分を含むビデオデータを処理するためのビデオコード化機器が説明される。ビデオコード化機器は、深度成分の特性を記述する第１のシーケンスレベル情報を決定し、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定するように構成される、１つ又は複数のプロセッサを備える。
別の例では、１つ又は複数の深度成分と１つ又は複数のテクスチャ成分とを備えるビュー成分を含むビデオデータを処理するためのビデオコード化機器が説明される。ビデオコード化機器は、深度成分の特性を記述する第１のシーケンスレベル情報を決定するための手段と、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定するための手段とを備える。
別の例では、非一時的コンピュータ可読記憶媒体は、実行されると、ビデオコード化機器の１つ又は複数のプロセッサに、ビデオデータの１つ又は複数の深度成分の特性を記述する第１のシーケンスレベル情報を決定することであって、ビデオデータが１つ又は複数の深度成分と１つ又は複数のテクスチャ成分とを備えるビュー成分を含む、決定することと、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定することとを行わせる、命令を記憶している。
本開示の１つ又は複数の態様の詳細が、添付の図面及び以下の説明において記載される。本開示で説明される技法の他の特徴、目的、及び利点は、これらの説明及び図面から、及び特許請求の範囲から明らかになろう。
本開示で説明される技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 図１の例で示されるビデオエンコーダをより詳細に示すブロック図。 図１の例で示されるビデオデコーダをより詳細に示すブロック図。 図１の例で示されるカプセル化ユニットをより詳細に示すブロック図。 例示的なマルチビュービデオコード化（ＭＶＣ）の予測パターンを示す概念図。 本開示で説明される技法の様々な態様による、ＭＶＣ適合３ＤＶＣのためのパラメータセットのアクティブ化を実施する際の、ビデオコード化機器の動作を示すフロー図。 本開示で説明される技法による、マルチビュービデオデータを処理して、ＭＶＣ適合３ＤＶＣのためのネスト化された補助強化情報（ＳＥＩ）メッセージを生成する例示的な動作を示すフロー図。 本開示で説明される技法による、ＭＶＣ適合３ＤＶＣのための復号ピクチャバッファからテクスチャ成分と深度成分とを別々に除去する際の、ビデオコード化機器の例示的な動作を示すフロー図。 本開示で説明される技法による、ＭＶＣ適合３ＤＶＣのためのシーケンスレベル情報を決定する際の、ビデオコード化機器の例示的な動作を示す流れ図。
特定のビデオコード化システムによれば、データ圧縮を実現するように、ビデオシーケンスにおける時間的冗長性を低減するために、動き推定及び動き補償が使用され得る。この場合、ビデオデータの予測ブロック、例えば、コード化されている現在ビデオブロックの値を予測するために使用され得る別のビデオのピクチャ又はスライスからのブロックを識別する、動きベクトルが生成され得る。予測ビデオブロックの値が現在ビデオブロックの値から減算されて、残差データのブロックを生成する。動き情報（例えば、動きベクトル、動きベクトルインデックス、予測方向、又は他の情報）が、残差データとともにビデオエンコーダからビデオデコーダに通信される。デコーダは、（動きベクトルに基づいて）同じ予測ブロックを見つけ、残差データを予測ブロックのデータと合成することによって、符号化ビデオブロックを復元することができる。
マルチビュービデオコード化（ＭＶＣ）は、ビデオデータの複数のビューをコード化するためのビデオコード化処理である。一般に、各ビューは、共通のシーンの対応するビデオデータが撮影された異なる視点又は角度に対応する。３次元ビデオコード化（３ＤＶＣ）は、ＭＶＣプラス深度コード化を使用して実行され得る。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ規格に対する３ＤＶＣ拡張が、現在開発中である。３ＤＶＣ拡張を追加するための、Ｈ．２６４／ＡＶＣ規格に対する修正のワーキングドラフトは、２０１１年１１月付けの、「ＷＤ ｏｎ ＭＶＣ Ｅｘｔｅｎｓｉｏｎｓ ｆｏｒ Ｉｎｃｌｕｓｉｏｎ ｏｆ Ｄｅｐｔｈ Ｍａｐｓ」、ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１２３５１、ジュネーブ、スイス（「３ＤＶＣ ＷＤ」）において記述されている。深度マップの包含のためのＭＶＣ拡張とも呼ばれる３ＤＶＣ拡張は、３Ｄビデオデータの表示を支援するようにビューをコード化するための技法を定義する。
例えば、３Ｄビデオでは、２つのビュー（例えば、視聴者の左眼のビュー及び右眼のビュー）が、光の異なる偏光を使用して同時に、又はほぼ同時に表示されることが可能であり、視聴者の眼の各々がビューのそれぞれ１つを受け取るように、視聴者は受動偏光眼鏡を着用することができる。代替的に、視聴者は、各眼を独立に遮断する能動眼鏡を着用することができ、表示器が高速に、眼鏡と同期して各眼の画像を交互に表示することができる。
各ビュー（例えば、左眼のビュー及び右眼のビュー）は個別にコード化され得るが、３ＤＶＣでは、ビューの１つは、ビューの深度成分を使用して他のビューから復元される。この理由で、３ＤＶＣのこの形式も、マルチビュービデオコード化プラス深度（ＭＶＣ＋Ｄ）と呼ばれ得る。例示すると、ビューの特定のピクチャ（ここで、このビューの特定のピクチャは、ビューの「ビュー成分」と呼ばれ得る）の深度マップは、左眼のビューと右眼のビューとの差分として計算され得る。エンコーダは、例えば、ビュー成分の所謂「テクスチャ成分」として左眼のビューを符号化することができ、深度マップは、ビュー成分の所謂「深度成分」として符号化され得る。
デコーダは次いで、ビュー成分のテクスチャ成分とビュー成分の深度成分とを復号し、深度成分を使用してテクスチャ成分（左眼のビューを表す）から右眼のビューを復元することができる。１つのビュー及び対応する深度マップのみをこの方式で符号化することによって、３ＤＶＣは、３ＤＶＣデータの別個のビューとして独立に左眼のビューと右眼のビューの両方を符号化することと比較して、左眼のビューと右眼のビューの両方をより効率的に符号化することができる。
ビューのテクスチャ成分と深度成分とを符号化するとき、ビデオエンコーダは一般に、テクスチャ成分と深度成分を区別するための方法を何ら提供することなく、テクスチャ成分と深度成分の両方をビュー成分として扱い、又は別様に処理する。即ち、３ＤＶＣは、同じビュー成分の深度成分とは別々にテクスチャ成分を個々に処理するための方法を提供することなく、ビュー成分の取扱又はコード化を行う。３ＤＶＣにおけるこの区別の欠如により、コード化効率がより低くなり、及び／又は復元ビデオデータの品質がより低くなり得る。
例えば、深度成分は、このビュー成分の共同の取扱に対応するように、対応するテクスチャ成分と同じ解像度で指定されることが現在は要求され得る。しかしながら、より解像度の高い（テクスチャ成分の解像度と比べて）深度成分は、視聴者の視覚系が期待するものをより良好に再現するより良好でより没入感のある３Ｄビデオが生じ得るので、３次元（３Ｄ）ビデオ再生をもたらし得る。その上、より解像度の低い（テクスチャ成分の解像度と比較して）深度成分は、幾つかの例では同一の又は同様の没入感のある３Ｄ体験を提供し得るが、コード化されると使用するビットがより少なくなり得るので、コード化効率を向上させることができる。深度成分とテクスチャ成分の別々の取扱を可能にできないことによって、３ＤＶＣは、コード化効率が低下することがあり、及び／又は、（しばしば、鑑賞体験の点で）復元ビデオデータの品質が低くなることがある。
本開示の技法は全般に、３ＤＶＣビデオデータを処理又はコード化するときに、ビューのテクスチャ成分と深度成分の別々の又は独立した取扱を可能にすることに関する。例えば、本開示は、シーケンスパラメータセット（ＳＰＳ）において深度マップシーケンスのピクチャサイズを信号伝達（シグナリング）することを提案する。これらの信号伝達技法は、ビデオ符号化及び／又は復号プロセスの間にエンコーダによって適用され、デコーダによって使用され得る。説明される技法は、ビデオコンテンツのピクチャのコード化に関する。本開示の技法によれば、符号化ピクチャは、選択された高さ及び幅のブロックのような単位サイズを有してよく、これは、シーケンスパラメータセットにおいてシンタックス要素として信号伝達され得る。テクスチャビューシーケンス及び深度マップシーケンスのためのシンタックス要素は、シーケンスパラメータセットにおいて信号伝達され得る。
より具体的には、本技法は、深度マップシーケンスが対応するテクスチャビューシーケンスとは異なる解像度を有する場合に、シンタックス情報を信号伝達することを伴う。３ＤＶＣは、各ビューに対する深度マップシーケンスを伴う複数のビューをコード化することを含み得る。これらの深度マップシーケンスは、テクスチャビューシーケンスとは異なる解像度を有し得る。この場合、深度ビュー成分及びテクスチャビュー成分は、テクスチャ及び深度ネットワーク抽象レイヤ（ＮＡＬ）ユニットが単に一緒に多重化されるときに、同一のシーケンスパラメータセット（ＳＰＳ）を共有できない。現在のＳＰＳのＭＶＣ拡張では、深度を伴っても又は伴わなくても、異なるレベルを示すことは可能ではないことがある。ＡＶＣ設計の原則では、ピクチャサイズを含む２つ以上のシーケンスパラメータセットをアクティブ化することは可能ではないことがある。従って、２つの異なるピクチャサイズを有すると、複数のシーケンスパラメータセットをアクティブ化することになり得る。
本開示の技法は、対応するテクスチャビューとは異なる空間解像度を有する深度マップを３ＤＶＣシーケンスが含む場合、ＡＶＣ及びＭＶＣステレオに基づいて、３ＤＶＣシーケンスを示すために使用され得る。そのような独立の取扱を可能にすることによって、本開示で説明される技法の様々な態様は、ビットの節約（又は、言い換えると、マルチビュービデオデータのより効率的なコード化）及び／又は復元ビデオデータの品質の向上（これはやはり、知覚される鑑賞体験の観点で評価され得る）を促し得る。
次の説明は、３ＤＶＣの状況にあると理解されるべきであり、その状況では、ＭＶＣへの言及は、それが３ＤＶＣ拡張におけるＭＶＣプラス深度コード化に関連するときの、ＭＶＣへの言及であるものとして理解される。即ち、ＭＶＣがＨ．２６４に対する拡張であり、３ＤＶＣは、ＭＶＣを利用するＨ．２６４の更なる拡張であるとすると、３ＤＶＣは、ＭＶＣの全ての態様を組み込み、又はそうでなければそれを「引き継ぐ」ものと見なされ得る。３ＤＶＣは、３ＤＶＣをサポートするビデオデコーダに対する深度マップも含む、ＭＶＣ適合ビットストリームを提供するために、適切な場合には本明細書で説明される方式で、ＭＶＣを拡張し、又は別様にＭＶＣに加わることができる。言い換えると、幾つかの例では、本技法は、ＭＶＣと後方互換性のある（又は、言い換えると、３ＤＶＣをサポートしないがＭＶＣをサポートするビデオデコーダによって復号されることが可能な）３ＤＶＣビットストリームの生成を実現することができる。次の技法は各々、３ＤＶＣの状況で説明されるが、これらの技法は、一部の例では、テクスチャビュー成分と深度ビュー成分の両方を有する３Ｄビデオデータをコード化する他の方法へと拡張され得る。
図１は、マルチビューコード化において動きベクトル予測用の技法を利用できる、例示的なビデオの符号化及び復号のシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを提供する発信源機器１２を含む。特に、発信源機器１２は、コンピュータ可読媒体１６を介して宛先機器１４にビデオデータを提供する。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、スレートコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信に対応し得る。
宛先機器１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動することができる任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体１６は、発信源機器１２が、符号化ビデオデータをリアルタイムで又はほぼリアルタイムで宛先機器１４に直接送信することを可能にするための通信媒体を備え得る。
符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路のような、任意のワイヤレス又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
幾つかの例では、符号化データは、発信源機器２４の送信機２４から記憶装置に出力され得る。同様に、符号化データは、宛先機器１４の受信機２６によって、記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、発信源機器１２によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。
宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）装置、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、ｄｙｎａｍｉｃ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、種々のマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話などの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、逆カプセル化ユニット(decapsulation unit)２９と、ビデオデコーダ３０と、表示装置３２とを含む。幾つかの例では、発信源機器１２及び宛先機器１４は、他のコンポーネント又は構成を含み得る。例えば、発信源機器１２は、外部カメラなどの外部ビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置３２を含むのではなく、外部表示装置とインターフェースし得る。
図１の示されたシステム１０は一例にすぎない。マルチビューコード化（３ＤＶＣを含む）における動きベクトル予測のための技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。概して、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器１２、１４は、機器１２、１４の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト又はビデオ電話のための、ビデオ機器１２とビデオ機器１４との間の一方向又は双方向のビデオ送信をサポートすることができる。
発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ付き携帯電話又はビデオ電話を形成することができる。しかしながら、上述のように、本開示で説明される技法は、概してビデオコード化に適用可能であってよく、ワイヤレス及び／又は有線の適用例に適用されてよい。各々の場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
ビデオ発信源２４は一般に、シーンの複数のビューをビデオエンコーダ２８に与え得る。ビデオ発信源２４は、ビューに対するカメラ視点の位置を示す情報も与え得る。ビデオ発信源２４は、この情報をビデオエンコーダ２８に与えるか、又はその情報をカプセル化ユニット２１に直接与え得る。
カプセル化ユニット２１は、マルチメディアコンテンツのビューにビュー識別子を割り当てるために、ビューに対するカメラ視点の相対的な位置を示す情報を使用し得る。カプセル化ユニット２１は、マルチメディアコンテンツの１つ又は複数の表現を形成することができ、その場合、表現の各々は１つ又は複数のビューを含み得る。幾つかの例では、ビデオエンコーダ２０は、例えば、異なるフレームレート、異なるビットレート、異なる解像度、又は他のそのような違いを伴う、異なる方法で各ビューを符号化し得る。従って、カプセル化ユニット２１は、様々な特性、例えば、ビットレート、フレームレート、解像度などを有する様々な表現を形成し得る。
表現の各々は、宛先機器１４によって取り出され得るそれぞれのビットストリームに対応し得る。カプセル化ユニット２１は、例えば、マルチメディアコンテンツに対するｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）データ構造内で、各表現中に含まれるビューのビュー識別子（ｖｉｅｗ＿ｉｄ）の範囲の指示を与え得る。例えば、カプセル化ユニット２１は、表現のビューに対する最大ビュー識別子と最小ビュー識別子との指示を与え得る。ＭＰＤは、更に、マルチメディアコンテンツの複数の表現の各々に対する出力を対象とするビューの最大の数の指示を与え得る。ＭＰＤ又はそのデータは、幾つかの例では、（１つ又は複数の）表現に対するマニフェストに記憶され得る。
コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又は有線ネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、発信源機器１２から符号化ビデオデータを受信し、宛先機器１４に符号化ビデオデータを与え得る。同様に、ディスクスタンピング設備のような媒体製造設備のコンピューティング機器は、発信源機器１２から符号化ビデオデータを受信し、その符号化ビデオデータを含むディスクを生成し得る。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロック及び他のコード化単位、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。宛先機器１４の逆カプセル化ユニット２９は、ビットストリーム（又はＭＶＣの状況では「動作点」と呼ばれるビットストリームのサブセット）からのＳＥＩメッセージを逆カプセル化するユニットを表し得る。逆カプセル化ユニット２９は、カプセル化ユニット２９によって実行される動作とは逆の順序で動作を実行して、ＳＥＩメッセージのようなカプセル化された符号化ビットストリームからのデータを逆カプセル化することができる。表示装置３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置のような、種々の表示装置のいずれかを備え得る。
ビデオエンコーダ２０及びビデオデコーダ３０は各々、適用可能な場合、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せのような、種々の適切なエンコーダ回路又はデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ又は複数のエンコーダ又はデコーダ内に含まれてよく、それらのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合されてよい。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又は携帯電話などのワイヤレス通信機器を備え得る。
図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、各々オーディオエンコーダ及びオーディオデコーダと統合されてよく、共通のデータストリーム又は別個のデータストリーム内のオーディオとビデオの両方の符号化を扱うための、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェアとソフトウェアとを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
図１に示された例では、システム１０はまた、ルータ３６を有するサーバ／コンテンツ配信ネットワーク３４を含む。幾つかの例では、発信源機器１２は、上で説明されたように、様々なワイヤレス送信及び／又は有線送信又は記憶媒体を介して、サーバ／コンテンツ配信ネットワーク３４と通信することができる。更に、図１の例では別々に示されたが、幾つかの例では、発信源機器１２とサーバ／コンテンツ配信ネットワーク３４は同じ機器を備える。サーバ／コンテンツ配信ネットワーク３４は、（発信源機器１２のビデオエンコーダ２０からの）コード化ビデオデータの１つ又は複数のバージョンを記憶することができ、そのようなコード化ビデオデータを宛先機器１４及びビデオデコーダ３０によるアクセスのために利用可能にすることができる。幾つかの例では、ルータ３６は、要求されたフォーマットで、コード化ビデオデータを宛先機器１４に提供することを担い得る。
ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中のＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格などのビデオコード化規格に従って動作することができ、ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ（ＨＭ）に準拠することができる。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格のような他のプロプライエタリ規格もしくは業界規格、又はＨ．２６４に対するＭＶＣ拡張及び／又は３ＤＶＣ拡張を含む、そのような規格の拡張に従って動作し得る。しかしながら、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３がある。
ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示で説明される技法は、概してＨ．２６４規格に準拠する機器に適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４「アドバンストビデオコード化 ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されており、本明細書ではＨ．２６４規格もしくはＨ．２６４仕様、又はＨ．２６４／ＡＶＣ規格もしくは仕様と呼ばれ得る。Ｈ．２６４／ＡＶＣは、スケーラブルビデオコード化（ＳＶＣ）拡張とＭＶＣ拡張とを含む。加えて、深度マップを含めてＭＶＣを利用して、３ＤＶＣ拡張を提供するための更なる開発がある。Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣへの拡張に取り組み続けている。３ＤＶＣの状況において説明されるが、本開示で説明される技法は、テクスチャ成分と深度成分の両方を伴う３Ｄビデオの符号化及び復号が可能な、他のビデオコード化アルゴリズムに関して実装され得る。
ビデオエンコーダ２０は、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送信し得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中の幾つかのピクチャを記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示すことができる。
幾つかの例では、ビデオデータを復号するときに使用され得る特定のパラメータセットを、ビデオエンコーダ２０は生成することができ、ビデオデコーダ３０は受信することができる。例えば、パラメータセットは、（シーケンスパラメータセット（ＳＰＳ）内の）シーケンスレベルヘッダ情報と、（ピクチャパラメータセット（ＰＰＳ）内の）まれにしか変化しないピクチャレベルヘッダ情報とを含み得る。パラメータセット（例えば、ＰＰＳ及びＳＰＳ）がある場合、まれにしか変化しない情報はシーケンス（例えば、ピクチャのシーケンス）ごと又はピクチャごとに繰り返される必要はなく、従ってコード化効率が改善され得る。更に、パラメータセットを使用すると、重要なヘッダ情報の帯域外送信が可能になり、誤り耐性のための冗長送信の必要を回避することができる。帯域外送信の例では、補助強化情報（ＳＥＩ）のＮＡＬ単位のような他のＮＡＬ単位とは異なるチャネル上で、パラメータセットのＮＡＬ単位が送信され得る。
（ＳＥＩメッセージと呼ばれる）ＳＥＩのＮＡＬ単位は、ビデオコード化レイヤ（ＶＣＬ）ＮＡＬ単位からのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、及び他の目的に関係するプロセスを支援できる情報を含み得る。ＳＥＩメッセージは、非ＶＣＬ ＮＡＬ単位に含まれることがある。ＳＥＩメッセージは、幾つかの規格の仕様の規範部分に含まれることがあり、従って、規格に準拠するデコーダ実装のために常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージ又はピクチャレベルのＳＥＩメッセージであり得る。ＳＶＣの例ではスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣではビュースケーラビリティ情報ＳＥＩメッセージのようなＳＥＩメッセージ内に、何らかのシーケンスレベル情報が含まれることがある。ビュースケーラビリティ情報ＳＥＩメッセージも、Ｈ．２６４に対する３ＤＶＣ拡張のためのシーケンスレベル情報を提供することができる。カプセル化ユニット２１は、これらのＳＥＩメッセージを形成し、これらのＳＥＩメッセージを、一例として、符号化ビデオデータの配信を協議する際に使用するためにサーバ／コンテンツ配信ネットワーク３４に提供することができる。
カプセル化ユニット３０は、ＮＡＬが属するプログラムを識別するヘッダ、ならびにペイロード、例えば、オーディオデータ、ビデオデータ、又はＮＡＬ単位が対応するトランスポート又はプログラムストリームを記述するデータを備える、ＮＡＬ単位を形成し得る。例えば、Ｈ．２６４／ＡＶＣでは、ＮＡＬ単位は１バイトのヘッダと変動するサイズのペイロードとを含む。一例では、ＮＡＬ単位ヘッダは、ｐｒｉｏｒｉｔｙ＿ｉｄ要素と、ｔｅｍｐｏｒａｌ＿ｉｄ要素と、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素と、ｖｉｅｗ＿ｉｄ要素と、ｎｏｎ＿ｉｄｒ＿ｆｌａｇ要素と、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素とを備える。従来のＭＶＣでは、４バイトのＭＶＣ ＮＡＬ単位ヘッダとＮＡＬ単位ペイロードとを含む、前置ＮＡＬ単位とＭＶＣコード化スライスＮＡＬ単位とを除いて、Ｈ．２６４によって定義されたＮＡＬ単位が保持される。
幾つかの例では、ビデオエンコーダ２０は、ＭＶＣプラス深度情報を使用して、Ｈ．２６４の３ＤＶＣ拡張に準拠する３ＤＶＣビットストリームを符号化することができる。ＭＶＣの最新のジョイントドラフトは、「アドバンストビデオコード化 ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月において記述されており、３ＤＶＣのワーキングドラフトは、上で説明された、２０１１年１１月付けの、「ＷＤ ｏｎ ＭＶＣ Ｅｘｔｅｎｓｉｏｎｓ ｆｏｒ Ｉｎｃｌｕｓｉｏｎ ｏｆ Ｄｅｐｔｈ Ｍａｐｓ」、ＩＳＯ／ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１２３５１、ジュネーブ、スイスにおいて記述されている。やはり、本開示でのＭＶＣへの言及は、３ＤＶＣの状況におけるＭＶＣプラス深度への言及であると理解されるべきである。即ち、３ＤＶＣがＭＶＣを組み込み、又はＭＶＣを「作り直す」という意味で、ＭＶＣが３ＤＶＣに関連するものとして、本開示ではＭＶＣに言及が行われる。
Ｈ．２６４に対する３ＤＶＣ拡張では、ビューはテクスチャと深度とを含む。ビューのテクスチャ部分はテクスチャビューと名付けられ、かつビューの深度部分は深度ビューと名付けられる。１つのアクセス単位中のビューのテクスチャ部分、即ちアクセス単位中のテクスチャビューは、テクスチャビュー成分と名付けられる。１つのアクセス単位中のビューの深度部分、即ちアクセス単位中の深度ビューは、深度成分と名付けられる。ビュー成分という用語は、１つのアクセス単位中のビューであり、同じアクセス単位中のテクスチャビュー成分と深度ビュー成分の両方を集合的に指す。
Ｈ．２６４／ＡＶＣの拡張では、複数の寸法でＶＣＬ ＮＡＬ単位の特性を記述するために、シンタックス要素がＮＡＬ単位ヘッダ拡張に追加されて、ＮＡＬ単位ヘッダを１バイトから４バイトに拡張することができる。従って、ＭＶＣ拡張におけるＶＣＬ ＮＡＬ単位は、Ｈ．２６４／ＡＶＣ規格内のＮＡＬ単位ヘッダよりも長いＮＡＬ単位ヘッダを含み得る。Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張は、本開示では「ＭＶＣ／ＡＶＣ」と呼ばれる場合がある。
ＭＶＣ／ＡＶＣ ＮＡＬ単位は、ＮＡＬ単位タイプを含む１バイトのＮＡＬ単位ヘッダ、ならびにＭＶＣ／ＡＶＣ ＮＡＬ単位ヘッダ拡張を含み得る。一例として、ＭＶＣ／ＡＶＣ ＮＡＬ単位ヘッダ拡張は、以下の表の中のシンタックス要素を含み得る。
上の表では、ｉｄｒ＿ｆｌａｇ要素は、ＮＡＬ単位が瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャに属するか、又は閉ＧＯＰランダムアクセスポイントとして使用され得るビューＩＤＲ（Ｖ−ＩＤＲ）ピクチャに属するかを示すことができる。例えば、ＩＤＲピクチャ、及び表示順序とビットストリーム順序の両方でそれに続く全てのピクチャは、ビットストリーム順序又は表示順序のいずれかで前にあるピクチャを復号することなく、適切に復号され得る。
ｐｒｉｏｒｉｔｙ＿ｉｄ要素は、変化するネットワーク状態及び／又は（例えば、単一パス適応プロセスなどの）ビデオデコーダ３０及び／又は表示装置３２の能力に応じてビットストリームを変更する、ビットストリーム適応プロセスとともに使用され得る。ｖｉｅｗ＿ｉｄ要素は、ＮＡＬ単位が所属するビューのビュー識別子を示すために使用されてよく、ビュー識別子は、例えばビュー間予測用にＭＶＣデコーダの内部で、例えばレンダリングのためにデコーダの外部で使用され得る。幾つかの例では、ｖｉｅｗ＿ｉｄは、予め定義されたカメラＩＤに等しく設定されてよく、比較的大きい場合がある。ｔｅｍｐｏｒａｌ＿ｉｄ要素は、特定のフレームレートに対応し得る、現在のＮＡＬ単位の時間レベルを示すために使用され得る。
ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇ要素は、ＮＡＬ単位が開ＧＯＰランダムアクセスポイントとして使用され得るアンカーピクチャに属するかどうかを示すために使用され得る。例えば、アンカーピクチャ、及び表示順序でそれに続く全てのピクチャは、復号順序（即ち、ビットストリーム順序）で前にあるピクチャを復号することなく、適切に復号され得るので、ランダムアクセスポイントとして使用され得る。アンカーピクチャと非アンカーピクチャとは異なるビュー依存性を有することがあり、それらの両方はＳＰＳ内で信号伝達され得る。
即ち、本明細書で説明されるように、ビュー依存性は、一般に、現在コード化されているビューが依存するビューを指す。言い換えれば、ビュー依存性は、現在コード化されているビューがどのビューから予測され得るかを示すことができる。幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ拡張において信号伝達され得る。そのような例では、全てのビュー間予測は、ＳＰＳのＭＶＣ拡張によって指定された範囲内で行われ得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇ要素は、ＮＡＬ単位が他のビュー内のＮＡＬ単位用のビュー間予測に使用されるかどうかを示すために使用され得る。
ＭＶＣビットストリームのベースビュー用のＮＡＬ単位ヘッダ情報（４バイトであり得る）を搬送するために、前置ＮＡＬ単位(prefix NAL unit)がＭＶＣにおいて定義され得る。ＭＶＣの状況において、ベースビューアクセス単位は、特定のビューの現在の時間インスタンスのＶＣＬ ＮＡＬ単位、及びベースビューアクセス単位用の前置ＮＡＬ単位を含んでよく、前置ＮＡＬ単位はＮＡＬ単位ヘッダのみを含み得る。前置ＮＡＬ単位が（例えば、単一ビューの復号などの）復号に必要でない場合、デコーダは前置ＮＡＬ単位を無視及び／又は廃棄することができる。
ＳＰＳのＭＶＣ／ＡＶＣ拡張に関して、ＭＶＣ ＳＰＳはビュー間予測の目的で使用され得るビューを示すことができる。例えば、可能性のあるビュー間参照が、ＳＰＳのＭＶＣ／ＡＶＣ拡張において信号伝達されてよく、参照ピクチャリストの構築プロセスによって修正されてよく、このことは、インター予測参照又はビュー間予測参照の柔軟な順序付けを可能にする。例示的なＭＶＣ／ＡＶＣ ＳＰＳが以下の表で説明される。
幾つかの例によれば、ビュー依存性は、ＳＰＳのＭＶＣ拡張において信号伝達され得る。全てのビュー間予測は、ＳＰＳのＭＶＣ拡張によって指定された範囲内で行われ得る。即ち、ＳＰＳは、現在コード化されているビューによる予測の目的でどのビューが参照され得るかを示すことができる。上の表２では、ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、リスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ０）用の初期化された参照ピクチャリスト中のビュー間予測用のビュー成分の数を指定することができる。
加えて、ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０中のビュー間予測用の第ｊのビュー成分のｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、リスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ１）用の初期化された参照ピクチャリスト中のビュー間予測用のビュー成分の数を指定することができる。ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１中のビュー間予測用の第ｊのビュー成分のｖｉｅｗ＿ｉｄを指定することができる。
ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ０［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０中のビュー間予測用のビュー成分の数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ０［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ０中のビュー間予測用の第ｊのビュー成分のｖｉｅｗ＿ｉｄを指定することができる。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿ｌ１［ｉ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ１中のビュー間予測用のビュー成分の数を指定することができる。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿ｌ１［ｉ］［ｊ］要素は、初期化されたＲｅｆＰｉｃＬｉｓｔ中のビュー間予測用の第ｊのビュー成分のｖｉｅｗ＿ｉｄを指定することができる。
初期化された、又は「初期の」参照ピクチャリストは、ビュー成分をビュー間予測する目的で使用される最後の参照ピクチャリストと同じであることがあり、又は異なることがある。即ち、特定の参照候補（即ち、ビュー間予測に使用され得る参照ピクチャ）は、初期の参照ピクチャリスト（例えば、冗長なピクチャ）から削除され得る。加えて、以下でより詳しく説明されるように、参照候補は、初期の参照ピクチャリストから並べ替えられて、最終的な参照ピクチャリストを形成することができる。
この例では、ＭＶＣによれば、アンカーピクチャのビュー依存性と非アンカーピクチャのビュー依存性は、別々に保持され信号伝達される。即ち、ビデオコーダは、合計４個の参照ピクチャリスト（例えば、非アンカーピクチャのリスト０、非アンカーピクチャのリスト１、アンカーピクチャのリスト０、アンカーピクチャのリスト１）を決定することができる。加えて、上の表２で示されたように、ビデオデコーダ３０にビュー依存性を示すために別の信号伝達が必要である。即ち、ＳＰＳは、ａｎｃｈｏｒ＿ｒｅｆｓとｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓの両方のための、別個のリスト０とリスト１の信号伝達を含み得る。
その上、表２によれば、非アンカービュー成分のビュー間依存性は、アンカービュー成分のビュー間依存性のサブセットである。即ち、例えば、アンカービューのビュー成分は、ビュー３とビュー４などの２つ以上の他のビューから予測され得る。しかしながら、非アンカービューは、ビュー３（アンカービューのサブセット）のピクチャからしか予測され得ない。このようにして、アンカービュー成分のビュー依存性と非アンカービュー成分のビュー依存性は、別々に保持され得る。
加えて、表２では、ｎｕｍ＿ｌｅｖｅｌ＿ｖａｌｕｅｓ＿ｓｉｇｎａｌｌｅｄは、コード化ビデオシーケンスのために信号伝達されるレベル値の数を指定することができる。ｌｅｖｅｌ＿ｉｄｃ［ｉ］要素は、コード化ビデオシーケンスのために信号伝達される第ｉのレベル値を指定することができる。要素ｎｕｍ＿ａｐｐｌｉｃａｂｌｅ＿ｏｐｓ＿ｍｉｎｕｓ１［ｉ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ１［ｉ］によって示されたレベルが適用される動作点の数を指定することができる。要素ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄ［ｉ］［ｊ］は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点のｔｅｍｐｏｒａｌ＿ｉｄを指定することができる。
要素ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用のターゲット出力ビューの数を指定することができる。要素ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｔａｒｇｅｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］［ｋ］は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点用の第ｋのターゲット出力ビューを指定することができる。要素ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点で、ターゲット出力ビューに依存するがターゲット出力ビューに属さないビューを含む、ビューの数を指定することができる。
従って、ＭＶＣのためのＳＰＳでは、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数が信号伝達され得る。加えて、ＭＶＣのためのＳＰＳにおいて信号伝達されるような、アンカーピクチャに対する予測関係は、同じビューの（ＭＶＣのＳＰＳにおいて信号伝達される）非アンカーピクチャに対する予測関係とは異なることがある。
以下でより詳しく説明されるように、ビデオエンコーダ２０及びビデオデコーダ３０は、参照ピクチャリストを構築するときに、時間予測参照とビュー予測参照とを柔軟に配置することができる。参照ピクチャセクション及び冗長ピクチャ機構がビュー寸法に拡張され得るので、柔軟な配置を可能にすると、潜在的なコード化効率の向上だけでなく、誤り耐性も実現する。一例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、以下のステップに従って参照ピクチャリストを構築することができる。
１）他のビューからの参照ピクチャが考慮されないように、時間的（即ち、ビュー内）参照ピクチャ用の参照ピクチャリストを初期化する。
２）ピクチャがＭＶＣのＳＰＳ拡張で発生する順序で、ビュー間参照ピクチャをリストの最後に追加する。
３）参照ピクチャリスト並べ替え（ＲＰＬＲ）プロセスをビュー内参照ピクチャとビュー間参照ピクチャの両方に適用する。ビュー間参照ピクチャは、ＭＶＣのＳＰＳ拡張で指定されたそれらのインデックス値により、ＲＰＬＲコマンド内で識別され得る。
ＭＶＣでは、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、マルチビュービデオデータを復号するとき、０又は１個のピクチャパラメータセット（ＰＰＳ）をアクティブＰＰＳとして、及び０又は１個のビューＰＰＳ（ＶＰＰＳ）をアクティブＶＰＰＳとしてアクティブ化することができ、各アクティブＶＰＰＳは、最大のビュー順序インデックス値よりも小さいある特定のビュー順序インデックス値に対して特別にアクティブである。即ち、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、アクセス単位内のマルチビュービデオデータの全てのビュー成分に適用されるＰＰＳをアクティブ化することができる。ビデオエンコーダ２０及び／又はビデオデコーダ３０はまた、アクセス単位中のビュー成分のサブセットにのみ適用されるＶＰＰＳをアクティブ化することができる。幾つかの例では、ＶＰＰＳは、ＶＰＰＳがアクティブ化されたビューに対する、ＰＰＳにおいて指定された１つ又は複数のシンタックス要素を上書きする１つ又は複数のシンタックス要素を含み得る。幾つかの例では、ＶＰＰＳは、ＶＰＰＳがアクティブ化されたビューに対する、ＰＰＳにおいて指定された１つ又は複数のシンタックス要素を補足する１つ又は複数のシンタックス要素を含み得る。
その上、ＭＶＣでは、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、マルチビュービデオデータを復号するとき、０又は１個のＭＶＣシーケンスパラメータセット（ＳＰＳ）をアクティブＭＶＣ ＳＰＳとして、かつ０又は１個のビューＳＰＳ（ＶＳＰＳ）をアクティブＶＳＰＳとしてアクティブ化することができ、各アクティブＶＳＰＳは、最大のビュー順序インデックス値よりも小さいある特定のビュー順序インデックス値に対して特別にアクティブである。即ち、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、１つ又は複数のアクセス単位内のマルチビュービデオデータの全てのビュー成分に適用されるＳＰＳをアクティブ化することができる。ビデオエンコーダ２０及び／又はビデオデコーダ３０はまた、１つ又は複数のアクセス単位中のビュー成分のサブセットにのみ適用されるＶＳＰＳをアクティブ化することができる。幾つかの例では、ＶＳＰＳは、ＶＳＰＳがアクティブ化されたビューに対する、ＳＰＳにおいて指定された１つ又は複数のシンタックス要素を上書きする１つ又は複数のシンタックス要素を含み得る。幾つかの例では、ＶＳＰＳは、ＶＳＰＳがアクティブ化されたビューに対する、ＳＰＳにおいて指定された１つ又は複数のシンタックス要素を補足する１つ又は複数のシンタックス要素を含み得る。
加えて、ＭＶＣは、単一のビットストリームから様々な所謂動作部分を解析又は抽出するための機能を提供する。各動作点は、変化する時間フレームレート及び空間解像度で符号化される、マルチビュービデオデータのビューの異なる組合せを表し得る。言い換えると、動作点は、ビュー次元（ビューの数を反映する）と、時間次元（フレームレートを反映する）と、空間次元（空間解像度を反映する）とを含む、３次元でのマルチビュービデオデータの符号化を指し得る。
動作点は、ターゲット時間レベルを表すｔｅｍｐｏｒａｌ＿ｉｄ値、及びターゲット出力ビューを表すｖｉｅｗ＿ｉｄ値のセットによって識別され得る。１つの動作点がビットストリームサブセットに関連付けられ、ビットストリームサブセットは、ターゲット出力ビュー、及びターゲット出力ビューが依存する全ての他のビューからなり、ｔｅｍｐｏｒａｌ＿ｉｄ値に等しいｔＩｄＴａｒｇｅｔと、ｖｉｅｗ＿ｉｄ値のセットからなるｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔとを入力として伴う、Ｈ．２６４／ＡＶＣの３次元ビデオコード化（３ＤＶＣ）拡張のＨ．８．５．３項において規定されているサブビットストリーム抽出プロセスを使用して導出される。２つ以上の動作点が、同じビットストリームサブセットに関連付けられ得る。３ＤＶＣが「動作点が復号される」と述べる場合、それは、動作点に対応するビットストリームサブセットの復号と、ターゲット出力ビューの後続の出力とを指す。言い換えると、各動作点は、ある時間レベル及び／又は空間解像度若しくは空間レベルにある、出力のためのビューターゲットの数によって表される。
シーケンスパラメータセットのＭＶＣ拡張では、異なる動作点がｌｅｖｅｌ＿ｉｄｃ値によって信号伝達され得る。以下のシンタックス要素は、レベル定義シンタックス要素と名付けられる。
ＭＶＣのＳＰＳ拡張において信号伝達される各ｌｅｖｅｌ＿ｉｄｃに対して、新たなｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈが、３Ｄビデオ（３ＤＶ）のＳＰＳ拡張において信号伝達される。全てのＭＶＣ動作点が同じｌｅｖｅｌ＿ｉｄｃ［ｉ］を有すると仮定される場合、深度成分を含めて３ＤＶＣ動作点を構築した後で、３ＤＶＣ動作点は、同じレベルのｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ［ｉ］を有する。詳細なシンタックス設計が次のように示される。
加えて、同じアクセス単位中のビュー成分を除去されるべきビュー成分として復号するとき、ビュー成分がビュー間参照のために更に使用されず、ビュー成分が出力のために使用されない場合、復号ピクチャバッファ（ＤＰＢ）からビュー成分が除去され得ることを、ＭＶＣは実現する。
現在、３ＤＶＣは、ビュー成分のテクスチャ成分と深度成分とを区別する方法を提供せず、「ビュー成分」という用語は、３Ｄマルチビュービデオデータによって指定されるビューのピクチャを指す。結果として、ビューのテクスチャ成分と深度成分とを符号化するとき、ビデオエンコーダは一般に、テクスチャ成分と深度成分を区別するための方法を何ら提供することなく、ＭＶＣに関して上で説明されたのと同様の方式で、テクスチャ成分と深度成分の両方をビュー成分として扱い、又は別様に処理する。即ち、３ＤＶＣは現在、深度成分とは別々にテクスチャ成分を個々に処理するための方法を提供することなく、ビュー成分の取扱又はコード化を行う。３ＤＶＣにおけるこの区別の欠如により、コード化効率がより低くなり、及び／又は復元ビデオデータの品質がより低くなり得る。
例えば、深度成分は、このビュー成分の共同の取扱に対応するように、対応するテクスチャ成分と同じ解像度で指定されることが現在は要求され得る。しかしながら、より解像度の高い（テクスチャ成分の解像度と比べて）深度成分は、視聴者の視覚系が期待するものをより良好に再現するより良好でより没入感のある３Ｄビデオが生じ得るので、３次元（３Ｄ）ビデオ再生をもたらし得る。その上、より解像度の低い（テクスチャ成分の解像度と比較して）深度成分は、幾つかの例では同一の又は同様の没入感のある３Ｄ体験を提供し得るが、コード化されると使用するビットがより少なくなり得るので、コード化効率を向上させることができる。深度成分とテクスチャ成分の別々の取扱を可能にできないことによって、３ＤＶＣは、コード化効率が低下することがあり、及び／又は、（しばしば、鑑賞体験の点で）復元ビデオデータの品質が低くなることがある。
本開示の技法は全般に、３Ｄビデオデータを処理又はコード化するときに、ビューのテクスチャ成分と深度成分の別個の又は独立した取扱を可能にすることに関する。例えば、シーケンスパラメータセット（ＳＰＳ）の３ＤＶＣ拡張が、３ＤＶＣ関連プロファイルのために追加され得る。このＳＰＳの３ＤＶＣ拡張の中で、深度マップシーケンスのピクチャサイズ、深度マップシーケンスによって表示されるべきピクチャのサイズ、及び、考慮される深度マップピクチャを伴う動作点のレベルのうちの１つ又は複数が信号伝達されてよく、特定のレベルの各々は、ＳＰＳのＭＶＣ拡張においてすでに定義されているレベルに対応する。ピクチャのサイズは、表示機器によって出力される復号ピクチャであってよい。
３ＤＶＣコーデックでは、特定の時間インスタンスにおけるビデオデータの各ビューのビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。テクスチャビュー成分は、ルミナンス（Ｙ）成分と、クロミナンス（Ｃｂ及びＣｒ）成分とを含み得る。ルミナンス（輝度）成分及びクロミナンス（色）成分は、本明細書では「テクスチャ」成分と総称される。深度ビュー成分は、画像の深度マップからのものであり得る。３Ｄ画像レンダリングでは、深度マップは、深度成分を含み、与えられた鑑賞視点からの仮想ビューを生成するために使用され得る。深度成分及びテクスチャ成分のシンタックス要素は、コード化ブロックユニットによって信号伝達され得る。本開示では単に「コード化ブロック」とも呼ばれるコード化ブロックユニットは、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ（アドバンストビデオコード化）におけるマクロブロックに対応し得る。
本開示は、ビデオ符号化及び／又は復号プロセスのインター予測段階中にエンコーダによって適用されデコーダによって使用され得る信号伝達技法を説明する。説明される技法は、３次元（「３Ｄ」）ビデオコンテンツのコード化に関する。３Ｄビデオコンテンツは、例えば、マルチビュービデオプラス深度（「ＭＶＤ」）コード化ブロックとして表され得る。より具体的には、本技法は、テクスチャビュー成分と深度ビュー成分とを有する少なくとも１つの２次元画像の受信を伴う。幾つかのテクスチャビュー成分及び深度情報が、単一のコード化ブロックへと一緒にコード化されてよく、又は別々のブロックとしてコード化されてよい。画像は、画像のスライスへと分割され得る。テクスチャビュー成分及び深度ビュー成分のためのシンタックス要素は、シーケンスパラメータセットにおいて信号伝達され得る。深度ビュー成分は、テクスチャビュー成分から予測されることも又は予測されないこともある。
ビデオコード化規格の文脈では、「プロファイル」は、アルゴリズム、機能、又はツール、及びそれらに適用される制約のサブセットに対応する。例えば、Ｈ．２６４規格によって定義される「プロファイル」は、Ｈ．２６４規格によって規定されたビットストリームシンタックス全体のサブセットである。「レベル」は、例えば、ピクチャの解像度、ビットレート、及びマクロブロック（ＭＢ）処理レートに関連するデコーダメモリ及び計算のような、デコーダのリ発信源消費の限度に対応する。プロファイルはｐｒｏｆｉｌｅ＿ｉｄｃ（プロファイルインジケータ）値で信号伝達されてよく、レベルはｌｅｖｅｌ＿ｉｄｃ（レベルインジケータ）値で信号伝達されてよい。
Ｈ．２６４／ＡＶＣ規格では、ネットワーク抽象レイヤ（ＮＡＬ）ユニットは、ビデオ電話、記憶、又はストリーミングビデオなどの用途に対処するための「ネットワークフレンドリーな」ビデオ表現を与えるように定義される。ＮＡＬ単位は、ビデオコード化レイヤ（ＶＣＬ）ＮＡＬ単位と非ＶＣＬ ＮＡＬ単位とに分類され得る。ＶＣＬユニットは、コア圧縮エンジンを含んでよく、ブロックレベルと、マクロブロック（ＭＢ）レベルと、スライスレベルとを備え得る。他のＮＡＬ単位は非ＶＣＬ ＮＡＬ単位である。
２Ｄビデオ符号化では、各ＮＡＬ単位は、１バイトのＮＡＬ単位ヘッダと可変サイズのペイロードとを含み得る。ＮＡＬ単位タイプを指定するために５ビットが使用され得る。他のピクチャ（ＮＡＬ単位）によって参照されることに関してＮＡＬ単位がどの程度重要かを示すｎａｌ＿ｒｅｆ＿ｉｄｃのために、３ビットが使用され得る。例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃを０に等しく設定することは、ＮＡＬ単位がインター予測のために使用されないことを意味する。Ｈ．２６４／ＡＶＣが、スケーラブルビデオコード化（ＳＶＣ）規格など、３Ｄビデオ符号化を含むように拡張され得るとき、ＮＡＬヘッダは２Ｄの状況のＮＡＬヘッダと同様であり得る。例えば、ＮＡＬ単位ヘッダ中の１つ又は複数のビットは、ＮＡＬ単位が４成分のＮＡＬ単位であることを識別するために使用され得る。
ＮＡＬ単位ヘッダは、ＭＶＣ ＮＡＬ単位のためにも使用され得る。しかしながら、ＭＶＣでは、ＮＡＬ単位ヘッダ構造は、前置ＮＡＬ単位及びＭＶＣコード化スライスＮＡＬ単位を除いて保持され得る。本開示の技法は、スーパーＳＰＳを信号伝達するために使用され得る異なるＮＡＬ単位タイプを提供する。
次の表は、本開示の一態様による、シーケンスパラメータセットＲＢＳＰシンタックスの一例を提供する。例示のみを目的に、例えばこの表に関連して、テクスチャ及び深度が同じｖｉｅｗ＿ｉｄ値を有し、テクスチャと深度を区別するためにｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが使用されることが仮定され得る。以下では、太字の項目は、ＭＶＣに対する３ＤＶＣ拡張のワーキングドラフトの現在の又は以前のバージョンと比較して、本開示の例に従って追加され、更新され、又は変更された項目を表す。その上、以下の表の付録Ｇのような、付録に対する言及は、Ｈ．２６４ビデオコード化規格の付録を指す。
上に示された表によれば、１に等しい３ｄｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、３ｄｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｅｘｔｅｎｓｉｏｎ（）が存在することを示す。３ｄｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合、このフラグは、３ｄｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｅｘｔｅｎｓｉｏｎ（）が存在しないことを示す。例えば、３ｄｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、本開示の技法の一部を組み込む拡張がシーケンスパラメータセット中に存在することを示す。
幾つかの例では、ＭＶＣプロファイル（例えば、ｓｔｅｒｅｏ ｈｉｇｈ又はｍｕｌｔｉｖｉｅｗ ｈｉｇｈ）を伴うサブセットＳＰＳは、３ＤＶプロファイルを伴うサブセットＳＰＳと同じＳＰＳ ｉｄを有し得るので、テクスチャビュー成分は、異なるプロファイル中の異なるコンテンツを有する同じＳＰＳ＿ｉｄを参照する。例えば、ＭＶＣを伴うサブセットＳＰＳは、テクスチャのみを有する動作点に対応し得る。３ＤＶプロファイルを伴うサブセットＳＰＳと同じＳＰＳ ｉｄを有することで、テクスチャのみを含んでいた動作点が、デコーダ又はネットワーク機器、例えばメディア認識ネットワーク要素（ＭＡＮＥ）によって抽出されることが可能になり得る。
Ｍｕｌｔｉｖｉｅｗ Ｈｉｇｈプロファイルは、任意の数のビューをサポートする。Ｓｔｅｒｅｏ Ｈｉｇｈプロファイルは、２つのビューの立体ビデオをサポートする。他の例では、本明細書で説明される技法は、他のＭＶＣプロファイルを使用する例に適用され得る。
以下の表は、シーケンスパラメータセットの３ＤＶＣ拡張のための拡張シンタックス要素の例を提供する。
一例では、シーケンスパラメータセットの３ＤＶＣ拡張は、コード化ビデオシーケンス中の他のビューよりも高い解像度を有する追加のビューの、ビュー間依存関係を指定する。より解像度の低い他のビューのテクスチャビュー成分は、付録Ｈに準拠するサブビットストリームに属する。シーケンスパラメータセットの３ＤＶＣ拡張はまた、深度ビュー成分の依存性を指定する。より解像度の高いビューは、他のビューの２倍の幅、同一の高さ、又は２倍の高さ、又は同一の幅を有し得る。幾つかの例では、より解像度の高いビューは、他のビューの２倍の幅、同一の高さ、又は２倍の高さ、又は同一の幅のみを有し得る。
深度ビュー成分のｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、４：０：０に等しいと推測される。
シンタックス要素ｄｉｓａｂｌｅ＿ｄｅｐｔｈ＿ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは、ｍ２２５８３における同じ名前のフラグと同じセマンティクスを有し得る。シンタックス要素ｄｅｐｔｈ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１プラス１は、マクロブロックの単位で、各深度ビュー成分ピクチャの幅を指定する。マクロブロックの単位の深度ビュー成分のピクチャの幅のための変数は、次のように導出され得る。
ルーマ成分に対する深度ビュー成分のピクチャの幅のための変数は、次のように導出され得る。
幾つかの例では、シンタックス要素ｄｅｐｔｈ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１プラス１は、深度ビュー成分の復号フレームのスライスグループマップ単位で高さを指定する。変数ＰｉｃＨｅｉｇｈｔＩｎＭａｐＵｎｉｔｓ及びＰｉｃＳｉｚｅＩｎＭａｐＵｎｉｔｓは、以下のように導出される。
幾つかの例では、シンタックス要素ｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇが１に等しい場合、ｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇは、フレーム切り取りオフセットパラメータが、深度ビュー成分のためのシーケンスパラメータセットにおいて次に続くことを明示する。０に等しいｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇは、フレーム切り取りオフセットパラメータが深度ビュー成分に対して存在しないことを明示する。
ｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｄｅｐｔｈ＿ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔは、出力のためのフレーム座標で指定される長方形領域の形で、復号プロセスから出力されるコード化ビデオシーケンスにおける深度ビュー成分のピクチャのサンプルを指定することができる。これらのオフセットは、復号深度ビュー成分のピクチャに対する切り取り枠を定義することができる。
幾つかの例では、シンタックス要素ｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ［ｉ］は、深度ビュー成分を伴うコード化ビデオシーケンスのために信号伝達される第ｉのレベル値を指定する。
サブビットストリームを生成するために、ＭＶＣビットストリームから１つ又は複数のビューを抽出することが可能である。ターゲット出力ビューの所与の妥当なセットを伴うサブビットストリームは、動作点と呼ばれる。ビューの依存性が原因で、ターゲット出力ビューのセットは、サブビットストリーム中に含まれているビューのサブセットであり得る。また、ターゲット出力ビューは、サブビットストリーム中に含まれているビューと同一であり得る。しかしながら、サービス提供者が、多数のビューを伴う動作点をサポートすることを意図していない場合、ターゲット出力ビューの数は、含まれているビューのサブセットであり得る。それらの含まれているビューは、復号されるべきビューであることに留意されたい。
動作点は、ターゲット時間レベルを表すｔｅｍｐｏｒａｌ＿ｉｄ値、及びターゲット出力ビューを表すｖｉｅｗ＿ｉｄ値のセットによって識別される。１つの動作点がビットストリームサブセットに関連付けられ、ビットストリームサブセットは、ターゲット出力ビュー、及びターゲット出力ビューが依存する全ての他のビューからなり、ｔｅｍｐｏｒａｌ＿ｉｄ値に等しいｔＩｄＴａｒｇｅｔと、ｖｉｅｗ＿ｉｄ値のセットからなるｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔとを入力として伴う、Ｈ．８．５．３項において規定されているサブビットストリーム抽出プロセスを使用して導出される。２つ以上の動作点が、同じビットストリームサブセットに関連付けられ得る。３ＤＶＣが「動作点が復号される」と述べる場合、それは、動作点に対応するビットストリームサブセットの復号と、ターゲット出力ビューの後続の出力とを指す。
本明細書で説明される技法によれば、３ＤＶＣのＳＰＳ拡張のための動作点の構築は、深度ビュー成分と関連付けられることを除き、ＭＶＣのＳＰＳ拡張と同じであり得る。言い換えると、ｌｅｖｅｌ＿ｉｄｃ［ｉ］に等しいレベルを有するＭＶＣのＳＰＳ拡張において信号伝達される各動作点に対して、対応する動作点は、ターゲット出力ビュー及びｔｅｍｐｏｒａｌ＿ｉｄ値の同じ集合を伴って、３ＤＶＣのＳＰＳ拡張において有効にされるが、深度成分を含む各ビュー成分に対して、ｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ［ｉ］というレベルを更に含む。
或いは、３ＤＶプロファイルを伴う現在のＳＰＳの、ＳＰＳのＭＶＣ拡張において信号伝達されるｌｅｖｅｌ＿ｉｄｃ値は常に、深度ＮＡＬ単位を含む動作点のためのものであるので、シンタックス要素ｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ［ｉ］は、３ＤＶＣのための幾つかの例においては信号伝達されない。例えば、本明細書で説明される技法によれば、ＳＰＳのＭＶＣ拡張を含む３ＤＶプロファイルを伴うＳＰＳにおいてｌｅｖｅｌ＿ｉｄｃ値を信号伝達するとき、シンタックス要素ｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ［ｉ］は、ｌｅｖｅｌ＿ｉｄｃ値が深度ＮＡＬ単位を含む動作点のためのものではないので、信号伝達されない。
次の表は、３ＤＶＣのＶｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＶＵＩ）パラメータ拡張のための例示的なセマンティクスを提供する。
上で直接示される例示的な表では、１に等しいｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、現在の動作点が各ビューの深度ビュー成分を含むことを示す。０に等しいｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、現在の動作点が何ら深度ビュー成分を含まないことを示す。
他のシンタックス要素は、同じ名前を有するＭＶＣのＶＵＩパラメータ拡張と同じセマンティクスを有し得る。
代替的に、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｉｄｃ［ｉ］が信号伝達され得る。１に等しい要素ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｉｄｃ［ｉ］は、現在の動作点が各ビューの深度ビュー成分を含むことを示し得る。幾つかの例では、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｉｄｃ［ｉ］を０又は２に等しく設定することは、現在の動作点がテクスチャビュー成分のみを含むことを示し得る。他の例では、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｉｄｃ［ｉ］を０に等しく設定することは、現在の動作点が何ら深度ビュー成分を含まないことを示し得る。他の例では、ｄｅｐｔｈ＿ｐｒｅｓｅｎｔ＿ｉｄｃ［ｉ］を２に等しく設定することは、現在の動作点が何ら深度ビュー成分を含まないことを示し得る。
別の例では、深度ビュー成分及びテクスチャビュー成分は、同じビューに属していても、信号伝達されるｖｉｅｗ＿ｉｄ値が異なり得る。しかしながら、深度ビュー成分はそれでも、テクスチャと同じビュー依存性を共有し得る。幾つかの例では、ＳＰＳの３ＤＶＣ拡張は、ｖｉｅｗ＿ｉｄ値のマッピングを含む。
次の表は、ＳＰＳの３ＤＶＣ拡張の別の例を提供する。
シンタックス要素ｖｉｅｗ＿ｉｄ＿ｄｅｐｔｈ［ｉ］は、ｉに等しいＶＯＩｄｘを伴う深度ビューのｖｉｅｗ＿ｉｄを指定し、この深度ビューは、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有するテクスチャビューを伴うビューに属する。
別の例では、全ての他の態様を同一に保ちながら、ｌｅｖｅｌ＿ｉｄｃ＿ｄｅｐｔｈ値が、ＳＰＳのＭＶＣ拡張において信号伝達されるｌｅｖｅｌ＿ｉｄｃ値と同じ方法で信号伝達され得る。
別の例では、深度ビュー成分は、異なるｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ（）を共有し得る。従って、深度ビュー成分の幅及び高さが信号伝達される。一例では、シンタックスｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ（）は、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃを含んでよく、これは幾つかの例では４：０：０であり得る。これらの例では、深度ビュー予測関係は依然として、テクスチャビュー予測関係と同じ予測関係を共有し得る。
次の表は、本開示の一態様による、深度ビュー成分が同じｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ（）を共有する場合のための、サブセットシーケンスパラメータセットＲＢＳＰのためのシンタックス要素の例を提供する。
次の表は、本開示の一態様による、深度ビュー成分が同じｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ（）を共有する場合のために、例示的なシーケンスパラメータセットの３ｄＶＣ拡張のシンタックスを提供する。
幾つかの例では、前述の表の幾つかで示されるシンタックス要素の幾つかのセマンティクスは、これらの表の他の１つに関して説明される類似したシンタックス要素と同様又は同一であり得る。
別の例では、新たなＮＡＬ単位タイプが提供され得る。ＮＡＬ単位タイプは、３ＤＶプロファイルのためのスーパーＳＰＳを信号伝達するために使用される、１５のような値を有し得る。次の３つの表は、３ＤＶプロファイルのためのスーパーＳＰＳ向けのシンタックス要素に対応し得る。幾つかの例では、スーパーＳＰＳは、深度ビュー成分とテクスチャ成分の両方を信号伝達することができる。
次の表は、スーパーシーケンスパラメータセットＲＢＳＰシンタックスの一例を提供する。次の表のＳＰＳの３ＤＶＣ拡張のシンタックスは、新たなＮＡＬ単位タイプを使用して信号伝達され得る。
次の表は、本明細書で説明される技法による、ＳＰＳの３ＤＶＣ拡張のシンタックスの一例を提供する。次の表のＳＰＳの３ＤＶＣ拡張のシンタックスは、新たなＮＡＬ単位タイプを使用して信号伝達され得る。
次の表は、本明細書で説明される技法による、３ＤＶＣのＶＵＩパラメータ拡張のシンタックスの一例を提供する。次の表の３ＤＶＣのＶＵＩパラメータ拡張のシンタックスは、新たなＮＡＬ単位タイプを使用して信号伝達され得る。
幾つかの例では、前述の表で示されるシンタックス要素の幾つかのセマンティクスは、前述の表の他の１つに関して説明される類似したシンタックス要素と同様又は同一であり得る。ＭＶＣのＳＰＳ拡張において定義されるレベルは、動作点に適用されてよく、深度ＮＡＬ単位を考慮する。３ＤＶ関連のプロファイルでは、１つのＳＰＳ、１つのサブセットＳＰＳ、及び１つのスーパーセットＳＰＳが同時にアクティブ化され得る。
結果として、ＭＶＣは、深度成分とテクスチャ成分の別々の取扱を実現するために、３ＤＶＣによって拡張され得る。そのような独立の取扱を可能にすることによって、本開示で説明される技法の様々な態様は、ビットの節約（又は、言い換えると、マルチビュービデオデータのより効率的なコード化）及び／又は復元ビデオデータの品質の向上（これはやはり、知覚される鑑賞体験の観点で評価され得る）を促し得る。
例えば、本開示で説明される技法の様々な態様は、ビデオコード化機器（これは、発信源機器１２及び／又は宛先機器１４のようなビデオエンコーダ及び／又はビデオデコーダを含む任意の機器を指すために本開示で使用される用語を表し得る）が、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも一部基づいて、ビュー成分のテクスチャ成分のためのテクスチャパラメータセットとしてパラメータセットをアクティブ化することを可能にし得る。ビュー順序インデックスは、アクセス単位の対応するビュー成分の復号順序を記述することができる。ビュー順序インデックスは、ビットストリームのビュー成分を識別するために、ピクチャ順序カウント（ＰＯＣ）値又はフレーム値とともに使用され得る。従って、本技法のこの態様は、ビュー成分のテクスチャ成分のみに対してアクティブ化され、同じビュー成分の対応する深度成分に適用されない、ＰＰＳ又はＳＰＳのようなパラメータセットを提供することができる。この態様では、ビデオコード化機器は、アクティブ化されたテクスチャパラメータセットに基づいて、ビュー成分の深度成分ではなく、ビュー成分のテクスチャ成分のみをコード化することができる。
加えて、ビデオコード化機器は、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも一部基づいて、ビュー成分の深度成分のためのパラメータセットをアクティブ化することができる。即ち、幾つかの例では、ビデオコード化機器は、ビュー成分のテクスチャ成分のためのテクスチャ固有パラメータセットをアクティブ化し、次いで、同じビュー成分の深度成分に対して特別な更に別のパラメータセットをアクティブ化することができる。結果として、ビデオコード化機器は、ビュー成分の深度成分に対してアクティブ化されるパラメータセットに基づいて、かつ、アクティブ化されたテクスチャパラメータセットに基づかないで、ビュー成分の深度成分をコード化することができる。ビデオコード化機器は、アクティブ化されたテクスチャパラメータセットに基づいてテクスチャ成分をコード化することができる。このようにして、本技法は、ビュー成分のテクスチャ成分及び深度成分に対して、ＰＰＳ又はＳＰＳのようなパラメータセットの別々のアクティブ化を促すことができ、ＭＶＣ適合３ＤＶＣビューにおける深度成分及びテクスチャ成分の別々の取扱又は処理を支援する方法を提供する。
本開示で説明される技法の様々な態様はまた、ビュー成分のテクスチャ成分と深度成分の両方、又はビュー成分の深度成分のみに適用されるネスト化された補助情報（ＳＥＩ）メッセージをビデオコード化機器が決定することを可能にすることによって、深度成分とテクスチャ成分の別々の取扱を促すことができる。「ネスト化されたＳＥＩメッセージ」という用語は、ネスト化されたＳＥＩメッセージが別のＳＥＩメッセージの範囲内に実質的に「ネスト化される」ように、別のＳＥＩメッセージの様々な部分を組み込むＳＥＩメッセージを指す。ネスト化されたＳＥＩメッセージが深度成分のみに適用されることを可能にすることによって、本技法のこれらの態様はやはり、テクスチャ成分及び深度成分の別々の取扱を促すことができる。
ビデオコード化機器（即ち、図１の例では発信源機器１２及び／又は宛先機器１４）は、本技法のこれらの態様を実行して、マルチビュービデオデータのビュー成分のコード化に適用される補助強化情報メッセージを決定することができる。このＳＥＩメッセージは、それが特定のビュー成分に適用され任意のネスト化されたＳＥＩメッセージに対する範囲を設定することを反映して、親ＳＥＩメッセージと呼ばれ得る。ビデオコード化機器は次いで、ビュー成分の深度成分をコード化するときに、補助強化情報メッセージに加えて適用されるネスト化された補助強化情報メッセージを決定することができる。このネスト化されたＳＥＩメッセージは、親ＳＥＩメッセージを特定することができ、親ＳＥＩメッセージが適用されるビュー成分の深度成分にのみこのネスト化されたＳＥＩメッセージが適用されることを示すことができる。ビデオコード化機器は次いで、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分の深度成分を処理することができる。
一般に、ネスト化されたＳＥＩメッセージは、ネスト化されたＳＥＩメッセージがビュー成分のテクスチャ成分と深度成分の両方に適用されるのか、又は深度成分のみに適用されるのかを示す、フラグ又は他の識別子を含む。従って、幾つかの例では、ビデオコード化機器は、ビュー成分の深度成分を処理するときのみ、補助強化情報メッセージに加えてネスト化された補助強化情報メッセージが適用されると決定することができ、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分ではなく、ビュー成分の深度成分のみを処理する。代替的に、ビデオコード化機器は、ビュー成分のテクスチャ成分を処理するとき、補助強化情報メッセージに加えてネスト化された補助強化情報メッセージが適用されると決定することができ、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分を処理する。やはり、本技法のこれらの態様は、ビュー成分の深度成分とテクスチャ成分の別々の取扱又は処理をやはり促す。
本開示で説明される技法の他の態様は、ビデオコード化機器が、復号ピクチャバッファからテクスチャ成分と深度成分とを別々に除去することを可能にすることによって、深度成分とテクスチャ成分の別々の取扱を促すことができる。復号ピクチャバッファは、現在のビュー成分をコード化する際に使用するための参照ピクチャを記憶することが可能な、メモリ又は他のコンピュータ可読媒体を指す。本開示に記載される技法は、テクスチャ成分と深度成分の別々の取扱を可能にするので、ビデオコード化機器は、ビュー成分（及び従って、ビュー成分の深度成分及びテクスチャ成分）が同じ参照ピクチャを使用してコード化される従来のＭＶＣとは逆に、同じビュー成分の深度成分をコード化するときに使用されるものとは異なる参照ピクチャを使用して、ビュー成分のテクスチャ成分をコード化することができる。結果として、参照ビュー成分の深度成分が、同じ参照ビュー成分のテクスチャ成分よりも前に復号ピクチャバッファから除去され得、かつ参照ビュー成分のテクスチャ成分が、同じ参照ビュー成分の深度成分よりも前に復号ピクチャバッファから除去され得る、例があり得る。
動作において、ビデオコード化機器は、復号ピクチャバッファに深度成分を記憶し、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定することによって、本開示で説明される技法を実行することができる。ビデオコード化機器は次いで、深度成分がビュー間予測のために使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去することができる。即ち、ビデオコード化機器は、深度成分がビュー間予測のために使用されないと決定したことに応答して、同じ参照ビュー成分のテクスチャ成分を除去することなく、復号ピクチャバッファから参照ビュー成分の深度成分を除去することができる。ビデオコード化機器は、深度成分を除去する前に、深度成分がターゲット出力ビューに属さず、深度成分が０に等しい値を有するネットワーク抽象レイヤ参照識別コードと関連付けられる（深度成分をカプセル化するＮＡＬ単位のコンテンツがピクチャ間予測のための参照ピクチャを構築するために使用されないことを意味する）と決定することによって、除去に適しているものとしてこの深度成分を評価することができる。
本開示で説明される技法の追加の態様はまた、深度成分及びテクスチャ成分の別々の取扱を可能にし、又は別様に支援することができる。例えば、動作点に関して、本技法は、ビデオコード化機器が、第１のシンタックス要素と、第２のシンタックス要素と、第３のシンタックス要素とを含むＳＥＩメッセージを生成することを可能にでき、第１のシンタックス要素は、動作点が深度成分を含むかどうかを示す。動作点が深度成分を含む場合、ビデオコード化機器は、動作点のターゲット出力ビューが直接依存する深度成分の数を示すように、第２のシンタックス要素を定義し、動作点のターゲット出力ビューが直接依存する深度成分を識別するように、第３のシンタックス要素を定義することができる。
幾つかの例では、動作点は、動作点の第１のサブセットと動作点の第２のサブセットとを含んでよく、第１のサブセット中の各動作点はテクスチャ成分のみを含み、第２のサブセット中の各動作点は深度成分を含む。ビデオコード化機器は次いで、３Ｄビデオコード化と関連付けられる所与の値とプロファイル識別子が等しいと決定し、プロファイル識別子が所与の値に等しいと決定したことに応答して、サブセットＳＰＳが第１のＳＰＳ拡張と第２のＳＰＳ拡張とを含むように、サブセットＳＰＳを生成することができる。第１のＳＰＳ拡張は、第１のサブセットと、第１のサブセット中の動作点が属するレベルとを示すことができる。第２のＳＰＳ拡張は、第２のサブセットと、第２のサブセット中の動作点が属するレベルとを示すことができる。このようにして、本技法は、動作点が、テクスチャ成分及び深度成分に対して別々に、及びレベルによって定義されることを可能にし得る。
本技法のこの態様は、深度成分とテクスチャ成分の別々の取扱を利用して、動作点がマルチビュービデオコード化のためにビットストリームからより簡単に抽出されることを可能にし得る。動作点が深度を含むかどうかを信号伝達することによって、ビデオデコーダ３０のようなビデオデコーダは、どの動作点がビデオデコーダ３０の能力に最良に対応するかを決定することができる。例えば、ビデオデコーダ３０は、深度を含まないビューを使用してマルチビュービデオコード化を実行するように最適化されてよく、左眼の視点と右眼の視点の両方が別々のピクチャとして提供される、マルチビュービデオデータを好む。ビデオデコーダ３０は代替的に、深度ベースのマルチビュービデオデータに対して最適化され得るが、２つ以上のビューではなく単一のビューにしか対応しないことがある。符号化マルチビュービデオデータが深度を含む場合、及び深度と、動作点のターゲット出力ビューが直接依存する深度成分の数とを含む場合に信号伝達することによって、ビデオデコーダ３０は、ビデオデコーダ３０の能力又は最適化に対応する動作点を選択することができる。
加えて、ビデオコード化機器は、本開示で説明される技法の態様を実行して、動作点が属するレベルを信号伝達することができ、動作点の少なくとも一部は深度成分を含む。ビデオコード化機器は次いで、３Ｄビデオコード化と関連付けられる所与の値とプロファイル識別子が等しいと決定し、プロファイル識別子が所与の値に等しいと決定したことに応答して、サブセットＳＰＳが動作点と動作点の属するレベルとを信号伝達するＭＶＣのＳＰＳ拡張を含むように、サブセットＳＰＳを生成することができる。動作点の各々は、この例では、１つ又は複数の出力ビューを指定することができ、出力ビューの各々は、テクスチャ成分と深度成分の両方を含む。
更に他の例では、ビデオコード化機器は、本開示で説明される技法を実行して、ＳＰＳ中で、ＭＶＣプロセスにおいて動作点のために復号されるべきビューの数を示すシンタックス要素を生成することができ、ビューの各々は、幾つかのテクスチャ成分のうちの１つと幾つかの深度成分のうちの１つとを有する。ビデオコード化機器は次いで、ＳＰＳにおいて、動作点のために復号されるべきテクスチャ成分の数と、動作点のために復号されるべき深度成分の数とを信号伝達することができる。やはり、深度成分とテクスチャ成分の別々の取扱を支援することによって、本技法は、これらの深度成分及びテクスチャ成分が動作点を形成するためにどのように利用されるかの信号伝達を行うことができる。
図２は、マルチビュービデオデータをコード化するための、本開示で説明される技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は符号化されるべきビデオデータを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６と、参照ピクチャメモリ６４とを含む。次に、モード選択ユニット４０は、動き／視差推定ユニット４２と、動き補償ユニット４４と、イントラ予測ユニット４６と、区分ユニット４８とを含む。
ビデオブロック復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。ブロック境界をフィルタリングして復元されたビデオからブロック歪み(blockiness artifacts)を除去するための、デブロッキングフィルタ（図２に図示せず）も含まれ得る。必要な場合、デブロッキングフィルタは一般に、加算器６２の出力をフィルタリングする。デブロッキングフィルタに加えて、（ループ内又はループ後の）追加ループフィルタも使用され得る。そのようなフィルタは、簡潔のために示されていないが、必要な場合、（ループ内フィルタとして）加算器５０の出力をフィルタリングすることができる。
モード選択ユニット４０は、１つ又は複数のビューからブロックの形態で未加工のビデオデータを受信することができる。モード選択ユニット４０は、例えば、誤差結果に基づいて、コード化モード、即ちイントラ又はインターのうちの１つを選択し、得られたイントラコード化ブロック又はインターコード化ブロックを、加算器５０に提供して残差ブロックデータを生成し、かつ加算器６２に提供して参照ピクチャとして使用するための符号化ブロックを復元することができる。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報などのシンタックス要素を、エントロピー符号化ユニット５６に提供する。
動き／視差推定ユニット４２及び動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示される。動き／視差推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のピクチャ（又は他のコード化単位）内のコード化されている現在のブロックに対する参照ピクチャ（又は他のコード化単位）内の予測ブロックに対する、現在のピクチャ内のビデオブロックのＰＵの変位を示すことができる。
予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、又は他の差分尺度によって決定され得る画素差分に関して、コード化されるべきブロックに厳密に一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャバッファとも呼ばれ得る参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間することができる。従って、動き／視差推定ユニット４２は、フル画素位置及び分数画素位置に対する動き探索を実行し、分数画素精度で動きベクトルを出力することができる。
動き／視差推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵの動きベクトルを計算する。動き推定／視差ユニット４２はまた、ビュー間予測を実行するように構成されてよく、その場合、動き推定／視差ユニット４２は、あるビューのピクチャ（例えば、ビュー０）のブロックと、参照ビューのピクチャ（例えば、ビュー１）の対応するブロックとの間の変位ベクトルを計算することができる。一般に、動き／視差ベクトルのためのデータは、参照ピクチャリストと、参照ピクチャリストへのインデックス（ｒｅｆ＿ｉｄｘ）と、水平成分と、垂直成分とを含み得る。参照ピクチャは、第１の参照ピクチャリスト（リスト０）、第２の参照ピクチャリスト（リスト１）、又は合成参照ピクチャリスト（リストＣ）から選択されてよく、それらの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。合成リストに関して、ビデオエンコーダ２０は、２つのリスト（即ち、リスト０及びリスト１）から合成リストに挿入（追加）されるべき項目を交互に選択する。項目が合成リスト内にすでに入れられているとき、ＰＯＣ数を検査することによって、ビデオエンコーダ２０は、その項目を再び挿入することはできない。各リスト（即ち、リスト０又はリスト１）に対して、ビデオエンコーダ２０は、参照インデックスの昇順に基づいて項目を選択することができる。
動き／視差推定ユニット４２は、参照ピクチャの予測ブロックを識別する動き／視差ベクトルを生成し、エントロピー符号化ユニット５６と動き補償ユニット４４とに送ることができる。即ち、動き／視差推定ユニット４２は、予測ブロックを含んでいる参照ピクチャリストを識別する動きベクトルデータと、予測ブロックのピクチャを識別する参照ピクチャリストへのインデックスと、識別されたピクチャ内の予測ブロックの位置を特定する水平成分及び垂直成分とを生成し、送ることができる。
動き補償ユニット４４によって実行される動き補償は、動き／視差推定ユニット４２によって決定された動き／視差ベクトルに基づいて、予測ブロックを取得又は生成することに関与し得る。やはり、幾つかの例では、動き／視差推定ユニット４２と動き補償ユニット４４は機能的に統合され得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定することができる。
加算器５０は、以下で論じられるように、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き／視差推定ユニット４２は、ルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際に、ビデオデコーダ３０が使用するためのビデオブロック及びビデオスライスと関連付けられるシンタックス要素を生成することができる。
イントラ予測ユニット４６は、上で説明されたように、動き／視差推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用するイントラ予測モードを決定することができる。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パスの間、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードに対するレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を示すかを決定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。
ブロックのイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロックのために選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、（コードワードマッピングテーブルとも呼ばれる）複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブルと、様々なブロックのための符号化コンテキストの定義と、最確イントラ予測モードの指示とを含み得る送信されたビットストリーム構成データの中に、コンテキストの各々に対して使用する、イントラ予測モードインデックステーブルと、修正されたイントラ予測モードインデックステーブルとを含めることができる。
ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数のコンポーネントを表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。
変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコード化の後、符号化ビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されてよく、又は後で送信するか又は取り出すためにアーカイブされてよい。
逆量子化ユニット５８及び逆変換処理ユニット６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域内の残差ブロックを復元する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のピクチャのうちの１つの予測ブロックに加算することによって、参照ブロックを計算することができる。動き補償ユニット４４はまた、復元された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算することができる。加算器６２は、復元された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための復元ビデオブロックを生成する。復元ビデオブロックは、後続ピクチャ中のブロックをインターコード化するために、動き／視差推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。
ビデオエンコーダ２０は、上で説明されたように、幾つかのシンタックス要素を生成することができ、それらはエントロピー符号化ユニット５６又はビデオエンコーダ２０の別の符号化ユニットによって符号化され得る。幾つかの例では、ビデオエンコーダ２０は、上で説明されたように、３ＤＶＣビットストリームのためのシンタックス要素を生成し符号化することができ、やはり、この３ＤＶＣビットストリームはＭＶＣと後方互換性があり得る。即ち、ＭＶＣをサポートするが３ＤＶＣをサポートしないビデオデコーダは依然として、本開示で説明される技法に従って符号化された３ＤＶＣビットストリームを復号することができる。
ビデオエンコーダ２０は、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも一部基づいて、ビュー成分のテクスチャ成分のためのテクスチャパラメータセットとしてパラメータセットをアクティブ化することができる。言い換えると、ビデオエンコーダ２０は、ビュー成分のテクスチャ成分のみに対して、ＰＰＳ又はＳＰＳのようなパラメータセットをアクティブ化することができるので、このテクスチャパラメータセットは、同じビュー成分の対応する深度成分に適用されない。この態様では、ビデオエンコーダ２０は、アクティブ化されたテクスチャパラメータセットに基づいて、ビュー成分の深度成分ではなく、ビュー成分のテクスチャ成分のみを符号化することができる。
具体的には、ビデオエンコーダ２０のモード選択ユニット４０は、モード、例えば、ビュー内予測（これは、ピクチャの全てが同じビューに対応する一時的な又はピクチャ間の予測を伴い得る）、ビュー間予測、又はイントラ予測を選択することによって、パラメータセットをアクティブ化することができる。モード選択ユニット４０は、ピクチャのコード化の繰り返しの各々を分析することができ、各々の繰り返しは異なるパラメータを伴い得る。ピクチャをコード化する様々な繰り返しを選択するとき、モード選択ユニット４０は、ピクチャ、ビュー、ビュー成分、深度成分、及び／又はテクスチャ成分の特定のシーケンスに対してパラメータセットを実質的にアクティブ化することができる。その上、モード選択ユニット４０は、以下でより詳しく説明される方式で、同じビュー成分に各々属するテクスチャ成分及び深度成分に対して、この方式で異なるパラメータセットをアクティブ化することができる。
加えて、モード選択ユニット４０は、３ＤＶＣデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも一部基づいて、ビュー成分の深度成分のためのパラメータセットをアクティブ化することができる。即ち、幾つかの例では、モード選択ユニット４０は、ビュー成分のテクスチャ成分のためのテクスチャ固有パラメータセットをアクティブ化し、次いで、同じビュー成分の深度成分に対して特別な更に別のパラメータセットをアクティブ化することができる。結果として、モード選択ユニット４０は、ビュー成分の深度成分に対してアクティブ化されるパラメータセットに基づいて、かつ、アクティブ化されたテクスチャパラメータセットに基づかないで、ビュー成分の深度成分を符号化することができる。モード選択ユニット４０は、アクティブ化されたテクスチャパラメータセットに基づいてテクスチャ成分を符号化することができる。このようにして、本技法は、ビュー成分のテクスチャ成分及び深度成分に対して、ＰＰＳ又はＳＰＳのようなパラメータセットの別々のアクティブ化を促すことができ、３ＤＶＣにおける深度成分及びテクスチャ成分の別々の取扱又は処理を支援する方法を提供する。
ビデオエンコーダ２０はまた、図２の例では参照ピクチャメモリ６４として示される復号ピクチャバッファから、テクスチャ成分と深度成分とを別々に除去することができる。本開示に記載される技法は、テクスチャ成分と深度成分の別々の取扱を可能にするので、ビデオエンコーダ２０は、ビュー成分（及び従って、ビュー成分の深度成分及びテクスチャ成分）が同じ参照ピクチャを使用してコード化される従来の３ＤＶＣとは逆に、同じビュー成分の深度成分をコード化するときに使用されるものとは異なる参照ピクチャを使用して、ビュー成分のテクスチャ成分をコード化することができる。結果として、参照ビュー成分の深度成分が、同じ参照ビュー成分のテクスチャ成分よりも前に復号ピクチャバッファから除去され得るとともに、参照ビュー成分のテクスチャ成分が、同じ参照ビュー成分の深度成分よりも前に復号ピクチャバッファから除去され得る、例があり得る。
動作において、ビデオエンコーダ２０のモード選択ユニット４０は、本開示で説明される技法を実行するように構成され得る。モード選択ユニット４０は、参照ピクチャメモリ６４に深度成分を記憶し、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定することができる。モード選択ユニット４０は次いで、深度成分がビュー間予測のために使用されないと決定したことに応答して、参照ピクチャメモリ６４から深度成分を除去することができる。即ち、モード選択ユニット４０は、深度成分がビュー間予測のために使用されないと決定したことに応答して、同じ参照ビュー成分のテクスチャ成分を除去することなく、参照ピクチャメモリ６４から参照ビュー成分の深度成分を除去することができる。モード選択ユニット４０は、深度成分を除去する前に、深度成分がターゲット出力ビューに属さず、深度成分が０に等しい値を有するネットワーク抽象レイヤ参照識別コードと関連付けられる（深度成分をカプセル化するＮＡＬ単位のコンテンツがピクチャ間予測のための参照ピクチャを構築するために使用されないことを意味する）と決定することによって、除去に適しているものとしてこの深度成分を評価することができる。
図３は、マルチビュービットストリームを復号するための、本開示で説明される技法を実装できる例示的なビデオデコーダ３０を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、動き補償ユニット８２及びイントラ予測ユニット８４を有する予測ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、参照ピクチャメモリ９２とを含む。
復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオのビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、予測ユニット８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
例えば、ビデオデコーダ３０は、ＮＡＬ単位に記憶されたデータのタイプ（例えば、ＶＣＬデータ及び非ＶＣＬデータ）を識別するＮＡＬ単位ヘッダを有する幾つかのＮＡＬ単位を受信することができる。パラメータセットは、上で説明されたＳＰＳ、ＰＰＳ、又は他のパラメータセットなどのシーケンスレベルヘッダ情報を含み得る。
本開示の態様によれば、ビデオデコーダ３０は、３ＤＶＣデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも一部基づいて、ビュー成分のテクスチャ成分のためのテクスチャパラメータセットとしてパラメータセットをアクティブ化することができる。より具体的には、エントロピー復号ユニット８０は、ビットストリームからのパラメータセットを解析することができ、パラメータセットを復号して、復号パラメータセットを、予測ユニット８１、逆量子化ユニット８６、及び逆変換処理ユニット８８のようなビデオデコーダ３０の他のコンポーネントに与える。これらのコンポーネントの各々は、現在アクティブなパラメータセットを指すことができ、この意味で、ビデオデコーダ３０は、ビデオデコーダ３０の各コンポーネントに対するパラメータセットをアクティブ化する。
いずれにしても、ビュー順序インデックスは、上で述べられたように、アクセス単位の対応するビューコンポーネントの復号順序を記述することができる。ビュー順序インデックスは、ビットストリームのビュー成分を識別するために、ピクチャ順序カウント（ＰＯＣ）値又はフレーム値とともに使用され得る。従って、本技法のこの態様は、ビュー成分のテクスチャ成分のみに対してアクティブ化され、同じビュー成分の対応する深度成分に適用されない、ＰＰＳ又はＳＰＳのようなパラメータセットを提供することができる。この態様では、ビデオデコーダ３０は、アクティブ化されたテクスチャパラメータセットに基づいて、ビュー成分の深度成分ではなく、ビュー成分のテクスチャ成分のみを復号することができる。
加えて、ビデオデコーダ３０は、３ＤＶデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分の深度成分のためのパラメータセットをアクティブ化することができる。即ち、幾つかの例では、ビデオコード化機器は、ビュー成分のテクスチャ成分のためのテクスチャ固有パラメータセットをアクティブ化し、次いで、同じビュー成分の深度成分に対して特別な更に別のパラメータセットをアクティブ化することができる。結果として、ビデオデコーダ３０は、ビュー成分の深度成分に対してアクティブ化されるパラメータセットに基づいて、かつ、アクティブ化されたテクスチャパラメータセットに基づかないで、ビュー成分の深度成分をコード化することができる。ビデオデコーダ３０は、アクティブ化されたテクスチャパラメータセットに基づいてテクスチャ成分を復号することができる。このようにして、本技法は、ビュー成分のテクスチャ成分及び深度成分に対して、ＰＰＳ又はＳＰＳのようなパラメータセットの別々のアクティブ化を促すことができ、３ＤＶＣにおける深度成分及びテクスチャ成分の別々の取扱又は処理を支援する方法を提供する。
特に、本開示のこの態様は、ビデオコーダ（ビデオエンコーダ及び／又はビデオデコーダの両方又はいずれかを全般に指し得る）が、深度成分及びテクスチャ成分の各々のための別々のパラメータセットをアクティブ化することを可能にし得る。シーケンス及びピクチャパラメータセット機構は、コード化マクロブロックデータの送信から、まれに変化する情報の送信を実質的に切り離すことができる。シーケンス及びピクチャパラメータセットは、幾つかの用途では、信頼できる転送機構を使用して帯域外で搬送され得る。ピクチャパラメータセットの未加工バイトシーケンスペイロード（又は「ＲＢＳＰ」、これはピクチャパラメータセットを指すための別のより正式な方法である）は、１つ又は複数のビュー成分の１つ又は複数のテクスチャ成分又は深度成分のコード化スライスＮＡＬ単位によって参照され得るパラメータを含む。シーケンスパラメータセットＲＢＳＰは、１つ又は複数のピクチャパラメータセット又は１つ又は複数のバッファリング期間ＳＥＩメッセージによって参照され得るパラメータを含む。
深度ビューを含む３ＤＶＣビットストリームを復号するとき、復号プロセスの動作の間の任意の所与の瞬間において、ビデオデコーダ３０は、０又は１個のアクティブピクチャパラメータセットと、０個以上のアクティブテクスチャピクチャパラメータセットと、０個以上のアクティブビューピクチャパラメータセットとをアクティブ化することができる。各アクティブテクスチャピクチャパラメータセットは、最大のビュー順序インデックス値以下の特定のビュー順序インデックス値に対して特別にアクティブであり、各アクティブビューピクチャパラメータセットは、最大のビュー順序インデックス値未満の特定のビュー順序インデックス値に対して特別にアクティブである。
同様に、復号プロセスの動作の間の所与の瞬間において、ビデオデコーダ３０は、０又は１個のアクティブＭＶＣシーケンスパラメータセットと、０個以上のアクティブテクスチャＭＶＣシーケンスパラメータセットと、０個以上のアクティブビューＭＶＣシーケンスパラメータセットとをアクティブ化することができる。各アクティブテクスチャＭＶＣシーケンスパラメータセットは、最大のビュー順序インデックス値以下の特定のビュー順序インデックス値に対して特別にアクティブであり、各アクティブビューＭＶＣシーケンスパラメータセットは、最大のビュー順序インデックス値未満の特定のビュー順序インデックス値に対して特別にアクティブである。
この意味で、３ＤＶＣのためのパラメータセットのアクティブ化は概して、本明細書で述べられた差（ＭＶＣにおいて現在サポートされていない深度ビュー成分をどのように扱うかの例を伴う）を除き、ＭＶＣにおけるパラメータセットのアクティブ化と同様である。その上、ＭＶＣは、３ＤＶＣのような、ＭＶＣを使用した拡張を対象とする追加のシンタックス要素が３ＤＶＣ固有のシンタックス要素を指定するために利用し得る、幾つかの予備ビットを各パラメータセット中に設ける。これらの予備ビットを設けることによって、これらの予備ビットが、Ｈ．２６４／ＡＶＣに対するＭＶＣ拡張とは無関係の、又はＭＶＣ拡張において指定されないシンタックス要素を指定するために利用され得るとしても、パラメータセットは、ＭＶＣとの後方互換性を維持する。この理由で、ＭＶＣパラメータセットは、ＭＶＣとは無関係な追加のシンタックス要素を含み得るとしても、これらのパラメータセットは、ＭＶＣパラメータセット中に存在する予備ビットを考慮して、ＭＶＣパラメータセットと呼ばれる。
ピクチャ及びシーケンスパラメータセットのための詳細なアクティブ化プロセスは、次の通りである。ビデオデコーダ３０は最初、各ピクチャパラメータセットＲＢＳＰを、復号プロセスの動作の開始時にはアクティブではないものと見なす。多くても、ビデオデコーダ３０は、復号プロセスの動作の間の任意の所与の瞬間において、１つのピクチャパラメータセットＲＢＳＰを、アクティブピクチャパラメータセットＲＢＳＰとしてアクティブ化する。任意の特定のピクチャパラメータセットＲＢＳＰがアクティブピクチャパラメータセットＲＢＳＰになると、ビデオデコーダ３０は、以前にアクティブであったピクチャパラメータセットＲＢＳＰを（もしあれば）実質的に非アクティブ化する。
アクティブピクチャパラメータセットセットＲＢＳＰに加えて、ビデオデコーダ３０は、ターゲット出力ビューに属する、又は、ターゲット出力ビューに属するテクスチャ成分を復号する際にビュー間予測を通じて参照され得る、テクスチャ成分（最大ビュー順序インデックス値（「ＶＯＩｄｘＭａｘ」）以下の特定のビュー順序インデックス値（「ＶＯＩｄｘ」）を伴う）に対して特別に、０個以上のピクチャパラメータセットＲＢＳＰをアクティブ化することができる。そのようなピクチャパラメータセットＲＢＳＰは、特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットＲＢＳＰと呼ばれる。アクティブピクチャパラメータセットＲＢＳＰに対する制約はまた、特定の値のＶＯＩｄｘに対する、アクティブビューピクチャパラメータセットＲＢＳＰに適用される。
更に、ビデオデコーダ３０は、ターゲット出力ビューに属する、又は、ターゲット出力ビューに属する深度成分を復号する際にビュー間予測を通じて参照され得る、ビュー成分（ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘを伴う）に対して特別に、０個以上のピクチャパラメータセットＲＢＳＰをアクティブ化することができる。そのようなピクチャパラメータセットＲＢＳＰは、特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットＲＢＳＰと呼ばれる。アクティブピクチャパラメータセットＲＢＳＰに対する制約はまた、ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘに対する、アクティブビューピクチャパラメータセットＲＢＳＰに適用される。
ピクチャパラメータセットＲＢＳＰ（特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴う）がアクティブピクチャパラメータセットＲＢＳＰではなく、ピクチャパラメータセットＲＢＳＰが、（その値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）深度成分に属しＶＯＩｄｘＭａｘに等しいＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によって参照される場合、ビデオデコーダ３０は、ピクチャパラメータセットＲＢＳＰをアクティブ化することができる。深度成分に属するコード化スライスＮＡＬ単位は、２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し得る。別のピクチャパラメータセットＲＢＳＰがアクティブピクチャパラメータセットＲＢＳＰになるときにこのピクチャパラメータセットＲＢＳＰが非アクティブ化されるまで、このピクチャパラメータセットＲＢＳＰは、アクティブピクチャパラメータセットＲＢＳＰと呼ばれる。その特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うピクチャパラメータセットＲＢＳＰは、ピクチャパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
ピクチャパラメータセットＲＢＳＰ（特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴う）がＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットではなく、ピクチャパラメータセットＲＢＳＰが、（その値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）深度成分に属し（即ち、２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴い）特定の値のＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によって参照される場合、ビデオデコーダ３０は、その特定の値のＶＯＩｄｘを伴うビュー成分に対するピクチャパラメータセットＲＢＳＰをアクティブ化する。特定の値のＶＯＩｄｘに対して別のピクチャパラメータセットＲＢＳＰがアクティブビューピクチャパラメータセットＲＢＳＰになるときにこのピクチャパラメータセットＲＢＳＰが非アクティブ化されるまで、その特定の値のＶＯＩｄｘに対して、このピクチャパラメータセットＲＢＳＰは、アクティブビューピクチャパラメータセットＲＢＳＰと呼ばれる。その特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うピクチャパラメータセットＲＢＳＰは、ピクチャパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
ピクチャパラメータセットＲＢＳＰ（特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴う）がＶＯＩｄｘＭａｘ以下の特定の値のＶＯＩｄｘに対するアクティブテクスチャピクチャパラメータセットではなく、ピクチャパラメータセットＲＢＳＰが、（その値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）テクスチャ成分に属し（即ち、１、５、又は２０に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴い）特定の値のＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によって参照される場合、ビデオデコーダ３０は、特定の値のＶＯＩｄｘを伴う深度成分に対するピクチャパラメータセットＲＢＳＰをアクティブ化する。特定の値のＶＯＩｄｘに対して別のピクチャパラメータセットＲＢＳＰがアクティブテクスチャピクチャパラメータセットＲＢＳＰになるときにこのピクチャパラメータセットＲＢＳＰが非アクティブ化されるまで、特定の値のＶＯＩｄｘに対して、このピクチャパラメータセットＲＢＳＰは、アクティブテクスチャピクチャパラメータセットＲＢＳＰと呼ばれる。その特定の値のｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うピクチャパラメータセットＲＢＳＰは、ピクチャパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
コード化ピクチャのためのアクティブピクチャパラメータセットＲＢＳＰのｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を含む任意のピクチャパラメータセットＮＡＬ単位は、ピクチャパラメータセットＮＡＬ単位がこのコード化ピクチャの最後のＶＣＬ ＮＡＬ単位の後にあり別のコード化ピクチャの最初のＶＣＬ ＮＡＬ単位の前にある場合以外は、このコード化ピクチャのためのアクティブピクチャパラメータセットＲＢＳＰと同じコンテンツを有するべきである。コード化ピクチャのためのＶＯＩｄｘＭａｘ未満である特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットＲＢＳＰのｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を含む任意のピクチャパラメータセットＮＡＬ単位は、ピクチャパラメータセットＮＡＬ単位がこのコード化ピクチャの最後のＶＣＬ ＮＡＬ単位の後にあり別のコード化ピクチャの最初のＶＣＬ ＮＡＬ単位の前にある場合以外は、このコード化ピクチャのための特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットＲＢＳＰと同じコンテンツを有するべきである。コード化ピクチャのための特定の値のＶＯＩｄｘに対するアクティブテクスチャピクチャパラメータセットＲＢＳＰのｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を含む任意のピクチャパラメータセットＮＡＬ単位は、ピクチャパラメータセットＮＡＬ単位がこのコード化ピクチャの最後のＶＣＬ ＮＡＬ単位の後にあり別のコード化ピクチャの最初のＶＣＬ ＮＡＬ単位の前にある場合以外は、このコード化ピクチャのための特定の値のＶＯＩｄｘに対するアクティブテクスチャピクチャパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
ビデオデコーダ３０は最初、各ＭＶＣシーケンスパラメータセットＲＢＳＰが、復号プロセスの動作の開始時にはアクティブではないと決定する。やはり、ＭＶＣシーケンスパラメータセットへの言及は、３ＤＶＣの状況におけるＭＶＣシーケンスパラメータセットを指し、これは、ＭＶＣを引き継ぎ、又は別様に採用するので、ＭＶＣシーケンスパラメータセットを組み込む（しかし、これらのパラメータセットは、追加の３ＤＶＣ固有のシンタックス要素を追加することによって修正され得る）。多くても、ビデオデコーダ３０は、復号プロセスの動作の間の任意の所与の瞬間において、１つのＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰであると決定する。任意の特定のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰになると、ビデオデコーダ３０は、以前にアクティブであったＭＶＣシーケンスパラメータセットＲＢＳＰを（もしあれば）非アクティブ化する。
アクティブＭＶＣシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセットＲＢＳＰ又はサブセットシーケンスパラメータセットＲＢＳＰのいずれかである。シーケンスパラメータセットＲＢＳＰは、１又は５に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴う、又は、ＭＶＣスケーラブルネスト化ＳＥＩメッセージ又は３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれないバッファリング期間ＳＥＩメッセージを伴う、コード化スライスＮＡＬ単位によってアクティブ化される。サブセットシーケンスパラメータセットは、コード化スライスＭＶＣ拡張ＮＡＬ単位（２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）、又は、３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれるバッファリング期間ＳＥＩメッセージによってアクティブ化される。シーケンスパラメータセットＲＢＳＰ及びサブセットシーケンスパラメータセットＲＢＳＰは、同じ値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを有し得る。
アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに加えて、ビデオデコーダ３０は、ターゲット出力ビューに属する、又は、ターゲット出力ビューに属するビュー成分を復号する際にビュー間予測を通じて参照され得る、ビュー成分（ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘを伴う）に対して特別に、０個以上のＭＶＣシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。そのようなＭＶＣシーケンスパラメータセットＲＢＳＰは、特定の値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに対する制約はまた、ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘに対する、アクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰに適用される。
更に、ビデオデコーダ３０は、ターゲット出力ビューに属する、又は、ターゲット出力ビューに属するテクスチャ成分を復号する際にビュー間予測を通じて参照され得る、テクスチャ成分（ＶＯＩｄｘＭａｘ以下の特定の値のＶＯＩｄｘを伴う）に対して特別に、０個以上のＭＶＣシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。そのようなＭＶＣシーケンスパラメータセットＲＢＳＰは、特定の値のＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに対する制約はまた、特定の値のＶＯＩｄｘに対する、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰに適用される。
次の説明では、アクティブ化バッファリング期間ＳＥＩメッセージが、次のように規定される。
− ＶＯＩｄｘＭａｘがＶＯＩｄｘＭｉｎに等しく、アクセス単位が、ＭＶＣスケーラブルネスト化ＳＥＩメッセージに含まれず３ＤＶＣスケーラブルネスト化ＳＥＩメッセージに含まれないバッファリング期間ＳＥＩメッセージを含む場合、このバッファリング期間ＳＥＩメッセージは、アクティブ化バッファリング期間ＳＥＩメッセージである。
− そうではなく、ＶＯＩｄｘＭａｘがＶＯＩｄｘＭｉｎに等しくなく、アクセス単位が、３ＤＶＣスケーラブルネスト化ＳＥＩメッセージに含まれ復号されている動作点と関連付けられるバッファリング期間ＳＥＩメッセージを含む場合、このバッファリング期間ＳＥＩメッセージは、アクティブ化バッファリング期間ＳＥＩメッセージである。
− それ以外の場合、アクセス単位はアクティブ化バッファリング期間ＳＥＩメッセージを含まない。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが７に等しい）がまだアクティブＭＶＣシーケンスパラメータセットＲＢＳＰではなく、シーケンスパラメータセットＲＢＳＰがピクチャパラメータセットＲＢＳＰのアクティブ化によって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ピクチャパラメータセットＲＢＳＰが１又は５に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴うコード化スライスＮＡＬ単位によってアクティブ化され（ピクチャパラメータセットＲＢＳＰがアクティブピクチャパラメータセットＲＢＳＰになり、ＶＯＩｄｘＭａｘがＶＯＩｄｘＭｉｎと等しく、アクセス単位中に深度成分がない）、アクセス単位がアクティブ化バッファリング期間ＳＥＩメッセージを含まない場合、ビデオデコーダ３０は、シーケンスパラメータセットＲＢＳＰをアクティブ化することができる。別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが７に等しい）がまだアクティブＭＶＣシーケンスパラメータセットＲＢＳＰではなく、シーケンスパラメータセットＲＢＳＰが、３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれないアクティブ化バッファリング期間ＳＥＩメッセージによって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ＶＯＩｄｘＭａｘがＶＯＩｄｘＭｉｎと等しく、アクセス単位中に深度成分がない場合、ビデオデコーダ３０は、シーケンスパラメータセットＲＢＳＰをアクティブ化する。別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだアクティブＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰがピクチャパラメータセットＲＢＳＰのアクティブ化によって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ピクチャパラメータセットＲＢＳＰが２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴いＶＯＩｄｘＭａｘに等しいＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によってアクティブ化され（ピクチャパラメータセットＲＢＳＰがアクティブピクチャパラメータセットＲＢＳＰになり）、アクセス単位がアクティブ化バッファリング期間ＳＥＩメッセージを含まない場合、ビデオデコーダ３０は、サブセットシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。その特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰは、そのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだアクティブＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰが、３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれないアクティブ化バッファリング期間ＳＥＩメッセージによって参照される場合（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ビデオデコーダ３０は、サブセットシーケンスパラメータセットＲＢＳＰをアクティブ化する。別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を伴うサブセットシーケンスパラメータセットＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
次の説明では、特定の値のＶＯＩｄｘに対するアクティブ化テクスチャバッファリング期間ＳＥＩメッセージが、次のように規定される。
− ＭＶＣスケーラブルネスト化ＳＥＩメッセージに含まれ、関連するビットストリームサブセット中の最大のＶＯＩｄｘが特定の値のＶＯＩｄｘに等しい動作点と関連付けられる、１つ以上のバッファリング期間ＳＥＩメッセージをアクセス単位が含む場合、復号順序でこれらのバッファリング期間ＳＥＩメッセージの最初のメッセージが、その特定の値のＶＯＩｄｘに対するアクティブ化テクスチャバッファリング期間ＳＥＩメッセージである。
− そうではなく、ＭＶＣスケーラブルネスト化ＳＥＩメッセージ又は３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれないバッファリング期間ＳＥＩメッセージをアクセス単位が含む場合、このバッファリング期間ＳＥＩメッセージは、ＶＯＩｄｘＭｉｎに等しい特定の値のＶＯＩｄｘに対するアクティブ化テクスチャバッファリング期間ＳＥＩメッセージである。
− それ以外の場合、アクセス単位は、その特定の値のＶＯＩｄｘに対するアクティブ化テクスチャバッファリング期間ＳＥＩメッセージを含まない。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが７に等しい）がまだ、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰではなく、シーケンスパラメータセットＲＢＳＰがピクチャパラメータセットＲＢＳＰのアクティブ化によって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ピクチャパラメータセットＲＢＳＰが１又は５に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴うコード化スライスＮＡＬ単位によってアクティブ化される（ピクチャパラメータセットＲＢＳＰが、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャピクチャパラメータセットＲＢＳＰになる）場合、ビデオデコーダ３０は、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘを伴うテクスチャ成分に対するシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。別のＭＶＣシーケンスパラメータセットＲＢＳＰがＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このシーケンスパラメータセットＲＢＳＰは、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが７に等しい）がまだ、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰではなく、シーケンスパラメータセットＲＢＳＰが、ＭＶＣスケーラブルネスト化メッセージに含まれない、又は３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれないアクティブ化テクスチャバッファリング期間ＳＥＩメッセージによって参照される場合（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ビデオデコーダ３０は、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘを伴うテクスチャ成分に対するシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。別のＭＶＣシーケンスパラメータセットＲＢＳＰが等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、このシーケンスパラメータセットＲＢＳＰは、ＶＯＩｄｘＭｉｎに等しいＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだ、ＶＯＩｄｘＭａｘ以下の特定の値のＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰがピクチャパラメータセットＲＢＳＰのアクティブ化によって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ピクチャパラメータセットＲＢＳＰがその特定の値のＶＯＩｄｘを伴うコード化スライスＭＶＣ拡張ＮＡＬ単位（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが２０に等しい）によってアクティブ化される（ピクチャパラメータセットＲＢＳＰが、特定の値のＶＯＩｄｘに対するアクティブテクスチャピクチャパラメータセットＲＢＳＰになる）場合、ビデオデコーダ３０は、その特定の値のＶＯＩｄｘを伴うテクスチャ成分に対するサブセットシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。特定の値のＶＯＩｄｘに対して別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、特定の値のＶＯＩｄｘに対して、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだ、ＶＯＩｄｘＭａｘ以下の特定の値のＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰが、ＭＶＣスケーラブルネスト化メッセージに含まれ特定の値のＶＯＩｄｘと関連付けられるアクティブ化テクスチャバッファリング期間ＳＥＩメッセージによって参照される場合（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ビデオデコーダ３０は、特定の値のＶＯＩｄｘを伴うテクスチャ成分に対してこのサブセットシーケンスパラメータセットＲＢＳＰをアクティブ化することができる。特定の値のＶＯＩｄｘに対して別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰになるときにこのサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、特定の値のＶＯＩｄｘに対して、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
次の仕様では、特定の値のＶＯＩｄｘに対するアクティブ化ビューバッファリング期間ＳＥＩメッセージが、次のように規定される。
− ３ＤＶＣスケーラブルネスト化ＳＥＩメッセージに含まれ、関連するビットストリームサブセット中の最大のＶＯＩｄｘがその特定の値のＶＯＩｄｘに等しい動作点と関連付けられる、１つ以上のバッファリング期間ＳＥＩメッセージをアクセス単位が含む場合、復号順序でこれらのバッファリング期間ＳＥＩメッセージの最初のメッセージが、その特定の値のＶＯＩｄｘに対するアクティブ化ビューバッファリング期間ＳＥＩメッセージである。
− それ以外の場合、アクセス単位は、その特定の値のＶＯＩｄｘに対するアクティブ化ビューバッファリング期間ＳＥＩメッセージを含まない。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだ、ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰがピクチャパラメータセットＲＢＳＰのアクティブ化によって参照され（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ピクチャパラメータセットＲＢＳＰが、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが２１に等しくその特定の値のＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によってアクティブ化される（ピクチャパラメータセットＲＢＳＰが、特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセットＲＢＳＰになる）場合、ビデオデコーダ３０は、その特定の値のＶＯＩｄｘを伴うビュー成分に対するサブセットシーケンスパラメータセットＲＢＳＰをアクティブ化する。特定の値のＶＯＩｄｘに対して別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰになるときに、又は、特定の値のＶＯＩｄｘ以下のＶＯＩｄｘＭａｘを伴うアクセス単位を復号するときに、このサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、特定の値のＶＯＩｄｘに対して、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１５に等しい）がまだ、ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰではなく、サブセットシーケンスパラメータセットＲＢＳＰが、３ＤＶスケーラブルネスト化ＳＥＩメッセージに含まれ特定の値のＶＯＩｄｘと関連付けられるアクティブ化ビューバッファリング期間ＳＥＩメッセージによって参照される場合（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）、ビデオデコーダ３０は、特定の値のＶＯＩｄｘを伴うビュー成分に対してこのサブセットシーケンスパラメータセットＲＢＳＰをアクティブ化する。特定の値のＶＯＩｄｘに対して別のＭＶＣシーケンスパラメータセットＲＢＳＰがアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰになるときに、又は、特定の値のＶＯＩｄｘ以下のＶＯＩｄｘＭａｘを伴うアクセス単位を復号するときに、このサブセットシーケンスパラメータセットＲＢＳＰが非アクティブ化されるまで、特定の値のＶＯＩｄｘに対して、このサブセットシーケンスパラメータセットＲＢＳＰは、アクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰと呼ばれる。特定の値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うサブセットシーケンスパラメータセットＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰのアクティブ化の前に、復号プロセスに対して利用可能であるべきである。
Ｈ．２６４／ＡＶＣに対する付録Ａ又は付録Ｈ又は提案された付録Ｉにおいて規定されないｐｒｏｆｉｌｅ＿ｉｄｃの値を含むＭＶＣシーケンスパラメータセットＲＢＳＰは、アクティブピクチャパラメータセットＲＢＳＰ、又はアクティブビューピクチャパラメータセットＲＢＳＰ、又はアクティブテクスチャピクチャパラメータセットＲＢＳＰとして、（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）ピクチャパラメータセットＲＢＳＰのアクティブ化によって参照されるべきではなく、又は、（その値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを使用して）バッファリング期間ＳＥＩメッセージによって参照されるべきではない。Ｈ．２６４／ＡＶＣに対する付録Ａ又は付録Ｈ又は提案された付録Ｉにおいて規定されないｐｒｏｆｉｌｅ＿ｉｄｃの値を含むＭＶＣシーケンスパラメータセットＲＢＳＰは、Ｈ．２６４／ＡＶＣに対する付録Ａ又は付録Ｈ又は提案された付録Ｉにおいて規定されるプロファイルのための復号において無視される。
以下の制約に従うことが、ビットストリーム適合の要件である。
− ＶＯＩｄｘの各々の特定の値に対して、コード化ビデオシーケンスの全てのコード化ＮＡＬ単位（１、５、２０又は２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴う）は、同じ値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値によって参照されるピクチャパラメータセットＲＢＳＰを介して）参照すべきである。
− ＭＶＣスケーラブルネスト化ＳＥＩメッセージ中に含まれないバッファリング期間ＳＥＩメッセージ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、同じアクセス単位中で１又は５に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴うコード化スライスＮＡＬ単位によって（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を介して）参照される、ピクチャパラメータセットＲＢＳＰ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値と同一であるべきである。
− ＭＶＣスケーラブルネスト化ＳＥＩメッセージ中に含まれ特定の値のＶＯＩｄｘと関連付けられるバッファリング期間ＳＥＩメッセージ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、同じアクセス単位中で１、５、又は２０に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴いその特定の値のＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によって（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を介して）参照される、ピクチャパラメータセットＲＢＳＰ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値と同一であるべきである。
− ３ＤＶＣスケーラブルネスト化ＳＥＩメッセージ中に含まれ特定の値のＶＯＩｄｘと関連付けられるバッファリング期間ＳＥＩメッセージ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、同じアクセス単位中で２１に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを伴いその特定の値のＶＯＩｄｘを伴うコード化スライスＮＡＬ単位によって（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を介して）参照される、ピクチャパラメータセットＲＢＳＰ中のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値と同一であるべきである。
異なる値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰは、同じＭＶＣシーケンスパラメータセットＲＢＳＰであり得る。特定の値のＶＯＩｄｘに対するアクティブＭＶＣシーケンスパラメータセットＲＢＳＰ及びアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰは、同じＭＶＣシーケンスパラメータセットＲＢＳＰであり得る。
異なる値のＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰは、同じＭＶＣシーケンスパラメータセットＲＢＳＰであり得る。特定の値のＶＯＩｄｘに対するアクティブＭＶＣシーケンスパラメータセットＲＢＳＰ及びアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰは、同じＭＶＣシーケンスパラメータセットＲＢＳＰであり得る。特定の値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰ及び特定の値のＶＯＩｄｘに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰは、同じＭＶＣシーケンスパラメータセットＲＢＳＰであり得る。
コード化ピクチャに対するアクティブＭＶＣシーケンスパラメータセットＲＢＳＰがシーケンスパラメータセットＲＢＳＰである場合、このコード化ピクチャを含み、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに対するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を伴う、コード化ビデオシーケンス中の任意のシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
コード化ピクチャに対するアクティブＭＶＣシーケンスパラメータセットＲＢＳＰがサブセットシーケンスパラメータセットＲＢＳＰである場合、このコード化ピクチャを含み、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに対するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を伴う、コード化ビデオシーケンス中の任意のサブセットシーケンスパラメータセットＲＢＳＰは、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
各々の特定の値のＶＯＩｄｘに対して、次のことがあてはまる。
コード化ピクチャに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰがシーケンスパラメータセットＲＢＳＰである場合、このコード化ピクチャを含み、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰに対するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を伴う、コード化ビデオシーケンス中の任意のシーケンスパラメータセットＲＢＳＰは、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
コード化ピクチャに対するアクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰがサブセットシーケンスパラメータセットＲＢＳＰである場合、このコード化ピクチャを含み、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰに対するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を伴う、コード化ビデオシーケンス中の任意のサブセットシーケンスパラメータセットＲＢＳＰは、アクティブテクスチャＭＶＣシーケンスパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
コード化ピクチャに対するアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰがサブセットシーケンスパラメータセットＲＢＳＰであり、このコード化ピクチャを含み、アクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰに対するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を伴う、コード化ビデオシーケンス中の任意のサブセットシーケンスパラメータセットＲＢＳＰが、アクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰと同じコンテンツを有するべきである。
ピクチャパラメータセットＲＢＳＰ又はＭＶＣシーケンスパラメータセットＲＢＳＰがビットストリーム内で搬送される場合、これらは、ピクチャパラメータセットＲＢＳＰ又はＭＶＣシーケンスパラメータセットＲＢＳＰをそれぞれ含む、ＮＡＬ単位に対する順序の制約を課す。そうではない場合（ピクチャパラメータセットＲＢＳＰ又はＭＶＣシーケンスパラメータセットＲＢＳＰが、Ｈ．２６４ビデオコード化規格に対するこの勧告｜国際規格において規定されない他の手段によって搬送される場合）、それらは、これらの制約に従うようなタイムリーな方式で復号プロセスに対して利用可能であるべきである。
存在する場合、シーケンスパラメータセット拡張ＲＢＳＰは、シーケンスパラメータセットＲＢＳＰと同様の機能を有するパラメータを含む。シーケンスパラメータセット拡張ＲＢＳＰのシンタックス要素に対する制約を確立する目的で、及び、シーケンスパラメータセット拡張ＲＢＳＰのアクティブ化を決定する目的で、シーケンスパラメータセット拡張ＲＢＳＰは、同じ値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴う先行するシーケンスパラメータセットＲＢＳＰの一部であると見なされるべきである。シーケンスパラメータセットＲＢＳＰのアクティブ化の前に、同じ値のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄを伴うシーケンスパラメータセット拡張ＲＢＳＰに先行しないシーケンスパラメータセットＲＢＳＰが存在する場合、シーケンスパラメータセット拡張ＲＢＳＰ及びそのシンタックス要素は、アクティブＭＶＣシーケンスパラメータセットＲＢＳＰに対しては存在しないと見なされるべきである。シーケンスパラメータセット拡張ＲＢＳＰのコンテンツは、付録Ｉにおいて規定される１つ又は複数のプロファイルに準拠するコード化ビデオシーケンスの、付録Ａにおいて規定されるプロファイルの１つ又は複数に準拠する基本テクスチャビューが復号されるときにのみ、適用される。サブセットシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセット拡張ＲＢＳＰに先行するべきではない。
シーケンスパラメータセット拡張ＲＢＳＰは、サブセットシーケンスパラメータセットＲＢＳＰの一部であると見なされるべきではなく、サブセットシーケンスパラメータセットＲＢＳＰは、シーケンスパラメータセット拡張ＲＢＳＰに先行してはならない。
ＶＯＩｄｘＭａｘに等しいＶＯＩｄｘを伴うビュー成分に対して、ＭＶＣシーケンスパラメータセット及びピクチャパラメータセット中のシンタックス要素の値（及びシンタックス要素から導出される変数の値）と他のシンタックス要素との関係で表現される全ての制約は、アクティブＭＶＣシーケンスパラメータセット及びアクティブピクチャパラメータセットにのみ適用される制約の表現である。ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘを伴うビュー成分に対して、ＭＶＣシーケンスパラメータセット及びピクチャパラメータセット中のシンタックス要素の値（及びシンタックス要素から導出される変数の値）と他のシンタックス要素との関係で表現される全ての制約は、特定の値のＶＯＩｄｘに対するアクティブビューＭＶＣシーケンスパラメータセット及びアクティブビューピクチャパラメータセットにのみ適用される制約の表現である。
ビットストリーム中で決してアクティブ化されない、付録Ａ、付録Ｈ、又は提案された付録Ｉにおいて規定されるｐｒｏｆｉｌｅ＿ｉｄｃ値の１つの値に等しいｐｒｏｆｉｌｅ＿ｉｄｃを有する任意のＭＶＣシーケンスパラメータセットＲＢＳＰが存在する場合（即ち、ＭＶＣシーケンスパラメータセットＲＢＳＰが決してアクティブＭＶＣシーケンスパラメータセット又はアクティブビューＭＶＣシーケンスパラメータセットにならない場合）、ＭＶＣシーケンスパラメータセットＲＢＳＰのシンタックス要素は、別様には適合するビットストリームにおいてＭＶＣシーケンスパラメータセットＲＢＳＰが参照によってアクティブ化されれば規定された制約に適合するであろう値を有する。ビットストリーム中で決してアクティブ化されない任意のピクチャパラメータセットＲＢＳＰが存在する場合（即ち、ピクチャパラメータセットＲＢＳＰが決してアクティブピクチャパラメータセット又はアクティブビューピクチャパラメータセットにならない場合）、ピクチャパラメータセットＲＢＳＰのシンタックス要素は、別様には適合するビットストリームにおいてピクチャパラメータセットＲＢＳＰが参照によってアクティブ化されれば規定された制約に適合するであろう値を有する。
ＶＯＩｄｘＭａｘに等しいＶＯＩｄｘを伴うビュー成分に対して、復号プロセスの動作の間、アクティブピクチャパラメータセット及びアクティブＭＶＣシーケンスパラメータセットのパラメータの値が、有効であると見なされるべきである（一例では、復号のときに適用されるべきであることを意味する）。ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘを伴うビュー成分に対して、特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセット及びアクティブビューＭＶＣシーケンスパラメータセットのパラメータの値が、有効であると見なされるべきである。アクセス単位全体、又はＶＯＩｄｘＭａｘに等しいＶＯＩｄｘを伴うビュー成分に適用される、ＳＥＩメッセージの解釈のために、同じアクセス単位に対するアクセスピクチャパラメータセット及びアクティブＭＶＣシーケンスパラメータセットのパラメータの値が、ＳＥＩメッセージのセマンティクスにおいて別様に規定されていない限り、有効であると見なされるべきである。ＶＯＩｄｘＭａｘ未満の特定の値のＶＯＩｄｘを伴うビュー成分に適用される、ＳＥＩメッセージの解釈のために、同じアクセス単位のための特定の値のＶＯＩｄｘに対するアクティブビューピクチャパラメータセット及びアクティブビューＭＶＣシーケンスパラメータセットのパラメータの値が、ＳＥＩメッセージのセマンティクスにおいて別様に規定されていない限り、有効であると見なされるべきである。
任意のアクティブＭＶＣ ＳＰＳ又はアクティブビューＭＶＣ ＳＰＳに対して、ＭＶＣのＳＰＳ拡張におけるシンタックス要素の部分は、このＳＰＳを参照する深度ビューのみに適用されるが、ＭＶＣ ＳＰＳ拡張におけるシンタックス要素の幾つかの他の部分は、このＳＰＳを参照する深度ビューと対応するテクスチャビューの両方にまとめて適用される。より具体的には、ＭＶＣのＳＰＳ拡張のビュー依存性情報は深度ビューにのみ適用され、レベルの定義は動作点にまとめて適用され、動作点の各々は、深度ビューと対応するテクスチャビューの両方を含む。
幾つかの例では、本開示の技法は、深度ビューを含むビットストリームのコード化の間に、ビュー順序インデックス値に対するテクスチャピクチャパラメータセット（ＰＰＳ）又はテクスチャＭＶＣシーケンスパラメータセット（ＳＰＳ）をビデオデコーダ３０がアクティブ化することを可能にし得る。
幾つかの例では、ビデオデコーダ３０は、ビットストリームのコード化の間に、アクティブＰＰＳをアクティブ化し、ビットストリームのコード化の間に、ビュー順序インデックス値に対するアクティブビューＰＰＳをアクティブ化し、ビットストリームのコード化の間に、ビュー順序インデックス値に対するビューＭＶＣ ＳＰＳをアクティブ化し、かつビットストリームのコード化の間に、アクティブＭＶＣ ＳＰＳをアクティブ化することができる。
幾つかの例では、テクスチャＰＰＳをアクティブ化することは、ＰＰＳ未加工バイトシーケンスペイロード（ＲＢＳＰ）がビュー順序インデックス値に対するアクティブテクスチャＰＰＳではなく、ＰＰＳ ＲＢＳＰが、テクスチャ成分に属するとともにそのビュー順序インデックス値を指定するコード化スライスネットワーク抽象レイヤ（ＮＡＬ）単位によって参照されるとき、ビュー順序インデックス値を指定する深度成分に対してＰＰＳ ＲＢＳＰをアクティブ化すること、ＰＰＳ ＲＢＳＰのアクティブ化を伴い得る。ビデオデコーダ３０はまた、上で説明されたようにテクスチャＰＰＳとテクスチャＭＶＣ ＳＰＳとをアクティブ化することができる。
いずれにしても、ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、予測ユニット８１のイントラ予測ユニット８４は、アクティブパラメータセットを考慮して、信号伝達されたイントラ予測モード及び現在のピクチャの前に復号されたブロックからのデータに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成することができる。ピクチャがインターコード化（即ちＢ、Ｐ又は一般化ＰＢ（ＧＰＢ））スライスとしてコード化されるとき、予測ユニット８１の動き補償ユニット８２は、やはりアクティブパラメータセットを考慮して、エントロピー復号ユニット８０から受信された動きベクトル及び他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックの予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照ピクチャリスト、リスト０及びリスト１（又は合成リスト、リストｃ）を構築することができる。
動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つ又は複数に対する構築情報と、スライスの各インター符号化ビデオブロックの動きベクトルと、スライスの各インターコード化ビデオブロックのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
逆量子化ユニット８６は、ビットストリーム内で提供されエントロピー復号ユニット８０によって復号された量子化変換係数を、逆量子化（inverse quantize）、即ち逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス内のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータを使用して量子化の程度を決定することと、同様に、適用すべき逆量子化の程度を決定することとを含み得る。
逆変換処理ユニット８８は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。逆変換処理ユニット８８は、変換が残差データに適用された方式を決定することができる。
動き補償ユニット８２が、動きベクトル及び他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ又は複数のコンポーネントを表す。所望される場合、ブロック歪みを除去するために、復号ブロックをフィルタリングするためのデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は別様にビデオ品質を改善するために、（コード化ループ内又はコード化ループ後の）他のループフィルタも使用され得る。次いで、所与のピクチャ内の復号ビデオブロックは、その後の動き補償に使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１の表示装置３２などの表示装置上に後で提示するための、復号されたビデオを記憶する。
本開示で説明される技法の他の態様は、ビデオコード化機器が、復号ピクチャバッファからテクスチャ成分と深度成分とを別々に除去することを可能にすることによって、深度成分及びテクスチャ成分の別々の取扱を促すことができる。復号ピクチャバッファは、現在のビュー成分をコード化する際に使用するための参照ピクチャを記憶することが可能な、メモリ又は他のコンピュータ可読媒体を指す。復号ピクチャバッファは、図３の例では参照ピクチャメモリ９２として示される。本開示に記載される技法は、テクスチャ成分と深度成分の別々の取扱を可能にするので、ビデオデコーダ３０は、ビュー成分（及び従って、ビュー成分の深度成分及びテクスチャ成分）がＭＶＣにおけるビューの扱いを仮定して同じ参照ピクチャを使用してコード化される従来の３ＤＶＣとは逆に、同じビュー成分の深度成分をコード化するときに使用されるものとは異なる参照ピクチャを使用して、ビュー成分のテクスチャ成分を復号することができる。結果として、参照ビュー成分の深度成分が、同じ参照ビュー成分のテクスチャ成分よりも前に復号ピクチャバッファから除去され得、かつ参照ビュー成分のテクスチャ成分が、同じ参照ビュー成分の深度成分よりも前に復号ピクチャバッファから除去され得る、例があり得る。
動作において、ビデオデコーダ３０は、参照ピクチャメモリ９２に深度成分を記憶し、ビュー依存性を分析して深度成分がビュー間予測のために使用されるかどうかを決定することによって、本開示で説明される技法を実行することができる。ビデオデコーダ３０は次いで、深度成分がビュー間予測のために使用されないと決定したことに応答して、参照ピクチャメモリ９２から深度成分を除去することができる。即ち、ビデオデコーダ３０は、深度成分がビュー間予測のために使用されないと決定したことに応答して、同じ参照ビュー成分のテクスチャ成分を除去することなく、参照ピクチャメモリ９２から参照ビュー成分の深度成分を除去することができる。ビデオデコーダ３０は、深度成分を除去する前に、深度成分がターゲット出力ビューに属さず、深度成分が０に等しい値を有するネットワーク中層レイヤ参照識別コードと関連付けられる（深度成分をカプセル化するＮＡＬ単位のコンテンツがピクチャ間予測のための参照ピクチャを構築するために使用されないことを意味する）と決定することによって、除去に適しているものとしてこの深度成分を評価することができる。
即ち、３ＤＶＣでは（これはやはり、ＭＶＣプラス深度又はＭＶＣ＋Ｄとも呼ばれ得る）、各ビューのテクスチャ部分又は深度部分は、固有の参照ピクチャ標識プロセスを有する。ターゲット出力ビューに属するテクスチャ成分及び深度成分は、同時に出力され得る。
ターゲット出力ビューに属さず０に等しいｎａｌ＿ｒｅｆ＿ｉｄｃを有する深度成分に対して、ビデオデコーダ３０は、３ＤＶプロファイルを含むサブセットＳＰＳのＭＶＣのＳＰＳ拡張において信号伝達されるビュー依存性を分析することによって、深度成分が決してビュー間参照のために使用されずアクティブビューＭＶＣシーケンスパラメータセットＲＢＳＰとして現在アクティブ化されたら、ＤＰＢから深度成分を除去することができる。やはり、本開示におけるＭＶＣへの言及は、上述のようなＨ．２６４の提案された拡張である、３ＤＶＣの状況におけるＭＶＣを指す。
例えば、本開示の技法は、ビデオコーダ（ビデオエンコーダ２０及び／又はビデオデコーダ３０の両方又はいずれかを指し得る）が、復号ピクチャバッファに深度成分を記憶することを可能にでき、深度成分は、ターゲット出力ビューに属さず、０に等しいｎａｌ＿ｒｅｆ＿ｉｄｃを有する。更に、ビデオコーダは、ビュー依存性を分析して、深度成分が決してビュー間参照のために使用されないかどうかを決定することができる。加えて、ビデオコーダは、深度成分がビュー間参照のために決して使用されないと決定したことに応答して、復号ピクチャバッファから深度成分を除去することを備え得る。ビュー依存性は、サブセットＳＰＳのＭＶＣシーケンスパラメータセット（ＳＰＳ）拡張、３ＤＶプロファイルを含むサブセットＳＰＳ、アクティブビューＭＶＣシーケンスパラメータセットとして現在アクティブ化されているサブセットＳＰＳにおいて信号伝達され得る。ビデオエンコーダは、深度成分を符号化することができる。代替的に、ビデオコーダは、深度成分を復号することができる。
本技法の様々な態様が、ビデオエンコーダ２０又はビデオデコーダ３０の１つに関して上で説明されたが、本技法は、幾つかの例では、同一の又は逆の方式で、ビデオエンコーダ２０とビデオデコーダ３０の両方によって実施され得る。結果として、本技法は概して、ビデオエンコーダ２０とビデオデコーダ３０の両方又は１つのみを指すために本開示において使用される用語を代表し得る、ビデオコーダによって実施され得る。従って、これらの技法は、この点において限定されるべきではなく、概して任意のビデオコーダによって実施され得る。
図４は、カプセル化ユニット２１をより詳しく示すブロック図である。図４の例では、カプセル化ユニット２１は、ビデオ入力インターフェース１００と、オーディオ入力インターフェース１０２と、ビデオファイル作成ユニット１０４と、ビデオファイル出力インターフェース１０６とを含む。ビデオファイル作成ユニット１０４は、この例では、補助強化情報（ＳＥＩ）メッセージ生成ユニット１０８と、ビュー識別子（ＩＤ）割当てユニット１１０と、表現作成ユニット１１２と、動作点作成ユニット１１４とを含む。
ビデオ入力インターフェース１００及びオーディオ入力インターフェース１０２は、それぞれ符号化ビデオデータと符号化オーディオデータとを受信する。図１の例には示されないが、発信源機器１２はまた、それぞれオーディオデータを生成しオーディオデータを符号化するための、オーディオ発信源とオーディオエンコーダとを含み得る。カプセル化ユニット２１は次いで、符号化オーディオデータと符号化ビデオデータとをカプセル化して、ビデオファイルを形成することができる。ビデオ入力インターフェース１００及びオーディオ入力インターフェース１０２は、データが符号化されると、符号化ビデオデータと符号化オーディオデータとを受信することができ、又は、符号化ビデオデータと符号化オーディオデータとをコンピュータ可読媒体から取り出すことができる。符号化ビデオデータと符号化オーディオデータとを受信すると、ビデオ入力インターフェース１００及びオーディオ入力インターフェース１０２は、ビデオファイルへの組立のために符号化ビデオデータと符号化オーディオデータとをビデオファイル作成ユニット１０４に渡す。
ビデオファイル作成ユニット１０４は、機能と、機能に起因する手順とを実行するように構成された、ハードウェア、ソフトウェア、及び／又はファームウェアを含む制御ユニットに対応し得る。制御ユニットは、概して、カプセル化ユニット２１に起因する機能を更に実行し得る。ビデオファイル作成ユニット１０４がソフトウェア及び／又はファームウェアで実施される例では、カプセル化ユニット２１は、ビデオファイル作成ユニット１０４のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成ユニット１０４のサブユニット（この例では、ＳＥＩメッセージ生成ユニット１０８、ビューＩＤ割当てユニット１１０、表現作成ユニット１１２、及び動作点作成ユニット１１４）の各々は、個々のハードウェアユニット及び／又はソフトウェアモジュールとして実装されてよく、機能的に統合され、又は追加のサブユニットへと更に分離され得る。
ビデオファイル作成ユニット１０４は、例えば、１つ又は複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、又はそれらの任意の組合せなど、任意の好適な処理ユニット又は処理回路に対応し得る。ビデオファイル作成ユニット１０４は、ＳＥＩメッセージ生成ユニット１０８、ビューＩＤ割当てユニット１１０、表現作成ユニット１１２、及び動作点作成ユニット１１４のいずれか又は全てのための命令を記憶する非一時的コンピュータ可読媒体、及び命令を実行するためのプロセッサを更に含み得る。
概して、ビデオファイル作成ユニット１０４は、受信されたオーディオとビデオデータとを含む１つ又は複数のビデオファイルを作成し得る。ビデオファイル作成ユニット１０４は、２つ以上のビューを含むマルチメディアコンテンツのためのｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）を構築し得る。他の例では、ビデオファイル作成ユニット１０４は、マルチメディアコンテンツのためのＭＰＤのデータと同様のデータを記憶するマニフェストを作成し得る。ＳＥＩメッセージ生成ユニット１０８は、ＳＥＩメッセージを生成するユニットを表し得る。ビューＩＤ割当てユニット１１０は、マルチメディアコンテンツのビューの各々にビュー識別子を割り当てることができる。表現作成ユニット１１２は、マルチメディアコンテンツのための１つ又は複数の表現を構築することができ、それらの表現の各々は、マルチメディアコンテンツのためのビューのうちの１つ又は複数を含み得る。幾つかの例では、ビューＩＤ割当てユニット１１０は、表現中に含まれるビューのビュー識別子の最大値と最小値とを示すデータをＭＰＤ及び／又は表現（例えば、表現についてのヘッダデータ）中に含め得る。更に、表現作成ユニット１１２は、より大きいビューＩＤが、より小さいビューＩＤを有するビューに対するカメラ視点の右側のカメラ視点を有するビューに対応するのか、又は左側のカメラ視点を有するビューに対応するのかを示す情報を、ＭＰＤ中で与え得る。
幾つかの例では、異なるフレームレート、異なるビットレート、異なる符号化方式、又は他の差など、様々な符号化特性を使用して同じビューが符号化され得る。表現作成ユニット１１２は、共通の表現中に含まれる各ビューが同じ符号化特性に従って符号化されることを保証し得る。このようにして、表現のためのＭＰＤ及び／又はヘッダデータは、表現中の全てのビューに適用される、表現の特性（又は属性）のセットを信号伝達し得る。その上、表現作成ユニット１１２は、符号化特性が潜在的に異なろうとも、同じビューを含む複数の表現を作成し得る。幾つかの例では、表現作成ユニット１１２は、マルチメディアコンテンツの各ビューを個々の表現にカプセル化し得る。そのような例において、２つ以上のビューを出力するために、宛先機器１４はマルチメディアコンテンツの２つ以上の表現を要求し得る。
動作点作成ユニット１１４は、マルチメディアコンテンツの１つ又は複数の表現の動作点を作成し得る。概して、動作点は、出力のターゲットにされる表現中のビューのサブセットに対応し、その場合、ビューの各々は共通の時間レベルを共有する。Ｈ．２６４／ＡＶＣ仕様書によって規定されているように、動作点は、ターゲット時間レベルを表すｔｅｍｐｏｒａｌ＿ｉｄ値、及びターゲット出力ビューを表すｖｉｅｗ＿ｉｄ値のセットによって識別される。１つの動作点がビットストリームサブセットに関連付けられ、ビットストリームサブセットは、ターゲット出力ビューと、ターゲット出力ビューが依存する全ての他のビューとからなり、入力としてｔｅｍｐｏｒａｌ＿ｉｄ値に等しいｔＩｄＴａｒｇｅｔと、ｖｉｅｗ＿ｉｄ値のセットからなるｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔとを伴う、Ｈ．８．５．３項において規定されているサブビットストリーム抽出プロセスを使用して導出される。２つ以上の動作点が、同じビットストリームサブセットに関連付けられ得る。本仕様書で「動作点が復号される」と述べられているとき、それは、動作点に対応するビットストリームサブセットの復号と、ターゲット出力ビューの後続の出力とを指す。
ＳＥＩメッセージ生成ユニット１０８は、本開示で説明される技法に従って、ビュー成分のテクスチャ成分と深度成分の両方、又は、ビュー成分の深度成分のみに適用される、ネスト化補助情報（ＳＥＩ）メッセージを決定することができる。ネスト化されたＳＥＩメッセージが深度成分のみに適用されることを可能にすることによって、本技法のこれらの態様はやはり、テクスチャ成分及び深度成分の別々の取扱を促すことができる。
ＳＥＩメッセージ生成ユニット１０８は、本技法のこれらの態様を実行して、マルチビュービデオデータのビュー成分のコード化に適用される補助強化情報メッセージを決定することができる。ＳＥＩメッセージ生成ユニット１０８は次いで、ビュー成分の深度成分を処理するときに補助強化情報メッセージに加えて適用される、ネスト化された補助強化情報メッセージを決定することができる。ＳＥＩメッセージ生成ユニット１０８は次いで、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分の深度成分を符号化することができる。
一般に、ネスト化されたＳＥＩメッセージは、ネスト化されたＳＥＩメッセージがビュー成分のテクスチャ成分と深度成分の両方に適用されるのか、又は深度成分のみに適用されるのかを示す、フラグ又は他の識別子を含む。従って、幾つかの例では、ＳＥＩメッセージ生成ユニット１０８は、ビュー成分の深度成分を処理するときのみ、補助強化情報メッセージに加えてネスト化された補助強化情報メッセージが適用されると決定することができ、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分ではなく、ビュー成分の深度成分のみを処理する。代替的に、ＳＥＩメッセージ生成ユニット１０８は、ビュー成分のテクスチャ成分を処理するとき、補助強化情報メッセージに加えてネスト化された補助強化情報メッセージが適用されると決定することができ、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分をコード化する。やはり、本技法のこれらの態様は、ビュー成分の深度成分及びテクスチャ成分の別々の取扱又は処理をやはり促す。
このフラグは、深度成分を含む動作点に対するＳＥＩメッセージのネスト化のためのＳＥＩメッセージを表し得る、「３ＤＶスケーラブルネスト化ＳＥＩメッセージ」と呼ばれるＳＥＩメッセージに対して定義され得る。次の表は、例示的な３ＤＶスケーラブルネスト化ＳＥＩメッセージのシンタックスを示す。
上の表では、１に等しいｓｅｉ＿ｖｉｅｗ＿ａｐｐｌｉｃａｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］は、ｓｅｉ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを伴うビューのテクスチャ成分と深度成分の両方にネスト化されたＳＥＩメッセージが適用されることを示す。０に等しいｓｅｉ＿ｖｉｅｗ＿ａｐｐｌｉｃａｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］は、ｓｅｉ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを伴うビューの深度成分にのみネスト化されたＳＥＩメッセージが適用されることを示す。
上の表では、１に等しいｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ａｐｐｌｉｃａｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］は、ｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを伴うビューのテクスチャ成分と深度成分の両方にネスト化されたＳＥＩメッセージが適用されることを示す。０に等しいｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ａｐｐｌｉｃａｂｉｌｉｔｙ＿ｆｌａｇ［ｉ］は、ｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを伴うビューの深度成分にのみネスト化されたＳＥＩメッセージが適用されることを示す。
３ＤＶスケーラブルネスト化ＳＥＩメッセージの他のシンタックス要素のセマンティクスは、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのセマンティクスと同じである。
代替的に、ＳＥＩメッセージが１つのビュー成分に対してネスト化される場合、ＳＥＩメッセージは、このビュー成分のテクスチャ成分と深度成分の両方に対してネスト化され得る。この場合、ＳＥＩメッセージ生成ユニット１０８は、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのシンタックスと同様の、３ＤＶスケーラブルネスト化ＳＥＩメッセージのシンタックスと、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのセマンティクスと同様の、３ＤＶスケーラブルネスト化ＳＥＩメッセージのセマンティクスとを定義する。前に定義されたように、３ＤＶスケーラブルネスト化ＳＥＩメッセージのセマンティクスでは、ビュー成分は、テクスチャ成分と深度成分とを含み得る（かつそれらからなり得る）。Ｈ．２６４／ＡＶＣに対する３ＤＶＣ拡張に言及し得る、提案された付録Ｉの状況では、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのセマンティクスは、次のように変更される。ＭＶＣスケーラブルネスト化ＳＥＩメッセージのセマンティクスは、「ビュー成分」の全てのインスタンスが「テクスチャ成分」によって置き換えられた状態で適用される。次の表は、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのシンタックスを表す。
深度成分とテクスチャ成分の別々の取扱を更に支援するために、ＳＥＩメッセージ生成ユニット１０８は、第１のシンタックス要素と、第２のシンタックス要素と、第３のシンタックス要素とを含む３ＤビュースケーラビリティＳＥＩメッセージと呼ばれるＳＥＩメッセージを生成することができ、第１のシンタックス要素は、動作点が深度成分を含むかどうかを示す。動作点が深度成分を含む場合、ＳＥＩメッセージ生成ユニット１０８は、動作点のターゲット出力ビューが直接依存する深度成分の数を示すように、第２のシンタックス要素を定義し、動作点のターゲット出力ビューが直接依存する深度成分を識別するように、第３のシンタックス要素を定義することができる。
幾つかの例では、動作点は、動作点の第１のサブセットと動作点の第２のサブセットとを含んでよく、第１のサブセット中の各動作点はテクスチャ成分のみを含み、第２のサブセット中の各動作点は深度成分を含む。ＳＥＩメッセージ生成ユニット１０８は次いで、３Ｄビデオコード化と関連付けられる所与の値とプロファイル識別子が等しいと決定し、プロファイル識別子が所与の値に等しいと決定したことに応答して、サブセットＳＰＳが第１のＳＰＳ拡張と第２のＳＰＳ拡張とを含むように、サブセットＳＰＳを生成することができる。第１のＳＰＳ拡張は、第１のサブセットと、第１のサブセット中の動作点が属するレベルとを示すことができる。第２のＳＰＳ拡張は、第２のサブセットと、第２のサブセット中の動作点が属するレベルとを示すことができる。このようにして、本技法は、動作点が、テクスチャ成分及び深度成分に対して別々に、及びレベルによって定義されることを可能にし得る。
このようにして、ビデオコード化機器は、深度成分の特性を記述する第１のシーケンスレベル情報を決定し、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定することができる。幾つかの例では、第１のシーケンスレベル情報は、深度成分のビュー依存性を規定する３次元ビデオコード化シーケンスパラメータセットを備える。その上、ビデオコード化機器は、３次元ビデオコード化シーケンスパラメータセットにおいて示される深度成分のための１つ又は複数の参照ピクチャを識別する、参照ピクチャリストを決定することができる。
幾つかの例では、第２のシーケンスレベル情報は、動作点に対して、ターゲット出力ビューのリストと、動作点を復号するときに復号されるべきテクスチャビューの数と、動作点を復号するときに復号されるべき深度ビューの数とを記述する、３次元ビデオコード化シーケンスパラメータセットを含み、復号されるべきテクスチャビューの数は、深度ビューの数とは異なる。幾つかの例では、ビデオコード化機器は更に、ターゲット出力ビューのリストにおいて規定されるターゲット出力ビューの各々に対して、利用可能な場合には１つ又は複数の深度成分を更に対象とすることができる。
幾つかの例では、ビデオコード化機器は、ビデオデータの一部として３次元ビデオコード化スケーラビリティ情報ＳＥＩメッセージを規定することができ、３次元ビデオコード化スケーラビリティ情報ＳＥＩメッセージは、深度成分を伴わない動作点の記述、又は深度成分を伴う動作点の記述を含む。幾つかの例では、ＳＥＩメッセージは、動作点が深度成分を含むかどうかの指示を含む。その上、幾つかの例では、ＳＥＩメッセージは、動作点が、動作点の復号のための、直接依存テクスチャビューとともに、深度成分と直接依存深度ビューとを含むかどうかの指示を含む。
本技法のこの態様は、深度成分及びテクスチャ成分の別々の取扱を利用して、動作点がマルチビュービデオコード化のためにビットストリームからより簡単に抽出されることを可能にし得る。動作点が深度を含むかどうかを信号伝達することによって、ビデオデコーダ３０のようなビデオデコーダは、どの動作点がビデオデコーダ３０の能力に最良に対応するかを決定することができる。例えば、ビデオデコーダ３０は、深度を含まないビューを使用してマルチビュービデオコード化を実行するように最適化されてよく、左眼の視点と右眼の視点の両方が別々のピクチャとして提供される、マルチビュービデオデータを好む。ビデオデコーダ３０は代替的に、深度ベースのマルチビュービデオデータに対して最適化され得るが、２つ以上のビューではなく単一のビューにしか対応しないことがある。符号化マルチビュービデオデータが深度を含み、かつ深度と、動作点のターゲット出力ビューが直接依存する深度成分の数とを含む場合に信号伝達することによって、ビデオデコーダ３０は、ビデオデコーダ３０の能力又は最適化に対応する動作点を選択することができる。
動作において、３Ｄビュースケーラビリティ情報ＳＥＩメッセージは、一例では、次の表に示されるように規定されるシンタックス要素を有し得る。
代替的に、３Ｄビュースケーラビリティ情報ＳＥＩメッセージは、次の表で定義されるようなシンタックス要素を有し得る。
３ＤＶビュースケーラビリティメッセージの他のシンタックス要素のセマンティクスは、ＭＶＣビュースケーラビリティ情報ＳＥＩメッセージのセマンティクスと同じである。ビュースケーラビリティ情報ＳＥＩ中のシンタックス要素は付録Ｈと場合と同じセマンティクスを有するが、深度成分を含む可能性があり得る動作点に適用される。
上の表では、１に等しいｏｐ＿ｗｉｔｈ＿ｄｅｐｔｈ＿ｆｌａｇ［ｉ］は、現在の動作点が深度ビューを含むことを示す。０に等しいｏｐ＿ｗｉｔｈ＿ｄｅｐｔｈ＿ｆｌａｇ［ｉ］は、現在の動作点が何ら深度ビューを含まないことを示す。ｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗｓ［ｉ］及びｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、動作点がテクスチャと深度の両方を含む（ｏｐ＿ｗｉｔｈ＿ｄｅｐｔｈ＿ｆｌａｇ［ｉ］が０に等しい）場合、動作点のテクスチャ成分にのみ適用される。代替的に、２つのシンタックス要素の名前が、上と同じセマンティクスを伴って、それぞれｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｔｅｘｔｕｒｅ＿ｖｉｅｗｓ［ｉ］及びｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｔｅｘｔｕｒｅ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］に変更される。３ＤＶビュースケーラビリティメッセージの他のシンタックス要素のセマンティクスは、ＭＶＣビュースケーラビリティ情報ＳＥＩメッセージのセマンティクスと同じである。
上の表では、ｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｄｅｐｔｈ＿ｖｉｅｗｓ［ｉ］は、現在の動作点の表現内の、現在の動作点のターゲット出力ビューが直接依存する深度ビューの数を指定する。ｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｄｅｐｔｈ＿ｖｉｅｗｓ［ｉ］の値は、両端値を含む０〜１６の範囲にあるべきである。
上の表では、ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｄｅｐｔｈ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、現在の動作点の表現内の、現在の動作点のターゲット出力ビューの深度ビューが直接依存する第ｊの深度ビューのｖｉｅｗ＿ｉｄを指定する。ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｄｅｐｔｈ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］の値は、両端値を含む０〜１０２３の範囲にあるべきである。
他の例では、深度のみの動作点がこのＳＥＩメッセージ中で信号伝達されてよく、従って、次の表で示されるように、指示ｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］が追加される。
上の表では、０に等しいｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］は、現在の動作点がテクスチャ成分のみを含むことを示す。１に等しいシンタックス要素ｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］は、現在の動作点がテクスチャ成分と深度成分の両方を含むことを示す。２に等しいシンタックス要素ｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］は、現在の動作点が深度成分のみを含むことを示す。ｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗｓ［ｉ］及びｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、動作点がテクスチャを含む（ｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］が０又は１に等しい）場合、動作点のテクスチャ成分にのみ適用される。ｎｕｍ＿ｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗｓ［ｉ］及びｄｉｒｅｃｔｌｙ＿ｄｅｐｅｎｄｅｎｔ＿ｖｉｅｗ＿ｉｄ［ｉ］［ｊ］は、動作点がテクスチャのみを含む（ｏｐ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］が２に等しい）場合、動作点の深度成分にのみ適用される。
幾つかの例では、本開示の技法によれば、ビデオエンコーダは、第１のシンタックス要素と、第２のシンタックス要素と、第３のシンタックス要素とを含むＳＥＩメッセージを生成することができる。第１のシンタックス要素は、動作点が深度成分を含むかどうかを示す。動作点が深度ビューを含む場合、第２のシンタックス要素は、動作点のターゲット出力ビューが直接依存する深度成分の数を示し、第３のシンタックス要素は、動作点のターゲット出力ビューが直接依存する深度成分を識別する。ビデオエンコーダは、深度成分を符号化することができる。
幾つかのそのような例では、ビデオエンコーダは、ＳＥＩメッセージが第４のシンタックス要素と第５のシンタックス要素とを含むようにＳＥＩメッセージを生成することができる。動作点がテクスチャ成分と深度成分の両方を有する場合、第４のシンタックス要素は、いくつのテクスチャ成分が動作点と関連付けられるかを示し、第５のシンタックス要素は、動作点のターゲット出力ビューが直接依存するテクスチャ成分を識別する。
代替的に、ビデオエンコーダは、ＳＥＩメッセージ中で深度のみの動作点を信号伝達することができる。例えば、ビデオエンコーダは、動作点がテクスチャ成分のみを含むか、テクスチャ成分と深度成分の両方を含むか、又は深度成分のみを含むかを第１のシンタックス要素が示すように、ＳＥＩメッセージを生成することができる。
更に、幾つかの例では、本開示の技法は、第１のシンタックス要素と、第２のシンタックス要素と、第３のシンタックス要素とを含むＳＥＩメッセージを受信するビデオデコーダを提供することができる。第１のシンタックス要素は、動作点が深度成分を含むかどうかを示す。動作点が深度ビューを含む場合、第２のシンタックス要素は、動作点のターゲット出力ビューが直接依存する深度成分の数を示し、第３のシンタックス要素は、動作点のターゲット出力ビューが直接依存する深度成分を定義する。ビデオデコーダは、深度成分を復号することができる。
更に、ＳＥＩメッセージは、第４のシンタックス要素と第５のシンタックス要素とを含み得る。動作点がテクスチャ成分と深度成分の両方を有する場合、第４のシンタックス要素は、いくつのテクスチャ成分が動作点と関連付けられるかを示し、第５のシンタックス要素は、動作点のターゲット出力ビューが直接依存するテクスチャ成分を識別する。
代替的に、ＳＥＩメッセージは、ＳＥＩメッセージ中で深度のみの動作点を信号伝達することができる。例えば、第１のシンタックス要素は、動作点がテクスチャ成分のみを含むか、テクスチャ成分と深度成分の両方を含むか、又は深度成分のみを含むかを示すことができる。
動作点、及び、テクスチャ成分及び深度成分の別々の取扱を潜在的に実現するための動作点の適合又は修正に関して、本開示で説明される様々な態様は、４つの異なる方法、即ち、１）ＳＰＳシンタックス要素を再使用すること、２）３ＤＶＣのＳＰＳ拡張において同様のシンタックス要素を使用すること、３）３ＤＶＣのＳＰＳ拡張に更なるシンタックス要素を追加すること、及び４）３ＤＶＣのＳＰＳ拡張において更なるシンタックス要素の代わりのセットを使用することで、深度成分を含む動作点のレベルの信号伝達を実現し得る。
第１の方法に関して、即ち、ＳＰＳシンタックス要素を再使用することに関して、ＭＶＣのＳＰＳ拡張におけるレベル定義シンタックス要素が、深度成分を含む動作点を示すために使用される。サブセットＳＰＳの一部としてＭＶＣのＳＰＳ拡張において信号伝達される各動作点は、３Ｄビデオプロファイルの１つに属するｐｒｏｆｉｌｅ＿ｉｄｃを含む。各動作点は出力ビューの数を指定し、出力ビューの各々は、テクスチャ成分と深度成分の両方を含む。動作点作成ユニット１１４は、この第１の方法を実施して、深度成分及びテクスチャ成分の別々の取扱を支援することができる。
第２の方法に関して、即ち、３ＤＶのＳＰＳ拡張において同様のシンタックス要素を使用することに関して、ＭＶＣのＳＰＳ拡張においても、レベル定義シンタックス要素が、テクスチャ成分のみを含む動作点を示すために使用され得る。サブセットＳＰＳの３ＤＶＣのＳＰＳ拡張では、同様のレベル定義が追加され、深度成分を含む動作点を示す。動作点作成ユニット１１４は、この第２の方法を実施して、深度成分及びテクスチャ成分の別々の取扱を支援することができる。次のシンタックス表は、同様のシンタックス要素を示す。
上のシンタックス表では、各動作点はｎｕｍ＿ｔａｒｇｅｔ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１個のビューを有し、ビューの各々は、テクスチャ成分と深度成分の両方を含む。よって、各ビューがテクスチャ成分と深度成分の両方を含むこと、又は等価的に、各ビュー成分がテクスチャ成分と深度成分の両方を含むことを除いて、シンタックス要素のセマンティクスは、ＳＰＳのＭＶＣ拡張におけるものと同じである。
第３の方法に関して、即ち、３ＤＶのＳＰＳ拡張において更なるシンタックス要素を追加することに関して、３ＤＶのＳＰＳ拡張は、ＭＶＣのＳＰＳ拡張において信号伝達される動作点に加えて信号伝達される必要のある、テクスチャ成分を含む更なる動作点を追加することができる。この場合、動作点作成ユニット１１４は、次のシンタックス表で示されるように、現在の動作点が深度成分を含むかどうかを示すための、追加のフラグを追加することができる。
上の表では、１に等しいａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｗｉｔｈ＿ｄｅｐｔｈ＿ｆｌａｇ［ｉ］［ｊ］は、現在の動作点（ｉ及びｊによって識別される）において、各ターゲット出力ビューがテクスチャ成分と深度成分の両方を含むことを示し、０に等しいこのフラグは、現在の動作点において、各ターゲット出力ビューに対してテクスチャのみを含むことを示す。３ＤＶＣスケーラブルネスト化ＳＥＩメッセージの他のシンタックス要素のセマンティクスは、ＭＶＣスケーラブルネスト化ＳＥＩメッセージのセマンティクスと同じである。
第４の方法に関して、即ち、３ＤＶのＳＰＳ拡張における更なるシンタックス要素の代わりのセットを使用することに関して、深度のみの動作点があり得る。この例では、動作点作成ユニット１１４は、テクスチャのみ、深度のみ、及びテクスチャと深度の両方という、各動作点に対して３つの異なる場合を信号伝達するための、２ビットの指示を追加することができる。以下の表は、ＳＰＳの３ＤＶＣ拡張に追加されるべきこれらの新たなシンタックス要素を示す。
上の表では、０に等しいａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｗｉｔｈ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］［ｊ］は、現在の動作点（ｉ及びｊによって識別される）において、各ターゲット出力ビューがテクスチャ成分と深度成分の両方を含むことを示し、１に等しいａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｗｉｔｈ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］［ｊ］は、現在の動作点が各ターゲット出力ビューに対してテクスチャのみを含むことを示し、２に等しいａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｗｉｔｈ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］［ｊ］は、現在の動作点が各ターゲット出力ビューに対して深度のみを含むことを示す。代替的に、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｗｉｔｈ＿ｔｅｘｔｕｒｅ＿ｄｅｐｔｈ＿ｉｄｃ［ｉ］［ｊ］は、ｕｅ（ｖ）としてコード化され得る。
幾つかの例では、３ＤＶの動作点に対して、例えば、アクティブテクスチャＭＶＳ ＳＰＳ及びアクティブビューＭＶＣ ＳＰＳにおいて、２つの異なるビュー依存性が信号伝達されてよく、それは、深度ビューが異なるビュー間依存性を有し得るからである。その一例は、深度に対してビュー間の依存性がまったくない可能性があるという場合である。この場合、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］のセマンティクスは明確ではない。ＭＶＣの状況では、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、特定の動作点に対して復号されるべきビューの数を指定する。
幾つかの例では、同じビュー依存性が、テクスチャ及び深度に対して仮定され得る。テクスチャと深度のビュー依存性が同じである場合、このシンタックス要素（即ち、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］）のセマンティクスは復号されるべきビューの数に合わせられたままであり得るが、各ビューがテクスチャと深度とを含むことが示唆される。
幾つかの例では、テクスチャと深度の両方に対して復号されるべきビューの正確な数が信号伝達される。次の表は、本技法のこの態様を組み込む、シーケンスパラメータセットの３ＤＶＣ拡張のシンタックス要素を示す。
上の表では、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点に対応するターゲット出力ビューを復号するために必要なテクスチャビューの数を指定する。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｄｅｐｔｈ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点に対応するターゲット出力ビューを復号するために必要な深度ビューの数を指定する。代替的に、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｄｅｐｔｈ＿ｍｉｎｕｓ１［ｉ］［ｊ］は追加されず、ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］のセマンティクスが変更される。ａｐｐｌｉｃａｂｌｅ＿ｏｐ＿ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］プラス１は、ｌｅｖｅｌ＿ｉｄｃ［ｉ］によって示されたレベルが適用される第ｊの動作点に対応するターゲット出力ビューを復号するために必要なテクスチャビューの数と深度ビューの数とを指定する。
幾つかの例では、本開示の技法は、シーケンスパラメータセットにおいて、動作点に対して復号されるべきテクスチャビューの数と、動作点に対して復号されるべき深度ビューの数とを信号伝達することを実現する。テクスチャビューの数と深度ビューの数とを信号伝達することは、シーケンスパラメータセットにおいて、動作点に対して復号されるべきビューの数を示すシンタックス要素を生成することを備えてよく、ビューの各々は、テクスチャビューのうちの１つと深度ビューのうちの１つとを有する。テクスチャビューの数と深度ビューの数とを信号伝達することは、シーケンスパラメータセットにおいて、第１のシンタックス要素と第２のシンタックス要素とを生成することを備えてよく、第１のシンタックス要素は、動作点に対して復号されるべきテクスチャビューの数を指定し、第２のシンタックス要素は、動作点に対して復号されるべき深度ビューの数を指定する。テクスチャビューの数と深度ビューの数とを信号伝達することは、シーケンスパラメータセットにおいて、動作点に対して復号されるべきテクスチャビューの数、更に、動作点に対して復号されるべき深度ビューの数を示すシンタックス要素を生成することを備え得る。
幾つかの例では、本開示の技法は、動作点に対して復号されるべきテクスチャビューの数と、動作点に対して復号されるべき深度ビューの数とを信号伝達する、シーケンスパラメータセットを受信することを実現し得る。そのような例では、シーケンスパラメータセットは、動作点に対して復号されるべきビューの数を示すシンタックス要素を含んでよく、ビューの各々は、テクスチャビューのうちの１つと深度ビューのうちの１つとを有する。シーケンスパラメータセットは、第１のシンタックス要素と第２のシンタックス要素とを含んでよく、第１のシンタックス要素は、動作点に対して復号されるべきテクスチャビューの数を指定し、第２のシンタックス要素は、動作点に対して復号されるべき深度ビューの数を指定する。シーケンスパラメータセットは、動作点のために復号されるべきテクスチャビューの数、更に、動作点のために復号されるべき深度ビューの数を示す、シンタックス要素を含み得る。
本技法の様々な態様は、カプセル化ユニット２１によって実行されているものとして上で説明されたが、本技法は、逆カプセル化ユニット２９によって同一の又は逆の方式で実行され得る。その上、カプセル化ユニット２１によって実行されるものとして上で説明された技法の様々な態様はまた、他の実装形態では、ビデオエンコーダ２０によって実行され得る（ビデオデコーダ３０は、ビデオエンコーダ２０によって実行される動作と同じ又は逆の動作を実行する）。従って、特定の実装形態が図１〜図３の例で示されるが、本技法は、この例には限定されるべきではなく、マルチビュービデオデータによって指定されるビュー成分のテクスチャ成分及び深度成分の別々の取扱を実現する、他の実装形態に適用され得る。
図５は、例示的なＭＶＣの予測パターンを示す概念図である。ＭＶＣの次の説明も、３ＤＶＣがＭＶＳプラス深度を組み込むという意味で、３ＤＶＣに関係する。従って、ＭＶＣ及びＭＶＣによって提供される様々な予測の説明は、３ＤＶＣと、３ＤＶＣに関する本開示で説明された技法とを理解するための文脈を与えるように説明される。
図５の例では、８個のビューが示され、各ビューに対して１２個の時間位置が示される。一般に、図５内の各行はビューに対応し、各列は時間位置を示す。ビューの各々は、他のビューに対する相対的なカメラ位置を示すために使用され得るビュー識別子（「ｖｉｅｗ＿ｉｄ」）を使用して識別され得る。図５に示された例では、ビューＩＤは「Ｓ０」〜「Ｓ７」として示されているが、数字のビューＩＤも使用され得る。加えて、時間位置の各々は、ピクチャの表示順序を示すピクチャ順序カウント（ＰＯＣ）値を使用して識別され得る。図４に示された例では、ＰＯＣ値は「Ｔ０」〜「Ｔ１１」として示されている。
ＭＶＣは、Ｈ．２６４／ＡＶＣデコーダによって復号可能である、所謂基本ビューを有し、ステレオビューペアはＭＶＣによってサポートされ得るが、ＭＶＣは、３Ｄビデオ入力として３つ以上のビューをサポートすることができる。従って、ＭＶＣデコーダを有するクライアントのレンダラは、複数のビューを用いて３Ｄビデオコンテンツを予想することができる。
図５中のピクチャは、対応するピクチャがイントラコード化される（即ち、Ｉフレームである）のか、又は一方向に（即ち、Ｐフレームとして）インターコード化されるのか、又は複数の方向に（即ち、Ｂフレームとして）インターコード化されるのかを指定する、文字を含む影付きブロックを使用して示される。一般に、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のオブジェクトを使用する。例えば、時間位置Ｔ０にあるビューＳ２のＰフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームから予測される。図５に示されたピクチャの各々は、ビュー成分と呼ばれ得る。
シングルビュービデオ符号化の場合と同様に、マルチビュービデオシーケンスのピクチャは、異なる時間位置におけるピクチャに関して予測符号化され得る。例えば、時間位置Ｔ１にあるビューＳ０のｂフレームは、時間位置Ｔ０にあるビューＳ０のＩフレームからそのｂフレームに向けられた矢印を有し、その矢印は、ｂフレームがＩフレームから予測されることを示す。しかしながら、更に、マルチビュービデオ符号化の状況において、ピクチャはビュー間予測され得る。即ち、ビュー成分は、参照のために他のビュー中のビュー成分を使用することができる。ＭＶＣでは、例えば、別のビュー中のビュー成分がインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、ＳＰＳのＭＶＣ拡張において信号伝達されてよく、インター予測参照又はビュー間予測参照の柔軟な順序付けを可能にする、参照ピクチャリストの構築プロセスによって修正され得る。
図５は、ビュー間予測の様々な例を提供する。図５の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間位置におけるピクチャから予測されるものとして、かつ、同じ時間位置におけるビューＳ０及びＳ２のピクチャのうちのピクチャからビュー間予測されるものとして示されている。例えば、時間位置Ｔ１にあるビューＳ１のｂフレームは、時間位置Ｔ０及びＴ２にあるビューＳ１のＢフレームの各々、及び時間位置Ｔ１にあるビューＳ０並びにビューＳ２のｂフレームから予測される。
図５の例では、大文字の「Ｂ」及び小文字の「ｂ」は、異なる符号化方法ではなく、ピクチャ間の異なる階層関係を示すものとする。一般に、大文字の「Ｂ」フレームは、小文字の「ｂ」フレームよりも予測階層が比較的高い。図５はまた、異なるレベルの影付きを使用して予測階層における変形形態を示し、より大きい量の影付き（即ち、比較的暗い）ピクチャは、より少ない影付きを有する（即ち、比較的明るい）ピクチャよりも予測階層が高い。例えば、図５内の全てのＩフレームは完全な影付きにより示されるが、Ｐフレームはいくぶん明るい影付きを有し、Ｂフレーム（及び小文字のｂフレーム）は、互いに対して様々なレベルの影付きを有するが、Ｐフレーム及びＩフレームの影付きよりも常に明るい。
一般に、階層が比較的高いピクチャが、階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得るように、予測階層が比較的高いピクチャは、階層が比較的低いピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する。ビュー順序インデックスは、アクセス単位中のビューコンポーネントの復号順序を示すインデックスである。ビュー順序インデックスは、ＳＰＳなどのパラメータセット内で示唆され得る。
このようにして、参照ピクチャとして使用されるピクチャは、その参照ピクチャを参照して符号化されたピクチャを復号する前に復号され得る。ビュー順序インデックスは、アクセス単位中のビューコンポーネントの復号順序を示すインデックスである。ＭＶＣ／ＡＶＣによれば、各ビュー順序インデックスｉに対して、対応するｖｉｅｗ＿ｉｄが信号伝達される。ビュー成分の復号は、ビュー順序インデックスの昇順に従う。全てのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数まで連続的に順序付けされたセットを備える。
幾つかの例では、全ビットストリームのサブセットが抽出されて、依然としてＭＶＣに準拠するサブビットストリームを形成することができる。例えば、サーバによって提供されるサービス、１つ又は複数のクライアントのデコーダの容量、サポート、及び能力、及び／又は、１つ又は複数のクライアントの選好に基づいて、特定の適用例が必要とし得る多くの可能なサブビットストリームが存在する。例えば、あるクライアントが３つのビューのみを必要とする場合があり、２つのシナリオがあり得る。一例では、あるクライアントは滑らかな鑑賞体験を求めることがあり、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ１、及びＳ２のビューを好むことがあり、別の他のクライアントはビュースケーラビリティを求めることがあり、ｖｉｅｗ＿ｉｄ値Ｓ０、Ｓ２、及びＳ４のビューを好むことがある。これらのサブビットストリームの両方が、独立したＭＶＣビットストリームとして復号されてよく、同時にサポートされ得る。
上記のように、図５は８個のビュー（Ｓ０〜Ｓ７）を示すが、ＭＶＣ／ＡＶＣ拡張は最大で１０２４個のビューをサポートし、ＮＡＬ単位ヘッダ内のｖｉｅｗ＿ｉｄを使用して、ＮＡＬ単位が属するビューを識別する。ビュー順序インデックスは、ＮＡＬ単位ヘッダの一部として信号伝達され得る。即ち、比較の目的で、ビュー順序インデックスは、ＭＶＣ／ＡＶＣ拡張のＮＡＬ単位ヘッダ内で信号伝達されるｖｉｅｗ＿ｉｄを置き換えることができる。ビュー順序は、一般に、アクセス単位内のビューの順序付けを記述し、ビュー順序インデックスは、そのアクセス単位のビュー順序における特定のビューを識別する。即ち、ビュー順序インデックスは、アクセス単位の対応するビュー成分の復号順序を記述する。
従って、ＳＰＳは、ビューのｖｉｅｗ＿ｉｄとビューのビュー順序インデックスとの間の関係を提供することができる。ビュー順序インデックスとＳＰＳ内のデータとを使用して、ビデオエンコーダ２０及びビデオデコーダ３０は、ＮＡＬ単位ヘッダ内のＭＶＣ／ＡＶＣの１０ビットのｖｉｅｗ＿ｉｄをビュー順序インデックスによって置き換えることができ、このことはＭＶＣ／ＡＶＣ方式よりもビット節約につながる可能性がある。
ビューのｖｉｅｗ＿ｉｄとビュー順序インデックスとの間の関係を提供する例示的なＳＰＳが、以下の表６で提供される。
上の表に示されたＳＰＳは、コード化ビデオシーケンスのビュー間依存関係を指定する。ＳＰＳはまた、コード化ビデオシーケンスのための動作点のサブセットのレベル値を指定する。コード化ビデオシーケンスによって参照される全てのＳＰＳは、同一であるべきである。しかしながら、ｖｉｅｗ＿ｉｄ［ｉ］によって識別される幾つかのビューは、コード化ビデオシーケンス内に存在しない場合がある。加えて、ＳＰＳによって記述される幾つかのビュー又は時間サブセットは、元のコード化ビデオシーケンスから削除されている場合があり、従って、コード化ビデオシーケンス内に存在しない場合がある。しかしながら、ＳＰＳ内の情報は、残りのビューと時間サブセットとに常に適用される可能性がある。
上の表では、シンタックス要素ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１は、コード化ビデオシーケンス内のコード化ビューの最大数を指定する。ｎｕｍ＿ｖｉｅｗ＿ｍｉｎｕｓ１の値は、両端値を含む０〜３１の範囲にあり得る。幾つかの例では、コード化ビデオシーケンス内のビューの実際の数は、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１よりも少ない場合がある。ｖｉｅｗ＿ｉｄ［ｉ］要素は、ｉに等しいビュー順序インデックスを伴うビューのビュー識別子を指定する。要素ｖｉｅｗ＿ｌｅｖｅｌ［ｉ］は、ｉに等しいビュー順序インデックスを伴うビューのｖｉｅｗ＿ｌｅｖｅｌを指定する。幾つかの例では、事前に定義された値（ＶＬ）までのｖｉｅｗ＿ｌｅｖｅｌを伴う全てのビュー成分は、ＶＬより大きいｖｉｅｗ＿ｌｅｖｅｌを伴ういずれのビュー成分も復号することなく、復号可能であり得る。
要素ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］は、ｉに等しいビュー順序インデックスを伴うビュー成分を復号するときの、初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１中のビュー間予測のためのビュー成分の数を指定する。要素ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［ｉ］の値は、Ｍｉｎ（１５、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１）より大きくないことがある。ｎｕｍ＿ｒｅｆ＿ｖｉｅｗｓ［０］の値は、０に等しいことがある。加えて、要素ｒｅｆ＿ｖｉｅｗｓ＿ｉｄｘ［ｉ］［ｊ］は、ｉに等しいビュー順序インデックスを伴うビュー成分を復号するときの、初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１中のビュー間予測のための第ｊのビュー成分のビュー順序インデックスを指定することができる。ｒｅｆ＿ｖｉｅｗ＿ｉｄｘ［ｉ］［ｊ］の値は、両端値を含み０から３１の範囲にあり得る。
図６は、本開示で説明される技法の様々な態様による、パラメータセットのアクティブ化を実施する際の、ビデオコード化機器の動作を示す流れ図である。最初に、ビデオデコーダ３０のようなビデオコード化機器は、マルチビュービデオデータのビュー成分に割り当てられる順序インデックス値を決定することができる（１３０）。この順序インデックス値は、図５に関してより詳しく上で説明されている。上で説明されたように、ビデオデコーダ３０は次いで、マルチビュービデオデータのビュー成分に割り当てられた決定されたビュー順序インデックス値に少なくとも基づいて、ビュー成分のテクスチャ成分のためのテクスチャパラメータセットとしてパラメータセットをアクティブ化することができる（１３２）。このテクスチャパラメータセットをアクティブ化した後、ビデオエンコーダ３０は次いで、アクティブ化されたテクスチャパラメータセットに基づいてビュー成分のテクスチャ成分をコード化することができる（１３４）。
幾つかの例では、ビデオデコーダ３０は、アクティブ化されたテクスチャパラメータセットに基づいて、ビュー成分の深度成分ではなく、ビュー成分のテクスチャ成分のみをコード化する。幾つかの例では、ビデオデコーダ３０は、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分の深度成分に対して別のパラメータセットをアクティブ化し、上で説明された方式で、ビュー成分の深度成分に対してアクティブ化されたパラメータセットに基づき、かつ、アクティブ化されたテクスチャパラメータセットに基づかずに、ビュー成分の深度成分を復号する。従って、図６の例には明示的に示されないが、追加のパラメータセットが深度成分に対して個々にアクティブ化されてよく、ビデオデコーダ３０は次いで、その追加のパラメータセットを使用して、テクスチャ成分ではなく深度成分を復号することができる。
上で説明された例の幾つかでは、ビデオデコーダ３０は、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、マルチビュービデオデータのビュー成分をコード化するためのシーケンスパラメータセットをアクティブ化することができる。その上、上述のように、ビデオデコーダ３０は、テクスチャシーケンスパラメータセットによって指定された１つ又は複数のシンタックス要素が、アクティブ化されたシーケンスパラメータセットによって指定された１つ又は複数のシンタックス要素を上書き又は補足するように、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分のテクスチャ成分に対するテクスチャシーケンスパラメータセットとして、シーケンスパラメータセットをアクティブ化することができる。
上で説明された例の幾つかでは、ビデオデコーダ３０は、テクスチャピクチャパラメータセットによって指定された１つ又は複数のシンタックス要素が、アクティブ化されたシーケンスパラメータセットによって指定された１つ又は複数のシンタックス要素を上書き又は補足するように、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分のテクスチャ成分に対するテクスチャピクチャパラメータセットとして、ピクチャパラメータセットをアクティブ化することができる。
上で説明された例の幾つかでは、ビデオデコーダ３０は、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、マルチビュービデオデータのビュー成分に対するビューピクチャパラメータセットとして、ピクチャパラメータセットをアクティブ化することができる。加えて、ビデオデコーダ３０は次いで、テクスチャピクチャパラメータセットによって指定された１つ又は複数のシンタックス要素が、アクティブ化されたシーケンスパラメータセットによって指定された１つ又は複数のシンタックス要素を上書き又は補足するように、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分のテクスチャ成分に対するテクスチャピクチャパラメータセットとして、ピクチャパラメータセットをアクティブ化することによって、テクスチャパラメータセットとしてパラメータセットをアクティブ化することができる。
幾つかの例では、ビデオデコーダ３０は次いで、マルチビュービデオデータのビュー成分に割り当てられたビュー順序インデックス値に少なくとも基づいて、ビュー成分のテクスチャ成分に対して、シーケンスパラメータセット及びピクチャパラメータの１つ又は複数をテクスチャシーケンスパラメータセット及びテクスチャピクチャパラメータセットとしてそれぞれアクティブ化することによって、テクスチャパラメータセットとしてパラメータセットをアクティブ化することができる。
また、図６に関して示され説明されるステップは一例として与えられたものにすぎないことを理解されたい。即ち、図６の例に示されるステップは必ずしも図６に示される順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。その上、本技法は特定のビデオコーダ、即ちビデオデコーダ３０に関して上で説明されたが、本技法は、ビデオエンコーダ２０を含む任意のビデオコーダによって実装され得る。
図７は、本開示で説明される技法による、マルチビュービデオデータを処理して、ネスト化されたＳＥＩメッセージを生成する例示的な動作を示すフロー図である。以下では特定のユニット、即ちカプセル化ユニット２１に関して説明されるが、本技法は一般に、宛先機器１４、及びより具体的には宛先機器１４の逆カプセル化ユニット２９を含む、任意のビデオコード化機器によって実施され得る。
最初に、カプセル化ユニット２１は、符号化マルチビュービデオデータを受信し、ＳＥＩメッセージ生成ユニット１０８を呼び出し、ＳＥＩメッセージ生成ユニット１０８は、上で説明された方式で、マルチビュービデオデータのビュー成分を処理するときに適用される補助強化情報（ＳＥＩ）メッセージを決定する（１４０）。ＳＥＩメッセージ生成ユニット１０８はまた、上で説明されたように、ネスト化されたＳＥＩメッセージが、ビュー成分のテクスチャ成分と深度成分の両方に適用されるか、又はビュー成分の深度成分のみに適用されるかを決定することができる（１４１）。ネスト化されたＳＥＩメッセージが深度成分のみに適用されると決定すると（「いいえ」１４１）、ＳＥＩメッセージ生成ユニット１０８は、補助強化情報メッセージに加えて、ビュー成分の深度成分のみに適用されるネスト化された補助強化情報メッセージを決定することができる（１４２）。しかしながら、ネスト化されたＳＥＩメッセージが深度成分とテクスチャ成分の両方に適用されると決定すると（「はい」１４１）、ＳＥＩメッセージ生成ユニット１０８は、補助強化情報メッセージに加えて、ビュー成分のテクスチャ成分と深度成分の両方に適用されるネスト化された補助強化情報メッセージを決定することができる（１４３）。ビデオファイル作成ユニット１０４は次いで、ＳＥＩメッセージとネスト化されたＳＥＩメッセージの両方を含む、ビデオファイルを生成することができる（１４４）。
幾つかの例では、カプセル化ユニット２１は、このビデオファイルを生成し、このビデオファイルを、ルータ３６又は、コンテンツ配信ネットワーク３４のビデオサーバのような別の機器（これらの両方が、図１の例に関して上で説明されている）に与える。この機器は次いで、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分の深度成分を処理することができる。
幾つかの例では、カプセル化ユニット２１は、ビュー成分の深度成分をコード化するときにのみ、親補助強化情報メッセージに加えて適用される、ネスト化された補助強化情報メッセージを決定する。この例ではルータ３６が次いで、親補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分ではなくビュー成分の深度成分のみを処理することができる。
上述のように、カプセル化ユニット２１は、ビュー成分のテクスチャ成分をコード化するときに、ネスト化された補助強化情報メッセージが補助強化情報メッセージに加えて適用されるかどうかを決定することができる。結果として、ルータ３６は、この例では、ビュー成分のテクスチャ成分をコード化するときにネスト化された補助強化情報メッセージが補助強化情報メッセージに加えて適用されるかどうかの決定に基づいて、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分を処理することができる。
ビュー成分のテクスチャ成分を処理するときにネスト化された補助強化メッセージが補助強化情報メッセージに加えて適用されると決定すると、ルータ３６は、ネスト化された補助強化情報メッセージが深度成分にのみ適用されるか、又はビュー成分と深度成分の両方に適用されるかを指定するフラグを、ネスト化された補助強化情報メッセージ中で識別し、識別されたフラグに基づいて、ビュー成分のテクスチャ成分をコード化するときに、ネスト化された補助強化メッセージが補助強化情報メッセージに加えて適用されると決定することができる。このフラグは、補助強化情報ビュー適用可能性フラグ、及び補助強化情報使用可能ビュー適用可能性フラグのうちの１つ又は複数を備え得る。
幾つかの例では、ビュー成分のテクスチャ成分を処理するときにネスト化された補助強化情報メッセージが補助強化情報メッセージに加えて適用されるかどうかを決定するとき、ルータ３６は、ビュー成分の深度成分とビュー成分のテクスチャ成分の両方を処理するときにネスト化された補助強化情報メッセージが補助強化情報メッセージに加えて適用されると決定することができる。この例では、ルータ３６は、補助強化情報メッセージ及びネスト化された補助強化情報メッセージに基づいて、ビュー成分のテクスチャ成分を処理することができる。
幾つかの例では、ビュー成分のテクスチャ成分をコード化するときにネスト化された補助強化情報メッセージが補助強化情報メッセージに加えて適用されるかどうかを決定するとき、ルータ３６は、ビュー成分のテクスチャ成分ではなくビュー成分の深度成分をコード化するときにネスト化された補助強化情報メッセージのみが補助強化情報メッセージに加えて適用されると決定することができる。結果として、ルータ３６は、補助強化情報メッセージに基づいて、かつ、ネスト化された補助強化情報メッセージに基づかずに、ビュー成分のテクスチャ成分を処理することができる。
図７は一例を提供するものにすぎないことも理解されたい。即ち、図７の例に示されるステップは必ずしも図７に示される順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
図８は、本開示で説明される技法による、復号ピクチャバッファからテクスチャ成分と深度成分とを別々に除去する際の、ビデオコード化機器の例示的な動作を示すフロー図である。図８に示された例は概して、ビデオデコーダ３０（図１及び図３）によって実行されるものとして説明される。しかしながら、図８に関して説明されたプロセスは、種々の他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化単位などによって実行され得ることを理解されたい。
一般に、ビデオデコーダ３０は、復号ピクチャバッファに、（マルチビュービデオデータによって指定される）ビュー成分の深度成分とテクスチャ成分とを記憶することができ、復号ピクチャバッファは、図３の例では参照ピクチャメモリ９２として示される（１５０）。ビデオデコーダ３０は次いで、ビュー依存性を分析して、深度成分がビュー間予測のために使用されるかどうかを決定することができる（ここで、そのようなビュー依存性が図５の例に関して上で反映され得る、１５２）。ビデオデコーダ３０は、参照ピクチャメモリ９２から関連するテクスチャ成分を除去しようと試みるときに、深度成分のみに対してこのビュー依存性を分析し、ビュー依存性を別々に分析することができる。幾つかの例では、ビュー依存性は、サブセットシーケンスパラメータセットのマルチビュービデオコード化のシーケンスパラメータセット拡張において信号伝達される。サブセットシーケンスパラメータセットは、３次元ビデオファイルを含んでよく、ビュー依存性を分析するときに、アクティブビューのマルチビュービデオコード化シーケンスパラメータセットとしてアクティブ化される。いずれにしても、ビデオデコーダ３０は次いで、深度成分がビュー間予測のために使用されないと決定したことに応答して、テクスチャ成分を除去することなく、参照ピクチャメモリ９２から深度成分を除去することができる（１５４）。
この深度成分を除去する前に、ビデオデコーダ３０は、深度成分がターゲット出力ビューに属さず、０に等しい値を有するネットワーク抽象レイヤ参照識別コードと関連付けられると決定することによって、除去に適しているものとして深度成分を見なすことができる。深度成分及びテクスチャ成分の別々の取扱を潜在的に実現する結果として、ビデオデコーダ３０は、テクスチャ成分とは異なる深度成分に対して１つ又は複数の参照ピクチャを決定することができる。即ち、ビデオデコーダ３０は、少なくとも、深度成分に対する１つ又は複数の参照ピクチャを識別する参照ピクチャリストを決定し、テクスチャ成分に対する１つ又は複数の追加の参照ピクチャを識別する参照ピクチャリストを決定することによって、深度成分に対する１つ又は複数の参照ピクチャを決定することができ、テクスチャ成分に対して決定される１つ又は複数の追加の参照ピクチャは、深度成分に対して決定される１つ又は複数の参照ピクチャとは異なる。
深度成分に対する参照ピクチャリストを決定する際、ビデオデコーダ３０は、ビデオエンコーダ２０による深度成分及びテクスチャ成分の標識に基づいて、深度成分及びテクスチャ成分に対する参照ピクチャリストを決定することができ、その標識は、テクスチャ成分を標識することとは別個に、深度成分に対する参照ピクチャリストを識別するために使用される。幾つかの例では、１つ又は複数のシンタックス要素が、深度成分に対して決定された参照ピクチャリストとは別々に深度成分を標識するために使用されてよく、かつ１つ又は複数のシンタックス要素が、テクスチャ成分に対して決定された参照ピクチャリストとは別々にテクスチャ成分を標識するために使用される。
幾つかの例では、ビデオデコーダ３０は、深度成分及びテクスチャ成分が表示のために出力されるべきターゲット出力ビューに属していると決定し、深度ビューとテクスチャビューとを同時に又はほぼ同時に出力することができる。
図８の例に関して示され説明されたステップは単に一例として与えられたものにすぎないことを理解されたい。即ち、図８の例に示されるステップは必ずしも図８に示される順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
図９は、本開示で説明される技法による、ＭＶＣ適合３ＤＶＣのためのシーケンスレベル情報を決定する際の、ビデオコード化機器の例示的な動作を示す流れ図である。図８に示された例は全般に、ビデオデコーダ３０（図１及び図３）によって実行されるものとして説明される。しかしながら、図８に関して説明されたプロセスは、種々の他のプロセッサ、処理ユニット、エンコーダ／デコーダ（コーデック）などのハードウェアベースのコード化単位などによって実行され得ることを理解されたい。
上で説明されたように、ビデオデコーダ３０は、深度成分の特性を記述する第１のシーケンスレベル情報を決定し、ビデオデータの動作点の特性を記述する第２のシーケンスレベル情報を決定することができる（１６０、１６２）。その上、ビデオデコーダ３０は、３次元ビデオコード化シーケンスパラメータセットにおいて示される深度成分のための１つ又は複数の参照ピクチャを識別する、参照ピクチャリストを決定することができる。
幾つかの例では、第２のシーケンスレベル情報は、動作点に対して、ターゲット出力ビューのリストと、動作点を復号するときに復号されるべきテクスチャビューの数と、動作点を復号するときに復号されるべき深度ビューの数とを記述する、３次元ビデオコード化シーケンスパラメータセットを含み、復号されるべきテクスチャビューの数は、深度ビューの数とは異なる。幾つかの例では、ビデオデコーダ３０は更に、ターゲット出力ビューのリストにおいて規定されるターゲット出力ビューの各々に対して、利用可能な場合には１つ又は複数の深度成分を更に対象とすることができる。
幾つかの例では、ビデオデコーダ３０は、ビデオデータの一部として３次元ビデオコード化スケーラビリティ情報ＳＥＩメッセージを規定することができ、３次元ビデオコード化スケーラビリティ情報ＳＥＩメッセージは、深度成分を伴わない動作点の記述、又は深度成分を伴う動作点の記述を含む。幾つかの例では、ＳＥＩメッセージは、動作点が深度成分を含むかどうかの指示を含む。その上、幾つかの例では、ＳＥＩメッセージは、動作点が、動作点の復号のための、直接依存テクスチャビューとともに、深度成分と直接依存深度ビューとを含むかどうかの指示を含む。
図９の例に関して示され説明されたステップは単に一例として与えられたものにすぎないことを理解されたい。即ち、図９の例に示されるステップは必ずしも図９に示される順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
本開示に関して説明された特定のシンタックス要素は、説明の目的で例示的な名称を与えられたが、本開示で説明された概念は、名称にかかわらず、より一般的に任意のシンタックス要素に適用可能であることを理解されたい。例えば、特定の態様が「ビュー順序インデックス」、「ｖｉｅｗ＿ｏｒｄｅｒ＿ｉｎｄｅｘ」又は「ｖｉｅｗ＿ｉｄｘ」に言及するが、そのようなシンタックス要素は、将来のコード化規約において代替の名称を与えられる可能性があることを理解されたい。
本開示の特定の技法はＨ．２６４規格に関して説明されたが、本技法は必ずしも特定のコード化規格に限定されないことを理解されたい。即ち、本技法は、より一般的には、例えば、上で説明されたように、より短い、及び／又はより複雑でないＮＡＬ単位及びパラメータセットを通じて、３ＤＶＣにおけるコード化の効率性を達成することに関する。
例に応じて、本明細書で説明された方法のうちのいずれかの幾つかの行為又はイベントは、異なるシーケンスで実行されてよく、互いに付加、統合、又は除外されてよい（例えば、全ての説明された行為又はイベントが、方法の実施のために必要であるとは限らない）ことを理解されたい。その上、幾つかの例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて、同時に実行され得る。加えて、本開示の幾つかの態様は、明快にするために単一のモジュール又はユニットによって実行されるものとして説明されるが、本開示の技法はビデオコーダに関連するユニット又はモジュールの組合せによって実行され得ることを理解されたい。
１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又はコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする、任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。
このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード及び／又はデータ構造を取り出すために１つ又は複数のコンピュータ又は１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶、磁気ディスク記憶、もしくは他の磁気記憶装置、フラッシュメモリ、又は、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）などの１つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の等価な集積回路もしくはディスクリート論理回路によって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。加えて、幾つかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で与えられてよく、又は複合コーデックに組み込まれてよい。また、本技法は、１つ又は複数の回路又は論理要素中で完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実行するように構成された機器の機能的態様を強調するために、様々なコンポーネント、モジュール、又はユニットが説明されたが、それらのコンポーネント、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上で説明された１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられ、又は相互動作ハードウェアユニットの集合によって与えられ得る。
本開示の様々な態様が説明されてきた。これら及び他の態様は以下の特許請求の範囲内に入る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオコード化のための方法であって、
復号ピクチャバッファ内に深度成分を記憶することと、
ビュー依存性を分析して、前記深度成分がビュー間予測のために使用されるかどうか決定することと、
前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去することとを備える、方法。
［Ｃ２］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記深度成分を除去することが、前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、Ｃ１に記載の方法。
［Ｃ４］
前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
前記サブセットシーケンスパラメータセットが、３次元ビデオファイルを含み、前記ビュー依存性を分析するときに、アクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、Ｃ１に記載の方法。
［Ｃ５］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記方法が、前記テクスチャ成分と異なる前記深度成分に対する１つ以上の参照ピクチャを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記方法が、
ビデオデコーダによって、前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定することと、
同時に、前記ビデオデコーダによって、前記深度成分と前記テクスチャ成分とを出力することとをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記深度成分及び前記テクスチャ成分が異なる解像度を有する、Ｃ１に記載の方法。
［Ｃ８］
前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、Ｃ１に記載の方法。
［Ｃ９］
ビデオデータをコード化するように構成されるビデオコード化装置であって、
復号ピクチャバッファと、
前記復号ピクチャバッファに深度成分を記憶し、ビュー依存性を分析して前記深度成分がビュー間予測のために使用されるかどうかを決定し、前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去するように構成される、プロセッサとを備える、ビデオコード化装置。
［Ｃ１０］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記１つ以上のプロセッサがさらに、前記深度成分を除去するとき、前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去するように構成される、Ｃ９に記載のビデオコード化装置。
［Ｃ１１］
前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、Ｃ９に記載のビデオコード化装置。
［Ｃ１２］
前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
前記サブセットシーケンスパラメータセットが、３次元ビデオファイルを含み、前記ビュー依存性を分析するときに、アクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、Ｃ９に記載のビデオコード化装置。
［Ｃ１３］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記１つ以上のプロセッサがさらに、前記テクスチャ成分と異なる前記深度成分に対する１つ以上の参照ピクチャを決定するように構成される、Ｃ９に記載のビデオコード化装置。
［Ｃ１４］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記ビデオコード化装置がビデオデコーダを備え、
前記１つ以上のプロセッサがさらに、前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属していると決定し、前記深度成分と前記テクスチャ成分とを同時に出力するように構成される、Ｃ９に記載のビデオコード化装置。
［Ｃ１５］
前記深度成分及び前記テクスチャ成分が異なる解像度を有する、Ｃ９に記載のビデオコード化装置。
［Ｃ１６］
前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、Ｃ９に記載のビデオコード化装置。
［Ｃ１７］
ビデオデータをコード化するためのビデオコード化装置であって、
復号ピクチャバッファ内に深度成分を記憶するための手段と、
ビュー依存性を分析して、前記深度成分がビュー間予測のために使用されるかどうか決定するための手段と、
前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去するための手段とを備える、ビデオコード化装置。
［Ｃ１８］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記深度成分を除去するための前記手段が、前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去するための手段を備える、Ｃ１７に記載のビデオコード化装置。
［Ｃ１９］
前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、Ｃ１７に記載のビデオコード化装置。
［Ｃ２０］
前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
前記サブセットシーケンスパラメータセットが、３次元ビデオファイルを含み、前記ビュー依存性を分析するときに、アクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、Ｃ１７に記載のビデオコード化装置。
［Ｃ２１］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記ビデオコード化装置が、前記テクスチャ成分と異なる前記深度成分に対する１つ以上の参照ピクチャを決定するための手段をさらに備える、Ｃ１７に記載のビデオコード化装置。
［Ｃ２２］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記ビデオコード化装置がビデオデコーダを備え、
前記ビデオデコーダが、
前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定するための手段と、
前記深度成分と前記テクスチャ成分とを同時に出力するための手段とをさらに備える、Ｃ１７に記載のビデオコード化装置。
［Ｃ２３］
前記深度成分及び前記テクスチャ成分が異なる解像度を有する、Ｃ１７に記載のビデオコード化装置。
［Ｃ２４］
前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、Ｃ１７に記載のビデオコード化装置。
［Ｃ２５］
実行されると、ビデオコード化装置の１つ以上のプロセッサに、
復号ピクチャバッファ内へ深度成分を記憶させ、
ビュー依存性を分析させて、前記深度成分がビュー間予測のために使用されるかどうか決定させ、
前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去させる命令を記憶した、非一時的コンピュータ可読記憶媒体。
［Ｃ２６］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
実行されると前記１つ以上のプロセッサに前記深度成分を除去させる前記命令が、実行されると前記１つ以上のプロセッサに、前記深度成分がビュー間予測のために使用されないと決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去させる命令を備える、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２７］
前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２８］
前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
前記サブセットシーケンスパラメータセットが、３次元ビデオファイルを含み、前記ビュー依存性を分析するときに、アクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ２９］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記非一時的コンピュータ可読記憶媒体が、実行されると、前記１つ以上のプロセッサに、前記テクスチャ成分とは異なる前記深度成分に対する１つ以上の参照ピクチャを決定させる命令をさらに記憶した、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３０］
前記深度成分が、ビデオデータのビューのビュー成分と関連付けられ、
テクスチャ成分も、前記ビュー成分と関連付けられ、
前記ビデオコード化装置がビデオデコーダを備え、
前記非一時的コンピュータ可読記憶媒体が、実行されると、前記１つ以上のプロセッサに、
前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定させ、
前記深度成分と前記テクスチャ成分とを同時に出力させる命令をさらに記憶した、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３１］
前記深度成分及び前記テクスチャ成分が異なる解像度を有する、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。
［Ｃ３２］
前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、Ｃ２５に記載の非一時的コンピュータ可読記憶媒体。

Claims (32)

  1. ハードウエアがビデオコード化のための方法であって、
    復号ピクチャバッファ内に深度成分を記憶することと、
    ビュー依存性を分析して、前記深度成分がビュー間予測のために使用されるかどうか決定することと、ここにおいて、前記ビュー依存性は、前記深度成分に関連付けられ、任意のテクスチャ成分のビュー依存性と別れており、前記深度成分はビデオデータのビューのビュー成分と関連し、テクスチャ成分も前記ビュー成分と関連する、
    前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示していることを決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去することとを備える、方法。
  2. 前記深度成分を除去することが、前記深度成分と関連する前記ビュー依存性が前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、関連する前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去することを備える、請求項１に記載の方法。
  3. 前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、請求項１に記載の方法。
  4. 前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
    前記サブセットシーケンスパラメータセットが、３次元ビデオプロファイルを含み、前記ビュー依存性を分析するときに、前記サブセットシーケンスパラメータセットがアクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、請求項１に記載の方法。
  5. 前記方法が、前記テクスチャ成分を再構成するために使用される１つ以上の参照ピクチャとは異なる、前記深度成分を再構成するために使用される１つ以上の参照ピクチャを決定することをさらに備える、請求項１に記載の方法。
  6. 前記方法が、
    ビデオデコーダが、前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定することと、
    前記ビデオデコーダが、同時に前記深度成分と前記テクスチャ成分とを出力することとをさらに備える、請求項１に記載の方法。
  7. 前記深度成分及び前記テクスチャ成分が異なる解像度を有する、請求項１に記載の方法。
  8. 前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、請求項１に記載の方法。
  9. ビデオデータをコード化するように構成されるビデオコード化装置であって、
    復号ピクチャバッファと、
    前記復号ピクチャバッファに深度成分を記憶し、ビュー依存性を分析して前記深度成分がビュー間予測のために使用されるかどうかを決定し、前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去するように構成される、プロセッサと、ここにおいて、前記ビュー依存性は、前記深度成分に関連付けられ、任意のテクスチャ成分のビュー依存性とは別であり、前記深度成分はビデオデータのビューのビュー成分と関連しており、テクスチャ成分も前記ビュー成分と関連している、
    を備える、ビデオコード化装置。
  10. 前記１つ以上のプロセッサがさらに、前記深度成分を除去するとき、前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去するように構成される、請求項９に記載のビデオコード化装置。
  11. 前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、請求項９に記載のビデオコード化装置。
  12. 前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
    前記サブセットシーケンスパラメータセットが、３次元ビデオプロファイルを含み、前記ビュー依存性を分析するときに、前記サブセットシーケンスパラメータセットがアクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、請求項９に記載のビデオコード化装置。
  13. 前記１つ以上のプロセッサがさらに、前記テクスチャ成分を再構成するために使用される１つ以上の参照ピクチャとは異なる、前記深度成分を再構成するために使用される１つ以上の参照ピクチャを決定するように構成される、請求項９に記載のビデオコード化装置。
  14. 前記ビデオコード化装置がビデオデコーダを備え、
    前記１つ以上のプロセッサがさらに、前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属していると決定し、前記深度成分と前記テクスチャ成分とを同時に出力するように構成される、請求項９に記載のビデオコード化装置。
  15. 前記深度成分及び前記テクスチャ成分が異なる解像度を有する、請求項９に記載のビデオコード化装置。
  16. 前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記ビデオデータが前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、請求項９に記載のビデオコード化装置。
  17. ビデオデータをコード化するためのビデオコード化装置であって、
    復号ピクチャバッファ内に深度成分を記憶するための手段と、
    ビュー依存性を分析して、前記深度成分がビュー間予測のために使用されるかどうか決定するための手段と、ここにおいて、前記ビュー依存性は、前記深度成分に関連付けられ、任意のテクスチャ成分のビュー依存性と別であり、前記深度成分はビデオデータのビューのビュー成分と関連し、テクスチャ成分も前記ビュー成分と関連する、
    前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去するための手段とを備える、ビデオコード化装置。
  18. 前記深度成分を除去するための前記手段が、前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去するための手段を備える、請求項１７に記載のビデオコード化装置。
  19. 前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、請求項１７に記載のビデオコード化装置。
  20. 前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
    前記サブセットシーケンスパラメータセットが、３次元ビデオプロファイルを含み、前記ビュー依存性を分析するときに、前記サブセットシーケンスパラメータセットがアクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、請求項１７に記載のビデオコード化装置。
  21. 前記ビデオコード化装置が、前記テクスチャ成分を再構成するために使用される１つ以上の参照ピクチャとは異なる、前記深度成分を再構成するために使用される１つ以上の参照ピクチャを決定するための手段をさらに備える、請求項１７に記載のビデオコード化装置。
  22. 前記ビデオコード化装置がビデオデコーダを備え、
    前記ビデオデコーダが、
    前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定するための手段と、
    前記深度成分と前記テクスチャ成分とを同時に出力するための手段とをさらに備える、請求項１７に記載のビデオコード化装置。
  23. 前記深度成分及び前記テクスチャ成分が異なる解像度を有する、請求項１７に記載のビデオコード化装置。
  24. 前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記ビデオデータが前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、請求項１７に記載のビデオコード化装置。
  25. 実行されると、ビデオコード化装置の１つ以上のプロセッサに、
    復号ピクチャバッファ内へ深度成分を記憶させ、
    前記深度成分がビュー間予測のために使用されるかどうか決定するためにビュー依存性を分析させ、ここにおいて、前記ビュー依存性は、前記深度成分に関連付けられ、任意のテクスチャ成分のビュー依存性と別であり、前記深度成分はビデオデータのビューのビュー成分と関連し、テクスチャ成分も前記ビュー成分と関連する、
    前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記復号ピクチャバッファから前記深度成分を除去させる命令を記憶した、コンピュータ可読記憶媒体。
  26. 実行されると前記１つ以上のプロセッサに前記深度成分を除去させる前記命令が、実行されると前記１つ以上のプロセッサに、前記深度成分と関連する前記ビュー依存性が、前記深度成分がビュー間予測のために使用されないことを示すことを決定したことに応答して、前記テクスチャ成分を除去することなく前記復号ピクチャバッファから前記深度成分を除去させる命令を備える、請求項２５に記載のコンピュータ可読記憶媒体。
  27. 前記深度成分が、ターゲット出力ビューに属さず、非参照ピクチャであり、又は、「参照のために使用されない」ものとして標識されたピクチャである、請求項２５に記載のコンピュータ可読記憶媒体。
  28. 前記ビュー依存性が、サブセットシーケンスパラメータセットのビデオコード化のシーケンスパラメータセット拡張において信号伝達され、
    前記サブセットシーケンスパラメータセットが、３次元ビデオプロファイルを含み、前記ビュー依存性を分析するときに、前記サブセットシーケンスパラメータセットがアクティブビュービデオコード化シーケンスパラメータセットとしてアクティブ化される、請求項２５に記載のコンピュータ可読記憶媒体。
  29. 前記コンピュータ可読記憶媒体が、実行されると、前記１つ以上のプロセッサに、前記テクスチャ成分のために使用される１つ以上の参照ピクチャとは異なる、前記深度成分を再構成するために使用される１つ以上の参照ピクチャを決定させる命令をさらに記憶した、請求項２５に記載のコンピュータ可読記憶媒体。
  30. 前記ビデオコード化装置がビデオデコーダを備え、
    前記コンピュータ可読記憶媒体が、実行されると、前記１つ以上のプロセッサに、
    前記深度成分及び前記テクスチャ成分が表示のために出力されるべきターゲット出力ビューに属すると決定させ、
    前記深度成分と前記テクスチャ成分とを同時に出力させる命令をさらに記憶した、請求項２５に記載のコンピュータ可読記憶媒体。
  31. 前記深度成分及び前記テクスチャ成分が異なる解像度を有する、請求項２５に記載のコンピュータ可読記憶媒体。
  32. 前記ビデオデータが、Ｈ．２６４／アドバンストビデオコード化規格に対する３次元ビデオコード化拡張に準拠し、前記ビデオデータが前記Ｈ．２６４／アドバンストビデオコード化規格に対するマルチビュービデオコード化拡張と後方互換性がある、請求項２５に記載のコンピュータ可読記憶媒体。
JP2014544925A 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化 Active JP6242802B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201161565376P 2011-11-30 2011-11-30
US61/565,376 2011-11-30
US201161565938P 2011-12-01 2011-12-01
US61/565,938 2011-12-01
US201161579631P 2011-12-22 2011-12-22
US61/579,631 2011-12-22
US201261584009P 2012-01-06 2012-01-06
US61/584,009 2012-01-06
US13/689,508 US10158873B2 (en) 2011-11-30 2012-11-29 Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US13/689,508 2012-11-29
PCT/US2012/067312 WO2013082438A1 (en) 2011-11-30 2012-11-30 Depth component removal for multiview video coding (mvc) compatible three-dimensional video coding (3dvc)

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016115532A Division JP2016197869A (ja) 2011-11-30 2016-06-09 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化

Publications (2)

Publication Number Publication Date
JP2015500589A JP2015500589A (ja) 2015-01-05
JP6242802B2 true JP6242802B2 (ja) 2017-12-06

Family

ID=48466494

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2014544924A Active JP5902314B2 (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2014544953A Withdrawn JP2015503288A (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2014544925A Active JP6242802B2 (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2014544951A Expired - Fee Related JP5905598B2 (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2016115532A Pending JP2016197869A (ja) 2011-11-30 2016-06-09 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2016160347A Pending JP2017022723A (ja) 2011-11-30 2016-08-18 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014544924A Active JP5902314B2 (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2014544953A Withdrawn JP2015503288A (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2014544951A Expired - Fee Related JP5905598B2 (ja) 2011-11-30 2012-11-30 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2016115532A Pending JP2016197869A (ja) 2011-11-30 2016-06-09 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP2016160347A Pending JP2017022723A (ja) 2011-11-30 2016-08-18 マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化

Country Status (14)

Country Link
US (4) US9473752B2 (ja)
EP (4) EP2786570A1 (ja)
JP (6) JP5902314B2 (ja)
KR (6) KR101874669B1 (ja)
CN (4) CN104115494B (ja)
BR (1) BR112014012946B1 (ja)
DK (1) DK2786574T3 (ja)
ES (2) ES2719768T3 (ja)
HU (2) HUE043051T2 (ja)
IN (2) IN2014CN03591A (ja)
PL (1) PL2786574T3 (ja)
PT (1) PT2786574T (ja)
SI (1) SI2786574T1 (ja)
WO (4) WO2013082517A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11207773B2 (en) 2016-11-07 2021-12-28 Soinn Inc. Action transfer device, action transfer method, and non-transitory computer-readable medium storing action transfer program

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117129A2 (en) 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
ES2962504T3 (es) 2011-09-22 2024-03-19 Lg Electronics Inc Método de predicción inter llevado a cabo por un aparato de descodificación, método de codificación de imágenes llevado a cabo por un aparato de codificación y método de transmisión de datos para imágenes
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US20130222537A1 (en) * 2012-02-29 2013-08-29 Qualcomm Incorporated Bitstream extraction in three-dimensional video
EP2835971A4 (en) * 2012-04-03 2015-04-08 Panasonic Ip Corp America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, AND IMAGE DECODING DEVICE
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US20150146779A1 (en) * 2012-07-17 2015-05-28 Electronic And Telecommunications Research Institute In-loop filtering method and apparatus using same
US9479779B2 (en) 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
US9374581B2 (en) 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
US9973759B2 (en) 2013-07-08 2018-05-15 Hfi Innovation Inc. Method of simplified CABAC coding in 3D video coding
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
KR20150012206A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
US10075690B2 (en) * 2013-10-17 2018-09-11 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
US9716900B2 (en) * 2014-06-20 2017-07-25 Qualcomm Incorporated Extensible design of nesting supplemental enhancement information (SEI) messages
US9075945B1 (en) * 2014-06-27 2015-07-07 Google Inc. Method for implementing efficient entropy decoder by using high level synthesis
GB2534136A (en) 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US10425656B2 (en) * 2016-01-19 2019-09-24 Peking University Shenzhen Graduate School Method of inter-frame prediction for video encoding and decoding
JP6969541B2 (ja) * 2016-04-12 2021-11-24 ソニーグループ株式会社 送信装置および送信方法
WO2018124957A1 (en) * 2016-12-30 2018-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Decoded picture buffer management for handling cross-picture data prediction
WO2020013513A1 (ko) * 2018-07-09 2020-01-16 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
US10924751B2 (en) * 2019-03-18 2021-02-16 Tencent America LLC Data unit and parameter set design for point cloud coding
US11706428B2 (en) * 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
US20210258590A1 (en) * 2020-04-09 2021-08-19 Intel Corporation Switchable scalable and multiple description immersive video codec
KR20230019850A (ko) 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
US20220417543A1 (en) * 2021-06-28 2022-12-29 Tencent America LLC Multiview view position supplementary enhancement information message

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119269B2 (ja) 2002-02-01 2008-07-16 松下電器産業株式会社 動画像符号化方法および動画像復号化方法
ES2420583T3 (es) 2002-07-11 2013-08-26 Panasonic Corporation Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC
JP4562999B2 (ja) 2002-07-11 2010-10-13 パナソニック株式会社 画像復号化方法および画像復号化装置
KR20060109448A (ko) 2003-10-31 2006-10-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호 인코딩 방법
US7415069B2 (en) 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
KR20050113501A (ko) 2004-05-29 2005-12-02 삼성전자주식회사 에이치 264 비디오 디코더를 위한 구문 분석기
US20060015919A1 (en) 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
DE102005037226A1 (de) 2005-08-08 2007-02-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Festlegung eines Startzustandes bei einem Rechnersystem mit wenigstens zwei Ausführungseinheiten durch markieren von Registern
WO2007042914A1 (en) 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
ES2636917T3 (es) 2006-03-30 2017-10-10 Lg Electronics, Inc. Un método y un aparato para descodificar/codificar una señal de video
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
EP2087738B1 (en) 2006-10-13 2016-04-13 Thomson Licensing Method for reference picture management involving multiview video coding
AU2007311476C1 (en) 2006-10-16 2013-01-17 Nokia Technologies Oy System and method for implementing efficient decoded buffer management in multi-view video coding
WO2008051381A2 (en) 2006-10-24 2008-05-02 Thomson Licensing Picture management for multi-view video coding
EP2418851A3 (en) 2006-12-21 2012-05-23 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
EP2116064B1 (en) 2007-01-04 2012-08-15 Thomson Licensing Method and apparatus for video error concealment in multi-view coded video using high level syntax
EP2116063B1 (en) 2007-01-04 2017-03-08 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
WO2008084443A1 (en) 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding
KR101741050B1 (ko) 2007-04-17 2017-05-29 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
EP2149262A4 (en) 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
WO2009048502A2 (en) 2007-10-05 2009-04-16 Thomson Licensing Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
EP2232875A2 (en) 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
KR101727311B1 (ko) 2008-04-25 2017-04-14 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
US8061451B2 (en) * 2008-10-17 2011-11-22 Strata Directional Technology, Llc Vertical drilling system for controlling deviation
US9973739B2 (en) 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding
KR101625058B1 (ko) 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
US8760495B2 (en) 2008-11-18 2014-06-24 Lg Electronics Inc. Method and apparatus for processing video signal
JP2010157824A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
KR101260613B1 (ko) 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
BRPI1007163A2 (pt) 2009-01-26 2018-09-25 Thomson Licensing compactação de quadro para codificação de vídeo
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2010096189A1 (en) 2009-02-19 2010-08-26 Thomson Licensing 3d video formats
KR20120081022A (ko) 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8675730B2 (en) * 2009-07-13 2014-03-18 Nvidia Corporation Macroblock grouping in a destination video frame to improve video reconstruction performance
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US20110109617A1 (en) 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
EP2898689B1 (en) 2012-09-21 2020-05-06 Nokia Technologies Oy Method and apparatus for video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11207773B2 (en) 2016-11-07 2021-12-28 Soinn Inc. Action transfer device, action transfer method, and non-transitory computer-readable medium storing action transfer program

Also Published As

Publication number Publication date
KR20140096161A (ko) 2014-08-04
ES2718818T3 (es) 2019-07-04
US9473752B2 (en) 2016-10-18
JP2015505178A (ja) 2015-02-16
BR112014012952A2 (pt) 2017-06-13
KR101874669B1 (ko) 2018-07-04
JP5902314B2 (ja) 2016-04-13
BR112014012946B1 (pt) 2022-06-14
KR20160068980A (ko) 2016-06-15
DK2786574T3 (en) 2019-04-08
EP2786572A1 (en) 2014-10-08
CN104115494A (zh) 2014-10-22
JP5905598B2 (ja) 2016-04-20
ES2719768T3 (es) 2019-07-12
PT2786574T (pt) 2019-05-09
PL2786574T3 (pl) 2019-06-28
BR112014012946A2 (pt) 2017-06-13
EP2786574A1 (en) 2014-10-08
US20130135433A1 (en) 2013-05-30
EP2786570A1 (en) 2014-10-08
KR101638713B1 (ko) 2016-07-11
WO2013082438A1 (en) 2013-06-06
JP2017022723A (ja) 2017-01-26
US10154276B2 (en) 2018-12-11
US20130135434A1 (en) 2013-05-30
US20130135431A1 (en) 2013-05-30
SI2786574T1 (sl) 2019-04-30
EP2786574B1 (en) 2019-01-09
KR101632814B1 (ko) 2016-06-22
KR20140096160A (ko) 2014-08-04
CN104115494B (zh) 2018-06-08
CN104126305A (zh) 2014-10-29
JP2015503288A (ja) 2015-01-29
EP2786573B1 (en) 2019-01-02
CN104115493B (zh) 2017-08-04
CN104137550A (zh) 2014-11-05
CN104126305B (zh) 2018-01-19
IN2014CN03591A (ja) 2015-07-03
IN2014CN03602A (ja) 2015-07-03
HUE043055T2 (hu) 2019-07-29
CN104137550B (zh) 2018-05-29
JP2016197869A (ja) 2016-11-24
US20130136176A1 (en) 2013-05-30
KR20140096166A (ko) 2014-08-04
WO2013082431A1 (en) 2013-06-06
US10200708B2 (en) 2019-02-05
EP2786573A1 (en) 2014-10-08
KR20140096165A (ko) 2014-08-04
WO2013082517A1 (en) 2013-06-06
WO2013082513A1 (en) 2013-06-06
JP2015503286A (ja) 2015-01-29
KR20160085358A (ko) 2016-07-15
US10158873B2 (en) 2018-12-18
CN104115493A (zh) 2014-10-22
JP2015500589A (ja) 2015-01-05
HUE043051T2 (hu) 2019-07-29

Similar Documents

Publication Publication Date Title
JP6242802B2 (ja) マルチビュービデオコード化（ｍｖｃ）適合３次元ビデオコード化（３ｄｖｃ）のためのパラメータセットのアクティブ化
JP6022652B2 (ja) スライスヘッダ予測のためのスライスヘッダ三次元映像拡張
JP6549145B2 (ja) マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用
TWI533679B (zh) 在視訊寫碼中之參數集
JP5902300B2 (ja) マルチビュービデオコード化
JP5908586B2 (ja) マルチビュービデオコード化
JP6377623B2 (ja) ビデオコーディングにおけるターゲット出力レイヤ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6242802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250