JP6242904B2 - マルチビュー、３次元（３ｄ）およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出 - Google Patents

マルチビュー、３次元（３ｄ）およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出 Download PDF

Info

Publication number
JP6242904B2
JP6242904B2 JP2015534815A JP2015534815A JP6242904B2 JP 6242904 B2 JP6242904 B2 JP 6242904B2 JP 2015534815 A JP2015534815 A JP 2015534815A JP 2015534815 A JP2015534815 A JP 2015534815A JP 6242904 B2 JP6242904 B2 JP 6242904B2
Authority
JP
Japan
Prior art keywords
view
sub
bitstream
depth
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015534815A
Other languages
English (en)
Other versions
JP2015536100A (ja
JP2015536100A5 (ja
Inventor
チェン、イン
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015536100A publication Critical patent/JP2015536100A/ja
Publication of JP2015536100A5 publication Critical patent/JP2015536100A5/ja
Application granted granted Critical
Publication of JP6242904B2 publication Critical patent/JP6242904B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１２年１０月１日に出願された米国仮出願第６１／７０８，５２２号の利益を主張する。
[0002]本開示は一般に、ビデオデータを処理することに関し、より詳細には、１つまたは複数のビデオコーディング規格に基づいてビデオデータを処理するための技法に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイス、トランスコーダ、ルータまたは他のネットワークデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、プロプライエタリ規格、ＶＰ８などのオープンビデオ圧縮フォーマット、およびそのような規格、技法またはフォーマットの拡張に記載されているビデオ圧縮技法などの、ビデオ圧縮技法を実施する。ビデオデバイスは、そのようなビデオ圧縮技法を実施することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）がビデオブロックに区分されてよく、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーティングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測によって、コーディングされるべきブロックの予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]本開示は、ビデオコーディングに関係する技法について説明し、より詳細には、本開示は、ビデオエンコーダとビデオデコーダとの中間にあるデバイス（たとえば、ネットワークエンティティ）がサブビットストリーム抽出の目的で適切な抽出動作を選択できるようにするために、複数のサブビットストリーム抽出モードのうちの１つを利用することについて説明する。たとえば、各サブビットストリーム抽出モードは、ビデオデコーダがターゲット出力ビューまたはターゲット出力レイヤを再構成できるように、デバイスがビットストリームからデータ（たとえば、ビューまたはレイヤからのコーディングされたピクチャ）を抽出する特定の方法を定義することができる。ビットストリームからの抽出されたデータは、サブビットストリームを形成することができる。このようにして、デバイスは、固定された硬直的な方法でサブビットストリームを抽出する必要がなくなることがあり、ターゲット出力ビューまたはターゲット出力レイヤのためのデータを出力するための特定の条件に適応することができる。
[0007]一例では、本開示は、ビデオデータを処理する方法について説明し、本方法は、符号化されたビデオデータのビットストリームを受信することと、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択することとを備える。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える。本方法はまた、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出することを含む。
[0008]一例では、本開示は、ビデオデータを処理するためのデバイスについて説明し、本デバイスは、符号化されたビデオデータのビットストリームを受信し、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択するように構成された１つまたは複数のプロセッサを備える。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える。１つまたは複数のプロセッサはまた、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出するように構成される。
[0009]一例では、本開示は、命令を記憶したコンピュータ可読記憶媒体について説明し、本命令は、ビデオデータを処理するためのデバイスの１つまたは複数のプロセッサによって実行されたときに、１つまたは複数のプロセッサに、符号化されたビデオデータのビットストリームを受信させ、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択させる。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える。本命令はまた、１つまたは複数のプロセッサに、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出させる。
[0010]一例では、本開示は、ビデオデータを処理するためのデバイスについて説明し、本デバイスは、符号化されたビデオデータのビットストリームを受信するための手段と、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択するための手段とを備える。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤのビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える。本デバイスはまた、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出するための手段を含む。
[0011]１つまたは複数の例の詳細が添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
[0012]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0013]本開示で説明する１つまたは複数の例による、例示的な符号化および復号の順序を示すグラフィック図。 [0014]例示的な予測パターンを示す概念図。 [0015]ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 [0016]本開示で説明する技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0017]本開示で説明する技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0018]本開示で説明する１つまたは複数の例による例示的な技法を示すフローチャート。
[0019]マルチビュービデオコーディングでは、複数のピクチャをそれぞれ含む複数のビューがある。マルチビュービデオコーディングという用語は一般に、複数のビューのためのビデオデータがコーディングされたビットストリームに含まれるビデオコーディング技法、様々なマルチビュービデオコーディング規格によるそのようなビデオコーディング技法、ならびに必ずしもビデオコーディング規格に依拠するとは限らない技法を指すために使用される。マルチビュービデオコーディングという用語はまた、スケーラブルビデオコーディング技法など、ビットストリームにおいてビデオデータの複数のレイヤがコーディングされるビデオコーディング技法を指すために使用されることもある。マルチビュービデオコーディングのための技法は、様々なビデオコーディング規格によって規制されることがあり、本開示で説明する技法は、様々なビデオコーディング規格、ならびにビデオコーディング規格に依拠しない技法に適用可能であり得る。
[0020]場合によっては、ビデオエンコーダは、コーディングされたビットストリームのために多くのビューまたはレイヤを符号化するが、ビデオデコーダは、コーディングされたビットストリームにおけるビューまたはレイヤのサブセットを復号する必要があるにすぎないことがある。たとえば、設定によっては、他の設定の場合よりも多くのビューが必要とされることがある。たとえば、多くのビューを表示することが可能なデバイスもあれば、より少ないビューを表示することが可能なデバイスもある。したがって、デバイスが復号および表示することが可能なだけ多くのビューまたはレイヤをデバイスが取り出せるようにするのが有益であり得る。
[0021]ビューは、異なるアクセスユニットに属するビューコンポーネントを含み、ビューコンポーネントは、本開示ではコーディングされたピクチャと呼ばれることもある。レイヤも、異なるアクセスユニットに属するコーディングされたピクチャを含む。同じアクセスユニットに属するすべてのビューまたはすべてのレイヤのコーディングされたピクチャは、同じ出力時間を有する。３Ｄビデオコーディングの文脈では、各ビューは、テクスチャ部分と深度部分、主にテクスチャビューと深度ビューとを含むことができる。テクスチャビューは、テクスチャビューのコーディングされたピクチャとも称される、コーディングされたテクスチャピクチャと、深度ビューのコーディングされたピクチャとも称される、コーディングされた深度ピクチャとの含む。コーディングされたテクスチャピクチャはまた、テクスチャビューコンポーネントとも呼ばれ、コーディングされた深度ピクチャはまた、深度ビューコンポーネントとも呼ばれる。本開示で説明する技法では、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）（すなわち、ＶＣＬ ＮＡＬ）ユニットを含む。
[0022]場合によっては、ビデオデコーダは、コーディングされたビットストリームから、ビューおよびレイヤの全部の代わりに、ビューまたはレイヤのサブセットを復号することがある。たとえば、帯域幅の効率性は、ターゲット出力ビューまたはレイヤを復号するために必要とされないビューとレイヤとを含むビューおよびレイヤの全部を出力するのではなく、ターゲット出力ビューまたはレイヤ（たとえば、表示されるべきビューまたはレイヤ）を復号するためにビデオデコーダが必要とするビューまたはレイヤからのコーディングされたピクチャを抽出し出力することによって得られ得る。ビデオデコーダがビューのサブセットのみを復号できるようにするために、ネットワークデバイス（たとえば、ビデオデコーダを含むデバイスから上流のデバイス）またはビデオデコーダを含むデバイスは、コーディングされたビットストリームからビューのサブセットを抽出し、抽出されたビューを、復号のためにビデオデコーダを含むデバイスに送信するだけでよい。コーディングされたビットストリームからのビューのサブセットのこの抽出は、サブビットストリーム抽出と呼ばれる。
[0023]マルチビュービデオコーディングでは、１つのビューの１つのコーディングされたピクチャを、別のビューの別のピクチャからインター予測することが可能であり得る。そのようなインター予測は、ビュー間予測と呼ばれる。場合によっては、ビューのうちの１つからのコーディングされたピクチャは、表示されるべきではないビューのピクチャからインター予測され得る。たとえば、ディスプレイデバイス（たとえば、モバイルデバイスまたはデスクトップ）がビュー０およびビュー１（たとえば、ビュー０およびビュー１のテクスチャビュー）を表示すべきであると仮定する。この例では、ビュー０およびビュー１は、ターゲット出力ビュー（すなわち、表示のために出力されるべきビュー）と呼ばれ得る。しかしながら、ビュー１からのコーディングされたピクチャ（たとえば、テクスチャビューコンポーネントおよび深度ビューコンポーネント）は、ビュー２のコーディングされたピクチャ（たとえば、テクスチャビューコンポーネントおよび深度ビューコンポーネント）からインター予測されることが可能であり得る。この例では、ビュー２が表示されなくても、ビデオデコーダは依然として、ビデオデコーダがビュー１のビデオデータを適切に復号できるように、ビュー２に関連するビデオデータを受信し、そのようなビデオデータを復号する必要があり得る。
[0024]マルチビュービデオコーディングでは、場合によっては、ビューのビューコンポーネントが、２つのコンポーネント、すなわちテクスチャビューコンポーネントおよび深度ビューコンポーネントによって表され得る。テクスチャビューコンポーネントは、実際のビデオコンテンツを含む。深度ビューコンポーネントは、ビデオコンテンツ内のピクセルまたはオブジェクトの相対深度を示す情報を含む。
[0025]たとえば、より詳細に説明するように、本開示で説明するサブビットストリーム抽出プロセスのいくつかの例では、サブビットストリーム抽出プロセスがコーディングされたビットストリームからコーディングされたピクチャを抽出するとき、サブビットストリーム抽出プロセスは、ターゲット出力ビューを復号するためにテクスチャビューコンポーネントと深度ビューコンポーネントの両方を抽出することができる。本開示で説明するサブビットストリーム抽出プロセスのいくつかの例では、サブビットストリーム抽出プロセスがコーディングされたビットストリームからコーディングされたピクチャを抽出するとき、サブビットストリーム抽出プロセスは、ターゲット出力ビューを復号するためにテクスチャビューコンポーネントを抽出するが、深度ビューコンポーネントを抽出しないこと、またはその逆がある。本開示で説明するサブビットストリーム抽出プロセスのいくつかの例では、サブビットストリーム抽出プロセスがコーディングされたビットストリームからコーディングされたピクチャを抽出するとき、サブビットストリーム抽出プロセスは、ターゲット出力ビューを復号するために必要とされるビューコンポーネントのみを抽出することがある。より詳細に説明するように、サブビットストリーム抽出プロセスは、サブビットストリームを抽出する方法をデバイスが決定するモーダルプロセスであってよく、上記の説明は、デバイスがサブビットストリームを抽出することができる方法のいくつかの例である。
[0026]サブビットストリーム抽出が現在実行される方法に関していくつかの問題があり得る。たとえば、抽出動作を適応的に選択するための機構がない。その上、場合によっては、ターゲット出力ビューのテクスチャビューコンポーネントは、第１の非ターゲット出力参照ビューのテクスチャビューコンポーネントからビュー間予測されることがあるが、ターゲット出力ビューの深度ビューコンポーネントは、第２の異なる参照ビューから予測され得る。この場合、いくつかのサブビットストリーム抽出技法は依然として、第１の非ターゲット出力参照ビューの深度ビューコンポーネントを含み得るが、第１の非ターゲット出力参照ビューの深度ビューコンポーネントは、ターゲット出力ビューを復号するために必要とされない。逆の場合もあり得る（すなわち、テクスチャビューコンポーネントは、必要とされないが、どのみち深度ビューコンポーネントとともに含まれる）。
[0027]本開示で説明する技法は一般に、適切なサブビットストリーム抽出プロセスを選択するための適応型機構に関する。また、本技法はマルチビュービデオコーディングに関して説明されるが、本技法はスケーラブルビデオコーディングにも適用可能であることを理解されたい。一般に、スケーラブルビデオコーディングは、ビデオデータの１つまたは複数のレイヤをコーディングすることを含み、各レイヤは様々なコーディング次元に対応する。たとえば、レイヤは、空間分解レイヤ、クロマビット深度レイヤ、信号対雑音比（ＳＮＲ）レイヤなどのうちの１つまたは複数を含むことができる。さらに、様々なビューは、ビュー次元のレイヤと見なされ得る。したがって、一般に例としてビューに関して説明されるが、マルチビュービデオコーディングはレイヤの一例を表すことを理解されたい。したがって、ビューへの言及は、より一般的には、レイヤへの言及とも見なされ得る。
[0028]いくつかの例では、外部手段（たとえば、エンドユーザまたはシステムのデフォルト設定から入力を受け取り、サブビットストリーム抽出を実行するデバイスに情報を渡すアプリケーション処理インターフェース（ＡＰＩ））が、サブビットストリーム抽出を実行するデバイスが実施するサブビットストリーム抽出モードを定義し得る。外部手段が利用できない場合、サブビットストリーム抽出を実行するデバイスは、デフォルトのサブビットストリーム抽出モードを実施し得る。
[0029]このようにして、本技法はマルチモードのサブビットストリーム抽出を可能にし、それにより外部手段は、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを定義することができる。言い換えれば、本開示で説明する技法では、サブビットストリーム抽出を実行するデバイスは、様々なモードタイプで設定可能（すなわち、適応可能）であってよく、その場合、定義されたモードに基づいてサブビットストリーム抽出を実行することができる。いくつかの例では、ビットストリーム抽出モードによっては、出力サブビットストリームが適合ビットストリームであることが求められ得る一方、ビットストリーム抽出モードによっては、出力サブビットストリームが適合ビットストリームであることを求められない。その結果、ビットストリームサブセットが適合しているかどうかを確認する複雑性が低減し得る。
[0030]いくつかの例では、抽出を実行するデバイスは、出力ビューを復号するために抽出されるべきビューのテクスチャビューおよび深度ビューのための２つの別個のリストを維持することができる。第１のリストはテクスチャビュー用であってよく、第２のリストは深度ビュー用であってよい。このようにして、第１のリストおよび第２のリストによって示されるように、非ターゲット出力ビューのテクスチャビューは必要とされるが、深度ビューは必要とされない場合、抽出を実行するデバイスは、ビットストリームから深度ビューコンポーネントを除去することができる。同様に、第１のリストおよび第２のリストによって示されるように、非ターゲット出力ビューの深度ビューは必要とされるが、テクスチャビューは必要とされない場合、抽出を実行するデバイスは、ビットストリームからテクスチャビューコンポーネントを除去することができる。
[0031]図１は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化されたビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
[0032]宛先デバイス１４は、リンク１６を介して復号されるべき符号化されたビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備えることができる。一例では、リンク１６は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムに宛先デバイス１４に直接送信できるようにする通信媒体を備えることができる。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0033]代替的に、符号化されたデータは、出力インターフェース２２からストレージデバイス３２に出力されてもよい。同様に、符号化されたデータは、入力インターフェースによってストレージデバイス３２からアクセスされる場合がある。ストレージデバイス３２は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３２は、ソースデバイス１２によって生成された符号化されたビデオを保持できるファイルサーバまたは別の中間ストレージデバイスに対応する場合がある。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３２から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバとすることができる。例示的なファイルサーバとしては、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適しているワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含むことができる。ストレージデバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0034]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0035]いくつかの例では、リンク１６に沿ってメディアアウェアネットワーク要素（ＭＡＮＥ）（図示せず）が存在し得る。より詳細に説明するように、本開示はサブビットストリーム抽出プロセスについて説明する。ＭＡＮＥは、サブビットストリーム抽出プロセスを実施するように構成され得る。このようにして、ＭＡＮＥは、符号化されたビットストリームをソースデバイス１２から受信し、ビットストリームの一部を抽出し（すなわち、サブビットストリーム抽出を実行し）、抽出されたサブビットストリームを宛先デバイス１４に出力することができる。
[0036]ただし、サブビットストリーム抽出プロセスを実施するためにＭＡＮＥに依拠することは、単に例示のために提示されており、限定するものと見なされるべきではない。ソースデバイス１２が宛先デバイス１４にビデオデータを送信する場合など、いくつかの例では、ソースデバイス１２が、本開示で説明するサブビットストリーム抽出プロセスを実施するように構成され得る。サブビットストリーム抽出プロセスがソースデバイス１２からさらに下流で（たとえば、ＭＡＮＥを介して）実行されることが可能であり得る。いくつかの例では、宛先デバイス１４が本開示で説明する例示的なサブビットストリーム抽出プロセスを実施することが可能なこともある。
[0037]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
[0038]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３２上に記憶され得る。
[0039]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３１とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３２上に提供された符号化されたビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０などのビデオデコーダが使用するためのビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶される符号化されたビデオデータとともに含まれ得、またはファイルサーバを記憶した。
[0040]ディスプレイデバイス３１は、宛先デバイス１４と一体化されること、またはその外部に存在することがある。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成される場合がある。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。一般に、ディスプレイデバイス３１は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0041]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格のようなビデオ圧縮規格に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ８」または「ＷＤ８」と呼ばれるＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｈ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１０回会合：ストックホルム、スウェーデン、２０１２年７月１１〜２０日に記載されおり、この文書は２０１３年９月３０日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐからダウンロード可能であり、その内容全体は参照により本明細書に組み込まれる。
[0042]「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０」または「ＷＤ１０」と呼ばれるＨＥＶＣ規格の別の最近のドラフトは、文書ＪＣＴＶＣ−Ｌ１００３ｖ３４、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０ （ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４〜２３日に記載されており、この文書は２０１３年９月３０日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐからダウンロード可能であり、その内容全体は参照により本明細書に組み込まれる。ＨＥＶＣ規格のさらに別のドラフトは、本明細書で「ＷＤ１０バージョン」と呼ばれ、Ｂｒｏｓｓら、「Ｅｄｉｔｏｒｓ’ ｐｒｏｐｏｓｅｄ ｃｏｒｒｅｃｔｉｏｎｓ ｔｏ ＨＥＶＣ ｖｅｒｓｉｏｎ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１３回会合、仁川、韓国、２０１３年４月に記載されており、この文書は２０１３年９月３０日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ０４３２−ｖ３．ｚｉｐから入手可能であり、その内容全体は参照により本明細書に組み込まれる。
[0043]代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、そのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）の拡張を含む、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ Ｈ．２６３、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアルおよびＩＴＵ−Ｔ Ｈ．２６４など、他のプロプライエタリ規格または業界規格に従って動作することができる。ＭＶＣのジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されており、その内容全体は参照により本明細書に組み込まれる。ＭＶＣの別のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１１年６月に記載されており、その内容全体は参照により本明細書に組み込まれる。
[0044]さらに、「ＭＶＣ Ｅｘｔｅｎｓｉｏｎ ｆｏｒ Ｉｎｃｌｕｓｉｏｎ ｏｆ Ｄｅｐｔｈ Ｍａｐｓ Ｄｒａｆｔ Ｔｅｘｔ ４」、ＪＣＴ３Ｖ−Ａ１００１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合：ストックホルム、スウェーデン、２０１２年７月１６〜２０日に記載されているような、ＭＶＣ規格の拡張、すなわち「ＭＶＣ＋Ｄ」など、新しいビデオコーディング規格がある。「ＭＶＣ Ｅｘｔｅｎｓｉｏｎ ｆｏｒ Ｉｎｃｌｕｓｉｏｎ ｏｆ Ｄｅｐｔｈ Ｍａｐｓ Ｄｒａｆｔ Ｔｅｘｔ ４」、ＪＣＴ３Ｖ−Ａ１００１の内容全体は参照により本明細書に組み込まれる。「ＭＶＣ＋Ｄ」規格のほかに、いわゆる３Ｄ−ＡＶＣ規格、ＭＶ−ＨＥＶＣ規格および場合によっては３Ｄ−ＨＥＶＣ規格、ならびにＨＥＶＣのスケーラブルコーデックに関する進行中の規格の取り組みがある。
[0045]最新の３Ｄ−ＡＶＣワーキングドラフトは、「３Ｄ−ＡＶＣ Ｄｒａｆｔ Ｔｅｘｔ ３」、ＪＣＴ３Ｖ−Ａ１００２、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合：ストックホルム、スウェーデン、２０１２年７月１６〜２０日で入手可能である。「３Ｄ−ＡＶＣ Ｄｒａｆｔ Ｔｅｘｔ ３」、ＪＣＴ３Ｖ−Ａ１００２の内容全体は参照により本明細書に組み込まれる。
[0046]最新のＭＶ−ＨＥＶＣワーキングドラフトは、「ＭＶ−ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １」、ＪＣＴ３Ｖ−Ａ１００４、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合：ストックホルム、スウェーデン、２０１２年７月１６〜２０日で入手可能である。「ＭＶ−ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １」、ＪＣＴ３Ｖ−Ａ１００４の内容全体は参照により本明細書に組み込まれる。
[0047]最新の３Ｄ−ＨＥＶＣテストモデルは、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ １」、ＪＣＴ３Ｖ−Ａ１００５、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ、第１回会合：ストックホルム、スウェーデン、２０１２年７月１６〜２０日で入手可能である。「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ １」、ＪＣＴ３Ｖ−Ａ１００５の内容全体は参照により本明細書に組み込まれる。
[0048]ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。本技法は、ビデオコーディング規格に基づかないビデオエンコーダ２０およびビデオデコーダ３０の例に適用可能であり得る。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３、ならびにＶＰ８などのオープンフォーマットがある。
[0049]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0050]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。
[0051]ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれてよく、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。たとえば、ビデオデコーダ３０はマイクロコントローラまたは集積回路（ＩＣ）の中に形成され得る。これらの例では、「デバイス」という用語はマイクロコントローラまたはＩＣを指し得る。別の例として、ビデオデコーダ３０はワイヤレス通信デバイス内に形成され得る（たとえば、マイクロコントローラまたはＩＣはワイヤレス通信デバイス内に形成され得る）。これらの例では、「デバイス」という用語はワイヤレス通信デバイスを指し得る。この意味で、デバイスという用語は、ビデオデコーダ３０を含む任意の構成要素として使用され得る。同様に、いくつかの例では、デバイスはビデオエンコーダ２０を含み得る。
[0052]したがって、本開示がビデオ復号について説明するとき、そのようなビデオ復号は、ビデオデコーダ３０を含むマイクロコントローラ、ビデオデコーダ３０を含むＩＣ、およびビデオデコーダ３０を含むワイヤレス通信デバイス（たとえば、宛先デバイス１４）のうちの１つを含むデバイスによって実行され得る。本開示がビデオ符号化について説明したとき、そのようなビデオ符号化は、ビデオエンコーダ２０を含むマイクロコントローラ、ビデオエンコーダ２０を含むＩＣ、ビデオエンコーダ２０を含むワイヤレス通信デバイス（たとえば、ソースデバイス１２）のうちの１つを含むデバイスによって実行され得る。
[0053]ビデオコーディングの理解を助けるために、以下では、ＨＥＶＣ規格の一部としてのビデオコーディングの説明を行う。ＨＥＶＣ規格化の取組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。
[0054]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様のいくつかの目的を果たし得るが、ツリーブロックには、マクロブロックと比較して多くの差異がある。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード（すなわち、コーディングされたビデオブロック）を備える。コーディングされたビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
[0055]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
[0056]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは通常、ＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換係数を生成するように変換されてよく、その変換係数は量子化され得る。
[0057]一般に、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化（すなわち、イントラ予測符号化）されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化（すなわち、インター予測符号化）されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトル用の参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０もしくはＲｅｆＰｉｃＬｉｓｔ１）を記述することができる。
[0058]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）を含む場合もある。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示は、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示は、ツリーブロック（すなわち、コーディングノードならびにＰＵおよびＴＵを含むＬＣＵまたはＣＵ）を指すために「ビデオブロック」という用語をも使用し得る。
[0059]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応することができる。ビデオブロックは、固定サイズまたは可変サイズを有し得、かつ指定のコーディング規格に応じてサイズが異なり得る。
[0060]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。
[0061]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。さらに、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックはＮ×Ｍピクセルを備えてよく、この場合に、Ｍは必ずしもＮに等しいとは限らない。
[0062]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディング（すなわち、イントラ予測符号化またはインター予測符号化）の後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備え得、ＴＵは、変換（たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換）の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵ用の変換係数を生成することができる。
[0063]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられてよく、ただし、ｎはｍよりも大きい。
[0064]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。いくつかの例では、ビデオエンコーダ２０は、適応型走査を実行することができ、または複数の可能な走査から走査を選択することができる。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、（たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って）１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化されたビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0065]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０ではないかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルの可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率判断は、シンボルに割り当てられるコンテキストに基づき得る。
[0066]本開示は、マルチビュービットストリーム、３次元（３Ｄ）ビットストリーム、スケーラブルメディアビットストリーム、および複数のビューなどの複数のレイヤを有する他のタイプのビットストリームのためのサブビットストリーム抽出のための様々な方法について説明する。本開示の技法はまた、マルチビュービットストリーム、３次元（３Ｄ）ビットストリーム、および複数のレイヤまたはビューを有する他のタイプのビットストリームに適用可能であり得る。
[0067]本開示では、マルチビュービデオコーディングという用語は一般に、複数の異なるビューがコーディングされる技法を指すために使用される。たとえば、ビットストリームにおいて複数の異なるビューがコーディングされる方法を定義するビデオコーディング規格の様々な例がある。上記のように、そのようなコーディング規格の例には、Ｈ．２６４／ＡＶＣビデオコーディング規格のマルチビュービデオコーディング（ＭＶＣ）拡張、ＭＶＣプラス深度ビューコンポーネント（ＭＶＣ＋Ｄ）、３Ｄ−ＡＶＣ、マルチビューＨＥＶＣ（ＭＶ−ＨＥＶＣ）、および３ＤーＨＥＶＣがある。本開示で説明するサブビットストリーム抽出技法は、これらのビデオコーディング規格のすべて、ならびにビデオコーディング規格に依拠しないビデオコーディング技法に適用可能であり得る。その上、本開示で説明するサブビットストリーム抽出技法はまた、スケーラブルビデオコーディング（ＳＶＣ）に適用可能であってもよく、ＳＶＣでは、ピクチャを符号化し復号するために選択的に使用され得る、ただ１つのビューであるが複数のエンハンスメントレイヤがある。しかしながらやはり、複数のビューがレイヤの１つのタイプと見なされてもよく、したがって、本開示の技法は一般に、ビューがレイヤの一例を表す任意のマルチレイヤコーディング技法に適用可能であり得る。
[0068]混乱を回避するために、本開示は、符号化および復号のために複数のビューに依拠する様々なビデオコーディング技法すべてを一般的に指すために「マルチビュービデオコーディング」という用語を使用する。必要に応じて、本開示は特定のビデオコーディング規格への具体的言及を行う。また、本技法はマルチビュービデオコーディングに関して説明されるが、本技法はそのように限定されない。本開示で説明する技法はまた、スケーラブルビデオコーディング技法に適用可能であり得る。
[0069]理解を助けるために、以下では、様々なマルチビュービデオコーディング規格の簡単な説明を行う。そのような開示は、本開示で説明するサブビットストリーム抽出技法に関するコンテキストを提供すること、ならびにマルチビュービデオコーディング技法の一般的な理解を助けることが意図されている。以下の開示は、Ｈ．２６４／ＡＶＣの拡張であるマルチビュービデオコーディング（ＭＶＣ）について説明する。本開示が頭文字ＭＶＣを使用するとき、本開示は具体的にＨ．２６４／ＡＶＣのＭＶＣ拡張を指している。「マルチビュービデオコーディング」と完全に書かれるとき、それは一般的に、マルチビュービデオのための様々なコーディング技法を指すために使用される。
[0070]図２は、本開示で説明する１つまたは複数の例による、例示的な符号化および復号の順序を示すグラフィック図である。たとえば、図２に示す復号順序構成は、時間優先コーディングと呼ばれる。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８はそれぞれ、１つの出力時間インスタンスを表す。図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はコーディングされたピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はコーディングされたピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。
[0071]図２に示す復号順序は出力順序または表示順序を表さないことがあることを理解されたい。たとえば、別のコーディングされたピクチャよりも遅く表示または出力されるべきコーディングされたピクチャが、他のピクチャよりも早く復号されることがある。ピクチャのピクチャ順序カウント（ＰＯＣ）値は、ピクチャの表示順序または出力順序を示す。たとえば、より低いＰＯＣ値をもつピクチャは、より高いＰＯＣ値をもつピクチャよりも早く出力または表示される。しかしながら、より高いＰＯＣ値をもつピクチャが、より低いＰＯＣ値をもつピクチャよりも遅く表示または出力されても、より高いＰＯＣ値をもつピクチャは、より低いＰＯＣ値をもつピクチャよりも早く復号されることがある。
[0072]アクセスユニットは、１つの出力時間インスタンスについてのすべてのビューのコーディングされたピクチャを含み得る。たとえば、第１のアクセスユニットは、時間インスタンスＴ０についてのビューＳ０〜Ｓ７（すなわち、コーディングされたピクチャ０〜７）のすべてを含み、第２のアクセスユニットは、時間インスタンスＴ１についてのビューＳ０〜Ｓ７（すなわち、コーディングされたピクチャ８〜１５）のすべてを含み、以下同様である。これらの例では、コーディングされたピクチャ０〜７は、同じ時間インスタンス（すなわち、時間インスタンスＴ０）におけるものであり、コーディングされたピクチャ８〜１５は、同じ時間インスタンス（すなわち、時間インスタンスＴ１）におけるものであり、以下同様である。
[0073]本開示で説明する技法では、サブビットストリーム抽出を実行するデバイスは、コーディングされたピクチャを抽出する選択された方法に基づいて、ビューまたはレイヤからのコーディングされたピクチャを抽出することができる。たとえば、サブビットストリーム抽出を実行するデバイスは、すべてのビューＳ０〜Ｓ７からのコーディングされたピクチャを出力するのではなく、ビューＳ０〜Ｓ３からのコーディングされたピクチャを抽出し、それらのコーディングされたピクチャのみを出力することができる。宛先デバイス１４がすべてのビューＳ０〜Ｓ７を表示するように構成されていないことがあり、表示されるべきビューを復号するために必要とされるビューのみを出力することで、ビットストリームで出力される必要のあるデータの量を低減することができるので、そのようなサブビットストリーム抽出は帯域幅の効率性を促進し得る。
[0074]本開示で使用する「コーディングされたピクチャ」という用語は、ビューコンポーネント、テクスチャビューコンポーネント、または深度ビューコンポーネントを指すために使用される。たとえば、各アクセスユニットは、１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）（すなわち、ＶＣＬ ＮＡＬ）ユニットを含むことができる。各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のＶＣＬ ＮＡＬユニットを含むことができる。このようにして、本技法は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出することができ、この場合、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のＶＣＬ ＮＡＬユニットを備える。
[0075]図３は、例示的な予測パターンを示す概念図である。図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）がビューごとに示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションを示す。図３の例では、大文字「Ｂ」および小文字「ｂ」は、異なるコーディング方法ではなく、ピクチャ間の異なる階層関係を示すために使用される。概して、大文字の「Ｂ」ピクチャは、小文字の「ｂ」フレームよりも予測階層が比較的高い。
[0076]図３に、マルチビュービデオコーディング用の典型的なＭＶＣ予測（各ビュー内のピクチャ間測とビュー間予測の両方を含む）構造が示され、ここでは矢印によって予測が示され、矢印の終点のオブジェクトは、予測参照のために矢印の始点のオブジェクトを使用する。図３は、ＭＶＣの時間的予測およびビュー間予測構造の一例であり得る。
[0077]ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にする視差動き補償によって、ビュー間予測がサポートされる。２つのビューのコーディングは、ＭＶＣによってもサポートされる可能性があり、ＭＶＣの利点の１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとらえることができ、ＭＶＣデコーダがそのようなマルチビュー表現を復号することができることである。したがって、ＭＶＣデコーダをもつ任意のレンダラは、３つ以上のビューをもつ３Ｄビデオコンテンツを予想し得る。
[0078]図３では、ビューＳ０はベースビューと見なされ得、ビューＳ１〜Ｓ７は従属ビューと見なされ得る。ベースビューは、ビュー間予測されないコーディングされたピクチャを含む。ベースビュー中のコーディングされたピクチャは、同じビュー中の他のコーディングされたピクチャに対してインター予測され得る。たとえば、ビューＳ０中のコーディングされたピクチャのいずれも、ビューＳ１〜Ｓ７のいずれの中のコーディングされたピクチャに対してもインター予測され得ないが、ビューＳ０中のコーディングされたピクチャのいくつかは、ビューＳ０中の他のコーディングされたピクチャに対してインター予測され得る。
[0079]従属ビューは、ビュー間予測されるコーディングされたピクチャを含む。たとえば、ビューＳ１〜Ｓ７の各々は、別のビュー中のコーディングされたピクチャに対してインター予測される少なくとも１つのコーディングされたピクチャを含む。従属ビュー中のコーディングされたピクチャは、ベースビュー中のコーディングされたピクチャに対してインター予測され得るか、または他の従属ビュー中のコーディングされたピクチャに対してインター予測され得る。
[0080]ベースビューと１つまたは複数の従属ビューの両方を含むビデオストリームは、異なるタイプのビデオデコーダによって復号可能であり得る。たとえば、１つの基本タイプのビデオデコーダは、ベースビューのみを復号するように構成され得る。さらに、別のタイプのビデオデコーダは、ビューＳ０〜Ｓ７の各々を復号するように構成され得る。ベースビューと従属ビューの両方を復号するように構成されたデコーダは、マルチビューコーディングをサポートするデコーダと呼ばれることがある。
[0081]図３中のピクチャは、図３中の各行および各列の交点で示される。マルチビューコーディング拡張をもつＨ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得るが、ＨＥＶＣ規格は、ビデオの一部分を表すためにピクチャという用語を使用し得る。本開示は、ピクチャという用語とフレームという用語とを互換的に使用する。
[0082]図３のコーディングされたピクチャは、対応するピクチャがイントラコーティングされる（すなわち、Ｉピクチャである）か、一方向に（すなわち、Ｐピクチャとして）インターコーティングされるか、または複数の方向に（すなわち、Ｂピクチャとして）インターコーティングされるかを指定する、文字を含む陰影付きブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
[0083]シングルビュービデオコーディングの場合と同様に、マルチビュービデオコーディングビデオシーケンスのコーディングされたピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のＢピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのＢピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、コーディングされたピクチャは、参照用に他のビュー中のコーディングされたピクチャを使用することができる。マルチビューコーディングでは、たとえば、別のビュー中のコーディングされたピクチャがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
[0084]図３は、ビュー間予測の様々な例を提供する。図３の例では、ビューＳ１のコーディングされたピクチャは、ビューＳ１の異なる時間ロケーションにあるコーディングされたピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のコーディングされたピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のＢピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のＢピクチャから予測される。
[0085]インター予測（すなわち、ビュー間予測または同じビュー内の予測）の場合、ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは２つの参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１）を構成することができる。ビュー間予測では、ビデオエンコーダ２０およびビデオデコーダ３０は、インター予測されているコーディングされたピクチャとは異なるビューからのコーディングされたピクチャを、そのピクチャが現在のピクチャと同じ時間インスタンスにある限り、参照ピクチャリストの一方または両方に含めることができる。ビデオエンコーダ２０およびビデオデコーダ３０は、ビデオエンコーダ２０およびビデオデコーダ３０が参照ピクチャリスト中に同じビューからの参照ピクチャを含める方法と同様に、参照ピクチャリスト内の任意の位置にビュー間予測参照ピクチャ（たとえば、異なるビューからのコーディングされたピクチャ）を含めることができる。
[0086]図３はまた、異なるレベルの陰影を使用して予測階層の変形形態を示し、ここで、より大きい量の陰影の（すなわち、比較的より暗い）フレームは、より少ない陰影を有する（すなわち、比較的より明るい）フレームよりも予測階層が高い。たとえば、図３のすべてのＩピクチャは完全な陰影を用いて示されているが、Ｐピクチャはよりいくぶん明るい陰影を有し、Ｂピクチャ（および小文字のｂピクチャ）は、互いに対して様々なレベルの陰影を有するが、ＰピクチャおよびＩピクチャの陰影よりも常に明るい。
[0087]概して、予測階層が比較的高いコーディングされたピクチャは、階層が比較的より低いコーディングされたピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係し得る。階層が比較的より高いそれらのコーディングされたピクチャは、階層が比較的低いコーディングされたピクチャの復号中に参照ピクチャとして使用され得る。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。Ｈ．２６４／ＡＶＣ（ＭＶＣ追補）の付属書類Ｈにおいて規定されているように、ビュー順序インデックスは、シーケンスパラメータセット（ＳＰＳ）のＭＶＣ拡張において暗示されている。ＳＰＳでは、インデックスｉごとに、対応するｖｉｅｗ＿ｉｄがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従い得る。すべてのビューが提示された場合、ビュー順序インデックスは、０からｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１までの連続する順序になっている。
[0088]このようにして、参照ピクチャとして使用されるコーディングされたピクチャは、その参照ピクチャに従属するコーディングされたピクチャの前に復号される。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。ビュー順序インデックスｉごとに、対応するｖｉｅｗ＿ｉｄがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数までの連続的な順序付きセットを備え得る。
[0089]階層の等しいレベルにあるいくつかのコーディングされたピクチャの場合、復号順序は、互いに重要でないことがある。たとえば、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャのための参照ピクチャとして使用され得、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャのための参照ピクチャとして使用され得る。したがって、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャの前に復号されるべきであり、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャの前に復号されるべきである。しかしながら、ビューＳ１およびＳ３は予測のために互いに従属しないので、ビューＳ１とビューＳ３との間で、復号順序は重要でない。代わりに、ビューＳ１およびＳ３は、予測階層がより高い他のビューのみから予測される。その上、ビューＳ１がビューＳ０およびＳ２の後に復号される限り、ビューＳ１はビューＳ４の前に復号され得る。
[0090]このようにして、ビューＳ０〜Ｓ７を記述するために階層順序が使用され得る。本開示では、表記「ＳＡ＞ＳＢ」は、ビューＳＡがビューＳＢの前に復号されるべきであることを意味する。この表記を使用すると、図３の例では、Ｓ０＞Ｓ２＞Ｓ４＞Ｓ６＞Ｓ７である。また、図３の例に関して、Ｓ０＞Ｓ１、Ｓ２＞Ｓ１、Ｓ２＞Ｓ３、Ｓ４＞Ｓ３、Ｓ４＞Ｓ５、およびＳ６＞Ｓ５である。この階層順序付けに違反しないビューのための任意の復号順序が可能である。したがって、この階層順序付けに基づく限定をもつ、多くの異なる復号順序が可能である。
[0091]上記のように、現在のコーディングされたピクチャをビュー間予測するために使用され得る他のビューにおける参照は、ビュー間参照またはビュー間参照ピクチャと呼ばれ、ＳＰＳのＭＶＣ拡張は、参照ピクチャリスト構成によって変更され得る。以下の表１は、シンタックステーブルであり、ＳＰＳのＭＶＣ拡張のシンタックスを示している。
[0092]ＳＰＳのＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）と参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）とを形成するために使用され得るビューの数がシグナリングされる。ＳＰＳのＭＶＣ拡張でシグナリングされたアンカーピクチャに対する予測関係は、同じビューの（ＳＰＳのＭＶＣ拡張でシグナリングされた）非アンカーピクチャに対する予測関係とは異なる場合がある。
[0093]マルチビューコーディングを含むビデオコーディングでは、ビデオエンコーダ２０はネットワークアブストラクションレイヤ（ＮＡＬ）ユニットにビデオデータをカプセル化することができ、ビデオデコーダ３０は、ビデオデータを復号するためにＮＡＬユニットを復号することができる。たとえば、ビデオエンコーダ２０は、１つまたは複数のＶＣＬ ＮＡＬユニットにコーディングされたピクチャをカプセル化することができ、ビデオデコーダ３０は、コーディングされたピクチャを復号するために１つまたは複数のＶＣＬ ＮＡＬユニットを復号する。ＮＡＬユニットタイプがプレフィックスＮＡＬユニットまたはＭＶＣビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットである場合、ＭＶＣ ＮＡＬユニットは、（ＮＡＬユニットタイプとｎａｌ＿ｒｅｆ＿ｉｄｃシンタックス要素とを含む）１バイトＮＡＬユニットヘッダと３バイトＭＶＣ ＮＡＬユニットヘッダ拡張とを含んでいる。いくつかの例では、ＭＶＣにおけるプレフィックスＮＡＬユニットは、ＮＡＬユニットヘッダと、それのＭＶＣ ＮＡＬユニットヘッダ拡張とのみを含み得る。ＮＡＬユニットヘッダ拡張は、以下のシンタックス要素、すなわち、ｎｏｒ＿ｉｄｒ＿ｆｌａｇと、ｐｒｉｏｒｉｔｙ＿ｉｄと、ｖｉｅｗ＿ｉｄと、ｔｅｍｐｏｒａｌ＿ｉｄと、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇと、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇとを含み得る。
[0094]ｎｏｎ＿ｉｄｒ＿ｆｌａｇシンタックス要素は、ＮＡＬユニットが、閉ピクチャグループ（ＧＯＰ）ランダムアクセスポイントとして使用され得る瞬時復号リフレッシュ（ＩＤＲ）アクセスユニットに属するかどうかを示し得る。ｐｒｉｏｒｉｔｙ＿ｉｄシンタックス要素は、単純な１次元適応に使用され得る。ｖｉｅｗ＿ｉｄシンタックス要素は、現在のビューのビュー識別子を示し得る。ｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素は、現在のＮＡＬユニットの時間識別値または時間レベルを示し得る。ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇシンタックス要素は、ＮＡＬユニットが、開ＧＯＰランダムアクセスポイントとして使用されるアンカーピクチャに属するかどうかを示し得る。ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇシンタックス要素は、ビューコンポーネントが他のビュー中のＮＡＬユニット用のビュー間予測に使用されるかどうかを示し得る。
[0095]上記では、ＭＶＣ拡張について説明した。以下では、いくつかの追加のビデオコーディング規格について説明する。
[0096]たとえば、別のビデオコーディング規格は、ＭＶＣ＋Ｄであってもよく、ここで「Ｄ」は深度を指す。ＭＶＣでは、各ビューは複数のビューコンポーネント（各々はコーディングされたピクチャの一例である）を含む。ＭＶＣ＋Ｄは、深度コンポーネントを含む。たとえば、ＭＶＣ＋Ｄでは、各ビューはテクスチャビューと深度ビューとを含むものと見なされ得る。テクスチャビューはテクスチャビューコンポーネントを含み、深度ビューは深度ビューコンポーネントを含む。言い換えれば、ビューはビューコンポーネントを含み、ビューコンポーネントはテクスチャビューコンポーネント（コーディングされたピクチャの一例）と深度ビューコンポーネント（コーディングされたピクチャの別の例）とを含む。このようにして、ビューごとにテクスチャビューおよび深度ビューがあり、ビューのビューコンポーネントごとにテクスチャビューコンポーネントおよび深度ビューコンポーネントがある。言い換えれば、ビューのテクスチャビューコンポーネントはビューのテクスチャビューを形成し、ビューの深度ビューコンポーネントはビューの深度ビューを形成する。
[0097]あらゆるテクスチャビューコンポーネントには、対応する深度ビューコンポーネントがあってもよく、この意味で、テクスチャビューコンポーネントは深度ビューコンポーネントに対応することができ、その逆も同様である。対応するテクスチャビューコンポーネントおよび深度ビューコンポーネントは、単一のアクセスユニットの同じビューコンポーネントの一部であると見なされ得る。
[0098]ＭＶＣ＋Ｄのテクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。たとえば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビューコンポーネントは、それの対応するテクスチャビューコンポーネント中のピクセルの相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像と同様であり得る。言い換えれば、深度ビューコンポーネントは、いかなる画像コンテンツも伝達することができないが、テクスチャビューコンポーネント中のピクセルの相対深度の測定値を提供することができる。
[0099]たとえば、深度ビューコンポーネント中の純白のピクセルに対応するピクセル値は、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより近いことを示し得、深度ビューコンポーネント中の純黒のピクセルに対応するピクセル値は、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより遠いことを示し得る。黒と白との中間にあるグレーの様々な色合いに対応するピクセル値は、異なる深度レベルを示す。たとえば、深度ビューコンポーネント中の濃いグレーのピクセルは、テクスチャビューコンポーネント中のそれの対応するピクセルが、深度ビューコンポーネント中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためには、グレースケールと同様にただ１つのピクセル値が必要とされるので、深度ビューコンポーネントはただ１つのピクセル値を含み得る。したがって、クロマ成分に類似する値は必要とされない。
[0100]深度を識別するためにルーマ値（たとえば、強度値）のみを使用する深度ビューコンポーネントが説明のために提供され、限定するものと見なされるべきではない。いくつかの例では、テクスチャビューコンポーネント中のピクセルの相対深度を示すために任意の技法が利用され得る。
[0101]ＭＶＣ＋Ｄでは、テクスチャビューコンポーネントおよび対応する深度ビューコンポーネントは、ＭＶＣ＋Ｄにおいて互いに対する従属性を有しない。いくつかの例では、所与の３Ｄビデオ動作点では、ターゲット出力ビューは、コーディング（たとえば、符号化または復号）のために異なる数のテクスチャビューおよび深度ビューに従属し得る。動作点およびターゲット出力ビューについて、以下でより詳細に説明する。
[0102]別のビデオコーディング規格は、３Ｄ−ＡＶＣ規格である。３Ｄ−ＡＶＣコーデックは、Ｈ．２６４／ＡＶＣにのみ適合し、ＭＶＣには適合しないことがある。この規格のために新しいコーディングツールが必要とされる。また、同じビューのテクスチャと深度との間には従属関係がある（すなわち、テクスチャビューコンポーネントおよびそれの対応する深度ビューコンポーネントは、同じビューに対してビュー間予測される必要があり得る）。
[0103]高効率ビデオコーディング（ＨＥＶＣ）規格では、ＮＡＬユニットヘッダは、ＮＡＬユニットタイプと、（Ｈ．２６４／ＡＶＣにおけるｔｅｍｐｏｒａｌ＿ｉｄと同様の）ＴｅｍｐｏｒａｌＩＤと、ｌａｙｅｒ＿ｉｄ（これは常に、ＨＥＶＣベースビュー／レイヤ用に０になるように予約されている）とを駆動する（drive）ために、２バイトを含む。ＭＶ−ＨＥＶＣは、新しいコーディングツールのないＨＥＶＣのマルチビュー拡張である。各アクセスユニットにおけるビューの復号順序を定義するＭＶＣにおけるビュー順序インデックスと同様のビュー順序インデックスにｌａｙｅｒ＿ｉｄが相当する形で、ＮＡＬユニットヘッダにおけるｌａｙｅｒ＿ｉｄによって各ビューが識別される。３Ｄ−ＨＥＶＣは、テクスチャのみのビデオとテクスチャプラス深度のビデオの両方のコーディングをサポートする。３Ｄ−ＨＥＶＣでは、テクスチャと深度の両方に新しいコーディングツールが使用される。ｌａｙｅｒ＿ｉｄシンタックス要素は、テクスチャビューまたは深度ビューを識別するために、ＮＡＬユニットヘッダにおいて使用され得る。
[0104]上記では、動作点およびターゲット出力ビューの概念について説明した。動作点およびターゲット出力ビューは、マルチビューコーディング規格に適用可能であり得る。
[0105]動作点は、マルチビューコーディングにおけるビューのサブセットまたはスケーラブルビデオコーディングにおけるレイヤのサブセットを定義する。たとえば、ビットストリームの動作点は、レイヤ識別子またはビュー識別子（ｖｉｅｗ＿ｉｄ）のセットおよび時間識別子（適用可能な場合、ｔｅｍｐｏｒａｌ＿ｉｄまたはｔｅｍｐｏｒａｌＩＤ）に関連付けられる。ＮＡＬユニットのレイヤ識別子またはビュー識別子が動作点のレイヤ識別子またはビュー識別子のセットにあり、ＮＡＬユニットの時間識別子が動作点の時間識別子以下である場合、ＮＡＬユニットは動作点に関連付けられる。
[0106]動作点表現は、動作点に関連付けられるビットストリームサブセット（すなわち、サブビットストリーム）である。動作点の動作点表現は、動作点に関連付けられる各ＮＡＬユニットを含み得る。動作点表現は、動作点に関連付けられないＶＣＬ ＮＡＬユニットを含まないことがある。
[0107]外部ソースは、動作点に関するレイヤ識別子またはビュー識別子のセットを指定することができる。たとえば、コンテンツ配信ネットワーク（ＣＤＮ）デバイスは、レイヤ識別子のセットを指定することができる。この例では、ＣＤＮデバイスは、レイヤ識別子のセットを使用して、動作点を識別することができる。次いでＣＤＮデバイスは、動作点に関する動作点表現を抽出し、元のビットストリームの代わりに動作点表現をクライアントデバイスに転送することができる。動作点表現を抽出し、クライアントデバイスに転送することで、ビットストリームのビットレートを低減することができる。いくつかの例では、ＣＤＮデバイスの代替または追加として、ルータなどのさらに下流のデバイスが、サブビットストリーム抽出を実行することができる。
[0108]たとえば、ターゲット出力ビューは、宛先デバイス１４によって受信されるべきビューを定義することができる。いくつかの例では、ＣＤＮまたはネットワークエンティティなどの何らかの中間デバイスは、ターゲット出力ビューを抽出することができる。たとえば、映画館の場合、映画館のスクリーンの相対サイズおよび視聴者の位置のために、できるだけ多くのビューを表示するのが有益であり得る。モバイルデバイスの場合、スクリーンサイズは、表示され得るビューの数を制限することができ、さらに、閲覧者の閲覧距離が一般にモバイルデバイスに近くなることから、モバイルデバイスは、少数のビューを受信する必要があるにすぎないことがある。
[0109]図４は、ネットワーク１００の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１００は、ルーティングデバイス１０４Ａ、１０４Ｂ（ルーティングデバイス１０４）とトランスコーディングデバイス１０６とを含む。ルーティングデバイス１０４およびトランスコーディングデバイス１０６は、ネットワーク１００の一部を形成し得る少数のデバイスを表すものである。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク１００内に含まれ得る。その上、サーバデバイス１０２とクライアントデバイス１０８との間にネットワーク経路に沿って追加のネットワークデバイスが提供され得る。いくつかの例では、サーバデバイス１０２はソースデバイス１２（図１）に対応し得る一方、クライアントデバイス１０８は宛先デバイス１４（図１）に対応し得る。
[0110]概して、ルーティングデバイス１０４は、ネットワーク１００を介してネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス１０４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス１０４はプロキシデバイスと呼ばれ得る。概して、ルーティングデバイス１０４は、ネットワーク１００を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１０４Ｂは、それ自体からルーティングデバイス１０４Ａを介してサーバデバイス１０２へ至るネットワークルートを発見することができる。
[0111]ルーティングデバイス１０４および場合によってはトランスコーディングデバイス１０６は、本開示で説明する技法を実施することができるデバイスの例である。たとえば、サーバデバイス１０２からクライアントデバイス１０８にビデオデータをルーティングすることの一部として、ルーティングデバイス１０４はビットストリームを受信することができ、ビットストリームから、ルーティングデバイス１０４は、クライアントデバイス１０８に送信されるサブビットストリームを抽出することができる。より詳細に説明するように、ルーティングデバイス１０４は、本開示で説明する技法を利用してサブビットストリームを抽出することができる。いくつかの例では、トランスコーディングデバイス１０６は、本開示で説明するサブビットストリーム抽出技法を実行するメディアアウェアネットワークエンティティ（ＭＡＮＥ）であり得る。
[0112]たとえば、トランスコーディングデバイス１０６は、１つまたは複数のプロセッサ１１０を含むことができ、プロセッサ１１０は、本開示で説明する技法を実施するように構成され得る。プロセッサ１１０の例には、デジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路がある。いくつかの例では、コンピュータ可読記憶媒体は、実行されたときに、トランスコーディングデバイス１０６の１つまたは複数のプロセッサ１１０に、本開示で説明する技法を実施させる命令を記憶し得る。
[0113]ルーティングデバイス１０４が単独で、またはトランスコーディングデバイス１０６との組合せで、本開示で説明する技法を実行する例では、ルーティングデバイス１０４は、単独で、または１つもしくは複数のプロセッサ１１０との組合せで、本開示で説明する技法を実施する１つまたは複数のプロセッサを含み得る。その上、本開示では、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイス（たとえば、ＭＡＮＥデバイス）が、本開示で説明する技法を実施するものとして説明されるとき、そのような開示は、１つまたは複数のプロセッサ１１０などの１つまたは複数のプロセッサが、本開示で説明する技法を実施することを意味すると解釈されるべきである。
[0114]上記のように、本開示の技法は一般に、デバイス（たとえば、ルーティングデバイス１０４および／またはトランスコーディングデバイス１０６）がターゲット出力ビューに基づいて１つまたは複数のビューを抽出することができるサブビットストリーム抽出に関する。Ｈ．２６４／ＡＶＣ規格（すなわち、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１１年６月）では、付属書類Ｈはマルチビュービデオコーディング（ＭＶＣ）を対象とする。言い換えれば、付属書類Ｈは、Ｈ．２６４／ＡＶＣのＭＶＣ拡張を含む。Ｈ．２６４／ＡＶＣの付属書類ＨのセクションＨ．８は、ＭＶＣ復号プロセスを定義している。付属書類ＨのサブクローズＨ．８．５は、「Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｏｆ ｂｉｔｓｔｒｅａｍ ｓｕｂｓｅｔｓ」を対象とする。サブクローズＨ．８．５．１およびＨ８．５．２はそれぞれ、サブビットストリーム抽出プロセスで使用される必要なアンカービューコンポーネントと非アンカービューコンポーネントとを導出するための処理を指定している。サブクローズＨ．８．５．３は、サブビットストリーム抽出プロセスを指定している。サブクローズＨ．８．５．４は、ベースビュービットストリームサブセットを指定している。サブクローズＨ．８．５．５は、ビットストリーム抽出プロセスへの入力ビットストリームにおける元のベースビューが出力ビットストリームサブセットに含まれない場合のベースビューの作成に関する有益な例を与えている。
[0115]ＭＶＣ＋Ｄ仕様は、Ｈ．２６４／ＡＶＣのＭＶＣ拡張で定義されたビットストリーム抽出プロセスを活用する。しかしながら、Ｈ．２６４／ＡＶＣのＭＶＣ拡張は、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含んでおらず、代わりに、ビューコンポーネントという用語を使用した。ＭＶＣ＋Ｄ規格は深度ビューコンポーネントを許容するので、ＭＶＣ＋Ｄ仕様は、Ｈ．２６４／ＡＶＣのＭＶＣ拡張のＨ．８．５のサブクローズの一部を変更した。
[0116]また、現在のＭＶＣ＋Ｄ仕様では、１つのビューのテクスチャまたは深度がターゲット出力ビューのテクスチャまたは深度によって従属されると、テクスチャビューと深度ビューの両方が出力サブビットストリームに含まれる。たとえば、ビュー１が出力ビューであると仮定する。また、ビュー１におけるテクスチャコンポーネントがビュー０のテクスチャコンポーネントに従属し、ビュー１における深度コンポーネントがビュー２の深度コンポーネントに従属すると仮定する。この例では、現在のＭＶＣ＋Ｄ仕様では、ビュー０の深度コンポーネントが必要とされなくても、ビュー０のテクスチャコンポーネントが含まれるので、ビュー０の深度コンポーネントは出力サブビットストリームに含まれる。また、この例では、現在のＭＶＣ＋Ｄ仕様では、ビュー２のテクスチャコンポーネントが必要とされなくても、ビュー１の深度コンポーネントが含まれるので、ビュー２のテクスチャコンポーネントは出力サブビットストリームに含まれる。
[0117]ＭＶＣ＋Ｄ仕様、付属書類ＡのサブクローズＡ．１．１は、ビットストリームサブセットの仕様を対象とする。Ｈ．２６４／ＡＶＣのＭＶＣ拡張のサブクローズＨ．８．５の仕様は、ＭＶＣ＋ＤのサブクローズＡ．１．１に適用される。ＭＶＣ＋ＤのサブクローズＡ１．１．１は、必要なアンカービューコンポーネントのための導出プロセスを対象としており、Ｈ．２６４／ＡＶＣのＭＶＣ拡張のサブクローズＨ．８．５．１と同様であり、Ｈ．８．５．１における「ビューコンポーネント」は、「深度ビューコンポーネント」または「テクスチャビューコンポーネント」のいずれかに置き換えられ、Ｈ．８．５．１における「ビュー」は、「深度ビュー」または「テクスチャビュー」のいずれかに置き換えられる。ＭＶＣ＋ＤのサブクローズＡ１．１．２は、必要な非アンカービューコンポーネントのための導出プロセスを対象としており、Ｈ．２６４／ＡＶＣのＭＶＣ拡張のＨ．８．５．２と同様であり、「ビューコンポーネント」は、「深度ビューコンポーネント」または「テクスチャビューコンポーネント」のいずれかに置き換えられ、「ビュー」は、「深度ビュー」または「テクスチャビュー」のいずれかに置き換えられる。
[0118]ＭＶＣ＋ＤのサブクローズＡ１．１．３は、サブビットストリーム抽出プロセスを対象とする。ＭＶＣ＋Ｄでは、ｐＩｄＴａｒｇｅｔ（ｐｒｉｏｒｉｔｙ＿ｉｄターゲット値）が０〜６３（両端値を含む）の範囲内の任意の値に等しく、ｔＩｄＴａｒｇｅｔ（ｔｅｍｐｏｒａｌ＿ｉｄまたはｔｅｍｐｏｒａｌＩＤターゲット値）が０〜７（両端値を含む）の範囲内の任意の値に等しく、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔがビットストリーム中のビューを識別するｖｉｅｗＩｄＴａｒｇｅｔの任意の１つまたは複数の値から成る、このサブクローズにおいて指定されるプロセスの出力である任意のサブビットストリームがＭＶＣ＋Ｄ規格に適合し得ることが、ビットストリーム適合の必要条件であり得る。
[0119]ｖｉｅｗＩｄＴａｒｇｅｔは、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイス（たとえば、ネットワークエンティティ）が宛先デバイス１４のためのターゲット出力ビューと判断したターゲット出力ビューであり得る。また、適合ビットストリームは、ｐｒｉｏｒｉｔｙ＿ｉｄが０に等しく、ｔｅｍｐｏｒａｌ＿ｉｄが０に等しい１つまたは複数のコーディングされたスライスＮＡＬユニットを含む。その上、サブビットストリーム抽出プロセスから得られたサブビットストリームのすべての動作点が、適用可能なｌｅｖｅｌ＿ｉｄｃまたはｌｅｖｅｌ＿ｉｄｃ［ｉ］を有するとは限らないことがあり得る。この場合、サブビットストリーム中の各コーディングされたビデオシーケンスは、依然として、ＭＶＣ＋Ｄの付属書類Ａ、付属書類Ｈおよび付属書類Ｉにおいて指定されるプロファイルのうちの１つまたは複数に適合する必要があり得るが、ＭＶＣ＋ＤのサブクローズＡ．３、Ｈ．１０．２およびＩ．１０．２においてそれぞれ指定されるレベル制約を満たさないことがある。
[0120]サブビットストリーム抽出プロセスへの入力は、変数ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔ（存在するとき）、変数ｐＩｄＴａｒｇｅｔ（存在するとき）、変数ｔＩｄＴａｒｇｅｔ（存在するとき）、およびｖｉｅｗＩｄＴａｒｇｅｔの１つまたは複数の値から成るリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ（存在するとき）であり得る。サブビットストリーム抽出プロセスの出力は、サブビットストリームおよびビュー順序のリスト（ＶＯｉｄｘＬｉｓｔ）のための１つまたは複数のＶＯＩｄｘ（ビュー順序インデックス）であり得る。
[0121]入力としてｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔが存在しないとき、ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔは０に等しいものと推測され得る。入力としてｐＩｄＴａｒｇｅｔが存在しないとき、ｐＩｄＴａｒｇｅｔは６３に等しいものと推測され得る。入力としてｔＩｄＴａｒｇｅｔが存在しないとき、ｔＩｄＴａｒｇｅｔは７に等しいものと推測され得る。
[0122]現在のＭＶＣ＋Ｄ仕様では、デバイス（たとえば、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるネットワークエンティティ）は、以下の動作を順番に適用することによってビデオエンコーダ２０によって構成されたビットストリームからサブビットストリームを導出することができる。たとえば、デバイスは、ＶＯＩｄｘＬｉｓｔを空にし、ｍｉｎＶＯＩｄｘをベースビューのＶＯＩｄｘ値にすることができる。ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中に含まれるｖｉｅｗＩｄＴａｒｇｅｔの各値に対して、デバイスは、入力としてｖｉｅｗＩｄＴａｒｇｅｔを有するテクスチャビューに対するサブクローズＨ．８．５．１において指定されるプロセスを起動することができる。ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔが１に等しい場合、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中に含まれるｖｉｅｗＩｄＴａｒｇｅｔの各値に対して、デバイスは、入力としてｖｉｅｗＩｄＴａｒｇｅｔを有する深度ビューに対するサブクローズＨ．８．５．１において指定されるプロセスを起動することができる。
[0123]ｖｉｅｗＩｄＴａｒｇｅｔ ｌｉｓｔ中に含まれるｖｉｅｗＩｄＴａｒｇｅｔの各値に対して、デバイスは、入力としてｖｉｅｗＩｄＴａｒｇｅｔの値を有するテクスチャビューに対するサブクローズＨ．８．５．２において指定されるプロセスを起動することができる。ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔが１に等しい場合、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中に含まれるｖｉｅｗＩｄＴａｒｇｅｔの各値に対して、デバイスは、入力としてｖｉｅｗＩｄＴａｒｇｅｔを有する深度ビューに対するサブクローズＨ．８．５．２において指定されるプロセスを起動することができる。
[0124]次いでデバイスは、以下の条件のいずれかが当てはまるすべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを「ビットストリームから除去されるべき」とマークすることができる：ｐｒｉｏｒｉｔｙ＿ｉｄはｐＩｄＴａｒｇｅｔよりも大きい、ｔｅｍｐｏｒａｌ＿ｉｄはｔＩｄＴａｒｇｅｔよりも大きい、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｖｉｅｗ＿ｉｄは「アンカーに必要」とマークされない、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄは「アンカーに必要」とマークされない、ｎａｌ＿ｒｅｆ＿ｉｄｃは０に等しく、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄはリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中のいずれの値にも等しくない、またはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１に等しく、ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔは０に等しい。次いでデバイスは、すべてのＶＣＬ ＮＡＬユニットが「ビットストリームから除去されるべき」とマークされたすべてのアクセスユニットを除去することができ、「ビットストリームから除去されるべき」とマークされたすべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを除去することができる。
[0125]ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの唯一の値を含むとき、デバイスは以下のＮＡＬユニットを除去することができる：（１）ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１４または１５に等しいすべてのＮＡＬユニット、および（２）ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが６に等しく、第１の補足エンハンスメント情報（ＳＥＩ）メッセージが３６〜４４（両端値を含む）の範囲内のｐａｙｌｏａｄＴｙｐｅを有するすべてのＮＡＬユニット。ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの唯一の値を含む場合、サブビットストリームは、ベースビューだけまたはベースビューの時間サブセット（temporal subset）だけを含み得る。ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔが０に等しいとき、デバイスは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが６に等しく、第１のＳＥＩメッセージが４５〜４７（両端値を含む）の範囲内のｐａｙｌｏａｄＴｙｐｅを有するすべてのＮＡＬユニットを除去することができる。
[0126]サブビットストリーム抽出プロセスでは、ｍａｘＴＩｄを、すべての残存ＶＣＬ ＮＡＬユニットの最大ｔｅｍｐｏｒａｌ＿ｉｄにする。デバイスは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが６に等しく、以下の特性のいずれかを有するＭＶＣスケーラブルネスティングＳＥＩメッセージの一部であるＳＥＩメッセージだけを含むすべてのＮＡＬユニットを除去し得る：（１）ｏｐｅｒａｔｉｏｎ＿ｐｏｉｎｔ＿ｆｌａｇが０に等しく、ａｌｌ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｉｎ＿ａｕ＿ｆｌａｇが０に等しく、０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｍｉｎｕｓ１（両端値を含む）の範囲内のすべてのｉに対してｓｅｉ＿ｖｉｅｗ＿ｉｄ［ｉ］のいずれも、ＶＯＩｄｘＬｉｓｔ中に含まれるＶＯＩｄｘ値に対応しない、または（２）ｏｐｅｒａｔｉｏｎ＿ｐｏｉｎｔ＿ｆｌａｇが１に等しく、ｓｅｉ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄがｍａｘＴｉｄより大きいか、または０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｏｐ＿ｍｉｎｕｓ１（両端値を含む）の範囲内のすべてのｉに対してｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］のリストがｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔのサブセットでない（すなわち、０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｏｐ＿ｍｉｎｕｓ１（両端値を含む）の範囲内の任意のｉに対してｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］がｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中の値に等しいことは真でない）のいずれかである。デバイスはまた、各ビュースケーラビリティ情報ＳＥＩメッセージと各動作点不在ＳＥＩメッセージとを、存在するときに除去することができる。
[0127]ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの値を含まないとき、ＶＯＩｄｘＬｉｓｔに含まれる最小のＶＯＩｄｘ値にＶＯＩｄｘが等しいビューが、抽出されたサブビットストリームのベースビューに変換される。ベースビューを生成するための主要な処理ステップを概説する告知的手順が、ＭＶＣ＋Ｄ仕様におけるサブクローズＩ．８．５．６において説明される。ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しい値ＶＯＩｄｘを含まないとき、上記の動作に従って得られるサブビットストリームは、ＭＶＣ＋Ｄ仕様の付属書類Ａにおいて指定される１つまたは複数のプロファイルに適合するベースビューを含まないことがある。この場合、最後の動作ステップによって、新しい最小のＶＯＩｄｘ値を有する残存ビューは、付属書類Ａおよび付属書類Ｈにおいて指定される１つまたは複数のプロファイルに適合する新しいベースビューに変換される。
[0128]このようにして、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイス（たとえば、ルーティングデバイス１０４および／またはトランスコーディングデバイス１０６）であるネットワークエンティティは、現在のＭＶＣ＋Ｄ規格に従って、またＨ８．５に関してＭＶＣ規格に従って、ビデオエンコーダ２０によって生成されたビットストリームからサブビットストリームを抽出することができる。ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスは、スケーラブルビデオのための、また他のマルチビューコーディング規格（たとえば、３Ｄ−ＡＶＣ、ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣ）のためのサブビットストリーム抽出のための同様の技法を実施することができる。
[0129]しかしながら、いくつかの例としてＳＶＣ、ＭＶＣおよびＭＶＣ＋Ｄのための既存のサブビットストリーム抽出プロセスにはいくつかの問題があり得る。一例として、サブビットストリーム抽出プロセスによっては、抽出動作を適応的に選択するサブビットストリーム抽出プロセスのための機構がないことがある。場合によっては、サブビットストリーム抽出プロセスは、適切な抽出技法を選択するための適応型機構がなく、第１の抽出技法または第２の抽出技法のいずれかに限定され得る。
[0130]サブビットストリーム抽出を理解するために、本開示は「ターゲット出力ビュー」および「ターゲットビュー」または「ビューのサブセット」という用語を使用する。ターゲットビューは、ビューのサブセットのビューであり得る。いくつかの例では、本開示は、「ターゲットビュー」を指すときに単に「ビュー」という用語を使用することがある。ビットストリーム抽出の文脈では、ターゲットビューは単に、サブビットストリームに出るように抽出されるべきコーディングされたピクチャを有するビューを指す。ターゲット出力ビューは、ディスプレイデバイス３１に表示されるべきビューである。ビューのサブセットは、ビューのサブセットにおけるビューが表示されない場合でも、ターゲット出力ビューを適切に復号するために必要とされるビューを指す。ターゲット出力ビューは、ビューのサブセットにおけるビューのうちの１つであり得るが、追加のビューがあり得る。より一般的には、ビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方またはテクスチャビューコンポーネントもしくは深度ビューコンポーネントのうちの一方あるいはスケーラブルビデオコーディングにおけるレイヤのコーディングされたピクチャがターゲット出力ビューを復号するために必要とされる場合、ビューまたはレイヤは、ターゲット出力ビューまたはターゲット出力レイヤを復号するために必要とされるビューのサブセットまたはレイヤのサブセットにおけるビューであると見なされ得る。
[0131]一例として、図３を参照して、表示されるべきビューがビューＳ２およびビューＳ３であると仮定する。この例では、ターゲット出力ビューのリストは、ビューＳ２とビューＳ３とを含む。図３に示すように、ビューＳ２におけるコーディングされたピクチャが、ビューＳ０におけるコーディングされたピクチャによりビュー間予測される（たとえば、ビューＳ２の第１のピクチャは、ビューＳ０の第１のピクチャによりビュー間予測される）。したがって、ビューＳ２のコーディングされたピクチャを適切に復号するために、ビデオデコーダ３０は、ビューＳ０が表示されるべきではなくても、ビューＳ０からのコーディングされたピクチャを必要とし得る。また、図３に示すように、ビューＳ３におけるコーディングされたピクチャは、ビューＳ４およびＳ２におけるコーディングされたピクチャによりビュー間予測される。したがって、ビューＳ３のコーディングされたピクチャを適切に復号するために、ビデオデコーダ３０は、（ビューＳ２がターゲット出力ビューであるので、ビデオデコーダ３０が受信することになる）ビューＳ２からのコーディングされたピクチャを必要とし得る。この例では、ビデオデコーダ３０は、ビューＳ４が表示されるべきではなくても、ビューＳ４からのコーディングされたピクチャも必要とし得る。したがって、この例では、ビューのサブセットは、ビューＳ０と、ビューＳ２と、ビューＳ３と、ビューＳ４とを含む。他のビューは、ビューＳ２およびＳ３（ターゲット出力ビュー）を適切に復号するために必要とされないので、処分される（ビットストリームから除去される）ことはない。
[0132]第１の抽出技法では、サブビットストリーム抽出プロセスは、ターゲット出力ビューのリストまたはターゲット出力レイヤのリストの復号に必要とされないデータをできるだけ多く処分することによって、得られるサブビットストリームの最小サイズを対象とする必要があり得る。この第１の抽出技法は、特定のエンドユーザ端末（たとえば、宛先デバイス１４またはクライアントデバイス１０８のうちの特定の１つ）による要求への応答として適切であり得る。
[0133]この第１の抽出技法は、「最適サブビットストリーム抽出技法」と呼ばれ得る。この最適サブビットストリーム抽出技法では、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスは、出力ビューまたは出力レイヤを復号するために必要とされない任意のコーディングされたピクチャに関するビデオデータを除去することができる。たとえば、ターゲット出力ビューがビューＳ２およびビューＳ３である前述の例に従えば、ビューＳ０のピクチャは、ビューＳ２を復号するために必要とされ、ビューＳ２のコーディングされたピクチャは、ビューＳ３を復号するために必要とされるので、ビューＳ０は、ビューのサブセットのビューであり得る。しかしながら、ビューＳ２およびＳ３のコーディングされたピクチャを復号するために、ビューＳ０のすべてのコーディングされたピクチャが必要とされるとは限らない。一例として、図３を再び参照すると、ビューＳ０の時間Ｔ１におけるコーディングされたピクチャは、ビューＳ２およびビューＳ３におけるコーディングされたピクチャのいずれを復号するためにも必要とされない（たとえば、ビューＳ２およびＳ３におけるコーディングされたピクチャのいずれも、ビューＳ０の時間Ｔ１におけるコーディングされたピクチャによりビュー間予測されることはなく、ビューＳ２およびＳ３におけるコーディングされたピクチャのいずれも、ビューＳ０の時間Ｔ１におけるコーディングされたピクチャによりインター予測されるコーディングされたピクチャによりビュー間予測されることはない）。したがって、ビューＳ０がビューのサブセットのビューであっても、ターゲット出力ビューを復号するために、ビューＳ０のすべてのコーディングされたピクチャが必要とされるとは限らない。最適サブビットストリーム抽出技法では、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスは、ビューＳ０の時間Ｔ１におけるコーディングされたピクチャを除去することができ、このコーディングされたピクチャをサブビットストリームに含めなくてもよい。たとえば、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスは、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を除去することができる。
[0134]第２の抽出技法では、サブビットストリーム抽出プロセスは、出力サブビットストリームの自己完全性を対象とする必要があり得る。出力サブビットストリームの自己完全性を達成するために、サブビットストリーム抽出プロセスは、以下のうちの１つまたは複数を維持することができる：各レイヤが完全であること、深度ビューが少なくとも１つのビューのために存在する場合に、各ビューがテクスチャビューと深度ビューの両方を有すること、および出力サブビットストリームに少なくとも１つの深度ビューコンポーネントが存在する場合に、各ビューコンポーネントがテクスチャビューコンポーネントと深度ビューコンポーネントの両方を有すること。この場合、レイヤの例には、空間／品質スケーラブルレイヤ、テクスチャビュー、または深度ビューがある。レイヤが完全であることは、時間ロケーションにおいて、別のレイヤがアクセスユニットを有するときはいつでも、アクセスユニットを有することを意味する。自己完全サブビットストリームは、依然として「完全に抽出可能」であり、サブビットストリーム抽出がストリーミングサーバ（たとえば、サーバデバイス１０２）または中間ネットワーク要素（たとえば、ＭＡＮＥデバイス）によって実行され、ターゲット出力ビューのリストとして、出力に含まれるビューの任意のサブセットが要求され得る場合に、より有用であり得る。これらの例では、ストリーミングサーバまたは中間ネットワーク要素は、ネットワークエンティティの例である。
[0135]第２の抽出技法は、「自己完全サブビットストリーム抽出技法」と呼ばれ得る。自己完全サブビットストリーム抽出技法では、ビューの両方のビューコンポーネントは、出力ビューを復号するために両方のビューコンポーネントが必要とされない場合でも、サブビットストリームに含まれる。たとえば、図３では、ビューＳ４の時間Ｔ０におけるビューコンポーネントのテクスチャビューコンポーネントは、ビューＳ３の時間Ｔ０におけるビューコンポーネントのテクスチャビューコンポーネントを復号するために必要とされると仮定する。また、ビューＳ４の時間Ｔ０におけるビューコンポーネントの深度ビューコンポーネントは、ビューＳ３の時間Ｔ０におけるビューコンポーネントの深度ビューコンポーネントを復号するために必要とされないと仮定する。自己完全抽出技法では、ビューＳ４の時間Ｔ０におけるビューコンポーネントのテクスチャビューコンポーネントは、ビュー３を復号するためにサブビットストリームに含まれるので、ビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイス（たとえば、ネットワークエンティティ）は、ビューＳ４の時間Ｔ０におけるビューコンポーネントのテクスチャビューコンポーネントと深度ビューコンポーネントの両方を含み得る。
[0136]上述の第１および第２の抽出技法は、単に例示のために説明されており、限定するものと見なされるべきではない。一般に、いくつかの他の技法では、サブビットストリーム抽出プロセスを実行するデバイスは、サブビットストリーム抽出技法を適応させることが可能ではないことがある（たとえば、デバイスは、上記の２つの抽出技法のうちの１つを選択的に実施するように構成可能ではないことがある）。むしろ、デバイスは第１の抽出技法または第２の抽出技法のいずれかに限定され得る。第１の抽出技法または第２の抽出技法のいずれかに限定される結果、サブビットストリーム抽出は、本来であれば可能となる場合ほど最適ではなくなり得る。
[0137]さらに、ＭＶＣ＋Ｄドラフト仕様におけるサブビットストリーム抽出プロセスは、最適ではないことがあり、以下の問題または欠点を有し得る。たとえば、ターゲット出力ビューのテクスチャビューコンポーネントは、ビューのセットのテクスチャビューコンポーネントによりビュー間予測されることがあり、ターゲット出力ビューの深度ビューコンポーネントは、ビューのセットの深度ビューコンポーネントによりビュー間予測されないことがある。しかしながら、ビューのセットの深度ビューコンポーネントは、ターゲット出力ビューを復号するために必要とされなくても、やはり、ビューのセットの深度ビューコンポーネントはサブビットストリームに含まれ得る。同様に、ターゲット出力ビューの深度ビューコンポーネントは、ビューのセットの深度ビューコンポーネントによりビュー間予測されることがあり、ターゲット出力ビューのテクスチャビューコンポーネントは、ビューのセットのテクスチャビューコンポーネントによりビュー間予測されないことがある。しかしながら、ビューのセットのテクスチャビューコンポーネントは、ターゲット出力ビューを復号するために必要とされなくても、やはり、ビューのセットのテクスチャビューコンポーネントはサブビットストリームに含まれ得る。
[0138]本開示で説明するサブビットストリーム抽出技法は、抽出プロセスを選択する適応型（たとえば、選択的）方法を対象とし得る。その上、サブビットストリーム抽出技法は、ＭＶＣ＋Ｄビデオコーディング仕様のための改善によるビットストリーム抽出プロセスの最適化を実現し得る。
[0139]例示のために、本開示で説明する技法によれば、サブビットストリーム抽出プロセスは、ネットワークエンティティ（その一例はＭＡＮＥデバイス）によって実行され得る。たとえば、ルーティングデバイス１０４および／またはトランスコーディングデバイス１０６は、ＭＡＮＥデバイスと見なされ得る。いくつかの例では、サーバデバイス１０２が本開示で説明する技法を実施することができるが、単に説明しやすいように、本技法は、サーバデバイス１０２とクライアントデバイス１０８との中間にあるネットワークエンティティに関して説明される。クライアントデバイス１０８が本開示で説明する技法を実施することも可能であり得るが、一般に、本開示で説明する技法は、中間デバイス（たとえば、ＭＡＮＥデバイスのようなネットワークエンティティ）によって実行されることになる。
[0140]本開示で説明する技法では、サブビットストリーム抽出プロセスは、複数のサブビットストリーム抽出モードを定義することができる。外部手段が特定のサブビットストリーム抽出モードを決定することがある。「外部手段」という用語は一般に、ビデオデコーダ３０（たとえば、抽出されたサブストリームを受信することになるビデオデコーダ）の外部にある、ハードウェアユニットまたはハードウェアユニット上で実行されているソフトウェアユニットを指す。たとえば、外部手段は、ＭＡＮＥデバイスなどのビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスおよび／またはサーバデバイス１０２の構成要素であり得る。ＭＡＮＥデバイスにおけるそのような構成要素は、ビデオコーディング仕様に指定されていないことがある。たとえば、外部手段は、ＭＡＮＥデバイスおよび／またはビデオデコーダ３０によって値が使用される１つまたは複数の変数を設定することができるが、値は、ＭＡＮＥデバイスおよび／またはビデオデコーダ３０の外部で設定され、ＭＡＮＥデバイスおよび／またはビデオデコーダ３０に入力として提供することがある。
[0141]一例として、ＭＡＮＥデバイスは、アプリケーション処理インターフェース（ＡＰＩ）に適合するソフトウェアまたはファームウェアをハードウェア上で実行することができる（たとえば、ＭＡＮＥデバイスは、外部手段を形成するハードウェアユニットを含むことができ、または外部手段を形成するハードウェアユニット上で実行されるソフトウェアユニットを含むことができる）。このソフトウェアまたはファームウェアは、外部手段の一例である。たとえば、サブビットストリーム抽出モードを選択するために、ＭＡＮＥデバイスは、選択された抽出モードを示す値を外部手段から受信することができる。外部手段は、ＭＡＮＥデバイスおよび／またはビデオデコーダ３０によって値が使用される１つまたは複数の変数を設定することができるが、外部手段は、ＭＡＮＥデバイスおよび／またはビデオデコーダ３０の外部で値を決定し得る。外部手段は、値を入力としてＭＡＮＥデバイスおよび／またはビデオデコーダ３０に提供することができ、ＭＡＮＥデバイスは、選択された方法でサブビットストリームを抽出するために入力を使用することができる。
[0142]いくつかの例では、このソフトウェアまたはファームウェアは、クライアントデバイス１０８または宛先デバイス１４から、クライアントデバイス１０８または宛先デバイス１４の特性（たとえば、モバイルデバイスまたはデスクトップデバイス、ディスプレイデバイス３１のサイズ、ビデオデコーダ３０の復号能力、受信され得るターゲット出力ビューの正確な要件など）を示す入力情報を受信し得る。いくつかの例では、このソフトウェアまたはファームウェアは、クライアントデバイス１０８または宛先デバイス１４への接続の特性（たとえば、サブネットワークのタイプ、安全な、最適な、または何らかの中間レベルの受信のための帯域幅要件など）に関する情報を判断することができる。
[0143]受信または判断された情報から、ソフトウェアまたはファームウェアは、特定のサブビットストリーム抽出モードを決定する（たとえば、複数のサブビットストリーム抽出モードからモードを選択する）ことができる。たとえば、ソフトウェアまたはファームウェアは、サブビットストリーム抽出モードのリストを維持することができ、各サブビットストリーム抽出モードは、サブビットストリーム抽出を実行する特定の方法を示す。この例では、ソフトウェアまたはファームウェアは、選択されたサブビットストリーム抽出モードを識別する値（たとえば、サブビットストリーム抽出モードのリストへのインデックス）を決定することができる。ソフトウェアまたはファームウェアは、決定された値をＭＡＮＥデバイスに出力することができ、次にＭＡＮＥデバイスは、選択されたサブビットストリーム抽出モードを判断し、選択されたサブビットストリーム抽出モードによって定義された方法で、受信されたコーディングされたビットストリームからサブビットストリームを抽出することができる。
[0144]いくつかの例では、ＭＡＮＥデバイスのハードウェアユニット上で実行されるソフトウェアまたはファームウェアの代わりまたは追加として、ＭＡＮＥデバイスは、クライアントデバイス１０８もしくは宛先デバイス１４の特性またはクライアントデバイス１０８もしくは宛先デバイス１４の接続の情報を受信または判断し、特定のサブビットストリーム抽出モードを選択するように構成されたハードウェアユニットを含むことができる。このハードウェアユニットは、外部手段の別の例である。
[0145]本開示で説明する技法では、外部手段は、サブビットストリームが抽出されることになる方法をそれぞれ定義する１つまたは複数の変数を設定することができる。外部手段は、１つまたは複数の変数から値を選択することができ、ＭＡＮＥデバイスは、値を受信することができる。外部手段はまた、ビデオデコーダ３０に値を出力することができる。ビデオデコーダ３０は、値を受信し、ビデオデコーダ３０が受信することになるサブビットストリームを判断することができる。次いでビデオデコーダ３０は、ビデオデコーダ３０が受信することになるサブビットストリームを示す値に基づいて、ターゲット出力ビューまたはレイヤを復号することができる。この意味で、外部手段は、値がビデオデコーダ３０によって使用され、入力としてビデオデコーダ３０に提供される１つまたは複数の変数を設定する、ビデオデコーダ３０の外部にあるユニットであり得る。
[0146]外部手段が存在しない場合、ＭＡＮＥデバイスは、デフォルトのサブビットストリーム抽出モードを選択するように構成され得る。デフォルトのサブビットストリーム抽出モードは、可能なサブビットストリーム抽出技法のうちのいずれか１つを識別するモードであり得る。いくつかの例では、ビデオコーディング仕様は、デフォルトのサブビットストリーム抽出技法を定義することができ、デフォルトのサブビットストリーム抽出モードは、ビデオコーディング仕様によってデフォルトのサブビットストリーム抽出技法として定義されたサブビットストリーム抽出技法を識別することができる。
[0147]上記のように、サブビットストリーム抽出モードの各値は、抽出されたサブビットストリーム出力を生成する際に使用されるべき特定のサブビットストリーム抽出技法を識別することができる。一例として、複数のモードのうちのモードは、ＭＡＮＥデバイスが、出力される抽出されたサブビットストリームにおいて最大の自己完全性を維持すべきであると定義し得る。たとえば、深度ビューコンポーネントとテクスチャビューコンポーネントの両方または各レイヤが、出力されるサブビットストリームに含まれる。別の例として、複数のモードのうちのモードは、ＭＡＮＥデバイスが、最小サイズを有するサブビットストリームを抽出すべきであると定義し得る。たとえば、ＭＡＮＥデバイスは、ターゲット出力ビューまたはターゲット出力レイヤを復号するために必要とされるコーディングされたピクチャのみを、ビットストリームから抽出することができる。
[0148]言い換えれば、１つの例示的なサブビットストリーム抽出モードは、「最適サブビットストリーム抽出」モードであり得る。別の例示的なサブビットストリーム抽出モードは、「自己完全サブビットストリーム抽出」モードであり得る。この例では、抽出モード値０は最適サブビットストリーム抽出モードを指し、抽出モード値１は自己完全サブビットストリーム抽出モードを指すと仮定する。外部手段が抽出モード値０を選択した場合、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するのに十分なビデオデータがあるようにしつつ、できるだけ多くのビデオデータをビットストリームから除去することができる。外部手段が抽出モード値１を選択した場合、ＭＡＮＥデバイスは、ビューのターゲットビューコンポーネントと深度ビューコンポーネントの両方を、ターゲット出力ビューを復号するためにターゲットビューコンポーネントまたは深度ビューコンポーネントのいずれかが必要とされる場合に、含むことができる。
[0149]別の例として、複数のモードのうちのモードは、ＭＡＮＥが中間的自己完全性（たとえば、各レイヤは完全である、２つのレイヤを含み得る各ビュー、１つのテクスチャビューおよび１つの深度ビューは完全である）を維持すべきであると定義し得る。このモードは、「中間的サブビットストリーム抽出」モードと呼ばれることがある。中間的サブビットストリーム抽出モードでは、ＭＡＮＥは、ターゲット出力ビューを復号するために必要とされるビューコンポーネントのみを維持することができる。たとえば、ターゲット出力ビューを復号するために、ビューのテクスチャビューコンポーネントは必要とされるが、ビューの深度ビューコンポーネントは必要とされない場合、ＭＡＮＥデバイスはビューのテクスチャビューコンポーネントを出力することができ、深度ビューコンポーネントを出力しなくてもよい。同様に、中間的サブビットストリーム抽出モードでは、ターゲット出力ビューを復号するために、ビューの深度ビューコンポーネントは必要とされるが、ビューのテクスチャビューコンポーネントは必要とされない場合、ＭＡＮＥデバイスはビューの深度ビューコンポーネントを出力することができ、テクスチャビューコンポーネントを出力しなくてもよい。
[0150]中間的自己完全性の例が複数存在することがあり、これらのレベルの各々は、複数のサブビットストリーム抽出モードのうちのモードを表し得る。たとえば、中間的サブビットストリーム抽出モードの一例では、ＭＡＮＥは、ビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方を、両方が必要とされない場合でも、維持することができるが、テクスチャビューコンポーネントと深度ビューコンポーネントとを、ターゲット出力ビューを復号するために両方が必要とされない場合に、除去することができる。言い換えれば、ビューのテクスチャビューコンポーネントが含まれることになる場合、ＭＡＮＥデバイスは、深度ビューコンポーネントも、ターゲット出力ビューを復号するために必要とされない場合でも、含めることができる。しかしながら、ターゲット出力ビューを復号するために、ビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方が必要とされない場合、ＭＡＮＥデバイスは、ターゲットビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方を除去することができる。
[0151]自己完全抽出技法では、ビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方は、ビューが完全に抽出可能になり得るように、いずれも必要とされない場合でも、サブビットストリームに含まれ得るので、中間的自己完全抽出技法のこの例は、自己完全抽出技法とは異なり得る。中間的自己完全抽出技法のこの例では、ビューのテクスチャビューコンポーネントまたは深度ビューコンポーネントが必要とされる場合、両方が出力サブビットストリームに含まれ、ビューのいずれも必要とされない場合、いずれも出力サブビットストリームに含まれない。
[0152]上述のモードに加えて、サブビットストリームが抽出されるべき方法を定義する他の選択可能なモードもあってもよく、上述の例示的なモードは限定するものと見なされるべきではない。たとえば、本開示で説明する技法は、上述の特定のサブビットストリーム抽出モードに限定されない。一般に、本開示で説明する技法は、外部手段が複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択し、ＭＡＮＥデバイスが選択されたサブビットストリーム抽出モードに従ってサブビットストリームを抽出する、適応型サブビットストリーム抽出技法を許容する例を対象とし得る。最適サブビットストリーム抽出モード、自己完全サブビットストリーム抽出モード、および中間的サブビットストリーム抽出モードの例は、例示のために提供されている。本開示で説明する例示的な適応型サブビットストリーム抽出技法では、追加のモードまたは他のタイプの抽出モードも可能であり得る。
[0153]本開示で説明するマルチモードサブビットストリーム抽出技法は、非ビデオコーデックを含む任意のスケーラブルメディアコーデックで適用可能であり得る。言い換えれば、本開示で説明する技法はビデオコーディングに関して説明されるが、本技法はそのように限定されず、一般にメディアコーディング技法を対象とし得る。
[0154]また、適合ビットストリームをもたらすために、サブビットストリーム抽出モードのすべてが必要とは限らない。たとえば、ＭＡＮＥデバイスが、サブビットストリーム抽出モードのうちの１つによって定義された方法でサブビットストリームを抽出する場合、得られるビットストリームは適合ビットストリームであり得る。ＭＡＮＥデバイスが、サブビットストリーム抽出モードのうちの別の１つによって定義された方法でサブビットストリームを抽出する場合、得られるビットストリームは適合ビットストリームでないことがある。
[0155]このようにして、ビデオエンコーダ２０は必ずしも、すべてのモードで抽出されたサブビットストリームが適合することを確実にするために追加タスクを実行する必要があるとは限らない。これにより、ビデオエンコーダ２０がビットストリームを構成する際の複雑性が低下し得る。
[0156]したがって、本開示で説明する技法では、外部手段は、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択することができ、ＭＡＮＥデバイスは、サブビットストリーム抽出モードの選択を受信することができる。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするためにビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義する。上記のように、いくつかの例では、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤのＶＣＬ ＮＡＬユニットを備える。いくつかの例では、ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つである。たとえば、深度データがない場合、ビューのコーディングされたピクチャはビューコンポーネントであり得る。深度データがある場合、ビューのコーディングされたピクチャはテクスチャビューコンポーネントまたは深度ビューコンポーネントであり得る。いくつかの例では、レイヤの各コーディングされたピクチャは、レイヤのピクチャである。
[0157]次いで本技法は、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出する。本技法は、抽出されたサブビットストリームをビデオデコーダ３０に出力する。ビデオデコーダ３０がターゲット出力ビューまたはレイヤを再構成するために復号するのは、このサブビットストリームである。
[0158]一例として、外部手段は、複数のサブビットストリーム抽出モードから自己完全サブビットストリーム抽出モードを選択することができ、ＭＡＮＥデバイスは、自己完全サブビットストリーム抽出モードの選択を示す情報を受信することができる。外部手段が自己完全サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するためにビューのテクスチャビューまたは深度ビューが必要とされる場合に、ビューのすべての利用可能なテクスチャビューコンポーネントと深度ビューコンポーネントとを抽出することができる。言い換えれば、ターゲット出力ビューを復号するためにビューの深度ビューは必要とされないが、ビューのテクスチャビューは必要とされる場合でも、ＭＡＮＥデバイスは、ビューの利用可能なテクスチャビューコンポーネントと利用可能な深度ビューコンポーネントの両方を抽出することができる。同様に、ターゲット出力ビューを復号するためにビューのテクスチャビューは必要とされないが、ビューの深度ビューは必要とされる場合でも、ＭＡＮＥデバイスは、ビューの利用可能なテクスチャビューコンポーネントと利用可能な深度ビューコンポーネントの両方を抽出することができる。
[0159]別の例として、外部手段は、複数のサブビットストリーム抽出モードから中間的サブビットストリーム抽出モードを選択することができ、ＭＡＮＥデバイスは、中間的サブビットストリーム抽出モードの選択を示す情報を受信することができる。外部手段が中間的サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、以下のうちの１つを行うことができる：（１）ターゲット出力ビューを復号するためにビューのテクスチャビューが必要とされる場合に、ビューのすべての利用可能なテクスチャビューコンポーネントを抽出し、ターゲット出力ビューを復号するためにビューの深度ビューが必要とされない場合に、ビューの深度ビューコンポーネントを抽出しないこと、および（２）ターゲット出力ビューを復号するためにビューの深度ビューが必要とされる場合に、ビューのすべての利用可能な深度ビューコンポーネントを抽出し、ターゲット出力ビューを復号するためにビューのテクスチャビューが必要とされない場合に、ビューのテクスチャビューコンポーネントを抽出しないこと。
[0160]言い換えれば、出力ビューを復号するために、テクスチャビューは必要とされるが、深度ビューは必要とされない場合、ＭＡＮＥデバイスは、出力のためにテクスチャビューコンポーネントのみを抽出することができ、サブビットストリームから深度ビューコンポーネントを除去することができる。出力ビューを復号するために、深度ビューは必要とされるが、テクスチャビューは必要とされない場合、ＭＡＮＥデバイスは、出力のために深度ビューコンポーネントのみを抽出することができ、サブビットストリームからテクスチャビューコンポーネントを除去することができる。ＭＡＮＥデバイスが必要に応じてテクスチャビューコンポーネントまたは深度ビューコンポーネントのみを抽出することができる方法について、別個のリストの維持に関して以下で説明する。
[0161]また別の例として、外部手段は、複数のサブビットストリーム抽出モードから最適サブビットストリーム抽出モードを選択することができ、ＭＡＮＥデバイスは、最適サブビットストリーム抽出モードの選択を示す情報を受信することができる。外部手段が最適サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出することができ、ターゲット出力ビューを復号するために必要とされないビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントを抽出しなくてもよい。言い換えれば、テクスチャビューコンポーネントまたは深度ビューコンポーネントが必要とされる場合のみ、ＭＡＮＥデバイスは、テクスチャビューコンポーネントまたは深度ビューコンポーネントをサブビットストリームに含める。すべての他のビューコンポーネントは、サブビットストリームにビューコンポーネントを含むビューからの場合でも、ターゲット出力ビューを復号するために必要とされないものは、サブビットストリームから除去される。
[0162]さらに、ＭＡＮＥデバイスは、ＭＶＣ＋Ｄ仕様によって現在定義されているサブビットストリーム抽出のための可能な改善をもたらす追加タスクを実行することができる。一例として、中間的サブビットストリーム抽出モードを実施するために、ＭＡＮＥデバイスは、ターゲット出力ビューの所与のリストのために、テクスチャビューおよび深度ビューのための別個のビューリスト（たとえば、ターゲットビューリスト）を維持することができる。たとえば、ＭＡＮＥデバイスは、出力ビューを判断することができるか、または受信された情報から出力ビューを判断することができる。出力ビューのために、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューおよび深度ビューのための別個のリストを維持することができる。言い換えれば、ＭＡＮＥデバイスは、ビューから抽出されるべきテクスチャビューのリストを維持し、ビューから抽出されるべき深度ビューの別個のリストを維持することができる。
[0163]たとえば、ターゲット出力ビューがビュー０と、ビュー１と、ビュー２とを含み、ビュー２がビュー３によりビュー間予測される場合、ビューリストは、抽出される必要があるビューとして、ビュー０と、ビュー１と、ビュー２と、ビュー３とを識別することができる。ビデオデコーダ３０は、ビュー２をインター予測復号するためにビュー３を必要とするので、ビュー３は抽出される必要がある。しかしながら、ビデオデコーダ３０は、ビュー２をインター予測復号するために、ビュー３のテクスチャビューコンポーネントと深度ビューコンポーネントの両方を必要とするとは限らない。したがって、本開示で説明する技法では、ＭＡＮＥデバイスは、ビューのテクスチャビューを第１のビューリストで、ビューの深度ビューを第２のビューリストで、別個に維持することができる。
[0164]たとえば、ＭＡＮＥデバイスは、「抽出されるべき」テクスチャビューのビューリストにテクスチャビューコンポーネントが属するかどうかを判断することができる。たとえば、ＭＡＮＥデバイスは、テクスチャビューのリストで識別されるテクスチャビューにテクスチャビューコンポーネントが属するかどうかを判断することができる。ビューコンポーネントがビューリストの「抽出されるべき」テクスチャビューコンポーネントである場合、ＭＡＮＥデバイスは、サブビットストリームにおける出力のためにテクスチャビューコンポーネントを抽出することができる。「抽出されるべき」テクスチャビューのビューリストにビューコンポーネントが属さない場合、ＭＡＮＥデバイスは、サブビットストリームにおける出力のためにテクスチャビューコンポーネントを抽出しなくてもよい。
[0165]たとえば、ＭＡＮＥデバイスは、テクスチャビューのリストで識別されるテクスチャビューにテクスチャビューコンポーネントが属する場合のみ、テクスチャビューコンポーネントを抽出することができる。ＭＡＮＥデバイスは、テクスチャビューコンポーネントに対応する深度ビューコンポーネントの抽出を、深度ビューのリストで識別されない深度ビューに深度ビューコンポーネントが属する場合に回避する（たとえば、抽出するのを回避すること、または抽出するのを回避する）（たとえば、対応する深度ビューコンポーネントを抽出しない）ことができる。このようにして、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するためにビューのテクスチャビューが必要とされる場合に、ビューのすべての利用可能なテクスチャビューコンポーネントを抽出することができ、ターゲット出力ビューを復号するためにビューの深度ビューが必要とされない場合に、ビューの深度ビューコンポーネントを抽出しなくてもよい。
[0166]同様に、ＭＡＮＥデバイスは、「抽出されるべき」深度ビューのビューリストにビューコンポーネントが属するかどうかを判断することができる。たとえば、ＭＡＮＥデバイスは、深度ビューのリストで識別される深度ビューに深度ビューコンポーネントが属するかどうかを判断することができる。ビューコンポーネントがビューリストの「抽出されるべき」深度ビューコンポーネントである場合、ＭＡＮＥデバイスは、サブビットストリームにおける出力のために深度ビューコンポーネントを抽出することができる。「抽出されるべき」深度ビューのビューリストにビューコンポーネントが属さない場合、ＭＡＮＥデバイスは、サブビットストリームにおける出力のために深度ビューコンポーネントを抽出しなくてもよい。
[0167]たとえば、ＭＡＮＥデバイスは、深度ビューのリストで識別される深度ビューに深度ビューコンポーネントが属する場合のみ、深度ビューコンポーネントを抽出することができる。ＭＡＮＥデバイスは、深度ビューコンポーネントに対応するテクスチャビューコンポーネントの抽出を、テクスチャビューのリストで識別されないテクスチャビューにテクスチャビューコンポーネントが属する場合に回避する（たとえば、対応するテクスチャビューコンポーネントを抽出しない）ことができる。このようにして、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するためにビューの深度ビューが必要とされる場合に、ビューのすべての利用可能な深度ビューコンポーネントを抽出することができ、ターゲット出力ビューを復号するためにビューのテクスチャビューが必要とされない場合に、ビューのテクスチャビューコンポーネントを抽出しなくてもよい。
[0168]上記の例では、ＭＡＮＥデバイスは、ビューリストのテクスチャビューおよび深度ビューのための２つの別個のリストを維持することができる。たとえば、テクスチャビューのためのリストは、ターゲット出力ビューのテクスチャビューコンポーネントを復号するために必要とされるビューのテクスチャビューを含むことができる。深度ビューのためのリストは、ターゲット出力ビューの深度ビューコンポーネントを復号するために必要とされるビューの深度ビューを含むことができる。
[0169]この例では、ターゲット出力ビューのビューコンポーネントを復号するために、深度ビューコンポーネントは必要とされるが、対応するテクスチャビューコンポーネントは必要とされない場合、ＭＡＮＥデバイスは、深度ビューコンポーネントを抽出すことができ、テクスチャビューコンポーネントを抽出しなくてもよい。同様に、ターゲット出力ビューのビューコンポーネントを復号するために、テクスチャビューコンポーネントは必要とされるが、対応する深度ビューコンポーネントは必要とされない場合、ＭＡＮＥデバイスは、テクスチャビューコンポーネントを抽出することができ、深度ビューコンポーネントを抽出しなくてもよい。
[0170]この意味で、テクスチャビューのリストは、テクスチャビューコンポーネントが抽出されることになるテクスチャビューを含むことができ、深度ビューのリストは、深度ビューコンポーネントが抽出されることになる深度ビューを含むことができる。しかしながら、テクスチャビューのリストで識別されるビューのテクスチャビューは、深度ビューのリストで識別されるビューの対応する深度ビューを有しないことがあり、その逆も同様である。言い換えれば、テクスチャビューのリストは、少なくとも１つのビューのテクスチャビューを含み、深度ビューのリストは、少なくとも１つのビューの対応する深度ビューを含まないか、または深度ビューのリストは、少なくとも１つのビューの深度ビュー、テクスチャビューのリストは、少なくとも１つのビューの対応するテクスチャビューを含まない。このようにして、テクスチャビューコンポーネントのみが必要とされる場合、または深度ビューコンポーネントのみが必要とされる場合に、出力のためにテクスチャビューコンポーネントと深度ビューコンポーネントの両方を抽出するのではなく、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出し、必要とされるテクスチャビューコンポーネントまたは深度ビューコンポーネントのみをサブビットストリームに含めることができる。
[0171]いくつかの例では、ＭＡＮＥデバイスはモーダル方式を適用して、ＭＡＮＥデバイスがテクスチャビューコンポーネントのためのビューリスト（すなわち、ターゲット出力ビューを復号するために必要とされるテクスチャビューコンポーネントのリスト）と深度ビューコンポーネントのためのビューリスト（すなわち、ターゲット出力ビューを復号するための深度ビューコンポーネントのリスト）とを別個に維持すべきかどうかを判断することができる。たとえば、第１のサブビットストリーム抽出モードでは、ＭＡＮＥデバイスは、現在のＭＶＣ＋Ｄ仕様で定義されているサブビットストリーム抽出プロセスを実施することができ、第２のサブビットストリーム抽出モードでは、ＭＡＮＥデバイスは、ＭＡＮＥデバイスがターゲット出力ビューを復号するためのテクスチャビューコンポーネントのリストとターゲット出力ビューを復号するための深度ビューコンポーネントの別個のリストとを維持するサブビットストリーム抽出プロセスを実施することができる。
[0172]第１のサブビットストリーム抽出モード（たとえば、自己完全サブビットストリーム抽出モード）では、テクスチャビューコンポーネントが必要とされる場合、ＭＡＮＥデバイスは、深度ビューコンポーネントが必要とされない場合でも、テクスチャビューコンポーネントと深度ビューコンポーネントの両方をサブビットストリームで出力することができ、その逆も同様である。いくつかの例では、ＭＡＮＥデバイスの外部手段（たとえば、ソフトウェア、ファームウェア、またはハードウェアユニット）は、出力サブビットストリームが「完全に抽出可能」であることが求められる（すなわち、１つのビューがテクスチャと深度の両方を有する場合に、すべてのビューがテクスチャと深度の両方を有しなければならない）場合に、ＭＡＮＥデバイスが第１のモードに従ってビットストリームを抽出すべきであると判断することができる。第１のサブビットストリーム抽出モードに従ってビットストリームを抽出することは、ビットストリーム抽出がストリーミングサーバ（たとえば、サーバデバイス１０２）または中間ネットワーク要素（たとえば、ルーティングデバイス１０４および／またはトランスコーディングデバイス１０６）によって実行され、ターゲット出力ビューとして、出力に含まれるビューの任意のサブセットが要求され得る場合に、有益であり得る。言い換えれば、ビューの任意の組合せが出力に必要とされ得るので、ＭＡＮＥデバイスが、出力サブビットストリームが完全に抽出可能であることを確実にすることは有益であり得る。
[0173]いくつかの例では、外部手段は、第２のサブビットストリーム抽出モード（たとえば、中間的サブビットストリーム抽出モード）が、ＭＡＮＥデバイスがサブビットストリーム抽出を実施すべき場合のより適切な方法であると判断し得る。たとえば、外部手段は、ビデオのエンドユーザであるエンティティ（たとえば、宛先デバイス１４またはクライアントデバイス１０８）から、ターゲット出力ビューを示す情報を受信することができる。この例では、外部手段は、ＭＡＮＥデバイスがサブビットストリーム抽出を実行する方法として、第２のサブビットストリーム抽出モードを選択することができる。
[0174]別の例として、ビデオのエンドユーザであるエンティティは、最初の抽出から抽出される動作点にないターゲット出力ビューを決して要求しないことがある。たとえば、サーバデバイス１０２は、動作点によって定義される特性を有するサブビットストリームをもたらす最初の抽出を実行し得る。トランスコーディングデバイス１０６は、追加の抽出を実行し得る。この例では、ビデオのエンドユーザであるエンティティが、サーバデバイス１０２によって実行された抽出プロセスの一部として含まれたビューを要求するつもりがない場合、外部手段は、（たとえば、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含むビューコンポーネントの単一のリストではなく、テクスチャビューコンポーネントおよび深度ビューコンポーネントのための別個のリストを維持することによって）ＭＡＮＥデバイスがサブビットストリーム抽出を実行する方法として、第２のサブビットストリーム抽出モードを選択することができる。
[0175]いくつかの例では、ターゲット出力ビューを復号するために必要とされるテクスチャビューコンポーネントまたは深度ビューコンポーネントのみがサブビットストリームで出力されるように、テクスチャビューコンポーネントおよび深度ビューコンポーネントのための別個のリストを維持することに加えて、ＭＡＮＥデバイスはさらに、ターゲット出力ビューを復号するために必要とされないさらなるビューコンポーネントまたはＮＡＬユニットまたはＮＡＬユニットの一部を除去することができる。これは、最適サブビットストリーム抽出技法の一部であり得る。たとえば、ビデオエンコーダ２０は、要求されないビューコンポーネントＳＥＩメッセージによって、またはＮＡＬユニットヘッダにおけるｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇによって、そのような追加のビューコンポーネントを示すことができる。そのようなＮＡＬユニットは、非ＶＣＬ ＮＡＬユニット、たとえばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）ＮＡＬユニット、およびＳＥＩ ＮＡＬユニットであってよく、これらを含み得る。ＮＡＬユニットの一部は、ＳＥＩ ＮＡＬユニットに含まれるＳＥＩメッセージを含み得る。
[0176]いくつかの例では、追加のビューコンポーネント、ＮＡＬユニットまたはＮＡＬユニットの一部の除去は、外部手段が選択し得る第３のサブビットストリーム抽出モードであり得る。いくつかの例では、追加のビューコンポーネント、ＮＡＬユニットまたはＮＡＬユニットの一部の除去の例は、上述の第２のサブビットストリーム抽出モードの代替であり得る。
[0177]上記のように、外部手段は、第１のサブビットストリーム抽出モード（たとえば、自己完全サブビットストリーム抽出モード）、第２のサブビットストリーム抽出モード（たとえば、中間的サブビットストリーム抽出モード）、または第３のサブビットストリーム抽出モード（たとえば、最適サブビットストリーム抽出モード）の間で選択することができる。たとえば、自己完全サブビットストリーム抽出モードでは、ビデオデコーダ３０は、ターゲット出力ビューを復号するのに十分なビデオデータを出力サブビットストリームで受信し、１つまたは複数の追加のビュー（ただし、全部のビューよりも少ない）も受信することができる。最適サブビットストリーム抽出モードでは、ビデオデコーダ３０は、単にターゲット出力ビューを復号するのに十分なビデオデータを出力サブビットストリームで受信することができ、他のビューを受信しない場合がある。
[0178]中間的サブビットストリーム抽出モードの一例では、ビデオデコーダ３０は、ターゲット出力ビューを復号するのに十分なビデオデータを出力サブビットストリームで受信することができ、ビューのビューコンポーネントの一部（たとえば、テクスチャビューコンポーネントまたは深度ビューコンポーネントのいずれかであるが、両方ではない）も受信することができる。中間的サブビットストリーム抽出モードの別の例では、ビデオデコーダ３０は、ターゲット出力ビューを復号するのに十分なビデオデータを出力サブビットストリームで受信することができ、ビューの一部（ただし、ビューの全部ではない）も受信することができる。
[0179]本開示で説明する技法では、外部手段は様々な基準を利用して、サブビットストリーム抽出モードを選択することができる。一例として、外部手段は、ビューの任意のサブセットが「完全に抽出可能」である必要があるかどうかを判断することができ、そうである場合、自己完全サブビットストリーム抽出モードを選択することができる。一例として、外部手段は、（たとえば、デバイスが特定のターゲット出力ビューを要求した場合、サブビットストリームを受信することになるデバイスの能力がビューの数を制限している場合、または帯域幅の利用可能性に基づいて）サブビットストリームを受信することになるデバイスが、単に特定のターゲット出力ビューを復号するのに十分なビデオデータを受信すべきであるかどうかを判断することができ、最適サブビットストリーム抽出モードを選択することができる。一例として、十分な帯域幅があり、ビューのテクスチャビューコンポーネントのみを含むが、深度ビューコンポーネントを含まない（またはその逆）サブビットストリームをビデオデコーダ３０が処理することができるように、ビデオデコーダ３０がシンタックス要素を解析することが可能である場合、外部手段は中間的サブビットストリーム抽出モードのうちの１つを選択することができる。外部手段は他の基準を利用して、適切な抽出モードを選択することができ、抽出モードを選択するための上記基準は、単に例示のために提供されている。
[0180]外部手段が利用可能ではない場合、ＭＡＮＥユニットは、デフォルトモードとして、これらのモードのうちの１つの技法を利用するように構成され得る。たとえば、外部手段が利用可能ではない場合、第２のサブビットストリーム摘出モードはデフォルトモードであり得る。代替として、外部手段が利用可能ではない場合、第１サブビットストリームモードはデフォルトモードであり得る。
[0181]上記では、ビデオデータが深度データ（たとえば、深度ビュー）を含む例に関するサブビットストリーム抽出の様々なモードについて説明した。しかしながら、Ｈ．２６４／ＡＶＣのＭＶＣ拡張などのいくつかのビデオコーディング規格の場合、深度データがない。たとえば、２つのコンポーネントではなく、１つのビューコンポーネント、ビューコンポーネント（たとえば、テクスチャビューコンポーネントおよび深度ビューコンポーネントではなく、ビューコンポーネントのみ）があるにすぎないことがある。本開示で説明する技法は、深度データがない場合に適用可能であり得る。
[0182]一例として、複数のサブビットストリーム抽出モードのうちの１つは、深度データを含まないビデオデータのための自己完全サブビットストリーム抽出モードであり得る。外部手段が、深度データを含まないビデオデータのための自己完全サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューからのすべてのビューコンポーネントを抽出することができる。
[0183]別の例として、複数のサブビットストリーム抽出モードのうちの１つは、深度データを含まないビデオデータのための最適サブビットストリーム抽出モードであり得る。外部手段が、深度データを含まないビデオデータのための最適サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューからのビューコンポーネントのみを抽出することができ、ターゲット出力ビューを復号するために必要とされないビューからのビューコンポーネントを抽出しなくてもよい。
[0184]同様に、本開示で説明する技法では、スケーラブルビデオコーディングのための様々なサブビットストリーム抽出モードがあり得る。一例として、複数のサブビットストリーム抽出モードのうちの１つは、スケーラブルビデオコーディングのための自己完全サブビットストリーム抽出モードであり得る。外部手段が、スケーラブルビデオコーディングのための自己完全サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力レイヤを復号するためにレイヤが必要とされるときに、レイヤのすべてのピクチャを抽出することができる。
[0185]別の例として、複数のサブビットストリーム抽出モードのうちの１つは、スケーラブルビデオコーディングのための最適サブビットストリーム抽出モードであり得る。外部手段が、スケーラブルビデオコーディングのための最適サブビットストリーム抽出モードを選択したとき、ＭＡＮＥデバイスは、ターゲット出力レイヤを復号するために必要とされるレイヤのピクチャのみを抽出することができる。
[0186]上記のように、本開示で説明する技法は、様々なマルチビューコーディング規格で適用可能であり得る。理解を助けるために、以下では、本技法がＭＶＣ＋Ｄビデオコーディング仕様およびＭＶＣビデオコーディング仕様に従って実施され得るいくつかの方法について説明する。本開示で説明する技法がＭＶＣ＋Ｄビデオコーディング仕様およびＭＶＣビデオコーディング仕様に関して実施され得る方法の説明は、理解を容易にするために行われるものであり、限定するものと見なされるべきではない。本開示で説明する技法は、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、またはＨＥＶＣ規格に基づくスケーラブルビデオコーディングに適用可能であり得る。
[0187]上記のように、本開示で説明する技法は、サブビットストリーム抽出のための様々な技法の間での選択を可能にする。サブビットストリーム抽出の様々な技法のそのような選択を実現するために、本開示は、「ｅｘｔｒａｃｔｉｏｎＭｏｄｅ」と呼ばれる抽出モード変数を利用することができる。
[0188]たとえば、ＭＶＣ＋Ｄのためのサブビットストリーム抽出プロセスの場合、ｅｘｔｒａｃｔｉｏｎＭｏｄｅが０〜３（両端値を含む）の範囲内の任意の値に等しく、ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇが０または１に等しく、ｐＩｄＴａｒｇｅｔ（ｐｒｉｏｒｉｔｙ＿ｉｄターゲット値）が０〜６３（両端値を含む）の範囲内の任意の値に等しく、ｔＩｄＴａｒｇｅｔ（ｔｅｍｐｏｒａｌ＿ｉｄまたはｔｅｍｐｏｒａｌＩＤターゲット値）が０〜７（両端値を含む）の範囲内の任意の値に等しく、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔがビットストリーム中のビューを識別するｖｉｅｗＩｄＴａｒｇｅｔの任意の１つまたは複数の値から成る、本技法において指定されるプロセスの出力である任意のサブビットストリームがＭＶＣ＋Ｄ規格に適合し得ることが、ビットストリーム適合の必要条件であり得る。
[0189]０または１に等しいｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇは、深度ビューコンポーネントがビューコンポーネントの一部であるかどうかを示し得る。現在のＭＶＣ＋Ｄ仕様に関して上述した変数ｐＩｄＴａｒｇｅｔ、ｔＩｄＴａｒｇｅｔ、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ、適合ビットストリームの定義、および動作点の条件は、ここでも適用可能である。
[0190]ＭＶＣ＋Ｄに関して本開示で説明する技法では、変数ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔ（存在するとき）、ｐＩｄＴａｒｇｅｔ（存在するとき）、ｔＩｄＴａｒｇｅｔ（存在するとき）、およびｖｉｅｗＩｄＴａｒｇｅｔの１つまたは複数の値から成るリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ（存在するとき）（これらの変数はすべて上述した）に加えて、サブビットストリーム抽出プロセスへの入力は、ｅｘｔｒａｃｔｉｏｎＭｏｄｅ変数（存在するとき）であり得る。上記のように、サブビットストリーム抽出プロセスの出力は、サブビットストリームおよびＶＯＩｄｘのリストおよびＶＩｄｘＬｉｓｔであり得る。入力としてｅｘｔｒａｃｔｉｏｎＭｏｄｅが存在しないとき、ＭＡＮＥはｅｘｔｒａｃｔｉｏｎＭｏｄｅの値を０であると推測し得る。ｅｘｔｒａｃｔｉｏｎＭｏｄｅが存在するとき、外部手段は、必ずしもビデオコーディング仕様を定義しているとは限らないが、上記のようにｅｘｔｒａｃｔｉｏｎＭｏｄｅの値を決定することができる。ＭＶＣ＋Ｄのためのこのサブビットストリーム抽出プロセスの入力である他の変数の値は、存在しないとき、上記のように推測され得る。
[0191]この例では、外部手段が、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値が０であると判断した場合、ＭＡＮＥデバイスは、「自己完全サブビットストリーム抽出」技法を実施することができる（すなわち、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの０の値は、自己完全抽出技法を指す）。外部手段が、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値が１であると判断した場合、ＭＡＮＥデバイスは、「最適サブビットストリーム抽出」技法を実施することができる（すなわち、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの１の値は、最適抽出技法を指す）。
[0192]外部手段が、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値が２であると判断した場合、ＭＡＮＥデバイスは、「中間的サブビットストリーム抽出」技法の一例を実施することができる（すなわち、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの２の値は、中間的サブビットストリーム抽出技法の第１の例を指す）。
[0193]外部手段が、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値が３であると判断した場合、ＭＡＮＥデバイスは、「中間的自己完全抽出」技法の別の例を実施することができる（すなわち、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの３の値は、中間的自己完全抽出技法の第２の例を指す）。中間的自己完全抽出技法のこの第２の例は、３Ｄ−ＡＶＣ規格の最新ドラフトで指定されているサブビットストリーム抽出技法と同様であり得る。たとえば、中間的自己完全抽出技法のこの第２の例では、ビューのテクスチャビューコンポーネントまたは深度ビューコンポーネントが必要とされるが、両方は必要とされない場合、ＭＡＮＥデバイスは依然として、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含めることができる。
[0194]また、中間的自己完全抽出技法のこの第２の例では、ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントには、必要とされないものもあるが、必要とされるものもある。ビューの深度ビューコンポーネントもテクスチャビューコンポーネントも必要とされない場合、ＭＡＮＥデバイスは、テクスチャビューコンポーネントも深度ビューコンポーネントも含めなくてよい。たとえば、自己完全抽出技法では、ビューのテクスチャビューコンポーネントも深度ビューコンポーネントも必要とされない場合でも、サブビットストリームは、ビューが完全に抽出可能になるように、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含むことができる。この例では、中間的サブビットストリーム抽出技法の場合、ビューのテクスチャビューコンポーネントも深度ビューコンポーネントも必要とされない場合、いずれもビットストリームに含まれないが、ビューのターゲットビューコンポーネントまたは深度ビューコンポーネントのうちの一方が必要とされる場合、テクスチャビューコンポーネントと深度ビューコンポーネントの両方が必要とされるかどうかに関係なく、両方がビットストリームに含まれる。
[0195]上記のように、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値は、ＭＡＮＥデバイスがＭＶＣ＋Ｄコーディング仕様のためのサブビットストリーム抽出を実施するかどうかを定義し得る。ＭＡＮＥデバイスがＭＶＣ＋Ｄのための様々な例示的なサブビットストリーム抽出技法を実施する方法について、以下でより詳細に説明する。
[0196]上記ではＭＶＣ＋Ｄについて説明した。以下ではＭＶＣについて説明する。たとえば、ＭＶＣは、深度コンポーネントがないことがあり、したがって、ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔは必要ではないことがある。また、ＭＶＣにおいて深度ビューコンポーネントがない場合、抽出モードが少なくなり得るので、変数ｅｘｔｒａｃｔｉｏｎＭｏｄｅの値は０または１に限られ得る。たとえば、抽出モードのうちの１つは、上述のように、深度データを含まないビデオデータのための自己完全サブビットストリーム抽出モードであり得る。抽出モードのうちの別の１つは、上述のように、深度データを含まないビデオデータのための最適サブビットストリーム抽出モードであり得る。
[0197]ＭＶＣの場合、ｅｘｔｒａｃｔｉｏｎＭｏｄｅが０〜１（両端値を含む）の範囲内の任意の値に等しく、ｐＩｄＴａｒｇｅｔ（ｐｒｉｏｒｉｔｙ＿ｉｄターゲット値）が０〜６３（両端値を含む）の範囲内の任意の値に等しく、ｔＩｄＴａｒｇｅｔ（ｔｅｍｐｏｒａｌ＿ｉｄまたはｔｅｍｐｏｒａｌＩＤターゲット値）が０〜７（両端値を含む）の範囲内の任意の値に等しく、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔがビットストリーム中のビューを識別するｖｉｅｗＩｄＴａｒｇｅｔの任意の１つまたは複数の値から成る、本技法において指定されるプロセスの出力である任意のサブビットストリームがＭＶＣ規格に適合し得ることが、ビットストリーム適合の必要条件であり得る。現在のＭＶＣ仕様に関して上述した変数ｐＩｄＴａｒｇｅｔ、ｔＩｄＴａｒｇｅｔ、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ、適合ビットストリームの定義、および動作点の条件は、ここでも適用可能である。
[0198]ＭＶＣに関して本開示で説明する技法では、変数ｐＩｄＴａｒｇｅｔ（存在するとき）、ｔＩｄＴａｒｇｅｔ（存在するとき）、およびｖｉｅｗＩｄＴａｒｇｅｔの１つまたは複数の値から成るリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ（存在するとき）（これらの変数はすべて上述した）に加えて、サブビットストリーム抽出プロセスへの入力は、ｅｘｔｒａｃｔｉｏｎＭｏｄｅ変数（存在するとき）であり得る。上記のように、サブビットストリーム抽出プロセスの出力は、サブビットストリームおよびＶＯＩｄｘのリストおよびＶＩｄｘＬｉｓｔであり得る。入力としてｅｘｔｒａｃｔｉｏｎＭｏｄｅが存在しないとき、ＭＡＮＥはｅｘｔｒａｃｔｉｏｎＭｏｄｅの値を０であると推測し得る。ｅｘｔｒａｃｔｉｏｎＭｏｄｅが存在するとき、外部手段は、必ずしもビデオコーディング仕様を定義しているとは限らないが、上記のようにｅｘｔｒａｃｔｉｏｎＭｏｄｅの値を決定することができる。ＭＶＣのためのこのサブビットストリーム抽出プロセスの入力である他の変数の値は、存在しないとき、上記のように推測され得る。
[0199]いくつかの例では、ＭＶＣにおいて、ｅｘｔｒａｃｔｉｏｎＭｏｄｅが１に等しい場合、ＭＡＮＥデバイスは、現在のＭＶＣ仕様で指定されているステップを順番に適用することによって、サブビットストリームを導出することができる。ｅｘｔｒａｃｔｉｏｎＭｏｄｅが０に等しい場合、ＭＡＮＥデバイスは、以下でさらに説明するステップを適用することによって、サブビットストリームを導出することができる。たとえば、以下では最初に、ＭＶＣ＋Ｄの様々なモードを実施するための技法について説明し、次いで、現在のＭＶＣ仕様における技法とは異なる、ＭＶＣに関するサブビットストリーム抽出モードを実施するための技法について説明する。
[0200]上記では、ＭＶＣ＋Ｄにおけるサブビットストリーム抽出の目的でＭＡＮＥデバイスが実施し得る例示的なモードについて説明した。たとえば、ＭＡＮＥデバイスは、サブビットストリームの一部として、ターゲットビューリストを導出することができる。サブビットストリーム抽出のための例示的なモードを実施するために、本開示は、現在のＭＶＣ＋Ｄビデオコーディング仕様に対するいくつかの変更について説明する。
[0201]たとえば、ＭＶＣ＋Ｄビデオコーディング仕様のサブクローズＡ．１．１．４は、必要とされるアンカービューコンポーネントのための導出プロセスを対象とする。このセクションのために、ＭＶＣ仕様のサブクローズＨ．８．５．１は２回適用されてもよく、１回は「ビューコンポーネント」が「テクスチャビューコンポーネント」に置き換えられ、「アンカーに必要」が「アンカーテクスチャに必要」に置き換えられ、さらに１回は「ビューコンポーネント」が「深度ビューコンポーネント」に置き換えられ、「アンカーに必要」が「アンカー深度に必要」に置き換えられる。
[0202]ＭＶＣ＋Ｄビデオコーディング仕様のサブクローズＡ．１．１．５は、必要とされる非アンカービューコンポーネントのための導出プロセスを対象とする。このセクションのために、ＭＶＣ仕様のサブクローズＨ．８．５．２は２回適用されてもよく、１回は「ビューコンポーネント」が「テクスチャビューコンポーネント」に置き換えられ、「アンカーに必要」が「アンカーテクスチャに必要」に置き換えられ、さらに１回は「ビューコンポーネント」が「深度ビューコンポーネント」に置き換えられ、「アンカーに必要」が「アンカー深度に必要」に置き換えられる。
[0203]以下では、（たとえば、ターゲット出力ビューを復号するために必要とされるビデオデータのみがサブビットストリームに含まれるように、サブビットストリームの最小化サイズが維持される）ＭＶＣ＋Ｄのための最適抽出モードをＭＡＮＥデバイスが実施し得る方法の例について説明する。たとえば、ｅｘｔｒａｃｔｉｏｎＭｏｄｅ変数の値は１であり得る。ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔは０または１に等しくなり得る。
[0204]ＭＡＮＥデバイスは、ＭＶＣ＋Ｄビデオコーディング仕様で現在説明されているものと実質的に同様の、上記で詳しく説明している抽出技法を実施することができる。しかしながら、いくつかの差異があり得る。たとえば、現在のＭＶＣ＋Ｄ仕様に関して上述したように、現在のＭＶＣ＋Ｄ仕様において、すべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを「ビットストリームから除去されるべき」とマークするための条件のうちの２つは、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｖｉｅｗ＿ｉｄは「アンカーに必要」とマークされない、およびａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄは「非アンカーに必要」とマークされない、である。ＭＶＣ＋Ｄの最適抽出モードの場合、これら２つの条件は、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１ではなく、ｖｉｅｗ＿ｉｄは「アンカーテクスチャに必要」とマークされない、およびａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１ではなく、ｖｉｅｗ＿ｉｄは「非アンカーテクスチャに必要」とマークされない、に変更され得る。
[0205]その上、ＭＶＣ＋Ｄの最適抽出モードの場合、アルＶＣＬ ＮＡＬユニットおよびフィラーデータＮＡＬユニットが「ビットストリームから除去されるべき」とマークされ得るときに、以下の２つの条件が追加され得る。第１の追加条件は、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１であり、ｖｉｅｗ＿ｉｄは「アンカー深度に必要」とマークされない、であり得る。第２の追加条件は、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１であり、ｖｉｅｗ＿ｉｄは「非アンカー深度に必要」とマークされない、であり得る。サブビットストリーム抽出のための他のステップは、ＭＶＣ＋Ｄにおける現在のサブビットストリーム抽出に関して上述したのと同じであり得る。
[0206]以下では、ＭＶＣ＋Ｄのための自己完全中間的抽出モードの一例をＭＡＮＥデバイスが実施し得る方法の例について説明する。たとえば、ｅｘｔｒａｃｔｉｏｎＭｏｄｅ変数の値は２であり得る。ｄｅｐｔｈＰｒｅｓｅｎｔＦｌａｇＴａｒｇｅｔは０または１に等しくなり得る。
[0207]この例では、ターゲット出力ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントは、異なる従属性を有し得る。たとえば、ターゲット出力ビューのテクスチャビューコンポーネントは、ターゲット出力ビューの深度ビューコンポーネントとは異なるターゲットビューからビュー間予測され得る。言い換えれば、ビューからのテクスチャビューコンポーネントと深度ビューコンポーネントの両方がサブビットストリームに含まれるとは限らず、ビューの必要とされるテクスチャビューコンポーネントまたは深度ビューコンポーネントのみが出力サブビットストリームに含まれる。また、いくつかの例では、各抽出の後、ターゲット出力ビューリストをサポートするために、残存サブビットストリームがさらに抽出され得る。このターゲット出力ビューリストは、第１のサブビットストリーム抽出中の元の入力ビットストリームのサブセットであるか、または元の入力ビットストリームのターゲット出力ビューリストと同じであり得る。
[0208]中間的サブビットストリーム抽出技法に関するこの例では、ビューごとに、そのｖｉｅｗ＿ｉｄが「アンカーテクスチャに必要」または「非アンカーテクスチャに必要」とマークされる場合、ｖｉｅｗ＿ｉｄは「テクスチャに必要」とマークされる。また、ビューごとに、そのｖｉｅｗ＿ｉｄが「アンカー深度に必要」または「非アンカー深度に必要」とマークされる場合、ｖｉｅｗ＿ｉｄは「深度に必要」とマークされる。上記のように、ベースビューのｖｉｅｗ＿ｉｄは常に「テクスチャに必要」とマークされ得る。
[0209]中間的サブビットストリーム抽出技法の場合、ＭＡＮＥデバイスは、ＭＶＣ＋Ｄビデオコーディング仕様で現在説明されているものと実質的に同様の、上記で詳しく説明している抽出技法を実施することができる。しかしながら、いくつかの差異があり得る。たとえば、現在のＭＶＣ＋Ｄ仕様に関して上述したように、現在のＭＶＣ＋Ｄ仕様において、すべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを「ビットストリームから除去されるべき」とマークするための条件のうちの３つは、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｖｉｅｗ＿ｉｄは「アンカーに必要」とマークされない、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄは「非アンカーに必要」とマークされない、およびｎａｌ＿ｒｅｆ＿ｉｄｃは０に等しく、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄはリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中のいずれの値にも等しくない、である。
[0211]中間的サブビットストリーム抽出技法の場合、すべてのＶＣＬ ＮＡＬユニットおよびフィラーデータＮＡＬユニットが「ビットストリームから除去されるべき」であるときに、以下の条件が追加され得る。条件は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１であり、ｖｉｅｗ＿ｉｄは「深度に必要」とマークされない、であり得る。サブビットストリーム抽出のための他のステップは、ＭＶＣ＋Ｄにおける現在のサブビットストリーム抽出に関して上述したのと同じであり得る。
[0212]以下では、ＭＶＣ＋Ｄのための自己完全抽出モードの一例をＭＡＮＥデバイスが実施し得る方法の例について説明する。たとえば、ｅｘｔｒａｃｔｉｏｎＭｏｄｅ変数の値は０であり得る。この例では、１つのビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントは、合わせて１つのビューコンポーネントと見なされてもよく、テクスチャビューコンポーネントまたは深度ビューコンポーネントのいずれかが出力または復号に必要とされると、いずれも、抽出されたサブビットストリーム中で維持され得る。
[0213]この例では、ビューことに、そのｖｉｅｗ＿ｉｄが「アンカーテクスチャに必要」、「非アンカーテクスチャに必要」、「アンカー深度に必要」、または「非アンカー深度に必要」とマークされる場合、ｖｉｅｗ＿ｉｄは「必要」とマークされ得る。また、上記のように、ベースビューは常に「必要」とマークされ得る。
[0214]自己完全サブビットストリーム抽出技法の場合、ＭＡＮＥデバイスは、ＭＶＣ＋Ｄビデオコーディング仕様で現在説明されているものと実質的に同様の、上記で詳しく説明している抽出技法を実施することができる。しかしながら、いくつかの差異があり得る。たとえば、現在のＭＶＣ＋Ｄ仕様に関して上述したように、現在のＭＶＣ＋Ｄ仕様において、すべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを「ビットストリームから除去されるべき」とマークするための条件のうちの３つは、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは１に等しく、ｖｉｅｗ＿ｉｄは「アンカーに必要」とマークされない、ａｎｃｈｏｒ＿ｐｉｃ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄは「非アンカーに必要」とマークされない、およびｎａｌ＿ｒｅｆ＿ｉｄｃは０に等しく、ｉｎｔｅｒ＿ｖｉｅｗ＿ｆｌａｇは０に等しく、ｖｉｅｗ＿ｉｄはリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中のいずれの値にも等しくない、である。
[0216]自己完全サブビットストリーム抽出技法の場合、すべてのＶＣＬ ＮＡＬユニットおよびフィラーデータＮＡＬユニットが「ビットストリームから除去されるべき」であるときに、以下の条件が追加され得る。条件は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２１であり、ｖｉｅｗ＿ｉｄは「深度に必要」とマークされない、であり得る。サブビットストリーム抽出のための他のステップは、ＭＶＣ＋Ｄにおける現在のサブビットストリーム抽出に関して上述したのと同じであり得る。
[0217]上記では、ＭＶＣ＋Ｄのためのサブビットストリーム抽出モードを実施する例示的な方法について説明した。以下では、ＭＶＣのためのサブビットストリーム抽出モードを実施する例示的な方法について説明する。モードのうちの１つは、現在提案されているＭＶＣ仕様で定義されているサブビットストリーム抽出技法であってもよく、ＭＡＮＥデバイスは、一般に１０個のステップを含む、現在提案されているＭＶＣ仕様で定義されているようなサブビットストリーム抽出技法を実施することができる。ＭＡＮＥデバイスは、（以下が、外部手段によって選択されたモードである場合に）別のサブビットストリーム抽出モードを、サブビットストリーム抽出プロセスに関するいくつかの概論の後で説明される以下の１１個のステップを実施することによって、実施することができる。
[0218]ビューごとに、そのｖｉｅｗ＿ｉｄが「アンカーに必要」、「非アンカーに必要」とマークされる場合、ｖｉｅｗ＿ｉｄは「必要」とマークされる。ベースレイヤのｖｉｅｗ＿ｉｄは常に「必要」とマークされる。サブビットストリーム抽出プロセスの場合、ｐＩｄＴａｒｇｅｔが０〜６３（両端値を含む）の範囲内の任意の値に等しく、ｔＩｄＴａｒｇｅｔが０〜７（両端値を含む）の範囲内の任意の値に等しく、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔがビットストリーム中のビューを識別する任意の１つまたは複数のｖｉｅｗＩｄＴａｒｇｅｔから成る、このサブクローズ中で指定されるプロセスの出力である任意のサブビットストリームが規格に適合し得ることが、ビットストリーム適合の必要条件であり得る。
[0219]上記のように、適合ビットストリームは、ｐｒｉｏｒｉｔｙ＿ｉｄが０に等しく、ｔｅｍｐｏｒａｌ＿ｉｄが０に等しい１つまたは複数のコーディングされたスライスＮＡＬユニットを含む。また、サブビットストリーム抽出プロセスから得られたサブビットストリームのすべての動作点が、適用可能なｌｅｖｅｌ＿ｉｄｃまたはｌｅｖｅｌ＿ｉｄｃ［ｉ］を有するとは限らないことがある。この場合、サブビットストリーム中の各コーディングされたビデオシーケンスは、依然として、付属書類Ａおよび付属書類Ｈにおいて指定されるプロファイルのうちの１つまたは複数に適合しなければならないが、サブクローズＡ．３およびＨ．１０．２においてそれぞれ指定されるレベル制約を満たさないことがある。
[0220]このプロセスへの入力は、変数ｐＩｄＴａｒｇｅｔ（存在するとき）、変数ｔＩｄＴａｒｇｅｔ（存在するとき）、および１つまたは複数のｖｉｅｗＩｄＴａｒｇｅｔの値から成るリストｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ（存在するとき）である。このプロセスの出力はサブビットストリームであり、ＶＯＩｄｘのリストがＶＯＩｄｘＬｉｓｔに値をつける。このサブクローズへの入力としてｐＩｄＴａｒｇｅｔが存在しないとき、ｐＩｄＴａｒｇｅｔは６３に等しいものと推測される。このサブクローズへの入力としてｔＩｄＴａｒｇｅｔが存在しないとき、ｔＩｄＴａｒｇｅｔは７に等しいものと推測される。このサブクローズへの入力としてｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔが存在しないとき、ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中で推測される１つのｖｉｅｗＩｄＴａｒｇｅｔが存在することがあり、ｖｉｅｗＩｄＴａｒｇｅｔの値はベースビューのｖｉｅｗ＿ｉｄに等しいものと推測される。
[0221]以下では、取消し線は、現在提案されている規格と比較した削除を示しており、条件が削除されたときに理解しやすくなるように使用されている。サブビットストリームは、以下の１１個の動作を順番に適用することによって導出される。
[0222]（１）ＶＯＩｄｘＬｉｓｔを空にし、ｍｉｎＶＯＩｄｘをベースビューのＶＯＩｄｘ値にする。（２）ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中に含まれる各ｖｉｅｗＩｄＴａｒｇｅｔに対して、入力としてｖｉｅｗＩｄＴａｒｇｅｔを有するサブクローズＨ．８．５．１において指定されるプロセスを起動する。（３）ｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中に含まれる各ｖｉｅｗＩｄＴａｒｇｅｔに対して、入力としてｖｉｅｗＩｄＴａｒｇｅｔを有するサブクローズＨ．８．５．２において指定されるプロセスを起動する。（４）ビューごとに、そのｖｉｅｗ＿ｉｄが「アンカーに必要」、「非アンカーに必要」とマークされる場合、そして「ｖｉｅｗ＿ｉｄは「必要」とマークされる。
[0224]第７のステップは、「ビットストリームから除去されるべき」とマークされたすべてのＶＣＬ ＮＡＬユニットとフィラーデータＮＡＬユニットとを除去することであり得る。第８のステップは、ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの唯一の値を含むとき、以下のＮＡＬユニット、すなわちｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが１４または１５に等しいすべてのＮＡＬユニット、第１のＳＥＩメッセージが３６〜４４（両端値を含む）の範囲内のｐａｙｌｏａｄＴｙｐｅを有する、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが６に等しいすべてのＮＡＬユニットを除去することであり得る。いくつかの例では、ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの唯一の値を含むとき、サブビットストリームは、ベースビューだけまたはベースビューの時間サブセットだけを含む。
[0225]第９のステップは、ｍａｘＴＩｄを、すべての残存ＶＣＬ ＮＡＬユニットの最大ｔｅｍｐｏｒａｌ＿ｉｄにすることであり得る。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが６に等しく、以下の特性のいずれかを有するＭＶＣスケーラブルネスティングＳＥＩメッセージの一部であるＳＥＩメッセージだけを含むすべてのＮＡＬユニットを除去する：ｏｐｅｒａｔｉｏｎ＿ｐｏｉｎｔ＿ｆｌａｇが０に等しく、ａｌｌ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｉｎ＿ａｕ＿ｆｌａｇが０に等しく、０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｍｉｎｕｓ１（両端値を含む）の範囲内のすべてのｉに対してｓｅｉ＿ｖｉｅｗ＿ｉｄ［ｉ］のいずれも、ＶＯＩｄｘＬｉｓｔ中に含まれるＶＯＩｄｘ値に対応しない、ｏｐｅｒａｔｉｏｎ＿ｐｏｉｎｔ＿ｆｌａｇが１に等しく、ｓｅｉ＿ｏｐ＿ｔｅｍｐｏｒａｌ＿ｉｄがｍａｘＴＩｄより大きいか、または０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｏｐ＿ｍｉｎｕｓ１（両端値を含む）の範囲内のすべてのｉに対してｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］のリストがｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔのサブセットでない（すなわち、０〜ｎｕｍ＿ｖｉｅｗ＿ｃｏｍｐｏｎｅｎｔｓ＿ｏｐ＿ｍｉｎｕｓ１（両端値を含む）の範囲内の任意のｉに対してｓｅｉ＿ｏｐ＿ｖｉｅｗ＿ｉｄ［ｉ］がｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔ中の値に等しいことはトゥーレでない）のいずれかである。
[0226]第１０のステップは、各ビュースケーラビリティ情報ＳＥＩメッセージと各動作点不在ＳＥＩメッセージとを、存在するときに除去することであり得る。第１１のステップは、ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの値を含まないとき、ＶＯＩｄｘＬｉｓｔに含まれる最小のＶＯＩｄｘ値にＶＯＩｄｘが等しいビューが、抽出されたサブビットストリームのベースビューに変換されることであり得る。ベースビューを生成するための主要な処理ステップを概説する告知的手順が、Ｈ．８．５．５において説明される。ＶＯＩｄｘＬｉｓｔが、ｍｉｎＶＯＩｄｘに等しいＶＯＩｄｘの値を含まないとき、上記の動作ステップ１〜９によって得られたサブビットストリームは、付属書類Ａにおいて指定される１つまたは複数のプロファイルに適合するベースビューを含まない。この場合、この動作ステップによって、新しい最小のＶＯＩｄｘ値を有する残存ビューが、付属書類Ａにおいて指定される１つまたは複数のプロファイルに適合する新しいベースビューとなるように変換される。
[0227]図５は、本開示で説明する技法を実施し得る例示的なビデオエンコーダ２０を示すブロック図である。たとえば、ビデオエンコーダ２０は、マルチビュービデオのためのビデオデータを符号化することができる。いくつかの例では、ビデオエンコーダ２０は、いくつかの例として、Ｈ．２６４／ＡＶＣのＭＶＣ拡張、ＭＶＣ＋Ｄ、３Ｄ−ＡＶＣ、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、またはＨＥＶＣに基づくスケーラブルビデオコーディングに従ってビデオデータを符号化することができる。例示のために、本技法は、ＨＥＶＣ規格に関して説明される。次いでビデオエンコーダ２０は、ＭＡＮＥデバイスが受信し、本開示で説明するビットストリーム抽出技法を実行する符号化されたビットストリームを出力することができる。
[0228]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディング（たとえば、イントラ予測符号化）およびインターコーディング（たとえば、インター予測符号化）、ならびに異なるビューからのビデオブロックのビュー間予測符号化を実行することができる。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。ビュー間予測は、別のビューにおけるピクチャからブロックを予測することを指す。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
[0229]図２の例では、ビデオエンコーダ２０は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、参照クチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。フィルタユニット６３は一般に、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表し得る。図５では、フィルタユニット６３はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装されることがあり、その場合、フィルタ処理されていないデータがコーディングループ中で使用され得る。
[0230]図５に示すように、ビデオエンコーダ２０はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベル）に基づいて現在のビデオブロックのために、複数のイントラコーディングモードのうちの１つ、または（ビュー間予測を含む）複数のインターコーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に提供し、参照ピクチャとして使用するための符号化されたブロックを再構成するために加算器６２に提供し得る。
[0231]予測処理ユニット４１内のイントラ予測ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測コーディングを実行する。
[0232]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスに指定することができる。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
[0233]予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0234]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされた（たとえば、インター予測符号化された）スライスにおけるビデオブロックのＰＵの動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを特定する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
[0235]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマおよびクロマの両方の差分成分を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成することができる。
[0236]イントラ予測ユニット４６は、上記のように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測する（イントラ予測符号化する）ことができる。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを判断し得る。いくつかの例では、イントラ予測ユニット４６は、（たとえば、別個の符号化パス中に）様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測ユニット４６は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を判断する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判断するために、様々な符号化されたブロックのひずみおよびレートから比率を計算し得る。
[0237]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。
[0238]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
[0239]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。
[0240]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法もしくは技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化されたビットストリームは、ビデオデコーダ３０に送信されるか、またはビデオデコーダ３０が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0241]逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット４４は、参照ピクチャリストの１つの中の参照ピクチャの１つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２と動き補償ユニット４４とによって参照ブロックとして使用され得る。
[0242]図６は、本開示の技法を実施し得る例示的なビデオデコーダ３０を示すブロック図である。たとえば、ビデオデコーダ３０は、ＭＡＮＥデバイスからサブビットストリームを受信し得る。ビデオデコーダ３０が受信するサブビットストリームは、本開示で説明する技法を利用してビットストリームから抽出されていることがある。ビデオデコーダ３０は、ターゲット出力ビューを再構成するためにサブビットストリームを復号することができる。
[0243]図６の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、フィルタユニット９１と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図５のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0244]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ネットワークエンティティ２９から符号化されたビデオビットストリームを受信することができる。ネットワークエンティティ２９は、たとえば、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、または上記の技法のうちの１つもしくは複数を実施するように構成された他のそのようなデバイスであってもよい。上記のように、本開示で説明する技法の一部は、ネットワークエンティティ２９によって、ビデオデコーダ３０への符号化されたビデオビットストリームの送信の前に実施されてもよい。いくつかのビデオ復号システムでは、ネットワークエンティティ２９およびビデオデコーダ３０は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ２９に関して説明する機能は、ビデオデコーダ３０を備える同じデバイスによって実行され得る。
[0245]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
[0246]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされた（すなわち、Ｂ、またはＰ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。 ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０およびリスト１を構成し得る。
[0247]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックについての予測情報を判断し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット８２は、受信されたシンタックス要素のうちのいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化されたビデオブロックについての動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを判断する。
[0248]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間された値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。
[0249]逆量子化ユニット８６は、ビットストリーム中で提供され、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）（すなわち、逆量子化（de-quantize））する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータを使用して量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断することを含み得る。逆変換ユニット８８は、逆変換（たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセス）を変換係数に適用して、ピクセル領域において残差ブロックを生成する。
[0250]動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ループフィルタ（コーディングループで、またはコーディングループの後のいずれか）も、ピクセル移行を平滑化するか、または他の場合にはビデオ品質を向上させるために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表し得る。図６では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３１などのディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
[0251]図７は、本開示で説明する１つまたは複数の例による例示的な技法を示すフローチャートである。たとえば、ＭＡＮＥデバイスの１つまたは複数のプロセッサは、符号化されたビデオデータのビットストリームを受信することができる（２００）。ビデオエンコーダ２０は、マルチビューコーディングまたはスケーラブルビデオコーディングのためのビデオデータを有するビットストリームを符号化していることがある。ＭＡＮＥデバイスは、ストリーミングサーバなどのビデオエンコーダ２０とビデオデコーダ３０との中間にあるデバイスまたはルーティングデバイス１０４もしくはトランスコーディングデバイス１０６などのネットワーク１００における中間デバイスであり得る。いくつかの例では、１つまたは複数のプロセッサはプロセッサ１１０であり得る。
[0252]１つまたは複数のプロセッサは、複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択することができる（２０２）。サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするためにビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義することができる。各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える。たとえば、ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つである。たとえば、コーディングされたピクチャは、ビューのビューコンポーネント（たとえば、テクスチャビューコンポーネントおよび／もしくは深度ビューコンポーネントまたはレイヤのピクチャ）を備え得る。
[0253]いくつかの例では、１つまたは複数のプロセッサは、外部手段からサブビットストリーム抽出モードを受信し得る。外部手段は、ビデオデコーダ（たとえば、ビデオデコーダ３０）の外部にある、ハードウェアユニットまたはハードウェアユニット上で実行されているソフトウェアユニットであり得る。たとえば、外部手段は、１つまたは複数のプロセッサ上で実行されている、アプリケーション処理インターフェース（ＡＰＩ）に適合するファームウェアまたはソフトウェアであり得る。外部手段は、サブビットストリーム抽出モードをそれぞれ定義する１つまたは複数の変数を設定し、１つまたは複数の変数から値を選択する、ビデオデコーダ（たとえば、ビデオデコーダ３０）の外部にあるユニットであってもよく、この場合、値は入力としてビデオデコーダに提供される。
[0254]たとえば、１つまたは複数のプロセッサは、出力のための抽出がストリーミングサーバによって実行されている場合に、自己完全サブビットストリーム抽出モードを選択することができる。自己完全サブビットストリーム抽出モードは、ターゲット出力ビューを復号するためにビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方が必要とされない場合でも、１つまたは複数のプロセッサがビューのテクスチャビューコンポーネントと深度ビューコンポーネントの両方を出力のために抽出するモードであり得る。
[0255]１つまたは複数のプロセッサは、利用可能な帯域幅、サブビットストリームを受信するデバイスの特性、およびサブビットストリームを受信するデバイスのディスプレイの特性のうちの１つまたは複数に基づいて、第２の異なるサブビットストリーム抽出モード（たとえば、中間的サブビットストリーム抽出モードの一例）を選択することができる。この例では、１つまたは複数のプロセッサは、抽出されるべきビューのビューコンポーネントのためのテクスチャビューコンポーネントのリストを維持し、抽出されるべきビューのビューコンポーネントのための深度ビューコンポーネントの別個のリストを維持することができる。中間的サブビットストリーム抽出モードでは、ターゲット出力ビューを復号するために必要とされるテクスチャビューコンポーネントまたは深度ビューコンポーネントのみが、出力のために抽出される。
[0256]１つまたは複数のプロセッサは、ターゲット出力ビューを復号するために必要とされる最小量のビデオデータを抽出する第３の異なるサブビットストリーム抽出モード（たとえば、最適サブビットストリーム抽出モード）を選択することができる。たとえば、１つまたは複数のプロセッサは、サブビットストリームを受信するデバイスが特定のターゲット出力ビューを要求する場合に、最適サブビットストリーム抽出モードを選択することができる。この例では、１つまたは複数のプロセッサは、ターゲット出力ビューを復号するために必要とされる最小量のデータを出力のために抽出することができ、他のビューを抽出しなくてもよい。
[0257]１つまたは複数のプロセッサは、ビットストリームから、選択されたサブビットストリーム抽出モードによって定義された方法でサブビットストリームを抽出することができる（２０４）。たとえば、１つまたは複数のプロセッサが、ターゲット出力ビューを復号するためにターゲットビューの深度ビューコンポーネントとテクスチャビューコンポーネントの両方が必要とされない場合でも、ビューの深度ビューコンポーネントとテクスチャビューコンポーネントの両方を出力のために抽出することができる自己完全サブビットストリーム抽出モードを利用して、１つまたは複数のプロセッサはサブビットストリームを抽出することができる。別の例として、１つまたは複数のプロセッサが、ターゲット出力ビューを復号するためにターゲットビューの深度ビューコンポーネントが必要とされない場合に、ビューのテクスチャビューコンポーネントのみを出力のために抽出すること、またはターゲット出力ビューを復号するためにビューのテクスチャビューコンポーネントが必要とされない場合に、ビューの深度ビューコンポーネントのみを出力のために抽出することができる中間的サブビットストリーム抽出モードを利用して、１つまたは複数のプロセッサはサブビットストリームを抽出することができる。また別の例として、１つまたは複数のプロセッサが、ターゲット出力ビューを復号するために必要とされる最小量のビデオデータを抽出する最適サブビットストリーム抽出技法を利用して、１つまたは複数のプロセッサはサブビットストリームを抽出することができる。
[0258]ビデオデータが深度データを含まない例（たとえば、ＭＶＣ）およびスケーラブルビデオコーディングのためのものなど、サブビットストリーム抽出モードのさらなる例があり得る。たとえば、１つの例示的なサブビットストリーム抽出モードは、深度データを含まないビデオデータのための自己完全サブビットストリーム抽出モードであってもよく、別の例示的なサブビットストリーム抽出モードは、深度データを含まないビデオデータのための最適サブビットストリーム抽出モードであってもよい。
[0259]深度データを含まないビデオデータのための自己完全サブビットストリーム抽出モードの場合、ＭＡＮＥデバイスは、ターゲット出力ビューまたはレイヤを復号するために必要とされるビューまたはレイヤからのすべてのコーディングされたピクチャを抽出することができる。たとえば、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューからのすべてのビューコンポーネントを抽出することができる。
[0260]深度データを含まないビデオデータのための最適サブビットストリーム抽出モードの場合、ＭＡＮＥデバイスは、ターゲット出力ビューまたはレイヤを復号するために必要とされるビューまたはレイヤからのコーディングされたピクチャのみを抽出することができ、ターゲット出力ビューまたはレイヤを復号するために必要とされないビューまたはレイヤからのコーディングされたピクチャを抽出しなくてもよい。たとえば、ＭＡＮＥデバイスは、ターゲット出力ビューを復号するために必要とされるビューからのビューコンポーネントのみを抽出することができ、ターゲット出力ビューを復号するために必要とされないビューからのビューコンポーネントを抽出しなくてもよい。
[0261]１つの例示的なサブビットストリーム抽出モードは、スケーラブルビデオコーディングのための自己完全サブビットストリーム抽出モードであってもよく、別の例示的なサブビットストリーム抽出モードは、スケーラブルビデオコーディングのための最適サブビットストリーム抽出モードであってもよい。スケーラブルビデオコーディングのための自己完全サブビットストリーム抽出モードの場合、ＭＡＮＥデバイスは、ターゲット出力ビューまたはレイヤを復号するために必要とされるビューまたはレイヤからのすべてのコーディングされたピクチャを抽出することができる。たとえば、ＭＡＮＥデバイスは、ターゲット出力レイヤを復号するためにレイヤが必要とされるときに、レイヤのすべてのピクチャを抽出することができる。
[0262]スケーラブルビデオコーディングのための最適サブビットストリーム抽出モードの場合、ＭＡＮＥデバイスは、ターゲット出力ビューまたはレイヤを復号するために必要とされるビューまたはレイヤからのコーディングされたピクチャのみを抽出することができ、ターゲット出力ビューまたはレイヤを復号するために必要とされないビューまたはレイヤからのコーディングされたピクチャを抽出しなくてもよい。たとえば、ＭＡＮＥデバイスは、ターゲット出力レイヤを復号するために必要とされるレイヤのピクチャのみを抽出することができる。
[0263]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、非一時的である有形コンピュータ可読記憶媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0264]さらに他の例では、本開示は、その上に記憶されたデータ構造を備えるコンピュータ可読媒体を企図し、データ構造は、本開示に一致するコーディングされた符号化されたビットストリームを含み、備える。
[0265]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[0266]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）または他の等価な集積回路もしくはディスクリート論理回路など１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実施に好適な任意の他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内に提供され得、または複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中で十分に実装され得る。
[0267]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記のように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記の１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0268]様々な例について説明してきた。これらおよび他の例は、以下の特許請求の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ビデオデータを処理する方法であって、
符号化されたビデオデータのビットストリームを受信することと、
複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択することと、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える、
前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出することと
を備える方法。
［Ｃ２］ ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、Ｃ１に記載の方法。
［Ｃ３］ サブビットストリーム抽出モードを選択することは、自己完全サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューまたは深度ビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントと深度ビューコンポーネントとを抽出することを備える、Ｃ２に記載の方法。
［Ｃ４］ サブビットストリーム抽出モードを選択することは、中間的サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記中間的サブビットストリーム抽出モードであるときに、
前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされない場合に、前記ビューの深度ビューコンポーネントを抽出しないこと、および
前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされる場合に、前記ビューのすべての利用可能な深度ビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされない場合に、前記ビューのテクスチャビューコンポーネントを抽出しないこと、
のうちの１つを備える、Ｃ２に記載の方法。
［Ｃ５］ 前記ビューから抽出されるべきテクスチャビューのリストを維持することと、
前記ビューから抽出されるべき深度ビューのリストを維持することと
をさらに備え、
テクスチャビューの前記リストは、少なくとも１つのビューのテクスチャビューを含み、深度ビューの前記リストは、前記少なくとも１つのビューの対応する深度ビューを含まないか、または深度ビューの前記リストは、前記少なくとも１つのビューの深度ビューを含み、テクスチャビューの前記リストは、前記少なくとも１つのビューの対応するテクスチャビューを含まず、
すべての利用可能なテクスチャビューコンポーネントを抽出し、深度ビューコンポーネントを抽出しないことは、
テクスチャビューの前記リストで識別されるテクスチャビューにテクスチャビューコンポーネントが属するかどうかを判断することと、
テクスチャビューの前記リストで識別される前記テクスチャビューに前記テクスチャビューコンポーネントが属する場合のみ、前記テクスチャビューコンポーネントを抽出することと、
前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントを抽出するのを、深度ビューの前記リストで識別されない深度ビューに前記深度ビューコンポーネントが属する場合に回避することと
を備え、
すべての利用可能な深度ビューコンポーネントを抽出し、テクスチャビューコンポーネントを抽出しないことは、
深度ビューの前記リストで識別される深度ビューに深度ビューコンポーネントが属するかどうかを判断することと、
深度ビューの前記リストで識別される前記深度ビューに前記深度ビューコンポーネントが属する場合のみ、前記深度ビューコンポーネントを抽出することと、
前記深度ビューコンポーネントに対応するテクスチャビューコンポーネントを抽出するのを、テクスチャビューの前記リストで識別されないテクスチャビューに前記テクスチャビューコンポーネントが属する場合に回避することと
を備える、Ｃ４に記載の方法。
［Ｃ６］ サブビットストリーム抽出モードを選択することは、最適サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントを抽出しないことを備える、Ｃ２に記載の方法。
［Ｃ７］ サブビットストリーム抽出モードを選択することは、自己完全サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出することを備える、Ｃ１に記載の方法。
［Ｃ８］ サブビットストリーム抽出モードを選択することは、最適サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないことを備える、Ｃ１に記載の方法。
［Ｃ９］ 前記サブビットストリーム抽出モードを選択することは、外部手段により、前記サブビットストリーム抽出モードを受信することを備え、前記外部手段は、ビデオデコーダの外部にあるユニットを備え、前記外部手段は、１つまたは複数の変数を設定し、各変数は、サブビットストリーム抽出モードを定義し、前記外部手段は、前記ビデオデコーダによって前記サブビットストリームを復号するために使用され、入力として前記ビデオデコーダに提供される値を前記１つまたは複数の変数から選択する、Ｃ１に記載の方法。
［Ｃ１０］ ビデオデータを処理するためのデバイスであって、
符号化されたビデオデータのビットストリームを受信し、
複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択し、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える、
前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出する
ように構成された１つまたは複数のプロセッサを備えるデバイス。
［Ｃ１１］ ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、Ｃ１０に記載のデバイス。
［Ｃ１２］ 前記１つまたは複数のプロセッサは、自己完全サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューまたは深度ビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントと深度ビューコンポーネントとを抽出するように構成される、Ｃ１１に記載のデバイス。
［Ｃ１３］ 前記１つまたは複数のプロセッサは、中間的サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記中間的サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、
前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされない場合に、前記ビューの深度ビューコンポーネントを抽出しないこと、および
前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされる場合に、前記ビューのすべての利用可能な深度ビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされない場合に、前記ビューのテクスチャビューコンポーネントを抽出しないこと
のうちの１つを行うように構成される、Ｃ１１に記載のデバイス。
［Ｃ１４］ 前記１つまたは複数のプロセッサは、
前記ビューから抽出されるべきテクスチャビューのリストを維持し、
前記ビューから抽出されるべき深度ビューのリストを維持する
ように構成され、
テクスチャビューの前記リストは、少なくとも１つのビューのテクスチャビューを含み、深度ビューの前記リストは、前記少なくとも１つのビューの対応する深度ビューを含まないか、または深度ビューの前記リストは、前記少なくとも１つのビューの深度ビューを含み、テクスチャビューの前記リストは、前記少なくとも１つのビューの対応するテクスチャビューを含まず、
すべての利用可能なテクスチャビューコンポーネントを抽出し、深度ビューコンポーネントを抽出しないために、前記１つまたは複数のプロセッサは、
テクスチャビューの前記リストで識別されるテクスチャビューにテクスチャビューコンポーネントが属するかどうかを判断し、
テクスチャビューの前記リストで識別される前記テクスチャビューに前記テクスチャビューコンポーネントが属する場合のみ、前記テクスチャビューコンポーネントを抽出し、
前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントを抽出するのを、深度ビューの前記リストで識別されない深度ビューに前記深度ビューコンポーネントが属する場合に回避する
ように構成され、
すべての利用可能な深度ビューコンポーネントを抽出し、テクスチャビューコンポーネントを抽出しないために、前記１つまたは複数のプロセッサは、
深度ビューの前記リストで識別される深度ビューに深度ビューコンポーネントが属するかどうかを判断し、
深度ビューの前記リストで識別される前記深度ビューに前記深度ビューコンポーネントが属する場合のみ、前記深度ビューコンポーネントを抽出し、
前記深度ビューコンポーネントに対応するテクスチャビューコンポーネントを抽出するのを、テクスチャビューの前記リストで識別されないテクスチャビューに前記テクスチャビューコンポーネントが属する場合に回避する
ように構成される、Ｃ１３に記載のデバイス。
［Ｃ１５］ 前記１つまたは複数のプロセッサは、最適サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントを抽出しないように構成される、Ｃ１１に記載のデバイス。
［Ｃ１６］ 前記１つまたは複数のプロセッサは、自己完全サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出するように構成される、Ｃ１０記載のデバイス。
［Ｃ１７］ 前記１つまたは複数のプロセッサは、最適サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないように構成される、Ｃ１０に記載のデバイス。
［Ｃ１８］ 前記サブビットストリーム抽出モードを選択するために、前記１つまたは複数のプロセッサは、外部手段により、前記サブビットストリーム抽出モードを受信するように構成され、前記外部手段は、ビデオデコーダの外部にあるユニットを備え、前記外部手段は、１つまたは複数の変数を設定し、各変数は、サブビットストリーム抽出モードを定義し、前記外部手段は、前記ビデオデコーダによって前記サブビットストリームを復号するために使用され、入力として前記ビデオデコーダに提供される値を前記１つまたは複数の変数から選択する、Ｃ１０に記載のデバイス。
［Ｃ１９］ ビデオデータを処理するためのデバイスの１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
符号化されたビデオデータのビットストリームを受信させ、
複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択させ、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える、
前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出させる
命令を記憶したコンピュータ可読記憶媒体。
［Ｃ２０］ ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、Ｃ１９に記載のコンピュータ可読記憶媒体。
［Ｃ２１］ 前記１つまたは複数のプロセッサに、サブビットストリーム抽出モードを選択させる前記命令は、前記１つまたは複数のプロセッサに、自己完全サブビットストリーム抽出モードを選択させる命令を備え、前記１つまたは複数のプロセッサに、前記サブビットストリームを抽出させる前記命令は、前記１つまたは複数のプロセッサに、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出させる命令を備える、Ｃ１９に記載のコンピュータ可読記憶媒体。
［Ｃ２２］ 前記１つまたは複数のプロセッサに、サブビットストリーム抽出モードを選択させる前記命令は、前記１つまたは複数のプロセッサに、最適サブビットストリーム抽出モードを選択させる命令を備え、前記１つまたは複数のプロセッサに、前記サブビットストリームを抽出させる前記命令は、前記１つまたは複数のプロセッサに、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出させ、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出させない命令を備える、Ｃ１９に記載のコンピュータ可読記憶媒体。
［Ｃ２３］ ビデオデータを処理するためのデバイスであって、
符号化されたビデオデータのビットストリームを受信するための手段と、
複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択するための手段と、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームからビューまたはレイヤからのコーディングされたピクチャを抽出する方法を定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備える、
前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出するための手段と
を備えるデバイス。
［Ｃ２４］ ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、Ｃ２３に記載のデバイス。
［Ｃ２５］ サブビットストリーム抽出モードを選択するための前記手段は、自己完全サブビットストリーム抽出モードを選択するための手段を備え、前記サブビットストリームを抽出するための前記手段は、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出するための手段を備える、Ｃ２３に記載のデバイス。
［Ｃ２６］ サブビットストリーム抽出モードを選択するための前記手段は、最適サブビットストリーム抽出モードを選択するための手段を備え、前記サブビットストリームを抽出するための前記手段は、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないための手段を備える、Ｃ２３に記載のデバイス。

Claims (26)

  1. ビデオデータを処理する方法であって、
    符号化されたビデオデータのビットストリームを受信することと、
    複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択することと、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームから抽出されるべきコーディングされたピクチャを有するビューまたはレイヤを定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備え、ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数は、別のビューまたはレイヤにおけるピクチャによりインター予測され、ビューに関する前記サブビットストリーム抽出モードの各々は、テクスチャビューコンポーネントと深度ビューコンポーネントとが抽出される方法を定義する、
    前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出することと
    を備え、
    前記インター予測は、前記ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数を、表示されるべきでない前記別のビューまたはレイヤにおけるピクチャによりインター予測することを含み、
    前記サブビットストリーム抽出モードの各々は抽出モード値を有し、前記抽出モード値に基づいて特定のサブビットストリーム抽出技法が識別される、方法。
  2. ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、請求項１に記載の方法。
  3. サブビットストリーム抽出モードを選択することは、自己完全サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューまたは深度ビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントと深度ビューコンポーネントとを抽出することを備える、請求項２に記載の方法。
  4. サブビットストリーム抽出モードを選択することは、中間的サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記中間的サブビットストリーム抽出モードであるときに、
    前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの深度ビューが必要とされない場合に、前記ビューの深度ビューコンポーネントを抽出しないこと、および
    前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされる場合に、前記ビューのすべての利用可能な深度ビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされない場合に、前記ビューのテクスチャビューコンポーネントを抽出しないこと、のうちの１つを備える、請求項２に記載の方法。
  5. 前記ビューから抽出されるべきテクスチャビューのリストを維持することと、
    前記ビューから抽出されるべき深度ビューのリストを維持することとをさらに備え、
    テクスチャビューの前記リストは、少なくとも１つのビューのテクスチャビューを含み、深度ビューの前記リストは、前記少なくとも１つのビューの対応する深度ビューを含まないか、または深度ビューの前記リストは、前記少なくとも１つのビューの深度ビューを含み、テクスチャビューの前記リストは、前記少なくとも１つのビューの対応するテクスチャビューを含まず、
    すべての利用可能なテクスチャビューコンポーネントを抽出し、深度ビューコンポーネントを抽出しないことは、
    テクスチャビューの前記リストで識別されるテクスチャビューにテクスチャビューコンポーネントが属するかどうかを判断することと、
    テクスチャビューの前記リストで識別される前記テクスチャビューに前記テクスチャビューコンポーネントが属する場合のみ、前記テクスチャビューコンポーネントを抽出することと、
    前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントを抽出するのを、深度ビューの前記リストで識別されない深度ビューに前記深度ビューコンポーネントが属する場合に回避することとを備え、
    すべての利用可能な深度ビューコンポーネントを抽出し、テクスチャビューコンポーネントを抽出しないことは、
    深度ビューの前記リストで識別される深度ビューに深度ビューコンポーネントが属するかどうかを判断することと、
    深度ビューの前記リストで識別される前記深度ビューに前記深度ビューコンポーネントが属する場合のみ、前記深度ビューコンポーネントを抽出することと、
    前記深度ビューコンポーネントに対応するテクスチャビューコンポーネントを抽出するのを、テクスチャビューの前記リストで識別されないテクスチャビューに前記テクスチャビューコンポーネントが属する場合に回避することと
    を備える、請求項４に記載の方法。
  6. サブビットストリーム抽出モードを選択することは、最適サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントを抽出しないことを備える、請求項２に記載の方法。
  7. サブビットストリーム抽出モードを選択することは、自己完全サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出することを備える、請求項１に記載の方法。
  8. サブビットストリーム抽出モードを選択することは、最適サブビットストリーム抽出モードを選択することを備え、前記サブビットストリームを抽出することは、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないことを備える、請求項１に記載の方法。
  9. 前記サブビットストリーム抽出モードを選択することは、外部手段により、前記サブビットストリーム抽出モードを受信することを備え、前記外部手段は、ビデオデコーダの外部にあるユニットを備え、前記外部手段は、１つまたは複数の変数を設定し、各変数は、サブビットストリーム抽出モードを定義し、前記外部手段は、前記ビデオデコーダによって前記サブビットストリームを復号するために使用され、入力として前記ビデオデコーダに提供される値を前記１つまたは複数の変数から選択する、請求項１に記載の方法。
  10. ビデオデータを処理するためのデバイスであって、
    ビデオデータを記憶するように構成されたメモリと、
    集積および論理回路を備える１つまたは複数のプロセッサであって、
    前記メモリから符号化された前記ビデオデータのビットストリームを受信し、
    複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択し、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームから抽出されるべきコーディングされたピクチャを有するビューまたはレイヤを定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備え、ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数は、別のビューまたはレイヤにおけるピクチャによりインター予測され、ビューに関する前記サブビットストリーム抽出モードの各々は、テクスチャビューコンポーネントと深度ビューコンポーネントとが抽出される方法を定義する、
    前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出する
    ように構成された１つまたは複数のプロセッサと
    を備え、
    前記インター予測は、前記ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数を、表示されるべきでない前記別のビューまたはレイヤにおけるピクチャによりインター予測することを含み、
    前記サブビットストリーム抽出モードの各々は抽出モード値を有し、前記抽出モード値に基づいて特定のサブビットストリーム抽出技法が識別される、デバイス。
  11. ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、請求項１０に記載のデバイス。
  12. 前記１つまたは複数のプロセッサは、自己完全サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューまたは深度ビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントと深度ビューコンポーネントとを抽出するように構成される、請求項１１に記載のデバイス。
  13. 前記１つまたは複数のプロセッサは、中間的サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記中間的サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、
    前記ターゲット出力ビューを復号するために前記ビューのテクスチャビューが必要とされる場合に、前記ビューのすべての利用可能なテクスチャビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの深度ビューが必要とされない場合に、前記ビューの深度ビューコンポーネントを抽出しないこと、および
    前記ターゲット出力ビューを復号するために前記ビューの前記深度ビューが必要とされる場合に、前記ビューのすべての利用可能な深度ビューコンポーネントを抽出し、前記ターゲット出力ビューを復号するために前記ビューの前記テクスチャビューが必要とされない場合に、前記ビューのテクスチャビューコンポーネントを抽出しないことのうちの１つを行うように構成される、請求項１１に記載のデバイス。
  14. 前記１つまたは複数のプロセッサは、
    前記ビューから抽出されるべきテクスチャビューのリストを維持し、
    前記ビューから抽出されるべき深度ビューのリストを維持するように構成され、
    テクスチャビューの前記リストは、少なくとも１つのビューのテクスチャビューを含み、深度ビューの前記リストは、前記少なくとも１つのビューの対応する深度ビューを含まないか、または深度ビューの前記リストは、前記少なくとも１つのビューの深度ビューを含み、テクスチャビューの前記リストは、前記少なくとも１つのビューの対応するテクスチャビューを含まず、
    すべての利用可能なテクスチャビューコンポーネントを抽出し、深度ビューコンポーネントを抽出しないために、前記１つまたは複数のプロセッサは、
    テクスチャビューの前記リストで識別されるテクスチャビューにテクスチャビューコンポーネントが属するかどうかを判断し、
    テクスチャビューの前記リストで識別される前記テクスチャビューに前記テクスチャビューコンポーネントが属する場合のみ、前記テクスチャビューコンポーネントを抽出し、
    前記テクスチャビューコンポーネントに対応する深度ビューコンポーネントを抽出するのを、深度ビューの前記リストで識別されない深度ビューに前記深度ビューコンポーネントが属する場合に回避するように構成され、
    すべての利用可能な深度ビューコンポーネントを抽出し、テクスチャビューコンポーネントを抽出しないために、前記１つまたは複数のプロセッサは、
    深度ビューの前記リストで識別される深度ビューに深度ビューコンポーネントが属するかどうかを判断し、
    深度ビューの前記リストで識別される前記深度ビューに前記深度ビューコンポーネントが属する場合のみ、前記深度ビューコンポーネントを抽出し、
    前記深度ビューコンポーネントに対応するテクスチャビューコンポーネントを抽出するのを、テクスチャビューの前記リストで識別されないテクスチャビューに前記テクスチャビューコンポーネントが属する場合に回避するように構成される、請求項１３に記載のデバイス。
  15. 前記１つまたは複数のプロセッサは、最適サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために必要とされるビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューのテクスチャビューコンポーネントおよび深度ビューコンポーネントを抽出しないように構成される、請求項１１に記載のデバイス。
  16. 前記１つまたは複数のプロセッサは、自己完全サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出するように構成される、請求項１０に記載のデバイス。
  17. 前記１つまたは複数のプロセッサは、最適サブビットストリーム抽出モードを選択するように構成され、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記１つまたは複数のプロセッサは、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないように構成される、請求項１０に記載のデバイス。
  18. 前記サブビットストリーム抽出モードを選択するために、前記１つまたは複数のプロセッサは、外部手段により、前記サブビットストリーム抽出モードを受信するように構成され、前記外部手段は、ビデオデコーダの外部にあるユニットを備え、前記外部手段は、１つまたは複数の変数を設定し、各変数は、サブビットストリーム抽出モードを定義し、前記外部手段は、前記ビデオデコーダによって前記サブビットストリームを復号するために使用され、入力として前記ビデオデコーダに提供される値を前記１つまたは複数の変数から選択する、請求項１０に記載のデバイス。
  19. ビデオデータを処理するためのデバイスの１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに、
    符号化されたビデオデータのビットストリームを受信させ、
    複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択させ、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームから抽出されるべきコーディングされたピクチャを有するビューまたはレイヤを定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備え、ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数は、別のビューまたはレイヤにおけるピクチャによりインター予測され、ビューに関する前記サブビットストリーム抽出モードの各々は、テクスチャビューコンポーネントと深度ビューコンポーネントとが抽出される方法を定義する、
    前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出させる命令を記憶し、
    前記インター予測は、前記ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数を、表示されるべきでない前記別のビューまたはレイヤにおけるピクチャによりインター予測することを含み、
    前記サブビットストリーム抽出モードの各々は抽出モード値を有し、前記抽出モード値に基づいて特定のサブビットストリーム抽出技法が識別される、非一時的コンピュータ可読記憶媒体。
  20. ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
  21. 前記１つまたは複数のプロセッサに、サブビットストリーム抽出モードを選択させる前記命令は、前記１つまたは複数のプロセッサに、自己完全サブビットストリーム抽出モードを選択させる命令を備え、前記１つまたは複数のプロセッサに、前記サブビットストリームを抽出させる前記命令は、前記１つまたは複数のプロセッサに、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出させる命令を備える、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
  22. 前記１つまたは複数のプロセッサに、サブビットストリーム抽出モードを選択させる前記命令は、前記１つまたは複数のプロセッサに、最適サブビットストリーム抽出モードを選択させる命令を備え、前記１つまたは複数のプロセッサに、前記サブビットストリームを抽出させる前記命令は、前記１つまたは複数のプロセッサに、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出させ、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出させない命令を備える、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
  23. ビデオデータを処理するためのデバイスであって、
    符号化されたビデオデータのビットストリームを受信するための手段と、
    複数のサブビットストリーム抽出モードからサブビットストリーム抽出モードを選択するための手段と、ここにおいて、前記サブビットストリーム抽出モードの各々は、ターゲット出力ビューまたはターゲット出力レイヤの復号を可能にするために、前記ビットストリームから抽出されるべきコーディングされたピクチャを有するビューまたはレイヤを定義し、ここにおいて、各コーディングされたピクチャは、アクセスユニット内のビューまたはレイヤの１つまたは複数のビデオコーディングレイヤネットワークアブストラクションレイヤ（ＶＣＬ ＮＡＬ）ユニットを備え、ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数は、別のビューまたはレイヤにおけるピクチャによりインター予測され、ビューに関する前記サブビットストリーム抽出モードの各々は、テクスチャビューコンポーネントと深度ビューコンポーネントとが抽出される方法を定義する、
    前記ビットストリームから、前記選択されたサブビットストリーム抽出モードによって定義された前記方法でサブビットストリームを抽出するための手段と
    を備え、
    前記インター予測は、前記ビューまたはレイヤにおける前記コーディングされたピクチャのうちの１つまたは複数を、表示されるべきでない前記別のビューまたはレイヤにおけるピクチャによりインター予測することを含み、
    前記サブビットストリーム抽出モードの各々は抽出モード値を有し、前記抽出モード値に基づいて特定のサブビットストリーム抽出技法が識別される、デバイス。
  24. ビューの各コーディングされたピクチャは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントのうちの１つを備える、請求項２３に記載のデバイス。
  25. サブビットストリーム抽出モードを選択するための前記手段は、自己完全サブビットストリーム抽出モードを選択するための手段を備え、前記サブビットストリームを抽出するための前記手段は、前記選択されたサブビットストリーム抽出モードが前記自己完全サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューまたはレイヤを復号するために必要とされる前記ビューまたはレイヤからのすべてのコーディングされたピクチャを抽出するための手段を備える、請求項２３に記載のデバイス。
  26. サブビットストリーム抽出モードを選択するための前記手段は、最適サブビットストリーム抽出モードを選択するための手段を備え、前記サブビットストリームを抽出するための前記手段は、前記選択されたサブビットストリーム抽出モードが前記最適サブビットストリーム抽出モードであるときに、前記ターゲット出力ビューを復号するために必要とされる前記ビューまたはレイヤからのコーディングされたピクチャのみを抽出し、前記ターゲット出力ビューを復号するために必要とされない前記ビューまたはレイヤからのコーディングされたピクチャを抽出しないための手段を備える、請求項２３に記載のデバイス。
JP2015534815A 2012-10-01 2013-10-01 マルチビュー、３次元（３ｄ）およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出 Expired - Fee Related JP6242904B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261708522P 2012-10-01 2012-10-01
US61/708,522 2012-10-01
US14/042,524 2013-09-30
US14/042,524 US9479779B2 (en) 2012-10-01 2013-09-30 Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
PCT/US2013/062893 WO2014055537A1 (en) 2012-10-01 2013-10-01 Sub-bitstream extraction for multiview, three-dimensional (3d) and scalable video bitstreams

Publications (3)

Publication Number Publication Date
JP2015536100A JP2015536100A (ja) 2015-12-17
JP2015536100A5 JP2015536100A5 (ja) 2017-01-26
JP6242904B2 true JP6242904B2 (ja) 2017-12-06

Family

ID=50384786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015534815A Expired - Fee Related JP6242904B2 (ja) 2012-10-01 2013-10-01 マルチビュー、３次元（３ｄ）およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出

Country Status (5)

Country Link
US (1) US9479779B2 (ja)
EP (1) EP2904809A1 (ja)
JP (1) JP6242904B2 (ja)
CN (1) CN104798377B (ja)
WO (1) WO2014055537A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284858B2 (en) 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
US10264286B2 (en) 2014-06-26 2019-04-16 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US10109100B2 (en) * 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
EP3509308A1 (en) 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
CN115715466A (zh) 2020-05-22 2023-02-24 抖音视界有限公司 子比特流提取处理中的填充符有效载荷

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744284B (zh) * 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US20120050475A1 (en) * 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
US9451233B2 (en) * 2010-04-14 2016-09-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for 3D scene representation
US9226045B2 (en) 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
TW201223249A (en) * 2010-09-24 2012-06-01 Qualcomm Inc Coding stereo video data
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US20130113882A1 (en) 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9973749B2 (en) 2012-01-20 2018-05-15 Nokia Technologies Oy Method for video coding and an apparatus, a computer-program product, a system, and a module for the same

Also Published As

Publication number Publication date
WO2014055537A1 (en) 2014-04-10
EP2904809A1 (en) 2015-08-12
US20140092213A1 (en) 2014-04-03
CN104798377B (zh) 2018-07-03
US9479779B2 (en) 2016-10-25
CN104798377A (zh) 2015-07-22
JP2015536100A (ja) 2015-12-17

Similar Documents

Publication Publication Date Title
JP6400660B2 (ja) Ｈｅｖｃおよび拡張のためのビデオパラメータセット
JP6549145B2 (ja) マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用
JP6728074B2 (ja) マルチレイヤビデオコーディング
JP6545722B2 (ja) パラメータセットにおいて異なる数のビデオ信号情報シンタックス構造を選択的にシグナリングするためのシステムおよび方法
JP6513650B2 (ja) ビデオコーディングのための復号ピクチャバッファ動作
JP6158422B2 (ja) アラインされていないｉｒａｐピクチャを含み得るマルチレイヤビットストリームのクロスレイヤｐｏｃアラインメント
JP6377623B2 (ja) ビデオコーディングにおけるターゲット出力レイヤ
US9525883B2 (en) Cross-layer alignment of intra random access point pictures
JP6242904B2 (ja) マルチビュー、３次元（３ｄ）およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出
JP6779782B2 (ja) Ｍｖ−ｈｅｖｃにおけるビュー間依存タイプ
JP2018042265A (ja) マルチレイヤビデオコーディングのための多重解像度復号ピクチャバッファ管理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161209

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R150 Certificate of patent or registration of utility model

Ref document number: 6242904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees