JP6370898B2 - レイヤを横切るピクチャパーティションに対するビットストリームの制限 - Google Patents

レイヤを横切るピクチャパーティションに対するビットストリームの制限 Download PDF

Info

Publication number
JP6370898B2
JP6370898B2 JP2016525810A JP2016525810A JP6370898B2 JP 6370898 B2 JP6370898 B2 JP 6370898B2 JP 2016525810 A JP2016525810 A JP 2016525810A JP 2016525810 A JP2016525810 A JP 2016525810A JP 6370898 B2 JP6370898 B2 JP 6370898B2
Authority
JP
Japan
Prior art keywords
layer
layers
per picture
picture
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016525810A
Other languages
English (en)
Other versions
JP2016529782A5 (ja
JP2016529782A (ja
Inventor
ラパカ、クリシュナカンス
ワン、イェ−クイ
ラマスブラモニアン、アダルシュ・クリシュナン
チェン、ジャンレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016529782A publication Critical patent/JP2016529782A/ja
Publication of JP2016529782A5 publication Critical patent/JP2016529782A5/ja
Application granted granted Critical
Publication of JP6370898B2 publication Critical patent/JP6370898B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年７月１２日に出願された米国仮出願第６１／８４５，９２８号の利益を主張する。
[0002]本開示は、ビデオコーディングに関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）規格によって規定された規格、およびそのような規格の拡張に記載されているビデオコーディング技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれる場合もある、ビデオブロックに区分化される場合がある。ピクチャのイントラコーディングされた（Ｉ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロックにおける参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロックにおける参照サンプルに対する空間予測、または他の参照ピクチャ内の参照サンプルに対する時間予測を使用することができる。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。
[0005]空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データはコード化ブロックと予測ブロックとの間の差分を示す。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数をもたらす場合があり、その残差変換係数は、次いで量子化される場合がある。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査される場合があり、なお一層の圧縮を達成するためにエントロピーコーディングが適用される場合がある。
[0006]ビデオデータのレイヤを横切るピクチャの区分化に対するビットストリームの制限または制約が説明される。いくつかの例では、複数のレイヤのレイヤごとのタイルの数は、レイヤのタイルの最大数に基づいて制約される。レイヤのタイルの最大数は、レイヤ内のピクチャについての空間解像度に基づいて決定される場合がある。いくつかの例では、複数のレイヤのレイヤごとのタイルの数は、レイヤのタイルの最大数よりも大きくない。いくつかの例では、複数のレイヤのタイルの数の合計は、複数のレイヤのタイルの最大数の合計よりも大きくない。
[0007]いくつかの例では、第２のレイヤについての第２の最大コーディングユニット（ＬＣＵ）サイズは、第１のレイヤについての第１ のＬＣＵサイズに基づいて制約される。ＬＣＵはコーディングツリーブロック（ＣＴＢ）と呼ばれる場合もある。いくつかの例では、第２のレイヤについての第２のＬＣＵサイズは、第１のＬＣＵサイズに等しいように制約される。いくつかの例では、第２のレイヤは、たとえば、信号対ノイズ（ＳＮＲ）スケーラビリティのための第１のレイヤについてのアクティブ参照レイヤである。
[0008]本明細書に記載されるビットストリームの制限は、いくつかの例では、複数のレイヤを含むビデオデータの、より効率的な、均等に分散された、同期化された並列処理を容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、ビデオコーデック内の並列処理の簡略化されたパイプライン化の設計と実装とを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、たとえば、レイヤ間予測またはフィルタリングのための、異なるレイヤを横切るコロケートされたコーディングユニットのより簡単なマッピングを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、異なるレイヤを横切るタイルのより柔軟な使用を容易にすることができる。
[0009]一例では、複数のレイヤを備えるビデオデータを復号する方法は、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することを備える。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。方法は、復号されたシンタックス情報によって定義された、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを復元することをさらに備える。
[0010]別の例では、複数のレイヤを備えるビデオデータを符号化する方法は、ビデオデータの複数のレイヤの各レイヤ内のピクチャをレイヤのピクチャ当たりのいくつかのタイルに区分化することを備える。レイヤのピクチャ当たりのいくつかのタイルにピクチャを区分化することは、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいてレイヤのピクチャ当たりのタイルの最大数を決定することと、レイヤのピクチャ当たりのタイルの最大数に基づいてレイヤのピクチャ当たりのタイルの数を制約することとを備える。方法は、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて複数のレイヤの各レイヤ内のピクチャを符号化することと、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を符号化することとをさらに備える。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。
[0011]別の例では、装置は、複数のレイヤを備えるビデオデータを復号するように構成されたビデオデコーダを備える。ビデオデコーダは、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、符号化ビデオビットストリームからのビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号するように構成される。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのピクチャ当たりのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。１つまたは複数のプロセッサは、復号されたシンタックス情報によって定義された、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを復元するようにさらに構成される。
[0012]別の例では、装置は、複数のレイヤを備えるビデオデータを符号化するように構成されたビデオエンコーダを備える。ビデオエンコーダは、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、ビデオデータの複数のレイヤの各レイヤ内のピクチャをレイヤのピクチャ当たりのいくつかのタイルに区分化するように構成される。レイヤのピクチャ当たりのいくつかのタイルにピクチャを区分化するために、１つまたは複数のプロセッサは、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいてレイヤのピクチャ当たりのタイルの最大数を決定することと、レイヤのピクチャ当たりのタイルの最大数に基づいてレイヤのピクチャ当たりのタイルの数を制約することとを行うように構成される。１つまたは複数のプロセッサは、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて複数のレイヤの各レイヤ内のピクチャを、符号化ビットストリーム内に符号化することと、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を、符号化ビットストリーム内に符号化することとを行うようにさらに構成され、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。
[0013]別の例では、複数のレイヤを備えるビデオデータをコーディングするように構成された装置は、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングするための手段を備える。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。装置は、コーディングされたシンタックス情報によって定義された、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを処理するための手段をさらに備える。
[0014]別の例では、コンピュータ可読記憶媒体は、実行されたとき、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングすることをビデオコーダの１つまたは複数のプロセッサに行わせる命令を記憶している。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのピクチャ当たりのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。命令は、コーディングされたシンタックス情報によって定義された、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを処理することを１つまたは複数のプロセッサにさらに行わせる。
[0015]別の例では、装置は、複数のレイヤを備えるビデオデータをコーディングするように構成されたビデオコーダを備える。ビデオコーダは、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、ビデオデータの第１のレイヤについての第１の最大コーディングユニット（ＬＣＵ）サイズを指定する第１のシンタックス情報と、ビデオデータの第２のレイヤについての第２のＬＣＵサイズを指定する第２のシンタックス情報とをコーディングするように構成される。第１および第２のシンタックス情報は、符号化ビデオビットストリーム内で符号化される。第２のＬＣＵサイズは、第１のＬＣＵサイズに基づいて制約される。１つまたは複数のプロセッサは、ビデオデータの第１および第２のレイヤについての第１および第２のＬＣＵサイズに従って、ビデオデータの第１および第２のレイヤ内のピクチャを処理するようにさらに構成される。
[0016]本開示の１つまたは複数の例の詳細は、添付図面および下記の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
[0017]本開示に記載される技法を利用することができる、例示的なビデオ符号化および復号システムを示すブロック図。 [0018]スケーラブルビデオコーディング（ＳＶＣ）のための様々なスケーラブルな次元を示す概念図。 [0019]ＳＶＣコーディング構造の一例を示す概念図。 [0020]例示的なアクセスユニット（ＡＵ）を示す概念図。 [0021]例示的なマルチビュー符号化順序またはマルチビュー復号順序を示す概念図。 [0022]マルチビュービデオコーディングのための例示的な時間予測およびビュー間予測のパターンを示す概念図。 [0023]タイルに区分化された例示的なピクチャを示す概念図。 [0024]ピクチャの波面並列処理（ＷＰＰ）の一例を示す概念図。 [0025]様々な数のタイルを有するビデオデータの様々なレイヤを示す概念図。 様々な数のタイルを有するビデオデータの様々なレイヤを示す概念図。 [0026]ビデオデータの様々なレイヤを横切るタイルおよびＷＰＰの共存を示す概念図。 ビデオデータの様々なレイヤを横切るタイルおよびＷＰＰの共存を示す概念図。 [0027]様々な最大コーディングユニットサイズについての処理時間およびオーバーヘッドの一例を示す概念図。 [0028]様々な最大コーディングユニットサイズを有するビデオデータの様々なレイヤ内の例示的なピクチャを示す概念図。 [0029]本開示に記載される制限または制約に従ってビデオビットストリームを符号化する例示的なビデオエンコーダを示すブロック図。 [0030]本開示に記載される制限または制約に従って符号化されたビデオビットストリームを復号する例示的なビデオデコーダを示すブロック図。 [0031]本開示に記載される技法に従って複数のレイヤ内のピクチャをいくつかのタイルに区分化し、ビデオビットストリームを符号化するための例示的な方法を示す流れ図。 [0032]本開示に記載される技法に従って複数のレイヤ内のピクチャをいくつかのタイルに区分化し、ビデオビットストリームを符号化するための別の例示的な方法を示す流れ図。 [0033]レイヤのいくつかのタイルに区分化されたピクチャを復元するための例示的な方法を示す流れ図。 [0034]本開示に記載される技法に従ってＬＣＵサイズを制約し、ビデオビットストリームを符号化するための例示的な方法を示す流れ図。 [0035]制約されたＬＣＵサイズを有する複数のレイヤ内のピクチャを復元する例示的な方法を示す流れ図。
[0036]一般に、本開示は、複数のレイヤを備えるビデオデータをコーディングするための技法を記載する。いくつかの例では、ビデオコーダは、スケーラブルビデオコーディングのために複数のレイヤをコーディングすることに、本開示の技法を適用することができる。いくつかの例では、ビデオコーダは、（深度の有無にかかわらず）マルチビュービデオコーディング中に、マルチビュービデオデータの複数のビューを備える複数のレイヤをコーディングすることに、本開示の技法を適用することができる。いくつかの例では、マルチビューコーディングは、３次元ビデオすなわち３Ｄビデオのコーディングを含む場合があり、３Ｄビデオコーディングと呼ばれる場合がある。本開示の技法は、２つ以上のレイヤを含むビデオデータの任意のコーディング、またはそのようなビデオデータをコーディングするためのコーデックに適用可能であり得る。
[0037]より詳細には、本開示は、最大コーディングユニット（ＬＣＵ）もしくはタイルなどへのピクチャの区分化、および／またはビデオデータのレイヤを横切る波面並列処理（ＷＰＰ）などのピクチャ処理技法に対する、ビットストリームの制限または制約に関する。いくつかの例では、ビデオコーダは、第１のレイヤ、たとえばベースレイヤが、参照レイヤとして第１のレイヤを使用する第２のレイヤ、たとえば拡張レイヤよりも大きい数のピクチャ当たりのタイルを含む場合がないように、制約されたビットストリームをコーディングする、たとえば制約されたビットストリーム内のシンタックス情報をコーディングする、たとえば、ビデオエンコーダが符号化するか、またはビデオデコーダが復号する。いくつかの例では、ビデオコーダは、タイルまたはＷＰＰのうちの一方が第１のレイヤについて使用可能である場合、あるいはタイルまたはＷＰＰのうちの他方が第２のレイヤについて使用可能でない場合があるように、制約されたビットストリーム、たとえばビットストリーム内のシンタックス情報をコーディングする。同様に、第１のレイヤは、拡張レイヤであり得る第２のレイヤについての参照レイヤ、たとえばベースレイヤであり得る。
[0038]いくつかの例では、ビデオコーダは、タイル境界を横切るフィルタリング、たとえばループフィルタリングが、ビデオデータ内の複数の、たとえばすべてのレイヤについて許可または禁止されるように、制約されたビットストリームをコーディングする。いくつかの例では、ビデオコーダは、たとえばＳＮＲスケーラビリティのために、所与のレイヤが、その１つまたは複数のアクティブ参照レイヤのいずれとも同じＬＣＵサイズをもたなければならないように、制約されたビットストリームをコーディングする。ＬＣＵは、コーディングツリーブロック（ＣＴＢ）またはツリーブロックと呼ばれる場合もある。
[0039]いくつかの例では、ビデオコーダは、レイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて制約されるように、制約されたビットストリームをコーディングする。レイヤのピクチャ当たりのタイルの最大数は、たとえば、ビデオエンコーダにより、レイヤ内のピクチャについての空間解像度、またはティア情報およびレベル情報に基づいて決定される場合がある。いくつかの例では、複数のレイヤのレイヤごとのタイルの数は、レイヤのタイルの最大数よりも大きくない。いくつかの例では、複数のレイヤのタイルの数の合計は、複数のレイヤのタイルの最大数の合計よりも大きくない。
[0040]本明細書に記載されるビットストリームの制限は、いくつかの例では、複数のレイヤを含むビデオデータの、より効率的な、均等に分散された、同期化された並列処理を容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、ビデオコーデック内の並列処理の簡略化されたパイプライン化の設計と実装とを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、たとえば、レイヤ間予測またはフィルタリングのための、異なるレイヤを横切るコロケートされたコーディングユニットのより簡単なマッピングを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、異なるレイヤを横切るタイルのより柔軟な使用を容易にすることができる。
[0041]ビットストリームの制限または制約は、ビデオコーディング規格によって規定される場合がある。そのような場合、規格に準拠するビデオビットストリームは、規格において規定されたように制限または制約されなければならない。さらに、規格に従ってビデオデータを符号化するために、ビデオエンコーダは、規格によって規定されたように制限または制約されたビデオビットストリームを符号化し、したがって規格に準拠する。規格に従ってビデオデータを復号するように構成されたビデオデコーダは、規格によって規定されたように制限または制約されたビデオビットストリームを復号するように構成され、規格に従って制限または制約されていないビデオビットストリームを正確に復号しない場合がある。
[0042]本明細書に記載される技法は、１つまたは複数のビデオコーディング規格と連携して使用される場合がある。例示的なビデオコーディング規格には、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４が含まれる。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。
[0043]最近、新しいビデオコーディング規格、すなわち高効率ビデオコーディング（ＨＥＶＣ）の設計が、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）によって確定された。ＨＥＶＣ規格のドラフトは、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐから入手可能である。ＨＥＶＣ規格の上記のドラフトについての全文引用は、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ１０（ｆｏｒ ＦＤＩＳ＆Ｌａｓｔ Ｃａｌｌ）」、ＪＣＴ−ＶＣ ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、第１２回会合：ジュネーブ、スイス、２０１３年１月１４〜２３日である。
[0044]ＳＨＶＣと称するＨＥＶＣに対するスケーラブル拡張は、ＪＣＴ−ＶＣによって開発されている。以下でＳＨＶＣ ＷＤ１と呼ばれるＳＨＶＣの最近のワーキングドラフト（ＷＤ）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００８−ｖ１．ｚｉｐから入手可能である。ＳＨＶＣのテストモデルの記述は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｍ１００７−ｖ３．ｚｉｐから入手可能である。
[0045]ＨＥＶＣに対するマルチビュー拡張、すなわちＭＶ−ＨＥＶＣも、ＪＣＴ−３Ｖによって開発されている。以下でＭＶ−ＨＥＶＣ ＷＤ３と呼ばれるＭＶ−ＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／３＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｃ１００４−ｖ４．ｚｉｐから入手可能である。
[0046]現在、ＶＣＥＧおよびＭＰＥＧの３Ｄビデオコーディング共同研究部会（ＪＣＴ−３Ｃ）は、ＨＥＶＣに基づく３ＤＶ規格を開発中であり、そのための規格化作業の一部はＭＶ−ＨＥＶＣの規格化を含み、規格化作業の別の一部は、ＨＥＶＣに基づく３Ｄビデオコーディング（３ＤＶ）（３Ｄ−ＨＥＶＣ）の規格化を含む。３Ｄ−ＨＥＶＣでは、コーディングユニット／予測ユニットレベルにおけるコーディングツールを含む新しいコーディングツールが、テクスチャビューと深度ビューの両方について含められ、サポートされ得る。最近の３Ｄ−ＨＥＶＣの参照ソフトウェアテストモデル（３Ｄ−ＨＴＭ）は、以下のリンクからダウンロードされ得る：ｈｔｔｐｓ：／／ｈｅｖｃ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿３ＤＶＣＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＴＭ−７．０／。
[0047]３Ｄ−ＨＥＶＣの最近の参照ソフトウェア記述ならびにワーキングドラフトについての全文引用は、以下の通りである：Ｔｅｃｈら、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ４」、ＪＣＴ３Ｖ−Ｄ１００５＿ｓｐｅｃ＿ｖ１、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の３Ｄビデオコーディング拡張開発共同研究部会、第４回会合：インチョン、韓国、２０１３年４月２０〜２６日。この３Ｄ−ＨＥＶＣの参照ソフトウェア記述およびワーキングドラフトは、以下のリンクからダウンロードされ得る：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／４＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴ３Ｖ−Ｄ１００５−ｖ１．ｚｉｐ。
[0048]本開示に記載される技法は、たとえば、ＨＥＶＣのＳＨＶＣ拡張、ＭＶ−ＨＥＮＶ拡張、もしくは３Ｄ−ＨＥＶＣ拡張、またはＨ．２６４のＭＶＣ拡張もしくはＳＶＣ拡張に従って動作するビデオコーダによって実施される場合がある。しかしながら、本開示に記載される技法は、それらの規格に限定されず、本明細書に記載される他のビデオコーディング規格もしくは拡張、または、複数のレイヤを含むビデオデータをコーディングするために提供される規格を含む、本明細書において言及されない他のビデオコーディング規格もしくは拡張に拡張される場合がある。
[0049]図１は、本開示に記載される技法を利用することができる例示的なビデオ符号化および復号システム１０を示すブロック図である。たとえば、システム１０はソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２および宛先デバイス１４は、本開示に記載される技法を実施するように構成される。いくつかの例では、システム１０は、たとえば、ＷＤ１０およびその拡張に記載されたように、たとえばＭＶ−ＨＥＶＣ ＷＤ３、ＳＨＶＣ ＷＤ１、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ４」などに記載されている拡張などのＨＥＶＣ規格に従って符号化されるビデオデータなどの符号化ビデオデータの符号化、送信、記憶、復号、および／または提示をサポートするように構成される場合がある。しかしながら、本開示に記載される技法は、他のビデオコーディング規格または他の拡張に適用可能であり得る。
[0050]図１に示されたように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備える場合がある。場合によっては、ソースデバイス１２および宛先デバイス１４はワイヤレス通信に対応する場合がある。
[0051]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信することができる。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備える場合がある。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするために通信媒体を備える場合がある。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信される場合がある。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレスまたは有線の通信媒体を備える場合がある。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成する場合がある。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る任意の他の機器を含む場合がある。
[0052]いくつかの例では、符号化データは、ソースデバイス１２からストレージデバイス３６に出力される場合がある。同様に、符号化データは、宛先デバイス１４によってストレージデバイス３６からアクセスされる場合がある。ストレージデバイス３６は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散された、またはローカルにアクセスされるデータ記憶媒体のいずれかを含む場合がある。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化ビデオを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応する場合がある。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３６から記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化ビデオデータを記憶し、符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブが含まれる。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を介して、符号化ビデオデータにアクセスすることができる。これには、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適した、それらの両方の組合せが含まれ得る。ストレージデバイス３６からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0053]本開示の技法は、もちろん、ワイヤレスの用途または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他のアプリケーションなどの、様々なマルチメディアアプリケーションのいずれかをサポートするビデオコーディングに適用される場合がある。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどのアプリケーションをサポートするために、一方向または双方向のビデオ送信をサポートするように構成される場合がある。
[0054]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含む場合がある。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含む場合がある。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き電話またはビデオ電話を形成することができる。しかしながら、本開示に記載される技法は、概してビデオコーディングに適用可能であり得るし、ワイヤレスおよび／または有線のアプリケーションに適用される場合がある。
[0055]キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化される場合がある。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して、宛先デバイス１４に直接送信される場合がある。符号化ビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのために、ストレージデバイス３６に記憶される場合がある。
[0056]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含む場合がある。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して、および／またはストレージデバイス３６から、符号化ビデオデータを受信する。リンク１６を介して通信されるか、またはストレージデバイス３６上に供給された符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０などのビデオデコーダが使用するためにビデオエンコーダ２０によって生成された、本明細書ではシンタックス要素とも呼ばれる、様々なシンタックス情報を含む場合がある。そのようなシンタックス情報は、通信媒体上で送信されるか、記憶媒体に記憶されるか、またはファイルサーバに記憶される符号化ビデオデータとともに含まれる場合がある。
[0057]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるか、または宛先デバイス１４の外部にあり得る。いくつかの例では、宛先デバイス１４は、一体化されたディスプレイデバイスを含む場合があり、外部ディスプレイデバイスとインターフェースするように構成される場合もある。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備える場合がある。
[0058]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中のＨＥＶＣ規格、ならびに、たとえばＭＶ−ＨＥＶＣ、ＳＨＶＣ、および３Ｄ−ＨＥＶＣなどのＨＥＶＣ規格の拡張などのビデオ圧縮規格に従って動作することができる。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0059]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、各々オーディオエンコーダおよびオーディオデコーダと統合される場合があり、共通のデータストリームまたは別個のデータストリーム内でオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアとソフトウェアとを含む場合がある。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠する場合がある。
[0060]ビデオエンコーダ２０およびビデオデコーダ３０は、各々１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装される場合がある。本技法がソフトウェアに部分的に実装されるとき、デバイスは、ソフトウェアに対する命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用して、ハードウェアにおいて命令を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれる場合があり、そのいずれかは、それぞれのデバイス内の複合エンコーダ／デコーダ（コーデック）の一部として統合される場合がある。ビデオエンコーダ２０およびビデオデコーダ３０は、各々、概して、上述されたように、ＨＥＶＣ ＷＤ１０、ＭＶ−ＨＥＶＣ ＷＤ３、ＳＨＶＣ ＷＤ１、および／もしくは「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ４」、または本開示に記載される技法が有用であり得る他の同様の規格もしくは拡張に適合して動作することができる。
[0061]概して、ビデオフレームまたはピクチャは、ルーマサンプルとクロマサンプルの両方を含む、ＣＴＢとも呼ばれる一連のツリーブロックまたはＬＣＵに分割される場合がある。ＨＥＶＣコーディングプロセスにおけるＬＣＵまたはＣＴＢは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分化される場合がある。各ＬＣＵは、４分木に従ってコーディングユニット（ＣＵ）に分割される場合がある。たとえば、４分木のルートノードとしてのＣＴＵは、４つの子ノードに分割される場合があり、各子ノードは、次に親ノードとなる場合があり、別の４つの子ノードに分割される場合がある。最終的な分割されない子ノードは、４分木のリーフノードとして、コーディングノード、すなわちコード化ビデオブロックを備える。コード化ビットストリームに関連付けられたシンタックスデータは、ツリーブロックが分割され得る最大回数を定義することができ、コーディングノードの最小サイズも定義することができる。
[0062]ＣＵは、一般に、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。ＣＵは、通常、正方形の形状を有し、たとえば、ＩＴＵ−Ｔ Ｈ．２６４などの他のビデオコーディング規格の下のいわゆる「マクロブロック」と同様であると見なされ得る。ＣＵは、コーディングノードと、コーディングノードに関連付けられた予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから、６４×６４ピクセル以上の最大サイズを有するＬＣＵのサイズまで及ぶ場合がある。
[0063]各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含む場合がある。ＣＵに関連付けられたシンタックス情報は、たとえば、１つまたは複数のＰＵへのＣＵの区分化を記述することができる。区分化モードは、ＣＵがスキップモードもしくはダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、またはインター予測モードで符号化されるかの間で異なる場合がある。ＰＵは、形状が非正方形になるように区分化され得る。ＣＵに関連付けられたシンタックス情報はまた、たとえば、４分木に従う１つまたは複数のＴＵへのＣＵの区分化を記述することができる。ＴＵは、形状が正方形または非正方形であり得る。
[0064]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモードで符号化されるとき、ＰＵは、そのＰＵのイントラ予測モードを記述するデータを含む場合がある。別の例として、ＰＵがインターモードで符号化されるとき、ＰＵは、そのＰＵの動きベクトルを定義するデータを含む場合がある。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０（Ｌ０）もしくはＲｅｆＰｉｃＬｉｓｔ１（Ｌ１））を記述することができる。
[0065]概して、ＴＵは、変換プロセスおよび量子化プロセスに使用される。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算することができる。残差値は、異なるＣＵについて異なる場合があるＴＵに従って、変換係数に変換され得るピクセル差分値を備える。ＴＵは、通常、区分化されたＬＣＵのために定義された、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。ＴＵは、通常、ＰＵと同じサイズであるか、またはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用して再分割される場合があり、リーフノードはＴＵである。
[0066]本開示は、通常、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合には、本開示は、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指すために「ビデオブロック」という用語を使用する場合もある。
[0067]ＰＵは、Ｈ．２６４などの他のビデオコーディング規格の下のブロックのいわゆるパーティションと同様であると見なされ得る。ＰＵは、「残差」係数を生成するためにブロックについての予測が実行される基盤である。ＣＵの残差係数は、ＣＵのビデオデータと、ＣＵの１つまたは複数のＰＵを使用して決定されたＣＵについての予測データとの間の差分を表す。詳細には、１つまたは複数のＰＵは、ＣＵが予測のためにどのように区分化されるかを指定し、ＣＵの各パーティション内に含まれているビデオデータを予測するためにどの予測モードが使用されるかを指定する。
[0068]ＣＵの１つまたは複数のＴＵは、ＣＵ用の残差変換係数のブロックを生成するために、ブロックにどの変換が適用されるかに基づいて、ＣＵの残差係数のブロックのパーティションを指定する。１つまたは複数のＴＵは、適用される変換のタイプに関連付けられる場合もある。変換は、残差係数をピクセル領域または空間領域から、周波数領域などの変換領域に変換する。加えて、１つまたは複数のＴＵは、量子化残差変換係数のブロックを生成するために、残差変換係数の得られたブロックにどの量子化が適用されるかに基づいて、パラメータを指定することができる。残差変換係数は、係数を表すために使用されるデータの量をできるだけ低減するために量子化される場合がある。
[0069]ＣＵは、一般に、Ｙとして表記される１つのルミナンス成分と、ＵおよびＶとして表記される２つのクロミナンス成分とを含む。言い換えれば、サブＣＵにこれ以上分割されない所与のＣＵは、Ｙ成分とＵ成分とＶ成分とを含む場合があり、それらの各々は、前述されたように、ＣＵの予測および変換のために１つまたは複数のＰＵおよびＴＵにさらに区分化される場合がある。たとえば、ビデオサンプリングフォーマットに応じて、サンプルの数を単位とするＵ成分およびＶ成分のサイズは、Ｙ成分のサイズと同じであるか、または異なる場合がある。そのため、予測、変換、および量子化に関して上述された技法は、所与のＣＵのＹ成分、Ｕ成分、およびＶ成分の各々について実施される場合がある。
[0070]ＣＵを符号化するために、ＣＵの１つまたは複数のＰＵに基づいて、ＣＵ用の１つまたは複数の予測子が最初に導出される。予測子は、ＣＵについての予測データを含んでいる参照ブロックであり、前述されたように、ＣＵ用の対応するＰＵに基づいて導出される。たとえば、ＰＵは、それについての予測データが決定されるＣＵのパーティションと、予測データを決定するために使用される予測モードとを示す。予測子は、イントラ（Ｉ）予測（すなわち、空間予測）モードまたはインター（ＰもしくはＢ）予測（すなわち、時間予測）モードのいずれかを介して導出される場合がある。したがって、いくつかのＣＵは、同じフレーム内の隣接参照ブロックまたはＣＵに対する空間予測を使用してイントラコーディング（Ｉ）される場合があるが、他のＣＵは、他のフレーム内の参照ブロックまたはＣＵに対してインターコーディング（ＰまたはＢ）される場合がある。
[0071]ＣＵの１つまたは複数のＰＵに基づいて１つまたは複数の予測子を識別すると、１つまたは複数のＰＵに対応するＣＵの元のビデオデータと、１つまたは複数の予測子に含まれているＣＵについての予測データとの間の差分が計算される。予測残差とも呼ばれるこの差分は、残差係数を備え、前述されたように、１つまたは複数のＰＵおよび１つまたは複数の予測子によって指定されたＣＵの部分間のピクセル差分を指す。残差係数は、一般に、ＣＵの１つまたは複数のＰＵに対応する２次元（２Ｄ）アレイに構成される。
[0072]さらなる圧縮を実現するために、予測残差は、一般に、たとえば、離散コサイン変換（ＤＣＴ）、整数変換、カルーネンレーベ（Ｋ−Ｌ）変換、または別の変換を使用して変換される。変換は、同じく前述されたように、空間領域内の予測残差、すなわち残差係数を、変換領域、たとえば周波数領域内の残差変換係数に変換する。変換係数はまた、一般に、ＣＵの１つまたは複数のＴＵに対応する２Ｄアレイに構成される。さらなる圧縮のために、残差変換係数は、同じく前述されたように、係数を表すために使用されるデータの量をできるだけ低減するために量子化される場合がある。
[0073]またさらなる圧縮を実現するために、エントロピーコーダは、その後、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、確率間隔区分化エントロピーコーディング（ＰＩＰＥ）、または別のエントロピーコーディング方法を使用して、得られた残差変換係数を符号化する。エントロピーコーディングは、他のＣＵと比較して、係数によって表される、ＣＵのビデオデータに固有の統計的冗長性を低減または除去することによって、このさらなる圧縮を実現することができる。
[0074]ビデオシーケンスは、通常、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰに含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ内、ピクチャの１つもしくは複数のヘッダ内、または他の場所に含む場合がある。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含む場合がある。ビデオエンコーダ２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応する場合がある。ビデオブロックは、固定サイズまたは可変サイズを有し、指定されたコーディング規格に応じてサイズが異なる場合がある。
[0075]一例として、ＨＥＶＣは、様々なＰＵサイズにおける予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＥＶＣは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズにおけるイントラ予測と、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称なＰＵサイズにおけるインター予測とをサポートする。ＨＥＶＣは、また、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズにおけるインター予測のための非対称区分化をサポートする。非対称区分化では、ＣＵの一方向は区分化されないが、他の方向は２５％と７５％に区分化される。２５％パーティションに対応するＣＵの部分は、「ｎ」とそれに続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５ＮのＰＵ、および下部の２Ｎ×１．５ＮのＰＵで水平に区分化される２Ｎ×２ＮのＣＵを指す。
[0076]本開示では、「Ｎ×Ｎ」および「ＮｂｙＮ」は、垂直と水平の寸法に関してビデオブロックのピクセル寸法を指すために、たとえば、１６×１６ピクセルまたは１６ｂｙ１６ピクセルのように、互換的に使用される場合がある。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）を有し、水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここで、Ｎは非負の整数値を表す。ブロック内のピクセルは、行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備える場合があり、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0077]ＣＵのＰＵを使用するイントラ予測またはインター予測のコーディングの後で、ビデオエンコーダ２０は、ＣＵのＴＵについての残差データを計算することができる。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備える場合があり、ＴＵは、変換、たとえば、残差ビデオデータに対する離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備える場合がある。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応する場合がある。ビデオエンコーダ２０は、ＣＵについての残差データを含むＴＵを形成し、次いで、ＣＵ用の変換係数を生成するためにＴＵを変換することができる。
[0078]変換係数を生成する任意の変換の後で、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減することができる。たとえば、ｎビットの値は、量子化中にｍビットの値に端数を切り捨てられる場合があり、ここで、ｎはｍよりも大きい。
[0079]いくつかの例では、ビデオエンコーダ２０は、量子化変換係数を走査してエントロピー符号化され得るシリアル化ベクトルを生成するために、あらかじめ定義された走査順序を利用することができる。他の例では、ビデオエンコーダ２０は、適応走査を実行することができる。１次元ベクトルを形成するために量子化変換係数を走査した後、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ２０は、ビデオデータを復号する際にビデオデコーダ３０が使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化することもできる。
[0080]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、コンテキストモデル内のコンテキストを送信されるべきシンボルに割り当てることができる。コンテキストは、たとえば、シンボルの近傍値が非０であるか否かに関係する場合がある。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボル用の可変長コードを選択することができる。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成される場合がある。このようにして、ＶＬＣの使用は、たとえば、送信されるべきシンボルごとに等長コードワードを使用することよりも、ビット節約を実現することができる。確率決定は、シンボルに割り当てられたコンテキストに基づく場合がある。
[0081]加えて、ビデオエンコーダ２０は、たとえば、残差データを逆量子化および逆変換することによって符号化ピクチャを復号し、残差データを予測データと組み合わせることができる。このようにして、ビデオエンコーダ２０は、ビデオデコーダ３０によって実行される復号プロセスをシミュレートすることができる。したがって、ビデオエンコーダ２０とビデオデコーダ３０の両方は、ピクチャ間予測に使用するための実質的に同じ復号ピクチャにアクセスできる。
[0082]ビデオエンコーダ２０は、シンタックス要素を含む、コード化ピクチャおよび関連データの表現を形成する一連のビットを含む、符号化ビデオビットストリームを出力することができる。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを備える場合がある。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含む場合があり、ローバイトシーケンスペイロード（ＲＢＳＰ）をカプセル化することができる。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含む場合がある。ＮＡＬユニットのＮＡＬユニットヘッダによって規定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含んでいるシンタックス構造を備える場合がある。いくつかの事例では、ＲＢＳＰは０ビットを含む。
[0083]様々なタイプのＮＡＬユニットは、様々なタイプのＲＢＳＰをカプセル化することができる。たとえば、第１のタイプのＮＡＬユニットはパラメータセット用のＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬユニットはコード化スライス用のＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬユニットは補足エンハンスメント情報（ＳＥＩ）用のＲＢＳＰをカプセル化することができ、以下同様である。（パラメータセットおよびＳＥＩメッセージ用のＲＢＳＰとは対照的に）ビデオコーディングデータ用のＲＢＳＰをカプセル化するＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれる場合がある。コード化スライスをカプセル化するＮＡＬユニットは、本明細書ではコード化スライスＮＡＬユニットと呼ばれる場合がある。コード化スライス用のＲＢＳＰは、スライスヘッダとスライスデータとを含む場合がある。
[0084]ビデオエンコーダ２０は、符号化ビデオデータに加えて、ビデオデータの特定のブロックまたはそのグループ化をどのように復号するかをビデオデコーダ３０に知らせるシンタックス情報を、符号化ビデオビットストリームに含めることができる。ビデオエンコーダ２０は、たとえば、それが参照するビデオ構造のタイプ（たとえば、シーケンス、ピクチャ、スライス、ブロック）、およびどれほど頻繁にその値が変化する場合があるかに応じて、様々なシンタックス構造にシンタックス情報を含めることができる。たとえば、ビデオエンコーダ２０は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）などのパラメータセットにシンタックス要素を含めることができる。他の例として、ビデオエンコーダ２０は、ＳＥＩメッセージおよびスライスヘッダにシンタックス要素を含めることができる。ビデオエンコーダ２０がパラメータセットにシンタックス情報を含めるとき、ビデオエンコーダ２０は、ビットストリームに、たとえばスライスヘッダまたはＳＥＩメッセージに、所与のシーケンスまたはピクチャ用の特定のパラメータセットをアクティブ化するシンタックス情報を含めることができる。アクティブ化されたパラメータセット、たとえばアクティブなＶＰＳ、ＳＰＳ、またはＰＰＳは、そのようなシンタックス情報に基づいて、たとえば、シーケンス間ベースまたはピクチャ間ベースで変化する場合がある。
[0085]概して、ビデオデコーダ３０は、ビデオエンコーダによって実行される符号化プロセスの逆である復号プロセスを実行することができる。たとえば、ビデオデコーダ３０は、量子化ビデオデータをエントロピー符号化するためにビデオエンコーダによって使用されるエントロピー符号化技法の逆を使用して、エントロピー復号を実行することができる。ビデオデコーダ３０は、ビデオエンコーダ２０によって使用される量子化技法の逆を使用してビデオデータをさらに逆量子化することができ、量子化された変換係数を生成するためにビデオエンコーダ２０によって使用された変換の逆を実行することができる。次いで、ビデオデコーダ３０は、最終的な表示用のビデオブロックを生成するために、隣接参照ブロック（イントラ予測）または別のピクチャからの参照ブロック（インター予測）に、得られた残差ブロックを適用することができる。ビデオデコーダ３０は、ビデオデコーダ３０によって受信されたビットストリーム内の符号化ビデオデータとともに、ビデオエンコーダ２０によって提供されたシンタックス要素に基づいて、ビデオエンコーダ２０によって実行される様々なプロセスの逆を実行するために、構成、命令、制御、または指示される場合がある。
[0086]ビデオエンコーダ２０およびビデオデコーダ３０は、個別にまたは一般的にビデオコーダと呼ばれる場合がある。加えて、「ビデオコーディング」という用語は、ビデオ符号化とビデオ復号のいずれかまたは両方を指す場合がある。
[0087]ビデオエンコーダ２０およびビデオデコーダ３０は、たとえば、スケーラブルビデオコーダまたはマルチビュービデオコーディングのための、複数のレイヤを備えるビデオデータをコーディングするための本開示の技法を実施するように構成される場合がある。いくつかの例では、ビデオデコーダ３０は、ビデオデータの第１のレイヤについてのシンタックス情報、ビデオデータの第１のレイヤのピクチャのタイルへの区分化を定義する第１のレイヤについてのシンタックス情報を復号し、ビデオデータの第２のレイヤについてのシンタックス情報、ビデオデータの第２のレイヤのピクチャのタイルへの区分化を定義する第２のレイヤについてのシンタックス情報を復号することができる。本開示の技法によれば、第２のレイヤのピクチャの区分化を定義する第２のレイヤについてのシンタックス情報は、ビデオデータの第１のレイヤの区分化に基づいて制約される。ビデオデコーダ３０はさらに、第１のレイヤおよび第２のレイヤについてのシンタックス情報に基づいて、ビデオデータの第１のレイヤおよび第２のレイヤのピクチャを区分化し、ビデオデータの第１のレイヤおよび第２のレイヤのピクチャの区分化に基づいて、ビデオデータの第１のレイヤと第２のレイヤとを復号することができる。
[0088]いくつかの例では、ビデオデコーダ３０は、ビデオデータの第１のレイヤおよび第２のレイヤの各々のピクチャを複数のタイルに区分化し、ここにおいて、タイルへのピクチャの区分化はタイル間の境界を定義し、ビデオデータの第１のレイヤおよび第２のレイヤの各々についてのそれぞれのシンタックス情報を復号し、レイヤの各々についてのシンタックス情報は、タイル境界のうちの少なくとも１つを横切るピクチャの他のビデオデータに基づくレイヤのピクチャのうちの１つのビデオデータのフィルタリングが許可されるかどうかを示す。本開示の技法によれば、第１のレイヤおよび第２のレイヤについてのシンタックス情報は、両方のレイヤが、タイル境界のうちの少なくとも１つを横切るレイヤのピクチャの他のビデオデータに基づくレイヤのピクチャのうちの１つのビデオデータのフィルタリングを許可または禁止するように制約される。ビデオデコーダ３０はさらに、区分化およびシンタックス情報に基づいて、ビデオデータの複数のレイヤを復号することができる。
[0089]いくつかの例では、ビデオデコーダ３０は、ビデオデータの第１のレイヤについての第１のＬＣＵサイズとビデオデータの第２のレイヤについての第２のＬＣＵサイズとを決定し、ここにおいて、第２のＬＣＵサイズは第１のＬＣＵサイズに基づいて制約され、ビデオデータの第１のレイヤおよび第２のレイヤについてのＬＣＵサイズに基づいて、ビデオデータの第１のレイヤと第２のレイヤとを復元することができる。
[0090]いくつかの例では、ビデオデコーダ３０は、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することができる。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、いくつかのタイルへのレイヤ内のピクチャの区分化を定義する。本開示の技法によれば、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのピクチャ当たりのタイルの最大数は、レイヤ内のピクチャについての空間解像度、またはティア情報およびレベル情報に基づいて決定される場合がある。ビデオデコーダ３０はさらに、レイヤのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを復元することができる。
[0091]ビデオエンコーダ２０は、本開示の例に従って方法を実施するように構成される場合もある。いくつかの例では、ビデオエンコーダ２０は、ビデオデータの第１のレイヤについてのシンタックス情報、ビデオデータの第１のレイヤのピクチャのタイルへの区分化を定義する第１のレイヤについてのシンタックス情報を符号化し、ビデオデータの第２のレイヤについてのシンタックス情報、ビデオデータの第２のレイヤのピクチャのタイルへの区分化を定義する第２のレイヤについてのシンタックス情報を符号化することができる。本開示の例示的な技法によれば、第２のレイヤのピクチャの区分化を定義する第２のレイヤについてのシンタックス情報は、ビデオデータの第１のレイヤの区分化に基づいて制約される。ビデオエンコーダ２０はまた、第１のレイヤおよび第２のレイヤについてのシンタックス情報に基づいて、ビデオデータの第１のレイヤおよび第２のレイヤのピクチャを区分化し、ビデオデータの第１のレイヤおよび第２のレイヤのピクチャの区分化に基づいて、ビデオデータの第１のレイヤと第２のレイヤとを符号化することができる。
[0092]いくつかの例では、ビデオエンコーダ２０は、ビデオデータの第１のレイヤについてのシンタックス情報を符号化し、第１のレイヤについてのシンタックス情報は、ビデオデータの第１のレイヤのピクチャをタイルに区分化することが可能であるかどうかと、波面並列処理（ＷＰＰ）を使用してビデオデータの第１のレイヤを復号することが可能であるかどうかとを定義し、ビデオデータの第２のレイヤについてのシンタックス情報を符号化することができ、第２のレイヤについてのシンタックス情報は、ビデオデータの第２のレイヤのピクチャをタイルに区分化することが可能であるかどうかと、ＷＰＰを使用してビデオデータの第２のレイヤを復号することが可能であるかどうかとを定義する。本開示の技法によれば、第２のレイヤについてのシンタックス情報は、ビデオデータの第１のレイヤのピクチャをタイルに区分化することが可能であるかどうか、またはＷＰＰを使用してビデオデータの第１のレイヤを復号することが可能であるかどうかに基づいて制約される。ビデオエンコーダ２０はさらに、ビデオデータの第１のレイヤおよび第２のレイヤについてのそれぞれのシンタックス情報に基づいて、ビデオデータの第１のレイヤと第２のレイヤとを符号化することができる。
[0093]いくつかの例では、ビデオエンコーダ２０は、ビデオデータの第１のレイヤおよび第２のレイヤの各々のピクチャを複数のタイルに区分化し、ここにおいて、タイルへのピクチャの区分化はタイル間のタイル境界を定義し、ビデオデータの第１のレイヤおよび第２のレイヤの各々についてのそれぞれのシンタックス情報を符号化し、レイヤの各々についてのシンタックス情報は、タイル境界のうちの少なくとも１つを横切るピクチャの他のビデオデータに基づくレイヤのピクチャのうちの１つのビデオデータのフィルタリングが許可されるかどうかを示す。本開示の技法によれば、第１のレイヤおよび第２のレイヤについてのシンタックス情報は、両方のレイヤが、タイル境界のうちの少なくとも１つを横切るレイヤのピクチャの他のビデオデータに基づくレイヤのピクチャのうちの１つのビデオデータのフィルタリングを許可または禁止するように制約される。ビデオエンコーダ２０はさらに、区分化およびシンタックス情報に基づいて、ビデオデータの複数のレイヤを符号化することができる。
[0094]いくつかの例では、ビデオエンコーダ２０は、ビデオデータの第１のレイヤについての第１のＬＣＵサイズとビデオデータの第２のレイヤについての第２のＬＣＵサイズとを決定し、第１のＬＣＵサイズに基づいて第２のＬＣＵサイズを制約し、ビデオデータの第１のレイヤおよび第２のレイヤについてのＬＣＵサイズに基づいて、ビデオデータの第１のレイヤと第２のレイヤとを符号化する。
[0095]いくつかの例では、ビデオエンコーダ２０は、ビデオデータの複数のレイヤの各レイヤ内のピクチャをレイヤのいくつかのタイルに区分化することができる。いくつかのタイルにピクチャを区分化するために、ビデオエンコーダ２０は、レイヤ内のピクチャについての空間解像度、またはティア情報およびレベル情報に基づいてレイヤのピクチャ当たりのタイルの最大数を決定し、レイヤのピクチャ当たりのタイルの最大数に基づいてレイヤのピクチャ当たりのタイルの数を制約する。ビデオエンコーダ２０はさらに、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて複数のレイヤの各レイヤ内のピクチャを符号化し、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を符号化することができる。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。
[0096]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、スケーラブルビデオコーディング、たとえば、２つ以上のレイヤを含むビデオデータのコーディングのための技法を使用することができる。いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、マルチビュービデオコーディング、たとえば、２つ以上のビューを含むビデオデータのコーディングのための技法を使用することができる。マルチビュービデオコーディングにおけるビューは、レイヤの特別な場合と考えられ得る。本明細書で使用するレイヤという用語は、スケーラブルビデオコーディング用のレイヤ、またはマルチビュービデオコーディング用のビューであるレイヤを指す場合がある。
[0097]図２は、スケーラブルビデオコーディング（ＳＶＣ）のための様々なスケーラブルな次元を示す概念図である。図２は、ＳＶＣのスケーラビリティ構造の一例を示す。詳細には、様々な次元におけるスケーラビリティの一例が図２に示される。図２の例では、スケーラビリティは、３つの次元において使用可能である。時間次元では、７．５Ｈｚ、１５Ｈｚ、または３０Ｈｚをもつフレームレートが、時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）がサポートされるとき、ＱＣＩＦ、ＣＩＦ、および４ＣＩＦなどの様々な解像度が使用可能であり得る。特定の空間解像度およびフレームレートごとに、ピクチャ品質を改善するために信号対ノイズ（ＳＮＲ）（Ｑ）レイヤが追加され得る。
[0098]ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、たとえば、クライアントまたは送信チャネルに依存する場合があるアプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用される場合がある。図２に示された例では、各体積、すなわち立方体は、同じフレームレート（時間レベル）と、空間解像度と、ＳＮＲレイヤとを有するピクチャを含んでいる。それらの立方体（ピクチャ）を任意の次元に追加することによって、より良い表現が実現され得る。使用可能な２つ、３つ、またはさらに多くのスケーラビリティが存在するとき、複合スケーラビリティがサポートされ得る。
[0099]ＳＶＣのいくつかの例では、最も低い空間レイヤと品質レイヤとを有するピクチャは、基本仕様と互換性があり得る。最も低い時間レベルにあるピクチャは、より高い時間レベルにあるピクチャを用いて拡張され得る、時間ベースレイヤを形成する。ベースレイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間および／またはＳＮＲのエンハンスメントレイヤが追加され得る。ＳＮＲスケーラビリティは、品質（Ｑ）スケーラビリティとも呼ばれる。各々の空間またはＳＮＲのエンハンスメントレイヤ自体は、ベースレイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。１つの空間またはＳＮＲのエンハンスメントレイヤの場合、それが依存するより低いレイヤは、その特定の空間またはＳＮＲのエンハンスメントレイヤのベースレイヤとも呼ばれる。
[0100]図３は、ＳＶＣコーディング構造の一例を示す概念図である。この例では、最も低い空間レイヤと品質レイヤとを有するピクチャ（ＱＣＩＦ解像度を有するレイヤ０およびレイヤ１内のピクチャ）は、基本仕様と互換性があり得る。それらの中で、最も低い時間レベルのそれらのピクチャは、図３のレイヤ０に示されているように、時間ベースレイヤを形成する。この時間ベースレイヤ（レイヤ０）は、より高い時間レベル（レイヤ１）のピクチャを用いて拡張され得る。ベースレイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間および／またはＳＮＲのエンハンスメントレイヤが追加され得る。たとえば、エンハンスメントレイヤは、レイヤ２と同じ解像度を有するＣＩＦ表現であり得る。この例では、レイヤ３はＳＮＲエンハンスメントレイヤである。この例に示されたように、各々の空間またはＳＮＲのエンハンスメントレイヤ自体は、ベースレイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。また、エンハンスメントレイヤは、空間解像度とフレームレートの両方を拡張することができる。たとえば、レイヤ４は、フレームレートを１５Ｈｚから３０Ｈｚにさらに増加させる、４ＣＩＦエンハンスメントレイヤを実現する。
[0101]図４は、例示的なアクセスユニット（ＡＵ）を示す概念図である。各アクセスユニットは時間インスタンスを表し、図４に示されたように、時間インスタンスにある１つまたは複数のレイヤの各々の中に、ビデオデータ、たとえばピクチャまたは１つもしくは複数のスライスを含む。ＡＵのビデオデータは、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニット内でカプセル化される場合がある。レイヤごとのアクセスユニット当たりにゼロまたはそれ以上のＮＡＬユニットが存在する場合がある。１つのアクセスユニット内の１つのレイヤに対応するＮＡＬユニットのセットは、「レイヤコンポーネント」と呼ばれる場合がある。
[0102]図４の例は、図３のレイヤコンポーネントに対応するレイヤコンポーネントを描いている。図４の例に示されたように、同じ時間インスタンス内（すなわち、共通のＡＵ内）のピクチャまたはスライスは、ビットストリーム順序で連続しており、ＳＶＣのコンテキストにおいて１つのアクセスユニットを形成する。それらのＳＶＣアクセスユニットは、次いで、表示順序とは異なる可能性があり、たとえば、時間予測関係によって決定される、復号順序に従う。
[0103]上記で説明されたように、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、マルチビュービデオコーディング、たとえば、２つ以上のビューを含むビデオデータのコーディングのための技法を使用することができる。いくつかの例では、デバイス、たとえばビデオソース１８は、共通シーンをキャプチャするために、たとえば、２つ以上の空間的に埋め合わされたカメラまたは他のビデオキャプチャデバイスを使用して、２つ以上のピクチャを生成することができる。わずかに異なる水平位置から同時またはほぼ同時にキャプチャされた同じシーンの２つのピクチャは、３次元効果を生成するために使用され得る。いくつかの例では、ビデオソース１８（またはソースデバイス１２の別の構成要素）は、所与の時間インスタンスにある第１のビューの第１のピクチャから、所与の時間インスタンスにある第２の（または他のさらなる）ビューの第２の（または他のさらなる）ピクチャを生成するために、深度情報または視差情報を使用することができる。この場合、アクセスユニット内のビューは、第１のビューに対応するテクスチャコンポーネントと、第２のビューを生成するためにテクスチャコンポーネントとともに使用され得る深度コンポーネントとを含む場合がある。深度情報または視差情報は、たとえば、ビデオキャプチャデバイスの構成に関する既知のカメラパラメータまたは他の情報、および第１のビューについてのビデオデータの取込みに基づいて、第１のビューをキャプチャするビデオキャプチャデバイスによって決定される場合がある。深度情報または視差情報は、追加または代替として、カメラパラメータおよび／または第１のビュー内のビデオデータから、ビデオソース１８またはソースデバイス１２の別の構成要素によって、計算される場合がある。
[0104]３Ｄビデオを提示するために、宛先デバイス１４のディスプレイデバイス３２は、同時またはほぼ同時にキャプチャされた共通シーンの異なるビューに関連付けられた２つのピクチャを、同時またはほぼ同時に表示することができる。いくつかの例では、宛先デバイス１４のユーザは、左レンズと右レンズとを迅速および交互に閉じるアクティブ眼鏡を装着することができ、ディスプレイデバイス３２は、アクティブ眼鏡と同期して左ビューと右ビューとの間を迅速に切り替えることができる。他の例では、ディスプレイデバイス３２は、２つのビューを同時に表示することができ、ユーザは、正確なビューがそれを通ってユーザの眼に届くようにビューをフィルタ処理する、たとえば、偏光レンズを有するパッシブ眼鏡を装着することができる。他の例では、ディスプレイデバイス３２は、ユーザが３Ｄ効果を知覚するために眼鏡を必要としない自動立体視ディスプレイを備える場合がある。
[0105]マルチビュービデオコーディングは、複数のビューがコーディングされる方式を指す。３Ｄビデオコーディングの場合、複数のビューは、たとえば、左眼ビューおよび右眼ビューに対応する場合がある。複数のビューの各ビューは複数のピクチャを含む。３Ｄシーンのビューアの知覚は、異なるビューのピクチャ内のオブジェクト間の水平視差に起因する。
[0106]図５は、例示的なマルチビュー符号化順序またはマルチビュー復号順序を示す概念図である。図５に示された復号順序構成は、時間優先コーディングと呼ばれる場合がある。概して、マルチビューまたは３Ｄのビデオシーケンスは、アクセスユニットごとに（すなわち、同じ時間インスタンスとともに）、それぞれ２つ以上のビューの各々について２つ以上のピクチャを含む場合がある。
[0107]図５では、Ｓ０〜Ｓ７は、各々マルチビュービデオの異なるビューを指す。Ｔ０〜Ｔ８は、各々１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスについてすべてのビューのコード化ピクチャを含む場合がある。たとえば、第１のアクセスユニットは、時間インスタンスＴ０についてビューＳ０〜Ｓ７（すなわち、ピクチャ０〜７）のすべてを含み、第２のアクセスユニットは、時間インスタンスＴ１についてビューＳ０〜Ｓ７（すなわち、ピクチャ８〜１５）のすべてを含み、以下同様である。この例では、ピクチャ０〜７は、同じ時間インスタンス（すなわち、時間インスタンスＴ０）にあり、ピクチャ８〜１５は、同じ時間インスタンス（すなわち、時間インスタンスＴ１）にある。同じ時間インスタンスを有するピクチャは一般に同時に表示され、３Ｄボリュームを包含する画像をビューアに知覚させるものは、同じ時間インスタンスのピクチャ内のオブジェクト間の水平視差、および場合によっては何らかの垂直視差である。
[0108]図５では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。いくつかの例では、各セットは２つのピクチャを含む場合があり、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントおよび深度ビューコンポーネントは、互いに対応するものと見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ得るし、その逆も同様である（すなわち、深度ビューコンポーネントはセット内のそのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、テクスチャビューコンポーネント、および対応する深度ビューコンポーネントは、単一のアクセスユニットの同じビューの一部であると見なされ得る。
[0109]マルチビューコーディングによれば、１つのビュー内のビデオブロックは、同じビュー内のビデオブロックから、または異なる参照ビュー内のビデオブロックからインター予測される場合がある。別のビュー内のビデオデータに基づく１つのビュー内のビデオデータの予測は、ビュー間予測と呼ばれる場合がある。ビデオエンコーダ２０およびビデオデコーダ３０は、たとえば、参照ビュー内の参照ピクチャの参照ブロックの情報を使用することによって、現在ビュー内の現在ピクチャ内の現在ビデオブロックのビュー間予測を実行することができる。
[0110]図６は、マルチビュービデオコーディングのための例示的な時間予測およびビュー間予測のパターンを示す概念図である。図５の例と同様に、図６の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、１２個の時間ロケーションまたはアクセスユニット（「Ｔ０」〜「Ｔ１１」）がビューごとに示されている。すなわち、図６の各行はビューに対応し、各列は時間ロケーションまたはアクセスユニットを示す。（ピクチャ、または様々なピクチャ内の例示的なビデオブロックであり得る）オブジェクトは、図６の各行と各列の交点に示される。ＭＶＣ拡張を有するＨ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用する場合があり、ＨＥＶＣ規格は、ビデオの一部分を表すためにピクチャという用語を使用する場合がある。本開示は、ピクチャという用語とフレームという用語とを互換的に使用する。
[0111]図６では、ビューＳ０はベースビューと見なされ得るし、ビューＳ１〜Ｓ７は従属ビューと見なされ得る。ベースビューは、ビュー間予測されないピクチャを含む。ベースビュー内のピクチャは、同じビュー内の他のピクチャに対してインター予測され得る。たとえば、ビューＳ０の中のピクチャのいずれも、ビューＳ１〜Ｓ７のいずれの中のピクチャに対してもインター予測され得ないが、ビューＳ０の中のピクチャのいくつかは、ビューＳ０の中の他のピクチャに対してインター予測され得る。
[0112]加えて、アクセスユニットＴ０およびＴ８は、図６の例示的な予測構造のビデオシーケンス用のランダムアクセスユニットまたはランダムアクセスポイントである。図６の例示的な予測構造において「Ｉ」と標示されたブロックによって示されたように、各ランダムアクセスポイント（Ｔ０およびＴ８）において、ベースビューピクチャ（Ｓ０）のビデオブロックがピクチャ内予測される。ランダムアクセスポイント内の他の非ベースビューピクチャ、または非ランダムアクセスポイント内のベースビューピクチャおよび非ベースビューピクチャのビデオブロックは、図６の例示的な予測構造において「Ｉ」、「Ｂ」、「Ｐ」、または「ｂ」と標示された様々なブロックによって示されたように、時間インター予測またはビュー間予測のいずれかを介して、ピクチャ間予測され得る。図６の例示的な予測構造における予測は矢印によって示され、矢印の終点のオブジェクトは、予測参照のために矢印の始点のオブジェクトを使用する。
[0113]従属ビューは、ビュー間予測されるピクチャを含む。たとえば、ビューＳ１〜Ｓ７の各々は、別のビュー内のピクチャに対してインター予測される少なくとも１つのピクチャを含む。従属ビュー内のピクチャは、ベースビュー内のピクチャに対してインター予測され得るか、または他の従属ビュー内のピクチャに対してインター予測され得る。図６の例では、大文字「Ｂ」および小文字「ｂ」は、異なるコーディング方法ではなく、ピクチャ間の異なる階層関係を示すために使用される。概して、大文字の「Ｂ」ピクチャは、小文字の「ｂ」フレームよりも予測階層が比較的高い。
[0114]ベースビューと１つまたは複数の従属ビューの両方を含むビデオストリームは、様々なタイプのビデオデコーダによって復号可能であり得る。たとえば、ある基本タイプのビデオデコーダは、ベースビューのみを復号するように構成される場合がある。加えて、別のタイプのビデオデコーダは、ビューＳ０〜Ｓ７の各々を復号するように構成される場合がある。ベースビューと従属ビューの両方を復号するように構成されたデコーダは、マルチビューコーディングをサポートするデコーダと呼ばれる場合がある。
[0115]図６のピクチャ（または他のオブジェクト）は、対応するピクチャがイントラコーティングされる（すなわち、Ｉピクチャである）か、一方向に（すなわち、Ｐピクチャとして）インターコーティングされるか、または複数の方向に（すなわち、Ｂピクチャとして）インターコーティングされるかを指定する文字を含む陰影付きブロックを使用して示されている。概して、予測は矢印によって示され、ここで、矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
[0116]シングルビュービデオの符号化と同様に、マルチビュービデオコーディングのビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のＢピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのＢピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、加えて、マルチビュービデオの符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビューコンポーネント（たとえば、テクスチャビューコンポーネント）は、参照のために他のビュー内のビューコンポーネントを使用することができる。マルチビューコーディングでは、たとえば、別のビュー内のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。可能性のあるビュー間参照は、参照ピクチャリスト構築プロセスによって修正され得るし、これにより、インター予測またはビュー間予測の参照の柔軟な順序が可能になる。
[0117]図６は、ビュー間予測の様々な例を提供する。図６の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして示され、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のＢピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のＢピクチャから予測される。
[0118]図６はまた、様々なレベルの陰影を使用して予測階層における変形形態を示し、ここで、より大きい量の陰影の（すなわち、比較的暗い）フレームは、より少ない陰影を有する（すなわち、比較的明るい）フレームよりも予測階層が高い。たとえば、図６のすべてのＩピクチャは完全な陰影を用いて示され、Ｐピクチャはいくぶん明るい陰影を有し、Ｂピクチャ（および小文字のｂピクチャ）は、互いに対して様々なレベルの陰影を有するが、ＰピクチャおよびＩピクチャの陰影よりも常に明るい。
[0119]概して、予測階層が比較的高いピクチャは、階層が比較的低いピクチャを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する場合がある。階層が比較的高いそれらのピクチャは、階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得る。ビュー順序インデックスは、アクセスユニット内のビューコンポーネントの復号順序を示すインデックスである。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う場合がある。すべてのビューが提示された場合、ビュー順序インデックスのセットは、０からビューの全数よりも１少ない数までの連続的な順序付きセットを備える場合がある。
[0120]階層の等しいレベルにあるいくつかのピクチャの場合、復号順序は、互いに重要でない場合がある。たとえば、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャのための参照ピクチャとして使用され得るし、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャのための参照ピクチャとして使用され得る。したがって、時間ロケーションＴ０にあるビューＳ０のＩピクチャは、時間ロケーションＴ０にあるビューＳ２のＰピクチャの前に復号されるべきであり、そのＰピクチャは、今度は、時間ロケーションＴ０にあるビューＳ４のＰピクチャの前に復号されるべきである。しかしながら、ビューＳ１およびＳ３は予測のために互いに依存しないので、ビューＳ１とビューＳ３との間で、復号順序は重要でない。代わりに、ビューＳ１およびＳ３は、予測階層がより高い他のビューのみから予測される。その上、ビューＳ１がビューＳ０およびＳ２の後に復号される限り、ビューＳ１はビューＳ４の前に復号され得る。
[0121]上述されたように、ビデオエンコーダ２０およびビデオデコーダ３０は、第２のビューの参照ピクチャ内の参照ブロックに対して第１のビューの現在ピクチャ内の現在ブロックをインター予測することができる。そのようなインター予測は、ビュー間予測と呼ばれる。現在ピクチャおよび参照ピクチャの時間インスタンスは、それぞれのビューにおいて同じであり得る。そのような例では、ビデオエンコーダ２０またはビデオデコーダ３０は、同じアクセスユニット内のピクチャにわたってビュー間予測を実行し、ここで、同じアクセスユニット内のピクチャは同じ時間インスタンスにある。
[0122]現在ブロックに対してビュー間予測を実行するために、ビデオエンコーダ２０またはビデオデコーダ３０は、ビュー間予測に使用され得るピクチャを含む、インター予測に使用され得る参照ピクチャを識別する参照ピクチャリストを構築する。インター予測は、参照ピクチャ内の参照ブロックに対して現在ピクチャ内の現在ブロックを予測することを指す。ビュー間予測は、ビュー間予測において、参照ピクチャが現在ピクチャのビューと異なるビュー内にある、インター予測のサブセットである。したがって、ビュー間予測の場合、ビデオエンコーダ２０およびビデオデコーダ３０は、構築された参照ピクチャリストの一方または両方に他のビュー内の参照ピクチャを追加する。他のビュー内の参照ピクチャは、構築された参照ピクチャリスト内の任意のロケーションにおいて識別され得る。
[0123]図７は、タイルに区分化された例示的なピクチャ４０を示す概念図である。図７の例では、ピクチャ４０は、たとえばビデオコーダにより、複数のＬＣＵ４２に区分化される。図７では、説明しやすいように、ＬＣＵのうちの１つのみが標示されている。
[0124]図７の例示的なピクチャ４０はまた、たとえばビデオコーダにより、複数のタイル４４Ａ〜４４Ｉ（総称して、「タイル４４」）に区分化される。ビデオコーダは、垂直タイル境界４６Ａおよび４６Ｂ（総称して、「垂直タイル境界４６」）、および水平タイル境界４８Ａおよび４８Ｂ（総称して、「水平タイル境界４８」）に基づいて、ピクチャ４０をタイル４４に区分化することができる。交差する列境界と行境界は矩形タイルを画成する。
[0125]図７に示されたピクチャ４０のタイル４４の数およびサイズは一例にすぎない。ビデオコーダは、ピクチャを任意の数のタイル４４に区分化するために、任意の数、たとえば０、１、２、３などの垂直タイル境界４６と、任意の数、たとえば０、１、２、３などの水平タイル境界４８とを使用することができる。境界４６および４８をもたないピクチャは、まったくタイルをもたないか、または単一のタイルをもつと見なされ得る。加えて、境界４６および４８の位置は一例にすぎず、ビデオコーダは、タイル４４のうちのいずれかのサイズ（垂直寸法および／または水平寸法）を変更するために、境界４６と４８とを異なるように配置することができる。
[0126]２つの垂直ピクチャ境界（ピクチャまたはフレームのエッジまたは端部）は２つの垂直タイル境界と見なされ得るし、２つの水平ピクチャ境界（ピクチャまたはフレームのエッジまたは端部）は２つの水平タイル境界と見なされ得る。図７の例では、（垂直ピクチャ境界を含む）４つの垂直タイル境界、および（水平ピクチャ境界を含む）４つの水平タイル境界が存在する場合、ピクチャは（４−１）×（４−１）＝９タイルに区分化される。垂直タイル境界と水平タイル境界との間の間隔は、均一であり得るが、均一である必要はない。
[0127]ＨＥＶＣは、ビデオコーダ、たとえばビデオエンコーダ２０がピクチャ４０などのピクチャをタイル４４に区分化することを可能にすることを含む、コーデックをより並列に順応させるいくつかの提案を含んでいる。タイル４４は矩形である。タイル４４は、ＣＴＢまたはツリーブロックと呼ばれる場合もあり、１列１行に共起し、タイルのＬＣＵラスタ走査において連続的に順序付けられた、整数個のＬＣＵ４２を含む。ピクチャ４０内のタイル４４は、図７に示されたように、ピクチャのタイルラスタ走査において連続的に順序付けられる。ビデオコーダ、たとえばビデオエンコーダ２０および／またはビデオデコーダ３０は、タイル４４を、並列に、またはラスタ走査順序で、すなわちタイル４４Ａ〜４４Ｉの順序で、処理する、たとえば、予測およびコーディングすることができる。タイル４４ごとに、ビデオコーダは、タイル４４内の番号によって示されたようなタイルのＬＣＵラスタ走査順序で、タイル４４内のＬＣＵ４２を処理する。たとえば、ビデオコーダは、タイル４４Ａ内のラスタ走査順序である番号順０、１、２などで、タイル４４Ａ内のＬＣＵ４２を処理することができる。
[0128]ビデオコーダ、たとえばビデオエンコーダ２０は、シーケンス全体のためにタイル４４の数とそれらの境界４６、４８の位置とを定義することができるか、または、ピクチャごとにタイル４４の数とそれらの境界４６、４８の位置とを変更することができる。ビデオエンコーダ２０は、たとえば、ＰＰＳなどのパラメータセット内に、ピクチャのタイルへの区分化、たとえば、タイル４４の数とそれらの境界４６、４８の位置とを定義するシンタックス情報を含めることができる。ビデオエンコーダ２０はまた、ビットストリーム内、たとえば、アクティブパラメータセット、たとえばアクティブＰＰＳを識別するスライスヘッダ内に、特定のピクチャ４０のタイル４４への区分化を定義するシンタックス情報を含めることができる。
[0129]境界４６、４８は、スライス境界と同様に、構文解析および予測の依存性を打破することができ、その結果、タイル４４は、ビデオコーダ、たとえばビデオエンコーダ２０および／またはビデオデコーダ３０内の並列処理のユニット、コア、またはスレッドによって、別々に処理され得る。これにより、ビデオコーダによるタイルの並列処理が容易になる。そのような例では、処理ユニットまたはスレッドの間の通信は、タイルのエントロピーコーディングおよび予測、たとえば動き補償に必要ではない場合がある。しかしながら、他の例では、デブロッキングフィルタおよびサンプル適応オフセット（ＳＡＯ）フィルタなどのループフィルタは、依然タイル境界を横切ることができる。そのような例では、ビデオコーダは、現在タイル内のビデオデータをループフィルタリングするとき、別の隣接タイルからのビデオデータを必要とする場合がある。いくつかの例では、シンタックス要素、たとえばｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ループフィルタリングが境界４６、４８を横切ることが許可されるかどうかを示すことができ、たとえば、０に設定されたｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ピクチャ境界またはスライス境界でもあるタイル境界を除き、ループフィルタリングが境界４６、４８を横切ることが許可されることを示すことができる。
[0130]ビデオコーダはまた、ピクチャ４０などのピクチャをタイルに区分化することができる。スライスは、ラスタ走査順序での整数個のＬＣＵからなる。タイルとは異なり、スライス間の境界は必ずしもピクチャを横切る垂直線および／または水平線であるとは限らず、したがってスライスは必ずしも矩形であるとは限らない。スライスは単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットに対応し、ピクチャ内予測はスライス境界を横切ることが許可されない。スライス（またはＮＡＬ）は２つ以上のタイルを含む場合があるか、またはタイルは２つ以上のスライスを含む場合がある。スライスが２つ以上のタイル内にＬＣＵを含んでいるとき、ＬＣＵを含んでいるタイルは連続になる。タイルＴおよびＴ＋１は、Ｔ＋１内の最初のＬＣＵが送信順序でＴ内の最後のＬＣＵの直後にくる場合、連続していると言われる。スライスと比較すると、タイルは、スライスよりも潜在的に高い相関関係を有するサンプルを含むことができるピクチャパーティションの形状、たとえば矩形を可能にするので、より良いコーディング効率を有することができる。ピクチャをタイルに区分化すると、スライスの数および／またはスライスヘッダに含まれるシンタックス情報も低減され得るし、それにより、スライスヘッダのオーバーヘッドが低減される。
[0131]ピクチャ４０をタイル４４に区分化すると、異なる処理ユニット、コア、またはスレッドによる、異なるタイル内のビデオデータの並列処理が可能になり得る。ピクチャ４０をタイル４４に区分化すると、たとえば、スライスの使用と比較して、ＬＣＵの復号順序を変更することを可能にすることによって、コーディング効率も改善され得る。
[0132]タイルがシングルレイヤコーディングにおいて使用されるとき、シンタックス要素ｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃは、１つの処理スレッドによって処理されるべきルーマサンプルの最大数を計算するためにビデオデコーダ３０によって使用され得るし、デコーダは並列復号情報を最大限に利用することが想定される。しかしながら、たとえば、エントロピーコーディング同期またはタイル境界もしくはスライス境界を横切るデブロッキングフィルタリングに起因して、異なるスレッド間に同じピクチャの相互依存性が存在する場合がある。ＨＥＶＣは、ｍｉｎ＿ｓｐａｔｉａｌ＿ｓｅｇｍｅｎｔａｔｉｏｎ＿ｉｄｃの値を可能な最高の値にビデオエンコーダ２０が設定することを奨励する注記を含む。
[0133]図８は、ピクチャ５０の波面並列処理（ＷＰＰ）の一例を示す概念図である。ＨＥＶＣは、ＷＰＰを含む、コーデックをより並列処理に順応させるいくつかの提案を含んでいる。図８に示されたように、ピクチャ５０はＬＣＵ５２に区分化される。説明しやすいように、図８では１つのみのＬＣＵ５２が標示されている。
[0134]ＷＰＰが使用可能であるとき、ピクチャの各ＣＴＵ行は、分離されたパーティションである。図８の例では、ピクチャ５０は、ＷＰＰ用の分離されたパーティションであり得る、ＬＣＵ行５４Ａ〜５４Ｇ（総称して、「ＬＣＵ行５４」）を含む。ＷＰＰが使用可能であるとき、ＬＣＵ行５４の数までの数の処理ユニット、コア、またはスレッドは、ＬＣＵ行（またはライン）を処理するために並列に動作することができる。しかしながら、スライスおよびタイルと比較すると、ＬＣＵ行５４の境界においてコーディング依存性は打破されず、たとえば、別のＬＣＵ行内のビデオデータに基づく１つのＬＣＵ行５４内のビデオデータの予測および／またはフィルタリングが許可される。また、ＷＰＰは、通常のラスタ走査順序を変更しない。加えて、コーディング損失をさらに低減するために、ビデオコーダは、エントロピーコーディング情報、たとえば、ＬＣＵ行５４の間のＣＡＢＡＣの確率を、図８のピクチャ５０のＬＣＵ５２の最初の２列の中のラインによって示されたように、前の行５４の２番目のＬＣＵ５２から現在のＬＣＵ行５４の最初のＬＣＵ５２に伝搬することができる。
[0135]依存性は打破されないので、ＷＰＰビットストリームのレートひずみ損失は、非並列ビットストリームと比較して小さい。しかしながら、現在のＬＣＵ行５４内のビデオデータをコーディングするための他のＬＣＵ行５４からのビデオデータに対する依存性により、すべてのＬＣＵ行５４がピクチャの最初において復号を開始することは許可されない。その結果、ＬＣＵ行５４は、ピクチャの最後において同時に復号を終了することもできない。これにより、並行して多数のＬＣＵ行５４を処理するために多数のプロセッサが使用されるときにより明白になる、並列化の非効率性がもたらされる。
[0136]たとえば、並列化のためのタイルおよびＷＰＰの使用を含む、複数のレイヤを含むビデオデータをコーディングするための既存の技法は、本明細書に記載されたように、問題と関連付けられる場合がある。問題のうちのいくつかは、図９Ａ〜図１２に関して以下に記載される。図９Ａ〜図１２に関する技法を含む、本明細書に記載される技法は、それらの問題に対処することができる。
[0137]以下でより詳細に記載されるように、本技法は、最大コーディングユニット（ＬＣＵ）もしくはタイルなどへのピクチャの区分化上のビットストリームの様々な制限もしくは制約、および／またはビデオデータのレイヤを横切るＷＰＰなどのピクチャ処理技法を含む場合がある。本明細書に記載されるビットストリームの制限は、いくつかの例では、複数のレイヤを含むビデオデータの、より効率的な、均等に分散された、同期化された並列処理を容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、ビデオコーデック内の並列処理の簡略化されたパイプライン化の設計と実装とを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、たとえば、レイヤ間予測またはフィルタリングのための、異なるレイヤを横切るコロケートされたコーディングユニットのより簡単なマッピングを容易にすることができる。本明細書に記載されるビットストリームの制限はまた、いくつかの例では、異なるレイヤを横切るタイルのより柔軟な使用を容易にすることができる。制限または制約は、複数のレイヤを有するビデオデータをコーディングすることを含む、ＨＥＶＣ規格のＳＨＶＣ拡張、ＭＶ−ＨＥＶＣ拡張、もしくは３Ｄ−ＨＥＶＣ拡張などのＨＥＶＣ拡張、または任意の他のビデオコーディング規格もしくは拡張に準拠するビットストリームに課される場合がある。
[0138]複数のレイヤを横切るタイルおよびＷＰＰの各々の可能な構成により、パイプライン化および並列処理用のビデオコーダおよびコーデックの設計および実装の複雑さが増大する可能性がある。ビデオコーダにおいて、レイヤを横切るパイプライン設計およびリソースの割振りは、タイルおよびＷＰＰの様々な構成について変わる必要がある。特に、メモリ、サイクル、および遅延の要件は、レイヤを横切るタイルおよびＷＰＰの様々な構成について異なる。
[0139]複数のレイヤを横切るタイルおよびＷＰＰのいくつかの可能な構成により、コーディングの忠実度または効率に関して少しの恩恵しかもたらさないか、または顕著な恩恵をもたらさない場合がある。レイヤを横切るタイルおよびＷＰＰのそのような構成をサポートすることは、実現されるコーディングの恩恵に比べて、コーデックのパイプライン化設計および実装に不必要に負担を負わせる可能性がある。その結果、レイヤを横切るタイルおよびＷＰＰの通常ではない構成を規範的に制限することが有利であり得るし、それにより、設計および実装の困難さが低減される。レイヤを横切るタイルおよびＷＰＰの少数の例示的な構成が図９Ａ〜図１０Ｂに示される。
[0140]図９Ａおよび図９Ｂは、ピクチャ当たり様々な数のタイルを有するビデオデータの様々なレイヤを示す概念図である。たとえば、図９Ａは、４つのタイル６２Ａ〜６２Ｄ（総称して、「タイル６２」）に区分化されたベースレイヤ（ＢＬ）内の例示的なピクチャ６０を示す。図９Ａはまた、２つのタイル６６Ａおよび６６Ｂ（総称して、「タイル６６」）に区分化されたエンハンスメントレイヤ（ＥＬ）内の例示的なピクチャ６４を示す。図９Ａに示されたレイヤを横切るタイルの構成では、ベースレイヤ（ＢＬ）内のピクチャ６０は、エンハンスメントレイヤ（ＥＬ）内のタイル６６の数よりも多いタイル６２を有する。
[0141]図９Ｂは、２つのタイル７２Ａおよび７２Ｂ（総称して、「タイル７２」）に区分化されたベースレイヤ（ＢＬ）内の例示的なピクチャ７０を示す。図９Ｂはまた、４つのタイル７６Ａ〜７６Ｄ（総称して、「タイル７６」）に区分化されたエンハンスメントレイヤ（ＥＬ）内の例示的なピクチャ７４を示す。図９Ｂに示されたレイヤを横切るタイルの構成では、ベースレイヤ（ＢＬ）内のピクチャ７０は、エンハンスメントレイヤ（ＥＬ）内のピクチャ７４内のタイル７６の数よりも多いタイル７２を有する。図９Ａと図９Ｂの両方の例では、ＥＬの空間解像度はＢＬの空間解像度よりも高い場合がある。
[0142]複数の並列処理のユニット、コア、またはスレッドを含むビデオコーダの設計などのマルチコアシステム設計の場合、図９Ａに示された、すなわち、ＢＬ内のピクチャ当たりのタイル６２がＥＬ内のピクチャ当たりのタイル６４よりも多いタイル構成は、図９Ｂに示された、すなわち、ＥＬ内のピクチャ当たりのタイル７４がＢＬ内のピクチャ当たりのタイル７２よりも多いタイル構成よりも、いかなる恩恵ももたらさない場合がある。加えて、ＥＬ内のタイル６４よりも多いＢＬ内のタイル６２を有することは、レイヤを横切る不均一に分散された処理負荷をもたらす場合があり、同期されたレイヤ間並列処理に不都合であり得る。したがって、技法は、参照レイヤ、たとえばベースレイヤが参照レイヤに依存するレイヤ、たとえばエンハンスメントレイヤよりも多くのピクチャ当たりのタイルを有する、レイヤを横切るタイル構成を禁止するために、ビットストリーム、たとえばビットストリーム内のシンタックス情報を制約するように、本明細書に記載される。本明細書に記載される技法は、複数のレイヤを横切るタイルにピクチャを区分化するビデオコーダの設計および実装の複雑さを低減することができる。
[0143]いくつかの例では、適合ビットストリームは、以下の制約に従うべきある。
ａ）０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値は、レイヤの直接参照レイヤのうちのいずれのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値以上であるべきである。
ｂ）０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値は、レイヤの直接参照レイヤのうちのいずれのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値以上であるべきである。
[0144]したがって、いくつかの例では、ビデオエンコーダ２０が特定のレイヤ内のタイルの数に関するシンタックス情報を符号化するとき、ビデオエンコーダ２０は、参照レイヤ、たとえばベースレイヤが参照レイヤに依存するレイヤ、たとえばエンハンスメントレイヤよりも多くのピクチャ当たりのタイルを有する、レイヤを横切るタイル構成を禁止するように、シンタックス情報を制約する。いくつかの例では、ビデオエンコーダ２０は、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値を、そのレイヤの任意の直接参照レイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値以上であるように制約し、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値を、そのレイヤの任意の直接参照レイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値以上であるように制約する。いくつかの例では、ビデオデコーダ３０が符号化ビデオビットストリームを復号するとき、シンタックス情報は、参照レイヤ、たとえばベースレイヤが参照レイヤに依存するレイヤ、たとえばエンハンスメントレイヤよりも多くのピクチャ当たりのタイルを有するような、レイヤを横切るタイル構成を禁止するように制約される。いくつかの例では、ビデオデコーダ３０が符号化ビデオビットストリームを復号するとき、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値は、そのレイヤの任意の直接参照レイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値以上であるように制約され、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値を有するレイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値は、そのレイヤの任意の直接参照レイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値以上であるように制約される。
[0145]図１０Ａおよび図１０Ｂは、ビデオデータの様々なレイヤを横切るタイルおよびＷＰＰの共存を示す概念図である。詳細には、図１０Ａは、ベースレイヤ（ＢＬ）内のピクチャ８０がＷＰＰを用いて処理され、タイルに区分化されず、エンハンスメントレイヤ（ＥＬ）内のピクチャ８２がタイル８４Ａ〜８４Ｄに区分化されるが、ＷＰＰを用いて処理されない構成を示す。図１０Ｂは、ベースレイヤ（ＢＬ）内のピクチャ８６がタイル８８Ａ〜８８Ｄに区分化されるが、ＷＰＰを用いて処理されず、エンハンスメントレイヤ（ＥＬ）内のピクチャ９０がＷＰＰを用いて処理されるが、タイルに区分化されない構成を示す。
[0146]たとえば、図１０Ａおよび図１０Ｂに示されたような異なるレイヤにおけるタイルおよびＷＰＰのそれぞれの使用は、非効率的な並列コーディングにつながる可能性がある。タイルおよびＷＰＰの各々によってもたらされ得る任意のコーディング損失、遅延、または他のコーディング非効率、ならびに、互いに依存する異なるレイヤ内のタイルおよびＷＰＰの使用に起因する可能性がある任意の遅延および非効率は、そのような構成を有する複数のレイヤのコーディング中に累積的に発生する場合がある。しかしながら、各レイヤは、タイルまたはＷＰＰのコーディング効率またはコーディング忠実度の恩恵を実現することのみができる。したがって、いくつかの例では、本明細書に記載される技法は、特に設計および実装の複雑さを低減するために、そのような構成を禁止する。たとえば、技法は、参照レイヤがタイルまたはＷＰＰのうちの一方を含み、従属レイヤがタイルまたはＷＰＰのうちの他方を含む構成を禁止するように、ビットストリームを制約する、たとえばビットストリーム内のシンタックス情報を制約するように、本明細書に記載される。
[0147]いくつかの例では、適合ビットストリームは、以下の制約のうちの任意の１つまたは複数に従うべきある。
ａ）コード化ビデオシーケンス（ＣＶＳ）内でアクティブ化され得るすべてのＰＰＳは、同じ値のｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。［注：これは、１つのレイヤ内にあるが別のレイヤ内にないＷＰＰの使用を禁止する。］
ｂ）ＣＶＳ内で、特定のレイヤについてのアクティブなピクチャパラメータセット（ＰＰＳ）についてｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいとき、ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＶＰＳによって指定されたように、任意の特定のレイヤが直接的または間接的に依存するアクティブＰＰＳについても０に等しくあるべきである。［注：これは、低いレイヤ内にあるが低いレイヤに依存する高いレイヤ内にないタイルの使用を禁止するが、空間エンハンスメントレイヤ内にあるがベースレイヤ内にないタイルの使用を可能にするはずである。］
ｃ）ＣＶＳ内で、特定のレイヤについてのアクティブＰＰＳについてｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいとき、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、実現され得るすべてのＰＰＳについて０に等しくあるべきである。［注：これは、ＣＶＳ内の１つのレイヤがタイルを使用するとき、ＣＶＳの任意のレイヤ内のＷＰＰの使用を禁止する。］
ｄ）ＣＶＳ内で、特定のレイヤについてのアクティブＰＰＳについてｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいとき、ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、実現され得るすべてのＰＰＳについて０に等しくあるべきである。［注：これは、ＣＶＳ内の１つのレイヤがＷＰＰを使用するとき、ＣＶＳの任意のレイヤ内のタイルの使用を禁止する。］
[0148]いくつかの例では、適合ビットストリームは、以下の制約のうちの任意の１つまたは複数に従うべきある。
ａ）現在レイヤのアクティブＰＰＳが、１に等しいであるｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇと、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝０とを有するとき、そのアクティブ参照レイヤのすべてに対応するアクティブＰＰＳは、ＣＶＳ内で０に等しいｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
ｂ）現在レイヤのアクティブＰＰＳが、１に等しいであるｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇと０に等しいであるｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇとを有するとき、そのアクティブ参照レイヤのすべてに対応するアクティブＰＰＳは、ＣＶＳ内で０に等しいｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
ｃ）現在レイヤのそのアクティブ参照レイヤのうちの少なくとも１つに対応するアクティブＰＰＳが、１に等しいであるｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するとき、現在レイヤのアクティブＰＰＳは、ＣＶＳ内で１に等しいｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
ｄ）現在レイヤのそのアクティブ参照レイヤのうちの少なくとも１つに対応するアクティブＰＰＳが、１に等しいであるｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するとき、現在レイヤのアクティブＰＰＳは、ＣＶＳ内で１に等しいｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
[0149]したがって、いくつかの例では、ビデオエンコーダ２０がビデオデータの複数のレイヤ内のタイルまたはＷＰＰの使用に関するシンタックス情報を符号化するとき、ビデオエンコーダ２０は、参照レイヤがタイルまたはＷＰＰのうちの一方を含み、従属レイヤがタイルまたはＷＰＰのうちの他方を含む構成を禁止するために、上記で識別されたシンタックス情報上の例示的な制約などの、シンタックス情報を制約する。いくつかの例では、ビデオデコーダ３０が符号化ビデオビットストリームを復号するとき、上記で識別された例示的なシンタックス情報などのシンタックス情報は、参照レイヤがタイルまたはＷＰＰのうちの一方を含み、従属レイヤがタイルまたはＷＰＰのうちの他方を含む構成を禁止するために、上記で説明されたように制約される。
[0150]いくつかの例では、ビデオコーダ、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０はまた、タイルを横切るループフィルタリングのクロスレイヤアライメント用の技法を実施することができる。ビデオコーダがタイルを使用するとき、ビデオコーダは、上記で説明されたように、ループフィルタがタイル境界を横切ることを許可または禁止することができる。タイル境界を横切るループフィルタリングは、タイルによって与えられた並列処理に影響を及ぼし、遅延をもたらす場合があるが、ビデオ品質が改善される結果になる場合がある。しかしながら、ビデオコーダが並列処理のためにレイヤを横切るタイルを使用するとき、ビデオコーダがいくつかのレイヤにタイル境界を横切るループフィルタリングを許可し、他には許可しなかった場合、すべてのレイヤがループフィルタリングからもたらされる改善されたビデオ品質を有することがなければ、すべてのレイヤのコーディングは遅延される可能性がある。
[0151]本開示のいくつかの例示的な技法によれば、ループフィルタリングが様々なレイヤに使用可能であるかどうかを混在させることは、レイヤのうちのいくつかに対する許可の目的をだめにする可能性があるので、ビットストリームまたはサブビットストリームの複数のレイヤ、たとえばすべてのレイヤにタイル境界を横切るループフィルタリングを許可または禁止する。たとえば、技法は、タイル境界を横切るループフィルタリングが、ビデオデータの複数のレイヤ、たとえばすべてのレイヤの各々に使用可能にされるか、または使用可能にされないように、ビットストリームを制約する、たとえば、ビットストリーム内のシンタックス情報を制約するように、本明細書に記載される。
[0152]いくつかの例では、適合ビットストリームは、以下の制約に従うべきある。
コード化ビデオシーケンス（ＣＶＳ）内でアクティブ化され得るすべてのＰＰＳは、同じ値のｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
[0153]いくつかの例では、適合ビットストリームは、以下の制約のうちの１つまたは両方に従うべきある。
ａ）現在レイヤのそのアクティブ参照レイヤのうちの少なくとも１つに対応するアクティブＰＰＳが、１に等しいであるｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するとき、現在レイヤのアクティブＰＰＳは、ＣＶＳ内で１に等しいｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
ｂ）現在レイヤのアクティブＰＰＳが、０に等しいであるｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するとき、そのアクティブ参照レイヤに対応するアクティブＰＰＳは、ＣＶＳ内で０に等しいｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するべきである。
[0154]したがって、いくつかの例では、ビデオエンコーダ２０がタイル境界を横切るループフィルタリングがビデオデータの複数のレイヤ内で許可されるかどうかに関するシンタックス情報を符号化する、たとえば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値を符号化するとき、ビデオエンコーダ２０は、ビデオデータの複数のレイヤ、たとえばすべてのレイヤにタイル境界を横切るループフィルタリングを許可または禁止するように、シンタックス情報を制約する。たとえば、ビデオエンコーダ２０は、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値を、現在レイヤについてのアクティブＰＰＳおよびそのアクティブ参照レイヤなどのすべてのアクティブＰＰＳ内で同じであるように制約することができる。いくつかの例では、ビデオデコーダ３０が符号化ビデオビットストリームを復号するとき、上記で識別されたシンタックス情報などのシンタックス情報は、ビデオデータの複数のレイヤ、たとえばすべてのレイヤにタイル境界を横切るループフィルタリングを許可または禁止するために、上記で説明されたように制約される。たとえば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は、現在レイヤについてのアクティブＰＰＳおよびそのアクティブ参照レイヤなどのすべてのアクティブＰＰＳ内で同じであるように制約され得る。
[0155]図１１は、様々なＬＣＵ（またはＣＴＢ）のサイズについての処理時間およびオーバーヘッドの一例を示す概念図である。ＨＥＶＣは、３つのＬＣＵサイズ：１６×１６、３２×３２、および６４×６４をサポートする。これらのサイズは、コーディング効率（より大きいＬＣＵまたはＣＴＢ）とエンコーダ／デコーダの待ち時間（より小さいＬＣＵまたはＣＴＢ）との間のトレードオフを表す。
[0156]しかしながら、小さいＬＣＵまたはＣＴＢのサイズは、パイプライン化されたデコーダに対するコストが付いている。詳細には、あらゆるパイプラインステージは、初期化およびセットアップについて、ＬＣＵまたはＣＴＢ当たりある量のオーバーヘッドを有する。Ｗａｎら、「Ａｄｄｉｎｇ ａ Ｌｅｖｅｌ Ｒｅｓｔｒｉｃｔｉｏｎ ｏｎ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ Ｓｉｚｅ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪＣＴ−ＶＣ、第１０回会合：ストックホルム、スウェーデン、２０１２年６月１１〜２０日（以下、「ＪＳＴＶＣ−Ｊ０３３４」）において、４つの１６×１６ＬＣＵ対１つの３２×３２ＬＣＵとしてビデオデータの３２×３２ブロックをコーディングするとき、４倍のオーバーヘッド時間が存在する可能性があり、１６×１６ＬＣＵの使用についての累積オーバーヘッドが、３２×３２ＬＣＵの使用と比較して、全体的な最悪の復号時間における１０％までの増加を表すことができることが主張された。ＪＳＴＶＣ−Ｊ０３３４は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝６１９７からのダウンロードが可能である。
[0157]図１１の例では、ビデオデータのブロックを処理するためのオーバーヘッドに関連する時間は、陰影付きブロックによって示され、ブロックのビデオデータを処理することに関連する時間は、陰影付きでないブロックによって示される。図１１の例では、３２×３２ビデオブロックを処理することは、１つのオーバーヘッド処理期間１００と、３２×３２ブロックのビデオデータが処理される間の期間１０２とを含む。図１１の例では、ビデオデータの４つの１６×１６ブロックとして３２×３２ブロックを処理することは、４つの処理期間１０４Ａ〜１０４Ｄ（総称して、「処理時間１０４」）と、１６×１６ビデオブロックのビデオデータを処理するための４つの期間１０６Ａ〜１０６Ｄ（総称して、「ビデオデータ処理時間１０６」）とをもたらす。オーバーヘッド期間１００は、オーバーヘッド期間１０４と同様または同じ長さの時間を有する。その結果、１６×１６ブロックについてのビデオデータ処理期間１０６は、３２×３２ブロックについてのビデオデータ処理期間１０２よりも短い可能性があり、４つの１６×１６ブロックとして３２×３２ブロックを処理することは、４つのオーバーヘッド期間１０４に起因して、全体的により大きい長さの時間を取る。
[0158]図１２は、様々なＬＣＵまたはＣＴＢのサイズを有するビデオデータの様々なレイヤ内の例示的なピクチャを示す概念図である。詳細には、図１２は、ベースレイヤ（ＢＬ）内のピクチャ１１０が、第１のより小さいＬＣＵサイズをもつ複数のＬＣＵ１１２を有し、エンハンスメントレイヤ（ＥＬ）内のピクチャ１１４が、第２のより大きいＬＣＵサイズをもつ複数のＬＣＵ１１６を有することを示す。説明しやすいように、図１２では、ＬＣＵ１１２およびＬＣＵ１１６の各々１つのみが標示されている。ＬＣＵ１１２およびＬＣＵ１１６は、ＬＣＵ用のラスタ走査順序に従って、数値（すなわち、０、１、２など）で標示されている。加えて、図１２のライン１１８およびライン１２０は、ピクチャ１１２およびピクチャ１１４において対応する位置、したがって、ピクチャ１１４内の（０と標示された）１つのＬＣＵ１１６に対応するピクチャ１１０内の（０、１、８、および９と標示された）４つのＬＣＵ１１２を示す。
[0159]図１２に示されたように、異なるレイヤを横切る異なるＬＣＵサイズをもつ複数のレイヤを有するビデオデータのＬＣＵ同期符号化またはＬＣＵ同期復号を使用するビデオコーダは、いくつかの問題に遭遇する場合がある。問題は、異なるレイヤの解像度が、たとえば複数のレイヤを使用するＳＮＲスケーラビリティについての場合と同じであるときに、特に明らかであり得る。たとえば、より小さいＬＣＵサイズを有するレイヤ、たとえば図１２の例におけるＢＬは、図１１に示されたように、ＬＣＵごとにより長いコーディング時間を有する場合がある。その結果、より小さいコーディングサイズを有するレイヤは、より長いＬＣＵサイズを有するすべてのレイヤ、たとえば図１２の例におけるＥＬの中のＬＣＵの符号化または復号に対するボトルネックであり得る。より小さいＬＣＵサイズを有するレイヤは、したがって、最悪の場合のコーディング時間を決定する場合がある。
[0160]たとえば、図１２を参照して、ＥＬ内の１つのＬＣＵ１１６（たとえば、ＥＬ内で０と標示されたＬＣＵ）は、ＢＬ内の１つのＬＣＵ１１２（たとえば、ＢＬ内で０と標示されたＬＣＵ）よりも早く完了することができるが、たとえば、ＳＮＲスケーラビリティのための複数のレイヤを有するビデオデータの同期符号化または同期復号のために、ＥＬ内のＬＣＵ用の参照ＬＣＵであるＢＬ内の１つまたは複数のＬＣＵ（たとえば、ＢＬ内で１，８、および９と標示されたＬＣＵ）を待機する必要が依然あり得る。加えて、様々なレイヤ内の様々なＬＣＵサイズは、たとえば、参照レイヤ内の参照ブロックを識別するために、レイヤ間でコロケートされたブロック、たとえばＬＣＵの位置をビデオコーダがマッピングすることをより困難にする場合がある。
[0161]したがって、いくつかの例では、ビデオコーダは、１つのレイヤのＬＣＵサイズが別のレイヤのＬＣＵサイズに基づいて制約されるように、たとえば、異なるレイヤのＬＣＵサイズが等しいように、ビットストリームを制約する、たとえば、ビットストリーム内のシンタックス情報を制約する。いくつかの例では、ビデオコーダは、１つのレイヤのＬＣＵサイズが別のレイヤのＬＣＵサイズに基づいて制約されるように、たとえば、第１のレイヤおよび第２のレイヤ内のピクチャの空間解像度が等しいときに異なるレイヤのＬＣＵサイズが等しいように、ビットストリームを制約する。いくつかの例では、ビデオコーダは、たとえば、ＳＮＲスケーラビリティのために、現在レイヤのＬＣＵサイズがそのアクティブ参照レイヤのＬＣＵサイズに基づいて、たとえば等しいように、ビットストリームを制約する。いくつかの例では、適合ビットストリームは、以下の制約に従うべきある。
言い換えれば、現在レイヤのＣＴＢサイズは、ＳＮＲスケーラビリティのために、そのアクティブ参照レイヤのＬＣＵサイズに等しくあるべきである。
[0162]ＳＮＲスケーラビリティのために、現在レイヤのＬＣＵサイズがそのアクティブ参照レイヤのＬＣＵサイズに基づいて、たとえば等しいように、ビデオコーダがビットストリームを制約する一例では、仕様テキストは以下のようであり得る。
変数ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬおよびＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬを、それぞれルーマサンプルのユニット内の現在レイヤピクチャの幅および高さに等しいように設定し、変数ＲｅｆＬａｙｅｒＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬおよびＲｅｆＬａｙｅｒＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬを、それぞれルーマサンプルのユニット内の復号されたアクティブ参照レイヤピクチャの幅および高さに等しいように設定する。変数ＳｃａｌｅｄＲｅｆＬａｙｅｒＬｅｆｔＯｆｆｓｅｔ、ＳｃａｌｅｄＲｅｆＬａｙｅｒＴｏｐＯｆｆｓｅｔ、ＳｃａｌｅｄＲｅｆＬａｙｅｒＲｉｇｈｔＯｆｆｓｅｔ、およびＳｃａｌｅｄＲｅｆＬａｙｅｒＢｏｔｔｏｍＯｆｆｓｅｔは、以下のように導出される。
変数ＲｅｆＬａｙｅｒＣｔｂＬｏｇ２ＳｉｚｅＹを、復号されたアクティブ参照レイヤピクチャのＣｔｂＬｏｇ２ＳｉｚｅＹに等しいように設定する。
現在レイヤのＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬがＲｅｆＬａｙｅｒＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬに等しく、現在レイヤのＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬがＲｅｆＬａｙｅｒＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬに等しく、ＳｃａｌｅｄＲｅｆＬａｙｅｒＬｅｆｔＯｆｆｓｅｔ、ＳｃａｌｅｄＲｅｆＬａｙｅｒＴｏｐＯｆｆｓｅｔ、ＳｃａｌｅｄＲｅｆＬａｙｅｒＲｉｇｈｔＯｆｆｓｅｔ、およびＳｃａｌｅｄＲｅｆＬａｙｅｒＢｏｔｔｏｍＯｆｆｓｅｔの値がすべて０に等しいとき、現在レイヤのＣｔｂＬｏｇ２ＳｉｚｅＹは、ＲｅｆＬａｙｅｒＣｔｂＬｏｇ２ＳｉｚｅＹに等しくあるべきである。
[0163]したがって、いくつかの例では、ビデオエンコーダ２０が最大ＬＣＵサイズに関するシンタックス情報を符号化するとき、たとえば、ＣｔｂＬｏｇ２ＳｉｚｅＹを決定するためのＳＰＳ内の１つまたは複数の値を符号化するとき、ビデオエンコーダ２０は、たとえば、レイヤ内のピクチャの空間解像度が等しいとき、および／またはＳＮＲスケーラビリティのために、現在レイヤのＬＣＵサイズがそのアクティブ参照レイヤのＬＣＵサイズに等しいように、シンタックス情報を制約する。いくつかの例では、ビデオデコーダ３０が符号化ビデオビットストリームを復号するとき、最大ＬＣＵサイズに関するシンタックス情報、たとえば、ＣｔｂＬｏｇ２ＳｉｚｅＹを決定するためのＳＰＳ内のシンタックス情報は、たとえば、レイヤ内のピクチャの空間解像度が等しいとき、および／またはＳＮＲスケーラビリティのために、現在レイヤのＬＣＵサイズがそのアクティブ参照レイヤのＬＣＵサイズに等しいように制約される。
[0164]ＨＥＶＣ規格は、ピクチャの空間解像度に基づいてピクチャ当たりのタイルの最大数を規定する。詳細には、ＨＥＶＣ仕様内の表Ａ−１は、様々なビットストリームレベルについてのピクチャ当たりのタイルの最大数を規定し、各ビットストリームレベルは、たとえば、ルーマサンプル内の空間解像度を定義する。各ビットストリームレベルはまた、タイルの最大数をまとめて規定するタイル行の最大数とタイル列の最大数とを規定する。ＨＥＶＣ仕様の表Ａ−１が下記に複写されている。
[0165]いくつかの例では、本開示の技法は、ビデオデータの複数のレイヤの各々について、いくつかのタイルへのレイヤ内のピクチャの区分化を定義するシンタックス情報を制約することを含む。いくつかの例では、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤごとのピクチャ当たりのタイルの最大数は、ピクチャについての空間解像度ならびに／またはピクチャについてのティア情報およびレベル情報、たとえば、レイヤについての空間解像度を可能にするＨＥＶＣ仕様の表Ａ−１内の最も低いビットストリームレベル用のタイルの最大数に基づいて決定される場合がある。レイヤごとのそれぞれのシンタックス情報は、タイル列の数を定義する第１のシンタックス要素およびタイル行の数を定義する第２のシンタックス要素のそれぞれの値を含む場合があり、複数のレイヤのレイヤごとのピクチャ当たりのタイルの最大数は、複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびタイル行の最大数によって定義される。
[0166]いくつかの例では、ビデオコーダは、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数よりも大きくないように、シンタックス情報を制約する。たとえば、ビデオコーダは、以下のようにシンタックス情報を制約することができる。
ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する特定のレイヤおよび０よりも大きいｃｕｒｒＬａｙｅｒＩｄの場合、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１［ｃｕｒｒＬａｙｅｒＩｄ］の値はＭａｘＴｉｌｅＣｏｌｓよりも小さくあるべきであり、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１［ｃｕｒｒＬａｙｅｒＩｄ］の値はＭａｘＴｉｌｅＲｏｗｓよりも小さくあるべきであり、ＭａｘＴｉｌｅＣｏｌｓおよびＭａｘＴｉｌｅＲｏｗｓは、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するその特定のレイヤの空間解像度を可能にする表Ａ−１内の最も低いレベルであるレベルについて、表Ａ−１において規定される。
[0167]いくつかの例では、ビデオコーダは、複数のレイヤのピクチャ当たりのタイルの数の合計が、複数のレイヤのピクチャ当たりのタイルの最大数の合計よりも大きくないように、シンタックス情報を制約する。そのような例では、複数のレイヤの第１のレイヤのピクチャ当たりのタイルの数は、レイヤのピクチャ当たりのタイルの最大数よりも大きい場合があり、複数のレイヤの第２のレイヤのピクチャ当たりのタイルの数は、レイヤのピクチャ当たりのタイルの最大数よりも小さい場合がある。いくつかの例では、複数のレイヤ内のピクチャは、たとえば、図４に示されたように、アクセスユニット内のピクチャを備える。いくつかの例では、ビデオコーダは、サブビットストリームの複数のレイヤのピクチャ当たりのタイルの数の合計が、サブビットストリーム内の複数のレイヤのピクチャ当たりのタイルの最大数の合計よりも大きくないように、シンタックス情報を制約する。サブビットストリームは、ビットストリーム内のレイヤのサブセットを備えるビットストリームのサブセットであり得る。
[0168]複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素、およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備える場合がある。複数のレイヤのレイヤごとのピクチャ当たりのタイルの最大数は、複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される場合がある。レイヤについてのタイル行の最大数およびタイル列の最大数は、たとえば、ＨＥＶＣ仕様の表Ａ−１において規定されたように、レイヤの解像度ならびに／またはティア情報およびレベル情報に基づいて決定される場合がある。言い換えれば、ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓがゼロに等しいときの特定のレイヤのピクチャ当たりの最大許容タイルは、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するその特定のレイヤの空間解像度を可能にする、表Ａ−１内の最も低いレベルであるレベルについて表Ａ−１によって規定される場合がある。
[0169]いくつかの例では、レイヤが非ベースレイヤであるとき、ビデオコーダは、複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の数が、レイヤのピクチャ当たりのタイル列の最大数とレイヤについての残留タイル列の数との和よりも大きくなく、レイヤのピクチャ当たりのタイル行の数が、レイヤのピクチャ当たりのタイル行の最大数とレイヤについての残留タイル行の数との和よりも大きくないように、シンタックス情報を制約することができる。レイヤについての残留タイル列の数は、複数のレイヤの１つまたは複数の他のレイヤについてのタイル列の最大数とタイル列の数との間の差分の合計を備える場合があり、レイヤについての残留タイル行の数は、複数のレイヤの１つまたは複数の他のレイヤについてのタイル行の最大数とタイル行の数との間の差分の合計を備える。いくつかの例では、ビデオコーダは、以下のようにシンタックス情報を制約することができる。
１）アクセスユニット内のタイル行およびタイル列の最大数は、ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓがゼロに等しいときの各レイヤ内で、それぞれ、最大許容タイル行および最大許容タイル列の合計以下であるべきである。
２）任意のサブビットストリーム用のタイルの最大数は、サブビットストリーム内に存在するＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓがゼロに等しいときの各レイヤ内の最大許容タイルの合計以下であるべきである。
[0170]いくつかの例では、仕様テキストは以下のような可能性がある。
ａ）ゼロよりも大きい特定のｎｕｈ＿ｌａｙｅｒ＿ｉｄ、ｃｕｒｒＬａｙｅｒＩｄを有する現在レイヤのｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１の値は、ＭａｘＬａｙｅｒＴｉｌｅＣｏｌｓ［ｃｕｒｒＬａｙｅｒＩｄ］＋ＲｅｍａｉｎｉｎｇＴｉｌｅｓＣｏｌｓ［ｃｕｒｒＬａｙｅｒＩｄ］よりも小さくあるべきであり、ここで、
である。
ｂ）ゼロよりも大きい特定のｎｕｈ＿ｌａｙｅｒ＿ｉｄ、ｃｕｒｒＬａｙｅｒＩｄを有する現在レイヤのｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１の値は、ＭａｘＬａｙｅｒＴｉｌｅＲｏｗｓ［ｃｕｒｒＬａｙｅｒＩｄ］＋ＲｅｍａｉｎｉｎｇＴｉｌｅｓＲｏｗｓ［ｃｕｒｒＬａｙｅｒＩｄ］よりも小さくあるべきであり、ここで、ＲｅｍａｉｎｉｎｇＴｉｌｅｓＲｏｗｓ［ｃｕｒｒＬａｙｅｒＩｄ］は以下のように計算される。
[0171]したがって、いくつかの例では、ビデオエンコーダ２０が複数のレイヤのピクチャ当たりのタイルのそれぞれの数に関するシンタックス情報を符号化するとき、ビデオエンコーダ２０は、上述されたようにシンタックス情報を制約することができる。いくつかの例では、ビデオデコーダ３０が符号化ビットストリームを復号するとき、複数のレイヤのピクチャ当たりのタイルのそれぞれの数に関するシンタックス情報は、上述されたように制約され得る。
[0172]本明細書に記載された例のうちのいくつかでは、シンタックス情報は、ビットストリームの制約を実現するように制約される。たとえば、いくつかのシンタックス要素の値が制約され得る。シンタックス情報、たとえばシンタックス要素の値は、たとえばビデオエンコーダ２０によって符号化され、ビデオデコーダ３０によって復号される場合がある。いくつかの例では、シンタックス要素はパラメータセット内に含まれる場合がある。上記で強調された例示的なシンタックス要素は、いくつかの例に関して記載されたように、ＰＰＳまたはＳＰＳに含まれる場合があり、そのようなシンタックス要素は、任意のパラメータセット、たとえば、他の例では、シーケンスパラメータビデオパラメータセット（ＶＰＳ）、または適応パラメータセット（ＡＰＳ）に含まれる場合がある。加えて、いくつかの例では、シンタックス情報は、スライスヘッダまたは補足エンハンスメント情報（ＳＥＩ）メッセージなどのパラメータセット以外の要素内のビットストリームに含まれる場合がある。
[0173]図１３は、本開示に記載された技法を実施することができる、例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行することができる。イントラコーディングは、所与のビデオフレームまたはピクチャの中のビデオ内の空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャの中のビデオ内の時間冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード（登録商標））は、いくつかの空間ベースの圧縮モードのいずれかを指す場合がある。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指す場合がある。
[0174]図１３の例では、ビデオエンコーダ２０は、ビデオデータメモリ２３４と、区分化ユニット２３５と、予測処理ユニット２４１と、参照ピクチャメモリ２６８と、加算器２５０と、変換処理ユニット２５２と、量子化処理ユニット２５４と、エントロピー符号化ユニット２５６とを含む。予測処理ユニット２４１は、動き推定ユニット２４２と、動き補償ユニット２４４と、イントラ予測処理ユニット２４６とを含む。
[0175]ビデオデータメモリ２３４は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶することができる。ビデオデータメモリ２３４に記憶されるビデオデータは、たとえば、ビデオソース１８から取得される場合がある。参照ピクチャメモリ２６８は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオエンコーダ２０によってビデオデータを符号化する際に使用するための、参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ２３４および参照ピクチャメモリ２６８は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成される場合がある。ビデオデータメモリ２３４および参照ピクチャメモリ２６８は、同じメモリデバイスまたは別々のメモリデバイスによって提供される場合がある。様々な例では、ビデオデータメモリ２３４は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそのような構成要素に対してオフチップであり得る。
[0176]ビデオブロックの復元の場合、ビデオエンコーダ２０はまた、逆量子化処理ユニット２５８と、逆変換処理ユニット２６０と、加算器２６２とを含む。ビデオエンコーダ２０はまた、参照ピクチャメモリ２６８内の記憶の前に、加算器２６２の出力、たとえば復元されたビデオブロックをフィルタリングするフィルタ処理ユニット２６６を含む。フィルタ処理ユニット２６６は、復元されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングする、デブロッキングフィルタを含む場合がある。フィルタ処理ユニット２６６は、サンプル適応オフセット（ＳＡＯ）フィルタなどの（ループ内またはループ後の）追加ループフィルタを加えることができる。
[0177]様々な例では、ビデオエンコーダ２０のユニットは、本開示の技法を実施するように課される場合がある。また、いくつかの例では、本開示の技法は、ビデオエンコーダ２０のユニットのうちの１つまたは複数の中で分割される場合がある。たとえば、区分化ユニット２３５、予測処理ユニット２４１、およびエントロピー符号化ユニット２５６のうちの任意の１つまたは複数は、本明細書に記載された技法のうちの１つまたは複数を実施することができる。
[0178]図１３に示されたように、ビデオエンコーダ２０はビデオデータを受信し、区分化ユニット２３５はデータをビデオブロックに区分化する。この区分化は、スライス、タイル、または他のより大きいユニットへの区分化、ならびに、たとえばＬＣＵおよびＣＵの４分木構造による、ビデオブロックの区分化を含む場合もある。ビデオエンコーダ２０は、一般に、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。区分化ユニット２３５は、様々なレイヤ内のピクチャをそれぞれの数のタイルに区分化するため、および様々なレイヤ内のピクチャをＬＣＵサイズを有するＬＣＵに区分化するための、本明細書に記載された技法を実施することができる。区分化ユニット２３５、予測処理ユニット２４１、および／またはエントロピー符号化ユニットは、本明細書に記載されたように制約され得る、複数のレイヤ内のピクチャのそれぞれの数のタイルへの区分化に関し、複数のレイヤについてのＬＣＵサイズに関するシンタックス情報を生成することができる。
[0179]予測処理ユニット２４１は、誤差結果（たとえば、コーディングレートおよびひずみレベル）に基づいて、現在ビデオブロックについて、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードのうちの１つなどの、複数の可能なコーディングモードのうちの１つを選択することができる。予測処理ユニット２４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器２５０に供給し、参照ピクチャとして使用する符号化ブロックを復元するために加算器２６２に供給することができる。
[0180]予測処理ユニット２４１内のイントラ予測ユニット２４６は、空間圧縮を実現するために、コーディングされるべき現在ブロックと同じフレームまたはスライス内の１つまたは複数の隣接ブロックに対して、現在ビデオブロックのイントラ予測コーディングを実行することができる。予測処理ユニット２４１内の動き推定ユニット２４２および動き補償ユニット２４４は、たとえば時間圧縮を実現するために、１つまたは複数の参照ピクチャ内の１つまたは複数の予測ブロックに対して、現在ビデオブロックのインター予測コーディングを実行する。
[0181]動き推定ユニット２４２は、ビデオシーケンス用の所定のパターンに従って、ビデオスライス用のインター予測モードを決定するように構成される場合がある。動き推定ユニット２４２および動き補償ユニット２４４は、高度に統合される場合があるが、概念的な目的のために別々に示されている。動き推定ユニット２４２によって実行される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたは現在ピクチャ内のビデオブロックのＰＵの変位を示すことができる。
[0182]予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することが分かるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ２６４に記憶された参照ピクチャのサブ整数ピクセル位置についての値を計算することができる。たとえば、ビデオエンコーダ２０は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数のピクセル位置の値を補間することができる。したがって、動き推定ユニット２４２は、完全なピクセル位置および分数のピクセル位置に対して動き探索を実行し、分数のピクセル精度で動きベクトルを出力することができる。
[0183]動き推定ユニット２４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス内のビデオブロックのＰＵについての動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０もしくはＲｅｆＰｉｃＬｉｓｔ０）または第２の参照ピクチャリスト（リスト１もしくはＲｅｆＰｉｃＬｉｓｔ１）から選択される場合があり、それらの参照ピクチャリストの各々は、参照ピクチャメモリ２６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット２４２は、計算された動きベクトルをエントロピー符号化ユニット２５６および動き補償ユニット２４６に送る。
[0184]動き補償ユニット２４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することと、場合によってはサブピクセル精度への補間を実行することとを伴うことができる。現在ビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット２４４は、動きベクトルが参照ピクチャリストのうちの１つの中で指す予測ブロックの位置を特定することができる。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。ピクセル差分値は、ブロック用の残差データを形成し、ルーマとクロマの両方の差分成分を含む場合がある。加算器２５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット２４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成することができる。
[0185]イントラ予測処理ユニット２４６は、上述されたように、動き推定ユニット２４２および動き補償ユニット２４４によって実行されたインター予測の代替として、現在ブロックをイントラ予測することができる。詳細には、イントラ予測処理ユニット２４６は、現在ブロックを符号化するために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラ予測処理ユニット２４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ビデオブロックを符号化することができ、イントラ予測ユニット２４６（または、いくつかの例では、予測処理ユニット２４１）は、テストされたモードから使用するのに適したイントラ予測モードを選択することができる。たとえば、イントラ予測処理ユニット２４６は、様々なテストされたイントラ予測モードにレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択することができる。レートひずみ分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化される符号化されていない元のブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビットの数）を決定する。イントラ予測処理ユニット２４６は、どのイントラ予測モードがブロック用の最良のレートひずみ値を表すかを決定するために、様々な符号化ブロックについてのひずみおよびレートから比を計算することができる。
[0186]いずれの場合も、ブロック用のイントラ予測モードを選択した後、イントラ予測処理ユニット２４６は、ブロック用の選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２５６に供給することができる。エントロピー符号化ユニット２５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、送信されるビットストリーム内に構成データを含む場合があり、構成データは、コンテキストの各々に使用する、複数のイントラ予測モードインデックステーブルおよび複数の修正された（コードワードマッピングテーブルとも呼ばれる）イントラ予測モードインデックステーブル、様々なブロックについての符号化コンテキストの定義、ならびに、最も起こりそうなイントラ予測モードの指示、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルを含む場合がある。
[0187]予測処理ユニット２４１がインター予測またはイントラ予測を介して現在ビデオブロック用の予測ブロックを生成した後、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは、１つまたは複数のＴＵに含まれ、変換処理ユニット２５２に適用される場合がある。変換処理ユニット２５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット２５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換することができる。
[0188]変換処理ユニット２５２は、得られた変換係数を量子化処理ユニット２５４に送ることができる。量子化処理ユニット２５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられたビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット２５４は、次いで、量子化変換係数を含む行列の走査を実行することができる。代替として、エントロピー符号化ユニット２５６が走査を実行することができる。
[0189]量子化の後、エントロピー符号化ユニット２５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット２５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化の方法もしくは技法を実施することができる。エントロピー符号化ユニット２５６によるエントロピー符号化の後、符号化ビデオビットストリームは、ビデオデコーダ３０に送信されるか、またはビデオデコーダ３０が後で送信するかもしくは取り出すためにアーカイブされる場合がある。エントロピー符号化ユニット２５６はまた、コーディングされている現在ビデオスライスについての動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0190]逆量子化処理ユニット２５８および逆変換処理ユニット２６０は、参照ピクチャの参照ブロックとして後で使用するための、ピクセル領域内の残差ブロックを復元するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット２４４は、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算することができる。動き補償ユニット２４４はまた、動き推定において使用するための整数未満のピクセル値を計算するために、復元された残差ブロックに１つまたは複数の補間フィルタを適用することができる。加算器２６２は、参照ピクチャメモリ２６４に記憶するための参照ブロックを生成するために、復元された残差ブロックを動き補償ユニット２４４によって生成された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ内のブロックをインター予測するために、動き推定ユニット２４２および動き補償ユニット２４４によって参照ブロックとして使用される場合がある。
[0191]ビデオエンコーダ２０は、本明細書に記載された技法を実施するように構成される場合がある。たとえば、区分化ユニット２３５は、複数のレイヤ内のそれぞれのピクチャを、本明細書に記載されたように、いくつかのタイルおよびＬＣＵサイズを有するＬＣＵに区分化することができ、区分化ユニット２３５、予測処理ユニット２４１、および／またはエントロピー符号化ユニット２５６は、本明細書に記載されたように制約されるシンタックス情報を生成することができる。
[0192]このように、ビデオエンコーダ２０は、複数のレイヤを備えるビデオデータを符号化するための方法を実施するビデオエンコーダの一例であり、方法は、ビデオデータの複数のレイヤの各レイヤ内のピクチャをレイヤのピクチャ当たりのいくつかのタイルに区分化することを備え、ここにおいて、ピクチャをいくつかのタイルに区分化することは、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて、レイヤのピクチャ当たりのタイルの最大数を決定することと、レイヤのピクチャ当たりのタイルの最大数に基づいて、レイヤのピクチャ当たりのタイルの数を制約することとを備える。方法は、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて複数のレイヤの各レイヤ内のピクチャを符号化することと、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を符号化することとをさらに備え、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。いくつかの例では、ビデオエンコーダ２０は、レイヤについての空間解像度を可能にする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数を決定することによって、レイヤのピクチャ当たりのタイルの最大数を決定する。いくつかの例では、ビデオエンコーダ２０は、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数を、レイヤのピクチャ当たりのタイルの最大数よりも大きくないように制約する。
[0193]いくつかの例では、ビデオエンコーダ２０は、複数のレイヤのピクチャ当たりのタイルの数の合計が、複数のレイヤのピクチャ当たりのタイルの最大数の合計よりも大きくないように、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数を制約する。いくつかの例では、ビデオエンコーダ２０は、複数のレイヤの第１のレイヤのピクチャ当たりのタイルの数が、第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、複数のレイヤの第２のレイヤのピクチャ当たりのタイルの数が、第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数を制約する。いくつかの例では、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、複数のレイヤのレイヤごとのピクチャ当たりのタイルの最大数は、複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される。いくつかの例では、ビデオエンコーダ２０は、複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の数が、レイヤのピクチャ当たりのタイル列の最大数とレイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、レイヤのピクチャ当たりのタイル行の数が、レイヤのピクチャ当たりのタイル行の最大数とレイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数を制約する。いくつかの例では、ビデオエンコーダ２０は、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の最大数とピクチャ当たりのタイル列の数との間の差分の合計を、レイヤのピクチャ当たりの残留タイル列の数として決定し、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル行の最大数とピクチャ当たりのタイル行の数との間の差分の合計を、レイヤのピクチャ当たりの残留タイル行の数として決定する。
[0194]いくつかの例では、装置は、複数のレイヤを備えるビデオデータを符号化するように構成された、ビデオエンコーダ２０などのビデオエンコーダを備える。ビデオエンコーダは、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、ビデオデータの複数のレイヤの各レイヤ内のピクチャをレイヤのピクチャ当たりのいくつかのタイルに区分化するように構成される。いくつかのタイルにピクチャを区分化するために、１つまたは複数のプロセッサは、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいてレイヤのピクチャ当たりのタイルの最大数を決定することと、レイヤのピクチャ当たりのタイルの最大数に基づいてレイヤのピクチャ当たりのタイルの数を制約することとを行うように構成される。１つまたは複数のプロセッサは、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて複数のレイヤの各レイヤ内のピクチャを、符号化ビットストリーム内に符号化することと、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を、符号化ビットストリーム内に符号化することとを行うようにさらに構成され、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。
[0195]図１４は、本開示に記載された技法を実施することができる例示的なビデオデコーダ３０を示すブロック図である。図１４の例では、ビデオデコーダ３０は、ビデオデータメモリ２７９と、エントロピー復号ユニット２８０と、予測処理ユニット２８１と、逆量子化処理ユニット２８６と、逆変換ユニット２８８と、加算器２９０と、フィルタ処理ユニット２９４と、参照ピクチャメモリ２９６とを含む。予測処理ユニット２８１は、動き補償ユニット２８２と、イントラ予測ユニット２８４とを含む。ビデオデコーダ３０は、いくつかの例では、図１３からのビデオエンコーダ２０に関して記載された符号化パスを全体的に反転させた復号パスを実行することができる。
[0196]ビデオデータメモリ２７９は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶することができる。ビデオデータメモリ２７９に記憶されたビデオデータは、たとえば、コンピュータ可読媒体１６から、たとえば、カメラなどのローカルビデオソースから、ビデオデータの有線もしくはワイヤレスのネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって取得される場合がある。ビデオデータメモリ２７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ）を形成することができる。参照ピクチャメモリ２９６は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオデコーダ３０によってビデオデータを復号する際に使用するための参照ビデオデータを記憶することができる。ビデオデータメモリ２７９および参照ピクチャメモリ２９６は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成される場合がある。ビデオデータメモリ２７９および参照ピクチャメモリ２９６は、同じメモリデバイスまたは別々のメモリデバイスによって提供される場合がある。様々な例では、ビデオデータメモリ２７９は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0197]復号プロセス中に、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオビットストリームを、ビデオエンコーダ２０から受信する。ビデオデコーダ３０のエントロピー復号ユニット２８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット２８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット２８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信することができる。
[0198]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット２８１のイントラ予測ユニット２８４は、シグナリングされたイントラ予測モード、および現在フレームまたは現在ピクチャの前に復号されたブロックからのデータに基づいて、現在ビデオスライスのビデオブロックについての予測データを生成することができる。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、予測処理ユニット２８１の動き補償ユニット２８２は、エントロピー復号ユニット２８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックについての予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ２９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法または任意の他の技法を使用して、参照フレームリスト、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１とを構築することができる。
[0199]動き補償ユニット２８２は、動きベクトルと他のシンタックス要素とを構文解析することによって、現在ビデオスライスのビデオブロックについての予測情報を決定し、復号されている現在ビデオブロックについての予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット２８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライス用の参照ピクチャリストのうちの１つまたは複数についての構築情報と、スライスの各インター符号化ビデオブロックについての動きベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在ビデオスライス内のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
[0200]動き補償ユニット２８２はまた、補間フィルタに基づいて補間を実行することができる。動き補償ユニット２８２は、参照ブロックの整数未満のピクセル用の補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用することができる。この場合、動き補償ユニット２８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを生成するために補間フィルタを使用することができる。
[0201]逆量子化処理ユニット２８６は、ビットストリーム内で供給され、エントロピー復号ユニット２８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち逆量子化（dequantize）する。逆量子化プロセスは、適用されるべき量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライス内のビデオブロックごとに、ビデオエンコーダ２０によって計算された量子化パラメータを使用することを含む場合がある。逆変換処理ユニット２８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0202]動き補償ユニット２８２が、動きベクトルおよび他のシンタックス要素に基づいて現在ビデオブロックについての予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット２８８からの残差ブロックを動き補償ユニット２８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器２９０は、この加算演算を実行する１つまたは複数の構成要素を表す。ビデオデコーダ３０は、参照ピクチャメモリ２９６内の記憶の前に、加算器２９０の出力、たとえば復元されたビデオブロックをフィルタリングするために、フィルタ処理ユニット２９４を含む場合もある。フィルタ処理ユニット２９４は、復元されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングする、デブロッキングフィルタを含む場合がある。フィルタ処理ユニット２９４は、ＳＡＯフィルタなどの（ループ内またはループ後の）追加ループフィルタを加えることができる。参照ピクチャメモリ２９６は、後続の動き補償に使用される参照ピクチャを記憶する。参照ピクチャメモリ２９６はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上に後で表示するための復号ビデオを記憶する。
[0203]いくつかの例では、ビデオデコーダ３０は、たとえば、様々なレイヤ内の様々なピクチャを並行して処理するために、および／またはピクチャ内の様々なタイルを並行して処理するために、複数の並列処理コアを備える。そのような例では、図１４に示されたビデオデコーダ３０の構成要素の少なくとも一部または全部は、処理コアごとに繰り返されるか、または様々な処理コアによって共有される場合がある。たとえば、エントロピー復号ユニット２８０、動き補償ユニット２８２、イントラ予測処理ユニット２８４、逆量子化処理ユニット２８６、逆変換処理ユニット２８８、加算器２９０、フィルタ処理ユニット２９４、および参照ピクチャメモリ２９６のうちのいずれかは、処理コアごとに繰り返されるか、または処理コアによって共有される場合がある。さらに、エントロピー復号ユニット２８０、動き補償ユニット２８２、イントラ予測処理ユニット２８４、逆量子化処理ユニット２８６、逆変換処理ユニット２８８、加算器２９０、フィルタ処理ユニット２９４、および参照ピクチャメモリ２９６の各々に本明細書において関連付けられた様々な機能は、ピクチャ内の様々なタイルまたは様々なレイヤ内の様々なピクチャに関連付けられたビデオデータについて、並行して実行される場合がある。並列処理は、実質的に同じ時間にそれぞれの処理コアによって、様々なタイルまたはレイヤに関連付けられたビデオデータの少なくともいくつかの部分をコーディングすることを含む場合がある。並列処理のために、処理コアは、同じ時間にビデオデータをコーディングすることを開始または終了する可能性があるが、必ずしもそうするとは限らない。しかしながら、並列処理の少なくとも一部分の間に、コアは同時にコーディングしている。
[0204]様々な例では、ビデオデコーダ３０のユニットは、本開示の技法を実施するように課される場合がある。また、いくつかの例では、本開示の技法は、ビデオデコーダ３０のユニットのうちの１つまたは複数の中で分割される場合がある。たとえば、エントロピー復号ユニット２８０は、本明細書に記載されたように制約された、ビデオデータの複数のレイヤについてのシンタックス情報、たとえばシンタックス要素を取り出すために、符号化ビデオビットストリームを復号することができる。予測処理ユニット２８１および加算器２９０は、本明細書に記載されたように、制約されたシンタックス情報に基づいて、たとえば、いくつかのタイルおよびＬＣＵサイズを有するＬＣＵ内のピクチャの区分化に基づいて、レイヤ内のそれぞれのピクチャを復元することができる。
[0205]このように、ビデオデコーダ３０は、複数のレイヤを備えるビデオデータを復号するための方法を実施するように構成されたビデオデコーダの一例であり、方法は、ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することを備える。複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのピクチャ当たりのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。方法は、復号されたシンタックス情報によって定義された、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを復元することをさらに備える。いくつかの例では、レイヤのピクチャ当たりのタイルの最大数は、レイヤについての空間解像度を可能にする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数であるように決定される。いくつかの例では、複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数よりも大きくないように、シンタックス情報は制約される。
[0206]いくつかの例では、複数のレイヤのピクチャ当たりのタイルの数の合計が、複数のレイヤのピクチャ当たりのタイルの最大数の合計よりも大きくないように、シンタックス情報は制約される。いくつかの例では、複数のレイヤの第１のレイヤのピクチャ当たりのタイルの数が、第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、複数のレイヤの第２のレイヤのピクチャ当たりのタイルの数が、第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、シンタックス情報は制約される。いくつかの例では、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、複数のレイヤのレイヤごとのピクチャ当たりのタイルの最大数は、複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される。いくつかの例では、複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の数が、レイヤのピクチャ当たりのタイル列の最大数とレイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、レイヤのピクチャ当たりのタイル行の数が、レイヤのピクチャ当たりのタイル行の最大数とレイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、シンタックス情報は制約される。いくつかの例では、レイヤのピクチャ当たりの残留タイル列の数は、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の最大数とピクチャ当たりのタイル列の数との間の差分の合計を備え、レイヤのピクチャ当たりの残留タイル行の数は、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル行の最大数とピクチャ当たりのタイル行の数との間の差分の合計を備える。
[0207]いくつかの例では、ビデオデータを復号するための装置は、ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備える。１つまたは複数のプロセッサは、符号化ビデオビットストリームからのビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号するように構成され、複数のレイヤのレイヤごとのそれぞれのシンタックス情報は、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する。複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が、レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように、シンタックス情報は制約される。レイヤのピクチャ当たりのタイルの最大数は、レイヤ内のピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される。１つまたは複数のプロセッサは、復号されたシンタックス情報によって定義された、レイヤのいくつかのタイルへのピクチャの区分化に基づいて、少なくとも１つのレイヤ内のピクチャを復元するようにさらに構成される。
[0208]図１５は、本開示に記載された技法に従って、複数のレイヤ内のピクチャをいくつかのタイルに区分化し、ビデオビットストリームを符号化するための例示的な方法を示す流れ図である。図１５の例示的な方法は、ビデオエンコーダ２０などのビデオエンコーダによって実施される場合がある。
[0209]図１５の例示的な方法によれば、ビデオエンコーダは、たとえば、レイヤについての空間解像度ならびに／またはティア情報およびレベル情報に基づいて、複数のレイヤのレイヤのピクチャ当たりのタイルの最大数を決定する（４００）。たとえば、ビデオエンコーダは、たとえば、ＨＥＶＣ仕様の表Ａ−１において規定されたように、レイヤについての解像度をサポートする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数を決定することができる。ビデオエンコーダ２０は、タイルの最大数に基づいてレイヤのピクチャ当たりのタイルの数を制約する（４０２）。たとえば、ビデオエンコーダは、レイヤのピクチャ当たりのタイルの数を、レイヤのピクチャ当たりのタイルの最大数よりも大きくないように制約することができる。
[0210]ビデオエンコーダは、レイヤのピクチャ当たりのタイルの最大数に基づいて制約されるように、レイヤ内のピクチャをピクチャ当たりのいくつかのタイルに区分化することができる（４０４）。ビデオエンコーダは、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、レイヤ内のピクチャを符号化する（４０６）。ビデオエンコーダはまた、レイヤのいくつかのタイルへのピクチャの区分化を定義するシンタックス情報を符号化し、たとえば、レイヤについてのタイル行の数とタイル列の数とを示すＰＰＳを符号化し、どのＰＰＳが、したがってレイヤについての何番のタイル行と何番のタイル列がアクティブであるかを示す、スライスヘディング内のシンタックス情報を符号化する。ビデオデータのさらなるレイヤが存在する場合（４１０のＹＥＳ）、ビデオエンコーダは再び、ピクチャ当たりのタイルの最大数を決定し、ピクチャ当たりのタイルの数を制約し、ピクチャを区分化し、ピクチャを符号化し、レイヤについてのシンタックス情報を符号化することができる（４００〜４０８）。そうでない場合、図１５の例示的な方法は終了することができる（４１０のＮＯ）。
[0211]図１６は、本開示に記載される技法に従って、複数のレイヤ内のピクチャをいくつかのタイルに区分化し、ビデオビットストリームを符号化するための別の例示的な方法を示す流れ図である。図１６の例示的な方法は、ビデオエンコーダ２０などのビデオエンコーダによって実施される場合がある。
[0212]図１６の例示的な方法によれば、ビデオエンコーダは、たとえば、レイヤ内のピクチャについての空間解像度ならびに／またはティア情報およびレベル情報に基づいて、ビデオデータの複数のレイヤの中のレイヤのピクチャ当たりのタイル列の最大数とタイル行の最大数とを決定する（４１２）。たとえば、ビデオエンコーダは、たとえば、ＨＥＶＣ仕様の表Ａ−１において規定されたように、レイヤについての解像度をサポートする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数を決定することができる。ビデオエンコーダは、レイヤのピクチャ当たりのタイル列の数を、レイヤのピクチャ当たりのタイル列の最大数と残留タイル列の数との和よりも大きくないように制約する（４１４）。ビデオエンコーダはまた、レイヤのピクチャ当たりのタイル行の数を、レイヤのピクチャ当たりのタイル行の最大数とレイヤについての残留タイル行の数との和よりも大きくないように制約する（４１６）。本明細書に記載されたように、タイル列の残留数は、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の実際の数とピクチャ当たりのタイル列の最大数との間の差分の累積、すなわち合計であり得る。同様に、タイル行の残留数は、複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル行の実際の数とピクチャ当たりのタイル行の最大数との間の差分の累積、すなわち合計であり得る。
[0213]ビデオエンコーダは、制約されたピクチャ当たりのタイル列の数およびタイル行の数に基づいて、レイヤ内のピクチャをピクチャ当たりのいくつかのタイルに区分化する（４１８）。ビデオエンコーダは、タイルへの区分化に基づいてレイヤ内のピクチャを符号化する（４２０）。ビデオエンコーダはまた、レイヤのピクチャ当たりのタイル列の数とタイル行の数とを定義するシンタックス情報を符号化する（４２２）。たとえば、ビデオエンコーダは、レイヤのピクチャ当たりのタイル行の数とタイル列の数とを示すＰＰＳを符号化することができ、どのＰＰＳが、したがってレイヤについての何番のタイル行と何番のタイル列がアクティブであるかを示す、スライスヘディング内のシンタックス情報を符号化する。
[0214]ビデオデータのさらなるレイヤが存在する場合（４２４のＹＥＳ）、ビデオエンコーダは、残留タイル列と残留タイル行とを決定することができる（４２６）。たとえば、ビデオエンコーダは、ピクチャ当たりのタイル列およびタイル行の実際の数と、ピクチャ当たりのタイル列およびタイル行の最大数との間の差分を決定し、それに応じてタイル列およびタイル行の残留数を増分または減分することができる。次いで、ビデオエンコーダは再び、ピクチャ当たりのタイル列およびタイル行の最大数を決定し、ピクチャ当たりのタイル列およびタイル行の数を制約し、ピクチャを区分化し、ピクチャを符号化し、レイヤについてのシンタックス情報を符号化することができる（４１２〜４２２）。そうでない場合、図１６の例示的な方法は終了することができる（４１０のＮＯ）。
[0215]図１７は、レイヤのピクチャ当たりのいくつかのタイルに区分化されたピクチャを復元するための例示的な方法を示す流れ図である。図１７の例示的な方法は、ビデオデコーダ３０などのビデオデコーダによって実施される場合がある。
[0216]図１７の例示的な方法によれば、ビデオデコーダは、レイヤのピクチャ当たりのいくつかのタイルへのレイヤ内のピクチャの区分化を定義する、複数のレイヤについてのそれぞれのシンタックス情報を復号する（４３０）。たとえば、ビデオデコーダは、レイヤのピクチャ用のアクティブＰＰＳを識別するスライスヘッダ内のシンタックス情報を復号することができ、ビデオデコーダによって前に復号されている可能性があるアクティブＰＰＳは、レイヤのピクチャ当たりのタイル列の数とタイル行の数とを示すことができる。ビデオデコーダはまた、レイヤのピクチャ当たりのいくつかのタイルへのピクチャの区分化に基づいて、複数のレイヤのうちの少なくとも１つのピクチャを復元することができる（４３２）。本明細書に記載されたように、シンタックス情報は制約され得るし、たとえば、レイヤのピクチャ当たりのタイルの数は、レイヤのピクチャ当たりのタイルの最大数よりも大きくないか、またはレイヤのピクチャ当たりのタイルの最大数およびタイルの残留数よりも大きくないように制約され得る。
[0217]図１８は、本開示に記載された技法に従って、ＬＣＵサイズを制約し、ビデオビットストリームを符号化するための例示的な方法を示す流れ図である。図１８の例示的な方法は、ビデオエンコーダ２０などのビデオエンコーダによって実施される場合がある。
[0218]図１８の例示的な方法によれば、ビデオエンコーダは、ビデオデータの第１のレイヤについての第１のＬＣＵサイズを決定する（４４０）。ビデオエンコーダは、ビデオデータの第１のレイヤについての第１のＬＣＵサイズに基づいて、ビデオデータの第２のレイヤについての第２のＬＣＵサイズを制約する（４４２）。いくつかの例では、ビデオエンコーダは、第１のＬＣＵサイズと同じであるように第２のＬＣＵサイズを制約する。いくつかの例では、第１のレイヤは、たとえば、ＳＮＲスケーラビリティのための第２のレイヤについてのアクティブ参照レイヤである。いくつかの例では、第１のレイヤ内のピクチャと第２のレイヤ内のピクチャは、同じ空間解像度を有する。
[0219]ビデオエンコーダはまた、第１および第２のレイヤについての第１および第２のＬＣＵサイズを指定するシンタックス情報を、符号化ビデオビットストリーム内に符号化する（４４４）。たとえば、ビデオエンコーダは、第１および第２のレイヤについてのＬＣＵサイズを指定するＳＰＳを符号化することができ、ＳＰＳがアクティブであることを示す、たとえばスライスヘッダ内のシンタックス情報を符号化することができる。ビデオエンコーダはまた、第１および第２のＬＣＵサイズに基づいて、第１および第２のレイヤ内のピクチャをビデオビットストリーム内に符号化することができる（４４６）。
[0220]図１９は、制約されたＬＣＵサイズを有する複数のレイヤ内のピクチャを復元する例示的な方法を示す流れ図である。図１９の例示的な方法は、ビデオデコーダ３０などのビデオデコーダによって実施される場合がある。
[0221]図１９の例示的な方法によれば、ビデオデコーダは、第１のレイヤについての第１のＬＣＵサイズと第２のレイヤについての第２のＬＣＵサイズとを指定するシンタックス情報を復号する（４５０）。たとえば、ビデオデコーダは、レイヤについてのアクティブＳＰＳを識別するシンタックス情報を復号することができ、ビデオデコーダによって前に復号されている可能性があるアクティブＳＰＳは、第１および第２のＬＣＵサイズを示すことができる。ビデオデコーダはまた、第１および第２のＬＣＵサイズに基づいて、第１および第２のレイヤ内のピクチャを復元することができる（４５２）。本明細書に記載されたように、第２のＬＣＵサイズは、第１のＬＣＵサイズに基づいて、たとえば第１のＬＣＵサイズに等しいように制約され得る。第１のレイヤは、たとえば、ＳＮＲスケーラビリティのための第２のレイヤについてのアクティブ参照レイヤであり得る。いくつかの例では、第１のレイヤ内のピクチャと第２のレイヤ内のピクチャは、同じ空間解像度を有する。
[0222]いくつかの例では、本開示に記載された技法の１つまたは複数の態様は、メディアアウェアネットワーク要素（ＭＡＮＥ）、ストリーム適応プロセッサ、スプライシングプロセッサ、または編集プロセッサなどの中間ネットワークデバイスによって実施される場合がある。たとえば、そのような中間デバイスは、本開示に記載されたように、様々なシグナリングのうちのいずれかを生成または受信するように構成される場合がある。
[0223]１つまたは複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装される場合がある。ソフトウェアに実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行される場合がある。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含む場合がある。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応する場合がある。データ記憶媒体は、本開示に記載された技法の実施のための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータ、または１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含む場合がある。
[0224]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用され得るし、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）と、レーザーディスク（登録商標）と、光ディスクと、デジタル多用途ディスク（ＤＶＤ）と、フロッピー（登録商標）ー（登録商標）ディスクと、ブルーレイディスクとを含み、通常、ディスク（disk）は磁気的にデータを再生し、ディスク（disc）はレーザーを用いて光学的にデータを再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0225]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路などの、１つまたは複数のプロセッサによって実行される場合がある。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書に記載された技法の実装形態に適した任意の他の構造のいずれかを指す場合がある。加えて、いくつかの態様では、本明細書に記載された機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび／もしくはソフトウェアモジュール内で提供されるか、または複合コーデックに組み込まれる場合がある。また、本技法は、１つまたは複数の回路または論理要素の中に完全に実装される可能性がある。
[0226]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む多種多様なデバイスまたは装置において実施される場合がある。開示された技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されたが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニット内で組み合わされるか、または、適切なソフトウェアおよび／もしくはファームウェアと連携して、上述された１つまたは複数のプロセッサを含む相互動作可能なハードウェアユニットの集合によって提供される場合がある。
[0227]様々な例が記載されている。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ 複数のレイヤを備えるビデオデータを復号する方法であって、
前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりのいくつかのタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
前記復号されたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを復元することと
を備える、方法。
［Ｃ２］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される、Ｃ１に記載の方法。
［Ｃ３］ 前記レイヤのピクチャ当たりのタイルの前記最大数が、前記レイヤについて前記空間解像度を可能にする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数であるように決定される、Ｃ１に記載の方法。
［Ｃ４］ 前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数が、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記シンタックス情報が制約される、Ｃ１に記載の方法。
［Ｃ５］ 前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記シンタックス情報が制約される、Ｃ１に記載の方法。
［Ｃ６］ 前記複数のレイヤの第１のレイヤのピクチャ当たりのタイルの数が、前記第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、前記複数のレイヤの第２のレイヤのピクチャ当たりのタイルの数が、前記第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、前記シンタックス情報が制約される、Ｃ５に記載の方法。
［Ｃ７］ アクセスユニットが、前記複数のレイヤの各々の中に前記それぞれのピクチャを備える、Ｃ５に記載の方法。
［Ｃ８］ 前記複数のレイヤが、サブビットストリームの複数のレイヤを備える、Ｃ５に記載の方法。
［Ｃ９］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素、およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、シンタックス情報が制約され、
前記レイヤのピクチャ当たりの残留タイル列の前記数が、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を備え、前記レイヤのピクチャ当たりの残留タイル行の前記数が、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を備える、
Ｃ５に記載の方法。
［Ｃ１０］ 前記複数のレイヤの前記１つのレイヤが非ベースレイヤである、Ｃ９に記載の方法。
［Ｃ１１］ 前記ビデオデータがスケーラブルビデオコーディングデータを備え、前記複数のレイヤがスケーラブルビデオコーディングレイヤを備える、Ｃ１に記載の方法。
［Ｃ１２］ 前記ビデオデータがマルチビュービデオデータを備え、前記複数のレイヤが前記マルチビュービデオデータの複数のビューに対応する、Ｃ１に記載の方法。
［Ｃ１３］ 前記シンタックス情報を復号することが、前記シンタックス情報を含むアクティブパラメータセットを決定することを備える、Ｃ１に記載の方法。
［Ｃ１４］ 前記アクティブパラメータセットがアクティブピクチャパラメータセットを備える、Ｃ１３に記載の方法。
［Ｃ１５］ 複数のレイヤを備えるビデオデータを符号化する方法であって、
前記ビデオデータの前記複数のレイヤの各レイヤ内のピクチャを前記レイヤのピクチャ当たりのいくつかのタイルに区分化することと、ここにおいて、前記レイヤの各々についてピクチャ当たりの前記いくつかのタイルに前記ピクチャを区分化することは、
前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて、前記レイヤのピクチャ当たりのタイルの最大数を決定することと、
前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの数を制約することと
を備える、
前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記複数のレイヤの各レイヤ内の前記ピクチャを符号化することと、
前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を符号化することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記レイヤ内の前記ピクチャの前記区分化を定義する、
を備える、方法。
［Ｃ１６］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される、Ｃ１５に記載の方法。
［Ｃ１７］ 前記レイヤのピクチャ当たりのタイルの前記最大数を決定することが、前記レイヤについて前記空間解像度を可能にする最も低いビットストリームレベルについてのタイルの最大数を決定することを備える、Ｃ１５に記載の方法。
［Ｃ１８］ 前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備える、Ｃ１５に記載の方法。
［Ｃ１９］ 前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備える、Ｃ１５に記載の方法。
［Ｃ２０］ 前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの第１のレイヤのピクチャ当たりのタイルの数が、前記第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、前記複数のレイヤの第２のレイヤのピクチャ当たりのタイルの数が、前記第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、前記複数のレイヤのレイヤごとのタイルの前記数を制約することを備える、Ｃ１９に記載の方法。
［Ｃ２１］ アクセスユニットが、前記複数のレイヤの各々の中に前記それぞれのピクチャを備える、Ｃ１９に記載の方法。
［Ｃ２２］ 前記複数のレイヤが、サブビットストリームの複数のレイヤを備える、Ｃ１９に記載の方法。
［Ｃ２３］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素、およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備え、前記方法が、
前記レイヤのピクチャ当たりの残留タイル列の前記数として、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を決定することと、
前記レイヤのピクチャ当たりの残留タイル行の前記数として、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を決定することと
をさらに備える、
Ｃ１９に記載の方法。
［Ｃ２４］ 前記複数のレイヤの前記１つのレイヤが非ベースレイヤである、Ｃ２３に記載の方法。
［Ｃ２５］ 前記ビデオデータがスケーラブルビデオコーディングデータを備え、前記複数のレイヤがスケーラブルビデオコーディングレイヤを備える、Ｃ１５に記載の方法。
［Ｃ２６］ 前記ビデオデータがマルチビュービデオデータを備え、前記複数のレイヤが前記マルチビュービデオデータの複数のビューに対応する、Ｃ１５に記載の方法。
［Ｃ２７］ 前記シンタックス情報を符号化することが、前記シンタックス情報を含むアクティブパラメータセットを識別する情報を符号化することを備える、Ｃ１５に記載の方法。
［Ｃ２８］ 前記アクティブパラメータセットがアクティブピクチャパラメータセットを備える、Ｃ２７に記載の方法。
［Ｃ２９］ 複数のレイヤを備えるビデオデータを復号するように構成されたビデオデコーダを備える装置であって、前記ビデオデコーダが、
前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりのいくつかのタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
前記復号されたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを復元することと
を行うように構成された１つまたは複数のプロセッサと
を備える、装置。
［Ｃ３０］ 前記レイヤのピクチャ当たりのタイルの前記最大数が、前記レイヤについて前記空間解像度を可能にする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数であるように決定される、Ｃ２９に記載の装置。
［Ｃ３１］ 前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数が、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記シンタックス情報が制約される、Ｃ２９に記載の装置。
［Ｃ３２］ 前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、シンタックス情報が制約される、Ｃ２９に記載の装置。
［Ｃ３３］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素、およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、シンタックス情報が制約され、
前記レイヤのピクチャ当たりの残留タイル列の前記数が、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を備え、前記レイヤのピクチャ当たりの残留タイル行の前記数が、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を備える、
Ｃ３２に記載の装置。
［Ｃ３４］ マイクロプロセッサ、
集積回路（ＩＣ）、および
少なくとも１つの前記ビデオデコーダを備えるワイヤレス通信デバイス
のうちの１つを備える、Ｃ２９に記載の装置。
［Ｃ３５］ 複数のレイヤを備えるビデオデータを符号化するように構成されたビデオエンコーダを備える装置であって、前記ビデオエンコーダが、
前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
前記ビデオデータの前記複数のレイヤの各レイヤ内のピクチャを前記レイヤのピクチャ当たりのいくつかのタイルに区分化するように構成された１つまたは複数のプロセッサとを備え、ここにおいて、前記いくつかのタイルに前記ピクチャを区分化するために、前記１つまたは複数のプロセッサが、
前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて、前記レイヤのピクチャ当たりのタイルの最大数を決定することと、
前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの数を制約することと
を行うように構成され、前記１つまたは複数のプロセッサが、
前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記複数のレイヤの各レイヤ内の前記ピクチャを前記符号化ビデオビットストリーム内に符号化することと、
前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を前記符号化ビデオビットストリーム内に符号化することとを行うように構成され、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記レイヤ内の前記ピクチャの前記区分化を定義する、
装置。
［Ｃ３６］ 前記レイヤのピクチャ当たりのタイルの前記最大数を決定するために、前記１つまたは複数のプロセッサが、前記レイヤについて前記空間解像度を可能にする最も低いビットストリームレベルについてのピクチャ当たりのタイルの最大数を決定するように構成された、Ｃ３５に記載の装置。
［Ｃ３７］ 前記１つまたは複数のプロセッサが、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約するように構成された、Ｃ３５に記載の装置。
［Ｃ３８］ 前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約するように、前記１つまたは複数のプロセッサが構成された、Ｃ３５に記載の装置。
［Ｃ３９］ 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素、およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりの残留タイル行の数との和よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備え、
前記１つまたは複数のプロセッサが、
前記レイヤのピクチャ当たりの残留タイル列の前記数として、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を決定することと、
前記レイヤのピクチャ当たりの残留タイル行の前記数として、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を決定することと
を行うように構成された、
Ｃ３８に記載の装置。
［Ｃ４０］ マイクロプロセッサ、
集積回路（ＩＣ）、および
少なくとも１つの前記ビデオエンコーダを備えるワイヤレス通信デバイス
のうちの１つを備える、Ｃ３５に記載の装置。
［Ｃ４１］ 複数のレイヤを備えるビデオデータをコーディングするように構成された装置であって、
前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングするための手段と、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりのいくつかのタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
前記コーディングされたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを処理するための手段と
を備える、装置。
［Ｃ４２］ 実行されたとき、
ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングすることと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりのいくつかのタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
前記コーディングされたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記いくつかのタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを処理することと
を、ビデオコーダの１つまたは複数のプロセッサに行わせる命令を記憶した、コンピュータ可読記憶媒体。
［Ｃ４３］ 複数のレイヤを備えるビデオデータをコーディングするように構成されたビデオコーダを備える装置であって、前記ビデオコーダが、
前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
前記ビデオデータの第１のレイヤについての第１の最大コーディングユニット（ＬＣＵ）サイズを指定する第１のシンタックス情報と、前記ビデオデータの第２のレイヤについての第２のＬＣＵサイズを指定する第２のシンタックス情報とをコーディングすることと、前記第１および第２のシンタックス情報は前記符号化ビデオビットストリーム内で符号化される、ここにおいて、前記第２のＬＣＵサイズは前記第１のＬＣＵサイズに基づいて制約される、
前記ビデオデータの前記第１および第２のレイヤについての前記第１および第２のＬＣＵサイズに従って、前記ビデオデータの前記第１および第２のレイヤ内のピクチャを処理することと
を行うように構成された１つまたは複数のプロセッサと
を備える、装置。
［Ｃ４４］ 前記第２のＬＣＵサイズが、前記第１のＬＣＵサイズに等しいように制約される、Ｃ４３に記載の装置。
［Ｃ４５］ 前記ビデオデータの前記第１のレイヤが、前記ビデオデータの前記第２のレイヤについてのアクティブ参照レイヤを備える、Ｃ４３に記載の装置。
［Ｃ４６］ 前記ビデオデータの前記第１のレイヤが、信号対ノイズ（ＳＮＲ）スケーラビリティのための前記ビデオデータの前記第２のレイヤについてのアクティブ参照レイヤを備える、Ｃ４３に記載の装置。
［Ｃ４７］ ビデオデータの前記第１のレイヤ内の前記ピクチャの空間解像度が、ビデオデータの前記第２のレイヤ内の前記ピクチャの空間解像度に等しい、Ｃ４３に記載の装置。
［Ｃ４８］ ビデオデータの前記第１のレイヤが、信号対ノイズ（ＳＮＲ）スケーラビリティのためのビデオデータの前記第２のレイヤについてのアクティブ参照レイヤを備えるとき、前記第２のＬＣＵサイズが、前記第１のＬＣＵサイズに等しいように制約される、Ｃ４３に記載の装置。
［Ｃ４９］ 前記ビデオデータがスケーラブルビデオコーディングデータを備え、前記複数のレイヤがスケーラブルビデオコーディングレイヤを備える、Ｃ４３に記載の装置。
［Ｃ５０］ 前記第１および第２のシンタックス情報をコーディングすることが、前記第１および第２のシンタックス情報を含むアクティブパラメータセットを識別する情報をコーディングすることを備える、Ｃ４３に記載の装置。
［Ｃ５１］ 前記アクティブパラメータセットがアクティブシーケンスパラメータセットを備える、Ｃ５０に記載の装置。
［Ｃ５２］ 前記ビデオコーダが、前記複数のレイヤを備える前記ビデオデータを復号するように構成されたビデオデコーダを備え、前記１つまたは複数のプロセッサが、
前記符号化ビデオビットストリームから、前記第１のＬＣＵサイズを指定する前記第１のシンタックス情報と、前記第２のＬＣＵサイズを指定する前記第２のシンタックス情報とを復号することと、
前記ビデオデータの前記第１および第２のレイヤについての前記第１および第２のＬＣＵサイズに従って、前記ビデオデータの前記第１および第２のレイヤ内のピクチャを復元することと
を行うように構成された、Ｃ４３に記載の装置。
［Ｃ５３］ 前記ビデオコーダが、前記複数のレイヤを備える前記ビデオデータを符号化するように構成されたビデオエンコーダを備え、前記１つまたは複数のプロセッサが、
前記符号化ビデオビットストリーム内に、前記第１のＬＣＵサイズを指定する前記第１のシンタックス情報と、前記第２のＬＣＵサイズを指定する前記第２のシンタックス情報とを符号化することと、
前記ビデオデータの前記第１および第２のレイヤについての前記第１および第２のＬＣＵサイズに従って、前記ビデオデータの前記第１および第２のレイヤ内のピクチャを前記符号化ビデオビットストリーム内に符号化することと
を行うように構成された、Ｃ４３に記載の装置。

Claims (38)

  1. 複数のレイヤを備えるビデオデータを復号する方法であって、
    前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの複数のタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
    前記復号されたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを復元することと
    を備え、
    前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記シンタックス情報が制約される、方法。
  2. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される、請求項１に記載の方法。
  3. 前記レイヤのピクチャ当たりのタイルの前記最大数が、前記レイヤについて前記空間解像度を定義する各ビットストリームレベルのうち最も低いビットストリームレベルに対応するピクチャ当たりのタイルの最大数であるように決定される、請求項１に記載の方法。
  4. 前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数が、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記シンタックス情報が制約される、請求項１に記載の方法。
  5. 前記複数のレイヤの第１のレイヤのピクチャ当たりのタイルの前記数が、前記第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、前記複数のレイヤの第２のレイヤのピクチャ当たりのタイルの前記数が、前記第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、前記シンタックス情報が制約される、請求項１に記載の方法。
  6. アクセスユニットが、前記複数のレイヤの各々の中に前記それぞれのピクチャを備える、請求項１に記載の方法。
  7. 前記複数のレイヤが、サブビットストリームの複数のレイヤを備える、請求項１に記載の方法。
  8. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
    前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
    前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりのタイル行の残留の数との和よりも大きくないように、シンタックス情報が制約され、
    前記レイヤのピクチャ当たりの残留タイル列の前記数が、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を備え、前記レイヤのピクチャ当たりの残留タイル行の前記数が、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を備える、請求項１に記載の方法。
  9. 前記複数のレイヤの前記１つのレイヤが非ベースレイヤである、請求項８に記載の方法。
  10. 前記ビデオデータがスケーラブルビデオコーディングデータを備え、前記複数のレイヤがスケーラブルビデオコーディングレイヤを備える、請求項１に記載の方法。
  11. 前記ビデオデータがマルチビュービデオデータを備え、前記複数のレイヤが前記マルチビュービデオデータの複数のビューに対応する、請求項１に記載の方法。
  12. 前記シンタックス情報を復号することが、前記シンタックス情報を含むアクティブパラメータセットを決定することを備える、請求項１に記載の方法。
  13. 前記アクティブパラメータセットがアクティブピクチャパラメータセットを備える、請求項１２に記載の方法。
  14. 複数のレイヤを備えるビデオデータを符号化する方法であって、
    前記ビデオデータの前記複数のレイヤの各レイヤ内のピクチャを前記レイヤのピクチャ当たりの複数のタイルに区分化することと、ここにおいて、前記レイヤの各々についてピクチャ当たりの前記複数のタイルに前記ピクチャを区分化することは、
    前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて、前記レイヤのピクチャ当たりのタイルの最大数を決定することと、
    前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの数を制約することと
    を備える、
    前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記複数のレイヤの各レイヤ内の前記ピクチャを符号化することと、
    前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を符号化することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの前記複数のタイルへの前記レイヤ内の前記ピクチャの前記区分化を定義する、
    を備え、
    前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備える、方法。
  15. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義される、請求項１４に記載の方法。
  16. 前記レイヤのピクチャ当たりのタイルの前記最大数を決定することが、前記レイヤについて前記空間解像度を定義する各ビットストリームレベルのうち最も低いビットストリームレベルに対応させてピクチャ当たりのタイルの最大数を決定することを備える、請求項１４に記載の方法。
  17. 前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備える、請求項１４に記載の方法。
  18. 前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの第１のレイヤのピクチャ当たりのタイルの前記数が、前記第１のレイヤのピクチャ当たりのタイルの最大数よりも大きく、前記複数のレイヤの第２のレイヤのピクチャ当たりのタイルの前記数が、前記第２のレイヤのピクチャ当たりのタイルの最大数よりも小さいように、前記複数のレイヤのレイヤごとのタイルの前記数を制約することを備える、請求項１４に記載の方法。
  19. アクセスユニットが、前記複数のレイヤの各々の中に前記それぞれのピクチャを備える、請求項１４に記載の方法。
  20. 前記複数のレイヤが、サブビットストリームの複数のレイヤを備える、請求項１４に記載の方法。
  21. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
    前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
    前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりのタイル行の残留の数との和よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備え、前記方法が、
    前記レイヤのピクチャ当たりの残留タイル列の前記数として、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を決定することと、
    前記レイヤのピクチャ当たりの残留タイル行の前記数として、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を決定することと
    をさらに備える、
    請求項１４に記載の方法。
  22. 前記複数のレイヤの前記１つのレイヤが非ベースレイヤである、請求項２１に記載の方法。
  23. 前記ビデオデータがスケーラブルビデオコーディングデータを備え、前記複数のレイヤがスケーラブルビデオコーディングレイヤを備える、請求項１４に記載の方法。
  24. 前記ビデオデータがマルチビュービデオデータを備え、前記複数のレイヤが前記マルチビュービデオデータの複数のビューに対応する、請求項１４に記載の方法。
  25. 前記シンタックス情報を符号化することが、前記シンタックス情報を含むアクティブパラメータセットを識別する情報を符号化することを備える、請求項１４に記載の方法。
  26. 前記アクティブパラメータセットがアクティブピクチャパラメータセットを備える、請求項２５に記載の方法。
  27. 複数のレイヤを備えるビデオデータを復号するように構成されたビデオデコーダを備える装置であって、前記ビデオデコーダが、
    前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
    前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を復号することと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの複数のタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
    前記復号されたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを復元することと
    を行うように構成された１つまたは複数のプロセッサと
    を備え、
    前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記シンタックス情報が制約される、装置。
  28. 前記レイヤのピクチャ当たりのタイルの前記最大数が、前記レイヤについて前記空間解像度を定義する各ビットストリームレベルのうち最も低いビットストリームレベルに対応するピクチャ当たりのタイルの最大数であるように決定される、請求項２７に記載の装置。
  29. 前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数が、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記シンタックス情報が制約される、請求項２７に記載の装置。
  30. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
    前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
    前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりのタイル行の残留の数との和よりも大きくないように、シンタックス情報が制約され、
    前記レイヤのピクチャ当たりの残留タイル列の前記数が、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を備え、前記レイヤのピクチャ当たりの残留タイル行の前記数が、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を備える、請求項２７に記載の装置。
  31. マイクロプロセッサ、
    集積回路（ＩＣ）、および
    前記ビデオデコーダのうちの少なくとも１つを備えるワイヤレス通信デバイス
    のうちの１つを備える、請求項２７に記載の装置。
  32. 複数のレイヤを備えるビデオデータを符号化するように構成されたビデオエンコーダを備える装置であって、前記ビデオエンコーダが、
    前記ビデオデータを符号化する符号化ビデオビットストリームを記憶するように構成されたメモリと、
    前記ビデオデータの前記複数のレイヤの各レイヤ内のピクチャを前記レイヤのピクチャ当たりの複数のタイルに区分化するように構成された１つまたは複数のプロセッサと
    を備え、ここにおいて、前記複数のタイルに前記ピクチャを区分化するために、前記１つまたは複数のプロセッサが、
    前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて、前記レイヤのピクチャ当たりのタイルの最大数を決定することと、
    前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの数を制約することと
    を行うように構成され、前記１つまたは複数のプロセッサが、
    前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記複数のレイヤの各レイヤ内の前記ピクチャを前記符号化ビデオビットストリーム内に符号化することと、
    前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報を前記符号化ビデオビットストリーム内に符号化することと
    を行うように構成され、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの前記複数のタイルへの前記レイヤ内の前記ピクチャの前記区分化を定義し、
    前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約するように、前記１つまたは複数のプロセッサが構成された、装置。
  33. 前記レイヤのピクチャ当たりのタイルの前記最大数を決定するために、前記１つまたは複数のプロセッサが、前記レイヤについて前記空間解像度を定義する各ビットストリームレベルのうち最も低いビットストリームレベルに対応させてピクチャ当たりのタイルの最大数を決定するように構成された、請求項３２に記載の装置。
  34. 前記１つまたは複数のプロセッサが、前記レイヤのピクチャ当たりのタイルの前記最大数よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約するように構成された、請求項３２に記載の装置。
  35. 前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報が、ピクチャ当たりのタイル列の数を定義する第１のシンタックス要素およびピクチャ当たりのタイル行の数を定義する第２のシンタックス要素のそれぞれの値を備え、
    前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記最大数が、前記複数のレイヤのレイヤごとのピクチャ当たりのタイル列の最大数およびピクチャ当たりのタイル行の最大数によって定義され、
    前記レイヤのピクチャ当たりのタイルの前記最大数に基づいて、前記レイヤのピクチャ当たりのタイルの前記数を制約することが、前記複数のレイヤの１つのレイヤのピクチャ当たりのタイル列の前記数が、前記レイヤのピクチャ当たりのタイル列の前記最大数と前記レイヤのピクチャ当たりの残留タイル列の数との和よりも大きくなく、前記レイヤのピクチャ当たりのタイル行の前記数が、前記レイヤのピクチャ当たりのタイル行の前記最大数と前記レイヤのピクチャ当たりのタイル行の残留の数との和よりも大きくないように、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの前記数を制約することを備え、
    前記１つまたは複数のプロセッサが、
    前記レイヤのピクチャ当たりの残留タイル列の前記数として、前記複数のレイヤの１つまたは複数の他のレイヤのピクチャ当たりのタイル列の前記最大数とピクチャ当たりのタイル列の前記数との間の差分の合計を決定することと、
    前記レイヤのピクチャ当たりの残留タイル行の前記数として、前記複数のレイヤの前記１つまたは複数の他のレイヤのピクチャ当たりのタイル行の前記最大数とピクチャ当たりのタイル行の前記数との間の差分の合計を決定することと
    を行うように構成された、
    請求項３２に記載の装置。
  36. マイクロプロセッサ、
    集積回路（ＩＣ）、および
    前記ビデオエンコーダのうちの少なくとも１つを備えるワイヤレス通信デバイス
    のうちの１つを備える、請求項３２に記載の装置。
  37. 複数のレイヤを備えるビデオデータをコーディングするように構成された装置であって、
    前記ビデオデータの前記複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングするための手段と、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの複数のタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
    前記コーディングされたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを処理するための手段と
    を備え、
    前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記シンタックス情報が制約される、装置。
  38. 実行されたとき、
    ビデオデータの複数のレイヤのレイヤごとのそれぞれのシンタックス情報をコーディングすることと、前記複数のレイヤのレイヤごとの前記それぞれのシンタックス情報は、前記レイヤのピクチャ当たりの複数のタイルへの前記レイヤ内のピクチャの区分化を定義する、ここにおいて、前記シンタックス情報は、前記複数のレイヤのレイヤごとのピクチャ当たりのタイルの数が前記レイヤのピクチャ当たりのタイルの最大数に基づいて決定されるように制約される、ここにおいて、前記レイヤのピクチャ当たりのタイルの前記最大数は、前記レイヤ内の前記ピクチャについての空間解像度、ティア情報、またはレベル情報のうちの少なくとも１つに基づいて決定される、
    前記コーディングされたシンタックス情報によって定義された、前記レイヤのピクチャ当たりの前記複数のタイルへの前記ピクチャの前記区分化に基づいて、前記少なくとも１つのレイヤ内の前記ピクチャを処理することと、
    ここにおいて、前記区分化は、前記複数のタイル間のタイル境界を定義し、前記それぞれのシンタックス情報は、前記複数のレイヤに前記タイル境界を横切るフィルタリングを許可または禁止するように制約され、
    前記複数のレイヤのピクチャ当たりのタイルの前記数の合計が、前記複数のレイヤのピクチャ当たりのタイルの前記最大数の合計よりも大きくないように、前記シンタックス情報が制約される、
    を、ビデオコーダの１つまたは複数のプロセッサに行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。
JP2016525810A 2013-07-12 2014-07-11 レイヤを横切るピクチャパーティションに対するビットストリームの制限 Expired - Fee Related JP6370898B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361845928P 2013-07-12 2013-07-12
US61/845,928 2013-07-12
US14/328,317 US9648335B2 (en) 2013-07-12 2014-07-10 Bitstream restrictions on picture partitions across layers
US14/328,317 2014-07-10
PCT/US2014/046370 WO2015006703A2 (en) 2013-07-12 2014-07-11 Bitstream restrictions on picture partitions across layers

Publications (3)

Publication Number Publication Date
JP2016529782A JP2016529782A (ja) 2016-09-23
JP2016529782A5 JP2016529782A5 (ja) 2017-07-13
JP6370898B2 true JP6370898B2 (ja) 2018-08-08

Family

ID=52277092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525810A Expired - Fee Related JP6370898B2 (ja) 2013-07-12 2014-07-11 レイヤを横切るピクチャパーティションに対するビットストリームの制限

Country Status (7)

Country Link
US (2) US9648335B2 (ja)
EP (2) EP3148195A1 (ja)
JP (1) JP6370898B2 (ja)
KR (1) KR20160032121A (ja)
CN (1) CN105379286A (ja)
TW (1) TW201513640A (ja)
WO (1) WO2015006703A2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
GB2507731B (en) * 2012-11-07 2015-08-12 Nds Ltd A system and method for providing a private mosaic
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US9936207B2 (en) 2013-10-14 2018-04-03 Qualcomm Incorporated Indication of parallel processing in video coding
US9762919B2 (en) * 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US10123028B2 (en) * 2014-09-17 2018-11-06 Mediatek Inc. Syntax parsing apparatus with multiple syntax parsing circuits for processing multiple image regions within same frame or processing multiple frames and related syntax parsing method
US10819997B2 (en) * 2016-01-20 2020-10-27 Arris Enterprises Llc Encoding video data according to target decoding device decoding complexity
US10230948B2 (en) * 2016-02-03 2019-03-12 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
EP3466051A1 (en) 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
US10477064B2 (en) 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
CN117061771A (zh) * 2017-09-20 2023-11-14 Vid拓展公司 用于编码的方法和装置和用于解码的方法和装置
US11025919B2 (en) * 2017-10-03 2021-06-01 Koninklijke Kpn N.V. Client-based adaptive streaming of nonlinear media
EP3721636A1 (en) 2017-12-07 2020-10-14 Koninklijke KPN N.V. Method for adaptive streaming of media
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
CN110868594B (zh) 2018-08-28 2023-04-07 北京字节跳动网络技术有限公司 分割方法的冗余移除
US10375416B1 (en) * 2018-09-05 2019-08-06 Tencent America LLC Segment types in video coding
WO2020057530A1 (en) 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
KR20240056655A (ko) * 2018-09-18 2024-04-30 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 방법
US10812819B2 (en) * 2018-10-07 2020-10-20 Tencent America LLC Method and apparatus for video coding
AU2019405497B2 (en) 2018-12-17 2023-06-01 Huawei Technologies Co., Ltd. Video coding method and apparatus
JP7285857B2 (ja) 2019-01-16 2023-06-02 テレフオンアクチーボラゲット エルエム エリクソン（パブル） リマインダをもつ均一なタイルスプリットを含むビデオコーディング
KR102630415B1 (ko) 2019-04-24 2024-01-29 바이트댄스 아이엔씨 코딩 된 비디오의 양자화된 잔차 차동 펄스 코드 변조 표현의 제약
WO2020223467A1 (en) 2019-05-01 2020-11-05 Bytedance Inc. Intra coded video using quantized residual differential pulse code modulation coding
WO2020223615A1 (en) 2019-05-02 2020-11-05 Bytedance Inc. Coding mode based on a coding tree structure type
CA3142319A1 (en) * 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus and a method for video partitioning
EP3970366A4 (en) 2019-06-14 2023-03-29 Beijing Bytedance Network Technology Co., Ltd. HANDLING VIDEO UNIT LIMITS AND VIRTUAL LIMITS
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
CN117478878A (zh) 2019-07-09 2024-01-30 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
WO2021004542A1 (en) 2019-07-11 2021-01-14 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114128296A (zh) * 2019-07-15 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中跨视频单元边界访问样点
BR112022000794A2 (pt) * 2019-07-15 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e gravação não transitórios legíveis por computador
CN114430902B (zh) 2019-09-22 2023-11-10 北京字节跳动网络技术有限公司 自适应环路滤波中的填充过程
WO2021057946A1 (en) 2019-09-27 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
KR20220071203A (ko) 2019-10-10 2022-05-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링에서 이용 불가능한 샘플 위치들에서의 패딩 프로세스
US11146824B2 (en) * 2019-12-30 2021-10-12 Mediatek Inc. Video encoding or decoding methods and apparatuses related to high-level information signaling
JP7457143B2 (ja) 2020-02-14 2024-03-27 北京字節跳動網絡技術有限公司 映像ビットストリームにおける一般的な制約フラグの使用
EP4107957A4 (en) 2020-03-21 2023-08-23 Beijing Bytedance Network Technology Co., Ltd. RESAMPLING REFERENCE IMAGE
WO2021204136A1 (en) * 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
CN115668917A (zh) 2020-04-09 2023-01-31 抖音视界有限公司 视频编解码中的去块信令通知
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
EP4128775A4 (en) 2020-04-26 2024-03-27 ByteDance Inc. CONDITIONAL SIGNALING OF SYNTAX ELEMENTS OF A VIDEO CODING
CN115943627A (zh) * 2020-06-08 2023-04-07 字节跳动有限公司 对编解码视频图片中条带计数的约束
CN115812304A (zh) * 2020-06-20 2023-03-17 抖音视界有限公司 具有不同的编解码块大小的层间预测

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191159A (ja) * 2004-12-28 2006-07-20 Canon Inc 画像処理方法及び画像処理装置
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP2007150569A (ja) * 2005-11-25 2007-06-14 Matsushita Electric Ind Co Ltd 画像復号装置、および画像復号方法
CN103338367B (zh) * 2007-04-18 2017-08-29 杜比国际公司 编码和解码方法
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
JP6376719B2 (ja) * 2012-06-29 2018-08-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10785482B2 (en) * 2012-09-24 2020-09-22 Texas Instruments Incorporated Method and system for constraining tile processing overhead in video coding
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers

Also Published As

Publication number Publication date
EP3020199A2 (en) 2016-05-18
WO2015006703A2 (en) 2015-01-15
US20150016543A1 (en) 2015-01-15
TW201513640A (zh) 2015-04-01
JP2016529782A (ja) 2016-09-23
WO2015006703A3 (en) 2015-03-05
CN105379286A (zh) 2016-03-02
US9648335B2 (en) 2017-05-09
US9979975B2 (en) 2018-05-22
US20170195679A1 (en) 2017-07-06
KR20160032121A (ko) 2016-03-23
EP3148195A1 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6370898B2 (ja) レイヤを横切るピクチャパーティションに対するビットストリームの制限
JP7055833B2 (ja) 並列処理のためのイントラブロックコピー予測制限
JP5805849B2 (ja) ビデオコード化における動きベクトル予測
TWI520573B (zh) 用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體
US9936207B2 (en) Indication of parallel processing in video coding
US9560358B2 (en) Device and method for scalable coding of video information
JP6377623B2 (ja) ビデオコーディングにおけるターゲット出力レイヤ
JP2017512032A (ja) ３ｄビデオコーディングのための制限付き深度イントラモードコーディング
KR102314587B1 (ko) 비디오 정보의 스케일러블 코딩을 위한 디바이스 및 방법
JP2016067009A (ja) 内部ビュー動き予測（ｉｖｍｐ）モードをサポートするｍｖｃベースの３ｄｖｃコーデック
US9813736B2 (en) Inter-view dependency type in MV-HEVC
JP2015507428A (ja) ビデオコーディング用のコーディングパラメータセットおよびｎａｌユニットヘッダ
JP2015532554A (ja) ビデオプロパティの指示
JP2016537860A (ja) 深度イントラコーディングのためのウェッジレットパターン拡張
JP2016513919A (ja) ３ｄビデオコーディングにおける導出視差ベクトル
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170602

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170913

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180515

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180711

R150 Certificate of patent or registration of utility model

Ref document number: 6370898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees