JP6377778B2 - ビデオコーディングにおける第0の出力レイヤセットのためのプロファイル、ティア、レベル - Google Patents

ビデオコーディングにおける第0の出力レイヤセットのためのプロファイル、ティア、レベル Download PDF

Info

Publication number
JP6377778B2
JP6377778B2 JP2016573810A JP2016573810A JP6377778B2 JP 6377778 B2 JP6377778 B2 JP 6377778B2 JP 2016573810 A JP2016573810 A JP 2016573810A JP 2016573810 A JP2016573810 A JP 2016573810A JP 6377778 B2 JP6377778 B2 JP 6377778B2
Authority
JP
Japan
Prior art keywords
ols
video
vps
bitstream
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016573810A
Other languages
English (en)
Other versions
JP2017523683A5 (ja
JP2017523683A (ja
Inventor
ワン、イェ−クイ
ラマスブラモニアン、アダルシュ・クリシュナン
ヘンドリー、フヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017523683A publication Critical patent/JP2017523683A/ja
Publication of JP2017523683A5 publication Critical patent/JP2017523683A5/ja
Application granted granted Critical
Publication of JP6377778B2 publication Critical patent/JP6377778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本出願は、たとえば、ビデオエンコーダおよびビデオデコーダにおける、ビデオコーディングおよび圧縮の分野に関する。詳細には、本出願は、スケーラブルビデオコーディング(SVC)に関連し、それは、アドバンストビデオコーディング(AVC)のためのSVCと、高効率ビデオコーディング(HEVC)への3Dおよびマルチビュー拡張に加えて、スケーラブルHEVC(SHVC)とも呼ばれるHEVCのためのSVCとを含む。
[0002]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(AVC)、現在開発中の(HEVC規格、およびそのような規格の拡張によって定義された規格に記載されたものなどのビデオコーディング処理を実装する。これらのビデオデバイスは、そのようなタイプのビデオコーディングを実装することによってデジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0003]ビデオコーディング方法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(ピクチャ内)予測および/または時間的(ピクチャ間)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオフレームまたはビデオフレームの一部分)は、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0004]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコーディングされるブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に2次元アレイで構成される量子化された変換係数は、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
[0005]マルチビューコーディングビットストリームは、たとえば、複数の視点(perspectives)からのビューを符号化することによって生成され得る。マルチビューコーディング態様を利用するいくつかの3次元(3D)ビデオ規格が開発されている。たとえば、3Dビデオをサポートするために、異なるビューが左眼ビューと右眼ビューとを送信し得る。代替的に、いくつかの3Dビデオコーディングプロセスは、いわゆるマルチビュー+深度コーディングを適用し得る。マルチビュー+深度コーディングでは、3Dビデオビットストリームは、テクスチャビュー成分だけでなく、深度ビュー成分をも含んでいることがある。たとえば、各ビューは、1つのテクスチャビュー成分と1つの深度ビュー成分とを備え得る。
[0006]概して、本開示では、ビデオコーディングに、およびより詳細にはHEVCに関係する方法およびシステムについて説明する。現在のSHVCおよびMV−HEVC規格では、アクティブビデオパラメータセット(VPS:video parameter set)によって指定される第0の出力レイヤセット(OLS:output layer set)は、ビデオデータのベースレイヤのみを含んでいるOLSを指す。しかしながら、ビットストリーム全体がベースレイヤのみを含んでいるのでない限り、第0のOLSのティアおよびレベル情報はシグナリングされない。これは、ビデオコーディングシステムがHEVCにおいて最適なレベルで動作するのを妨げる。
[0007]本開示のシステム、方法、およびデバイスは、いくつかの発明的態様をそれぞれ有し、それらの態様のどの1つも、本明細書で開示する望ましい属性を単独で担うものではない。
[0008]本開示の一態様は、ビデオデータの複数のレイヤを有するビットストリームを符号化するための方法を提供し、ビデオデータの複数のレイヤはベースレイヤを含む。本方法は、ビットストリーム内で複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することを含むことができる。各OLSは、複数のレイヤのうちの1つまたは複数のレイヤを有することができる。シンタックス要素はまた、複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL:profile, tier, and level)情報を示すことができる。本方法はまた、ビデオパラメータセット(VPS)中の1つまたは複数のシンタックス要素を符号化することを含む、複数のレイヤを符号化することを含むことができる。
[0009]本開示の別の態様は、ビデオデータの複数のレイヤを有するビットストリームを符号化するためのデバイスを提供し、ビデオデータの複数のレイヤはベースレイヤを含む。デバイスは、ビデオデータの複数のレイヤを記憶するように構成されたメモリを有することができる。デバイスはまた、メモリに動作可能に結合された少なくとも1つのプロセッサを有することができる。少なくとも1つのプロセッサは、ビットストリーム内で複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することができる。各OLSは、複数のレイヤのうちの1つまたは複数のレイヤを有することができる。シンタックス要素はまた、複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報を示すことができる。少なくとも1つのプロセッサはまた、ビデオパラメータセット(VPS)中の1つまたは複数のシンタックス要素を符号化することを含めて、複数のレイヤを符号化することができる。
[0010]本開示の別の態様は、ビデオデータを復号するための方法を提供する。本方法は、ビデオデータの複数のレイヤを有するビットストリームを受信することを含むことができる。ビデオデータの複数のレイヤは、ベースレイヤとビデオパラメータセット(VPS)とを含むことができる。VPSは、複数の出力レイヤセット(OLS)と、複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示すことができる。本方法はまた、1つまたは複数のレイヤからのOLSをターゲットOLSとして選択することを含むことができる。本方法はまた、VPS中でシグナリングされるPTL情報に基づいてターゲットOLSを復号することを含むことができる。
[0011]本開示の別の態様は、ビデオデータを復号するためのデバイスを提供する。デバイスは、ビデオデータの複数のレイヤを有するビットストリームを記憶するように構成されたメモリを含むことができる。ビデオデータの複数のレイヤは、ベースレイヤとビデオパラメータセット(VPS)とを含むことができる。VPSは、複数の出力レイヤセット(OLS)と、複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示すことができる。デバイスはまた、メモリに動作可能に結合された少なくとも1つのプロセッサを有することができる。少なくとも1つのプロセッサは、1つまたは複数のレイヤからのOLSをターゲットOLSとして選択することができる。少なくとも1つのプロセッサはまた、VPS中でシグナリングされるPTL情報に基づいてターゲットOLSを復号することができる。
[0012]本開示の他の特徴および利点は、例として、本開示の態様を示す以下の説明から明らかなはずである。
[0013]本開示の実施形態の詳細は、それらの構造と動作の両方について、部分的に添付の図面の検討によって収集され得、同様の参照番号は同様の部分を指す。
ビデオコーディングシステムの機能ブロック図。 図1のビデオエンコーダの機能ブロック図。 図1のビデオデコーダを示す機能ブロック図。 ビデオエンコーダとビデオデコーダとの間の例示的な信号フローを示す信号フロー図。 ビットストリームを符号化するための方法のフローチャート。 ビットストリームを復号するための方法のフローチャート。
[0020]本開示は、第0の出力レイヤセット(OLS)のためのプロファイル、ティア、およびレベルなど、インターオペラビリティ情報のシグナリングを含むマルチレイヤビデオコーディングにおけるいくつかの改善のうちの1つまたは複数を含み得るコーディングのシステムおよび方法を提供する。本明細書で使用する「第0のレイヤ」は、概してビットストリームのベースレイヤを指すことができる。現在のSHVCおよびMV−HEVC規格では、アクティブVPSによって指定される第0のOLSは、ベースレイヤのみを含んでいるOLSを指す。しかしながら、ビットストリーム全体がベースレイヤのみを含んでいるのでない限り、第0のOLSのティアおよびレベル情報はシグナリングされない。
[0021]添付の図面を参照しながら、新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示するいかなる特定の構造または機能にも限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をも包含するものであることを、当業者なら諒解されたい。たとえば、本明細書に記載された任意の数の態様を使用して装置が実装され得、または方法が実施され得る。さらに、本開示の範囲は、本明細書に記載された本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法を包含するものである。本明細書で開示するいかなる態様も、請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0022]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。そうではなく、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および送信プロトコルに広く適用可能であるものであり、それらのいくつかについて、例として、図において、および好適な態様についての以下の説明において示す。詳細な説明および図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲とそれの均等物とによって定義される。
ビデオコーディングシステム
[0023]図1は、ビデオコーディングシステムの機能ブロック図である。ビデオコーディングシステム(「システム」)10は、本開示で説明する態様による方法を利用し得る。本明細書で使用し説明する「ビデオコーダ」という用語は、ビデオエンコーダとビデオデコーダの両方を総称的に指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
[0024]図1に示されているように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを生成することができるソースデバイス12を含む。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備えることができる。場合によっては、ソースデバイス12および宛先デバイス14はワイヤレス通信のために装備され得る。
[0025]宛先デバイス14は、リンク16を介して復号されるべき符号化ビデオデータを受信し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク16は、ソースデバイス12が、符号化ビデオデータをリアルタイムで宛先デバイス14に直接送信することを可能にするための通信媒体を備え得る。ソースデバイス12は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調し、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0026]符号化データは出力インターフェース22から記憶デバイス34に出力され得る。同様に、符号化データは、入力インターフェースによって記憶デバイス34からアクセスされ得る。記憶デバイス34は、ハードドライブ、Blue−rayディスク、DVD、CD−ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス34は、ソースデバイス12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して記憶デバイス34から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに適したワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。記憶デバイス34からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0027]本開示の方法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本方法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話などの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0028]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する方法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0029]ビデオエンコーダ20は、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオを符号化し得る。さらに、いくつかの実施形態では、ビデオデコーダ30は、第1のビットストリームのパラメータセットIDと一意のパラメータセットIDとに基づいて第1のビットストリームと第2のビットストリームとを区別し得る。他の例では、ソースデバイス12の出力インターフェース22は、符号化ビデオデータを、リンク16を介して宛先デバイス14に直接送信し得る。符号化ビデオデータは、さらに(または代替として)、復号および/または再生のための宛先デバイス14または他のデバイスによる後のアクセスのために記憶デバイス34上に記憶され得る。
[0030]宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。場合によっては、入力インターフェース28は受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース28は、リンク16を介して符号化ビデオデータを受信する。リンク16を介して通信されるか、または記憶デバイス34上に与えられる符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ30などのビデオデコーダが使用するための、ビデオエンコーダ20によって生成される様々な要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信され、記憶媒体上に記憶され、またはファイルサーバ上に記憶された符号化ビデオデータとともに含まれ得る。
[0031]ディスプレイデバイス32は、宛先デバイス14と一体化されるか、またはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0032]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本方法が部分的にソフトウェアで実装されたとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の方法を実施し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0033]HEVC規格化の取組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。HMは、たとえば、ITU−T H.264/AVCに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の機能を仮定する。たとえば、H.264は9つのイントラ予測符号化モードを与えるが、HMは33個ものイントラ予測符号化モードを与え得る。
[0034]概して、HMの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット(LCU)に分割され得ることを記載している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってコーディングユニット(CU)に分割され得る。たとえば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードとしての最終的な分割されない子ノードは、コーディングノード、すなわち、コーディングされるビデオブロックを備える。コーディングされるビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し、コーディングノードの最小サイズを定義し得る。
[0035]CUは、コーディングノードと、コーディングノードに関連付けられた予測ユニット(PU)および変換ユニット(TU)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8ピクセルから、最大64×64ピクセル以上をもつツリーブロックのサイズまでわたり得る。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含んでいることがある。CUに関連付けられたシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分(partitioning)を記述し得る。区分モードは、CUがスキップモード符号化もしくは直接モード符号化されるのか、イントラ予測モード符号化されるのか、またはインター予測モード符号化されるのかの間で異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連付けられたシンタックスデータは、たとえば、4分木に従ってCUを1つまたは複数のTUに区分することをも記述し得る。TUは、形状が正方形または非正方形であり得る。
[0036]HEVC規格は、異なるCUごとに異なり得る、TUに従う変換を可能にする。TUは、区分されるLCUについて定義される所与のCU内のPUのサイズに基づいてサイズ決定され得るが、これは常にそうであるとは限らない。TUは、PUと同じサイズであるか、またはPUよりも小さくなり得る。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT)として知られる4分木構造を使用して、より小さいユニットに再分割され得る。RQTのリーフノードは変換ユニット(TU)と呼ばれることがある。TUに関連するピクセル差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。
[0037]概して、PUは、予測プロセスに関係するデータを含む。たとえば、PUがイントラモード符号化されるとき、PUは、PUのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、PUの動きベクトルを定義するデータを含み得る。PUの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、1/4ピクセル精度または1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルの参照ピクチャリスト(たとえば、リスト0、リスト1、またはリストC)を記述し得る。
[0038]概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数の変換ユニット(TU)をも含み得る。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数を生成するために、TUを使用して変換係数に変換され、量子化され、走査され得る。本明細書で使用する「ビデオブロック」という用語は、概してCUのコーディングノードを指し得る。いくつかの特定の場合において、本開示では、コーディングノードならびにPUおよびTUを含む、ツリーブロック、すなわち、LCUまたはCUを指すために「ビデオブロック」という用語をも使用し得る。
[0039]ビデオエンコーダ20は、符号化ビデオデータを含むビットストリームを生成することができる。ビットストリームは、一連のネットワークアブストラクションレイヤ(NAL)ユニットを含むことができる。NALユニットの各々は、NALユニットヘッダを含み得、ローバイトシーケンスペイロード(RBSP:raw byte sequence payload)をカプセル化し得る。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプコードは、NALユニットのタイプを示す。ビットストリームのNALユニットは、ビデオコーディングレイヤ(VCL)NALユニットと非VCL NALユニットとを含み得る。VCL NALユニットは、ピクチャのコーディングされたスライスを含むことができる。
[0040]非VCL NALユニットは、VPS、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、SEI、または他のタイプのデータを含み得る。VPSは、0個以上のコーディングされたビデオシーケンス全体に適用されるシンタックス要素を含んでいることがあるシンタックス構造である。SPSは、0個以上のコーディングされたビデオシーケンス全体に適用されるシンタックス要素を含んでいることがあるシンタックス構造である。単一のVPSが、複数のSPSに適用可能であり得る。PPSは、0個以上のコーディングされたピクチャ全体に適用されるシンタックス要素を含んでいることがあるシンタックス構造である。単一のSPSが、複数のPPSに適用可能であり得る。VPS、SPS、およびPPSの様々な態様は、概して、HEVC規格によって定義されているように形成され得る。ビデオエンコーダ20は、ピクチャのサンプル値の正確な復号に必要とされないメタデータをビットストリーム中に含めるためにSEIメッセージを使用し得る。しかしながら、ビデオデコーダ30または他のデバイスは、SEIメッセージに含まれるメタデータを様々な他の目的で使用し得る。たとえば、ビデオデコーダ30は、ピクチャ出力タイミング、ピクチャ表示、損失検出、および誤り補償のためにSEIメッセージ中のメタデータを使用し得る。
高レベルシンタックス
[0041]NALユニットは、ビデオエンコーダ20によって符号化されビデオデコーダ30に送信されるシンタックス要素を含むことができる。パラメータセット(たとえば、SPS、VPS、PPSなど)、参照ピクチャ管理シンタックス、およびSEIメッセージなど、ビットストリームの構造を記述するか、または複数のピクチャもしくはピクチャ内の複数のコーディングされるブロック領域に適用される情報を提供するシンタックス要素は、HEVCの「高レベルシンタックス」(HLS:high-level syntax)部分として知られている。
[0042]特に、HEVCは、本開示に関連する以下の態様を採用する。
パラメータセット構造:パラメータセットは、復号ビデオのいくつかの領域の復号のために共有され得る情報を含んでいる。パラメータセット構造は、復号プロセスに必須であるデータを搬送するためのロバストな機構を提供する。
補足エンハンスメント情報(SEI):このシンタックスは、SEIとして知られる様々なタイプのメタデータのサポートを含む。そのようなデータは、ビデオピクチャのタイミング、ビデオ信号において使用される色空間の適切な解釈、3D立体視(stereoscopic)フレームパッキング情報、他のディスプレイヒント情報などに関する情報を提供する。
[0043]図2は、図1のビデオエンコーダの機能ブロック図である。ビデオエンコーダ20は、キャプチャされたビデオデータを受信し、ビデオデータをビデオブロックに区分するように構成された区分モジュール35を含むことができる。区分モジュール35は、ビデオデータをスライス、タイル、または他のより大きいユニットに区分することができる。区分モジュール35はまた、たとえば、LCUとCUとの4分木構造に従って、ビデオブロックを区分することができる。ビデオエンコーダ20は、スライスを複数のビデオブロックに(および場合によってはタイルと呼ばれるビデオブロックのセットに)分割し得る。
[0044]ビデオエンコーダ20はまた、区分モジュール35に動作可能に結合され、区分されたビデオデータを受信するように構成された予測モジュール41を有することができる。予測モジュール41は、誤り結果(たとえば、コーディングレートおよびひずみレベル)に基づいて、現在のビデオブロックのために、複数のイントラコーディングモードのうちの1つ、または複数のインターコーディングモードのうちの1つなど、複数の可能なコーディングモードのうちの1つを選択することができる。予測モジュール41は、ビデオエンコーダ20が、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実施することを可能にすることができる。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
[0045]予測モジュール41は、動き推定モジュール42と、動き補償モジュール44と、イントラ予測モジュール46とを含むことができる。これらの構成要素の各々は、ビデオエンコーダ20内で動作可能に接続されるかあるいは1つまたは複数のプロセッサ中に組み込まれ得る。概念的な目的のために別々に説明されるが、動き推定モジュール42と、動き補償モジュール44と、イントラ予測モジュール46とは、高度に統合され得る。
[0046]動き推定モジュール42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのインター予測モードを決定するように構成され得る。1つまたは複数の参照ピクチャ中の1つまたは複数の予測ブロックに対する現在のビデオブロックのそのようなインター予測またはインター予測コーディングは時間圧縮を与えることができる。所定のパターンは、シーケンス中のビデオスライスをPスライス、BスライスまたはGPBスライスに指定し得る。本明細書で使用する動き推定は、概して、ビデオブロックの動きを推定する動きベクトルを生成するプロセスを指し得る。動きベクトルは、たとえば、参照フレームまたは参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。参照フレームは、予測モジュール41に動作可能に結合された参照ピクチャメモリ64に記憶され得る。参照フレームメモリ64。参照フレームメモリ64は、フィルタモジュール63が、再構成されたコーディングブロックに対してデブロッキング演算を実施した後に、再構成されたコーディングブロックを記憶することができる。参照フレームメモリ64は、したがって、復号ピクチャバッファ(DPB)としても動作することができる。
[0047]予測ブロックは、絶対差分和(SAD)、2乗差分和(SSD)、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのPUにぴったり一致することがわかるブロックである。いくつかの例では、動き予測モジュール(「予測モジュール」)41は、参照ピクチャメモリ64に記憶された参照ピクチャのサブ整数ピクセル位置に関する値を計算することができる。たとえば、予測モジュール41は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を補間することができる。したがって、動き推定モジュール42は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実施し、分数ピクセル精度で動きベクトルを出力し得る。
[0048]動き推定モジュール42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのPUのための動きベクトルを計算することができる。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定モジュール42は、計算された動きベクトルを動き補償モジュール44とエントロピー符号化モジュール56とに送ることができる。
[0049]動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴うことができる。これは、サブピクセル精度への補間を含むことができる。現在のビデオブロックのPUのための動きベクトルを受信すると、動き補償モジュール44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定することができる。動き補償モジュール44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するための、ビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成することができる。
[0050]予測モジュール41のイントラ予測モジュール46は、空間圧縮を行うために、同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実施することができる。イントラ予測モジュール46は、上記で説明したように、動き推定モジュール42と動き補償モジュール44とによって実施されるインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測モジュール46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定することができる。いくつかの例では、イントラ予測モジュール46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化することができる。たとえば、イントラ予測モジュール46は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの間で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化ブロックを生成するために使用されたビットレート(すなわち、ビット数)を決定することができる。イントラ予測モジュール46は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
[0051]イントラ予測モジュール46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化モジュール56に与えることができる。エントロピー符号化モジュール56は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含めることができる。
[0052]予測モジュール41が、インター予測またはイントラ予測のいずれかを介して現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ20は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。このプロセスはピクセル差分値を生じることができる。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含むことができる。予測モジュール41と区分モジュール35とに動作可能に結合された加算器50は、この減算演算を実施するように構成され得る1つまたは複数の構成要素を表す。
[0053]残差ブロック中の残差ビデオデータは、1つまたは複数のTU中に含まれ、加算器50に動作可能に結合された変換モジュール52に適用され得る。変換モジュール52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換することができる。変換モジュール52は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換することができる。予測モジュール41は、残差ブロックデータを生成するために、得られたイントラコーディングまたはインターコーディングされたブロックを加算器50に与えることができる。得られたイントラコーディングまたはインターコーディングされたブロックは、参照ピクチャとして使用する符号化ブロックを再構成するためにさらに加算器62に与えられ得る。
[0054]ビデオエンコーダ20はまた、加算器62に動作可能に結合されたフィルタモジュール63を含むことができる。フィルタモジュール63は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタなど、1つまたは複数のループフィルタを表すことができる。図2ではフィルタモジュール63はループ内フィルタであるものとして示されているが、他の構成では、フィルタモジュール63はループ後フィルタとして実装され得る。フィルタモジュール63は、参照ピクチャを参照ピクチャメモリ64に与えることができる。
[0055]変換モジュール52は、得られた変換係数を量子化モジュール54に送ることができる。量子化モジュール54は、ビットレートをさらに低減するために変換係数を量子化することができる。量子化処理は、係数の一部または全部に関連付けられたビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化モジュール54は、次いで、量子化された変換係数を含む行列の走査を実施することができる。いくつかの実施形態では、エントロピー符号化モジュール56が走査を実施し得る。
[0056]量子化の後に、エントロピー符号化モジュール56は、量子化された変換係数をエントロピー符号化することができる。たとえば、エントロピー符号化モジュール56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピー符号化方法を実施し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
[0057]エントロピー符号化モジュール56によるエントロピー符号化の後に、符号化ビットストリームはビデオデコーダ30に送信され得る。ビットストリームはまた、ビデオデコーダ30による後の送信または取出しのためにアーカイブされ得る。エントロピー符号化モジュール56はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0058]ビデオエンコーダ20はまた、エントロピー符号化モジュール56に動作可能に結合された逆量子化モジュール58を含むことができる。また、逆変換モジュール60が、逆量子化モジュール58と加算器62とに動作可能に結合され得る。逆量子化モジュール58および逆変換モジュール60は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構成することができる。動き補償モジュール44は、残差ブロックを参照ピクチャリストのうちの1つの内の参照ピクチャのうちの1つの予測ブロックに加算することによって、参照ブロックを計算することができる。加算器62は、再構成された残差ブロックを、動き補償モジュール44によって生成された動き補償された予測ブロックに加算して、参照ピクチャメモリ64に記憶するための参照ブロックを生成することができる。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定モジュール42と動き補償モジュール44とによって参照ブロックとして使用され得る。
[0059]いくつかの例では、ビデオエンコーダ20はビットストリームを生成する。ビデオエンコーダ20によって生成されるビットストリームは、ビットストリームからサブビットストリームとして抽出され得る複数のオペレーションポイントを含み得る。オペレーションポイントは、たとえば、複数のレイヤおよび/またはビュー、ならびに複数のフレームレートを含み得る。ビデオエンコーダ20は、VPSにおける出力オペレーションポイントを示す情報を符号化し得る。本明細書で使用する出力オペレーションポイントは、出力レイヤ(すなわち出力されるべきレイヤのセット)が指定されたオペレーションポイントを指す。いくつかの例では、ビデオエンコーダ20が、ビットストリームに関連付けられたVPSにおいてシグナリングするオペレーションポイントの各々について、オペレーションポイントシンタックス構造は、所与のオペレーションポイントのサブビットストリームに属する、ビットストリーム中のNALユニットを識別するために使用されるレイヤ識別子(ID)のセットを指定する。このように、所与のオペレーションポイントのサブビットストリームを構成するNALユニットは、NALユニットのレイヤ識別子に基づいて元のビットストリームから抽出され得る。
[0060]図3は、図1のビデオデコーダを示すブロック図である。説明のために、本開示では、HEVCコーディングのコンテキストにおいてビデオデコーダ30について説明する。しかしながら、本開示は、他のコーディング規格または方法にも適用可能であり得る。
[0061]ビデオデコーダ30は、エントロピー復号モジュール70と、予測モジュール71と、逆量子化モジュール76と、逆変換モジュール78と、加算器80と、フィルタモジュール84と、復号ピクチャバッファ(DPB)82とを含むことができる。予測モジュール71は、動き補償モジュール72と、イントラ予測モジュール74とを含むことができる。他の例では、ビデオデコーダ30は、より多数の、より少数の、または異なる機能構成要素を含むことができる。
[0062]コード化ピクチャバッファ(CPB)90は、ビットストリームの符号化ビデオデータ(たとえば、NALユニット)を受信し、記憶し得る。エントロピー復号モジュール70は、CPB90からNALユニットを受信し、NALユニットをパースしてシンタックス要素を復号し得る。エントロピー復号モジュール70は、NALユニット中のエントロピー符号化されたシンタックス要素をエントロピー復号することができる。予測モジュール71、逆量子化モジュール76、逆変換モジュール78、加算器80、およびフィルタモジュール84は、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成することができる。
[0063]ビットストリームのNALユニットは、コーディングされたスライスNALユニットを含み得る。ビットストリームを復号することの一部として、エントロピー復号モジュール70は、コーディングされたスライスNALユニットからシンタックス要素を抽出し、エントロピー復号することができる。コーディングされたスライスの各々は、スライスヘッダとスライスデータとを含むことができる。スライスヘッダは、スライスに関係するシンタックス要素を含むことができる。スライスヘッダ中のシンタックス要素は、当該スライスを含んでいるピクチャに関連付けられたPPSを識別するシンタックス要素を含むことができる。
[0064]ビットストリームからのシンタックス要素を復号することに加えて、ビデオデコーダ30は、区分されていないCUに対して再構成演算を実施し得る。区分されていないCUに対して再構成演算を実施するために、ビデオデコーダ30は、CUの各TUに対して再構成演算を実施することができる。CUの各TUについて再構成演算を実施することによって、ビデオデコーダ30はCUの残差ブロックを再構成し得る。
[0065]CUのTUに対して再構成演算を実施することの一部として、逆量子化モジュール76は、TUに関連付けられた係数ブロックを逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)することができる。逆量子化モジュール76は、量子化の程度を決定するために、また同様に、逆量子化モジュール76が適用すべき逆量子化の程度を決定するために、TUのCUに関連付けられた量子化パラメータ(QP)値を使用し得る。すなわち、圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるQPの値を調整することによって制御され得る。圧縮比はまた、採用されたエントロピーコーディングの方法に依存し得る。
[0066]逆量子化モジュール76が係数ブロックを逆量子化した後に、逆変換処理モジュール78は、TUに関連付けられた残差ブロックを生成するために、係数ブロックに1つまたは複数の逆変換を適用し得る。たとえば、逆変換モジュール78は、逆DCT、逆整数変換、逆方向変換、または別の逆変換を係数ブロックに適用し得る。
[0067]イントラ予測を使用してPUが符号化される場合、イントラ予測モジュール74は、PUの予測ブロックを生成するためにイントラ予測を実施することができる。イントラ予測モジュール74は、イントラ予測モードを使用して、空間的に隣接するPUの予測ブロックに基づいてPUのための予測ルーマブロック、予測Cbブロックおよび予測Crブロックを生成し得る。イントラ予測モジュール74は、ビットストリームから復号された1つまたは複数のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定し得る。
[0068]予測モジュール71は、ビットストリームから抽出されたシンタックス要素に基づいて、第1の参照ピクチャリスト(RefPicList0)と第2の参照ピクチャリスト(RefPicList1)とを構成することができる。さらに、インター予測を使用してPUが符号化される場合、エントロピー復号モジュール70は、PUの動き情報を抽出し得る。動き補償モジュール72は、PUの動き情報に基づいて、PUの1つまたは複数の参照領域を決定し得る。動き補償モジュール72は、PUのための1つまたは複数の参照ブロックにおけるサンプルブロックに基づいて、PUのための予測ルーマ、CbおよびCrブロックを生成することができる。
[0069]加算器80は、適用可能なとき、CUのTUに関連付けられたルーマ変換ブロック、Cb変換ブロックおよびCr変換ブロック、ならびにCUのPUの予測ルーマブロック、予測Cbブロックおよび予測Crブロック、すなわちイントラ予測データまたはインター予測データのいずれかを使用して、CUのルーマコーディングブロックと、Cbコーディングブロックと、Crコーディングブロックとを再構成することができる。たとえば、加算器80は、ルーマ変換ブロック、Cb変換ブロックおよびCr変換ブロックのサンプルを、予測ルーマブロック、予測Cbブロックおよび予測Crブロックの対応するサンプルに加算して、CUのルーマコーディングブロックと、Cbコーディングブロックと、Crコーディングブロックとを再構成することができる。
[0070]フィルタモジュール84は、たとえば、デブロッキングフィルタであり、CUのルーマコーディングブロック、CbコーディングブロックおよびCrコーディングブロックに関連するブロッキングアーティファクトを低減するためにデブロッキング演算を実施することができる。ビデオデコーダ30は、次いで、CUのルーマコーディングブロック、CbコーディングブロックおよびCrコーディングブロックを復号ピクチャバッファ82に記憶することができる。復号ピクチャバッファ82は、後続の動き補償、イントラ予測、および図1のディスプレイデバイス32などのディスプレイデバイス上での表示のために参照ピクチャを与えることができる。たとえば、ビデオデコーダ30は、復号ピクチャバッファ82中のルーマブロック、CbブロックおよびCrブロックに基づいて、他のCUのPUに対してイントラ予測演算またはインター予測演算を実施することができる。このようにして、ビデオデコーダ30は、ビットストリームから、有意なルーマ係数ブロックの変換係数レベルを復号し、変換係数レベルを逆量子化し、変換係数レベルに変換を適用して変換ブロックを生成し、変換ブロックに少なくとも部分的に基づいてコーディングブロックを生成し、表示のためにコーディングブロックを出力することができる。
パラメータセットの順序
[0071]RBSPは、NALユニット中にカプセル化され、また、空であるか、シンタックス要素を含んでいるデータビットのストリングの形式を有する、整数個のバイトを含んでいるシンタックス構造である。
[0072]PPS RBSPは、1つまたは複数のコーディングされたピクチャの、コーディングされたスライスセグメントNALユニットによって参照され得るパラメータを含む。各PPS RBSPは、復号プロセスの動作の開始時にベースレイヤのためにアクティブでないと最初は考えられる。復号プロセスの動作中の所与の瞬間において、多くとも1つのPPS RBSPがベースレイヤのためにアクティブであると考えられ、ベースレイヤについてのいかなる特定のPPS RBSPのアクティブ化も、(もしあれば)ベースレイヤについて以前アクティブなPPS RBSPの非アクティブ化をもたらす。
[0073]PPS RBSPがベースレイヤのためにアクティブでなく、そのPPS RBSPが、0に等しいnuh_layer_idで、コーディングされたスライスセグメントNALユニットによって参照されるとき、そのPPS RBSPはベースレイヤのためにアクティブ化される。このPPS RBSPは、ベースレイヤ用の別のPPS RBSPのアクティブ化によって非アクティブ化されるまで、ベースレイヤのためのアクティブPPS RBSPと呼ばれる。pps_pic_parameter_set_idのその特定の値をもつPPS RBSPは、それのアクティブ化より前に復号プロセスのために利用可能となり、PPS NALユニットのTemporalId以下のTemporalIdをもつ少なくとも1つのアクセスユニット中に含まれるか、または外部手段を介して提供され、PPS RBSPを含んでいるPPS NALユニットは、0に等しいnuh_layer_idを有する。
[0074]コーディングされるピクチャのための(したがって、コーディングされるピクチャを含んでいるレイヤのための)アクティブPPS RBSP用のpps_pic_parameter_set_idの値を含んでいる任意のPPS NALユニットは、コーディングされるピクチャの最後のVCL NALユニットに後続し、別のコーディングされるピクチャの最初のVCL NALユニットに先行しない限り、コーディングされるピクチャ用のアクティブPPS RBSPのコンテンツと同じコンテンツを有する。
[0075]SPS RBSPは、1つまたは複数のPPS RBSP、あるいはアクティブパラメータセットSEIメッセージを含んでいる1つまたは複数のSEI NALユニットによって参照され得るパラメータを含む。各SPS RBSPは、復号プロセスの動作の開始時にベースレイヤのためにアクティブでないと最初は考えられる。復号プロセスの動作中の所与の瞬間において、多くとも1つのSPS RBSPがベースレイヤのためにアクティブであると考えられ、ベースレイヤについてのいかなる特定のSPS RBSPのアクティブ化も、(もしあれば)ベースレイヤについて以前アクティブなSPS RBSPの非アクティブ化をもたらす。
[0076]SPS RBSPがベースレイヤのために既にアクティブでなく、そのSPS RBSPが、ベースレイヤについてPPS RBSPのアクティブ化によって参照されるとき、または、vps_base_layer_internal_flagが1に等しくvps_base_layer_available_flagが1に等しく、アクティブパラメータセットSEIメッセージを含んでいるSEI NALユニットによって参照されるとき、そのSPS RBSPはベースレイヤのためにアクティブ化される。このSPS RBSPは、ベースレイヤ用の別のSPS RBSPのアクティブ化によって非アクティブ化されるまで、ベースレイヤのためのアクティブSPS RBSPと呼ばれる。sps_seq_parameter_set_idのその特定の値をもつSPS RBSPは、それのアクティブ化より前に復号プロセスのために利用可能となり、0に等しいTemporalIdをもつ少なくとも1つのアクセスユニット中に含まれるか、または外部手段を介して提供され、SPS RBSPを含んでいるSPS NALユニットは、0に等しいnuh_layer_idを有するものである。ベースレイヤのためのアクティブ化されたSPS RBSPは、コーディングされるビデオシーケンス(CVS:coded video sequence)全体についてアクティブなままになるものである。
[0077]CVSのためのベースレイヤのためのアクティブSPS RBSP用のsps_seq_parameter_set_idの値を含んでいる、0に等しいnuh_layer_idをもつ任意のSPS NALユニットは、CVSの最後のアクセスユニットに後続し、別のCVSの最初のVCL NALユニット、およびアクティブパラメータセットSEIメッセージ(存在するとき)を含んでいる最初のSEI NALユニットに先行しない限り、CVSのためのベースレイヤのためのアクティブSPS RBSPのコンテンツと同じコンテンツを有する。
[0078]VPS RBSPは、1つまたは複数のVPS RBSP、あるいはアクティブパラメータセットSEIメッセージを含んでいる1つまたは複数のSEI NALユニットによって参照され得るパラメータを含む。各VPS RBSPは、復号プロセスの動作の開始時にアクティブでないと最初は考えられる。多くとも1つのVPS RBSPが、復号プロセスの動作中の所与の瞬間においてアクティブであると考えられ、いかなる特定のVPS RBSPのアクティブ化も、(もしあれば)以前アクティブなVPS RBSPの非アクティブ化をもたらす。
[0079](vps_video_parameter_set_idの特定の値をもつ)VPS RBSPがすでにアクティブでなく、ベースレイヤについてSPS RBSPのアクティブ化によって参照されるか、またはアクティブパラメータセットSEIメッセージを含んでいるSEI NALユニットによって参照されるとき、VPS RBSPはアクティブ化される。このVPS RBSPは、別のVPS RBSPのアクティブ化によって非アクティブ化されるまで、アクティブVPS RBSPと呼ばれる。vps_video_parameter_set_idのその特定の値をもつVPS RBSPは、それのアクティブ化より前に復号プロセスのために利用可能となり、0に等しいTemporalIdをもつ少なくとも1つのアクセスユニット中に含まれるか、または外部手段を介して提供され、VPS RBSPを含んでいるVPS NALユニットは、0に等しいnuh_layer_idを有する。アクティブ化されたVPS RBSPは、CVS全体についてアクティブなままになる。
[0080]CVSのためのアクティブVPS RBSP用のvps_video_parameter_set_idの値を含んでいる任意のVPS NALユニットは、CVSの最後のアクセスユニットに後続し、別のCVSの最初のVCL NALユニット、最初のSPS NALユニット、およびアクティブパラメータセットSEIメッセージ(存在するとき)を含んでいる最初のSEI NALユニットに先行しない限り、CVSのためのアクティブVPS RBSPのコンテンツと同じコンテンツを有する。
[0081]シンタックス要素の値と、VPS、SPSおよびPPS中のそれらのシンタックス要素ならびに他のシンタックス要素から導出される変数の値との間の関係上に表現されるすべての制約は、アクティブVPS RBSPと、ベースレイヤのためのアクティブSPS RBSPと、ベースレイヤのためのアクティブPPS RBSPとにのみ適用される制約の表現である。ビットストリーム中で決してアクティブにされないいずれかのVPS RBSP、SPS RBSPおよびPPS RBSPが存在する場合、それのシンタックス要素は、別様に準拠するビットストリーム中で参照によってアクティブ化された場合、指定された制約に準拠するはずである値を有するものである。
[0082]復号プロセスの動作中に、アクティブVPS RBSPと、ベースレイヤのためのアクティブSPS RBSPと、ベースレイヤのためのアクティブPPS RBSPとのパラメータの値が事実上考慮される。SEIメッセージの解釈のために、同じアクセスユニット中で0に等しいnuh_layer_idをもつ、コーディングされたピクチャのVCL NALユニットの復号プロセスの動作のための、アクティブVPS RBSPと、ベースレイヤのためのアクティブSPS RBSPと、ベースレイヤのためのアクティブPPS RBSPとの値が、SEIメッセージセマンティクス中で別段に指定されない限り、事実上考慮される。
オペレーションポイント、出力オペレーションポイント、レイヤセット、および出力レイヤセット
[0083]本明細書で使用するオペレーションポイントは、入力としての別のビットストリーム、ターゲット最高temporal_ID、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって、別のビットストリームから作り出されるビットストリームである。より具体的には、「オペレーションポイント」は、時間的に、および/または複数のレイヤおよび/またはビューに関してスケーラブルである元のビットストリームから抽出され得るサブビットストリームである。すなわち、オペレーションポイントは、入力として、別のビットストリーム、ターゲット最高temporal ID、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって、別のビットストリームから作り出されるビットストリームである。ビットストリームは、オペレーションポイントのビューを含む1つまたは複数のビューを含む。ターゲット最高temporal_IDは時間サブセットを定義する。ターゲットレイヤリストは、オペレーションポイントのために復号されるべきレイヤのセットと、出力オペレーションポイントのために出力されるべきレイヤのセットとのレイヤのセットを含む。出力オペレーションポイントは、とりわけ、出力レイヤのセット、すなわち、出力されるべきレイヤである、出力レイヤセットにおいて識別されるレイヤに関連する。概して、各ビットストリームは1つまたは複数の出力レイヤセットを含んでいることがある。各出力レイヤセットは1つまたは複数の出力オペレーションポイントを含んでいることがある。対応するサブビットストリームが適合ビットストリームであることを保証するために、出力オペレーションポイントごとにビットストリーム適合テスト(a bitstream conformance test)が実施される。
[0084]「レイヤセット」という用語は、復号されるべきレイヤのセットを指すために使用される。「レイヤセット」は、レイヤセットがtemporal IDの特定の値に関連付けられないことを除いて、オペレーションポイントと同様である。むしろ、レイヤ中に存在する時間サブレイヤは、すべてレイヤセットに関係する。同様に、レイヤセットは、可能な限り最も高いTemporal IDに関連付けられると言われ得る。したがって、レイヤ中に存在する時間サブレイヤは、すべてレイヤセットに属する。レイヤセットは、可能な限り最も高い値である最高temporal IDを用いて、オペレーションポイントがビットストリームから導出され得るのと同じ方法でビットストリームから導出され得る。
[0085]「出力レイヤセット」という用語は、出力レイヤが指定されたレイヤセットを指す。したがって、復号されるべきレイヤのセットがレイヤセットとして指定されている間、出力されるべきレイヤのセットは出力レイヤセットのために指定される。いくつかの例では、出力レイヤセットは、対応するレイヤセットへのインデックスを含むことによって、対応するレイヤセットを識別し、ここで、対応するレイヤセットは、復号されるべきレイヤを識別する。他の例では、出力レイヤセットは、いくつかの他の方法で対応するレイヤセットを識別する。
[0086]出力のターゲットにされないレイヤセット中のレイヤは、たとえば、レイヤ間(またはビュー間)予測のために使用されるとき、依然として復号され得る。出力のターゲットにされるレイヤは、復号されるべきレイヤのサブセットであり、復号されるべきレイヤの1つ、いくつか、または全部が出力のターゲットにされ得る。「サブセット」という用語は、必ずしも、出力されるべきレイヤが、復号されるべきレイヤの厳密なサブセットであることを意味するとは限らないことを理解されたい。すなわち、いくつかの例では、復号されるべきレイヤと出力されるべきレイヤとは同じである。したがって、出力レイヤセットと出力オペレーションポイントとの間の差異は、上記で説明したようにレイヤセットとオペレーションポイントとの間の差異と同様である。
[0087]サブビットストリームは、(出力オペレーションポイントのためのレイヤを識別する)レイヤ識別子と、ビットストリームの出力オペレーションポイントを識別する(出力オペレーションポイントのための時間サブセットを識別する)時間サブレイヤ識別子との値に基づいて、ビットストリームから抽出され得る。出力オペレーションポイントは、ビットストリーム内のVPS中でシグナリングされ得る。オペレーションポイントの各々について、オペレーションポイントシンタックス構造は、所与のオペレーションポイントのサブビットストリームに属する、ビットストリーム中のネットワークアブストラクションレイヤ(NAL)ユニットを識別するために使用されるレイヤ識別子のセットを指定する。このようにして、所与の出力オペレーションポイントのサブビットストリームを構成するNALユニットは、NALユニットのレイヤ識別子と、出力オペレーションポイントに関連する最高temporal IDとに基づいて、元のビットストリームから抽出され得る。NALユニットは、コーディングされたビデオデータの成分であり、コーディングされたビデオデータはNALユニットに編成される。
プロファイル、ティア、レベルシンタックス
[0088]profile_tier_level()シンタックス構造は、プロファイル、ティア、およびレベルに関係するシンタックス情報を与えるシンタックス構造である。プロファイル、ティア、およびレベルは、HEVC規格またはHEVC拡張規格(たとえば、SHVC、MV−HEVC)を、それが同様の機能要件を有し得る様々な適用例にわたって相互運用可能であるように実装するための異なる適合点(conformance points)を指定する。いくつかの例では、プロファイルは、コーデックが適合ビットストリームを生成するために使用することができるコーディングツールまたはアルゴリズムのセットを定義することができる。プロファイルは、特定の規格、たとえばHEVCによって指定されるビットストリームシンタックス全体のサブセットである。所与のプロファイルのシンタックスによって課される限界内で、復号ピクチャの指定されたサイズなど、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダおよびデコーダのパフォーマンスの極めて大きい変動を必要とする可能性が依然としてある。多くの適用例では、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能なデコーダ(たとえば、ビデオデコーダ30)を実装することは、実際的でも経済的でもない可能性がある。したがって、「ティア」および「レベル」は、各プロファイル内でも指定され得る。ティアのレベルは、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットである。これらの制約は、値に関する単純な制限であり得る。代替的に、それらは、値の算術的組合せ(たとえば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数)に関する制約の形態をとり得る。下位ティアのために指定されたレベルは、上位ティアのために指定されたレベルよりも制約される。
[0089]いくつかの例では、ティアおよびレベルは、デコーダ(たとえば、ビデオデコーダ30)の処理負荷とデコーダのメモリ容量とに関して制約を課し得る。レベル情報は、データの処理に関する制約を確立することができる。たとえば、レベル情報は、考えられる例の中でも、最大サンプルレート、最大ピクチャサイズ、最大ビットレート、および最小圧縮比を含むことができる。レベル情報はまた、復号ピクチャバッファ(DPB)とコード化ピクチャバッファ(CPB)との容量を含むことができる。CPBは、データフロー管理を目的として圧縮データをそれの復号前に保持する。DPBは、復号されたピクチャデータを保持する。
[0090]高効率ビデオコーディングのティアおよびレベルは、最大ビットレートと、最大ルーマサンプルレートと、最大ルーマピクチャサイズと、最小圧縮比と、許容されるスライスの最大数と、および許容されるタイルの最大数とに関して、高効率ビデオコーディング(HEVC)ビットストリームを定義する制約である。下位ティアは上位ティアよりも制約され、下位レベルは上位レベルよりも制約される。
[0091]HEVC規格は、主ティアおよび高ティアという、2つのティアを定義する。主ティアは高ティアよりも下位ティアである。ティアは、それらの最大ビットレートに関して異なる適用例を扱うように実装される。主ティアは、多くの共通の適用例に適応し平均ビットレートを有することができるが、高いティアは、より厳しい適用例に適応することができる。
[0092]HEVC規格は13個のレベルを定義する。レベルは、ビットストリームのための制約のセットである。レベル4よりも下のレベルでは、主ティアのみが可能にされる。所与のティア/レベルに準拠するビデオデコーダ30は、そのティア/レベルのためにおよびすべての下位ティア/レベルのために符号化されたすべてのビットストリームを復号することが可能である。
[0093]本明細書で説明するビデオコーダ(たとえば、ビデオエンコーダ20またはビデオデコーダ30(図1))は、リンク16を介してプロファイル、ティア、およびレベルシンタックス構造を送信および受信することができる。ビデオコーダ(たとえば、システム10)はまた、複数の出力レイヤセットの各々についてのプロファイル、ティア、およびレベルシンタックス構造のうちの1つを参照し、OLSについて参照されたプロファイル、ティア、およびレベルシンタックス構造からの情報に基づいて出力レイヤセットのうちの1つまたは複数のビデオデータを復号し得る。たとえば、ビデオエンコーダ20は、複数の出力レイヤセットの各々についてのプロファイル、ティア、およびレベルシンタックス構造のうちの1つを参照し、出力レイヤセットについて参照されたプロファイル、ティア、およびレベルシンタックス構造からの情報に基づいて1つまたは複数の出力レイヤセットのビデオデータを符号化することができる。ビデオデコーダ30はまた、複数の出力レイヤセットの各々についてのプロファイル、ティア、およびレベルシンタックス構造のうちの1つを参照し、出力レイヤセットについて参照されたプロファイル、ティア、およびレベルシンタックス構造からの情報に基づいて出力レイヤセットのうちの1つのビデオデータを復号し得る。
[0094]PTL情報がprofile_tier_level()シンタックス要素内に含まれ、パラメータセット(たとえば、SPS、VPS)を介して搬送され得る。profile_tier_level()シンタックス構造は、OLSが準拠するプロファイル、ティア、およびレベルを与えることができ、OLSのためにアクティブなVPS中に含まれ得る。いくつかの例では、PTL情報はVPS拡張中に含まれる。profile_tier_level()シンタックス構造がvps_extension()シンタックス構造中に含まれるとき、vps_extension()シンタックス構造のprofile_tier_level_idx[i]シンタックス要素は、i番目のOLSにどのprofile_tier_level()シンタックス構造が適用されるかを指定し、ここで、「i」は整数レイヤである。シンタックスnum_add_layer_setsが0よりも大きく、iが、両端値を含む、FirstAddLayerSetIdxからLastAddLayerSetIdxの範囲内にあるとき、profile_tier_level_idx[i]によって識別されるprofile_tier_level()シンタックス構造は、OlsIdxToLsIdx[i]に等しく設定された入力変数lsIdxをもつ非ベースレイヤの出力に適用される。profile_tier_level()シンタックス構造がVPS中に含まれるが、vps_extension()シンタックス構造中に含まれないとき、profile_tier_level()シンタックス構造は第0のOLSに適用される。profile_tier_level()シンタックス構造がベースレイヤのためのアクティブSPS中に含まれるとき、profile_tier_level()シンタックス構造は第0のOLSに適用される。profile_tier_level()シンタックス構造が、layerIdに等しいnuh_layer_idをもつ独立の非ベースレイヤのためのアクティブSPS中に含まれるとき、profile_tier_level()シンタックス構造は、AssignedBaseLayerId[lsIdx]がlayerIdに等しくなるように、入力パラメータlsIdxを用いた非ベースレイヤサブツリー抽出プロセスの出力ビットストリーム中の第0のOLSに適用される。
[0095]図4は、ビデオエンコーダとビデオデコーダとの間の例示的な信号フローを示す信号フロー図である。信号フロー400は、たとえば、ビデオソース18から、ビデオデータ405を受信しているビデオエンコーダ20を表す。ビデオデータ405は、ビデオエンコーダ20がベースレイヤ(BL)またはレイヤ0、および1つまたは複数の非ベースレイヤ、またはエンハンスメントレイヤ(EL)中で符号化することができる生ビデオ情報を含むことができる。いくつかの例では、ビデオエンコーダ20は、ビデオデータ405をベースレイヤビデオデータ410(たとえば、レイヤ0)、およびマルチレイヤビデオデータ415(たとえば、レイヤ0〜2)として符号化することができる。ビデオエンコーダ20は、符号化およびビデオデコーダ30への送信のためのビデオデータ405を受信することができる。
[0096]いくつかの実施形態では、ビデオエンコーダ20は、ビデオデータのベースレイヤについてのプロファイル、ティア、およびレベル情報を含む、0に等しいnuh_layer_idをもつVPS420をシグナリングすることができる。nuh_layer_idは、ビデオデータの対応するレイヤを示すために使用され得る。したがって、VPS420は、後続のまたは次のVPSによって取って代わられるまで、「アクティブVPS」と呼ばれ得る。レイヤは、nuh_layer_idの特定の値を有するVCL NALユニットと、関連する非VCL NALユニットとのセットであり得る。nuh_layer_idは、たとえば、ベースレイヤまたは第0のOLSなど、ただ1つのレイヤを含んでいるビットストリーム中では0に等しくなり得る。nuh_layer_idはまた、ベースレイヤのすべてのNALユニット中で0に等しくなり得る。nuh_layer_idの他の値は、たとえば、マルチレイヤビデオデータ415など、複数のレイヤを含んでいるビットストリームにおいて現れ得る。
[0097]ビデオエンコーダ20は、0に等しいnuh_layer_idをもつVPS420を送信することができる。そのような例では、ベースレイヤがビットストリームの唯一のコンテンツであり、したがって、唯一の出力レイヤであるので、VPS420は、ベースレイヤビデオデータ410、または第0のOLS426のためのプロファイル、ティア、およびレベルシンタックス構造を含むことができる。ビデオデコーダ30は、0に等しいnuh_layer_idをもつVPS420を受信することができ、ここにおいて、VPSは、ベースレイヤビデオデータ410のためのプロファイル、ティア、およびレベルシンタックス構造を含み、第0のOLS426を復号するためにPTL情報を使用した。
[0098]ビデオエンコーダ20はまた、VPS420を参照し、ベースレイヤビデオデータ410についてのPTL情報を示す、0に等しいnuh_layer_idをもつSPS422を送信することができる。ビデオエンコーダ20は、符号化ビデオデータ405を含むVCL NALユニット424をさらに送信することができる。いくつかの実施形態では、VCL NALユニット424は、たとえば第0のOLS426など、出力としてベースレイヤ(レイヤ0)のみを有するビットストリーム全体を表すことができる。ビデオデコーダ30は、次いで、第0のOLS426を復号するためにVPS420を参照することができる。いくつかの実施形態では、VPS420およびSPS422は、各々が含んでいるPTL情報が、ビデオデコーダ30において受信されたビデオデータ405を復号するために現在参照されている場合、「アクティブ」SPSまたはアクティブVPSと呼ばれることがある。いくつかの例では、SPS(たとえば、SPS422)は0個あるいは1つのPTLシンタックス構造を含んでいるが、VPSは複数のPTLシンタックス構造を含んでいることがあり、たとえば、レイヤごとに1つのPTLシンタックス構造を含んでいることがある。
[0099]そのような実施形態では、アクティブVPSによって指定される第0のOLSは、唯一の出力レイヤでもある、ベースレイヤビデオデータ410のみを含んでいるOLS(0に等しいnuh_layer_idをもつレイヤ)を指す。したがって、ビットストリーム全体がベースレイヤビデオデータ410のみを含んでいるとき、第0のOLS426のティアおよびレベル情報は、アクティブSPS420のprofile_tier_level()シンタックス構造において、ならびにアクティブVPS422中の第1のprofile_tier_level()シンタックス構造においてシグナリングされる。
[00100]いくつかの実施形態では、マルチレイヤビデオデータ415を符号化するために同様のプロセスが使用され得る。ビデオエンコーダ20はVPS430をシグナリングすることができる。VPS430は、ビットストリーム中に各OLSについてのPTL情報を含むことができる。たとえば、第0のOLS450、第1のOLS、または第2のOLSについてのPTL情報が含まれ得る。ビデオエンコーダ20はまた、ビットストリーム全体(たとえば、ビデオデータ415)についてのPTL情報を含むSPS432をシグナリングすることができる。ビデオエンコーダ20は、次いで、VPS430において識別された1つまたは複数のOLSを有するVCL NALユニット438を送信することができる。VPS430はビットストリーム中に各OLSについてのPTL情報を含んでいるので、ビデオデコーダ30は、ビットストリームを復号するとき、VPS430を参照し、第0のOLS450についてのPTL情報を受信することができる。
[00101]いくつかの実施形態では、たとえばVPS430の、シンタックス構造のvps_extension()は、第0のOLSについてのPTLシンタックス情報を含むことができる。したがって、第0のOLSについてのPTL情報は、以下に示されているように、VPS拡張の最初に実装され得る。これは、適切なレベルにおいて必要なPTL情報を与え、そのようなPTL情報が含まれないときにそれを受信するための余分のシグナリングを減少させて、VPS拡張の効率を改善することができる。表1は、そのような状況が存在するときにVPS拡張中に含まれ得るシンタックス要素を示す。
[00102]vps_extension()シンタックス構造へのいくつかの追加は、表1に記載されているように、以下のシンタックス要素を含むことができる。
Figure 0006377778
[00103]表1に示されているように、vps_extension()シンタックスは、第0のOLSについてのPTL情報を含めるために、「for(i=vps_base_layer_internal_flag?0:1;i<NumOutputLayerSets;i++)」および「if(i>vps_num_layer_sets_minus1||(defaultOutputLayerIdc==2&&i>0)」という条件を組み込むことができる。これは、ビットストリームがベースレイヤ以外のさらなるもの(たとえば、マルチレイヤビデオデータ415)と2つ以上のOLS(たとえば、第0、第1、および第2のOLS)とを含んでいるが、ティアおよびレベル情報が常に第0のOLSについてシグナリングされることを保証することができる。
[00104]図5は、ビットストリームを符号化するための方法のフローチャートである。ブロック510において、ビットストリーム内で複数の出力レイヤセット(OLS)を示す、VPS中に含めるための1つまたは複数のシンタックス要素を生成する。シンタックス要素はまた、VPS(たとえば、VPS430)の拡張部分中に含まれ得る。各OLSは、複数のレイヤのうちの1つまたは複数のレイヤを有することができる。シンタックス要素は、ビットストリーム中に含まれている複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報を示すことができる。
[00105]ブロック520において、ビデオエンコーダ20は、VPS(たとえば、VS430)内でシンタックス要素を含む複数のレイヤを符号化することができる。このようにして、方法500は、VPS拡張において、第0のOLSについてのPTL情報を含む、ビットストリームの各OLSについてのプロファイル、ティア、およびレベル情報をシグナリングするために使用され得る。
[00106]図6は、ビットストリームを復号するための方法のフローチャートである。方法600はブロック610において開始し、このとき、ビデオデコーダ30は、ビデオデータの複数のレイヤを有するビットストリームを受信する。ビットストリームはマルチレイヤビデオデータ415(図4)を含むことができる。ビデオデータの複数のレイヤはまた、ベースレイヤとVPS(たとえば、VPS430)とを含むことができる。VPSは、複数のOLSの存在と、複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示すことができる。
[00107]ブロック620において、ビデオデコーダ30は、OLSのうちの1つを、復号のためのターゲットOLSとして選択することができる。次いでブロック630において、ビデオデコーダ30は、アクティブVPS(たとえば、VPS430)中でシグナリングされるPTL情報を使用してターゲットOLSを復号することができる。したがって、方法600は、ビデオデコーダ30が、ビットストリーム中に含まれている各OLS(たとえば、第0のOLS、第1のOLS、および第2のOLS)について最適なPTL情報を使用することができる方法を提供することができる。
[00108]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
[00109]本明細書で説明した方法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような方法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した任意の機能は、集積論理デバイスにおいて一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合、本方法は、実行されたとき、少なくとも部分的に、上記で説明した方法のうちの1つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本方法は、追加または代替として、少なくとも部分的に、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および/または実行され得るコンピュータ可読通信媒体によって実現され得る。
[00110]プログラムコードは、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積回路またはディスクリート論理回路など、1つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明した方法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した方法の実装に適した任意の他の構造もしくは装置のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、または複合ビデオエンコーダ/デコーダ(コーデック)に組み込まれ得る。
[00111]本明細書で説明したコーディング方法は、例示的なビデオ符号化および復号システムにおける実施形態であり得る。システムは、宛先デバイスによって後で復号されるべき符号化ビデオデータを与えるソースデバイスを含む。特に、ソースデバイスは、コンピュータ可読媒体を介してビデオデータを宛先デバイスに与える。ソースデバイスおよび宛先デバイスは、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイスおよび宛先デバイスはワイヤレス通信のために装備され得る。
[00112]本開示の実施形態は、上記では特定の実施形態について説明されているが、本開示の多くの変形形態が可能である。たとえば、様々な構成要素の数は増加または減少され得、電源電圧を決定するモジュールおよびステップは、周波数、別のシステムパラメータ、またはパラメータの組合せを決定するために変更され得る。さらに、様々な実施形態の特徴は、上記で説明した組合せとは異なる組合せで組み合され得る。
[00113]当業者は、本明細書で開示する実施形態に関して説明した様々な例示的なブロックおよびモジュールが様々な形態で実装され得ることを諒解されよう。いくつかのブロックおよびモジュールについて、概して上記ではそれらの機能に関して説明した。そのような機能がどのように実装されるかは、全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。さらに、モジュール、ブロック、またはステップ内の機能のグループ化は、説明を簡単にするためのものである。特定の機能またはステップは、本開示から逸脱することなく、あるモジュールまたはブロックから移動されるか、またはモジュールまたはブロックにわたって分散され得る。
[00114]開示する実施形態についての上記の説明は、あらゆる当業者が本開示の主題を製作または使用できるように提供されたものである。これらの実施形態への様々な修正は当業者には容易に明らかになり、本明細書で説明した一般的原理は、本開示の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本明細書で提示した説明および図面は、本開示の現在好ましい実装形態を表し、したがって、本開示によって広く企図される主題を表すことを理解されたい。本開示の範囲は、当業者に明らかになり得る他の実施形態を完全に包含することと、本開示の範囲は、したがって、添付の特許請求の範囲以外のものによって限定されないこととをさらに理解されたい。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオデータの複数のレイヤを有するビットストリームを符号化するための方法であって、ビデオデータの前記複数のレイヤはベースレイヤを含み、前記方法は、
前記ビットストリーム内に、複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することと、各OLSは前記複数のレイヤのうちの1つまたは複数のレイヤを有し、前記シンタックス要素は、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報をさらに示し、
ビデオパラメータセット(VPS)中に前記1つまたは複数のシンタックス要素を含む前記複数のレイヤを符号化することと、
を備える、方法。
[C2]
前記VPSは第0のOLSについてのPTL情報を示す、C1に記載の方法。
[C3]
前記第0のOLSについての前記PTL情報は、前記VPSのVPS拡張部分中に含まれる、C2に記載の方法。
[C4]
ビデオデータの複数のレイヤを有するビットストリームを符号化するためのデバイスであって、ビデオデータの前記複数のレイヤはベースレイヤを含み、前記デバイスは、
ビデオデータの前記複数のレイヤを記憶するように構成されたメモリと、
前記メモリに動作可能に結合され、
前記ビットストリーム内に、複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することと、各OLSは前記複数のレイヤのうちの1つまたは複数のレイヤを有し、前記シンタックス要素は、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報をさらに示し、
ビデオパラメータセット(VPS)中に前記1つまたは複数のシンタックス要素を含む前記複数のレイヤを符号化することと、
を行うように構成された少なくとも1つのプロセッサと、
を備える、デバイス。
[C5]
前記少なくとも1つのプロセッサは、前記VPS中に第0のOLSについてのPTL情報を示すようにさらに構成された、C4に記載のデバイス。
[C6]
前記少なくとも1つのプロセッサは、前記VPSのVPS拡張部分中に前記第0のOLSについての前記PTL情報を示すようにさらに構成された、C5に記載のデバイス。
[C7]
ビデオデータを復号するための方法であって、
ビデオデータの複数のレイヤを有するビットストリームを受信することと、ビデオデータの前記複数のレイヤはベースレイヤとビデオパラメータセット(VPS)とを含み、前記VPSは、複数の出力レイヤセット(OLS)と、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示し、
前記1つまたは複数のレイヤから1つのOLSをターゲットOLSとして選択することと、
前記VPS中でシグナリングされるPTL情報に基づいて、前記ターゲットOLSを復号することと、
を備える、方法。
[C8]
前記ターゲットOLSは第0のOLSであり、前記VPSは前記第0のOLSについてのPTL情報を含む、C7に記載の方法。
[C9]
前記第0のOLSについての前記PTL情報は、前記VPSのVPS拡張中に含まれる、C8に記載の方法。
[C10]
ビデオデータを復号するためのデバイスであって、
ビデオデータの複数のレイヤを有するビットストリームを記憶するように構成されたメモリと、ビデオデータの前記複数のレイヤはベースレイヤとビデオパラメータセット(VPS)とを含み、前記VPSは、複数の出力レイヤセット(OLS)と、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示し、
前記メモリに動作可能に結合され、
前記1つまたは複数のレイヤから1つのOLSをターゲットOLSとして選択することと、
前記VPS中でシグナリングされるPTL情報に基づいて、前記ターゲットOLSを復号することと、
を行うように構成された少なくとも1つのプロセッサと、
を備える、デバイス。
[C11]
前記ターゲットOLSは第0のOLSであり、前記VPSは前記第0のOLSについてのPTL情報を含む、C10に記載のデバイス。
[C12]
前記第0のOLSについての前記PTL情報は、前記VPSのVPS拡張中に含まれる、C11に記載のデバイス。

Claims (6)

  1. ビデオデータの複数のレイヤを有するビットストリームを符号化するための方法であって、ビデオデータの前記複数のレイヤはベースレイヤを含み、前記方法は、
    前記ビットストリーム内に、複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することと、各OLSは前記複数のレイヤのうちの1つまたは複数のレイヤを有し、前記1つまたは複数のシンタックス要素は、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報をさらに示し、
    ビデオパラメータセット(VPS)中に前記1つまたは複数のシンタックス要素を含む前記複数のレイヤを符号化することと、
    を備え、
    第0のOLSについてのPTL情報は、前記VPSのVPS拡張部分中に含まれる、方法。
  2. ビデオデータの複数のレイヤを有するビットストリームを符号化するためのデバイスであって、ビデオデータの前記複数のレイヤはベースレイヤを含み、前記デバイスは、
    ビデオデータの前記複数のレイヤを記憶するように構成されたメモリと、
    前記メモリに動作可能に結合され、
    前記ビットストリーム内に、複数の出力レイヤセット(OLS)を示す1つまたは複数のシンタックス要素を生成することと、各OLSは前記複数のレイヤのうちの1つまたは複数のレイヤを有し、前記1つまたは複数のシンタックス要素は、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報をさらに示し、
    ビデオパラメータセット(VPS)中に前記1つまたは複数のシンタックス要素を含む前記複数のレイヤを符号化することと、
    を行うように構成された少なくとも1つのプロセッサと、
    を備え、
    前記少なくとも1つのプロセッサは、前記VPSのVPS拡張部分中に第0のOLSについてのPTL情報を示すようにさらに構成された、デバイス。
  3. ビデオデータを復号するための方法であって、
    ビデオデータの複数のレイヤを有するビットストリームを受信することと、ビデオデータの前記複数のレイヤはベースレイヤとビデオパラメータセット(VPS)とを含み、前記VPSは、複数の出力レイヤセット(OLS)と、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示し、
    前記1つまたは複数のレイヤから1つのOLSをターゲットOLSとして選択することと、
    前記VPS中でシグナリングされるPTL情報に基づいて、前記ターゲットOLSを復号することと、
    を備え、
    第0のOLSについてのPTL情報は、前記VPSのVPS拡張部分中に含まれる、方法。
  4. 前記ターゲットOLSは前記第0のOLSであ、請求項に記載の方法。
  5. ビデオデータを復号するためのデバイスであって、
    ビデオデータの複数のレイヤを有するビットストリームを記憶するように構成されたメモリと、ビデオデータの前記複数のレイヤはベースレイヤとビデオパラメータセット(VPS)とを含み、前記VPSは、複数の出力レイヤセット(OLS)と、前記複数のOLSの各OLSについてのプロファイル、ティア、およびレベル(PTL)情報とを示し、
    前記メモリに動作可能に結合され、
    前記1つまたは複数のレイヤから1つのOLSをターゲットOLSとして選択することと、
    前記VPS中でシグナリングされるPTL情報に基づいて、前記ターゲットOLSを復号することと、
    を行うように構成された少なくとも1つのプロセッサと、
    を備え、
    第0のOLSについてのPTL情報は、前記VPSのVPS拡張部分中に含まれる、デバイス。
  6. 前記ターゲットOLSは前記第0のOLSであ、請求項に記載のデバイス。
JP2016573810A 2014-06-20 2015-06-19 ビデオコーディングにおける第0の出力レイヤセットのためのプロファイル、ティア、レベル Active JP6377778B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015210P 2014-06-20 2014-06-20
US62/015,210 2014-06-20
US14/743,512 US9788007B2 (en) 2014-06-20 2015-06-18 Profile, tier, level for the 0-th output layer set in video coding
US14/743,512 2015-06-18
PCT/US2015/036614 WO2015196034A1 (en) 2014-06-20 2015-06-19 Profile, tier, level for the 0-th output layer set in video coding

Publications (3)

Publication Number Publication Date
JP2017523683A JP2017523683A (ja) 2017-08-17
JP2017523683A5 JP2017523683A5 (ja) 2017-12-21
JP6377778B2 true JP6377778B2 (ja) 2018-08-22

Family

ID=54870871

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016573810A Active JP6377778B2 (ja) 2014-06-20 2015-06-19 ビデオコーディングにおける第0の出力レイヤセットのためのプロファイル、ティア、レベル
JP2016573731A Active JP6453365B2 (ja) 2014-06-20 2015-06-19 ビデオコーディングにおけるシンタックス要素の値範囲

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016573731A Active JP6453365B2 (ja) 2014-06-20 2015-06-19 ビデオコーディングにおけるシンタックス要素の値範囲

Country Status (9)

Country Link
US (2) US9788007B2 (ja)
EP (2) EP3158746B1 (ja)
JP (2) JP6377778B2 (ja)
KR (2) KR20170020794A (ja)
CN (2) CN106464919B (ja)
BR (2) BR112016029787A8 (ja)
CA (2) CA2950921C (ja)
ES (1) ES2898663T3 (ja)
WO (2) WO2015196034A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008334B2 (ja) 2011-08-25 2016-10-19 サン パテント トラスト 復号装置及び復号方法
ES2625097T3 (es) * 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
EP2760205B1 (en) 2011-09-19 2020-11-04 Sun Patent Trust Image decoding method, image decoding device
JP5995111B2 (ja) 2011-10-19 2016-09-21 サン パテント トラスト 画像符号化方法及び画像符号化装置
US9788007B2 (en) 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
KR102609949B1 (ko) 2018-08-17 2023-12-04 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 영상 관리
CN110832868A (zh) * 2018-08-31 2020-02-21 深圳市大疆创新科技有限公司 编码方法、解码方法、编码设备和解码设备
US10595048B1 (en) 2018-09-13 2020-03-17 Tencent America LLC Method and device using high layer syntax architecture for coding and decoding
CN114586351B (zh) * 2019-08-29 2024-04-16 Lg电子株式会社 基于自适应环路滤波的图像编译装置和方法
US11375223B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture
CA3155481A1 (en) * 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. Ols for spatial and snr scalability
KR20220063273A (ko) * 2019-09-24 2022-05-17 후아웨이 테크놀러지 컴퍼니 리미티드 다층 비디오 비트스트림에 대한 dpb 파라미터의 시그널링 기법
JP7381731B2 (ja) * 2019-09-24 2023-11-15 華為技術有限公司 マルチレイヤービデオビットストリームにおける不要なレイヤーの禁止
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
AU2020322053A1 (en) * 2019-10-07 2022-05-05 Huawei Technologies Co., Ltd. Avoidance of redundant signaling in multi-layer video bitstreams
US11477487B2 (en) * 2019-12-10 2022-10-18 Zte (Uk) Limited Subpicture signaling in video coding
US11375232B2 (en) 2019-12-10 2022-06-28 Zte (Uk) Limited Sub picture signaling in video coding
JP7431330B2 (ja) * 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
JP7425204B2 (ja) 2019-12-26 2024-01-30 バイトダンス インコーポレイテッド ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
EP4066387A4 (en) 2019-12-27 2023-02-15 ByteDance Inc. SUBPICTURE SIGNALING IN PARAMETER SETS
US11343524B2 (en) * 2019-12-27 2022-05-24 Tencent America LLC Method for adaptation parameter set reference and constraints in coded video stream
KR20220125235A (ko) 2020-01-09 2022-09-14 바이트댄스 아이엔씨 상이한 sei 메시지들의 디코딩 순서
US11778215B2 (en) 2020-02-28 2023-10-03 Qualcomm Incorporated Coding output layer set data and conformance window data of high level syntax for video coding
CN115398895A (zh) 2020-03-26 2022-11-25 阿里巴巴集团控股有限公司 编码或解码视频参数集或序列参数集的方法
US11297350B1 (en) * 2020-03-27 2022-04-05 Tencent America LLC Method for output layer set for multilayered video stream
CN115428438A (zh) * 2020-03-27 2022-12-02 字节跳动有限公司 视频编解码中的水平信息
US20230141607A1 (en) * 2020-03-30 2023-05-11 Lg Electronics Inc. Image encoding/decoding method and device for signaling hrd parameters, and computer-readable recording medium in which bitstream is stored
JP2023519723A (ja) * 2020-03-30 2023-05-12 エルジー エレクトロニクス インコーポレイティド Ptl関連情報をシグナリングする画像符号化/復号方法および装置、ならびにビットストリームを記憶したコンピュータ読み取り可能記録媒体
US20230144371A1 (en) * 2020-03-30 2023-05-11 Lg Electronics Inc. Image decoding method and apparatus
CN115668927A (zh) * 2020-04-01 2023-01-31 Lg电子株式会社 基于输出层集合确定是否参考参数集的图像编码/解码方法和设备及发送比特流的方法
US20230209071A1 (en) * 2020-05-25 2023-06-29 Lg Electronics Inc. Multilayer-based image coding device and method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9210430B2 (en) 2012-01-19 2015-12-08 Sharp Kabushiki Kaisha Reference picture set signaling and restriction on an electronic device
US20140092988A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Systems and methods for reference picture set extension
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US9788007B2 (en) 2014-06-20 2017-10-10 Qualcomm Incorporated Profile, tier, level for the 0-th output layer set in video coding

Also Published As

Publication number Publication date
KR20170020793A (ko) 2017-02-24
KR102387848B1 (ko) 2022-04-15
US9788007B2 (en) 2017-10-10
CA2952973A1 (en) 2015-12-23
CN106664426A (zh) 2017-05-10
BR112016029787A2 (pt) 2017-08-22
KR20170020794A (ko) 2017-02-24
JP6453365B2 (ja) 2019-01-16
CN106464919A (zh) 2017-02-22
CN106664426B (zh) 2020-01-21
BR112016029787A8 (pt) 2021-07-13
US20150373377A1 (en) 2015-12-24
BR112016029751B1 (pt) 2023-10-17
ES2898663T3 (es) 2022-03-08
CN106464919B (zh) 2019-10-18
US9756355B2 (en) 2017-09-05
CA2950921A1 (en) 2015-12-23
JP2017523681A (ja) 2017-08-17
US20150373361A1 (en) 2015-12-24
WO2015196025A1 (en) 2015-12-23
EP3158746B1 (en) 2021-10-20
WO2015196034A1 (en) 2015-12-23
EP3158763A1 (en) 2017-04-26
BR112016029751A2 (pt) 2017-08-22
EP3158746A1 (en) 2017-04-26
CA2950921C (en) 2023-01-10
JP2017523683A (ja) 2017-08-17

Similar Documents

Publication Publication Date Title
JP6377778B2 (ja) ビデオコーディングにおける第0の出力レイヤセットのためのプロファイル、ティア、レベル
JP6549619B2 (ja) マルチレイヤビデオコーディングにおける適合性および相互運用性の改善
JP6141386B2 (ja) 深度範囲パラメータのシグナリング
JP6608386B2 (ja) マルチレイヤコーデックのためのhevc復号ピクチャハッシュseiメッセージの使用
JP6545722B2 (ja) パラメータセットにおいて異なる数のビデオ信号情報シンタックス構造を選択的にシグナリングするためのシステムおよび方法
US9716900B2 (en) Extensible design of nesting supplemental enhancement information (SEI) messages
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
JP6585096B2 (ja) マルチレイヤビデオコーディング
JP6377623B2 (ja) ビデオコーディングにおけるターゲット出力レイヤ
EP3959877A1 (en) Adaptation parameter sets (aps) for adaptive loop filter (alf) parameters
JP2016529781A (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
JP2017514354A (ja) マルチレイヤ・ビデオコーディングのためのpoc値設計

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6377778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250