JP6622211B2 - マルチレイヤビットストリームのためのシーケンス終了nalユニット情報の導出 - Google Patents
マルチレイヤビットストリームのためのシーケンス終了nalユニット情報の導出 Download PDFInfo
- Publication number
- JP6622211B2 JP6622211B2 JP2016558115A JP2016558115A JP6622211B2 JP 6622211 B2 JP6622211 B2 JP 6622211B2 JP 2016558115 A JP2016558115 A JP 2016558115A JP 2016558115 A JP2016558115 A JP 2016558115A JP 6622211 B2 JP6622211 B2 JP 6622211B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- picture
- video
- nal unit
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009795 derivation Methods 0.000 title description 13
- 238000000034 method Methods 0.000 claims description 160
- 238000003860 storage Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 239000010410 layer Substances 0.000 description 373
- 230000008569 process Effects 0.000 description 51
- 238000012545 processing Methods 0.000 description 46
- 239000011229 interlayer Substances 0.000 description 38
- 230000002123 temporal effect Effects 0.000 description 29
- 238000013139 quantization Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 18
- 238000011010 flushing procedure Methods 0.000 description 17
- 238000005192 partition Methods 0.000 description 17
- 238000012952 Resampling Methods 0.000 description 15
- 239000000523 sample Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 241001482237 Pica Species 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 101150103552 cagE gene Proteins 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000985610 Forpus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
[0023]ビデオ画像、TV画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像エンコーダから画像デコーダに搬送されるべき情報の甚だしい量(sheer quantity)は、リアルタイム画像送信を不可能にするであろう。送信されるべき情報の量を低減するために、JPEG、MPEGおよびH.263規格など、いくつかの異なる圧縮方法が開発された。
[0026]マルチレイヤビットストリームでは、レイヤは1つまたは複数の時間サブレイヤを含むことができ、各時間サブレイヤは、時間IDと呼ばれる、それに関連付けられた識別子(ID)を有することができる。概して、現在のピクチャよりも高い時間IDを有するピクチャは現在のピクチャのための参照ピクチャとして使用されない。フラグsps_temporal_id_nesting_flagは、現在のピクチャの時間IDに等しいかまたは現在のピクチャの時間IDよりも低い時間IDを有する特定のピクチャが、特定のピクチャよりも低い時間IDを有し、復号順序において特定のピクチャに後続するが、復号順序において現在のピクチャに先行する、別のピクチャが存在するとき、参照ピクチャとして使用され得るかどうかをさらに示すことができる。
[0030]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様が以下でより十分に説明される。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えられるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0047]上記で手短に述べたように、ビデオエンコーダ20はビデオデータを符号化する。ビデオデータは1つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ20がビデオデータを符号化するとき、ビデオエンコーダ20はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化された表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化されたピクチャと関連データとを含み得る。コード化されたピクチャとは、ピクチャのコード化された表現である。
[0071]図2Aは、本開示で説明する態様による技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオエンコーダ20は、限定はしないが、図4および図5に関して上記および下記でより詳細に説明するNoOutputOfPriorPicsFlagを推論する方法および関係するプロセスを含む、本開示の技法のいずれかまたはすべてを実施するように構成され得る。一例として、予測処理ユニット100は、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。別の実施形態では、ビデオエンコーダ20は、本開示で説明する技法のいずれかまたはすべてを実施するように構成された随意のレイヤ間予測ユニット128を含む。他の実施形態では、レイヤ間予測は予測処理ユニット100(たとえば、インター予測ユニット121および/またはイントラ予測ユニット126)によって実施され得、その場合、レイヤ間予測ユニット128は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ20の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。
[00105]図2Bは、本開示で説明する態様による技法を実装し得る(単にビデオエンコーダ23とも呼ばれる)マルチレイヤビデオエンコーダ23の一例を示すブロック図である。ビデオエンコーダ23は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオエンコーダ23は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。
[00112]図3Aは、本開示で説明する態様による技法を実装し得るビデオデコーダ30の一例を示すブロック図である。ビデオデコーダ30は、HEVCの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオデコーダ30は、限定はしないが、図4および図5に関して上記および下記でより詳細に説明するNoOutputOfPriorPicsFlagを推論する方法および関係するプロセスを含む、本開示の技法のいずれかまたはすべてを実施するように構成され得る。一例として、動き補償ユニット162および/またはイントラ予測ユニット164は、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。一実施形態では、ビデオデコーダ30は、場合によっては、本開示で説明する技法のいずれかまたはすべてを実施するように構成されたレイヤ間予測ユニット166を含み得る。他の実施形態では、レイヤ間予測は予測処理ユニット152(たとえば、動き補償ユニット162および/またはイントラ予測ユニット164)によって実施され得、その場合、レイヤ間予測ユニット166は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオデコーダ30の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ(図示せず)が、本開示で説明する技法のいずれかまたはすべてを実施するように構成され得る。
[00129]図3Bは、本開示で説明する態様による技法を実装し得る(単にビデオデコーダ33とも呼ばれる)マルチレイヤビデオデコーダ33の一例を示すブロック図である。ビデオデコーダ33は、SHVCおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオデコーダ33は、本開示の技法のいずれかまたはすべてを実施するように構成され得る。
[00135]いくつかのビデオコーディング方式は様々なランダムアクセスポイントを、ビットストリームが、ビットストリームの中でそれらのランダムアクセスポイントに先行するいかなるピクチャも復号する必要なしに、それらのランダムアクセスポイントのいずれかから始めて復号され得るように、ビットストリーム全体にわたって与え得る。そのようなビデオコーディング方式では、(たとえば、ランダムアクセスポイントを与えるピクチャと同じアクセスユニット中にあるピクチャを含む)出力順序においてランダムアクセスポイントに後続するすべてのピクチャは、ランダムアクセスポイントに先行するいかなるピクチャも使用することなしに正しく復号され得る。たとえば、ビットストリームの一部分が送信の間または復号の間に失われても、デコーダは、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、たとえば、動的なストリーミングサービス、シーク動作、チャネル切替えなどを容易にし得る。
[00138]SVCでは、IRAPピクチャは、異なるレイヤにわたって整合される(たとえば、同じアクセスユニットに含まれている)ことを必要とされないことがある。たとえば、IRAPピクチャが整合されることを必要とされる場合、少なくとも1つのIRAPピクチャを含んでいるいかなるアクセスユニットもIRAPピクチャのみを含んでいることになる。一方、IRAPピクチャが、単一のアクセスユニット中で、整合されることを必要とされない場合、(たとえば、第1のレイヤ中の)あるピクチャがIRAPピクチャであり得、(たとえば、第2のレイヤ中の)別のピクチャが非IRAPピクチャであり得る。ビットストリーム中にそのような非整合IRAPピクチャを有することは、いくつかの利点を与え得る。たとえば、2レイヤビットストリーム中で、エンハンスメントレイヤ中よりも多くのIRAPピクチャがベースレイヤ中にある場合、ブロードキャストおよびマルチキャストの適用例において、小さい同調遅延(low tune-in delay)および高いコーディング効率が達成され得る。
[00140]いくつかのコーディング方式では、レイヤ初期化ピクチャ(「LIPピクチャ」)は、1に設定されたNoRaslOutputFlagフラグ(たとえば、1に設定される場合はRASLピクチャが出力されないことを示し、0に設定される場合はRASLピクチャが出力されることを示すフラグ)を有するIRAPピクチャであるピクチャ、またはベースレイヤピクチャ(たとえば、0のレイヤIDまたはビットストリーム中で定義される最小のレイヤIDを有するピクチャ)が、1に設定されたNoRaslOutputFlagを有する、IRAPアクセスユニットである初期IRAPアクセスユニットに含まれているピクチャとして定義され得る。
[00142]復号されたピクチャは、(たとえば、それらが表示され、または他のピクチャを予測するために使用され得るように)復号されたピクチャバッファ(DPB)中に記憶される。出力されるべきであるピクチャは、「出力のために必要とされる」とマークされ得、他のピクチャを予測するために使用されるべきであるピクチャは、「参照のために使用される」とマークされ得る。「出力のために必要とされる」とも「参照のために使用される」ともマークされない復号されたピクチャ(たとえば、最初に「参照のために使用される」または「出力のために必要とされる」とマークされたが、その後、「参照のために使用されない」または「出力のために必要とされない」とマークされたピクチャ)は、それらが復号プロセスによって削除されるまでDPB中に存在し得る。出力順序適合のデコーダでは、ピクチャをDPBから削除するプロセスが、しばしば、「出力のために必要とされる」とマークされたピクチャの出力の直後にくる。出力およびその後の削除のこのプロセスは、「バンピング」と呼ばれることがある。
[00146]図4を参照しながら、スプライスポイントを有する例示的なビットストリームが説明される。図4は、スプライシングビットストリーム410および420によって作り出されたマルチレイヤビットストリーム400を示す。ビットストリーム410は、エンハンスメントレイヤ(EL)410Aとベースレイヤ(BL)410Bとを含み、ビットストリーム420は、EL420AとBL420Bとを含む。EL410AはELピクチャ412Aを含み、BL410BはBLピクチャ412Bを含む。EL420Aは、ELピクチャ422A、424A、および426Aを含み、BL420Bは、BLピクチャ422B、424B、および426Bを含む。マルチレイヤビットストリーム400は、アクセスユニット(AU)430〜460をさらに含む。AU430は、ELピクチャ412AとBLピクチャ412Bとを含み、AU440は、ELピクチャ422AとBLピクチャ422Bとを含み、AU450は、ELピクチャ424AとBLピクチャ424Bとを含み、AU460は、ELピクチャ426AとBLピクチャ426Bとを含む。図4の例では、BLピクチャ422BはIRAPピクチャであり、AU440の中の対応するELピクチャ422Aは、末尾のピクチャ(たとえば、非IRAPピクチャ)であり、したがって、AU440は非整合IRAP AUである。また、AU440がスプライスポイント470の直後にくるアクセスユニットであることに留意されたい。
[00148]ピクチャをフラッシングするプロセスは、マルチレイヤビットストリームにおいても関連する。より具体的には、それは初期IRAPアクセスユニットに属するすべてのピクチャと関連し、初期IRAPアクセスユニット中にないIRAPピクチャとも関連する。上記で説明したように、SHVCおよびMV−HEVCなどのいくつかの既存の実装形態では、IRAPアクセスユニットは、(アクセスユニット中の他のピクチャがIRAPピクチャであるかどうかにかかわらず)「0」の値に等しいnuh_layer_idを有するIRAPピクチャを含んでいるアクセスユニットとして定義され得、初期IRAPアクセスユニットは、(この場合も、アクセスユニット中の他のピクチャがIRAPピクチャであるかどうかにかかわらず)「0」の値に等しいnuh_layer_idを有し「1」の値に等しいNoRaslOutputFlagを有するIRAPピクチャを含んでいるアクセスユニットとして定義され得る。
[00150]SVCの単一ループコーディング設計に起因して、いわゆる中粒度スケーラビリティ(MGS:medium-granular scalability)が使用される場合を除いて、アクセスユニットごとに1つの再構成ピクチャのみがDPB中に挿入される(その場合、DPB中に記憶されるいわゆるキーピクチャアクセスユニットからの2つの復号されたピクチャがあり得る)。しかしながら、各アクセスユニット中で、最上位レイヤの復号されたピクチャのみが出力され得る。ピクチャのフラッシングを含む、DPBを管理するための動作は、したがって、主に、ベースレイヤの復号されたピクチャはエンハンスメントレイヤを予測するためにDPB中に存在することが必要とされないので、最上位レイヤ中のピクチャのみに関係する。
[00152]フラッシングがSHVCおよびMV−HEVCにおける現在の設計のもとで発生すると、DPB中のすべてのピクチャは出力(たとえば、表示)されることなく削除される。(ベースレイヤのみがビットストリーム中に存在する自明な場合を除いて)ビットストリーム中の1つのレイヤのみのピクチャがフラッシングされることは可能でなく、したがって、フラッシングはレイヤ特有でない。
[00153]SHVCワーキングドラフト(WD)5およびMV−HEVCワーキングドラフト7など、いくつかの実装形態(たとえば、SHVC、MV−HEVCなど)では、出力タイミング適合に関して、DPBからのピクチャの出力および削除は、以下で説明するように実施される。
[00155]上記で説明したように、出力タイミング適合および出力順序適合は、ともに同じフラッシングの挙動をもたらさないことがある。たとえば、出力タイミング適合デコーダに関して、フラッシングは、ビットストリーム中のレイヤの最初のピクチャでなく「1」の値に等しいNoRaslOutputFlagを有する、レイヤ中の各ピクチャに対して呼び出される。フラッシングが呼び出されると、DPB中のそのレイヤのすべての復号されたピクチャがフラッシングされる。一方、出力順序適合デコーダに関して、フラッシングは、ビットストリーム中の最初のピクチャでなく「1」の値に等しいNoRaslOutputFlagを有する、ベースレイヤ中のピクチャのみに対して呼び出される。フラッシングが呼び出されると、DPB中のすべてのレイヤのすべての復号されたピクチャがフラッシングされる。
[00158]いくつかの実施形態では、変数NoOutputOfPriorPicsFlag(たとえば、IRAPピクチャを復号するとき、DPBがフラッシングされる前にDPB中のピクチャを出力すべきか否かを決定するためにデコーダによって導出される値)は、no_output_of_prior_pics_flagおよび他の条件に基づいて導出される。たとえば、no_output_of_prior_pics_flagは、ビットストリーム中でシグナリングされる値であり得、NoOutputOfPriorPicsFlagは、ビットストリーム中に含まれる情報に基づいてエンコーダによって導出される値であり得る。デコーダは、no_output_of_prior_pics_flagの値および他の条件に基づいてNoOutputOfPriorPicsFlagの値を導出し、次いで、ピクチャを出力すべきか否かを決定するためにNoOutputOfPriorPicsFlagの導出された値を使用し得る。いくつかの実施形態では、フラグNoOutputOfPriorPicsFlagは、現在のアクセスユニットが、2つの異なるビットストリームが互いに縫合される(stitched)スプライスポイントを備えるかどうかを示し得る。
[00161]マルチレイヤビットストリームでは、レイヤは1つまたは複数の時間サブレイヤを含むことができる。各時間サブレイヤは、時間IDと呼ばれる、それに関連付けられた識別子(ID)を有することができる。たとえば、マルチレイヤビットストリーム中のベースレイヤが2つの時間サブレイヤを有する場合、第1の時間サブレイヤのための時間IDは0であり、第2の時間サブレイヤのための時間IDは1である。概して、現在のピクチャよりも高い時間IDを有するピクチャは現在のピクチャのための参照ピクチャとして使用されない。フラグsps_temporal_id_nesting_flagは、現在のピクチャの時間IDに等しいかまたは現在のピクチャの時間IDよりも低い時間IDを有する特定のピクチャが、特定のピクチャよりも低い時間IDを有し、復号順序において特定のピクチャに後続するが、復号順序において現在のピクチャに先行する、別のピクチャが存在するとき、参照ピクチャとして使用され得るかどうかをさらに示すことができる。たとえば、sps_temporal_id_nesting_flagが有効にされた(たとえば、1に等しく設定された)とき、ピクチャAが、現在のピクチャよりも低いかまたは現在のピクチャに等しい時間IDを有するが、ピクチャBが、ピクチャAよりも低い時間IDを有し、復号順序においてピクチャAと現在のピクチャとの間にある(たとえば、ピクチャAのPOC値と現在のピクチャのPOC値との間のPOC値)場合、ピクチャAは現在のピクチャのための参照ピクチャとして使用されないことがある。一方、sps_temporal_id_nesting_flagが有効にされない(たとえば、0に等しく設定された)とき、ピクチャAが、現在のピクチャよりも低いかまたは現在のピクチャに等しい時間IDを有するが、ピクチャBが、ピクチャAよりも低い時間IDを有し、復号順序においてピクチャAと現在のピクチャとの間にある(たとえば、ピクチャAのPOC値と現在のピクチャのPOC値との間のPOC値)場合、ピクチャAは現在のピクチャのための参照ピクチャとして使用され得る。
[00166]SHVCおよびMV−HEVCの早期バージョンでは、sps_temporal_id_nesting_flagのセマンティクスは以下のように指定され得る。
・ tIdAを現在のピクチャpicAのTemporalIdの値とする。
・ 復号順序においてピクチャpicBに後続し、復号順序においてピクチャpicAに先行する、tIdBよりも小さいTemporalIdを有するピクチャpicCが存在するとき、tIdAよりも小さいかまたはtIdAに等しいtIdBに等しいTemporalIdをもつ任意のpicBは、picAのRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurr中に含まれないものとする。
[00170]矛盾に対処するために、sps_temporal_id_nesting_flagのセマンティクスは以下のように変更され得る。本開示における例示的な実施形態は、SHVCおよびMV−HEVC(たとえば、SHVC WD5およびMV−HEVC WD7)の以前のバージョンのコンテキストにおいて与えられる。SHVCおよびMV−HEVCの以前のバージョンへの追加はイタリック体で示され、SHVCおよびMV−HEVCの以前のバージョンからの削除は取消し線で示されている。
・ シンタックス要素または変数vps_temporal_id_nesting_flagはsps_temporal_id_nesting_flagと同様であり得、VPSに関連付けられる。
− たとえば、vps_temporal_id_nesting_flagは、現在のピクチャの時間IDに等しいかまたは現在のピクチャの時間IDよりも低い時間IDを有する特定のピクチャが、特定のピクチャよりも低い時間IDを有し、復号順序において特定のピクチャに後続するが、復号順序において現在のピクチャに先行する、別のピクチャが存在するとき、参照ピクチャとして使用され得るかどうかをVPSレベルで示すことができる。
− vps_temporal_id_nesting_flagは、sps_temporal_id_nesting_flagよりも低い優先順位を有し得る。特定のレイヤについてvps_temporal_id_nesting_flagとsps_temporal_id_nesting_flagの両方が存在する場合、vps_temporal_id_nesting_flagの値ではなく、そのレイヤのためのsps_temporal_id_nesting_flagの値が使用される。
・ シンタックス要素または変数sps_max_sub_layers_minus1は、特定のレイヤ中の時間サブレイヤの最大数−1を指す。
− たとえば、レイヤ中に1つの時間サブレイヤのみがある場合、レイヤ中の時間サブレイヤの最大数は1であり、したがって、sps_max_sub_layers_minus1の値は0である。別の例では、レイヤ中に2つの時間サブレイヤがある場合、レイヤ中の時間サブレイヤの最大数は2であり、したがって、sps_max_sub_layers_minus1の値は1である。
[00174]図5は、本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャートである。本方法は、マルチレイヤビットストリームのためのSPS時間IDネスティング情報の導出に関する。プロセス500は、実施形態によっては、エンコーダ(たとえば、図2A、図2Bなどに示されているエンコーダ)、デコーダ(たとえば、図3A、図3Bなどに示されているデコーダ)、または任意の他の構成要素によって実施され得る。プロセス500のブロックは図3B中のデコーダ33に関して説明されるが、プロセス500は、上述のように、エンコーダなど、他の構成要素によって実施され得る。デコーダ33のレイヤ1ビデオデコーダ30Bおよび/またはデコーダ33のレイヤ0デコーダ30Aが、実施形態によっては、プロセス500を実施し得る。図5に関して説明するすべての実施形態は、別々に、または互いと組み合わせて実装され得る。プロセス500に関係するいくつかの詳細が、たとえば、図4に関して上記で説明されている。
[00190]SHVCおよびMV−HEVCが1つまたは複数のレイヤのピクチャを含んでいることがあるとすれば、アクセスユニットは、異なるレイヤからのピクチャであるが、同じPOC値を有するピクチャを含んでいることがある。したがって、シーケンス終了NALユニットが、あるレイヤに適用されるのか、レイヤのいくつかまたはすべてに適用されるのかは明瞭でないことがある。EOS NALユニットは、ピクチャまたはアクセスユニットのシーケンスの終了を示すことができる。たとえば、EOSの後のピクチャまたはアクセスユニットは別のシーケンスに属する。マルチレイヤビットストリーム(たとえば、SHVCまたはMV−HEVC)では、アクセスユニットが2つ以上のピクチャを含んでいることがあるので、シーケンス終了NALユニットの範囲がピクチャに関連付けられるのかアクセスユニットに関連付けられるのかは明瞭でない。したがって、いくつかの態様による技法は、EOS NALユニットが、特定のレイヤに適用されるのか、レイヤのいくつかまたはすべてに適用されるのかを明瞭にするために、SHVCおよびMV−HEVCの以前のバージョンを変更することができる。
[00191]本開示における例示的な実施形態は、SHVCおよびMV−HEVC(たとえば、SHVC WD5およびMV−HEVC WD7)の以前のバージョンのコンテキストにおいて与えられる。SHVCおよびMV−HEVCの以前のバージョンを変更するための命令はイタリック体で示され、SHVCおよびMV−HEVCの以前のバージョンからの削除は取消し線で示されている。
[00194]本開示における例示的な実施形態は、SHVCおよびMV−HEVC(たとえば、SHVC WD5およびMV−HEVC WD7)の以前のバージョンのコンテキストにおいて与えられる。SHVCおよびMV−HEVCの以前のバージョンを変更するための命令はイタリック体で示されている。SHVCおよびMV−HEVCの以前のバージョンへの追加はイタリック体および下線で示され、SHVCおよびMV−HEVCの以前のバージョンからの削除は取消し線で示されている。
[00197]図6は、本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャートである。本方法は、マルチレイヤビットストリームのためのEOS NALユニット情報の導出に関する。プロセス600は、実施形態によっては、エンコーダ(たとえば、図2A、図2Bなどに示されているエンコーダ)、デコーダ(たとえば、図3A、図3Bなどに示されているデコーダ)、または任意の他の構成要素によって実施され得る。プロセス600のブロックは図3B中のデコーダ33に関して説明されるが、プロセス600は、上述のように、エンコーダなど、他の構成要素によって実施され得る。デコーダ33のレイヤ1ビデオデコーダ30Bおよび/またはデコーダ33のレイヤ0デコーダ30Aが、実施形態によっては、プロセス600を実施し得る。図6に関して説明するすべての実施形態は、別々に、または互いと組み合わせて実装され得る。プロセス600に関係するいくつかの詳細が、たとえば、図4および図5に関して上記で説明されている。
[00204]SHVCおよびMV−HEVCの場合のように、1つのAUが2つ以上のレイヤからのピクチャを含んでいる場合、変数HandleCraAsBlaFlagなど、特定のレイヤ(たとえば、ベースレイヤ)に関連付けられた変数またはフラグが、AU全体に適用されるべきなのか、それが関連付けられた特定のレイヤのみに適用されるべきなのかは不確定であり得る。SHVC/MV−HEVCへの既存の手法では、HandleCraAsBlaFlagは各CRAピクチャに関連付けられ得る。システムがCRAピクチャをBLAピクチャに変更することができない場合、ランダムアクセスまたはスプライシングを容易にする外部手段として変数が導入され得る。マルチレイヤコンテキストでは、ランダムアクセスおよびスプライシングは、ベースレイヤにあるIRAPピクチャ(たとえば、IRAPアクセスユニット)において行われ得る。したがって、ベースレイヤ中のまたは任意の他のレイヤ中のCRAピクチャのためのHandleCraAsBlaFlagの値は同じであるべきである。たとえば、ベースレイヤ中のCRAピクチャをもつIRAPアクセスユニットにおいてランダムアクセスが起こり、同じアクセスユニット中の1つまたは複数の(さらにはすべての)エンハンスメントレイヤピクチャもCRAピクチャであるとき、デコーダがそれらのピクチャを同じ様式で扱うかまたは処理するように、それらのピクチャがHandleCraAsBlaFlagの同じ値を有することが望ましいことがある。したがって、変数HandleCraAsBlaFlagは、ピクチャに関連付けられるのではなく、アクセスユニットに関連付けられるように簡略化され得る。
[00205]本開示における例示的な実施形態は、SHVCおよびMV−HEVC(たとえば、SHVC WD5およびMV−HEVC WD7)の以前のバージョンのコンテキストにおいて与えられる。SHVCおよびMV−HEVCの以前のバージョンへの追加はイタリック体で示され、SHVCおよびMV−HEVCの以前のバージョンからの削除は取消し線で示されている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオ情報をコーディングするための装置であって、
1つまたは複数のレイヤに関連付けられたビデオ情報を記憶するためのメモリと、
前記メモリに動作可能に結合され、
複数のレイヤを含むビットストリーム中の現在のアクセスユニット(AU)をコーディングすることと、前記複数のレイヤは、参照レイヤと、少なくとも1つの対応するエンハンスメントレイヤとを含み、
前記現在のAU中の前記参照レイヤに関連付けられた第1のシーケンス終了(EOS)ネットワークアブストラクションレイヤ(NAL)ユニットをコーディングすることと、前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤ識別子(ID)を有し、
前記現在のAU中の前記エンハンスメントレイヤに関連付けられた第2のEOS NALユニットをコーディングすることと、前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDを有し、
を行うように構成されたハードウェアプロセッサと
を備える、装置。
[C2]
前記現在のAUの後のAU中にあり、前記第1のEOS NALユニットと同じレイヤIDを有するピクチャは、瞬時復号リフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの1つまたは複数から選択されたイントラランダムアクセスポイント(IRAP)ピクチャである、C1に記載の装置。
[C3]
前記現在のAUの後のAU中にあり、前記第2のEOS NALユニットと同じレイヤIDを有するピクチャは、IDRピクチャ、BLAピクチャ、またはCRAピクチャのうちの1つまたは複数から選択されたIRAPピクチャである、C1に記載の装置。
[C4]
前記第1のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C1に記載の装置。
[C5]
前記第2のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C1に記載の装置。
[C6]
前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤIDまたは前記参照レイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のビデオコーディングレイヤ(VCL)ユニットの後にあり、前記第1のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C1に記載の装置。
[C7]
前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDまたは前記エンハンスメントレイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のVCLユニットの後にあり、前記第2のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C1に記載の装置。
[C8]
ビデオ情報をコーディングする方法であって、
1つまたは複数のレイヤに関連付けられたビデオ情報を記憶することと、
複数のレイヤを含むビットストリーム中の現在のアクセスユニット(AU)をコーディングすることと、前記複数のレイヤは、参照レイヤと、少なくとも1つの対応するエンハンスメントレイヤとを含み、
前記現在のAU中の前記参照レイヤに関連付けられた第1のシーケンス終了(EOS)ネットワークアブストラクションレイヤ(NAL)ユニットをコーディングすることと、前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤ識別子(ID)を有し、
前記現在のAU中の前記エンハンスメントレイヤに関連付けられた第2のEOS NALユニットをコーディングすることと、前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDを有し、
を備える、方法。
[C9]
前記現在のAUの後のAU中にあり、前記第1のEOS NALユニットと同じレイヤIDを有するピクチャは、瞬時復号リフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの1つまたは複数から選択されたイントラランダムアクセスポイント(IRAP)ピクチャである、C8に記載の方法。
[C10]
前記現在のAUの後のAU中にあり、前記第2のEOS NALユニットと同じレイヤIDを有するピクチャは、IDRピクチャ、BLAピクチャ、またはCRAピクチャのうちの1つまたは複数から選択されたIRAPピクチャである、C8に記載の方法。
[C11]
前記第1のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C8に記載の方法。
[C12]
前記第2のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C8に記載の方法。
[C13]
前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤIDまたは前記参照レイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のビデオコーディングレイヤ(VCL)ユニットの後にあり、前記第1のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C8に記載の方法。
[C14]
前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDまたは前記エンハンスメントレイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のVCLユニットの後にあり、前記第2のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C8に記載の方法。
[C15]
コンピュータハードウェアを備えるプロセッサ上で実行されたとき、
1つまたは複数のレイヤに関連付けられたビデオ情報を記憶することと、
複数のレイヤを含むビットストリーム中の現在のアクセスユニット(AU)をコーディングすることと、前記複数のレイヤは、参照レイヤと、少なくとも1つの対応するエンハンスメントレイヤとを含み、
前記現在のAU中の前記参照レイヤに関連付けられた第1のシーケンス終了(EOS)ネットワークアブストラクションレイヤ(NAL)ユニットをコーディングすることと、前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤ識別子(ID)を有し、
前記現在のAU中の前記エンハンスメントレイヤに関連付けられた第2のEOS NALユニットをコーディングすることと、前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDを有し、
を前記プロセッサに行わせる命令を備える、非一時的コンピュータ可読媒体。
[C16]
前記現在のAUの後のAU中にあり、前記第1のEOS NALユニットまたは前記第2のEOS NALユニットと同じレイヤIDを有するピクチャは、瞬時復号リフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの1つまたは複数から選択されたイントラランダムアクセスポイント(IRAP)ピクチャである、C15に記載のコンピュータ可読媒体。
[C17]
前記第1のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C15に記載のコンピュータ可読媒体。
[C18]
前記第2のEOS NALユニットと同じレイヤIDを有する、前記現在のAUの後のAU中のIRAPピクチャは、1に等しいNoRaslOutputFlagの値を有する、C15に記載のコンピュータ可読媒体。
[C19]
前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤIDまたは前記参照レイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のビデオコーディングレイヤ(VCL)ユニットの後にあり、前記第1のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C15に記載のコンピュータ可読媒体。
[C20]
前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDまたは前記エンハンスメントレイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のVCLユニットの後にあり、前記第2のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、C15に記載のコンピュータ可読媒体。
Claims (13)
- HEVCのスケーラブルビデオコーディング拡張にしたがってビデオ情報をコーディングするための装置であって、
1つまたは複数のレイヤに関連付けられたビデオ情報を記憶するためのメモリと、
前記メモリに動作可能に結合され、
複数のレイヤを含むビットストリーム中の現在のアクセスユニット(AU)をコーディングすることと、前記複数のレイヤは、第1のレイヤ識別子(ID)シンタックス要素nuh_layer_idを有する参照レイヤと、前記第1のレイヤIDよりも高い第2のレイヤIDシンタックス要素nuh_layer_idを有する少なくとも1つの対応するエンハンスメントレイヤとを含み、前記現在のAUは、2つ以上のシーケンス終了(EOS)ネットワークアブストラクションレイヤ(NAL)ユニットを含むことができ、
前記現在のAUにおいて、前記参照レイヤに関連付けられた第1のEOS NALユニットをコーディングすることと、前記第1のEOS NALユニットは、前記参照レイヤと同じ第1のレイヤIDシンタックス要素を有し、
前記現在のAUにおいて、前記エンハンスメントレイヤに関連付けられた第2のEOS NALユニットをコーディングすることと、前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じ第2のレイヤIDを有し、各レイヤはそれ自体のEOS NALユニットを有することができ、特定のレイヤ中のEOS NALユニットはその特定のレイヤのみに適用可能である、
を行うように構成されたハードウェアプロセッサと
を備える、装置。 - 前記ハードウェアプロセッサは、
(i)前記第1のレイヤIDを有する前記第1のEOS NALユニットを含む前記現在のAUおよび(ii)前記第1のレイヤIDを有する第1のIRAPピクチャを含む後のAU、に応答して、第1のIRAPピクチャの第1のNoRaslOutputFlagを1に等しくさせることと、
(i)前記第2のレイヤIDを有する前記第2のEOS NALユニットを含む前記現在のAUおよび(ii)前記第2のレイヤIDを有する第2のIRAPピクチャを含む後のAUに応答して、第2のIRAPピクチャの第2のNoRaslOutputFlagを1に等しくさせることと、
に基づいて前記現在のAUの後のAUをコーディングすること、
を行うようにさらに構成された、請求項1によるビデオ情報をコーディングするための装置。 - 前記現在のAUの後のAU中にあり、前記第1のEOS NALユニットと同じレイヤIDを有するピクチャは、瞬時復号リフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの1つまたは複数から選択されたイントラランダムアクセスポイント(IRAP)ピクチャである、請求項1に記載の装置。
- 前記現在のAUの後のAU中にあり、前記第2のEOS NALユニットと同じレイヤIDを有するピクチャは、IDRピクチャ、BLAピクチャ、またはCRAピクチャのうちの1つまたは複数から選択されたIRAPピクチャである、請求項1に記載の装置。
- 前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤIDまたは前記参照レイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のビデオコーディングレイヤ(VCL)ユニットの後にあり、前記第1のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、請求項1に記載の装置。
- 前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDまたは前記エンハンスメントレイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のVCLユニットの後にあり、前記第2のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、請求項1に記載の装置。
- HEVCのスケーラブルビデオコーディング拡張にしたがってビデオ情報をコーディングする方法であって、
1つまたは複数のレイヤに関連付けられたビデオ情報を記憶することと、
複数のレイヤを含むビットストリーム中の現在のアクセスユニット(AU)をコーディングすることと、前記複数のレイヤは、第1のレイヤ識別子(ID)シンタックス要素nuh_layer_idを有する参照レイヤと、前記第1のレイヤIDよりも高い第2のレイヤIDシンタックス要素nuh_layer_idを有する少なくとも1つの対応するエンハンスメントレイヤとを含み、前記現在のAUは、2つ以上のシーケンス終了(EOS)ネットワークアブストラクションレイヤ(NAL)ユニットを含むことができ、
前記現在のAUにおいて、前記参照レイヤに関連付けられた第1のEOS NALユニットをコーディングすることと、前記第1のEOS NALユニットは、前記参照レイヤと同じ第1のレイヤIDシンタックス要素を有し、
前記現在のAUにおいて、前記エンハンスメントレイヤに関連付けられた第2のEOS NALユニットをコーディングすることと、前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じ第2のレイヤIDを有し、各レイヤはそれ自体のEOS NALユニットを有することができ、特定のレイヤ中のEOS NALユニットはその特定のレイヤのみに適用可能である、
を備える、方法。 - (i)前記第1のレイヤIDを有する前記第1のEOS NALユニットを含む前記現在のAUおよび(ii)前記第1のレイヤIDを有する第1のIRAPピクチャを含む後のAU、に応答して、第1のIRAPピクチャの第1のNoRaslOutputFlagを1に等しくさせることと、
(i)前記第2のレイヤIDを有する前記第2のEOS NALユニットを含む前記現在のAUおよび(ii)前記第2のレイヤIDを有する第2のIRAPピクチャを含む後のAUに応答して、第2のIRAPピクチャの第2のNoRaslOutputFlagを1に等しくさせることと、
に基づいて前記現在のAUの後のAUをコーディングすること、
をさらに備える、請求項7に記載の方法。 - 前記現在のAUの後のAU中にあり、前記第1のEOS NALユニットと同じレイヤIDを有するピクチャは、瞬時復号リフレッシュ(IDR)ピクチャ、切断リンクアクセス(BLA)ピクチャ、またはクリーンランダムアクセス(CRA)ピクチャのうちの1つまたは複数から選択されたイントラランダムアクセスポイント(IRAP)ピクチャである、請求項7に記載の方法。
- 前記現在のAUの後のAU中にあり、前記第2のEOS NALユニットと同じレイヤIDを有するピクチャは、IDRピクチャ、BLAピクチャ、またはCRAピクチャのうちの1つまたは複数から選択されたIRAPピクチャである、請求項7に記載の方法。
- 前記第1のEOS NALユニットは、前記参照レイヤと同じレイヤIDまたは前記参照レイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のビデオコーディングレイヤ(VCL)ユニットの後にあり、前記第1のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、請求項7に記載の方法。
- 前記第2のEOS NALユニットは、前記エンハンスメントレイヤと同じレイヤIDまたは前記エンハンスメントレイヤよりも低いレイヤIDを有する、前記現在のAU中の1つまたは複数のVCLユニットの後にあり、前記第2のEOS NALユニットは、前記現在のAU中のいずれのビットストリーム終了NALユニットにも先行する、請求項7に記載の方法。
- コンピュータハードウェアを備えるプロセッサ上で実行されたとき、請求項7〜12のいずれか一項に記載の方法を前記プロセッサに行わせる命令を備える、コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461955158P | 2014-03-18 | 2014-03-18 | |
US61/955,158 | 2014-03-18 | ||
US14/657,624 | 2015-03-13 | ||
US14/657,624 US9794595B2 (en) | 2014-03-18 | 2015-03-13 | Derivation of end of sequence NAL unit information for multi-layer bitstreams |
PCT/US2015/020734 WO2015142725A1 (en) | 2014-03-18 | 2015-03-16 | Derivation of end of sequence nal unit information for multi-layer bitstreams |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017509254A JP2017509254A (ja) | 2017-03-30 |
JP2017509254A5 JP2017509254A5 (ja) | 2018-04-05 |
JP6622211B2 true JP6622211B2 (ja) | 2019-12-18 |
Family
ID=54143328
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016558115A Active JP6622211B2 (ja) | 2014-03-18 | 2015-03-16 | マルチレイヤビットストリームのためのシーケンス終了nalユニット情報の導出 |
JP2016557935A Active JP6542251B2 (ja) | 2014-03-18 | 2015-03-16 | マルチレイヤビットストリームのためのsps時間idネスティング情報の導出 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557935A Active JP6542251B2 (ja) | 2014-03-18 | 2015-03-16 | マルチレイヤビットストリームのためのsps時間idネスティング情報の導出 |
Country Status (9)
Country | Link |
---|---|
US (2) | US9794595B2 (ja) |
EP (2) | EP3120563B1 (ja) |
JP (2) | JP6622211B2 (ja) |
KR (2) | KR102257870B1 (ja) |
CN (2) | CN106105223B (ja) |
BR (2) | BR112016021453A8 (ja) |
ES (2) | ES2889976T3 (ja) |
MX (2) | MX359458B (ja) |
WO (2) | WO2015142725A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9794595B2 (en) | 2014-03-18 | 2017-10-17 | Qualcomm Incorporated | Derivation of end of sequence NAL unit information for multi-layer bitstreams |
WO2015194183A1 (en) * | 2014-06-18 | 2015-12-23 | Sharp Kabushiki Kaisha | Slice Type and Decoder Conformance |
WO2016098056A1 (en) * | 2014-12-18 | 2016-06-23 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US11595652B2 (en) | 2019-01-28 | 2023-02-28 | Op Solutions, Llc | Explicit signaling of extended long term reference picture retention |
US10349067B2 (en) * | 2016-02-17 | 2019-07-09 | Qualcomm Incorporated | Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks |
US10623755B2 (en) * | 2016-05-23 | 2020-04-14 | Qualcomm Incorporated | End of sequence and end of bitstream NAL units in separate file tracks |
GB2553556B (en) * | 2016-09-08 | 2022-06-29 | V Nova Int Ltd | Data processing apparatuses, methods, computer programs and computer-readable media |
CN111989920A (zh) * | 2018-02-20 | 2020-11-24 | 弗劳恩霍夫应用研究促进协会 | 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码 |
US10999590B2 (en) * | 2018-12-28 | 2021-05-04 | Tencent America LLC | Method for identification of random access point and picture types |
CN113597768A (zh) * | 2019-01-28 | 2021-11-02 | Op方案有限责任公司 | 扩展长期参考图片保留的在线和离线选择 |
US11109041B2 (en) * | 2019-05-16 | 2021-08-31 | Tencent America LLC | Method and apparatus for video coding |
US11153583B2 (en) * | 2019-06-07 | 2021-10-19 | Qualcomm Incorporated | Spatial scalability support in video encoding and decoding |
US11228777B2 (en) * | 2019-12-30 | 2022-01-18 | Tencent America LLC | Method for layerwise random access in a coded video stream |
US11356698B2 (en) * | 2019-12-30 | 2022-06-07 | Tencent America LLC | Method for parameter set reference constraints in coded video stream |
CN115336277A (zh) * | 2020-03-17 | 2022-11-11 | 字节跳动有限公司 | 在视频编解码中使用视频参数集 |
WO2021237132A1 (en) | 2020-05-22 | 2021-11-25 | Bytedance Inc. | Ordering of nal units in coded video |
CN115885512A (zh) | 2020-06-12 | 2023-03-31 | 字节跳动有限公司 | 视频比特流中图片输出顺序的约束 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100825743B1 (ko) | 2005-11-15 | 2008-04-29 | 한국전자통신연구원 | 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱 |
US9516379B2 (en) | 2011-03-08 | 2016-12-06 | Qualcomm Incorporated | Buffer management in video codecs |
CN107809645B (zh) | 2012-06-22 | 2021-12-03 | 威勒斯媒体国际有限公司 | 图像解码方法及图像解码设备 |
US9912941B2 (en) | 2012-07-02 | 2018-03-06 | Sony Corporation | Video coding system with temporal layers and method of operation thereof |
US9602827B2 (en) | 2012-07-02 | 2017-03-21 | Qualcomm Incorporated | Video parameter set including an offset syntax element |
JP6050488B2 (ja) | 2012-07-06 | 2016-12-21 | サムスン エレクトロニクス カンパニー リミテッド | ランダムアクセスのためのマルチレイヤビデオ符号化方法及びその装置、並びにランダムアクセスのためのマルチレイヤビデオ復号化方法及びその装置 |
US9621906B2 (en) | 2012-12-10 | 2017-04-11 | Lg Electronics Inc. | Method for decoding image and apparatus using same |
US9674533B2 (en) * | 2013-04-05 | 2017-06-06 | Qualcomm Incorporated | Picture alignments in multi-layer video coding |
US9532052B2 (en) | 2013-04-08 | 2016-12-27 | Qualcomm Incorporated | Cross-layer POC alignment for multi-layer bitstreams that may include non-aligned IRAP pictures |
WO2015056941A1 (ko) | 2013-10-14 | 2015-04-23 | 한국전자통신연구원 | 다계층 기반의 영상 부호화/복호화 방법 및 장치 |
CN105723712B (zh) | 2013-10-14 | 2019-06-28 | 韩国电子通信研究院 | 基于多层的图像编码/解码方法和设备 |
US20150195554A1 (en) | 2014-01-03 | 2015-07-09 | Sharp Laboratories Of America, Inc. | Constraints and enhancements for a scalable video coding system |
US9794595B2 (en) | 2014-03-18 | 2017-10-17 | Qualcomm Incorporated | Derivation of end of sequence NAL unit information for multi-layer bitstreams |
-
2015
- 2015-03-13 US US14/657,624 patent/US9794595B2/en active Active
- 2015-03-13 US US14/657,617 patent/US11388441B2/en active Active
- 2015-03-16 EP EP15715536.7A patent/EP3120563B1/en active Active
- 2015-03-16 CN CN201580013633.9A patent/CN106105223B/zh active Active
- 2015-03-16 MX MX2016011959A patent/MX359458B/es active IP Right Grant
- 2015-03-16 ES ES15715536T patent/ES2889976T3/es active Active
- 2015-03-16 JP JP2016558115A patent/JP6622211B2/ja active Active
- 2015-03-16 ES ES15717693T patent/ES2887368T3/es active Active
- 2015-03-16 WO PCT/US2015/020734 patent/WO2015142725A1/en active Application Filing
- 2015-03-16 MX MX2016011758A patent/MX360168B/es active IP Right Grant
- 2015-03-16 BR BR112016021453A patent/BR112016021453A8/pt active IP Right Grant
- 2015-03-16 WO PCT/US2015/020691 patent/WO2015142712A1/en active Application Filing
- 2015-03-16 BR BR112016021473-0A patent/BR112016021473B1/pt active IP Right Grant
- 2015-03-16 JP JP2016557935A patent/JP6542251B2/ja active Active
- 2015-03-16 KR KR1020167026506A patent/KR102257870B1/ko active IP Right Grant
- 2015-03-16 KR KR1020167026507A patent/KR102257861B1/ko active IP Right Grant
- 2015-03-16 EP EP15717693.4A patent/EP3120551B1/en active Active
- 2015-03-16 CN CN201580013697.9A patent/CN106105224B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106105224A (zh) | 2016-11-09 |
BR112016021473A8 (pt) | 2021-07-06 |
CN106105223A (zh) | 2016-11-09 |
JP6542251B2 (ja) | 2019-07-10 |
KR20160132875A (ko) | 2016-11-21 |
MX2016011959A (es) | 2016-12-05 |
BR112016021473A2 (pt) | 2017-08-15 |
JP2017509254A (ja) | 2017-03-30 |
WO2015142725A1 (en) | 2015-09-24 |
KR102257861B1 (ko) | 2021-05-27 |
BR112016021453A2 (pt) | 2017-08-15 |
US9794595B2 (en) | 2017-10-17 |
ES2887368T3 (es) | 2021-12-22 |
US11388441B2 (en) | 2022-07-12 |
US20150271526A1 (en) | 2015-09-24 |
BR112016021473B1 (pt) | 2024-01-23 |
ES2889976T3 (es) | 2022-01-14 |
BR112016021453A8 (pt) | 2021-07-06 |
MX359458B (es) | 2018-09-28 |
MX360168B (es) | 2018-10-12 |
MX2016011758A (es) | 2016-12-12 |
EP3120563B1 (en) | 2021-08-25 |
CN106105223B (zh) | 2019-03-29 |
KR102257870B1 (ko) | 2021-05-27 |
WO2015142712A1 (en) | 2015-09-24 |
JP2017513352A (ja) | 2017-05-25 |
US20150271506A1 (en) | 2015-09-24 |
EP3120563A1 (en) | 2017-01-25 |
KR20160132874A (ko) | 2016-11-21 |
CN106105224B (zh) | 2019-04-12 |
EP3120551B1 (en) | 2021-08-25 |
EP3120551A1 (en) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6622211B2 (ja) | マルチレイヤビットストリームのためのシーケンス終了nalユニット情報の導出 | |
JP6554477B2 (ja) | マルチレイヤビットストリームのためのピクチャのフラッシングおよび復号ピクチャバッファのパラメータ推測 | |
JP6513685B2 (ja) | ビデオコーディングにおけるNoOutputOfPriorPicsFlagの改善された推論 | |
JP6672184B2 (ja) | マルチレイヤコーデックにおける時間動きベクトル予測(tmvp)指示 | |
JP6486952B2 (ja) | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 | |
JP6513684B2 (ja) | マルチレイヤビデオコーディングにおける異なるコーデックのベースレイヤのサポート | |
JP6633005B2 (ja) | マルチレイヤコーデックのためのフルピクチャ順序カウントリセット | |
JP6608374B2 (ja) | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 | |
JP2017517185A (ja) | マルチレイヤコーディングにおける適合ウィンドウ情報 | |
JP6573879B2 (ja) | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 | |
JP2016539545A (ja) | ビデオ情報のスケーラブルコーディングのためのデバイスおよび方法 | |
JP2017525248A (ja) | スケーラブルビデオコード化におけるビットストリーム適合制約 | |
JP2017510121A (ja) | Hevcマルチレイヤ拡張における非hevcベースレイヤのサポート | |
JP2017507539A (ja) | マルチレイヤコーディングにおいて回復点補足エンハンスメント情報(sei)メッセージと領域リフレッシュ情報seiメッセージとをコーディングするための方法 | |
JP6434044B2 (ja) | ビデオ情報のスケーラブルコード化のための機器及び方法 | |
JP6312838B2 (ja) | マルチレイヤコード化においてレイヤ間参照ピクチャセット(RPS)をコード化し、ビットストリーム終端(EoB)ネットワークアクセスレイヤ(NAL)単位をコード化するための方法 | |
JP6661540B2 (ja) | マルチレイヤコード化において参照ピクチャセット(rps)をコード化するための方法 | |
JP2018511238A (ja) | 高速レートひずみ最適量子化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161201 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180223 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6622211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |