JP7483869B2 - エンコーダ、デコーダ、および対応する方法 - Google Patents
エンコーダ、デコーダ、および対応する方法 Download PDFInfo
- Publication number
- JP7483869B2 JP7483869B2 JP2022519007A JP2022519007A JP7483869B2 JP 7483869 B2 JP7483869 B2 JP 7483869B2 JP 2022519007 A JP2022519007 A JP 2022519007A JP 2022519007 A JP2022519007 A JP 2022519007A JP 7483869 B2 JP7483869 B2 JP 7483869B2
- Authority
- JP
- Japan
- Prior art keywords
- inter
- layer
- picture
- syntax element
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 176
- 239000010410 layer Substances 0.000 claims description 111
- 239000011229 interlayer Substances 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 57
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 description 80
- 230000008569 process Effects 0.000 description 45
- 230000006854 communication Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 36
- 238000005192 partition Methods 0.000 description 32
- 238000000638 solvent extraction Methods 0.000 description 27
- 239000013598 vector Substances 0.000 description 26
- 239000000872 buffer Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 241000023320 Luma <angiosperm> Species 0.000 description 15
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 238000003491 array Methods 0.000 description 12
- 239000011449 brick Substances 0.000 description 11
- 238000001914 filtration Methods 0.000 description 11
- 230000007774 longterm Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 241001482237 Pica Species 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 230000007727 signaling mechanism Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101150039623 Clip1 gene Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
関連出願への相互参照
この出願は、2019年9月24日に出願された、出願PCT/CN2019/107594からの優先権を主張する。上述の特許出願の開示は、その全体が参照によりここに組み込まれる。
この出願は、2019年9月24日に出願された、出願PCT/CN2019/107594からの優先権を主張する。上述の特許出願の開示は、その全体が参照によりここに組み込まれる。
本出願(開示)の実施形態は、一般に、ピクチャ処理の分野、より詳細には、レイヤ間予測に関する。
ビデオコーディング(ビデオエンコードおよびビデオデコード)は、広い範囲のデジタルビデオアプリケーション、例えば、放送デジタルTV、インターネットおよびモバイルネットワーク上でのビデオ伝送、ビデオチャットのようなリアルタイム会話型アプリケーション、ビデオ会議、DVDおよびBlu-ray(登録商標)ディスク、ビデオコンテンツ収集および編集システム、およびセキュリティアプリケーションのカムコーダにおいて使用される。
比較的短いビデオでさえ描写するために必要とされるビデオデータの量は、かなりである可能性があり、これは、限定された帯域幅容量を有する通信ネットワークを渡ってデータがストリーミングされ、またはそうでなく伝達されることになるときに、困難をもたらし得る。従って、ビデオデータは、一般に、現代の電気通信ネットワークを渡って伝達される前に圧縮される。メモリリソースが限定され得るので、ビデオが記憶デバイスにおいて記憶されるとき、ビデオのサイズも問題である可能性がある。ビデオ圧縮デバイスは、しばしば、伝送または記憶の前に、ソースにおいてソフトウェアおよび／またはハードウェアを使用してビデオデータをコーディングし、それにより、デジタルビデオ画像を表現するために必要とされるデータの量を減少させる。圧縮されたデータは、次いで、ビデオデータをデコードするビデオ圧縮解除デバイスによって宛先において受信される。限定されたネットワークリソース、およびより高いビデオ品質の増加さえしている需要を有して、ピクチャ品質においてほとんどないし全く犠牲なしで圧縮率を改善する、改善された圧縮および圧縮解除技法が望ましい。
本出願の実施形態は、独立請求項に従ってエンコードおよびデコードするための装置および方法を提供する。
上記および他の目的は、独立請求項の主題によって達成される。さらなる実装形式は、従属請求項、説明、および図から明らかである。
特定の実施形態が、従属請求項における他の実施形態とともに、添付の独立請求項において概説される。
第1の態様によれば、発明は、コーディングされたビデオビットストリームをデコードするための方法に関する。方法は、デコードデバイスによって実行される。方法は、ビットストリームからシーケンスパラメータセット(sequence parameter set(SPS))レベルシンタックス要素を取得するステップであって、SPSレベルシンタックス要素が予め設定された値に等しいことが、ビデオパラメータセット(video parameter set(VPS))がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定する、ステップと、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、1つまたは複数のレイヤ間参照ピクチャ(inter-layer reference picture(ILRP))が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定するレイヤ間有効化シンタックス要素を取得するステップと、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するステップとを含む。
レイヤ間予測では、コーディングされたピクチャおよびコーディングされたピクチャの参照ピクチャは異なるレイヤに属し、異なるレイヤは異なる解像度に対応してよく、低い空間解像度が高い空間解像度の参照として使用されてよい。レイヤ間有効化シンタックス要素は、レイヤ間予測が有効化されるかどうかを指定し、したがって、レイヤ間予測が無効化されることをレイヤ間有効化シンタックス要素が指定するとき、レイヤ間予測に関するシンタックス要素がシグナリングされる必要がなく、したがって、ビットレートが減少されることが可能である。さらに、ビデオパラメータセット(VPS)は複数のレイヤのためであり、VPSがSPSによって参照されないことは、SPSに関するピクチャをデコードするときに複数のレイヤが必要とされないこと、言い換えれば、SPSに関するピクチャをデコードするときに使用される1つのみのレイヤがあることを意味する。1つのみのレイヤがあるとき、レイヤ間予測は実行されることが可能でなく、したがって、VPSがSPSによって参照されないときにレイヤ間有効化シンタックス要素をシグナリングしないことは、ビットレートをさらに減少させる。
ここにおいて、ビットストリームは、1つまたは複数のコーディングされたビデオシーケンス(coded video sequence(CVS))を形成するビットのシーケンスである。
ここにおいて、コーディングされたビデオシーケンス(CVS)は、AUのシーケンスである。
ここにおいて、コーディングされたレイヤビデオシーケンス(coded layer video sequence(CLVS))は、同じ値のnuh_layer_idを有するPUのシーケンスである。
ここにおいて、アクセスユニット(access unit(AU))は、異なるレイヤに属し、かつDPBからの出力について同じ時間に関連付けられたコーディングされたピクチャを含む、PUのセットである。
ここにおいて、ピクチャユニット(picture unit(PU))は、指定された分類規則に従って互いに関連付けられ、デコード順序で連続し、かつ厳密に1つのコーディングされたピクチャを含む、NALユニットのセットである。
ここにおいて、レイヤ間参照ピクチャ(ILRP)は、現在のピクチャのnuh_layer_idよりも小さいnuh_layer_idを有する、現在のピクチャと同じAU内のピクチャである。
ここにおいて、SPSは、0個以上のCLVS全体に適用されるシンタックス要素を含むシンタックス構造である。
第1の態様それ自体による方法の可能な一実装形式では、VPSは、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、SPSは、SPSレベルシンタックス要素およびレイヤ間有効化シンタックス要素を備え、CVSは、1つまたは複数のILRPおよび1つまたは複数のコーディングされたピクチャを備える。
ここにおいて、VPSがSPSによって参照されるとき、VPSは、1つまたは複数のILRPおよび1つまたは複数のコーディングされたピクチャが属するレイヤのレイヤ間予測情報を記述するシンタックス要素を備える。
第1の態様の先行する任意の実装または第1の態様それ自体による方法の可能な一実装形式では、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するステップは、1つまたは複数のレイヤ間参照ピクチャ(ILRP)を指定するレイヤ間有効化シンタックス要素の値が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるとき、1つまたは複数のILRPを参照することによって1つまたは複数のコーディングされたピクチャを予測するステップを備え、1つまたは複数のILRPは、SPSによって参照されるVPSに含まれるレイヤ間予測情報に基づいて取得される。
第1の態様の先行する任意の実装または第1の態様それ自体による方法の可能な一実装形式では、コーディングされたピクチャおよびコーディングされたピクチャのILRPは、異なるレイヤに属する。
第1の態様の先行する任意の実装または第1の態様それ自体による方法の可能な一実装形式では、予め設定された値に等しいSPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する。
第1の態様の先行する任意の実装または第1の態様それ自体による方法の可能な一実装形式では、予め設定された値は0である。
第1の態様の先行する任意の実装または第1の態様それ自体による方法の可能な一実装形式では、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するステップは、レイヤ間有効化シンタックス要素の値が、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定する場合には、いかなるILRPも参照することなく1つまたは複数のコーディングされたピクチャを予測するステップを備える。
第2の態様によれば、発明は、コーディングされたビデオビットストリームをエンコードするための方法に関する。方法は、エンコードデバイスによって実行される。方法は、シーケンスパラメータセット(SPS)レベルシンタックス要素をビットストリームにエンコードするステップであって、予め設定された値に等しいSPSレベルシンタックス要素が、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定する、ステップと、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、レイヤ間有効化シンタックス要素をビットストリームにエンコードするステップであって、レイヤ間有効化シンタックス要素が、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定する、ステップとを備える。
第2の態様それ自体による方法の可能な一実装形式では、VPSは、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、SPSは、SPSレベルシンタックス要素およびレイヤ間有効化シンタックス要素を備え、CVSは、1つまたは複数のILRPおよび1つまたは複数のコーディングされたピクチャを備える。
第2の態様の先行する任意の実装または第2の態様それ自体による方法の可能な一実装形式では、コーディングされたピクチャおよびコーディングされたピクチャのILRPは、異なるレイヤに属する。
第2の態様の先行する任意の実装または第2の態様それ自体による方法の可能な一実装形式では、予め設定された値に等しいSPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する。
第2の態様の先行する任意の実装または第2の態様それ自体による方法の可能な一実装形式では、予め設定された値は0である。
第2の態様の先行する任意の実装または第2の態様それ自体による方法の可能な一実装形式では、レイヤ間有効化シンタックス要素をビットストリームにエンコードするステップは、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを決定することに基づいて、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを指定するレイヤ間有効化シンタックス要素をビットストリームにエンコードするステップを備える。
第2の態様の先行する任意の実装または第2の態様それ自体による方法の可能な一実装形式では、レイヤ間有効化シンタックス要素をビットストリームにエンコードするステップは、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを決定することに基づいて、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定するレイヤ間有効化シンタックス要素をビットストリームにエンコードするステップを備える。
第3の態様によれば、発明は、コーディングされたビデオビットストリームをデコードするためのデコーダに関する。デコーダは、ビットストリームからシーケンスパラメータセット(SPS)レベルシンタックス要素を取得するように構成された取得ユニットであって、SPSレベルシンタックス要素が予め設定された値に等しいことが、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定し、取得ユニットが、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定するレイヤ間有効化シンタックス要素を取得するようにさらに構成された、取得ユニットと、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するように構成された予測ユニットとを備える。
第3の態様それ自体による方法の可能な一実装形式では、VPSは、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、SPSは、SPSレベルシンタックス要素およびレイヤ間有効化シンタックス要素を備え、CVSは、1つまたは複数のILRPおよび1つまたは複数のコーディングされたピクチャを備える。
第3の態様の先行する任意の実装または第3の態様それ自体による方法の可能な一実装形式では、予測ユニットは、1つまたは複数のレイヤ間参照ピクチャ(ILRP)を指定するレイヤ間有効化シンタックス要素の値が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるとき、1つまたは複数のILRPを参照することによって1つまたは複数のコーディングされたピクチャを予測するように構成され、1つまたは複数のILRPは、SPSによって参照されるVPSに含まれるレイヤ間予測情報に基づいて取得される。
第3の態様の先行する任意の実装または第3の態様それ自体による方法の可能な一実装形式では、コーディングされたピクチャおよびコーディングされたピクチャのILRPは、異なるレイヤに属する。
第3の態様の先行する任意の実装または第3の態様それ自体による方法の可能な一実装形式では、予め設定された値に等しいSPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する。
第3の態様の先行する任意の実装または第3の態様それ自体による方法の可能な一実装形式では、予め設定された値は0である。
第3の態様の先行する任意の実装または第3の態様それ自体による方法の可能な一実装形式では、予測ユニットは、レイヤ間有効化シンタックス要素の値が、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定する場合には、いかなるILRPも参照することなく1つまたは複数のコーディングされたピクチャを予測するように構成される。
第4の態様によれば、発明は、コーディングされたビデオビットストリームをエンコードするためのエンコーダに関する。エンコーダは、シーケンスパラメータセット(SPS)レベルシンタックス要素をビットストリームにエンコードするように構成された第1のエンコードユニットであって、予め設定された値に等しいSPSレベルシンタックス要素が、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定する、第1のエンコードユニットと、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、レイヤ間有効化シンタックス要素をビットストリームにエンコードするように構成された第2のエンコードユニットであって、レイヤ間有効化シンタックス要素が、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定する、第2のエンコードユニットとを備える
第4の態様それ自体による方法の可能な一実装形式では、エンコーダは、SPSレベルシンタックス要素が予め設定された値よりも大きいかどうかを決定するように構成された決定ユニットをさらに備える。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、VPSは、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、SPSは、SPSレベルシンタックス要素およびレイヤ間有効化シンタックス要素を備え、CVSは、1つまたは複数のILRPおよび1つまたは複数のコーディングされたピクチャを備える。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、コーディングされたピクチャおよびコーディングされたピクチャのILRPは、異なるレイヤに属する。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、予め設定された値に等しいSPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、予め設定された値は0である。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、第2のエンコードユニットは、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを決定することに基づいて、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを指定するレイヤ間有効化シンタックス要素をビットストリームにエンコードするように構成される。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、第2のエンコードユニットは、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを決定することに基づいて、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定するレイヤ間有効化シンタックス要素をビットストリームにエンコードするように構成される。
第4の態様の先行する任意の実装または第4の態様それ自体による方法の可能な一実装形式では、エンコーダは、1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを決定するように構成された決定ユニットをさらに備える。
発明の第1の態様による方法は、発明の第3の態様による装置によって実行されることが可能である。発明の第3の態様による方法のさらなる特徴および実装形式は、発明の第1の態様による装置の特徴および実装形式に対応する。
発明の第2の態様による方法は、発明の第4の態様による装置によって実行されることが可能である。発明の第4の態様による方法のさらなる特徴および実装形式は、発明の第2の態様による装置の特徴および実装形式に対応する。
第2の態様による方法は、第1の態様による第1の装置の実装形式に対応する実装形式に拡張されることが可能である。したがって、方法の実装形式は、第1の装置の対応する実装形式の特徴を備える。
第2の態様による方法の利点は、第1の態様による第1の装置の対応する実装形式についての利点と同じである。
第5の態様によれば、発明は、プロセッサおよびメモリを含む、ビデオストリームをデコードするための装置に関する。メモリは、第1の態様による方法をプロセッサに実行させる命令を記憶している。
第6の態様によれば、発明は、プロセッサおよびメモリを含む、ビデオストリームをエンコードするための装置に関する。メモリは、第2の態様による方法をプロセッサに実行させる命令を記憶している。
第7の態様によれば、実行されたとき、ビデオデータをコーディングするように1つまたは複数のプロセッサを構成させる命令を記憶した、コンピュータ可読記憶媒体が提案される。命令は、第1または第2の態様または第1または第2の態様の任意の可能な実施形態による方法を1つまたは複数のプロセッサに実行させる。
第8の態様によれば、発明は、コンピュータにおいて実行されたとき、第1または第2の態様または第1または第2の態様の任意の可能な実施形態による方法を実行するためのプログラムコードを備えるコンピュータプログラムに関する。
第9の態様によれば、発明は、画像デコードデバイスによってデコードされるエンコードされたビットストリームを含む非一時的記憶媒体に関し、ビットストリームは、ビデオ信号のフレームまたは画像信号を複数のブロックに分割することによって生成され、複数のシンタックス要素を含み、SPSレベルシンタックス要素が予め設定された値よりも大きいという条件において1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかをレイヤ間有効化シンタックス要素が指定することを、複数のシンタックス要素が備え、予め設定された値に等しいSPSレベルシンタックス要素は、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素は、SPSがVPSを参照することを指定する。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明において記載される。他の特徴、目的、および利点は、説明、図面、および請求項から明らかになるであろう。
さらに、以下の実施形態が提供される。
一実施形態では、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は、
インデックスiを有するレイヤがレイヤ間予測を使用するかどうかを指定する第1のシンタックス要素を構文解析するステップであって、iが整数であり、iが0よりも大きい、ステップと、
第1の条件が満たされるとき、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであるかどうかを指定する第2のシンタックス要素を構文解析するステップであって、jが整数であり、jがiよりも小さく0以上であり、第1の条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることを第1のシンタックス要素が指定することを含み、iが予め設定された値(たとえば、1)よりも大きいステップと、
第2のシンタックス要素の値に基づいて、インデックスiを有するレイヤのピクチャを予測するステップとを備える。
インデックスiを有するレイヤがレイヤ間予測を使用するかどうかを指定する第1のシンタックス要素を構文解析するステップであって、iが整数であり、iが0よりも大きい、ステップと、
第1の条件が満たされるとき、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであるかどうかを指定する第2のシンタックス要素を構文解析するステップであって、jが整数であり、jがiよりも小さく0以上であり、第1の条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることを第1のシンタックス要素が指定することを含み、iが予め設定された値(たとえば、1)よりも大きいステップと、
第2のシンタックス要素の値に基づいて、インデックスiを有するレイヤのピクチャを予測するステップとを備える。
一実施形態では、方法は、
第2の条件が満たされるとき、インデックスiを有するレイヤのための直接参照レイヤとしてインデックスjを有するレイヤを使用して、インデックスiを有するレイヤのピクチャを予測するステップであって、jは整数であり、jはiよりも小さく0以上であり、第2の条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることをシンタックス要素が指定することを含み、iは予め設定された値に等しい、ステップをさらに備える。
第2の条件が満たされるとき、インデックスiを有するレイヤのための直接参照レイヤとしてインデックスjを有するレイヤを使用して、インデックスiを有するレイヤのピクチャを予測するステップであって、jは整数であり、jはiよりも小さく0以上であり、第2の条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることをシンタックス要素が指定することを含み、iは予め設定された値に等しい、ステップをさらに備える。
一実施形態では、方法は、
第2の条件が満たされるとき、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであることを第2のシンタックス要素の値が指定することを決定するステップをさらに備える。
第2の条件が満たされるとき、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであることを第2のシンタックス要素の値が指定することを決定するステップをさらに備える。
一実施形態では、インデックスiを有するレイヤのピクチャは、インデックスiを有するレイヤ内のピクチャ、またはインデックスiを有するレイヤに関するピクチャを備える。
一実施形態では、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は、
インデックスiを有するレイヤがレイヤ間予測を使用するかどうかを指定するシンタックス要素を構文解析するステップであって、iが整数であり、iが0よりも大きい、ステップと、
条件が満たされるとき、インデックスiを有するレイヤのための直接参照レイヤとしてインデックスjを有するレイヤを使用して、インデックスiを有するレイヤのピクチャを予測するステップであって、jが整数であり、jがi-1に等しく、条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることをシンタックス要素が指定することを含む、ステップと、を備える。
インデックスiを有するレイヤがレイヤ間予測を使用するかどうかを指定するシンタックス要素を構文解析するステップであって、iが整数であり、iが0よりも大きい、ステップと、
条件が満たされるとき、インデックスiを有するレイヤのための直接参照レイヤとしてインデックスjを有するレイヤを使用して、インデックスiを有するレイヤのピクチャを予測するステップであって、jが整数であり、jがi-1に等しく、条件は、インデックスiを有するレイヤがレイヤ間予測を使用し得ることをシンタックス要素が指定することを含む、ステップと、を備える。
一実施形態では、インデックスiを有するレイヤのピクチャは、インデックスiを有するレイヤ内のピクチャ、またはインデックスiを有するレイヤに関するピクチャを備える。
一実施形態では、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は、
少なくとも1つの長期的参照ピクチャ(long-term reference picture(LTRP))がコーディングされたビデオシーケンス(CVS)内の任意のコーディングされたピクチャのインター予測のために使用されるかどうかを指定するシンタックス要素を構文解析するステップであって、少なくとも1つのLTRPの各ピクチャが、レイヤ間参照ピクチャ(ILRP)ではなく「長期的参照のために使用される」としてマークされる、ステップと、
シンタックス要素の値に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
少なくとも1つの長期的参照ピクチャ(long-term reference picture(LTRP))がコーディングされたビデオシーケンス(CVS)内の任意のコーディングされたピクチャのインター予測のために使用されるかどうかを指定するシンタックス要素を構文解析するステップであって、少なくとも1つのLTRPの各ピクチャが、レイヤ間参照ピクチャ(ILRP)ではなく「長期的参照のために使用される」としてマークされる、ステップと、
シンタックス要素の値に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
一実施形態では、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は、
条件が満たされるかどうかを決定するステップであって、条件は、現在のレイヤのレイヤインデックスが予め設定された値よりも大きいことを含む、ステップと、
条件が満たされるとき、少なくとも1つのレイヤ間参照ピクチャ(ILRP)がコーディングされたビデオシーケンス(CVS)内の任意のコーディングされたピクチャのインター予測のために使用されるかどうかを指定する第1のシンタックス要素を構文解析するステップと、
第1のシンタックス要素の値に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
条件が満たされるかどうかを決定するステップであって、条件は、現在のレイヤのレイヤインデックスが予め設定された値よりも大きいことを含む、ステップと、
条件が満たされるとき、少なくとも1つのレイヤ間参照ピクチャ(ILRP)がコーディングされたビデオシーケンス(CVS)内の任意のコーディングされたピクチャのインター予測のために使用されるかどうかを指定する第1のシンタックス要素を構文解析するステップと、
第1のシンタックス要素の値に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
一実施形態では、予め設定された値は0である。
一実施形態では、条件は、第2のシンタックス要素(たとえば、sps_video_parameter_set_id)が0よりも大きいことをさらに含む。
一実施形態では、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は、
条件が満たされるかどうかを決定するステップであって、条件は、現在のレイヤのレイヤインデックスが予め設定された値よりも大きく、かつ参照ピクチャリスト構造の中の現在のエントリがILRPエントリであることを含む、ステップと、
条件が満たされるとき、現在のレイヤの直接依存するレイヤのリストへのインデックスを指定するシンタックス要素を構文解析するステップと、
その現在のエントリであるILRPが、直接依存するレイヤのリストへのインデックスを使用して取得される、参照ピクチャリスト構造に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
条件が満たされるかどうかを決定するステップであって、条件は、現在のレイヤのレイヤインデックスが予め設定された値よりも大きく、かつ参照ピクチャリスト構造の中の現在のエントリがILRPエントリであることを含む、ステップと、
条件が満たされるとき、現在のレイヤの直接依存するレイヤのリストへのインデックスを指定するシンタックス要素を構文解析するステップと、
その現在のエントリであるILRPが、直接依存するレイヤのリストへのインデックスを使用して取得される、参照ピクチャリスト構造に基づいてCVS内の1つまたは複数のコーディングされたピクチャを予測するステップと、を備える。
一実施形態では、予め設定された値は1である。
一実施形態では、先行する実施形態のうちのいずれか1つによる方法を実行するための処理回路を備えるエンコーダ(20)が提供される。
一実施形態では、先行する実施形態のうちのいずれか1つによる方法を実行するための処理回路を備えるデコーダ(30)が提供される。
一実施形態では、コンピュータまたはプロセッサにおいて実行されたとき、先行する実施形態のうちのいずれか1つによる方法を実行するためのプログラムコードを備える、コンピュータプログラム製品が提供される。
一実施形態では、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサによって実行されたとき、先行する実施形態のうちのいずれか1つによる方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体と、を備えるデコーダが提供される。
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサによって実行されたとき、先行する実施形態のうちのいずれか1つによる方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体と、を備えるデコーダが提供される。
一実施形態では、
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサによって実行されたとき、先行する実施形態のうちのいずれか1つによる方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読記憶媒体と、を備えるエンコーダが提供される。
1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体であって、プログラミングは、プロセッサによって実行されたとき、先行する実施形態のうちのいずれか1つによる方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読記憶媒体と、を備えるエンコーダが提供される。
一実施形態では、コンピュータデバイスによって実行されたとき、先行する実施形態のうちのいずれか1つの方法をコンピュータデバイスに実行させるプログラムコードを担持する、非一時的コンピュータ可読媒体が提供される。
以下では、発明の実施形態が、添付の図および図面を参照して、より詳細に説明される。
以下では、同一の参照符号は、明示的に他に指定されないならば、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明では、開示の部分を形成し、発明の実施形態の特定の態様または本発明の実施形態が使用され得る特定の態様を例示として表す、添付の図への参照が行われる。発明の実施形態が、他の態様において使用され、図の中に描写されていない構造的または論理的な変更を備え得ることが理解される。従って、以下の詳細な説明は限定する意味で受け取られるべきでなく、本発明の範囲は添付の請求項によって定義される。
例えば、説明される方法に関する開示が、その方法を実行するように構成された対応するデバイスまたはシステムについても当てはまり得るとともに逆も同様であることが理解される。例えば、1つまたは複数の特定の方法のステップが説明されるならば、そのような1つまたは複数のユニットが明示的に説明されない、または図の中に例示されないとしても、対応するデバイスは、説明される1つまたは複数の方法のステップを実行するための1つまたは複数のユニット、例えば、機能ユニット(例えば、1つまたは複数のステップを実行する1つのユニット、または複数のステップのうちの1つまたは複数を各々が実行する複数のユニット)を含んでよい。一方、例えば、1つまたは複数のユニット、例えば、機能ユニットに基づいて、特定の装置が説明されるならば、そのような1つまたは複数のステップが明示的に説明されない、または図の中に例示されないとしても、対応する方法は、1つまたは複数のユニットの機能を実行するための1つのステップ(例えば、1つまたは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つまたは複数の機能を各々が実行する複数のステップ)を含んでよい。さらに、特に他に注記されないならば、ここで説明される様々な例示的な実施形態および／または態様の特徴が互いに組み合わせられてよいことが理解される。
ビデオコーディングは、典型的に、ビデオまたはビデオシーケンスを形成する、ピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、ビデオコーディングの分野では用語「フレーム」または「画像」が同義語として使用され得る。ビデオコーディング(または、一般にコーディング)は、2つの部分、ビデオエンコードおよびビデオデコードを備える。ビデオエンコードは、ソース側において実行され、典型的に、ビデオピクチャを表現するために要求されるデータの量を(より効率的な記憶および／または伝送のために)減少させるために、(例えば、圧縮によって)元のビデオピクチャを処理することを備える。ビデオデコードは、宛先側において実行され、典型的に、ビデオピクチャを再構成するための、エンコーダと比較して逆の処理を備える。ビデオピクチャ(または、一般にピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「エンコード」または「デコード」に関すると理解されるものとする。エンコード部分とデコード部分の組み合わせは、CODEC(Coding and Decoding(コーディングおよびデコード))とも呼ばれる。
損失のないビデオコーディングの場合には、元のビデオピクチャは再構成されることが可能であり、すなわち、(記憶または伝送の間に伝送損失または他のデータ損失がないと仮定すると)再構成されたビデオピクチャは元のビデオピクチャと同じ品質を有する。損失のあるビデオコーディングの場合には、ビデオピクチャを表現するデータの量を減少させるために、例えば、量子化によって、さらなる圧縮が実行され、ビデオピクチャは、デコーダにおいて完全に再構成されることが可能でなく、すなわち、再構成されたビデオピクチャの品質は元のビデオピクチャの品質と比較して、より低い、またはより悪い。
いくつかのビデオコーディング規格は、「損失のあるハイブリッドビデオコーデック」のグループに属する(すなわち、サンプル領域における空間および時間予測と、変換領域において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、典型的に、重複しないブロックのセットに区分され、コーディングは、典型的に、ブロックレベルにおいて実行される。言い換えれば、エンコーダにおいて、ビデオは、典型的に、例えば、空間(イントラピクチャ)予測および／または時間(インターピクチャ)予測を使用して予測ブロックを生成し、現在のブロック(現在処理されている／処理されるべきブロック)から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して伝送されるべきデータの量を減少させること(圧縮)によって、ブロック(ビデオブロック)レベルにおいて処理され、すなわちエンコードされ、一方、デコーダにおいて、エンコーダと比較して逆の処理が、エンコードされ、または圧縮されたブロックに適用されて表現のために現在のブロックを再構成する。さらに、エンコーダは、続くブロックを処理する、すなわちコーディングするために、両方が同一の予測(例えば、イントラおよびインター予測)および／または再構成を生成するように、デコーダ処理ループを二重化する。
以下では、ビデオコーディングシステム10、ビデオエンコーダ20、およびビデオデコーダ30の実施形態が、図1から図3に基づいて説明される。
図1Aは、この本出願の技法を利用し得る例示のコーディングシステム10、例えば、ビデオコーディングシステム10(または短縮してコーディングシステム10)を例示する概略ブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短縮してエンコーダ20)およびビデオデコーダ30(または短縮してデコーダ30)は、本出願において説明される様々な例による技法を実行するように構成され得るデバイスの例を表現する。
図1Aに表されたように、コーディングシステム10は、例えば、エンコードされたピクチャデータ13をデコードするための宛先デバイス14に、エンコードされたピクチャデータ21を提供するように構成されたソースデバイス12を備える。
ソースデバイス12は、エンコーダ20を備え、加えて、すなわちオプションで、ピクチャソース16、プリプロセッサ(または、前処理ユニット)18、例えば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を備えてよい。
ピクチャソース16は、任意の種類のピクチャキャプチャデバイス、例えば、実世界ピクチャをキャプチャするためのカメラ、および／または任意の種類のピクチャ生成デバイス、例えば、コンピュータアニメーション化されたピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界ピクチャ、コンピュータ生成されたピクチャ(例えば、スクリーンコンテンツ、仮想現実(virtual reality(VR))ピクチャ)、および／またはそれらの任意の組み合わせ(例えば、拡張現実(augmented reality(AR))ピクチャ)を取得および／または提供するための任意の種類の他のデバイスを備え、またはそれらであってよい。ピクチャソースは、上述のピクチャのうちのいずれかを記憶する任意の種類のメモリまたは記憶装置であってよい。
プリプロセッサ18、および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、未処理ピクチャまたは未処理ピクチャデータ17とも呼ばれ得る。
プリプロセッサ18は、(未処理)ピクチャデータ17を受信し、ピクチャデータ17において前処理を実行して、前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、例えば、トリミング、(例えば、RGBからYCbCrへの)カラーフォーマット変換、色補正、またはノイズ除去を備えてよい。前処理ユニット18がオプションの構成要素であり得ることが理解されることが可能である。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受信し、エンコードされたピクチャデータ21を提供するように構成される(さらなる詳細が、例えば、図2に基づいて、以下で説明されるであろう)。
ソースデバイス12の通信インターフェース22は、エンコードされたピクチャデータ21を受信し、記憶または直接の再構成のために、通信チャネル13上で別のデバイス、例えば、宛先デバイス14または任意の他のデバイスへ、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を伝送するように構成され得る。
宛先デバイス14は、デコーダ30(例えば、ビデオデコーダ30)を備え、加えて、すなわちオプションで、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または、後処理ユニット32)、およびディスプレイデバイス34を備えてよい。
宛先デバイス14の通信インターフェース28は、例えば、ソースデバイス12から直接に、または任意の他のソース、例えば、記憶デバイス、例えば、エンコードされたピクチャデータ記憶デバイスから、エンコードされたピクチャデータ21(または、それらのさらに処理された任意のバージョン)を受信し、エンコードされたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、ソースデバイス12と宛先デバイス14の間の直接の通信リンク、例えば、直接の有線または無線接続を介して、または任意の種類のネットワーク、例えば、有線または無線ネットワークまたはそれらの任意の組み合わせ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組み合わせを介して、エンコードされたピクチャデータ21またはエンコードされたデータ13を伝送または受信するように構成され得る。
通信インターフェース22は、例えば、適切なフォーマット、例えば、パケットの中に、エンコードされたピクチャデータ21をパッケージ化し、かつ／または通信リンクまたは通信ネットワーク上での伝送のために任意の種類の伝送エンコードまたは処理を使用してエンコードされたピクチャデータを処理するように構成され得る。
通信インターフェース22の相手側を形成する通信インターフェース28は、例えば、伝送されたデータを受信し、任意の種類の対応する伝送デコードまたは処理および／またはパッケージ除去を使用して伝送データを処理してエンコードされたピクチャデータ21を取得するように構成され得る。
通信インターフェース22と通信インターフェース28の両方が、ソースデバイス12から宛先デバイス14を指し示す、図1Aの中の通信チャネル13についての矢印によって示されるような単方向の通信インターフェース、または双方向の通信インターフェースとして構成されてよく、例えば、通信リンクおよび／またはデータ伝送、例えば、エンコードされたピクチャデータ伝送に関する、任意の他の情報を肯定応答および交換するために、例えば、接続をセットアップするために、メッセージを送信し、受信するように構成されてよい。
デコーダ30は、エンコードされたピクチャデータ21を受信し、デコードされたピクチャデータ31またはデコードされたピクチャ31を提供するように構成される(さらなる詳細は、例えば、図3または図5に基づいて、以下で説明されるであろう)。
宛先デバイス14のポストプロセッサ32は、デコードされたピクチャデータ31(再構成されたピクチャデータとも呼ばれる)、例えば、デコードされたピクチャ31を後処理して、後処理されたピクチャデータ33、例えば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、例えば、ディスプレイデバイス34による、例えば、表示のためにデコードされたピクチャデータ31を準備するための、例えば、(例えば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、または再サンプリング、または任意の他の処理を備えてよい。
宛先デバイス14のディスプレイデバイス34は、例えば、ユーザまたは閲覧者に、ピクチャを表示するための後処理されたピクチャデータ33を受信するように構成される。ディスプレイデバイス34は、再構成されたピクチャを表現するための任意の種類のディスプレイ、例えば、統合型または外部のディスプレイまたはモニタであってよく、またはそれを備えてよい。ディスプレイは、例えば、液晶ディスプレイ(liquid crystal display(LCD))、有機発光ダイオード(organic light emitting diode(OLED))ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(liquid crystal on silicon(LCoS))、デジタル光プロセッサ(digital light processor(DLP))、または任意の種類の他のディスプレイを備えてよい。
図1Aはソースデバイス12および宛先デバイス14を別個のデバイスとして描写するが、デバイスの実施形態はまた、ソースデバイス12または対応する機能と、宛先デバイス14または対応する機能の、両方または両方の機能を備えてよい。そのような実施形態では、ソースデバイス12または対応する機能、および宛先デバイス14または対応する機能は、同じハードウェアおよび／またはソフトウェアを使用して、または別個のハードウェアおよび／またはソフトウェアまたはそれらの任意の組み合わせによって、実現され得る。
説明に基づいて当業者に対して明らかになることになるように、異なるユニットの機能または図1Aに表されたようなソースデバイス12および／または宛先デバイス14内の機能の存在および(正確な)分割は、実際のデバイスおよび適用に依存して変わり得る。
エンコーダ20(例えば、ビデオエンコーダ20)またはデコーダ30(例えば、ビデオデコーダ30)、またはエンコーダ20とデコーダ30の両方は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(digital signal processor(DSP))、特定用途向け集積回路(application-specific integrated circuit(ASIC))、フィールドプログラマブルゲートアレイ(field-programmable gate array(FPGA))、個別論理、ハードウェア、専用のビデオコーディング、またはそれらの任意の組み合わせのような、図1Bに表されたような処理回路を介して実現され得る。エンコーダ20は、図2のエンコーダ20に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のエンコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。デコーダ30は、図3のデコーダ30に関して論じられるような様々なモジュールおよび／またはここで説明される任意の他のデコーダシステムまたはサブシステムを具現するために、処理回路46を介して実現され得る。処理回路は、後で論じられるような様々な演算を実行するように構成され得る。図5に表されたように、技法が部分的にソフトウェアで実現されるならば、デバイスは、ソフトウェアのための命令を、適した非一時的コンピュータ可読記憶媒体に記憶してよく、この開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行してよい。ビデオエンコーダ20およびビデオデコーダ30のいずれかは、例えば、図1Bに表されたように、組み合わせられたエンコーダ／デコーダ(CODEC)の部分として単一のデバイス内に統合され得る。
ソースデバイス12および宛先デバイス14は、任意の種類のハンドヘルドまたは固定のデバイス、例えば、ノートブックまたはラップトップコンピュータ、モバイルフォン、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバのような)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイス、または同様のものを含む、広い範囲のデバイスのうちのいずれかを備えてよく、オペレーティングシステムを使用しなくてよく、または任意の種類のオペレーティングシステムを使用してよい。いくつかの場合、ソースデバイス12および宛先デバイス14は無線通信のために装備されてよい。従って、ソースデバイス12および宛先デバイス14は無線通信デバイスであってよい。
いくつかの場合、図1Aに例示されたビデオコーディングシステム10は単に一例であり、本出願の技法は、エンコードおよびデコードデバイスの間の任意のデータ通信を必ずしも含まず、ビデオコーディング設定(例えば、ビデオエンコードまたはビデオデコード)に適用されてよい。他の例では、データは、ローカルメモリから取り出され、ネットワーク上でストリーミングされ、または同様である。ビデオエンコードデバイスは、データをエンコードしてメモリに記憶してよく、かつ／またはビデオデコードデバイスは、データをメモリから取り出してデコードしてよい。いくつかの例では、互いに通信しないが、単にデータをメモリにエンコードし、かつ／またはデータをメモリから取り出してデコードするデバイスによって、エンコードおよびデコードが実行される。
説明の便宜のため、例えば、高効率ビデオコーディング(High-Efficiency Video Coding(HEVC))への、またはITU-Tビデオコーディングエキスパートグループ(Video Coding Experts Group(VCEG))とISO/IECモーション・ピクチャ・エキスパート・グループ(Motion Picture Experts Group(MPEG))のビデオコーディング共同研究部会(Joint Collaboration Team on Video Coding(JCT-VC))によって開発された次世代ビデオコーディング規格である、多用途ビデオコーディング(Versatile Video Coding(VVC))の参照ソフトウェアへの参照によって、発明の実施形態がここで説明される。発明の実施形態がHEVCまたはVVCに限定されないことを、この技術分野の当業者は理解するであろう。
エンコーダおよびエンコード方法
図2は、本出願の技法を実現するように構成される例示のビデオエンコーダ20の概略ブロック図を表す。図2の例では、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212、再構成ユニット214、ループフィルタユニット220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、モード選択ユニット260、エントロピーエンコードユニット270、および出力272(または出力インターフェース272)を備える。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分ユニット262を含んでよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(表されていない)を含んでよい。図2に表されたようなビデオエンコーダ20は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれ得る。
図2は、本出願の技法を実現するように構成される例示のビデオエンコーダ20の概略ブロック図を表す。図2の例では、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212、再構成ユニット214、ループフィルタユニット220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、モード選択ユニット260、エントロピーエンコードユニット270、および出力272(または出力インターフェース272)を備える。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分ユニット262を含んでよい。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(表されていない)を含んでよい。図2に表されたようなビデオエンコーダ20は、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれ得る。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとして言及されてよく、一方、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、バッファ216、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとして言及されてよく、ビデオエンコーダ20の逆方向信号経路はデコーダの信号経路に対応する(図3の中のビデオデコーダ30を見られたい)。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(decoded picture buffer(DPB))230、インター予測ユニット244、およびイントラ予測ユニット254はまた、ビデオエンコーダ20の「ビルトインデコーダ」を形成することが言及される。
ピクチャおよびピクチャ区分(ピクチャおよびブロック)
エンコーダ20は、ピクチャ17(またはピクチャデータ17)、例えば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを、例えば、入力201を介して受信するように構成され得る。受信されるピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってよい。簡潔さの目的のために、以下の説明はピクチャ17に言及する。ピクチャ17は、現在のピクチャ、または(同じビデオシーケンス、すなわち、やはり現在のピクチャを備えるビデオシーケンスの他のピクチャ、例えば、前にエンコードされ、かつ／またはデコードされたピクチャから現在のピクチャを区別するために、特にビデオコーディングにおいて)コーディングされるべきピクチャとも呼ばれ得る。
エンコーダ20は、ピクチャ17(またはピクチャデータ17)、例えば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを、例えば、入力201を介して受信するように構成され得る。受信されるピクチャまたはピクチャデータはまた、前処理されたピクチャ19(または前処理されたピクチャデータ19)であってよい。簡潔さの目的のために、以下の説明はピクチャ17に言及する。ピクチャ17は、現在のピクチャ、または(同じビデオシーケンス、すなわち、やはり現在のピクチャを備えるビデオシーケンスの他のピクチャ、例えば、前にエンコードされ、かつ／またはデコードされたピクチャから現在のピクチャを区別するために、特にビデオコーディングにおいて)コーディングされるべきピクチャとも呼ばれ得る。
(デジタル)ピクチャは、強度値を有するサンプルの2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。アレイ内のサンプルは、ピクセル(ピクチャ要素の短い形式)またはペルとも呼ばれ得る。アレイまたはピクチャの水平および垂直方向(または軸)におけるサンプルの数は、ピクチャのサイズおよび／または解像度を定義する。色の表現のために、典型的に、3つの色成分が採用され、すなわち、ピクチャは、3つのサンプルアレイが表現され、またはそれらを含んでよい。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプルアレイを備える。しかし、ビデオコーディングでは、各ピクセルは、典型的に、ルミナンスおよびクロミナンスのフォーマットまたは色空間、例えば、YCbCrで表現され、YCbCrは、Y(時々、代わりにLも使用される)によって示されるルミナンス成分、およびCbおよびCrによって示される2つのクロミナンス成分を備える。ルミナンス(または短縮してルーマ)成分Yは、輝度または(例えば、グレースケールピクチャにおけるような)グレーレベル強度を表現し、一方、2つのクロミナンス(または短縮してクロマ)成分CbおよびCrは、色度または色情報成分を表現する。従って、YCbCrフォーマットでのピクチャは、ルミナンスサンプル値(Y)のルミナンスサンプルアレイ、およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプルアレイを備える。RGBフォーマットでのピクチャは、YCbCrフォーマットにコンバートされ、または変換されてよく、逆も同様であり、プロセスは色変換またはコンバートとしても知られる。ピクチャがモノクロであるならば、ピクチャはルミナンスサンプルアレイのみを備えてよい。従って、ピクチャは、例えば、モノクロフォーマットでのルーマサンプルのアレイ、または4:2:0、4:2:2、および4:4:4カラーフォーマットでの、ルーマサンプルのアレイおよびクロマサンプルの2つの対応するアレイであってよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(典型的に重複しない)ピクチャブロック203に区分するように構成されたピクチャ区分ユニット(図2に描写されない)を備えてよい。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(coding tree block(CTB))またはコーディングツリーユニット(coding tree unit(CTU))(H.265/HEVCおよびVVC)とも呼ばれ得る。ピクチャ区分ユニットは、ビデオシーケンスの全てのピクチャについて同じブロックサイズ、およびブロックサイズを定義する対応するグリッドを使用し、またはピクチャまたはピクチャの部分集合またはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分するように構成され得る。
さらなる実施形態では、ビデオエンコーダは、ピクチャ17のブロック203、例えば、ピクチャ17を形成する1つの、いくつかの、または全てのブロックを、直接に受信するように構成され得る。ピクチャブロック203は、現在のピクチャブロック、またはコーディングされるべきピクチャブロックとも呼ばれ得る。
ピクチャ17のように、ピクチャブロック203は再び、強度値(サンプル値)を有するサンプルの、しかしピクチャ17よりも小さい寸法の、2次元のアレイまたは行列であるか、またはそのように見なされることが可能である。言い換えれば、ブロック203は、例えば、1つのサンプルアレイ(例えば、モノクロピクチャ17の場合にはルーマアレイ、またはカラーピクチャの場合にはルーマまたはクロマアレイ)、または3つのサンプルアレイ(例えば、カラーピクチャ17の場合にはルーマおよび2つのクロマアレイ)、または適用されるカラーフォーマットに依存して任意の他の数および／または種類のアレイを備えてよい。ブロック203の水平および垂直方向(または軸)におけるサンプルの数は、ブロック203のサイズを定義する。従って、ブロックは、例えば、サンプルのM×N(M列×N行)アレイ、または変換係数のM×Nアレイであってよい。
図2に表されたようなビデオエンコーダ20の実施形態は、ピクチャ17をブロックごとにエンコードするように構成されてよく、例えば、エンコードおよび予測がブロック203ごとに実行される。
図2に表されたようなビデオエンコーダ20の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分および／またはエンコードするようにさらに構成されてよく、ピクチャは、(典型的に重複しない)1つまたは複数のスライスに区分され、またはそのスライスを使用してエンコードされてよく、各スライスは、1つまたは複数のブロック(例えば、CTU)、またはブロックの1つまたは複数のグループ(たとえば、タイル(H.265/HEVCおよびVVC)またはブリック(VVC))を備えてよい。
図2に表されたようなビデオエンコーダ20の実施形態は、スライス／タイルグループ(ビデオタイルグループとも呼ばれる)および／またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分し、かつ／またはエンコードするようにさらに構成されてよく、ピクチャは、(典型的に重複しない)1つまたは複数のスライス／タイルグループに区分され、またはそのタイルグループを使用してエンコードされてよく、各スライス／タイルグループは、例えば、1つまたは複数のブロック(例えば、CTU)または1つまたは複数のタイルを備えてよく、各タイルは、例えば、長方形形状であってよく、1つまたは複数のブロック(例えば、CTU)、例えば、完全なまたは断片のブロックを備えてよい。
残差計算
残差計算ユニット204は、例えば、サンプルごとに(ピクセルごとに)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で提供される)に基づいて残差ブロック205(残差205とも呼ばれる)を計算して、サンプル領域における残差ブロック205を取得するように構成され得る。
残差計算ユニット204は、例えば、サンプルごとに(ピクセルごとに)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で提供される)に基づいて残差ブロック205(残差205とも呼ばれる)を計算して、サンプル領域における残差ブロック205を取得するように構成され得る。
変換
変換処理ユニット206は、残差ブロック205のサンプル値において変換、例えば、離散コサイン変換(discrete cosine transform(DCT))または離散サイン変換(discrete sine transform(DST))を適用して、変換領域における変換係数207を取得するように構成され得る。変換係数207は、変換残差係数とも呼ばれ、変換領域における残差ブロック205を表現してよい。
変換処理ユニット206は、残差ブロック205のサンプル値において変換、例えば、離散コサイン変換(discrete cosine transform(DCT))または離散サイン変換(discrete sine transform(DST))を適用して、変換領域における変換係数207を取得するように構成され得る。変換係数207は、変換残差係数とも呼ばれ、変換領域における残差ブロック205を表現してよい。
変換処理ユニット206は、H.265/HEVCについて指定された変換のようなDCT/DSTの整数近似を適用するように構成され得る。直交DCT変換と比較して、そのような整数近似は、典型的に、ある係数によってスケーリングされる。順および逆変換によって処理される残差ブロックのノルムを維持するために、変換プロセスの部分として追加のスケーリング係数が適用される。スケーリング係数は、典型的に、スケーリング係数がシフト演算のために2の累乗であること、変換係数のビット深度、確度と実装コストの間のトレードオフなどのような、ある制約に基づいて選ばれる。例えば、逆変換処理ユニット212による、例えば、逆変換(および、例えば、ビデオデコーダ30における逆変換処理ユニット312による、対応する逆変換)について特定のスケーリング係数が指定され、エンコーダ20における、例えば、変換処理ユニット206による、順変換について対応するスケーリング係数が、それに応じて指定され得る。
ビデオエンコーダ20の実施形態(それぞれ、変換処理ユニット206)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされ、または圧縮された、変換パラメータ、例えば、1つまたは複数の変換のタイプを出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために変換パラメータを受信して使用し得る。
量子化
量子化ユニット208は、例えば、スカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して量子化された係数209を取得するように構成され得る。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれ得る。
量子化ユニット208は、例えば、スカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して量子化された係数209を取得するように構成され得る。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれ得る。
量子化プロセスは、変換係数207のいくつかまたは全てに関連付けられたビット深度を減少させ得る。例えば、nビットの変換係数は、量子化の間にmビットの変換係数に切り捨てられてよく、ここでnはmよりも大きい。量子化の程度は、量子化パラメータ(Quantization Parameter(QP))を調整することによって修正され得る。例えば、スカラー量子化について、より細かいかまたはより粗い量子化を達成するために、異なるスケーリングが適用され得る。より小さい量子化ステップサイズは、より細かい量子化に対応し、一方、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ(QP)によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの既定のセットへのインデックスであってよい。例えば、小さい量子化パラメータは、細かい量子化(小さい量子化ステップサイズ)に対応してよく、大きい量子化パラメータは、粗い量子化(大きい量子化ステップサイズ)に対応してよく、またはその逆も同様である。量子化は、量子化ステップサイズによる除算を含んでよく、例えば、逆量子化ユニット210による、対応するおよび／または逆の量子化解除は、量子化ステップサイズによる乗算を含んでよい。いくつかの規格、例えば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成され得る。一般に、量子化ステップサイズは、除算を含む式の固定点近似を使用して、量子化パラメータに基づいて計算され得る。量子化ステップサイズおよび量子化パラメータについての式の固定点近似において使用されるスケーリングの故に修正され得る、残差ブロックのノルムを復元するために、量子化および量子化解除について追加のスケーリング係数が導入されてよい。1つの例示の実装では、逆変換および量子化解除のスケーリングが組み合わせられ得る。代替として、カスタマイズされた量子化テーブルが使用され、例えば、ビットストリーム内で、エンコーダからデコーダにシグナリングされてよい。量子化は損失のある演算であり、増加する量子化ステップサイズとともに損失が増加する。
ビデオエンコーダ20の実施形態(それぞれ、量子化ユニット208)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、量子化パラメータ(QP)を出力するように構成されてよく、それによって、例えば、ビデオデコーダ30は、デコードのために量子化パラメータを受信し、適用し得る。
逆量子化
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて、またはそれを使用して、量子化ユニット208によって適用される量子化方式の逆を適用することによって、量子化された係数において量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、量子化による損失に起因して典型的には変換係数と同一でないが、変換係数207に対応し得る。
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて、またはそれを使用して、量子化ユニット208によって適用される量子化方式の逆を適用することによって、量子化された係数において量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、量子化による損失に起因して典型的には変換係数と同一でないが、変換係数207に対応し得る。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用される変換の逆変換、例えば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)、または他の逆変換を適用して、サンプル領域における再構成された残差ブロック213(または、対応する量子化解除された係数213)を取得するように構成される。再構成された残差ブロック213は、変換ブロック213とも呼ばれ得る。
逆変換処理ユニット212は、変換処理ユニット206によって適用される変換の逆変換、例えば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)、または他の逆変換を適用して、サンプル領域における再構成された残差ブロック213(または、対応する量子化解除された係数213)を取得するように構成される。再構成された残差ブロック213は、変換ブロック213とも呼ばれ得る。
再構成
再構成ユニット214(例えば、加算器または合算器214)は、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値を、サンプルごとに、加算することによって、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算してサンプル領域における再構成されたブロック215を取得するように構成される。
再構成ユニット214(例えば、加算器または合算器214)は、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値を、サンプルごとに、加算することによって、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算してサンプル領域における再構成されたブロック215を取得するように構成される。
フィルタ処理
ループフィルタユニット220(または、短縮して「ループフィルタ」220)は、再構成されたブロック215をフィルタ処理してフィルタ処理されたブロック221を取得するように、または一般に、再構成されたサンプルをフィルタ処理してフィルタ処理されたサンプル値を取得するように構成される。ループフィルタユニットは、例えば、ピクセル遷移を平滑化し、またはそうでなくビデオ品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、適応ループフィルタ(adaptive loop filter(ALF))、雑音抑圧フィルタ(noise suppression filter(NSF))、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを備えてよい。フィルタ処理プロセスの順序は、デブロッキングフィルタ、SAO、およびALFであってよい。別の例では、クロマスケーリングを伴うルーママッピング(luma mapping with chroma scaling(LMCS))(すなわち、適応ループ内再成形器)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。別の例では、デブロッキングフィルタプロセスはまた、内部のサブブロックエッジ、たとえば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(sub-block transform(SBT))エッジ、およびイントラ下位区分(intra sub-partition(ISP))エッジに適用され得る。ループフィルタユニット220はループ内フィルタであるとして図2に表されているが、他の構成では、ループフィルタユニット220は、ポストループフィルタとして実現されてよい。フィルタ処理されたブロック221は、フィルタ処理された再構成されたブロック221とも呼ばれ得る。
ループフィルタユニット220(または、短縮して「ループフィルタ」220)は、再構成されたブロック215をフィルタ処理してフィルタ処理されたブロック221を取得するように、または一般に、再構成されたサンプルをフィルタ処理してフィルタ処理されたサンプル値を取得するように構成される。ループフィルタユニットは、例えば、ピクセル遷移を平滑化し、またはそうでなくビデオ品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、適応ループフィルタ(adaptive loop filter(ALF))、雑音抑圧フィルタ(noise suppression filter(NSF))、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを備えてよい。フィルタ処理プロセスの順序は、デブロッキングフィルタ、SAO、およびALFであってよい。別の例では、クロマスケーリングを伴うルーママッピング(luma mapping with chroma scaling(LMCS))(すなわち、適応ループ内再成形器)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。別の例では、デブロッキングフィルタプロセスはまた、内部のサブブロックエッジ、たとえば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(sub-block transform(SBT))エッジ、およびイントラ下位区分(intra sub-partition(ISP))エッジに適用され得る。ループフィルタユニット220はループ内フィルタであるとして図2に表されているが、他の構成では、ループフィルタユニット220は、ポストループフィルタとして実現されてよい。フィルタ処理されたブロック221は、フィルタ処理された再構成されたブロック221とも呼ばれ得る。
ビデオエンコーダ20の実施形態(それぞれ、ループフィルタユニット220)は、例えば、直接に、またはエントロピーエンコードユニット270を介してエンコードされた、(SAOフィルタパラメータまたはALFフィルタパラメータまたはLMCSパラメータのような)ループフィルタパラメータを出力するように構成されてよく、それによって、例えば、デコーダ30は、デコードのために同じループフィルタパラメータまたはそれぞれのループフィルタを受信し、適用し得る。
デコードされたピクチャバッファ
デコードされたピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータをエンコードするための、参照ピクチャまたは一般に参照ピクチャデータを記憶するメモリであってよい。DPB 230は、同期DRAM(synchronous DRAM(SDRAM))を含むダイナミックランダムアクセスメモリ(dynamic random access memory(DRAM))、磁気抵抗RAM(magnetoresistive RAM(MRAM))、抵抗性RAM(resistive RAM(RRAM(登録商標)))、または他のタイプのメモリデバイスのような、様々なメモリデバイスのうちのいずれかによって形成され得る。デコードされたピクチャバッファ(DPB)230は、1つまたは複数のフィルタ処理されたブロック221を記憶するように構成され得る。デコードされたピクチャバッファ230は、以前にフィルタ処理された他のブロック、例えば、同じ現在のピクチャの、または異なるピクチャの、以前に再構成され、フィルタ処理されたブロック221、例えば、以前に再構成されたピクチャを記憶するようにさらに構成されてよく、例えば、インター予測のために、以前に再構成され、すなわちデコードされた完全なピクチャ(および、対応する参照ブロックおよびサンプル)、および／または部分的に再構成された現在のピクチャ(および、対応する参照ブロックおよびサンプル)を提供し得る。例えば、再構成されたブロック215が、ループフィルタユニット220によってフィルタ処理されていない、または再構成されたブロックまたはサンプルのさらに処理された任意の他のバージョンであるならば、デコードされたピクチャバッファ(DPB)230はまた、1つまたは複数のフィルタ処理されていない再構成されたブロック215、または一般に、フィルタ処理されていない再構成されたサンプルを記憶するように構成されてよい。
デコードされたピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータをエンコードするための、参照ピクチャまたは一般に参照ピクチャデータを記憶するメモリであってよい。DPB 230は、同期DRAM(synchronous DRAM(SDRAM))を含むダイナミックランダムアクセスメモリ(dynamic random access memory(DRAM))、磁気抵抗RAM(magnetoresistive RAM(MRAM))、抵抗性RAM(resistive RAM(RRAM(登録商標)))、または他のタイプのメモリデバイスのような、様々なメモリデバイスのうちのいずれかによって形成され得る。デコードされたピクチャバッファ(DPB)230は、1つまたは複数のフィルタ処理されたブロック221を記憶するように構成され得る。デコードされたピクチャバッファ230は、以前にフィルタ処理された他のブロック、例えば、同じ現在のピクチャの、または異なるピクチャの、以前に再構成され、フィルタ処理されたブロック221、例えば、以前に再構成されたピクチャを記憶するようにさらに構成されてよく、例えば、インター予測のために、以前に再構成され、すなわちデコードされた完全なピクチャ(および、対応する参照ブロックおよびサンプル)、および／または部分的に再構成された現在のピクチャ(および、対応する参照ブロックおよびサンプル)を提供し得る。例えば、再構成されたブロック215が、ループフィルタユニット220によってフィルタ処理されていない、または再構成されたブロックまたはサンプルのさらに処理された任意の他のバージョンであるならば、デコードされたピクチャバッファ(DPB)230はまた、1つまたは複数のフィルタ処理されていない再構成されたブロック215、または一般に、フィルタ処理されていない再構成されたサンプルを記憶するように構成されてよい。
モード選択(区分および予測)
モード選択ユニット260は、区分ユニット262、インター予測ユニット244、およびイントラ予測ユニット254を備え、元のピクチャデータ、例えば、元のブロック203(現在のピクチャ17の現在のブロック203)、および同じ(現在の)ピクチャの、かつ／または1つまたは複数の以前にデコードされたピクチャからの、例えば、デコードされたピクチャバッファ230または他のバッファ(例えば、表されていないラインバッファ)からの、再構成されたピクチャデータ、例えば、フィルタ処理された、および／またはフィルタ処理されていない再構成されたサンプルまたはブロックを受信または取得するように構成される。再構成されたピクチャデータは、予測ブロック265または予測子265を取得するために、予測、例えば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、区分ユニット262、インター予測ユニット244、およびイントラ予測ユニット254を備え、元のピクチャデータ、例えば、元のブロック203(現在のピクチャ17の現在のブロック203)、および同じ(現在の)ピクチャの、かつ／または1つまたは複数の以前にデコードされたピクチャからの、例えば、デコードされたピクチャバッファ230または他のバッファ(例えば、表されていないラインバッファ)からの、再構成されたピクチャデータ、例えば、フィルタ処理された、および／またはフィルタ処理されていない再構成されたサンプルまたはブロックを受信または取得するように構成される。再構成されたピクチャデータは、予測ブロック265または予測子265を取得するために、予測、例えば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分を含まない)現在のブロック予測モードについて区分、および予測モード(例えば、イントラまたはインター予測モード)を決定または選択し、残差ブロック205の計算のために、かつ再構成されたブロック215の再構成のために使用される、対応する予測ブロック265を生成するように構成され得る。
モード選択ユニット260の実施形態は、最も良い整合、または言い換えれば最小残差(最小残差は、伝送または記憶のためのより良い圧縮を意味する)、または最小シグナリングオーバーヘッド(最小シグナリングオーバーヘッドは、伝送または記憶のためのより良い圧縮を意味する)を提供し、または両方を考慮し、または釣り合わせる、区分および予測モードを(例えば、モード選択ユニット260によってサポートされ、またはモード選択ユニット260に対して利用可能なものから)選択するように構成され得る。モード選択ユニット260は、レート歪み最適化(Rate Distortion Optimization(RDO))に基づいて区分および予測モードを決定する、すなわち、最小のレート歪みを提供する予測モードを選択するように構成され得る。この文脈における「最も良い」、「最小の」、「最適な」などのような用語は、全体的な「最も良い」、「最小の」、「最適な」などを必ずしも指さず、しきい値または他の制約を越えるまたは下回る値のような、終了または選択の基準の充足を指してよく、潜在的に「準最適な選択」に導くが、複雑さおよび処理時間を減少させる。
言い換えれば、区分ユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU)のシーケンスに区分するように構成されてよく、CTU203は、例えば、ブロック区分またはサブブロックの各々について予測を実行するために、例えば、4分木区分(quad-tree-partitioning(QT))、バイナリ区分(binary partitioning(BT))、または3分木区分(triple-tree-partitioning(TT))、またはそれらの任意の組み合わせを反復的に使用してより小さいブロック区分または(再びブロックを形成する)サブブロックにさらに区分されてよく、モード選択は、区分されるブロック203のツリー構造の選択を備え、予測モードは、ブロック区分またはサブブロックの各々に適用される。
以下では、例示のビデオエンコーダ20によって実行される(例えば、区分ユニット260による)区分および(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明されるであろう。
区分
区分ユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU)のシーケンスに区分するように構成されてよく、区分ユニット262は、コーディングツリーユニット(CTU)203をより小さい区分、たとえば、正方形または長方形サイズのより小さいブロックに、区分(または分割)し得る。3つのサンプルアレイを有するピクチャについて、CTUは、クロマサンプルの2つの対応するブロックと一緒にN×Nブロックのルーマサンプルからなる。CTU内でのルーマブロックの最大許容サイズは、開発中の多用途ビデオコーディング(VVC)では128×128となるように指定されるが、将来は128×128ではない値、たとえば、256×256となるように指定されることが可能である。ピクチャのCTUは、スライス／タイルグループ、タイル、またはブリックとしてクラスタ化／グループ化され得る。タイルはピクチャの長方形領域をカバーし、タイルは1つまたは複数のブリックに分割されることが可能である。ブリックは、タイル内のいくつかのCTU行からなる。複数のブリックに区分されないタイルは、ブリックと呼ばれることが可能である。しかし、ブリックはタイルの真部分集合であり、タイルと呼ばれない。VVCにおいてサポートされるタイルグループの2つのモード、すなわち、ラスタ走査スライス／タイルグループモードおよび長方形スライスモードがある。ラスタ走査タイルグループモードでは、スライス／タイルグループは、ピクチャのタイルラスタ走査においてタイルのシーケンスを含む。長方形スライスモードでは、スライスは、ピクチャの長方形領域を集合的に形成する、ピクチャのいくつかのブリックを含む。長方形スライス内のブリックは、スライスのブリックラスタ走査の順序にある。これらのより小さいブロック(サブブロックとも呼ばれ得る)は、いっそう小さい区分にさらに区分され得る。これは、ツリー区分または階層的ツリー区分とも呼ばれ、例えば、ルートツリーレベル0(階層レベル0、深度0)におけるルートブロックは、再帰的に区分され、例えば、次に低いツリーレベルの2つ以上のブロック、例えば、ツリーレベル1(階層レベル1、深度1)におけるノードに区分されてよく、これらのブロックは再び、例えば、終了基準が充足され、例えば、最大ツリー深度または最小ブロックサイズが到達
されたので区分が終了されるまで、次に低いレベル、例えば、ツリーレベル2(階層レベル2、深度2)などの2つ以上のブロックに区分されてよい。さらに区分されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。2つの区分への区分を使用するツリーは2分木(Binary-Tree(BT))と呼ばれ、3つの区分への区分を使用するツリーは3分木(Ternary-Tree(TT))と呼ばれ、4つの区分への区分を使用するツリーは4分木(Quad-Tree(QT))と呼ばれる。
区分ユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU)のシーケンスに区分するように構成されてよく、区分ユニット262は、コーディングツリーユニット(CTU)203をより小さい区分、たとえば、正方形または長方形サイズのより小さいブロックに、区分(または分割)し得る。3つのサンプルアレイを有するピクチャについて、CTUは、クロマサンプルの2つの対応するブロックと一緒にN×Nブロックのルーマサンプルからなる。CTU内でのルーマブロックの最大許容サイズは、開発中の多用途ビデオコーディング(VVC)では128×128となるように指定されるが、将来は128×128ではない値、たとえば、256×256となるように指定されることが可能である。ピクチャのCTUは、スライス／タイルグループ、タイル、またはブリックとしてクラスタ化／グループ化され得る。タイルはピクチャの長方形領域をカバーし、タイルは1つまたは複数のブリックに分割されることが可能である。ブリックは、タイル内のいくつかのCTU行からなる。複数のブリックに区分されないタイルは、ブリックと呼ばれることが可能である。しかし、ブリックはタイルの真部分集合であり、タイルと呼ばれない。VVCにおいてサポートされるタイルグループの2つのモード、すなわち、ラスタ走査スライス／タイルグループモードおよび長方形スライスモードがある。ラスタ走査タイルグループモードでは、スライス／タイルグループは、ピクチャのタイルラスタ走査においてタイルのシーケンスを含む。長方形スライスモードでは、スライスは、ピクチャの長方形領域を集合的に形成する、ピクチャのいくつかのブリックを含む。長方形スライス内のブリックは、スライスのブリックラスタ走査の順序にある。これらのより小さいブロック(サブブロックとも呼ばれ得る)は、いっそう小さい区分にさらに区分され得る。これは、ツリー区分または階層的ツリー区分とも呼ばれ、例えば、ルートツリーレベル0(階層レベル0、深度0)におけるルートブロックは、再帰的に区分され、例えば、次に低いツリーレベルの2つ以上のブロック、例えば、ツリーレベル1(階層レベル1、深度1)におけるノードに区分されてよく、これらのブロックは再び、例えば、終了基準が充足され、例えば、最大ツリー深度または最小ブロックサイズが到達
されたので区分が終了されるまで、次に低いレベル、例えば、ツリーレベル2(階層レベル2、深度2)などの2つ以上のブロックに区分されてよい。さらに区分されないブロックは、ツリーのリーフブロックまたはリーフノードとも呼ばれる。2つの区分への区分を使用するツリーは2分木(Binary-Tree(BT))と呼ばれ、3つの区分への区分を使用するツリーは3分木(Ternary-Tree(TT))と呼ばれ、4つの区分への区分を使用するツリーは4分木(Quad-Tree(QT))と呼ばれる。
例えば、コーディングツリーユニット(CTU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのCTB、クロマサンプルの2つの対応するCTB、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのCTB、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてよい。それに対応して、コーディングツリーブロック(CTB)は、CTBへの成分の分割が区分であるようなNのいくつかの値についてサンプルのN×Nブロックであってよい。コーディングユニット(CU)は、3つのサンプルアレイを有するピクチャのルーマサンプルのコーディングブロック、クロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャまたは3つの別個の色平面を使用してコーディングされるピクチャのサンプルのコーディングブロック、およびサンプルをコーディングするために使用されるシンタックス構造であってよく、またはそれらを備えてよい。それに対応して、コーディングブロック(CB)は、コーディングブロックへのCTBの分割が区分であるようなMおよびNのいくつかの値についてサンプルのM×Nブロックであってよい。
例えば、HEVCによる実施形態では、コーディングツリーユニット(CTU)は、コーディングツリーとして表記される4分木構造を使用することによってCUに分割され得る。ピクチャエリアを、(時間的な)インターピクチャ予測を使用してコーディングすべきか、または(空間的な)イントラピクチャ予測を使用してコーディングすべきかの決定は、リーフCUレベルにおいて行われる。各リーフCUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割されることが可能である。1つのPUの内部では、同じ予測プロセスが適用され、関連する情報がPUごとにデコーダへ伝送される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、リーフCUは、CUについてのコーディングツリーと類似の別の4分木構造に従って変換ユニット(TU)に区分されることが可能である。
たとえば、多用途ビデオコーディング(VVC)と呼ばれる、現在開発中の最新のビデオコーディング規格による実施形態では、たとえば、コーディングツリーユニットを区分するために使用される2分割および3分割のセグメント化構造を使用する組み合わせられた4分木入れ子型マルチタイプツリー。コーディングツリーユニット内のコーディングツリー構造では、CUは、正方形形状または長方形形状のいずれかを有することができる。たとえば、コーディングツリーユニット(CTU)は、4分木によって最初に区分される。次いで、4分木リーフノードが、マルチタイプツリー構造によってさらに区分されることが可能である。マルチタイプツリー構造では、4つの分割タイプ、すなわち、垂直2分割(SPLIT_BT_VER)、水平2分割(SPLIT_BT_HOR)、垂直3分割(SPLIT_TT_VER)、および水平3分割(SPLIT_TT_HOR)がある。マルチタイプツリーリーフノードはコーディングユニット(CU)と呼ばれ、最大変換長についてCUが大きすぎない限り、このセグメント化が、さらに区分することなく予測および変換処理のために使用される。これは、たいていの場合、CU、PU、およびTUが、入れ子型マルチタイプツリーコーディングブロック構造を有する4分木において同じブロックサイズを有することを意味する。サポートされる最大変換長がCUの色成分の幅または高さよりも小さいときに例外が起こる。VVCは、入れ子型マルチタイプツリーコーディングツリー構造を有する4分木における区分分割情報の、固有のシグナリングメカニズムを開発する。そのシグナリングメカニズムでは、コーディングツリーユニット(CTU)は4分木のルートとして扱われ、4分木構造によって最初に区分される。(それを許容するために十分大きいとき)各4分木リーフノードは、次いで、マルチタイプツリー構造によってさらに区分される。マルチタイプツリー構造では、ノードがさらに区分されるかどうかを示すために第1のフラグ(mtt_split_cu_flag)がシグナリングされ、ノードがさらに区分されるとき、分割方向を示すために第2のフラグ(mtt_split_cu_vertical_flag)がシグナリングされ、次いで、分割が2分割であるのか、または3分割であるのかを示すために第3のフラグ(mtt_split_cu_binary_flag)がシグナリングされる。mtt_split_cu_vertical_flagおよびmtt_split_cu_binary_flagの値に基づいて、CUのマルチタイプツリー分割モード(MttSplitMode)が既定の規則またはテーブルに基づいてデコーダによって導出されることが可能である。図6に表されたように、ある設計、たとえば、VVCハードウェアデコーダにおける64×64ルーマブロックおよび32×32クロマパイプライン方式の設計のために、ルーマコーディングブロックの幅または高さのいずれかが64よりも大きいときにTT分割が禁止されることが留意されるべきである。TT分割はまた、クロマコーディングブロックの幅または高さのいずれかが32よりも大きいときに禁止される。パイプライン方式の設計は、ピクチャ内の重複しないユニットとして定義される仮想パイプラインデータユニット(Virtual pipeline data unit(VPDU))にピクチャを分割することになる。ハードウェアデコーダにおいて、連続するVPDUが複数のパイプラインステージによって同時に処理される。VPDUサイズは、大部分のパイプラインステージにおいてバッファサイズにおおよそ比例し、そのため、VPDUサイズを小さく保持することが重要である。大部分のハードウェアデコーダにおいて、VPDUサイズは最大変換ブロック(TB)サイズに設定されることが可能である。しかし、VVCでは、3分木(TT)および2分木(BT)区分は、VPDUサイズの増加に導き得る。
加えて、ツリーノードブロックの一部分が下または右のピクチャ境界を越えるとき、あらゆるコーディングされたCUのすべてのサンプルがピクチャ境界の内側に位置付けられるまで、ツリーノードブロックが分割されることを強制されることが留意されるべきである。
一例として、イントラ下位区分(ISP)ツールは、ブロックサイズに依存してルーマイントラ予測されたブロックを垂直または水平に2つまたは4つの下位区分に分割し得る。
一例では、ビデオエンコーダ20のモード選択ユニット260は、ここで説明される区分技法の任意の組み合わせを実行するように構成され得る。
上記で説明されたように、ビデオエンコーダ20は、(例えば、予め決定された)予測モードのセットから、最も良いまたは最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを備えてよい。
イントラ予測
イントラ予測モードのセットは、例えば、HEVCにおいて定義されるように、35個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよく、または、例えば、VVCについて定義されるように、67個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよい。一例として、たとえば、VVCにおいて定義されるように、いくつかの従来の角度イントラ予測モードは、非正方形ブロックについて適応的に広角度イントラ予測モードと置き換えられる。別の例として、DC予測のための除算演算を回避するために、非正方形ブロックについて平均を計算するために、より長い辺のみが使用される。そして、平面モードのイントラ予測の結果は、位置依存イントラ予測組み合わせ(position dependent intra prediction combination(PDPC))方法によってさらに修正されてよい。
イントラ予測モードのセットは、例えば、HEVCにおいて定義されるように、35個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよく、または、例えば、VVCについて定義されるように、67個の異なるイントラ予測モード、例えば、DC(または平均)モードおよび平面モードのような無方向性モード、または方向性モードを備えてよい。一例として、たとえば、VVCにおいて定義されるように、いくつかの従来の角度イントラ予測モードは、非正方形ブロックについて適応的に広角度イントラ予測モードと置き換えられる。別の例として、DC予測のための除算演算を回避するために、非正方形ブロックについて平均を計算するために、より長い辺のみが使用される。そして、平面モードのイントラ予測の結果は、位置依存イントラ予測組み合わせ(position dependent intra prediction combination(PDPC))方法によってさらに修正されてよい。
イントラ予測ユニット254は、イントラ予測モードのセットのイントラ予測モードに従ってイントラ予測ブロック265を生成するために、同じ現在のピクチャの隣接ブロックの再構成されたサンプルを使用するように構成される。
イントラ予測ユニット254(または一般にモード選択ユニット260)は、エンコードされたピクチャデータ21への包含のためにシンタックス要素266の形式でイントラ予測パラメータ(または一般にブロックのための選択されたイントラ予測モードを示す情報)をエントロピーエンコードユニット270に出力するようにさらに構成され、それによって、例えば、ビデオデコーダ30は、デコードのために予測パラメータを受信および使用し得る。
(レイヤ間予測を備える)インター予測
インター予測モードのセット(または可能なインター予測モード)は、利用可能な参照ピクチャ(すなわち、例えば、DBP 230に記憶されている、少なくとも部分的にデコードされた以前のピクチャ)、および他のインター予測パラメータ、例えば、最も良く整合する参照ブロックを探索するために参照ピクチャ全体が使用されるか、または参照ピクチャの一部のみ、例えば、現在のブロックのエリアの周囲の探索ウィンドウエリアが使用されるか、および／または、例えば、ピクセル補間、例えば、ハーフ／セミペル、クォーターペルおよび／または1/16ペル補間が適用されるか否かに依存する。
インター予測モードのセット(または可能なインター予測モード)は、利用可能な参照ピクチャ(すなわち、例えば、DBP 230に記憶されている、少なくとも部分的にデコードされた以前のピクチャ)、および他のインター予測パラメータ、例えば、最も良く整合する参照ブロックを探索するために参照ピクチャ全体が使用されるか、または参照ピクチャの一部のみ、例えば、現在のブロックのエリアの周囲の探索ウィンドウエリアが使用されるか、および／または、例えば、ピクセル補間、例えば、ハーフ／セミペル、クォーターペルおよび／または1/16ペル補間が適用されるか否かに依存する。
上記の予測モードに加えて、スキップモード、直接モードおよび／または他のインター予測モードが適用されてよい。
たとえば、拡張されたマージ予測、そのようなモードのマージ候補リストは、順に以下の5つのタイプの候補、すなわち、空間的な隣接CUからの空間MVP、同位置のCUからの時間MVP、FIFOテーブルからの履歴を基にしたMVP、ペアワイズ平均MVP、およびゼロMVを含めることによって構成される。そして、マージモードのMVの確度を増加させるために、両側整合を基にしたデコーダ側動きベクトル精緻化(decoder side motion vector refinement(DMVR))が適用されてよい。MVDを用いたマージモード(merge mode with MVD(MMVD))、これは動きベクトル差分を用いたマージモードに由来する。CUについてMMVDモードが使用されるかどうかを指定するために、スキップフラグおよびマージフラグを送った直後にMMVDフラグがシグナリングされる。そして、CUレベルの適応動きベクトル解像度(adaptive motion vector resolution(AMVR))方式が適用されてよい。AMVRは、異なる精度でCUのMVDがコーディングされることを可能にする。現在のCUのための予測モードに依存して、現在のCUのMVDが適応的に選択されることが可能である。CUがマージモードでコーディングされるとき、組み合わせられたインター／イントラ予測(combined inter/intra prediction(CIIP))モードが現在のCUに適用されてよい。CIIP予測を取得するためにインターおよびイントラ予測信号の重み付き平均化が実行される。アフィン動き補償予測、ブロックのアフィン動きフィールドは、2つの制御点(4パラメータ)の動き情報または3つの制御点動きベクトル(6パラメータ)によって記述される。サブブロックを基にした時間動きベクトル予測(subblock-based temporal motion vector prediction(SbTMVP))、これは、HEVCにおける時間動きベクトル予測(temporal motion vector prediction(TMVP))と類似するが、現在のCU内のサブCUの動きベクトルを予測する。以前にBIOと呼ばれた双方向オプティカルフロー(bi-directional optical flow(BDOF))は、特に乗算の数および乗算器のサイズの観点でたいへん少ない計算を要求する、より簡単なバージョンである。三角形区分モード、そのようなモードでは、CUは、対角分割または逆対角分割のいずれかを使用して、三角形形状の2つの区分に均等に分割される。その上、2つの予測信号の重み付き平均化を可能にするために、単純な平均化を越えて双予測モードが拡張される。
インター予測ユニット244は、動き推定(motion estimation(ME))ユニットおよび動き補償(motion compensation(MC))ユニット(両方とも図2に表されていない)を含んでよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)およびデコードされたピクチャ231、または少なくとも1つまたは複数の以前に再構成されたブロック、例えば、1つまたは複数の他の／異なる以前にデコードされたピクチャ231の再構成されたブロックを、受信または取得するように構成され得る。例えば、ビデオシーケンスは、現在のピクチャおよび以前にデコードされたピクチャ231を備えてよく、または言い換えれば、現在のピクチャおよび以前にデコードされたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であってよく、またはそれらを形成してよい。
エンコーダ20は、例えば、複数の他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(または参照ピクチャインデックス)、および／または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)を、インター予測パラメータとして動き推定ユニットに提供するように構成され得る。このオフセットは動きベクトル(motion vector(MV))とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば受信し、インター予測パラメータに基づいて、またはそれを使用して、インター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定された動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成すること、おそらくサブピクセル精度への補間を実行することを伴ってよい。補間フィルタ処理は、知られているピクセルサンプルから追加のピクセルサンプルを生成してよく、従って、ピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を潜在的に増加させる。現在のピクチャブロックのPUについての動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つの中で動きベクトルが指し示す予測ブロックを位置付け得る。
動き補償ユニットはまた、ビデオスライスのピクチャブロックをデコードする際のビデオデコーダ30による使用のために、ブロックおよびビデオスライスに関連付けられたシンタックス要素を生成し得る。スライスおよびそれぞれのシンタックス要素に加えて、またはそれらの代替として、タイルグループおよび／またはタイルおよびそれぞれのシンタックス要素が生成または使用されてよい。
エントロピーコーディング
エントロピーエンコードユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素において、例えば、エントロピーエンコードアルゴリズムまたは方式(例えば、可変長コーディング(variable length coding(VLC))方式、コンテキスト適応VLC方式(context adaptive VLC scheme(CAVLC))、算術コーディング方式、2値化、コンテキスト適応バイナリ算術コーディング(context adaptive binary arithmetic coding(CABAC))、シンタックスを基にしたコンテキスト適応バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding(SBAC))、確率区間区分エントロピー(probability interval partitioning entropy(PIPE))コーディング、または別のエントロピーエンコード方法論または技法)、またはバイパス(圧縮なし)を適用して、例えば、エンコードされたビットストリーム21の形式で、出力272を介して出力されることが可能であるエンコードされたピクチャデータ21を取得するように構成され、それによって、例えば、ビデオデコーダ30は、デコードのためにパラメータを受信および使用し得る。エンコードされたビットストリーム21は、ビデオデコーダ30へ伝送され、またはビデオデコーダ30による後の伝送または取り出しのためにメモリに記憶され得る。
エントロピーエンコードユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素において、例えば、エントロピーエンコードアルゴリズムまたは方式(例えば、可変長コーディング(variable length coding(VLC))方式、コンテキスト適応VLC方式(context adaptive VLC scheme(CAVLC))、算術コーディング方式、2値化、コンテキスト適応バイナリ算術コーディング(context adaptive binary arithmetic coding(CABAC))、シンタックスを基にしたコンテキスト適応バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding(SBAC))、確率区間区分エントロピー(probability interval partitioning entropy(PIPE))コーディング、または別のエントロピーエンコード方法論または技法)、またはバイパス(圧縮なし)を適用して、例えば、エンコードされたビットストリーム21の形式で、出力272を介して出力されることが可能であるエンコードされたピクチャデータ21を取得するように構成され、それによって、例えば、ビデオデコーダ30は、デコードのためにパラメータを受信および使用し得る。エンコードされたビットストリーム21は、ビデオデコーダ30へ伝送され、またはビデオデコーダ30による後の伝送または取り出しのためにメモリに記憶され得る。
ビデオエンコーダ20の他の構造的変形が、ビデオストリームをエンコードするために使用されることが可能である。例えば、非変換を基にしたエンコーダ20が、あるブロックまたはフレームについて変換処理ユニット206なしで直接に残差信号を量子化することができる。別の実装では、エンコーダ20は、単一のユニットの中に組み合わせられた量子化ユニット208および逆量子化ユニット210を有することができる。
デコーダおよびデコード方法
図3は、この本出願の技法を実現するように構成されるビデオデコーダ30の一例を表す。ビデオデコーダ30は、例えば、エンコーダ20によってエンコードされた、エンコードされたピクチャデータ21(例えば、エンコードされたビットストリーム21)を受信して、デコードされたピクチャ331を取得するように構成される。エンコードされたピクチャデータまたはビットストリームは、エンコードされたピクチャデータをデコードするための情報、例えば、エンコードされたビデオスライス(および／または、タイルグループまたはタイル)のピクチャブロックを表現するデータ、および関連付けられたシンタックス要素を備える。
図3は、この本出願の技法を実現するように構成されるビデオデコーダ30の一例を表す。ビデオデコーダ30は、例えば、エンコーダ20によってエンコードされた、エンコードされたピクチャデータ21(例えば、エンコードされたビットストリーム21)を受信して、デコードされたピクチャ331を取得するように構成される。エンコードされたピクチャデータまたはビットストリームは、エンコードされたピクチャデータをデコードするための情報、例えば、エンコードされたビデオスライス(および／または、タイルグループまたはタイル)のピクチャブロックを表現するデータ、および関連付けられたシンタックス要素を備える。
図3の例では、デコーダ30は、エントロピーデコードユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構成ユニット314(例えば、合算器314)、ループフィルタ320、デコードされたピクチャバッファ(DBP)330、モード適用ユニット360、インター予測ユニット344、およびイントラ予測ユニット354を備える。インター予測ユニット344は、動き補償ユニットであってよく、またはそれを含んでもよい。ビデオデコーダ30は、いくつかの例では、図2からのビデオエンコーダ100に関して説明されたエンコードパスとは一般に相補的なデコードパスを実行し得る。
エンコーダ20に関して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、デコードされたピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「ビルトインデコーダ」を形成するとしても言及される。従って、逆量子化ユニット310は逆量子化ユニット110と機能において同一であってよく、逆変換処理ユニット312は逆変換処理ユニット212と機能において同一であってよく、再構成ユニット314は再構成ユニット214と機能において同一であってよく、ループフィルタ320はループフィルタ220と機能において同一であってよく、デコードされたピクチャバッファ330はデコードされたピクチャバッファ230と機能において同一であってよい。従って、ビデオ20エンコーダのそれぞれのユニットおよび機能について提供された説明は、それに対応してビデオデコーダ30のそれぞれのユニットおよび機能に適用される。
エントロピーデコード
エントロピーデコードユニット304は、ビットストリーム21(または一般にエンコードされたピクチャデータ21)を構文解析し、例えば、エンコードされたピクチャデータ21へのエントロピーデコードを実行して、例えば、量子化された係数309および／またはデコードされたコーディングパラメータ(図3に表されていない)、例えば、インター予測パラメータ(例えば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モードまたはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素のうちのいずれかまたは全てを取得するように構成される。エントロピーデコードユニット304は、エンコーダ20のエントロピーエンコードユニット270に関して説明されたようなエンコード方式に対応するデコードアルゴリズムまたは方式を適用するように構成され得る。エントロピーデコードユニット304は、モード適用ユニット360にインター予測パラメータ、イントラ予測パラメータ、および／または他のシンタックス要素を、デコーダ30の他のユニットに他のパラメータを提供するようにさらに構成され得る。ビデオデコーダ30は、ビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックス要素を受信し得る。スライスおよびそれぞれのシンタックス要素に加えて、またはそれらの代替として、タイルグループおよび／またはタイルおよびそれぞれのシンタックス要素が受信および／または使用され得る。
エントロピーデコードユニット304は、ビットストリーム21(または一般にエンコードされたピクチャデータ21)を構文解析し、例えば、エンコードされたピクチャデータ21へのエントロピーデコードを実行して、例えば、量子化された係数309および／またはデコードされたコーディングパラメータ(図3に表されていない)、例えば、インター予測パラメータ(例えば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モードまたはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素のうちのいずれかまたは全てを取得するように構成される。エントロピーデコードユニット304は、エンコーダ20のエントロピーエンコードユニット270に関して説明されたようなエンコード方式に対応するデコードアルゴリズムまたは方式を適用するように構成され得る。エントロピーデコードユニット304は、モード適用ユニット360にインター予測パラメータ、イントラ予測パラメータ、および／または他のシンタックス要素を、デコーダ30の他のユニットに他のパラメータを提供するようにさらに構成され得る。ビデオデコーダ30は、ビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックス要素を受信し得る。スライスおよびそれぞれのシンタックス要素に加えて、またはそれらの代替として、タイルグループおよび／またはタイルおよびそれぞれのシンタックス要素が受信および／または使用され得る。
逆量子化
逆量子化ユニット310は、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から量子化パラメータ(quantization parameter(QP))(または一般に逆量子化に関する情報)および量子化された係数を受信し、量子化パラメータに基づいて、デコードされた量子化された係数309において逆量子化を適用して、変換係数311とも呼ばれ得る量子化解除された係数311を取得するように構成され得る。逆量子化プロセスは、量子化の程度、および同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライス(またはタイルまたはタイルグループ)の中のビデオブロックごとにビデオエンコーダ20によって決定された量子化パラメータの使用を含んでよい。
逆量子化ユニット310は、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から量子化パラメータ(quantization parameter(QP))(または一般に逆量子化に関する情報)および量子化された係数を受信し、量子化パラメータに基づいて、デコードされた量子化された係数309において逆量子化を適用して、変換係数311とも呼ばれ得る量子化解除された係数311を取得するように構成され得る。逆量子化プロセスは、量子化の程度、および同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライス(またはタイルまたはタイルグループ)の中のビデオブロックごとにビデオエンコーダ20によって決定された量子化パラメータの使用を含んでよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受信し、サンプル領域において再構成された残差ブロック213を取得するために量子化解除された係数311に変換を適用するように構成され得る。再構成された残差ブロック213は、変換ブロック313とも呼ばれ得る。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換、または概念的に類似の逆変換プロセスであってよい。逆変換処理ユニット312は、量子化解除された係数311に適用されるべき変換を決定するために、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から変換パラメータまたは対応する情報を受信するようにさらに構成され得る。
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受信し、サンプル領域において再構成された残差ブロック213を取得するために量子化解除された係数311に変換を適用するように構成され得る。再構成された残差ブロック213は、変換ブロック313とも呼ばれ得る。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換、または概念的に類似の逆変換プロセスであってよい。逆変換処理ユニット312は、量子化解除された係数311に適用されるべき変換を決定するために、(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)エンコードされたピクチャデータ21から変換パラメータまたは対応する情報を受信するようにさらに構成され得る。
再構成
再構成ユニット314(例えば、加算器または合算器314)は、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することによって、予測ブロック365に再構成された残差ブロック313を加算して、サンプル領域において再構成されたブロック315を取得するように構成され得る。
再構成ユニット314(例えば、加算器または合算器314)は、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することによって、予測ブロック365に再構成された残差ブロック313を加算して、サンプル領域において再構成されたブロック315を取得するように構成され得る。
フィルタ処理
(コーディングループ内またはコーディングループの後のいずれかの)ループフィルタユニット320は、例えば、ピクセル遷移を平滑化し、またはビデオ品質をそうでなく改善するために、再構成されたブロック315をフィルタ処理してフィルタ処理されたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、適応ループフィルタ(adaptive loop filter(ALF))、雑音抑圧フィルタ(NSF)、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを備えてよい。フィルタ処理プロセスの順序は、デブロッキングフィルタ、SAO、およびALFであってよい。別の例では、クロマスケーリングを伴うルーママッピング(LMCS)(すなわち、適応ループ内再成形器)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。別の例では、デブロッキングフィルタプロセスはまた、内部のサブブロックエッジ、たとえば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT)エッジ、およびイントラ下位区分(ISP)エッジに適用され得る。ループフィルタユニット320はループ内フィルタであるとして図3に表されているが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてよい。
(コーディングループ内またはコーディングループの後のいずれかの)ループフィルタユニット320は、例えば、ピクセル遷移を平滑化し、またはビデオ品質をそうでなく改善するために、再構成されたブロック315をフィルタ処理してフィルタ処理されたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset(SAO))フィルタ、または1つまたは複数の他のフィルタ、例えば、適応ループフィルタ(adaptive loop filter(ALF))、雑音抑圧フィルタ(NSF)、またはそれらの任意の組み合わせのような1つまたは複数のループフィルタを備えてよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ、およびALFフィルタを備えてよい。フィルタ処理プロセスの順序は、デブロッキングフィルタ、SAO、およびALFであってよい。別の例では、クロマスケーリングを伴うルーママッピング(LMCS)(すなわち、適応ループ内再成形器)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。別の例では、デブロッキングフィルタプロセスはまた、内部のサブブロックエッジ、たとえば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT)エッジ、およびイントラ下位区分(ISP)エッジに適用され得る。ループフィルタユニット320はループ内フィルタであるとして図3に表されているが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてよい。
デコードされたピクチャバッファ
ピクチャのデコードされたビデオブロック321は、次いで、他のピクチャについての続く動き補償のために、かつ／または出力されるそれぞれ表示のために、参照ピクチャとしてデコードされたピクチャ331を記憶するデコードされたピクチャバッファ330に記憶される。
ピクチャのデコードされたビデオブロック321は、次いで、他のピクチャについての続く動き補償のために、かつ／または出力されるそれぞれ表示のために、参照ピクチャとしてデコードされたピクチャ331を記憶するデコードされたピクチャバッファ330に記憶される。
デコーダ30は、ユーザへの提示または閲覧のために、例えば、出力312を介してデコードされたピクチャ311を出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってよく、イントラ予測ユニット354は、機能においてインター予測ユニット254と同一であってよく、区分および／または予測パラメータ、またはエンコードされたピクチャデータ21から(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)受信されたそれぞれの情報に基づいて、分割または区分決定および予測を実行する。モード適用ユニット360は、(フィルタ処理された、またはフィルタ処理されていない)再構成されたピクチャ、ブロック、またはそれぞれのサンプルに基づいて、ブロックごとに予測(イントラまたはインター予測(レイヤ間予測を備えてよい))を実行して、予測ブロック365を取得するように構成され得る。
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一であってよく、イントラ予測ユニット354は、機能においてインター予測ユニット254と同一であってよく、区分および／または予測パラメータ、またはエンコードされたピクチャデータ21から(例えば、エントロピーデコードユニット304によって、例えば、構文解析および／またはデコードすることによって)受信されたそれぞれの情報に基づいて、分割または区分決定および予測を実行する。モード適用ユニット360は、(フィルタ処理された、またはフィルタ処理されていない)再構成されたピクチャ、ブロック、またはそれぞれのサンプルに基づいて、ブロックごとに予測(イントラまたはインター予測(レイヤ間予測を備えてよい))を実行して、予測ブロック365を取得するように構成され得る。
イントラコーディングされた(I)スライスとしてビデオスライスがコーディングされるとき、モード適用ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード、および現在のピクチャの以前にデコードされたブロックからのデータに基づいて、現在のビデオスライスのピクチャブロックについて予測ブロック365を生成するように構成される。インターコーディングされた(すなわち、BまたはP)スライスとしてビデオピクチャがコーディングされるとき、モード適用ユニット360のインター予測ユニット344(例えば、動き補償ユニット)は、動きベクトル、およびエントロピーデコードユニット304から受信された他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについて予測ブロック365を作り出すように構成される。インター予測について、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから作り出されてよい。ビデオデコーダ30は、DPB 330に記憶された参照ピクチャに基づいてデフォルトの構成技法を使用して、参照フレームリスト、リスト0およびリスト1を構成し得る。スライス(例えば、ビデオスライス)に加えて、またはその代替として、タイルグループ(例えば、ビデオタイルグループ)および／またはタイル(例えば、ビデオタイル)を使用する実施形態について、またはその実施形態によって、同じまたは類似のことが適用されてよく、例えば、ビデオは、I、P、またはBタイルグループおよび／またはタイルを使用してコーディングされてよい。
モード適用ユニット360は、動きベクトルまたは関連する情報および他のシンタックス要素を構文解析することによって、現在のビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、デコードされている現在のビデオブロックについて予測ブロックを作り出すように構成される。例えば、モード適用ユニット360は、受信されたシンタックス要素のうちのいくつかを使用して、現在のビデオスライス内のビデオブロックをデコードするために、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(例えば、イントラまたはインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス、またはGPBスライス)、スライスについての参照ピクチャリストのうちの1つまたは複数についての構成情報、スライスのインターエンコードされたビデオブロックごとの動きベクトル、スライスのインターコーディングされたビデオブロックごとのインター予測ステータス、および他の情報を決定する。スライス(例えば、ビデオスライス)に加えて、またはその代替として、タイルグループ(例えば、ビデオタイルグループ)および／またはタイル(例えば、ビデオタイル)を使用する実施形態について、またはその実施形態によって、同じまたは類似のことが適用されてよく、例えば、ビデオは、I、P、またはBタイルグループおよび／またはタイルを使用してコーディングされてよい。
図3に表されたようなビデオデコーダ30の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分および／またはデコードするように構成されてよく、ピクチャは、(典型的に、重複しない)1つまたは複数のスライスに区分され、またはそれを使用してデコードされてよく、各スライスは、1つまたは複数のブロック(例えば、CTU)、またはブロックの1つまたは複数のグループ(たとえば、タイル(H.265/HEVCおよびVVC)またはブリック(VVC))を備えてよい。
図3に表されたようなビデオデコーダ30の実施形態は、スライス／タイルグループ(ビデオタイルグループとも呼ばれる)および／またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分および／またはデコードするように構成されてよく、ピクチャは、(典型的に、重複しない)1つまたは複数のスライス／タイルグループに区分され、またはそれを使用してデコードされてよく、各スライス／タイルグループは、例えば、1つまたは複数のブロック(例えば、CTU)または1つまたは複数のタイルを備えてよく、各タイルは、例えば、長方形形状であってよく、1つまたは複数のブロック(例えば、CTU)、例えば、完全なまたは断片のブロックを備えてよい。
ビデオデコーダ30の他の変形が、エンコードされたピクチャデータ21をデコードするために使用されることが可能である。例えば、デコーダ30は、ループフィルタ処理ユニット320なしで出力ビデオストリームを作り出すことができる。例えば、非変換を基にしたデコーダ30が、あるブロックまたはフレームについて逆変換処理ユニット312なしで直接に残差信号を逆量子化することができる。別の実装では、ビデオデコーダ30は、単一のユニットの中に組み合わせられた逆量子化ユニット310および逆変換処理ユニット312を有することができる。
エンコーダ20およびデコーダ30において、現在のステップの処理結果がさらに処理され、次いで、次のステップに出力されてよいことが理解されるべきである。例えば、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の後、補間フィルタ処理、動きベクトル導出、またはループフィルタ処理の処理結果において、クリップまたはシフトのようなさらなる演算が実行されてよい。
現在のブロックの導出された動きベクトル(アフィンモードの制御点動きベクトル、アフィン、平面、ATMVPモードにおけるサブブロック動きベクトル、時間動きベクトルなどを含むが、それらに限定されない)に、さらなる演算が適用され得ることが留意されるべきである。例えば、動きベクトルの値は、その表現ビットに従って既定の範囲に制約される。動きベクトルの表現ビットがbitDepthであるならば、範囲は-2^(bitDepth-1)～2^(bitDepth-1)-1であり、ここで「^」はべき乗を意味する。例えば、bitDepthが16に等しく設定されるならば、範囲は-32768～32767であり、bitDepthが18に等しく設定されるならば、範囲は-131072～131071である。例えば、導出される動きベクトル(例えば、1つの8×8ブロック内の4つの4×4サブブロックのMV)の値は、4つの4×4サブブロックMVの整数部分の間の最大差が、1ピクセルより大きくない、のような、Nピクセルより大きくないように制約される。ここで、bitDepthに従って動きベクトルを制約するための2つの方法を提供する。
図4は、開示の一実施形態によるビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、ここで説明されるような開示される実施形態を実現するために適している。一実施形態では、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30のようなデコーダ、または図1Aのビデオエンコーダ20のようなエンコーダであってよい。
ビデオコーディングデバイス400は、データを受信するための入口ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央処理ユニット(CPU)430、データを伝送するための送信機ユニット(Tx)440および出口ポート450(または出力ポート450)、およびデータを記憶するためのメモリ460を備える。ビデオコーディングデバイス400はまた、光信号または電気信号の出口または入口のために入口ポート410、受信機ユニット420、送信機ユニット440、および出口ポート450に結合された、光電気(optical-to-electrical(OE))構成要素および電気光(electrical-to-optical(EO))構成要素を備えてよい。
プロセッサ430は、ハードウェアおよびソフトウェアによって実現される。プロセッサ430は、1つまたは複数のCPUチップ、(例えば、マルチコアプロセッサとしての)コア、FPGA、ASIC、およびDSPとして実現され得る。プロセッサ430は、入口ポート410、受信機ユニット420、送信機ユニット440、出口ポート450、およびメモリ460と通信している。プロセッサ430は、コーディングモジュール470を備える。コーディングモジュール470は、上記で説明された開示された実施形態を実現する。例えば、コーディングモジュール470は、様々なコーディング演算を実現、処理、準備、または提供する。従って、コーディングモジュール470の包含は、ビデオコーディングデバイス400の機能にかなりの改善を提供し、ビデオコーディングデバイス400の異なる状態への変換をもたらす。代替として、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実現される。
メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備えてよく、実行のためにそのようなプログラムが選択されるときにプログラムを記憶するために、かつプログラム実行の間に読み取られる命令およびデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ460は、例えば、揮発性および／または不揮発性であってよく、リードオンリメモリ(read-only memory(ROM))、ランダムアクセスメモリ(random access memory(RAM))、3値連想メモリ(ternary content-addressable memory(TCAM))、および／またはスタティックランダムアクセスメモリ(static random-access memory(SRAM))であってよい。
図5は、例示的な実施形態による、図1からのソースデバイス12および宛先デバイス14のいずれかまたは両方として使用され得る装置500の簡略化されたブロック図である。
装置500内のプロセッサ502は中央処理ユニットであることが可能である。代替として、プロセッサ502は、現存する、または今後開発される、情報を操作または処理することが可能な任意の他のタイプのデバイスまたは複数のデバイスであることが可能である。開示される実装は、表されているように単一のプロセッサ、例えば、プロセッサ502を用いて実施されることが可能であるが、速度および効率における利点は、1つより多くのプロセッサを使用して達成されることが可能である。
装置500内のメモリ504は、一実装ではリードオンリメモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意の他の適したタイプの記憶デバイスが、メモリ504として使用されることが可能である。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含むことができる。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことができ、アプリケーションプログラム510は、プロセッサ502がここで説明される方法を実行することを可能にする少なくとも1つのプログラムを含む。例えば、アプリケーションプログラム510は、アプリケーション1からNを含むことができ、アプリケーション1からNは、ここで説明される方法を実行するビデオコーディングアプリケーションをさらに含む。
装置500はまた、ディスプレイ518のような1つまたは複数の出力デバイスを含むことができる。ディスプレイ518は、一例では、ディスプレイを、タッチ入力を感知するように動作可能なタッチ感応性要素と組み合わせる、タッチ感応性ディスプレイであってよい。ディスプレイ518は、バス512を介してプロセッサ502に結合されることが可能である。
ここでは単一のバスとして描写されているが、装置500のバス512は複数のバスからなることが可能である。さらに、2次記憶装置514が、装置500の他の構成要素に直接に結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードのような単一の統合されたユニット、または複数のメモリカードのような複数のユニットを備えることができる。従って、装置500は広く様々な構成で実現されることが可能である。
スケーラブルコーディング
品質スケーラブル(PSNRスケーラブル)、空間スケーラブル、その他を含むスケーラブルコーディング。たとえば、表された図6のように、シーケンスは低い空間解像度バージョンにダウンサンプリングされることが可能である。低い空間解像度バージョンと元の空間解像度(高い空間解像度)バージョンの両方がエンコードされることになる。また一般に、低い空間解像度は最初にコーディングされることになり、後でコーディングされる高い空間解像度のための参照のために使用されることになる。
品質スケーラブル(PSNRスケーラブル)、空間スケーラブル、その他を含むスケーラブルコーディング。たとえば、表された図6のように、シーケンスは低い空間解像度バージョンにダウンサンプリングされることが可能である。低い空間解像度バージョンと元の空間解像度(高い空間解像度)バージョンの両方がエンコードされることになる。また一般に、低い空間解像度は最初にコーディングされることになり、後でコーディングされる高い空間解像度のための参照のために使用されることになる。
レイヤの情報(数、依存性、出力)を記述するために、以下のように定義されるVPS(ビデオパラメータセット)がある。
vps_max_layers_minus1に1を加えたものは、VPSを参照する各CVS内のレイヤの最大許容数を指定する。
1に等しいvps_all_independent_layers_flagは、CVS内のすべてのレイヤがレイヤ間予測を使用せずに独立してコーディングされることを指定する。0に等しいvps_all_independent_layers_flagは、CVS内のレイヤのうちの1つまたは複数がレイヤ間予測を使用し得ることを指定する。存在しないとき、vps_all_independent_layers_flagの値は1に等しいと推測される。vps_all_independent_layers_flagが1に等しいとき、vps_independent_layer_flag[ i ]の値は1に等しいと推測される。vps_all_independent_layers_flagが0に等しいとき、vps_independent_layer_flag[ 0 ]の値は1に等しいと推測される。
vps_layer_id[ i ]は、第iのレイヤのnuh_layer_id値を指定する。mおよびnの任意の2つの非負の整数値について、mがnよりも小さいとき、vps_layer_id[ m ]の値はvps_layer_id[ n ]よりも小さいものとする。
1に等しいvps_independent_layer_flag[ i ]は、インデックスiを有するレイヤがレイヤ間予測を使用しないことを指定する。0に等しいvps_independent_layer_flag[ i ]は、インデックスiを有するレイヤがレイヤ間予測を使用することがあり、vps_layer_dependency_flag[ i ]がVPS内に存在することを指定する。
0に等しいvps_direct_dependency_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤでないことを指定する。1に等しいvps_direct_dependency_flag [ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであることを指定する。0からvps_max_layers_minus1の全てを含む範囲内のiおよびjについてvps_direct_dependency_flag[ i ][ j ]が存在しないとき、それは0に等しいと推測される。
第iのレイヤの第jの直接依存するレイヤを指定する変数DirectDependentLayerIdx[ i ][ j ]は、以下のように導出される。
for( i = 1; i < vps_max_layers_minus1; i-- )
if( !vps_independent_layer_flag[ i ] )
for( j = i, k = 0; j >= 0; j-- ) (7-2)
if( vps_direct_dependency_flag[ i ][ j ] )
DirectDependentLayerIdx[ i ][ k++ ] = j
for( i = 1; i < vps_max_layers_minus1; i-- )
if( !vps_independent_layer_flag[ i ] )
for( j = i, k = 0; j >= 0; j-- ) (7-2)
if( vps_direct_dependency_flag[ i ][ j ] )
DirectDependentLayerIdx[ i ][ k++ ] = j
vps_layer_id[ i ]に等しいnuh_layer_idを有するレイヤのレイヤインデックスを指定する変数GeneralLayerIdx[ i ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) (7-3)
GeneralLayerIdx[ vps_layer_id[ i ] ] = i
for( i = 0; i <= vps_max_layers_minus1; i++ ) (7-3)
GeneralLayerIdx[ vps_layer_id[ i ] ] = i
簡単な説明は以下の通り。
vps_max_layers_minus1に1を加えたものは、レイヤの数を意味する。
vps_all_independent_layers_flagは、すべてのレイヤが独立してコーディングされるかどうかを示す。
vps_layer_id[ i ]は、第iのレイヤのレイヤIDを示す。
vps_independent_layer_flag[ i ]は、第iのレイヤが独立してコーディングされるかどうかを示す。
vps_direct_dependency_flag[ i ][ j ]は、第iのレイヤのための参照のために第jのレイヤが使用されるかどうかを示す。
vps_max_layers_minus1に1を加えたものは、レイヤの数を意味する。
vps_all_independent_layers_flagは、すべてのレイヤが独立してコーディングされるかどうかを示す。
vps_layer_id[ i ]は、第iのレイヤのレイヤIDを示す。
vps_independent_layer_flag[ i ]は、第iのレイヤが独立してコーディングされるかどうかを示す。
vps_direct_dependency_flag[ i ][ j ]は、第iのレイヤのための参照のために第jのレイヤが使用されるかどうかを示す。
ここにおいて、シンタックス要素vps_independent_layer_flag[ i ]およびvps_direct_dependency_flag[ i ][ j ]はレイヤのレイヤ間予測情報であり、iおよびjはレイヤ識別子であり、異なるレイヤは異なるレイヤ識別子に対応する。
DPB管理および参照ピクチャマーキング
デコードプロセスにおいてそれらの参照ピクチャを管理するために、デコードされたピクチャは、続くピクチャデコードのための参照使用のためにデコードされたピクチャバッファ(DPB)内に保持することを必要とされる。それらのピクチャを示すために、それらのピクチャ順序カウント(POC)情報が、スライスヘッダ内で直接または間接にシグナリングすることを必要とされる。一般に、2つの参照ピクチャリスト、すなわち、リスト0およびリスト1がある。そして、リスト内のピクチャをシグナリングするために、参照ピクチャインデックスも含められる必要がある。単予測について、参照ピクチャは1つの参照ピクチャリストからフェッチされ、双予測について、参照ピクチャは2つの参照ピクチャリストからフェッチされる。
デコードプロセスにおいてそれらの参照ピクチャを管理するために、デコードされたピクチャは、続くピクチャデコードのための参照使用のためにデコードされたピクチャバッファ(DPB)内に保持することを必要とされる。それらのピクチャを示すために、それらのピクチャ順序カウント(POC)情報が、スライスヘッダ内で直接または間接にシグナリングすることを必要とされる。一般に、2つの参照ピクチャリスト、すなわち、リスト0およびリスト1がある。そして、リスト内のピクチャをシグナリングするために、参照ピクチャインデックスも含められる必要がある。単予測について、参照ピクチャは1つの参照ピクチャリストからフェッチされ、双予測について、参照ピクチャは2つの参照ピクチャリストからフェッチされる。
すべての参照ピクチャはDPB内に記憶される。DPB内のすべてのピクチャは、「長期的参照のために使用される」、「短期的参照のために使用される」、または「参照のために使用されない」として、3つのステータスについて1つのみがマークされる。いったんピクチャが「参照のために使用されない」としてマークされると、もはや参照のために使用されないことになる。それが出力のために記憶することも必要とされないならば、それはDPBから除去されることが可能である。参照ピクチャのステータスは、スライスヘッダ内でシグナリングされることが可能であり、またはスライスヘッダ情報から導出されることが可能である。
RPL(参照ピクチャリスト)方法と呼ばれる新たな参照ピクチャ管理方法が提案された。RPLは、参照ピクチャセット全体または現在のコーディングピクチャについてのセットを提案し、参照ピクチャセット内の参照ピクチャは、現在のピクチャまたは将来の(後の、または続く)ピクチャのデコードのために使用される。そのため、RPLはDPB内のピクチャ情報を反映し、参照ピクチャさえ現在のピクチャのための参照のために使用されず、それが続くピクチャのための参照のために使用されることになるならば、それはRPL内に記憶することを必要とされる。
ピクチャが再構成された後、それはDPB内に記憶されることになり、デフォルトで「短期的参照のために使用される」としてマークされる。DPB管理動作は、スライスヘッダ内のRPL情報を構文解析した後に開始することになる。
参照ピクチャリスト構成
参照ピクチャ情報は、スライスヘッダを介してシグナリングされることが可能である。また、シーケンスパラメータセット(SPS)内にいくつかのRPL候補がおそらくあり、この場合、スライスヘッダは、RPLシンタックス構造全体をシグナリングすることなく必要とされるRPL情報を得るためにRPLインデックスをおそらく含む。または、RPLシンタックス構造全体が、スライスヘッダ内でシグナリングされることが可能である。
参照ピクチャ情報は、スライスヘッダを介してシグナリングされることが可能である。また、シーケンスパラメータセット(SPS)内にいくつかのRPL候補がおそらくあり、この場合、スライスヘッダは、RPLシンタックス構造全体をシグナリングすることなく必要とされるRPL情報を得るためにRPLインデックスをおそらく含む。または、RPLシンタックス構造全体が、スライスヘッダ内でシグナリングされることが可能である。
RPL方法の導入
RPLシグナリングのコストビットを節約するために、SPS内にいくつかのRPL候補がおそらくある。ピクチャは、そのRPL情報をSPSから得るためにRPLインデックス(ref_pic_list_idx[ i ])を使用することができる。RPL候補は以下のようにシグナリングされる。
RPLシグナリングのコストビットを節約するために、SPS内にいくつかのRPL候補がおそらくある。ピクチャは、そのRPL情報をSPSから得るためにRPLインデックス(ref_pic_list_idx[ i ])を使用することができる。RPL候補は以下のようにシグナリングされる。
セマンティックは以下の通り。
1に等しいrpl1_same_as_rpl0_flagは、シンタックス構造num_ref_pic_lists_in_sps[ 1 ]およびref_pic_list_struct( 1, rplsIdx )が存在しないことを指定し、以下が適用される。
- num_ref_pic_lists_in_sps[ 1 ]の値はnum_ref_pic_lists_in_sps[ 0 ]の値に等しいと推測される。
- 0からnum_ref_pic_lists_in_sps[ 0 ] - 1まで及ぶrplsIdxについて、ref_pic_list_struct( 1, rplsIdx )内のシンタックス要素の各々の値は、ref_pic_list_struct( 0, rplsIdx )内の対応するシンタックス要素の値に等しいと推測される。
1に等しいrpl1_same_as_rpl0_flagは、シンタックス構造num_ref_pic_lists_in_sps[ 1 ]およびref_pic_list_struct( 1, rplsIdx )が存在しないことを指定し、以下が適用される。
- num_ref_pic_lists_in_sps[ 1 ]の値はnum_ref_pic_lists_in_sps[ 0 ]の値に等しいと推測される。
- 0からnum_ref_pic_lists_in_sps[ 0 ] - 1まで及ぶrplsIdxについて、ref_pic_list_struct( 1, rplsIdx )内のシンタックス要素の各々の値は、ref_pic_list_struct( 0, rplsIdx )内の対応するシンタックス要素の値に等しいと推測される。
num_ref_pic_lists_in_sps[ i ]は、SPSに含まれるiに等しいlistIdxを有するref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の数を指定する。num_ref_pic_lists_in_sps[ i ]の値は、0から64の全てを含む範囲内にあるものとする。
SPSからのRPLインデックスに基づいてRPL情報を得るほかに、RPL情報がスライスヘッダ内でシグナリングされることが可能である。
1に等しいref_pic_list_sps_flag[ i ]は、現在のスライスの参照ピクチャリストiが、SPS内のiに等しいlistIdxを有するref_pic_list_struct( listIdx, rplsIdx )シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[ i ]は、現在のスライスの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれるiに等しいlistIdxを有するref_pic_list_struct( listIdx, rplsIdx )シンタックス構造に基づいて導出されることを指定する。
ref_pic_list_sps_flag[ i ]が存在しないとき、以下が適用される。
- num_ref_pic_lists_in_sps[ i ]が0に等しいならば、ref_pic_list_sps_flag[ i ]の値は0に等しいと推測される。
- そうでなければ(num_ref_pic_lists_in_sps[ i ]が0よりも大きい)、rpl1_idx_present_flagが0に等しいならば、ref_pic_list_sps_flag[ 1 ]の値はref_pic_list_sps_flag[ 0 ]に等しいと推測される。
- そうでなければ、ref_pic_list_sps_flag[ i ]の値はpps_ref_pic_list_sps_idc[ i ] - 1に等しいと推測される。
- num_ref_pic_lists_in_sps[ i ]が0に等しいならば、ref_pic_list_sps_flag[ i ]の値は0に等しいと推測される。
- そうでなければ(num_ref_pic_lists_in_sps[ i ]が0よりも大きい)、rpl1_idx_present_flagが0に等しいならば、ref_pic_list_sps_flag[ 1 ]の値はref_pic_list_sps_flag[ 0 ]に等しいと推測される。
- そうでなければ、ref_pic_list_sps_flag[ i ]の値はpps_ref_pic_list_sps_idc[ i ] - 1に等しいと推測される。
ref_pic_list_idx[ i ]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるiに等しいlistIdxを有するref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の、SPSに含まれるiに等しいlistIdxを有するref_pic_list_struct( listIdx, rplsIdx )シンタックス構造のリストへの、インデックスを指定する。シンタックス要素ref_pic_list_idx[ i ]は、Ceil( Log2( num_ref_pic_lists_in_sps[ i ] ) )ビットによって表現される。存在しないとき、ref_pic_list_idx[ i ]の値は0に等しいと推測される。ref_pic_list_idx[ i ]の値は、0からnum_ref_pic_lists_in_sps[ i ] - 1の全てを含む範囲内にあるものとする。ref_pic_list_sps_flag[ i ]が1に等しく、かつnum_ref_pic_lists_in_sps[ i ]が1に等しいとき、ref_pic_list_idx[ i ]の値は0に等しいと推測される。ref_pic_list_sps_flag[ i ]が1に等しく、かつrpl1_idx_present_flagが0に等しいとき、ref_pic_list_idx[ 1 ]の値はref_pic_list_idx[ 0 ]に等しいと推測される。
変数RplsIdx[ i ]は以下のように導出される。
RplsIdx[ i ] = ref_pic_list_sps_flag[ i ] ? ref_pic_list_idx[ i ] : num_ref_pic_lists_in_sps[ i ] (7-95)
RplsIdx[ i ] = ref_pic_list_sps_flag[ i ] ? ref_pic_list_idx[ i ] : num_ref_pic_lists_in_sps[ i ] (7-95)
slice_poc_lsb_lt[ i ][ j ]は、第iの参照ピクチャリスト内の第jのLTRPエントリのMaxPicOrderCntLsbを法としたピクチャ順序カウントの値を指定する。slice_poc_lsb_lt[ i ][ j ]シンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4 + 4ビットである。
変数PocLsbLt[ i ][ j ]は以下のように導出される。
PocLsbLt[ i ][ j ] = ltrp_in_slice_header_flag[ i ][ RplsIdx[ i ] ] ? slice_poc_lsb_lt[ i ][ j ] : rpls_poc_lsb_lt[ listIdx ][ RplsIdx[ i ] ][ j ] (7-96)
PocLsbLt[ i ][ j ] = ltrp_in_slice_header_flag[ i ][ RplsIdx[ i ] ] ? slice_poc_lsb_lt[ i ][ j ] : rpls_poc_lsb_lt[ listIdx ][ RplsIdx[ i ] ][ j ] (7-96)
1に等しいdelta_poc_msb_present_flag[ i ][ j ]は、delta_poc_msb_cycle_lt[ i ][ j ]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[ i ][ j ]は、delta_poc_msb_cycle_lt[ i ][ j ]が存在しないことを指定する。
prevTid0Picは、現在のピクチャと同じnuh_layer_idを有し、0に等しいTemporalIdを有し、かつRASLまたはRADLピクチャでない、デコード順序で以前のピクチャとする。setOfPrevPocValsは、以下のものからなるセットとする。
- prevTid0PicのPicOrderCntVal、
- prevTid0PicのRefPicList[ 0 ]またはRefPicList[ 1 ]内のエントリによって参照され、かつ現在のピクチャと同じnuh_layer_idを有する各ピクチャのPicOrderCntVal、
- デコード順序でprevTid0Picに続き、現在のピクチャと同じnuh_layer_idを有し、かつデコード順序で現在のピクチャに先行する各ピクチャのPicOrderCntVal。
- prevTid0PicのPicOrderCntVal、
- prevTid0PicのRefPicList[ 0 ]またはRefPicList[ 1 ]内のエントリによって参照され、かつ現在のピクチャと同じnuh_layer_idを有する各ピクチャのPicOrderCntVal、
- デコード順序でprevTid0Picに続き、現在のピクチャと同じnuh_layer_idを有し、かつデコード順序で現在のピクチャに先行する各ピクチャのPicOrderCntVal。
それについてMaxPicOrderCntLsbを法とした値がPocLsbLt[ i ][ j ]に等しい1つより多くの値がsetOfPrevPocVals内にあるとき、delta_poc_msb_present_flag[ i ][ j ]の値は1に等しいものとする。
delta_poc_msb_cycle_lt[ i ][ j ]は、以下のように変数FullPocLt[ i ][ j ]の値を指定する。
if( j == 0 )
DeltaPocMsbCycleLt[ i ][ j ] = delta_poc_msb_cycle_lt[ i ][ j ]
else (7-97)
DeltaPocMsbCycleLt[ i ][ j ] = delta_poc_msb_cycle_lt[ i ][ j ] + DeltaPocMsbCycleLt[ i ][ j - 1 ]
FullPocLt[ i ][ j ] = PicOrderCntVal - DeltaPocMsbCycleLt[ i ][ j ] * MaxPicOrderCntLsb - ( PicOrderCntVal & ( MaxPicOrderCntLsb - 1 ) ) + PocLsbLt[ i ][ j ]
if( j == 0 )
DeltaPocMsbCycleLt[ i ][ j ] = delta_poc_msb_cycle_lt[ i ][ j ]
else (7-97)
DeltaPocMsbCycleLt[ i ][ j ] = delta_poc_msb_cycle_lt[ i ][ j ] + DeltaPocMsbCycleLt[ i ][ j - 1 ]
FullPocLt[ i ][ j ] = PicOrderCntVal - DeltaPocMsbCycleLt[ i ][ j ] * MaxPicOrderCntLsb - ( PicOrderCntVal & ( MaxPicOrderCntLsb - 1 ) ) + PocLsbLt[ i ][ j ]
delta_poc_msb_cycle_lt[ i ][ j ]の値は、0から2(32 - log2_max_pic_order_cnt_lsb_minus4 - 4 )の全てを含む範囲内にあるものとする。存在しないとき、delta_poc_msb_cycle_lt[ i ][ j ]の値は0に等しいと推測される。
RPLのシンタックス構造は以下の通り。
num_ref_entries[ listIdx ][ rplsIdx ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中のエントリの数を指定する。num_ref_entries[ listIdx ][ rplsIdx ]の値は、0からsps_max_dec_pic_buffering_minus1 + 14の全てを含む範囲内にあるものとする。
0に等しいltrp_in_slice_header_flag[ listIdx ][ rplsIdx ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中のLTRPエントリのPOC LSBがref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中に存在することを指定する。1に等しいltrp_in_slice_header_flag[ listIdx ][ rplsIdx ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中のLTRPエントリのPOC LSBがref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中に存在しないことを指定する。
1に等しいinter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリがILRPエントリであることを指定する。0に等しいinter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリがILRPエントリでないことを指定する。存在しないとき、inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]の値は0に等しいと推測される。
1に等しいst_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリがSTRPエントリであることを指定する。0に等しいst_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリがLTRPエントリであることを指定する。inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]が0に等しく、かつst_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]が存在しないとき、st_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]の値は1に等しいと推測される。
変数NumLtrpEntries[ listIdx ][ rplsIdx ]は以下のように導出される。
for( i = 0, NumLtrpEntries[ listIdx ][ rplsIdx ] = 0; i < num_ref_entries[ listIdx ][ rplsIdx ]; i++ )
if( !inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] && !st_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] ) (7-120)
NumLtrpEntries[ listIdx ][ rplsIdx ]++
for( i = 0, NumLtrpEntries[ listIdx ][ rplsIdx ] = 0; i < num_ref_entries[ listIdx ][ rplsIdx ]; i++ )
if( !inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] && !st_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] ) (7-120)
NumLtrpEntries[ listIdx ][ rplsIdx ]++
abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ]は、以下のように変数AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ]の値を指定する。
if( sps_weighted_pred_flag || sps_weighted_bipred_flag )
AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] = abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ] (7-121)
else
AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] = abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ] + 1
if( sps_weighted_pred_flag || sps_weighted_bipred_flag )
AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] = abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ] (7-121)
else
AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] = abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ] + 1
abs_delta_poc_st[ listIdx ][ rplsIdx ][ i ]の値は、0から215 - 1の全てを含む範囲内にあるものとする。
1に等しいstrp_entry_sign_flag[ listIdx ][ rplsIdx ][ i ]は、シンタックス構造ref_pic_list_struct( listIdx, rplsIdx )の中の第iのエントリが0以上の値を有することを指定する。0に等しいstrp_entry_sign_flag[ listIdx ][ rplsIdx ][ i ]は、シンタックス構造ref_pic_list_struct( listIdx, rplsIdx )の中の第iのエントリが0よりも小さい値を有することを指定する。存在しないとき、strp_entry_sign_flag[ listIdx ][ rplsIdx ][ i ]の値は1に等しいと推測される。
リストDeltaPocValSt[ listIdx ][ rplsIdx ]は以下のように導出される。
for( i = 0; i < num_ref_entries[ listIdx ][ rplsIdx ]; i++ )
if( !inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] && st_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] ) (7-122)
DeltaPocValSt[ listIdx ][ rplsIdx ][ i ] = ( strp_entry_sign_flag[ listIdx ][ rplsIdx ][ i ] ) ? AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] : 0 - AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ]
for( i = 0; i < num_ref_entries[ listIdx ][ rplsIdx ]; i++ )
if( !inter_layer_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] && st_ref_pic_flag[ listIdx ][ rplsIdx ][ i ] ) (7-122)
DeltaPocValSt[ listIdx ][ rplsIdx ][ i ] = ( strp_entry_sign_flag[ listIdx ][ rplsIdx ][ i ] ) ? AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ] : 0 - AbsDeltaPocSt[ listIdx ][ rplsIdx ][ i ]
rpls_poc_lsb_lt[ listIdx ][ rplsIdx ][ i ]は、ref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリによって参照されるピクチャのMaxPicOrderCntLsbを法としたピクチャ順序カウントの値を指定する。rpls_poc_lsb_lt[ listIdx ][ rplsIdx ][ i ]シンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4 + 4ビットである。
RPL構造のいくつかの一般の説明
リストごとにRPL構造がある。最初に、リスト内の参照ピクチャの数を示すためにnum_ref_entries[ listIdx istrplsIdx ]がシグナリングされる。ltrp_in_slice_header_flag[ listIdx istrplsIdx ]が使用され、スライスヘッダ内でLSB(Least Significant Bit(最下位ビット))情報がシグナリングされるかどうかが示される。現在の参照ピクチャがレイヤ間参照ピクチャでないならば、それが長期的参照ピクチャであるかどうかを示すためのst_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]。それが短期的参照ピクチャであるならば、POC情報(abs_delta_poc_stおよびstrp_entry_sign_flag)がシグナリングされる。ltrp_in_slice_header_flag[tlistIdx istrplsIdx ]が0であるならば、現在の参照ピクチャのLSB情報を導出するためにrpls_poc_lsb_lt[plistIdx istrplsIdx plsj++ ]が使用される。MSB(Most Significant Bit(最上位ビット))は、直接導出されるか、またはスライスヘッダ内の情報(delta_poc_msb_present_flag[ei ][ j ]およびdelta_poc_msb_cycle_lt[ei ][ j ])に基づいて導出されることが可能である。
リストごとにRPL構造がある。最初に、リスト内の参照ピクチャの数を示すためにnum_ref_entries[ listIdx istrplsIdx ]がシグナリングされる。ltrp_in_slice_header_flag[ listIdx istrplsIdx ]が使用され、スライスヘッダ内でLSB(Least Significant Bit(最下位ビット))情報がシグナリングされるかどうかが示される。現在の参照ピクチャがレイヤ間参照ピクチャでないならば、それが長期的参照ピクチャであるかどうかを示すためのst_ref_pic_flag[ listIdx ][ rplsIdx ][ i ]。それが短期的参照ピクチャであるならば、POC情報(abs_delta_poc_stおよびstrp_entry_sign_flag)がシグナリングされる。ltrp_in_slice_header_flag[tlistIdx istrplsIdx ]が0であるならば、現在の参照ピクチャのLSB情報を導出するためにrpls_poc_lsb_lt[plistIdx istrplsIdx plsj++ ]が使用される。MSB(Most Significant Bit(最上位ビット))は、直接導出されるか、またはスライスヘッダ内の情報(delta_poc_msb_present_flag[ei ][ j ]およびdelta_poc_msb_cycle_lt[ei ][ j ])に基づいて導出されることが可能である。
参照ピクチャリスト構成のためのデコードプロセス
このプロセスは、非IDRピクチャのスライスごとにデコードプロセスの開始において呼び出される。
このプロセスは、非IDRピクチャのスライスごとにデコードプロセスの開始において呼び出される。
参照ピクチャは、参照インデックスを通じてアドレス指定される。参照インデックスは、参照ピクチャリストへのインデックスである。Iスライスをデコードするとき、スライスデータのデコードにおいて参照ピクチャリストが使用されない。Pスライスをデコードするとき、スライスデータのデコードにおいて参照ピクチャリスト0(すなわち、RefPicList[ 0 ])のみが使用される。Bスライスをデコードするとき、スライスデータのデコードにおいて参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[ 1 ])の両方が使用される。
非IDRピクチャのスライスごとのデコードプロセスの開始において、参照ピクチャリストRefPicList[ 0 ]およびRefPicList[ 1 ]が導出される。参照ピクチャリストは、節8.3.3において指定されるように参照ピクチャのマーキングにおいて、またはスライスデータのデコードにおいて使用される。
注記1 - それがピクチャの最初のスライスでない、非IDRピクチャのIスライスについて、ビットストリーム適合検査目的のためにRefPicList[ 0 ]およびRefPicList[ 1 ]が導出されてよいが、それらの導出は、現在のピクチャまたはデコード順序で現在のピクチャに続くピクチャのデコードのために必須ではない。それがピクチャの最初のスライスでないPスライスについて、ビットストリーム適合検査目的のためにRefPicList[ 1 ]が導出されてよいが、その導出は、現在のピクチャまたはデコード順序で現在のピクチャに続くピクチャのデコードのために必須ではない。
参照ピクチャリストRefPicList[ 0 ]およびRefPicList[ 1 ]は以下のように構成される。
for( i = 0; i < 2; i++ ) {
for( j = 0, k = 0, pocBase = PicOrderCntVal; j < num_ref_entries[ i ][ RplsIdx[ i ] ]; j++) {
if( !inter_layer_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ] ) {
if( st_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ] ) {
RefPicPocList[ i ][ j ] = pocBase - DeltaPocValSt[ i ][ RplsIdx[ i ] ][ j ]
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照ピクチャpicAがあり、かつPicOrderCntValがRefPicPocList[ i ][ j ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」 (8-5)
pocBase = RefPicPocList[ i ][ j ]
} else {
if( !delta_poc_msb_cycle_lt[ i ][ k ] ) {
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照picAがあり、かつPicOrderCntVal & ( MaxPicOrderCntLsb - 1 )がPocLsbLt[ i ][ k ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
RefPicLtPocList[ i ][ j ] = PocLsbLt[ i ][ k ]
} else {
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照picAがあり、かつPicOrderCntValがFullPocLt[ i ][ k ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
RefPicLtPocList[ i ][ j ] = FullPocLt[ i ][ k ]
}
k++
}
} else {
layerIdx = DirectDependentLayerIdx[ GeneralLayerIdx[ nuh_layer_id ] ][ ilrp_idc[ i ][ RplsIdx ][ j ] ]
refPicLayerId = vps_layer_id[ layerIdx ]
if(refPicLayerIdに等しいnuh_layer_idおよび現在のピクチャと同じPicOrderCntValを有するDPB内の参照ピクチャpicAがある)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
}
}
}
for( i = 0; i < 2; i++ ) {
for( j = 0, k = 0, pocBase = PicOrderCntVal; j < num_ref_entries[ i ][ RplsIdx[ i ] ]; j++) {
if( !inter_layer_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ] ) {
if( st_ref_pic_flag[ i ][ RplsIdx[ i ] ][ j ] ) {
RefPicPocList[ i ][ j ] = pocBase - DeltaPocValSt[ i ][ RplsIdx[ i ] ][ j ]
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照ピクチャpicAがあり、かつPicOrderCntValがRefPicPocList[ i ][ j ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」 (8-5)
pocBase = RefPicPocList[ i ][ j ]
} else {
if( !delta_poc_msb_cycle_lt[ i ][ k ] ) {
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照picAがあり、かつPicOrderCntVal & ( MaxPicOrderCntLsb - 1 )がPocLsbLt[ i ][ k ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
RefPicLtPocList[ i ][ j ] = PocLsbLt[ i ][ k ]
} else {
if(現在のピクチャと同じnuh_layer_idを有するDPB内の参照picAがあり、かつPicOrderCntValがFullPocLt[ i ][ k ]に等しい)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
RefPicLtPocList[ i ][ j ] = FullPocLt[ i ][ k ]
}
k++
}
} else {
layerIdx = DirectDependentLayerIdx[ GeneralLayerIdx[ nuh_layer_id ] ][ ilrp_idc[ i ][ RplsIdx ][ j ] ]
refPicLayerId = vps_layer_id[ layerIdx ]
if(refPicLayerIdに等しいnuh_layer_idおよび現在のピクチャと同じPicOrderCntValを有するDPB内の参照ピクチャpicAがある)
RefPicList[ i ][ j ] = picA
else
RefPicList[ i ][ j ] = 「参照ピクチャがない」
}
}
}
RPLが構成された後、refPicLayerIdはILRPのレイヤ識別子であり、PicOrderCntValはPOC値であり、マーキングプロセスは以下の通りである。
参照ピクチャマーキングのためのデコードプロセス
このプロセスは、スライスヘッダのデコードおよび節8.3.2において指定されるようなスライスについての参照ピクチャリスト構成のためのデコードプロセスの後、しかし、スライスデータのデコードの前に、ピクチャごとに一回呼び出される。このプロセスは、DPB内の1つまたは複数の参照ピクチャが「参照のために使用されない」または「長期的参照のために使用される」としてマークされることをもたらし得る。
このプロセスは、スライスヘッダのデコードおよび節8.3.2において指定されるようなスライスについての参照ピクチャリスト構成のためのデコードプロセスの後、しかし、スライスデータのデコードの前に、ピクチャごとに一回呼び出される。このプロセスは、DPB内の1つまたは複数の参照ピクチャが「参照のために使用されない」または「長期的参照のために使用される」としてマークされることをもたらし得る。
DPB内のデコードされたピクチャは、「参照のために使用されない」、「短期的参照のために使用される」、または「長期的参照のために使用される」として、しかし、デコードプロセスの動作の間に任意の所与の瞬間においてこれらの3つのうちの1つのみがマークされることが可能である。適用可能なとき、これらのマーキングのうちの1つをピクチャに割り当てることは、これらのマーキングのうちの別のものを暗黙的に除去する。ピクチャが「参照のために使用される」としてマークされると呼ばれるとき、これは「短期的参照のために使用される」または「長期的参照のために使用される」(しかし、両方ではない)としてピクチャがマークされることを集合的に指す。
STRPおよびILRPは、それらのnuh_layer_idおよびPicOrderCntVal値によって識別される。LTRPは、それらのnuh_layer_id値、およびそれらのPicOrderCntVal値のLog2( MaxLtPicOrderCntLsb )個のLSBによって識別される。
現在のピクチャがCLVSSピクチャであるならば、現在のピクチャと同じnuh_layer_idを有する(もしあれば)現在DPB内のすべての参照ピクチャは、「参照のために使用されない」としてマークされる。
そうでなければ、以下が適用される。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のLTRPエントリごとに、参照されるピクチャが、現在のピクチャと同じnuh_layer_idを有するSTRPであるとき、そのピクチャは「長期的参照のために使用される」としてマークされる。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のいかなるエントリによっても参照されない、DPB内の現在のピクチャと同じnuh_layer_idを有する各参照ピクチャは、「参照のために使用されない」としてマークされる。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のILRPエントリごとに、参照されるピクチャは「長期的参照のために使用される」としてマークされる。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のLTRPエントリごとに、参照されるピクチャが、現在のピクチャと同じnuh_layer_idを有するSTRPであるとき、そのピクチャは「長期的参照のために使用される」としてマークされる。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のいかなるエントリによっても参照されない、DPB内の現在のピクチャと同じnuh_layer_idを有する各参照ピクチャは、「参照のために使用されない」としてマークされる。
- RefPicList[ 0 ]またはRefPicList[ 1 ]内のILRPエントリごとに、参照されるピクチャは「長期的参照のために使用される」としてマークされる。
ここで、ILRP(レイヤ間参照ピクチャ)が「長期的参照のために使用される」としてマークされることに留意されたい。
レイヤ間参照情報に関係のある、SPS内の2つのシンタックスがある。
sps_video_parameter_set_idは、0よりも大きいとき、SPSによって参照されるVPSについてのvps_video_parameter_set_idの値を指定する。sps_video_parameter_set_idが0に等しいとき、SPSはVPSを参照せず、SPSを参照する各CVSをデコードするときにVPSは参照されない。
0に等しいlong_term_ref_pics_flagは、CVS内のいかなるコーディングされたピクチャのインター予測のためにもLTRPが使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、CVS内の1つまたは複数のコーディングされたピクチャのインター予測のためにLTRPが使用され得ることを指定する。
0に等しいinter_layer_ref_pics_present_flagは、CVS内のいかなるコーディングされたピクチャのインター予測のためにもILRPが使用されないことを指定する。1に等しいinter_layer_ref_pics_flagは、CVS内の1つまたは複数のコーディングされたピクチャのインター予測のためにILRPが使用され得ることを指定する。sps_video_parameter_set_idが0に等しいとき、inter_layer_ref_pics_present_flagの値は0に等しいと推測される。
簡単な説明は以下の通り。
long_term_ref_pics_flagは、LTRPがデコードプロセスにおいて使用されることが可能であるかどうかを示すために使用される。
inter_layer_ref_pics_present_flagは、ILRPがデコードプロセスにおいて使用されることが可能であるかどうかを示すために使用される。
long_term_ref_pics_flagは、LTRPがデコードプロセスにおいて使用されることが可能であるかどうかを示すために使用される。
inter_layer_ref_pics_present_flagは、ILRPがデコードプロセスにおいて使用されることが可能であるかどうかを示すために使用される。
そのため、inter_layer_ref_pics_present_flagが1に等しいとき、デコードプロセスにおいて使用されるILRPがあり得、それは「長期的参照のために使用される」としてマークされる。この場合、デコードプロセスにおいて使用されるLTRPがあり、long_term_ref_pics_flagさえ0に等しい。そのため、long_term_ref_pics_flagのセマンティックとの矛盾がある。
既存の方法では、レイヤ間参照情報についてのいくつかのシンタックス要素は、現在のレイヤのインデックスを考慮することなく常にシグナリングされる。この発明は、シンタックス要素にいくつかの条件を追加してシグナリング効率を改善することを提案する。
long_term_ref_pics_flagがltrp_in_slice_header_flagおよびst_ref_pic_flagの構文解析を制御するためのみに使用されるので、RPL内で構文解析するフラグの構文解析を制御するためにセマンティックが修正される。
レイヤ間参照情報についてのシンタックス要素は、現在のレイヤのインデックスを考慮してシグナリングされる。情報が現在のレイヤのインデックスによって導出されることが可能であるならば、その情報はシグナリングされることを必要とされない。
long_term_ref_pics_flagがltrp_in_slice_header_flagおよびst_ref_pic_flagの構文解析を制御するためのみに使用されるので、RPL内で構文解析するフラグの構文解析を制御するためにセマンティックが修正される。
レイヤ間参照情報についてのシンタックス要素は、現在のレイヤのインデックスを考慮してシグナリングされる。情報が現在のレイヤのインデックスによって導出されることが可能であるならば、その情報はシグナリングされることを必要とされない。
第1の実施形態(LTRPとILRPの矛盾を除去するためにlong_term_ref_pics_flagのセマンティックを修正する)
long_term_ref_pics_flagがltrp_in_slice_header_flagおよびst_ref_pic_flagの構文解析を制御するためのみに使用されるので、セマンティックは以下のように修正される。
long_term_ref_pics_flagがltrp_in_slice_header_flagおよびst_ref_pic_flagの構文解析を制御するためのみに使用されるので、セマンティックは以下のように修正される。
また、セマンティックは、以下のようにILRPを除外するために修正されることが可能である。
0に等しいlong_term_ref_pics_flagは、CVS内のいかなるコーディングされたピクチャのインター予測のためにもLTRPが使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、CVS内の1つまたは複数のコーディングされたピクチャのインター予測のためにLTRPが使用され得ることを指定する。ここで、LTRPはILRP(レイヤ間参照ピクチャ)を含まない。
第2の実施形態
ここで、iが1に等しいとき、これはレイヤ1が他のレイヤを参照する必要があることを意味することに留意されたい。レイヤ0のみが参照レイヤであることが可能であるが、そのため、vps_direct_dependency_flag[ i ][ j ]はシグナリングされる必要がない。iが1よりも大きいときのみ、vps_direct_dependency_flag[ i ][ j ]はシグナリングされる必要がある。
ここで、iが1に等しいとき、これはレイヤ1が他のレイヤを参照する必要があることを意味することに留意されたい。レイヤ0のみが参照レイヤであることが可能であるが、そのため、vps_direct_dependency_flag[ i ][ j ]はシグナリングされる必要がない。iが1よりも大きいときのみ、vps_direct_dependency_flag[ i ][ j ]はシグナリングされる必要がある。
0に等しいvps_direct_dependency_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤでないことを指定する。1に等しいvps_direct_dependency_flag [ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤのための直接参照レイヤであることを指定する。0からvps_max_layers_minus1の全てを含む範囲内のiおよびjについてvps_direct_dependency_flag[ i ][ j ]が存在しないとき、iが1に等しく、かつvps_independent_layer_flag[ i ]が0に等しいならば、vps_direct_dependency_flag[ i ][ j ]は1に等しいと推測され、そうでなければ、それは0に等しいと推測される。
第3の実施形態
ここで、sps_video_parameter_set_id(SPSレベルシンタックス要素)が0に等しいならば、それは複数のレイヤがないことを意味し、そのため、inter_layer_ref_pics_flag(レイヤ間有効化シンタックス要素)をシグナリングする必要がなく、フラグがデフォルトで0であることに留意されたい。
ここで、sps_video_parameter_set_id(SPSレベルシンタックス要素)が0に等しいならば、それは複数のレイヤがないことを意味し、そのため、inter_layer_ref_pics_flag(レイヤ間有効化シンタックス要素)をシグナリングする必要がなく、フラグがデフォルトで0であることに留意されたい。
ここで、GeneralLayerIdx[ nuh_layer_id ]が0に等しいとき、現在のレイヤが第0のレイヤであり、いかなる他のレイヤも参照することができないことに留意されたい。そのため、inter_layer_ref_pics_present_flagをシグナリングする必要がなく、その値はデフォルトで0である。
上記で述べた両方の場合をコーディングして、別の適用例が以下に表される。
第4の実施形態(冗長情報シグナリングを除去してコーディング効率を改善するために、レイヤ間参照情報が現在のレイヤのインデックスを考慮してシグナリングされる)
ここで、GeneralLayerIdx[ nuh_layer_id ]が1に等しいとき、現在のレイヤがレイヤ1であり、レイヤ0を参照することができるのみであるが、レイヤ0のilrp_idcが0でなければならないことに留意されたい。そのため、この場合にはilrp_idcをシグナリングする必要がない。
ここで、GeneralLayerIdx[ nuh_layer_id ]が1に等しいとき、現在のレイヤがレイヤ1であり、レイヤ0を参照することができるのみであるが、レイヤ0のilrp_idcが0でなければならないことに留意されたい。そのため、この場合にはilrp_idcをシグナリングする必要がない。
ilrp_idc[ listIdx ][ rplsIdx ][ i ]は、直接依存するレイヤのリストへのref_pic_list_struct( listIdx, rplsIdx )シンタックス構造の中の第iのエントリのILRPの、直接依存するレイヤのリストへのインデックスを指定する。ilrp_idc[ listIdx ][ rplsIdx ][ i ]の値は、0からGeneralLayerIdx[ nuh_layer_id ] - 1の全てを含む範囲内にあるものとする。GeneralLayerIdx[ nuh_layer_id ]が1に等しいとき、ilrp_idc[ listIdx ][ rplsIdx ][ i ]の値は0に等しいと推測される。
第5の実施形態
ここで、実施形態、すなわち、実施形態1から実施形態4の一部またはすべてが、新たな実施形態を形成するために組み合わせられることが可能であることに留意されたい。
ここで、実施形態、すなわち、実施形態1から実施形態4の一部またはすべてが、新たな実施形態を形成するために組み合わせられることが可能であることに留意されたい。
たとえば、実施形態1+実施形態2+実施形態3+実施形態4、または実施形態2+実施形態3+実施形態4、または他の組み合わせ。
以下は、エンコード方法、並びに上記で述べた実施形態に表されたようなデコード方法、およびそれらを使用するシステムの適用の説明である。
図7は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を表すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、オプションでディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104上で端末デバイス3106と通信する。通信リンクは、上記で説明された通信チャネル13を含んでよい。通信リンク3104は、WIFI、Ethernet、ケーブル、無線(3G/4G/5G)、USB、またはそれらの任意の種類の組み合わせ、または同様のものを含むが、それらに限定されない。
キャプチャデバイス3102は、データを生成し、上記の実施形態に表されたようなエンコード方法によってデータをエンコードし得る。代替として、キャプチャデバイス3102は、ストリーミングサーバ(図に表されていない)にデータを配信してよく、サーバは、データをエンコードし、エンコードされたデータを端末デバイス3106へ伝送する。キャプチャデバイス3102は、カメラ、スマートフォンまたはパッド、コンピュータまたはラップトップ、ビデオ会議システム、PDA、車両搭載型デバイス、またはそれらのいずれかの組み合わせ、または同様のものを含むが、それらに限定されない。例えば、キャプチャデバイス3102は、上記で説明されたようなソースデバイス12を含んでよい。データがビデオを含むとき、キャプチャデバイス3102内に含まれるビデオエンコーダ20が、実際にビデオエンコード処理を実行し得る。データがオーディオ(すなわち、音声)を含むとき、キャプチャデバイス3102内に含まれるオーディオエンコーダが、実際にオーディオエンコード処理を実行し得る。いくつかの実際的なシナリオについて、キャプチャデバイス3102は、エンコードされたビデオおよびオーディオデータを、それらを一緒に多重化することによって配信する。他の実際的なシナリオについて、例えば、ビデオ会議システムでは、エンコードされたオーディオデータおよびエンコードされたビデオデータは多重化されない。キャプチャデバイス3102は、エンコードされたオーディオデータおよびエンコードされたビデオデータを端末デバイス3106に別々に配信する。
コンテンツ供給システム3100において、端末デバイス310は、エンコードされたデータを受信および再生する。端末デバイス3106は、上記で述べたエンコードされたデータをデコードすることが可能な、スマートフォンまたはパッド3108、コンピュータまたはラップトップ3110、ネットワークビデオレコーダ(network video recorder(NVR))／デジタルビデオレコーダ(digital video recorder(DVR))3112、TV 3114、セットトップボックス(set top box(STB))3116、ビデオ会議システム3118、ビデオ監視システム3120、パーソナルデジタルアシスタント(personal digital assistant(PDA))3122、車両搭載型デバイス3124、またはそれらのいずれかの組み合わせ、または同様のもののような、データ受信および復元能力を有するデバイスであることが可能である。例えば、端末デバイス3106は、上記で説明されたような宛先デバイス14を含んでよい。エンコードされたデータがビデオを含むとき、端末デバイス内に含まれるビデオデコーダ30は、ビデオデコードを実行するように優先順位付けされる。エンコードされたデータがオーディオを含むとき、端末デバイス内に含まれるオーディオデコーダは、オーディオデコード処理を実行するように優先順位付けされる。
そのディスプレイを有する端末デバイス、例えば、スマートフォンまたはパッド3108、コンピュータまたはラップトップ3110、ネットワークビデオレコーダ(NVR)／デジタルビデオレコーダ(DVR)3112、TV 3114、パーソナルデジタルアシスタント(PDA)3122、または車両搭載型デバイス3124に対して、端末デバイスは、そのディスプレイにデコードされたデータを供給することができる。ディスプレイが装備されていない端末デバイス、例えば、STB 3116、ビデオ会議システム3118、またはビデオ監視システム3120に対して、デコードされたデータを受信および表示するために外部ディスプレイ3126がそこに接触される。
このシステム内の各デバイスがエンコードまたはデコードを実行するとき、上記で述べた実施形態に表されたように、ピクチャエンコードデバイスまたはピクチャデコードデバイスが使用されることが可能である。
図8は、端末デバイス3106の一例の構造を表す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後、プロトコル進行ユニット3202がストリームの伝送プロトコルを分析する。プロトコルは、リアルタイム・ストリーミング・プロトコル(Real Time Streaming Protocol(RTSP))、ハイパーテキスト転送プロトコル(Hyper Text Transfer Protocol(HTTP))、HTTPライブ・ストリーミング・プロトコル(HTTP Live streaming protocol(HLS))、MPEG-DASH、リアルタイム・トランスポート・プロトコル(Real-time Transport protocol(RTP))、リアルタイム・メッセージング・プロトコル(Real Time Messaging Protocol(RTMP))、またはそれらの任意の種類の組み合わせ、または同様のものを含むが、それらに限定されない。
プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは逆多重化ユニット3204に出力される。逆多重化ユニット3204は、多重化されたデータをエンコードされたオーディオデータおよびエンコードされたビデオデータに分離することができる。上記で説明されたように、いくつかの実際的なシナリオについて、例えば、ビデオ会議システムでは、エンコードされたオーディオデータおよびエンコードされたビデオデータは多重化されない。この状況では、エンコードされたデータは、逆多重化ユニット3204を通すことなくビデオデコーダ3206およびオーディオデコーダ3208へ伝送される。
逆多重化処理を介して、ビデオエレメンタリストリーム(elementary stream(ES))、オーディオES、およびオプションでサブタイトルが生成される。上記で述べた実施形態で説明されたようなビデオデコーダ30を含むビデオデコーダ3206は、上記で述べた実施形態に表されたようなデコード方法によってビデオESをデコードしてビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESをデコードしてオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替として、ビデオフレームは、それを同期ユニット3212に供給する前にバッファ(図8に表されていない)に記憶し得る。同様に、オーディオフレームは、それを同期ユニット3212に供給する前にバッファ(図8に表されていない)に記憶し得る。
同期ユニット3212は、ビデオフレームとオーディオフレームを同期させ、ビデオ／オーディオをビデオ／オーディオディスプレイ3214に供給する。例えば、同期ユニット3212は、ビデオおよびオーディオ情報の提示を同期させる。情報は、コーディングされたオーディオおよびビジュアルデータの提示に関係するタイムスタンプ、およびデータストリーム自体の配信に関係するタイムスタンプを使用してシンタックス内にコーディングし得る。
ストリーム内にサブタイトルが含まれるならば、サブタイトルデコーダ3210が、サブタイトルをデコードし、それをビデオフレームおよびオーディオフレームと同期させ、ビデオ／オーディオ／サブタイトルをビデオ／オーディオ／サブタイトルディスプレイ3216に供給する。
本発明は上記で述べたシステムに限定されず、上記で述べた実施形態におけるピクチャエンコードデバイスまたはピクチャデコードデバイスのいずれかは、他のシステム、例えば、自動車システムの中に組み込まれることが可能である。
数学演算子
この出願において使用される数学演算子は、Cプログラミング言語において使用されるものと類似である。しかし、整数除算および算術シフト演算の結果がより精密に定義され、べき乗および実数値除算のような追加の演算が定義される。番号付けおよび計数の規約は、一般に、0から始まり、例えば、「第1」が0番目と等価であり、「第2」が1番目と等価である、などである。
この出願において使用される数学演算子は、Cプログラミング言語において使用されるものと類似である。しかし、整数除算および算術シフト演算の結果がより精密に定義され、べき乗および実数値除算のような追加の演算が定義される。番号付けおよび計数の規約は、一般に、0から始まり、例えば、「第1」が0番目と等価であり、「第2」が1番目と等価である、などである。
算術演算子
以下の算術演算子は以下のように定義される。
+ 加算。
- 減算(2つの引数の演算子として)または符号反転(単項前置演算子として)。
* 乗算、行列乗算を含む。
xy べき乗。xのy乗を指定する。他の文脈では、そのような表記法は、べき乗としての解釈のために意図されない上付き文字にするために使用される。
/ 結果の0への切り捨てを伴う整数除算。例えば、7/4および-7/-4は1に切り捨てられ、-7/4および7/-4は-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない、数式における除算を表記するために使用される。
以下の算術演算子は以下のように定義される。
+ 加算。
- 減算(2つの引数の演算子として)または符号反転(単項前置演算子として)。
* 乗算、行列乗算を含む。
xy べき乗。xのy乗を指定する。他の文脈では、そのような表記法は、べき乗としての解釈のために意図されない上付き文字にするために使用される。
/ 結果の0への切り捨てを伴う整数除算。例えば、7/4および-7/-4は1に切り捨てられ、-7/4および7/-4は-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない、数式における除算を表記するために使用される。
切り捨てまたは丸めが意図されない、数式における除算を表記するために使用される。
iがxからyまで、かつyを含む全ての整数値をとる、f(i)の合計。
x % y 法。x>=0かつy>0となる整数xおよびyのみについて定義される、xをyで除算した剰余。
x % y 法。x>=0かつy>0となる整数xおよびyのみについて定義される、xをyで除算した剰余。
論理演算子
以下の論理演算子は以下のように定義される。
x && y xとyのブール論理の「論理積」。
x || y xとyのブール論理の「論理和」。
! ブール論理の「否定」。
x ? y : z xがTRUE、すなわち0に等しくないならば、yの値に評価し、そうでなければ、zの値に評価する。
以下の論理演算子は以下のように定義される。
x && y xとyのブール論理の「論理積」。
x || y xとyのブール論理の「論理和」。
! ブール論理の「否定」。
x ? y : z xがTRUE、すなわち0に等しくないならば、yの値に評価し、そうでなければ、zの値に評価する。
関係演算子
以下の関係演算子は以下のように定義される。
> よりも大きい。
>= 以上。
< よりも小さい。
<= 以下。
== 等しい。
!= 等しくない。
以下の関係演算子は以下のように定義される。
> よりも大きい。
>= 以上。
< よりも小さい。
<= 以下。
== 等しい。
!= 等しくない。
値「na」(適用可能でない)が割り当てられているシンタックス要素または変数に関係演算子が適用されるとき、値「na」は、そのシンタックス要素または変数について特別な値として扱われる。値「na」は、いかなる他の値にも等しくないと見なされる。
ビット単位演算子
以下のビット単位演算子は以下のように定義される。
& ビット単位の「論理積」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
| ビット単位の「論理和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
^ ビット単位の「排他的論理和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
x >> y xの2の補数整数表現の、2進数のy桁だけの算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(most significant bit(MSB))にシフトされるビットは、そのシフト演算の前のxのMSBに等しい値を有する。
x << y xの2の補数整数表現の、2進数のy桁だけの算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(least significant bit(LSB))にシフトされるビットは、0に等しい値を有する。
以下のビット単位演算子は以下のように定義される。
& ビット単位の「論理積」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
| ビット単位の「論理和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
^ ビット単位の「排他的論理和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。別の引数よりも少ないビットを含む2進数の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することによって拡張される。
x >> y xの2の補数整数表現の、2進数のy桁だけの算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(most significant bit(MSB))にシフトされるビットは、そのシフト演算の前のxのMSBに等しい値を有する。
x << y xの2の補数整数表現の、2進数のy桁だけの算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(least significant bit(LSB))にシフトされるビットは、0に等しい値を有する。
割当て演算子
以下の算術演算子は以下のように定義される。
= 割当て演算子。
++ インクリメント、すなわち、x++はx = x + 1と等価であり、アレイインデックスにおいて使用されるとき、インクリメント演算の前の変数の値に評価する。
-- デクリメント、すなわち、x--はx = x - 1と等価であり、アレイインデックスにおいて使用されるとき、デクリメント演算の前の変数の値に評価する。
+= 指定された量だけのインクリメント、すなわち、x += 3はx = x + 3と等価でありx += (-3)はx = x + (-3)と等価である。
-= 指定された量だけのデクリメント、すなわち、x -= 3はx = x - 3と等価であり、x -= (-3)はx = x - (-3)と等価である。
以下の算術演算子は以下のように定義される。
= 割当て演算子。
++ インクリメント、すなわち、x++はx = x + 1と等価であり、アレイインデックスにおいて使用されるとき、インクリメント演算の前の変数の値に評価する。
-- デクリメント、すなわち、x--はx = x - 1と等価であり、アレイインデックスにおいて使用されるとき、デクリメント演算の前の変数の値に評価する。
+= 指定された量だけのインクリメント、すなわち、x += 3はx = x + 3と等価でありx += (-3)はx = x + (-3)と等価である。
-= 指定された量だけのデクリメント、すなわち、x -= 3はx = x - 3と等価であり、x -= (-3)はx = x - (-3)と等価である。
範囲表記法
値の範囲を指定するために以下の表記法が使用される。
x=y..z xは、yから始まりzまでの両端を含む整数値をとり、x、y、およびzは整数であり、zはyよりも大きい。
値の範囲を指定するために以下の表記法が使用される。
x=y..z xは、yから始まりzまでの両端を含む整数値をとり、x、y、およびzは整数であり、zはyよりも大きい。
数学関数
以下の数学関数が定義される。
以下の数学関数が定義される。
Asin(x) -1.0から1.0までの両端を含む範囲内にある引数xに対して演算し、ラジアンの単位での-π÷2からπ÷2までの両端を含む範囲内の出力値を有する、三角法の逆正弦関数。
Atan(x) 引数xに対して演算し、ラジアンの単位での-π÷2からπ÷2までの両端を含む範囲内の出力値を有する、三角法の逆正接関数。
Atan(x) 引数xに対して演算し、ラジアンの単位での-π÷2からπ÷2までの両端を含む範囲内の出力値を有する、三角法の逆正接関数。
Ceil(x) x以上の最小の整数。
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Cos(x) ラジアンの単位での引数xに対して演算する、三角法の余弦関数。
Floor(x) x以下の最大の整数。
Floor(x) x以下の最大の整数。
Ln(x) xの自然対数(eを底とする対数、ここで、eは自然対数の底定数2.718 281 828...である)。
Log2(x) 2を底とするxの対数。
Log10(x) 10を底とするxの対数。
Log2(x) 2を底とするxの対数。
Log10(x) 10を底とするxの対数。
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
Sin(x) ラジアンの単位での引数xに対して演算する、三角法の正弦関数。
Swap( x, y ) = ( y, x )
Tan(x) ラジアンの単位での引数xに対して演算する、三角法の正接関数。
Tan(x) ラジアンの単位での引数xに対して演算する、三角法の正接関数。
演算優先順位の順序
式における優先順位の順序が括弧の使用によって明示的には示されないとき、以下の規則が適用される。
- より高い優先順位の演算は、より低い優先順位の任意の演算の前に評価される。
- 同じ優先順位の演算は、左から右へ順次に評価される。
式における優先順位の順序が括弧の使用によって明示的には示されないとき、以下の規則が適用される。
- より高い優先順位の演算は、より低い優先順位の任意の演算の前に評価される。
- 同じ優先順位の演算は、左から右へ順次に評価される。
以下の表は、最高から最低までの演算の優先順位を指定し、表内のより高い位置がより高い優先順位を示す。
Cプログラミング言語においても使用されるそれらの演算子について、この明細書において使用される優先順位の順序は、Cプログラミング言語において使用されるのと同じである。
論理演算の本文記述
本文の中で、以下の形式で数学的に記述されることになるような論理演算のステートメント、すなわち、
if(条件0)
ステートメント0
else if(条件1)
ステートメント1
...
else /* 残りの条件における説明的な注釈 */
ステートメントn
は、以下の形態で説明され得る。
...以下のように／...以下が適用される
- 条件0ならば、ステートメント0
- そうでなく、条件1ならば、ステートメント1
- ...
- そうでなければ(残りの条件における説明的な注釈)、ステートメントn。
本文の中で、以下の形式で数学的に記述されることになるような論理演算のステートメント、すなわち、
if(条件0)
ステートメント0
else if(条件1)
ステートメント1
...
else /* 残りの条件における説明的な注釈 */
ステートメントn
は、以下の形態で説明され得る。
...以下のように／...以下が適用される
- 条件0ならば、ステートメント0
- そうでなく、条件1ならば、ステートメント1
- ...
- そうでなければ(残りの条件における説明的な注釈)、ステートメントn。
本文の中の各々の「...ならば、そうでなく...ならば、そうでなければ...」のステートメントは、その直後に「...ならば」が来る、「...以下のように」または「...以下が適用される」を用いて導入される。「...ならば、そうでなく...ならば、そうでなければ...」の最後の条件は、常に「そうでなければ...」である。交互に配置された「...ならば、そうでなく...ならば、そうでなければ...」のステートメントは、「...以下のように」または「...以下が適用される」を、終わりの「そうでなければ...」に整合させることによって識別されることが可能である。
本文の中で、以下の形式で数学的に記述されることになるような論理演算のステートメント、すなわち、
if(条件0a && 条件0b)
ステートメント0
else if(条件1a || 条件1b)
ステートメント1
...
else
ステートメントn
は、以下の形態で説明され得る。
...以下のように／...以下が適用される
- 以下の条件の全てが真であるならば、ステートメント0:
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つまたは複数が真であるならば、ステートメント1:
- 条件1a
- 条件1b
- ...
- そうでなければ、ステートメントn
if(条件0a && 条件0b)
ステートメント0
else if(条件1a || 条件1b)
ステートメント1
...
else
ステートメントn
は、以下の形態で説明され得る。
...以下のように／...以下が適用される
- 以下の条件の全てが真であるならば、ステートメント0:
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つまたは複数が真であるならば、ステートメント1:
- 条件1a
- 条件1b
- ...
- そうでなければ、ステートメントn
本文の中で、以下の形式で数学的に記述されることになるような論理演算のステートメント、すなわち、
if(条件0)
ステートメント0
if(条件1)
ステートメント1
は、以下の形態で説明され得る。
条件0のとき、ステートメント0
条件1のとき、ステートメント1。
if(条件0)
ステートメント0
if(条件1)
ステートメント1
は、以下の形態で説明され得る。
条件0のとき、ステートメント0
条件1のとき、ステートメント1。
発明の実施形態はビデオコーディングに基づいて主として説明されているが、コーディングシステム10、エンコーダ20、およびデコーダ30(および、それに対応してシステム10)の実施形態およびここで説明される他の実施形態は、また、静止ピクチャ処理またはコーディング、すなわち、ビデオコーディングにおけるような任意の先行するまたは連続するピクチャから独立した個々のピクチャの処理またはコーディングのために構成されてよいことが留意されるべきである。一般に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合には、インター予測ユニット244(エンコーダ)および344(デコーダ)のみは利用可能でなくてよい。ビデオエンコーダ20およびビデオデコーダ30のすべての他の機能(ツールまたは技術とも呼ばれる)、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分262/362、イントラ予測254/354、および／またはループフィルタ処理220、320、ならびにエントロピーコーディング270およびエントロピーデコード304は、静止ピクチャ処理のために等しく使用され得る。
例えば、エンコーダ20およびデコーダ30の実施形態、および、例えば、エンコーダ20およびデコーダ30を参照してここで説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現され得る。ソフトウェアで実現されるならば、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体において記憶され、または通信媒体上で伝送され、ハードウェアを基にした処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、1つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでよい。この形態において、コンピュータ可読媒体は、一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、この開示において説明される技法の実装のための命令、コード、および／またはデータ構造を取り出すために、1つまたは複数のコンピュータまたは1つまたは複数のプロセッサによってアクセスされることが可能である任意の利用可能な媒体であってよい。コンピュータプログラム製品がコンピュータ可読媒体を含んでよい。
特に、図9に例示されたようにデコーダ内で実現される、コーディングされたビデオビットストリームをデコードする方法が提供され、方法は以下を備える。S901、ビットストリームからシーケンスパラメータセット(SPS)レベルシンタックス要素を取得することであって、SPSレベルシンタックス要素が予め設定された値に等しいことが、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定する。S902、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定するレイヤ間有効化シンタックス要素を取得すること、およびS903、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測すること。
同様に、図10に例示されたようにエンコーダ内で実現されるための、コーディングされたデータを備えるビデオビットストリームをエンコードする方法が提供され、方法は以下を備える。S1001、シーケンスパラメータセット(SPS)レベルシンタックス要素をビットストリームにエンコードすることであって、予め設定された値に等しいSPSレベルシンタックス要素が、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定し、S1003、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、レイヤ間有効化シンタックス要素をビットストリームにエンコードすることであって、レイヤ間有効化シンタックス要素が、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定する。
さらに、方法は、S1002、SPSレベルシンタックス要素が予め設定された値よりも大きいかどうかを決定することをさらに備えてよい。
図11は、複数のピクチャについてのコーディングされたデータを備えるビデオビットストリームをデコードするために構成されたデコーダ1100を例示する。表された例によるデコーダ1100は、ビットストリームからシーケンスパラメータセット(SPS)レベルシンタックス要素を取得するように構成された取得ユニット1110であって、SPSレベルシンタックス要素が予め設定された値に等しいことが、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定し、取得ユニット1110が、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定するレイヤ間有効化シンタックス要素を取得するようにさらに構成される、取得ユニット1110と、レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するように構成された予測ユニット1120とを備える。
ここにおいて、取得ユニットはエントロピーデコードユニット304であってよい。予測ユニット1120はインター予測ユニット344であってよい。デコーダ1100は、宛先デバイス14、デコーダ30、装置500、ビデオデコーダ3206、または端末デバイス3106であってよい。
同様に、図12に例示されたように複数のピクチャについてのコーディングされたデータを備えるビデオビットストリームをエンコードするために構成されたエンコーダ1200が提供される。エンコーダ1200は、シーケンスパラメータセット(SPS)レベルシンタックス要素をビットストリームにエンコードするように構成された第1のエンコードユニット1210であって、予め設定された値に等しいSPSレベルシンタックス要素が、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、予め設定された値よりも大きいSPSレベルシンタックス要素が、SPSがVPSを参照することを指定する、第1のエンコードユニット1210と、SPSレベルシンタックス要素が予め設定された値よりも大きいとき、レイヤ間有効化シンタックス要素をビットストリームにエンコードするように構成された第2のエンコードユニット1220であって、レイヤ間有効化シンタックス要素が、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定する、第2のエンコードユニット1220とを備える。
第4の態様それ自体による方法の可能な一実装形式では、エンコーダは、SPSレベルシンタックス要素が予め設定された値よりも大きいかどうかを決定するように構成された決定ユニットをさらに備える。
ここにおいて、第1のエンコードユニット1210および第2のエンコードユニット1220はエントロピーエンコードユニット270であってよい。決定ユニットはモード選択ユニット260であってよい。エンコーダ1200は、ソースデバイス12、エンコーダ20、または装置500であってよい。
例として、かつ限定せず、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスク記憶、磁気ディスク記憶、または他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意の他の媒体を備えることができる。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(digital subscriber line(DSL))、または赤外線、無線、およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、または他のリモートソースから伝送されるならば、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のような無線技術は、媒体の定義の中に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることが理解されるべきである。ここで使用されるようなディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、一方、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路または個別論理回路のような1つまたは複数のプロセッサによって実行され得る。従って、ここで使用されるような用語「プロセッサ」は、上記の構造またはここで説明される技法の実装のために適した任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、ここで説明される機能は、エンコードおよびデコードするために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で提供され、または組み合わせられたコーデック内に組み込まれ得る。また、技法は、1つまたは複数の回路または論理要素内で十分に実現されることが可能である。
この開示の技法は、無線ハンドセット、集積回路(IC)、またはICのセット(例えば、チップセット)を含む、広く様々なデバイスまたは装置内で実現され得る。様々な構成要素、モジュール、またはユニットは、開示される技法を実行するように構成されたデバイスの機能的態様を強調するためにこの開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも要求しない。むしろ、上記で説明されたように、様々なユニットが、コーデックハードウェアユニット内で組み合わせられ、または上記で説明されたような1つまたは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって、適したソフトウェアおよび／またはファームウェアとともに提供されてよい。
10 ビデオコーディングシステム
12 ソースデバイス
13 通信チャネル
14 宛先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、未加工ピクチャ、未加工ピクチャデータ
18 プリプロセッサ、前処理ユニット
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ
21 エンコードされたピクチャデータ
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 ビデオデコーダ、ショートデコーダ
31 デコードされたピクチャ、デコードされたピクチャデータ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャ、後処理されたピクチャデータ
34 ディスプレイデバイス
46 処理回路
201 入力、入力インターフェース
203 ピクチャブロック
204 残差計算ユニット
205 残差ブロック、残差
206 変換処理ユニット
207 変換係数
208 量子化ユニット
209 量子化された係数、量子化変換係数、量子化残差係数
210 逆量子化ユニット
211 量子化解除された係数、量子化解除された残差係数
212 逆変換処理ユニット
213 再構成された残差ブロック、対応する量子化解除された係数、変換ブロック
214 再構成ユニット
215 再構成されたブロック
220 ループフィルタユニット
221 フィルタ処理されたブロック、フィルタ処理された再構成されたブロック
230 デコードされたピクチャバッファ
231 デコードされたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット
260 モード選択ユニット
262 区分ユニット
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピーエンコードユニット
272 出力、出力インターフェース
304 エントロピーデコードユニット
309 量子化された係数
310 逆量子化ユニット
311 変換係数、量子化解除された係数
312 逆変換処理ユニット
313 再構成された残差ブロック、変換ブロック
314 再構成ユニット、加算器
315 再構成されたブロック
320 ループフィルタユニット
321 フィルタ処理されたブロック、ピクチャのデコードされたビデオブロック
330 デコードされたピクチャバッファ(DPB)
331 デコードされたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット
360 モード適用ユニット
365 予測ブロック
400 ビデオコーディングデバイス
410 入口ポート、入力ポート
420 受信機ユニット
430 プロセッサ、論理ユニット、中央処理ユニット
440 送信機ユニット
450 出口ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 コードおよびデータ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 2次ストレージ
518 ディスプレイ
1100 デコーダ
1110 取得ユニット
1120 予測ユニット
1200 エンコーダ
1210 第1のエンコードユニット
1220 第2のエンコードユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン／パッド
3110 コンピュータ／ラップトップ
3112 ネットワークビデオレコーダ／デジタルビデオレコーダ
3114 TV
3116 セットトップボックス
3118 ビデオ会議システム
3120 ビデオ監視システム
3122 携帯情報端末
3124 車両搭載型デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重化解除ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 サブタイトルデコーダ
3212 同期ユニット
3214 ビデオ／オーディオディスプレイ
3216 ビデオ／オーディオ／サブタイトルディスプレイ
12 ソースデバイス
13 通信チャネル
14 宛先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、未加工ピクチャ、未加工ピクチャデータ
18 プリプロセッサ、前処理ユニット
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ
21 エンコードされたピクチャデータ
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 ビデオデコーダ、ショートデコーダ
31 デコードされたピクチャ、デコードされたピクチャデータ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャ、後処理されたピクチャデータ
34 ディスプレイデバイス
46 処理回路
201 入力、入力インターフェース
203 ピクチャブロック
204 残差計算ユニット
205 残差ブロック、残差
206 変換処理ユニット
207 変換係数
208 量子化ユニット
209 量子化された係数、量子化変換係数、量子化残差係数
210 逆量子化ユニット
211 量子化解除された係数、量子化解除された残差係数
212 逆変換処理ユニット
213 再構成された残差ブロック、対応する量子化解除された係数、変換ブロック
214 再構成ユニット
215 再構成されたブロック
220 ループフィルタユニット
221 フィルタ処理されたブロック、フィルタ処理された再構成されたブロック
230 デコードされたピクチャバッファ
231 デコードされたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット
260 モード選択ユニット
262 区分ユニット
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピーエンコードユニット
272 出力、出力インターフェース
304 エントロピーデコードユニット
309 量子化された係数
310 逆量子化ユニット
311 変換係数、量子化解除された係数
312 逆変換処理ユニット
313 再構成された残差ブロック、変換ブロック
314 再構成ユニット、加算器
315 再構成されたブロック
320 ループフィルタユニット
321 フィルタ処理されたブロック、ピクチャのデコードされたビデオブロック
330 デコードされたピクチャバッファ(DPB)
331 デコードされたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット
360 モード適用ユニット
365 予測ブロック
400 ビデオコーディングデバイス
410 入口ポート、入力ポート
420 受信機ユニット
430 プロセッサ、論理ユニット、中央処理ユニット
440 送信機ユニット
450 出口ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 コードおよびデータ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 2次ストレージ
518 ディスプレイ
1100 デコーダ
1110 取得ユニット
1120 予測ユニット
1200 エンコーダ
1210 第1のエンコードユニット
1220 第2のエンコードユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン／パッド
3110 コンピュータ／ラップトップ
3112 ネットワークビデオレコーダ／デジタルビデオレコーダ
3114 TV
3116 セットトップボックス
3118 ビデオ会議システム
3120 ビデオ監視システム
3122 携帯情報端末
3124 車両搭載型デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重化解除ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 サブタイトルデコーダ
3212 同期ユニット
3214 ビデオ／オーディオディスプレイ
3216 ビデオ／オーディオ／サブタイトルディスプレイ
Claims (20)
- コーディングされたビデオビットストリームをデコードする方法であって、
前記ビットストリームからシーケンスパラメータセット(SPS)レベルシンタックス要素を取得するステップであって、前記SPSレベルシンタックス要素が、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定する予め設定された値に等しく、前記予め設定された値よりも大きい前記SPSレベルシンタックス要素は、前記SPSがVPSを参照することを指定する、ステップと、
前記SPSレベルシンタックス要素が前記予め設定された値よりも大きいとき、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定するレイヤ間有効化シンタックス要素を前記ビットストリームから取得するステップであって、前記SPSレベルシンタックス要素が前記予め設定された値に等しいとき、前記レイヤ間有効化シンタックス要素は前記ビットストリームに存在せず、前記レイヤ間有効化シンタックス要素の値が０に等しいと推論されるステップと、
前記レイヤ間有効化シンタックス要素の値に基づいて1つまたは複数のコーディングされたピクチャを予測するステップと
を備える方法。 - 前記VPSが、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、前記SPSが、前記SPSレベルシンタックス要素および前記レイヤ間有効化シンタックス要素を備え、前記CVSが、前記1つまたは複数のILRPおよび前記1つまたは複数のコーディングされたピクチャを備える、請求項1に記載の方法。
- 前記レイヤ間有効化シンタックス要素の前記値に基づいて1つまたは複数のコーディングされたピクチャを前記予測するステップが、1つまたは複数のレイヤ間参照ピクチャ(ILRP)を指定するレイヤ間有効化シンタックス要素の前記値が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるとき、前記1つまたは複数のILRPを参照することによって前記1つまたは複数のコーディングされたピクチャを予測するステップを備え、前記1つまたは複数のILRPが、前記SPSによって参照される前記VPSに含まれる前記レイヤ間予測情報に基づいて取得される、請求項2に記載の方法。
- コーディングされたピクチャおよび前記コーディングされたピクチャの前記ILRPが、異なるレイヤに属する、請求項1から3のいずれか一項に記載の方法。
- 予め設定された値に等しい前記SPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する、請求項1から4のいずれか一項に記載の方法。
- 前記予め設定された値が0である、請求項1から5のいずれか一項に記載の方法。
- 前記レイヤ間有効化シンタックス要素の前記値に基づいて前記1つまたは複数のコーディングされたピクチャを前記予測するステップが、
前記レイヤ間有効化シンタックス要素の前記値が、前記1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定する場合には、いかなるILRPも参照することなく前記1つまたは複数のコーディングされたピクチャを予測するステップを備える、請求項1から6のいずれか一項に記載の方法。 - コーディングされたビデオビットストリームをエンコードする方法であって、
シーケンスパラメータセット(SPS)レベルシンタックス要素を前記ビットストリームにエンコードするステップであって、予め設定された値に等しい前記SPSレベルシンタックス要素は、ビデオパラメータセット(VPS)がSPSによって参照されないことを指定し、前記予め設定された値よりも大きい前記SPSレベルシンタックス要素は、前記SPSがVPSを参照することを指定する、ステップと、
前記SPSレベルシンタックス要素が前記予め設定された値よりも大きいとき、レイヤ間有効化シンタックス要素を前記ビットストリームにエンコードするステップであって、前記レイヤ間有効化シンタックス要素は、1つまたは複数のレイヤ間参照ピクチャ(ILRP)が1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されるかどうかを指定し、前記SPSレベルシンタックス要素が前記予め設定された値に等しいとき、前記レイヤ間有効化シンタックス要素は前記ビットストリームに存在せず、前記レイヤ間有効化シンタックス要素の値が０に等しいと推論されるステップと
を備える方法。 - 前記VPSが、コーディングされたビデオシーケンス(CVS)内のレイヤのレイヤ間予測情報を記述するシンタックス要素を備え、前記SPSが、前記SPSレベルシンタックス要素および前記レイヤ間有効化シンタックス要素を備え、前記CVSが、前記1つまたは複数のILRPおよび前記1つまたは複数のコーディングされたピクチャを備える、請求項8に記載の方法。
- コーディングされたピクチャおよび前記コーディングされたピクチャの前記ILRPが、異なるレイヤに属する、請求項8または9に記載の方法。
- 予め設定された値に等しい前記SPSレベルシンタックス要素は、コーディングされたビデオシーケンス(CVS)が1つのみのレイヤのコーディングされたピクチャを備えることをさらに指定する、請求項8から10のいずれか一項に記載の方法。
- 前記予め設定された値が0である、請求項8から11のいずれか一項に記載の方法。
- 前記レイヤ間有効化シンタックス要素を前記ビットストリームにエンコードするステップが、前記1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを決定することに基づいて、前記1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されるように有効化されることを指定する前記レイヤ間有効化シンタックス要素を前記ビットストリームにエンコードするステップを備える、請求項8から12のいずれか一項に記載の方法。
- 前記レイヤ間有効化シンタックス要素を前記ビットストリームにエンコードするステップが、前記1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを決定することに基づいて、前記1つまたは複数のILRPが1つまたは複数のコーディングされたピクチャのインター予測のために使用されないことを指定する前記レイヤ間有効化シンタックス要素を前記ビットストリームにエンコードするステップを備える、請求項8から12のいずれか一項に記載の方法。
- 請求項1から7のいずれか一項に記載の方法を実行するための処理回路を備えるデコードデバイス(30)。
- 請求項8から14のいずれか一項に記載の方法を実行するための処理回路を備えるエンコードデバイス(20)。
- 請求項1から14のいずれか一項に記載の方法を実行するためのプログラムコードを備えるコンピュータプログラム。
- デコードデバイスであって、
1つまたは複数のプロセッサと、
前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体とを備え、前記プログラミングが、前記プロセッサによって実行されたとき、請求項1から7のいずれか一項に記載の方法を実行するように前記デコードデバイスを構成する、デコードデバイス。 - エンコードデバイスであって、
1つまたは複数のプロセッサと、
前記プロセッサに結合され、前記プロセッサによる実行のためのプログラミングを記憶する非一時的コンピュータ可読記憶媒体とを備え、前記プログラミングが、前記プロセッサによって実行されたとき、請求項8から14のいずれか一項に記載の方法を実行するように前記エンコードデバイスを構成する、エンコードデバイス。 - コンピュータデバイスによって実行されたとき、請求項1から14のいずれか一項に記載の方法を前記コンピュータデバイスに実行させるプログラムコードを担持する、非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019107594 | 2019-09-24 | ||
| CNPCT/CN2019/107594 | 2019-09-24 | ||
| PCT/CN2020/117557 WO2021057869A1 (en) | 2019-09-24 | 2020-09-24 | An encoder, a decoder and corresponding methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022550322A JP2022550322A (ja) | 2022-12-01 |
| JP7483869B2 true JP7483869B2 (ja) | 2024-05-15 |
Family
ID=75166778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022519007A Active JP7483869B2 (ja) | 2019-09-24 | 2020-09-24 | エンコーダ、デコーダ、および対応する方法 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US11412215B2 (ja) |
| EP (1) | EP4026337A4 (ja) |
| JP (1) | JP7483869B2 (ja) |
| KR (1) | KR20220065040A (ja) |
| CN (2) | CN115209153B (ja) |
| AU (1) | AU2020352952A1 (ja) |
| BR (1) | BR112022005469A2 (ja) |
| CA (1) | CA3152464C (ja) |
| MX (1) | MX2022003556A (ja) |
| WO (1) | WO2021057869A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220070325A (ko) * | 2019-10-07 | 2022-05-30 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 서브 비트스트림 추출의 sps 오류 방지 |
| KR20220120566A (ko) | 2019-12-26 | 2022-08-30 | 바이트댄스 아이엔씨 | 비디오 비트스트림들에서의 가상 참조 디코더 파라미터들의 시그널링에 대한 제약들 |
| CN114868399A (zh) | 2019-12-26 | 2022-08-05 | 字节跳动有限公司 | 条带类型和视频层的信令通知 |
| WO2021134054A1 (en) | 2019-12-27 | 2021-07-01 | Bytedance Inc. | Subpicture signaling in video coding |
| CN114946174A (zh) | 2020-01-09 | 2022-08-26 | 字节跳动有限公司 | 层间参考图片的存在的信令通知 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9451252B2 (en) | 2012-01-14 | 2016-09-20 | Qualcomm Incorporated | Coding parameter sets and NAL unit headers for video coding |
| US9319679B2 (en) | 2012-06-07 | 2016-04-19 | Qualcomm Incorporated | Signaling data for long term reference pictures for video coding |
| US9325990B2 (en) * | 2012-07-09 | 2016-04-26 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
| US9426462B2 (en) | 2012-09-21 | 2016-08-23 | Qualcomm Incorporated | Indication and activation of parameter sets for video coding |
| US9161039B2 (en) | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
| US9357211B2 (en) * | 2012-12-28 | 2016-05-31 | Qualcomm Incorporated | Device and method for scalable and multiview/3D coding of video information |
| KR20140129624A (ko) | 2013-04-30 | 2014-11-07 | 주식회사 칩스앤미디어 | 동영상 처리 방법 및 장치 |
| US10003815B2 (en) | 2013-06-03 | 2018-06-19 | Qualcomm Incorporated | Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures |
| JP6505026B2 (ja) * | 2013-07-10 | 2019-04-24 | シャープ株式会社 | 符号化方法 |
| GB2516424A (en) * | 2013-07-15 | 2015-01-28 | Nokia Corp | A method, an apparatus and a computer program product for video coding and decoding |
| US9894369B2 (en) | 2013-07-30 | 2018-02-13 | Kt Corporation | Image encoding and decoding method supporting plurality of layers and apparatus using same |
| WO2015052943A1 (en) | 2013-10-13 | 2015-04-16 | Sharp Kabushiki Kaisha | Signaling parameters in vps extension and dpb operation |
| CN110225349B (zh) * | 2013-10-14 | 2023-06-02 | 韩国电子通信研究院 | 用于支持多层的视频编码/解码方法和计算机可读记录介质 |
| US20180115787A1 (en) | 2015-04-12 | 2018-04-26 | Lg Electronics Inc. | Method for encoding and decoding video signal, and apparatus therefor |
| US10779006B2 (en) * | 2018-02-14 | 2020-09-15 | Qualcomm Incorporated | Signaling 360-degree video information |
| EP4128756A4 (en) * | 2020-03-26 | 2024-04-24 | Alibaba Group Holding Ltd | METHODS OF ENCODING OR DECODING A SET OF VIDEO PARAMETERS OR A SET OF SEQUENCE PARAMETERS |
-
2020
- 2020-09-24 JP JP2022519007A patent/JP7483869B2/ja active Active
- 2020-09-24 WO PCT/CN2020/117557 patent/WO2021057869A1/en active Application Filing
- 2020-09-24 CN CN202210410921.XA patent/CN115209153B/zh active Active
- 2020-09-24 CA CA3152464A patent/CA3152464C/en active Active
- 2020-09-24 KR KR1020227013372A patent/KR20220065040A/ko active Search and Examination
- 2020-09-24 EP EP20867807.8A patent/EP4026337A4/en active Pending
- 2020-09-24 BR BR112022005469A patent/BR112022005469A2/pt active Search and Examination
- 2020-09-24 MX MX2022003556A patent/MX2022003556A/es unknown
- 2020-09-24 AU AU2020352952A patent/AU2020352952A1/en active Pending
- 2020-09-24 CN CN202080065857.5A patent/CN114424571A/zh active Pending
-
2021
- 2021-10-01 US US17/492,122 patent/US11412215B2/en active Active
-
2022
- 2022-07-13 US US17/863,684 patent/US11968357B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| Benjamin Bross Jianle Chen Shan Liu，Versatile Video Coding (Draft 6) [online]，JVET-O2001-vE，ITU-T インターネット＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0205-v1.zip＞，2019年09月23日，pp.1, 36-37, 86-90 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11968357B2 (en) | 2024-04-23 |
| CN114424571A (zh) | 2022-04-29 |
| KR20220065040A (ko) | 2022-05-19 |
| US11412215B2 (en) | 2022-08-09 |
| JP2022550322A (ja) | 2022-12-01 |
| US20220368892A1 (en) | 2022-11-17 |
| US20220030222A1 (en) | 2022-01-27 |
| CA3152464C (en) | 2024-05-14 |
| CA3152464A1 (en) | 2021-04-01 |
| EP4026337A1 (en) | 2022-07-13 |
| MX2022003556A (es) | 2022-06-14 |
| CN115209153A (zh) | 2022-10-18 |
| WO2021057869A1 (en) | 2021-04-01 |
| CN115209153B (zh) | 2023-06-06 |
| BR112022005469A2 (pt) | 2022-06-14 |
| AU2020352952A1 (en) | 2022-04-21 |
| EP4026337A4 (en) | 2022-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220345748A1 (en) | Encoder, decoder and corresponding methods and apparatus | |
| JP7483869B2 (ja) | エンコーダ、デコーダ、および対応する方法 | |
| JP2023508060A (ja) | ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング | |
| JP7391991B2 (ja) | イントラ平滑化のための方法および装置 | |
| JP7372465B2 (ja) | シーケンスパラメータセット内でのサブピクチャのシグナリングのためのエンコーダ、デコーダ、および対応する方法 | |
| JP7423758B2 (ja) | 重み付き予測のための高レベルシグナリングの方法および装置 | |
| US20220394242A1 (en) | Reference picture management methods for video coding | |
| JP2024055894A (ja) | ピクチャヘッダのシグナリングを簡略化するためのエンコーダ、デコーダ及び対応する方法 | |
| JP2022549288A (ja) | クロミナンス量子化パラメータのシグナリングのための方法及び装置 | |
| JP7470795B2 (ja) | 柔軟なプロファイル構成のエンコーダ、デコーダ及び対応する方法 | |
| JP2023515189A (ja) | スライス用のピクチャパーティション情報をシグナリングするためのデコーダ及び対応する方法 | |
| JP7414976B2 (ja) | エンコーダ、デコーダ、および、対応する方法 | |
| JP2023509052A (ja) | エンコーダ、デコーダ、および対応する方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220510 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240326 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240501 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7483869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |