JP2023515626A - エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス - Google Patents
エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス Download PDFInfo
- Publication number
- JP2023515626A JP2023515626A JP2022552224A JP2022552224A JP2023515626A JP 2023515626 A JP2023515626 A JP 2023515626A JP 2022552224 A JP2022552224 A JP 2022552224A JP 2022552224 A JP2022552224 A JP 2022552224A JP 2023515626 A JP2023515626 A JP 2023515626A
- Authority
- JP
- Japan
- Prior art keywords
- dpb
- value
- sps
- syntax element
- syntax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 142
- 230000011664 signaling Effects 0.000 title abstract description 29
- 230000002123 temporal effect Effects 0.000 claims abstract description 82
- 239000000872 buffer Substances 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 149
- 238000013139 quantization Methods 0.000 description 77
- 238000000638 solvent extraction Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 38
- 238000005192 partition Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 28
- 239000013598 vector Substances 0.000 description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 16
- 238000003491 array Methods 0.000 description 14
- 241000023320 Luma <angiosperm> Species 0.000 description 11
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 11
- 238000001914 filtration Methods 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 239000011229 interlayer Substances 0.000 description 8
- 238000009795 derivation Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 101150114515 CTBS gene Proteins 0.000 description 2
- 101150039623 Clip1 gene Proteins 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100489396 Caenorhabditis elegans zip-2 gene Proteins 0.000 description 1
- 244000050403 Iris x germanica Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ビデオビットストリームのシーケンスパラメータセット内のシンタックス要素のシグナリングが、扱われる。特に、ビデオビットストリームを復号する方法であって、ビデオシーケンスに適用されるシンタックス要素を含むシーケンスパラメータセットSPSが、コーディングされ、方法が、復号ピクチャバッファDPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される第1のシンタックス要素の値をSPSから取得するステップと、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定するときに、前記第2のシンタックス要素の前記値が、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される第2のシンタックス要素の値をSPSから取得するステップであって、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップとを含む、方法が提供される。
Description
関連出願の相互参照
本特許出願は、2020年2月28日に出願したPCT/EP/2020/055269、2020年6月9日に出願したPCT/EP/2020/065989、および2020年6月9日に出願したPCT/EP/2020/065999の優先権を主張するものである。上述の特許出願の開示は、参照によりその全体が本明細書に組み込まれる。
本特許出願は、2020年2月28日に出願したPCT/EP/2020/055269、2020年6月9日に出願したPCT/EP/2020/065989、および2020年6月9日に出願したPCT/EP/2020/065999の優先権を主張するものである。上述の特許出願の開示は、参照によりその全体が本明細書に組み込まれる。
本出願の実施形態は、概して、ピクチャ処理の分野に関し、より詳細には、シーケンスパラメータセット内でのシンタックス(syntax)要素のシグナリングに関する。
ビデオコーディング(ビデオ符号化および復号)は、広範なデジタルビデオアプリケーション、たとえば、ブロードキャストデジタルTV、インターネットおよびモバイルネットワーク上のビデオ送信、ビデオチャットのようなリアルタイム会話アプリケーション、テレビ会議、DVDおよびブルーレイディスク、ビデオコンテンツ獲得および編集システム、ならびにセキュリティアプリケーションのカムコーダにおいて使用される。
比較的短いビデオでさえも描くために必要とされるビデオデータの量はかなり多くなり得、それが、データが限られた帯域幅の容量を有する通信ネットワークを介してストリーミングされるかまたはそれ以外の方法で伝達されるべきであるときに困難をもたらす可能性がある。したがって、ビデオデータは、概して、現代の通信ネットワークを介して伝達される前に圧縮される。メモリリソースが限られている可能性があるので、ビデオがストレージデバイスに記憶されるとき、ビデオのサイズも問題となり得る。多くの場合、ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするために送信元においてソフトウェアおよび/またはハードウェアを使用し、それによって、デジタルビデオ画像を表現するために必要とされるデータの量を削減する。そして、圧縮されたデータが、ビデオデータを復号するビデオ解凍デバイスによって送信先において受信される。限られたネットワークリソースおよびより高いビデオ品質のますます増加する需要によって、ピクチャ品質をほとんどまたはまったく犠牲にせずに圧縮比を高める改善された圧縮および解凍技術が、望ましい。
特に、復号ピクチャバッファ(Decoded Picture Buffer)情報を提供するために使用されるビットストリームにコーディングされるシーケンスパラメータセット内のシンタックス要素のシグナリングは、非効率性と、さらには技術における不整合とに悩まされる(下記の詳細な説明を参照)。したがって、本出願の目的は、コーディングの効率が改善されたそのようなシンタックス要素をシグナリングする技術を提供することである。
本出願の実施形態は、独立請求項に係る符号化および復号のための装置および方法を提供する。
上述のおよびその他の目的は、独立請求項の主題により達成される。さらなる実装の形態は、従属請求項、明細書、および図面から明らかである。
第1の態様によれば、本発明は、復号デバイスによって実施される、ビデオビットストリームを復号する方法であって、シーケンスパラメータセットSPSが、ビデオビットストリームにコーディングされ、ビデオシーケンスに適用されるシンタックス要素を含む、方法に関する。方法は、SPSから第1のシンタックス要素(たとえば、フラグ)の値を取得するステップであって、第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、ステップを含む。方法は、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)ときに、SPSから第2のシンタックス要素(たとえば、フラグ)の値を取得するステップであって、第2のシンタックス要素の値が、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤ(temporal sublayer)を除く時間サブレイヤに適用される、ステップをさらに含む。
たとえば、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定されるときにのみ、第2のシンタックス構造の値が取得されてよい。ここでおよび以下で、第1のシンタックス要素は、以下の詳細な説明によるsps_ptl_dpb_hrd_params_present_flagであってよく、第2のシンタックス要素は、以下の詳細な説明によるsps_sublayer_dpb_params_flagであってよい。ここでおよび以下で、DPBシンタックス要素は、以下の詳細な説明よるmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]のうちの1つであってよい。
ビデオビットストリームを復号するこのようにして提供された方法は、DPBシンタックス要素の効率的なシグナリングを保証する。特に、第2のシンタックス要素は、存在するとき、DPBパラメータシンタックス構造のDPBシンタックス要素の存在を確実に制御する。
実装によれば、方法は、第2のシンタックス要素の値に基づいて(たとえば、第2のシンタックス要素がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定するとき、特に、第2のシンタックス要素がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定するときにのみ)DPBシンタックス要素の値を取得するステップと、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップとをさらに含む。したがって、ビデオシーケンスの再構築が、DPB情報の信頼できる効率的なシグナリングに基づいて実現され得る。
第2のシンタックス要素の値に基づいてDPBシンタックス要素の値を取得するステップは、
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定すると判定する(判定される)とき、DPBパラメータシンタックス構造からDPBシンタックス要素の値を取得すること、または
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在しないことを指定すると判定する(判定される)とき、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定することを含んでよい。
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定すると判定する(判定される)とき、DPBパラメータシンタックス構造からDPBシンタックス要素の値を取得すること、または
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在しないことを指定すると判定する(判定される)とき、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定することを含んでよい。
それによって、DPBシンタックス要素の確定的な値がいかなる状況においても利用可能であり、ビデオシーケンスを再構築するために使用され得ることが保証されることが可能であり、この点で不確定な挙動を心配しなくてよい。
DPBシンタックス要素のこのようにして確実に取得された値は、たとえば、インター予測処理のために使用される参照ピクチャを記憶するためにDPBを構成するために使用され得る。したがって、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップは、DPBシンタックス要素の値に基づいてDPBを構成することと、DPBを使用してビデオシーケンスを再構築することとを含んでよい。
代替的に、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップは、使用されるDPBがDPBシンタックス要素の値によって指定された要件を満たすという判定に基づいてビデオシーケンスを再構築することを含んでよい。したがって、提供されたDPBがビデオシーケンスの再構築に適しているかどうかが、調べられ得る。
実装によれば、ビデオビットストリームを復号する方法は、
SPSから第3のシンタックス要素の値を取得するステップであって、第3のシンタックス要素の値が、ビデオシーケンス内に存在する時間サブレイヤの最大数を決定するために使用される、ステップをさらに含む。第3のシンタックス要素の値は、1つの時間サブレイヤのみ存在する場合、0であってよい。ビデオシーケンス内に存在する時間サブレイヤの最大数の決定は、コーディング効率に関して有利である場合がある、単に第3のシンタックス要素をシグナリングすることによって容易にされる。
SPSから第3のシンタックス要素の値を取得するステップであって、第3のシンタックス要素の値が、ビデオシーケンス内に存在する時間サブレイヤの最大数を決定するために使用される、ステップをさらに含む。第3のシンタックス要素の値は、1つの時間サブレイヤのみ存在する場合、0であってよい。ビデオシーケンス内に存在する時間サブレイヤの最大数の決定は、コーディング効率に関して有利である場合がある、単に第3のシンタックス要素をシグナリングすることによって容易にされる。
ここでおよび以下で、第3のシンタックス要素は、以下の詳細な説明よるsps_max_sublayers_minus1であってよい。
SPSから第2のシンタックス要素の値を取得するステップは、
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)とき、第3のシンタックス要素の値に基づいて、ビデオビットストリーム内の時間サブレイヤの最大数が1よりも大きいかどうかを判定することと、時間サブレイヤの最大数が1より大きいと判定する(判定される)とき、SPSから第2のシンタックス要素の値を取得することとを含んでよい。たとえば、時間サブレイヤの最大数が1より大きいと判定されるときにのみ、第2のシンタックス要素の値が、SPSから取得されてよい。それによって、時間レイヤの最大数が1以下である(すなわち、1つの時間サブレイヤのみ存在する)場合、第2のシンタックス要素の値がまったく読まれない可能性があり(たとえば、この場合に、それが無意味になる場合)、単一の時間レイヤに関して、DPBシンタックス要素がSPS内で常にシグナリングされる可能性があるので、コーディング効率がさらに高められる場合がある。
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)とき、第3のシンタックス要素の値に基づいて、ビデオビットストリーム内の時間サブレイヤの最大数が1よりも大きいかどうかを判定することと、時間サブレイヤの最大数が1より大きいと判定する(判定される)とき、SPSから第2のシンタックス要素の値を取得することとを含んでよい。たとえば、時間サブレイヤの最大数が1より大きいと判定されるときにのみ、第2のシンタックス要素の値が、SPSから取得されてよい。それによって、時間レイヤの最大数が1以下である(すなわち、1つの時間サブレイヤのみ存在する)場合、第2のシンタックス要素の値がまったく読まれない可能性があり(たとえば、この場合に、それが無意味になる場合)、単一の時間レイヤに関して、DPBシンタックス要素がSPS内で常にシグナリングされる可能性があるので、コーディング効率がさらに高められる場合がある。
第2の態様によれば、符号化デバイスによって実施される、ビデオビットストリームを符号化する方法であって、シーケンスパラメータセットSPSが、ビデオビットストリームに符号化され、ビデオシーケンスに適用されるシンタックス要素を含む、方法が提供され、方法は、上で検討されたのと同じ利点を示す。方法は、
SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するステップと、
SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するステップであって、第1のシンタックス要素の値が、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、ステップと、
DPBパラメータシンタックス構造がSPS内に存在すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するステップであって、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップと、
DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するステップであって、第2のシンタックス要素の値が、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される、ステップとを含む。
SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するステップと、
SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するステップであって、第1のシンタックス要素の値が、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、ステップと、
DPBパラメータシンタックス構造がSPS内に存在すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するステップであって、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップと、
DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するステップであって、第2のシンタックス要素の値が、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される、ステップとを含む。
実装によれば、符号化方法は、DPBシンタックス要素がDPBパラメータシンタックス構造内に存在すると判定する(判定される)とき、DPBシンタックス要素の値を決定するステップと、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップとをさらに含む。
実装によれば、符号化方法は、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定するステップと、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップとをさらに含む。
DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するステップは、DPBシンタックス要素の値を満たすようにDPBを構成することと、DPBを使用してビデオシーケンスを再構築することとを含んでよい。
実装によれば、DPBパラメータシンタックス構造がSPS内に存在し、ビデオビットストリーム内の時間サブレイヤの最大数が1より大きいと判定されるとき(たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在が判定される。
さらに、それぞれ上述の方法と同様の利点を示す、ビデオビットストリームを復号するための装置およびコーディングするための装置が提供される。
第3の態様によれば、(コーディングされた)ビデオビットストリームを復号するための装置が提供され、装置は、
SPSから第1のシンタックス要素(たとえば、フラグ)の値を取得するように構成された取得ユニットであって、第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造がビデオビットストリーム内にコーディングされたSPS内に存在するかどうかを指定するために使用される、取得ユニットと、
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定するかどうかを判定するように構成された判定ユニットとを含み、
取得ユニットは、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、SPSから第2のシンタックス要素(たとえば、フラグ)の値を取得するようにさらに構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される。
SPSから第1のシンタックス要素(たとえば、フラグ)の値を取得するように構成された取得ユニットであって、第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造がビデオビットストリーム内にコーディングされたSPS内に存在するかどうかを指定するために使用される、取得ユニットと、
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定するかどうかを判定するように構成された判定ユニットとを含み、
取得ユニットは、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、SPSから第2のシンタックス要素(たとえば、フラグ)の値を取得するようにさらに構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される。
たとえば、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定されるときにのみ、第2のシンタックス構造の値が取得デバイスによって取得されてよい。
実装によれば、取得ユニットは、第2のシンタックス要素の値に基づいてDPBシンタックス要素の値を取得し、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するようにさらに構成される。
第2のシンタックス要素の値に基づいてDPBシンタックス要素の値を取得することは、
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定すると判定する(判定される)とき、DPBパラメータシンタックス構造からDPBシンタックス要素の値を取得すること、または
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在しないことを指定すると判定する(判定される)とき、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定することを含んでよい。
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在することを指定すると判定する(判定される)とき、DPBパラメータシンタックス構造からDPBシンタックス要素の値を取得すること、または
第2のシンタックス要素の値がDPBシンタックス要素がDPBパラメータシンタックス構造内に存在しないことを指定すると判定する(判定される)とき、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定することを含んでよい。
DPBシンタックス要素の値に基づいてビデオシーケンスを再構築することは、DPBシンタックス要素の値に基づいてDPBを構成することと、DPBを使用してビデオシーケンスを再構築することとを含んでよい。
ここで、DPBは、参照ピクチャリストを構築するためのピクチャを記憶するために使用される。
代替的に、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築することは、使用されるDPBがDPBシンタックス要素の値によって指定された要件を満たすという判定に基づいてビデオシーケンスを再構築することを含んでよい。
実装によれば、取得ユニットは、SPSから第3のシンタックス要素の値を取得するようにさらに構成され、第3のシンタックス要素の値は、ビデオシーケンス内に存在する時間サブレイヤの最大数を決定するために使用される。
SPSから第2のシンタックス要素の値を取得することは、
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)とき、第3のシンタックス要素の値に基づいて、ビデオビットストリーム内の時間サブレイヤの最大数が1よりも大きいかどうかを判定することと、時間サブレイヤの最大数が1より大きいと判定する(判定される)とき、SPSから第2のシンタックス要素の値を取得することとを含んでよい。
第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)とき、第3のシンタックス要素の値に基づいて、ビデオビットストリーム内の時間サブレイヤの最大数が1よりも大きいかどうかを判定することと、時間サブレイヤの最大数が1より大きいと判定する(判定される)とき、SPSから第2のシンタックス要素の値を取得することとを含んでよい。
第4の態様によれば、ビデオビットストリームを符号化するための装置が提供され、装置は、
SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するように構成された判定ユニットと、
SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するように構成された符号化ユニットであって、第1のシンタックス要素の値が、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、符号化ユニットとを含み、
判定ユニットは、DPBパラメータシンタックス構造がSPS内に存在すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するようにさらに構成され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用され、
符号化ユニットは、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するようにさらに構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される。
SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するように構成された判定ユニットと、
SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するように構成された符号化ユニットであって、第1のシンタックス要素の値が、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、符号化ユニットとを含み、
判定ユニットは、DPBパラメータシンタックス構造がSPS内に存在すると判定するとき(判定されるとき、たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するようにさらに構成され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用され、
符号化ユニットは、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス要素(たとえば、フラグ)の値をSPSに符号化するようにさらに構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される。
実装によれば、判定ユニットは、DPBシンタックス要素がDPBパラメータシンタックス構造内に存在すると判定する(判定される)とき、DPBシンタックス要素の値を決定し、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するようにさらに構成される。
実装によれば、符号化ユニットは、DPBシンタックス要素の値を、DPBパラメータシンタックス構造内の最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定し、DPBシンタックス要素の値に基づいてビデオシーケンスを再構築するようにさらに構成される。
DPBシンタックス要素の値に基づいてビデオシーケンスを再構築することは、DPBシンタックス要素の値を満たすようにDPBを構成することと、DPBを使用してビデオシーケンスを再構築することとを含んでよい。
実装によれば、判定ユニットは、DPBパラメータシンタックス構造がSPS内に存在し、ビデオビットストリーム内の時間サブレイヤの最大数が1より大きいと判定ユニットが判定するとき、DPBシンタックス要素がDPBパラメータシンタックス構造内に存在すると判定するように構成される。
上述の方法は、それぞれ復号デバイスまたは符号化デバイスに実装することが可能であり、したがって、上述の例のいずれか1つに係る、ビデオビットストリームを符号化する方法を実施するための処理回路を含むエンコーダが提供される。さらに、1つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、上述の例のいずれか1つに係る、ビデオビットストリームを符号化する方法を実施するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むエンコーダが提供される。同様に、上述の例のいずれか1つに係る、ビデオビットストリームを復号する方法を実施するための処理回路を含むデコーダ、および1つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、上述の例のいずれか1つに係る、ビデオビットストリームを符号デコーダする方法を実施するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダが提供される。
さらに、コンピュータまたはプロセッサ上で実行されるときに上述の例のいずれか1つに係る方法を実行するためのプログラムコードを含むコンピュータプログラム製品が提供される。同様に、コンピュータデバイスによって実行されるとき、コンピュータデバイスに上述の例のいずれ1つの方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体が提供される。
さらに、符号化されたビットストリームを含む非一時的ストレージ媒体であって、ビットストリームが、ビデオ信号または画像信号の現在のピクチャを複数のブロックに分割することによって生成され、複数のシンタックス要素を含み、複数のシンタックス要素が、SPS内の第1のシンタックス要素を含み、第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用され、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定する場合、ビットストリームが、SPS内の第2のシンタックス要素をさらに含み、第2のシンタックス要素の値が、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、非一時的ストレージ媒体が提供される。
1つまたは複数の実施形態の詳細が、添付の図面および以下の説明に記載されている。その他の特徴、目的、および利点は、明細書、図面、および特許請求の範囲から明らかになるであろう。
以下で、本発明の実施形態が、添付の図および図面を参照してより詳細に説明される。
以下で、同一の参照符号は、別途明記されない場合、同一のまたは少なくとも機能的に等価な特徴を指す。
以下の説明においては、本開示の一部を形成し、本発明の実施形態の特定の態様または本発明の実施形態が使用される可能性がある特定の態様を例として示す添付の図面が参照される。本発明の実施形態は、その他の態様において使用され、図面に示されない構造的または論理的変更を含む可能性があることが理解される。したがって、以下の詳細な説明は、限定的意味に理解されるべきでなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
たとえば、説明される方法に関連する開示は、方法を実行するように構成された対応するデバイスまたはシステムにも当てはまる可能性があり、その逆の可能性もあることが理解される。たとえば、1つまたは複数の特定の方法のステップが説明される場合、対応するデバイスは、説明される1つまたは複数の方法のステップを実行するための1つまたは複数のユニット、たとえば、機能ユニット(たとえば、1つもしくは複数のステップを実行する1つのユニット、または複数のステップのうちの1つもしくは複数をそれぞれが実行する複数のユニット)を、たとえそのような1つまたは複数のユニットが明示的に説明されないかまたは図に示されないとしても含む可能性がある。一方、たとえば、特定の装置が1つまたは複数のユニット、たとえば、機能ユニットに基づいて説明される場合、対応する方法は、1つまたは複数のユニットの機能を実行するための1つのステップ(たとえば、1つもしくは複数のユニットの機能を実行する1つのステップ、または複数のユニットのうちの1つもしくは複数の機能をそれぞれが実行する複数のステップ)を、たとえそのような1つまたは複数のステップが明示的に説明されないかまたは図に示されないとしても含む可能性がある。さらに、本明細書において説明される様々な例示的な実施形態および/または態様の特徴は、そうでないことが明記されない限り互いに組み合わされる可能性があることが理解される。
ビデオコーディングは、概して、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの処理を指す。用語「ピクチャ」の代わりに、用語「フレーム」または「画像」が、ビデオコーディングの分野において同義語として使用される可能性がある。ビデオコーディング(または概してコーディング)は、2つの部分、ビデオ符号化およびビデオ復号を含む。ビデオ符号化は、送信元の側で実行され、概して、(より効率的な記憶および/または送信のために)ビデオピクチャを表現するために必要とされるデータの量を減らすために元のビデオピクチャを(たとえば、圧縮によって)処理することを含む。ビデオ復号は、送信先の側で実行され、概して、ビデオピクチャを再構築するためにエンコーダと比べて逆の処理を含む。ビデオピクチャ(または概してピクチャ)の「コーディング」に言及する実施形態は、ビデオピクチャまたはそれぞれのビデオシーケンスの「符号化」または「復号」に関すると理解される。符号化部分と復号部分との組合せは、コーデック(コーディングおよびデコーディング)とも呼ばれる。
可逆ビデオコーディングの場合、(記憶または送信中に送信損失またはその他のデータ損失がないと仮定して)元のビデオピクチャが再構築されることが可能であり、つまり、再構築されたビデオピクチャは元のビデオピクチャと同じ品質を有する。不可逆ビデオコーディングの場合、ビデオピクチャを表現するデータの量を減らすために、たとえば、量子化によるさらなる圧縮が実行され、これは、デコーダにおいて完全に再構築され得ず、つまり、再構築されたビデオピクチャの品質は、元のビデオピクチャの品質に比べてより低いまたはより悪い。
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する(つまり、サンプル領域(sample domain)における空間および時間予測と変換領域(transform domain)において量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、概して、1組の重なり合わないブロックに区分けされ、コーディングは、概して、ブロックレベルで実行される。言い換えると、エンコーダにおいて、ビデオは、概して、たとえば、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を使用して予測ブロック(prediction block)を生成し、現在のブロック(現在処理されている/処理されるブロック)から予測ブロックを差し引いて残差ブロックを取得し、残差ブロックを変換し、変換領域において残差ブロックを量子化して送信されるデータの量を削減する(圧縮)ことによってブロック(ビデオブロック)レベルで処理され、つまり、符号化され、一方、デコーダにおいては、表現するために現在のブロックを再構築するために、エンコーダと比べて逆の処理が、符号化されたまたは圧縮されたブロックに適用される。さらに、エンコーダは、後続のブロックを処理する、つまり、コーディングするために両方が同一の予測(たとえば、イントラおよびインター予測)ならびに/または再構築を生成するようにデコーダの処理ループを複製する。
以下で、ビデオコーディングシステム10、ビデオエンコーダ20およびビデオデコーダ30の実施形態が、図1から図3に基づいて説明される。
図1Aは、本出願の技術を利用する可能性がある例示的なコーディングシステム10、たとえば、ビデオコーディングシステム10(または短くコーディングシステム10)を示す概略的なブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(または短くエンコーダ20)およびビデオデコーダ30(または短くデコーダ30)は、本出願において説明される様々な例による技術を実行するように構成される可能性があるデバイスの例を示す。
図1Aに示されるように、コーディングシステム10は、符号化されたピクチャデータ13を復号するために、たとえば、送信先デバイス14に符号化されたピクチャデータ21を提供するように構成された送信元デバイス12を含む。
送信元デバイス12は、エンコーダ20を含み、追加的に、つまり、任意選択で、ピクチャソース16、プリプロセッサ(または前処理ユニット)18、たとえば、ピクチャプリプロセッサ18、および通信インターフェースまたは通信ユニット22を含む可能性がある。
ピクチャソース16は、任意の種類のピクチャ撮影デバイス、たとえば、実世界のピクチャを撮影するためのカメラ、ならびに/または任意の種類のピクチャ生成デバイス、たとえば、コンピュータによってアニメーションされるピクチャを生成するためのコンピュータグラフィックスプロセッサ、または実世界のピクチャ、コンピュータによって生成されたピクチャ(たとえば、画面コンテンツ(screen content)、仮想現実(VR)ピクチャ)、および/もしくはそれらの任意の組合せ(たとえば、拡張現実(AR)ピクチャ)を取得および/もしくは提供するための任意の種類のその他のデバイスを含むかまたはそのようなデバイスである可能性がある。ピクチャソースは、上述のピクチャのいずれかを記憶するための任意の種類のメモリまたはストレージである可能性がある。
プリプロセッサ18および前処理ユニット18によって実行される処理と区別して、ピクチャまたはピクチャデータ17は、生ピクチャまたは生ピクチャデータ17とも呼ばれる可能性がある。
プリプロセッサ18は、(生)ピクチャデータ17を受け取り、ピクチャデータ17に対して前処理を実行して前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。プリプロセッサ18によって実行される前処理は、たとえば、トリミング、(たとえば、RGBからYCbCrへの)カラーフォーマット変換、色補正、または雑音除去を含む可能性がある。前処理ユニット18は、任意選択の構成要素である可能性があることが理解され得る。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受け取り、符号化されたピクチャデータ21を提供するように構成される(さらなる詳細が、下で、たとえば、図2に基づいて説明される)。
送信元デバイス12の通信インターフェース22は、符号化されたピクチャデータ21を受け取り、符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を、記憶するかまたは直接再構築するために別のデバイス、たとえば、送信先デバイス14または任意のその他のデバイスに通信チャネル13を介して送信するように構成される可能性がある。
送信先デバイス14は、デコーダ30(たとえば、ビデオデコーダ30)を含み、追加的に、つまり、任意選択で、通信インターフェースまたは通信ユニット28、ポストプロセッサ32(または後処理ユニット32)、およびディスプレイデバイス34を含む可能性がある。
送信先デバイス14の通信インターフェース28は、たとえば、送信元デバイス12から直接、または任意のその他のソース、たとえば、ストレージデバイス、たとえば、符号化されたピクチャデータのストレージデバイスから符号化されたピクチャデータ21(またはその任意のさらに処理されたバージョン)を受信し、符号化されたピクチャデータ21をデコーダ30に提供するように構成される。
通信インターフェース22および通信インターフェース28は、送信元デバイス12と送信先デバイス14との間の直接通信リンク、たとえば、直接有線もしくはワイヤレス接続を介して、あるいは任意の種類のネットワーク、たとえば、有線もしくはワイヤレスネットワークもしくはそれらの任意の組合せ、または任意の種類のプライベートおよびパブリックネットワーク、またはそれらの任意の種類の組合せを介して符号化されたピクチャデータ21または符号化されたデータ13を送信または受信するように構成される可能性がある。
通信インターフェース22は、たとえば、符号化されたピクチャデータ21を適切なフォーマット、たとえば、パケットにパッケージングする、および/または通信リンクもしくは通信ネットワークを介して送信するための任意の種類の送信の符号化もしくは処理を使用して符号化されたピクチャデータを処理するように構成される可能性がある。
通信インターフェース22の相手先を形成する通信インターフェース28は、たとえば、送信されたデータを受信し、任意の種類の対応する送信の復号もしくは処理および/またはパッケージングの解除を使用して送信データを処理して符号化されたピクチャデータ21を取得するように構成される可能性がある。
通信インターフェース22と通信インターフェース28との両方が、送信元デバイス12から送信先デバイス14の方を指す図1Aの通信チャネル13に関する矢印によって示される単方向通信インターフェース、または双方向通信インターフェースとして構成される可能性があり、たとえば、接続をセットアップし、通信リンクおよび/またはデータ送信、たとえば、符号化されたピクチャデータの送信に関連する任意のその他の情報を確認し、やりとりするために、たとえば、メッセージを送信および受信するように構成される可能性がある。
デコーダ30は、符号化されたピクチャデータ21を受信し、復号されたピクチャデータ31または復号されたピクチャ31を提供するように構成される(さらなる詳細が、下で、たとえば、図3または図5に基づいて説明される)。
送信先デバイス14のポストプロセッサ32は、復号されたピクチャデータ31(再構築されたピクチャデータとも呼ばれる)、たとえば、復号されたピクチャ31を後処理して後処理されたピクチャデータ33、たとえば、後処理されたピクチャ33を取得するように構成される。後処理ユニット32によって実行される後処理は、たとえば、(たとえば、YCbCrからRGBへの)カラーフォーマット変換、色補正、トリミング、またはリサンプリング、またはたとえばディスプレイデバイス34による表示のためにたとえば復号されたピクチャデータ31を準備するための任意のその他の処理を含む可能性がある。
送信先デバイス14のディスプレイデバイス34は、たとえば、ユーザまたは視聴者に対してピクチャを表示するために後処理されたピクチャデータ33を受け取るように構成される。ディスプレイデバイス34は、再構築されたピクチャを示すための任意の種類のディスプレイ、たとえば、一体型または外部ディスプレイもしくはモニタであるかまたはそのようなディスプレイもしくはモニタを含む可能性がある。ディスプレイは、たとえば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、液晶オンシリコン(LCoS: liquid crystal on silicon)、デジタル光プロセッサ(DLP: digital light processor)、または任意の種類のその他のディスプレイを含む可能性がある。
図1Aは送信元デバイス12および送信先デバイス14を別々のデバイスとして示すが、デバイスの実施形態は、両方または両方の機能、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能を含む可能性もある。そのような実施形態において、送信元デバイス12または対応する機能および送信先デバイス14または対応する機能は、同じハードウェアおよび/もしくはソフトウェアを使用してまたは別々のハードウェアおよび/もしくはソフトウェアまたはそれらの任意の組合せによって実装される可能性がある。
説明に基づいて当業者に明らかになるように、異なるユニットの機能または図1Aに示される送信元デバイス12および/もしくは送信先デバイス14内の機能の存在および(厳密な)分割は、実際のデバイスおよびアプリケーションに応じて変わる可能性がある。
エンコーダ20(たとえば、ビデオエンコーダ20)またはデコーダ30(たとえば、ビデオデコーダ30)またはエンコーダ20とデコーダ30との両方は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ハードウェア、それらのビデオコーディングに専用のまたは任意の組合せなどの、図1Bに示された処理回路によって実装される可能性がある。エンコーダ20は、図2のエンコーダ20および/または本明細書において説明される任意のその他のエンコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装される可能性がある。デコーダ30は、図3のデコーダ30および/または本明細書において説明される任意のその他のデコーダシステムもしくはサブシステムに関連して検討される様々なモジュールを具現化するために処理回路46によって実装される可能性がある。処理回路は、後で検討される様々な動作を実行するように構成される可能性がある。図5に示されるように、技術が部分的にソフトウェアで実装される場合、デバイスは、好適な非一時的コンピュータ可読ストレージ媒体にソフトウェアのための命令を記憶する可能性があり、本開示の技術を実行するために1つまたは複数のプロセッサを使用するハードウェアにおいて命令を実行する可能性がある。ビデオエンコーダ20およびビデオデコーダ30のどちらかが、たとえば、図1Bに示されるように単一のデバイス内の組み合わされたエンコーダ/デコーダ(コーデック)の一部として組み込まれる可能性がある。
送信元デバイス12および送信先デバイス14は、任意の種類のハンドヘルドまたは固定デバイス、たとえば、ノートブックまたはラップトップコンピュータ、モバイル電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、(コンテンツサービスサーバまたはコンテンツ配信サーバなどの)ビデオストリーミングデバイス、放送受信機デバイス、放送送信機デバイスなどを含む広範なデバイスのいずれかを含む可能性があり、オペレーティングシステムを使用しないかまたは任意の種類のオペレーティングシステムを使用する可能性がある。場合によっては、送信元デバイス12および送信先デバイス14は、ワイヤレス通信に対応している可能性がある。したがって、送信元デバイス12および送信先デバイス14は、ワイヤレス通信デバイスである可能性がある。
場合によっては、図1Aに示されたビデオコーディングシステム10は、例であるに過ぎず、本開示の技術は、符号化デバイスと復号デバイスとの間のいかなるデータ通信も含むとは限らないビデオコーディングの状況(たとえば、ビデオの符号化またはビデオの復号)に適用される可能性がある。その他の例においては、データが、ローカルメモリから取り出される、またはネットワークを介してストリーミングされる、などである。ビデオ符号化デバイスが、データを符号化し、メモリに記憶する可能性があり、および/またはビデオ復号デバイスが、メモリからデータを取り出し、復号する可能性がある。いくつかの例において、符号化および復号が、互いに通信せず、単にメモリにデータを符号化し、および/またはメモリからデータを取り出し、復号するデバイスによって実行される。
説明の便宜上、本発明の実施形態は、たとえば、高効率ビデオコーディング(HEVC: High-Efficiency Video Coding)、または多目的ビデオコーディング(VVC: Versatile Video coding)、ITU-Tビデオコーディング専門家グループ(VCEG: Video Coding Experts Group)およびISO/IEC動画専門家グループ(MPEG: Motion Picture Experts Group)のビデオコーディングに関する共同作業チーム(JCT-VC: Joint Collaboration Team on Video Coding)によって開発された次世代ビデオコーディング規格の参照ソフトウェアを参照することによって本明細書において説明される。当業者は、本発明の実施形態がHEVCまたはVVCに限定されないことを理解するであろう。
エンコーダおよび符号化方法
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含む可能性がある。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含む可能性がある。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれる可能性がある。
図2は、本出願の技術を実装するように構成される例示的なビデオエンコーダ20の概略的なブロック図を示す。図2の例において、ビデオエンコーダ20は、入力201(または入力インターフェース201)、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタユニット220、復号ピクチャバッファ(DPB: decoded picture buffer)230、モード選択ユニット260、エントロピー符号化ユニット270、および出力272(または出力インターフェース272)を含む。モード選択ユニット260は、インター予測ユニット244、イントラ予測ユニット254、および区分けユニット262を含む可能性がある。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含む可能性がある。図2に示されたビデオエンコーダ20は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれる可能性がある。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208、モード選択ユニット260は、エンコーダ20の順方向信号経路を形成するとみなされる可能性があり、一方、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するとみなされる可能性があり、ビデオエンコーダ20の逆方向信号経路は、デコーダの信号経路(図3のビデオデコーダ30を参照されたい)に対応する。逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット244、およびイントラ予測ユニット254は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。
ピクチャ&ピクチャの区分け(ピクチャ&ブロック)
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成される可能性がある。受け取られたピクチャまたはピクチャデータは、前処理されたピクチャ19(または前処理されたピクチャデータ19)である可能性もある。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれる可能性がある。
エンコーダ20は、たとえば、入力201を介してピクチャ17(またはピクチャデータ17)、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスのピクチャを受け取るように構成される可能性がある。受け取られたピクチャまたはピクチャデータは、前処理されたピクチャ19(または前処理されたピクチャデータ19)である可能性もある。簡単にするために、以下の説明は、ピクチャ17に言及する。ピクチャ17は、(特に、ビデオコーディングにおいて、現在のピクチャをその他のピクチャ、たとえば、同じビデオシーケンス、つまり、現在のピクチャも含むビデオシーケンスの既に符号化されたおよび/または復号されたピクチャと区別するために)現在のピクチャまたはコーディングされるピクチャとも呼ばれる可能性がある。
(デジタル)ピクチャは、強度(intensity)値を有するサンプルの2次元配列または行列とみなされるかまたはみなされ得る。配列のサンプルは、ピクセル(ピクチャエレメントの短縮形)またはペルとも呼ばれる可能性がある。配列またはピクチャの水平および垂直方向(または軸)のサンプル数は、ピクチャのサイズおよび/または解像度を定義する。色の表現のために、概して、3つの色成分が使用され、つまり、ピクチャが表現されるかまたは3つのサンプル配列を含む可能性がある。RBGフォーマットまたは色空間で、ピクチャは、対応する赤、緑、および青のサンプル配列を含む。しかし、ビデオコーディングにおいて、各ピクセルは、概して、輝度(luminance)およびクロミナンス(chrominance)フォーマットまたは色空間、たとえば、Y(代わりにLが使用されることもある)によって示される輝度成分ならびにCbおよびCrによって示される2つのクロミナンス成分を含むYCbCrで表される。輝度(または短くルマ(luma))成分Yは、明るさまたは(たとえば、グレースケールピクチャと同様の)グレーレベルの強度を表し、一方、2つのクロミナンス(または短くクロマ(chroma))成分CbおよびCrは、色度または色情報成分を表す。したがって、YCbCrフォーマットのピクチャは、輝度サンプル値(Y)の輝度サンプル配列およびクロミナンス値(CbおよびCr)の2つのクロミナンスサンプル配列を含む。RGBフォーマットのピクチャは、YCbCrフォーマットに変換される(converted)または変換される(transformed)可能性があり、その逆の可能性があり、プロセスは、色変換(transformation)または変換(conversion)としても知られる。ピクチャがモノクロである場合、ピクチャは、輝度サンプル配列のみを含む可能性がある。したがって、ピクチャは、たとえば、モノクロフォーマットにおいてはルマサンプルの配列であり、または4:2:0、4:2:2、および4:4:4カラーフォーマットにおいてはルマサンプルの配列およびクロマサンプルの2つの対応する配列である可能性がある。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(通常は重なり合わない)ピクチャブロック203に区分けするように構成されたピクチャ区分けユニット(図2に示さず)を含む可能性がある。これらのブロックは、ルートブロック、マクロブロック(H.264/AVC)、またはコーディングツリーブロック(CTB: coding tree block)もしくはコーディングツリーユニット(CTU: coding tree unit)(H.265/HEVCおよびVVC)とも呼ばれる可能性がある。ピクチャ区分けユニットは、ビデオシーケンスのすべてのピクチャおよびブロックサイズを定義する対応するグリッドに関して同じブロックサイズを使用するか、あるいはピクチャまたはピクチャのサブセットもしくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックに区分けするように構成される可能性がある。
さらなる実施形態において、ビデオエンコーダは、ピクチャ17のブロック203、たとえば、ピクチャ17を形成する1つの、いくつかの、またはすべてのブロックを直接受け取るように構成される可能性がある。ピクチャブロック203は、現在のピクチャブロックまたはコーディングされるピクチャブロックとも呼ばれる可能性がある。
ピクチャ17と同様に、ピクチャブロック203は、ピクチャ17よりも寸法が小さいが、強度値(サンプル値)を有するサンプルの2次元配列または行列とやはりみなされるかまたはみなされ得る。言い換えると、ブロック203は、適用されるカラーフォーマットに応じて、たとえば、1つのサンプル配列(たとえば、モノクロピクチャ17の場合はルマ配列、またはカラーピクチャの場合はルマもしくはクロマ配列)、あるいは3つのサンプル配列(たとえば、カラーピクチャ17の場合はルマおよび2つのクロマ配列)、あるいは任意のその他の数および/または種類の配列を含む可能性がある。ブロック203の水平および垂直方向(または軸)のサンプル数は、ブロック203のサイズを定義する。したがって、ブロックは、たとえば、サンプルのMxN(M列×N行)配列または変換係数のMxN配列である可能性がある。
図2に示されたビデオエンコーダ20の実施形態は、ピクチャ17をブロック毎に符号化するように構成される可能性があり、たとえば、符号化および予測が、ブロック203毎に実行される。
図2に示されるビデオエンコーダ20の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライスに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライスを使用して符号化される可能性があり、各スライスは、1つまたは複数のブロック(たとえば、CTU)を含む可能性がある。
図2に示されるビデオエンコーダ20の実施形態は、タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または符号化するようにさらに構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)タイルグループに区分けされるかまたは1つもしくは複数の(概して重なり合わない)タイルグループを使用して符号化される可能性があり、各タイルグループは、たとえば、1つもしくは複数のブロック(たとえば、CTU)または1つもしくは複数のタイルを含む可能性があり、各タイルは、たとえば、長方形の形をしている可能性があり、1つまたは複数のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含む可能性がある。
残差の計算
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成される可能性がある。
残差計算ユニット204は、たとえば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を差し引いてサンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265(予測ブロック265についてのさらなる詳細は後で与えられる)に基づいて残差ブロック205(残差205とも呼ばれる)を計算するように構成される可能性がある。
変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成される可能性がある。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現する可能性がある。
変換処理ユニット206は、残差ブロック205のサンプル値に対して変換、たとえば、離散コサイン変換(DCT)または離散サイン変換(DST)を適用して変換領域において変換係数207を取得するように構成される可能性がある。変換係数207は、変換残差係数とも呼ばれ、変換領域において残差ブロック205を表現する可能性がある。
変換処理ユニット206は、H.265/HEVCのために規定された変換などのDCT/DSTの整数近似を適用するように構成される可能性がある。直交DCT変換と比較して、そのような整数近似は、概して、特定の率でスケーリングされる。順および逆変換によって処理される残差ブロックのノルム(norm)を維持するために、追加的な倍率(scaling factor)が、変換プロセスの一部として適用される。倍率は、概して、倍率がシフト演算のために2の累乗であること、変換係数のビット深度、正確さと実装コストとの間のトレードオフなどのような特定の制約に基づいて選択される。たとえば、特定の倍率が、たとえば、逆変換処理ユニット212による逆変換(およびたとえば、ビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)のために指定され、たとえば、エンコーダ20の変換処理ユニット206による順変換のための対応する倍率が、それに応じて指定される可能性がある。
ビデオエンコーダ20(それぞれ、変換処理ユニット206)の実施形態は、たとえば、ビデオデコーダ30が変換パラメータを受信し、復号のために使用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化されるかもしくは圧縮される変換パラメータ、たとえば、ある種の1つの変換または複数の変換を出力するように構成される可能性がある。
量子化
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成される可能性がある。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれる可能性がある。
量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって変換係数207を量子化して量子化された係数209を取得するように構成される可能性がある。量子化された係数209は、量子化された変換係数209または量子化された残差係数209とも呼ばれる可能性がある。
量子化プロセスは、変換係数207の一部またはすべてに関連するビット深度を削減する可能性がある。たとえば、nビットの変換係数が、量子化中にmビットの変換係数に切り捨てられる可能性があり、nは、mよりも大きい。量子化の度合いは、量子化パラメータ(QP: quantization parameter)を調整することによって修正される可能性がある。たとえば、スカラー量子化に関して、より細かいまたはより粗い量子化を達成するために異なるスケーリングが適用される可能性がある。より小さな量子化ステップサイズは、より細かい量子化に対応し、一方、より大きな量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズが、量子化パラメータ(QP)によって示される可能性がある。量子化パラメータは、たとえば、適用可能な量子化ステップサイズの予め定義された組へのインデックスである可能性がある。たとえば、小さな量子化パラメータが、細かい量子化(小さな量子化ステップサイズ)に対応する可能性があり、大きな量子化パラメータが、粗い量子化(大きな量子化ステップサイズ)に対応する可能性があり、またはその逆である可能性がある。量子化は、量子化ステップサイズによる除算を含む可能性があり、たとえば、逆量子化ユニット210による対応するおよび/または逆量子化解除は、量子化ステップサイズによる乗算を含む可能性がある。一部の規格、たとえば、HEVCによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するように構成される可能性がある。概して、量子化ステップサイズは、除算を含む等式の固定小数点近似(fixed point approximation)を使用して量子化パラメータに基づいて計算される可能性がある。量子化ステップサイズおよび量子化パラメータに関する等式の固定小数点近似において使用されるスケーリングが原因で修正される可能性がある残差ブロックのノルムを復元するために、量子化および量子化解除に関して追加的な倍率が導入される可能性がある。1つの例示的な実装においては、逆変換および量子化解除のスケーリングが、組み合わされる可能性がある。代替的に、カスタマイズされた量子化テーブルが使用され、たとえば、ビットストリーム内でエンコーダからデコーダにシグナリングされる可能性がある。量子化は、不可逆演算であり、損失は、量子化ステップサイズが大きくなるにつれて増加する。
ビデオエンコーダ20(それぞれ、量子化ユニット208)の実施形態は、たとえば、ビデオデコーダ30が量子化パラメータを受信し、復号のために適用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される量子化パラメータ(QP)を出力するように構成される可能性がある。
逆量子化
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応する可能性がある。
逆量子化ユニット210は、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいてまたはそれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することによって、量子化された係数に量子化ユニット208の逆量子化を適用して量子化解除された係数211を取得するように構成される。量子化解除された係数211は、量子化解除された残差係数211とも呼ばれ、--量子化による損失が原因で概して変換係数と同一ではないが--変換係数207に対応する可能性がある。
逆変換
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する量子化解除された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれる可能性がある。
逆変換処理ユニット212は、変換処理ユニット206によって適用された変換の逆変換、たとえば、逆離散コサイン変換(DCT)または逆離散サイン変換(DST)またはその他の逆変換を適用してサンプル領域において再構築された残差ブロック213(または対応する量子化解除された係数213)を取得するように構成される。再構築された残差ブロック213は、変換ブロック(transform block)213とも呼ばれる可能性がある。
再構築
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
再構築ユニット214(たとえば、加算器または合算器214)は、たとえば、再構築された残差ブロック213のサンプル値と予測ブロック265のサンプル値とを--サンプル毎に--足すことによって予測ブロック265に変換ブロック213(すなわち、再構築された残差ブロック213)を足してサンプル領域において再構築されたブロック215を取得するように構成される。
フィルタリング
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装される可能性がある。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれる可能性がある。
ループフィルタユニット220(または短く「ループフィルタ」220)は、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得する、または概して、再構築されたサンプルをフィルタリングしてフィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO: sample-adaptive offset)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF: adaptive loop filter)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ(collaborative filter)、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。ループフィルタユニット220は図2にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット220は、ループ後フィルタとして実装される可能性がある。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれる可能性がある。
ビデオエンコーダ20(それぞれ、ループフィルタユニット220)の実施形態は、たとえば、デコーダ30が同じループフィルタのパラメータまたはそれぞれのループフィルタを受信し、復号のために適用する可能性があるように、たとえば、そのままであるかまたはエントロピー符号化ユニット270によって符号化される(サンプル適応オフセット情報などの)ループフィルタのパラメータを出力するように構成される可能性がある。
復号ピクチャバッファ
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリである可能性がある。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成される可能性がある。復号ピクチャバッファ(DPB)230は、1つまたは複数のフィルタリングされたブロック221を記憶するように構成される可能性がある。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成される可能性があり、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供する可能性がある。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つもしくは複数のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成される可能性がある。
復号ピクチャバッファ(DPB)230は、ビデオエンコーダ20によってビデオデータを符号化するための参照ピクチャまたは概して参照ピクチャデータを記憶するメモリである可能性がある。DPB230は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM: resistive RAM)、またはその他の種類のメモリデバイスなどの様々なメモリデバイスのいずれかによって形成される可能性がある。復号ピクチャバッファ(DPB)230は、1つまたは複数のフィルタリングされたブロック221を記憶するように構成される可能性がある。復号ピクチャバッファ230は、同じ現在のピクチャまたは異なるピクチャ、たとえば、既に再構築されたピクチャのその他の既にフィルタリングされたブロック、たとえば、既に再構築され、フィルタリングされたブロック221を記憶するようにさらに構成される可能性があり、たとえば、インター予測のために、完全な既に再構築された、つまり、復号されたピクチャ(および対応する参照ブロックおよびサンプル)ならびに/または部分的に再構築された現在のピクチャ(および対応する参照ブロックおよびサンプル)を提供する可能性がある。復号ピクチャバッファ(DPB)230は、たとえば、再構築されたブロック215がループフィルタユニット220によってフィルタリングされない場合、1つもしくは複数のフィルタリングされていない再構築されたブロック215もしくは概してフィルタリングされていない再構築されたサンプルを記憶し、または再構築されたブロックもしくはサンプルの任意のその他のさらに処理されたバージョンを記憶するようにも構成される可能性がある。
モード選択(区分け&予測)
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つもしくは複数の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、区分けユニット262、インター予測ユニット244、およびイントラ予測ユニット254を含み、元のピクチャデータ、たとえば、元のブロック203(現在のピクチャ17の現在のブロック203)と、再構築されたピクチャデータ、たとえば、同じ(現在の)ピクチャの、および/またはたとえば復号ピクチャバッファ230もしくはその他のバッファ(たとえば、図示されていないラインバッファ)からの1つもしくは複数の既に復号されたピクチャからのフィルタリングされたおよび/またはフィルタリングされていない再構築されたサンプルまたはブロックとを受け取るかまたは取得するように構成される。再構築されたピクチャデータは、予測ブロック265または予測子(predictor)265を取得するための予測、たとえば、インター予測またはイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、(区分けを含まない)現在のブロックの予測モードのための区分けおよび予測モード(たとえば、イントラまたはインター予測モード)を決定するかまたは選択し、残差ブロック205の計算および再構築されたブロック215の再構築のために使用される対応する予測ブロック265を生成するように構成される可能性がある。
モード選択ユニット260の実施形態は、最良の一致もしくは言い換えると最小の残差(最小の残差は送信もしくは記憶のためのより優れた圧縮を意味する)または最小のシグナリングオーバーヘッド(最小のシグナリングオーバーヘッドは送信もしくは記憶のためのより優れた圧縮を意味する)を提供する、あるいはそれら両方を考慮するかまたは釣り合いを取る区分けおよび予測モードを(たとえば、モード選択ユニット260によってサポートされるかまたはモード選択ユニット260が利用可能な区分けおよび予測モードから)選択するように構成される可能性がある。モード選択ユニット260は、レート歪み最適化(RDO)に基づいて区分けおよび予測モードを決定する、つまり、最小のレート歪みを提供する予測モードを選択するように構成される可能性がある。この文脈の「最良の」、「最小の」、「最適な」などのような用語は、必ずしも全体の「最良の」、「最小の」、「最適な」などを指さず、値が閾値を超えることもしくは下回ることのような終了もしくは選択の基準、または潜在的に「準最適な選択」につながるが、複雑さおよび処理時間を削減するその他の制約を満たすことをも指す可能性もある。
言い換えると、区分けユニット262は、たとえば、四分木区分け(QT)、二分区分け(BT)、または三分木区分け(TT)、またはこれらの任意の組合せを反復的に使用してブロック203を(やはりブロックを形成する)より小さなブロックの区画または下位ブロックに区分けし、たとえば、ブロックの区画または下位ブロックの各々に関して予測を実行するように構成される可能性があり、モード選択は、区分けされたブロック203の木構造の選択を含み、予測モードは、ブロックの区画または下位ブロックの各々に適用される。
以下で、例示的なビデオエンコーダ20によって実行される(たとえば、区分けユニット260による)区分けならびに(インター予測ユニット244およびイントラ予測ユニット254による)予測処理が、より詳細に説明される。
区分け
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分けする(または分割する)可能性がある。これらのより小さなブロック(下位ブロックとも呼ばれる可能性がある)は、より一層小さな区画にさらに区分けされる可能性がある。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされる可能性があり、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされる可能性があり、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
区分けユニット262は、現在のブロック203をより小さな区画、たとえば、正方形または長方形のサイズのより小さなブロックに区分けする(または分割する)可能性がある。これらのより小さなブロック(下位ブロックとも呼ばれる可能性がある)は、より一層小さな区画にさらに区分けされる可能性がある。これは、木区分けまたは階層的木区分けとも呼ばれ、たとえば、ルートツリーレベル0(階層レベル0、深さ0)のルートブロックが、再帰的に区分けされ、たとえば、次に低いツリーレベルの2つ以上のブロック、たとえば、ツリーレベル1(階層レベル1、深さ1)のノードに区分けされる可能性があり、これらのブロックが、次に低いレベル、たとえば、ツリーレベル2(階層レベル2、深さ2)の2つ以上のブロックに再び区分けされる可能性があり、たとえば、終了基準が満たされる、たとえば、最大のツリーの深さまたは最小のブロックサイズが達せられるので区分けが終了されるまで以下同様である。さらに区分けされないブロックは、木の葉ブロックまたは葉ノードとも呼ばれる。2つの区画への区分けを使用する木は、二分木(BT)と呼ばれ、3つの区画への区分けを使用する木は、三分木(TT)と呼ばれ、4つの区画への区分けを使用する木は、四分木(QT)と呼ばれる。
上述のように、本明細書において使用される用語「ブロック」は、ピクチャの一部分、特に、正方形または長方形の一部分である可能性がある。たとえば、HEVCおよびVVCに関連して、ブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU: coding unit)、予測ユニット(PU: prediction unit)、および変換ユニット(TU: transform unit)、ならびに/または対応するブロック、たとえば、コーディングツリーブロック(CTB)、コーディングブロック(CB: coding block)、変換ブロック(TB)、または予測ブロック(PB)であるかまたはそれらに対応する可能性がある。
たとえば、コーディングツリーユニット(CTU)は、ルマサンプルのCTB、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面(colour plane)およびシンタックス(syntax)構造を使用してコーディングされるピクチャのサンプルのCTBであるかまたはそれらを含む可能性がある。それに対応して、コーディングツリーブロック(CTB)は、構成要素のCTBへの分割が区分けであるようなNの何らかの値に関するサンプルのNxNのブロックである可能性がある。コーディングユニット(CU)は、ルマサンプルのコーディングブロック、3つのサンプル配列を有するピクチャのクロマサンプルの2つの対応するコーディングブロック、またはモノクロピクチャもしくはサンプルをコーディングするために使用される3つの別々の色平面およびシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックであるかまたはそれらを含む可能性がある。それに対応して、コーディングブロック(CB)は、CTBのコーディングブロックへの分割が区分けであるようなMおよびNの何らかの値に関するサンプルのMxNのブロックである可能性がある。
たとえば、HEVCによる実施形態において、コーディングツリーユニット(CTU)は、コーディングツリーとして表される四分木構造を使用することによってCUに分割される可能性がある。インターピクチャ(時間)予測を使用してピクチャエリアをコーディングすべきかまたはイントラピクチャ(空間)予測を使用してピクチャエリアをコーディングすべきかの判断は、CUレベルで行われる。各CUは、PU分割タイプに従って1つ、2つ、または4つのPUにさらに分割され得る。1つのPU内では、同じ予測プロセスが適用され、関連する情報がPUに基づいてデコーダに送信される。PU分割タイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、CUは、CUに関するコーディングツリーと同様の別の四分木構造によって変換ユニット(TU)に区分けされ得る。
たとえば、多目的ビデオコーディング(VVC)と呼ばれる現在開発されている最新のビデオコーディング規格による実施形態においては、組み合わされた四分木および二分木(QTBT)区分けが、たとえば、コーディングブロックを区分けするために使用される。QTBTブロック構造において、CUは、正方形かまたは長方形かのどちらかの形状を持ち得る。たとえば、コーディングツリーユニット(CTU)が、まず、四分木構造によって区分けされる。四分木の葉ノードが、二分木または三分(ternary)(または三分(triple))木構造によってさらに区分けされる。区分けツリーの葉ノードは、コーディングユニット(CU)と呼ばれ、そのセグメント分けが、いかなるさらなる区分けもなしに予測および変換処理のために使用される。これは、CU、PU、およびTUがQTBTコーディングブロック構造において同じブロックサイズを有することを意味する。平行して、多区画、たとえば、三分木区画は、QTBTブロック構造と一緒に使用される可能性がある。
一例において、ビデオエンコーダ20のモード選択ユニット260は、本明細書において説明される区分け技術の任意の組合せを実行するように構成される可能性がある。
上述のように、ビデオエンコーダ20は、1組の(たとえば、予め決定された)予測モードから最良のまたは最適な予測モードを決定するまたは選択するように構成される。1組の予測モードは、たとえば、イントラ予測モードおよび/またはインター予測モードを含む可能性がある。
イントラ予測
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性があり、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性がある。
1組のイントラ予測モードは、たとえばHEVCにおいて定義された35個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性があり、あるいはたとえばVVCのために定義された67個の異なるイントラ予測モード、たとえば、DC(もしくは平均)モードおよび平面モードのような非方向性モード、または方向性モードを含む可能性がある。
イントラ予測ユニット254は、1組のイントラ予測モードのうちのイントラ予測モードによって、同じ現在のピクチャの近隣のブロックの再構築されたサンプルを使用してイントラ予測ブロック265を生成するように構成される。
イントラ予測ユニット254(または概してモード選択ユニット260)は、たとえば、ビデオデコーダ30が予測パラメータを受信し、復号のために使用する可能性があるように、符号化されたピクチャデータ21に含めるためにシンタックス要素266の形態でエントロピー符号化ユニット270にイントラ予測パラメータ(または概してブロックに関する選択されたイントラ予測モードを示す情報)を出力するようにさらに構成される。
インター予測
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
1組の(または可能な)インター予測モードは、利用可能な参照ピクチャ(つまり、たとえば、DBP230に記憶された前の少なくとも部分的に復号されたピクチャ)ならびにその他のインター予測パラメータ、たとえば、最もよく一致する参照ブロックを探索するために参照ピクチャ全体が使用されるのかもしくは参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索窓(search window)エリアのみが使用されるか、ならびに/またはたとえば、ピクセル補間、たとえば、半/セミペル(half/semi-pel)および/もしくは4分の1ペル補間が適用されるか否かに依存する。
上述の予測モードに加えて、スキップモードおよび/またはダイレクトモードが、適用される可能性がある。
インター予測ユニット244は、動き推定(ME)ユニットおよび動き補償(MC)ユニット(どちらも図2に示さず)を含む可能性がある。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在のピクチャ17の現在のピクチャブロック203)および復号されたピクチャ231、または少なくとも1つのもしくは複数の既に再構築されたブロック、たとえば、1つもしくは複数のその他の/異なる既に復号されたピクチャ231の再構築されたブロックを受信するかまたは取得するように構成される可能性がある。たとえば、ビデオシーケンスは、現在のピクチャおよび既に復号されたピクチャ231を含む可能性があり、または言い換えると、現在のピクチャおよび既に復号されたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であるかもしくはそのようなピクチャのシーケンスを形成する可能性がある。
エンコーダ20は、たとえば、複数のその他のピクチャのうちの同じまたは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(もしくは参照ピクチャインデックス)および/または参照ブロックの位置(x、y座標)と現在のブロックの位置との間のオフセット(空間オフセット)をインター予測パラメータとして動き推定ユニットに提供するように構成される可能性がある。このオフセットは、動きベクトル(MV)とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得、たとえば、受信し、インター予測パラメータに基づいてまたはインター予測パラメータを使用してインター予測を実行してインター予測ブロック265を取得するように構成される。動き補償ユニットによって実行される動き補償は、おそらくはサブピクセルの精度の補間を実行する動き推定によって決定された動き/ブロックベクトルに基づく予測ブロックのフェッチまたは生成を含む可能性がある。補間フィルタリングが、知られているピクセルサンプルから追加的なピクセルサンプルを生成する可能性があり、したがって潜在的に、ピクチャブロックをコーディングするために使用される可能性がある候補予測ブロックの数を増やす。現在のピクチャブロックのPUに関する動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックを見つける可能性がある。
動き補償ユニットは、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30によって使用するためのブロックおよびビデオスライスに関連するシンタックス要素も生成する可能性がある。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、生成されるかまたは使用される可能性がある。
エントロピーコーディング
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用する可能性があるように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力され得る符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy)コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶される可能性がある。
エントロピー符号化ユニット270は、たとえば、ビデオデコーダ30がパラメータを受信し、復号のために使用する可能性があるように、たとえば、符号化されたビットストリーム21の形態で出力272を介して出力され得る符号化されたピクチャデータ21を得るために、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素に対して、たとえば、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(VLC: variable length coding)方式、コンテキスト適応VLC方式(CAVLC: context adaptive VLC)、算術コーディング方式、2値化、コンテキスト適応2値算術コーディング(CABAC: context adaptive binary arithmetic coding)、シンタックスに基づくコンテキスト適応2値算術コーディング(SBAC: syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE: probability interval partitioning entropy)コーディング、もしくは別のエントロピー符号化方法もしくは技術)またはバイパス(bypass)(非圧縮)を適用するように構成される。符号化されたビットストリーム21は、ビデオデコーダ30に送信されるか、または後の送信またはビデオデコーダ30による取り出しのためにメモリに記憶される可能性がある。
ビデオエンコーダ20その他の構造の変化形が、ビデオストリームを符号化するために使用され得る。たとえば、変換に基づかないエンコーダ20は、特定のブロックまたはフレームに関して変換処理ユニット206なしに残差信号を直接量子化し得る。別の実装において、エンコーダ20は、単一のユニットに組み合わされた量子化ユニット208および逆量子化ユニット210を持ち得る。
デコーダおよび復号方法
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライス(および/またはタイルグループもしくはタイル)のピクチャブロックならびに関連するシンタックス要素を表すデータを復号するための情報を含む。
図3は、本出願の技術を実装するように構成されるビデオデコーダ30の例を示す。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20によって符号化された符号化されたピクチャデータ21(たとえば、符号化されたビットストリーム21)を受信するように構成される。符号化されたピクチャデータまたはビットストリームは、符号化されたピクチャデータ、たとえば、符号化されたビデオスライス(および/またはタイルグループもしくはタイル)のピクチャブロックならびに関連するシンタックス要素を表すデータを復号するための情報を含む。
図3の例において、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構築ユニット314(たとえば、合算器314)、ループフィルタ320、復号ピクチャバッファ(DBP)330、モード適用ユニット360、インター予測ユニット344、およびイントラ予測ユニット354を含む。インター予測ユニット344は、動き補償ユニットであるかまたは動き補償ユニットを含む可能性がある。ビデオデコーダ30は、いくつかの例において、図2のビデオエンコーダ100に関連して説明された符号化パスと概して逆である復号パスを実行する可能性がある。
エンコーダ20に関連して説明されたように、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB)230、インター予測ユニット344、およびイントラ予測ユニット354は、ビデオエンコーダ20の「内蔵デコーダ」を形成するともみなされる。したがって、逆量子化ユニット310は、逆量子化ユニット110と機能的に同一である可能性があり、逆変換処理ユニット312は、逆変換処理ユニット212と機能的に同一である可能性があり、再構築ユニット314は、再構築ユニット214と機能的に同一である可能性があり、ループフィルタ320は、ループフィルタ220と機能的に同一である可能性があり、復号ピクチャバッファ330は、復号ピクチャバッファ230と機能的に同一である可能性がある。したがって、ビデオ20エンコーダのそれぞれのユニットおよび機能に関して与えられた説明が、ビデオデコーダ30のそれぞれのユニットおよび機能に準用される。
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成される可能性がある。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード適用ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成される可能性がある。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信する可能性がある。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、受信されるおよび/または使用される可能性がある。
エントロピー復号ユニット304は、ビットストリーム21(または概して符号化されたピクチャデータ21)を解析し、たとえば、符号化されたピクチャデータ21にエントロピー復号を実行して、たとえば、量子化された係数309ならびに/あるいは復号されたコーディングパラメータ(図3に示さず)、たとえば、インター予測パラメータ(たとえば、参照ピクチャインデックスおよび動きベクトル)、イントラ予測パラメータ(たとえば、イントラ予測モードもしくはインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および/またはその他のシンタックス要素のいずれかまたはすべてを取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関連して説明された符号化方式に対応する復号アルゴリズムまたは方式を適用するように構成される可能性がある。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/またはその他のシンタックス要素をモード適用ユニット360に提供し、その他のパラメータをデコーダ30のその他のユニットに提供するようにさらに構成される可能性がある。ビデオデコーダ30は、ビデオスライスのレベルおよび/またはビデオブロックのレベルでシンタックス要素を受信する可能性がある。スライスおよびそれぞれのシンタックス要素に加えて、またはスライスおよびそれぞれのシンタックス要素の代替として、タイルグループおよび/またはタイルならびにそれぞれのシンタックス要素が、受信されるおよび/または使用される可能性がある。
逆量子化
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれる可能性がある量子化解除された係数311を取得するように構成される可能性がある。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス(またはタイルまたはタイルグループ)内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含む可能性がある。
逆量子化ユニット310は、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から量子化パラメータ(QP)(または概して逆量子化に関連する情報)および量子化された係数を受け取り、復号された量子化された係数309に対して量子化パラメータに基づいて逆量子化を適用して、変換係数311とも呼ばれる可能性がある量子化解除された係数311を取得するように構成される可能性がある。逆量子化プロセスは、量子化の度合いと、同様に、適用されるべき逆量子化の度合いとを決定するために、ビデオスライス(またはタイルまたはタイルグループ)内の各ビデオブロックに関してビデオエンコーダ20によって決定された量子化パラメータを使用することを含む可能性がある。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、量子化解除された係数311に変換を適用するように構成される可能性がある。再構築された残差ブロック213は、変換ブロック313とも呼ばれる可能性がある。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスである可能性がある。逆変換処理ユニット312は、量子化解除された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成される可能性がある。
逆変換処理ユニット312は、変換係数311とも呼ばれる量子化解除された係数311を受け取り、サンプル領域において再構築された残差ブロック213を取得するために、量子化解除された係数311に変換を適用するように構成される可能性がある。再構築された残差ブロック213は、変換ブロック313とも呼ばれる可能性がある。変換は、逆変換、たとえば、逆DCT、逆DST、逆整数変換、または概念的に同様の逆変換プロセスである可能性がある。逆変換処理ユニット312は、量子化解除された係数311に適用される変換を決定するために、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から変換パラメータまたは対応する情報を受け取るようにさらに構成される可能性がある。
再構築
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成される可能性がある。
再構築ユニット314(たとえば、加算器または合算器314)は、たとえば、再構築された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを足すことによって予測ブロック365に再構築された残差ブロック313を足してサンプル領域において再構築されたブロック315を取得するように構成される可能性がある。
フィルタリング
(コーディングループ内かまたはコーディングループの後かのどちらかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装される可能性がある。
(コーディングループ内かまたはコーディングループの後かのどちらかの)ループフィルタユニット320は、たとえば、ピクセルの遷移を平滑化するかまたはそれ以外の方法でビデオの品質を改善するために再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、または1つもしくは複数のその他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(ALF)、鮮鋭化、平滑化フィルタ、もしくは共同フィルタ、もしくはこれらの任意の組合せなどの1つまたは複数のループフィルタを含む可能性がある。ループフィルタユニット320は図3にループ内フィルタであるものとして示されるが、その他の構成において、ループフィルタユニット320は、ループ後フィルタとして実装される可能性がある。
復号ピクチャバッファ
それから、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
それから、ピクチャの復号されたビデオブロック321は、その他のピクチャに関するその後の動き補償のための参照ピクチャとしておよび/またはディスプレイ上にそれぞれ出力するために復号されたピクチャ331を記憶する復号ピクチャバッファ330に記憶される。
デコーダ30は、復号されたピクチャ311を、ユーザへの提示または視聴のために、たとえば、出力312を介して出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一である可能性があり、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一である可能性があり、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード適用ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成される可能性がある。
インター予測ユニット344は、インター予測ユニット244と(特に動き補償ユニットと)同一である可能性があり、イントラ予測ユニット354は、インター予測ユニット254と機能的に同一である可能性があり、(たとえば、エントロピー復号ユニット304によって、たとえば、解析および/または復号することによって)符号化されたピクチャデータ21から受け取られた区分けおよび/または予測パラメータまたはそれぞれの情報に基づいて分割または区分けの判断および予測を実行する。モード適用ユニット360は、予測ブロック365を得るために、(フィルタリングされたまたはフィルタリングされていない)再構築されたピクチャ、ブロック、またはそれぞれのサンプルに基づいてブロック毎に予測(イントラまたはインター予測)を実行するように構成される可能性がある。
ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、モード適用ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モードおよび現在のピクチャの既に復号されたブロックからのデータに基づいて現在のビデオスライスのピクチャブロックに関する予測ブロック365を生成するように構成される。ビデオピクチャがインターコーディングされた(つまり、BまたはP)スライスとしてコーディングされるとき、モード適用ユニット360のインター予測ユニット344(たとえば、動き補償ユニット)は、エントロピー復号ユニット304から受け取られたモーションベクトルおよびその他のシンタックス要素に基づいて現在のビデオスライスのビデオブロックに関する予測ブロック365を生成するように構成される。インター予測に関して、予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生成される可能性がある。ビデオデコーダ30は、DPB330に記憶された参照ピクチャに基づいてデフォルトの構築技術を使用して参照フレームリスト、List 0およびList 1を構築する可能性がある。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用される可能性があり、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされる可能性がある。
モード適用ユニット360は、動きベクトルまたは関連する情報およびその他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに関する予測ブロックを生成するように構成される。たとえば、モード適用ユニット360は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするために使用された予測モード(たとえば、イントラまたはインター予測)、インター予測のスライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に関する構築情報、スライスのそれぞれのインター符号化されたビデオブロックに関する動きベクトル、スライスのそれぞれのインターコーディングされたビデオブロックに関するインター予測のステータス、および現在のビデオスライス内のビデオブロックを復号するためのその他の情報を決定する。同じまたは同様のことが、スライス(たとえば、ビデオスライス)に加えてまたはスライス(たとえば、ビデオスライス)の代替としてタイルグループ(たとえば、ビデオタイルグループ)および/またはタイル(たとえば、ビデオタイル)を使用する実施形態のためにまたはそのような実施形態によって適用される可能性があり、たとえば、ビデオは、I、P、またはBタイルグループおよび/またはタイルを使用してコーディングされる可能性がある。
図3に示されるビデオデコーダ30の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)スライスに区分けされるかまたは1つもしくは複数の(概して重なり合わない)スライスを使用して復号される可能性があり、各スライスは、1つまたは複数のブロック(たとえば、CTU)を含む可能性がある。
図3に示されるビデオデコーダ30の実施形態は、タイルグループ(ビデオタイルグループとも呼ばれる)および/またはタイル(ビデオタイルとも呼ばれる)を使用することによってピクチャを区分けするおよび/または復号するように構成される可能性があり、ピクチャは、1つもしくは複数の(概して重なり合わない)タイルグループに区分けされるかまたは1つもしくは複数の(概して重なり合わない)タイルグループを使用して復号される可能性があり、各タイルグループは、たとえば、1つもしくは複数のブロック(たとえば、CTU)または1つもしくは複数のタイルを含む可能性があり、各タイルは、たとえば、長方形の形をしている可能性があり、1つまたは複数のブロック(たとえば、CTU)、たとえば、完全なまたは断片的なブロックを含む可能性がある。
ビデオデコーダ30のその他の変化形が、符号化されたピクチャデータ21を復号するために使用され得る。たとえば、デコーダ30は、ループフィルタリングユニット320なしで出力ビデオストリームを生成し得る。たとえば、変換に基づかないデコーダ30は、特定のブロックまたはフレームに関して逆変換処理ユニット312なしに残差信号を直接逆量子化し得る。別の実装において、ビデオデコーダ30は、単一のユニットに組み合わされた逆量子化ユニット310および逆変換処理ユニット312を持ち得る。
エンコーダ20およびデコーダ30において、現在のステップの処理結果は、さらに処理され、それから次のステップに出力される可能性があることを理解されたい。たとえば、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの後、Clipまたはシフトなどのさらなる演算が、補間フィルタリング、動きベクトルの導出、またはループフィルタリングの処理結果に対して実行される可能性がある。
さらなる演算が、(アフィンモードの制御点動きベクトル(control point motion vector)、アフィン、平面、ATMVPモードの下位ブロック動きベクトル、時間動きベクトル(temporal motion vector)などを含むがこれらに限定されない)現在のブロックの導出された動きベクトルに適用される可能性があることに留意されたい。たとえば、動きベクトルの値は、その表現ビットに従って所定の範囲に制約される。動きベクトルの表現ビットがbitDepthである場合、範囲は、-2^(bitDepth-1)～2^(bitDepth-1)-1であり、「^」は、累乗を意味する。たとえば、bitDepthが16に等しいように設定される場合、範囲は、-32768～32767であり、bitDepthが18に等しいように設定される場合、範囲は、-131072～131071である。たとえば、導出された動きベクトル(たとえば、1つの8×8ブロック内の4つの4×4下位ブロックのMV)の値は、4つの4×4下位ブロックのMVの整数部分の間の最大の差が1ピクセル以下などNピクセル以下であるように制約される。ここでは、bitDepthに応じて動きベクトルを制約するための2つの方法を提供する。
方法1: 流れる演算によってあふれ(overflow)MSB(最上位ビット)を削除する
ux = ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy = ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
式中、mvxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、mvyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、uxおよびuyは、中間値を示す。
ux = ( mvx+2bitDepth ) % 2bitDepth (1)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (2)
uy = ( mvy+2bitDepth ) % 2bitDepth (3)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (4)
式中、mvxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、mvyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、uxおよびuyは、中間値を示す。
たとえば、mvxの値が-32769である場合、式(1)および(2)を適用した後、結果として得られる値は、32767である。コンピュータシステムにおいて、10進数は、2の補数として記憶される。-32769の2の補数は、1,0111,1111,1111,1111(17ビット)であり、そのとき、MSBが破棄され、したがって、結果として得られる2の補数は、0111,1111,1111,1111(10進数は32767)であり、これは、式(1)および(2)を適用することによる出力と同じである。
ux= ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
ux= ( mvpx + mvdx +2bitDepth ) % 2bitDepth (5)
mvx = ( ux >= 2bitDepth-1 ) ? (ux - 2bitDepth ) : ux (6)
uy= ( mvpy + mvdy +2bitDepth ) % 2bitDepth (7)
mvy = ( uy >= 2bitDepth-1 ) ? (uy - 2bitDepth ) : uy (8)
演算は、式(5)から(8)に示されるように、mvpとmvdとの合計中に適用される可能性がある。
方法2: 値をクリッピングすることによってあふれMSBを削除する
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
式中、vxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、vyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVのクリッピングプロセスの3つの入力値にそれぞれ対応し、関数Clip3の定義は、以下の通りである。
vx = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vx)
vy = Clip3(-2bitDepth-1, 2bitDepth-1 -1, vy)
式中、vxは、画像ブロックまたは下位ブロックの動きベクトルの水平成分であり、vyは、画像ブロックまたは下位ブロックの動きベクトルの垂直成分であり、x、y、およびzは、MVのクリッピングプロセスの3つの入力値にそれぞれ対応し、関数Clip3の定義は、以下の通りである。
図4は、本開示の実施形態に係るビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、本明細書において説明されるように開示される実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス400は、図1Aのビデオデコーダ30などのデコーダまたは図1Aのビデオエンコーダ20などのエンコーダである可能性がある。
ビデオコーディングデバイス400は、データを受信するための着信ポート410(または入力ポート410)および受信機ユニット(Rx)420、データを処理するためのプロセッサ、論理ユニット、または中央演算処理装置(CPU)430、データを送信するための送信機ユニット(Tx)440および発信ポート450(または出力ポート450)、ならびにデータを記憶するためのメモリ460を含む。ビデオコーディングデバイス400は、光または電気信号の発信または着信のために着信ポート410、受信機ユニット420、送信機ユニット440、および発信ポート450に結合された光-電気(OE)構成要素および電気-光(EO)構成要素も含む可能性がある。
プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、FPGA、ASIC、およびDSPとして実装される可能性がある。プロセッサ430は、着信ポート410、受信機ユニット420、送信機ユニット440、発信ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470を含む。コーディングモジュール470は、上述の開示された実施形態を実装する。たとえば、コーディングモジュール470は、様々なコーディング動作を実装するか、処理するか、準備するか、または提供する。したがって、コーディングモジュール470を含むことは、ビデオコーディングデバイス400の機能を大幅に改善し、ビデオコーディングデバイス400の異なる状態への転換をもたらす。代替的に、コーディングモジュール470は、メモリ460に記憶され、プロセッサ430によって実行される命令として実装される。
メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含む可能性があり、プログラムが実行するために選択されるときにそのようなプログラムを記憶するためならびにプログラムの実行中に読まれる命令およびデータを記憶するためのオーバーフローデータストレージデバイス(over-flow data storage device)として使用される可能性がある。メモリ460は、たとえば、揮発性および/または不揮発性である可能性があり、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、3値連想メモリ(TCAM: ternary content-addressable memory)、および/またはスタティックランダムアクセスメモリ(SRAM)である可能性がある。
図5は、例示的な実施形態に係る、図1の送信元デバイス12および送信先デバイス14のどちらかまたは両方として使用される可能性がある装置500の簡略化されたブロック図である。
装置500のプロセッサ502は、中央演算処理装置であることが可能である。代替的に、プロセッサ502は、既存のまたは今後開発される、情報を操作または処理することができる任意のその他の種類の1つのデバイスまたは複数のデバイスであることが可能である。開示される実装は示されるように単一のプロセッサ、たとえば、プロセッサ502によって実施され得るが、2つ以上のプロセッサを使用することによって速度および効率面の利点が実現され得る。
装置500のメモリ504は、実装において、読み出し専用メモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスであることが可能である。任意のその他の好適な種類のストレージデバイスが、メモリ504として使用され得る。メモリ504は、バス512を使用してプロセッサ502によってアクセスされるコードおよびデータ506を含み得る。メモリ504は、オペレーティングシステム508およびアプリケーションプログラム510をさらに含むことが可能であり、アプリケーションプログラム510は、プロセッサ502が本明細書において説明される方法を実行すること可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム510は、本明細書において説明される方法を実行するビデオコーディングアプリケーションをさらに含むアプリケーション1からNを含み得る。
装置500は、ディスプレイ518などの1つまたは複数の出力デバイスも含み得る。ディスプレイ518は、一例において、ディスプレイをタッチ入力を感知するように動作可能であるタッチ感知要素と組み合わせるタッチ式ディスプレイである可能性がある。ディスプレイ518は、バス512を介してプロセッサ502に結合され得る。
ここでは単一のバスとして示されるが、装置500のバス512は、複数のバスから構成され得る。さらに、二次ストレージ514は、装置500のその他の構成要素に直接結合されることが可能であり、またはネットワークを介してアクセスされることが可能であり、メモリカードなどの単一の統合されたユニットもしくは複数のメモリカードなどの複数のユニットを含むことが可能である。したがって、装置500は、多種多様な構成で実装され得る。
パラメータセット
パラメータセットは、基本的に類似しており、同じ基本的な設計目標--つまり、ビットレートの効率、誤り耐性、およびシステムレイヤインターフェースの提供--を共有する。HEVC(H.265)には、AVCおよびVVCにおいてそれらに対応するものと類似しているビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)を含むパラメータセットの階層が存在する。各スライスは、単一のアクティブなPPS、SPS、およびVPSを参照して、スライスを復号するために使用される情報にアクセスする。PPSは、ピクチャ内のすべてのスライスに適用される情報を含み、したがって、ピクチャ内のすべてのスライスは、同じPPSを参照しなければならない。異なるピクチャのスライスが、同じPPSを参照することも許される。同様に、SPSは、同じコーディングされたビデオシーケンス(coded video sequence)内のすべてのピクチャに適用される情報を含む。
パラメータセットは、基本的に類似しており、同じ基本的な設計目標--つまり、ビットレートの効率、誤り耐性、およびシステムレイヤインターフェースの提供--を共有する。HEVC(H.265)には、AVCおよびVVCにおいてそれらに対応するものと類似しているビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)を含むパラメータセットの階層が存在する。各スライスは、単一のアクティブなPPS、SPS、およびVPSを参照して、スライスを復号するために使用される情報にアクセスする。PPSは、ピクチャ内のすべてのスライスに適用される情報を含み、したがって、ピクチャ内のすべてのスライスは、同じPPSを参照しなければならない。異なるピクチャのスライスが、同じPPSを参照することも許される。同様に、SPSは、同じコーディングされたビデオシーケンス(coded video sequence)内のすべてのピクチャに適用される情報を含む。
PPSは別々のピクチャに関して異なる場合があるが、コーディングされたビデオシーケンス内の多くのまたはすべてのピクチャが同じPPSを参照することがよくある。パラメータセットを再利用することは、共有された情報を複数回送信する必要を回避するので、ビットレートの効率が良い。また、パラメータセットを再利用することは、パラメータセットの内容が失われないことを保証するために、パラメータセットの内容が何らかのより信頼性の高い外部通信リンクによって運ばれるかまたはビットストリーム内で頻繁に繰り返されることを可能にするので、損失に強い。
スケーラブルビデオコーディング、レイヤ、およびビデオパラメータセット(VPS)
スケーラブルビデオコーディングは、ビデオを複数のレイヤにコーディングするメカニズムを提供し、各レイヤは、同じビデオシーンの品質の表現を表す。基本レイヤ(BL: base layer)は、最も低い品質の表現である。1つまたは複数の拡張レイヤ(EL: enhancement layer)は、下位レイヤを参照してコーディングされ、改善されたビデオ品質を提供する場合がある。スケーラブルコーディングされたビデオビットストリームのレイヤのサブセットを復号することは、より低い、しかし許容可能な品質のビデオをもたらす。これは、概してビットレートの低下がビデオ品質をより落ち込ませる非スケーラブルビデオビットストリームと比較してより支障の少ない劣化(more graceful degradation)を可能にする。
スケーラブルビデオコーディングは、ビデオを複数のレイヤにコーディングするメカニズムを提供し、各レイヤは、同じビデオシーンの品質の表現を表す。基本レイヤ(BL: base layer)は、最も低い品質の表現である。1つまたは複数の拡張レイヤ(EL: enhancement layer)は、下位レイヤを参照してコーディングされ、改善されたビデオ品質を提供する場合がある。スケーラブルコーディングされたビデオビットストリームのレイヤのサブセットを復号することは、より低い、しかし許容可能な品質のビデオをもたらす。これは、概してビットレートの低下がビデオ品質をより落ち込ませる非スケーラブルビデオビットストリームと比較してより支障の少ない劣化(more graceful degradation)を可能にする。
スケーラブルビデオシーケンスには、時間スケーラビリティ、空間スケーラビリティ、および品質スケーラビリティを含む複数の種類のスケーラビリティが存在する。図11は、空間と時間との両方のスケーラビリティを示す例を提供する。図11においては、2つのレイヤが、異なる解像度でコーディングされる。BLは、より低い解像度を有し、ELは、より高い解像度を有し、空間スケーラビリティは、BL、ELのどちらか、または両方を復号するためのデコーダを提供することによって実現される。
空間スケーラビリティに加えて、時間スケーラビリティが、コーディングレイヤ内で実現される。この例においては、各コーディングレイヤが、2つの時間サブレイヤに分割され、それらの時間サブレイヤは、それぞれ時間ID 0およびIID 1によってラベル付けされる。時間スケーラビリティは、(時間IDが0に等しい)時間サブレイヤ0かまたはサブレイヤ0と1との両方を復号することを提供することによって実現される。
各レイヤのピクチャは、レイヤID、たとえば、シンタックス要素nuh_layer_idを割り当てられる。コーディングされたレイヤビデオシーケンス(CLVS: coded layer video sequence)は、復号順に、空間コーディングレイヤビデオシーケンス開始コーディングピクチャ(special coding layer video sequence starting coding picture)(CLVSS、たとえば、イントラピクチャ)と、その後に続く、CLVSSピクチャである任意の後続のピクチャまでの、しかし、そのCLVSSピクチャである任意の後続のピクチャを含まないすべての後続のピクチャを含む、CLVSSピクチャではない0個以上のピクチャとを含む、nuh_layer_idが同じ値であるピクチャのシーケンスである。
コーディングされたビデオシーケンス(CVS)は、1つまたは複数のコーディングされたレイヤビデオシーケンス(CLVS)を含む。図11の例においては、BLおよびELの最初のピクチャがCLVSSピクチャであり、すべてのその他のピクチャがCLVSSピクチャでないと仮定すると、このCVSは、2つのCLVSを含む。
シーケンスパラメータセット(SPS)
SPSは、コーディングされたビデオシーケンスの1つのレイヤに適用され、コーディングされたビデオシーケンス内でピクチャ毎に変化しないパラメータを含む。
SPSは、コーディングされたビデオシーケンスの1つのレイヤに適用され、コーディングされたビデオシーケンス内でピクチャ毎に変化しないパラメータを含む。
一部の極端な場合において、SPSは、CLVS内のいずれのピクチャによっても使用されない可能性がある。
SPSが、異なるCLVSによって共有される場合もある。
最新のVVC仕様草案(すなわち、http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/19_Teleconference/wg11/JVET-S0152-v5.zip、簡略化のため以降の節においてはVVC草案と呼ばれる)において、SPSの定義は、以下の通りである。
シーケンスパラメータセット(SPS: sequence parameter set): 各ピクチャヘッダ内で発見されるシンタックス要素によって参照されるPPS内で発見されるシンタックス要素の内容によって決定される、0個以上のCLVS全体に適用されるシンタックス要素を含むシンタックス構造。
シーケンスパラメータセット(SPS: sequence parameter set): 各ピクチャヘッダ内で発見されるシンタックス要素によって参照されるPPS内で発見されるシンタックス要素の内容によって決定される、0個以上のCLVS全体に適用されるシンタックス要素を含むシンタックス構造。
PPSおよびピクチャヘッダの定義に関しては、VVC草案を参照されたい。
特に、SPSは、復号ピクチャバッファ(すなわち、dpb)のシグナリングに関する情報を含む。
下の表のいくつかの部分は、VVCにおけるSPS内でのdpbのシグナリングの一部のスナップショットを示す。
復号ピクチャバッファ(DPB)情報のシグナリング
復号ピクチャバッファ
復号ピクチャバッファ(DPB)は、復号されたピクチャを参照のために、たとえば、インター予測のための参照ピクチャとして記憶するために使用されるバッファである。VVC草案で開示された例においては、シーケンスパラメータセット(SPS)内のDBPに関するパラメータの関連シンタックス要素が強調されている。
復号ピクチャバッファ
復号ピクチャバッファ(DPB)は、復号されたピクチャを参照のために、たとえば、インター予測のための参照ピクチャとして記憶するために使用されるバッファである。VVC草案で開示された例においては、シーケンスパラメータセット(SPS)内のDBPに関するパラメータの関連シンタックス要素が強調されている。
1に等しいsps_ptl_dpb_hrd_params_present_flagは、profile_tier_level( )シンタックス構造およびdpb_parameters( )シンタックス構造がSPS内に存在し、general_hrd_parameters( )シンタックス構造およびols_hrd_parameters( )シンタックス構造もSPS内に存在する場合があることを指定する。0に等しいsps_ptl_dpb_hrd_params_present_flagは、これら4つのシンタックス構造のいずれもSPS内に存在しないことを指定する。
sps_video_parameter_set_idが0より大きく、SPSのnuh_layer_idに等しいnuh_layer_idを有するただ1つのレイヤを含むOLSが存在するとき、またはsps_video_parameter_set_idが0に等しいとき、sps_ptl_dpb_hrd_params_present_flagの値は、1に等しい。
OLS(出力レイヤセット(output layer set))は、1つまたは複数のレイヤが出力レイヤとして指定されるレイヤの組である。出力レイヤは、出力される出力レイヤセットのレイヤである。
シンタックス構造profile_tier_level( )、dpb_parameters( )、general_hrd_parameters( )、ols_hrd_parameters( )に関するシンタックステーブル(syntax table)はVVC草案に見つけられ得る。
シンタックス要素sps_max_sublayers_minus1は、利用可能な時間サブレイヤの数を示す。利用可能な時間サブレイヤの数が1より大きい(たとえば、シンタックス要素sps_max_sublayers_minus1の値が0より大きい)とき、シンタックス要素sps_sublayer_dpb_params_flagの値が、ビットストリーム内でシグナリングされる。シンタックス要素sps_sublayer_dpb_params_flagは、復号ピクチャ情報をそれぞれの利用可能なサブレイヤに関してシグナリングするべき(その値が1に等しいとき)か、または最上位の時間サブレイヤに関してだけシグナリングするべき(その値が0に等しいとき)かを指示する。sps_sublayer_dpb_params_flagの値が存在しない、たとえば、時間サブレイヤが1つだけ存在する(sps_max_sublayers_minus1の値 == 0である)とき、sps_max_sublayers_minus1の値は、0と推測される。
一部の例において、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値は、シグナリング構造dpb_parameter( )がSPS内でシグナリングされるか否かを示す。シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が1に等しいとき、シグナリングされたデータ構造dpb_parameter( )が、利用可能な時間サブレイヤの数から1を引いた値(sps_max_sublayers_minus1)およびフラグsps_sublayer_dpb_params_flagをそれぞれ第1および第2のパラメータとして呼び出される。
例において、VVC草案のdpb_parameter( )のシグナリング構造は、以下のように定義されている。
dpb_parameters( )シンタックス構造は、1つまたは複数のOLSのDPBサイズ、最大ピクチャ並べ替え数(maximum picture reorder number)、および最大レイテンシの情報を提供する。
dpb_parameters( )シンタックス構造がVPSに含まれるとき、dpb_parameters( )シンタックス構造が適用されるOLSは、VPSによって指定される。dpb_parameters( )シンタックス構造がSPSに含まれるとき、dpb_parameters( )シンタックス構造は、SPSを参照するレイヤの中で最下位のレイヤであるレイヤのみを含むOLSに適用され、この最下位のレイヤは、独立レイヤである。
max_dec_pic_buffering_minus1[ i ]に1を足した値は、Htidがiに等しいときに、DPBの最大必要サイズをピクチャ記憶バッファの単位で指定する。max_dec_pic_buffering_minus1[ i ]の値は、0およびMaxDpbSize - 1を含んで0からMaxDpbSize - 1までの範囲内にあり、MaxDpbSizeは、A.4.2項において規定されている通りである。iが0より大きいとき、max_dec_pic_buffering_minus1[ i ]は、max_dec_pic_buffering_minus1[ i - 1 ]以上である。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに対してmax_dec_pic_buffering_minus1[ i ]が存在しないとき、max_dec_pic_buffering_minus1[ i ]は、max_dec_pic_buffering_minus1[ maxSubLayersMinus1 ]に等しいと推測される。
max_num_reorder_pics[ i ]は、Htidがiに等しいとき、復号順でOLS内の任意のピクチャよりも前にあり、出力順でそのピクチャよりも後にあることができるOLSのピクチャの最大許容数を指定する。max_num_reorder_pics[ i ]の値は、0およびmax_dec_pic_buffering_minus1[ i ]を含んで0からmax_dec_pic_buffering_minus1[ i ]までの範囲内にある。iが0より大きいとき、max_num_reorder_pics[ i ]は、max_num_reorder_pics[ i - 1 ]以上である。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに対してmax_num_reorder_pics[ i ]が存在しないとき、max_num_reorder_pics[ i ]は、max_num_reorder_pics[ maxSubLayersMinus1 ]に等しいと推測される。
0に等しくないmax_latency_increase_plus1[ i ]は、Htidがiに等しいとき、出力順でOLS内の任意のピクチャよりも前にあり、復号順でそのピクチャよりも後にあることができるOLS内のピクチャの最大数を指定するMaxLatencyPictures[ i ]の値を計算するために使用される。
max_latency_increase_plus1[ i ]が0に等しくないとき、MaxLatencyPictures[ i ]の値は、以下のように指定される。
MaxLatencyPictures[ i ] = max_num_reorder_pics[ i ] + max_latency_increase_plus1[ i ] - 1 (112)
max_latency_increase_plus1[ i ]が0に等しいとき,対応する制限は示されない。
max_latency_increase_plus1[ i ]の値は、0および232 - 2を含んで0から232 - 2までの範囲内にある。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに対してmax_latency_increase_plus1[ i ]が存在しないとき、max_latency_increase_plus1[ i ]は、max_latency_increase_plus1[ maxSubLayersMinus1 ]に等しいと推測される。
MaxLatencyPictures[ i ] = max_num_reorder_pics[ i ] + max_latency_increase_plus1[ i ] - 1 (112)
max_latency_increase_plus1[ i ]が0に等しいとき,対応する制限は示されない。
max_latency_increase_plus1[ i ]の値は、0および232 - 2を含んで0から232 - 2までの範囲内にある。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに対してmax_latency_increase_plus1[ i ]が存在しないとき、max_latency_increase_plus1[ i ]は、max_latency_increase_plus1[ maxSubLayersMinus1 ]に等しいと推測される。
dpbパラメータ(max_dec_pic_buffering_minus1[i]、max_num_reorder_pics[i]、およびmax_latency_increase_plus1[i])を説明に使用するために使用されるシンタックス要素および変数のより詳細な情報に関しては、VVC草案を参照されたい。
dpb_parametersシグナリング構造は、subLayerInfoFlagの値によって制御され、1つのサブレイヤの復号ピクチャバッファ情報かまたは各サブレイヤの復号ピクチャ情報かのどちらかをシグナリングする。subLayerInfoFlagの値が0であるときは、利用可能な時間サブレイヤの中で最上位のサブレイヤの復号ピクチャバッファ情報が、シグナリングされる(i=maxSubLayersMinus1)。subLayerInfoFlagの値が1であるときは、利用可能な時間サブレイヤの中の各サブレイヤの復号ピクチャバッファ情報が、シグナリングされる(iの値は、0およびmaxSubLayersMinus1を含んで0からmaxSubLayersMinus1までの範囲である)。
シンタックス要素sps_sublayer_dpb_params_flagのセマンティクスについての問題
VVC草案において、sps_sublayer_dpb_params_flagのセマンティクスは、以下のように定義されている。
sps_sublayer_dpb_params_flagは、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。存在しないとき、sps_sub_dpb_params_info_present_flagの値は、0に等しいと推測される。
VVC草案において、sps_sublayer_dpb_params_flagのセマンティクスは、以下のように定義されている。
sps_sublayer_dpb_params_flagは、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。存在しないとき、sps_sub_dpb_params_info_present_flagの値は、0に等しいと推測される。
上記のセマンティクスは、2つの問題を有する。第1に、最後の文
存在しないとき、sps_sub_dpb_params_info_present_flagの値は、0に等しいと推測される
に誤記があった。sps_sub_dpb_params_info_present_flagは他のどこにも定義されておらず、最後の文は以下のように修正される。
存在しないとき、sps_sublayer_dpb_params_flagの値は、0に等しいと推測される
存在しないとき、sps_sub_dpb_params_info_present_flagの値は、0に等しいと推測される
に誤記があった。sps_sub_dpb_params_info_present_flagは他のどこにも定義されておらず、最後の文は以下のように修正される。
存在しないとき、sps_sublayer_dpb_params_flagの値は、0に等しいと推測される
第2に、sps_sublayer_dpb_params_flagのセマンティクスは、十分に厳密でない。max_dec_pic_buffering_minus1[i]、max_num_reorder_pics[i]、およびmax_latency_increase_plus1[i]におけるiの範囲が定義されていないので。iが(Table 1(表1)のsps_max_sublayers_minus1に対応する)maxSubLayersMinus1に等しいときは、sps_sublayer_dpb_params_flagが0に等しかろうがまたは1に等しかろうが、シンタックス要素max_dec_pic_buffering_minus1[i]、max_num_reorder_pics[i]、およびmax_latency_increase_plus1[i]が常にシグナリングされることが、Table 2(表2)から認められ得る。sps_sublayer_dpb_params_flagは、この場合、max_dec_pic_buffering_minus1[i]、max_num_reorder_pics[i]、およびmax_latency_increase_plus1[i]の存在を制御せず、これは、現在の定義と矛盾している。
一部の例において、シンタックス要素sps_sublayer_dpb_params_flagは、dpb_parametersの第2のパラメータとしてのみ使用される。
以下の実施形態に関して、我々は、誤記(第1の問題)が既に訂正されているものと仮定し、提案される実施形態は、第2の問題、sps_sublayer_dpb_params_flagの不正確なセマンティックに対処することに焦点を当てる。
実施形態1
第1の実施形態によれば、sps_sublayer_dpb_params_flagのセマンティクスは、以下のように修正される。
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は0に等しいと推測され、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
第1の実施形態によれば、sps_sublayer_dpb_params_flagのセマンティクスは、以下のように修正される。
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は0に等しいと推測され、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
このようにして、sps_sublayer_dpb_params_flagのセマンティクスが明確化される。2つ以上のサブレイヤが存在する(sps_max_sublayers_minus1が0より大きい)ときにのみ、sps_sublayer_dpb_params_flagは、0からsps_max_sublayers_minus1 - 1までの範囲のiに対して、dpb_parameters( )シンタックス構造内のminus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]の存在を制御する。そうでない(sps_max_sublayers_minus1が0に等しい)場合、sps_sublayer_dpb_params_flagがどの値であっても、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]のシグナリングが常にシグナリングされる。したがって、セマンティクスは、実施形態2において以下のように変更される可能性もある。
実施形態2
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は1に等しいと推測され、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は1に等しいと推測され、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
または、実施形態3に示されるように、sps_sublayer_dpb_params_flagの値に対する推測ルールを削除しさえする。
実施形態3
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
または、実施形態4に示されるように、sps_max_sublayers_minus1が0に等しいときの何らかの説明をして。
実施形態4
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は意味を持たず、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
sps_sublayer_dpb_params_flagは、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲内のiに対して、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。sps_max_sublayers_minus1が0に等しいとき、sps_sublayer_dpb_params_flagの値は意味を持たず、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる。
実施形態1から4を用いた着想1の補正
データ構造dpb_parameter( )は、SPSにおいて呼び出されるだけでなく、VPSにおいても呼び出される可能性がある。以下は、dpb_parameter( )が呼び出されるVPSのスナップショットである。
データ構造dpb_parameter( )は、SPSにおいて呼び出されるだけでなく、VPSにおいても呼び出される可能性がある。以下は、dpb_parameter( )が呼び出されるVPSのスナップショットである。
VPS内のdpb_parameters( )シンタックス構造の数を指定して。
1に等しいvps_default_ptl_dpb_hrd_max_tid_flagは、シンタックス要素vps_ptl_max_tid[ i ]、vps_dpb_max_tid[ i ]、およびvps_hrd_max_tid[ i ]が存在せず、デフォルト値vps_max_sublayers_minus1に等しいと推測されることを指定する。0に等しいvps_default_ptl_dpb_hrd_max_tid_flagは、シンタックス要素vps_ptl_max_tid[ i ]、vps_dpb_max_tid[ i ]、およびvps_ptl_max_tid[ i ]が存在することを指定する。存在しないとき、vps_default_ptl_dpb_hrd_max_tid_flagの値は、1に等しいと推測される。
vps_ptl_max_tid[ i ]およびvps_hrd_max_tid[ i ]の詳細な説明に関しては、VVC草案を参照されたい。
vps_dpb_max_tid[ i ]は、VPS内の第iのdpb_parameters( )シンタックス構造内にDPBパラメータが存在する場合がある最上位のサブレイヤの表現のTemporalIdを指定する。vps_dpb_max_tid[ i ]の値は、0およびvps_max_sublayers_minus1を含んで0からvps_max_sublayers_minus1までの範囲内にある。存在しないとき、vps_dpb_max_tid[ i ]の値は、vps_max_sublayers_minus1に等しいと推測される。
ならびに
vps_sublayer_dpb_params_flagは、VPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ ]、max_num_reorder_pics[ ]、およびmax_latency_increase_plus1[ ]シンタックス要素の存在を制御するために使用される。存在しないとき、vps_sub_dpb_params_info_present_flagは、0に等しいと推測される。
ならびに
vps_sublayer_dpb_params_flagは、VPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ ]、max_num_reorder_pics[ ]、およびmax_latency_increase_plus1[ ]シンタックス要素の存在を制御するために使用される。存在しないとき、vps_sub_dpb_params_info_present_flagは、0に等しいと推測される。
vps_sublayer_dpb_params_present_flagのセマンティクスは、前述のsps_sublayer_dpb_params_flagのセマンティクスと同様の問題を抱えている。
シンタックス要素配列max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、およびmax_latency_increase_plus1[]のサイズが、セマンティクスで定義されていない。(0に等しいTable 4(表4)のvps_dpb_max_tid[ i ]に対応する)サブレイヤが1つだけ存在するとき、vps_sublayer_dpb_params_present_flagが0に等しかろうがまたは1に等しかろうが、シンタックス要素max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、およびmax_latency_increase_plus1[]が常にシグナリングされることが、Table 2(表2)から認められ得る。vps_sublayer_dpb_params_present_flagは、この場合、max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]、およびmax_latency_increase_plus1[]の存在を制御せず、これは、現在の定義と矛盾している。
実施形態9
一例において、vps_sublayer_dpb_params_present_flagのセマンティクスは、以下のように修正される。
vps_sublayer_dpb_params_present_flagは、VPS内のvps_dpb_max_tid[ i ]が0より大きいとき、0およびvps_dpb_max_tid[ i ] - 1を含んで0からvps_dpb_max_tid[ i ] - 1までの範囲内のjに対して、VPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ j ]、max_num_reorder_pics[ j ]、およびmax_latency_increase_plus1[ j ]シンタックス要素の存在を制御するために使用される。存在しないとき、vps_sub_dpb_params_info_present_flagは、0に等しいと推測される。
vps_dpb_max_tid[ i ]のiとの混同を避けるために、シンタックス要素配列max_dec_pic_buffering_minus1[ ]、max_num_reorder_pics[ ]、およびmax_latency_increase_plus1[ ]の範囲を指定するためにiではなくjが使用されることが留意される。
一例において、vps_sublayer_dpb_params_present_flagのセマンティクスは、以下のように修正される。
vps_sublayer_dpb_params_present_flagは、VPS内のvps_dpb_max_tid[ i ]が0より大きいとき、0およびvps_dpb_max_tid[ i ] - 1を含んで0からvps_dpb_max_tid[ i ] - 1までの範囲内のjに対して、VPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ j ]、max_num_reorder_pics[ j ]、およびmax_latency_increase_plus1[ j ]シンタックス要素の存在を制御するために使用される。存在しないとき、vps_sub_dpb_params_info_present_flagは、0に等しいと推測される。
vps_dpb_max_tid[ i ]のiとの混同を避けるために、シンタックス要素配列max_dec_pic_buffering_minus1[ ]、max_num_reorder_pics[ ]、およびmax_latency_increase_plus1[ ]の範囲を指定するためにiではなくjが使用されることが留意される。
見解(remark)、問題2および対応する解決策、dependentFlagなど。
インター予測が実行されるとき、参照ピクチャは、同じレイヤからの復号された画像かまたは下位レイヤからの参照ピクチャであることが可能である。後者の場合、低いレイヤの参照ピクチャは、レイヤ間参照ピクチャ(ILRP: inter-layer reference picture)と呼ばれ、1つまたは複数のILRPを含む下位レイヤは、参照(または従属)レイヤと呼ばれる。
インター予測が実行されるとき、参照ピクチャは、同じレイヤからの復号された画像かまたは下位レイヤからの参照ピクチャであることが可能である。後者の場合、低いレイヤの参照ピクチャは、レイヤ間参照ピクチャ(ILRP: inter-layer reference picture)と呼ばれ、1つまたは複数のILRPを含む下位レイヤは、参照(または従属)レイヤと呼ばれる。
レイヤ間予測をサポートするために、VPSでシグナリングされたシンタックス要素に従って、いくつかの中間変数が使用される。たとえば、VVC草案の式37においては、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスが、以下のように定義されている。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j <= vps_max_layers_minus1; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = 0; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <= vps_max_layers_minus1; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j <= vps_max_layers_minus1; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = 0; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <= vps_max_layers_minus1; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
1に等しいdependencyFlag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの参照レイヤであることを指定する。0に等しいdependencyFlag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの参照レイヤでないことを指定する。
インデックスiを有するレイヤとその参照レイヤjとの間の依存関係は、直接的または間接的であり得る。第jのレイヤが第iのレイヤの直接従属レイヤである場合、依存関係は、VPS内で0から までの範囲iおよび0からi-1までのjに対してシンタックス要素vps_direct_ref_layer_flag[ i ][ j ]を用いてシグナリングされる。Table 4(表4)に示されるように、本発明と無関係なシンタックス要素が削除されるようにして、
上記のシンタックステーブルは、一部のレイヤが独立レイヤでないとき、VPSがレイヤ間の依存関係をどのようにシグナルしたかを示す。
vps_max_layers_minus1は、VPSを参照する各CVS内のレイヤの最大許容数を表す。レイヤの依存関係の情報は、2番目に低いレイヤ(つまり、i=1)からのみシグナリングされ、一部のレイヤが独立レイヤでないときは、シンタックス要素vps_all_independent_layers_flagによって示される。
1に等しいvps_all_independent_layers_flagは、VPSによって指定されたすべてのレイヤがレイヤ間予測を使用せずに独立してコーディングされることを指定する。0に等しいvps_all_independent_layers_flagは、VPSによって指定されたレイヤのうちの1つまたは複数がレイヤ間予測を使用する場合があることを指定する。存在しないとき、vps_all_independent_layers_flagの値は、1に等しいと推測される。
VVCにおいて、最下位のレイヤ(すなわち、vps_independent_layer_flag[ 0 ]に対応する)は、常に独立レイヤである。したがって、シンタックス要素vps_independent_layer_flag[ i ]は、2番目に低いレイヤ(すなわち、vps_independent_layer_flag[ 1 ])からシグナリングされ、そのセマンティクスは、極めて単純明快である。
1に等しいvps_independent_layer_flag[ i ]は、インデックスiを有するレイヤがレイヤ間予測を使用しないことを指定する。0に等しいvps_independent_layer_flag[ i ]は、インデックスiを有するレイヤがレイヤ間予測を使用する場合があり、0およびi - 1を含んで0からi - 1までの範囲内のjに対して、シンタックス要素vps_direct_ref_layer_flag[ i ][ j ]がVPS内に存在することを指定する。存在しないとき、vps_independent_layer_flag[ i ]の値は、1に等しいと推測される。
レイヤが独立レイヤでない(つまり、vps_independent_layer_flag[ i ]が0である)ときにのみ、そのレイヤの直接従属レイヤがシグナリングされ、0からi-1までの範囲のjに対してvps_direct_ref_layer_flag[ i ][ j ]によって示される。
vps_direct_ref_layer_flag[ i ][ j ]のセマンティクスは、以下のように定義される。
0に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤでないことを指定する。1に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤであることを指定する。0およびvps_max_layers_minus1を含んで0からvps_max_layers_minus1までの範囲内のiおよびjに対してvps_direct_ref_layer_flag[ i ][ j ]が存在しないとき、vps_direct_ref_layer_flag[ i ][ j ]は、0に等しいと推測される。vps_independent_layer_flag[ i ]が0に等しいときは、vps_direct_ref_layer_flag[ i ][ j ]の値が1に等しいような、0およびi - 1を含んで0からi - 1までの範囲内のjの少なくとも1つの値が存在する。
0に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤでないことを指定する。1に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤであることを指定する。0およびvps_max_layers_minus1を含んで0からvps_max_layers_minus1までの範囲内のiおよびjに対してvps_direct_ref_layer_flag[ i ][ j ]が存在しないとき、vps_direct_ref_layer_flag[ i ][ j ]は、0に等しいと推測される。vps_independent_layer_flag[ i ]が0に等しいときは、vps_direct_ref_layer_flag[ i ][ j ]の値が1に等しいような、0およびi - 1を含んで0からi - 1までの範囲内のjの少なくとも1つの値が存在する。
レイヤが従属レイヤである(つまり、そのvps_independent_layer_flag[ i ]が0に等しい)とき、vps_direct_ref_layer_flag[ i ][ j ]のセマンティクスにおける制約が、0およびi-1を含んで0からi-1の範囲内のそのレイヤの下位レイヤjのうちの少なくとも1つがレイヤiのための参照レイヤであることを指定する。
間接的な依存関係の場合、それは、レイヤiがレイヤkに直接依存し(k < i)、そしてさらに、レイヤkがレイヤjに依存する(j < k)場合に発生し得る。そのような場合、インデックスiを有するレイヤは、レイヤjに依存し、対応するdependencyFlag[ i ][ j ]は、1に等しい。
導出プロセスの問題。あるレイヤは下位レイヤにのみ依存し得るので、導出プロセスにおいて従属する下位レイヤjを探すループが簡略化されることが可能である。それは、VPS内のすべてのレイヤに対するループのために必要ではなく、現在のレイヤiより下位のレイヤのみに対するループのために必要である。
実施形態5
一例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j < i; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = 0; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <i; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
一例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j < i; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = 0; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <i; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
実施形態6
別の例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j < i; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = j+1; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j < i; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
別の例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j < i; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = j+1; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j < i; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
実施形態7
別の例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j <= vps_max_layers_minus1; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = j+1; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <= vps_max_layers_minus1; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
別の例において、変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]の導出プロセスは、以下のように修正される。
変数dependencyFlag[ i ][ j ]、NumDirectRefLayers[ i ]、DirectRefLayerIdx[ i ][ d ]、NumRefLayers[ i ]、RefLayerIdx[ i ][ r ]、およびLayerUsedAsRefLayerFlag[ j ]は、以下のように導出される。
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0; j <= vps_max_layers_minus1; j++ ) {
dependencyFlag[ i ][ j ] = vps_direct_ref_layer_flag[ i ][ j ]
for( k = j+1; k < i; k++ )
if( vps_direct_ref_layer_flag[ i ][ k ] && dependencyFlag[ k ][ j ] )
dependencyFlag[ i ][ j ] = 1
}
LayerUsedAsRefLayerFlag[ i ] = 0
}
for( i = 0; i <= vps_max_layers_minus1; i++ ) {
for( j = 0, d = 0, r = 0; j <= vps_max_layers_minus1; j++ ) { (37)
if( vps_direct_ref_layer_flag[ i ][ j ] ) {
DirectRefLayerIdx[ i ][ d++ ] = j
LayerUsedAsRefLayerFlag[ j ] = 1
}
if( dependencyFlag[ i ][ j ] )
RefLayerIdx[ i ][ r++ ] = j
}
NumDirectRefLayers[ i ] = d
NumRefLayers[ i ] = r
}
ループfor( k = 0; k < i; k++ )のみが、for( k = j+1; k < i; k++ )に修正される。
実施形態8
それに対応して、vps_direct_ref_layer_flag[ i ][ j ]のセマンティクスは、以下のように変更される。
0に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤでないことを指定する。1に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤであることを指定する。1およびvps_max_layers_minus1を含んで1からvps_max_layers_minus1までの範囲内のiならびに0およびi-1を含んで0からi-1までの範囲内のjjに対してvps_direct_ref_layer_flag[ i ][ j ]が存在しないとき、vps_direct_ref_layer_flag[ i ][ j ]は、0に等しいと推測される。vps_independent_layer_flag[ i ]が0に等しいときは、vps_direct_ref_layer_flag[ i ][ j ]の値が1に等しいような、0およびi - 1を含んで0からi - 1までの範囲内のjの少なくとも1つの値が存在する。
vps_direct_ref_layer_flag[i][j]と同様の依存関係を表すいくつかのその他の変数シンタックス要素が存在し、それらの範囲が同じように変更される。
それに対応して、vps_direct_ref_layer_flag[ i ][ j ]のセマンティクスは、以下のように変更される。
0に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤでないことを指定する。1に等しいvps_direct_ref_layer_flag[ i ][ j ]は、インデックスjを有するレイヤがインデックスiを有するレイヤの直接参照レイヤであることを指定する。1およびvps_max_layers_minus1を含んで1からvps_max_layers_minus1までの範囲内のiならびに0およびi-1を含んで0からi-1までの範囲内のjjに対してvps_direct_ref_layer_flag[ i ][ j ]が存在しないとき、vps_direct_ref_layer_flag[ i ][ j ]は、0に等しいと推測される。vps_independent_layer_flag[ i ]が0に等しいときは、vps_direct_ref_layer_flag[ i ][ j ]の値が1に等しいような、0およびi - 1を含んで0からi - 1までの範囲内のjの少なくとも1つの値が存在する。
vps_direct_ref_layer_flag[i][j]と同様の依存関係を表すいくつかのその他の変数シンタックス要素が存在し、それらの範囲が同じように変更される。
上記の説明に従って、ビデオビットストリームを復号する方法およびビデオビットストリームを符号化する方法が、本明細書において提供される。それに対応して、(コーディングされた)ビデオビットストリームを復号するための装置およびビデオビットストリームを復号するための装置が、本明細書において提供される。
図14は、復号デバイスによって実施される、ビデオビットストリームを復号する方法であって、シーケンスパラメータセットSPSが、ビデオビットストリームにコーディングされ、ビデオシーケンスに適用されるシンタックス要素を含む、方法を示す。この方法は、SPSから第1のシンタックス要素(たとえば、上記の説明によるsps_ptl_dpb_hrd_params_present_flag)の値を(たとえば、ビットストリームを解析することによって)取得するステップ1410であって、第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される、ステップ1410を含む。方法は、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)ときに、SPSから第2のシンタックス要素(たとえば、上記の説明によるsps_sublayer_dpb_params_flag)の値を(たとえば、ビットストリームを解析することによって)取得するステップ1420であって、第2のシンタックス要素の値が、DPBパラメータシンタックス構造内のDPBシンタックス要素(たとえば、上記の詳細な説明によるmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]のうちの1つ)の存在を指定するために使用され、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップ1420をさらに含む。
ビットストリームは、ワイヤレスネットワークまたは有線ネットワークによって取得されてよいことが留意される。ビットストリームは、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、マイクロ波、WIFI、Bluetooth、LTE、もしくは5Gなどのワイヤレステクノロジーを使用して、ウェブサイト、サーバ、またはその他の遠隔のソースから送信される場合がある。
ビットストリームは、1つまたは複数のコーディングされたビデオシーケンス(CVS)を形成するアクセスユニット(AU)のシーケンスの表現を形成する、ネットワーク抽象化レイヤ(NAL: network abstraction layer)ユニットストリームまたはバイトストリームの形態のビットのシーケンスであってよい。
特定の例において、ビットストリームのフォーマットは、ネットワーク抽象化レイヤ(NAL)ユニットストリームとバイトストリームとの間の関係を指定し、ネットワーク抽象化レイヤ(NAL)ユニットストリームおよびバイトストリームのどちらかが、ビットストリームと呼ばれる。
ビットストリームは、2つのフォーマット、すなわち、NALユニットストリームのフォーマットまたはバイトストリームのフォーマットのうちの1つであることが可能である。NALユニットストリームのフォーマットは、概念的に、より「基本的な」タイプである。NALユニットストリームのフォーマットは、NALユニットと呼ばれるシンタックス構造のシーケンスを含む。このシーケンスは、復号順で順序付けられる。NALユニットストリームのNALユニットの復号順(および内容)に対して課される制約が存在する。
バイトストリームのフォーマットは、NALユニットを復号順で順序付け、開始コードプレフィックスおよび0個以上のゼロ値バイトによって各NALユニットにプレフィックスを付けてバイトのストリームを形成することによってNALユニットストリームのフォーマットから構築され得る。NALユニットストリームのフォーマットは、バイトのこのストリーム内の一意の開始コードプレフィックスのパターンの位置を探索することによってバイトストリームのフォーマットから抽出され得る。
図15は、符号化デバイスによって実施される、ビデオビットストリームを符号化する方法であって、シーケンスパラメータセット(SPS)が、ビデオビットストリームに符号化され、ビデオシーケンスに適用されるシンタックス要素を含む、方法を示す。方法は、SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するステップ1510を含む。SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、上記の説明によるsps_ptl_dpb_hrd_params_present_flag)の値がSPSに符号化され(1520)、第1のシンタックス要素の値は、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される。さらに、図15に示された方法は、ステップ1510においてDPBパラメータシンタックス構造がSPS内に存在すると判定する(判定される)とき(たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素(たとえば、上記の詳細な説明によるmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]のうちの1つ)の存在を判定するステップ1530であって、DPBシンタックス要素が、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップ1530を含む。DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス要素(たとえば、上記の説明によるsps_sublayer_dpb_params_flag)の値がSPSに符号化され(1540)、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される。
上述の方法は、以下で説明されるように、ビデオ復号装置または(ビットストリームを生成する)ビデオ符号化装置にそれぞれ埋め込まれてよい。
図16に示されるように、実施形態に係る、本明細書において提供されるビデオ復号装置1600は、(たとえば、パーサを含む)取得ユニット1610と、判定ユニット1620とを含む。図17に示されるように、実施形態に係る、本明細書において提供されるビデオ符号化装置1700は、判定ユニット1710と、符号化ユニット1720とを含む。
図16に示されたビデオ復号装置1600に含まれる取得ユニット1610は、SPSから第1のシンタックス要素(たとえば、上記の説明によるsps_ptl_dpb_hrd_params_present_flag)の値を取得するように構成され、第1のシンタックス要素の値は、復号ピクチャバッファDPBパラメータシンタックス構造がビデオビットストリームにコーディングされたSPS内に存在するかどうかを指定するために使用される。図16に示されたビデオ復号装置1600に含まれる判定ユニット1620は、第1のシンタックス要素の値が、DPBパラメータシンタックス構造がSPS内に存在することを指定するかどうかを判定するように構成される。さらに、取得ユニット1610は、少なくとも、第1のシンタックス要素の値がDPBパラメータシンタックス構造がSPS内に存在することを指定すると判定する(判定される)ときに、SPSから第2のシンタックス要素(たとえば、上記の説明によるsps_sublayer_dpb_params_flag)の値を取得するように構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素(たとえば、上記の詳細な説明によるmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]のうちの1つ)の存在を指定するために使用され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される。
図17に示されたビデオ符号化装置1700に含まれる判定ユニット1710は、SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するように構成される。図17に示されたビデオ符号化装置1700に含まれる符号化ユニット1720は、SPS内のDPBパラメータシンタックス構造の存在の判定に基づいて、第1のシンタックス要素(たとえば、上記の説明によるsps_ptl_dpb_hrd_params_present_flag)の値をSPSに符号化するように構成され、第1のシンタックス要素の値は、DPBパラメータシンタックス構造がSPS内に存在するかどうかを指定するために使用される。さらに、判定ユニット1710は、DPBパラメータシンタックス構造がSPS内に存在すると判定する(判定される)とき(たとえば、判定されるときにのみ)、DPBパラメータシンタックス構造内のDPBシンタックス要素(たとえば、上記の詳細な説明によるmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]のうちの1つ)の存在を判定するように構成され、DPBシンタックス要素は、ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される。さらに、符号化ユニット1720は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在の判定に基づいて、第2のシンタックス(たとえば、上記の説明によるsps_sublayer_dpb_params_flag)要素の値をSPSに符号化するように構成され、第2のシンタックス要素の値は、DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用される。
図16に示されたビデオ復号装置1600は、図1A、図1B、および図3に示されたデコーダ30ならびに図9に示されるビデオデコーダ3206であってよく、またはそれらによって含まれてよい。さらに、復号デバイス1700は、図4に示されるビデオコーディングデバイス400、図5に示される装置500、および図8に示される端末デバイス3106によって含まれてよい。図17に示された符号化デバイス1700は、図1A、図1B、および図3に示されたエンコーダ20であってよく、またはそのようなエンコーダ20によって含まれてよい。さらに、符号化デバイス1700は、図4に示されたビデオコーディングデバイス400、図5に示された装置500、および図8に示されたキャプチャデバイス3102によって含まれてよい。
特に、SPSは、サブピクチャのシグナリングに関する情報を含む。
下の表のいくつかの部分は、以下の通りのダウンロードリンク、すなわち、
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v13.zip
を有するITU JVET-Q2001-v13におけるSPS内でのサブピクチャのシグナリングの一部のスナップショットを示す。本出願の残りの部分において、この文書は、簡略化のためにVVC草案8と呼ばれる。
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v13.zip
を有するITU JVET-Q2001-v13におけるSPS内でのサブピクチャのシグナリングの一部のスナップショットを示す。本出願の残りの部分において、この文書は、簡略化のためにVVC草案8と呼ばれる。
SPSの一部のシンタックス要素は、各サブピクチャの位置情報および制御フラグをシグナリングする。第iのサブピクチャの位置情報は、以下を含む。
・ピクチャ内のサブピクチャiの左上の座標の水平成分を示すsubpic_ctu_top_left_x[ i ]、または
・ピクチャ内のサブピクチャiの左上の座標の垂直成分を示すsubpic_ctu_top_left_y[ i ]、または
・ピクチャ内のサブピクチャiの幅を示すsubpic_width_minus1[ i ]、または
・ピクチャ内のサブピクチャiの高さを示すsubpic_height_minus1[ i ]
・ピクチャ内のサブピクチャiの左上の座標の水平成分を示すsubpic_ctu_top_left_x[ i ]、または
・ピクチャ内のサブピクチャiの左上の座標の垂直成分を示すsubpic_ctu_top_left_y[ i ]、または
・ピクチャ内のサブピクチャiの幅を示すsubpic_width_minus1[ i ]、または
・ピクチャ内のサブピクチャiの高さを示すsubpic_height_minus1[ i ]
いくつかのシンタックス要素、たとえば、sps_num_subpics_minus1は、ピクチャ内のサブピクチャの数を示す。
CTU、スライス、タイル、およびサブピクチャへのピクチャの区分け
CTUへのピクチャの区分け
ピクチャは、コーディングツリーユニット(CTU)のシーケンスに分割される。用語CTUは、CTB(コーディングツリーブロック)と交換可能なように使用されることがある。例において、用語CTUは、ITU-T H.265のCTUの定義と同じである。3つのサンプル配列を有するピクチャに関して、CTUは、ルマサンプルのN×Nのブロックと、クロマサンプルの2つの対応するブロックとを含む。図6は、CTUに分割されたピクチャの例を示す。CTUのサイズは、(不完全なCTUが存在し得る場合)ピクチャの境界にあるCTUを除いて同じでなければならない。
CTUへのピクチャの区分け
ピクチャは、コーディングツリーユニット(CTU)のシーケンスに分割される。用語CTUは、CTB(コーディングツリーブロック)と交換可能なように使用されることがある。例において、用語CTUは、ITU-T H.265のCTUの定義と同じである。3つのサンプル配列を有するピクチャに関して、CTUは、ルマサンプルのN×Nのブロックと、クロマサンプルの2つの対応するブロックとを含む。図6は、CTUに分割されたピクチャの例を示す。CTUのサイズは、(不完全なCTUが存在し得る場合)ピクチャの境界にあるCTUを除いて同じでなければならない。
タイルへのピクチャの区分け
一部の例においては、タイルが有効化されるとき、ピクチャは、垂直方向および/または水平方向の境界によって分けられたCTUの長方形のグループに分割される。垂直方向および水平方向のタイルの境界は、それぞれ、 から下におよび左のピクチャの境界から右のピクチャの境界に向かってピクチャと交差する。水平方向のタイルの境界および垂直方向のタイルの境界の位置に関連するインジケーション情報が、ビットストリームにコーディングされる。
一部の例においては、タイルが有効化されるとき、ピクチャは、垂直方向および/または水平方向の境界によって分けられたCTUの長方形のグループに分割される。垂直方向および水平方向のタイルの境界は、それぞれ、 から下におよび左のピクチャの境界から右のピクチャの境界に向かってピクチャと交差する。水平方向のタイルの境界および垂直方向のタイルの境界の位置に関連するインジケーション情報が、ビットストリームにコーディングされる。
図7は、9個のタイルへのピクチャの区分けを例示する。この例においては、タイルの境界が、太い破線によって示されている。
ピクチャを垂直方向に分割する2つ以上のタイルが存在するとき、CTUのスキャン順は、ピクチャ内のCTUのラスタスキャン順を基準として変更される。CTUは、以下のルールに従ってスキャンされる。
1.タイルは、左から右および上から下にラスタスキャン順にスキャンされ、これは、タイルスキャン順と呼ばれる。これは、左上のタイルから始まって、まず、同じタイル行内のすべてのタイルが左から右にスキャンされることを意味する。それから、2番目のタイル行(1つ下のタイル行)内の最初のタイルから始まって、2番目のタイル行内のすべてのタイルが左から右にスキャンされる。すべてのタイルがスキャンされるまで、このプロセスが繰り返される。
2.タイルに関して、このタイル内のCTUは、ラスタスキャン順にスキャンされる。各CTU行に関して、CTUは、左から右にスキャンされ、CTU行は、上から下にスキャンされる。図7は、タイル内のCTUのスキャン順を例示しており、CTUに対応する数字が、スキャン順を示す。
1.タイルは、左から右および上から下にラスタスキャン順にスキャンされ、これは、タイルスキャン順と呼ばれる。これは、左上のタイルから始まって、まず、同じタイル行内のすべてのタイルが左から右にスキャンされることを意味する。それから、2番目のタイル行(1つ下のタイル行)内の最初のタイルから始まって、2番目のタイル行内のすべてのタイルが左から右にスキャンされる。すべてのタイルがスキャンされるまで、このプロセスが繰り返される。
2.タイルに関して、このタイル内のCTUは、ラスタスキャン順にスキャンされる。各CTU行に関して、CTUは、左から右にスキャンされ、CTU行は、上から下にスキャンされる。図7は、タイル内のCTUのスキャン順を例示しており、CTUに対応する数字が、スキャン順を示す。
タイルは、各タイルが同じピクチャのその他のタイルとは独立して復号可能であるような方法でピクチャの区分けを提供し、復号は、エントロピー、残差、および予測復号(predictive decoding)を指す。さらに、タイルにより、ピクチャを同様のサイズの領域に区分けすることができる。したがって、ピクチャのタイルを互いに並列に処理することが可能であり、これは、各処理コアが互いに同一であるマルチコア処理環境に好ましい。
処理順およびスキャン順という用語は、本出願においては以下のように使用される。
処理は、エンコーダまたはデコーダにおけるCTUの符号化または復号を指す。スキャン順は、ピクチャ内の特定の区画のインデックス付けに関連する。CTUは、指定されたスキャン順に従ってピクチャ内で昇順にインデックス付けされる。タイル内のCTUスキャン順は、タイル内のCTUがどのようにインデックス付けされるかを意味し、これは、CTUが処理される順番(すなわち、処理順)と同じでない可能性がある。
処理は、エンコーダまたはデコーダにおけるCTUの符号化または復号を指す。スキャン順は、ピクチャ内の特定の区画のインデックス付けに関連する。CTUは、指定されたスキャン順に従ってピクチャ内で昇順にインデックス付けされる。タイル内のCTUスキャン順は、タイル内のCTUがどのようにインデックス付けされるかを意味し、これは、CTUが処理される順番(すなわち、処理順)と同じでない可能性がある。
スライスへのピクチャの区分け
スライスの概念は、各スライスが同じピクチャのその他スライスとは独立して復号可能であるような方法でピクチャの区分けを提供し、復号は、エントロピー、残差、および予測復号を指す。タイルとの違いは、スライスが必ずしも長方形ではない任意の形状を有することができ(区分けの可能性の点でより柔軟)、スライスの区分けの目的が並列処理ではなく、送信環境におけるパケットサイズのマッチングおよび誤り耐性であることである。
スライスの概念は、各スライスが同じピクチャのその他スライスとは独立して復号可能であるような方法でピクチャの区分けを提供し、復号は、エントロピー、残差、および予測復号を指す。タイルとの違いは、スライスが必ずしも長方形ではない任意の形状を有することができ(区分けの可能性の点でより柔軟)、スライスの区分けの目的が並列処理ではなく、送信環境におけるパケットサイズのマッチングおよび誤り耐性であることである。
スライスは、完全なピクチャを含む場合があり、またはピクチャの一部を含む。ITU-T H.265において、スライスは、ピクチャの連続したCTUを処理順で含む。スライスは、開始CTUアドレスによって特定され、開始CTUアドレスは、スライスヘッダまたはピクチャパラメータセットまたはその他のユニット内でシグナリングされる。例においては、スライスが整数個のタイルを含むことを要求されるとき、スライスは開始タイルアドレスによって特定される可能性がある。
VVCの草案8において、スライスは、整数個のタイル、またはピクチャのタイル内の整数個の連続したCTU行を含む。その結果、垂直方向のスライスの境界は、垂直方向のタイルの境界でもある。スライスの水平方向の境界がタイルの境界でなく、水平方向のCTUの境界がタイル内に含まれてよい可能性があり、例において、タイルが複数の長方形スライスに分割されるとき、各スライスは、タイル内の整数個の連続した完全なCTU行を含む。
一部の例においては、2つのスライスモード、ラスタスキャンスライスモードおよび長方形スライスモードが存在する。ラスタスキャンスライスモードにおいて、スライスは、ピクチャのタイルのラスタスキャンのタイルのシーケンスを含む。長方形スライスモードにおいて、スライスは、ピクチャの長方形の領域を集合的に形成するいくつかのタイルを含むか、またはスライスは、ピクチャの長方形の領域を集合的に形成する1つのタイルのいくつかの連続したCTUの行を含む。長方形のスライス内のタイルは、そのスライスに対応する長方形の領域内でタイルのラスタスキャン順にスキャンされる。
ピクチャのすべてのスライスは、集合的に完全なピクチャを形成し、すなわち、ピクチャのすべてのCTUは、ピクチャのスライスのうちの1つに含まれる。同様のルールが、タイルおよびサブピクチャに適用される。
サブピクチャへのピクチャの区分け
サブピクチャは、ピクチャの長方形区画であってよい。サブピクチャは、ピクチャまるごとまたはピクチャの一部であることが可能である。サブピクチャは、各サブピクチャがビデオシーケンス全体のその他のサブピクチャとは独立して復号可能であるような方法でのピクチャの区分けである。VVC草案8においては、サブピクチャiに関してsubpic_treated_as_pic_flag[i]のインジケーションが真である(たとえば、subpic_treated_as_pic_flag[i]の値が1である)とき、そのサブピクチャiは、ビデオシーケンス全体のその他のサブピクチャとは独立して復号可能である。
サブピクチャは、ピクチャの長方形区画であってよい。サブピクチャは、ピクチャまるごとまたはピクチャの一部であることが可能である。サブピクチャは、各サブピクチャがビデオシーケンス全体のその他のサブピクチャとは独立して復号可能であるような方法でのピクチャの区分けである。VVC草案8においては、サブピクチャiに関してsubpic_treated_as_pic_flag[i]のインジケーションが真である(たとえば、subpic_treated_as_pic_flag[i]の値が1である)とき、そのサブピクチャiは、ビデオシーケンス全体のその他のサブピクチャとは独立して復号可能である。
サブピクチャとタイルまたはスライスとの間の違いは、サブピクチャが独立して復号可能なビデオシーケンスを生成することである。タイルおよびスライスに関して、ビデオシーケンスの単一のピクチャ内で独立した復号が実行される。
VVC草案8において、サブピクチャは、ピクチャの長方形の領域を集合的に包含する1つまたは複数のスライスを含む。したがって、各サブピクチャの境界は、常に、スライスの境界であり、それぞれの垂直方向のサブピクチャの境界は、常に、垂直方向のタイルの境界である。
図10は、タイル、スライス、およびサブピクチャの例を提供する。
図8に示された一例において、ピクチャは、216個のCTU、4個のタイル、4個のスライス、および3個のサブピクチャに区分けされる。sps_num_subpics_minus1の値は、2であり、位置に関連するシンタックス要素は、以下の値を有する。
サブピクチャ0に関して、
・subpic_ctu_top_left_x[ 0 ]は、シグナリングされず、0と推測される。
・subpic_ctu_top_left_y[ 0 ]は、シグナリングされず、0と推測される。
・subpic_width_minus1[ 0 ]、値は8である。
・subpic_height_minus1[ 0 ]、値は11である。
サブピクチャ1に関して、
・subpic_ctu_top_left_x[ 1 ]、値は9である。
・subpic_ctu_top_left_y[ 1 ]、値は0である。
・subpic_width_minus1[ 1 ]、値は8である。
・subpic_height_minus1[ 1 ]、値は5である。
サブピクチャ2に関して、
・subpic_ctu_top_left_x[ 2 ]、値は9である。
・subpic_ctu_top_left_y[ 2 ]、値は6である。
・subpic_width_minus1[ 2 ]は、シグナリングされず、8と推測される。
・subpic_height_minus1[ 2 ]は、シグナリングされず、5と推測される。
サブピクチャ0に関して、
・subpic_ctu_top_left_x[ 0 ]は、シグナリングされず、0と推測される。
・subpic_ctu_top_left_y[ 0 ]は、シグナリングされず、0と推測される。
・subpic_width_minus1[ 0 ]、値は8である。
・subpic_height_minus1[ 0 ]、値は11である。
サブピクチャ1に関して、
・subpic_ctu_top_left_x[ 1 ]、値は9である。
・subpic_ctu_top_left_y[ 1 ]、値は0である。
・subpic_width_minus1[ 1 ]、値は8である。
・subpic_height_minus1[ 1 ]、値は5である。
サブピクチャ2に関して、
・subpic_ctu_top_left_x[ 2 ]、値は9である。
・subpic_ctu_top_left_y[ 2 ]、値は6である。
・subpic_width_minus1[ 2 ]は、シグナリングされず、8と推測される。
・subpic_height_minus1[ 2 ]は、シグナリングされず、5と推測される。
復号ピクチャバッファ(DPB)情報のシグナリング
復号ピクチャバッファ
復号ピクチャバッファ(DPB)は、復号されたピクチャを参照のために、たとえば、インター予測のための参照ピクチャとして記憶するために使用されるバッファである。VVC草案(たとえば、ITU JVET-Q2001-v13)で開示された例においては、シーケンスパラメータセット(SPS)内のDBPに関するパラメータの関連シンタックス要素が強調されている。
復号ピクチャバッファ
復号ピクチャバッファ(DPB)は、復号されたピクチャを参照のために、たとえば、インター予測のための参照ピクチャとして記憶するために使用されるバッファである。VVC草案(たとえば、ITU JVET-Q2001-v13)で開示された例においては、シーケンスパラメータセット(SPS)内のDBPに関するパラメータの関連シンタックス要素が強調されている。
sps_max_sublayers_minus1に1を足した値は、SPSを参照する各CLVS内に存在してよい時間サブレイヤの最大数を指定する。sps_max_sublayers_minus1の値は、0およびvps_max_sublayers_minus1を含んで0からvps_max_sublayers_minus1までの範囲内にある。
sps_sublayer_dpb_params_flagは、SPS内のdpb_parameters( )シンタックス構造内のmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、およびmax_latency_increase_plus1[ i ]シンタックス要素の存在を制御するために使用される。存在しないとき、sps_sub_dpb_params_info_present_flagの値は、0に等しいと推測される。
1に等しいsps_ptl_dpb_hrd_params_present_flagは、profile_tier_level( )シンタックス構造およびdpb_parameters( )シンタックス構造がSPS内に存在し、general_hrd_parameters( )シンタックス構造およびols_hrd_parameters( )シンタックス構造もSPS内に存在する場合があることを指定する。0に等しいsps_ptl_dpb_hrd_params_present_flagは、これら4つのシンタックス構造のいずれもSPS内に存在しないことを指定する。sps_ptl_dpb_hrd_params_present_flagの値は、vps_independent_layer_flag[ GeneralLayerIdx[ nuh_layer_id ] ]に等しくなる。
シンタックス要素sps_max_sublayers_minus1は、利用可能な時間サブレイヤの数を示す。利用可能な時間サブレイヤの数が1より大きい(たとえば、シンタックス要素sps_max_sublayers_minus1の値が0より大きい)とき、シンタックス要素sps_sublayer_dpb_params_flagの値が、ビットストリーム内でシグナリングされる。シンタックス要素sps_sublayer_dpb_params_flagは、復号ピクチャ情報をそれぞれの利用可能なサブレイヤに関してシグナリングするべき(その値が1に等しいとき)か、または最上位の時間サブレイヤに関してだけシグナリングするべき(その値が0に等しいとき)かを指示するので。sps_sublayer_dpb_params_flagの値が存在しない、たとえば、時間サブレイヤが1つだけ存在する(sps_max_sublayers_minus1の値 == 0である)とき、sps_max_sublayers_minus1の値は、0と推測される。
一部の例において、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値は、シグナリング構造dpb_parameter( )がSPS内でシグナリングされるか否かを示す。シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が1に等しいとき、シグナリングされたデータ構造dpb_parameter( )が、利用可能な時間サブレイヤの数から1を引いた値(sps_max_sublayers_minus1)およびフラグsps_sublayer_dpb_params_flagをそれぞれ第1および第2のパラメータとして呼び出される。
例において、VVC草案(たとえば、ITU JVET-Q2001-v13)のdpb_parameter( )のシグナリング構造は、以下のように定義されている。
dpb_parameters( )シンタックス構造は、1つまたは複数のOLSのDPBサイズ、最大ピクチャ並べ替え数、および最大レイテンシの情報を提供する。
(出力レイヤセット(OLS): レイヤの指定された組からなるレイヤの組であり、レイヤの組内の1つまたは複数のレイヤが、出力レイヤとして指定される。)
(出力レイヤセット(OLS): レイヤの指定された組からなるレイヤの組であり、レイヤの組内の1つまたは複数のレイヤが、出力レイヤとして指定される。)
dpb_parameters( )シンタックス構造がVPSに含まれるとき、dpb_parameters( )シンタックス構造が適用されるOLSは、VPSによって指定される。dpb_parameters( )シンタックス構造がSPSに含まれるとき、dpb_parameters( )シンタックス構造は、SPSを参照するレイヤの中で最下位のレイヤであるレイヤのみを含むOLSに適用され、この最下位のレイヤは、独立レイヤである。
max_dec_pic_buffering_minus1[ i ]に1を足した値は、Htidがiに等しいときに、DPBの最大必要サイズをピクチャ記憶バッファの単位で指定する。max_dec_pic_buffering_minus1[ i ]の値は、0およびMaxDpbSize - 1を含んで0からMaxDpbSize - 1までの範囲内にあり、MaxDpbSizeは、A.4.2項において規定されている通りである。iが0より大きいとき、max_dec_pic_buffering_minus1[ i ]は、max_dec_pic_buffering_minus1[ i - 1 ]以上である。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに関してmax_dec_pic_buffering_minus1[ i ]が存在しないとき、max_dec_pic_buffering_minus1[ i ]は、max_dec_pic_buffering_minus1[ maxSubLayersMinus1 ]に等しいと推測される。
max_num_reorder_pics[ i ]は、Htidがiに等しいとき、復号順でOLS内の任意のピクチャよりも前にあり、出力順でそのピクチャよりも後にあることができるOLSのピクチャの最大許容数を指定する。max_num_reorder_pics[ i ]の値は、0およびmax_dec_pic_buffering_minus1[ i ]を含んで0からmax_dec_pic_buffering_minus1[ i ]までの範囲内にある。iが0より大きいとき、max_num_reorder_pics[ i ]は、max_num_reorder_pics[ i - 1 ]以上である。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに対してmax_num_reorder_pics[ i ]が存在しないとき、max_num_reorder_pics[ i ]は、max_num_reorder_pics[ maxSubLayersMinus1 ]に等しいと推測される。
0に等しくないmax_latency_increase_plus1[ i ]は、Htidがiに等しいとき、出力順でOLS内の任意のピクチャよりも前にあり、復号順でそのピクチャよりも後にあることができるOLS内のピクチャの最大数を指定するMaxLatencyPictures[ i ]の値を計算するために使用される。
max_latency_increase_plus1[ i ]が0に等しくないとき、MaxLatencyPictures[ i ]の値は、以下のように指定される。
MaxLatencyPictures[ i ] = max_num_reorder_pics[ i ] + max_latency_increase_plus1[ i ] - 1 (7-111)
max_latency_increase_plus1[ i ]が0に等しいとき,対応する制限は示されない。
max_latency_increase_plus1[ i ]の値は、0および232 - 2を含んで0から232 - 2までの範囲内にある。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに関してmax_latency_increase_plus1[ i ]が存在しないとき、max_latency_increase_plus1[ i ]は、max_latency_increase_plus1[ maxSubLayersMinus1 ]に等しいと推測される。
MaxLatencyPictures[ i ] = max_num_reorder_pics[ i ] + max_latency_increase_plus1[ i ] - 1 (7-111)
max_latency_increase_plus1[ i ]が0に等しいとき,対応する制限は示されない。
max_latency_increase_plus1[ i ]の値は、0および232 - 2を含んで0から232 - 2までの範囲内にある。subLayerInfoFlagが0に等しいため、0およびmaxSubLayersMinus1 - 1を含んで0からmaxSubLayersMinus1 - 1までの範囲内のiに関してmax_latency_increase_plus1[ i ]が存在しないとき、max_latency_increase_plus1[ i ]は、max_latency_increase_plus1[ maxSubLayersMinus1 ]に等しいと推測される。
dpb_parametersシグナリング構造は、subLayerInfoFlagの値によって制御され、1つのサブレイヤの復号ピクチャバッファ情報かまたは各サブレイヤの復号ピクチャ情報かのどちらかをシグナリングする。subLayerInfoFlagの値が0であるときは、利用可能な時間サブレイヤの中で最上位のサブレイヤの復号ピクチャバッファ情報が、シグナリングされる(i=maxSubLayersMinus1)。subLayerInfoFlagの値が1であるときは、利用可能な時間サブレイヤの中の各サブレイヤの復号ピクチャバッファ情報が、シグナリングされる(iの値は、0およびmaxSubLayersMinus1を含んで0からmaxSubLayersMinus1までの範囲である)。
一部の例において、シンタックス要素sps_sublayer_dpb_params_flagは、dpb_parametersの第2のパラメータとしてのみ使用される。
実施形態10
第10の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
第10の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
この実施形態においては、sps_max_sublayers_minus1の値が0より大きく、sps_ptl_dpb_hrd_params_present_flagの値が0に等しいとき、シンタックス要素sps_sublayer_dpb_params_flagの値は、ビットストリームにコーディングされる必要がない。
実施形態11
第11の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
第11の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
この実施形態においては、sps_max_sublayers_minus1の値が0より大きく、sps_ptl_dpb_hrd_params_present_flagの値が0に等しいとき、シンタックス要素sps_sublayer_dpb_params_flagの値は、ビットストリームにコーディングされる必要がない。さらに、シンタックス要素は、より明確な設計により再構築される。シンタックス要素sps_ptl_dpb_hrd_params_present_flagは、シンタックス要素sps_sublayer_dpb_params_flagとシグナリング構造dpb_parameters()との両方のシグナリングを命じるためにレベルを上げられる。
実施形態12
第12の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
第12の実施形態によれば、シンタックス要素sps_sublayer_dpb_params_flagの値が、シンタックス要素sps_ptl_dpb_hrd_params_present_flagの値に基づいてビットストリームに以下のようにコーディングされる。
それに対応して、dpb_parametersのシグナリング構造が、以下のように修正される。
この実施形態においては、sps_max_sublayers_minus1の値が0より大きく、sps_ptl_dpb_hrd_params_present_flagの値が0に等しいとき、シンタックス要素sps_sublayer_dpb_params_flagの値は、ビットストリームにコーディングされる必要がない。実施形態11と比較して、dpb_parameter( )のシグナリング構造は、それぞれパラメータfirstSubLayerおよびmaxSubLayersMinus1によって示される第1のサブレイヤから最上位のサブレイヤまでシグナリングされる。第1のサブレイヤの選択は、dpb_parameter( )から外される。sps_sublayer_dpb_params_flagのセマンティクスは、このようにより明確である。
例においては、VVC草案(たとえば、ITU JVET-Q2001-v13)で開示されているように、スライスに関する2つのモード、ラスタスキャンスライスモードおよび長方形スライスモードが存在する。しかし、現在の定義によれば、スライスは、ラスタスキャンモードかまたは長方形モードかのどちらかであることが可能である。
スライスの定義は、以下のように説明される。
スライスは、整数個の完全なタイルまたはピクチャのタイル内の整数個の連続した完全なCTU行からなる。その結果、それぞれの垂直方向のスライスの境界は、常に、垂直方向のタイルの境界でもある。スライスの水平方向の境界は、タイルの境界ではないが、タイル内の水平方向のCTUの境界からなる可能性があり、これは、タイルが複数の長方形スライスに分割され、長方形スライスの各々がタイル内の整数個の連続した完全なCTU行からなるときに発生する。
スライスは、整数個の完全なタイルまたはピクチャのタイル内の整数個の連続した完全なCTU行からなる。その結果、それぞれの垂直方向のスライスの境界は、常に、垂直方向のタイルの境界でもある。スライスの水平方向の境界は、タイルの境界ではないが、タイル内の水平方向のCTUの境界からなる可能性があり、これは、タイルが複数の長方形スライスに分割され、長方形スライスの各々がタイル内の整数個の連続した完全なCTU行からなるときに発生する。
スライスの2つのモード、すなわち、ラスタスキャンスライスモードおよび長方形スライスモードが、サポートされる。ラスタスキャンスライスモードにおいて、スライスは、ピクチャのタイルのラスタスキャンの完全なタイルのシーケンスを含む。長方形スライスモードにおいて、スライスは、ピクチャの長方形の領域を集合的に形成するいくつかの完全なタイルか、またはピクチャの長方形の領域を集合的に形成する1つのタイルのいくつかの連続した完全なCTU行かのどちらかを含む。長方形スライス内のタイルは、そのスライスに対応する長方形の領域内でタイルのラスタスキャン順にスキャンされる。
ラスタスキャンスライスに関する唯一の制約は、それが「ピクチャのタイルのラスタスキャンの完全なタイルのシーケンスを含む」ことである。たとえば、図12に示されるように、ピクチャ内に2つのタイルおよび1つのスライスのみが存在する。このスライスは、ラスタスキャンスライスモードかまたは長方形スライスモードかのどちらかであることが可能である。これでは、スライスの2つのモードの混同を引き起こす可能性がある。
実施形態13
ラスタスキャンスライスの定義を以下のようにさらに制限することが、提案される。
ラスタスキャンスライスモードにおいて、スライスは、ピクチャのタイルのラスタスキャンの完全なタイルのシーケンスを含み、このピクチャは、長方形でない形状を形成する少なくとも1つのスライスを含む。
ラスタスキャンスライスの定義を以下のようにさらに制限することが、提案される。
ラスタスキャンスライスモードにおいて、スライスは、ピクチャのタイルのラスタスキャンの完全なタイルのシーケンスを含み、このピクチャは、長方形でない形状を形成する少なくとも1つのスライスを含む。
たとえば、ラスタスキャンスライスのこの定義では、図13に示されるピクチャは、ラスタスキャンスライスであるが、図12に示されるピクチャは、長方形スライスモードのみ使用することができる。
それに対応して、タイル構造に関するシグナリングが修正される。
一例において、タイル情報のシグナリングは、PPS内で以下のようになる。
1に等しいno_pic_partition_flagは、PPSを参照する各ピクチャにピクチャの区分けが適用されないことを指定する。0に等しいno_pic_partition_flagは、PPSを参照する各ピクチャが2つ以上のタイルまたはスライスに区分けされる場合があることを指定する。
no_pic_partition_flagの値がCLVS内のコーディングされたピクチャによって参照されるすべてのPPSに関して同じであることが、ビットストリームの準拠(bitstream conformance)の要件である。
sps_num_subpics_minus1 + 1の値が1より大きいとき、no_pic_partition_flagの値が1に等しくないことが、ビットストリームの準拠の要件である。
pps_log2_ctu_size_minus5に5を足した値は、各CTUのルマコーディングツリーブロックサイズを指定する。pps_log2_ctu_size_minus5は、sps_log2_ctu_size_minus5に等しい。
num_exp_tile_columns_minus1に1を足した値は、明示的に提供されるタイル列の幅の数を指定する。num_exp_tile_columns_minus1の値は、0およびPicWidthInCtbsY - 1を含んで0からPicWidthInCtbsY - 1までの範囲内にある。no_pic_partition_flagが1に等しいとき、num_exp_tile_columns_minus1の値は、0に等しいと推測される。
num_exp_tile_rows_minus1に1を足した値は、明示的に提供されるタイル行の高さの数を指定する。num_exp_tile_rows_minus1の値は、0およびPicHeightInCtbsY - 1を含んで0からPicHeightInCtbsY - 1までの範囲内にある。no_pic_partition_flagが1に等しいとき、num_tile_rows_minus1の値は、0に等しいと推測される。
tile_column_width_minus1[ i ]に1を足した値は、0およびnum_exp_tile_columns_minus1 - 1を含んで0からnum_exp_tile_columns_minus1 - 1までの範囲内にあるiに対して、CTBを単位として第iのタイル列の幅を指定する。tile_column_width_minus1[ num_exp_tile_columns_minus1 ]は、6.5.1項に規定されたようにnum_exp_tile_columns_minus1以上のインデックスを有するタイル列の幅を導出するために使用される。tile_column_width_minus1[ i ]の値は、0およびPicWidthInCtbsY - 1を含んで0からPicWidthInCtbsY - 1までの範囲内にある。存在しないとき、tile_column_width_minus1[ 0 ]の値は、PicWidthInCtbsY - 1に等しいと推測される。
tile_row_height_minus1[ i ]に1を足した値は、0およびnum_exp_tile_rows_minus1 - 1を含んで0からnum_exp_tile_rows_minus1 - 1までの範囲内にあるiに対して、CTBを単位として第iのタイル行の高さを指定する。tile_row_height_minus1[ num_exp_tile_rows_minus1 ]は、6.5.1項に規定されたようにnum_exp_tile_rows_minus1以上のインデックスを有するタイル行の高さを導出するために使用される。tile_row_height_minus1[ i ]の値は、0およびPicHeightInCtbsY - 1を含んで0からPicHeightInCtbsY - 1までの範囲内にある。存在しないとき、tile_row_height_minus1[ 0 ]の値は、PicHeightInCtbsY - 1に等しいと推測される。
0に等しいrect_slice_flagは、各スライス内のタイルがラスタスキャン順になっており、スライス情報がPPS内でシグナリングされないことを指定する。1に等しいrect_slice_flagは、各スライス内のタイルがピクチャの長方形の領域をカバーし、スライス情報がPPS内でシグナリングされることを指定する。存在しないとき、rect_slice_flagは、1に等しいと推測される。subpic_info_present_flagが1に等しいとき、rect_slice_flagの値は、1に等しい。
1に等しいsingle_slice_per_subpic_flagは、各サブピクチャが1つの長方形スライスのみからなることを指定する。0に等しいsingle_slice_per_subpic_flagは、各サブピクチャが1つまたは複数の長方形スライスからなる場合があることを指定する。single_slice_per_subpic_flagが1に等しいとき、num_slices_in_pic_minus1は、sps_num_subpics_minus1に等しいと推測される。存在しないとき、single_slice_per_subpic_flagの値は、0に等しいと推測される。[編者(Ed.)(GJS): このフラグが各ピクチャ内に2つ以上のサブピクチャが存在するときにのみ関連性があるという解釈を避けるために、このフラグの名称変更、または別の方法での明確化を検討すること。]
ピクチャ内のタイルの数が1より大きいとき、フラグrect_slice_flagがビットストリームから解析され、rect_slice_flagの値が、ピクチャに長方形スライスモード(値が1に等しいとき)が使用されるのかまたはピクチャにラスタスキャンスライスモード(値が0に等しいとき)が使用されるかを示す。
それに対応して、スライスヘッダにおいて
1に等しいpicture_header_in_slice_header_flagは、スライスヘッダ内にPHシンタックス構造が存在することを指定する。0に等しいpicture_header_in_slice_header_flagは、スライスヘッダ内にPHシンタックス構造が存在しないことを指定する。
picture_header_in_slice_header_flagの値がCLVS内のすべてのコーディングされたスライスにおいて同じであることが、ビットストリームの準拠の要件である。
コーディングされたスライスに関してpicture_header_in_slice_header_flagが1に等しいとき、CLVS内にPH_NUTに等しいnal_unit_typeを有するVCL NALユニットが存在しないことが、ビットストリームの準拠の要件である。
picture_header_in_slice_header_flagが0に等しいとき、現在のピクチャ内のすべてのコーディングされたスライスは、0に等しいpicture_header_in_slice_header_flagを有し、現在のPUは、PH NALユニットを有する。
slice_subpic_idは、スライスを含むサブピクチャのサブピクチャIDを指定する。slice_subpic_idが存在する場合、SubpicIdVal[ CurrSubpicIdx ]がslice_subpic_idに等しいように、変数CurrSubpicIdxの値が導出される。そうでない(slice_subpic_idが存在しない)場合、CurrSubpicIdxは、0に等しいように導出される。Slice_subpic_idの長さは、sps_subpic_id_len_minus1 + 1ビットである。
slice_addressは、スライスのスライスアドレスを指定する。存在しないとき、slice_addressの値は、0に等しいと推測される。rect_slice_flagが1に等しく、NumSlicesInSubpic[ CurrSubpicIdx ]が1に等しいとき、slice_addressの値は、0に等しいと推測される。
rect_slice_flagが0に等しい場合、以下が適用される。
- スライスアドレスは、ラスタスキャンタイルインデックスである。
- slice_addressの長さは、Ceil( Log2( NumTilesInPic ) )ビットである。
- slice_addressの値は、0およびNumTilesInPic - 1を含んで0からNumTilesInPic - 1までの範囲内にある。
- スライスアドレスは、ラスタスキャンタイルインデックスである。
- slice_addressの長さは、Ceil( Log2( NumTilesInPic ) )ビットである。
- slice_addressの値は、0およびNumTilesInPic - 1を含んで0からNumTilesInPic - 1までの範囲内にある。
そうでない(rect_slice_flagが1に等しい)場合、以下が適用される。
- スライスアドレスは、スライスのサブピクチャレベルスライスインデックスである。
- slice_addressの長さは、Ceil( Log2( NumSlicesInSubpic[ CurrSubpicIdx ] ) )ビットである。
- slice_addressの値は、0およびNumSlicesInSubpic[ CurrSubpicIdx ] - 1を含んで0からNumSlicesInSubpic[ CurrSubpicIdx ] - 1までの範囲内にある。
- スライスアドレスは、スライスのサブピクチャレベルスライスインデックスである。
- slice_addressの長さは、Ceil( Log2( NumSlicesInSubpic[ CurrSubpicIdx ] ) )ビットである。
- slice_addressの値は、0およびNumSlicesInSubpic[ CurrSubpicIdx ] - 1を含んで0からNumSlicesInSubpic[ CurrSubpicIdx ] - 1までの範囲内にある。
以下の制約が適用されることが、ビットストリームの準拠の要件である。
- rect_slice_flagが0に等しいか、またはsubpic_info_present_flagが0に等しい場合、slice_addressの値は、同じコーディングされたピクチャのいかなるその他のコーディングされたスライスのNALユニットのslice_addressの値とも等しくない。
- そうでない場合、slice_subpic_idの値およびslice_addressの値のペアは、同じコーディングされたピクチャのいかなるその他のコーディングされたスライスのNALユニットのslice_subpic_idの値およびslice_addressの値のペアとも等しくない。
- ピクチャのスライスの形状は、各CTUが、復号されるときに、ピクチャの境界からなるかまたは既に復号されたCTUの境界からなるその左の境界全体および上の境界全体を有するようなものである。
- rect_slice_flagが0に等しいか、またはsubpic_info_present_flagが0に等しい場合、slice_addressの値は、同じコーディングされたピクチャのいかなるその他のコーディングされたスライスのNALユニットのslice_addressの値とも等しくない。
- そうでない場合、slice_subpic_idの値およびslice_addressの値のペアは、同じコーディングされたピクチャのいかなるその他のコーディングされたスライスのNALユニットのslice_subpic_idの値およびslice_addressの値のペアとも等しくない。
- ピクチャのスライスの形状は、各CTUが、復号されるときに、ピクチャの境界からなるかまたは既に復号されたCTUの境界からなるその左の境界全体および上の境界全体を有するようなものである。
sh_extra_bit[ i ]は、1または0に等しい場合がある。この仕様のこのバージョンに準拠するデコーダは、sh_extra_bit[ i ]の値を無視する。その値は、仕様のこのバージョンにおいて規定されるプロファイルへのデコーダの準拠に影響を与えない。
num_tiles_in_slice_minus1に1を足した値は、存在するとき、スライス内のタイルの数を指定する。num_tiles_in_slice_minus1の値は、0およびNumTilesInPic - 1を含んで0からNumTilesInPic - 1までの範囲内にある。
PPSおよびスライスヘッダにおいて、上記のシグナリングメカニズムを以下のように修正することが提案される。
特に、以下の実施形態も、本明細書において(新しい列挙において)提供される。
1. 復号デバイスまたは符号化デバイスによって実施されるコーディングの方法であって、
ビットストリームを取得するステップであって、シーケンスパラメータセットSPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って第1のシンタックス要素sps_max_sublayers_minus1の値を取得するステップであって、第1のシンタックス要素sps_max_sublayers_minus1の値が、SPSを参照するコーディングされたレイヤビデオシーケンスCLVS内に存在する時間サブレイヤの最大数を示すために使用される、ステップ、
ビットストリームに従って第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値を取得するステップであって、第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が、復号ピクチャバッファDPBパラメータシンタックス構造(たとえば、dpb_prameters)がSPS内に存在するかどうかを示すために使用される、ステップ、
第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)とき、および第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しい(たとえば、第2のデフォルト値は1に等しい)とき、ビットストリームから第3のシンタックス要素sps_sublayer_dpb_params_flagの値を解析するステップであって、第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPS内のDPBパラメータシンタックス構造(たとえば、dpb_prameters)内のシンタックス要素(たとえば、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲のiに対するmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、および/またはmax_latency_increase_plus1[ i ])の存在を制御するために使用される、ステップを含む、方法。
ビットストリームを取得するステップであって、シーケンスパラメータセットSPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って第1のシンタックス要素sps_max_sublayers_minus1の値を取得するステップであって、第1のシンタックス要素sps_max_sublayers_minus1の値が、SPSを参照するコーディングされたレイヤビデオシーケンスCLVS内に存在する時間サブレイヤの最大数を示すために使用される、ステップ、
ビットストリームに従って第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値を取得するステップであって、第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が、復号ピクチャバッファDPBパラメータシンタックス構造(たとえば、dpb_prameters)がSPS内に存在するかどうかを示すために使用される、ステップ、
第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)とき、および第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しい(たとえば、第2のデフォルト値は1に等しい)とき、ビットストリームから第3のシンタックス要素sps_sublayer_dpb_params_flagの値を解析するステップであって、第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPS内のDPBパラメータシンタックス構造(たとえば、dpb_prameters)内のシンタックス要素(たとえば、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲のiに対するmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、および/またはmax_latency_increase_plus1[ i ])の存在を制御するために使用される、ステップを含む、方法。
2. 第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値以下であるとき、または第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しくないとき、第3のシンタックス要素sps_sublayer_dpb_params_flagの値を第3のデフォルト値に設定する(たとえば、第3のデフォルト値は0または1に等しい)ステップをさらに含む実施形態1の方法。
3. 第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPSにコーディングされる実施形態1または2の方法。
4. 復号デバイスまたは符号化デバイスによって実施されるコーディングの方法であって、
ビットストリームを取得するステップであって、シーケンスパラメータセットSPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って第1のシンタックス要素sps_max_sublayers_minus1の値を取得するステップであって、第1のシンタックス要素sps_max_sublayers_minus1の値が、SPSを参照するコーディングされたレイヤビデオシーケンスCLVS内に存在する時間サブレイヤの最大数を指定するために使用される、ステップ、
ビットストリームに従って第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値を取得するステップであって、第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が、復号ピクチャバッファDPBパラメータシンタックス構造(たとえば、dpb_prameters)がSPS内に存在するかどうかを指定するために使用される、ステップ、
第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しい(たとえば、第2のデフォルト値は1に等しい)かどうかを判定するステップ、
第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しいと判定されるとき、第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)かどうかを判定するステップ、
第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)と判定されるとき、ビットストリームから第3のシンタックス要素sps_sublayer_dpb_params_flagの値を解析するステップであって、第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPS内のDPBパラメータシンタックス構造(たとえば、dpb_prameters)内のシンタックス要素(たとえば、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲のiに対するmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、および/またはmax_latency_increase_plus1[ i ])の存在を制御するために使用される、ステップを含む、方法。
ビットストリームを取得するステップであって、シーケンスパラメータセットSPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って第1のシンタックス要素sps_max_sublayers_minus1の値を取得するステップであって、第1のシンタックス要素sps_max_sublayers_minus1の値が、SPSを参照するコーディングされたレイヤビデオシーケンスCLVS内に存在する時間サブレイヤの最大数を指定するために使用される、ステップ、
ビットストリームに従って第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値を取得するステップであって、第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が、復号ピクチャバッファDPBパラメータシンタックス構造(たとえば、dpb_prameters)がSPS内に存在するかどうかを指定するために使用される、ステップ、
第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しい(たとえば、第2のデフォルト値は1に等しい)かどうかを判定するステップ、
第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しいと判定されるとき、第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)かどうかを判定するステップ、
第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値より大きい(たとえば、第1のデフォルト値は0に等しい)と判定されるとき、ビットストリームから第3のシンタックス要素sps_sublayer_dpb_params_flagの値を解析するステップであって、第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPS内のDPBパラメータシンタックス構造(たとえば、dpb_prameters)内のシンタックス要素(たとえば、sps_max_sublayers_minus1が0より大きいとき、0およびsps_max_sublayers_minus1 - 1を含んで0からsps_max_sublayers_minus1 - 1までの範囲のiに対するmax_dec_pic_buffering_minus1[ i ]、max_num_reorder_pics[ i ]、および/またはmax_latency_increase_plus1[ i ])の存在を制御するために使用される、ステップを含む、方法。
5. 第1のシンタックス要素sps_max_sublayers_minus1の値が第1のデフォルト値以下であると判定されるとき、または第2のシンタックス要素sps_ptl_dpb_hrd_params_present_flagの値が第2のデフォルト値に等しくないと判定されるとき、第3のシンタックス要素sps_sublayer_dpb_params_flagの値を第3のデフォルト値に設定する(たとえば、第3のデフォルト値は0または1に等しい)ステップをさらに含む実施形態4の方法。
6. 第3のシンタックス要素sps_sublayer_dpb_params_flagの値が、SPSにコーディングされる(その他の例において、第3のシンタックス要素sps_sublayer_dpb_params_flagの値はピクチャパラメータセットPPSにコーディングされる、または第3のシンタックス要素sps_sublayer_dpb_params_flagの値はビデオパラメータセットVPSにコーディングされる)実施形態4または5の方法。
7. 第1のシンタックス要素の値が、ピクチャパラメータセットPPSにコーディングされる、または第1のシンタックス要素の値が、ビデオパラメータセットVPSにコーディングされる(別の例において、第2のシンタックス要素の値が、ピクチャパラメータセットPPSにコーディングされる、または第2のシンタックス要素の値がビデオパラメータセットVPSにコーディングされる)実施形態1から6のいずれか1つの方法。
8. sps_max_sublayers_minus1が0に等しいとき、SPSを参照する唯一のサブレイヤに関して、max_dec_pic_buffering_minus1[ 0 ]、max_num_reorder_pics[ 0 ]、およびmax_latency_increase_plus1[ 0 ]が常にシグナリングされる実施形態1から7のいずれか1つの方法。
9. 復号デバイスまたは符号化デバイスによって実施されるコーディングの方法であって、
インデックスiを有するレイヤのインデックスjを有する間接参照レイヤを、i未満のインデックスを有する少なくとも1つのレイヤのみから決定するステップ、
現在のピクチャに関してレイヤ間予測が有効化されるとき、インデックスjを有する間接参照レイヤ内で現在のピクチャの参照ピクチャを取得するステップ、
インデックスjを有する間接参照レイヤからの参照ピクチャを使用して現在のピクチャを予測するステップを含む、方法。
インデックスiを有するレイヤのインデックスjを有する間接参照レイヤを、i未満のインデックスを有する少なくとも1つのレイヤのみから決定するステップ、
現在のピクチャに関してレイヤ間予測が有効化されるとき、インデックスjを有する間接参照レイヤ内で現在のピクチャの参照ピクチャを取得するステップ、
インデックスjを有する間接参照レイヤからの参照ピクチャを使用して現在のピクチャを予測するステップを含む、方法。
10. インデックスiを有するレイヤの間接参照レイヤを決定するステップが、iより小さく、jより大きいインデックスを有する少なくとも1つのレイヤの中でのみ、インデックスiを有するレイヤの直接参照であるインデックスkを有するレイヤが存在すると判定することであって、インデックスjを有する間接参照レイヤが、インデックスkを有する直接参照レイヤの参照レイヤである、判定することを含む実施形態9の方法。
11. インデックスiを有するレイヤの間接直接参照レイヤを決定するステップが、iより小さいインデックスを有する少なくとも1つのレイヤの中でのみ、インデックスiを有するレイヤの直接参照であるインデックスkを有するレイヤが存在すると判定することであって、インデックスjを有する間接参照レイヤが、インデックスkを有する直接参照レイヤの参照レイヤである、判定することを含む実施形態9の方法。
12. 復号デバイスまたは符号化デバイスによって実施されるコーディングの方法であって、
iより小さく、jより大きいインデックスを有する少なくとも1つのレイヤの中でのみ、インデックスiを有するレイヤの直接参照レイヤであるインデックスkを有するレイヤが存在すると判定するときに、インデックスiを有するレイヤのインデックスjを有する間接参照レイヤを決定するステップであって、インデックスjを有するレイヤが、インデックスkを有する直接参照レイヤの参照レイヤである、ステップ、
現在のピクチャに関してレイヤ間予測が有効化されるとき、インデックスjを有する間接参照レイヤ内で現在のピクチャの参照ピクチャを取得するステップ、
インデックスjを有する間接参照レイヤからの参照ピクチャを使用して現在のピクチャを予測するステップを含む、方法。
iより小さく、jより大きいインデックスを有する少なくとも1つのレイヤの中でのみ、インデックスiを有するレイヤの直接参照レイヤであるインデックスkを有するレイヤが存在すると判定するときに、インデックスiを有するレイヤのインデックスjを有する間接参照レイヤを決定するステップであって、インデックスjを有するレイヤが、インデックスkを有する直接参照レイヤの参照レイヤである、ステップ、
現在のピクチャに関してレイヤ間予測が有効化されるとき、インデックスjを有する間接参照レイヤ内で現在のピクチャの参照ピクチャを取得するステップ、
インデックスjを有する間接参照レイヤからの参照ピクチャを使用して現在のピクチャを予測するステップを含む、方法。
13. 復号デバイスまたは符号化デバイスによって実施されるコーディングの方法であって、
ビットストリームを取得するステップであって、ピクチャパラメータセットPPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って現在のピクチャのタイル列の数NumTileColumnsを取得する(たとえば、現在のピクチャは、長方形でない形状を形成する少なくとも1つのスライスを含む)ステップ、
ビットストリームに従って現在のピクチャのタイル行の数NumTileRowsを取得するステップ、
タイル列の数NumTileColumnsおよびタイル行の数NumTileRowsに従って変数NumTilesInPicの値を取得するステップ、
変数NumTilesInPicの値が予め設定された値よりも大きい(たとえば、予め設定された値は3である)とき、ビットストリームからシンタックス要素rect_slice_flagの値を解析するステップであって、シンタックス要素rect_slice_flagの値が、PPS内でスライス情報がシグナリングされるかどうかを指定するために使用される、ステップを含む、方法。
ビットストリームを取得するステップであって、ピクチャパラメータセットPPSが、ビットストリームにコーディングされる、ステップ、
ビットストリームに従って現在のピクチャのタイル列の数NumTileColumnsを取得する(たとえば、現在のピクチャは、長方形でない形状を形成する少なくとも1つのスライスを含む)ステップ、
ビットストリームに従って現在のピクチャのタイル行の数NumTileRowsを取得するステップ、
タイル列の数NumTileColumnsおよびタイル行の数NumTileRowsに従って変数NumTilesInPicの値を取得するステップ、
変数NumTilesInPicの値が予め設定された値よりも大きい(たとえば、予め設定された値は3である)とき、ビットストリームからシンタックス要素rect_slice_flagの値を解析するステップであって、シンタックス要素rect_slice_flagの値が、PPS内でスライス情報がシグナリングされるかどうかを指定するために使用される、ステップを含む、方法。
14. 変数NumTilesInPicの値が予め設定された値以下であるとき、シンタックス要素rect_slice_flagの値を第4のデフォルト値に設定する(たとえば、第4のデフォルト値は1に等しい)ステップをさらに含む実施形態13の方法。
15. 変数NumTilesInPicの値が、NumTileColumns * NumTileRowsに等しい実施形態13または14の方法。
16. シンタックス要素rect_slice_flagの値が第5のデフォルト値に等しい(たとえば、第5のデフォルト値は0に等しい)とき、および変数NumTilesInPicの値が予め設定された値より大きいとき、ビットストリームから現在のスライスのスライスアドレスslice_addressの値を解析するステップであって、現在のスライスが、現在のピクチャに含まれる、ステップをさらに含む実施形態13から15のいずれか1つの方法。
17. スライスアドレスの値が、現在のスライスのスライスヘッダにコーディングされる実施形態16の方法。
18. シンタックス要素rect_slice_flagの値が第5のデフォルト値に等しいとき、および変数NumTilesInPicの値が予め設定された値より大きいとき、現在のスライスに含まれるタイルの数num_tiles_in_slice_minus1を取得するステップをさらに含む実施形態13から17のいずれか1つの方法。
19. タイルの数num_tiles_in_slice_minus1が、現在のスライスのスライスヘッダにコーディングされる実施形態18の方法。
20. 実施形態1から19のいずれか1に記載の方法を実施するための処理回路を含むデコーダ(30)。
21. コンピュータまたはプロセッサ上で実行されるときに実施形態1から19のいずれか1つに記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
22. 1つまたは複数のプロセッサと、
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、実施形態1から19のいずれか1つに記載の方法を実施するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダ。
プロセッサに結合され、プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、プログラミングが、プロセッサによって実行されるときに、実施形態1から19のいずれか1つに記載の方法を実施するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むデコーダ。
23. コンピュータデバイスによって実行されるとき、コンピュータデバイスに実施形態1から19のいずれか1つの方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体。
以下は、上述の実施形態において示された符号化方法および復号方法の応用ならびにそれらを使用するシステムの説明である。
図8は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、任意選択でディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104を介して端末デバイス3106と通信する。通信リンクは、上述の通信チャネル13を含む可能性がある。通信リンク3104は、WIFI、イーサネット、ケーブル、ワイヤレス(3G/4G/5G)、USB、またはこれらの任意の種類の組合せなどを含むがこれらに限定されない。
キャプチャデバイス3102は、データを生成し、上の実施形態に示された符号化方法によってデータを符号化する可能性がある。代替的に、キャプチャデバイス3102は、データをストリーミングサーバ(図示せず)に配信する可能性があり、サーバが、データを符号化し、符号化されたデータを端末デバイス3106に送信する。キャプチャデバイス3102は、カメラ、スマートフォンもしくはスマートパッド、コンピュータもしくはラップトップ、テレビ会議システム、PDA、車載デバイス、またはこれらのいずれかの組合せなどを含むがこれらに限定されない。たとえば、キャプチャデバイス3102は、上述の送信元デバイス12を含む可能性がある。データがビデオを含むとき、キャプチャデバイス3102に含まれるビデオエンコーダ20が、ビデオ符号化処理を実際に実行する可能性がある。データがオーディオ(つまり、声)を含むとき、キャプチャデバイス3102に含まれるオーディオエンコーダが、オーディオ符号化処理を実際に実行する可能性がある。いくつかの実際のシナリオに関して、キャプチャデバイス3102は、符号化されたビデオおよびオーディオデータを一緒に多重化することによってそれらのデータを配信する。その他の実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。キャプチャデバイス3102は、符号化されたオーディオデータおよび符号化されたビデオデータを端末デバイス3106に別々に配信する。
コンテンツ供給システム3100において、端末デバイス310は、符号化されたデータを受信し、再生する。端末デバイス3106は、上述の符号化されたデータを復号することができるスマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、セットトップボックス(STB)3116、テレビ会議システム3118、ビデオ監視システム3120、携帯情報端末(PDA)3122、車載デバイス3124、またはこれらのいずれかの組合せなどの、データ受信および復元能力を有するデバイスであることが可能である。たとえば、端末デバイス3106は、上述の送信先デバイス14を含む可能性がある。符号化されたデータがビデオを含むとき、端末デバイスに含まれるビデオデコーダ30が、ビデオの復号を実行するために優先される。符号化されたデータがオーディオを含むとき、端末デバイスに含まれるオーディオデコーダが、オーディオ復号処理を実行するために優先される。
ディスプレイを有する端末デバイス、たとえば、スマートフォンもしくはスマートパッド3108、コンピュータもしくはラップトップ3110、ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)3112、TV 3114、携帯情報端末(PDA)、または車載デバイス3124に関して、端末デバイスは、復号されたデータをその端末デバイスのディスプレイに供給することができる。ディスプレイを備えていない端末デバイス、たとえば、STB 3116、テレビ会議システム3118、またはビデオ監視システム3120に関しては、外部ディスプレイ3126に連絡を取り、復号されたデータが受信され示される。
このシステムの各デバイスが符号化または復号を実行するとき、上述の実施形態において示されたピクチャ符号化デバイスまたはピクチャ復号デバイスが、使用され得る。
図9は、端末デバイス3106の例の構造を示す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後、プロトコル進行ユニット3202が、ストリームの送信プロトコルを分析する。プロトコルは、リアルタイムストリーミングプロトコル(RTSP)、ハイパーテキスト転送プロトコル(HTTP)、HTTPライブストリーミングプロトコル(HLS)、MPEG-DASH、リアルタイムトランスポートプロトコル(RTP)、リアルタイムメッセージングプロトコル(RTMP)、またはこれらの任意の種類の組合せなどを含むがこれらに限定されない。
プロトコル進行ユニット3202がストリームを処理した後、ストリームファイルが生成される。ファイルは、多重分離ユニット3204に出力される。多重分離ユニット3204は、多重化されたデータを符号化されたオーディオデータおよび符号化されたビデオデータに分離することができる。上述のように、いくつかの実際のシナリオに関して、たとえば、テレビ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは、多重化されない。この状況では、符号化されたデータは、多重分離ユニット3204を通さずにビデオデコーダ3206およびオーディオデコーダ3208に送信される。
多重分離処理によって、ビデオエレメンタリストリーム(ES)、オーディオES、および任意選択で字幕が生成される。上述の実施形態において説明されたビデオデコーダ30を含むビデオデコーダ3206は、上述の実施形態において示された復号方法によってビデオESを復号してビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替的に、ビデオフレームは、そのビデオフレームを同期ユニット3212に供給する前に、(図9に示されていない)バッファに記憶される可能性がある。同様に、オーディオフレームは、そのオーディオフレームを同期ユニット3212に供給する前に、(図9に示されていない)バッファに記憶される可能性がある。
同期ユニット3212は、ビデオフレームとオーディオフレームとを同期し、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。たとえば、同期ユニット3212は、ビデオ情報およびオーディオ情報の提示を同期する。情報は、コーディングされたオーディオデータおよびビジュアルデータの提示に関するタイムスタンプならびにデータストリームの配信自体に関するタイムスタンプを使用するシンタックスにおいてコーディングし得る。
字幕がストリームに含まれる場合、字幕デコーダ3210が、字幕を復号し、その字幕をビデオフレームおよびオーディオフレームと同期し、ビデオ/オーディオ/字幕をビデオ/オーディオ/字幕ディスプレイ3216に供給する。
本発明は、上述のシステムに限定されず、上述の実施形態のピクチャ符号化デバイスかまたはピクチャ復号デバイスかのどちらかが、その他のシステム、たとえば、自動車のシステムに組み込まれ得る。
数学演算子
本出願において使用される数学演算子は、Cプログラミング言語において使用される数学演算子に似ている。しかし、整数の除算および算術シフト演算の結果は、より厳密に定義され、累乗および実数値の除算などの追加の演算が、定義される。付番およびカウントの規則は、概して0から始まり、たとえば、「第1」は、0番と等価であり、「第2」は、1番と等価であり、以下同様である。
本出願において使用される数学演算子は、Cプログラミング言語において使用される数学演算子に似ている。しかし、整数の除算および算術シフト演算の結果は、より厳密に定義され、累乗および実数値の除算などの追加の演算が、定義される。付番およびカウントの規則は、概して0から始まり、たとえば、「第1」は、0番と等価であり、「第2」は、1番と等価であり、以下同様である。
算術演算子
以下の算術演算子が、以下の通り定義される。
+ 加算
- 減算(2引数の演算子として)または否定(単項前置演算子として)
* 行列の乗算を含む乗算
xy 累乗。xのy乗を規定する。その他の文脈で、そのような表記は、累乗として解釈されるように意図されない上付きの書き込みのために使用される。
/ 結果のゼロへの切り捨てを行う整数の除算。たとえば、7 / 4および-7 / -4は、1に切り捨てられ、-7 / 4および7 / -4は、-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
iがxからyを含んでyまでのすべての整数値を取るf( i )の総和。
x % y 法。x >= 0およびy > 0である整数xおよびyに関してのみ定義されるx割るyの余り。
以下の算術演算子が、以下の通り定義される。
+ 加算
- 減算(2引数の演算子として)または否定(単項前置演算子として)
* 行列の乗算を含む乗算
xy 累乗。xのy乗を規定する。その他の文脈で、そのような表記は、累乗として解釈されるように意図されない上付きの書き込みのために使用される。
/ 結果のゼロへの切り捨てを行う整数の除算。たとえば、7 / 4および-7 / -4は、1に切り捨てられ、-7 / 4および7 / -4は、-1に切り捨てられる。
÷ 切り捨てまたは丸めが意図されない数学的方程式の除算を表すために使用される。
x % y 法。x >= 0およびy > 0である整数xおよびyに関してのみ定義されるx割るyの余り。
論理演算子
以下の論理演算子が、以下の通り定義される。
x && y xおよびyのブール論理「積」
x || y xおよびyのブール論理「和」
! ブール論理「否定」
x ? y : z xが真であるかまたは0に等しくない場合、値yと評価され、そうでない場合、値zと評価される。
以下の論理演算子が、以下の通り定義される。
x && y xおよびyのブール論理「積」
x || y xおよびyのブール論理「和」
! ブール論理「否定」
x ? y : z xが真であるかまたは0に等しくない場合、値yと評価され、そうでない場合、値zと評価される。
関係演算子
以下の関係演算子が、以下の通り定義される。
> より大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
以下の関係演算子が、以下の通り定義される。
> より大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
関係演算子が値「na」(該当なし)を割り当てられたシンタックス要素または変数に適用されるとき、値「na」は、シンタックス要素または変数に関する異なる値として扱われる。値「na」は、いかなるその他の値とも等しくないとみなされる。
ビット演算子
以下のビット演算子が、以下の通り定義される。
& ビット毎の「論理積」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
| ビット毎の「論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
^ ビット毎の「排他的論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
x>>y xの2の補数による整数の表現の、2進数のy桁分の算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。
x<<y xの2の補数による整数の表現の、2進数のy桁分の算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(LSB)にシフトされるビットは、0に等しい値を有する。
以下のビット演算子が、以下の通り定義される。
& ビット毎の「論理積」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
| ビット毎の「論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
^ ビット毎の「排他的論理和」。整数引数に対する演算のとき、整数値の2の補数表現に対して作用する。別の引数よりも少ないビットを含む2進数引数に対する演算のとき、より短い引数が、0に等しいさらに上位桁のビットを追加することによって拡張される。
x>>y xの2の補数による整数の表現の、2進数のy桁分の算術右シフト。この関数は、yの非負の整数値に対してのみ定義される。右シフトの結果として最上位ビット(MSB)にシフトされるビットは、シフト演算の前のxのMSBに等しい値を有する。
x<<y xの2の補数による整数の表現の、2進数のy桁分の算術左シフト。この関数は、yの非負の整数値に対してのみ定義される。左シフトの結果として最下位ビット(LSB)にシフトされるビットは、0に等しい値を有する。
代入演算子
以下の算術演算子が、以下の通り定義される。
= 代入演算子
++ インクリメント、つまり、x++は、x = x + 1と等価であり、配列のインデックスに使用されるとき、インクリメント演算の前に変数の値と評価される。
-- デクリメント、つまり、x--は、x = x - 1と等価であり、配列のインデックスに使用されるとき、デクリメント演算の前に変数の値と評価される。
+= 指定された量のインクリメント、つまり、x += 3は、x = x + 3と等価であり、x += (-3)は、x = x + (-3)と等価である。
-= 指定された量のデクリメント、つまり、x -= 3は、x = x - 3と等価であり、x -= (-3)は、x = x - (-3)と等価である。
以下の算術演算子が、以下の通り定義される。
= 代入演算子
++ インクリメント、つまり、x++は、x = x + 1と等価であり、配列のインデックスに使用されるとき、インクリメント演算の前に変数の値と評価される。
-- デクリメント、つまり、x--は、x = x - 1と等価であり、配列のインデックスに使用されるとき、デクリメント演算の前に変数の値と評価される。
+= 指定された量のインクリメント、つまり、x += 3は、x = x + 3と等価であり、x += (-3)は、x = x + (-3)と等価である。
-= 指定された量のデクリメント、つまり、x -= 3は、x = x - 3と等価であり、x -= (-3)は、x = x - (-3)と等価である。
範囲の表記
以下の表記が、値の範囲を指定するために使用される。
x = y..z xは、x、y、およびzが整数値であり、zがyよりも大きいものとして、yおよびzを含んでyからzまでの整数値を取る。
以下の表記が、値の範囲を指定するために使用される。
x = y..z xは、x、y、およびzが整数値であり、zがyよりも大きいものとして、yおよびzを含んでyからzまでの整数値を取る。
数学関数
以下の数学関数が、定義される。
Asin( x ) -1.0および1.0を含んで-1.0から1.0までの範囲内の引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正弦関数
Atan( x ) 引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正接関数
Ceil( x ) x以上の最小の整数。
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Cos( x ) ラジアンを単位とする引数xに作用する三角法の余弦関数。
Floor(x) x以下の最大の整数。
Ln( x ) xの自然対数(eを底とする対数であり、eは、自然対数の底の定数2.718281828...である)。
Log2( x ) xの2を底とする対数。
Log10( x ) xの10を底とする対数。
Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )
Sin( x ) ラジアンを単位とする引数xに作用する三角法の正弦関数
Swap( x, y ) = ( y, x )
Tan( x ) ラジアンを単位とする引数xに作用する三角法の正接関数
以下の数学関数が、定義される。
Atan( x ) 引数xに作用し、ラジアンを単位として-π÷2およびπ÷2を含んで-π÷2からπ÷2までの範囲の出力値を有する三角法の逆正接関数
Clip1Y( x ) = Clip3( 0, ( 1 << BitDepthY ) - 1, x )
Clip1C( x ) = Clip3( 0, ( 1 << BitDepthC ) - 1, x )
Floor(x) x以下の最大の整数。
Log2( x ) xの2を底とする対数。
Log10( x ) xの10を底とする対数。
Tan( x ) ラジアンを単位とする引数xに作用する三角法の正接関数
演算の優先順位
式中の優先順位が括弧を使用して明示されないとき、以下のルールが、適用される。
- より高い優先度の演算は、より低い優先度のいかなる演算よりも前に評価される。
- 同じ優先度の演算は、左から右に順に評価される。
式中の優先順位が括弧を使用して明示されないとき、以下のルールが、適用される。
- より高い優先度の演算は、より低い優先度のいかなる演算よりも前に評価される。
- 同じ優先度の演算は、左から右に順に評価される。
下の表は、最も高い方から最も低い方へ演算の優先度を明示し、表のより上の位置は、より高い優先度を示す。
Cプログラミング言語においても使用される演算子に関して、本明細書において使用される優先順位は、Cプログラミング言語において使用されるのと同じである。
論理演算のテキストの記述
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
else if( 条件1 )
ステートメント1
...
else /* 残りの条件に関する情報を伝えるコメント */
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
以下のように... / ...以下が適用される。
- 条件0の場合、ステートメント0
- そうではなく、条件1の場合、ステートメント1
- ...
- それ以外の場合(残りの条件に関する情報を伝えるコメント)、ステートメントn
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
else if( 条件1 )
ステートメント1
...
else /* 残りの条件に関する情報を伝えるコメント */
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
以下のように... / ...以下が適用される。
- 条件0の場合、ステートメント0
- そうではなく、条件1の場合、ステートメント1
- ...
- それ以外の場合(残りの条件に関する情報を伝えるコメント)、ステートメントn
本文中のそれぞれの「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「...の場合、...」が直後に続く「以下のように...」または「...以下が適用される」によって導入される。「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」の最後の条件は、常に「それ以外の場合、...」である。交互に挿入された「...の場合、...、そうではなく...の場合、...、それ以外の場合、...」のステートメントは、「以下のように...」または「...以下が適用される」を終わりの「それ以外の場合、...」とマッチングすることによって特定され得る。
本文中、以下の形態で、すなわち、
if( 条件0a && 条件0b )
ステートメント0
else if( 条件1a || 条件1b )
ステートメント1
...
else
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
以下のように... / ...以下が適用される。
- 以下の条件のすべてが真である場合、ステートメント0
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つまたは複数が真である場合、ステートメント1
- 条件1a
- 条件1b
- ...
- それ以外の場合、ステートメントn
if( 条件0a && 条件0b )
ステートメント0
else if( 条件1a || 条件1b )
ステートメント1
...
else
ステートメントn
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
以下のように... / ...以下が適用される。
- 以下の条件のすべてが真である場合、ステートメント0
- 条件0a
- 条件0b
- そうでなく、以下の条件のうちの1つまたは複数が真である場合、ステートメント1
- 条件1a
- 条件1b
- ...
- それ以外の場合、ステートメントn
本文中、以下の形態で、すなわち、
if( 条件0 )
ステートメント0
if( 条件1 )
ステートメント1
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
条件0のとき、ステートメント0
条件1のとき、ステートメント1
if( 条件0 )
ステートメント0
if( 条件1 )
ステートメント1
の形態で数学的に記述される論理演算のステートメントは、以下のように記述される可能性がある。
条件0のとき、ステートメント0
条件1のとき、ステートメント1
本発明の実施形態が主にビデオコーディングに基づいて説明されたが、コーディングシステム10、エンコーダ20、およびデコーダ30(およびそれに対応してシステム10)の実施形態、ならびに本明細書において説明されたその他の実施形態は、静止ピクチャの処理またはコーディング、つまり、ビデオコーディングと同様のいかなる先行するまたは連続するピクチャからも独立した個々のピクチャの処理またはコーディングのために構成される可能性もあることに留意されたい。概して、ピクチャの処理コーディングが単一のピクチャ17に制限される場合、インター予測ユニット244(エンコーダ)および344(デコーダ)のみが、利用可能でない可能性がある。ビデオエンコーダ20およびビデオデコーダ30のすべてのその他の機能(ツールまたはテクノロジーとも呼ばれる)、たとえば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、区分け262/362、イントラ予測254/354、および/またはループフィルタ220、320、およびエントロピーコーディング270、およびエントロピー復号304が、静止ピクチャの処理のために等しく使用される可能性がある。
たとえば、エンコーダ20およびデコーダ30、ならびにたとえばエンコーダ20およびデコーダ30に関連して本明細書において説明された機能の実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せで実装される可能性がある。ソフトウェアに実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるかまたは通信媒体上で送信され、ハードウェアに基づく処理ユニットによって実行される可能性がある。コンピュータ可読媒体は、データストレージ媒体などの有形の媒体に対応するコンピュータ可読ストレージ媒体、またはたとえば通信プロトコルによるある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含む可能性がある。このようにして、概して、コンピュータ可読媒体は、(1)非一時的である有形のコンピュータ可読ストレージ媒体または(2)信号もしくは搬送波などの通信媒体に対応する可能性がある。データストレージ媒体は、本開示において説明された技術の実装のための命令、コード、および/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体である可能性がある。コンピュータプログラム製品は、コンピュータ可読媒体を含む可能性がある。
限定ではなく例として、そのようなコンピュータ可読ストレージ媒体は、RAM、ROM、EEPROM、CD-ROMもしくはその他の光ディスクストレージ、磁気ディスクストレージもしくはその他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意のその他の媒体を含み得る。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーを用いてウェブサイト、サーバ、またはその他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、または赤外線、ラジオ波、およびマイクロ波などのワイヤレステクノロジーは、媒体の定義に含まれる。しかし、コンピュータ可読ストレージ媒体およびデータストレージ媒体は、接続、搬送波、信号、またはその他の一時的媒体を含まず、その代わりに、非一時的な有形のストレージ媒体を対象とすることを理解されたい。本明細書において使用されるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD: compact disc)、レーザディスク(laser disc)、光ディスク(optical disc)、デジタルバーサタイルディスク(DVD: digital versatile disc)、フロッピーディスク(floppy disk)、およびブルーレイディスク(Blu-ray disc)を含み、ディスク(disk)が、通常、磁気的にデータを再生する一方、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記のものの組合せも、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、またはその他の等価な集積もしくはディスクリート論理回路などの1つまたは複数のプロセッサによって実行される可能性がある。したがって、用語「プロセッサ」は、本明細書において使用されるとき、上述の構造または本明細書において説明された技術の実装に好適な任意のその他の構造のいずれかを指す可能性がある。加えて、一部の態様において、本明細書において説明された機能は、符号化および復号のために構成された専用のハードウェアおよび/もしくはソフトウェアモジュール内に提供されるか、または組み合わされたコーデックに組み込まれる可能性がある。また、技術は、1つまたは複数の回路または論理要素にすべて実装される可能性がある。
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)、または1組のIC(たとえば、チップセット)を含む多種多様なデバイスまたは装置に実装される可能性がある。様々な構成要素、モジュール、またはユニットが、開示された技術を実行するように構成されたデバイスの機能の態様を強調するために本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述のように、様々なユニットが、コーデックハードウェアユニットにおいて組み合わされるか、または好適なソフトウェアおよび/もしくはファームウェアと連携した、上述の1つもしくは複数のプロセッサを含む相互運用性のあるハードウェアユニットの集合によって提供される可能性がある。
1 サブピクチャ
10 ビデオコーディングシステム、コーディングシステム
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 量子化解除された係数、量子化解除された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 量子化解除された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)、復号ピクチャバッファ(DBP)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード適用ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
1600 ビデオ復号装置
1610 取得ユニット
1620 判定ユニット
1700 ビデオ符号化装置
1710 判定ユニット
1720 符号化ユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
10 ビデオコーディングシステム、コーディングシステム
12 送信元デバイス
13 符号化されたピクチャデータ、通信チャネル
14 送信先デバイス
16 ピクチャソース
17 ピクチャ、ピクチャデータ、生ピクチャ、生ピクチャデータ、モノクロピクチャ、カラーピクチャ、現在のピクチャ
18 プリプロセッサ、前処理ユニット、ピクチャプリプロセッサ
19 前処理されたピクチャ、前処理されたピクチャデータ
20 ビデオエンコーダ、エンコーダ
21 符号化されたピクチャデータ、符号化されたビットストリーム
22 通信インターフェース、通信ユニット
28 通信インターフェース、通信ユニット
30 デコーダ、ビデオデコーダ
31 復号されたピクチャデータ、復号されたピクチャ
32 ポストプロセッサ、後処理ユニット
33 後処理されたピクチャデータ、後処理されたピクチャ
34 ディスプレイデバイス
46 処理回路
100 ビデオエンコーダ
201 入力、入力インターフェース
203 ピクチャブロック、元のブロック、現在のブロック、区分けされたブロック、現在のピクチャブロック
204 残差計算ユニット、残差計算
205 残差ブロック、残差
206 変換処理ユニット、変換
207 変換係数
208 量子化ユニット、量子化
209 量子化された係数、量子化された変換係数、量子化された残差係数
210 逆量子化ユニット、逆量子化
211 量子化解除された係数、量子化解除された残差係数
212 逆変換処理ユニット、(逆)変換
213 再構築された残差ブロック、逆量子化された係数、変換ブロック
214 再構築ユニット、加算器、合算器
215 再構築されたブロック
216 バッファ
220 ループフィルタユニット、ループフィルタ
221 フィルタリングされたブロック、フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ(DPB)
231 復号されたピクチャ
244 インター予測ユニット
254 イントラ予測ユニット、インター予測ユニット、イントラ予測
260 モード選択ユニット
262 区分けユニット、区分け
265 予測ブロック、予測子
266 シンタックス要素
270 エントロピー符号化ユニット、エントロピーコーディング
272 出力、出力インターフェース
304 エントロピー復号ユニット、残差計算、エントロピー復号
309 量子化された係数
310 逆量子化ユニット、逆量子化
311 量子化解除された係数、変換係数
312 逆変換処理ユニット、(逆)変換、出力
313 再構築された残差ブロック
314 再構築ユニット、合算器、加算器
315 再構築されたブロック
320 ループフィルタ、ループフィルタユニット、ループフィルタリングユニット
321 フィルタリングされたブロック、復号されたビデオブロック
330 復号ピクチャバッファ(DPB)、復号ピクチャバッファ(DBP)
331 復号されたピクチャ
344 インター予測ユニット
354 イントラ予測ユニット、イントラ予測
360 モード適用ユニット
362 区分け
365 予測ブロック
400 ビデオコーディングデバイス
410 着信ポート、入力ポート
420 受信機ユニット(Rx)
430 プロセッサ、論理ユニット、中央演算処理装置(CPU)
440 送信機ユニット(Tx)
450 発信ポート、出力ポート
460 メモリ
470 コーディングモジュール
500 装置
502 プロセッサ
504 メモリ
506 データ
508 オペレーティングシステム
510 アプリケーションプログラム
512 バス
514 二次ストレージ
518 ディスプレイ
1600 ビデオ復号装置
1610 取得ユニット
1620 判定ユニット
1700 ビデオ符号化装置
1710 判定ユニット
1720 符号化ユニット
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォン、スマートパッド
3110 コンピュータ、ラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 テレビ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 多重分離ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 字幕デコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/字幕ディスプレイ
Claims (21)
- 復号デバイスによって実施される、ビデオビットストリームを復号する方法であって、シーケンスパラメータセットSPSが、前記ビデオビットストリームにコーディングされ、ビデオシーケンスに適用されるシンタックス要素を含み、方法が、
前記SPSから第1のシンタックス要素の値を取得するステップ(1410)であって、前記第1のシンタックス要素の前記値が、復号ピクチャバッファDPBパラメータシンタックス構造が前記SPS内に存在するかどうかを指定するために使用される、ステップ(1410)と、
少なくとも、前記第1のシンタックス要素の前記値が前記DPBパラメータシンタックス構造が前記SPS内に存在することを指定すると判定するときに、前記SPSから第2のシンタックス要素の値を取得するステップ(1420)であって、前記第2のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、前記DPBシンタックス要素が、前記ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップ(1420)とを含む、方法。 - 前記第2のシンタックス要素の前記値に基づいて前記DPBシンタックス要素の値を取得するステップと、
前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップとをさらに含む請求項1に記載の方法。 - 前記第2のシンタックス要素の前記値に基づいて前記DPBシンタックス要素の前記値を取得するステップが、
前記第2のシンタックス要素の前記値が前記DPBシンタックス要素が前記DPBパラメータシンタックス構造内に存在することを指定すると判定するとき、前記DPBパラメータシンタックス構造から前記DPBシンタックス要素の前記値を取得すること、または
前記第2のシンタックス要素の前記値が前記DPBシンタックス要素が前記DPBパラメータシンタックス構造内に存在しないことを指定すると判定するとき、前記DPBシンタックス要素の前記値を、前記DPBパラメータシンタックス構造内の前記最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定することを含む請求項2に記載の方法。 - 前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップが、前記DPBシンタックス要素の前記値に基づいてDPBを構成することと、前記DPBを使用して前記ビデオシーケンスを再構築することとを含む請求項2または3に記載の方法。
- 前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップが、使用されるDPBが前記DPBシンタックス要素の前記値によって指定された要件を満たすという判定に基づいて前記ビデオシーケンスを再構築することを含む請求項2または3に記載の方法。
- 前記SPSから第3のシンタックス要素の値を取得するステップであって、前記第3のシンタックス要素の前記値が、前記ビデオシーケンス内に存在する時間サブレイヤの最大数を決定するために使用される、ステップをさらに含む請求項1から5のいずれか一項に記載の方法。
- 前記SPSから前記第2のシンタックス要素の前記値を取得するステップが、
前記第1のシンタックス要素の前記値が前記DPBパラメータシンタックス構造が前記SPS内に存在することを指定すると判定するとき、前記第3のシンタックス要素の前記値に基づいて、前記ビデオビットストリーム内の前記時間サブレイヤの前記最大数が1よりも大きいかどうかを判定することと、
時間サブレイヤの前記最大数が1より大きいと判定するとき、前記SPSから前記第2のシンタックス要素の前記値を取得することとを含む請求項6に記載の方法。 - 符号化デバイスによって実施される、ビデオビットストリームを符号化する方法であって、シーケンスパラメータセットSPSが、前記ビデオビットストリームに符号化され、ビデオシーケンスに適用されるシンタックス要素を含み、方法が、
前記SPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するステップ(1510)と、
前記SPS内の前記DPBパラメータシンタックス構造の前記存在の判定に基づいて、第1のシンタックス要素の値を前記SPSに符号化するステップ(1520)であって、前記第1のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造が前記SPS内に存在するかどうかを指定するために使用される、ステップ(1520)と、
前記DPBパラメータシンタックス構造が前記SPS内に存在すると判定するとき、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するステップ(1530)であって、前記DPBシンタックス要素が、前記ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、ステップ(1530)と、
前記DPBパラメータシンタックス構造内の前記DPBシンタックス要素の前記存在の判定に基づいて、第2のシンタックス要素の値を前記SPSに符号化するステップ(1540)であって、前記第2のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造内の前記DPBシンタックス要素の前記存在を指定するために使用される、ステップ(1540)とを含む、方法。 - 前記DPBシンタックス要素が前記DPBパラメータシンタックス構造内に存在すると判定するとき、前記DPBシンタックス要素の値を決定するステップと、前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップとをさらに含む請求項8に記載の方法。
- 前記DPBシンタックス要素の前記値を、前記DPBパラメータシンタックス構造内の前記最上位の時間サブレイヤに適用される別のDPBシンタックス要素の値に等しいように設定するステップと、前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップとをさらに含む請求項8に記載の方法。
- 前記DPBシンタックス要素の前記値に基づいて前記ビデオシーケンスを再構築するステップが、前記DPBシンタックス要素の前記値を満たすようにDPBを構成することと、前記DPBを使用して前記ビデオシーケンスを再構築することとを含む請求項9または10に記載の方法。
- 前記DPBパラメータシンタックス構造が前記SPS内に存在すると判定され、前記ビデオビットストリーム内の時間サブレイヤの最大数が1より大きいとき、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在が判定される請求項8から11のいずれか一項に記載の方法。
- コーディングされたビデオビットストリームを復号するための装置(1600)であって、
前記ビデオビットストリームにコーディングされたSPSから第1のシンタックス要素の値を取得するように構成された取得ユニット(1610)であって、前記第1のシンタックス要素の前記値が、復号ピクチャバッファDPBパラメータシンタックス構造が前記SPS内に存在するかどうかを指定するために使用される、取得ユニット(1610)と、
前記第1のシンタックス要素の前記値が前記DPBパラメータシンタックス構造が前記SPS内に存在することを指定するかどうかを判定するように構成された判定ユニット(1620)とを含み、
前記取得ユニットが、少なくとも、前記第1のシンタックス要素の前記値が前記DPBパラメータシンタックス構造が前記SPS内に存在することを指定すると判定するときに、前記SPSから第2のシンタックス要素の値を取得するようにさらに構成され、前記第2のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、前記DPBシンタックス要素が、前記ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、装置(1600)。 - ビデオビットストリームを符号化するための装置(1700)であって、
前記ビデオビットストリームに符号化されたSPS内の復号ピクチャバッファDPBパラメータシンタックス構造の存在を判定するように構成された判定ユニット(1710)と、
前記SPS内の前記DPBパラメータシンタックス構造の前記存在の判定に基づいて、第1のシンタックス要素の値を前記SPSに符号化するように構成された符号化ユニット(1720)であって、前記第1のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造が前記SPS内に存在するかどうかを指定するために使用される、符号化ユニット(1720)とを含み、
前記判定ユニット(1710)が、前記DPBパラメータシンタックス構造が前記SPS内に存在すると判定するとき、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を判定するようにさらに構成され、前記DPBシンタックス要素が、前記ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用され、
前記符号化ユニット(1720)が、前記DPBパラメータシンタックス構造内の前記DPBシンタックス要素の前記存在の判定に基づいて、第2のシンタックス要素の値を前記SPSに符号化するようにさらに構成され、前記第2のシンタックス要素の前記値が、前記DPBパラメータシンタックス構造内の前記DPBシンタックス要素の前記存在を指定するために使用される、装置(1700)。 - 請求項8から12のいずれか一項に記載の方法を実施するための処理回路を含むエンコーダ。
- 請求項1から7のいずれか一項に記載の方法を実行するための処理回路を含むデコーダ。
- コンピュータまたはプロセッサ上で実行されるときに請求項1から12のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
- 1つまたは複数のプロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、前記プログラミングが、前記プロセッサによって実行されるときに、請求項1から7のいずれか一項に記載の方法を実行するようにデコーダを構成する、非一時的コンピュータ可読ストレージ媒体と
を含むデコーダ。 - 1つまたは複数のプロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行するためのプログラミングを記憶する非一時的コンピュータ可読ストレージ媒体であって、前記プログラミングが、前記プロセッサによって実行されるときに、請求項8から12のいずれか一項に記載の方法を実施するようにエンコーダを構成する、非一時的コンピュータ可読ストレージ媒体とを含むエンコーダ。 - コンピュータデバイスによって実行されるとき、前記コンピュータデバイスに請求項1から12のいずれか一項に記載の方法を実行させるプログラムコードを運ぶ非一時的コンピュータ可読媒体。
- 符号化されたビットストリームを含む非一時的ストレージ媒体であって、前記ビットストリームが、ビデオ信号または画像信号の現在のピクチャを複数のブロックに分割することによって生成され、複数のシンタックス要素を含み、前記複数のシンタックス要素が、SPS内の第1のシンタックス要素を含み、前記第1のシンタックス要素の値が、復号ピクチャバッファDPBパラメータシンタックス構造が前記SPS内に存在するかどうかを指定するために使用され、前記第1のシンタックス要素の前記値が前記DPBパラメータシンタックス構造が前記SPS内に存在することを指定する場合、前記ビットストリームが、前記SPS内の第2のシンタックス要素をさらに含み、前記第2のシンタックス要素の値が、前記DPBパラメータシンタックス構造内のDPBシンタックス要素の存在を指定するために使用され、前記DPBシンタックス要素が、前記ビデオシーケンス内の最上位の時間サブレイヤを除く時間サブレイヤに適用される、非一時的ストレージ媒体。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP2020055269 | 2020-02-28 | ||
| EPPCT/EP2020/055269 | 2020-02-28 | ||
| EPPCT/EP2020/065999 | 2020-06-09 | ||
| EPPCT/EP2020/065989 | 2020-06-09 | ||
| EP2020065989 | 2020-06-09 | ||
| EP2020065999 | 2020-06-09 | ||
| PCT/CN2021/078313 WO2021170124A1 (en) | 2020-02-28 | 2021-02-27 | An encoder, a decoder and corresponding methods of signaling and semantics in parameter sets |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023515626A true JP2023515626A (ja) | 2023-04-13 |
Family
ID=77490726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022552224A Pending JP2023515626A (ja) | 2020-02-28 | 2021-02-27 | エンコーダ、デコーダ、および対応するシグナリングの方法、ならびにパラメータセット内のセマンティクス |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US11533497B2 (ja) |
| EP (1) | EP4101171A4 (ja) |
| JP (1) | JP2023515626A (ja) |
| KR (1) | KR20220143936A (ja) |
| CN (1) | CN115211114A (ja) |
| AU (1) | AU2021225986A1 (ja) |
| CA (1) | CA3169560A1 (ja) |
| CL (1) | CL2022002338A1 (ja) |
| MX (1) | MX2022010702A (ja) |
| WO (1) | WO2021170124A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021091256A1 (ko) * | 2019-11-05 | 2021-05-14 | 엘지전자 주식회사 | 영상/비디오 코딩 방법 및 장치 |
| CA3173179A1 (en) * | 2020-03-24 | 2021-09-30 | Biao Wang | An encoder, a decoder and corresponding methods for video or picture bitstream |
| KR20220161441A (ko) * | 2020-03-31 | 2022-12-06 | 인터디지털 브이씨 홀딩스 프랑스 | 비디오 인코딩 및 디코딩을 위한 방법 및 장치 |
| WO2021222813A1 (en) * | 2020-05-01 | 2021-11-04 | Beijing Dajia Internet Information Technology Co., Ltd. | High-level syntax for video coding |
| US11503342B2 (en) * | 2020-06-10 | 2022-11-15 | Sharp Kabushiki Kaisha | Systems and methods for signaling sequence parameter information in video coding |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL2901688T3 (pl) * | 2012-09-28 | 2020-05-18 | Nokia Technologies Oy | Aparat i sposób do kodowania i dekodowania wideo |
| SG10201913551WA (en) | 2013-04-07 | 2020-03-30 | Dolby Int Ab | Signaling change in output layer sets |
| US9819941B2 (en) * | 2013-10-10 | 2017-11-14 | Qualcomm Incorporated | Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding |
| US10205954B2 (en) * | 2013-10-23 | 2019-02-12 | Qualcomm Incorporated | Carriage of video coding standard extension bitstream data using MPEG-2 systems |
| JP6472449B2 (ja) * | 2014-01-02 | 2019-02-20 | シャープ株式会社 | ビデオシーケンスを復号するための方法 |
| WO2015102042A1 (en) | 2014-01-02 | 2015-07-09 | Sharp Kabushiki Kaisha | Parameter set signaling |
| US10306269B2 (en) * | 2014-10-10 | 2019-05-28 | Qualcomm Incorporated | Operation point for carriage of layered HEVC bitstream |
-
2021
- 2021-02-27 CA CA3169560A patent/CA3169560A1/en active Pending
- 2021-02-27 KR KR1020227033091A patent/KR20220143936A/ko active Search and Examination
- 2021-02-27 AU AU2021225986A patent/AU2021225986A1/en active Pending
- 2021-02-27 CN CN202180017572.9A patent/CN115211114A/zh active Pending
- 2021-02-27 JP JP2022552224A patent/JP2023515626A/ja active Pending
- 2021-02-27 EP EP21760115.2A patent/EP4101171A4/en active Pending
- 2021-02-27 WO PCT/CN2021/078313 patent/WO2021170124A1/en unknown
- 2021-02-27 MX MX2022010702A patent/MX2022010702A/es unknown
-
2022
- 2022-02-25 US US17/681,003 patent/US11533497B2/en active Active
- 2022-08-26 CL CL2022002338A patent/CL2022002338A1/es unknown
- 2022-12-15 US US18/066,863 patent/US11943459B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20230199203A1 (en) | 2023-06-22 |
| US20220182649A1 (en) | 2022-06-09 |
| CN115211114A (zh) | 2022-10-18 |
| CA3169560A1 (en) | 2021-09-02 |
| AU2021225986A1 (en) | 2022-09-29 |
| WO2021170124A1 (en) | 2021-09-02 |
| MX2022010702A (es) | 2022-11-10 |
| EP4101171A1 (en) | 2022-12-14 |
| US11943459B2 (en) | 2024-03-26 |
| EP4101171A4 (en) | 2023-06-07 |
| CL2022002338A1 (es) | 2023-03-31 |
| US11533497B2 (en) | 2022-12-20 |
| KR20220143936A (ko) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11533497B2 (en) | Encoder, a decoder and corresponding methods of signaling and semantics in parameter sets | |
| JP2023508060A (ja) | ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング | |
| JP7391991B2 (ja) | イントラ平滑化のための方法および装置 | |
| JP7483869B2 (ja) | エンコーダ、デコーダ、および対応する方法 | |
| JP7372465B2 (ja) | シーケンスパラメータセット内でのサブピクチャのシグナリングのためのエンコーダ、デコーダ、および対応する方法 | |
| US11729391B2 (en) | Encoder, a decoder and corresponding methods simplifying signaling slice header syntax elements | |
| JP2022541700A (ja) | イントラ予測モードに関連するエンコーダ、デコーダ、および対応する方法 | |
| JP7328446B2 (ja) | クロミナンス量子化パラメータのシグナリングのための方法及び装置 | |
| JP2023512694A (ja) | 高レベルシンタックスのシグナリングについてのエンコーダ、デコーダ、および対応する方法 | |
| WO2021190525A1 (en) | An encoder, a decoder and corresponding methods | |
| JP2023100701A (ja) | イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法 | |
| JP7509902B2 (ja) | スライス用のピクチャパーティション情報をシグナリングするためのデコーダ及び対応する方法 | |
| JP7414976B2 (ja) | エンコーダ、デコーダ、および、対応する方法 | |
| WO2021185278A1 (en) | An encoder, a decoder and corresponding methods | |
| JP7524327B2 (ja) | エンコーダ、デコーダ、および対応する方法 | |
| JP2023509052A (ja) | エンコーダ、デコーダ、および対応する方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240115 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240716 |