JP2024026117A - ビデオ処理におけるコーディングツールの選択的使用 - Google Patents
ビデオ処理におけるコーディングツールの選択的使用 Download PDFInfo
- Publication number
- JP2024026117A JP2024026117A JP2023196343A JP2023196343A JP2024026117A JP 2024026117 A JP2024026117 A JP 2024026117A JP 2023196343 A JP2023196343 A JP 2023196343A JP 2023196343 A JP2023196343 A JP 2023196343A JP 2024026117 A JP2024026117 A JP 2024026117A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- video
- current
- block
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 385
- 230000033001 locomotion Effects 0.000 claims description 234
- 239000013598 vector Substances 0.000 claims description 123
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 92
- 238000012952 Resampling Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 66
- 230000011664 signaling Effects 0.000 claims description 58
- 230000002123 temporal effect Effects 0.000 claims description 30
- 230000002457 bidirectional effect Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims 2
- 238000003672 processing method Methods 0.000 abstract description 34
- 230000003044 adaptive effect Effects 0.000 description 46
- 238000005516 engineering process Methods 0.000 description 43
- 230000008859 change Effects 0.000 description 30
- 238000013461 design Methods 0.000 description 27
- 241000723655 Cowpea mosaic virus Species 0.000 description 19
- 238000004590 computer program Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 241001482237 Pica Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 101150103552 cagE gene Proteins 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010001513 AIDS related complex Diseases 0.000 description 1
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 1
- 101150114515 CTBS gene Proteins 0.000 description 1
- 208000031361 Hiccup Diseases 0.000 description 1
- 210000002945 adventitial reticular cell Anatomy 0.000 description 1
- 235000019395 ammonium persulphate Nutrition 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000000261 appearance potential spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000009739 binding Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】ビデオ処理方法を提供する。【解決手段】ビデオ処理方法は、ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換の場合に、現在のビデオブロックのコーディングされている表現へのコーディングのために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用することに起因して、現在のビデオブロックについて、コーディングツールの使用が無効化されているということを決定するステップと、決定に基づいて、変換を実行するステップと、を含む。【選択図】図２５Ｃ
Description
[関連出願への相互参照]
パリ条約にしたがった適用可能な特許法及び/又は規則に基づいて、この出願は、2019年5月11日付で出願された国際特許出願第PCT/CN2019/086487号及び2019年10月12日付で出願された国際特許出願第PCT/CN2019/110905号に基づく優先権及び利益を適時に主張して行われる。法に基づくすべての目的のために、上記の2つの出願の全体的な開示は、この出願の開示の一部として参照により本明細書に組み込まれる。
パリ条約にしたがった適用可能な特許法及び/又は規則に基づいて、この出願は、2019年5月11日付で出願された国際特許出願第PCT/CN2019/086487号及び2019年10月12日付で出願された国際特許出願第PCT/CN2019/110905号に基づく優先権及び利益を適時に主張して行われる。法に基づくすべての目的のために、上記の2つの出願の全体的な開示は、この出願の開示の一部として参照により本明細書に組み込まれる。
[技術分野]
この特許文献は、ビデオ処理技術、デバイス及びシステムに関する。
この特許文献は、ビデオ処理技術、デバイス及びシステムに関する。
ビデオ圧縮の進歩にもかかわらず、ディジタルビデオは、依然として、インターネット及び他のディジタル通信ネットワークにおける最大の帯域幅使用を占めている。ビデオを受信し及び表示することが可能である接続されているユーザデバイスの数が増加するのに伴って、ディジタルビデオの利用のための帯域幅の需要は増加し続けることが予想される。
例えば、ビデオ処理のための適応ループフィルタリング等のディジタルビデオ処理に関連するデバイス、システム、及び方法について説明する。説明されている方法は、(例えば、高効率ビデオコーディング(High Efficiency Video Coding(HEVC))等の)既存のビデオコーディング規格及び(例えば、汎用ビデオコーディング(Versatile Video Coding(VVC))等の)将来的なビデオコーディング規格又はコーデックの双方に適用可能であってもよい。
ビデオコーディング規格は、主として、よく知られているITU-T規格及びISO/IEC規格の開発を通じて発展してきた。ITU-Tは、H.261及びH.263を生み出し、ISO/IECは、MPEG-1及びMPEG-4 Visualを生み出し、そして、2つの組織は、共同で、H.262/MPEG-2 Video、H.264/MPEG-4高度動画圧縮コーディング(Advanced Video Coding (AVC))、及びH.265/HEVC規格を生み出している。H.262以来、ビデオコーディング規格は、時間的予測に加えて変換コーディングを利用するハイブリッドビデオコーディング構造に基づいている。HEVCを越える将来的なビデオコーディング技術を探求するために、2015年にVCEG及びMPEGが共同で共同ビデオ探査チーム(JVET)を設立した。それ以来、多くの新たな方法が、JVETによって採用され、共同探査モデル(JEM)と名付けられている参照ソフトウェアの中で使用されている。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間の共同ビデオエキスパートチーム(JVET)を発足させ、HEVCと比較して50%のビットレート減少を目標とするVVC規格に取り組んでいる。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換のために、前記現在のビデオブロックと関連する参照ピクチャの1つ又は複数の解像度及び前記現在のピクチャの解像度に基づいて、1つ又は複数の動きベクトルオフセットを導出するステップと、前記1つ又は複数の動きベクトルオフセットを使用して前記変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換のために、動き候補が優先順位の中に含まれる動き候補リストを構築し、それによって、動き候補の優先度は、前記動き候補と関連する参照ピクチャの解像度に基づいている、ステップと、前記動き候補リストを使用して前記変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、現在のビデオピクチャの寸法に基づいて、1つ又は複数のビデオユニットを含む前記現在のビデオピクチャについて適応ループフィルタのパラメータを決定するステップと、前記適応ループフィルタの前記パラメータにしたがって、前記1つ又は複数のビデオユニットをフィルタリングすることによって、前記現在のビデオピクチャと前記現在のビデオピクチャのコーディングされている表現との間の変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックに対して、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスを適用するステップであって、前記彩度スケーリングを使用する輝度マッピング(LMCS)プロセスにおいては、第1の領域と第2の領域との間で前記現在のビデオブロックの輝度サンプルを再形成し、そして、対応する寸法と関連する彩度スケーリングを使用する輝度マッピング(LMCS)パラメータを使用することによって、輝度に依存する方式によって彩度残差をスケーリングする、ステップと、前記現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換のために、複数のサブパーティションの参照ピクチャ情報に基づいて、規則にしたがって、前記現在のビデオブロックを前記複数のサブパーティションに分配するコーディングツールを有効化するか否か及び/又はどのように有効化するかを決定するステップと、前記決定に基づいて、前記変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換の場合に、前記現在のビデオブロックの前記コーディングされている表現へのコーディングのために、前記現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用することに起因して、前記現在のビデオブロックについて、コーディングツールの使用が無効化されているということを決定するステップと、前記決定に基づいて、前記変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックについて、前記現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用するか否か及び/又はどのように使用するかを決定する規則に基づいて、前記現在のビデオブロックにコーディングツールを適用することによって、予測ブロックを生成するステップと、前記予測ブロックを使用して、前記ビデオの前記現在のビデオブロックとコーディングされている表現との間の変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換のために、1つ又は複数の参照ピクチャリストと関連する参照ピクチャの第1の解像度及び/又は前記現在のビデオブロックについて予測ブロックを導出するのに使用される現在の参照ピクチャの第2の解像度に基づいて、前記現在のビデオブロックについて、コーディングツールが無効化されているか否かを決定するステップと、前記決定に基づいて、前記変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、1つ又は複数のビデオブロックを含むビデオピクチャと前記ビデオのコーディングされている表現との間の変換を実行するステップを含み、前記1つ又は複数のビデオブロックのうちの少なくとも一部は、規則にしたがって前記ビデオピクチャのための参照ピクチャリストを参照することによってコーディングされ、前記規則は、前記参照ピクチャリストが、最大でK個の異なる解像度を有する参照ピクチャを含むということを規定し、Kは、整数である。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオのN個の連続するビデオピクチャと前記ビデオのコーディングされている表現との間の変換を実行するステップを含み、前記N個の連続するビデオピクチャは、規則にしたがって複数の異なる解像度でコーディングされている1つ又は複数のビデオブロックを含み、前記規則は、前記N個の連続するビデオピクチャについて、最大でK個の異なる解像度が許可されているということを規定し、N及びKは、整数である。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、複数のピクチャを含むビデオと前記ビデオのコーディングされている表現との間の変換を実行するステップを含み、前記複数のピクチャのうちの少なくとも一部は、複数の異なるコーディングされているビデオ解像度を使用して前記コーディングされている表現にコーディングされ、前記コーディングされている表現は、フォーマット規則に適合し、前記フォーマット規則においては、前のフレームの第1のコーディング解像度が、次のフレームがフレーム内符号化フレームとしてコーディングされる場合にのみ、前記前のフレームの順序的に後の前記次のフレームの第2のコーディング解像度に変更される。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオのコーディングされている表現を解析して、前記ビデオの現在のピクチャの現在のビデオブロックが、前記現在のピクチャの解像度とは異なる解像度と関連する参照ピクチャを参照するということを決定するステップと、前記現在のビデオブロックに適用される単方向予測モードへと双方向予測モードを変換することによって、前記現在のビデオブロックについての予測ブロックを生成するステップと、前記予測ブロックを使用して前記コーディングされている表現から前記ビデオを生成するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、動きベクトルの精度及び/又は解像度比に応じて、互いに異なる複数の解像度を有する複数の参照ピクチャからのフレーム間予測を有効化し又は無効にすることによって、ビデオの現在のピクチャの現在のビデオブロックについての予測ブロックを生成するステップと、前記予測ブロックを使用して、前記現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換を実行するステップと、を含む。
ある1つの代表的な態様において、開示されている技術は、ビデオ処理方法を提供するのに使用されてもよい。その方法は、ビデオの現在のピクチャの現在のビデオブロックのコーディング特性に基づいて、前記現在のビデオブロックと前記ビデオのコーディングされている表現との間の変換の際に、前記現在のビデオブロックについての予測ブロックを生成するために、前記現在のピクチャの寸法とは異なる寸法を有する参照ピクチャが許可されているか否かを決定するステップと、前記決定にしたがって前記変換を実行するステップと、を含む。
さらに別の代表的な態様において、上記で説明されている方法は、プロセッサ実行可能なコードの形態で具体化され、コンピュータ読み取り可能なプログラム媒体の中に格納される。
さらに別の代表的な態様において、上記で説明されている方法を実行するように構成され又は動作可能なデバイスが開示される。そのデバイスは、この方法を実装するようにプログラムされるプロセッサを含んでもよい。
さらに別の代表的な態様において、ビデオデコーダ装置は、本明細書において説明される方法を実装することが可能である。
開示されている技術の上記の及び他の態様及び特徴は、図面、明細書、及び特許請求の範囲において詳細に説明されている。
この文書の中で開示されている技術及びデバイスは、適応解像度変換(adaptive resolution conversion)を使用するコーディングツールを提供する。AVC及びHEVCは、IDR又はフレーム内ランダムアクセスポイント(intra random access point (IRAP))ピクチャを導入する必要なしに解像度を変化させる能力を持たず、そのような能力は、適応解像度変更(adaptive resolution change (ARC))と称されてもよい。ARC機能の恩恵を受けるであろう複数の使用状況又は複数の適用シナリオが存在し、それらの複数の使用状況又は複数の適用シナリオは、以下のものを含む。
-ビデオ電話及び会議におけるレート適応: 変化するネットワーク条件にコーディングされているビデオを適応させるために、ネットワーク条件が悪化し、それによって、利用可能な帯域幅がより小さくなるときに、エンコーダは、解像度がより小さいピクチャを符号化することによって、その変化するネットワーク条件に適応することが可能である。現時点では、ピクチャ解像度の変更は、IRAPピクチャの後にのみ行われることが可能であるが、これは、いくつかの問題を伴う。品質が妥当であるIRAPピクチャは、フレーム間符号化されているピクチャ(inter-coded picture)よりもはるかに大きくなり、それに対応して、復号化がより複雑になり、そのような復号化には、時間及びリソースがかかる。このことは、解像度の変更が負荷の理由でデコーダによって要求される場合に問題となる。また、低遅延バッファ条件を破壊し、オーディオの再同期を強制し、そのストリームのエンドトゥエンド遅延が少なくとも一時的に増加する場合がある。これは、ユーザの体験を劣悪にする場合がある。
-複数当事者のビデオ会議におけるアクティブ話者の変更: 複数当事者のビデオ会議の場合には、アクティブ話者は、残りの会議参加者のビデオよりもより大きなビデオサイズで示されるということは、一般的なことである。アクティブ話者が変わるときに、また、各々の参加者のためのピクチャ解像度を調整する必要がある。ARC機能の必要性は、アクティブ話者のそのような変更が頻繁に生起するときに、より重要になる。
-ストリーミングの迅速な開始: ストリーミングアプリケーションの場合には、アプリケーションは、表示を開始する前に、復号化されているピクチャの特定の長さまでをバッファリングするということは、一般的なことである。より小さな解像度でビットストリームを開始すると、アプリケーションがより速く表示を開始するのに十分なピクチャをバッファの中に入れておくということを可能とするであろう。
ストリーミングにおける適応ストリーム切り替え(adaptive stream switching): HTTP(DASH) 規格における動的な適応ストリーミング(Dynamic Adaptive Streaming)は、@mediaStreamStructureIdという機能を含む。この機能は、例えば、HEVCにおいて関連するRASLピクチャを有するCRAピクチャ等の復号化可能ではない先行ピクチャを有する開いたGOPランダムアクセスポイントにおける複数の異なる表現の間での切り替えを可能とする。同じビデオの2つの異なる表現が、複数の異なるビットレートを有するが、空間解像度が同じであり、それらの2つの異なる表現が、@mediaStreamStructureIdの同じ値を有するときに、RASLピクチャと関連するCRAピクチャの2つの表現の間での切り替えを実行することが可能であり、許容可能な品質で、CRAピクチャでの切り替えと関連するRASLピクチャを復号化することが可能であり、したがって、シームレスな切り替えを可能とする。ARCを使用して、@mediaStreamStructureId機能は、また、複数の異なる空間解像度を有する複数のDASH表現の間の切り替えに使用可能となるであろう。
ARCは、また、動的な解像度変換としても知られている。
ARCは、また、H.263付属書類P等の参照ピクチャ再サンプリング(Reference Picture Resampling (RPR))の特殊なケースと考えることが可能である。
1.1 H.263付属書類Pにおける参照ピクチャ再サンプリング
このモードは、予測のために使用する前に、参照ピクチャをひずませるアルゴリズムを説明している。そのアルゴリズムは、予測されるピクチャとは異なるソースフォーマットを有する参照ピクチャを再サンプリングするのに有用である場合がある。そのアルゴリズムは、また、その参照ピクチャの形状、サイズ、及び位置をひずませることによって、全体的な動き推定又は回転する動きの推定のために使用されてもよい。その構文は、再サンプリングアルゴリズムのみならず、使用されるべきひずみパラメータを含む。アップサンプリングプロセス及びダウンサンプリングプロセスに対して、FIRフィルタのみを適用する必要があるので、参照ピクチャ再サンプリングモードのための操作の最も単純なレベルは、4再サンプリングの黙示的な係数である。この場合には、(ピクチャヘッダの中に示されている)新たなピクチャのサイズが前のピクチャのサイズと異なるときに、その使用が理解されるので、いかなる追加的なシグナリングオーバーヘッドも必要とされない。
1.2 ARCによるVVCへの寄与
1.2.1. JVET-M0135
JCTVC-F158から取り出される一部を使用して以下で説明されているARCの予備的な設計は、議論のきっかけとなるにすぎない代用語であることが示唆されている。削除したテキストの前又は後には、二重の括弧が配置される。
2.2.1.1 基本となるツールの説明
ARCをサポートするための基本となるツールの制約は、以下のようになる。
-空間解像度は、双方の寸法に適用される場合に、係数0.5だけ公称の解像度と異なる場合がある。空間解像度は、増加してもよく又は減少してもよく、それにより、0.5及び2.0のスケーリング比を生じる。
-ビデオフォーマットのうちの彩度フォーマット及びアスペクト比は変化しない。
-クロッピング領域は、空間解像度に比例してスケーリングされる。
-参照ピクチャは、必要に応じて簡単に再スケーリングされ、いつものとおりに、フレーム間予測が適用される。
2.2.1.2 スケーリング操作
簡単なゼロ位相分離可能なダウンスケーリングフィルタ及びアップスケーリングフィルタを使用することが提案される。これらのフィルタは予測専用であり、デコーダは出力目的のためにより高度なスケーリングを使用してもよいということに留意すべきである。
以下の1:2のダウンスケーリングフィルタを使用し、そのダウンスケーリングフィルタは、ゼロ位相を有するとともに5つのタップを有する。
すなわち、(－1,9,16,9,－1)/32である。
ダウンサンプリング点は、偶数のサンプル位置にあり、共位置にある。同じフィルタは、輝度及び彩度のために使用される。
2:1のアップサンプリングの場合には、奇数グリッド位置における追加的なサンプルは、最新のVVC WDにおける半ピクセル動き補償内挿補間フィルタ係数を使用して生成される。
アップサンプリング及びダウンサンプリングを組み合わせても、位相又は彩度サンプリングポイントの位置は変化しない。
2.2.1.2 パラメータセットにおける解像度記述
SPSの中のピクチャ解像度のシグナリングは、以下で示されているように変更される。
"[[pic_width_in_luma_samples"は、輝度サンプルの単位での各々の復号化されているピクチャの幅を規定する。"pic_width_in_luma_samples"は、0に等しくはないものとし、そして、"MinCbSizeY"の整数倍数であるものとする。
"pic_height_in_luma_samples"は、輝度サンプルの単位での各々の復号化されているピクチャの高さを規定する。"pic_height_in_luma_samples"は、0に等しくないものとし、"MinCbSizeY.]]"の整数倍数であるものとする。
"num_pic_size_in_luma_samples_minus1"＋1は、コーディングされているビデオシーケンスの中に存在する可能性がある輝度サンプルの単位での(幅及び高さ等の)ピクチャサイズの数を規定する。
"pic_width_in_luma_samples[i]"は、コーディングされているビデオシーケンス中に存在する可能性がある輝度サンプルの単位での復号化されているピクチャのi番目の幅を規定する。"pic_width_in_luma_samples[i]"は、0に等しくはないものとし、そして、"MinCbSizeY"の整数倍数であるものとする。
"pic_height_in_luma_samples[i]"は、コーディングされているビデオシーケンスの中に存在する可能性がある輝度サンプルの単位での復号化されているピクチャのi番目の高さを規定する。"pic_height_in_luma_samples[i]"は、0に等しくはないものとし、そして、"MinCbSizeY"の整数倍数であるものとする。
"pic_size_idx"は、シーケンスパラメータセットの中のi番目のピクチャサイズへのインデックスを規定する。そのピクチャパラメータセットを参照するピクチャの幅は、輝度サンプルにおける"pic_width_in_luma_samples[pic_size_idx]"である。同様に、ピクチャパラメータセットを参照するピクチャの高さは、輝度サンプルにおける"pic_height_in_luma_samples[pic_size_idx]"である。
1.2.2. JVET-M0259
1.2.2.1. 背景: サブピクチャ
"サブピクチャトラック(sub-picture track)"の語は、全方向性のメディアフォーマット(Omnidirectional Media Format (OMAF))の中で以下のように定義されている。トラックは、1つ又は複数の他のトラックとの空間的関係を有するとともに、オリジナルのビデオコンテンツの空間的サブセットを表すトラックであり、そのオリジナルのビデオコンテンツは、コンテンツ制作側でビデオ符号化の前に、複数の空間的サブセットに分割されている。HEVCのためのサブピクチャトラックは、動きが制約されているタイルセットのためのパラメータセット及びスライスセグメントヘッダを書き換えることによって構築されてもよく、それによって、そのサブピクチャトラックは、自立型HEVCビットストリームになる。サブピクチャ表現は、サブピクチャトラックを有する(carries a sub-picture track)DASH表現として定義されてもよい。
JVET-M0261は、VVCのための空間的な区分化(spatial partitioning)の単位としてサブピクチャの語を使用し、以下のように要約される。
1. ピクチャは、サブピクチャ、タイルグループ、タイルに分割される。
2. サブピクチャは、タイルグループの矩形のセットであり、そのタイルグループの矩形のセットは、0に等しい"tile_group_address"を有するタイルグループから開始する。
3. 各々のサブピクチャは、それ自身のPPSを参照してもよく、したがって、それ自身のタイル区分化(tile partitioning)を有してもよい。
4. サブピクチャは、復号化プロセスの中でピクチャと同様に扱われる。
5. サブピクチャを復号化するための参照ピクチャは、復号化されているピクチャのバッファの中で、参照ピクチャから、現在のサブピクチャと並んで位置している領域を抽出することによって生成される。その抽出された領域は、復号化されているサブピクチャとなるものとする、すなわち、フレーム間予測(inter prediction)は、そのピクチャの中の同じサイズの且つ同じ位置の複数のサブピクチャの間で行われる。
6. タイルグループは、サブピクチャのタイルラスター走査(tile raster scan)の際のタイルのシーケンスである。
この寄稿の中では、JVET-M0261で定義されているように、サブピクチャの語を理解することが可能である。一方で、J JVET-M0261の中で定義されているサブピクチャシーケンスをカプセル化するトラックは、OMAFの中で定義されているサブピクチャトラックと極めて類似する特性を有しており、以下で与えられている複数の例は、双方の場合に適用される。
1.2.2.2. 使用状況
1.2.2.2.1. ストリーミングの際の適応解像度変更
適応ストリーミングをサポートするための要件
MPEG N17074のセクション5.13("適応ストリーミングのサポート(Support for Adaptive Streaming)")は、VVCのための以下の要件を含む。すなわち、その規格は、同じコンテンツの複数の表現を提供する適応ストリーミングサービスの場合に、高速表現切り替え(fast representation switching)をサポートするものとし、それらの複数の表現は、各々が(例えば、空間解像度又はサンプルビット深度等の)複数の異なる特性を有する。その規格は、複数の異なる空間解像度等の複数の異なる特性の複数の表現の間での高速な且つシームレスな表現の切り替え能力を損なうことなく、(例えば、いわゆる開いたピクチャグループ等の)効率的な予測構造の使用を可能とするものとする。
表現切り替えを伴う開いたGOPの予測構造の例
適応ビットレートストリーミングのためのコンテンツ生成は、複数の異なる空間解像度を有してもよい複数の異なる表現の生成を含む。クライアントは、それらの表現からのセグメントを要求し、したがって、いずれの解像度及びいずれのビットレートでコンテンツを受信するかを決定してもよい。クライアントにおいては、複数の異なる表現のセグメントを連結し、復号化し、そして、再生する。クライアントは、1つのデコーダインスタンスによってシームレスな再生を達成することができる必要がある。(IDRピクチャから開始する)閉じたGOP構造は、図1に図示されているように慣用的に使用される。図1は、複数の異なる解像度でコーディングされている同じコンテンツの2つの表現の適応ストリーミングを示す。
(CRAピクチャから開始する)開いたGOP予測構造は、それぞれの閉じたGOP予測構造よりもより良好な圧縮性能を可能とする。例えば、24個のピクチャのIRAPピクチャ間隔で、輝度Bjontegaardデルタビットレートに関して、5.6％の平均ビットレートの減少を達成している。便宜上、シミュレーションの条件及び結果は、YYの節に要約されている。
開いたGOP予測構造は、また、主観的に目に見える品質ポンピングを減少させると報告されている。
ストリーミングの際の開いたGOPの使用における課題は、表現を切り替えた後に、正しい参照ピクチャによってRASLピクチャを復号化することが不可能であるということである。それらの表現に関するこの課題は、複数の異なる解像度でコーディングされている同じコンテンツの2つの表現の適応ストリーミングを示す図2に示されている。図2において、セグメントは、閉じたGOP予測構造又は開いたGOP予測構造のいずれかを使用する。
CRAピクチャから開始するセグメントは、少なくとも1つの参照ピクチャが前のセグメントの中に存在するRASLピクチャを含む。これは、2つの表現の開いたGOP予測構造を示す図3に図示されている。図3において、双方のビットストリームの中のピクチャ0は、前のセグメントの中に存在し、RASLピクチャを予測するための基準として使用される。
図2において破線の矩形形状を使用してマークされている表現切り替えは、開いたGOP位置における表現切り替えを示す図4において以降で図示されている。RASLピクチャについての参照ピクチャ("ピクチャ0")が復号化されていないということを観測することが可能である。その結果、RASLピクチャは、復号化可能ではなく、ビデオの再生にギャップが生じるであろう。
しかしながら、第4節を参照すると、再サンプリングされた参照ピクチャを使用してRASLピクチャを復号化することは、主観的に受け入れ可能であるということが判明している。"ピクチャ0"を再サンプリングし、そして、それらのRASLピクチャを復号化するための参照ピクチャとして再サンプリングされた参照ピクチャを使用する手順を図5に図示している。図5は、他方のビットストリームから再サンプリングされている参照ピクチャを基準として使用することによるRASLピクチャの復号化プロセスを示す。
2.2.2.2.2. 領域ごとの混合解像度(RWMR)360°ビデオストリーミングにおけるビューポートの変更
背景: HEVCベースのRWMRストリーミング
RWMR360°ストリーミングは、ビューポートに対して増加させた有効空間解像度を提供する。ビューポートを覆うタイルが、図6に図示されている6K(6144×3072)のERPピクチャ又は同等のCMP解像度から生じ、"4K"の復号能力(HEVCレベル5.1)を有する場合のスキームは、OMAFのD.6.3項及びD.6.4項に含まれ、また、VR産業フォーラムのガイドラインにおいて採用されている。そのような解像度は、クワッドHD (2560×1440)ディスプレイパネルを使用するヘッドマウントディスプレイに適していると主張されている。
符号化: コンテンツは、それぞれ、1536×1536及び768×768の立方体面サイズの2つの空間解像度で符号化される。双方のビットストリームにおいて、6×4タイルグリッドを使用し、各々のタイル位置について、動きが制約されているタイルセット(motion-constrained tile set (MCTS))をコーディングする。
カプセル化:各々のMCTSシーケンスは、サブピクチャトラックとしてカプセル化され、DASHにおいてサブピクチャ表現として利用可能にされる。
ストリーム化されているMCTSの選択: 高解像度ビットストリームから12個のMCTSを選択し、低解像度ビットストリームから相補的な12個のMCTSを抽出する。このようにして、ストリーミングされているコンテンツの半球(180°×180°)は、高解像度ビットストリームから生じる。
復号化されるビットストリームへのMCTSのマージ: 単一の時間インスタンスの受信したMCTSは、1920×4608の符号化されているピクチャにマージされ、その1920×4608のコーディングされているピクチャは、HEVCレベル5.1に準拠する。マージされたピクチャについての他のオプションは、幅768の4つのタイル列、幅384の2つのタイル列、及び高さ768の輝度サンプルの3つのタイル行を有することであり、その結果、3840×2304輝度サンプルのピクチャを生じる。
図6は、MCTSベースのRWMRビューポート依存の360°ストリーミングの例を示す。図6aは、コーディングされているビットストリームの例を示し、図6bは、ストリーミングのために選択されたMCTSの例を示し、図6cは、MCTSからマージされたピクチャの例を示す。
背景: ビューポート依存の360°ストリーミングのための複数の異なるIRAP間隔のいくつかの表現
視聴方向が、HEVCベースのビューポート依存の360°ストリーミングにおいて変化するとき、サブピクチャ表現の新たな選択は、次のIRAP整列されているセグメント境界で有効になってもよい。サブピクチャ表現は、復号化のためにコーディングされているピクチャにマージされ、したがって、VCL NALユニットタイプは、すべての選択されたサブピクチャ表現の中に整列される。
視聴方向の変化に反応する応答時間と視聴方向が安定しているときのレート歪み性能との間にトレードオフを与えるために、複数の異なるIRAP間隔でコンテンツの複数のバージョンをコーディングしてもよい。このことは、図6に示されている符号化のための並置されている(collocated)サブピクチャ表現の1つのセットについて図7に図示され、"複数のサブブロックマージ候補についての個別のリスト(Separate list for sub-block merge candidates)"H. Chen, H. Yang, J. Chen, JVET-L0368, Oct. 2018の第3節で詳細に論じられている。
図7は、複数の異なるIRAP間隔及び複数の異なるサイズの並置されているサブピクチャ表現(collocated sub-picture Representations)の例を示す。
図8は、サブピクチャ位置が、最初に、より低い解像度(384×384)で受信されるように選択される例を示す。視聴方向を変化させると、より高い解像度(768×768)で受信されるサブピクチャ位置の新たな選択を生じさせる。図8の例では、視聴方向が変化するときに受信する複数のセグメントは、セグメント4の先頭に位置している。この例では、視聴方向は変化し、それによって、セグメント4は、短いIRAP間隔のサブピクチャ表現から受信される。その後、視聴方向は、安定しているので、長いIRAP間隔のバージョンをセグメント5以降から使用することが可能である。
すべてのサブピクチャ位置の更新の欠点
視聴方向は、典型的な視聴状況の場合には徐々に移動するので、解像度は、RWMRビューポート依存のストリーミングにおけるサブピクチャ位置のサブセットのみの中で変化する。図9は、図6から右側の立方体面(right cube face)に向かって且つわずかに上方に向かっての視聴方向の変化を図示している。上記のように異なる解像度を有する立方体面区分を"C"で表示する。24個の立方体面区分のうちの6個の立方体面区分で解像度が変化したということを観測することが可能である。しかしながら、上記で説明されているように、IRAPピクチャから開始するセグメントは、視聴方向が変化することに応答して、24個の立方体面区分のすべてについて受信される必要がある。IRAPピクチャから開始するセグメントで、すべてのサブピクチャ位置を更新することは、ストリーミングレート歪みパフォーマンスの点で非効率的である。
加えて、RWMR 360°ストリーミングのサブピクチャ表現を有する開いたGOP予測構造を使用する能力は、レート歪みパフォーマンスを改善するとともに、閉じたGOP予測構造が引き起こす可視的なピクチャ品質ポンピングを回避するのに望ましい。
提案される設計例
以下の設計目標が提案される
1. VVC設計は、VVCに適合する同じコーディングされているピクチャへと、ランダムアクセスピクチャから生じるサブピクチャ及び非ランダムアクセスピクチャから生じる他のサブピクチャをマージすることを可能とする必要がある。
2. VVC設計は、単一のVVCビットストリームへの複数のサブピクチャ表現のマージを可能としつつ、複数の異なる空間解像度等の複数の異なる特性の複数のサブピクチャ表現の間の高速な且つシームレスな表現切り替え能力を損なうことなく、サブピクチャ表現における開いたGOP予測構造の使用を可能とする必要がある。
設計目標の例は、図10を使用して図示されてもよく、図10においては、2つのサブピクチャ位置についてのサブピクチャ表現が示される。双方のサブピクチャの場所について、コンテンツの個別のバージョンは、2つの解像度と2つのランダムアクセス間隔の各々の組み合わせについてコーディングされる。複数のセグメントのうちのいくつかは、開いたGOP予測構造から開始する。視聴方向が変化すると、セグメント4の先頭においてサブピクチャ位置1の解像度の切り替えが生じる。セグメント4は、RASLピクチャと関連するCRAピクチャから開始するため、セグメント3の中に存在するRASLピクチャのそれらの参照ピクチャを再サンプリングする必要がある。この再サンプリングは、サブピクチャ位置1に適用されるが、いくつかの他のサブピクチャ位置の復号化されているサブピクチャは、再サンプリングされないということが注記される。この例においては、視聴方向の変更は、サブピクチャ位置2の解像度の変化を引き起こさず、したがって、サブピクチャ位置2の復号化されているサブピクチャは、再サンプリングされない。セグメント4の最初のピクチャにおいては、サブピクチャ位置1のセグメントは、CRAピクチャから生じるサブピクチャを含み、一方で、サブピクチャ位置2のセグメントは、非ランダムアクセスピクチャから生じるサブピクチャを含む。これらのサブピクチャのコーディングされているピクチャへのマージは、VVCによって可能となるということが示唆される。
2.2.2.2.3. テレビ会議における適応解像度変更
JCTVC-F158は、主として、ビデオ会議のための適応解像度変更を提案している。以下のサブセクションは、JCTVC-F158からコピーされ、適応解像度変化が有用であると主張される使用状況を示す。
シームレスなネットワーク適応及びエラー耐性
パケットネットワークを介してのビデオ会議及びストリーミング等のアプリケーションは、特に、ビットレートが高すぎてデータが失われているときに、頻繁に、符号化されているストリームが変化するネットワーク条件に適応するということを必要とする。そのようなアプリケーションは、典型的には、戻りチャネルを有し、その戻りチャネルは、エンコーダが、エラーを検出し、そして、調整を実行することを可能とする。エンコーダは、時間的又は空間的のいずれかのビットレートの減少及び解像度の変更の2つの主要なツールを自由に使用することが可能である。時間的な解像度変更は、階層的な予測構造を使用するコーディングによって効果的に達成されてもよい。一方で、最良の品質のためには、ビデオ通信のための適切に設計されたエンコーダの一部と同様に、空間的な解像度変更が必要である。
AVCにおいて空間解像度を変化させるには、IDRフレームが送信され、ストリームがリセットされる必要がある。この空間解像度の変化は、重大な問題を引き起こす。妥当な品質のIDRフレームは、フレーム間符号化されているピクチャよりもはるかに大きく、それに対応して復号化がより複雑になり、より複雑な復号化は、時間及びリソースを必要とする。このことは、解像度の変更がロードの理由によりデコーダによって要求される場合に問題となる。また、その解像度の変更は、低遅延バッファ条件を破壊し、オーディオの再同期を強制し、そして、そのストリームのエンドトゥエンド遅延は、少なくとも一時的に増加するであろう。このことは、劣悪なユーザ体験をもたらす。
これらの問題を最小化するために、IDRは、典型的に、Pフレームに対して同様の数のビットを使用して、低品質で送られ、そして、与えられた解像度のために完全な品質に戻すのにかなりの時間を要する。遅延を十分に小さくするために、品質は、極めて低くなる場合があり、画像が"再焦点される(refocused)"前に、可視的なぼやけを生じることがよくある。事実上、フレーム間符号化されているフレームは、圧縮条件ではほとんど役に立たない、すなわち、ストリームを再起動する方法であるにすぎない。
したがって、主観的経験に対する影響を最小にしつつ、特に、困難なネットワーク条件の場合に、解像度を変化させることを可能にするHEVCにおける方法が必要とされている。
高速な開始
遅延を減少させるとともに、最初に許容できない画像のぼやけを生じることなく、より迅速に通常の品質に到達するために、最初のフレームが減少させられている解像度で送信され、次の数フレームにわたって解像度が増加される"高速な開始(fast start)"モードを有することは、有用となるであろう。
会議の"構成(compose)"
ビデオ会議は、また、話者がフルスクリーンで表示され、他の参加者がより小さな解像度のウィンドウで表示される特徴を有していることがよくある。この特徴を効率的にサポートするために、多くの場合に、より小さなピクチャがより低い解像度で送信される。その次に、その参加者が話者になり、フルスクリーンで表示されるときに、この解像度は、高くなる。この時点でフレーム内符号化フレームを送信すると、ビデオストリームに不快なしゃっくりを生じさせる。話者が急速に交替する場合に、この効果は、極めて顕著であり、不快である場合がある。
2.2.2.3. 提案される設計目標
以下の記載は、VVCバージョン1のために提案されている高レベル設計の選択肢である。
1. 以下の使用状況のために、VVCバージョン1に参照ピクチャ再サンプリングプロセスを含めることを提案する。
-複数の異なる空間解像度等の複数の異なる特性の複数の表現の間の高速な且つシームレスな表現切り替え能力を損なうことのない、適応ストリーミングにおける(例えば、いわゆる開いたピクチャグループ等の)効率的な予測構造の使用。
-遅延の少ない会話型ビデオコンテンツのネットワーク条件への適応、及び、著しい遅延又は遅延の変化を伴うことなくアプリケーションに起因する解像度を変化させること。
2. VVC設計は、VVCに適合する同じコーディングされているピクチャへとランダムアクセスピクチャから生じるサブピクチャ及び非ランダムアクセスピクチャから生じる他のサブピクチャをマージすることを可能とするように提案される。このVVC設計は、混合品質及び混合解像度ビューポート適応的な360°ストリーミングにおける視聴方向変化の効率的な取り扱いを可能とすると主張される。
3. VVCバージョン1にサブピクチャごとの再サンプリングプロセスを含めることを提案する。この再サンプリングプロセスは、混合解像度ビューポート適応的な360°ストリーミングにおける視聴方向の変化のより効率的な取り扱いのための効率的な予測構造を可能とすると主張される。
2.2.3. JVET-N0048
適応解像度変更(ARC)のための使用状況及び設計目標は、JVET-M0259によって詳細に論じられている。以下の記載は、要約を提供する。
1. リアルタイム通信
JCTVC-F158は、もともと、適応解像度変更の以下の使用状況を想定している。
a. (動的な適応解像度変更による)シームレスなネットワーク適応及びエラー耐性
b. (セッション開始時又はセッションリセット時の解像度の漸増である)高速な開始
c. (より高い解像度を話者に与える)会議の"構成(compose)"
2. 適応ストリーミング
MPEG N17074の5.13節("適応ストリーミングのサポート")は、VVCのための以下の要件を含んでいる。すなわち、その規格は、同じコンテンツの複数の表現を提供する適応ストリーミングサービスの場合に、高速表現切り替え(fast representation switching)をサポートするものとし、それらの複数の表現は、各々が(例えば、空間解像度又はサンプルビット深度等の)複数の異なる特性を有する。その規格は、複数の異なる空間解像度等の複数の異なる特性の複数の表現の間での高速な且つシームレスな表現の切り替え能力を損なうことなく、(例えば、いわゆる開いたピクチャグループ等の)効率的な予測構造の使用を可能とするものとする。
JVET-M0259は、先行するピクチャの参照ピクチャを再サンプリングすることによって、この要件を満たす方法を説明している。
3. 360度のビューポート依存のストリーミング
JVET-M0259は、先行するピクチャの参照ピクチャの特定の独立してコーディングされているピクチャ領域を再サンプリングすることによって、この利用状況に対処する方法を説明している。
この寄稿は、上記の全ての使用状況及び設計目標を満足と主張される適応解像度コーディングアプローチを提案する。360度のビューポート依存のストリーミング及び会議"構成"は、(独立したサブピクチャ層を提案する)JVET-N0045と共にこの提案によって取り扱われる。
提案されている仕様テキスト
削除したテキストの前及び後には、二重のブラケットが配置される。
シグナリング
"sps_max_rpr"は、 CVSにおけるいずれかのタイルグループについての参照ピクチャリスト0又は1のアクティブ参照ピクチャの最大数を規定し、そのCVSは、それぞれ、現在のピクチャの"pic_width_in_luma_samples"及び"pic_height_in_luma_samples"に等しくない"pic_width_in_luma_samples"及び"pic_height_in_luma_samples"を有する。
"max_width_in_luma_samples"は、このSPS がアクティブであるCVS のいずれかのピクチャについてのいずれかのアクティブPPSの中の"pic_width_in_luma_samples"が、"max_width_in_luma_samples"以下であるということがビットストリーム適合の要件であるということを規定する。
"max_height_in_luma_samples"は、このSPSがアクティブであるCVSのいずれかのピクチャについてのいずれかのアクティブPPSの中の"pic_height_in_luma_samples"が、"max_height_in_luma_samples"以下であることがビットストリーム適合の要件であるということを規定する。
高レベル復号化プロセス
復号化処理は、現在のピクチャCurrPicに対して次のように動作する。
1. NALユニットの復号化は、8.2節の中で規定される。
2. 8.3節のプロセスは、タイルグループヘッダ層の中の及び上の構文要素を使用して、以下の復号化プロセスを規定する。
-ピクチャ順序計数(picture order count)に関連する変数及び関数は、8.3.1節の中で規定されているように導出される。これは、ピクチャの最初のタイルグループに対してのみ呼び出される必要がある。
-非IDRピクチャの各々のタイルグループに対する復号化プロセスの開始時に、8.3.2節の中で規定されている参照ピクチャリスト構成についての復号化プロセスは、参照ピクチャリスト0(RefPicList[0])及び参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。
-8.3.3節の参照ピクチャマーキングのための復号化プロセスが呼び出され、参照ピクチャは、"参照のために使用されない(unused for reference)"又は"長期的な参照のために使用される(used for long-term reference)"とマークされてもよい。これは、ピクチャの最初のタイルグループに対してのみ呼び出される必要がある。
-CurrPicのそれぞれ"pic_width_in_luma_samples"又は"pic_height_in_luma_samples"に等しくない"pic_width_in_luma_samples"又は"pic_height_in_luma_samples"を有するRefPicList[0]及びRefPicList[1]の中のアクティブ参照ピクチャの各々について、以下が適用される。
-X.Y.Z節の再サンプリングプロセスは、入力と同じ参照ピクチャマーキング及びピクチャ順序計数を有する出力を使用して呼び出される。
-再サンプリングプロセスへの入力として使用される参照ピクチャは、"参照のために使用されない(unused for reference)"とマークされている。
さらに、コーディングツリーユニット、スケーリング、変換、ループ内フィルタリング等のための復号化プロセスの呼び出しを説明することが可能である。
現在のピクチャのタイルグループのすべてを復号化した後に、現在の復号化されているピクチャは、"短期的な参照のために使用される(used for short-term reference)"とマークされる。
再サンプリングプロセス
SHVC再サンプリングプロセス(HEVC節H.8.1.4.2)は、以下の追加を伴って提案される。
…
"sps_ref_wraparound_enabled_flag"が0に等しい場合に、サンプル値tempArray[n](n＝0,…,7)は、以下のように導出される。
それ以外の場合には、サンプル値tempArray[n](
n＝0,…,7)は、以下のように導出される。
n＝0,…,7)は、以下のように導出される。
"sps_ref_wraparound_enabled_flag"が0に等しい場合に、サンプル値tempArray[n](n＝0,…,3)は、以下のように導出される。
それ以外の場合には、サンプル値tempArray[n]( n＝0,…,3)は、以下のように導出される。
2.2.4. JVET-N0052
適応解像度変更は、ビデオ圧縮規格の概念として、少なくとも1996年以来、特に参照ピクチャの再サンプリング(RPR, Annex P)及び減少解像度更新(Annex Q)に向けたH.263＋関連の提案である。最近では、JCT-VC時代にCiscoが提案したものから、(今日では中程度に広く展開されている)VP9の文脈で、さらに最近ではVVCの文脈で、一定の注目を集めている。ARCは、ある与えられているピクチャについてコーディングされる必要のあるサンプルの数を減らし、望ましい場合には、結果として得られる参照ピクチャをより高い解像度まで増幅することを可能にする。
特に関心のあるARCは、2つのシナリオで検討される。
(1) IDRピクチャ等のフレーム内符号化されているピクチャは、フレーム間符号化されているピクチャよりもかなり大きいことがよくある。理由にかかわらず、フレーム内符号化を意図したダウンサンプリングピクチャは、将来的な予測のためのより良い入力を提供することができる。また、少なくとも遅延の少ないアプリケーションでは、速度制御の観点からも明らかに有利である。
(2) 少なくとも一部のケーブル及び衛星オペレータが日常的に行っているように、ブレーキングポイント付近でコーデックを動作させるときに、ARCは、硬いトランジションポイントを伴わないシーン遷移等の非フレーム内符号化されているピクチャに対してさえも便利になる場合がある。
(3) おそらく過度に前にあるビットを見ることは、一般的に正当化することが可能である固定解像度の概念であろうか？ CRTの離脱とレンダリングデバイスにおけるスケーリングエンジンの普及に伴い、レンダリングとコーディング解像度の間のハードバインドは過去のものである。また、ビデオシーケンスの中で多くの活動が行われているときに、たとえその活動が空間的に他の場所で行われている場合であっても、ほとんどの人々が、(おそらくは、高解像度と関連する)細部に集中できないことを示唆する利用可能な研究があるということに留意すべきである。もしそれが正しく、一般的に受け入れられている場合には、細かい粒度解像度の変化は、適応QPよりもより良好なレート制御メカニズムである場合がある。この点については、ここで説明することにする。固定解像度ビットストリームの概念を取り除くことは、無数のシステム層と実装の意味を持ち、(少なくとも、それらの詳細な性質ではないにしても、それらの存在レベルでは)よく知られている。
技術的には、ARCは、参照ピクチャの再サンプリングとして実装されてもよい。参照ピクチャ再サンプリングの実装は、再サンプリングフィルタ及びビットストリームの中での再サンプリング情報のシグナリングの2つの主要な側面を有する。この文書は、後者に焦点を当て、実装経験が存在する程度に前者に言及する。適切なフィルタ設計のさらなる研究が奨励され、テンセントは、提供されたストローマン設計を実質的に改善するこの点に関して慎重に検討し、適切な場合には、あらゆる提案を支持する。
テンセントのARC実装の概要
図11及び図12は、テンセントのARCエンコーダ及びデコーダの実装をそれぞれ示す。開示されている技術の実装は、ピクチャの種類に関係なく、ピクチャの粒度毎に、ピクチャの幅及び高さを変化させることを可能にする。エンコーダでは、入力されたピクチャデータは、現在のピクチャの符号化のために選択されたピクチャサイズまでダウンサンプリングされる。最初の入力ピクチャが、フレーム内符号化ピクチャとして符号化された後に、復号化されているピクチャは、復号化されているピクチャのバッファの中に格納される。結果として生じるピクチャが、異なるサンプリング比でダウンサンプリングされ、フレーム間符号化されているピクチャとして符号化されるときに、DPBの中の参照ピクチャは、その参照のピクチャサイズと現在のピクチャサイズとの間の空間比にしたがってアップスケーリング/ダウンスケーリングされる。デコーダにおいては、復号化されているピクチャは、再サンプリングすることなくDPBの中に格納される。一方で、DPBの中の参照ピクチャは、動き補正のために使用されるときに、現在復号化されているピクチャと参照ピクチャとの間の空間比に比例して上/下にスケーリングされる。復号化されているピクチャは、表示のためにバンプアウトされるときに、オリジナルのピクチャサイズ又は望ましい出力ピクチャサイズまでアップサンプリングされる。動き推定/補償プロセスにおいては、動きベクトルは、ピクチャサイズ比及びピクチャ順序計数差に関連してスケーリングされる。
ARCパラメータのシグナリング
"ARCパラメータ"の語は、本明細書では、ARCを機能させるために必要ないずれかのパラメータの組み合わせとして使用される。最も簡単な場合は、ズーム係数、又は定義されたズーム係数を有するテーブルへのインデックスであってもよい。これは、JVET-M0135で提案されたように、(例えば、サンプル又は最大CUサイズの粒度における)ターゲット解像度、又は、ターゲット解像度を提供するテーブルへのインデックスであってもよい。また、使用中のアップサンプリングフィルタ/ダウンサンプリングフィルタのフィルタセレクタ又は(フィルタ係数に至るまでの)フィルタパラメータも含まれる。
最初から、本明細書で提案する実装は、少なくとも概念的に、ピクチャの複数の異なる部分に対して複数の異なるARCパラメータを可能にすることである。現在のVVCドラフトにしたがった適切な構文構造は、矩形タイルグループ(TG)であろうということが提案されている。スキャンオーダーTGを使用するものは、ARCのみを使用するように制限されるか、又はスキャンオーダーTGが矩形TGに含まれる程度に制限される。これは簡単にビットストリーム制約によって規定することが可能である。
複数の異なるTGは、複数の異なるARCパラメータを有する場合があるため、ARCパラメータの適切な位置は、TGヘッダの中に、又は、TGの範囲に関するパラメータセット、すなわち、現在のVVCドラフトの適応パラメータセットの中に存在し、TGヘッダによって参照される、或いは、より詳細な参照(インデックス)を、より高いパラメータセットのテーブルに入れる。これら3つの選択肢のうち、この時点で、TGヘッダを使ってARCパラメータを含むテーブルエントリへの参照をコーディングすることが提案されており、そのテーブルはSPSの中に置かれ、最大テーブル値は(来るべき)DPSにコーディングされる。ズーム係数は、パラメータ設定値を使用せずに、直接的にTGヘッダにコーディングされてもよい。JVET-M0135で提案されているように、参照のためのPPSの使用は、ARCパラメータのタイルグループごとのシグナリングが設計基準である場合には、対比的に示される。
テーブルエントリ自体については、以下オプションが利用可能である。
-ダウンサンプリング係数をコーディングする際に、双方の次元について係数をコーディングするか、又は、X次元及びY次元で独立にコーディングするか。これはほとんど(HW-)実装の議論であり、X次元のズーム係数がかなり柔軟であるが、Y次元が1に固定されているか、ほとんど選択肢がない場合の結果を好むものもあるであろう。構文がそのような制約を表現するための間違った場所であるということが示唆され、それらが望ましい場合には、適合のための要件として表現される制約が好ましい。言い換えると、構文の柔軟性を保つ。
-ターゲット解像度のコーディングは、以下の通りである。おそらく、ビットストリーム適合性要件で表現される、現在の解像度と関連するこれらの解像度についての多少複雑な制約が存在する場合がある。
-ピクチャ合成/ピクチャ抽出を可能にするために、タイルグループ毎のダウンサンプリングが好ましい。一方で、シグナリングの観点からは重要ではない。そのグループがピクチャの粒度でのみARCを許容するという賢明でない決定をしている場合には、すべてのTGが同じARCパラメータを使うというビットストリーム適合性の要件を含めてもよい。
-ARCに関する制御情報であり、以下の設計においては、その制御情報は、参照ピクチャサイズを含む。
-フィルタ設計においては柔軟性が必要か? 少数のコードポイントより大きいものはないか? 少数のコードポイントより大きいものがある場合に、APSにそれらを入力するか? いくつかの実装においては、ダウンサンプルフィルタが変化し、且つ、ALFがそのままである場合に、ビットストリームは、オーバーヘッドを食う必要があるということが提案されている。
現時点で、提案された技術を(可能な限り)整合させ、単純に保つために、以下が提案される。
-固定のフィルタ設計
-ビットストリーム制約TBDを有するSPSの中のテーブルのターゲット解像度。
-キャップ交換/交渉を容易にするためのDPSにおける最小ターゲット解像度/最大ターゲット解像度。
結果として生じる構文は、以下のようになる。
"max_pic_width_in_luma_samples"は、ビットストリームの中の輝度サンプルの単位で、復号化されているピクチャの最大幅を規定する。"max_pic_width_in_luma_samples"は0に等しくはなく、且つ、"MinCbSizeY"の整数倍数であるものとする。"dec_pic_width_in_luma_samples[i]"の値は、"max_pic_width_in_luma_samples"の値より大きくすることはできない。
"max_pic_height_in_luma_samples"は、輝度サンプルの単位で、復号化されているピクチャの最大高さを規定する。"max_pic_height_in_luma_samples"は、0に等しくはなく、且つ、"MinCbSizeY"の整数倍数であるものとする。"dec_pic_height_in_luma_samples[i]"の値は、"max_pic_height_in_luma_samples"の値より大きくすることはできません。
1に等しい"adaptive_pic_resolution_change_flag"は、出力ピクチャサイズ("output_pic_width_in_luma_samples", "output_pic_height_in_luma_samples")、復号化されているピクチャサイズの数の指標("num_dec_pic_size_in_luma_samples_minus1")、及び少なくとも1つの復号化されているピクチャサイズ("dec_pic_width_in_luma_samples[i]", "dec_pic_height_in_luma_samples[i]")が、SPSの中に存在するということを規定する。参照ピクチャサイズ("reference_pic_width_in_luma_samples", "reference_pic_height_in_luma_samples")は、"reference_pic_size_present_flag"の値を条件として提示される。
"output_pic_width_in_luma_samples"は、輝度サンプルの単位で出力ピクチャの幅を規定する。"output_pic_width_in_luma_samples"は、0に等しくないものとする。
"output_pic_height_in_luma_samples"は、輝度サンプル単位で出力ピクチャの高さを規定する。"output_pic_height_in_luma_samples"は、0に等しくないものとする。
1に等しい"reference_pic_size_present_flag"は、"reference_pic_width_in_luma_samples"及び"reference_pic_height_in_luma_samples"が存在するということを規定する。
"reference_pic_width_in_luma_samples"は、輝度サンプルの単位で参照ピクチャの幅を規定する。"output_pic_width_in_luma_samples"は、0に等しくはないものとする。存在しない場合には、"reference_pic_width_in_luma_samples"の値は、"dec_pic_width_in_luma_samples[i]"に等しいと推定される。
"reference_pic_height_in_luma_samples"は、輝度サンプルの単位で参照ピクチャの高さを規定する。"output_pic_width_in_luma_samples"は、0に等しくはないものとする。存在しない場合には、"reference_pic_width_in_luma_samples"の値は、"dec_pic_width_in_luma_samples[i]"に等しいと推定される。
注1 -出力ピクチャのサイズは、"output_pic_width_in_luma_samples"及び"output_pic_height_in_luma_samples"の値に等しいものとする。参照ピクチャのサイズは、動き補償のためにその参照ピクチャを使用するときに、"reference_pic_width_in_luma_samples"及び"_pic_height_in_luma_samples"の値と等しい。
"num_dec_pic_size_in_luma_samples_minus1"＋1は、コーディングされているビデオシーケンスの中の輝度サンプルの単位で、復号化されているピクチャサイズ("dec_pic_width_in_luma_samples[i]", "dec_pic_height_in_luma_samples[i]")の番号を規定する。
"dec_pic_width_in_luma_samples[i]"は、コーディングされているビデオシーケンスの輝度サンプルの単位で、復号化されているピクチャサイズのi番目の幅を規定する。"dec_pic_width_in_luma_samples[i]"は、0に等しくはなく、そしてMinCbSizeYの整数倍数である。
"dec_pic_height_in_luma_samples[i]"は、コーディングされているビデオシーケンスの輝度サンプルの単位で、復号化されているピクチャサイズのi番目の高さを規定する。"dec_pic_height_in_luma_samples[i]"は、0に等しくはないものとし、そして、"MinCbSizeY"の整数倍数であるものとする。
注2 -i番目の復号化されているピクチャサイズ("dec_pic_width_in_luma_samples[i]", "dec_pic_height_in_luma_samples[i]")は、コーディングされているビデオシーケンスの中の復号化されているピクチャの復号化されているピクチャサイズに等しくてもよい。
"dec_pic_size_idx"は、復号化されているピクチャの幅が"pic_width_in_luma_samples[dec_pic_size_idx]"に等しいものとし、且つ、復号化されているピクチャの高さが"pic_height _in_luma_samples[dec_pic_size_idx]"に等しいものとするということを規定する。
フィルタ
提案されている設計は、概念的に、オリジナルのピクチャから入力ピクチャへのダウンサンプリングフィルタ、動き推定/動き補償のための参照ピクチャを再スケーリングするアップサンプリングフィルタ/ダウンサンプリングフィルタ、及び復号化されているピクチャから出力ピクチャへのアップサンプリングフィルタ、の4つの異なるフィルタセットを含む。最初のもの及び最後のものは、非標準事項として残されてもよい。規格の範囲において、アップサンプリングフィルタ/ダウンサンプリングフィルタは、適切なパラメータセットで明示的にシグナリングによって構成される必要があるか、又は、あらかじめ定義されている必要がある。
発明者らの実装は、ダウンサンプリングのために、12タップで2Dの分離可能フィルタであるSHVC(SHM ver. 12.4)のダウンサンプリングフィルタを使用して、動き補償に使用される参照ピクチャのサイズを変更する。現在の実装においては、ダイアディックサンプリング(dyadic sampling)のみがサポートされる。したがって、ダウンサンプリングフィルタの位相は、デフォルトで0に設定される。アップサンプリングの場合には、16相の8タップ内挿補間フィルタを使用して、位相をシフトし、オリジナルの位置に対して輝度ピクセル位置及び彩度ピクセル位置を整列させる。
表9及び表10は、輝度アップサンプリングプロセスに使用される8タップのフィルタ係数fL[p,x](p＝0,…,15、及び、x＝0,…,7)と、彩度アップサンプリングプロセスに使用される4タップのフィルタ係数fC[p,x](p＝0,…,15、及び、x＝0,…,3)を示している。
表11は、ダウンサンプリングプロセスのための12タップフィルタ係数を示す。ダウンサンプリングのために輝度及び彩度の双方に同じフィルタ係数を使用する。
コンテンツ及び/又はスケーリング係数に適応するフィルタを使用するときに、(おそらく)主観的な且つ客観的な利益を期待することが可能であると予想される。
タイルグループ境界に関する説明
おそらく、タイルグループに関連した多くの研究で真実であるので、タイルグループ(TG)ベースのARCに関して、発明者らの実装は完全ではなかった。発明者らの嗜好は、圧縮領域における複数のサブピクチャの空間的構成及び抽出の説明が、少なくとも、作業原案を生じさせている場合に、その実装を再考することである。他方で、このことは、結果をある程度外挿し、それに応じて我々のシグナリング設計を適応させることを妨げるものではない。
今のところ、タイルグループヘッダは、すでに述べた理由により、上記で提案されている"dec_pic_size_idx"等のタイルグループヘッダ構文の正しい場所である。単一のue(v)コードポイント"dec_pic_size_idx"は、タイルグループヘッダの中に条件付きで存在し、採用されるARCパラメータを示すのに使用される。ピクチャごとにのみARCである実装を一致させるために、スペック空間(spec-space)においては、単一のタイルグループのみをコーディングするか、又は、与えられたコーディングされているピクチャのTGヘッダのすべてが、(存在するときに)"dec_pic_size_idx"の同じ値を有するということをビットストリームコンプライアンスの条件とする必要がある。
サブピクチャを開始するどのようなヘッダにもパラメータ"dec_pic_size_idx"を移動することが可能である。そのヘッダは、タイルグループヘッダであり続けることが可能である。
これらの構文的考察以外に、タイルグループ又はサブピクチャベースのARCを可能にするために、いくつかの追加的な研究が必要である。おそらく最も困難な部分は、サブピクチャがより小さいサイズに再サンプリングされているピクチャの中で、不要なサンプルの問題にどのように対処するかということである。
図13は、ARCのためのタイルグループベースの再サンプリングの例を示す。右の図を考慮すると、その右の図は、(おそらく、ビットストリーム構文の中で4つの矩形のタイルグループとして表現されている)4つのサブピクチャから構成されている。左に向かって、右下のTGは、半分のサイズにサブサンプリングされる。"半分"とマークされている関連区域の外側のサンプルを使用して何をするかを説明する必要がある。
多くの(大部分の? すべての?)以前のビデオコーディング規格は、圧縮された領域の中のピクチャの一部の空間的抽出をサポートしていなかったという共通点を有する。これは、ピクチャの各々のサンプルが1つ又は複数の構文要素によって表現され、各々の構文要素が少なくとも1つのサンプルに影響を与えることを意味する。これを維持するためには、"半分"と標識を付けられているダウンサンプリングされているTGが覆うサンプルの周囲の区域に何らかの方法で入力する必要がある場合がある。H.263＋の付属書類Pは、パディングによってこの問題を解決しており、実際には、(特定の厳格な制限の下で)ビットストリームの中で、パディングされたサンプルのサンプル値をシグナリングにより送ってもよい。
おそらくはこれまでの仮定から大きく離れることになるであろうが、ピクチャの矩形部分に基づくサブビットストリームの抽出(及び構成)をサポートするために、いずれかの場合に必要とされる代替案は、復元されたピクチャの各々のサンプルが、(たとえそれがスキップされたブロックだけであっても)コーディングされているピクチャの中の何かによって表現される必要があるという現在の理解を緩めることであろう。
実装上の考慮事項、システムへの影響及びプロファイル/レベル
"ベースライン/メイン"プロファイルに含まれるべき基本的なARCが提案されている。特定の適用シナリオで必要でない場合には、サブプロファイルを使用してそれらを削除することが可能である。複数の特定の制限が受け入れ可能である場合がある。この点で、特定のH.263＋プロファイル及び(前に設定されているプロファイルである)"推奨モード"は、"4の黙示的な係数"としてのみ使用される附属書Pについての制限、すなわち、双方の次元におけるダイアディックダウンサンプリングを含んでいるということに留意すべきである。これで、テレビ会議のスタートが早くなる(Iフレームを素早く乗り越える)のには十分であった。
その設計は、"オンザフライ(on the fly)"で、フィルタリングのすべてを実行することが可能であり、メモリ帯域幅の増加がないか、又は無視できる程度である。そうであれば、ARCをエキゾチックなプロファイルに移す必要はないように思われる。
複雑な表等は、マラケシュでJVET-M0135との関連で議論されているため、機能交換で意味のある方法で使用されない場合がある。オプションの数は、単純に多すぎて、オファーと回答及び同様の限定された深さのハンドシェイクを想定して、ベンダーの間の意味のある相互運用を可能にすることは不可能である。これまでのところ、現実的には、機能交換シナリオで有意義な方法でARCをサポートするには、ほとんどの相互運用ポイントで、少数のポイントにフォールバックする必要がある。例えば、ARCなし、4の黙示的な係数を使用するARC、完全なARC等である。代替案として、ARCのすべてに必要なサポートを指定し、そして、ビットストリームの複雑さの制限をより高いレベルのSDOに任せることが可能である。これは、(サブプロファイリング及びフラグのコンテキストですでに説明されていることを超えて)とにかくある時点において行われるべき戦略的な議論である。
複数のレベルに関しては、基本的な設計原理は、ビットストリーム適合の条件として、ビットストリームの中でどのくらい多くのアップサンプリングをシグナリングによって送っているかにかかわらず、アップサンプリングされているピクチャのサンプル計数が、ビットストリームのレベルに適合する必要があり、且つ、すべてのサンプルが、アップサンプリングされコーディングされているピクチャに適合する必要があるということである必要がある。これは、H263＋では当てはまらず、特定のサンプルが存在しない可能性があるということに留意すべきである。
2.2.5. JVET-N0118
以下の複数の態様が提案されている。
1. ピクチャ解像度のリストは、SPSの中でシグナリングによって送られ、リストへのインデックスは、PPSの中でシグナリングによって送られて、個々のピクチャのサイズを規定する。
2. 出力されるべきいずれかのピクチャについては、再サンプリングの前の復号化されているピクチャは、(必要に応じて)トリミングされて(cropped)、出力される、すなわち、再サンプリングされているピクチャは、出力用ではなく、フレーム間予測の参照のためにのみのピクチャである。
3. 1.5倍及び2倍の再サンプリング比をサポートする。任意の再サンプリング比をサポートしない。さらに、1つ又は2つより多くの他の再サンプリング比の必要性を検討する。
4. ピクチャレベルの再サンプリング及びブロックレベルの再サンプリングのうちでは、提唱者らは、ブロックレベルの再サンプリングを好む。
a. これに対して、ピクチャレベルの再サンプリングを選択する場合には、以下の態様が提案される。
i. 参照ピクチャを再サンプリングするときに、参照ピクチャの再サンプリングされているバージョン及びオリジナルの再サンプリングされているバージョンの双方は、DPBの中に格納され、したがって、双方とも、DPBのフルネスに影響を与えるであろう。
ii. 対応する再サンプリングされていない参照ピクチャが"参照のために使用されない"とマークされているときには、再サンプリングされている参照ピクチャは、"参照のために使用されない"とマークされる。
iii. RPLシグナリング構文は、変更されずに維持されるが、一方で、RPL構築プロセスは、以下のように変更される。RPLエントリに参照ピクチャを含める必要があり、現在のピクチャと同じ解像度を有する参照ピクチャのバージョンが、DPBの中に存在しないときに、ピクチャ再サンプリングプロセスを起動し、そして、RPLエントリにその参照ピクチャの再サンプリングされているバージョンを含める。
iv. DPBの中に存在することができる再サンプリングされている参照ピクチャの数は、例えば、2以下に制限される必要がある。
b. 他の場合(ブロックレベルの再サンプリングを選択する場合)には、以下が示唆される。
i. 最悪の状況のデコーダの複雑性を制限するために、現在のピクチャとは異なる解像度を有する参照ピクチャからのブロックの双方向予測を許可しないことを提案している。
ii. 他の選択肢は、再サンプリング及び1/4ピクセル補間を行う必要があるときに、2つのフィルタを組み合わせ、操作を同時に適用することである。
5. ピクチャベースの再サンプリングアプローチ及びブロックベースの再サンプリングアプローチのうちのいずれを選択するかにかかわらず、時間的動きベクトルスケーリングが必要に応じて適用されることが提案される。
2.2.5.1. 実装
ARCソフトウェアは、以下の変更を伴って、VTM-4.0.1に加えて実装される。
-サポートされている解像度のリストは、SPS でシグナリングによって送られる。
-SPSからPPSへと空間解像度シグナリングを移動させる。
-参照ピクチャを再サンプリングするために、ピクチャベースの再サンプリングスキームを実装している。ピクチャを復号化した後に、再構成されているピクチャは、異なる空間解像度に再サンプリングされてもよい。オリジナルの再構成されているピクチャ及び再サンプリングされ再構成されているピクチャは、双方とも、DPBの中に格納され、復号化順に将来的なピクチャによる参照のために利用可能となる。
-実装されている再サンプリングフィルタは、以下のように、JCTVC-H0234でテストされているフィルタに基づいている。
--アップサンプリングフィルタ: タップ(－4,54,16,－2)/64を有する4タップ＋/－1/4相DCTIF
--ダウンサンプリングフィルタ: タップ(1,0,－3,0,10,16,10,0,－3,0,1)/32を有するh11フィルタ
-現在のピクチャ(すなわち、L0及びL1)の参照ピクチャリストを構築するときに、現在のピクチャと同じ解像度を有する参照ピクチャのみを使用する。それらの参照ピクチャは、オリジナルのサイズ又は再サンプリングされているサイズの双方において利用可能であるということに留意すべきである。
-TMVP及びATVMPを有効化することが可能であるが、現在のピクチャ及び参照ピクチャのオリジナルのコーディング解像度が異なっているときに、その参照ピクチャについて、TMVP及びATMVPを無効化する。
-開始点のソフトウェアによる実装を便利且つ簡単にするために、ピクチャを出力するとき、デコーダは、利用可能な最も高い解像度を出力する。
ピクチャサイズ及びピクチャ出力のシグナリングについて
1. ビットストリームの中のコーディングされているピクチャの空間解像度のリストについて
現時点では、CVSの中のコーディングされているピクチャのすべては、同じ解像度を有する。したがって、SPSにおいては、ただ1つの解像度(すなわち、ピクチャの幅及び高さ)をシグナリングにより送ることは容易である。ARCのサポートに関しては、1つの解像度ではなく、ピクチャ解像度のリストをシグナリングにより送る必要がある。このリストは、SPSの中でシグナリングによって送られ、リストへのインデックスは、PPSの中でシグナリングによって送られて、個々のピクチャのサイズを規定することが提案されている。
2. ピクチャ出力について
出力されるべきいずれかのピクチャについては、再サンプリング前の復号化されているピクチャは、(必要に応じて)トリミングされ(cropped)、そして、出力される、すなわち、再サンプリングされているピクチャは、出力用のピクチャではなく、フレーム間予測参照のためのみのピクチャであるということが提案される。ARC再サンプリングフィルタは、フレーム間予測のための再サンプリングされているピクチャの使用を最適化するように設計される必要があり、そのようなフィルタは、ピクチャの出力目的/表示目的に最適ではない場合があり、一方で、ビデオ端末デバイスは、通常、既に実装されている出力ズーム機能/スケーリング機能を最適化している。
2.2.5.3. 再サンプリングについて
復号化されているピクチャの再サンプリングは、ピクチャベースの再サンプリング又はブロックベースの再サンプリングのうちのいずれかであってもよい。VVCにおける最終的なARC設計の場合には、ブロックベースの再サンプリングは、ピクチャベースの再サンプリングよりも好ましい。これらの2つのアプローチを議論し、JVETは、VVCにおけるARCサポートのために、これらの2つのアプローチのうちのいずれを規定するべきであるかを決定するということが推奨される。
ピクチャベースの再サンプリング
ARCのためのピクチャベースの再サンプリングの場合には、ある特定の解像度のために1回のみピクチャを再サンプリングし、その特定の解像度は、DPBの中に格納され、同時に、同じピクチャの再サンプリングされていないバージョンは、また、DPBの中に格納される。
ARCのためのピクチャベースの再サンプリングを採用することは、(1) 再サンプリングされている参照ピクチャを格納するために追加的なDPBバッファを必要とすること、及び、(2) DPBから参照ピクチャデータを読み込み、そして、参照ピクチャデータをDPBに書き込む操作が増加することに起因して、追加的なメモリ帯域幅を必要とすること、の2つの問題を伴う。
DPBにおいて参照ピクチャの1つのバージョンのみを保持することは、ピクチャベースの再サンプリングのための良い考えにはならないであろう。再サンプリングされていないバージョンのみが保存されている場合には、複数のピクチャが同じ参照ピクチャを参照する場合があるため、ある1つの参照ピクチャを複数回にわたって再サンプリングする必要がある場合がある。一方で、参照ピクチャが再サンプリングされ、そして、再サンプリングされているバージョンのみが保持される場合には、上記で説明されているように、再サンプリングされていないピクチャを出力したほうがよいため、参照ピクチャを出力する必要があるときに、逆再サンプリングを適用する必要がある。このことは、再サンプリングプロセスが可逆演算ではないという理由により問題となる。ピクチャAをとり、そして、そのピクチャAをダウンサンプリングし、その次に、ピクチャAをアップサンプリングして、 Aと同じ解像度を有するピクチャA'を取得し、ピクチャA及びピクチャA'は、同じにはならず、ピクチャA'は、ダウンサンプリングプロセス及びアップサンプリングプロセスの際に、いくつかの高周波数情報を失ってしまっているので、ピクチャA'は、ピクチャAよりも少ない情報を含むであろう。
追加的なDPBバッファ及びメモリ帯域幅の問題に対処するために、VVCの場合のARC設計がピクチャベースの再サンプリングを使用する場合に、以下が適用されるということが提案される。
1. 参照ピクチャを再サンプリングするときに、その参照ピクチャの再サンプリングされているバージョン及びオリジナルの再サンプリングされているバージョンの双方が、DPBの中に格納され、したがって、双方ともDPBのフルネスに影響を与えるであろう。
2. 対応する再サンプリングされていない参照ピクチャが"参照のために使用されない(unused for reference)"とマークされているときには、再サンプリングされている参照ピクチャは、"参照のために使用されない(unused for reference)"とマークされる。
3. 各々のタイルグループの参照ピクチャリスト(RPL)は、現在のピクチャと同じ解像度を有する参照ピクチャを含む。RPLシグナリング構文を変化させる必要はないが、RPL構築プロセスは、以下のように、前の文で述べられていることを確実にするために修正される。すなわち、現在のピクチャと同じ解像度を有するその参照ピクチャのバージョンが、まだ、利用可能ではないが、その参照ピクチャをRPLエントリに含める必要があるときに、ピクチャ再サンプリングプロセスを呼び出し、そして、その参照ピクチャの再サンプリングされているバージョンを含める。
4. DPBの中に存在することが可能である再サンプリングされている参照ピクチャの数は、例えば、2以下となるように制限される必要がある。
さらに、時間的MVが現在のフレームとは異なる解像度を有して参照フレームから生じる場合の(例えば、マージモード及びATMVP等の)時間的MVの使用を可能にするために、必要に応じて、時間的MVを現在の解像度にスケーリングすることを提案する。
ブロックベースのARC再サンプリング
ARCのためのブロックベースの再サンプリングの場合には、参照ブロックは、必要に応じて再サンプリングされ、再サンプリングされているピクチャは、DPBの中には格納されない。
ここでの主な問題は、追加的なデコーダの複雑さである。この複雑さは、参照ピクチャの中のブロックが、他のピクチャの中の複数のブロックによって及び複数のピクチャの中の複数のブロックによって複数回にわたって参照される場合があることによる。
参照ピクチャの中のブロックが、現在のピクチャの中のブロックによって参照され、且つ、参照ピクチャ及び現在のピクチャの解像度が、異なっているときに、その参照ブロックは、内挿補間フィルタの呼び出しによって再サンプリングされ、それによって、その参照ブロックは、整数ピクセル解像度を有する。動きベクトルが1/4ピクセルの中に存在するときに、再度、内挿補間プロセスが呼び出されて、1/4ピクセル解像度の再サンプリングされている参照ブロックを取得する。したがって、複数の異なる解像度を含む参照ブロックからの現在のブロックについての各々の動き補償操作について、1つの内挿補間フィルタリング操作ではなく、最大で2つの内挿補間フィルタリング操作を必要とする。ARCサポートを伴わない場合には、最大で1つの内挿補間フィルタリング操作(すなわち、1/4ピクセル解像度での参照ブロックの生成)のみを必要とする。
最悪の状況の複雑さを制限するために、VVCの場合のARC設計が、ブロックベースの再サンプリングを使用する場合に、以下が適用されるということが提案される。
-現在のピクチャとは異なる解像度を有する参照ピクチャからのブロックの双方向予測は、許可されない。
-より正確に言うと、制約は、以下のようになる。すなわち、現在のピクチャpicAの中の現在のブロックblkAが、参照ピクチャpicBの中の参照ブロックblkBを参照する場合に、picA及びpicBが複数の異なる解像度を有するときは、ブロックblkAは、単方向予測ブロックとなるものとする。
この制約により、ブロックを復号化するために必要となる補間操作の最悪の状況での数は、2つに制限される。ブロックが異なる解像度のピクチャからのブロックを参照する場合に、必要となる補間操作の数は、上記で説明されているように2となる。補間操作の数は、また、2つである(すなわち、各々の参照ブロックのための1/4ピクセル解像度の取得について1つとなる)ため、この制約は、同じ解像度のピクチャからの参照ブロックを参照し、双方向予測ブロックとしてコーディングされる場合と同じである。
実装を単純化するために、VVCのARC設計がブロックベースの再サンプリングを使用する場合に、以下のような他の変形が提案される。
-参照フレーム及び現在のフレームが複数の異なる解像度を有する場合に、予測値の各々のピクセルの対応する位置が最初に計算され、その次に、内挿補間は、1回のみ適用される。すなわち、2つの内挿補間操作(すなわち、再サンプリングのために1つ及び1/4ピクセル補間のために1つ)は、組み合わせられて、1つのみの内挿補間操作となる。現在のVVCにおけるサブピクセル内挿補間フィルタは、再利用可能であるが、この場合には、内挿補間の粒度は、拡大される必要があるが、補間操作回数は、2から1に減少させられる。
-(例えば、マージモード及びATMVP等の)時間的MVの利用を可能にするために、時間的MVが現在のフレームとは異なる解像度で参照フレームから生じる場合に、必要に応じて時間的MVを現在の解像度にスケーリングすることを提案する。
再サンプリング比
JVET-M0135では、ARCの議論を開始するために、ARCの開始点について、2×(アップサンプリングの場合は2×2、ダウンサンプリングの場合は1/2×1/2を意味する)の再サンプリング比のみを考慮することが提案されている。マラケシュ会議後のこの話題に関するさらなる議論から、2倍の再標本化比率のみを支持することは非常に限られていることが発見されている。なぜなら、場合によっては、再サンプリングされている解像度と再サンプリングされていない解像度との差が小さいほど有益であるからである。
任意の再サンプリング比サポートすることが望ましいかもしれないが、それは困難であるように思われる。これは、任意の再サンプリング比をサポートするために、定義され実装されなければならない再サンプリングフィルタの数が多すぎると思われ、デコーダ実装に大きな負担を課すことになるからである。
1つ又は複数の少数の再サンプリング比がサポートされる必要があるが、少なくとも1.5倍及び2倍の再サンプリング比、及び任意の再サンプリング比はサポートされないことが提案される。
2.2.5.4. 最大DPBバッファサイズ及びバッファフルネス
ARCでは、DPBは、同じCVSの中に複数の異なる空間解像度の復号化されているピクチャを含んでもよい。DPB管理及び関連する態様の場合には、復号化されているピクチャの単位でDPBサイズ及びフルネスをカウントすることは、もはや機能しない。
以下は、ARCがサポートされている場合に対処する必要がある複数の特定の側面及び最終的なVVC規格で可能な解決方法についての議論である。
1. MaxDpbSize(すなわち、DPBの中に存在する可能性のある参照ピクチャの最大数)を導出するために、PicSizeInSamplesY(すなわち、PicSizeInSamplesY＝pic_width_in_luma_samples＊pic_height_in_luma_samples)の値を使用するのではなく、MaxDpbSize の導出は、MinPicSizeInSamplesYの値に基づいて行われる。MinPicSizeInSampleYは、以下のように定義される。
2. 各々の復号化されているピクチャは、PictureSizeUnitと呼ばれる値と関連している。PictureSizeUnitは、復号化されているピクチャサイズがMinPicSizeInSampleYに対してどのくらい大きいかを規定する整数値である。PictureSizeUnitの定義は、VVCのARCでサポートされている再サンプリング比に依存する。
例えば、ARCが再サンプリング比2のみをサポートする場合に、PictureSizeUnitは、以下のように定義される。
-ビットストリームの最小解像度を有する復号化されているピクチャは、1のPictureSizeUnitと関連している。
-ビットストリームの最小解像度の2×2の解像度を有する復号化されているピクチャは、4の(すなわち、1×4の)PictureSizeUnitと関連している。
他の例では、ARCが再サンプリング比1.5及び2の双方をサポートする場合に、PictureSizeUnitは、以下のように定義される。
-ビットストリームの最小解像度を有する復号化されているピクチャは、4のPictureSizeUnitと関連している。
-ビットストリームの最小解像度の1.5×1.5である解像度を有する復号化されているピクチャは、9の(すなわち、2.25×4の)PictureSizeUnitと関連している。
-ビットストリームの最小解像度の2×2である解像度を有する復号化されているピクチャは、16の(すなわち、4×4の)PictureSizeUnitと関連している。
ARCがサポートするその他の再サンプリングの比率については、上記の例と同じ原則を使用して、各々のピクチャサイズについてPictureSizeUnitの値を決定する必要がある。
3. 変数MinPictureSizeUnitをPictureSizeUnitの可能な最小値とする。すなわち、ARCが、2の再サンプリング比のみをサポートする場合には、MinPictureSizeUnitは、1であり、ARCが、1.5及び2の再サンプリング比をサポートする場合には、MinPictureSizeUnitは4であり、同様に、同じ原理を使用して、MinPictureSizeUnitの値を決定する。
4. sps_max_dec_pic_buffering_minus1[i]の値の範囲は、0～(MinPictureSizeUnit＊(MaxDpbSize－1))の範囲に規定される。変数MinPictureSizeUnitは、PictureSizeUnitの最小の可能な値である。
5. DPBフルネス操作は、以下のように、PictureSizeUnitに基づいて規定される。
-HRDは、復号化ユニット0において初期化され、CPB及びDPBの双方は、空に設定される(DPBフルネスは、0に設定される)。
-DPBがフラッシュされる(すなわち、ピクチャのすべてがDPBから削除される)ときに、DPBのフルネスは、0に設定される。
-ピクチャがDPBから削除されるときに、DPBのフルネスは、削除されたピクチャと関連するPictureSizeUnitの値だけ減少させられる。
-ピクチャがDPBに挿入されるときに、DPBのフルネスは、挿入されたピクチャと関連するPictureSizeUnitの値だけ増加させられる。
2.2.5.5. 再サンプリングフィルタ
ソフトウェアの実装の場合には、実装される再サンプリングフィルタは、JCTVC-H0234で説明されている以前に利用可能なフィルタから簡単に取得された。
他の再サンプリングフィルタが、より良好な性能を提供するか及び/又はより低い複雑さを示す場合には、それらの他の再サンプリングフィルタは、テストして使用する必要がある。
複雑さとパフォーマンスの間のトレードオフを打つために、テストされるさまざまな再サンプリングフィルタが提案されている。CEにおいて、そのようなテストを実行してもよい。
他の再サンプリングフィルタが、より良好な性能を提供するか及び/又はより低い複雑さを示す場合には、それらの他の再サンプリングフィルタは、テストして使用する必要がある。
複雑さとパフォーマンスの間のトレードオフを打つために、テストされるさまざまな再サンプリングフィルタが提案されている。CEにおいて、そのようなテストを実行してもよい。
2.2.5.6. 既存のツールに対するその他の必要な修正
ARCをサポートするために、いくつかの修正及び/又は追加的な操作が、複数の既存のコーディングツールのうちのいくつかに必要となる場合がある。例えば、ARCソフトウェア実装ピクチャベースの再サンプリングでは、簡単のために、現在のピクチャ及び参照ピクチャのオリジナルのコーディング解像度が異なっているときに、TMVP及びATMVPは無効化される。
2.2.6. JVET-N0279
"将来的なビデオコーディング規格の要件"によれば、"同じコンテンツの複数の表現を提供する適応ストリーミングサービスの場合には、その規格は、高速の表現切り替えをサポートするものとし、それらの複数の表現の各々は、(空間解像度又はサンプルビット深度等の)複数の異なる特性を有する"。リアルタイムビデオ通信の場合には、Iピクチャを挿入することなく、コーディングされているビデオシーケンスの中で解像度の変化を可能とすることにより、シームレスに動的チャネル条件又はユーザの嗜好にそのビデオデータを適合させることが可能であるのみならず、Iピクチャが引き起こすうなり効果(beating effect)を除去することが可能である。適応解像度変更の仮想的な例は、図14に示されており、現在のピクチャは、複数の異なるサイズの参照ピクチャから予測される。
この寄稿は、VTMにおける現在の動き補償されている予測プロセスに対する修正のみならず、適応解像度変更をシグナリングにより送るための高レベル構文を提案する。これらの修正は、既存の動き補償内挿補間器に一切の変更を加えずに、動きベクトルスケーリング及びサブピクセル位置導出に限定される。これは、既存の動き補償内挿補間器が再利用されることを可能とし、追加コストをもたらすであろう適応解像度変更をサポートするために新たな処理ブロックを必要としない。
2.2.6.1. 適応解像度変更シグナリング
削除したテキストの前及び後には、二重のブラケットが配置される。
[["pic_width_in_luma_samples"は、輝度サンプルの単位で、各々の復号化されているピクチャの幅を規定する。"pic_width_in_luma_samples"は0に等しくないものとし、MinCbSizeYの整数倍数であるものとする。
"pic_height_in_luma_samples"は、輝度サンプルの単位で各々の復号化されているピクチャの高さを規定する。"pic_height_in_luma_samples"は、0に等しくはないものとし、MinCbSizeYの整数倍数であるものとする。]]
"max_pic_width_in_luma_samples"は、輝度サンプルの単位でSPSを参照する復号化されているピクチャの最大幅を規定する。"max_pic_width_in_luma_samples"は、0に等しくないものとし、MinCbSizeYの整数倍数であるものとする。
"max_pic_height_in_luma_samples"は、輝度サンプルの単位で、SPSを参照する復号化されているピクチャの最大高さを規定する。"max_pic_height_in_luma_samples"は、0に等しくないものとし、MinCbSizeYの整数倍数であるものとする。
1に等しい"pic_size_different_from_max_flag"は、PPSが、参照されたSPSの"max_pic_width_in_luma_samples"及び"max_pic_height_in_luma_sample"とは異なるピクチャ幅又はピクチャ高さをシグナリングにより送るということを規定する。0に等しい"pic_size_different_from_max_flag"は、
"pic_width_in_luma_samples"及び"pic_height_in_luma_sample"が、参照されたSPSの"max_pic_width_in_luma_samples"及び"max_pic_height_in_luma_sample"と同じであるということを規定する。
"pic_width_in_luma_samples"及び"pic_height_in_luma_sample"が、参照されたSPSの"max_pic_width_in_luma_samples"及び"max_pic_height_in_luma_sample"と同じであるということを規定する。
"pic_width_in_luma_samples"は、輝度サンプルの単位で各々の復号化されているピクチャの幅を規定する。"pic_width_in_luma_samples"は、0に等しくはないものとし、MinCbSizeYの整数倍数であるものとする。"pic_width_in_luma_samples"が存在しないときは、"max_pic_width_in_luma_samples"と等しいと推定される。
"pic_height_in_luma_samples"は、輝度サンプルの単位で、各々の復号化されているピクチャの高さを規定する。"pic_height_in_luma_samples"は、0に等しくはないものとし、MinCbSizeYの整数倍数であるものとする。"pic_height_in_luma_samples"が存在しないときには、"max_pic_height_in_luma_samples"に等しいと推定される。
水平方向のスケーリング比及び垂直方向のスケーリング比は、あらゆるアクティブ参照ピクチャについて、1/8乃至2の範囲の中にあるということがビットストリーム適合の要件である。スケーリング比は、以下のように定義される。
horizontal_scaling_ratio＝((reference_pic_width_in_luma_samples＜＜14)＋(pic_width_in_luma_samples/2))/
pic_width_in_luma_samplesである。
pic_width_in_luma_samplesである。
vertical_scaling_ratio＝((reference_pic_height_in_luma_samples＜＜14)＋(pic_height_in_luma_samples/2))/
pic_height_in_luma_samplesである。
pic_height_in_luma_samplesである。
参照ピクチャスケーリングプロセス
CVSの中で解像度を変化させるときに、ピクチャは、そのピクチャの複数の参照ピクチャのうちの1つ又は複数のサイズとは異なるサイズを有する場合がある。この提案は、それらの参照ピクチャの対応する参照ピクチャグリッドにではなく、現在のピクチャグリッドに、動きベクトルのすべてを正規化する。この正規化は、設計の一貫性を維持し、動きベクトル予測プロセスに対して解像度変更を透明にするために有益であると主張される。それ以外の場合には、異なるスケールのために、空間的動きベクトル予測を行うのに複数の異なるサイズを有する複数の参照ピクチャを指し示す隣接する動きベクトルを直接的には使用することが不可能である。
解像度の変更が生じるときに、動き補償予測を行う間に、動きベクトル及び参照ブロックの双方をスケーリングする必要がある。スケーリング範囲は、[1/8,2]に限定されており、アップスケーリングは、1:8に限定され、ダウンスケーリングは、2:1に限定されている。アップスケーリングは、参照ピクチャが現在のピクチャより小さい場合を指し、ダウンスケーリングは、参照ピクチャが現在のピクチャより大きい場合を指すということに留意すべきである。以下のセクションでは、スケーリングプロセスについてより詳細に説明する。
輝度ブロック
スケーリング係数及びそれらの固定小数点表現は、以下のように定義される。
スケーリングプロセスは、2つの部分を含む。
1. 現在のブロックの左上隅のピクセルを参照ピクチャにマッピングする。
2. 水平方向のステップサイズ及び垂直方向のステップサイズを使用して、現在のブロックの他のピクセルの参照位置をアドレス指定する。
現在のブロックの左上隅のピクセルの座標が(x,y)である場合に、1/16ピクセルの単位で、動きベクトル(mvX,mvY)が指し示す参照ピクチャの中のサブピクセル位置(x^',y^')は、以下のように規定される。
参照ピクチャの水平方向位置は、
x'＝((x＜＜4)＋mvX)・hori_scale_fp [式3]
となり、x' は、さらに、
x'＝Sign(x')・((Abs(x')＋(1＜＜7)＞＞8) [式4]
にしたがって、縮小されて、10 個の少数ビットのみを保持する。
x'＝((x＜＜4)＋mvX)・hori_scale_fp [式3]
となり、x' は、さらに、
x'＝Sign(x')・((Abs(x')＋(1＜＜7)＞＞8) [式4]
にしたがって、縮小されて、10 個の少数ビットのみを保持する。
同様に、参照ピクチャの垂直方向位置は、
y'＝((y＜＜4)＋mvY)・vert_scale_fp [式5]
となり、y'は、さらに、
y'＝Sign(y')・((Abs(y')＋(1＜＜7)＞＞8) [式6]
にしたがって、縮小される。
y'＝((y＜＜4)＋mvY)・vert_scale_fp [式5]
となり、y'は、さらに、
y'＝Sign(y')・((Abs(y')＋(1＜＜7)＞＞8) [式6]
にしたがって、縮小される。
この時点で、現在のブロックの左上隅のピクセルの参照位置は、(x^',y^')に存在する。他の参照サブピクセル位置/参照ピクセル位置は、水平方向ステップサイズ及び垂直方向ステップサイズを使用して(x^',y^')に対して計算される。これらのステップサイズは、以下のように、上記の水平方向スケーリング係数及び垂直方向スケーリング係数から1/1024ピクセル精度で導出される。
x_step＝(hori_scale_fp＋8)＞＞4 [式7]
y_step＝(vert_scale_fp＋8)＞＞4 [式8]
x_step＝(hori_scale_fp＋8)＞＞4 [式7]
y_step＝(vert_scale_fp＋8)＞＞4 [式8]
ある1つの例として、現在のブロックの中のあるピクセルが、左上隅のピクセルからi列及びj行だけ離れている場合に、その対応する参照ピクセルの水平方向の座標及び垂直方向の座標は、以下の式によって導出される。
x'i＝x'＋i＊x_step [式9]
y'j＝y'＋j＊y_step [式10]
x'i＝x'＋i＊x_step [式9]
y'j＝y'＋j＊y_step [式10]
サブピクセル内挿補間の場合には、x'i及びy'jをフルピクセル部分(full-pel part)及び小数ピクセル部分(fractional-pel part)に分割する必要がある。
参照ブロックをアドレス指定するためのフルピクセル部分は、
(x'i＋32)＞＞10 [式11]
(y'j＋32)＞＞10 [式12]
に等しい。
(x'i＋32)＞＞10 [式11]
(y'j＋32)＞＞10 [式12]
に等しい。
-内挿補間フィルタを選択するのに使用される小数ピクセル部分は、以下のようになる。
Δx＝((x'i＋32)＞＞6)&15 [式13]
Δy＝((y'j＋32) ＞＞6)&15 [式14]
Δx＝((x'i＋32)＞＞6)&15 [式13]
Δy＝((y'j＋32) ＞＞6)&15 [式14]
参照ピクチャの中のフルピクセル位置(full-pel location)及び小数ピクセル位置(fractional-pel location)が決定されると、いかなる追加的な変更も行うことなく、既存の動き補償内挿補間器を使用することが可能である。フルピクセル位置は、参照ピクチャから参照ブロック区画を取得するのに使用され、小数ピクセル位置は、適切な内挿補間フィルタを選択するのに使用される。
彩度ブロック
彩度フォーマットが4:2:0であるときに、彩度動きベクトルは、1/32ピクセル精度を有する。彩度動きベクトル及び彩度参照ブロックのスケーリングプロセスは、彩度フォーマット関連の調整を除いて、輝度ブロックの場合とほぼ同じである。
現在の彩度ブロックの左上隅のピクセルの座標が(xc,yc)であるときに、参照彩度ピクチャの中の初期の水平方向位置及び垂直方向位置は、
xc'＝((xc＜＜5)＋mvX)・hori_scale_fp [式15]
yc'＝((yc＜＜5)＋mvY)・vert_scale_fp [式16]
となり、mvX及びmvYは、オリジナルの輝度動きベクトルであるが、ここでは、1/32ピクセル精度で検査する必要がある。
xc'＝((xc＜＜5)＋mvX)・hori_scale_fp [式15]
yc'＝((yc＜＜5)＋mvY)・vert_scale_fp [式16]
となり、mvX及びmvYは、オリジナルの輝度動きベクトルであるが、ここでは、1/32ピクセル精度で検査する必要がある。
xc'及びyc'は、
xc'＝Sign(xc')・(Abs(xc')＋(1＜＜8)＞＞9) [式17]
yc'＝Sign(yc')・(Abs(yc')＋(1＜＜8)＞＞9) [式18]
にしたがって、さらに縮小されて、1/1024ピクセル精度を維持する。
xc'＝Sign(xc')・(Abs(xc')＋(1＜＜8)＞＞9) [式17]
yc'＝Sign(yc')・(Abs(yc')＋(1＜＜8)＞＞9) [式18]
にしたがって、さらに縮小されて、1/1024ピクセル精度を維持する。
関連する輝度方程式と比較して、上記の右シフトは、1ビットだけ余分に増加させられる。
使用されているステップサイズは、輝度の場合と同じである。左上隅のピクセルを基準として(i,j)にある彩度ピクセルについて、その参照ピクセルの水平座標及び垂直座標は、
xc'i＝xc'＋i＊x_step [式19]
yc'j＝yc'＋j＊y_step [式20]
によって導出される。
xc'i＝xc'＋i＊x_step [式19]
yc'j＝yc'＋j＊y_step [式20]
によって導出される。
サブピクセル内挿補間の場合には、また、x'i及びy'jをフルピクセル部分(full-pel part)及び小数ピクセル部分(fractional-pel part)に分割する。
参照ブロックをアドレス指定するためのフルピクセル部分は、
(xc'i＋16)＞＞10 [式21]
(yc'j＋16)＞＞10 [式22]
に等しい。
(xc'i＋16)＞＞10 [式21]
(yc'j＋16)＞＞10 [式22]
に等しい。
内挿補間フィルタを選択するのに使用される小数ピクセル部分は、
Δx＝((xc'i＋16)＞＞5)&31 [式23]
Δy＝((yc'j＋16)＞＞5)&31 [式24]
に等しい。
Δx＝((xc'i＋16)＞＞5)&31 [式23]
Δy＝((yc'j＋16)＞＞5)&31 [式24]
に等しい。
他のコーディングツールとの対話
いくつかのコーディングツールと参照ピクチャのスケーリングとの間の相互作用と関連する必要以上の複雑さ及びメモリ帯域幅のために、VVC規格に以下の制約を追加することが推奨される。
"tile_group_temporal_mvp_enabled_flag"が1に等しいときに、現在のピクチャ及びその並置されているピクチャは、同じサイズ有している必要がある。
解像度の変化がある1つのシーケンスの中で許可されるときに、デコーダの動きベクトル精緻化はオフにされる必要がある。
解像度の変化がある1つのシーケンスの中で許可されるときに、"sps_bdof_enabled_flag"は、0に等しい必要がある。
2.3. JVET-N0415におけるコーディングツリーブロック(CTB)ベースの適応ループフィルタ(ALF)
スライスレベルの時間フィルタ
VTM4では適応パラメータセット(APS)を採用した。各々のAPSは、1つのセットのシグナリングによって送られるALFフィルタを含み、最大で32個のAPSがサポートされる。提案においては、スライスレベルの時間的なフィルタを試験した。タイルグループは、APSからのALF情報を再利用して、オーバーヘッドを減少させることが可能である。APSは、先入れ先出し(first-in-first-out (FIFO))バッファとして更新される。
コーディングツリーブロック(CTB)ベースの適応ループフィルタ(ALF)
輝度成分について、輝度CTBにALFを適用するときに、16個の固定フィルタセット、5個の時間フィルタセット、又は、シグナリングによって送られる1つのフィルタセットのうちのいずれを選択するかが示される。そのフィルタセットインデックスのみがシグナリングによって送られる。1つのスライスについて、25個のフィルタの1つの新たなセットのみをシグナリングによって送ってもよい。新たなセットがあるスライスについてシグナリングによって送られる場合に、同じスライスの中の輝度CTBのすべてがそのセットを共有する。固定のフィルタセットは、新たなスライスレベルフィルタセットを予測するのに使用されてもよく、さらに、輝度CTBのための候補フィルタセットとして使用されてもよい。フィルタの数は、合計で64個である。
彩度成分について、彩度CTBにALFを適用するときに、あるスライスについて新たなフィルタをシグナリングによって送る場合は、そのCTBについてその新たなフィルタを使用し、それ以外の場合には、時間的なスケーラビリティの制約を満たす最新の時間的な彩度フィルタが適用される。
スライスレベルの時間フィルタとして、APSは、先入れ先出し(first-in-first-out (FIFO))バッファとして更新される。
2.4 代替的な時間的動きベクトル予測(また、知られているように、VVCにおけるサブブロックベース時間的なマージ候補)
代替的な時間的動きベクトル予測(alternative temporal motion vector prediction (ATMVP))法においては、現在のCUより小さいブロックから(動きベクトル及び参照インデックスを含む)複数のセットの動き情報を取り出すことによって、動きベクトル時間的動きベクトル予測(TMVP)を修正する。図14に示されているように、サブCUは、正方形のN×Nブロックである(Nは、デフォルトで8に設定されている)。
ATMVPは、2つのステップに分けてあるCUの中のサブCUの動きベクトルを予測する。最初のステップは、いわゆる時間ベクトルを使用して参照ピクチャの中の対応するブロックを識別することである。この参照ピクチャは、動きソースピクチャと呼ばれる。第2のステップは、現在のCUを複数のサブCUへと分割し、あるCUについてのATMVP動き予測のある1つの例を示す図15に示されているように、各々のサブCUに対応するブロックから、各々のサブCUの動作ベクトル及び参照インデックスを取得することである。
最初のステップでは、参照ピクチャ及び対応するブロックは、現在のCUの空間的な隣接ブロックの動き情報によって決定される。隣接ブロックの走査処理が繰り返すことを避けるために、現在のCUのマージ候補リストの中のブロックA0(左のブロック)からのマージ候補を使用する。同じ位置に位置している参照ピクチャを参照するブロックA0からの最初の利用可能な動きベクトルは、時間ベクトルとなるように設定される。このように、ATMVPでは、TMVPと比較して、対応するブロックをより正確に識別することが可能であり、その対応するブロックは、常に、現在のCUに対して右下又は中央に位置する(同じ位置に位置しているブロックと呼ばれることもある)。
第2のステップでは、現在のCUの座標に時間ベクトルを加えることによって、動きソースピクチャの中の時間ベクトルにより、サブCUの対応するブロックを識別する。各々のサブCUについて、対応するブロックの動き情報(中心サンプルを覆う最も小さな動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を識別した後に、HEVCのTMVPと同様の方法によって、その動き情報は、現在のサブCUの動きベクトル及び参照インデックスに変換され、動きスケーリング及びその他の手順が適用される。
2.5. アフィン動き予測
HEVCでは、並進運動動きモデル(translation motion model)のみを動き補償予測(motion compensation prediction (MCP))に適用する。現実の世界では、ズームイン/ズームアウト、回転、斜視移動、その他の不規則な動き等の多くの種類の動きが存在する。VVCでは、4パラメータアフィンモデル及び6パラメータアフィンモデルに簡略化したアフィン変換動き補償予測を適用する。図16a及び16bは、それぞれ、単純化されている4パラメータアフィン動きモデル及び単純化されている6パラメータアフィン動きモデルを示す。図16a及び16bに示されているように、そのブロックのアフィン動きフィールドは、4パラメータアフィンモデルについては2つの制御点動きベクトル(CPMV)によって記述され、6パラメータアフィンモデルについては3つのCPMVによって記述される。
あるブロックの動きベクトルフィールド(motion vector field (MVF))は、式(1)の中の4パラメータアフィンモデル(4パラメータは、変数a、b、e、及びfとして定義される)及び式(2)の中の6パラメータアフィンモデル(6パラメータは、変数a、b、c、d、e、及びfとして定義される)を使用して、以下の式によって記述される。
上記の式で、(mvh0,mvh0)は、左上隅の制御点の動きベクトルであり、(mvh1,mvh1)は、右上隅の制御点の動きベクトルであり、(mvh1,mvh1)は、左下隅の制御点の動きベクトルであり、3つの動きベクトルのすべては、制御点動きベクトル(CPMV)と呼ばれ、(x,y)は、現在のブロックの中の左上のサンプルに対する代表点の座標を表し、(mvh(x,y),mvv(x,y))は、(x,y)に位置するサンプルについて導出される動きベクトルである。CP動きベクトルは、(アフィンAMVPモードの場合のように)シグナリングによって送られてもよく、(アフィンマージモードの場合のように)オンザフライ(on-the-fly)で導出される。w及びhは、現在のブロックの幅及び高さである。実際には、除算は、丸め演算を使用する右シフトによって実装される。VTMでは、代表点は、サブブロックの中心位置であると定義され、例えば、現在のブロックの中の左上のサンプルに対するサブブロックの左上隅の座標が、(xs,ys)であるときに、代表点の座標は、(xs＋2,ys＋2)であると定義される。各々のサブブロック(すなわち、VTMの中の4×4)について、代表点が、サブブロック全体の動きベクトルを導出するのに利用される。
動き補償予測をさらに単純化するために、サブブロックベースのアフィン変換予測を適用する。各々のM×Nサブブロック(現在のVVCの場合には、M及びNの双方は、4に設定される)の動きベクトルを導出するために、各々のサブブロックの中心サンプルの動きベクトルは、図17に示されているように、式25及び式26にしたがって計算され、そして、1/16の小数精度に丸められる。その次に、1/16ピクセルのための動き補償フィルタを適用して、導出された動きベクトルを有する各々のサブブロックの予測を生成する。1/16ピクセルのための内挿補間フィルタをアフィンモードで導入する。
MCPの後に、各々のサブブロックの高精度動きベクトルは、丸め処理を実行され、そして、通常の動きベクトルと同じ精度で格納される。
2.5.1. アフィン予測のシグナリング
並進運動動きモデルと同様に、また、アフィン予測に起因する付随的な情報をシグナリングにより送るための2つのモードが存在する。それらの2つのモードは、"AFFINE_INTER"モード及び"AFFINE_MERGE"モードである。
2.5.2. AF_INTERモード
幅及び高さの双方が8より大きいCUについて、AF_INTERモードを適用してもよい。CUレベルのアフィンフラグは、ビットストリームの中でシグナリングによって送られて、AF_INTERモードを使用するか否かを示す。
このモードでは、(List0又はList1等の)各々の参照ピクチャリストについて、以下の順序で、3つのタイプのアフィン動き予測値を使用して、アフィンAMVP候補リストを構築し、各々の候補は、現在のブロックの推定されたCPMVを含む。エンコーダ側で発見される図18a及び18bにおけるmv0,mv1,mv2等の最良のCPMVと推定されたCPMVとの間の差異は、シグナリングによって送られる。加えて、推定されたCPMVを導出するアフィンAMVP候補のインデックスは、さらに、シグナリングによって送られる。
(1) 遺伝性アフィン動き予測値 (Inherited affine motion predictors)
検査順序は、HEVC AMVPリスト構成における空間MVPの検査順序と同様である。最初に、左の遺伝性アフィン動き予測値は、{A1,A0}の中の最初のブロックから導出され、その{A1,A0}は、アフィンコーディングされている(affine coded)とともに、現在のブロックの参照ピクチャと同じ参照ピクチャを有する。次に、上記の遺伝性アフィン動き予測値は、{B1,B0,B2}の中の最初のブロックから導出され、その{B1,B0,B2}は、アフィンコーディングされているとともに、現在のブロックの参照ピクチャと同じ参照ピクチャを有する。5つのブロックA1,A0,B1,B0,B2が図19に示されている。
隣接ブロックがアフィンモードでコーディングされていることが分かると、その隣接ブロックを覆うコーディングユニットのCPMVは、現在のブロックのCPMVの予測値を導出するのに使用される。例えば、A1が非アフィンモードでコーディングされ、且つ、A0が4パラメータアフィンモードでコーディングされる場合に、左の遺伝性アフィンMV予測値(left inherited affine MV predictor)は、A0から導出されるであろう。この場合には、図18bの中の左上のCPMVのための
及び右上のCPMVのための
によって示されているように、A0を覆うCUのCPMVは、現在のブロックの(座標(x0,y0)を有する)左上の位置、(座標(x1,y1)を有する)右上の位置及び(座標(x2,y2)を有する)右下の位置のための
によって示されている現在のブロックの推定されたCPMVを導出するのに利用される。
(2) 構築されたアフィン動き予測値
構築されたアフィン動き予測値は、図20に示されているように、制御点動きベクトル(control-point motion vectors (CPMVs))から構成され、それらの制御点動きベクトルは、同じ参照ピクチャを有する隣接するフレーム間符号化されているブロック(inter coded blocks)から導出される。現在のアフィン動きモデルが4パラメータアフィンである場合に、CPMVの数は、2であり、それ以外で、現在のアフィン動きモデルが6パラメータアフィンである場合には、CPMVの数は、3である。左上のCPMV
は、グループ{A,B,C}の中の最初のブロックにおけるMVによって導出され、そのグループ{A,B,C}は、フレーム間符号化され(inter coded)、現在のブロックの参照ピクチャと同じ参照ピクチャを有する。右上のCPMV
は、グループ{D,E}の中の最初のブロックのMVによって導出され、そのグループ{D,E}は、フレーム間符号化され、現在のブロックの参照ピクチャと同じ参照ピクチャを有する。左下のCPMV
は、グループ{F,G}の中の最初のブロックにおけるMVによって導出され、そのグループ{F,G}は、フレーム間符号化され、現在のブロックの参照ピクチャと同じ参照ピクチャを有する。
-現在のアフィン動きモデルが4パラメータアフィンである場合に、構築されたアフィン動き予測値は、
の双方が発見される場合にのみ、すなわち、
が、現在のブロックの(座標(x0,y0)を有する)左上の位置及び(座標(x1,y1)を有する)右上の位置のための推定されたCPMVとして使用される場合にのみ、候補リストの中に挿入される。
-現在のアフィン動きモデルが6パラメータアフィンである場合に、構築されたアフィン動き予測値は、
のすべてが発見される場合にのみ、すなわち、
が、現在のブロックの(座標(x0,y0)を有する)左上の位置、(座標(x1,y1)を有する)右上の位置、(座標(x2,y2)を有する)右下の位置のための推定されたCPMVとして使用される場合にのみ、候補リストの中に挿入される。
構築されたアフィン動き予測値を候補リストの中に挿入するときに、いかなる剪定処理(pruning process)も適用されない。
(3) 通常のAMVP動き予測値
以下の手順は、アフィン動き予測値の数が最大に達するまで適用される。
(i) 利用可能である場合には、
に等しくなるようにCPMVのすべてを設定することによって、アフィン動き予測値を導出する。
(ii) 利用可能である場合には、
に等しくなるようにCPMVのすべてを設定することによって、アフィン動き予測値を導出する。
(iii) 利用可能である場合には、
に等しくなるようにCPMVのすべてを設定することによって、アフィン動き予測値を導出する。
(iv) 利用可能である場合には、HEVC TMVPに等しくなるようにCPMVのすべてを設定することによって、アフィン動き予測値を導出する。
(v) ゼロMVに等しくなるようにCPMVのすべてを設定することによって、アフィン動き予測値を導出する。
図18a及び18bにおいて示されているように、AF_INTERモードの場合に、4/6パラメータアフィンモードを使用するときは、2/3の制御点が必要となり、したがって、これらの制御点について、2/3のMVD(動きベクトル差(Motion Vector Difference))をコーディングする必要がある。JVET-K0337において、式、
にしたがって、MVを導出することが提案されている、すなわち、mvd1及びmvd2は、mvd0から予測される。上記の式において、
mvdi、及びmv1は、図18bに示されているように、それぞれ、左上隅のピクセル(i＝0)、右上隅のピクセル(i＝1)、又は左下隅のピクセル(i＝2)の予測される動きベクトル、動きベクトル差、及び動きベクトルである。(例えば、mvA(xA,yA)及びmvB(xB,yB)等の)2つの動きベクトルの加算は、2つの成分について個別に総和をとったものに等しい、すなわち、newMV＝mvA＋mvBとなり、newMVの2つの成分は、それぞれ、(xA＋xB)及び(yA＋yB)に設定されるということに留意すべきである。
2.5.2.1. AF_MERGEモード
AF_MERGEモードの場合にCUを適用するときに、有効な隣接する再構成されているブロックから、アフィンモードによってコーディングされている最初のブロックを取得する。図21は、AF_MERGEのための候補を示す。候補ブロックの選択順序は、(順番にA、B、C、D、Eによって示されている)図21aに示されているように、左、上、右上、左下から左上である。例えば、図21bにおいてA0によって示されているように、アフィンモードによって、隣接する左下のブロックをコーディングする場合に、ブロックAを含む隣接するCU/PUの左上隅、右上隅、及び左下隅の制御点(Control Point (CP))動きベクトルmv0
N、mv1
N、及びmv2
Nを取り出す。また、mv0
N、mv1
N、及びmv2
Nに基づいて、現在のCU/PUの左上隅/右上/左下の(6パラメータアフィンモデルのためのみに使用される)動きベクトルmv0
C, mv1
C、及びmv2
Cを計算する。VTM-2.0において、現在のブロックがアフィンコーディングされる(affine coded)場合に、左上隅に位置している(例えば、VTMにおける4×4ブロック等の)サブブロックは、mv0を格納し、右上隅に位置しているサブブロックは、mv1を格納する。現在のブロックが6パラメータのアフィンモデルによってコーディングされる場合に、左下隅に位置しているサブブロックは、mv2を格納し、それ以外の場合(4パラメータのアフィンモデルを使用する場合)には、LBは、mv2'を格納する。他のサブブロックは、MCのために使用されるMVを格納する。
現在のCU mv0C、mv1C、及びmv2CのCPMVを導出した後に、単純化されているアフィン動きモデル(式25)及び(式26)にしたがって、現在のCUのMVFを生成する。現在のCUがAF_MERGEモードによってコーディングされているか否かを識別するために、少なくとも1つの隣接ブロックがアフィンモードによってコーディングされているときに、ビットストリームの中でアフィンフラグをシグナリングによって送る。
JVET-L0142及びJVET-L0632の場合に、以下のステップによって、アフィンマージ候補リストを構築する。
(1) 遺伝性アフィン候補を挿入する
遺伝性アフィン候補(Inherited affine candidate)は、その候補が、その有効な隣接するアフィンコーディングされているブロック(its valid neighbor affine coded block)のアフィン動きモデルから導出されるということを意味する。最大2つの遺伝性アフィン候補は、隣接するブロックのアフィン動きモデルから導出され、候補リストの中に挿入される。左の予測値については、走査順序は、{A0,A1}であり、上記の予測値については、走査順序は、{B0,B1,B2}である。
(2) 構築されたアフィン候補を挿入する
アフィンマージ候補リストの中の候補の数が、(例えば、5等の)MaxNumAffineCandよりも少ない場合に、構築したアフィン候補は、候補リストの中に挿入される。構築されたアフィン候補は、その候補が、各々の制御点の隣接動き情報を組み合わせることによって構築されるということを意味する。
(a) 制御点の動き情報は、最初に、図22に示されている特定の空間的な隣接部分及び時間的な隣接部分から導出され、図22は、アフィンマージモードのための候補位置の例を示す。CPk(k＝1,2,3,4)は、k番目の制御点を表す。A0、A1、A2、B0、B1、B2、及びB3は、CPk(k＝1,2,3)を予測するための空間的位置である。Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3、及びCP4の座標は、それぞれ、(0,0)、(W,0)、(H,0)、及び(W,H)であり、W及びHは、現在のブロックの幅及び高さである。
各々の制御点の動き情報は、以下の優先順位にしたがって取得される。
-CP1については、検査優先度は、B2→B3→A2である。B2が利用可能である場合は、B2を使用する。それ以外の場合で、B2が利用可能である場合には、B3を使用する。B2及びB3の双方が利用可能ではない場合には、A2を使用する。3つの候補のすべてが利用可能ではない場合には、CP1の動き情報を取得することは不可能である。
-CP2については、検査優先度は、B1→B0である。
-CP3については、検査優先度は、A1→A0である。
-CP4については、Tを使用する。
(b) 第2に、制御点の組み合わせを使用して、アフィンマージ候補を構築する。
-3つの制御点の動き情報は、6パラメータアフィン候補を構築するのに必要とされる。3つの制御点は、({CP1,CP2,CP4},{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4})の4つの組み合わせのうちの1つから選択されてもよい。組み合わせ{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}は、左上の制御点、右上の制御点、及び左下の制御点が表す6パラメータ動きモデルに変換されるであろう。
-2つの制御点の動き情報は、4パラメータアフィン候補を構築するのに必要とされる。それらの2つの制御点は、2つの組み合わせ({CP1,CP2},{CP1,CP3})のうちの1つから選択されてもよい。それらの2つの組み合わせは、左上の制御点及び右上の制御点が表す4パラメータの動きモデルに変換されるであろう。
-構築されたアフィン候補の組み合わせは、{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}の順序で候補リストの中に挿入される。
(i) 各々の組み合わせについて、各々のCPのためのリストXの参照インデックスを検査し、それらの参照インデックスがすべて同じである場合に、この組み合わせは、リストXについて有効なCPMVを有する。その組み合わせが、リスト0及びリスト1の双方について有効なCPMVを有しない場合には、この組み合わせは、無効であると印を付される。それ以外の場合には、この組み合わせは、有効であり、CPMVは、サブブロックマージリストの中に入れられる。
(3) ゼロ動きベクトルによるパディング
アフィンマージ候補リストの中の候補の数が、5よりも小さい場合に、そのリストがいっぱいになるまで、その候補リストの中にゼロ参照インデックスを有するゼロ動きベクトルを挿入する。
より具体的には、サブブロックマージ候補リストの場合には、(0,0)に設定されているMVと、 (Pスライスについて)list0からの単方向予測に設定されている予測方向及び(Bスライスについて)双方向予測に設定されている予測方向とを有する4パラメータマージ候補である。
既存の実装の欠点
VVCに適用されるときに、ARCは、以下の問題を有する場合がある。
VVCの場合に、ALF、輝度マッピング彩度スケーリング(LMCS)、デコーダ側の動きベクトル精緻化(DMVR)、双方向オプティカルフロー(BDOF)、アフィン予測、三角予測モード(TPM)、対称動きベクトル差(SMVD)、マージ動きベクトル差(MMVD)、(VVCにおいて、組み合わせピクチャ間マージ及びピクチャ内予測(CIIP)として知られている)フレーム間フレーム内予測、局所化された輝度補償(LIC)、及び履歴ベースの動きベクトル予測(HMVP)等のコーディングツールを適用することは、明確ではない。
適応解像度変換を使用するコーディングツールのための例示的な方法
開示されている技術の複数の実施形態は、既存の実装の欠点を取り除く。以下に示されている開示されている技術の複数の例は、開示されている技術の理解を容易にするように説明され、開示されている技術を限定するようには解釈されるべきではない。それに反することが明示的に示されない限り、それらの複数の例の中で説明されているさまざまな特徴を組み合わせることが可能である。
以下の説明においては、SatShift(x,n)は、
のように定義される。
Shift(x,n)は、Shift(x,n)＝(x＋offset0)＞＞nのように定義される。
ある1つの例では、offset0及び/又はoffset1は、(1＜＜n)＞＞1又は(1＜＜(n－1))に設定される。他の例では、offset0及び/又はoffset1は、0に設定される。
他の例では、offset0＝offset1＝((1＜＜n)＞＞1)－1又は((1＜＜(n－1)))－1である。
Clip3(min,max,x)は、
のように定義される。
Floor(x)は、x以下の最も大きな整数であると定義される。
Ceil(x)は、x以上の最も小さな整数であると定義される。
Log2(x)は、xの基数2の対数であると定義される。
開示されている技術の実装の複数の態様のうちのいくつかは、以下で記載される。
1. MMVD/SMVDにおけるMVオフセット及び/又はデコーダ側の導出プロセスにおける精緻化されている動きベクトルの導出は、現在のブロックと関連する参照ピクチャの解像度及び現在のピクチャの解像度に依存する場合がある。
a. 例えば、第2の参照ピクチャを参照する第2のMVオフセットは、第1の参照ピクチャを参照する第1のMVオフセットからスケーリングされてもよい。そのスケーリング係数は、第1の参照ピクチャ及び第2の参照ピクチャの解像度に依存する場合がある。
2. 動き候補リスト構築プロセスは、空間/時間/履歴動き候補と関連する参照ピクチャ解像度にしたがって構築されてもよい。
a. ある1つの例において、より高い解像度を有する参照ピクチャを参照するマージ候補は、より低い解像度を有する参照ピクチャを参照するマージ候補の優先度よりもより高い優先度を有してもよい。説明の中では、W0＜W1であり、且つ、H0＜H1である場合に、解像度W0＊H0は、解像度W1＊H1よりも低い。
b. 例えば、解像度がより高い参照ピクチャを参照するマージ候補は、マージ候補リストの中で解像度がより低い参照ピクチャを参照するマージ候補の前に置かれてもよい。
c. 例えば、現在のピクチャの解像度よりも解像度がより低い参照ピクチャを参照する動きベクトルは、マージ候補リストの中に存在することはできない。
b. ある1つの例では、履歴バッファ(ルックアップテーブル)を更新するか否か、及び/又は、その履歴バッファをどのように更新するかは、復号化されている動き候補と関連する参照ピクチャ解像度に依存してもよい。
i. ある1つの例では、復号化されている動き候補と関連する1つの参照ピクチャが、複数の異なる解像度と関連する場合に、そのような動き候補は、その履歴バッファを更新することを許可されない。
3. 対応する寸法と関連するALFパラメータを使用して、ピクチャをフィルリングする必要があるということが提案される。
a. ある1つの例では、APS等のビデオユニットの中でシグナリングによって送られるALFパラメータは、1つ又は複数のピクチャの寸法と関連している場合がある。
b. ある1つの例では、ALFパラメータをシグナリングによって送るAPS等のビデオユニットは、1つ又は複数のピクチャ寸法と関連している場合がある。
c. 例えば、ピクチャは、同じ寸法と関連するAPS等のビデオユニットの中でシグナリングによって送られるALFパラメータのみを適用してもよい。
d. PPSの解像度/インデックス/解像度の指標は、ALF APSの中でシグナルによって送られてもよい。
e. ALFパラメータは、同じ解像度を有するピクチャのために使用されるALFパラメータからのみ引き継いでもよい/予測されてもよいということが制限される。
4. 第1の対応する寸法と関連するALFパラメータは、第2の対応する寸法と関連するALFパラメータから引き継いでもよく又は第2の対応する寸法と関連するALFパラメータから予測されてもよいということが提案される。
a. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と同じである必要がある。
b. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と異なっていてもよい。
5. あるピクチャの中のサンプルは、対応する寸法と関連するLMCSパラメータを使用して再成形される必要があるということが提案される。
a. ある1つの例では、APS等のようなビデオユニットの中でシグナリングによって送られるLMCSパラメータは、1つ又は複数のピクチャの寸法と関連していてもよい。
b. ある1つの例では、LMCSパラメータをシグナリングによって送るAPS等のビデオユニットは、1つ又は複数のピクチャの寸法と関連していてもよい。
c. 例えば、ピクチャは、同じ寸法と関連するAPS等のビデオユニットの中でシグナリングによって送られるLMCSパラメータのみを適用してもよい。
d. PPSの解像度/インデックス/解像度の指標は、LMCS APSの中でシグナリングによって送られてもよい。
e. LMCSパラメータは、同じ解像度を有するピクチャのために使用されるLMCSパラメータからのみ引き継いでもよい/予測されてもよいということが制限される。
6. 第1の対応する次元と関連するLMCSパラメータは、第2の対応する次元と関連するLMCSパラメータから引き継いでもよく又は第2の対応する次元と関連するLMCSパラメータから予測されてもよいということが提案される。
a. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と同じである必要がある。
b. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と異なっていてもよい。
7. TPM(三角予測モード)/GEO(幾何学的区分化を使用するフレーム間予測)或いはある1つのブロックを2つ又は複数のサブパーティションに分配することが可能である他のコーディングツールを有効化するか否か及び/又はどのように有効化するかは、2つ又は複数のサブパーティションの関連する参照ピクチャ情報に依存する場合がある。
a. ある1つの例では、有効化するか否か及び/又はどのように有効化するかは、2つの参照ピクチャのうちの1つの解像度及び現在のピクチャの解像度に依存する場合がある。
i. ある1つの例では、2つの参照ピクチャのうちの少なくとも1つが、現在のピクチャと比較して異なる解像度と関連している場合に、そのようなコーディングツールは、無効化される。
b. ある1つの例では、有効化するか否か及び/又はどのように有効化するかは、2つの参照ピクチャの解像度が同じであるか否かに依存してもよい。
i. ある1つの例では、2つの参照ピクチャが異なる解像度と関連している場合には、そのようなコーディングツールは、無効化されてもよい。
ii. ある1つの例では、2つの参照ピクチャのうちの双方が、現在のピクチャと比較して異なる解像度と関連している場合に、そのようなコーディングツールは、無効化される。
iii. 代替的に、2つの参照ピクチャのうちの双方が、現在のピクチャと比較して異なる解像度と関連しているが、それらの2つの参照ピクチャが同じ解像度と関連している場合に、そのようなコーディングツールは、依然として、無効化されてもよい。
iv. 代替的に、参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度と異なる解像度を有し、且つ、それらの参照ピクチャが異なる解像度と関連している場合に、コーディングツールXは、無効化されてもよい。
c. 代替的に、さらに、有効化するか否か及び/又はどのように有効化するかは、それらの2つの参照ピクチャが同じ参照ピクチャであるか否かに依存してもよい。
d. 代替的に、さらに、有効化するか否か及び/又はどのように有効化するかは、それらの2つの参照ピクチャが同じ参照リストの中に存在するか否かに依存してもよい。
e. 代替的に、RPR(参照ピクチャ再サンプリング)が、スライス/ピクチャヘッダ/シーケンスパラメータセットにおいて有効化されている場合に、そのようなコーディングツールは、常に無効化されてもよい。
8. ブロックが、現在のピクチャと比較して異なる寸法を有する少なくとも1つの参照ピクチャを参照する場合に、コーディングツールXは、そのブロックについて無効化されてもよいということが提案される。
a. ある1つの例では、そのコーディングツールXに関連する情報は、シグナリングによって送られなくてもよい。
b. ある1つの例では、そのようなブロックの動き情報は、HMVPテーブルの中に挿入されなくてもよい。
c. 代替的に、コーディングツールXがあるブロックに適用される場合に、そのブロックは、現在のピクチャと比較して異なる寸法を有する参照ピクチャを参照することは不可能である。
i. ある1つの例では、現在のピクチャと比較して異なる寸法を有する参照ピクチャを参照するマージ候補は、省略されてもよく又はマージ候補リストの中には入れられなくてもよい。
ii. ある1つの例では、現在のピクチャと比較して異なる寸法を有する参照ピクチャに対応する参照インデックスは、スキップされてもよく又はシグナリングによって送られることを許可されない。
d. 代替的に、コーディングツールXは、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって2つの参照ブロック又は2つの参照ピクチャをスケーリングした後に適用されてもよい。
e. 代替的に、コーディングツールXは、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって2つのMV又は2つのMVDをスケーリングした後に適用されてもよい。
f. ある1つの例では、(例えば、複数の異なる参照ピクチャ又は複数の異なるMVを有する同じ参照ピクチャリストからの双方向予測コーディングされているブロック又は複数仮説を有するブロック、或いは、複数の異なる参照ピクチャリストからの複数仮説を有するブロック等の)ブロックについて、コーディングツールXを無効化するか又は有効化するかは、参照ピクチャリスト及び/又は現在参照ピクチャと関連する参照ピクチャの解像度に依存してもよい。
i. ある1つの例では、コーディングツールXは、一方の参照ピクチャリストについては無効化されていてもよいが、他方の参照ピクチャリストについては有効化されていてもよい。
ii. ある1つの例では、コーディングツールXは、一方の参照ピクチャについては無効化されていてもよいが、他方の参照ピクチャについては有効化されていてもよい。本明細書においては、それらの2つの参照ピクチャは、異なる参照ピクチャリスト又は同じ参照ピクチャリストからの参照ピクチャであってもよい。
iii. ある1つの例では、各々の参照ピクチャリストLについて、コーディングツールの有効化/無効化は、リストLとは異なる他方の参照ピクチャリストの中の参照ピクチャに関係なく決定される。
1. ある1つの例では、コーディングツールの有効化/無効化は、リストLの参照ピクチャ及び現在のピクチャによって決定されてもよい。
2. ある1つの例では、リストLの関連する参照ピクチャが、現在のピクチャと異なる場合に、そのツールは、リストLについて無効化されてもよい。
iv. 代替的に、コーディングツールの有効化/無効化は、参照ピクチャのすべて及び/又は現在のピクチャの解像度によって決定される。
1. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有する場合に、コーディングツールXは、無効化されてもよい。
2. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有するが、それらの参照ピクチャが、同じ解像度と関連している場合に、コーディングツールXは、依然として、有効化されていてもよい。
3. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有し、且つ、それらの参照ピクチャが、異なる解像度と関連している場合に、コーディングツールXは、無効化されてもよい。
g. コーディングツールXは、以下のいずれか1つであってもよい。
iii. DMVR
iv. BDOF
v. アフィン予測
vi. 三角予測モード
vii. SMVD
viii. MMVD
ix. VVCにおけるフレーム間フレーム内予測
x. LIC
xi. HMVP
xii. 複数変換セット(MTS)
xiii. サブブロック変換(SBT)
xiv. PROF及び/又は他の復号化側の動き/予測の精緻化方法
xv. LFNST(低周波非2乗変換)
xvi. (例えば、非ブロック化フィルタ/SAO/ALF等の)フィルタリング方法
xvii. GEO/TPM/成分間のALF
9. ピクチャの参照ピクチャリストは、K個よりも多くの異なる解像度を含むことは不可能である。
a. ある1つの例では、Kは、2に等しい。
10. (復号化順の又は表示順の)N個の連続するピクチャについて、K個よりも多くの異なる解像度を許可することは不可能である。
a. ある1つの例では、N＝3、K＝3である。
b. ある1つの例では、N＝10、K＝3である。
c. ある1つの例では、GOPにおいて、K個よりも多くの異なる解像度を許可することは不可能である。
d. ある1つの例では、(tidと示される)同じ時間的な層識別子を有する2つのピクチャの間で、K個よりも多くの異なる解像度を許可することは不可能である。
i. 例えば、K＝3、tid＝0である。
11. ピクチャ内についてのみ、解像度の変更を許可することが可能である。
12. ある1つのブロックの1つ又は2つの参照ピクチャが、現在のピクチャとは異なる解像度と関連している場合に、双方向予測は、復号化プロセスにおいて単方向予測に変換されてもよい。
a. ある1つの例では、現在のピクチャとは異なる解像度を有する対応する参照ピクチャを有するリストXからの予測が破棄されてもよい。
13. 異なる解像度の複数の参照ピクチャからのフレーム間予測を有効化するか又は無効化するかは、動きベクトル精度及び/又は解像度比に依存してもよい。
a. ある1つの例では、解像度比にしたがってスケーリングされている動きベクトルが、整数位置を指し示す場合に、依然として、フレーム間予測を適用してもよい。
b. ある1つの例では、解像度比にしたがってスケーリングされている動きベクトルが、ARCを使用しない場合に許可されている(例えば、1/4ピクセル等の)サブピクセル位置を指し示す場合に、依然として、フレーム間予測を適用してもよい。
c. 代替的に、参照ピクチャの双方が、現在のピクチャとは異なる解像度と関連しているときに、双方向予測は、許可されなくてもよい。
d. 代替的に、一方の参照ピクチャが、現在のピクチャとは異なる解像度と関連し、他方の参照ピクチャが、現在のピクチャと同じ解像度と関連しているときに、双方向予測を有効化してもよい。
e. 代替的に、参照ピクチャが、現在のピクチャとは異なる解像度と関連し、ブロックの寸法が、特定の条件を満たすときに、ブロックについて、単方向予測を許可しなくてもよい。
14. コーディングツールXが無効化されているか否かを示す(例えば、pic_disable_X_flag等の)第1のフラグは、ピクチャヘッダの中でシグナリングによって送られてもよい。
a. ピクチャよりも小さいスライス/タイル/ブリック/サブピクチャ/他のビデオユニットについてコーディングツールを有効化するか否かは、ピクチャヘッダ及び/又はスライスタイプの中のこのフラグによって制御されてもよい。
b. ある1つの例では、第1のフラグが真であるときに、コーディングツールXは、無効化される。
i. 代替的に、第1のフラグが偽であるときに、コーディングツールXは、有効化される。
ii. ある1つの例では、コーディングツールXは、ピクチャの中のサンプルのすべてについて有効化され/無効化される。
c. ある1つの例では、第1のフラグのシグナリングは、さらに、SPS/VPS/DPS/PPSの構文要素又は複数の構文要素に依存してもよい。
i. ある1つの例では、フラグのシグナリングは、SPSにおけるコーディングツールXの無効化フラグに依存してもよい。
ii. 代替的に、さらに、ピクチャヘッダの中の第1のフラグの存在を示す第2のフラグ(例えば、sps_X_slice_present_flag等の)は、SPSの中でシグナリングによって送られてもよい。
(1) 代替的に、さらに、(例えば、sps_X_enabled_flagが真であるときといったように)コーディングツールXが、あるシーケンスについて有効化されているときに、第2のフラグは、条件付きでシグナリングによって送られてもよい。
(2) 代替的に、さらに、第2のフラグのみが、第1のフラグが存在するということを示し、第1のフラグは、ピクチャヘッダの中でシグナリングによって送られてもよい。
d. ある1つの例では、第1のフラグ及び/又は第2のフラグは、1ビットを使用してコーディングされる。
e. コーディングツールXは、以下のコーディングツールであってもよい。
i. ある1つの例では、コーディングツールXは、PROFである。
ii. ある1つの例では、コーディングツールXは、DMVRである。
iii. ある1つの例では、コーディングツールXは、BDOFである。
iv. ある1つの例では、コーディングツールXは、成分間のALFである。
v. ある1つの例では、コーディングツールXは、GEOである。
vi. ある1つの例では、コーディングツールXは、TPMである。
vii. ある1つの例では、コーディングツールXは、MTSである。
15. ブロックが、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能であるか否かは、ブロックの幅(WB)及び/又は高さ(HB)、及び/又は、ブロック予測モード(すなわち、双方向予測又は単方向予測)に依存してもよい。
a. ある1つの例では、WB≧T1及びHB≧T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
b. ある1つの例では、WB＊HB≧T、例えば、T＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
c. ある1つの例では、Min(WB,HB)≧T、例えば、T＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
d. ある1つの例では、Max(WB,HB)≧T、例えば、T＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
e. ある1つの例では、WB≦T1、且つ、HB≦T2、例えば、T1＝T2＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
f. ある1つの例では、WB＊HB≦T、例えば、T＝4096である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
g. ある1つの例では、Min(WB,HB)≦T、例えば、T＝64である場合に、ブロックは、現在のピクチャに対して複数の異なる寸法を有する参照ピクチャを参照することが可能である。
h. ある1つの例では、Max(WB,HB)≦T、例えば、T＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
i. 代替的に、WB≦T1及び/又はHB≦T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することを許可されない。
j. 代替的に、WB≦T1及び/又はHB≦T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することを許可されない。
1. MMVD/SMVDにおけるMVオフセット及び/又はデコーダ側の導出プロセスにおける精緻化されている動きベクトルの導出は、現在のブロックと関連する参照ピクチャの解像度及び現在のピクチャの解像度に依存する場合がある。
a. 例えば、第2の参照ピクチャを参照する第2のMVオフセットは、第1の参照ピクチャを参照する第1のMVオフセットからスケーリングされてもよい。そのスケーリング係数は、第1の参照ピクチャ及び第2の参照ピクチャの解像度に依存する場合がある。
2. 動き候補リスト構築プロセスは、空間/時間/履歴動き候補と関連する参照ピクチャ解像度にしたがって構築されてもよい。
a. ある1つの例において、より高い解像度を有する参照ピクチャを参照するマージ候補は、より低い解像度を有する参照ピクチャを参照するマージ候補の優先度よりもより高い優先度を有してもよい。説明の中では、W0＜W1であり、且つ、H0＜H1である場合に、解像度W0＊H0は、解像度W1＊H1よりも低い。
b. 例えば、解像度がより高い参照ピクチャを参照するマージ候補は、マージ候補リストの中で解像度がより低い参照ピクチャを参照するマージ候補の前に置かれてもよい。
c. 例えば、現在のピクチャの解像度よりも解像度がより低い参照ピクチャを参照する動きベクトルは、マージ候補リストの中に存在することはできない。
b. ある1つの例では、履歴バッファ(ルックアップテーブル)を更新するか否か、及び/又は、その履歴バッファをどのように更新するかは、復号化されている動き候補と関連する参照ピクチャ解像度に依存してもよい。
i. ある1つの例では、復号化されている動き候補と関連する1つの参照ピクチャが、複数の異なる解像度と関連する場合に、そのような動き候補は、その履歴バッファを更新することを許可されない。
3. 対応する寸法と関連するALFパラメータを使用して、ピクチャをフィルリングする必要があるということが提案される。
a. ある1つの例では、APS等のビデオユニットの中でシグナリングによって送られるALFパラメータは、1つ又は複数のピクチャの寸法と関連している場合がある。
b. ある1つの例では、ALFパラメータをシグナリングによって送るAPS等のビデオユニットは、1つ又は複数のピクチャ寸法と関連している場合がある。
c. 例えば、ピクチャは、同じ寸法と関連するAPS等のビデオユニットの中でシグナリングによって送られるALFパラメータのみを適用してもよい。
d. PPSの解像度/インデックス/解像度の指標は、ALF APSの中でシグナルによって送られてもよい。
e. ALFパラメータは、同じ解像度を有するピクチャのために使用されるALFパラメータからのみ引き継いでもよい/予測されてもよいということが制限される。
4. 第1の対応する寸法と関連するALFパラメータは、第2の対応する寸法と関連するALFパラメータから引き継いでもよく又は第2の対応する寸法と関連するALFパラメータから予測されてもよいということが提案される。
a. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と同じである必要がある。
b. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と異なっていてもよい。
5. あるピクチャの中のサンプルは、対応する寸法と関連するLMCSパラメータを使用して再成形される必要があるということが提案される。
a. ある1つの例では、APS等のようなビデオユニットの中でシグナリングによって送られるLMCSパラメータは、1つ又は複数のピクチャの寸法と関連していてもよい。
b. ある1つの例では、LMCSパラメータをシグナリングによって送るAPS等のビデオユニットは、1つ又は複数のピクチャの寸法と関連していてもよい。
c. 例えば、ピクチャは、同じ寸法と関連するAPS等のビデオユニットの中でシグナリングによって送られるLMCSパラメータのみを適用してもよい。
d. PPSの解像度/インデックス/解像度の指標は、LMCS APSの中でシグナリングによって送られてもよい。
e. LMCSパラメータは、同じ解像度を有するピクチャのために使用されるLMCSパラメータからのみ引き継いでもよい/予測されてもよいということが制限される。
6. 第1の対応する次元と関連するLMCSパラメータは、第2の対応する次元と関連するLMCSパラメータから引き継いでもよく又は第2の対応する次元と関連するLMCSパラメータから予測されてもよいということが提案される。
a. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と同じである必要がある。
b. ある1つの例では、第1の対応する寸法は、第2の対応する寸法と異なっていてもよい。
7. TPM(三角予測モード)/GEO(幾何学的区分化を使用するフレーム間予測)或いはある1つのブロックを2つ又は複数のサブパーティションに分配することが可能である他のコーディングツールを有効化するか否か及び/又はどのように有効化するかは、2つ又は複数のサブパーティションの関連する参照ピクチャ情報に依存する場合がある。
a. ある1つの例では、有効化するか否か及び/又はどのように有効化するかは、2つの参照ピクチャのうちの1つの解像度及び現在のピクチャの解像度に依存する場合がある。
i. ある1つの例では、2つの参照ピクチャのうちの少なくとも1つが、現在のピクチャと比較して異なる解像度と関連している場合に、そのようなコーディングツールは、無効化される。
b. ある1つの例では、有効化するか否か及び/又はどのように有効化するかは、2つの参照ピクチャの解像度が同じであるか否かに依存してもよい。
i. ある1つの例では、2つの参照ピクチャが異なる解像度と関連している場合には、そのようなコーディングツールは、無効化されてもよい。
ii. ある1つの例では、2つの参照ピクチャのうちの双方が、現在のピクチャと比較して異なる解像度と関連している場合に、そのようなコーディングツールは、無効化される。
iii. 代替的に、2つの参照ピクチャのうちの双方が、現在のピクチャと比較して異なる解像度と関連しているが、それらの2つの参照ピクチャが同じ解像度と関連している場合に、そのようなコーディングツールは、依然として、無効化されてもよい。
iv. 代替的に、参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度と異なる解像度を有し、且つ、それらの参照ピクチャが異なる解像度と関連している場合に、コーディングツールXは、無効化されてもよい。
c. 代替的に、さらに、有効化するか否か及び/又はどのように有効化するかは、それらの2つの参照ピクチャが同じ参照ピクチャであるか否かに依存してもよい。
d. 代替的に、さらに、有効化するか否か及び/又はどのように有効化するかは、それらの2つの参照ピクチャが同じ参照リストの中に存在するか否かに依存してもよい。
e. 代替的に、RPR(参照ピクチャ再サンプリング)が、スライス/ピクチャヘッダ/シーケンスパラメータセットにおいて有効化されている場合に、そのようなコーディングツールは、常に無効化されてもよい。
8. ブロックが、現在のピクチャと比較して異なる寸法を有する少なくとも1つの参照ピクチャを参照する場合に、コーディングツールXは、そのブロックについて無効化されてもよいということが提案される。
a. ある1つの例では、そのコーディングツールXに関連する情報は、シグナリングによって送られなくてもよい。
b. ある1つの例では、そのようなブロックの動き情報は、HMVPテーブルの中に挿入されなくてもよい。
c. 代替的に、コーディングツールXがあるブロックに適用される場合に、そのブロックは、現在のピクチャと比較して異なる寸法を有する参照ピクチャを参照することは不可能である。
i. ある1つの例では、現在のピクチャと比較して異なる寸法を有する参照ピクチャを参照するマージ候補は、省略されてもよく又はマージ候補リストの中には入れられなくてもよい。
ii. ある1つの例では、現在のピクチャと比較して異なる寸法を有する参照ピクチャに対応する参照インデックスは、スキップされてもよく又はシグナリングによって送られることを許可されない。
d. 代替的に、コーディングツールXは、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって2つの参照ブロック又は2つの参照ピクチャをスケーリングした後に適用されてもよい。
e. 代替的に、コーディングツールXは、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって2つのMV又は2つのMVDをスケーリングした後に適用されてもよい。
f. ある1つの例では、(例えば、複数の異なる参照ピクチャ又は複数の異なるMVを有する同じ参照ピクチャリストからの双方向予測コーディングされているブロック又は複数仮説を有するブロック、或いは、複数の異なる参照ピクチャリストからの複数仮説を有するブロック等の)ブロックについて、コーディングツールXを無効化するか又は有効化するかは、参照ピクチャリスト及び/又は現在参照ピクチャと関連する参照ピクチャの解像度に依存してもよい。
i. ある1つの例では、コーディングツールXは、一方の参照ピクチャリストについては無効化されていてもよいが、他方の参照ピクチャリストについては有効化されていてもよい。
ii. ある1つの例では、コーディングツールXは、一方の参照ピクチャについては無効化されていてもよいが、他方の参照ピクチャについては有効化されていてもよい。本明細書においては、それらの2つの参照ピクチャは、異なる参照ピクチャリスト又は同じ参照ピクチャリストからの参照ピクチャであってもよい。
iii. ある1つの例では、各々の参照ピクチャリストLについて、コーディングツールの有効化/無効化は、リストLとは異なる他方の参照ピクチャリストの中の参照ピクチャに関係なく決定される。
1. ある1つの例では、コーディングツールの有効化/無効化は、リストLの参照ピクチャ及び現在のピクチャによって決定されてもよい。
2. ある1つの例では、リストLの関連する参照ピクチャが、現在のピクチャと異なる場合に、そのツールは、リストLについて無効化されてもよい。
iv. 代替的に、コーディングツールの有効化/無効化は、参照ピクチャのすべて及び/又は現在のピクチャの解像度によって決定される。
1. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有する場合に、コーディングツールXは、無効化されてもよい。
2. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有するが、それらの参照ピクチャが、同じ解像度と関連している場合に、コーディングツールXは、依然として、有効化されていてもよい。
3. ある1つの例では、参照ピクチャのうちの少なくとも1つが、現在のピクチャとは異なる解像度を有し、且つ、それらの参照ピクチャが、異なる解像度と関連している場合に、コーディングツールXは、無効化されてもよい。
g. コーディングツールXは、以下のいずれか1つであってもよい。
iii. DMVR
iv. BDOF
v. アフィン予測
vi. 三角予測モード
vii. SMVD
viii. MMVD
ix. VVCにおけるフレーム間フレーム内予測
x. LIC
xi. HMVP
xii. 複数変換セット(MTS)
xiii. サブブロック変換(SBT)
xiv. PROF及び/又は他の復号化側の動き/予測の精緻化方法
xv. LFNST(低周波非2乗変換)
xvi. (例えば、非ブロック化フィルタ/SAO/ALF等の)フィルタリング方法
xvii. GEO/TPM/成分間のALF
9. ピクチャの参照ピクチャリストは、K個よりも多くの異なる解像度を含むことは不可能である。
a. ある1つの例では、Kは、2に等しい。
10. (復号化順の又は表示順の)N個の連続するピクチャについて、K個よりも多くの異なる解像度を許可することは不可能である。
a. ある1つの例では、N＝3、K＝3である。
b. ある1つの例では、N＝10、K＝3である。
c. ある1つの例では、GOPにおいて、K個よりも多くの異なる解像度を許可することは不可能である。
d. ある1つの例では、(tidと示される)同じ時間的な層識別子を有する2つのピクチャの間で、K個よりも多くの異なる解像度を許可することは不可能である。
i. 例えば、K＝3、tid＝0である。
11. ピクチャ内についてのみ、解像度の変更を許可することが可能である。
12. ある1つのブロックの1つ又は2つの参照ピクチャが、現在のピクチャとは異なる解像度と関連している場合に、双方向予測は、復号化プロセスにおいて単方向予測に変換されてもよい。
a. ある1つの例では、現在のピクチャとは異なる解像度を有する対応する参照ピクチャを有するリストXからの予測が破棄されてもよい。
13. 異なる解像度の複数の参照ピクチャからのフレーム間予測を有効化するか又は無効化するかは、動きベクトル精度及び/又は解像度比に依存してもよい。
a. ある1つの例では、解像度比にしたがってスケーリングされている動きベクトルが、整数位置を指し示す場合に、依然として、フレーム間予測を適用してもよい。
b. ある1つの例では、解像度比にしたがってスケーリングされている動きベクトルが、ARCを使用しない場合に許可されている(例えば、1/4ピクセル等の)サブピクセル位置を指し示す場合に、依然として、フレーム間予測を適用してもよい。
c. 代替的に、参照ピクチャの双方が、現在のピクチャとは異なる解像度と関連しているときに、双方向予測は、許可されなくてもよい。
d. 代替的に、一方の参照ピクチャが、現在のピクチャとは異なる解像度と関連し、他方の参照ピクチャが、現在のピクチャと同じ解像度と関連しているときに、双方向予測を有効化してもよい。
e. 代替的に、参照ピクチャが、現在のピクチャとは異なる解像度と関連し、ブロックの寸法が、特定の条件を満たすときに、ブロックについて、単方向予測を許可しなくてもよい。
14. コーディングツールXが無効化されているか否かを示す(例えば、pic_disable_X_flag等の)第1のフラグは、ピクチャヘッダの中でシグナリングによって送られてもよい。
a. ピクチャよりも小さいスライス/タイル/ブリック/サブピクチャ/他のビデオユニットについてコーディングツールを有効化するか否かは、ピクチャヘッダ及び/又はスライスタイプの中のこのフラグによって制御されてもよい。
b. ある1つの例では、第1のフラグが真であるときに、コーディングツールXは、無効化される。
i. 代替的に、第1のフラグが偽であるときに、コーディングツールXは、有効化される。
ii. ある1つの例では、コーディングツールXは、ピクチャの中のサンプルのすべてについて有効化され/無効化される。
c. ある1つの例では、第1のフラグのシグナリングは、さらに、SPS/VPS/DPS/PPSの構文要素又は複数の構文要素に依存してもよい。
i. ある1つの例では、フラグのシグナリングは、SPSにおけるコーディングツールXの無効化フラグに依存してもよい。
ii. 代替的に、さらに、ピクチャヘッダの中の第1のフラグの存在を示す第2のフラグ(例えば、sps_X_slice_present_flag等の)は、SPSの中でシグナリングによって送られてもよい。
(1) 代替的に、さらに、(例えば、sps_X_enabled_flagが真であるときといったように)コーディングツールXが、あるシーケンスについて有効化されているときに、第2のフラグは、条件付きでシグナリングによって送られてもよい。
(2) 代替的に、さらに、第2のフラグのみが、第1のフラグが存在するということを示し、第1のフラグは、ピクチャヘッダの中でシグナリングによって送られてもよい。
d. ある1つの例では、第1のフラグ及び/又は第2のフラグは、1ビットを使用してコーディングされる。
e. コーディングツールXは、以下のコーディングツールであってもよい。
i. ある1つの例では、コーディングツールXは、PROFである。
ii. ある1つの例では、コーディングツールXは、DMVRである。
iii. ある1つの例では、コーディングツールXは、BDOFである。
iv. ある1つの例では、コーディングツールXは、成分間のALFである。
v. ある1つの例では、コーディングツールXは、GEOである。
vi. ある1つの例では、コーディングツールXは、TPMである。
vii. ある1つの例では、コーディングツールXは、MTSである。
15. ブロックが、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能であるか否かは、ブロックの幅(WB)及び/又は高さ(HB)、及び/又は、ブロック予測モード(すなわち、双方向予測又は単方向予測)に依存してもよい。
a. ある1つの例では、WB≧T1及びHB≧T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
b. ある1つの例では、WB＊HB≧T、例えば、T＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
c. ある1つの例では、Min(WB,HB)≧T、例えば、T＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
d. ある1つの例では、Max(WB,HB)≧T、例えば、T＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
e. ある1つの例では、WB≦T1、且つ、HB≦T2、例えば、T1＝T2＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
f. ある1つの例では、WB＊HB≦T、例えば、T＝4096である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
g. ある1つの例では、Min(WB,HB)≦T、例えば、T＝64である場合に、ブロックは、現在のピクチャに対して複数の異なる寸法を有する参照ピクチャを参照することが可能である。
h. ある1つの例では、Max(WB,HB)≦T、例えば、T＝64である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することが可能である。
i. 代替的に、WB≦T1及び/又はHB≦T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することを許可されない。
j. 代替的に、WB≦T1及び/又はHB≦T2、例えば、T1＝T2＝8である場合に、ブロックは、現在のピクチャとは異なる寸法を有する参照ピクチャを参照することを許可されない。
図23Aは、ビデオ処理装置2300のブロック図である。装置2300は、本明細書において説明されている方法のうちの1つ又は複数を実装するのに使用されてもよい。装置2300は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等によって具体化されてもよい。装置2300は、1つ又は複数のプロセッサ2302、1つ又は複数のメモリ2304、及びビデオ処理ハードウェア2306を含んでもよい。それらの1つ又は複数のプロセッサ2302は、本明細書において説明されている(これらには限定されないが、図24A乃至図25Iに示されている方法を含む)1つ又は複数の方法を実装するように構成されてもよい。メモリ(複数のメモリ)2304は、本明細書において説明されている方法及び技術を実装するのに使用されるデータ及びコードを格納するのに使用されてもよい。ビデオ処理ハードウェア2306は、ハードウェア回路によって、本明細書において説明されている複数の技術のうちのいくつかを実装するのに使用されてもよい。
図23Bは、複数の開示されている技術を実装することが可能であるビデオ処理システムのブロック図の他の例である。図23Bは、本明細書によって開示されているさまざまな技術を実装することが可能であるある1つの例示的なビデオ処理システム2400を示すブロック図である。さまざまな実装は、システム2400の構成要素のうちの一部又はすべてを含んでもよい。システム2400は、ビデオコンテンツを受信するための入力2402を含んでもよい。ビデオコンテンツは、例えば、8又は10ビットの多成分画素値等の未処理のフォーマット又は非圧縮フォーマットで受信されてもよく、或いは、圧縮されているフォーマット又はコーディングされているフォーマットで受信されてもよい。入力2402は、ネットワークインターフェイス、周辺バスインターフェイス、又は記憶インターフェイスを表してもよい。ネットワークインターフェイスの例は、イーサネット、受動光ネットワーク(PON)等の有線インターフェイス、及びWi-Fiインターフェイス又はセルラーインターフェイス等の無線インターフェイスを含む。
システム2400は、コーディング構成要素2404を含んでもよく、そのコーディング構成要素2404は、本明細書において説明されているさまざまなコーディング方法又は符号化方法を実装することが可能である。コーディング構成要素2404は、コーディング構成要素2404の入力2402から出力までのビデオの平均ビットレートを減少させて、ビデオのコーディングされている表現を生成してもよい。したがって、コーディング技術は、ビデオ圧縮技術又はビデオトランスコーディング技術と呼ばれることがある。コーディング構成要素2404の出力は、構成要素2406が表しているように、格納されてもよく又は接続されている通信によって伝送されてもよい。入力2402において受信されるビデオの格納されている又は通信されたビットストリーム(又は、コーディングされている)表現は、構成要素2408によって使用されて、ディスプレイインターフェイス2409に送信される画素値又は表示可能なビデオを生成してもよい。ビットストリームの表現からユーザが視聴することが可能であるビデオを生成するプロセスは、ビデオ解凍と呼ばれることがある。さらに、特定のビデオ処理操作は、"コーディング"操作又はツールと称されるが、コーディングツール又は操作は、エンコーダにおいて使用され、コーディングの結果を反転する対応する復号化ツール又は操作は、デコーダによって実行されるであろうということが理解されるであろう。
周辺機器バスインターフェイス又はディスプレイインターフェイスの例は、ユニバーサルシリアルバス(USB)又は高精細度マルチメディアインターフェイス(HDMI（登録商標）)又はディスプレイポート等を含んでもよい。記憶インターフェイスの例は、SATA(シリアル先端技術アタッチメント)、PCI、及びIDEインターフェイス等を含む。本明細書において説明されている技術は、携帯電話、ラップトップ、スマートフォン、又はディジタルデータ処理及び/又はビデオ表示を実行することが可能である他のデバイス等のさまざまな電子デバイスによって具体化されてもよい。
図24Aは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図24Aを参照すると、方法2410は、ステップ2412において、ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、現在のビデオブロックと関連する参照ピクチャの1つ又は複数の解像度及び現在のピクチャの解像度に基づいて、1つ又は複数の動きベクトルオフセットを導出する処理を含む。方法2410は、ステップ2414において、1つ又は複数の動きベクトルオフセットを使用して変換を実行する処理をさらに含む。
図24Bは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図24Bを参照すると、方法2420は、ステップ2422において、ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、動き候補が優先順位の中に含まれる動き候補リストを構築し、それによって、動き候補の優先度は、その動き候補と関連する参照ピクチャの解像度に基づいている、処理を含む。方法2420は、ステップ2424において、動き候補リストを使用して変換を実行する処理をさらに含む。
図24Cは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図24Cを参照すると、方法2430は、ステップ2432において、現在のビデオピクチャの寸法に基づいて、1つ又は複数のビデオユニットを含む現在のビデオピクチャについて適応ループフィルタのパラメータを決定する処理を含む。方法2430は、ステップ2434において、適応ループフィルタのパラメータにしたがって、1つ又は複数のビデオユニットをフィルタリングすることによって、現在のビデオピクチャと現在のビデオピクチャのコーディングされている表現との間の変換を実行する処理をさらに含む。
図24Dは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図24Dを参照すると、その方法2440は、ステップ2442において、ビデオの現在のピクチャの現在のビデオブロックに対して、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスを適用する処理であって、そのLMCSプロセスにおいて、第1の領域と第2の領域との間で現在のビデオブロックの輝度サンプルを再形成し、そして、対応する寸法と関連するLMCSパラメータを使用することによって、輝度に依存する方式によって彩度残差をスケーリングする、処理を含む。その方法2440は、ステップ2444において、現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行する処理をさらに含む。
図24Eは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図24Eを参照すると、その方法2450は、ステップ2452において、ビデオの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、複数のサブパーティションの参照ピクチャ情報に基づいて、規則にしたがって、現在のビデオブロックを複数のサブパーティションに分配するコーディングツールを有効化するか否か及び/又はどのように有効化するかを決定する処理を含む。その方法2450は、ステップ2454において、その決定に基づいて、その変換を実行する処理をさらに含む。
図25Aは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Aを参照すると、その方法2510は、ステップ2512において、ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、現在のビデオブロックのコーディングされている表現へのコーディングのために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用することに起因して、現在のビデオブロックについて、コーディングツールの使用が無効化されているということを決定する処理を含む。その方法2510は、ステップ2514において、その決定に基づいて、その変換を実行する処理をさらに含む。
図25Bは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Bを参照すると、その方法2520は、ステップ2522において、ビデオの現在のピクチャの現在のビデオブロックについて、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用するか否か及び/又はどのように使用するかを決定する規則に基づいて、現在のビデオブロックにコーディングツールを適用することによって、予測ブロックを生成する処理を含む。その方法2520は、ステップ2524において、予測ブロックを使用して、ビデオの現在のビデオブロックとコーディングされている表現との間の変換を実行する処理をさらに含む。
図25Cは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Cを参照すると、その方法2530は、ステップ2532において、ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、1つ又は複数の参照ピクチャリストと関連する参照ピクチャの第1の解像度及び/又は現在のビデオブロックについて予測ブロックを導出するのに使用される現在の参照ピクチャの第2の解像度に基づいて、現在のビデオブロックについて、コーディングツールが無効化されているか否かを決定する処理を含む。その方法2530は、ステップ2534において、その決定に基づいて、その変換を実行する処理をさらに含む。
図25Dは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Dを参照すると、その方法2540は、ステップ2542において、1つ又は複数のビデオブロックを含むビデオピクチャとビデオのコーディングされている表現との間の変換を実行する処理を含む。複数の実装のうちのいくつかにおいて、1つ又は複数のビデオブロックのうちの少なくとも一部は、規則にしたがってそのビデオピクチャのための参照ピクチャリストを参照することによってコーディングされ、その規則は、参照ピクチャリストが、最大でK個の異なる解像度を有する参照ピクチャを含むということを規定し、Kは、整数である。
図25Eは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Eを参照すると、その方法2550は、ステップ2552において、ビデオのN個の連続するビデオピクチャとビデオのコーディングされている表現との間の変換を実行する処理を含む。複数の実装のうちのいくつかにおいて、それらのN個の連続するビデオピクチャは、規則にしたがって複数の異なる解像度によってコーディングされている1つ又は複数のビデオブロックを含み、その規則は、N個の連続するピクチャについて最大でK個の異なる解像度を許可するということを規定し、N及びKは、整数である。
図25Fは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Fを参照すると、方法2560は、ステップ2562において、複数のピクチャを含むビデオとビデオのコーディングされている表現との間の変換を実行する処理を含む。複数の実装のうちのいくつかにおいて、それらの複数のピクチャのうちの少なくとも一部は、複数の異なるコーディングされているビデオ解像度を使用して、コーディングされている表現にコーディングされ、そのコーディングされている表現は、フォーマット規則に適合し、そのフォーマット規則によって、次のフレームがフレーム内符号化されているフレームとしてコーディングされる場合にのみ、前のフレームの第1のコーディングされている解像度を、順序が前のフレームの後の次のフレームの第2のコーディングされている解像度へと変更する。
図25Gは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Gを参照すると、その方法2570は、ステップ2572において、ビデオのコーディングされている表現を解析して、ビデオの現在のピクチャの現在のビデオブロックが、現在のピクチャの解像度とは異なる解像度と関連する参照ピクチャを参照するということを決定する処理を含む。その方法2570は、ステップ2574において、現在のビデオブロックに適用される単方向予測モードへと双方向予測モードを変換することによって、現在のビデオブロックについての予測ブロックを生成する処理をさらに含む。その方法2570は、ステップ2570において、予測ブロックを使用してコーディングされている表現からビデオを生成する処理をさらに含む。
図25Hは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Hを参照すると、その方法2580は、ステップ2582において、動きベクトルの精度及び/又は解像度比に応じて、互いに異なる複数の解像度を有する複数の参照ピクチャからのフレーム間予測を有効化し又は無効化することによって、ビデオの現在のピクチャの現在のビデオブロックについての予測ブロックを生成する処理を含む。その方法2580は、ステップ2584において、予測ブロックを使用して、現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行する処理をさらに含む。
図25Iは、ビデオ処理のためのある1つの例示的な方法のフローチャートを示す。図25Iを参照すると、その方法2590は、ステップ2592において、ビデオの現在のピクチャの現在のビデオブロックのコーディング特性に基づいて、現在のビデオブロックとビデオのコーディングされている表現との間の変換の際に、現在のビデオブロックについての予測ブロックを生成するために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャが許可されているか否かを決定する処理を含む。その方法2590は、ステップ2594において、その決定にしたがって、その変換を実行する処理をさらに含む。
複数の実施形態のうちのいくつかにおいて、ビデオコーディング方法は、図23A又は図23Bに関して説明されているハードウェアプラットフォームによって実装される装置を使用して実装されてもよい。開示されている方法及び技術は、本明細書の中で開示されている技術の使用を可能にすることによって、スマートフォン、ラップトップ、デスクトップ、及び同様のデバイス等のビデオ処理デバイスの中に組み込まれているビデオエンコーダ及び/又はビデオデコーダの実施形態に有益であるということが理解されるであろう。
開示されている技術の複数の実施形態のうちのいくつかは、ビデオ処理ツール又はビデオ処理モードを有効化する判断又は決定を行うことを含む。ある1つの例では、ビデオ処理ツール又はビデオ処理モードが有効化されているときに、エンコーダは、ビデオのブロックの処理においてツール又はモードを使用するか又は実装するであろうが、必ずしも、ツール又はモードの使用に基づいて、結果として生じるビットストリームを修正しなくてもよい。すなわち、ビデオ処理ツール又はビデオ処理モードが、判断又は決定に基づいて有効化されるときに、ビデオのブロックからビデオのビットストリーム表現への変換は、そのビデオ処理ツール又はビデオ処理モードを使用するであろう。他の例では、ビデオ処理ツール又はビデオ処理モードが有効化されているときに、デコーダは、ビットストリームが、そのビデオ処理ツール又はビデオ処理モードに基づいて修正されているという知識を使用して、ビットストリームを処理するであろう。すなわち、ビデオのビットストリーム表現からビデオのブロックへの変換は、判断又は決定に基づいてすでに有効化されているビデオ処理ツール又はビデオ処理モードを使用して実行されるであろう。
開示されている技術の複数の実施形態のうちのいくつかは、ビデオ処理ツール又はビデオ処理モードを無効化する判断又は決定を行うことを含む。ある1つの例では、ビデオ処理ツール又はビデオ処理モードが無効化されているときに、エンコーダは、ビデオのビットストリーム表現へのビデオのブロックの変換の際に、そのツール又はモードを使用しないであろう。他の例では、ビデオ処理ツール又はビデオ処理モードが無効化されているときに、デコーダは、ビットストリームが、判断又は決定に基づいてすでに無効化されているビデオ処理ツール又はビデオ処理モードを使用して修正されていないという知識を使用して、そのビットストリームを処理するであろう。
本明細書において、"ビデオ処理"の語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮、又はビデオ解凍を指し示してもよい。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現への変換又はその逆の変換の際に適用されてもよい。現在のビデオブロックのビットストリーム表現は、例えば、構文によって定義されるように、そのビットストリームの中の同じ場所に位置しているか又は複数の異なる場所に分散されているかのいずれかであるビットに対応してもよい。例えば、変換されコーディングされている誤差残差値について、また、ビットストリームの中のヘッダ及び他のフィールドの中のビットを使用して、あるマクロブロックをコーディングしてもよい。本明細書においては、ビデオブロックは、例えば、コーディングユニット、変換ユニット、及び予測ユニット等の実行される処理操作に対応する論理ユニットであってもよい。
以下の複数の節の第1のセットは、前の節において記載されているそれらの複数の開示されている技術の特定の特徴及び態様を説明している。
1. ビデオ処理のための方法であって、
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換の際に、現在のビデオブロックと関連する参照ピクチャの解像度及び現在のピクチャの解像度に基づいて、動きベクトルオフセットを導出するステップと、
動きベクトルオフセットを使用して変換を実行するステップと、を含む、方法、を提供する。
現在のビデオブロックと現在のビデオブロックのビットストリーム表現との間の変換の際に、現在のビデオブロックと関連する参照ピクチャの解像度及び現在のピクチャの解像度に基づいて、動きベクトルオフセットを導出するステップと、
動きベクトルオフセットを使用して変換を実行するステップと、を含む、方法、を提供する。
2. 節1に記載の方法において、動きベクトルオフセットを導出するステップは、
第1の参照ピクチャを参照する第1の動きベクトルオフセットを導出するステップと、
第1の動きベクトルオフセットに基づいて、第2の参照ピクチャを参照する第2の動きベクトルオフセットを導出するステップと、を含む、方法、を提供する。
第1の参照ピクチャを参照する第1の動きベクトルオフセットを導出するステップと、
第1の動きベクトルオフセットに基づいて、第2の参照ピクチャを参照する第2の動きベクトルオフセットを導出するステップと、を含む、方法、を提供する。
3. 節1に記載の方法において、現在のビデオブロックについて、空間的な動き候補、時間的な動き候補、又は履歴の動き候補と関連する参照ピクチャの解像度に基づいて、動き候補リスト構築プロセスを実行するステップをさらに含む、方法、を提供する。
4. 節1に記載の方法において、ルックアップテーブルを更新するか否か又はどのように更新するかは、復号化されている動き候補と関連する参照ピクチャ解像度に依存する、方法を提供する。
5. 節1に記載の方法において、現在のピクチャについて、対応する寸法と関連する適応ループフィルタ(ALF)パラメータを使用してフィルタリング操作を実行するステップをさらに含む、方法を提供する。
6. 節5に記載の方法において、ALFパラメータは、第1の対応する寸法と関連する第1のALFパラメータ及び第2の対応する寸法と関連する第2のALFパラメータを含み、第2のALFパラメータは、第1のALFパラメータから引き継がれるか又は予測される、方法、を提供する。
7. 節1に記載の方法において、対応する寸法と関連するLMCS(彩度スケーリングを使用する輝度マッピング)パラメータを使用して、現在のピクチャの中のサンプルを再成形するステップをさらに含む、方法、を提供する。
8. 節7に記載の方法において、LMCSパラメータは、第1の対応する寸法と関連する第1のLMCSパラメータ及び第2の対応する寸法と関連する第2のLMCSパラメータを含み、第2のLMCSパラメータは、第1のLMCSパラメータから引き継がれるか又は予測される、方法、を提供する。
9. 節5又は7に記載の方法において、ビデオユニットの中でシグナリングによって送られるALFパラメータ又はLMCSパラメータは、1つ又は複数のピクチャの寸法と関連している、方法を提供する。
10. 節1に記載の方法において、現在のビデオブロックが、現在のピクチャとは異なる寸法を有する少なくとも1つの参照ピクチャを参照するときに、現在のビデオブロックについてコーディングツールを無効化するステップをさらに含む、方法、を提供する。
11. 節10に記載の方法において、現在のピクチャの寸法から複数の異なる寸法を有する参照ピクチャを参照するマージ候補を飛ばして進むか又は省略するステップさらに含む、方法、を提供する。
12. 節1に記載の方法において、参照ピクチャの解像度及び現在のピクチャの解像度に基づいて、2つの参照ブロック又は2つの参照ピクチャをスケーリングした後に、或いは、参照ピクチャの解像度及び現在のピクチャの解像度に基づいて、2つのMV又はMVD(動きベクトル差)をスケーリングした後に、コーディングツールを適用するステップをさらに含む、方法、を提供する。
13. 節1に記載の方法において、現在のピクチャは、K個よりも多くの異なる解像度を含まず、Kは、自然数である、方法、を提供する。
14. 節13に記載の方法において、K個の異なる解像度は、N個の連続するピクチャについて許可され、Nは、自然数である、方法、を提供する。
15. 節1に記載の方法において、フレーム内符号化されているピクチャである現在のピクチャに解像度変更を適用するステップをさらに含む、方法、を提供する。
16. 節1に記載の方法において、現在のビデオブロックの1つ又は2つの参照ピクチャが、現在のピクチャの解像度とは異なる解像度を有するときに、双方向予測を単方向予測に変換するステップをさらに含む、方法、を提供する。
17. 節1に記載の方法において、現在のブロック寸法と参照ブロック寸法との間の動きベクトル精度又は解像度比のうちの少なくとも1つに依存して、複数の異なる解像度で参照ピクチャからのフレーム間予測を有効化し又は無効化するステップをさらに含む、方法、を提供する。
18. 節1に記載の方法において、複数の参照ピクチャ又は1つの参照ピクチャが現在のピクチャの解像度とは異なる解像度を有するか否かに応じて、双方向予測を適用するステップをさらに含む、方法、を提供する。
19. 節1に記載の方法において、現在のビデオブロックが、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを参照するか否かは、現在のビデオブロックのサイズ又はブロック予測モードのうちの少なくとも1つに依存する、方法、を提供する。
20. 節1に記載の方法において、変換の実行は、ビットストリーム表現から現在のビデオブロックを生成するステップを含む、方法、を提供する。
21. 節1に記載の方法において、変換の実行は、現在のビデオブロックからビットストリーム表現を生成するステップを含む、方法、を提供する。
22. 命令を有する非一時的なメモリ及びプロセッサを含むビデオシステムにおける装置であって、プロセッサによる実行の際に、命令は、プロセッサが、節1乃至21のうちのいずれか1つに記載の方法を実装するようにさせる、装置、を提供する。
23. 非一時的なコンピュータ読み取り可能な媒体に格納されているコンピュータプログラム製品であって、節1乃至21のうちのいずれか1つに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品、を提供する。
以下の複数の節の第2のセットは、例えば、例示的な実装1乃至7を含むとともに、前の節において記載されているそれらの複数の開示されている技術の特定の特徴及び態様を説明している。
1. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、現在のビデオブロックと関連する参照ピクチャの1つ又は複数の解像度及び現在のピクチャの解像度に基づいて、1つ又は複数の動きベクトルオフセットを導出するステップと、
1つ又は複数の動きベクトルオフセットを使用して変換を実行するステップと、を含む、ビデオ処理方法を提供する。
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、現在のビデオブロックと関連する参照ピクチャの1つ又は複数の解像度及び現在のピクチャの解像度に基づいて、1つ又は複数の動きベクトルオフセットを導出するステップと、
1つ又は複数の動きベクトルオフセットを使用して変換を実行するステップと、を含む、ビデオ処理方法を提供する。
2. 節1に記載の方法において、1つ又は複数の動きベクトルオフセットは、動きベクトル差(MMVD)とのマージにおける動きベクトルオフセットに対応し、その動きベクトル差(MMVD)は、2つの動き候補の間の距離を規定する距離インデックス又は動きベクトル差を対称的に処理する対称動きベクトル差(SMVD)を含む動きベクトル表現を含む、方法、を提供する。
3. 節1に記載の方法において、1つ又は複数の動きベクトルオフセットは、デコーダ側導出プロセスにおいて使用される精緻化されている動きベクトルに対応する、方法、を提供する。
4. 節1に記載の方法において、1つ又は複数の動きベクトルオフセットを導出するステップは、
第1の参照ピクチャを参照する第1の動きベクトルオフセットを導出するステップと、
第1の動きベクトルオフセットに基づいて、第2の参照ピクチャを参照する第2の動きベクトルオフセットを導出するステップと、を含む、方法、を提供する。
第1の参照ピクチャを参照する第1の動きベクトルオフセットを導出するステップと、
第1の動きベクトルオフセットに基づいて、第2の参照ピクチャを参照する第2の動きベクトルオフセットを導出するステップと、を含む、方法、を提供する。
5. 節1乃至4のうちのいずれか1つに記載の方法において、1つ又は複数の動きベクトルオフセットは、第1のオフセット(offset0)及び第2のオフセット(offset1)を含み、変換の実行は、
のように定義されるSatShiftの式を使用して、動きベクトルを計算するステップを含む、方法、を提供する。
6. 節1乃至5のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
7. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、動き候補が優先順位の中に含まれる動き候補リストを構築し、それによって、動き候補の優先度は、動き候補と関連する参照ピクチャの解像度に基づいている、ステップと、
動き候補リストを使用して変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、動き候補が優先順位の中に含まれる動き候補リストを構築し、それによって、動き候補の優先度は、動き候補と関連する参照ピクチャの解像度に基づいている、ステップと、
動き候補リストを使用して変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
8. 節7に記載の方法において、解像度がより高い参照ピクチャを参照する動き候補は、解像度がより低い他の参照ピクチャを参照する他の動き候補よりも高い優先度を有する、方法、を提供する。
9. 節7に記載の方法において、解像度の高い参照ピクチャを参照する動き候補は、動き候補リストの中で、解像度の低い他の参照ピクチャを参照する他のマージ候補の前に入れられる、方法、を提供する。
10. 節7に記載の方法において、動き候補リストを構築するステップは、現在のビデオブロックを含む現在のピクチャの解像度よりも低い解像度を有する参照ピクチャを参照する動き候補を含まないように実行される、方法、を提供する。
11. 節7に記載の方法において、ルックアップテーブルを更新するか否か及び/又はどのように更新するかは、復号化されている動き候補と関連する参照ピクチャの解像度に依存する、方法、を提供する。
12. 節11に記載の方法において、参照ピクチャが、復号化されている動き候補と関連しているとともに、現在のビデオブロックを含む現在のピクチャの解像度とは異なる解像度を有しているときに、参照ピクチャからの動き候補は、ルックアップテーブルを更新するために、許可されない、方法、を提供する。
13. 節7乃至12のうちのいずれか1つに記載の方法において、動き候補は、時間的な動き候補である、方法、を提供する。
14. 節7乃至12のうちのいずれか1つに記載の方法において、動き候補は、空間的な動き候補である、方法、を提供する。
15. 節7乃至12のうちのいずれか1つに記載の方法において、動き候補は、履歴ベースの動き候補である、方法、を提供する。
16. 節7乃至15のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
17. ビデオ処理方法であって、
現在のビデオピクチャの寸法に基づいて、1つ又は複数のビデオユニットを含む現在のビデオピクチャについて適応ループフィルタのパラメータを決定するステップと、
適応ループフィルタのパラメータにしたがって、1つ又は複数のビデオユニットをフィルタリングすることによって、現在のビデオピクチャと現在のビデオピクチャのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
現在のビデオピクチャの寸法に基づいて、1つ又は複数のビデオユニットを含む現在のビデオピクチャについて適応ループフィルタのパラメータを決定するステップと、
適応ループフィルタのパラメータにしたがって、1つ又は複数のビデオユニットをフィルタリングすることによって、現在のビデオピクチャと現在のビデオピクチャのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
18. 節17に記載の方法において、パラメータは、ビデオユニットの中でシグナリングによって送られ、1つ又は複数のピクチャの寸法と関連する、方法、を提供する。
19. 節17に記載の方法において、パラメータをシグナリングによって送信するのに使用されるビデオユニットは、1つ又は複数のピクチャの寸法と関連する、方法、を提供する。
20. 節17に記載の方法において、ビデオユニットの中でシグナリングによって送られるとともに、同じ寸法と関連するパラメータは、現在のピクチャに適用される、方法、を提供する。
21. 節17に記載の方法において、コーディングされている表現は、解像度、ピクチャパラメータセット(PPS)のインデックス、解像度の指標のうちの少なくとも1つをシグナリングによって送信するデータ構造を含む、方法、を提供する。
22. 節17に記載の方法において、パラメータは、現在のピクチャの解像度と同じ解像度を有する他のピクチャのために使用されるパラメータから引き継がれるか又は予測される、方法、を提供する。
23. 節17に記載の方法において、パラメータは、第1の対応する寸法と関連するパラメータの第1のセット及び第2の対応する寸法と関連するパラメータの第2のセットを含み、パラメータの第2のセットは、パラメータの第1のセットから引き継がれるか又は予測される、方法、を提供する。
24. 節23に記載の方法において、第1の対応する寸法は、第2の対応する寸法と同じである、方法、を提供する。
25. 節23に記載の方法において、第1の対応する寸法は、第2の対応する寸法とは異なる、方法、を提供する。
26. 節17乃至25のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
27. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックに対して、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスを適用するステップであって、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスにおいては、第1の領域と第2の領域との間で現在のビデオブロックの輝度サンプルを再形成し、そして、対応する寸法と関連する彩度スケーリングを使用する輝度マッピング(LMCS)パラメータを使用することによって、輝度に依存する方式によって彩度残差をスケーリングする、ステップと、
現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックに対して、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスを適用するステップであって、彩度スケーリングを使用する輝度マッピング(LMCS)プロセスにおいては、第1の領域と第2の領域との間で現在のビデオブロックの輝度サンプルを再形成し、そして、対応する寸法と関連する彩度スケーリングを使用する輝度マッピング(LMCS)パラメータを使用することによって、輝度に依存する方式によって彩度残差をスケーリングする、ステップと、
現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
28. 節27に記載の方法において、LMCSパラメータは、ビデオユニットの中でシグナリングによって送られ、1つ又は複数のピクチャの寸法と関連する、方法、を提供する。
29. 節27に記載の方法において、LMCSパラメータをシグナリングによって送信するのに使用されるビデオユニットは、1つ又は複数のピクチャ寸法と関連する、方法、を提供する。
30. 節27に記載の方法において、ビデオユニットの中でシグナリングによって送られるとともに、同じ寸法と関連するLMCSパラメータは、現在のピクチャに適用される、方法、を提供する。
31. 節27に記載の方法において、コーディングされている表現は、解像度、ピクチャパラメータセット(PPS)のインデックス、解像度の指標のうちの少なくとも1つをシグナリングによって送信するデータ構造を含む、方法、を提供する。
32. 節27に記載の方法において、LMCSパラメータは、現在のピクチャの解像度と同じ解像度を有する他のピクチャのために使用されるパラメータから引き継がれるか又は予測される、方法、を提供する。
33. 節27に記載の方法において、LMCSパラメータは、第1の対応する寸法と関連する第1のLMCSパラメータ及び第2の対応する寸法と関連する第2のLMCSパラメータを含み、第2のLMCSパラメータは、第1のLMCSパラメータから引き継がれるか又は予測される、方法、を提供する。
34. 節33に記載の方法において、第1の対応する寸法は、第2の対応する寸法と同じである、方法、を提供する。
35. 節33に記載の方法において、第1の対応する寸法は、第2の対応する寸法とは異なる、方法、を提供する。
36. 節27乃至35のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
37. ビデオ処理方法であって、
ビデオの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、複数のサブパーティションの参照ピクチャ情報に基づいて、規則にしたがって、現在のビデオブロックを複数のサブパーティションに分配するコーディングツールを有効化するか否か及び/又はどのように有効化するかを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のビデオブロックとビデオのコーディングされている表現との間の変換のために、複数のサブパーティションの参照ピクチャ情報に基づいて、規則にしたがって、現在のビデオブロックを複数のサブパーティションに分配するコーディングツールを有効化するか否か及び/又はどのように有効化するかを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
38. 節37に記載の方法において、コーディングツールは、複数のサブパーティションのうちの少なくとも1つが非矩形区分である三角予測モード(TPM)、或いは、非水平方向線又は非垂直方向線を使用してビデオブロックを分配することが可能である幾何学的区分(GEO)を使用するフレーム間予測に対応する、方法、を提供する。
39. 節37に記載の方法において、規則は、2つのサブパーティションに対応する2つの参照ピクチャのうちの1つの解像度が、現在のビデオブロックを含む現在のピクチャの解像度と同じであるか又は異なるかに基づいて、コーディングツールを有効化するか否か及び/又はどのように有効化するかを規定する、方法、を提供する。
40. 節39に記載の方法において、規則は、2つの参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度とは異なる解像度と関連している場合に、コーディングツールを有効化しないことを規定する、方法、を提供する。
41. 節39に記載の方法において、規則は、2つの参照ピクチャが、互いに異なる解像度と関連している場合に、コーディングツールを有効化しないことを規定する、方法、を提供する。
42. 節39に記載の方法において、規則は、2つの参照ピクチャが、現在のピクチャの解像度とは異なる解像度と関連している場合に、コーディングツールを有効化しないことを規定する、方法、を提供する。
43. 節39に記載の方法において、規則は、2つの参照ピクチャが、同じ解像度と関連し、その解像度が、現在のピクチャの解像度とは異なる場合に、コーディングツールを有効化しないことを規定する、方法、を提供する。
44. 節39に記載の方法において、規則は、2つの参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度とは異なる解像度と関連している場合に、コーディングツールを有効化しないことを規定する、方法、を提供する。
45. 節37に記載の方法において、規則は、2つのサブパーティションに対応する2つの参照ピクチャが、同じ参照ピクチャであるか否かに基づいて、コーディングツールを有効化するか否か及び/又はどのように有効化するかを規定する、方法、を提供する。
46. 節37に記載の方法において、規則は、2つのサブパーティションに対応する2つの参照ピクチャが同じ参照リストの中に存在するか否かに基づいて、コーディングツールを有効化するか否か及び/又はどのように有効化するかを規定する、方法、を提供する。
47. 節37に記載の方法において、規則は、参照ピクチャの再サンプリングが、ビデオのビデオユニットにおいて有効化される場合に、コーディングツールを常に無効化することを規定する、方法、を提供する。
48. 節37乃至47のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
49. 命令を有する非一時的なメモリ及びプロセッサを含むビデオシステムにおける装置であって、プロセッサによる実行の際に、命令は、プロセッサが、節1乃至48のうちのいずれか1つに記載の方法を実装するようにさせる、装置、を提供する。
50. 非一時的なコンピュータ読み取り可能な媒体に格納されているコンピュータプログラム製品であって、節1乃至48のうちのいずれか1つに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品、を提供する。
以下の複数の節の第3のセットは、例えば、例示的な実装8乃至13及び15を含むとともに、前の節において記載されているそれらの複数の開示されている技術の特定の特徴及び態様を説明している。
1. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換の場合に、現在のビデオブロックのコーディングされている表現へのコーディングのために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用することに起因して、現在のビデオブロックについて、コーディングツールの使用が無効化されているということを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換の場合に、現在のビデオブロックのコーディングされている表現へのコーディングのために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用することに起因して、現在のビデオブロックについて、コーディングツールの使用が無効化されているということを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
2. 節1に記載の方法において、コーディングツールと関連する情報は、コーディングツールの使用が無効化されている場合には、シグナリングによって送られない、方法、を提供する。
3. 節1に記載の方法において、現在のビデオブロックの動き情報は、履歴ベースの動きベクトル予測(HMVP)テーブルの中に挿入されず、HMVPテーブルは、1つ又は複数の以前に処理されているブロックの動き情報に対応する1つ又は複数のエントリを含む、方法、を提供する。
4. 節1乃至3のうちのいずれか1つに記載の方法において、コーディングツールは、デコーダ側の動きベクトル精緻化(DMVR)、双方向オプティカルフロー(BDOF)、アフィン予測、三角予測モード、対称動きベクトル差(SMVD)、動きベクトル差を使用するマージモード(MMVD)、フレーム間予測及びフレーム内予測、局所的照明補償(LIC)、履歴ベースの動きベクトル予測(HMVP)、複数変換セット(MTS)、サブブロック変換(SBT)、オプティカルフローを使用する予測精緻化(PROF)、低周波非2乗変換(LFNST)、又はフィルタリングツールに対応する、方法、を提供する。
5. 節1乃至4のうちのいずれか1つに記載の方法において、寸法は、現在のピクチャの幅及び高さのうちの少なくとも1つを含む、方法、を提供する。
6. 節1乃至5のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
7. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックについて、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用するか否か及び/又はどのように使用するかを決定する規則に基づいて、現在のビデオブロックにコーディングツールを適用することによって、予測ブロックを生成するステップと、
予測ブロックを使用して、ビデオの現在のビデオブロックとコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックについて、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャを使用するか否か及び/又はどのように使用するかを決定する規則に基づいて、現在のビデオブロックにコーディングツールを適用することによって、予測ブロックを生成するステップと、
予測ブロックを使用して、ビデオの現在のビデオブロックとコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
8. 節7に記載の方法において、規則は、現在のビデオブロックに適用されるコーディングツールによる予測ブロックを生成する際に参照ピクチャを使用しないことを規定する、方法、を提供する。
9. 節8に記載の方法において、参照ピクチャを参照しているマージ候補は、スキップされるか、又は、マージ候補リストに入れられない、方法、を提供する。
10. 節8に記載の方法において、参照ピクチャに対応する参照インデックスは、スキップされるか、又は、シグナリングによって送られることを可能にはされない、方法、を提供する。
11. 節7に記載の方法において、規則は、コーディングツールを適用する前に、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって、参照ピクチャをスケーリングすることを規定する、方法、を提供する。
12. 節7に記載の方法において、規則は、コーディングツールを適用する前に、現在のピクチャの解像度及び参照ピクチャの解像度にしたがって、動きベクトル又は動きベクトル差をスケーリングすることを規定する、方法、を提供する。
13. 節7乃至12のうちのいずれか1つに記載の方法において、コーディングツールは、デコーダ側の動きベクトル精緻化(DMVR)、双方向オプティカルフロー(BDOF)、アフィン予測、三角予測モード、対称動きベクトル差(SMVD)、動きベクトル差を使用するマージモード(MMVD)、フレーム間予測及びフレーム内予測、局所的照明補償(LIC)、履歴ベースの動きベクトル予測(HMVP)、複数変換セット(MTS)、サブブロック変換(SBT)、オプティカルフローを使用する予測精緻化(PROF)、低周波非2乗変換(LFNST)、又はフィルタリングツールに対応する、方法、を提供する。
14. 節7乃至12のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
15. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換の場合に、1つ又は複数の参照ピクチャリストと関連する参照ピクチャの第1の解像度及び/又は現在のビデオブロックについて予測ブロックを導出するのに使用される現在の参照ピクチャの第2の解像度に基づいて、現在のビデオブロックについて、コーディングツールが無効化されているか否かを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックとビデオのコーディングされている表現との間の変換の場合に、1つ又は複数の参照ピクチャリストと関連する参照ピクチャの第1の解像度及び/又は現在のビデオブロックについて予測ブロックを導出するのに使用される現在の参照ピクチャの第2の解像度に基づいて、現在のビデオブロックについて、コーディングツールが無効化されているか否かを決定するステップと、
決定に基づいて、変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
16. 節15に記載の方法において、決定するステップは、1つの参照ピクチャリストについて、コーディングツールが無効化されているということ、及び、他の参照ピクチャリストについて、コーディングツールが有効化されているということを決定する、方法、を提供する。
17. 節15に記載の方法において、決定するステップは、参照ピクチャリストのうちの第1の参照ピクチャについて、コーディングツールが無効化されているということ、及び、参照ピクチャリスト又は他の参照ピクチャリストのうちの第2の参照ピクチャについて、コーディングツールが有効化されているということを決定する、方法、を提供する。
18. 節15に記載の方法において、決定するステップは、第1の参照ピクチャリストとは異なる第2の参照ピクチャリストを考慮することなく、第1の参照ピクチャリストについて、コーディングツールが無効化されているか否かを決定する、方法、を提供する。
19. 節18に記載の方法において、決定するステップは、第1の参照ピクチャリストのうちの参照ピクチャ及び現在のピクチャに基づいて、コーディングツールが無効化されているか否かを決定する、方法、を提供する。
20. 節18に記載の方法において、決定するステップは、第1の参照ピクチャリストと関連する参照ピクチャが現在のピクチャと異なる場合に、第1の参照ピクチャリストについて、コーディングツールが無効化されているか否かを決定する、方法、を提供する。
21. 節15に記載の方法において、決定するステップは、さらに、1つ又は複数の参照ピクチャリストと関連する参照ピクチャ及び/又は現在のピクチャの他の解像度に基づいて、コーディングツールが無効化されているか否かを決定する、方法、を提供する。
22. 節21に記載の方法において、決定するステップは、参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度と異なる解像度を有する場合に、コーディングツールが無効化されているということを決定する、方法、を提供する。
23. 節21に記載の方法において、決定するステップは、参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度と異なる解像度を有し、且つ、参照ピクチャが、同じ解像度と関連している場合に、コーディングツールが無効化されていないということを決定する、方法、を提供する。
24. 節21に記載の方法において、決定するステップは、参照ピクチャのうちの少なくとも1つが、現在のピクチャの解像度と異なる解像度を有し、且つ、参照ピクチャが互いに異なる解像度と関連している場合に、コーディングツールが無効化されているということを決定する、方法、を提供する。
25. 節15乃至24のうちのいずれか1つに記載の方法において、コーディングツールは、デコーダ側の動きベクトル精緻化(DMVR)、双方向オプティカルフロー(BDOF)、アフィン予測、三角予測モード、対称動きベクトル差(SMVD)、動きベクトル差を使用するマージモード(MMVD)、フレーム間予測及びフレーム内予測、局所的照明補償(LIC)、履歴ベースの動きベクトル予測(HMVP)、複数変換セット(MTS)、サブブロック変換(SBT)、オプティカルフローを使用する予測精緻化(PROF)、低周波非2乗変換(LFNST)、又はフィルタリングツールに対応する、方法、を提供する。
26. 節15乃至25のうちのいずれか1つに記載の方法において、前記変換の前記実行は、前記ビデオから前記コーディングされている表現を生成するステップ又は前記コーディングされている表現から前記ビデオを生成するステップを含む、方法、を提供する。
27. ビデオ処理方法であって、
1つ又は複数のビデオブロックを含むビデオピクチャとビデオのコーディングされている表現との間の変換を実行するステップを含み、
1つ又は複数のビデオブロックのうちの少なくとも一部は、規則にしたがってビデオピクチャのための参照ピクチャリストを参照することによってコーディングされ、
規則は、参照ピクチャリストが、最大でK個の異なる解像度を有する参照ピクチャを含むということを規定し、Kは整数である、ビデオ処理方法、を提供する。
1つ又は複数のビデオブロックを含むビデオピクチャとビデオのコーディングされている表現との間の変換を実行するステップを含み、
1つ又は複数のビデオブロックのうちの少なくとも一部は、規則にしたがってビデオピクチャのための参照ピクチャリストを参照することによってコーディングされ、
規則は、参照ピクチャリストが、最大でK個の異なる解像度を有する参照ピクチャを含むということを規定し、Kは整数である、ビデオ処理方法、を提供する。
28. 節27に記載の方法において、Kは、2に等しい、方法、を提供する。
29. 節27又は28に記載の方法において、前記変換の前記実行は、前記ビデオから前記コーディングされている表現を生成するステップ又は前記コーディングされている表現から前記ビデオを生成するステップを含む、
30. ビデオ処理方法であって、
ビデオのN個の連続するビデオピクチャとビデオのコーディングされている表現との間の変換を実行するステップを含み、
N個の連続するビデオピクチャは、規則にしたがって複数の異なる解像度でコーディングされている1つ又は複数のビデオブロックを含み、
規則は、N個の連続するビデオピクチャについて、最大でK個の異なる解像度が許可されているということを規定し、N及びKは、整数である、ビデオ処理方法、を提供する。
ビデオのN個の連続するビデオピクチャとビデオのコーディングされている表現との間の変換を実行するステップを含み、
N個の連続するビデオピクチャは、規則にしたがって複数の異なる解像度でコーディングされている1つ又は複数のビデオブロックを含み、
規則は、N個の連続するビデオピクチャについて、最大でK個の異なる解像度が許可されているということを規定し、N及びKは、整数である、ビデオ処理方法、を提供する。
31. 節30に記載の方法において、N及びKは、3に等しい、方法、を提供する。
32. 節30に記載の方法において、Nは、10に等しく、Kは、3に等しい、方法、を提供する。
33. 節30に記載の方法において、コーディングされている表現の中のピクチャグループ(GOP)の中で、K個の異なる解像度が許可されている、方法、を提供する。
34. 節30に記載の方法において、同じ時間的な層識別子を有する2つのピクチャの間で、K個の異なる解像度が許可されている、方法、を提供する。
35. 節30乃至34のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
36. ビデオ処理方法であって、
複数のピクチャを含むビデオとビデオのコーディングされている表現との間の変換を実行するステップを含み、
複数のピクチャのうちの少なくとも一部は、複数の異なるコーディングされているビデオ解像度を使用してコーディングされている表現へとコーディングされ、
コーディングされている表現は、フォーマット規則に適合し、フォーマット規則においては、前のフレームの第1のコーディングされている解像度が、次のフレームがフレーム内符号化フレームとしてコーディングされる場合にのみ、前のフレームの順序的に後の次のフレームの第2のコーディングされている解像度に変更される、ビデオ処理方法、を提供する。
複数のピクチャを含むビデオとビデオのコーディングされている表現との間の変換を実行するステップを含み、
複数のピクチャのうちの少なくとも一部は、複数の異なるコーディングされているビデオ解像度を使用してコーディングされている表現へとコーディングされ、
コーディングされている表現は、フォーマット規則に適合し、フォーマット規則においては、前のフレームの第1のコーディングされている解像度が、次のフレームがフレーム内符号化フレームとしてコーディングされる場合にのみ、前のフレームの順序的に後の次のフレームの第2のコーディングされている解像度に変更される、ビデオ処理方法、を提供する。
37. 節36に記載の方法において、順序は、複数のピクチャが符号化される符号化順序に対応する、方法、を提供する。
38. 節36に記載の方法において、順序は、複数のピクチャが復号化される復号化順序に対応する、方法、を提供する。
39. 節36に記載の方法において、順序は、複数のピクチャが復号化の後に表示される表示順序に対応する、方法、を提供する。
40. 節36乃至39のうちのいずれか1つに記載の方法において、フレーム内符号化フレームは、フレーム内符号化ランダムアクセスポイントピクチャである、方法、を提供する。
41. 節36乃至39のうちのいずれか1つに記載の方法において、フレーム内符号化フレームは、即時復号化リフレッシュ(IDR)フレームである、方法、を提供する。
42. 節36乃至41のうちのいずれか1つに記載の方法において、変換の実行は、ビデオからコーディングされている表現を生成するステップ又はコーディングされている表現からビデオを生成するステップを含む、方法、を提供する。
43. ビデオ処理方法であって、
ビデオのコーディングされている表現を解析して、ビデオの現在のピクチャの現在のビデオブロックが、現在のピクチャの解像度とは異なる解像度と関連する参照ピクチャを参照するということを決定するステップと、
現在のビデオブロックに適用される単方向予測モードへと双方向予測モードを変換することによって、現在のビデオブロックについての予測ブロックを生成するステップと、
予測ブロックを使用してコーディングされている表現からビデオを生成するステップと、を含む、ビデオ処理方法、を提供する。
ビデオのコーディングされている表現を解析して、ビデオの現在のピクチャの現在のビデオブロックが、現在のピクチャの解像度とは異なる解像度と関連する参照ピクチャを参照するということを決定するステップと、
現在のビデオブロックに適用される単方向予測モードへと双方向予測モードを変換することによって、現在のビデオブロックについての予測ブロックを生成するステップと、
予測ブロックを使用してコーディングされている表現からビデオを生成するステップと、を含む、ビデオ処理方法、を提供する。
44. 節43に記載の方法において、予測ブロックを生成するステップは、現在のピクチャの解像度とは異なる解像度と関連する参照ピクチャに関するリストからの予測を破棄するステップを含む、方法、を提供する。
45. ビデオ処理方法であって、
動きベクトルの精度及び/又は解像度比に応じて、互いに異なる複数の解像度を有する複数の参照ピクチャからのフレーム間予測を有効化し又は無効化することによって、ビデオの現在のピクチャの現在のビデオブロックについての予測ブロックを生成するステップと、
予測ブロックを使用して、現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
動きベクトルの精度及び/又は解像度比に応じて、互いに異なる複数の解像度を有する複数の参照ピクチャからのフレーム間予測を有効化し又は無効化することによって、ビデオの現在のピクチャの現在のビデオブロックについての予測ブロックを生成するステップと、
予測ブロックを使用して、現在のビデオブロックとビデオのコーディングされている表現との間の変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
46. 節45に記載の方法において、解像度比にしたがってスケーリングされる動きベクトルが整数位置を指し示す場合に、フレーム間予測は有効化される、方法、を提供する。
47. 節45に記載の方法において、解像度比にしたがってスケーリングされる動きベクトルが、サブピクセル位置を指し示す場合に、フレーム間予測は有効化される、方法、を提供する。
48. 節45に記載の方法において、参照ピクチャが現在のピクチャの解像度とは異なる解像度と関連している場合に、双方向予測は無効化される、方法、を提供する。
49. 節45に記載の方法において、一方の参照ピクチャが現在のピクチャの解像度とは異なる解像度と関連し、且つ、他方の参照ピクチャが現在のピクチャの解像度と同じ解像度と関連する場合に、双方向予測は有効化される、方法、を提供する。
50. 節45に記載の方法において、参照ピクチャが、現在のピクチャの解像度とは異なる解像度と関連し、且つ、現在のビデオブロックのブロックの寸法が、特定の条件を満たす場合に、単方向予測は許可されない、方法、を提供する。
51. 節45乃至50のうちのいずれか1つに記載の方法において、前記変換の前記実行は、前記ビデオから前記コーディングされている表現を生成するステップ又は前記コーディングされている表現から前記ビデオを生成するステップを含む、方法、を提供する。
52. ビデオ処理方法であって、
ビデオの現在のピクチャの現在のビデオブロックのコーディング特性に基づいて、現在のビデオブロックとビデオのコーディングされている表現との間の変換の際に、現在のビデオブロックについての予測ブロックを生成するために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャが許可されているか否かを決定するステップと、
決定にしたがって変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
ビデオの現在のピクチャの現在のビデオブロックのコーディング特性に基づいて、現在のビデオブロックとビデオのコーディングされている表現との間の変換の際に、現在のビデオブロックについての予測ブロックを生成するために、現在のピクチャの寸法とは異なる寸法を有する参照ピクチャが許可されているか否かを決定するステップと、
決定にしたがって変換を実行するステップと、を含む、ビデオ処理方法、を提供する。
53. 節52に記載の方法において、前記コーディング特性は、前記現在のビデオブロックの寸法及び/又は前記現在のビデオブロックの予測モードを含む、方法、を提供する。
54. 節52に記載の方法において、決定するステップは、WB≧T1及びHB≧T2である場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、T1及びT2は、正の整数である、方法、を提供する。
55. 節52に記載の方法において、決定するステップは、WB＊HB≧Tである場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
56. 節52に記載の方法において、決定するステップは、Min(WB,HB)≧Tである場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
57. 節52に記載の方法において、決定するステップは、Max(WB,HB)≧Tである場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
58. 節52に記載の方法において、決定するステップは、WB≦T1及びHB≦T2である場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、T1及びT2は、正の整数である、方法、を提供する。
59. 節52に記載の方法において、決定するステップは、WB＊HB≦Tである場合に、現在のビデオブロックの寸法とは異なる寸法を有する参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
60. 節52に記載の方法において、決定するステップは、Min(WB,HB)≦Tである場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
61. 節52に記載の方法において、決定するステップは、Max(WB,HB)≦Tである場合に、参照ピクチャが許可されているということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、Tは、正の整数である、方法、を提供する。
62. 節52に記載の方法において、決定するステップは、WB≦T1及び/又はHB≦T2である場合に、参照ピクチャが許可されていないということを決定し、それにより、WB及びHBは、それぞれ、現在のビデオブロックの幅及び高さに対応し、T1及びT2は、正の整数である、方法、を提供する。
63. 節52乃至62のうちのいずれか1つに記載の方法において、前記変換の前記実行は、前記ビデオから前記コーディングされている表現を生成するステップ又は前記コーディングされている表現から前記ビデオを生成するステップを含む、方法、を提供する。
64. ビデオシステムにおける装置であって、その装置は、プロセッサと、命令を有する非一時的なメモリとを含み、プロセッサによる実行の際に、命令は、プロセッサに、節1乃至63のうちのいずれか1つに記載の方法を実装させる、装置、を提供する。
65. 非一時的なコンピュータ読み取り可能な媒体に格納されているコンピュータプログラム製品であって、そのコンピュータプログラム製品は、節1乃至63のうちのいずれか1つに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品、を提供する。
以上の説明から、本明細書において開示されている技術の複数の特定の実施形態は、本明細書においては、説明の目的で説明されているが、それらの開示されている技術の範囲から離れることなく、さまざまな修正を行うことが可能であるということが理解されるであろう。したがって、現在開示されている技術は、添付の特許請求の範囲による場合を除き、限定されない。
本明細書の中で開示されている構造及びそれらの構造的に等価なものを含むさまざまなシステム、ディジタル電子回路、又はコンピュータソフトウェア、ファームウェア、或いは、ハードウェアによって、或いは、それらの1つ又は複数の組み合わせによって、本明細書において説明されている主題及び機能的な操作の実装を実現してもよい。1つ又は複数のコンピュータプログラム製品として、すなわち、データ処理装置による又はデータ処理装置の動作を制御するための有体的なコンピュータ読み取り可能な媒体及び非一時的なコンピュータ読み取り可能な媒体において実行のために符号化されているコンピュータプログラム命令の1つ又は複数のモジュールとして、本明細書において説明されている主題の実装を実現してもよい。コンピュータ読み取り可能な媒体は、機械読み取り可能な記憶デバイス、機械読み取り可能な記憶基板、メモリデバイス、機械読み取り可能な伝搬される信号に影響を与える媒質の組成、或いは、それらの1つ又は複数の組み合わせであってもよい。"データ処理ユニット"又は"データ処理装置"の語は、例として、データを処理するためのプログラム可能なプロセッサ、コンピュータ、或いは、複数のプロセッサ又はコンピュータを含む装置、デバイス、及び機械のすべてを包含する。装置は、ハードウェアのほかに、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ又は複数の組み合わせを構成するコードといったように、対象のコンピュータプログラムの実行環境を生成するコードを含んでもよい。
(また、プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている)コンピュータプログラムは、コンパイルされている言語又は解釈された言語を含むいずれかの形態のプログラミング言語によって記述されてもよく、そのコンピュータプログラムは、独立型のプログラムとして、又は、あるコンピューティング環境で使用するのに適しているモジュール、構成要素、サブルーチン、又は他のユニットとして、いずれかの形態で展開されてもよい。コンピュータプログラムは、必ずしも、ファイルシステムの中のファイルに対応するわけではない。(例えば、マークアップ言語文書の中に格納されている1つ又は複数のスクリプト等の)他のプログラム又はデータを保持するファイルの一部分の中に、対象となるプログラムに専用の単一ファイルの中に、或いは、(例えば、1つ又は複数のモジュール、サブプログラム、又はコードの複数の部分を格納するファイル等の)複数の調整されたファイルの中に、プログラムを格納してもよい。1つのコンピュータ、或いは、1つのサイトに位置しているか、又は、複数のサイトにわたって分散されるとともに、通信ネットワークによって相互接続される複数のコンピュータにおいて実行されるように、コンピュータプログラムを展開してもよい。
本明細書において説明されている複数のプロセス及び論理フローは、1つ又は複数のコンピュータプログラムを実行する1つ又は複数のプログラム可能なプロセッサによって実行されて、入力データに対して動作し、そして、出力を生成することによって複数の機能を実行することが可能である。それらの複数のプロセス及び論理フローは、また、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)等の特殊目的論理回路によって実行されてもよく、装置は、また、それらの特殊目的論理回路として実装されてもよい。
コンピュータプログラムの実行に適しているプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの双方、及び、任意の種類のディジタルコンピュータの任意の1つ又は複数のプロセッサを含む。一般的に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその双方から命令及びデータを受信するであろう。コンピュータの不可欠な要素は、命令を実行するためのプロセッサ、及び、命令及びデータを格納するための1つ又は複数のメモリデバイスである。一般的に、コンピュータは、また、例えば、データを格納するための磁気光ディスク、磁気光ディスク、又は光ディスク等の1つ又は複数の大容量記憶デバイスを含むか、或いは、それらの大容量記憶デバイスからデータを受信し、又は、それらの大容量記憶デバイスにデータを転送するように動作可能に結合される。一方で、コンピュータは、そのようなデバイスを有する必要はない。コンピュータプログラム命令及びデータを格納するのに適しているコンピュータ読み取り可能な媒体は、例として、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイスを含むあらゆる形態の不揮発性メモリ、媒体、及びメモリデバイスを含む。プロセッサ及びメモリは、特殊目的論理回路によって補足されてもよく又は特殊目的論理回路の中に内蔵されてもよい。
明細書は、図面と共に、例示的なものであるにすぎないと考えられ、例示的は、ある1つの例を意味する。本明細書において使用されているように、単数形"a"、"an"、及び"the"は、文脈が明らかに異なるものを示している場合を除き、複数形を含むことも意図している。加えて、"or"の使用は、文脈が明らかに異なるものを示している場合を除き、"and/or"を含むことを意図している。
本明細書は、数多くの細部を含んでいるが、これらは、いずれかの発明の範囲又は請求項に記載されている発明の範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の特徴の説明であると解釈されるべきである。個別の実施形態の文脈の中で本明細書において説明されている特定の特徴は、単一の実施形態の中で組み合わせて実装されてもよい。逆に、単一の実施形態の文脈において説明されているさまざまな特徴は、また、複数の実施形態において個別に、又は、いずれかの適切なサブコンビネーションによって実装されてもよい。さらに、複数の特徴は、特定の組み合わせにおいて動作するとして上記で説明され、最初にそのように特許請求の範囲に記載されてもよいが、特許請求の範囲に記載されている組み合わせのうちの1又は複数の特徴は、場合によっては、その組み合わせから切り出されてもよく、特許請求の範囲に記載されている組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象としてもよい。
同様に、複数の動作が特定の順序で図面の中に示されているが、それらの図面の中の複数の動作は、望ましい結果を達成するために、示されている特定の順序で又は生起する順序でそのような動作を実行すること、又は、図示されている動作のすべてを実行することが必要とされていると理解されるべきではない。さらに、本明細書において説明されている複数の実施形態の中のさまざまなシステム構成要素の分離は、実施形態のすべてにおいてそのような分離を必要とすると理解されるべきではない。
少数の実装及び例のみが説明されているが、本明細書において説明され、図示されている事項に基づいて、他の実装、拡張、及びバリエーションを行ってもよい。
Claims (23)
- ビデオデータを処理する方法であって、当該方法は、
ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのビットストリームとの間の変換の場合に、前記変換を実行するために参照ピクチャを使用することに起因して、前記現在のビデオブロックについて、少なくとも1つのコーディングツールが無効化されているということを決定するステップであって、前記参照ピクチャは、前記現在のピクチャの精度とは異なる精度を有する、ステップと、
前記決定に基づいて、前記変換を実行するステップと、を含む、
方法。 - 前記少なくとも1つのコーディングツールは、デコーダ側の動きベクトル精緻化(DMVR)ツール、双方向オプティカルフロー(BDOF)ツール、オプティカルフローを使用する予測精緻化(PROF)ツール、時間的動きベクトル予測ツール、又は、サブブロックベースの時間的動きベクトル予測ツールを含み、
前記サブブロックベースの時間的動きベクトル予測ツールにおいて、ブロックは、少なくとも1つのサブブロックに分割され、前記少なくとも1つのサブブロックの動き情報は、並置されているピクチャの中のビデオ領域に基づいて導出され、前記ビデオ領域の位置は、利用可能な特定の隣接ブロックに基づいて導出される、請求項1に記載の方法。 - 前記現在のピクチャの前記精度は、前記現在のピクチャの幅又は高さのうちの少なくとも1つによって示される、請求項1に記載の方法。
- 前記決定に基づいて、前記変換を実行する前記ステップは、
前記現在のビデオブロックの予測値を計算するステップと、
再サンプリング処理を行うことなく、前記予測値に内挿補間処理を1回適用するステップと、を含む、請求項1に記載の方法。 - 前記少なくとも1つのコーディングツールは、アフィン予測、三角予測モード、対称動きベクトル差(SMVD)、動きベクトル差を使用するマージモード(MMVD)、フレーム間予測及びフレーム内予測、局所的照明補償(LIC)、履歴ベースの動きベクトル予測(HMVP)、複数変換セット(MTS)、サブブロック変換(SBT)、オプティカルフローを使用する予測精緻化(PROF)、低周波非2乗変換(LFNST)、又はフィルタリングツールのうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記コーディングツールの前記使用が無効化されている場合には、前記コーディングツールに関連する情報は含まれない、請求項1に記載の方法。
- 第1の構文要素に基づいて、前記ピクチャについて前記コーディングツールが無効化されているか否かを決定するステップをさらに含み、
前記ピクチャについて前記コーディングツールが無効化されているか否かを示す前記第1の構文要素は、ピクチャヘッダの中でシグナリングによって送られる、請求項1の方法。 - 前記ピクチャよりもより小さいビデオユニットについて、前記コーディングツールが無効化されているか又は有効化されているかは、前記第1の構文要素及び/又は前記ビデオのスライスタイプに依存する、請求項7に記載の方法。
- 前記第1の構文要素が真である場合には、前記ピクチャについて前記コーディングツールは無効化され、前記第1の構文要素が偽である場合には、前記ピクチャについて前記コーディングツールは有効化される、請求項7に記載の方法。
- 前記コーディングツールは、前記ピクチャの中のサンプルのすべてについて無効化され又は有効化される、請求項7に記載の方法。
- 前記第1の構文要素が前記ピクチャヘッダの中でシグナリングによって送られるか否かは、前記ビデオのピクチャのビデオ領域と関連するシーケンスパラメータセット(SPS)のうちの1つ又は複数の構文要素に依存する、請求項7に記載の方法。
- 前記1つ又は複数の構文要素は、前記ピクチャヘッダの中の前記第1の構文要素の存在を示す第2の構文要素及び前記ビデオのシーケンスについて前記コーディングツールが有効化されているか否かを示す第3の構文要素を含む、請求項11に記載の方法。
- 前記第2の構文要素は、前記第3の構文要素に基づいて、前記SPSにおいて条件付きでシグナリングによって送られる、請求項12に記載の方法。
- 前記第2の構文要素が真である場合に、前記第1の構文要素は、前記ピクチャヘッダの中でシグナリングによって送られ、前記ビデオのシーケンスについて前記コーディングツールが有効化されている場合に、前記第2の構文要素は、前記SPSにおいてシグナリングによって送られる、請求項12に記載の方法。
- 前記第1の構文要素及び/又は前記第2の構文要素は、1ビットを使用してコーディングされる、請求項12に記載の方法。
- 前記コーディングツールは、第1のコーディングツールを含み、前記第1のコーディングツールは、
アフィンモードを使用してコーディングされる現在のビデオブロックのサブブロックの初期予測サンプルを生成し、
オプティカルフロー演算を適用して、動きベクトル差dMvH及び/又はdMvVに基づいて予測精緻化を導出することによって、前記サブブロックについての最終的な予測サンプルを生成する、のに使用され、dMvH及びdMvVは、水平方向及び垂直方向に沿った動きベクトル差を示す、請求項7に記載の方法。 - 前記コーディングツールは、第2のコーディングツールを含み、前記第2のコーディングツールは、シグナリングによって送られる動きベクトルに対するオフセットを有する少なくとも1つの動きベクトルに基づいて、前記シグナリングによって送られる動きベクトルを精緻化するのに使用される、請求項7に記載の方法。
- 前記コーディングツールは、第3のコーディングツールを含み、前記第3のコーディングツールは、前記現在のブロックの参照ブロックの中のサンプルに対応する少なくとも1つの勾配値に基づいて、動きベクトルの精緻化を取得するのに使用される、請求項7に記載の方法。
- 前記変換の前記実行は、前記ビットストリームから前記現在のビデオブロックを復号化することを含む、請求項1乃至18のうちのいずれか1項に記載の方法。
- 前記変換の前記実行は、前記ビットストリームへと前記現在のビデオブロックを符号化することを含む、請求項1乃至18のうちのいずれか1項に記載の方法。
- 命令を有する非一時的なメモリ及びプロセッサを含み、ビデオデータを処理するための装置であって、前記プロセッサによって前記命令を実行すると、前記プロセッサが、
ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのビットストリームとの間の変換の場合に、前記変換を実行するために参照ピクチャを使用することに起因して、前記現在のビデオブロックについて、少なくとも1つのコーディングツールが無効化されているということを決定し、前記参照ピクチャは、前記現在のピクチャの精度とは異なる精度を有し、
前記決定に基づいて、前記変換を実行する、ようにさせる、
装置。 - 命令を格納する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサが、
ビデオの現在のピクチャの現在のビデオブロックと前記ビデオのビットストリームとの間の変換の場合に、前記変換を実行するために参照ピクチャを使用することに起因して、前記現在のビデオブロックについて、少なくとも1つのコーディングツールが無効化されているということを決定し、前記参照ピクチャは、前記現在のピクチャの精度とは異なる精度を有し、
前記決定に基づいて、前記変換を実行する、ようにさせる、
非一時的なコンピュータ読み取り可能な記憶媒体。 - ビデオのビットストリームを格納する方法であって、当該方法は、
前記ビデオの現在のピクチャの現在のビデオブロックについて、前記ビットストリームを生成するために参照ピクチャを使用することに起因して、前記現在のビデオブロックについて、少なくとも1つのコーディングツールが無効化されているということを決定するステップであって、前記参照ピクチャは、前記現在のピクチャの精度とは異なる精度を有する、ステップと、
前記決定に基づいて、前記ビットストリームを生成するステップと、
非一時的なコンピュータ読み取り可能な記録媒体の中に前記ビットストリームを格納するステップと、を含む、
方法。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019086487 | 2019-05-11 | ||
| CNPCT/CN2019/086487 | 2019-05-11 | ||
| CN2019110905 | 2019-10-12 | ||
| CNPCT/CN2019/110905 | 2019-10-12 | ||
| JP2021567032A JP7391109B2 (ja) | 2019-05-11 | 2020-05-11 | ビデオ処理におけるコーディングツールの選択的使用 |
| PCT/CN2020/089556 WO2020228660A1 (en) | 2019-05-11 | 2020-05-11 | Selective use of coding tools in video processing |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021567032A Division JP7391109B2 (ja) | 2019-05-11 | 2020-05-11 | ビデオ処理におけるコーディングツールの選択的使用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024026117A true JP2024026117A (ja) | 2024-02-28 |
Family
ID=73288936
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021567032A Active JP7391109B2 (ja) | 2019-05-11 | 2020-05-11 | ビデオ処理におけるコーディングツールの選択的使用 |
| JP2023196343A Pending JP2024026117A (ja) | 2019-05-11 | 2023-11-20 | ビデオ処理におけるコーディングツールの選択的使用 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021567032A Active JP7391109B2 (ja) | 2019-05-11 | 2020-05-11 | ビデオ処理におけるコーディングツールの選択的使用 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11575887B2 (ja) |
| EP (1) | EP3949388A4 (ja) |
| JP (2) | JP7391109B2 (ja) |
| KR (1) | KR102627834B1 (ja) |
| CN (3) | CN113853792A (ja) |
| BR (1) | BR112021022174A2 (ja) |
| SG (1) | SG11202112279WA (ja) |
| WO (2) | WO2020228660A1 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113711589B (zh) | 2019-04-01 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 帧间编解码模式中的二分之一像素插值滤波器 |
| CN115314708B (zh) * | 2019-05-15 | 2023-05-12 | 华为技术有限公司 | 视频码流的解码方法及对应的设备及介质 |
| EP3970363B1 (en) * | 2019-05-15 | 2023-05-17 | Huawei Technologies Co., Ltd. | Handling of bi-directional optical flow (bio) coding tool for reference picture resampling in video coding |
| KR102635319B1 (ko) * | 2019-08-20 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용 |
| KR20220073752A (ko) | 2019-10-12 | 2022-06-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩 툴들을 위한 상위 레벨 신택스 |
| US11589037B2 (en) * | 2019-12-20 | 2023-02-21 | Qualcomm Incorporated | Motion compensation using size of reference picture |
| KR20220156829A (ko) | 2020-03-20 | 2022-11-28 | 바이트댄스 아이엔씨 | 이웃 서브픽처의 코딩 |
| BR112022018960A2 (pt) | 2020-03-21 | 2022-11-16 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador |
| CN115462085A (zh) * | 2020-04-05 | 2022-12-09 | 字节跳动有限公司 | 视频编解码中滤波的高级控制 |
| CN115462070A (zh) * | 2020-04-20 | 2022-12-09 | 字节跳动有限公司 | 对参考图片列表的约束 |
| EP4154533A4 (en) | 2020-06-20 | 2023-11-01 | Beijing Bytedance Network Technology Co., Ltd. | CROSS-LAYER PREDICTION WITH DIFFERENT CODING BLOCK SIZE |
| US11683514B2 (en) | 2020-12-22 | 2023-06-20 | Tencent America LLC | Method and apparatus for video coding for machine |
| US20230179774A1 (en) * | 2021-12-08 | 2023-06-08 | Tencent America LLC | Method and apparatus for scene detection based encoding |
| US20230199211A1 (en) * | 2021-12-16 | 2023-06-22 | Qualcomm Incorporated | Interaction between reference picture resampling and template-based inter prediction techniques in video coding |
| WO2023200246A1 (ko) * | 2022-04-12 | 2023-10-19 | 엘지전자 주식회사 | 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
| US20230343332A1 (en) * | 2022-04-21 | 2023-10-26 | Google Llc | Joint Segmenting and Automatic Speech Recognition |
| CN116760976B (zh) * | 2023-08-21 | 2023-12-08 | 腾讯科技（深圳）有限公司 | 仿射预测决策方法、装置、设备及存储介质 |
Family Cites Families (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8442108B2 (en) | 2004-07-12 | 2013-05-14 | Microsoft Corporation | Adaptive updates in motion-compensated temporal filtering |
| US8340177B2 (en) | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
| US8374238B2 (en) | 2004-07-13 | 2013-02-12 | Microsoft Corporation | Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video |
| US20130094774A1 (en) * | 2011-10-13 | 2013-04-18 | Sharp Laboratories Of America, Inc. | Tracking a reference picture based on a designated picture on an electronic device |
| US9525861B2 (en) | 2012-03-14 | 2016-12-20 | Qualcomm Incorporated | Disparity vector prediction in video coding |
| US9503720B2 (en) * | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
| WO2013153822A1 (en) * | 2012-04-13 | 2013-10-17 | Sharp Kabushiki Kaisha | Devices for sending and receiving a long-term reference picture indicator |
| US9380289B2 (en) | 2012-07-20 | 2016-06-28 | Qualcomm Incorporated | Parameter sets in video coding |
| US20140098851A1 (en) | 2012-10-04 | 2014-04-10 | Qualcomm Incorporated | Indication of video properties |
| WO2014166119A1 (en) | 2013-04-12 | 2014-10-16 | Mediatek Inc. | Stereo compatibility high level syntax |
| CA2909566C (en) * | 2013-04-17 | 2018-07-03 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| WO2015006967A1 (en) | 2013-07-19 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Simplified view synthesis prediction for 3d video coding |
| US10230937B2 (en) | 2013-08-13 | 2019-03-12 | Hfi Innovation Inc. | Method of deriving default disparity vector in 3D and multiview video coding |
| US9667996B2 (en) * | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
| US20150160390A1 (en) | 2013-12-10 | 2015-06-11 | Apple Inc. | Display Having Polarizer with Unpolarized Strip |
| WO2015100710A1 (en) | 2014-01-02 | 2015-07-09 | Mediatek Singapore Pte. Ltd. | Existence of inter-view reference picture and availability of 3dvc coding tools |
| US10158884B2 (en) | 2014-03-19 | 2018-12-18 | Qualcomm Incorporated | Simplified merge list construction process for 3D-HEVC |
| WO2015169230A1 (en) * | 2014-05-06 | 2015-11-12 | Mediatek Inc. | Video processing method for determining position of reference block of resized reference frame and related video processing apparatus |
| CN105187824A (zh) * | 2014-06-10 | 2015-12-23 | 杭州海康威视数字技术股份有限公司 | 图像编码方法和装置以及图像解码方法和装置 |
| US10469847B2 (en) | 2014-09-12 | 2019-11-05 | Vid Scale, Inc. | Inter-component de-correlation for video coding |
| US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| WO2016108188A1 (en) * | 2014-12-31 | 2016-07-07 | Nokia Technologies Oy | Inter-layer prediction for scalable video coding and decoding |
| CN106416254B (zh) | 2015-02-06 | 2019-08-02 | 微软技术许可有限责任公司 | 在媒体编码期间跳过评估阶段 |
| EP3264768A1 (en) * | 2016-06-30 | 2018-01-03 | Thomson Licensing | Method and apparatus for video coding with adaptive motion information refinement |
| US10979732B2 (en) * | 2016-10-04 | 2021-04-13 | Qualcomm Incorporated | Adaptive motion vector precision for video coding |
| US10674165B2 (en) | 2016-12-21 | 2020-06-02 | Arris Enterprises Llc | Constrained position dependent intra prediction combination (PDPC) |
| WO2018113658A1 (en) * | 2016-12-22 | 2018-06-28 | Mediatek Inc. | Method and apparatus of motion refinement for video coding |
| US10542280B2 (en) | 2017-01-09 | 2020-01-21 | QUALCOMM Incorpated | Encoding optimization with illumination compensation and integer motion vector restriction |
| US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
| US10602180B2 (en) | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
| CN111095933B (zh) | 2017-09-15 | 2022-05-13 | 索尼公司 | 图像处理装置和方法 |
| CN117499684A (zh) | 2017-09-20 | 2024-02-02 | 韩国电子通信研究院 | 用于对图像进行编码/解码的方法和装置 |
| GB2567249A (en) * | 2017-10-09 | 2019-04-10 | Canon Kk | New sample sets and new down-sampling schemes for linear component sample prediction |
| US11750832B2 (en) * | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
| CN117336504A (zh) | 2017-12-31 | 2024-01-02 | 华为技术有限公司 | 图像预测方法、装置以及编解码器 |
| US11265551B2 (en) | 2018-01-18 | 2022-03-01 | Qualcomm Incorporated | Decoder-side motion vector derivation |
| MX2020009056A (es) | 2018-03-01 | 2020-12-03 | Arris Entpr Llc | Sistema y método de almacenamiento de información de movimiento para codificación y señalizacion de video. |
| US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
| CN112655214A (zh) | 2018-04-12 | 2021-04-13 | 艾锐势有限责任公司 | 用于视频编码和信令通知的运动信息存储 |
| WO2019234578A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Asymmetric weighted bi-predictive merges |
| US11070813B2 (en) | 2018-06-29 | 2021-07-20 | Intel Corporation | Global motion estimation and modeling for accurate global motion compensation for efficient video processing or coding |
| CN110944195B (zh) | 2018-09-23 | 2023-05-09 | 北京字节跳动网络技术有限公司 | 具有自适应运动矢量分辨率的运动矢量的修改 |
| TW202029755A (zh) | 2018-09-26 | 2020-08-01 | 美商Ｖｉｄ衡器股份有限公司 | 視訊編碼雙預測 |
| WO2020084461A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on decoder side motion vector derivation based on coding information |
| CN112913240A (zh) | 2018-10-22 | 2021-06-04 | 北京字节跳动网络技术有限公司 | 解码器侧运动矢量推导和其他编解码工具之间的并置 |
| CN112913247B (zh) | 2018-10-23 | 2023-04-28 | 北京字节跳动网络技术有限公司 | 使用局部照明补偿的视频处理 |
| CN112868239B (zh) | 2018-10-23 | 2023-05-30 | 北京字节跳动网络技术有限公司 | 并置的局部照明补偿和帧内块复制编解码 |
| EP3861731A4 (en) | 2018-11-05 | 2021-11-24 | Beijing Bytedance Network Technology Co. Ltd. | INTERPOLATION TO INTERPRDICTION WITH REFINEMENT |
| MX2021005355A (es) | 2018-11-07 | 2021-06-30 | Huawei Tech Co Ltd | Un codificador de video, un decodificador de video y metodos correspondientes. |
| WO2020098803A1 (en) | 2018-11-15 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Harmonization between affine mode and other inter coding tools |
| CN113016185B (zh) | 2018-11-17 | 2024-04-05 | 北京字节跳动网络技术有限公司 | 以运动矢量差分模式控制Merge |
| CN113170181B (zh) | 2018-11-29 | 2023-12-08 | 北京字节跳动网络技术有限公司 | 块内拷贝模式中的仿射继承方法 |
| WO2020147745A1 (en) | 2019-01-15 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate lists that use local illumination compensation |
| WO2020147747A1 (en) | 2019-01-15 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Weighted prediction in video coding |
| CN113316933A (zh) | 2019-01-17 | 2021-08-27 | 北京字节跳动网络技术有限公司 | 使用运动预测进行去方块滤波 |
| TW202101985A (zh) * | 2019-03-11 | 2021-01-01 | 美商Ｖｉｄ衡器股份有限公司 | 子圖片適應性解析度改變方法及裝置 |
| US20200296405A1 (en) * | 2019-03-14 | 2020-09-17 | Qualcomm Incorporated | Affine motion compensation refinement using optical flow |
| EP4329309A3 (en) | 2019-05-10 | 2024-03-27 | Beijing Bytedance Network Technology Co., Ltd. | Selection of secondary transform matrices for video processing |
-
2020
- 2020-05-11 CN CN202080035365.1A patent/CN113853792A/zh active Pending
- 2020-05-11 BR BR112021022174A patent/BR112021022174A2/pt unknown
- 2020-05-11 KR KR1020217035999A patent/KR102627834B1/ko active IP Right Grant
- 2020-05-11 WO PCT/CN2020/089556 patent/WO2020228660A1/en unknown
- 2020-05-11 JP JP2021567032A patent/JP7391109B2/ja active Active
- 2020-05-11 CN CN202080035262.5A patent/CN113826386B/zh active Active
- 2020-05-11 SG SG11202112279WA patent/SG11202112279WA/en unknown
- 2020-05-11 EP EP20805395.9A patent/EP3949388A4/en active Pending
- 2020-05-11 WO PCT/CN2020/089555 patent/WO2020228659A1/en active Application Filing
- 2020-05-11 CN CN202311322870.6A patent/CN117692630A/zh active Pending
-
2021
- 2021-11-04 US US17/519,310 patent/US11575887B2/en active Active
-
2022
- 2022-12-27 US US18/089,381 patent/US20230133338A1/en active Pending
-
2023
- 2023-11-20 JP JP2023196343A patent/JP2024026117A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220006064A (ko) | 2022-01-14 |
| CN113853792A (zh) | 2021-12-28 |
| CN113826386A (zh) | 2021-12-21 |
| BR112021022174A2 (pt) | 2021-12-21 |
| CN113826386B (zh) | 2023-10-24 |
| US11575887B2 (en) | 2023-02-07 |
| KR102627834B1 (ko) | 2024-01-23 |
| EP3949388A4 (en) | 2022-06-08 |
| US20230133338A1 (en) | 2023-05-04 |
| WO2020228659A1 (en) | 2020-11-19 |
| SG11202112279WA (en) | 2021-12-30 |
| EP3949388A1 (en) | 2022-02-09 |
| JP7391109B2 (ja) | 2023-12-04 |
| WO2020228660A1 (en) | 2020-11-19 |
| CN117692630A (zh) | 2024-03-12 |
| US20220060692A1 (en) | 2022-02-24 |
| JP2022531965A (ja) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7391109B2 (ja) | ビデオ処理におけるコーディングツールの選択的使用 | |
| KR102653570B1 (ko) | 참조 픽처 리샘플링을 위한 신호 | |
| JP7391203B2 (ja) | ビデオコーディングツールを洗練する使用およびシグナリング | |
| US11689747B2 (en) | High level syntax for video coding tools | |
| CN113826382B (zh) | 视频编解码中的自适应比特深度转换 | |
| JP2023164427A (ja) | ビデオコーディングにおける参照サンプル位置の導出 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231220 |