JP2023518440A - 参照ピクチャリサンプリング - Google Patents
参照ピクチャリサンプリング Download PDFInfo
- Publication number
- JP2023518440A JP2023518440A JP2022556146A JP2022556146A JP2023518440A JP 2023518440 A JP2023518440 A JP 2023518440A JP 2022556146 A JP2022556146 A JP 2022556146A JP 2022556146 A JP2022556146 A JP 2022556146A JP 2023518440 A JP2023518440 A JP 2023518440A
- Authority
- JP
- Japan
- Prior art keywords
- video
- picture
- current
- reference picture
- syntax element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012952 Resampling Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 133
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 239000010410 layer Substances 0.000 claims description 223
- 238000012545 processing Methods 0.000 claims description 37
- 238000003672 processing method Methods 0.000 claims description 37
- 239000011229 interlayer Substances 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000000844 transformation Methods 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 84
- 239000013598 vector Substances 0.000 description 26
- 230000008569 process Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000007774 longterm Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 101150067185 ppsA gene Proteins 0.000 description 3
- 101150010264 ppsB gene Proteins 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年3月21日出願の国際特許出願第PCT/CN2020/080533号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像コーディング技術に関する。具体的には、1)映像コーディングにおける、参照ピクチャリサンプリング(RPR)、サブピクチャ、およびスケーラビリティのうちの2つ以上の組み合わせ、2)現在のピクチャと同じ空間解像度を有する参照ピクチャとの間でのRPRの使用、および、3)長期参照ピクチャと同一位置に配置されたピクチャとの組み合わせ、である。この考えは、個々に又は様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング標準又は非標準映像コーデックに適用されてもよい。
APS Adaptation Parameter Set
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
CLVS Coded Layer Video Sequence
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DCI Decoding Capability Information
DPB Decoded Picture Buffer
EOB End Of Bitstream
EOS End Of Sequence
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
ILP Inter-Layer Prediction
ILRP Inter-Layer Reference Picture
IRAP Intra Random Access Picture
JEM Joint Exploration Model
LTRP Long-Term Reference Picture
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
PPS Picture Parameter Set
PTL Profile,Tier and Level
PU Picture Unit
RAP Random Access Point
RBSP Raw Byte Sequence Payload
SEI Supplemental Enhancement Information
SPS Sequence Parameter Set
STRP Short-Term Reference Picture
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、MTU(Maximum Transfer Unit)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
AVCおよびHEVCにおいて、ピクチャの空間解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラ符号化されるIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号化されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング(RPR)と称する。
スケーラブル映像コーディング(SVC、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、ベースレイヤ(BL)(時には、参照レイヤ(RL)と呼ばれる)映像コーディングを呼ばれることもあり、1つ以上のスケーラブルエンハンスメントレイヤ(EL)が使用される。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間、時間、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、以前に符号化されたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の増強レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、コーディングまたは復号)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
360度映像のストリーミング、即ち、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット(例えば、現在のビューポート)のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、且つユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の箇所に変えた場合に備えて、すぐにユーザにレンダリングされている現在のビューポートに対してのみ、全方向性映像の高品質表現が必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。VVCを使用して、2つの表現は、互いに独立した2つのレイヤとして符号化され得る。
AVC、HEVC、VVCはパラメータ集合を指定する。パラメータ集合のタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVCドラフトテキストに含まれている。
最近のVVCテキストにおける既存の設計は、以下の課題を有する。
1) 現在のVVC設計は、図11に示すように、360度映像の典型的なコーディング方式をサポートする。しかしながら、現在のVVC設計においてスケーラビリティがサポートされているが、図12に示されるような改良された360度映像コーディング方式はサポートされていない。図11に示されたアプローチと比較した唯一の差異は、図12に示されたアプローチに対してレイヤ間予測(ILP)が適用されることである。
VVC草案における以下の2つの箇所は、サブピクチャと空間的スケーラビリティとを組み合わせて使用することを許可していない。
a. VVCにおける空間的スケーラビリティ設計は、RPRの特徴に依存する。しかしながら、RPRとサブピクチャとの組み合わせは、現在、以下の意味論の制約によって許可されていない。
その結果、上位レイヤが参照するSPSに対しては、上記の制約が、subpic_info_present_flagを1に設定すること(1ピクチャ当たり複数のサブピクチャを使用すること)、かつ、同時に、res_change_in_clvs_allowed_flagを1に設定すること(ILPによる空間的スケーラビリティのために必要であるRPRを有効化すること)を許可しないため、この改良されたコーディング方式は、許可されない。
b. 現在のVVC草案は、サブピクチャとスケーラビリティとの組み合わせに関して、以下の制約を有する。
この上述の制約は、基本的に、サブピクチャとSNRスケーラビリティとの制限された組み合わせ以外の、サブピクチャとILPとのスケーラビリティとの任意の他の組み合わせを許可しない。ここで、各依存性ツリー内のレイヤは、同じ空間解像度および同じサブピクチャレイアウトを有する必要がある。
2) subpic_treated_as_pic_flag[i]が1に等しい場合、i番目のサブピクチャのサブピクチャ境界は、動き補償におけるピクチャ境界として扱われる。このような処理は、VVC草案テキストにおいて、動き補償に関する復号化処理においてあるクリッピング演算を適用することで実現される。しかしながら、図12に示される改良されたコーディング方式の場合、下位レイヤは完全に復号化器に利用可能であるため、i番目のサブピクチャに対応する領域だけでなく、このようなクリッピングを適用する必要がなく、不必要なコーディング効率の低下を回避する。
3) 図12に示された改良されたコーディング方式のサポートを考慮しなければ、上述したようなサブピクチャの組み合わせおよびスケーラビリティに関する既存の制約は、以下の課題を有する(この記載は課題1bの記載に含まれる)。
a. この制約は、i番目のサブピクチャを含むレイヤがOLSの出力レイヤでない場合にも適用されるべきである。レイヤがOLSの出力レイヤであるかどうかを考慮しない方法で、制約全体を特定すべきである。
b. subpic_treated_as_pic_flag[i]の値をレイヤ全体にわたって整列させるための要件を含めるべきであり、そうでない場合、レイヤ全体にわたって同じインデックスを有するサブピクチャシーケンスを抽出することは不可能であろう。
c. subpic_treated_as_pic_flag[i]が1に等しく、サブピクチャシーケンスが抽出可能である限り、loop_filter_across_subpic_enabled_flag[i]の値をレイヤ全体にわたって整列させるための要件は、このフラグの値に関わらず除外されるべきである。loop_filter_across_subpic_enabled_flag[i]の値の設定は、エンコーダが、単一の抽出可能なサブピクチャシーケンスの品質と抽出可能なサブピクチャシーケンスのセットの品質とをトレードオフすることを決定するために、2つのフラグが互いに独立して信号通知される理由と同様に、行わなければならない。
d. sps_num_subpics_minus1が0より大きい場合にのみ、この制約全体を適用すべきである。これにより、サブピクチャごとに1つのサブピクチャが存在するすべての場合がこの制約によって意図せずに覆われることを回避する。
e. 制約が適用される時間的範囲、例えばAUのセットを明確に特定することが必要である。
f. 1つのピクチャ当たり複数のサブピクチャが存在する場合に、ITRPのRPRが必要とされないことを確認するために、スケーリングウィンドウパラメータscaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値をレイヤ全体にわたって整列させるための要件が含まれるべきである。
4) 現在のピクチャの同一位置に配置されたピクチャは、現在のピクチャと同じレイヤの長期参照ピクチャ(LTRP)であってもよく、レイヤ間参照ピクチャ(ILRP)であってもよく、例えば、現在のピクチャとは異なるレイヤの参照ピクチャであってもよい。しかし、いずれの場合も、POCに基づく動きベクトルのスケーリングは適用されず、したがって、これを可能にすることに起因するコーディング性能は非常に低いと予想される。その結果、現在のピクチャのために同一位置に配置されたピクチャがLTRPまたはILRPであることを許可しないほうがよい。
5) 現在、CLVSにおいて同じ空間解像度を有するピクチャは、異なるスケーリングウィンドウを有することができる。しかしながら、そうでない場合、RPRのためのSPSフラグおよびRPRのための一般的な制約フラグを使用してRPRツールを完全に無効化することができないので、このようなことは許可されない。
上述した課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1) 課題1aを解決するために、RPRを制御するための1つのSPSフラグ(例えば、現在のVVC草案におけるように、res_change_in_clvs_allowed_flag)だけを有する代わりに、複数の(例えば、2つの)SPSフラグを規定および/または信号通知してもよい。
a. 例えば、第1のフラグ(例えば、ref_pic_resampling_enabled_flag)は、1つ以上のピクチャの復号にRPRの使用が必要があるかどうかを規定する一方、第2のフラグ(例えば、res_change_in_clvs_allowed_flag)は、CLVS内でピクチャ解像度の変更が許容されるかどうかを規定する。
b. さらに、代替的に、第2のフラグは、第1のフラグが1つ以上のピクチャの復号にRPRの使用が必要となる可能性があることを規定した場合にのみ信号通知される。さらに、信号が送信されていない場合、第2のフラグの値は、CLVS内でピクチャの解像度を変更することが許可されないことを示す値であると推測される。
i. 代替的に、2つのフラグは互いに依存せず、信号通知される。
c. 代替的に、第1および第2のフラグの各々に対して1つの一般的な制約フラグがあるように、さらにもう1つの一般的な制約フラグを追加する。
d. さらに、res_change_in_clvs_allowed_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可されないが、ref_pic_resampling_enabled_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可される。
f. 代替的に、SPS内の代わりに、VPS内で複数の(例えば2つの)フラグのうちの1つまたはすべてのフラグを信号通知してもよい。
i. 一例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべてのフラグは、VPSによって規定されたすべてのレイヤに適用される。
ii. 別の例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべては、VPSにおいて信号通知される複数のインスタンスをそれぞれ有することができ、各インスタンスは、1つの依存性ツリーにおけるすべてのレイヤに適用される。
g. 一例において、複数のフラグの各々は、l個のビットu(1)を使用して、符号なしの整数としてコーディングされる。
h. 代替的に、1つのシンタックス要素に非バイナリ値を信号通知してもよく、例えば、SPS/VPSにおいて、復号処理におけるRPRの使用およびCLVS内のピクチャ解像度の変更の許可を規定する。
i. 一例において、シンタックス要素の値が0に等しい場合、それは、1つ以上のピクチャの復号にRPRの使用が必要でないことを規定する。
ii. 一例において、シンタックス要素の値が1に等しい場合、このシンタックス要素は、1つ以上のピクチャの復号にRPRの使用が必要とされ得る一方、CLVS内でのピクチャ解像度の変更が許可されないことを規定する。
iii. 一例において、シンタックス要素の値が2に等しい場合、それは、ピクチャ解像度がCLVS内で変化することを許可されている間、1つ以上のピクチャの復号にRPRの使用が必要とされ得ることを規定する。
iv. さらに、代替的に、シンタックス要素をどのように信号通知するかは、レイヤ間予測が許可されるかどうかに依存してもよい。
v. 一例において、シンタックス要素は、ue(v)を使用してコーディングされ、左ビットが1つ目の、符号なしの整数の0次の指数ゴロムコーディングされたシンタックス要素を示す。
vi. 別の例において、シンタックス要素は、Nビットu(N)を使用して符号なしの整数としてコーディングされ、例えば、Nは2に等しい。
2) 代替的に、または課題1aを解決するための項目1に加え、依然として1つのフラグ、例えばres_change_in_clvs_allowed_flagだけを有する必要があるが、フラグの値に関わらず、レイヤ間参照ピクチャのリサンプリングが許可されるように、意味論を変更してもよい。
b. この変更により、res_change_in_clvs_allowed_flagが0に等しい場合であっても、1つのサブピクチャ/ピクチャの復号は、依然としてレイヤ間参照ピクチャ(ILRP)のためにRPRを使用することができる。
3) 課題1bを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約は、クロスレイヤアライメント制限を現在のレイヤおよび現在のレイヤに依存するすべての上位レイヤにのみを課され、現在のレイヤまたは下位レイヤに依存しない上位レイヤには課すことはしない。
a. 代替的に、現在のレイヤおよび現在のレイヤよりも高いすべてのレイヤにクロスレイヤアライメント制限のみを課すように、制約を更新する。
b. 代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての上位レイヤとに、クロスレイヤアライメント制限のみを課すように、制約を更新する。
c. 代替的に、現在のレイヤおよび現在のレイヤの参照レイヤであるすべての下レイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
d. 代替的に、現在のレイヤおよび現在のレイヤよりも低いすべてのレイヤにクロスレイヤアライメント制限のみを課すように、この制約を更新する。
e. 代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての下レイヤとに、クロスレイヤアライメント制限のみを課すように、制約を更新する。
f. 代替的に、最上レイヤよりも低いすべてのレイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
g. 代替的に、最下レイヤよりも高いすべてのレイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
4) 課題2を解決するために、1つ以上の復号処理をピクチャの境界として扱うための動き補償/動き予測におけるサブピクチャの境界のインター予測関連処理におけるクリッピング演算を含む1つ以上の復号処理(例えば、8.5.2.11項の時間的輝度動きベクトル予測の導出処理、8.5.3.2.2項の輝度サンプル双線形補間処理、8.5.5.3項のサブブロックに基づく時間的マージ候補の導出処理、8.5.5.4項のサブブロックに基づく時間的マージベース動きデータベースの導出処理、8.5.5.6項の構築されたアフィン制御点動きベクトル合併候補の導出処理、8.5.6.3.2項の輝度サンプル補間フィルタリング処理、8.5.6.3.3項の輝度整数サンプルフェッチ処理、および8.5.6.3.4項の彩度サンプル補間処理)のうち、以下の変更が適用される。
a. 一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、且つ参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい場合、クリッピング演算が適用され、そうでない場合、は適用されないように変更される。
i. 代替的に、ピクチャの同一位置に配置されたピクチャがILRPであることが許可されない場合、上述したように、参照ピクチャrefPicLXが同一位置に配置されたピクチャでない処理のみを変更し、参照ピクチャrefPicLXが同一位置に配置されたピクチャである処理は変更しない。
b. 一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、かつ、現在のスライスのnal_unit_typeの値がIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しい場合にはクリッピング演算が適用され、そうでない場合には適用されないように変更される。同時に、ILPは、IRAPピクチャのみのコーディングを許可される。
c. 一例において、これらの復号処理に対して何の変更も行われず、例えば、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、それ以外の場合、現在のVVCテキストと同様に、クリッピング演算が適用される。
5) 課題3aを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約によって、各依存性ツリーにおけるすべてのレイヤにクロスレイヤアライメント制限が課せられる。依存性ツリーは、特定のレイヤを含み、すべてのレイヤは特定のレイヤを参照レイヤとして有し、すべてのレイヤの参照レイヤは特定のレイヤのうちのいずれか1つのレイヤがOLSの出力レイヤであるかどうかに依存しない。
6) 課題3bを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を、subpic_treated_as_pic_flag[i]の値にクロスレイヤアライメント制限を課すように更新する。
7) 課題3cを解決するために、ILPとのサブピクチャおよびスケーラビリティの組み合わせに関する制約を、loop_filter_across_subpic_enabled_flag[i]の値にクロスレイヤアライメント制限を課さないように更新する。
8) 課題3dを解決するために、sps_num_subpics_minus1が0に等しい場合、制約が適用されないように、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を更新する。
a. 代替的に、subpic_info_present_flagが0に等しい場合、制約が適用されないように制約を更新する。
9) 課題3eを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティに関する制約を更新し、この制約によって、ある種のAUの対象のセットにおけるピクチャにクロスレイヤアライメント制限が課せられる。
a. 一例において、SPSを参照する現在のレイヤの各CLVSについて、AUの対象のセットtargetAuSetを、復号順にCLVSの最初のピクチャを含むAUから始まって復号順にCLVSの最後のピクチャを含むAUまでのすべてのAUとする。
10) 課題3fを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約をスケーリングウィンドウパラメータscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値に対するクロスレイヤアライメント制限を課すように更新する。
11) 課題4を解決するために、現在のピクチャのための同一位置に配置されたピクチャは、長期参照ピクチャ(LTRP)であってはならないと制約される。
a. 代替的に、現在のピクチャのための同一位置に配置されたピクチャは、レイヤ間参照ピクチャ(ILRP)でないべきであると制約される。
b. 代替的に、現在のピクチャのための同一位置に配置されたピクチャは、LTRPまたはILRPであってはならないと制約される。
c. 代替的に、現在のピクチャの同一位置に配置されたピクチャがLTRPまたはILRPである場合、同一位置に配置されたピクチャを指す動きベクトルを得るためにスケーリングは適用されない。
12) 課題5を解決するために、scaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値は、それぞれ、pic_width_in_luma_samplesとpic_height_in_luma_samplesを有する同じCLVS内で、任意の2つのピクチャに対して同じであるものとするよう、制約される。
a. 代替的に、上記「同じCLVS内」を「同じCVS内」に置き換える。
b. 代替的に、この制約は、以下のように規定される。
ppsAおよびppsBを、同じSPSを参照する任意の2つのPPSとする。ppsAおよびppsBがそれぞれpic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する場合、ppsAおよびppsBは、それぞれscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetと同じ値を有するものとすることが、ビットストリーム適合性の要件である。
c. 代替的に、この制約は、以下のように規定される。
scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値は、同じCVS内にあるとともに、次の条件をすべて致す任意の2つのピクチャに対して同じであるとする。
i. 2つのピクチャは、それぞれ、pic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する。
ii. 2つのピクチャは、一方のレイヤが他方のレイヤの参照レイヤである同じレイヤまたは2つのレイヤに属する。
13) 現在のピクチャと同じアクセスユニット内の他のピクチャとでピクチャの解像度/スケーリングウィンドウが異なる場合、現在のピクチャがIRAPピクチャである場合にのみ、ILPを許可することが求められる。
14) 本文書において、ピクチャ解像度は、ピクチャの幅および/または高さを指してもよく、またはピクチャのスケーリングウィンドウまたは適合性ウィンドウの幅および/または高さおよび/または左上隅の位置を指してもよい。
15) 本文書において、RPRが使用されない場合、現在のピクチャの任意の参照ピクチャの解像度が現在のピクチャの解像度と同じであることを意味するもある。
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC仕様に適用できる。既に追加または修正された最も関連する部分には太字のイタリック体で下線を付し、削除された部分のうちのいくつかは、[[]]を使用して示す。
本実施例は、1、1.a、1.b、1.c、1.d、3、4.a.i、5、6、7、8、9、9.a、10、11および12b項に関する。
7.3.2.3 シーケンスパラメータセットシンタックス
7.4.3.3 シーケンスパラメータセットRBSP意味論
...
...
...
7.4.3.4 ピクチャーパラメータセットRBSP意味論
...
SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)の値は、pic_width_in_luma_samplesより小さいものとし、SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)の値は、pic_height_in_luma_samplesより小さいものとする。
PicOutputWidthLおよびPicOutputHeightLの変数は以下のように導出される。
PicOutputWidthL=pic_width_in_luma_samples-SubWidthC*(scaling_win_right_offset+scaling_win_left_offset) (78)
PicOutputHeightL=pic_height_in_luma_samples-SubWidthC*(scaling_win_bottom_offset+scaling_win_top_offset) (79)
このPPSを参照する現在のピクチャの参照ピクチャのPicOutputWidthL、refPicOutputHeightLを、それぞれ、PicOutputWidthL、PicOutputHeightLとする。ビットストリーム適合性の要件は、以下のすべての条件を満たすことである。
- PicOutputWidthL*2はrefPicWidthInLumaSamples以上であるものとする。
- PicOutputHeightL*2はrefPicHeightInLumaSamples以上であるものとする。
- PicOutputWidthLがrefPicWidthInLumaSamples*8以下であるものとする。
- PicOutputHeightLがrefPicHeightInLumaSamples*8以下であるものとする。
- PicOutputWidthL*pic_width_max_in_luma_samplesはrefPicOutputWidthL*(pic_width_in_luma_samples-Max(8,MinCbSizeY)以上であるものとする。
- PicOutputHeightL*pic_height_max_in_luma_samplesはrefPicOutputHeightL*(pic_height_in_luma_samples-Max(8,MinCbSizeY))以上であるものとする。
...
7.2.3.2 一般的な制約情報シンタックス
7.4.4.2 一般的な制約情報意味論
...
...
7.4.8.1 一般スライスヘッダ意味論
...
slice_typeがBまたはPであり、ph_temporal_mvp_enabled_flagが1に等しく、slice_collocated_from_l0_flagが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_from_l0_flagはph_collocated_from_l0_flagに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しく、slice_typeがPに等しい場合)、slice_collocated_from_l0_flagの値は1に等しいと推論される。
slice_typeがPであるか、またはslice_typeがBに等しく、slice_collocated_from_l0_flagが1に等しい場合は、slice_collocated_ref_idxは、参照ピクチャリスト0のエントリを参照し、slice_collocated_ref_idxの数値は、0からNumRefIdxActive[0]-1の範囲内にあるものとする。
slice_typeがBに等しく、slice_collocated_from_l0_flagが0に等しい場合、slice_collocated_ref_idxの値は、参照ピクチャリスト1のエントリを参照し、slice_collocated_ref_idxは、0からNumRefIdxActive[1]-1の範囲内にあるものとする。
slice_collocated_ref_idxが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_ref_idxの値はph_collocated_ref_idxに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しい)、slice_collocated_ref_idxの値は0に等しいと推論される。
slice_collocated_ref_idxで参照される参照ピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesの値が、それぞれ現在のピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesと同じであるものとし、RprConstraintsActive[slice_collocated_from_l0_flag?0:1][slice_collocated_ref_idx]は0に等しいものとすることが、ビットストリーム適合性の要件である。
...
8.5.3.2.2 輝度サンプル双線形補間処理
...
i=0..1の場合、フルサンプルユニット(xInti,yInti)における輝度位置は、以下のように導出される。
xInti=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xIntL+i) (640)
yInti=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yIntL+i) (641)
xInti=Clip3(0,picW-1,refWraparoundEnabledFlag?
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,(xIntL+i)):xIntL+i) (642)
yInti=Clip3(0,picH-1,yIntL+i) (643)
...
8.5.6.3.2 輝度サンプル補間フィルタリング処理
...
xInti=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInti) (959)
yInti=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInti) (960)
xInti=Clip3(0,picW-1,refWraparoundEnabledFlag ?
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInti):xInti) (961)
yInti=Clip3(0,picH-1,yInti) (962)
...
8.5.6.3.3 輝度整数サンプルフェッチ処理
...
フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出される。
xInt=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xIntL) (968)
yInt=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yIntL) (969)
xInt=Clip3(0,picW-1,refWraparoundEnabledFlag?(970)
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xIntL):xIntL)
yInt=Clip3(0,picH-1,yIntL) (971)
...
8.5.6.3.4 彩度サンプル補間処理
...
xInti=Clip3(SubpicLeftBoundaryPos/SubWidthC,SubpicRightBoundaryPos/SubWidthC,xInti) (977)
xInti=Clip3(0,picWC-1,refWraparoundEnabledFlag?ClipH(xOffset,picWC,xInti):(979)
xIntC+i-1)
yInti=Clip3(0,picHC-1,yInti) (980)
...
代替的に、強調表示された部分「および参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい」を、「および参照ピクチャrefPicLXが現在のピクチャと同じ空間解像度を有するILRPである場合」に置き換えてもよい。
代替的に、強調表示された部分「または参照ピクチャrefPicLXのsps_num_subpics_minus1が0に等しい」を、「または参照ピクチャrefPicLXが現在のピクチャとは異なる空間解像度を有するILRPである場合」に置き換えてもよい。
6.2. 代替の実施例
本発明の代替の実施形態において、第1の実施形態において以下の制約がある。
本願は、2020年3月21日出願の国際特許出願第PCT/CN2020/080533号の優先権および利益を主張する2021年3月22日出願の国際特許出願第PCT/CN2021/082024号に基づく。上記出願の開示全体は、本明細書の開示として参照によりここに援用される。
Claims (34)
- 規則に従って、映像の現在のピクチャと前記映像のビットストリームとの変換を行うこと、を含む映像処理方法であって、
前記規則は、複数のシンタックス要素を使用して参照ピクチャリサンプリングツールの使用を規定することを規定する、
映像処理方法。 - 前記参照ピクチャリサンプリングツールは、前記現在のピクチャと異なる解像度を有する参照ピクチャをリサンプリングして変換するコーディングツールである、
請求項1に記載の方法。 - 前記複数のシンタックス要素は、シーケンスパラメータセット(SPS)に含まれる、
請求項1または2に記載の方法。 - 前記複数のシンタックス要素は、前記参照ピクチャリサンプリングツールが前記変換に対して有効化されるかどうかを規定する第1のシンタックス要素と、コーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの解像度を変更することができるかどうかを規定する第2のシンタックス要素とを含む、
請求項1~3のいずれかに記載の方法。 - 前記第1のシンタックス要素が、前記参照ピクチャリサンプリングツールが前記変換に対して有効化されることを規定する場合、前記第2のシンタックス要素は、前記SPSに含まれる、
請求項4に記載の方法。 - 前記第2のシンタックス要素が前記SPSに含まれていない場合、前記第2のシンタックス要素は、ピクチャの解像度を前記CLVS内で変更することが許可されないことを示す値に等しいと推測される、
請求項5に記載の方法。 - 前記第1のシンタックス要素と前記第2のシンタックス要素とは、前記変換に対して互いに依存せずに示される、
請求項4に記載の方法。 - 前記複数のシンタックス要素の各々に対応する1つ以上の一般的な制約フラグが、前記変換に対して示される、
請求項1~7のいずれかに記載の方法。 - 前記規則は、前記現在のピクチャが複数のサブピクチャを含む場合、コーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの解像度を変更することが許可されないことを規定する、
請求項1~8のいずれかに記載の方法。 - 前記規則は、前記現在のピクチャが複数のサブピクチャを含む場合、前記参照ピクチャリサンプリングツールを前記変換に対して有効化することを規定する、
請求項1~9のいずれかに記載の方法。 - ピクチャパラメータセットにスケーリングウィンドウオフセットパラメータが存在するかどうかを規定する制約フラグを、前記第1のシンタックス要素に基づいて判定する、
請求項4~10のいずれかに記載の方法。 - 前記第1のシンタックス要素が、前記参照ピクチャリサンプリングツールが前記変換に対して無効化されることを示す場合、前記制約フラグは、前記ピクチャパラメータセットにおいてスケーリングウィンドウオフセットパラメータを省略することを規定する、
請求項11に記載の方法。 - 前記複数のシンタックス要素は、映像パラメータセットに含まれる、
請求項1~12のいずれかに記載の方法。 - 前記複数のシンタックス要素のうちの少なくとも1つは、前記映像パラメータセットによって特定されるすべてのレイヤに適用可能である、
請求項13に記載の方法。 - 前記複数のシンタックス要素のうちの少なくとも1つは、前記映像パラメータセットに示される複数のインスタンスを有し、この複数のインスタンスの各々は、1つの依存性ツリーにおけるすべてのレイヤに適用可能である、
請求項13または14に記載の方法。 - 前記複数のシンタックス要素の各々は、1ビットの単項コーディング方法を使用してコーディングされる、
請求項1~15のいずれかに記載の方法。 - 規則に従って、映像の現在のピクチャと映像のビットストリームとの変換を行うこと、を含む映像処理方法であって、
非バイナリ値を有するシンタックス要素を使用して、(1)前記現在のピクチャと異なる解像度を有する参照ピクチャをリサンプリングする参照ピクチャリサンプリングツール、および(2)コーディングされたレイヤ映像シーケンス(CLVS)内のピクチャ解像度の変更、を使用することを規定する、
映像処理方法。 - 前記シンタックス要素の値が0であることは、前記参照ピクチャリサンプリングツールを前記変換に対して無効化することを示す、
請求項17に記載の方法。 - 前記シンタックス要素の値が1であることは、前記参照ピクチャリサンプリングツールを前記変換に対して有効化し、かつ前記ピクチャ解像度の変更をコーディングされたレイヤ映像シーケンス(CLVS)内で許可しないことを示す、
請求項17または18に記載の方法。 - 前記シンタックス要素の値が2であることは、前記参照ピクチャリサンプリングツールが前記変換に対して有効化され、かつ前記ピクチャ解像度の変更がコーディングされたレイヤ映像シーケンス(CLVS)内で許可されることを示す、
請求項17~19のいずれかに記載の方法。 - 前記シンタックス要素の指示が、レイヤ間予測コーディングツールを前記変換に対して許可するかどうかに基づく、
請求項17~20のいずれかに記載の方法。 - 前記シンタックス要素は、符号なしの整数の0次のExp-Golobmコーディングされたシンタックス要素である、
請求項17~21のいずれかに記載の方法。 - 前記シンタックス要素は、Nビットを使用して符号なしの整数としてコーディングされ、Nは整数である、
請求項17~21のいずれかに記載の方法。 - Nが2に等しい、
請求項23に記載の方法。 - 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1~24のいずれかに記載の方法。 - 前記変換は、前記ビットストリームを復号して前記映像を生成することを含む、
請求項1~24のいずれかに記載の方法。 - 規則に従って、映像の現在のピクチャから前記映像のビットストリームを生成すること、を含む映像のビットストリームを記憶する方法であって、
前記規則は、参照ピクチャリサンプリングツールの使用を規定すべく、複数のシンタックス要素を使用することを規定する、
映像のビットストリームを記憶する方法。 - 規則に従って、映像の現在のピクチャから前記映像のビットストリームを生成すること、を含む映像のビットストリームを記憶する方法であって、
前記規則は、非バイナリ値を有するシンタックス要素を使用して、(1)前記現在のピクチャと異なる解像度を有する参照ピクチャをリサンプリングする参照ピクチャリサンプリングツール、および(2)コーディングされたレイヤ映像シーケンス(CLVS)内のピクチャ解像度の変更、を使用することを規定することを規定する、
方法。 - 請求項1~28のいずれかに記載の方法を実装するように構成された処理装置を備える、
映像復号装置。 - 請求項1~28のいずれかに記載の方法を実装するように構成された処理装置を備える、
映像符号化装置。 - コンピュータコードが記憶されたコンピュータプログラム製品であって、
前記コードは、処理装置により実行されると、前記処理装置に、請求項1~27のいずれかに記載の方法を実装させる、
コンピュータプログラム製品。 - 映像処理装置で行われる方法により生成される映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、規則に従って、映像の現在のピクチャから前記映像のビットストリームを生成すること、を含み、
前記規則は、参照ピクチャリサンプリングツールの使用を規定すべく、複数のシンタックス要素を使用することを規定する、
非一時的なコンピュータ可読記録媒体。 - 映像処理装置で行われる方法により生成される映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
規則に従って、映像の現在の映像ブロックから前記映像のビットストリームを生成すること、を含み、少なくとも1つの非ゼロ係数が、恒等変換モードによって判定されるゼロ設定領域の外に位置している場合、前記規則は、前記現在の映像ブロックに対する前記恒等変換モードを使用することが無効化されることを規定し、
前記ゼロ設定領域は、非ゼロ係数がゼロ設定操作に使用されることが制限される領域を含む、
非一時的なコンピュータ可読記録媒体。 - 本明細書に記載の方法、装置またはシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020080533 | 2020-03-21 | ||
CNPCT/CN2020/080533 | 2020-03-21 | ||
PCT/CN2021/082024 WO2021190436A1 (en) | 2020-03-21 | 2021-03-22 | Reference picture resampling |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518440A true JP2023518440A (ja) | 2023-05-01 |
JP7464742B2 JP7464742B2 (ja) | 2024-04-09 |
Family
ID=77890942
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556156A Pending JP2023518442A (ja) | 2020-03-21 | 2021-03-22 | サブピクチャとスケーラビリティの組み合わせ |
JP2022556146A Active JP7464742B2 (ja) | 2020-03-21 | 2021-03-22 | 参照ピクチャリサンプリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556156A Pending JP2023518442A (ja) | 2020-03-21 | 2021-03-22 | サブピクチャとスケーラビリティの組み合わせ |
Country Status (8)
Country | Link |
---|---|
US (3) | US11930220B2 (ja) |
EP (2) | EP4107957A4 (ja) |
JP (2) | JP2023518442A (ja) |
KR (2) | KR20220157382A (ja) |
CN (2) | CN115606181A (ja) |
BR (1) | BR112022018960A2 (ja) |
MX (1) | MX2022011463A (ja) |
WO (2) | WO2021190436A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021188805A1 (en) | 2020-03-20 | 2021-09-23 | Bytedance Inc. | Order relationship between subpictures |
US12022101B2 (en) * | 2020-03-31 | 2024-06-25 | Lg Electronics Inc. | Image encoding/decoding method and apparatus based on subpicture information aligned between layers, and recording medium storing bitstream |
JP2023522224A (ja) * | 2020-04-20 | 2023-05-29 | バイトダンス インコーポレイテッド | 参照ピクチャリスト上の制約 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2573222C2 (ru) | 2010-04-09 | 2016-01-20 | Мицубиси Электрик Корпорейшн | Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений |
US9392235B2 (en) | 2011-11-18 | 2016-07-12 | Google Technology Holdings LLC | Explicit way for signaling a collocated reference picture for video coding |
WO2013153822A1 (en) | 2012-04-13 | 2013-10-17 | Sharp Kabushiki Kaisha | Devices for sending and receiving a long-term reference picture indicator |
WO2013162454A1 (en) * | 2012-04-24 | 2013-10-31 | Telefonaktiebolaget L M Ericsson (Publ) | Identifying a parameter set for decoding a multi-layer video representation |
US9307264B2 (en) | 2012-06-22 | 2016-04-05 | Sharp Kabushiki Kaisha | Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus |
US20140003539A1 (en) * | 2012-07-02 | 2014-01-02 | Cisco Technology, Inc. | Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions |
US10230970B2 (en) * | 2012-07-10 | 2019-03-12 | Cisco Technology, Inc. | Decoded picture buffer size management |
US9467707B2 (en) * | 2013-03-05 | 2016-10-11 | Qualcomm Incorporated | Parallel processing for video coding |
US9674533B2 (en) * | 2013-04-05 | 2017-06-06 | Qualcomm Incorporated | Picture alignments in multi-layer video coding |
US20140301436A1 (en) * | 2013-04-05 | 2014-10-09 | Qualcomm Incorporated | Cross-layer alignment in multi-layer video coding |
US10003815B2 (en) * | 2013-06-03 | 2018-06-19 | Qualcomm Incorporated | Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures |
US9648335B2 (en) | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
US9560358B2 (en) | 2013-07-22 | 2017-01-31 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US20150103924A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Laboratories Of America, Inc. | On operation of decoded picture buffer for interlayer pictures |
WO2015125494A1 (en) * | 2014-02-21 | 2015-08-27 | Sharp Kabushiki Kaisha | System for temporal identifier handling for hybrid scalability |
CN105230021B (zh) * | 2014-03-04 | 2018-11-09 | 微软技术许可有限责任公司 | 屏幕内容的词典编码和解码 |
CN107439015B (zh) | 2015-02-05 | 2020-08-14 | 弗劳恩霍夫应用研究促进协会 | 支持残差预测的多视图视频编解码器 |
FI20165114A (fi) | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
CN116866570A (zh) | 2016-10-04 | 2023-10-10 | 株式会社Kt | 用于处理视频信号的方法和装置 |
WO2018117546A1 (ko) | 2016-12-22 | 2018-06-28 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
CN107071494B (zh) | 2017-05-09 | 2019-10-11 | 珠海市杰理科技股份有限公司 | 视频图像帧的二进制语法元素的生成方法和系统 |
WO2018207956A1 (ko) | 2017-05-10 | 2018-11-15 | 엘지전자(주) | 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치 |
US10791327B2 (en) | 2017-06-30 | 2020-09-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding a picture block |
US10834409B2 (en) | 2018-04-06 | 2020-11-10 | Arris Enterprises Llc | System and method of implementing multiple prediction models for local illumination compensation |
JP7141463B2 (ja) | 2018-06-27 | 2022-09-22 | エルジー エレクトロニクス インコーポレイティド | インター予測モードに基づいた映像処理方法およびそのための装置 |
EP3817381A4 (en) | 2018-06-29 | 2022-04-27 | Electronics and Telecommunications Research Institute | IMAGE DECODING/CODING APPARATUS AND METHOD FOR PROCESSING THROUGHPUT IMPROVEMENT, AND RECORDING MEDIA STORAGE OF A BITSTREAM |
CN116647697A (zh) | 2018-09-23 | 2023-08-25 | 北京字节跳动网络技术有限公司 | 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知 |
WO2020069651A1 (en) | 2018-10-05 | 2020-04-09 | Huawei Technologies Co., Ltd. | A candidate mv construction method for affine merge mode |
EP4084490A1 (en) | 2019-01-02 | 2022-11-02 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US10701385B1 (en) | 2019-01-13 | 2020-06-30 | Tencent America LLC | Method and apparatus for reference sample memory reuse for intra picture block compensation |
US11523136B2 (en) | 2019-01-28 | 2022-12-06 | Hfi Innovation Inc. | Methods and apparatuses for coding transform blocks |
US11889118B2 (en) | 2019-02-24 | 2024-01-30 | Sharp Kabushiki Kaisha | Systems and methods for signaling types of pictures and associated information in video coding |
WO2020185878A1 (en) * | 2019-03-11 | 2020-09-17 | Vid Scale, Inc. | Sub-picture bitstream extraction and reposition |
CN117692630A (zh) | 2019-05-11 | 2024-03-12 | 北京字节跳动网络技术有限公司 | 视频处理中编解码工具的选择性使用 |
FI3967038T3 (fi) | 2019-05-30 | 2024-03-19 | Huawei Tech Co Ltd | Vertailukuvan hallinta kerroksellisessa videokoodauksessa |
US11659201B2 (en) | 2019-08-16 | 2023-05-23 | Qualcomm Incorporated | Systems and methods for generating scaling ratios and full resolution pictures |
WO2021036977A1 (en) | 2019-08-23 | 2021-03-04 | Beijing Bytedance Network Technology Co., Ltd. | Clipping in reference picture resampling |
CA3151584C (en) | 2019-09-20 | 2024-04-02 | Jani Lainema | An apparatus, a method and a computer program for video coding and decoding |
WO2021052505A1 (en) | 2019-09-22 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Reference picture resampling in video processing |
JP7388612B2 (ja) | 2019-09-24 | 2023-11-29 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | マルチレイヤビデオビットストリームのためのdpbパラメータのシグナリング |
KR20220070325A (ko) | 2019-10-07 | 2022-05-30 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 서브 비트스트림 추출의 sps 오류 방지 |
EP4035379A4 (en) | 2019-10-23 | 2023-03-15 | Beijing Bytedance Network Technology Co., Ltd. | CALCULATION FOR MULTIPLE CODING TOOLS |
CN114600462A (zh) | 2019-10-25 | 2022-06-07 | 夏普株式会社 | 用于在视频编码中发送信号通知图片信息的系统和方法 |
WO2021112037A1 (en) | 2019-12-06 | 2021-06-10 | Sharp Kabushiki Kaisha | Systems and methods for signaling temporal sublayer information in video coding |
KR20220124705A (ko) | 2020-01-12 | 2022-09-14 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩 및 디코딩에 대한 제약들 |
JP7457143B2 (ja) * | 2020-02-14 | 2024-03-27 | 北京字節跳動網絡技術有限公司 | 映像ビットストリームにおける一般的な制約フラグの使用 |
BR112022017077A2 (pt) | 2020-02-27 | 2022-11-16 | Lg Electronics Inc | Método e aparelho para decodificar imagens relacionadas à ocultação de dados sinal |
WO2021172914A1 (ko) | 2020-02-27 | 2021-09-02 | 엘지전자 주식회사 | 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치 |
MX2022011207A (es) | 2020-03-16 | 2022-09-19 | Bytedance Inc | Unidad de acceso de punto de acceso aleatorio en codificacion de video escalable. |
JP2021150703A (ja) | 2020-03-17 | 2021-09-27 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
US11601647B2 (en) | 2020-06-10 | 2023-03-07 | Hfi Innovation Inc. | Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems |
US11683529B2 (en) | 2020-09-17 | 2023-06-20 | Lemon Inc. | Operational point sample group in coded video |
EP3972273A1 (en) | 2020-09-17 | 2022-03-23 | Lemon Inc. | Handling of non-vcl nal units in picture unit construction |
US11871143B2 (en) | 2020-09-17 | 2024-01-09 | Lemon Inc. | Subpicture tracks in coded video |
US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
US20220321919A1 (en) | 2021-03-23 | 2022-10-06 | Sharp Kabushiki Kaisha | Systems and methods for signaling neural network-based in-loop filter parameter information in video coding |
-
2021
- 2021-03-22 EP EP21775439.9A patent/EP4107957A4/en active Pending
- 2021-03-22 JP JP2022556156A patent/JP2023518442A/ja active Pending
- 2021-03-22 KR KR1020227031492A patent/KR20220157382A/ko active Search and Examination
- 2021-03-22 EP EP21775815.0A patent/EP4107956A4/en active Pending
- 2021-03-22 CN CN202180023287.8A patent/CN115606181A/zh active Pending
- 2021-03-22 WO PCT/CN2021/082024 patent/WO2021190436A1/en unknown
- 2021-03-22 JP JP2022556146A patent/JP7464742B2/ja active Active
- 2021-03-22 CN CN202180023223.8A patent/CN115868165A/zh active Pending
- 2021-03-22 BR BR112022018960A patent/BR112022018960A2/pt unknown
- 2021-03-22 KR KR1020227031493A patent/KR20220156832A/ko active Search and Examination
- 2021-03-22 WO PCT/CN2021/082029 patent/WO2021190438A1/en unknown
- 2021-03-22 MX MX2022011463A patent/MX2022011463A/es unknown
-
2022
- 2022-09-21 US US17/950,040 patent/US11930220B2/en active Active
- 2022-09-21 US US17/949,938 patent/US11917208B2/en active Active
-
2023
- 2023-12-01 US US18/526,640 patent/US20240179350A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230029791A1 (en) | 2023-02-02 |
JP2023518442A (ja) | 2023-05-01 |
CN115606181A (zh) | 2023-01-13 |
WO2021190438A1 (en) | 2021-09-30 |
CN115868165A (zh) | 2023-03-28 |
BR112022018960A2 (pt) | 2022-11-16 |
MX2022011463A (es) | 2022-10-07 |
JP7464742B2 (ja) | 2024-04-09 |
KR20220156832A (ko) | 2022-11-28 |
EP4107957A4 (en) | 2023-08-23 |
EP4107957A1 (en) | 2022-12-28 |
EP4107956A1 (en) | 2022-12-28 |
US11917208B2 (en) | 2024-02-27 |
US20230023220A1 (en) | 2023-01-26 |
EP4107956A4 (en) | 2023-06-21 |
US11930220B2 (en) | 2024-03-12 |
KR20220157382A (ko) | 2022-11-29 |
WO2021190436A1 (en) | 2021-09-30 |
US20240179350A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464742B2 (ja) | 参照ピクチャリサンプリング | |
JP7506185B2 (ja) | サブビットストリーム抽出処理におけるコーディングされた映像の操作 | |
WO2021213307A1 (en) | Scaling window for video coding | |
WO2021233403A1 (en) | Scaling window in video coding | |
WO2021257529A1 (en) | Decoded picture buffer management and subpictures in video coding | |
WO2021254379A1 (en) | Inter layer prediction with different coding block size | |
JP2023529430A (ja) | 映像ビットストリームにおけるサブレイヤ信号通知 | |
JP7513755B2 (ja) | サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ | |
WO2021209062A1 (en) | Adaptive loop filtering | |
JP7513756B2 (ja) | サブレイヤ数制限 | |
JP2023526807A (ja) | サブレイヤ数制限 | |
JP2023529422A (ja) | 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング | |
JP2023529448A (ja) | サブピクチャサブビットストリーム抽出プロセスにおける補足エンハンスメント情報の処理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |