JP7464742B2 - 参照ピクチャリサンプリング - Google Patents
参照ピクチャリサンプリング Download PDFInfo
- Publication number
- JP7464742B2 JP7464742B2 JP2022556146A JP2022556146A JP7464742B2 JP 7464742 B2 JP7464742 B2 JP 7464742B2 JP 2022556146 A JP2022556146 A JP 2022556146A JP 2022556146 A JP2022556146 A JP 2022556146A JP 7464742 B2 JP7464742 B2 JP 7464742B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- picture
- syntax element
- parameter set
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012952 Resampling Methods 0.000 title claims description 34
- 238000000034 method Methods 0.000 claims description 112
- 238000012545 processing Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 226
- 238000003672 processing method Methods 0.000 description 33
- 239000013598 vector Substances 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 22
- 239000011229 interlayer Substances 0.000 description 20
- 230000009466 transformation Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101150067185 ppsA gene Proteins 0.000 description 3
- 101150010264 ppsB gene Proteins 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Description
本願は、2020年3月21日出願の国際特許出願第PCT/CN2020/080533号の優先権および利益を主張する2021年3月22日出願の国際特許出願第PCT/CN2021/082024号に基づく。上記出願の開示全体は、本明細書の開示として参照によりここに援用される。
本明細書は、映像コーディング技術に関する。具体的には、1)映像コーディングにおける、参照ピクチャリサンプリング(RPR)、サブピクチャ、およびスケーラビリティのうちの2つ以上の組み合わせ、2)現在のピクチャと同じ空間解像度を有する参照ピクチャとの間でのRPRの使用、および、3)長期参照ピクチャと同一位置に配置されたピクチャとの組み合わせ、である。この考えは、個々に又は様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング標準又は非標準映像コーデックに適用されてもよい。
APS Adaptation Parameter Set
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
CLVS Coded Layer Video Sequence
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DCI Decoding Capability Information
DPB Decoded Picture Buffer
EOB End Of Bitstream
EOS End Of Sequence
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
ILP Inter-Layer Prediction
ILRP Inter-Layer Reference Picture
IRAP Intra Random Access Picture
JEM Joint Exploration Model
LTRP Long-Term Reference Picture
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
PPS Picture Parameter Set
PTL Profile,Tier and Level
PU Picture Unit
RAP Random Access Point
RBSP Raw Byte Sequence Payload
SEI Supplemental Enhancement Information
SPS Sequence Parameter Set
STRP Short-Term Reference Picture
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、MTU(Maximum Transfer Unit)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
AVCおよびHEVCにおいて、ピクチャの空間解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラ符号化されるIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号化されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング(RPR)と称する。
スケーラブル映像コーディング(SVC、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、ベースレイヤ(BL)(時には、参照レイヤ(RL)と呼ばれる)映像コーディングを呼ばれることもあり、1つ以上のスケーラブルエンハンスメントレイヤ(EL)が使用される。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間、時間、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、以前に符号化されたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の増強レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、コーディングまたは復号)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
360度映像のストリーミング、即ち、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット(例えば、現在のビューポート)のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、且つユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の箇所に変えた場合に備えて、すぐにユーザにレンダリングされている現在のビューポートに対してのみ、全方向性映像の高品質表現が必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。VVCを使用して、2つの表現は、互いに独立した2つのレイヤとして符号化され得る。
AVC、HEVC、VVCはパラメータ集合を指定する。パラメータ集合のタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVCドラフトテキストに含まれている。
最近のVVCテキストにおける既存の設計は、以下の課題を有する。
1) 現在のVVC設計は、図11に示すように、360度映像の典型的なコーディング方式をサポートする。しかしながら、現在のVVC設計においてスケーラビリティがサポートされているが、図12に示されるような改良された360度映像コーディング方式はサポートされていない。図11に示されたアプローチと比較した唯一の差異は、図12に示されたアプローチに対してレイヤ間予測(ILP)が適用されることである。
VVC草案における以下の2つの箇所は、サブピクチャと空間的スケーラビリティとを組み合わせて使用することを許可していない。
a. VVCにおける空間的スケーラビリティ設計は、RPRの特徴に依存する。しかしながら、RPRとサブピクチャとの組み合わせは、現在、以下の意味論の制約によって許可されていない。
その結果、上位レイヤが参照するSPSに対しては、上記の制約が、subpic_info_present_flagを1に設定すること(1ピクチャ当たり複数のサブピクチャを使用すること)、かつ、同時に、res_change_in_clvs_allowed_flagを1に設定すること(ILPによる空間的スケーラビリティのために必要であるRPRを有効化すること)を許可しないため、この改良されたコーディング方式は、許可されない。
b. 現在のVVC草案は、サブピクチャとスケーラビリティとの組み合わせに関して、以下の制約を有する。
この上述の制約は、基本的に、サブピクチャとSNRスケーラビリティとの制限された組み合わせ以外の、サブピクチャとILPとのスケーラビリティとの任意の他の組み合わせを許可しない。ここで、各依存性ツリー内のレイヤは、同じ空間解像度および同じサブピクチャレイアウトを有する必要がある。
2) subpic_treated_as_pic_flag[i]が1に等しい場合、i番目のサブピクチャのサブピクチャ境界は、動き補償におけるピクチャ境界として扱われる。このような処理は、VVC草案テキストにおいて、動き補償に関する復号化処理においてあるクリッピング演算を適用することで実現される。しかしながら、図12に示される改良されたコーディング方式の場合、下位レイヤは完全に復号化器に利用可能であるため、i番目のサブピクチャに対応する領域だけでなく、このようなクリッピングを適用する必要がなく、不必要なコーディング効率の低下を回避する。
3) 図12に示された改良されたコーディング方式のサポートを考慮しなければ、上述したようなサブピクチャの組み合わせおよびスケーラビリティに関する既存の制約は、以下の課題を有する(この記載は課題1bの記載に含まれる)。
a. この制約は、i番目のサブピクチャを含むレイヤがOLSの出力レイヤでない場合にも適用されるべきである。レイヤがOLSの出力レイヤであるかどうかを考慮しない方法で、制約全体を特定すべきである。
b. subpic_treated_as_pic_flag[i]の値をレイヤ全体にわたって整列させるための要件を含めるべきであり、そうでない場合、レイヤ全体にわたって同じインデックスを有するサブピクチャシーケンスを抽出することは不可能であろう。
c. subpic_treated_as_pic_flag[i]が1に等しく、サブピクチャシーケンスが抽出可能である限り、loop_filter_across_subpic_enabled_flag[i]の値をレイヤ全体にわたって整列させるための要件は、このフラグの値に関わらず除外されるべきである。loop_filter_across_subpic_enabled_flag[i]の値の設定は、エンコーダが、単一の抽出可能なサブピクチャシーケンスの品質と抽出可能なサブピクチャシーケンスのセットの品質とをトレードオフすることを決定するために、2つのフラグが互いに独立して信号通知される理由と同様に、行わなければならない。
d. sps_num_subpics_minus1が0より大きい場合にのみ、この制約全体を適用すべきである。これにより、サブピクチャごとに1つのサブピクチャが存在するすべての場合がこの制約によって意図せずに覆われることを回避する。
e. 制約が適用される時間的範囲、例えばAUのセットを明確に特定することが必要である。
f. 1つのピクチャ当たり複数のサブピクチャが存在する場合に、ITRPのRPRが必要とされないことを確認するために、スケーリングウィンドウパラメータscaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値をレイヤ全体にわたって整列させるための要件が含まれるべきである。
4) 現在のピクチャの同一位置に配置されたピクチャは、現在のピクチャと同じレイヤの長期参照ピクチャ(LTRP)であってもよく、レイヤ間参照ピクチャ(ILRP)であってもよく、例えば、現在のピクチャとは異なるレイヤの参照ピクチャであってもよい。しかし、いずれの場合も、POCに基づく動きベクトルのスケーリングは適用されず、したがって、これを可能にすることに起因するコーディング性能は非常に低いと予想される。その結果、現在のピクチャのために同一位置に配置されたピクチャがLTRPまたはILRPであることを許可しないほうがよい。
5) 現在、CLVSにおいて同じ空間解像度を有するピクチャは、異なるスケーリングウィンドウを有することができる。しかしながら、そうでない場合、RPRのためのSPSフラグおよびRPRのための一般的な制約フラグを使用してRPRツールを完全に無効化することができないので、このようなことは許可されない。
上述した課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1) 課題1aを解決するために、RPRを制御するための1つのSPSフラグ(例えば、現在のVVC草案におけるように、res_change_in_clvs_allowed_flag)だけを有する代わりに、複数の(例えば、2つの)SPSフラグを規定および/または信号通知してもよい。
a. 例えば、第1のフラグ(例えば、ref_pic_resampling_enabled_flag)は、1つ以上のピクチャの復号にRPRの使用が必要があるかどうかを規定する一方、第2のフラグ(例えば、res_change_in_clvs_allowed_flag)は、CLVS内でピクチャ解像度の変更が許容されるかどうかを規定する。
b. さらに、代替的に、第2のフラグは、第1のフラグが1つ以上のピクチャの復号にRPRの使用が必要となる可能性があることを規定した場合にのみ信号通知される。さらに、信号が送信されていない場合、第2のフラグの値は、CLVS内でピクチャの解像度を変更することが許可されないことを示す値であると推測される。
i. 代替的に、2つのフラグは互いに依存せず、信号通知される。
c. 代替的に、第1および第2のフラグの各々に対して1つの一般的な制約フラグがあるように、さらにもう1つの一般的な制約フラグを追加する。
d. さらに、res_change_in_clvs_allowed_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可されないが、ref_pic_resampling_enabled_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可される。
f. 代替的に、SPS内の代わりに、VPS内で複数の(例えば2つの)フラグのうちの1つまたはすべてのフラグを信号通知してもよい。
i. 一例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべてのフラグは、VPSによって規定されたすべてのレイヤに適用される。
ii. 別の例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべては、VPSにおいて信号通知される複数のインスタンスをそれぞれ有することができ、各インスタンスは、1つの依存性ツリーにおけるすべてのレイヤに適用される。
g. 一例において、複数のフラグの各々は、l個のビットu(1)を使用して、符号なしの整数としてコーディングされる。
h. 代替的に、1つのシンタックス要素に非バイナリ値を信号通知してもよく、例えば、SPS/VPSにおいて、復号処理におけるRPRの使用およびCLVS内のピクチャ解像度の変更の許可を規定する。
i. 一例において、シンタックス要素の値が0に等しい場合、それは、1つ以上のピクチャの復号にRPRの使用が必要でないことを規定する。
ii. 一例において、シンタックス要素の値が1に等しい場合、このシンタックス要素は、1つ以上のピクチャの復号にRPRの使用が必要とされ得る一方、CLVS内でのピクチャ解像度の変更が許可されないことを規定する。
iii. 一例において、シンタックス要素の値が2に等しい場合、それは、ピクチャ解像度がCLVS内で変化することを許可されている間、1つ以上のピクチャの復号にRPRの使用が必要とされ得ることを規定する。
iv. さらに、代替的に、シンタックス要素をどのように信号通知するかは、レイヤ間予測が許可されるかどうかに依存してもよい。
v. 一例において、シンタックス要素は、ue(v)を使用してコーディングされ、左ビットが1つ目の、符号なしの整数の0次の指数ゴロムコーディングされたシンタックス要素を示す。
vi. 別の例において、シンタックス要素は、Nビットu(N)を使用して符号なしの整数としてコーディングされ、例えば、Nは2に等しい。
2) 代替的に、または課題1aを解決するための項目1に加え、依然として1つのフラグ、例えばres_change_in_clvs_allowed_flagだけを有する必要があるが、フラグの値に関わらず、レイヤ間参照ピクチャのリサンプリングが許可されるように、意味論を変更してもよい。
b. この変更により、res_change_in_clvs_allowed_flagが0に等しい場合であっても、1つのサブピクチャ/ピクチャの復号は、依然としてレイヤ間参照ピクチャ(ILRP)のためにRPRを使用することができる。
3) 課題1bを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約は、クロスレイヤアライメント制限を現在のレイヤおよび現在のレイヤに依存するすべての上位レイヤにのみを課され、現在のレイヤまたは下位レイヤに依存しない上位レイヤには課すことはしない。
a. 代替的に、現在のレイヤおよび現在のレイヤよりも高いすべてのレイヤにクロスレイヤアライメント制限のみを課すように、制約を更新する。
b. 代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての上位レイヤとに、クロスレイヤアライメント制限のみを課すように、制約を更新する。
c. 代替的に、現在のレイヤおよび現在のレイヤの参照レイヤであるすべての下レイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
d. 代替的に、現在のレイヤおよび現在のレイヤよりも低いすべてのレイヤにクロスレイヤアライメント制限のみを課すように、この制約を更新する。
e. 代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての下レイヤとに、クロスレイヤアライメント制限のみを課すように、制約を更新する。
f. 代替的に、最上レイヤよりも低いすべてのレイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
g. 代替的に、最下レイヤよりも高いすべてのレイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
4) 課題2を解決するために、1つ以上の復号処理をピクチャの境界として扱うための動き補償/動き予測におけるサブピクチャの境界のインター予測関連処理におけるクリッピング演算を含む1つ以上の復号処理(例えば、8.5.2.11項の時間的輝度動きベクトル予測の導出処理、8.5.3.2.2項の輝度サンプル双線形補間処理、8.5.5.3項のサブブロックに基づく時間的マージ候補の導出処理、8.5.5.4項のサブブロックに基づく時間的マージベース動きデータベースの導出処理、8.5.5.6項の構築されたアフィン制御点動きベクトル合併候補の導出処理、8.5.6.3.2項の輝度サンプル補間フィルタリング処理、8.5.6.3.3項の輝度整数サンプルフェッチ処理、および8.5.6.3.4項の彩度サンプル補間処理)のうち、以下の変更が適用される。
a. 一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、且つ参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい場合、クリッピング演算が適用され、そうでない場合、は適用されないように変更される。
i. 代替的に、ピクチャの同一位置に配置されたピクチャがILRPであることが許可されない場合、上述したように、参照ピクチャrefPicLXが同一位置に配置されたピクチャでない処理のみを変更し、参照ピクチャrefPicLXが同一位置に配置されたピクチャである処理は変更しない。
b. 一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、かつ、現在のスライスのnal_unit_typeの値がIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しい場合にはクリッピング演算が適用され、そうでない場合には適用されないように変更される。同時に、ILPは、IRAPピクチャのみのコーディングを許可される。
c. 一例において、これらの復号処理に対して何の変更も行われず、例えば、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、それ以外の場合、現在のVVCテキストと同様に、クリッピング演算が適用される。
5) 課題3aを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約によって、各依存性ツリーにおけるすべてのレイヤにクロスレイヤアライメント制限が課せられる。依存性ツリーは、特定のレイヤを含み、すべてのレイヤは特定のレイヤを参照レイヤとして有し、すべてのレイヤの参照レイヤは特定のレイヤのうちのいずれか1つのレイヤがOLSの出力レイヤであるかどうかに依存しない。
6) 課題3bを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を、subpic_treated_as_pic_flag[i]の値にクロスレイヤアライメント制限を課すように更新する。
7) 課題3cを解決するために、ILPとのサブピクチャおよびスケーラビリティの組み合わせに関する制約を、loop_filter_across_subpic_enabled_flag[i]の値にクロスレイヤアライメント制限を課さないように更新する。
8) 課題3dを解決するために、sps_num_subpics_minus1が0に等しい場合、制約が適用されないように、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を更新する。
a. 代替的に、subpic_info_present_flagが0に等しい場合、制約が適用されないように制約を更新する。
9) 課題3eを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティに関する制約を更新し、この制約によって、ある種のAUの対象のセットにおけるピクチャにクロスレイヤアライメント制限が課せられる。
a. 一例において、SPSを参照する現在のレイヤの各CLVSについて、AUの対象のセットtargetAuSetを、復号順にCLVSの最初のピクチャを含むAUから始まって復号順にCLVSの最後のピクチャを含むAUまでのすべてのAUとする。
10) 課題3fを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約をスケーリングウィンドウパラメータscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値に対するクロスレイヤアライメント制限を課すように更新する。
11) 課題4を解決するために、現在のピクチャのための同一位置に配置されたピクチャは、長期参照ピクチャ(LTRP)であってはならないと制約される。
a. 代替的に、現在のピクチャのための同一位置に配置されたピクチャは、レイヤ間参照ピクチャ(ILRP)でないべきであると制約される。
b. 代替的に、現在のピクチャのための同一位置に配置されたピクチャは、LTRPまたはILRPであってはならないと制約される。
c. 代替的に、現在のピクチャの同一位置に配置されたピクチャがLTRPまたはILRPである場合、同一位置に配置されたピクチャを指す動きベクトルを得るためにスケーリングは適用されない。
12) 課題5を解決するために、scaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値は、それぞれ、pic_width_in_luma_samplesとpic_height_in_luma_samplesを有する同じCLVS内で、任意の2つのピクチャに対して同じであるものとするよう、制約される。
a. 代替的に、上記「同じCLVS内」を「同じCVS内」に置き換える。
b. 代替的に、この制約は、以下のように規定される。
ppsAおよびppsBを、同じSPSを参照する任意の2つのPPSとする。ppsAおよびppsBがそれぞれpic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する場合、ppsAおよびppsBは、それぞれscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetと同じ値を有するものとすることが、ビットストリーム適合性の要件である。
c. 代替的に、この制約は、以下のように規定される。
scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値は、同じCVS内にあるとともに、次の条件をすべて致す任意の2つのピクチャに対して同じであるとする。
i. 2つのピクチャは、それぞれ、pic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する。
ii. 2つのピクチャは、一方のレイヤが他方のレイヤの参照レイヤである同じレイヤまたは2つのレイヤに属する。
13) 現在のピクチャと同じアクセスユニット内の他のピクチャとでピクチャの解像度/スケーリングウィンドウが異なる場合、現在のピクチャがIRAPピクチャである場合にのみ、ILPを許可することが求められる。
14) 本文書において、ピクチャ解像度は、ピクチャの幅および/または高さを指してもよく、またはピクチャのスケーリングウィンドウまたは適合性ウィンドウの幅および/または高さおよび/または左上隅の位置を指してもよい。
15) 本文書において、RPRが使用されない場合、現在のピクチャの任意の参照ピクチャの解像度が現在のピクチャの解像度と同じであることを意味するもある。
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC仕様に適用できる。既に追加または修正された最も関連する部分には太字のイタリック体で下線を付し、削除された部分のうちのいくつかは、[[]]を使用して示す。
本実施例は、1、1.a、1.b、1.c、1.d、3、4.a.i、5、6、7、8、9、9.a、10、11および12b項に関する。
7.3.2.3 シーケンスパラメータセットシンタックス
7.4.3.3 シーケンスパラメータセットRBSP意味論
...
...
...
7.4.3.4 ピクチャーパラメータセットRBSP意味論
...
SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)の値は、pic_width_in_luma_samplesより小さいものとし、SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)の値は、pic_height_in_luma_samplesより小さいものとする。
PicOutputWidthLおよびPicOutputHeightLの変数は以下のように導出される。
PicOutputWidthL=pic_width_in_luma_samples-SubWidthC*(scaling_win_right_offset+scaling_win_left_offset) (78)
PicOutputHeightL=pic_height_in_luma_samples-SubWidthC*(scaling_win_bottom_offset+scaling_win_top_offset) (79)
このPPSを参照する現在のピクチャの参照ピクチャのPicOutputWidthL、refPicOutputHeightLを、それぞれ、PicOutputWidthL、PicOutputHeightLとする。ビットストリーム適合性の要件は、以下のすべての条件を満たすことである。
- PicOutputWidthL*2はrefPicWidthInLumaSamples以上であるものとする。
- PicOutputHeightL*2はrefPicHeightInLumaSamples以上であるものとする。
- PicOutputWidthLがrefPicWidthInLumaSamples*8以下であるものとする。
- PicOutputHeightLがrefPicHeightInLumaSamples*8以下であるものとする。
- PicOutputWidthL*pic_width_max_in_luma_samplesはrefPicOutputWidthL*(pic_width_in_luma_samples-Max(8,MinCbSizeY)以上であるものとする。
- PicOutputHeightL*pic_height_max_in_luma_samplesはrefPicOutputHeightL*(pic_height_in_luma_samples-Max(8,MinCbSizeY))以上であるものとする。
...
7.2.3.2 一般的な制約情報シンタックス
7.4.4.2 一般的な制約情報意味論
...
...
7.4.8.1 一般スライスヘッダ意味論
...
slice_typeがBまたはPであり、ph_temporal_mvp_enabled_flagが1に等しく、slice_collocated_from_l0_flagが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_from_l0_flagはph_collocated_from_l0_flagに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しく、slice_typeがPに等しい場合)、slice_collocated_from_l0_flagの値は1に等しいと推論される。
slice_typeがPであるか、またはslice_typeがBに等しく、slice_collocated_from_l0_flagが1に等しい場合は、slice_collocated_ref_idxは、参照ピクチャリスト0のエントリを参照し、slice_collocated_ref_idxの数値は、0からNumRefIdxActive[0]-1の範囲内にあるものとする。
slice_typeがBに等しく、slice_collocated_from_l0_flagが0に等しい場合、slice_collocated_ref_idxの値は、参照ピクチャリスト1のエントリを参照し、slice_collocated_ref_idxは、0からNumRefIdxActive[1]-1の範囲内にあるものとする。
slice_collocated_ref_idxが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_ref_idxの値はph_collocated_ref_idxに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しい)、slice_collocated_ref_idxの値は0に等しいと推論される。
slice_collocated_ref_idxで参照される参照ピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesの値が、それぞれ現在のピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesと同じであるものとし、RprConstraintsActive[slice_collocated_from_l0_flag?0:1][slice_collocated_ref_idx]は0に等しいものとすることが、ビットストリーム適合性の要件である。
...
8.5.3.2.2 輝度サンプル双線形補間処理
...
i=0..1の場合、フルサンプルユニット(xInti,yInti)における輝度位置は、以下のように導出される。
xInti=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xIntL+i) (640)
yInti=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yIntL+i) (641)
xInti=Clip3(0,picW-1,refWraparoundEnabledFlag?
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,(xIntL+i)):xIntL+i) (642)
yInti=Clip3(0,picH-1,yIntL+i) (643)
...
8.5.6.3.2 輝度サンプル補間フィルタリング処理
...
xInti=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInti) (959)
yInti=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInti) (960)
xInti=Clip3(0,picW-1,refWraparoundEnabledFlag ?
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInti):xInti) (961)
yInti=Clip3(0,picH-1,yInti) (962)
...
8.5.6.3.3 輝度整数サンプルフェッチ処理
...
フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出される。
xInt=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xIntL) (968)
yInt=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yIntL) (969)
xInt=Clip3(0,picW-1,refWraparoundEnabledFlag?(970)
ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xIntL):xIntL)
yInt=Clip3(0,picH-1,yIntL) (971)
...
8.5.6.3.4 彩度サンプル補間処理
...
xInti=Clip3(SubpicLeftBoundaryPos/SubWidthC,SubpicRightBoundaryPos/SubWidthC,xInti) (977)
xInti=Clip3(0,picWC-1,refWraparoundEnabledFlag?ClipH(xOffset,picWC,xInti):(979)
xIntC+i-1)
yInti=Clip3(0,picHC-1,yInti) (980)
...
代替的に、強調表示された部分「および参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい」を、「および参照ピクチャrefPicLXが現在のピクチャと同じ空間解像度を有するILRPである場合」に置き換えてもよい。
代替的に、強調表示された部分「または参照ピクチャrefPicLXのsps_num_subpics_minus1が0に等しい」を、「または参照ピクチャrefPicLXが現在のピクチャとは異なる空間解像度を有するILRPである場合」に置き換えてもよい。
6.2. 代替の実施例
本発明の代替の実施形態において、第1の実施形態において以下の制約がある。
Claims (14)
- 映像データを処理する方法であって、
規則に従って、映像の現在のピクチャと前記映像のビットストリームとの間の変換を実行すること、を有し、
前記規則は、参照ピクチャのリサンプリングが有効であるかどうかを規定する第1のシンタックス要素が前記ビットストリームのシーケンスパラメータセットに含まれることを規定し、前記シーケンスパラメータセットを参照するコーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの空間解像度が変化することを許容するかどうかを規定する第2のシンタックス要素が前記シーケンスパラメータセットに条件的に含まれることを規定する、
方法。 - 前記第1のシンタックス要素が前記参照ピクチャのリサンプリングが有効であることを規定する場合、前記第2のシンタックス要素は、前記シーケンスパラメータセットに含まれる、
請求項1に記載の方法。 - 前記第2のシンタックス要素が前記シーケンスパラメータセットに含まれない場合、前記第2のシンタックス要素は、ピクチャの空間解像度が前記CLVS内で変化することが許容されないことを示唆する値と等価であると推論される、
請求項2に記載の方法。 - 前記第1のシンタックス要素に対応する第1の一般的な制約フラグと前記第2のシンタックス要素に対応する第2の一般的な制約フラグとは、前記ビットストリームに含まれる、
請求項1から3のうちいずれか一項に記載の方法。 - 前記第1の一般的な制約フラグが第1の値を有する時、前記シーケンスパラメータセットの全てのピクチャのための前記第1のシンタックス要素は、前記参照ピクチャのリサンプリングが有効でないと規定する値に等しく、
前記第2の一般的な制約フラグが前記第1の値を有する時、前記シーケンスパラメータセットの全てのピクチャのための前記第2のシンタックス要素は、前記ピクチャの空間解像度が前記シーケンスパラメータセットを参照するCVLS内でも変化しないことを規定する値と等しい、
請求項4に記載の方法。 - 前記規則は、前記第2のシンタックス要素が前記ピクチャの空間解像度が前記CLVS内で変化することが許容されていることを規定する第2の値を有する時、前記CLVSの各ピクチャにおいて1つのサブピクチャのみ許容することをさらに規定する、
請求項1から5のうちいずれか一項に記載の方法。 - 前記規則は、前記第1のシンタックス要素が前記参照ピクチャのリサンプリングが有効であることを規定する第2の値を有する時、前記CLVSの各ピクチャにおいて1つ以上のサブピクチャを許容することをさらに規定する、
請求項1から6のうちいずれか一項に記載の方法。 - 前記規則は、第3のシンタックス要素が前記ビットストリームに含まれることをさらに規定し、
前記第3のシンタックス要素は、スケーリングウィンドウオフセットパラメータがピクチャパラメータセットに存在しているかどうかを規定し、
前記第1のシンタックス要素が前記参照ピクチャのリサンプリングが有効でないことを規定する値を有する時、前記第3のシンタックス要素は、前記スケーリングウィンドウオフセットパラメータが前記ピクチャパラメータセットに存在していないことを規定する値に等しい、
請求項1~7のうちいずれか一項に記載の方法。 - 前記第1のシンタックス要素、前記第2のシンタックス要素、前記第3のシンタックス要素は、1ビットの単項コーディング方式でコーディングされる、
請求項8に記載の方法。 - 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1~9のうちいずれか一項に記載の方法。 - 前記変換は、前記ビットストリームを復号化して前記映像を生成することを含む、
請求項1~9のうちいずれか一項に記載の方法。 - プロセッサと、命令を有する非一時的メモリと、を備える映像データの処理装置であって、前記命令が前記プロセッサによって実行されると、前記プロセッサに、
規則に従って、映像の現在のピクチャと前記映像のビットストリームとの間で変換することを実行させ、
前記規則は、参照ピクチャのリサンプリングが有効であるかどうかを規定する第1のシンタックス要素が前記ビットストリームのシーケンスパラメータセットに含まれることを規定し、前記シーケンスパラメータセットを参照するコーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの空間解像度が変化することを許容するかどうかを規定する第2のシンタックス要素が前記シーケンスパラメータセットに条件的に含まれることを規定する、
装置。 - 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、この命令は、プロセッサに、
規則に従って、映像の現在のピクチャと前記映像のビットストリームとの間で変換することを実行させ、
前記規則は、参照ピクチャのリサンプリングが有効であるかどうかを規定する第1のシンタックス要素が前記ビットストリームのシーケンスパラメータセットに含まれることを規定し、前記シーケンスパラメータセットを参照するコーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの空間解像度が変化することを許容するかどうかを規定する第2のシンタックス要素が前記シーケンスパラメータセットに条件的に含まれることを規定する、
非一時的なコンピュータ可読記憶媒体。 - 映像のビットストリームを記憶する方法であって、前記方法は、
規則に従って、映像の現在のピクチャと前記映像のビットストリームとの間で変換することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を実行させ、
前記規則は、参照ピクチャのリサンプリングが有効であるかどうかを規定する第1のシンタックス要素が前記ビットストリームのシーケンスパラメータセットに含まれることを規定し、前記シーケンスパラメータセットを参照するコーディングされたレイヤ映像シーケンス(CLVS)内でピクチャの空間解像度が変化することを許容するかどうかを規定する第2のシンタックス要素が前記シーケンスパラメータセットに条件的に含まれることを規定する、
方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2020/080533 | 2020-03-21 | ||
CN2020080533 | 2020-03-21 | ||
PCT/CN2021/082024 WO2021190436A1 (en) | 2020-03-21 | 2021-03-22 | Reference picture resampling |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518440A JP2023518440A (ja) | 2023-05-01 |
JP7464742B2 true JP7464742B2 (ja) | 2024-04-09 |
Family
ID=77890942
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556156A Pending JP2023518442A (ja) | 2020-03-21 | 2021-03-22 | サブピクチャとスケーラビリティの組み合わせ |
JP2022556146A Active JP7464742B2 (ja) | 2020-03-21 | 2021-03-22 | 参照ピクチャリサンプリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556156A Pending JP2023518442A (ja) | 2020-03-21 | 2021-03-22 | サブピクチャとスケーラビリティの組み合わせ |
Country Status (8)
Country | Link |
---|---|
US (3) | US11930220B2 (ja) |
EP (2) | EP4107956A4 (ja) |
JP (2) | JP2023518442A (ja) |
KR (2) | KR20220157382A (ja) |
CN (2) | CN115606181A (ja) |
BR (1) | BR112022018960A2 (ja) |
MX (1) | MX2022011463A (ja) |
WO (2) | WO2021190438A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7420965B2 (ja) | 2020-03-20 | 2024-01-23 | バイトダンス インコーポレイテッド | 隣接するサブピクチャのコーディング |
US12022101B2 (en) * | 2020-03-31 | 2024-06-25 | Lg Electronics Inc. | Image encoding/decoding method and apparatus based on subpicture information aligned between layers, and recording medium storing bitstream |
KR20230002395A (ko) * | 2020-04-20 | 2023-01-05 | 바이트댄스 아이엔씨 | 레퍼런스 픽처 목록에 대한 제약 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107046644B (zh) | 2010-04-09 | 2020-03-24 | 三菱电机株式会社 | 运动图像编码装置以及运动图像解码装置 |
US9392235B2 (en) | 2011-11-18 | 2016-07-12 | Google Technology Holdings LLC | Explicit way for signaling a collocated reference picture for video coding |
EP2837187A4 (en) | 2012-04-13 | 2015-10-21 | Sharp Kk | DEVICES FOR SENDING AND RECEIVING A LONG-TERM REFERENCE GAME INDICATOR |
US10491913B2 (en) * | 2012-04-24 | 2019-11-26 | Telefonaktiebolaget L M Ericsson (Publ) | Identifying a parameter set for decoding a multi-layer video representation |
US9307264B2 (en) | 2012-06-22 | 2016-04-05 | Sharp Kabushiki Kaisha | Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus |
US20140003539A1 (en) * | 2012-07-02 | 2014-01-02 | Cisco Technology, Inc. | Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions |
US10230970B2 (en) * | 2012-07-10 | 2019-03-12 | Cisco Technology, Inc. | Decoded picture buffer size management |
US9578339B2 (en) * | 2013-03-05 | 2017-02-21 | Qualcomm Incorporated | Parallel processing for video coding |
US9674533B2 (en) * | 2013-04-05 | 2017-06-06 | Qualcomm Incorporated | Picture alignments in multi-layer video coding |
US20140301436A1 (en) * | 2013-04-05 | 2014-10-09 | Qualcomm Incorporated | Cross-layer alignment in multi-layer video coding |
US10003815B2 (en) * | 2013-06-03 | 2018-06-19 | Qualcomm Incorporated | Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures |
US9648335B2 (en) | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
US9560358B2 (en) | 2013-07-22 | 2017-01-31 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US20150103924A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Laboratories Of America, Inc. | On operation of decoded picture buffer for interlayer pictures |
WO2015125494A1 (en) * | 2014-02-21 | 2015-08-27 | Sharp Kabushiki Kaisha | System for temporal identifier handling for hybrid scalability |
WO2015131304A1 (en) * | 2014-03-04 | 2015-09-11 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
EP3254465A1 (en) | 2015-02-05 | 2017-12-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-view video codec supporting residual prediction |
FI20165114A (fi) * | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
WO2018066959A1 (ko) | 2016-10-04 | 2018-04-12 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
CN110100440B (zh) | 2016-12-22 | 2023-04-25 | 株式会社Kt | 一种用于对视频进行解码、编码的方法 |
CN107071494B (zh) | 2017-05-09 | 2019-10-11 | 珠海市杰理科技股份有限公司 | 视频图像帧的二进制语法元素的生成方法和系统 |
WO2018207956A1 (ko) | 2017-05-10 | 2018-11-15 | 엘지전자(주) | 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치 |
EP3646599A1 (en) | 2017-06-30 | 2020-05-06 | Telefonaktiebolaget LM Ericsson (PUBL) | Encoding and decoding a picture block using a curved intra-prediction mode |
US10834409B2 (en) | 2018-04-06 | 2020-11-10 | Arris Enterprises Llc | System and method of implementing multiple prediction models for local illumination compensation |
KR20230131962A (ko) | 2018-06-27 | 2023-09-14 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN112369021A (zh) | 2018-06-29 | 2021-02-12 | 韩国电子通信研究院 | 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质 |
KR20230161543A (ko) | 2018-09-23 | 2023-11-27 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 움직임 벡터 해상도를 갖는 움직임 벡터 수정 |
WO2020069651A1 (en) | 2018-10-05 | 2020-04-09 | Huawei Technologies Co., Ltd. | A candidate mv construction method for affine merge mode |
EP4072139A3 (en) * | 2019-01-02 | 2022-11-09 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US10701385B1 (en) | 2019-01-13 | 2020-06-30 | Tencent America LLC | Method and apparatus for reference sample memory reuse for intra picture block compensation |
US11523136B2 (en) | 2019-01-28 | 2022-12-06 | Hfi Innovation Inc. | Methods and apparatuses for coding transform blocks |
US11889118B2 (en) | 2019-02-24 | 2024-01-30 | Sharp Kabushiki Kaisha | Systems and methods for signaling types of pictures and associated information in video coding |
WO2020185878A1 (en) * | 2019-03-11 | 2020-09-17 | Vid Scale, Inc. | Sub-picture bitstream extraction and reposition |
CN117692630A (zh) | 2019-05-11 | 2024-03-12 | 北京字节跳动网络技术有限公司 | 视频处理中编解码工具的选择性使用 |
DK3967038T3 (da) * | 2019-05-30 | 2024-03-18 | Huawei Tech Co Ltd | Referencebilledhåndtering i lagdelt videokodning |
US11659201B2 (en) | 2019-08-16 | 2023-05-23 | Qualcomm Incorporated | Systems and methods for generating scaling ratios and full resolution pictures |
CN117319645A (zh) * | 2019-08-23 | 2023-12-29 | 北京字节跳动网络技术有限公司 | 用于处理视频数据的方法、装置以及计算机可读存储介质 |
US20220295104A1 (en) * | 2019-09-20 | 2022-09-15 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
WO2021052506A1 (en) * | 2019-09-22 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Transform unit based combined inter intra prediction |
BR112022005370A2 (pt) * | 2019-09-24 | 2022-06-14 | Huawei Tech Co Ltd | Sinalização de parâmetros de dpb para fluxos de bits de vídeo de múltiplas camadas |
CN114514751B (zh) * | 2019-10-07 | 2024-03-15 | 华为技术有限公司 | 避免多层视频码流中的冗余指示 |
WO2021078178A1 (en) * | 2019-10-23 | 2021-04-29 | Beijing Bytedance Network Technology Co., Ltd. | Calculation for multiple coding tools |
US20220394301A1 (en) | 2019-10-25 | 2022-12-08 | Sharp Kabushiki Kaisha | Systems and methods for signaling picture information in video coding |
US20230007291A1 (en) * | 2019-12-06 | 2023-01-05 | Sharp Kabushiki Kaisha | Systems and methods for signaling temporal sublayer information in video coding |
EP4074038A4 (en) * | 2020-01-12 | 2023-01-25 | Beijing Bytedance Network Technology Co., Ltd. | RESTRICTIONS ON VIDEO ENCODING AND DECODING |
EP4088462A4 (en) * | 2020-02-14 | 2023-05-24 | Beijing Bytedance Network Technology Co., Ltd. | SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM |
BR112022017077A2 (pt) | 2020-02-27 | 2022-11-16 | Lg Electronics Inc | Método e aparelho para decodificar imagens relacionadas à ocultação de dados sinal |
WO2021172914A1 (ko) | 2020-02-27 | 2021-09-02 | 엘지전자 주식회사 | 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치 |
KR20220155277A (ko) * | 2020-03-16 | 2022-11-22 | 바이트댄스 아이엔씨 | 스케일러블 비디오 코딩의 랜덤 액세스 포인트 액세스 유닛 |
JP2021150703A (ja) | 2020-03-17 | 2021-09-27 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
TWI793629B (zh) | 2020-06-10 | 2023-02-21 | 寰發股份有限公司 | 視訊處理方法及裝置 |
US20220086457A1 (en) * | 2020-09-17 | 2022-03-17 | Lemon Inc. | Subpicture track referencing and processing |
EP3972269A1 (en) * | 2020-09-17 | 2022-03-23 | Lemon Inc. | Subpicture entity groups in video coding |
US11758195B2 (en) * | 2020-09-17 | 2023-09-12 | Lemon Inc. | Dependency information signaling in coded video |
US11962936B2 (en) | 2020-09-29 | 2024-04-16 | Lemon Inc. | Syntax for dependent random access point indication in video bitstreams |
US20220321919A1 (en) * | 2021-03-23 | 2022-10-06 | Sharp Kabushiki Kaisha | Systems and methods for signaling neural network-based in-loop filter parameter information in video coding |
-
2021
- 2021-03-22 EP EP21775815.0A patent/EP4107956A4/en active Pending
- 2021-03-22 KR KR1020227031492A patent/KR20220157382A/ko active Search and Examination
- 2021-03-22 BR BR112022018960A patent/BR112022018960A2/pt unknown
- 2021-03-22 JP JP2022556156A patent/JP2023518442A/ja active Pending
- 2021-03-22 CN CN202180023287.8A patent/CN115606181A/zh active Pending
- 2021-03-22 WO PCT/CN2021/082029 patent/WO2021190438A1/en unknown
- 2021-03-22 JP JP2022556146A patent/JP7464742B2/ja active Active
- 2021-03-22 CN CN202180023223.8A patent/CN115868165A/zh active Pending
- 2021-03-22 KR KR1020227031493A patent/KR20220156832A/ko active Search and Examination
- 2021-03-22 MX MX2022011463A patent/MX2022011463A/es unknown
- 2021-03-22 EP EP21775439.9A patent/EP4107957A4/en active Pending
- 2021-03-22 WO PCT/CN2021/082024 patent/WO2021190436A1/en unknown
-
2022
- 2022-09-21 US US17/950,040 patent/US11930220B2/en active Active
- 2022-09-21 US US17/949,938 patent/US11917208B2/en active Active
-
2023
- 2023-12-01 US US18/526,640 patent/US20240179350A1/en active Pending
Non-Patent Citations (3)
Title |
---|
Benjamin Bross, et al.,"Versatile Video Coding (Draft 8)",Document: JVET-Q2001-v8, [online],JVET-Q2001 (version 8),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2020年01月21日,Pages 38-45,98,109,[令和5年8月29日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9675> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v8.zip>. |
Benjamin Bross, et al.,"Versatile Video Coding (Draft 8)",Document: JVET-Q2001-vE, [online],JVET-Q2001 (version 15),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2020年03月12日,Pages 39-46,56,57,100,113,135,[令和5年8月29日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9675> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v15.zip>. |
Ye-Kui Wang, et al.,"AHG8/AHG9/AHG12: On the combination of RPR, subpictures, and scalability",Document: JVET-R0058-v1, [online],JVET-R0058 (version 1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2020年04月02日,Pages 1-9,[令和5年8月29日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9702> and <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0058-v1.zip>. |
Also Published As
Publication number | Publication date |
---|---|
US20230029791A1 (en) | 2023-02-02 |
WO2021190438A1 (en) | 2021-09-30 |
CN115868165A (zh) | 2023-03-28 |
JP2023518442A (ja) | 2023-05-01 |
KR20220157382A (ko) | 2022-11-29 |
US20230023220A1 (en) | 2023-01-26 |
CN115606181A (zh) | 2023-01-13 |
MX2022011463A (es) | 2022-10-07 |
US20240179350A1 (en) | 2024-05-30 |
EP4107957A4 (en) | 2023-08-23 |
JP2023518440A (ja) | 2023-05-01 |
KR20220156832A (ko) | 2022-11-28 |
US11930220B2 (en) | 2024-03-12 |
EP4107956A1 (en) | 2022-12-28 |
EP4107957A1 (en) | 2022-12-28 |
BR112022018960A2 (pt) | 2022-11-16 |
WO2021190436A1 (en) | 2021-09-30 |
US11917208B2 (en) | 2024-02-27 |
EP4107956A4 (en) | 2023-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7488353B2 (ja) | サブピクチャの順序関係 | |
JP7464742B2 (ja) | 参照ピクチャリサンプリング | |
JP7513755B2 (ja) | サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ | |
JP7506184B2 (ja) | 映像コーディングにおけるスケーリングウィンドウ | |
WO2021213307A1 (en) | Scaling window for video coding | |
JP7518216B2 (ja) | 異なるコーディングブロックサイズを有するインターレイヤ予測 | |
JP2023529431A (ja) | 映像ピクチャにおけるサブピクチャ数の制約 | |
JP7525639B2 (ja) | 変換スキップ残差コーディング | |
JP7513756B2 (ja) | サブレイヤ数制限 | |
WO2021209062A1 (en) | Adaptive loop filtering | |
US20240098292A1 (en) | Scalable Nesting Of Supplemental Enhancement Information Messages In Video Coding | |
JP2024099764A (ja) | 変換スキップ残差コーディング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |