JP2023529420A - コーディングされた映像ピクチャにおけるスライスカウントの制約 - Google Patents
コーディングされた映像ピクチャにおけるスライスカウントの制約 Download PDFInfo
- Publication number
- JP2023529420A JP2023529420A JP2022575423A JP2022575423A JP2023529420A JP 2023529420 A JP2023529420 A JP 2023529420A JP 2022575423 A JP2022575423 A JP 2022575423A JP 2022575423 A JP2022575423 A JP 2022575423A JP 2023529420 A JP2023529420 A JP 2023529420A
- Authority
- JP
- Japan
- Prior art keywords
- video
- bitstream
- picture
- aun
- access unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 115
- 239000000872 buffer Substances 0.000 claims abstract description 20
- 238000003672 processing method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 56
- 241000023320 Luma <angiosperm> Species 0.000 claims description 14
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 description 68
- 239000010410 layer Substances 0.000 description 35
- 239000013598 vector Substances 0.000 description 18
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 4
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年6月8日出願の米国特許仮出願第63/036321号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像コーディング技術に関する。具体的には、単層レイヤ映像コーディングおよび多層レイヤ映像コーディングの両方をサポートする映像コーデックのためのレベルおよびビットストリーム適合性を定義することに関する。本発明は、単層レイヤ映像コーディングおよび多層レイヤ映像コーディングをサポートする任意の映像コーディング標準または非標準映像コーデック、例えば、開発中の汎用映像コーディング(VVC)に適用されてもよい。
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DPB Decoded Picture Buffer(復号されたピクチャバッファ)
DPS Decoding Parameter Set(復号パラメータセット)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GCI General Constraints Information(一般的な制約情報)
GDR Gradual Decoding Refresh(漸次的復号更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号更新)
JEM Joint Exploration Model(共同探索モデル)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、ティア(tier)およびレベル)
PU Picture Unit(ピクチャユニット)
RRP Reference Picture Resampling(参照ピクチャ再サンプリング)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SH Slice Header(スライスヘッダ)
SPS Sequence Parameter Set(シーケンスパラメータセット)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4Visualを作り、両団体はH.262/MPEG-2VideoとH.264/MPEG-4AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測に加えて変換コーディングも利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされたIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、時として参照ピクチャリサンプリング(RPR)と称せられる。
SVC(Scalable Video Coding、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1または複数のスケーラブルEL(Enhancement Layer:強化レイヤ)が使用される映像コーディングを参照する。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上の強化レイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。強化レイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下レイヤがBLとして機能し、上レイヤがELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する強化レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の強化レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報(例えば、動き推定、動きベクトル予測および/または他の冗長性)をコーディング(例えば、符号化または復号)することができる。
AVC、HEVC、VVCはパラメータセットを規定する。パラメータセットのタイプは、SPS、PPS、APSおよびVPSを含む。SPSおよびPPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
映像コーディング規格は、通常、プロファイルおよびレベルを規定する。また、一部の映像コーディング規格は、ティアを規定する。例えば、HEVCおよび現在開発中のVVCである。
JVET-S0152-v5の最新のVVC草案テキストにおいて、ティアおよびレベルの定義は以下のとおりである。
ティア能力を比較するために、general_tier_flagが0であるティア(すなわち、Mainティア)は、general_tier_flagが1に等しいティア(すなわち、上位ティア)よりも低いティアと見なされる。
レベル能力を比較するために、特定のレベルのgeneral_level_idcまたはsublayer_level_idc[i]の値が他のレベルの値よりも小さい場合、特定のティアの特定のレベルは、同じティアのある他のレベルよりも低いレベルと見なされる。
- AUnを復号順でn番目のAUとし、最初のAUをAU0(すなわち、0番目のAU)とする。
- OLSインデックスTargetOlsIdxを有するOLSの場合、変数PicWidthMaxInSamplesY、PicHeightMaxInSamplesY、およびPicSizeMaxInSamplesY、並びに適用可能なdpb_parameters()構文構造は、以下のように導出される。
o NumLayersInOls[TargetOlsIdx]が1に等しい場合、PicWidthMaxInSamplesYはsps_pic_width_max_in_luma_samplesに等しく、PicHeightMaxInSamplesYはsps_pic_height_max_in_luma_samplesに等しく、そしてPicSizeMaxInSamplesYはPicWidthMaxInSamplesY*PicHeightMaxInSamplesYに等しく設定され、ここで、sps_pic_width_max_in_luma_samplesとsps_pic_height_max_in_luma_samplesはOLS内のレイヤによって参照されるSPSにあり、適用可能なdpb_parameters()構文構造もまたそのSPS内にある。
o そうでない場合(NumLayersInOls[TargetOlsIdx]が1より大きい)、PicWidthMaxInSamplesYはvps_ols_dpb_pic_width[MultiLayerOlsIdx[TargetOlsIdx]]に等しく、PicHeightMaxInSamplesYはvps_ols_dpb_pic_height[MultiLayerOlsIdx[TargetOlsIdx]]に等しく、PicSizeMaxInSamplesYはPicWidthMaxInSamplesY*PicHeightMaxInSamplesYに等しく設定され、かつ適用可能なdpb_parameters()構文構造はVPSにあるvps_ols_dpb_params_idx[MultiLayerOlsIdx[TargetOlsIdx]]によって識別される。
a) PicSizeMaxInSamplesYは、MaxLumaPs以下であるものとし、MaxLumaPsは、表A.1に規定される。
b) PicWidthMaxInSamplesYの値は、Sqrt(MaxLumaPs*8)以下であるものとする。
c) PicHeightMaxInSamplesYの値は、Sqrt(MaxLumaPs*8)以下であるものとする。
d) 参照される各PPSについて、NumTileColumnsの値はMaxTileCols以下であり、NumTileRowsの値はMaxTileRows以下であるとし、ここで、MaxTileColsおよびMaxTileRowsは表A.1に規定される。
e) VCL HRD パラメータについて、CpbSize[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲の少なくとも1つのiの値について、CpbVclFactor*MaxCPB以下でなければならず、ここで、CpbSize[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、CpbVclFactorは、TableA.3で規定され、かつ、MaxCPBは、CpbVclFactorビットの単位でTableA.1において規定される。
f) NAL HRDパラメータは、CpbSize[Htid][i]が、0~hrd_cpb_cnt_minus1の範囲の少なくとも1つのiの値について、CpbNalFactor*MaxCPB以下でなければならず、ここで、CpbSize[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、CpbNalFactorは、TableA.3で規定され、かつ、MaxCPBは、CpbNalFactorビットの単位でTableA.1において規定される。
以下の通り、ビットストリームが適合するティアおよびレベルは構文要素general_tier_flagおよびgeneral_level_idcによって示され、サブレイヤ表現が適合するレベルは構文要素sublayer_level_idc[i]によって示される。
- general_level_idc、sublayer_level_idc[i]は、表A.1に規定されたレベル番号に対してgeneral_level_idcの値に等しく設定される。
本附属書における制約を表すために、以下を規定する。
- 変数fRを1÷300に等しく設定する。
- ビットストリームがMain10プロファイルまたはMain4:4:4 10プロファイルに適合していることが示された場合、HbrFactorは1に等しく設定される。
NALビットレートスケールファクタを表す変数BrNalFactorは、CpbNalFactor*HbrFactorに等しく設定される。
変数MinCrは、MinCrBase*MinCrScaleFactor÷HbrFactorに等しく設定される。
規定されたレベルがレベル15.5でない場合、max_dec_pic_buffering_minus1[Htid]+1の値は、MaxDpbSize以下であるものとし、これは、以下のように導出される。
MaxDpbSize=Min(4*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=(MaxLumaPs>>1))
MaxDpbSize=Min(2*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=((3*MaxLumaPs)>>2))
MaxDpbSize=Min((4*maxDpbPicBuf)/3,16)
else
MaxDpbSize=maxDpbPicBuf (A.1)
numDecPicsをAUnにおけるピクチャの数とする。変数AuSizeMaxInSamplesY[n]は、PicSizeMaxInSamplesY*numDecPicsに等しく設定される。
JVET-S0152-v5の最新のVVC草案テキストにおいて、ビットストリーム適合定義は以下のとおりである。
本仕様に準拠するコーディングされたデータのビットストリームは、本項に規定されるすべての要件を満たすものとする。
ビットストリームは、本附属書以外に、本明細書に規定される構文、意味および制約に従って解釈されるものとする。
ビットストリームにおける第1のコーディングされたピクチャは、IRAPピクチャ(すなわち、IDRピクチャまたはCRAピクチャ)またはGDRピクチャとする。
このビットストリームは、C.1項に規定されるとおり、HRDによって適合性テストが行われる。
currPicLayerIdが現在のピクチャのnuh_layer_idに等しいとする。
各現在のピクチャについて、変数maxPicOrderCntおよびminPicOrderCntを、それぞれ、nuh_layer_idがcurrPicLayerIdに等しい以下のピクチャのPicOrderCntVal値の最大値および最小値に等しく設定する。
- TemporalIdとph_non_ref_pic_flagが共に0に等しく、RASLまたはRADLピクチャでない、復号順で前のピクチャ。
- STRPは、現在のピクチャのRefPicList[0]におけるすべてのエントリ、および、RefPicList[1]におけるすべてのエントリによって参照される。
- 1に等しいPictureOutputFlagを有するすべてのピクチャnであって、currPicが現在のピクチャである場合、AuCpbRemovalTime[n]がAuCpbRemovalTime[currPic]未満、かつ、DpbOutputTime[n]がAuCpbRemovalTime[currPic]以上であるすべてのピクチャn。
1. BP SEIメッセージに関連付けられた、nが0より大きい各AUnを、変数deltaTime90k[n]を以下のように規定する。
deltaTime90k[n]=90000*(AuNominalRemovalTime[n]-AuFinalArrivalTime[n-1]) (C.17)
InitCpbRemovalDelay[Htid][ScIdx]の値は、以下のように制約される。
- cbr_flag[ScIdx]が0に等しい場合、以下の条件は真とする。
InitCpbRemovalDelay[Htid][ScIdx]<=Ceil(deltaTime90k[n]) (C.18)
- そうでない場合(cbr_flag[ScIdx]=1)、以下の条件は真とする。
Floor(deltaTime90k[n])<=InitCpbRemovalDelay[Htid][ScIdx]<=Ceil(deltaTime90k[n]) (C.19)
注記1- 各AUまたはDUの除去時におけるCPBのビットの正確な数は、HRDを初期化するためにどのBP SEIメッセージが選択されたかに依存し得る。エンコーダはこれを考慮しなければならず、HRDはいずれか1つのBP SEIメッセージで初期化される可能性があるので、HRDの初期化のためにどのBP SEIメッセージが選択されたかに関係なく、規定されたすべての制約に従わなければならないことを確実にするためである。
- DecodingUnitHrdFlagが0に等しい場合、AUn AuNominalRemovalTime[n]の公称CPB除去時間が、少なくとも1つのnの値に対してAUn AuFinalArrivalTime[n]の最終CPB到着時間未満の状態として、CPBアンダーフローは規定される。
- そうでない場合(DecodingUnitHrdFlagが1に等しい)、DUm DuNominalRemovalTime[m]の公称CPB除去時間が、少なくとも1つのmの値に対してDUm DuFinalArrivalTime[m]の最終CPB到着時間未満の状態として、CPBアンダーフローは規定される。
tmpCpbRemovalDelaySum=0
for(i=0;i<pt_num_decoding_units_minus1;i++)
tmpCpbRemovalDelaySum+=
pt_du_cpb_removal_delay_increment_minus1[i][Htid]+1 (C.20)
ClockSubTick*tmpCpbRemovalDelaySumの値は、現在のAUの公称CPB除去時間と、復号順で現在のAUの第1のDUの公称CPB除去時間との間の差に等しいものとする。
注記2- 出力される、復号順で前のCVSのすべてのピクチャは、復号順で後のCVSのいずれかのピクチャの前に出力される。特定のCVS内で、出力されるピクチャは、PicOrderCntValの昇順で出力される。
従来のレベル定義用VVC設計において、以下のような問題が存在する。
各現在のピクチャについて、C.3.2項に規定されるように、DPBからピクチャを除去するための処理を呼び出した後、DPBにおいて復号されたピクチャの数は、「参照に使用される」とマークされる、または、PictureOutputFlagが1に等しく、かつ、CpbRemovalTime[n]がCpbRemovalTime[currPic]未満であるすべてのピクチャnを含み、ここで、currPicは現在のピクチャであり、max_dec_pic_buffering_minus1[Htid]以下であるものとする。
「CpbRemovalTime[n]<CpbRemovalTime[currPic]未満」の部分は、DPBにおける復号されたピクチャの復号時間が現在のピクチャの復号時間未満である条件を説明する。しかしながら、DPBにおけるすべての復号されたピクチャは、常に現在のピクチャの復号よりも早く復号されるので、コンテキストにおけるCpbRemovalTime[n]は、常にCpbRemovalTime[currPic]よりも小さい。
上述した課題等を解決するために、以下に要約される方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
本実施形態は、項目1~3およびその小項目についてである。
本附属書における制約を表すために、以下を規定する。
-変数fRを1÷300に等しく設定する。
- ビットストリームがMain10プロファイルまたはMain4:4:4 10プロファイルに適合していることが示された場合、HbrFactorは1に等しく設定される。
NALビットレートスケールファクタを表す変数BrNalFactorは、CpbNalFactor*HbrFactorに等しく設定される。
変数MinCrは、MinCrBase*MinCrScaleFactor÷HbrFactorに等しく設定される。
if(PicSizeMaxInSamplesY<=(MaxLumaPs>>2))
MaxDpbSize=Min(4*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=(MaxLumaPs>>1))
MaxDpbSize=Min(2*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=((3*MaxLumaPs)>>2))
MaxDpbSize=Min((4*maxDpbPicBuf)/3,16)
else
MaxDpbSize=maxDpbPicBuf (A.1)
モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206を含む予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含んでもよい。
本願は、2020年6月8日出願の米国特許仮出願第63/036321号の優先権および利益を適時に主張する2021年6月8日出願の国際特許出願第PCT/US2021/036462号に基づくものである。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
Claims (23)
- 1つ以上のスライスを備える1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含む映像データの処理方法であって、
前記ビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、
nは正の整数であり、
前記フォーマット規則は、復号時の前記複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、前記複数のAUの前記それぞれのスライス数との間の関係を規定する、
映像データの処理方法。 - 前記関係は、(i)ピクチャあたりの最大スライス数とアクセスユニットにおけるピクチャ数との積と、(ii)前記アクセスユニットの最大サイズとに基づくものである、
請求項1に記載の方法。 - 前記フォーマット規則は、前記複数のアクセスユニットのうちの最初のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、
請求項1に記載の方法。 - 前記制約は、AU0のスライス数が、Min(Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxSlicesPerAu)以下であることを規定し、ここで、MaxSlicesPerAuは、アクセスユニットあたりの最大スライス数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は、前記m番目のアクセスユニットの公称CPB除去時間であり、AuSizeMaxInSamplesY[m]は、輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、
請求項3に記載の方法。 - AU0に対応する値からMaxLumaPsの値およびMaxLumaSrの値を選択する、
請求項4に記載の方法。 - 前記フォーマット規則は、2つの連続するアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、
請求項1に記載の方法。 - 前記制約は、AUnにおけるスライスの数が、Min((Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerAu)以下であることを規定し、MaxSlicesPerAuは、アクセスユニットあたりの最大スライス数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間である、
請求項6に記載の方法。 - MaxSlicesPerAuの値、MaxLumaPsの値、およびMaxLumaSrの値をAUnに対応する値から選択する、
請求項7に記載の方法。 - 1つ以上のタイルを備える1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うこと、を含む映像データの処理方法であって、
前記ビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、
nは正の整数であり、
前記フォーマット規則は、複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、前記複数のAUの前記それぞれのタイル数との間の関係を規定する、
映像データの処理方法。 - 前記関係は、(i)ピクチャあたりのタイル列の最大数(MaxTileCols)と、ピクチャあたりのタイル行の最大数(MaxTileRows)と、アクセスユニットにおけるピクチャ数との積、および、(ii)前記アクセスユニットの最大サイズに基づくものである、
請求項9に記載の方法。 - 前記フォーマット規則は、前記複数のアクセスユニットのうちの第1のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、
請求項9に記載の方法。 - 前記制約は、AU0のタイル数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTilesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTilesPerAu)以下であることを規定し、MaxTilesPerAuは、アクセスユニットあたりの最大タイル数であり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は、前記m番目のアクセスユニットの公称CPB除去時間であり、かつ、AuSizeMaxInSamplesY[m]は、輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、
請求項11に記載の方法。 - AU0に対応する値からMaxTilesPerAuの値を選択する、
請求項12に記載の方法。 - 前記フォーマット規則は、2つの連続するアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、
請求項9に記載の方法。 - 前記制約は、AUnにおけるタイルの数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTilesPerAu)以下であることを規定し、MaxTilesPerAuは、アクセスユニットあたりの最大タイル数であり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間である、
請求項14に記載の方法。 - AUnに対応する値からMaxTilesPerAuの値を選択する、
請求項15に記載の方法。 - 前記変換は、前記ビットストリームから前記映像を復号することを含む、
請求項1~16のいずれか1項に記載の方法。 - 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
請求項1~16のいずれか1項に記載の方法。 - 映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、
請求項1~16のいずれか1項に記載の方法に従って、前記映像から前記ビットストリームを生成することと、
前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることと、を含む、
方法。 - 請求項1~19のいずれか1項に記載の方法を実装するように構成される処理装置を備える、
映像処理装置。 - 命令が記憶されたコンピュータ可読媒体であって、前記命令は、実行されると、処理装置に、請求項1~19のいずれか1項に記載の方法を実装させる、
コンピュータ可読媒体。 - 請求項1~19のいずれか1項に従って生成された前記ビットストリームを記憶する、
コンピュータ可読媒体。 - 前記映像処理装置は、請求項1~19のいずれか1項に記載の方法を実装するように構成された、
ビットストリームを記憶するための映像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063036321P | 2020-06-08 | 2020-06-08 | |
US63/036,321 | 2020-06-08 | ||
PCT/US2021/036462 WO2021252525A1 (en) | 2020-06-08 | 2021-06-08 | Constraints of slice count in a coded video picture |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023529420A true JP2023529420A (ja) | 2023-07-10 |
Family
ID=78845844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022575423A Pending JP2023529420A (ja) | 2020-06-08 | 2021-06-08 | コーディングされた映像ピクチャにおけるスライスカウントの制約 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11917172B2 (ja) |
EP (1) | EP4154523A4 (ja) |
JP (1) | JP2023529420A (ja) |
KR (1) | KR20230019845A (ja) |
CN (2) | CN115943627A (ja) |
WO (2) | WO2021252525A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11516476B2 (en) * | 2020-07-10 | 2022-11-29 | Sharp Kabushiki Kaisha | Systems and methods for deriving a motion vector difference in video coding |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1743338B1 (en) * | 2004-04-28 | 2009-09-16 | Panasonic Corporation | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
KR100878827B1 (ko) | 2005-07-08 | 2009-01-14 | 엘지전자 주식회사 | 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법 |
US8340510B2 (en) * | 2009-07-17 | 2012-12-25 | Microsoft Corporation | Implementing channel start and file seek for decoder |
US20110235709A1 (en) | 2010-03-25 | 2011-09-29 | Apple Inc. | Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes |
US8885729B2 (en) | 2010-12-13 | 2014-11-11 | Microsoft Corporation | Low-latency video decoding |
US9106927B2 (en) * | 2011-09-23 | 2015-08-11 | Qualcomm Incorporated | Video coding with subsets of a reference picture set |
US9264717B2 (en) | 2011-10-31 | 2016-02-16 | Qualcomm Incorporated | Random access with advanced decoded picture buffer (DPB) management in video coding |
US10003817B2 (en) * | 2011-11-07 | 2018-06-19 | Microsoft Technology Licensing, Llc | Signaling of state information for a decoded picture buffer and reference picture lists |
US9565431B2 (en) * | 2012-04-04 | 2017-02-07 | Qualcomm Incorporated | Low-delay video buffering in video coding |
US10230970B2 (en) * | 2012-07-10 | 2019-03-12 | Cisco Technology, Inc. | Decoded picture buffer size management |
US9479774B2 (en) * | 2012-09-24 | 2016-10-25 | Qualcomm Incorporated | Buffering period and recovery point supplemental enhancement information messages |
CN104685889B (zh) * | 2012-09-28 | 2016-08-24 | 瑞典爱立信有限公司 | 视频序列图像的解码和编码 |
US9402076B2 (en) | 2013-01-07 | 2016-07-26 | Qualcomm Incorporated | Video buffering operations for random access in video coding |
US9648335B2 (en) * | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
US9819941B2 (en) * | 2013-10-10 | 2017-11-14 | Qualcomm Incorporated | Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding |
WO2015138979A2 (en) * | 2014-03-14 | 2015-09-17 | Sharp Laboratories Of America, Inc. | Dpb capacity limits |
US9794626B2 (en) | 2014-05-01 | 2017-10-17 | Qualcomm Incorporated | Partitioning schemes in multi-layer video coding |
US9699480B2 (en) * | 2014-06-13 | 2017-07-04 | Sharp Laboratories Of America, Inc. | Level limits |
US10778979B2 (en) * | 2018-01-11 | 2020-09-15 | Qualcomm Incorporated | Signaling mechanisms for equal ranges and other DRA parameters for video coding |
BR112021014484A2 (pt) * | 2019-02-02 | 2021-09-28 | Beijing Bytedance Network Technology Co., Ltd. | Gerenciamento de buffer para cópia de bloco intra em codificação de vídeo |
WO2020156545A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Prediction using intra-buffer samples for intra block copy in video coding |
WO2020177661A1 (en) * | 2019-03-01 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Order-based updating for intra block copy in video coding |
US20220312042A1 (en) | 2019-08-21 | 2022-09-29 | Sharp Kabushiki Kaisha | Systems and methods for signaling buffering period information in video coding |
EP4032293A4 (en) * | 2019-10-07 | 2022-11-30 | Huawei Technologies Co., Ltd. | ERROR PREVENTION IN A SUB-BITSTREAM EXTRACTION |
US11785205B2 (en) * | 2019-12-24 | 2023-10-10 | Qualcomm Incorporated | Shared decoder picture buffer for multiple layers |
EP4101162A4 (en) * | 2020-02-28 | 2023-03-29 | Huawei Technologies Co., Ltd. | DECODERS AND RELATED METHODS FOR SIGNALING IMAGE SEPARATION INFORMATION FOR SLICES |
US11949863B2 (en) * | 2021-08-02 | 2024-04-02 | Tencent America LLC | Geometric partition mode with intra block copy |
-
2021
- 2021-06-08 CN CN202180041428.9A patent/CN115943627A/zh active Pending
- 2021-06-08 CN CN202180041396.2A patent/CN115917978A/zh active Pending
- 2021-06-08 JP JP2022575423A patent/JP2023529420A/ja active Pending
- 2021-06-08 EP EP21821747.9A patent/EP4154523A4/en active Pending
- 2021-06-08 KR KR1020227042893A patent/KR20230019845A/ko active Search and Examination
- 2021-06-08 WO PCT/US2021/036462 patent/WO2021252525A1/en unknown
- 2021-06-08 WO PCT/US2021/036469 patent/WO2021252530A1/en active Application Filing
-
2022
- 2022-12-07 US US18/076,886 patent/US11917172B2/en active Active
- 2022-12-07 US US18/076,897 patent/US11856212B2/en active Active
-
2023
- 2023-11-30 US US18/525,428 patent/US20240107041A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4154523A4 (en) | 2023-11-22 |
WO2021252530A1 (en) | 2021-12-16 |
CN115917978A (zh) | 2023-04-04 |
US20230105905A1 (en) | 2023-04-06 |
US20230103059A1 (en) | 2023-03-30 |
US11917172B2 (en) | 2024-02-27 |
KR20230019845A (ko) | 2023-02-09 |
US11856212B2 (en) | 2023-12-26 |
EP4154523A1 (en) | 2023-03-29 |
CN115943627A (zh) | 2023-04-07 |
WO2021252525A1 (en) | 2021-12-16 |
US20240107041A1 (en) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023518046A (ja) | スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット | |
JP2023526367A (ja) | アクセスユニットにおけるピクチャ情報の信号通知 | |
US20240107041A1 (en) | Constraints On Decoding Picture Buffer | |
JP7506184B2 (ja) | 映像コーディングにおけるスケーリングウィンドウ | |
JP2023529972A (ja) | コーディングされた映像における量子化情報の信号通知 | |
WO2021252543A1 (en) | Picture timing information signaling in coded video | |
CN115699731A (zh) | 参考图片重采样 | |
JP2023529431A (ja) | 映像ピクチャにおけるサブピクチャ数の制約 | |
JP2023526660A (ja) | 映像サブビットストリーム抽出処理におけるスケーラブルネスト化されたseiメッセージのハンドリング | |
JP2023529823A (ja) | マルチレイヤ映像ビットストリームのサブビットストリーム抽出 | |
JP7518204B2 (ja) | 映像ビットストリーム処理におけるピクチャタイプの制約 | |
JP7506188B2 (ja) | コーディングされた映像におけるシーケンスの終端の表示 | |
JP7518207B2 (ja) | コーディングされた映像におけるnalユニットの順序 | |
JP7513756B2 (ja) | サブレイヤ数制限 | |
JP2023529198A (ja) | マルチレイヤビデオコーディングのピクチャヘッダ制約 | |
JP2023528408A (ja) | 一般的な制約情報の信号通知 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240507 |