JP7460790B2 - 参照ピクチャ順序の制約 - Google Patents
参照ピクチャ順序の制約 Download PDFInfo
- Publication number
- JP7460790B2 JP7460790B2 JP2022556157A JP2022556157A JP7460790B2 JP 7460790 B2 JP7460790 B2 JP 7460790B2 JP 2022556157 A JP2022556157 A JP 2022556157A JP 2022556157 A JP2022556157 A JP 2022556157A JP 7460790 B2 JP7460790 B2 JP 7460790B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- video
- pictures
- current
- random access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 195
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 7
- 239000010410 layer Substances 0.000 description 169
- 238000003672 processing method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 230000000750 progressive effect Effects 0.000 description 13
- 241001482237 Pica Species 0.000 description 11
- 238000011084 recovery Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 101150103552 cagE gene Proteins 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 108091008143 L ribosomal proteins Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本願は、2020年3月19日出願の米国特許仮出願第62/992046号の優先権および利益を主張する2021年3月16日出願の国際特許出願第PCT/US2021/022584号に基づく上記出願の開示全体は、本明細書の開示として参照によりここに援用される。
本明細書は、映像コーディング技術に関する。具体的には、異なるタイプのピクチャの定義、復号化順、出力順、および予測関係におけるそれらの関係を含め、ランダムアクセス、サブレイヤスイッチング、およびスケーラビリティのサポートのための様々な態様に関する。この考えは、個々に又は様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング規約又は非標準映像コーデックに適用されてもよい。
APS Adaptation Parameter Set
AU Access Unit
AUD Access Unit Delimiter
AVC Advanced Video Coding
CLVS Coded Layer Video Sequence
CPB Coded Picture Buffer
CRA Clean Random Access
CTU Coding Tree Unit
CVS Coded Video Sequence
DCI Decoding Capability Information
DPB Decoded Picture Buffer
EOB End Of Bitstream
EOS End Of Sequence
GDR Gradual Decoding Refresh
HEVC High Efficiency Video Coding
HRD Hypothetical Reference Decoder
IDR Instantaneous Decoding Refresh
JEM Joint Exploration Model
MCTS Motion-Constrained Tile Sets
NAL Network Abstraction Layer
OLS Output Layer Set
PH Picture Header
PPS Picture Parameter Set
PTL Profile,Tier and Level
PU Picture Unit
RADL Random Access Decodable Leading (Picture)
RAP Random Access Point
RASL Random Access Skipped Leading (Picture)
RBSP Raw Byte Sequence Payload
RPL Reference Picture List
SEI Supplemental Enhancement Information
SPS Sequence Parameter Set
STSA Step-wise Temporal Sublayer Access
SVC Scalable Video Coding
VCL Video Coding Layer
VPS Video Parameter Set
VTM VVC Test Model
VUI Video Usability Information
VVC Versatile Video Coding
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVTM(VVC Test Model)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
SVC(Scalable Video Coding、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1または複数のスケーラブルエンハンスメントレイヤ(EL:Enhancement Layer)が使用される映像コーディングを参照する。SVCにおいて、基本レイヤは、品質の基本レベルの映像データを担持することができる。1または複数のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および/またはSNR(Signal-to-Noise)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、ボトムレイヤがBLとして機能し、トップレイヤがELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、基本レイヤまたは任意の介在するエンハンスメントレイヤのためのELであってもよく、同時に、中間レイヤの上の1または複数のエンハンスメントレイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、符号化または復号化)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
ランダムアクセスとは、復号化順でビットストリームの最初のピクチャでないピクチャからビットストリームのアクセスと復号化を開始することを指す。ブロードキャスト/マルチキャストおよび複数人数によるビデオ会議におけるチューニングおよびチャネル切り替え、ローカル再生およびストリーミングにおける探索、並びにストリーミングにおけるストリーム適応をサポートするために、ビットストリームは、頻繁なランダムアクセスポイントを含むことが必要であり、一般的に、イントラコーディングされたピクチャであるが、インターコーディングされたピクチャであってもよい(例えば、漸進的復号化リフレッシュの場合)。
i)BLAピクチャの基本機能性は、CRAピクチャにシーケンス終了NALユニットを加えることで実現でき、このシーケンス終了NALユニットが存在することは、後続のピクチャがシングルレイヤビットストリームにおいて新しいCVSを開始することを示す。
ii)VVCの開発において、NALユニットヘッダのNALユニットタイプフィールドに6ビットの代わりに5ビットを用いることによって示されるように、HEVCよりも少ないNALユニットタイプを規定することが望ましかった。
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能性である。それは、DPB(Decoded Picture Buffer)への参照ピクチャの記憶およびそこからの参照ピクチャの除去を管理し、且つ参照ピクチャをRPL内の適切な順序に置く。
AVC、HEVC、VVCはパラメータセットを指定する。パラメータセットのタイプは、SPS、PPS、APS、VPSを含む。SPSおよびPPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
最近のVVCテキストJVET-Q2001-vE/v15)における関連する定義は、以下のとおりである。
(特定のピクチャの)関連付けられたIRAPピクチャ:復号化順における前のIRAPピクチャ(存在する場合)は、特定のピクチャと同じ値nuh_layer_idを有する。
CRA(Clean Random Access)PU:コーディングされたピクチャがCRAピクチャであるPU。
CRA(Clean Random Access)ピクチャ:各VCL NALユニットのnal_unit_typeがCRA_NUTであるIRAPピクチャ。
CVS(Coded Video Sequence):復号化順において、すべての後続のAU(ただし、CVSS AUである後続のAUは含まない)を含む、CVSS AUでない0以上のAUが続く、CVSS AUから構成される、AUのシーケンス。
CVSS(Coded Video Sequence Start)AU:CVSの各レイヤにPUがあり、各PUのコーディングされたピクチャがCLVSSピクチャであるAU。
GDR(Gradual Decoding Refresh)AU:本PU各々のコーディングされたピクチャがGDRピクチャであるAU。
GDR(Gradual Decoding Refresh)PU:コーディングされたピクチャがGDRピクチャであるPU。
GDR(Gradual Decoding Refresh)ピクチャ:NALユニットのnal_unit_typeがGDR_NUTであるピクチャ。
IDR(Instantaneous Decoding Refresh)PU:コーディングされたピクチャがIDRピクチャであるPU
IDR(Instantaneous Decoding Refreshu)ピクチャ:各VCL NALユニットのnal_unit_typeがIDR_W_RADLまたはIDR_N_LPであるIRAPピクチャ
IRAP(Intra Random Access Point)AU:CVSの各レイヤにPUが存在し、各PUのコーディングされたピクチャがIRAPピクチャであるAU。
IRAP(Intra Random Access Point)PU:コーディングされたピクチャがIRAPピクチャであるPU
IRAP(Intra Random Access Pint)ピクチャ:IDR_W_RADLからCRA_NUTの範囲内で、すべてのVCL NALユニットのnal_unit_typeが同じ値であるコーディングされたピクチャ。
リーディングピクチャ:関連付けられたIRAPピクチャと同じレイヤにあり、関連付けられたIRAPピクチャに出力順において先行するピクチャ
RADL(Random Access Decodable Leading)PU:コーディングされたピクチャがRADLピクチャであるPU。
RADL(Random Access Decodable Leading)ピクチャ:各VCL NALユニットのnal_unit_typeがRADL_NUTであるピクチャ。
RASL(Random Access Skipped Leading)PU:コーディングされたピクチャが、RASLピクチャであるPU。
RASL(Random Access Skipped Leading)ピクチャ:各VCL NALユニットのnal_unit_typeがRASL_NUTであるピクチャ。
STSA(Step-wise Temporal Sublayer Access)PU:コーディングされたピクチャがSTSAピクチャであるPU。
STSA(Step-wise Temporal Sublayer Access)ピクチャ:各VCL NALユニットのnal_unit_typeがSTSA_NUTであるピクチャ。
注-STSAピクチャは、インター予測参照に対してSTSAピクチャと同じTemporalIdを有するピクチャを使用しない。STSAピクチャと同じTemporalIdを有する、復号化順でSTSAピクチャの後続のピクチャは、インター予測参照にはSTSAピクチャと同じTemporalIdを有する、復号化順でSTSAピクチャの前のピクチャを使用しない。STSAピクチャは、STSAピクチャにおいて、STSAピクチャを含むサブレイヤに対して、直下のサブレイヤからのアップスイッチを有効化する。STSAピクチャのTemporalIdは0より大きくなければならない。
トレイリングピクチャ:出力順の関連付けられたIRAPピクチャに続く非IRAPピクチャであり、STSAピクチャではない。
注-IRAPピクチャに関連付けられたトレイリングピクチャも、復号化順において、IRAPピクチャに続く。出力順において関連付けられたIRAPピクチャに続き、復号化順において関連付けられたIRAPピクチャに先行するピクチャは、許可されない。
最近のVVCテキスト(JVET-Q2001-vE/v15)において、NALユニットヘッダ構文および意味論は以下のとおりである。
forbidden_zero_bitは、0に等しいものとする。
nuh_reserved_zero_bitは、0に等しいものとする。nuh_reserved_zero_bitの値1は、将来、ITU-T|ISO/IECにより規定してもよい。デコーダは、nuh_reserved_zero_bitが1に等しいNALユニットを無視する(すなわち、ビットストリームから削除し、廃棄する)。
nuh_layer_idは、VCL NALユニットが属するレイヤの識別子、または非VCL NALユニットが適用されるレイヤの識別子を規定する。nuh_layer_idの値は、0から55までの範囲内にあるものとする。nuh_layer_idの他の値は、ITU-T|ISO/IECで将来使用されるよう、確保されている。
nuh_layer_idの値は、1つのコーディングされたピクチャのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはPUのnuh_layer_idの値は、コーディングされたピクチャまたはPUのVCL NALユニットのnuh_layer_idの値である。
AUD、PH、EOS、FD NALユニットのnuh_layer_idの値は、以下のように制約される。
-nal_unit_typeがAUD_NUTに等しい場合、nuh_layer_idはvps_layer_id[0]に等しいものとする。
-あるいは、nal_unit_typeがPH_NUT、EOS_NUT、FD_NUTに等しい場合、nuh_layer_idは関連付けられたVCL NALユニットのnuh_layer_idに等しいものとする。
注1-DCI、VPS、およびEOB NALユニットのnuh_layer_idの値は制約されていない。
nal_unit_typeは、表5で規定されているように、NALユニットタイプ、すなわちNALユニットに含まれるRBSPデータ構造のタイプを規定する。
UNSPEC_28..UNSPEC_31の範囲内にあり、意味論が規定されていないnal_unit_typeを有するNALユニットは、本明細書で規定される復号化処理に影響を及ぼさないものとする。
注2-UNSPEC_28...UNSPEC_31の範囲内にあるNALユニットタイプ、アプリケーションにより決定されたとおりに使用されてもよい。本明細書では、nal_unit_typeのこれらの値の復号化処理は規定されていない。異なるアプリケーションはこれらのNALユニットタイプを異なる目的で使用してもよいので、これらのnal_unit_type値を有するNALユニットを生成するエンコーダの設計、およびこれらのnal_unit_type値を有するNALユニットのコンテンツを解釈するデコーダの設計にあたり、特に注意しなければならない。本明細書は、これらの値の管理を定義していない。これらのnal_unit_type値は、使用の「コリジョン」(すなわち、同じnal_unit_type値に対するNALユニットのコンテンツの意味の異なる定義)が重要でない、または可能でない、または管理された状況、例えば、制御アプリケーションまたはトランスポート仕様において、またはビットストリームが分散される環境を制御することによって定義または管理されるコンテキストでの使用にのみ適している場合がある。
注3-この要件は、本明細書に適合する拡張を将来的に定義することを可能にする。
注5-IDR_N_LPに等しいnal_unit_typeを有するIDR(Instantaneous Decoding Refresh)ピクチャは、ビットストリームに存在する関連付けられたリーディングピクチャを有さない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに存在する関連付けられたRASLピクチャ有していないが、ビットストリームに関連付けられたRADLピクチャを有していてもよい。
任意の特定のピクチャのVCL NALユニットに対して、以下が適用される。
-mixed_nalu_types_in_pic_flagが0に等しい場合、nal_unit_typeの値は、ピクチャの全てのVCL NALユニットについて同じであるべきであり、ピクチャまたはPUは、ピクチャまたはPUのコーディングされたスライスNALユニットと同じNALユニットタイプを有するとみなされる。
-そうでない場合(mixed_nalu_types_in_pic_flagが1に等しい)、ピクチャは、少なくとも2つのサブピクチャを有し、ピクチャのVCL NALユニットは、以下のような正確に2つの異なるnal_unit_type値を有するべきである。ピクチャの少なくとも1つのサブピクチャのVCL NALユニットは、STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しいnal_unit_typeの特定の値をすべて有する一方、ピクチャ内の他のサブピクチャのVCL NALユニットは、TRAIL_NUT、RADL_NUT、またはRASL_NUTに等しいnal_unit_typeの異なる値をすべて有するべきである。
-各ピクチャは、復号化順において、ビットストリームの第1のピクチャを除き、復号化順において前のIRAPピクチャに関連付けられていると考えられる。
-ピクチャがIRAPピクチャのリーディングピクチャである場合、RADLまたはRASLピクチャとする。
-ピクチャがIRAPピクチャのトレイリングピクチャである場合、RADLまたはRASLピクチャではないものとする。
-IDRピクチャに関連付けられたRASLピクチャは、ビットストリームに含まれていないものとする。
-IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャに関連付けられたRADLピクチャは、ビットストリームに含まれていないものとする。
注6-各パラメータセットが参照されるときに、(ビットストリームにおいて、または本明細書で規定されていない外部手段によって)利用可能である限り、IRAP PUの前にあるすべてのPUを廃棄することで(且つIRAPピクチャおよび後続のすべての非RASLピクチャを復号化順に正しく復号化することで)、IRAP PUの位置でランダムアクセスを行うことができる。
-復号化順において、IRAPピクチャに先行するピクチャは、出力順でIRAPピクチャに先行し、出力順において、IRAPピクチャに関連付けられたRADLピクチャに先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、出力順でCRAピクチャに関連付けられたRADLピクチャに先行するものとする。
-CRAピクチャに関連付けられたRASLピクチャは、復号化順においてCRAピクチャに先行するIRAPピクチャに、出力順において続くものとする。
-field_seq_flagが0に等しく、現在のピクチャがIRAPピクチャに関連付けられたリーディングピクチャに等しい場合、復号化順において、同じIRAPピクチャに関連付けられたすべての非リーディングピクチャに先行するものとする。そうでない場合、picAおよびpicBを、それぞれ、IRAPピクチャに関連付けられた、復号化順において、最初のおよび最後のリーディングピクチャとすると、復号化順においてpicAに先行する最大で1つの非リーディングピクチャが存在し、復号化順においてpicAおよびpicBの間に非リーディングピクチャはないものとする。
nuh_temporal_id_plus1の値は0に等しくないものとする。
変数TemporalIdは、以下のように導出される。
TemporalId=nuh_temporal_id_plus1-1 (36)
nal_unit_typeがIDR_W_RADL~RSV_IRAP_12の範囲内にある場合、TemporalIdは0に等しいものとする。
nal_unit_typeがSTSA_NUTに等しく、vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しい場合、TemporalIdは0に等しくないものとする。
TemporalIdの値は、AUのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャ、PU、またはAUのTemporalIdの値は、コーディングされたピクチャ、PU、またはAUのVCL NALユニットのTemporalIdの値である。サブレイヤ表現のTemporalIdの値は、サブレイヤ表現におけるすべてのVCL NALユニットのTemporalIdの最大値である。
-nal_unit_typeがDCI_NUT、VPS_NUT、VPS_NUT、またはSPS_NUTに等しい場合、TemporalIdは0に等しく、NALユニットを含むAUのTemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがPH_NUTに等しい場合、TemporalIdはNALユニットを含むPUのTemporalIdであるものとする。
-そうでない場合、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。
-そうでない場合、nal_unit_typeがAUD_NUT、FD_NUT、PREFIX_SEI_NUT、またはSUFFIX_SEI_NUTに等しい場合、TemporalIdはNALユニットを含むAUのTemporalIdであるものとする。
-そうでない場合、nal_unit_typeがPPS_NUT、PREFIX_APS_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalIdはNALユニットを含むPUのTemporalId以上であるものとする。
注7-NALユニットが非VCL NALユニットである場合、TemporalIdの値は、非VCL NALユニットが適用されるすべてのAUのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUT、PREFIX_APS_NUT、またはSUFFIX_APS_NUTに等しい場合、TemporalIdは、包含しているAUのTemporalId以上であってもよく、すべてのPPSおよびAPSがビットストリームの開始に含まれてもよく(例えば、それらが帯域外に輸送されている場合、受信機はそれらをビットストリームの先頭に配置する)、第1のコーディングされたピクチャは、0に等しいTemporalIdを有する。
最近のVVCテキスト(JVET-Q2001-vE/v15)において、本発明に最も関連するピクチャヘッダ構造の構文及び意味論は、以下のとおりである。
PH構文構造は、PH構文構造に関連付けられたコーディングされたピクチャのすべてのスライスに共通の情報を含む。
1に等しいgdr_or_irap_pic_flagは、現在のピクチャがGDRまたはIRAPピクチャであることを規定する。0に等しいgdr_or_irap_pic_flagは、現在のピクチャがGDRまたはIRAPピクチャであってもなくてもよいことを規定する。
1に等しいgdr_pic_flagは、PHに関連付けられたピクチャがGDRピクチャであることを規定する。0に等しいgdr_pic_flagは、PHに関連付けられたピクチャがGDRピクチャでないことを規定する。存在しない場合、gdr_pic_flagの値は0に等しいと推測される。gdr_enabled_flagが0に等しい場合、gdr_pic_flagの値は0に等しいものとする。
注1-gdr_or_irap_pic_flagが1に等しく、gdr_pic_flagが0に等しい場合、PHに関連付けられたピクチャはIRAPピクチャである。
...
no_output_of_prior_pics_flagは、附属書Cに規定されるように、ビットストリームの最初のピクチャでないCLVSSピクチャの復号化後の、DPBにおける前回復号化されたピクチャの出力に影響を及ぼす。
recovery_poc_cntは、出力順において、復号化されたピクチャのリカバリポイントを規定する。現在のピクチャがPHに関連付けられたGDRピクチャであり、現在のGDRピクチャのPicOrderCntValにrecovery_poc_cntの値を加えたものであるPicOrderCntValを有するCLVSにおいて、復号化順において現在のGDRピクチャに続くピクチャpicAが存在する場合、ピクチャpicAをリカバリポイントピクチャと呼ぶ。そうでない場合、現在のピクチャのPicOrderCntValにrecovery_poc_cntの値を加えたものよりも大きいPicOrderCntValを有する、出力順における第1のピクチャを、リカバリポイントピクチャと呼ぶ。リカバリポイントピクチャは、復号化順において、現在のGDRピクチャに先行しないものとする。recovery_poc_cntの値は、0からMaxPicOrderCntLsb-1の範囲内とする。
RpPicOrderCntVal=PicOrderCntVal+recovery_poc_cnt (81)
注2-gdr_enabled_flagが1に等しく、現在のピクチャのPicOrderCntValが関連付けられたGDRピクチャのRpPicOrderCntVal以上である場合、出力順において現在および後続の復号化されたピクチャが、復号化順において関連付けられたGDRピクチャに先行する前のIRAPピクチャ(存在する場合)から復号化処理を開始することによって生成された対応するピクチャに完全に一致する。
...
最近のVVCテキスト(JVET-Q2001-vE/v15)において、VVCにおけるRPLの制約は、以下のとおりである(VVCの条項8.3.2 参照ピクチャリスト構築の復号化処理の一部として)。
...
各iが0または1に等しい場合、RefPicList[i]における第1のNumRefIdxActive[i]エントリは、RefPicList[i]におけるアクティブエントリと称され、RefPicList[i]における他のエントリは、RefPicList[i]における非アクティブエントリと称される。
注2-特定のピクチャは、RefPicList[0]におけるエントリおよびRefPicList[1]におけるエントリの両方により参照されることがあり得る。また、特定のピクチャが、RefPicList[0]における複数のエントリにより、またはRefPicList[1]における複数のエントリにより参照されることもあり得る。
注3-RefPicList[0]のアクティブエントリおよびRefPicList[1]のアクティブエントリは、現在のピクチャおよび復号化順において現在のピクチャに続く1または複数のピクチャのインター予測のために使用してもよい全ての参照ピクチャをまとめて参照する。RefPicList[0]の非アクティブエントリおよびRefPicList[1]の非アクティブエントリは、現在のピクチャのインター予測のためには使用されないが、復号化順において現在のピクチャに続く1または複数のピクチャのためのインター予測において使用してもよい全ての参照ピクチャをまとめて参照する。
注4-RefPicList[0]またはRefPicList[1]には、対応するピクチャがDPBに存在しないため、「参照ピクチャなし」に等しいエントリが1または複数ある場合がある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]における各非アクティブエントリは、無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]における各アクティブエントリに対し、意図しないピクチャ損失を推測すべきである。
-各iが0または1に等しい場合、num_ref_entries[i][RplsIdx[i]]は、NumRefIdxActive[i]よりも小さくてはならない。
RefPicList[0]またはRefPicList[1]の各アクティブエントリによって参照されるピクチャは、DPBに含まれ、かつ現在のピクチャのTemporalId以下とする。
-RefPicList[0]またはRefPicList[1]の各エントリによって参照されるピクチャは、現在のピクチャではなく、0に等しいnon_reference_picture_flagを有するものとする。
-ピクチャのスライスのRefPicList[0]またはRefPicList[1]におけるSTRPエントリと、同じピクチャの同じスライスまたは異なるスライスのRefPicList[0]またはRefPicList[1]におけるLTRPエントリとは、同じピクチャを参照しないものとする。
-現在のピクチャのPicOrderCntValとエントリにより参照されるピクチャのPicOrderCntValとの差分が224以上であるRefPicList[0]またはRefPicList[1]において、LTRPエントリはないものとする。
-setOfRefPicsは、RefPicList[0]において現在のピクチャと同じnuh_layer_idを有する全てのエントリと、RefPicList[1]において現在のピクチャと同じnuh_layer_idを有する全てのエントリとにより参照される固有のピクチャのセットである。setOfRefPicsにおけるピクチャの数は、MaxDpbSize-1以下でなければならず、MaxDpbSizeは、A.4.2項で規定されるとおりであり、setOfRefPicsは、ピクチャの全てのスライスで同じである。
-現在のピクチャが、復号化順において、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいSTSAピクチャの後に続くピクチャである場合、復号化順において、STSAピクチャに先行し、現在のピクチャのものとTemporalIdが等しく、かつ現在のピクチャのものとnuh_layer_idが等しいピクチャは、RefPicList[0]またはRefPicList[1]にアクティブエントリとして含まれるピクチャはないものとする。
-現在のピクチャがCRAピクチャの場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、復号化順において先行するIRAPピクチャ(存在する場合)に、出力順または復号化順において、先行するピクチャはないものとする。
-現在のピクチャが、復号化順と出力順の両方において、同じIRAPピクチャに関連付けられた1または複数のリーディングピクチャに続くトレイリングピクチャである場合、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャであって、現在のピクチャに関連付けられたIRAPピクチャのために利用不可な参照ピクチャを生成するための復号化処理により生成されたピクチャはないものとする。
-現在のピクチャがリカバリポイントピクチャであるか、または出力順においてリカバリポイントピクチャに後続するピクチャである場合、リカバリポイントピクチャのGDRピクチャのために利用不可な参照ピクチャを生成するための復号化処理によって生成されたピクチャを含むRefPicList[0]またはRefPicList[1]のエントリはないものとする。
-現在のピクチャが、復号化順および出力順の両方において、同じIRAPピクチャに関連付けられた1または複数のリーディングピクチャに続くトレイリングピクチャである場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行するRefPicList[0]又はRefPicList[1]におけるエントリにより参照されるピクチャはないものとする。
-現在のピクチャがRADLピクチャである場合、RefPicList[0]またはRefPicList[1]に以下のいずれかに該当するアクティブエントリはないものとする。
○RASL ピクチャ
○利用不可な参照ピクチャを生成するために、復号化処理によって生成されたピクチャ
○復号順において、関連付けられたIRAPピクチャに先行するピクチャ
-現在のピクチャのスライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリにより参照されるピクチャは、DPBに存在し、且つ現在のピクチャのものよりも小さいnuh_layer_idを有するものとする。
-スライスのRefPicList[0]またはRefPicList[1]における各ILRPエントリは、アクティブエントリであるものとする。
...
最近のVVCテキスト(JVET-Q2001-vE/v15)における既存の設計は、以下の問題を有する。
1)関連付けられたIRAPピクチャの定義は、特定のピクチャの関連付けられたIRAPピクチャが特定のピクチャと同じレイヤに属するように更新されるべきである。
2)現在のトレイリングピクチャの定義は、以下の通りである。
トレイリングピクチャ:出力順において、関連付けられたIRAPピクチャに続き、かつ、STSAピクチャではない非IRAPピクチャ。
そのため、ビットストリームにはトレイリングピクチャが存在するためのIRAPピクチャが必要であり、ビットストリームにIRAPピクチャがない場合、NALユニットタイプ値TRAIL_NUTを使用できない。しかし、GDRピクチャに関連付けられた非STSAピクチャは、NALユニットタイプ値TRAIL_NUTを使用する必要がある。
3)復号化順におけるIRAPピクチャの前のピクチャの出力順に対する既存の制約は、レイヤ内のピクチャにのみ適用されるように規定される必要がある。
4)GDRピクチャと、復号化順においてその前後のピクチャの間においては相対的な復号化順および出力順に対する制約がない。
5)IRAPピクチャおよび一部の非リーディングピクチャに関連付けられたピクチャの復号化順に対する既存の制約は、レイヤ内のピクチャにのみ適用されるように規定される必要がある。
7)CRAピクチャのためのRPLに対する既存の制約は、レイヤ内のピクチャにのみ適用されるように規定される必要がある。
8)STSAピクチャ、GDRピクチャに関連付けられたトレイリングピクチャ、およびNoOutputBeforeRecoveryFlagが0に等しいGDRピクチャの場合、利用不可な参照ピクチャを生成するための復号化処理によって生成されないRPLのアクティブエントリに対する制約が欠落している。
9)STSAピクチャ、IDRピクチャ、NoOutputBeforeRecoveryFlagが0に等しいCRAピクチャ等の場合、利用不可な参照ピクチャを生成するための復号化処理によって生成されないRPLのエントリに対する制約が欠落している。
10)STSAピクチャの場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行しないようにRPLにおけるアクティブエントリに対する制約が欠落している。
11)STSAピクチャの場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行しないようにRPLにおけるエントリに対する制約が欠落している。
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
1)課題1を解決するために、関連付けられたIRAPピクチャの定義は、特定のピクチャの関連付けられたIRAPピクチャが特定のピクチャと同じレイヤに属するように更新される。
2)課題2を解決するために、トレイリングピクチャの定義を更新し、トレイリングピクチャはGDRピクチャと関連付けられてもよい。
a.さらに、関連付けられたGDRピクチャの定義を追加し、関連付けられたIRAPピクチャの定義を更新し、ビットストリームにおける第1のピクチャ以外のレイヤの各ピクチャを、復号化順において、同じレイヤの前のIRAPまたはGDRピクチャのうちのより近い方に関連付けるように特定する。
b.さらに、トレイリングピクチャが関連付けられたIRAPまたはGDRピクチャの出力順に従うことを要求する制約が追加される。
a.一例において、この制約は、以下のように規定される。nuh_layerIdに等しいnuh_layer_idを有するIRAPピクチャに復号順において、先行し、特定の値layerIdに等しいnuh_layer_Idを有する任意のピクチャは、出力順において、IRAPピクチャおよびその関連付けられたRADLピクチャに先行する。
4)課題4を解決するために、以下の制約条件のうちの1または複数を追加する。
a.トレイリングピクチャは、出力順において、関連付けられたIRAPまたはGDRピクチャに後続する。
b.layerIdに等しいnuh_layer_idを有するGDRピクチャに、復号順において、先行し、特定の値layerIdに等しいnuh_layer_idを有する任意のピクチャは、出力順において、GDRピクチャおよびその関連付けられたピクチャに先行する。
a.一例において、この制約は、以下のように規定される。-field_seq_flagが0に等しく、かつnuh_layer_idが特定の値layerIdに等しい現在のピクチャが、IRAPピクチャに関連付けられたリーディングピクチャである場合、それは、同じIRAPピクチャに関連付けられた全ての非リーディングピクチャに、復号化順において、先行するものとする。そうでない場合、picAおよびpicBを、それぞれ、復号化順において、IRAPピクチャに関連付けられた、最初と最後のリーディングピクチャとすると、復号化順においてpicAに先行する、layerIdに等しいnuh_layer_idを有する非リーディングピクチャが最大1つ存在し、かつ、復号化順において、picAとpicBの間でlayerIdに等しいnuh_layer_idを有する非リーディングピクチャは存在しないものとする。
b.別の例において、この制約は、以下のように規定される。field_seq_flagが0に等しく、現在のピクチャがIRAPピクチャに関連付けられたリーディングピクチャに等しい場合、それは、復号化順において、同じIRAPピクチャに関連付けられたすべての非リーディングピクチャに先行するものとする。そうでない場合、picAおよびpicBを、それぞれ、復号順において、IRAPピクチャに関連付けられた、最初のおよび最後のリーディングピクチャとすると、復号化順においてpicAに先行する、IRAPピクチャに関連付けられた非リーディングピクチャが最大1つ存在し、かつ、復号化順において、picAおよびpicBの間にIRAPピクチャに関連付けられた非リーディングピクチャは存在しないものとする。
a.GDRピクチャに関連付けられたリーディングピクチャは、復号化順においてGDRピクチャに続き、出力順においてそれに先行するピクチャである。
b.GDRピクチャに関連付けられたRADLピクチャは、GDRピクチャに関連付けられたリーディングピクチャであり、RADL_NUTに等しいnal_unit_typeを有する。
c.GDRピクチャに関連付けられたRASLピクチャは、GDRピクチャに関連付けられたリーディングピクチャであり、RASL_NUTに等しいnal_unit_typeを有する。
a.一例において、この制約は、以下のように規定される。
現在のピクチャが、特定の値layerIdに等しいnuh_layer_idを有し、CRAピクチャである場合、出力順または復号化順において、復号化順にてlayerIdに等しいnuh_layer_idを有する先行IRAPピクチャ(存在する場合)に先行する、RefPicList[0]またはRefPicList[1]のエントリに参照されるピクチャは存在しないものとする。
特定の値layerIdに等しいnuh_layer_idを有する現在のピクチャが、1に等しいNoOutputBeforeRecoveryFlagを有するCRAピクチャに関連付けられたRASLピクチャ、1に等しいNoOutputBeforeRecoveryFlagを有するGDRピクチャ、または、1に等しいNoOutputBeforeRecoveryFlagかつlayerIdに等しいnum_layer_idを有するGDRピクチャの復元ピクチャでない場合、利用不可な参照ピクチャを生成するための復号化処理にて生成された、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャは存在しないことが規定される。
特定の値layerIdに等しいnuh_layer_idを有する現在のピクチャが、1に等しいNoOutputBeforeRecoveryFlagを有するCRAピクチャ、復号化順において、1に等しいNoOutputBeforeRecoveryFlagを有する同じCRAピクチャに関連付けられたリーディングピクチャに先行するピクチャ、1に等しいNoOutputBeforeRecoveryFlagを有するCRAピクチャに関連付けられたリーディングピクチャ、1に等しいNoOutputBeforeRecoveryFlagを有するGDRピクチャ、または、1に等しいNoOutputBeforeRecoveryFlagかつlayerIdに等しいnuh_layer_idを有するGDRピクチャの復元ピクチャでない場合、利用不可な参照ピクチャを生成するための復号化処理にて生成された、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャは存在しないことが規定される。
現在のピクチャがIRAPピクチャに関連付けられ、かつ出力順においてIRAPピクチャに続く場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行する、RefPicList[0]またはRefPicList[1]のアクティブエントリにより参照されるピクチャはないものとする。
11)課題11を解決するために、以下の制約条件を規定する。
現在のピクチャがIRAPピクチャに関連付けられ、出力順においてIRAPピクチャに続き、かつ、復号化順および出力順の両方において、同じIRAPピクチャに関連付けられたリーディングピクチャに続く場合、出力順または復号化順において、関連付けられたIRAPピクチャに先行する、RefPicList[0]またはRefPicList[1]のエントリにより参照されるピクチャはないものとする。
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC仕様に適用できる。変更されたテキストは、JVET-Q2001-vE/v15における最新のVVCのテキストに基づく。既に追加または修正された最も関連性のある部分は、太字のイタリック文字で強調表示され、且つ削除された部分の一部は、二重括弧でマークされている(例えば、[[a]]は、「a」という文字の削除を示す)。本質的に編集可能であるため、強調されていない他の何らかの変更がある。
本実施形態は1、2、3、4、5、及び5a項に対するものである。
...
...
...
RpPicOrderCntVal=PicOrderCntVal+recovery_poc_cnt (81)]]
注2-gdr_enabled_flagが1に等しく、現在のピクチャのPicOrderCntValが関連付けられたGDRピクチャのrecoveryPointPocVal[[RpPicOrderCntVal]]以上である場合、出力順における現在および後続の復号化されたピクチャが、復号化順において関連付けられたGDRピクチャに先行する前のIRAPピクチャ(存在する場合)から復号化処理を開始することによって生成された対応するピクチャに完全に一致する。
...
...
○RASLピクチャ
[[利用不可な参照ピクチャを生成するための復号化処理によって生成されたピクチャ]]
○復号化順において、関連付けられたIRAPピクチャに先行するピクチャ
-...
(a)フィールドシーケンスの値および復号化順を規定する第1の規則、または、
(b)レイヤのリーディングおよび/または非リーディングピクチャの順番、のうちの一方である、映像処理方法。
Claims (10)
- 映像処理の方法であって、
規則に従って、現在のピクチャの現在のスライスを含む前記現在のピクチャを含む1または複数の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を有し、
前記規則は、前記現在のスライスの参照ピクチャリストが、復号化順または出力順において、前記現在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参照するアクティブエントリを有することを許可しないという条件を規定し、
前記条件は、前記現在のピクチャが、前記復号化順および前記出力順の両方において、映像コーディングレイヤネットワーク抽象レイヤユニットが属するレイヤの識別子、または、非映像コーディングレイヤネットワーク抽象レイヤユニットが適用されるレイヤの識別子と同じ値を有する前記イントラランダムアクセスポイントピクチャに続くことである、方法。 - 前記アクティブエントリは、前記現在のピクチャのインター予測において参照インデックスによって示されるエントリに対応する、請求項1に記載の方法。
- 前記条件は、前記現在のピクチャが、前記イントラランダムアクセスポイントピクチャに関連付けられ、かつ、前記復号化順および/または前記出力順において前記イントラランダムアクセスポイントピクチャに続くことである、請求項1または2に記載の方法。
- 前記イントラランダムアクセスポイントピクチャは、1または複数のリーディングピクチャを有する場合には当該1または複数のリーディングピクチャに関連付けられ、
前記条件は、前記現在のピクチャが、前記イントラランダムアクセスポイントピクチャに関連付けられ、前記復号化順および/または前記出力順において前記イントラランダムアクセスポイントピクチャに続き、かつ、前記復号化順および前記出力順の両方において、前記イントラランダムアクセスポイントピクチャに関連付けられた前記1または複数のリーディングピクチャを有する場合には当該1または複数のリーディングピクチャに続くことである、請求項1から3のいずれか一項に記載の方法。 - 前記イントラランダムアクセスポイントピクチャは、1または複数のリーディングピクチャを有する場合には前記1または複数のリーディングピクチャに関連付けられ、
前記条件は、前記現在のピクチャが、前記復号化順および前記出力順の両方において、映像コーディングレイヤネットワーク抽象レイヤユニットが属するレイヤの識別子、または、非映像コーディングレイヤネットワーク抽象レイヤユニットが適用されるレイヤの識別子と同じ値を有する前記イントラランダムアクセスポイントピクチャ、および前記1または複数のリーディングピクチャを有する場合には当該1または複数のリーディングピクチャに続くことである、請求項1から4のいずれか一項に記載の方法。 - 前記変換は、前記映像を前記ビットストリームに符号化することを含む、請求項1から5のいずれか一項に記載の方法。
- 前記変換は、前記映像を前記ビットストリームから復号化することを含む、請求項1から5のいずれか一項に記載の方法。
- プロセッサと、命令を有する非一時的メモリを有する、映像データを処理するための装置であって、
前記命令は、前記プロセッサによって実行された際に、前記プロセッサに、
規則に従って、現在のピクチャの現在のスライスを含む前記現在のピクチャを含む1または複数の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を行わせ、
前記規則は、前記現在のスライスの参照ピクチャリストが、復号化順または出力順において、前記現在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参照するアクティブエントリを有することを許可しないという条件を規定し、
前記条件は、前記現在のピクチャが、前記復号化順および前記出力順の両方において、映像コーディングレイヤネットワーク抽象レイヤユニットが属するレイヤの識別子、または、非映像コーディングレイヤネットワーク抽象レイヤユニットが適用されるレイヤの識別子と同じ値を有する前記イントラランダムアクセスポイントピクチャに続くことである、装置。 - プロセッサに、
規則に従って、現在のピクチャの現在のスライスを含む前記現在のピクチャを含む1または複数の映像レイヤを有する映像と、前記映像のビットストリームとの間の変換を実行すること、
を行わせ、
前記規則は、前記現在のスライスの参照ピクチャリストが、復号化順または出力順において、前記現在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参照するアクティブエントリを有することを許可しないという条件を規定し、
前記条件は、前記現在のピクチャが、前記復号化順および前記出力順の両方において、
映像コーディングレイヤネットワーク抽象レイヤユニットが属するレイヤの識別子、または、非映像コーディングレイヤネットワーク抽象レイヤユニットが適用されるレイヤの識別子と同じ値を有する前記イントラランダムアクセスポイントピクチャに続くことである、命令を格納する非一時的コンピュータ可読記憶媒体。 - 映像のビットストリームを格納するための方法であって、
規則に従って、現在のピクチャの現在のスライスを含む前記現在のピクチャを含む1または複数の映像レイヤを有する前記映像の前記ビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納することと、
を有し、
前記規則は、前記現在のスライスの参照ピクチャリストが、復号化順または出力順において、前記現在のピクチャに関連付けられたイントラランダムアクセスポイントピクチャに先行するピクチャを参照するアクティブエントリを有することを許可しないという条件を規定し、
前記条件は、前記現在のピクチャが、前記復号化順および前記出力順の両方において、
映像コーディングレイヤネットワーク抽象レイヤユニットが属するレイヤの識別子、または、非映像コーディングレイヤネットワーク抽象レイヤユニットが適用されるレイヤの識別子と同じ値を有する前記イントラランダムアクセスポイントピクチャに続くことである、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024045473A JP2024075706A (ja) | 2020-03-19 | 2024-03-21 | 参照ピクチャ順序の制約 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062992046P | 2020-03-19 | 2020-03-19 | |
US62/992,046 | 2020-03-19 | ||
PCT/US2021/022584 WO2021188555A1 (en) | 2020-03-19 | 2021-03-16 | Constraints on reference picture order |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024045473A Division JP2024075706A (ja) | 2020-03-19 | 2024-03-21 | 参照ピクチャ順序の制約 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518753A JP2023518753A (ja) | 2023-05-08 |
JP7460790B2 true JP7460790B2 (ja) | 2024-04-02 |
Family
ID=77768263
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556157A Active JP7460790B2 (ja) | 2020-03-19 | 2021-03-16 | 参照ピクチャ順序の制約 |
JP2022556147A Active JP7464743B2 (ja) | 2020-03-19 | 2021-03-16 | 参照ピクチャリストエントリの制約 |
JP2024045473A Pending JP2024075706A (ja) | 2020-03-19 | 2024-03-21 | 参照ピクチャ順序の制約 |
JP2024103132A Pending JP2024133535A (ja) | 2020-03-19 | 2024-06-26 | ピクチャコーディングのためのイントラランダムアクセスポイント |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022556147A Active JP7464743B2 (ja) | 2020-03-19 | 2021-03-16 | 参照ピクチャリストエントリの制約 |
JP2024045473A Pending JP2024075706A (ja) | 2020-03-19 | 2024-03-21 | 参照ピクチャ順序の制約 |
JP2024103132A Pending JP2024133535A (ja) | 2020-03-19 | 2024-06-26 | ピクチャコーディングのためのイントラランダムアクセスポイント |
Country Status (8)
Country | Link |
---|---|
US (4) | US11818337B2 (ja) |
EP (3) | EP4107958A4 (ja) |
JP (4) | JP7460790B2 (ja) |
KR (3) | KR20220156828A (ja) |
CN (3) | CN115336273A (ja) |
BR (1) | BR112022018206A2 (ja) |
MX (1) | MX2022011361A (ja) |
WO (3) | WO2021188544A2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11825073B2 (en) * | 2020-03-20 | 2023-11-21 | Qualcomm Incorporated | High level syntax for video with mixed NAL unit types |
AU2021241294B2 (en) * | 2020-03-23 | 2024-05-09 | Lg Electronics Inc. | Image encoding/decoding method and device based on hybrid NAL unit type, and recording medium for storing bitstream |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG184528A1 (en) | 2010-04-09 | 2012-11-29 | Mitsubishi Electric Corp | Moving image encoding device and moving image decoding device |
US9210430B2 (en) * | 2012-01-19 | 2015-12-08 | Sharp Kabushiki Kaisha | Reference picture set signaling and restriction on an electronic device |
US9591303B2 (en) | 2012-06-28 | 2017-03-07 | Qualcomm Incorporated | Random access and signaling of long-term reference pictures in video coding |
US9860529B2 (en) * | 2013-07-16 | 2018-01-02 | Qualcomm Incorporated | Processing illumination compensation for video coding |
EP3058747B1 (en) * | 2013-10-15 | 2019-11-20 | Nokia Technologies Oy | Scalable video encoding and decoding using syntax element |
CN106416250B (zh) * | 2013-12-02 | 2020-12-04 | 诺基亚技术有限公司 | 视频编码和解码 |
WO2015125489A1 (en) | 2014-02-24 | 2015-08-27 | Sharp Kabushiki Kaisha | Restrictions on signaling |
WO2015140401A1 (en) * | 2014-03-17 | 2015-09-24 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US10158867B2 (en) * | 2014-06-20 | 2018-12-18 | Qualcomm Incorporated | Picture order count reset for multi-layer codecs |
US10148983B2 (en) | 2015-09-25 | 2018-12-04 | Qualcomm Incorporated | Methods and systems of improved video stream switching and random access |
US20170105004A1 (en) * | 2015-10-07 | 2017-04-13 | Qualcomm Incorporated | Methods and systems of coding a predictive random access picture using a background picture |
FI20165114A (fi) | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
US10679415B2 (en) | 2017-07-05 | 2020-06-09 | Qualcomm Incorporated | Enhanced signaling of regions of interest in container files and video bitstreams |
BR112021002832A2 (pt) * | 2018-08-17 | 2021-05-04 | Huawei Technologies Co., Ltd. | gerenciamento de imagem de referência em codificação de vídeo |
US20240130835A1 (en) * | 2018-08-17 | 2024-04-25 | Huawei Technologies Co., Ltd. | Reference Picture Management in Video Coding |
US10855988B2 (en) | 2018-12-19 | 2020-12-01 | Qualcomm Incorporated | Adaptive prediction structures |
JP7399977B2 (ja) | 2019-03-11 | 2023-12-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | エンコーダ、デコーダ、および対応する方法 |
EP3939305A4 (en) | 2019-03-11 | 2022-12-21 | Telefonaktiebolaget Lm Ericsson (Publ) | PROCEDURE FOR RECOVERY POINT PROCESS FOR VIDEO ENCODER AND ASSOCIATED DEVICE |
PL3939290T3 (pl) | 2019-04-03 | 2024-03-11 | Huawei Technologies Co., Ltd. | Kodowanie wideo z przeplotem z obrazami wiodącymi |
WO2021029987A1 (en) | 2019-08-09 | 2021-02-18 | Futurewei Technologies, Inc. | External decoding refresh (edr) in video coding |
US20220353536A1 (en) | 2019-08-22 | 2022-11-03 | Sharp Kabushiki Kaisha | Systems and methods for signaling picture information in video coding |
WO2021045128A1 (en) | 2019-09-06 | 2021-03-11 | Sharp Kabushiki Kaisha | Systems and methods for signaling temporal sub-layer information in video coding |
JP2022548107A (ja) | 2019-09-19 | 2022-11-16 | ヴィド スケール インコーポレイテッド | 多用途ビデオ符号化のためのシステム及び方法 |
WO2021079948A1 (en) | 2019-10-25 | 2021-04-29 | Sharp Kabushiki Kaisha | Systems and methods for signaling picture information in video coding |
WO2021100724A1 (en) * | 2019-11-21 | 2021-05-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling reference picture lists in video coding |
US11228777B2 (en) | 2019-12-30 | 2022-01-18 | Tencent America LLC | Method for layerwise random access in a coded video stream |
KR20220141794A (ko) | 2020-03-05 | 2022-10-20 | 엘지전자 주식회사 | 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법 |
-
2021
- 2021-03-16 JP JP2022556157A patent/JP7460790B2/ja active Active
- 2021-03-16 CN CN202180022450.9A patent/CN115336273A/zh active Pending
- 2021-03-16 WO PCT/US2021/022572 patent/WO2021188544A2/en unknown
- 2021-03-16 EP EP21771751.1A patent/EP4107958A4/en active Pending
- 2021-03-16 KR KR1020227031035A patent/KR20220156828A/ko active Search and Examination
- 2021-03-16 KR KR1020227031032A patent/KR20220155290A/ko active Search and Examination
- 2021-03-16 BR BR112022018206A patent/BR112022018206A2/pt unknown
- 2021-03-16 CN CN202180022242.9A patent/CN115299052A/zh active Pending
- 2021-03-16 EP EP21771100.1A patent/EP4104437A4/en active Pending
- 2021-03-16 CN CN202180022468.9A patent/CN115299043A/zh active Pending
- 2021-03-16 EP EP21772196.8A patent/EP4104443A4/en active Pending
- 2021-03-16 MX MX2022011361A patent/MX2022011361A/es unknown
- 2021-03-16 WO PCT/US2021/022576 patent/WO2021188548A1/en unknown
- 2021-03-16 KR KR1020227031033A patent/KR20220156827A/ko not_active Application Discontinuation
- 2021-03-16 WO PCT/US2021/022584 patent/WO2021188555A1/en unknown
- 2021-03-16 JP JP2022556147A patent/JP7464743B2/ja active Active
-
2022
- 2022-09-14 US US17/944,870 patent/US11818337B2/en active Active
- 2022-09-15 US US17/945,273 patent/US11917132B2/en active Active
- 2022-09-16 US US17/946,335 patent/US11979561B2/en active Active
-
2023
- 2023-11-21 US US18/516,654 patent/US20240098252A1/en active Pending
-
2024
- 2024-03-21 JP JP2024045473A patent/JP2024075706A/ja active Pending
- 2024-06-26 JP JP2024103132A patent/JP2024133535A/ja active Pending
Non-Patent Citations (1)
Title |
---|
Benjamin Bross, et al.,"Versatile Video Coding (Draft 8)",Document: JVET-Q2001-vC, [online],JVET-Q2001 (version 13),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2020年02月09日,Pages 3-12 and 171-178,[令和5年8月28日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9675> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v13.zip>. |
Also Published As
Publication number | Publication date |
---|---|
WO2021188544A3 (en) | 2021-11-04 |
KR20220156828A (ko) | 2022-11-28 |
JP2023518753A (ja) | 2023-05-08 |
US20230007244A1 (en) | 2023-01-05 |
JP2023519560A (ja) | 2023-05-11 |
KR20220155290A (ko) | 2022-11-22 |
EP4104437A4 (en) | 2023-08-30 |
US20230022497A1 (en) | 2023-01-26 |
CN115299052A (zh) | 2022-11-04 |
EP4104437A1 (en) | 2022-12-21 |
MX2022011361A (es) | 2022-10-07 |
CN115336273A (zh) | 2022-11-11 |
BR112022018206A2 (pt) | 2022-10-25 |
CN115299043A (zh) | 2022-11-04 |
WO2021188548A1 (en) | 2021-09-23 |
JP7464743B2 (ja) | 2024-04-09 |
JP2023518751A (ja) | 2023-05-08 |
US11979561B2 (en) | 2024-05-07 |
WO2021188555A1 (en) | 2021-09-23 |
EP4104443A1 (en) | 2022-12-21 |
EP4104443A4 (en) | 2023-10-11 |
KR20220156827A (ko) | 2022-11-28 |
US11818337B2 (en) | 2023-11-14 |
US20230022078A1 (en) | 2023-01-26 |
WO2021188544A2 (en) | 2021-09-23 |
EP4107958A4 (en) | 2023-10-11 |
US20240098252A1 (en) | 2024-03-21 |
EP4107958A2 (en) | 2022-12-28 |
US11917132B2 (en) | 2024-02-27 |
JP2024133535A (ja) | 2024-10-02 |
JP2024075706A (ja) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7420965B2 (ja) | 隣接するサブピクチャのコーディング | |
JP7518204B2 (ja) | 映像ビットストリーム処理におけるピクチャタイプの制約 | |
JP7415035B2 (ja) | 映像コーディングにおけるピクチャ出力フラグの指示 | |
JP2024075706A (ja) | 参照ピクチャ順序の制約 | |
JP7513754B2 (ja) | 漸次的復号更新および参照ピクチャリストの信号通知 | |
JP2023522224A (ja) | 参照ピクチャリスト上の制約 | |
JP7572448B2 (ja) | ピクチャコーディングのためのイントラランダムアクセスポイント | |
JP7506188B2 (ja) | コーディングされた映像におけるシーケンスの終端の表示 | |
JP7572447B2 (ja) | 映像コーディングにおける映像パラメータセットの使用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7460790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |