JP2023526373A - サブビットストリーム抽出処理におけるコーディングされた映像の操作 - Google Patents
サブビットストリーム抽出処理におけるコーディングされた映像の操作 Download PDFInfo
- Publication number
- JP2023526373A JP2023526373A JP2022570207A JP2022570207A JP2023526373A JP 2023526373 A JP2023526373 A JP 2023526373A JP 2022570207 A JP2022570207 A JP 2022570207A JP 2022570207 A JP2022570207 A JP 2022570207A JP 2023526373 A JP2023526373 A JP 2023526373A
- Authority
- JP
- Japan
- Prior art keywords
- video
- bitstream
- picture
- sub
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 190
- 238000012545 processing Methods 0.000 claims abstract description 56
- 239000000945 filler Substances 0.000 claims abstract description 26
- 230000000153 supplemental effect Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 78
- 238000003672 processing method Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 claims 1
- 238000012217 deletion Methods 0.000 abstract description 10
- 230000037430 deletion Effects 0.000 abstract description 10
- 239000010410 layer Substances 0.000 description 159
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 31
- 238000002490 spark plasma sintering Methods 0.000 description 31
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 30
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 230000002123 temporal effect Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 3
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年5月22日出願の国際特許出願第PCT/CN2020/091696号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像コーディング技術に関する。具体的には、サブピクチャサブビットストリーム抽出処理、スケーラブルネスティングSEIメッセージ、およびサブピクチャレベル情報SEIメッセージである。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング規約または非標準映像コーデックに適用されてもよい。
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(デコーディング能力情報)
DPB Decoded Picture Buffer(デコードされたピクチャバッファ)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的デコーディング更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時デコーディング更新)
ILP Inter-Layer Prediction(インターレイヤ予測)
ILRP Inter-Layer Reference Picture(インターレイヤ参照ピクチャ)
JEM Joint Exploration Model(共同探索モデル)
LTRP Long-Term Reference Picture(長期参照ピクチャ)
MCTS Motion-Constrained Tile Sets(動作制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、ティアおよびレベル)
PU Picture Unit(ピクチャユニット)
RAP Random Access Point(ランダムアクセスポイント)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STRP Short-Term Reference Picture(短期参照ピクチャ)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4
Visualを作り、両団体はH.262/MPEG-2VideoとH.264/MPEG-4AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、最大転送ユニット(MTU)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされるIRAPピクチャをエンコーディングせずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコードされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャを再サンプリングすることが必要であるため、参照ピクチャ再サンプリング(RPR)と称する。
SVC(Scalable Video Coding、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1または複数のスケーラブルEL(Enhancement Layer:強化レイヤ)が使用される映像コーディングを参照する。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上の強化レイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。強化レイヤは、前の、エンコードされたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する強化レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の強化レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、エンコードまたはデコード)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
360°映像のストリーミング、すなわち、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット(すなわち、現在のビューポート)のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、かつユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の場所に変えた場合に備えて、すぐにユーザにレンダリングされている現在のビューポートに対してのみ、全方向性映像の高品質表現が必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。VVCを使用して、2つの表現は、互いに独立した2つのレイヤとしてエンコードされ得る。
AVC、HEVC、VVCはパラメータ集合を規定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
最新のVVCテキストのC.7項は、サブピクチャサブビットストリーム抽出プロセスを以下のように規定する。
C.7 サブピクチャサブビットストリーム抽出処理
この処理の入力は、ビットストリームinBitstream、ターゲットOLSインデックスtargetOlsIdx、対象となる最高のTemporalId値tIdTarget、および各レイヤsubpicIdxTarget[]に対する対象となるサブピクチャインデックス値の配列である。
この処理の出力は、サブビットストリーム outBitstreamである。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
-出力サブビットストリームは、ビットストリーム、VPSで規定されたOLSのリストへのインデックスと等しいtargetOlsIdx、およびOLSに存在するサブピクチャインデックスと等しいsubpicIdxTarget[]を入力として、本項で規定した処理の出力である。
-出力サブビットストリームは、LayerIdInOls[targetOlsIdx]における各々のnuh_layer_id値であるnuh_layer_idを有する少なくとも1つのVCL NALユニットを含む。
-出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
-出力サブビットストリームは、0からNumLayersInOls[targetOlsIdx]-1の範囲内にある各iについて、nuh_layer_idがLayerIdInOls[targetOlsIdx][i]に等しく、sh_subpic_idがSubpicIdVal[subpicIdxTarget[i]]の値に等しい、少なくとも1つのVCL NALユニットを含む。
出力サブビットストリームoutBitstreamは、以下のように導出される。
-添付C.6で規定されたブビットストリーム抽出処理は、inBitstream、targetOlsIdx、およびtIdTargetを入力として呼び出され、この処理の出力はoutBitstreamに割り当てられる。
-サブビットストリームoutBitstreamに置換パラメータセットを提供するために、本明細書で規定されていない外部手段が利用可能である場合、すべてのパラメータセットを置換パラメータセットに置き換える。
-そうでない場合、サブピクチャレベル情報SEIメッセージがinBitstreamに存在するときは、以下が適用される。
-変数subpicIdxは、subpicIdxTarget[[NumLayersInOls[targetOlsIdx]-1]]の値に等しく設定される。
-参照されたすべてのVPS NALユニットのprofile_tier_level()構文構造のリストのvps_ols_ptl_idx[targetOlsIdx]番目エントリのgeneral_level_idcの値を、サブピクチャインデックスがsubpicIdxと等しいサブピクチャからなるサブピクチャセットに対する式D.11で導かれるSubpicSetLevelIdcと等しくするようリライトする。
-VCL HRDパラメータセットまたはNAL HRDパラメータセットが存在する場合、参照されたすべてのVPS NALユニットのvps_ols_hrd_idx[MultiLayerOlsIdx[targetOlsIdx]]番目のols_hrd_parameters()構文構造およびi番目のレイヤによって参照されたすべてのSPS NALユニットのols_hrd_parameters()構文構造におけるj番目のCPBのcpb_size_value_minus1[tIdTarget][j]とbit_rate_value_minus1[tIdTarget][j]のそれぞれの値を、式D.6とD.7からそれぞれ導出されるSubpicCpbSizeVcl[SubpicSetLevelIdx][subpicIdx]とSubpicCpbSizeNal[SubpicSetLevelIdx][subpicIdx]、式D.8とD.9からそれぞれ導出されるSubpicBitrateVcl[SubpicSetLevelIdx][subpicIdx]とSubpicBitrateNal[SubpicSetLevelIdx][subpicIdx]とに対応するように書き換え、ここでSubpicSetLevelIdxはsubpicIdxに等しいサブピクチャインデックスを有するサブピクチャに対して式D.11によって導出され、jは0からhrd_cpb_cnt_minus1の範囲内であり、iは0からNumLayersInOls[targetOlsIdx]-1の範囲内である。
iが0からNumLayersInOls[targetOlsIdx]-1の範囲内にあるi番目のレイヤに対して、以下が適用される。
-sps_ptl_dpb_hrd_params_present_flagを1とする参照されたすべてのSPS NALユニットのprofile_tier_level()構文構造のgeneral_level_idcの値を、SubpicSetLevelIdに等しいサブピクチャインデックスを有するサブピクチャからなるサブピクチャのセットに対する式D.11によって導出されたSubpicSetLevelIdcに等しく、書き換える。
-変数subpicWidthInLumaSamplesおよびsubpicHeightInLumaSamplesは、以下のように導出される。
subpicWidthInLumaSamples=min((sps_subpic_ctu_top_left_x[subpicIdx]+ (C.24)
sps_subpic_width_minus1[subpicIdx]+1)*CtbSizeY,pps_pic_width_in_luma_samples)-
sps_subpic_ctu_top_left_x[subpicIdx]*CtbSizeY
subpicHeightInLumaSamples=min((sps_subpic_ctu_top_left_y[subpicIdx]+ (C.25)
sps_subpic_height_minus1[subpicIdx]+1)*CtbSizeY,pps_pic_height_in_luma_samples)-
sps_subpic_ctu_top_left_y[subpicIdx]*CtbSizeY
- 参照されたすべてのSPS NALユニットのsps_pic_width_max_in_luma_samplesとsps_pic_height_max_in_luma_samplesの値、参照されたすべてのPPS NALユニットのpps_pic_width_in_luma_sampleとpps_pic_height_in_luma_samplesの値を、それぞれ、subpicWidthInLumaSamplesとsubpicHeightInLumaSamplesに等しく書き換える。
- 参照されたすべてのSPS NALユニットのsps_num_subpics_minus1および参照されたすべてのPPS NALユニットのpps_num_subpics_minus1の値を0に書き換える。
- 構文要素sps_subpic_ctu_top_left_x[subpicIdx]およびsps_subpic_ctu_top_left_y[subpicIdx]は、存在する場合、すべての参照するSPS NALユニットにおいて、0に書き換える。
- 参照されたすべてのSPS NALユニットにおいて、subpicIdxに等しくないjについて、構文要素sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]、sps_subpic_height_minus1[j]、sps_subpic_treated_as_pic_flag[j]、sps_loop_filter_across_subpic_enabled_flag[j]およびsps_subpic_id[j]を削除する。
- タイルおよびスライスの信号通知のために参照されたすべてのPPSの構文要素を書き換えて、サブピクチャインデックスがsubpicIdxに等しいサブピクチャに関連付けられないすべてのタイル行、タイル列、およびスライスを削除する。
-変数subpicConfWinLeftOffset、subpicConfWinRightOffset、subpicConfWinTopOffset、およびsubpicConfWinBottomOffsetは、以下のように導出される。
subpicConfWinLeftOffset=sps_subpic_ctu_top_left_x[subpicIdx]==0? (C.26)
sps_conf_win_left_offset:0
subpicConfWinRightOffset=(sps_subpic_ctu_top_left_x[subpicIdx]+ (C.27)
sps_subpic_width_minus1[subpicIdx]+1)*CtbSizeY>=
sps_pic_width_max_in_luma_samples?sps_conf_win_right_offset:0
subpicConfWinTopOffset=sps_subpic_ctu_top_left_y[subpicIdx]==0? (C.28)
sps_conf_win_top_offset:0
subpicConfWinBottomOffset=(sps_subpic_ctu_top_left_y[subpicIdx]+ (C.29)
sps_subpic_height_minus1[subpicIdx]+1)*CtbSizeY>=
sps_pic_height_max_in_luma_samples?sps_conf_win_bottom_offset:0
- 参照されたすべてのSPS NALユニットのsps_conf_win_left_offset、sps_conf_win_right_offset、sps_conf_win_top_offset、sps_conf_win_bottom_offsetの値と、参照されたすべてのPPS NALユニットのpps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset、pps_conf_win_bottom_offsetの値を、それぞれ、subpicConfWinLeftOffset、subpicConfWinRightOffset、subpicConfWinTopOffsetおよびsubpicConfWinBottomOffsetに等しく、書き換える。
- nuh_layer_idがi番目のレイヤーのnuh_layer_idと等しく、sh_subpic_idがSubpicIdVal[subpicIdx]と等しくないVCL NALユニットをoutBitstreamからすべて削除する。
- sli_cbr_constraint_flagが1に等しい場合、nal_unit_typeがFD_NUTに等しいすべてのNALユニットおよびsubpicIdTarget[]のサブピクチャのVCLユニットに関連付けれられていないフィラーペイロードSEIメッセージを削除し、参照されたすべてのVPS NALユニットおよびSPS NALユニットにおけるvps_ols_hrd_idx[MultiLayerOlsIdx[targetOlsIdx]]番目のols_hrd_parameters()構文構造中のj番目のCPBについてのcbr_flag[tIdTarget][j]を1に等しく、jを0からhrd_cpb_cnt_minus1の範囲に設定する。そうでない場合、(sli_cbr_constraint_flagが0に等しい場合)、nal_unit_typeがFD_NUTに等しいすべてのNALユニットとフィラーペイロードSEIメッセージを削除して、cbr_flag[tIdTarget][j]を0に等しく設定する。
- outBitstreamが、sn_ols_flagが1に等しく、sn_subpic_flagが1に等しい、outBitstreamに適用可能なスケーラブルネスティングSEIメッセージを含むSEI NALユニットを含んでいる場合、スケーラブルネスト型SEIメッセージからpayloadTypeが1(PT)、130(DUI)、または132(デコードされたピクチャハッシュ)に等しい適切な非スケーラブルネスティングSEIメッセージを抽出し、抽出したSEIメッセージをoutBitstreamに配置する。
最近のVVCテキスト(JVET-R2001-vA/v10)におけるサブピクチャサブビットストリーム抽出処理の既存の設計は、以下の問題を有する。
1) 1つ以上のサブピクチャを覆う一連のピクチャから1つの矩形領域を抽出するとき、この領域は1つ以上のサブピクチャを覆うため、スケーリングウィンドウを元のビットストリームのエンコーディングに使用されたスケーリングウィンドウと同じにするため、抽出されたピクチャのピクチャ幅および/または高さが変化したので、PPSにおけるスケーリングウィンドウのオフセットパラメータを書き換える必要がある。これは、とりわけ、図6に示されるような改善された360°映像コーディング方式のようなシナリオにおいて必要とされる。しかしながら、最近のVVCテキストにおけるサブピクチャサブビットストリーム抽出処理は、スケーリングウィンドウオフセットパラメータの書き換えを有していない。
2) 最近のVVCテキストにおけるサブピクチャサブビットストリーム抽出処理において、以下の条件をすべて満たす出力サブビットストリームは、適合ビットストリームであることが必要である。
- 出力サブビットストリームは、ビットストリーム、VPSで規定されたOLSのリストへのインデックスと等しいtargetOlsIdx、およびOLSに存在するサブピクチャインデックスと等しいsubpicIdxTarget[]を入力として、本項で規定した処理の出力である。
- 出力サブビットストリームは、LayerIdInOls[targetOlsIdx]における各々のnuh_layer_id値であるnuh_layer_idを有する少なくとも1つのVCL NALユニットを含む。
- 出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
- 出力サブビットストリームは、0~NumLayersInOls[targetOlsIdx]-1の範囲内にあり、各iのSubpicIdVal[subpicIdxTarget[i]]における値に等しいsh_subpic_idを有する少なくとも1つのVCL NALユニットを含む。
しかしながら、上記制約には、以下のような問題がある。
a. 1つ目の黒丸項目において、入力tIdTargetが欠落している。
b. 1つ目の黒丸項目に関連する別の問題は、以下の通りである。異なるレイヤのピクチャからのサブピクチャの特定の組み合わせ(すべての組み合わせではない)のみが、適合ビットストリームを形成し得る。
3) VCL NALユニットおよびそれらに関連するフィラーデータNALユニット並びに関連するフィラーペイロードSEIメッセージ等の削除は、パラメータセットを置き換えるための外部手段がない場合にのみ実行される。しかしながら、このような削除は、パラメータセットを取り替えるための外部手段がある場合も必要である。
4) 現在のフィラーペイロードSEIメッセージの削除は、SEI NALユニットの書き換えを含むことができる。
5) サブピクチャレベル情報(SLI)SEIメッセージは、レイヤ固有と規定される。しかしながら、サブピクチャサブビットストリーム抽出処理において、あたかも情報がすべてのレイヤのサブピクチャに適用されるかのように、SLI SEIメッセージが使用される。
6) スケーラブルネスティングSEIメッセージは、特定のOLSの特定の抽出されたサブピクチャシーケンスのためにSEIメッセージをネストするために使用され得る。ただし、sn_num_subpics_minus1およびsn_subpic_id_len_minus1は、「そのCLVSにおいて」または「CLVSにおいて」という文言が使用されているため、レイヤ固有の意味論として規定される。
7) 図6の下部にあるように、ビットストリームの抽出を支援するように、いくつかの態様を変更する必要があり、ここで、デコーダに送られる抽出されたビットストリームにおいて、元のビットストリームにおける複数個のサブピクチャを含むピクチャは、今やより少ないサブピクチャを含むが、1つのサブピクチャのみを含むピクチャは変更されないままである。
上記課題を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。以下の説明において、関連の仕様から既に追加または修正された部分は、太字およびイタリック文字で強調表示され、かつ削除された部分の一部は、二重括弧でマークされている(例えば、[[a]]は、「a」という文字の削除を示す)。本質的に編集可能であるため、強調されていない他の何らかの変更があってもよい。
1) 問題1を解決するために、サブピクチャサブビットストリーム抽出処理の一部として、スケーリングウィンドウオフセットパラメータ(例えば、PPSにおいて)の算出および書き換えを規定する。
a. 一例において、スケーリングウィンドウオフセットパラメータは、以下のように算出され、書き換えられる。
-変数subpicScalWinLeftOffset、subpicScalWinRightOffset、subpicScalWinTopOffset、およびsubpicScalWinBotOffsetは、以下のように導出される。
subpicScalWinLeftOffset=pps_scaling_win_left_offset- (C.30)
sps_subpic_ctu_top_left_x[spIdx]*CtbSizeY/SubWidthC
rightSubpicBd=(sps_subpic_ctu_top_left_x[spIdx]+
sps_subpic_width_minus1[spIdx]+1)*CtbSizeY
subpicScalWinRightOffset=
(rightSubpicBd>=sps_pic_width_max_in_luma_samples)? (C.31)
pps_scaling_win_right_offset:pps_scaling_win_right_offset-
(sps_pic_width_max_in_luma_samples-rightSubpicBd)/SubWidthC
subpicScalWinTopOffset=pps_scaling_win_top_offset- (C.32)
sps_subpic_ctu_top_left_y[spIdx]*CtbSizeY/SubHeightC
botSubpicBd=(sps_subpic_ctu_top_left_y[spIdx]+
sps_subpic_height_minus1[spIdx]+1)*CtbSizeY
subpicScalWinBotOffset=
(botSubpicBd>=sps_pic_height_max_in_luma_samples)? (C.33)
pps_scaling_win_bottom_offset:pps_scaling_win_bottom_offset-
(sps_pic_height_max_in_luma_samples-botSubpicBd)/SubHeightC
ここで、上記式中の、sps_subpic_ctu_top_left_x[spIdx]、sps_subpic_width_minus1[spIdx]、sps_subpic_ctu_top_left_y[spIdx]、sps_subpic_height_minus1[spIdx]、sps_pic_width_max_in_luma_samples、およびsps_pic_height_max_in_luma_samplesは、書き換えられる前の元のSPSからのものであり、また上記式中のpps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、およびpps_scaling_win_bottom_offsetは書き換えられる前の元のPPSからのものである。
- 参照されたすべてのPPS NALユニットのpps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、およびpps_scaling_win_bottom_offsetを、それぞれ、subpicScalWinLeftOffset、subpicScalWinRightOffset、subpicScalWinTopOffset、およびsubpicScalWinBotOffsetに書き換える。
b. 1つの例において、上記式のsps_pic_width_max_in_luma_samplesおよびsps_pic_height_max_in_luma_samplesは、それぞれpps_pic_width_in_luma_samplesとpps_pic_height_in_luma_samplesに置き換えられ、pps_pic_width_in_luma_samplesとpps_pic_height_in_luma_samplesは、書き換えられる前の元のPPS中の値である。
c. 一例として、追加的に、変更がある場合、SPSにおける参照サンプル有効化フラグ(例えば、sps_ref_pic_resampling_enabled_flag)、および変更された場合にSPS内のCLVSにおける解像度変更許可フラグ(例えば、sps_res_change_in_clvs_allowed_flag)を書き換える。
2) 上記課題2a、2bを解決するために、以下の方法が提案されている。
a. 問題2aを解決するために、欠落した入力tIdTargetを追加する。例えば、以下のように変更する。
-出力サブビットストリームは、ビットストリーム、VPSで規定されたOLSのリストへのインデックスと等しいtargetOlsIdx、およびOLSに存在するサブピクチャインデックスと等しいsubpicIdxTarget[]を入力として、本項で規定した処理の出力である。
以下の通りである。
b. 問題2bを解決するために、抽出する場合、異なるレイヤのサブピクチャのどの組み合わせが適合ビットストリームである必要があるかを、例えば、以下のように明確に規定する。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
-出力サブビットストリームは、LayerIdInOls[targetolsIdx]のリストにおける各々のnuh_layer_id値であるnuh_layer_idを有する少なくとも1つのVCL NALユニットを含む。
-出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
- 出力サブビットストリームは、0からNumLayersInOls[targeTOlsIdx]-1の範囲内にあり、各iのSubpicIdVal[subpicIdxTarget[i]]における値に等しいsh_subpic_idを有する少なくとも1つのVCL NALユニットを含む。
3) 問題3を解決するために、パラメータセットを置き換えるための外部手段が存在するかどうかにかかわらず、VCL NALユニットおよびそれらに関連するフィラーデータNALユニット並びに関連するフィラーペイロードSEIメッセージ等の削除が行なわれる。
4) 問題4を解決するために、フィラーペイロードSEIメッセージを含むSEI NALユニットに、他のタイプのSEIメッセージを含まないようにし、およびフィラーペイロードSEIメッセージの削除をフィラーペイロードSEIメッセージを含むSEI NALユニットの削除として規定することを求める制約を追加する。
5) 問題5を解決するため、SubpicSetLevelIdc、SubpicCpbSizeVcl[SubpicSetLevelIdx][subpicIdx]、SubpicCpbSizeNal[SubpicSetLevelIdx][subpicIdx]、SubpicBitrateVcl[SubpicSetLevelIdx][subpicIdx]SubpicBitrateNal[SubpicSetLevelIdx][subpicIdx]の1つ以上の値と、SLI SEIメッセージに基づいて導出されるかまたはその中に確認されたsli_cbr_constraint_flagが、抽出処理のターゲットOLS中のすべてのレイヤに対してそれぞれ同じであることが規定される。
a. 一例において、マルチレイヤOLSと共に使用するために、SLI SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれ、少なくともマルチレイヤOLSを含む特定のOLSに適用するために(すなわち、sn_ols_flagが1に等しい場合)スケーラブルネスティングSEIメッセージに示されなければならない、と制約されている。
i. さらに、リストVclAssociatedSeiListからSLI SEIメッセージのpayloadType値である値203を削除し、SLIメッセージを、sn_ols_flagを1とするスケーラブルネスティングSEIメッセージに含めることを可能にする。
b. 1つの例において、マルチレイヤOLSでの使用のために、SLI SEIメッセージは、スケーラブルネスティングSEIメッセージに含まれるべきであり、そしてマルチレイヤOLSのすべてのレイヤからなる特定のレイヤのリストに適用されるように(即ち、sn_ols_flagが1に等しい)、スケーラブルネスティングSEIメッセージに示されるべきであることと、制約される。
c. 1つの例において、例えば、SEIメッセージにおいて搬送される情報が適用されるOLSを示すように、SLI SEIメッセージ構文にOLSインデックスを追加することによって、SLI SEIメッセージをOLS固有に規定する。
i. あるいは、SEIメッセージで搬送される情報が適用されるOLSのリストを示すように、OLSインデックスのリストをSLI SEIメッセージ構文に追加する。
d. 一例において、OLSのすべてのレイヤに対するすべてのSLI SEIメッセージ中のSubpicSetLevelIdc、SubpicCpbSizeVcl[SubpicSetLevelIdx][subpicIdx]、SubpicCpbSizeNal[SubpicSetLevelIdx][subpicIdx]、SubpicBitrateVcl[SubpicSetLevelIdx][subpicIdx] SubpicBitrateNal[SubpicSetLevelIdx][subpicIdx]、およびsli_cbr_constraint_flagの1つ以上の値が、それぞれ同じであることが求められる。
6) 問題6を解決するために、意味論を以下のように変更する。
sn_num_subpics_minus1+1は、スケーラブルネスト型SEIメッセージが適用されるサブピクチャの数を規定する。sn_num_subpics_minus1の値は、CLVSのピクチャが参照するSPSにおけるsps_num_subpics_minus1の値以下である。
sn_subpic_id_len_minus1+1は構文要素sn_subpic_id[i]を表すのに用いられるビット数を規定する。sn_subpic_id_len_minus1の値は、0~15の範囲内である。
sn_subpic_id_len_minus1の値は、CLVSに存在するすべてのスケーラブルネスティングSEIメッセージに対して同じであることが、ビットストリーム準拠の要件である。
以下の通りである。
sn_subpic_id_len_minus1+1は構文要素sn_subpic_id[i]を表すのに用いられるビット数を規定する。sn_subpic_id_len_minus1の値は、0~15の範囲内である。
7) 課題7を解決するために、以下の方法が提案される。
a. 一例において、少なくとも2つのレイヤが存在し、1つのレイヤのピクチャがそれぞれ複数のサブピクチャからなり、また別のレイヤのピクチャがそれぞれ1つのサブピクチャのみからなる、異なるレイヤのサブピクチャのどの組み合わせが、抽出された時に適合ビットストリームとなることが必要とされるかを、例えば、以下のように明確に規定する。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
- 出力サブビットストリームは、LayerIdInOls[targetOlsIdx]のリストにおける各々のnuh_layer_id値であるnuh_layer_idを有する少なくとも1つのVCL NALユニットを含む。
-出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注2-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
- 出力サブビットストリームは、0からNumLayersInOls[targetOlsIdx]-1の範囲内にある各iについて、nuh_layer_idがLayerIdInOls[targetOlsIdx][i]に等しく、sh_subpic_idがSubpicIdVal[subpicIdxTarget[i]]に等しい、少なくとも1つのVCL NALユニットを含む。
b. スケーラブルネスティングSEIメッセージの意味論は、sn_ols_flagおよびsn_subpic_flagが共に1に等しい場合、sn_subpic_id[]値のリストが、複数のサブピクチャをそれぞれ含む、適用可能なOLSにおいて、ピクチャ中のサブピクチャのサブピクチャIDを特定するように規定される。このように、スケーラブルネスト型SEIメッセージが適用されるOLSは、各ピクチャが1つのサブピクチャのみを含み、そのサブピクチャIDがスケーラブルネスティングSEIメッセージで示されないレイヤを有することが許容される。
8) 最初の参照ピクチャが、現在のピクチャのサブピクチャレイアウトと異なるサブピクチャレイアウトに最初のピクチャが分割された場合、現在のピクチャの同一位置に配置されたピクチャに設定されないことが必要である。
a. 一例において、第1の参照ピクチャと現在のピクチャとは、異なるレイヤにある。
9) コーディングツールXが第1の参照ピクチャに依存し、かつ第1の参照ピクチャを現在のピクチャのサブピクチャレイアウトとは異なるサブピクチャレイアウトのサブピクチャに分割する場合、コーディングツールXは現在のピクチャに対して無効化されることが必要である。
a. 一例において、第1の参照ピクチャと現在のピクチャとは、異なるレイヤにある。
b. 一例において、コーディングツールXは、双方向オプティカルフロー(BDOF)である。
c. 一例において、コーディングツールXは、デコーダ側動きベクトル微調整(DMVR)である。
d. 一例において、コーディングツールXは、予測微調整オプティカルフロー(PROF)である。
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC仕様に適用できる。変更されたテキストは、JVET-R2001-vA/v10の最新VVCテキストに基づく。既に追加または修正された最も関連性のある部分は、太字およびイタリック文字で強調表示され、かつ削除された部分の一部は、二重括弧でマークされている(例えば、[[a]]は、「a」という文字の削除を示す)。本質的に編集可能であるため、強調されていない他の何らかの変更があってもよい。
本実施形態は、1、1.a、2a、2b、3、4、5、5a、5.a.i、6項に対するものである。
この処理の出力は、サブビットストリームoutBitstreamである。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
マルチレイヤOLSで使用する場合、SLI SEIメッセージはスケーラブルネスティングSEIメッセージに含まれるべきであり、特定のOLSに適用されるか、特定のOLSにおけるすべてのレイヤに適用されるように、スケーラブルネスティングSEIメッセージにおいて示されるべきである。
-出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
-出力サブビットストリームは、0からNumLayersInOls[targetOlsIdx]-1の範囲内にある各iについて、nuh_layer_idがLayerIdInOls[targetOlsIdx][i]に等しく、sh_subpic_idがSubpicIdVal[subpicIdxTarget[i]][[の値に]]等しい、少なくとも1つのVCL NALユニットを含む。
出力サブビットストリームoutBitstreamは、以下のように導出される。
- 添付C.6で規定されたブビットストリーム抽出処理は、inBitstream、targetOlsIdx、およびtIdTargetを入力として呼び出され、この処理の出力はoutBitstreamに割り当てられる。
- サブビットストリームoutBitstreamに置換パラメータセットを提供するために、本明細書で規定されていない外部手段が利用可能である場合、すべてのパラメータセットを置換パラメータセットに置き換える。
- そうでない場合、サブピクチャレベル情報SEIメッセージがinBitstreamに存在するときは、以下が適用される。
- [[変数subpicIdxは、subpicIdxTarget[[NumLayersInOls[targetOlsIdx]-1]]の値に等しく設定される。]]
- 参照されたすべてのVPS NALユニットのprofile_tier_level()構文構造のリストのvps_ols_ptl_idx[targetOlsIdx]番目エントリのgeneral_level_idcの値を、サブピクチャインデックスがsubpicIdxと等しいサブピクチャからなるサブピクチャセットに対する式D.11で導かれるSubpicSetLevelIdcと等しくするよう書き換える。
- VCL HRDパラメータセットまたはNAL HRDパラメータセットが存在する場合、参照されたすべてのVPS NALユニットのvps_ols_hrd_idx[MultiLayerOlsIdx[targetOlsIdx]]番目のols_hrd_parameters()構文構造およびi番目のレイヤによって参照されたすべてのSPS NALユニットのols_hrd_parameters()構文構造におけるj番目のCPBのcpb_size_value_minus1[tIdTarget][j]とbit_rate_value_minus1[tIdTarget][j]のそれぞれの値を、式D.6とD.7からそれぞれ導出されるSubpicCpbSizeVcl[SubpicSetLevelIdx][subpicIdx]とSubpicCpbSizeNal[SubpicSetLevelIdx][subpicIdx]、式D.8とD.9からそれぞれ導出されるSubpicBitrateVcl[SubpicSetLevelIdx][subpicIdx]とSubpicBitrateNal[SubpicSetLevelIdx][subpicIdx]とに対応するように書き換え、ここでSubpicSetLevelIdxはsubpicIdxに等しいサブピクチャインデックスを有するサブピクチャに対して式D.11によって導出され、jは0からhrd_cpb_cnt_minus1の範囲内であり、iは0からNumLayersInOls[targetOlsIdx]-1の範囲内である。
- sps_ptl_dpb_hrd_params_present_flagが1に等しい参照されたすべてのSPS NALユニットのprofile_tier_level()構文構造中のgeneral_level_idcの値を、spIdxに等しいサブピクチャインデックスを有するサブピクチャからなるサブピクチャのセットのための式D.11によって導出されたSubpicSetLevelIdcに等しく書き換える。
- 変数subpicWidthInLumaSamplesおよびsubpicHeightInLumaSamplesは、以下のように導出される。
subpicWidthInLumaSamples=min((sps_subpic_ctu_top_left_x[spIdx]+ (C.24)
sps_subpic_width_minus1[spIdx]+1)*CtbSizeY,pps_pic_width_in_luma_samples)-
sps_subpic_ctu_top_left_x[spIdx]*CtbSizeY
subpicHeightInLumaSamples=min((sps_subpic_ctu_top_left_y[spIdx]+ (C.25)
sps_subpic_height_minus1[spIdx]+1)*CtbSizeY,pps_pic_height_in_luma_samples)-
sps_subpic_ctu_top_left_y[spIdx]*CtbSizeY
- 参照されたすべてのSPS NALユニットのsps_pic_width_max_in_luma_samplesとsps_pic_height_max_in_luma_samplesの値、参照されたすべてのPPS NALユニットのpps_pic_width_in_luma_sampleとpps_pic_height_in_luma_samplesの値を、それぞれ、subpicWidthInLumaSamplesとsubpicHeightInLumaSamplesに等しく書き換える。
- 参照されたすべてのSPS NALユニットのsps_num_subpics_minus1および参照されたすべてのPPS NALユニットのpps_num_subpics_minus1の値を0に書き換える。
- 構文要素sps_subpic_ctu_top_left_x[spIdx]およびsps_subpic_ctu_top_left_y[spIdx]は、存在する場合、すべての参照するSPS NALユニットにおいて、0に書き換える。
- 構文要素sps_subpic_ctu_top_left_x[j]、sps_subpic_ctu_top_left_y[j]、sps_subpic_width_minus1[j]、sps_subpic_height_minus1[j]、sps_subpic_treated_as_pic_flag[j]、sps_loop_filter_across_subpic_enabled_flag[j]、および参照されたすべてのSPS NALユニット内でspIdxに等しくない各jについてのsps_subpic_id[j]を削除する。
- spIdxに等しいサブピクチャインデックスを有するサブピクチャに関連付けられていないすべてのタイル行、タイル列、およびスライスを削除するために、タイルおよびスライスの信号通知のために、参照されたすべてのPPSの構文要素を書き換える。
変数subpicConfWinLeftOffset、subpicConfWinRightOffset、subpicConfWinTopOffset、およびsubpicConfWinBottomOffsetは、以下のように導出される。
subpicConfWinLeftOffset=sps_subpic_ctu_top_left_x[spIdx]==0? (C.26)
sps_conf_win_left_offset:0
subpicConfWinRightOffset=(sps_subpic_ctu_top_left_x[spIdx]+ (C.27)
sps_subpic_width_minus1[spIdx]+1)*CtbSizeY>=
sps_pic_width_max_in_luma_samples?sps_conf_win_right_offset:0
subpicConfWinTopOffset=sps_subpic_ctu_top_left_y[spIdx]==0? (C.28)
sps_conf_win_top_offset:0
subpicConfWinBottomOffset=(sps_subpic_ctu_top_left_y[spIdx]+ (C.29)
sps_subpic_height_minus1[spIdx]+1)*CtbSizeY>=
- 参照されたすべてのSPS NALユニットのsps_conf_win_left_offset、sps_conf_win_right_offset、sps_conf_win_top_offset、sps_conf_win_bottom_offsetの値と、参照されたすべてのPPS NAL ユニットのpps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset、pps_conf_win_bottom_offsetの値を、それぞれ、subpicConfWinLeftOffset、subpicConfWinRightOffset、subpicConfWinTopOffsetおよびsubpicConfWinBottomOffsetに等しく、書き換える。
- [[nuh_layer_idがi番目のレイヤのnuh_layer_idに等しく、SubpicIdVal[subpicIdx]に等しくないすべてのVCL NALユニットをoutBitstreamから削除する。]]
D.2.2 一般的なSEIペイロード意味論
...
リストVclAssociatedSeiListは、payloadType値3、19、45、129、132、137、144、145、147~150、153~156、168、[[203、]]、および204からなるように設定される。
リストPicUnitRepConSeiListは、payloadType値0、1、19、45、129、132、133、137、147~150、153~156、168、203、および204からなるように設定される。
注4-VclAssociatedSeiListは、SEIメッセージのpayloadType値で構成され、SEI NALユニットに非スケーラブルにネストされて含まれている場合、関連するVCL NALユニットのNALユニットヘッダに基づいて、SEI NALユニットのNALユニットヘッダに対する制約を推論する。PicUnitRepConSeiListは、1つのPU当たり4回の繰り返しの制限を受けるSEIメッセージのpayloadType値で構成される。
SEI NALユニットにSEIメッセージを含めることに関して、以下の制限が適用されることは、ビットストリーム準拠の要件である。
- SEI NALユニットが、非スケーラブルネスト型BP SEIメッセージ、非スケーラブルネスト型PT SEIメッセージ、または非スケーラブルネスト型DUI SEIメッセージを含む場合、SEI NALユニットは、payloadTypeが0(BP)、1(PT)、または130(DUI)に等しくない他のSEIメッセージを含まないものとする。
- SEI NALユニットが、スケーラブルネスト型BP SEIメッセージ、スケーラブルネスト型PT SEIメッセージ、またはスケーラブルネスト型DUI SEIメッセージを含む場合、SEI NALユニットは、payloadTypeが0(BP)、1(PT)、130(DUI)または133(スケーラブルネスティング)に等しくない他のSEIメッセージを含まないものとする。
...
D.6.2 スケーラブルネスティングSEIメッセージ意味論
...
...
subpicScalWinLeftOffset=pps_scaling_win_left_offset-sps_subpic_ctu_top_left_x[spIdx]*CtbSizeY/SubWidthC、ここで、pps_scaling_win_left_offsetは、スケーリング比算出のためにピクチャサイズに適用される左オフセットを示し、sps_subpic_pps_scaling_win_left_offsetは、スケーリング比計算のためにピクチャサイズに適用される左オフセットを示し、sps_subpic_ctu_top_left_x[spIdx]はサブピクチャの左上隅に位置するコーディングツリーユニットのx座標を示し、CtbSizeYは輝度コーディングツリーブロックまたはコーディングツリーユニットの幅または高さ、SubWidthCは映像ブロックの幅を示し、映像ブロックを含むピクチャの彩度フォーマットに応じたテーブルから取得されたものである。
subpicScalWinRightOffset=(rightSubpicBd>=sps_pic_width_max_in_luma_samples)?pps_scaling_win_right_offset:pps_scaling_win_right_offset-(sps_pic_width_max_in_luma_samples-rightSubpicBd)/SubWidthC、そして
sps_pic_width_max_in_luma_samplesは、シーケンスパラメータセットを参照してデコードされた各ピクチャの最大幅を輝度サンプル単位で規定し、pps_scaling_win_right_offsetは、スケーリング比計算のためにピクチャサイズに適用する右オフセットを示し、SubWidthCは映像ブロック幅であり映像ブロック含むピクチャの彩度に応じたテーブルから取得され、かつ
rightSubpicBd=(sps_subpic_ctu_top_left_x[spIdx]+sps_subpic_width_minus1[spIdx]+1)*CtbSizeY、そしてsps_subpic_ctu_top_left_x[spIdx]は、サブピクチャの左上隅に位置するコーディングツリーユニットのx座標、sps_subpic_width_minus1[spIdx]はサブピクチャの幅、CtbSizeYは輝度コーディングツリーブロックまたはコーディングツリーユニットの幅または高さであることを示す。
SubPicScalWinTopOffset=pps_scaling_win_top_offset-sps_subpic_ctu_top_left_y[spIdx]*CtbSizeY/SubHeightC、ここで
pps_scaling_win_top_offsetは、スケーリング比計算のためにピクチャサイズに適用されるトップオフセットを示し、sps_subpic_ctu_top_left_y[spIdx]はサブピクチャの左上隅に位置するコーディングツリーユニットのy座標を示し、CtbSizeYは輝度コーディングツリーブロックまたはコーディングツリーユニットの幅または高さ、SubHightCは映像ブロックの高さを示し、映像ブロックを含むピクチャの彩度フォーマットに従ったテーブルから取得される。
subpicScalWinBotOffset=(botSubpicBd>=sps_pic_height_max_in_luma_samples)?pps_scaling_win_bottom_offset:pps_scaling_win_bottom_offset-(sps_pic_height_max_in_luma_samples-botSubpicBd)/SubHeightC、およびsps_pic_height_max_in_luma_samplesは、シーケンスパラメータセットを参照してデコードされた各ピクチャの最大高さを輝度サンプル単位で示し、pps_scaling_win_bottom_offsetは、スケーリング比計算のためにピクチャサイズに適用するボトムオフセットを示し、SubHeightCは、映像ブロックの高さを示し、映像ブロックを含むピクチャの彩度フォーマットに応じたテーブルから取得され、
そして、ここでbotSubpicBd=(sps_subpic_ctu_top_left_y[spIdx]+sps_subpic_height_minus1[spIdx]+1)*CtbSizeYであり、また、sps_subpic_ctu_top_left_y[spIdx]はサブピクチャの左上隅に位置するコーディングツリーユニットのy座標を示し、およびCtbSizeYは輝度コーディングツリーブロックまたはコーディングツリーユニットの幅または高さである。
ここで、pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、pps_scaling_win_bottom_offsetはそれぞれ、スケーリング比計算のために画像サイズに適用する左オフセット、右オフセット、トップオフセット、ボトムオフセットを示し、かつ
ここで、subpicScalWinLeftOffset、subpicScalWinRightOffset、subpicScalWinTopOffsetおよびsubpicScalWinBotOffsetはそれぞれ、サブピクチャに適用するスケーリングウィンドウの左オフセット、右オフセット、トップオフセットおよびボトムオフセットを示す。
subpicScalWinBotOffset=(botSubpicBd>=pps_pic_height_in_luma_samples)?pps_scaling_win_bottom_offset:pps_scaling_win_bottom_offset-(pps_pic_height_in_luma_samples-botSubpicBd)/SubHeightC、かつ、
ここで、pps_pic_height_max_in_luma_samplesは、ピクチャパラメータセットを参照してデコードされた各ピクチャの最大高さを輝度サンプル単位で示し、pps_scaling_win_bottom_offsetはスケーリング比計算に用いるピクチャサイズに対するボトムオフセットを示し、SubHeightCは、映像ブロックの高さで、映像ブロック含むピクチャの彩度フォーマットに応じたテーブルから取得され、かつ、
ここでbotSubpicBd=(sps_subpic_ctu_top_left_y[spIdx]+sps_subpic_height_minus1[spIdx]+1)*CtbSizeYであり、
ここでsps_subpic_ctu_top_left_y[spIdx]は、サブピクチャの左上隅に位置するコーディングツリーユニットのy座標を示し、CtbSizeYは輝度コーディングツリーブロックまたはコーディングツリーユニットの幅または高さである。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効化するように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効化される場合、エンコーダは、1つの映像ブロックを処理する際にツールまたはモードを使用するまたは実装するが、ツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効化される場合に、映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効化される場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを知って、ビットストリームを処理する。すなわち、決定または判定に基づいて有効化された映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
本願は、2021年5月21日出願の国際特許出願第PCT/CN2021/095184号の国内段階であり、2020年5月22日出願の国際特許出願第PCT/CN2020/091696号の優先権および利益を主張する。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
Claims (17)
- 規則に従って、映像レイヤに1つ以上の映像ピクチャを含む映像と前記映像のビットストリームとの間で変換を行うことを含み、
前記規則は、サブビットストリーム抽出処理において、前記サブビットストリーム抽出中に削除されるパラメータセットを置き換えるために用いられる外部手段の利用可能性に関係なく、(i)映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニット、(ii)前記VCL NALユニットに関連付けられたフィラーデータNALユニット、および、(iii)前記VCL NALユニットと関連付けられたフィラーペイロード補足強化情報(SEI)メッセージの削除が実行されることを規定する、映像処理方法。 - 前記規則は、0からNumLayersInOls[targeTOlsIdx]-1の範囲内のiの各値について、前記サブビットストリーム抽出処理の出力であるサブビットストリームから、nuh_layer_idがLayerIdInOls[targetOlsIdx][i]と等しく、sh_subpic_idがSubpicIdVal[subpicIdxTarget[i]]と等しくないすべての映像コーディングレイヤ(VCL)ネットワーク抽象化レイヤ(NAL)ユニットと、それらに関連するフィラーデータNALユニットと、フィラーペイロードSEIメッセージを含むそれらに関連するSEI NALユニットとを削除することを規定し、
nuh_layer_idは、NALユニットヘッダ識別子であり、
LayerIdInOls[targetOlsIdx]は、ターゲット出力レイヤセットインデックスである前記targetOLsIdxで出力レイヤセット(OLS)内のnuh_layer_id値を規定し、
sh_subpic_idは、スライスを含むサブピクチャのサブピクチャ識別子を規定し、
subpicIdxTarget[i]はiのターゲットサブピクチャインデックス値を示し、
SubpicIdVal[subpicIdxTarget[i]]は、subpicIdxTarget[i]の変数であり、iは整数とする、請求項1に記載の方法。 - 規則に従って、1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む1つ以上のレイヤを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
前記規則は、参照ピクチャをサブピクチャレイアウトと異なるサブピクチャレイアウトに従って分割する場合、前記サブピクチャレイアウトを用いてサブピクチャへ分割される現在のピクチャの同一位置に配置される前記参照ピクチャとして使用することを許可しないことを規定する、映像処理方法。 - 前記現在のピクチャと前記参照ピクチャは異なるレイヤにある、請求項3に記載の方法。
- 規則に従って、1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む1つ以上のレイヤを含む映像と、前記映像のビットストリームとの間で変換を行うことを含み、
前記規則は、前記コーディングツールが前記現在のピクチャの参照ピクチャの前記サブピクチャレイアウトとは異なるサブピクチャレイアウトに依存する場合、サブピクチャレイアウトを使用してサブピクチャに分割される現在のピクチャの前記変換中に、コーディングツールを無効化することを規定する、映像処理方法。 - 前記現在のピクチャと前記参照ピクチャは異なるレイヤにある、請求項5に記載の方法。
- 前記コーディングツールは、オプティカルフロー計算を使用して1つ以上の初期予測を改良する双方向オプティカルフロー(BDOF)である、請求項5に記載の方法。
- 前記コーディングツールは、予測ブロックを使用して動き情報を改良するデコーダ側動きベクトル改良(DMVR)である、請求項5に記載の方法。
- 前記コーディングツールは、オプティカルフロー計算に基づいて1つ以上の初期予測を改良するオプティカルフローによる予測改良(PROF)である、請求項5に記載の方法。
- 前記変換は、前記映像を前記ビットストリームにエンコーディングすることを含む、請求項1~9のいずれか1項に記載の方法。
- 前記変換は、前記映像を前記ビットストリームからデコーディングすることを含む、請求項1~9のいずれか1項に記載の方法。
- 前記変換は、前記映像から前記ビットストリームを生成することを含み、前記方法は、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、請求項1~9のいずれかに記載の方法。
- 請求項1~12のいずれか1項以上に記載の方法を実装するように構成されたプロセッサを備える映像処理装置。
- 請求項1~12のいずれか1項に記載の方法を含み、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、
映像のビットストリームを記憶する方法。 - 実行されると、プロセッサに、請求項1~12のいずれか1項以上に記載の方法を実装させるプログラムコードを格納するコンピュータ可読媒体。
- 上述した方法のいずれかに従って生成されたビットストリームを記憶する、コンピュータ可読媒体。
- ビットストリーム表現を記憶するための映像処理装置であって、
請求項1~12のいずれか1つ以上に記載の方法を実装するように構成された、
映像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020091696 | 2020-05-22 | ||
CNPCT/CN2020/091696 | 2020-05-22 | ||
PCT/CN2021/095184 WO2021233424A1 (en) | 2020-05-22 | 2021-05-21 | Handling of coded video in sub-bitstream extraction process |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023526373A true JP2023526373A (ja) | 2023-06-21 |
JP7506185B2 JP7506185B2 (ja) | 2024-06-25 |
Family
ID=78707713
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022570207A Active JP7506185B2 (ja) | 2020-05-22 | 2021-05-21 | サブビットストリーム抽出処理におけるコーディングされた映像の操作 |
JP2022570208A Pending JP2023526374A (ja) | 2020-05-22 | 2021-05-21 | サブピクチャサブビットストリーム抽出の改良 |
JP2022570209A Active JP7513755B2 (ja) | 2020-05-22 | 2021-05-21 | サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022570208A Pending JP2023526374A (ja) | 2020-05-22 | 2021-05-21 | サブピクチャサブビットストリーム抽出の改良 |
JP2022570209A Active JP7513755B2 (ja) | 2020-05-22 | 2021-05-21 | サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ |
Country Status (6)
Country | Link |
---|---|
US (4) | US11778204B2 (ja) |
EP (3) | EP4140126A4 (ja) |
JP (3) | JP7506185B2 (ja) |
KR (3) | KR20230015391A (ja) |
CN (4) | CN115699729A (ja) |
WO (4) | WO2021233429A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230015391A (ko) * | 2020-05-22 | 2023-01-31 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 서브-비트스트림 추출에서 코딩된 비디오의 핸들링 |
US11988741B2 (en) * | 2020-12-17 | 2024-05-21 | Aptiv Technologies AG | Vehicle routing based on availability of radar-localization objects |
US11810459B1 (en) | 2022-05-09 | 2023-11-07 | Aptiv Technologies Limited | Vehicle localization based on radar detections in garages |
WO2024049269A1 (ko) * | 2022-09-03 | 2024-03-07 | 엘지전자 주식회사 | Hrd 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2952673B2 (ja) * | 1989-06-19 | 1999-09-27 | 株式会社日立メディコ | 関心領域抽出方法及び切り出し方法 |
GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
US7262818B2 (en) * | 2004-01-02 | 2007-08-28 | Trumpion Microelectronic Inc. | Video system with de-motion-blur processing |
WO2008127536A2 (en) * | 2007-04-12 | 2008-10-23 | Thomson Licensing | Methods and apparatus for video usability information (vui) for scalable video coding (svc) |
CN105100822B (zh) * | 2011-01-28 | 2018-05-11 | 华为技术有限公司 | 辅助视频补充信息承载方法、处理方法、装置与系统 |
RU2612577C2 (ru) * | 2012-07-02 | 2017-03-09 | Нокиа Текнолоджиз Ой | Способ и устройство для кодирования видеоинформации |
US9241158B2 (en) * | 2012-09-24 | 2016-01-19 | Qualcomm Incorporated | Hypothetical reference decoder parameters in video coding |
US9491456B2 (en) | 2012-09-24 | 2016-11-08 | Qualcomm Incorporated | Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages |
US9253483B2 (en) * | 2012-09-25 | 2016-02-02 | Google Technology Holdings LLC | Signaling of scaling list |
US9479779B2 (en) * | 2012-10-01 | 2016-10-25 | Qualcomm Incorporated | Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams |
US9521393B2 (en) * | 2013-01-07 | 2016-12-13 | Qualcomm Incorporated | Non-nested SEI messages in video coding |
SG10201913548WA (en) * | 2013-04-07 | 2020-02-27 | Dolby Int Ab | Signaling change in output layer sets |
KR102143707B1 (ko) * | 2013-10-11 | 2020-08-11 | 브이아이디 스케일, 인크. | Hevc 확장을 위한 하이 레벨 구문 |
US10187662B2 (en) * | 2013-10-13 | 2019-01-22 | Sharp Kabushiki Kaisha | Signaling parameters in video parameter set extension and decoder picture buffer operation |
WO2015102381A1 (en) * | 2014-01-03 | 2015-07-09 | Lg Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
KR102073030B1 (ko) * | 2014-03-14 | 2020-02-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 디코딩 장치 |
US20170019673A1 (en) | 2014-03-14 | 2017-01-19 | Sharp Kabushiki Kaisha | Image decoding device, image decoding method, recoding medium, image coding device, and image coding method |
US10178397B2 (en) * | 2014-03-24 | 2019-01-08 | Qualcomm Incorporated | Generic use of HEVC SEI messages for multi-layer codecs |
US9918091B2 (en) * | 2014-06-20 | 2018-03-13 | Qualcomm Incorporated | Systems and methods for assigning a minimum value to a syntax structure in a parameter set |
GB2538997A (en) * | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | A method, an apparatus, a computer program for video coding |
US10244249B2 (en) * | 2015-09-21 | 2019-03-26 | Qualcomm Incorporated | Fixed point implementation of range adjustment of components in video coding |
WO2017156669A1 (en) * | 2016-03-14 | 2017-09-21 | Mediatek Singapore Pte. Ltd. | Methods for motion vector storage in video coding |
FI20165256L (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
US11228770B2 (en) * | 2016-05-16 | 2022-01-18 | Qualcomm Incorporated | Loop sample processing for high dynamic range and wide color gamut video coding |
US9872062B1 (en) * | 2017-02-22 | 2018-01-16 | Wyse Technology L.L.C. | Enforcing synchronization by embedding audio within video frame data |
CN110035331B (zh) * | 2018-01-12 | 2021-02-09 | 华为技术有限公司 | 一种媒体信息的处理方法及装置 |
JP7181941B2 (ja) * | 2018-03-29 | 2022-12-01 | フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ビデオデコーダ、ビデオエンコーダ、ビデオコンテンツを復号化する方法、ビデオコンテンツを符号化する方法、コンピュータプログラム、およびビデオビットストリーム |
CN108965882B (zh) * | 2018-06-12 | 2020-08-14 | 浙江大华技术股份有限公司 | 一种编解码方法及装置 |
US11653007B2 (en) * | 2018-07-15 | 2023-05-16 | V-Nova International Limited | Low complexity enhancement video coding |
KR20210145736A (ko) | 2019-03-11 | 2021-12-02 | 브이아이디 스케일, 인크. | 서브-픽처 비트스트림 추출 및 재배치 |
EP3939317A1 (en) * | 2019-03-11 | 2022-01-19 | Dolby Laboratories Licensing Corporation | Video coding using reference picture resampling supporting region of interest |
GB2619627B (en) * | 2019-03-20 | 2024-02-28 | V Nova Int Ltd | Low complexity enhancement video coding |
WO2021026255A1 (en) * | 2019-08-06 | 2021-02-11 | Dolby Laboratories Licensing Corporation | Canvas size scalable video coding |
CN114503547B (zh) * | 2019-09-24 | 2023-09-22 | 华为技术有限公司 | 用于层的hrd参数 |
AU2020356300A1 (en) | 2019-09-24 | 2022-04-14 | Huawei Technologies Co., Ltd. | Layer based parameter set NAL unit constraints |
US11317093B2 (en) * | 2019-09-24 | 2022-04-26 | Tencent America LLC | Method for reference picture resampling with offset in video bitstream |
US20230037902A1 (en) | 2019-12-20 | 2023-02-09 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Video data stream, video encoder, apparatus and methods for hrd timing fixes, and further additions for scalable and mergeable bitstreams |
US11356681B2 (en) | 2019-12-27 | 2022-06-07 | Tencent America LLC | Coded video sub-bitstream extraction |
WO2021137589A1 (ko) | 2019-12-30 | 2021-07-08 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
CN114930830A (zh) | 2020-01-09 | 2022-08-19 | 字节跳动有限公司 | 波前并行处理的信令通知 |
US11528493B2 (en) * | 2020-05-06 | 2022-12-13 | Alibaba Group Holding Limited | Method and system for video transcoding based on spatial or temporal importance |
US11477471B2 (en) * | 2020-05-20 | 2022-10-18 | Tencent America LLC | Techniques for signaling combination of reference picture resampling and spatial scalability |
KR20230015391A (ko) * | 2020-05-22 | 2023-01-31 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 서브-비트스트림 추출에서 코딩된 비디오의 핸들링 |
US11589052B2 (en) | 2020-06-10 | 2023-02-21 | Tencent America LLC | Techniques for bitstream extraction for subpicture in coded video stream |
GB2599171A (en) | 2020-09-29 | 2022-03-30 | Canon Kk | Method and apparatus for encapsulating video data into a file |
US20220201308A1 (en) | 2020-12-18 | 2022-06-23 | Lg Electronics Inc. | Media file processing method and device therefor |
-
2021
- 2021-05-21 KR KR1020227044358A patent/KR20230015391A/ko not_active Application Discontinuation
- 2021-05-21 WO PCT/CN2021/095199 patent/WO2021233429A1/en active Application Filing
- 2021-05-21 CN CN202180037477.5A patent/CN115699729A/zh active Pending
- 2021-05-21 EP EP21809297.1A patent/EP4140126A4/en active Pending
- 2021-05-21 JP JP2022570207A patent/JP7506185B2/ja active Active
- 2021-05-21 CN CN202180037222.9A patent/CN115918078A/zh active Pending
- 2021-05-21 WO PCT/CN2021/095184 patent/WO2021233424A1/en unknown
- 2021-05-21 JP JP2022570208A patent/JP2023526374A/ja active Pending
- 2021-05-21 EP EP21808176.8A patent/EP4144094A4/en active Pending
- 2021-05-21 EP EP21807616.4A patent/EP4144090A4/en active Pending
- 2021-05-21 CN CN202180037058.1A patent/CN115715466A/zh active Pending
- 2021-05-21 WO PCT/CN2021/095182 patent/WO2021233422A1/en unknown
- 2021-05-21 JP JP2022570209A patent/JP7513755B2/ja active Active
- 2021-05-21 CN CN202180037277.XA patent/CN115868167A/zh active Pending
- 2021-05-21 KR KR1020227044345A patent/KR20230015390A/ko active Search and Examination
- 2021-05-21 WO PCT/CN2021/095179 patent/WO2021233421A1/en unknown
- 2021-05-21 KR KR1020227044361A patent/KR20230013264A/ko active Search and Examination
-
2022
- 2022-11-22 US US17/992,236 patent/US11778204B2/en active Active
- 2022-11-22 US US17/992,192 patent/US11968375B2/en active Active
- 2022-11-22 US US17/992,246 patent/US12063371B2/en active Active
-
2023
- 2023-11-08 US US18/504,661 patent/US20240073430A1/en active Pending
Non-Patent Citations (3)
Title |
---|
BENJAMIN BROSS, ET AL.: ""Versatile Video Coding (Draft 9)"", DOCUMENT: JVET-R2001-VA, [ONLINE], vol. JVET-R2001 (version 10), JPN6023047890, 15 May 2020 (2020-05-15), pages 462 - 469, ISSN: 0005201816 * |
ROBERT SKUPIN, ET AL.: ""AHG12: On CBR subpicture extraction"", DOCUMENT: JVET-Q0404, [ONLINE], vol. JVET-Q0404 (version 1), JPN6023047889, 31 December 2019 (2019-12-31), pages 1 - 5, ISSN: 0005201815 * |
ROBERT SKUPIN, ET AL.: ""AHG12: On subpicture extraction"", DOCUMENT: JVET-Q0397-V3, [ONLINE], vol. JVET-Q0397 (version 5), JPN6023047888, 18 January 2020 (2020-01-18), pages 1 - 6, ISSN: 0005201814 * |
Also Published As
Publication number | Publication date |
---|---|
CN115918078A (zh) | 2023-04-04 |
WO2021233424A1 (en) | 2021-11-25 |
EP4140126A4 (en) | 2023-06-21 |
EP4144094A4 (en) | 2023-06-21 |
CN115699729A (zh) | 2023-02-03 |
US20230099966A1 (en) | 2023-03-30 |
JP2023526374A (ja) | 2023-06-21 |
US11778204B2 (en) | 2023-10-03 |
US11968375B2 (en) | 2024-04-23 |
JP7506185B2 (ja) | 2024-06-25 |
KR20230013264A (ko) | 2023-01-26 |
CN115715466A (zh) | 2023-02-24 |
US12063371B2 (en) | 2024-08-13 |
JP2023526375A (ja) | 2023-06-21 |
WO2021233429A1 (en) | 2021-11-25 |
KR20230015390A (ko) | 2023-01-31 |
US20230106804A1 (en) | 2023-04-06 |
CN115868167A (zh) | 2023-03-28 |
US20240073430A1 (en) | 2024-02-29 |
EP4140126A1 (en) | 2023-03-01 |
WO2021233422A1 (en) | 2021-11-25 |
EP4144094A1 (en) | 2023-03-08 |
EP4144090A1 (en) | 2023-03-08 |
JP7513755B2 (ja) | 2024-07-09 |
US20230080061A1 (en) | 2023-03-16 |
KR20230015391A (ko) | 2023-01-31 |
EP4144090A4 (en) | 2023-06-21 |
WO2021233421A1 (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7513755B2 (ja) | サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ | |
JP7464742B2 (ja) | 参照ピクチャリサンプリング | |
US11825124B2 (en) | Scaling window in video coding | |
WO2021257529A1 (en) | Decoded picture buffer management and subpictures in video coding | |
JP2023522115A (ja) | 変換スキップ残差コーディング | |
JP7538256B2 (ja) | 映像ビットストリームにおけるサブレイヤ信号通知 | |
JP7511680B2 (ja) | サブピクチャサブビットストリーム抽出プロセスにおける補足エンハンスメント情報の処理 | |
JP7513756B2 (ja) | サブレイヤ数制限 | |
JP2023529423A (ja) | 映像コーディングにおけるサブピクチャレベル情報の信号通知 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221223 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240613 |