JP7444826B2 - 符号化された映像におけるサブピクチャトラック - Google Patents
符号化された映像におけるサブピクチャトラック Download PDFInfo
- Publication number
- JP7444826B2 JP7444826B2 JP2021152668A JP2021152668A JP7444826B2 JP 7444826 B2 JP7444826 B2 JP 7444826B2 JP 2021152668 A JP2021152668 A JP 2021152668A JP 2021152668 A JP2021152668 A JP 2021152668A JP 7444826 B2 JP7444826 B2 JP 7444826B2
- Authority
- JP
- Japan
- Prior art keywords
- track
- picture
- sub
- vvc
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 131
- 230000000007 visual effect Effects 0.000 claims description 90
- 230000033001 locomotion Effects 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 76
- 239000000523 sample Substances 0.000 description 131
- 239000013598 vector Substances 0.000 description 24
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 18
- 235000019395 ammonium persulphate Nutrition 0.000 description 18
- 238000000605 extraction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 239000010410 layer Substances 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000002265 prevention Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 4
- 102100025027 E3 ubiquitin-protein ligase TRIM69 Human genes 0.000 description 4
- 101000830203 Homo sapiens E3 ubiquitin-protein ligase TRIM69 Proteins 0.000 description 4
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 101100533821 Arabidopsis thaliana FSD1 gene Proteins 0.000 description 1
- 240000002791 Brassica napus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000000261 appearance potential spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 101150018269 sodB gene Proteins 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年9月17日出願の米国特許仮出願第63/079933号および2020年10月6日出願の米国特許仮出願第63/088126号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像ファイルフォーマットに関する。具体的には、本発明は、ISOベースのメディアファイル形式(ISOBMFF)に基づいて、メディアファイルにおけるマルチトラックにおける汎用映像符号化(VVVC)映像ビットストリームのサブピクチャに関する。この考えは、任意のコーデック、例えば、VVC規格によって符号化された映像ビットストリーム、および任意の映像ファイルフォーマット、例えば、開発されているVVC映像ファイルフォーマットに、個々にまたは様々な組み合わせで適用されてもよい。
2.略語
ACT 適応色変換
ALF 適応ループフィルタ
AMVR 適応型動きベクトル解像度
APS 適応パラメータセット
AU アクセスユニット
AUD アクセスユニット区切り文字
AVC 高度映像符号化(Rec.ITU-T H.264|ISO/IEC14496-10)
B 双方向予測
BCW CUレベル重み付き双方向予測
BDOF 双方向オプティカルフロー
BDPCM ブロックベースのデルタパルス符号変調
BP バッファリング時間
CABAC コンテキストに基づく適応2進算術符号化
CB 符号化ブロック
CBR 一定ビットレート
CCALF クロスコンポーネント適応ループフィルタ
CPB 符号化ピクチャバッファ
CRA クリーンなランダムアクセス
CRC 巡回冗長性検査
CTB 符号化ツリーブロック
CTU 符号化ツリーユニット
CU 符号化ユニット
CVS 符号化映像シーケンス
DPB 復号化ピクチャバッファ
DCI 復号化能力情報
DRAP 従属ランダムアクセスポイント
DU 復号化ユニット
DUI 復号化ユニット情報
EG 指数ゴロム
EGk k次指数ゴロム
EOB ビットストリームの末端
EOS シーケンスの末端
FD フィラーデータ
FIFO 先入れ先出し
FL 固定長
GBR 緑色、青色、赤色
GCI 一般的な制約情報
GDR 緩やかな復号化更新
GPM ジオメトリ分割モード
HEVC 高効率映像符号化(Rec.ITU-T H.265|ISO/IEC23008-2)
HRD 仮想参照デコーダ
HSS 仮想ストリームスケジューラ
I イントラ
IBC イントラブロックコピー
IDR 瞬時復号化更新
ILRP 層間参照画像
IRAP イントラランダムアクセスポイント
LFNST 低周波数非可分変換
LPS 最小確率シンボル
LSB 最下位ビット
LTRP 長期参照画像
LMCS 彩度スケーリングを伴う輝度マッピング
MIP マトリックスに基づくイントラ予測
MPS 最大確率記号
MSB 最上位ビット
MTS 多重変換選択
MVP 動きベクトル予測
NAL ネットワーク抽象化層
OLS 出力層セット
OP 動作点
OPI 動作点情報
P 予測
PH ピクチャヘッダ
POC ピクチャオーダカウント
PPS ピクチャパラメータセット
PROF オプティカルフローによる予測微調整
PT ピクチャタイミング
PU ピクチャユニット
QP 量子化パラメータ
RADL ランダムアクセス復号化可能リード(ピクチャ)
RASL ランダムアクセススキップリード(ピクチャ)
RBSP 生バイトシーケンスペイロード
RGB 赤、緑、青
RPL 参照ピクチャリスト
SAO サンプル適応オフセット
SAR サンプルアスペクト比
SEI 補足強化情報
SH スライスヘッダ
SLI サブピクチャレベル情報
SODB データビットのストリング
SPS シーケンスパラメータセット
STRP 短期参照ピクチャ
STSA ステップワイズ時間的サブレイヤアクセス
TR 短縮ライス
VBR 可変ビットレート
VCL 映像符号化層
VPS 映像パラメータセット
VSEI 汎用補足強化情報(Rec.ITU-T H.274 | ISO/IEC23002-7)
VUI 映像可用性情報
VVC(Rec.ITU-T H.266 | ISO/IEC23090-3)H.265|ISO/IEC23008-2)
3.1. 映像符号化規格
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは、後に汎用映像符号化(VVC)プロジェクトが正式に始まったとき、共同映像エキスパートチーム(JVET)に改称された。VVCは新しい符号化規格であり、HEVCに比べて50%のビットレート低減を目指し、2020年7月1日に終了した第19回JVET総会において完成した。
メディアストリーミングアプリケーションは、一般的に、IP、TCP、およびHTTPトランスポート方法に基づいており、一般的に、ISOベースのメディアファイルフォーマット(ISOBMFF)などのファイルフォーマットに依存する。そのようなストリーミングシステムの1つは、HTTP(DASH)を介した動的適応ストリーミングである。ISOBMFFとDASHで映像フォーマットを使用するには、ISO/IEC 14496-15(“情報技術-オーディオビジュアルオブジェクトの符号化-Part15:ネットワーク抽象化層(NAL)単位で構造化されたISOベースのメディアファイルフォーマットの映像のキャリッジ”)のAVCファイルフォーマットやHEVCファイルフォーマットのような、映像フォーマット固有のファイルフォーマット仕様が、ISOBMFFトラックやDASHの表現やセグメントに映像コンテンツをカプセル化するために必要である。映像ビットストリームに関する重要な情報、例えば、プロファイル、階層、レベル、その他多数は、コンテンツ選択のために、例えば、ストリーミングセッションの開始時の初期化およびストリーミングセッション中のストリーム適応の両方のために、ファイルフォーマットレベルのメタデータおよび/またはDASHメディアプレゼンテーション記述(MPD)として公開される必要がある。
HEVCは、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なるピクチャ分割スキームを含み、これらを適用することで、最大転送ユニット(MTU)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
3.4.1. VVCにおけるピクチャ分割
VVCにおいて、1つのピクチャは、1つ以上のタイル行および1つ以上のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
VVCにおいて、個々のサブピクチャは、例えば図8に示すように、ピクチャの矩形領域をまとめて覆う1つ以上の完全な矩形スライスからなる。1つのサブピクチャは、抽出可能なように指定されてもよいし(即ち、同じピクチャの他のサブピクチャおよび前のピクチャの復号化の順序で独立して符号化されてもよいし)、抽出不可能なように指定されてもよい。サブピクチャが抽出可能であるかどうかにかかわらず、エンコーダは、各サブピクチャごとに、サブピクチャの境界にわたって個々にインループフィルタリング(非ブロック化、SAO、およびALFを含む)を適用するかどうかを制御することができる。
サブピクチャとMCTSとの間には、いくつかの重要な設計上の相違がある。第1に、VVCにおけるサブピクチャの特徴は、この場合、サブピクチャの境界においてサンプルパディングを適用することで、サブピクチャが抽出可能である場合であっても、ピクチャの境界における場合と同様に、サブピクチャの外側を指す符号化ブロックの動きベクトルを許容する。第2に、VVCのマージモードおよびデコーダ側動きベクトル微調整処理において、動きベクトルの選択および導出のために追加の変更を導入した。これにより、MCTSのためにエンコーダ側で適用される非規範的な動き制約に比べて、より高い符号化効率が可能になる。第3に、ピクチャのシーケンスから1つ以上の抽出可能なサブピクチャを抽出し、適合ビットストリームであるサブビットストリームを生成する場合、SH(およびPH NALユニットが存在する場合、それら)を書き換える必要がない。HEVC MCTSに基づくサブビットストリーム抽出においては、SHの書き換えが必要である。なお、HEVC MCTS抽出およびVVCサブピクチャ抽出の両方において、SPSおよびPPSの書き換えが必要である。しかしながら、一般的に、ビットストリーム内には少数のパラメータセットしか存在せず、各ピクチャは少なくとも1つのスライスを有するため、SHの書き換えはアプリケーションシステムにとって大きな負担となり得る。第4に、1つのピクチャ内の異なるサブピクチャのスライスは、異なるNALユニットタイプを有する場合がある。これは、以下でより詳細に説明するように、しばしば1つのピクチャ内の混合NALユニットタイプまたは混合サブピクチャタイプと呼ばれる特徴である。第5に、VVCは、サブピクチャシーケンスのためにHRDおよびレベル定義を規定し、従って、各抽出可能なサブピクチャシーケンスのサブビットストリームの適合性をエンコーダによって保証することができる。
AVCおよびHEVCにおいて、1つのピクチャにおけるすべてのVCL NALユニットは、同じNALユニットタイプを有している必要がある。VVCは、1つのピクチャ内で特定の異なるVCL NALユニットタイプを有するサブピクチャを混合する選択肢を導入し、これにより、ピクチャレベルだけでなくサブピクチャレベルでもランダムアクセスをサポートする。VVC VCLにおいて、1つのサブピクチャ内のNALユニットは、依然として同じNALユニットタイプを有している必要がある。
VVCにおけるサブピクチャのレイアウトは、SPSにおいて信号通知され、従って、CLVS内で一定である。各サブピクチャは、その左上のCTUの位置およびCTUの数におけるその幅および高さによって信号伝達され、よって、1つのサブピクチャが、CTU粒度を有するピクチャの矩形領域を確実に覆う。SPSにおいてサブピクチャが信号通知される順序は、ピクチャ内の各サブピクチャのインデックスを決定する。
3.5. VVC映像ファイルフォーマットの詳細
3.5.1. トラックのタイプ
VVC映像ファイルフォーマットは、ISOBMFFファイルにおけるVVCビットストリームをキャリッジするための以下のタイプの映像トラックを規定する。
a) VVCトラック:
VVCトラックは、そのサンプルおよびサンプルエントリにNALユニットを含めることによって、また、場合によってはVVCビットストリームの他のサブレイヤを含む他のVVCトラックを参照することによって、そして、場合によってはVVCサブピクチャトラックを参照することによって、VVCビットストリームを表す。1つのVVCトラックがVVCサブピクチャトラックを参照する場合、これをVVCベーストラックと呼ぶ。
b) VVC非VCLトラック:
ALF、LMCS、またはスケーリングリストパラメータを搬送するAPS、および他の非VCL NALユニットは、VCL NALユニットを含むトラックとは別個のトラックに記憶され且つ該トラックを介して送信されてもよく、これはVVC非VCLトラックである。
c) VVC サブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
1つ以上のVVCサブピクチャのシーケンス。
1つの矩形領域を形成する1つ以上の完全なスライスのシーケンス。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
ISO/IEC23090-3で規定されているような、復号化の順序で連続した1つ以上の完全なサブピクチャ。
ISO/IEC23090-3で規定されているような、1つの矩形領域を形成し、復号化の順序で連続する1つ以上の完全なスライス。
VVCサブピクチャトラックの任意のサンプルに含まれるVVCサブピクチャまたはスライスは、復号化の順序で連続している。
注:VVC非VCLトラックおよびVVCサブピクチャトラックは、ストリーミングアプリケーションにおけるVVC映像の最適な配信を以下のように可能にする。これらのトラックはそれぞれ、それ自体のDASH表現で搬送されてもよく、トラックのサブセットを復号化およびレンダリングするために、VVCサブピクチャトラックのサブセットを含むDASH表現、および非VCLトラックを含むDASH表現は、クライアントがセグメントごとに要求することができる。このようにして、APSおよび他の非VCL NALユニットの冗長な伝送が回避できる。
3.5.2. VVCビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
- 復号化の順序で連続する1つ以上のVVCサブピクチャのシーケンス、又は、
- 1つの矩形領域を形成し、復号化の順序で連続する1つ以上の完全なスライスのシーケンス。
矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
矩形領域は、rect_region_flagが1に等しい矩形領域視覚サンプルグループ記述エントリ(すなわち、RectangularRegionGroupEntryのインスタンス)によって記述してもよい。
1つのトラックのそれぞれのサンプルが1つの矩形領域のみのNALユニットからなる場合、タイプ‘trif’のSampleToGroupBoxを使用してサンプルを矩形領域に関連付けることができるが、デフォルトサンプルグルーピングメカニズムが使用される場合(すなわち、タイプ‘trif’のSampleGroupDescriptionBoxのバージョンが2以上である場合)、このタイプ‘trif’のSampleToGroupBoxは省略可能である。そうでない場合、SampleToGroupBoxes(タイプ‘nalm’)およびgrouping_type_parameterが‘trif’であり、SampleGroupDescriptionBox(タイプ‘nalm’)を介して、サンプル、NALユニット、および矩形領域を関連付ける。RectangularRegionGroupEntryは、以下を記述する。
- 1つの矩形領域、
- この矩形領域と他の矩形領域との間の符号化依存性。
各RectangularRegionGroupEntryには、groupIDと呼ばれる固有の識別子が割り当てられる。この識別子を使用して、サンプルにおけるNALユニットを特定のRectangularRegionGroupEntryに関連付けることができる。
輝度サンプル座標を使用して、矩形領域の位置およびサイズを識別する。
ムービーフラグメントとともに使用される場合、RectangularRegionGroupEntryは、ISO/IEC14496-12の8.9.4項に定義されるように、トラックフラグメントボックスに新しいSampleGroupDescriptionBoxを定義することによって、ムービーフラグメントの持続時間に対して定義され得る。ただし、既に定義されたRectangularRegionGroupEntryと同じgroupIDを有するトラックフラグメントには、RectangularRegionGroupEntryは存在しない。
RectangularRegionGroupEntryで使用されるベース領域は、この矩形領域グループエントリに関連付けられた矩形領域におけるNALユニットが属するピクチャである。
連続するサンプルにおいてベース領域のサイズに何らかの変化がある場合(例えば、参照ピクチャの再サンプリング(RPR)またはSPSのサイズ変更の場合)、サンプルは、そのそれぞれのベース領域のサイズを反映した異なるRectangularRegionGroupEntryエントリに関連付けられるべきである。
1つの矩形領域にマッピングされたNALユニットは、通常通り、VVCトラックに含まれてもよいし、或いはVVCサブピクチャトラックと呼ばれる別個のトラックに含まれてもよい。
3.5.3. VVCサブピクチャトラックを参照するVVCトラックにおけるサンプルからピクチャユニットを再構成する方法
VVCトラックのサンプルを、黒丸の順に以下のNALユニットを含むアクセスユニットに分解する。
●サンプル中のAUD NALユニット(あれば)(および第1のNALユニット)。
●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプルである場合、そのサンプルエントリに含まれているパラメータセットおよびSEI NALユニット(もしあれば)。
●サンプル中に存在し、かつPH NALユニットまでのNALユニット。
●このサンプルにマッピングされた‘spor’サンプルグループ記述エントリで指定された順序で、参照された各VVCサブピクチャトラックから時間的に整列された(復号化時間内の)解決済みサンプルの内容で、VPS、DCI、SPS、PPS、AUD、PH、EOS、EOB NALユニットがある場合はすべてを除く。トラック参照は、以下のように分解される。
注1:参照されたVVCサブピクチャトラックがVVC非VCLトラックに関連付けられている場合、VVCサブピクチャトラックの分解されたサンプルは、VVC非VCLトラックの時間整列されたサンプルの非VCL NALユニット(もしあれば)を含む。
●サンプル中のPH NALユニットの後に続くNALユニット。
注2:サンプルにおけるPH NALユニットの後に続くNALユニットは、サフィックスSEI NALユニット、サフィックスAPS NALユニット、EOS NALユニット、EOB NALユニット、または最後のVCL NALユニットの後に許可される予約NALユニットを含むことができる。
‘spor’サンプルグループ記述エントリの‘subp’トラック参照インデックスは、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラック参照を‘alte’のトラックグループのいずれかのトラックに分解する。特定のトラック参照インデックス値が前回のサンプルにおける特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラックグループにおける任意の他のトラック。
注3:同じ‘alte’トラックグループにおけるVVCサブピクチャトラックは、復号化の不整合を回避するために、同じVVCベーストラックによって参照される他のVVCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●サブピクチャの境界を越えてループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NALユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNALユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘spor’サンプルグループエントリにおけるビット位置およびサブピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPSをそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS ID値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前のPPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはSPSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャID値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換える必要がある。
3.5.4. サブピクチャ順サンプルグループ
3.5.4.1. 定義
このサンプルグループは、VVCベーストラック、即ち、VVCサブピクチャトラックを参照する‘subp’トラックを有するVVCトラックにおいて使用される。各サンプルグループディスクリプションエントリは、符号化ピクチャのサブピクチャまたはスライスを復号化の順序で示し、‘subp’タイプのトラック参照のインデックスは、復号化の順序で連続する1つ以上のサブピクチャまたはスライスを示す。
サブピクチャの選択に呼応してPPSまたはSPSを容易に書き換えるために、各サンプルグループ記述エントリは、以下を含むことができる。
- PPSまたはSPS NALユニットにおいて選択されたサブピクチャIDを変更すべきかどうかの指示。
- サブピクチャID構文要素の長さ(ビット単位)。
- 含まれているRBSPにおけるサブピクチャID構文要素のビット位置。
- サブピクチャIDの前にまたはサブピクチャID内にスタートコードエミュレーション防止バイトが存在するかどうかを示すフラグ。
- サブピクチャIDを含むパラメータセットのパラメータセットID。
3.5.4.2. 構文
aligned(8) class VvcSubpicOrderEntry()extends VisualSampleGroupEntry(‘spor’)
{
unsigned int(1)subpic_id_info_flag;
unsigned int(15)num_subpic_ref_idx;
for(i=0;i<num_subpic_ref_idx;i++)
unsigned int(16)subp_track_ref_idx;
if(subpic_id_info_flag){
unsigned int(4)subpic_id_len_minus1;
unsigned int(12)subpic_id_bit_pos;
unsigned int(1)start_code_emul_flag;
unsigned int(1)pps_subpic_id_flag;
if(pps_subpic_id_flag)
unsigned int(6)pps_id;
else{
unsigned int(1)sps_subpic_id_flag;
unsigned int(4)sps_id;
bit(1) reserved=0;
}
}
}
3.5.4.3. 意味論
subpic_id_info_flagが0である場合、SPSおよび/またはPPSに提供されるサブピクチャID値が、示されたサブp_track_ref_idx値の集まりに対して正確であり、従って、SPSまたはPPSの書き換えが必要でないことを示す。subpic_info_flagが1であると、SPSおよび/またはPPSがsubp_track_ref_idx値のセットに対応するサブピクチャを示すように書き換える必要があることを示す。
num_subpic_ref_idxは、VVCトラックが参照するサブピクチャトラックまたはサブピクチャトラックのトラックグループの参照インデックスの数を示す。
subp_track_ref_idxは、iのそれぞれの数値に対して、VVCトラックから再構成されたVVCビットストリームに含まれるべき1つ以上のサブピクチャまたはスライスのi番目のリストの‘subp’トラック参照インデックスを指定する。
subpic_id_len_minus1+1は、PPSまたはSPSのサブピクチャID 構文要素のビット数を示し、どちらがこの構造によって参照されても構わない。
subpic_id_bit_posは、参照されるPPSまたはSPS RBSPにおける第1のサブピクチャID構文要素の第1のビットの0から始まるビット位置を示す。
start_code_empul_flagが0である場合、参照されたPPSまたはSPS NALユニットにおけるサブピクチャIDの前または内部にスタートコードエミュレーション防止バイトが存在しないことを示す。start_code_emul_flagが1である場合、参照されたPPSまたはSPS NALユニットにおけるサブピクチャIDの前または内部にスタートコードエミュレーション防止バイトが存在し得ることを示す。
pps_subpic_id_flagが0である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるPPS NALユニットがサブピクチャID構文要素を含まないことを示す。pps_subpic_id_flagが1である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるPPS NALユニットがサブピクチャID構文要素を含む。
pps_id(存在する場合)は、このサンプルグループ記述エントリにマッピングされるサンプルに適用されるPPSのPPS IDを示す。
pps_subpic_id_flagが存在し、且つ0である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるPPS NALユニットがサブピクチャID構文要素を含まないことを示し、サブピクチャID値が推測される。sps_subpic_id_flagが存在し、且つ1である場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるSPS NALユニットがサブピクチャID構文要素を含む。
sps_id(存在する場合)は、このサンプルグループ記述エントリにマッピングされるサンプルに適用されるSPSのSPS IDを示す。
3.5.5. サブピクチャエンティティグループ
3.5.5.1. 一般
複数のVVCサブピクチャトラックからのマージされたビットストリームの適合性を示すレベル情報を提供するサブピクチャエンティティグループが定義される。
注:VVCベーストラックは、VVCサブピクチャトラックをマージするための別のメカニズムを提供する。
暗示的な再構成処理は、パラメータセットの修正を必要とする。サブピクチャエンティティグループは、再構成されたビットストリームのためのパラメータセットを容易に生成できるような指針を与える。
1つのグループ内の共同復号化されるべき符号化されたサブピクチャが互いに差し替え可能である、即ち、プレーヤが、同じレベル寄与を有する1つのサンプルごとのサブピクチャのグループから複数のアクティブトラックを選択する場合、SubpicCommonGroupBoxは、連帯で復号化される場合、得られる組み合わせ規則およびlevel_idcを示す。
異なる特性、例えば異なる解像度を有する符号化されたサブピクチャが連帯で復号化されるように選択された場合、SubpicMultipleGroupSBoxは、連帯で復号化される場合、得られる組み合わせ規則およびlevel_idcを示す。
サブピクチャエンティティグループに含まれるすべてのentity_id値は、VVCサブピクチャトラックを識別する。存在する場合、SubpicCommonGroupBoxおよびSubpicMultipleGroupSBoxは、ムービーレベルのMetaBoxにおけるGroupsListBoxに含まれるものであり、ファイルレベルまたはトラックレベルのMetaBoxesに含まれないものとする。
3.5.5.2. サブピクチャ共通グループボックスの構文
aligned(8) class SubpicCommonGroupBox extends EntityToGroupBox(‘acgl’,0,0)
{
unsigned int(32)level_idc;
unsigned int(32)num_active_tracks;
}
3.5.5.3. サブピクチャ共通グループボックスの意味論
level_idcは、エンティティグループからnum_active_tracksエンティティを選択した場合、そのエンティティが適合するレベルを示す。
num_active_tracksは、level_idcの値を指定するトラックの数を指示す。
3.5.5.4. サブピクチャの複数のグループボックスの構文
aligned(8) class SubpicMultipleGroupsBox extends EntityToGroupBox(‘amgl’,0,0)
{
unsigned int(32)level_idc;
unsigned int(32)num_subgroup_ids;
subgroupIdLen=(num_subgroup_ids>=(1<<24)) ?32:
(num_subgroup_ids>=(1<<16))?24:
(num_subgroup_ids>=(1<<8))?16:8;
for(i=0;i<num_entities_in_group;i++)
unsigned int(subgroupIdLen)track_subgroup_id[i];
for(i=0;i<num_subgroup_ids;i++)
unsigned int(32)num_active_tracks[i];
}
3.5.5.5. 意味論
level_idcは、0からnum_subgroup_ids-1までの範囲のiのすべての値について、IDがiであるサブグループの中から任意のnum_active_tracks[i]トラックを選択するという組み合わせが適合するレベルを示す。
num_subgroup_idは別個のサブグループの数を示し、各サブグループはtrack_subgroup_id[i]の同じ値で識別される。track_subgroup_id[i]の異なる値によって、異なるサブグループが識別される。
track_subgroup_id[i]は、このエンティティグループのi番目のトラックのサブグループIDを示す。サブグループIDの値は、0からnum_subgroup_ids~1までの(両端を含む)範囲とする。
num_active_tracks[i]は、level_idcに記載されているIDがiであるサブグループにおけるトラック数を示す。
複数のトラックのVVCビットストリームにおけるサブピクチャのキャリッジに関するVVC映像ファイルフォーマットの最近の設計は、以下のような問題を有する。
1)VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。A)ISO/IEC23090-3で規定されているような、復号化の順序で連続した1つ以上の完全なサブピクチャ。B)ISO/IEC23090-3に規定されているような、1つの矩形領域を形成し、復号化の順序で連続する1つ以上の完全なスライス。
しかしながら、以下のような問題が存在する。
a.また、VVCのサブピクチャトラックは、スライスを含むトラックと同様に、矩形領域をカバーしなければならないとした方が理にかなっている。
b.VVCサブピクチャトラックのサブピクチャやスライスが動きに制約されていること、すなわち抽出可能であること、または自己完結していることを要求する方が、理にかなっている。
c.VVCのサブピクチャトラックには、元のビットストリームでは復号化の順序で連続していないが、このトラック自体を復号化すれば、これらのサブピクチャが復号化の順序で連続するような、矩形領域を形成するサブピクチャのセットを含めることができるようにしてはどうか?例えば、360°の映像の視野(FOV)が、投影された映像の左右の境界にあるいくつかのサブピクチャで覆われているような場合には、そのようなことは許されないのか?
2)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVVCサブピクチャトラックのリストにおける時間整列されたサンプルとからPUを再構成する際に、PH NALユニットがサンプル中に存在しない場合、VVCベーストラックのサンプルにおける非VCL NALユニットの順番は、明確に特定されない。
3)サブピクチャオーダサンプルグループメカニズム(‘spor’)は、異なるサンプルのために、再構成ビットストリームにおけるサブピクチャトラックからのサブピクチャの異なる順序を有効化し、且つSPSおよび/またはPPS書き換えを必要とする場合を有効化。しかし、これらの柔軟性のいずれかが必要とされる理由は不明である。そのため、‘spor’サンプルグループのメカニズムが不要となり、サンプルグループを削除することができる。
4)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVVCサブピクチャトラックのリストにおける時間整列サンプルとからPUを再構成する場合、VVCサブピクチャトラックの時間整列サンプルにおけるNALユニットをPUに加えると、すべてのVPS、DCI、SPS、PPS、AUD、PH、EOS、EOB NALユニットがあれば、それらを除外する。しかし、OPI NALユニットはどうか?SEI NALユニットはどうか?これらの非VCL NALユニットがサブピクチャトラックに存在することを許可される理由は何であるか?存在する場合、ビットストリーム再構成において、それらを通過させるだけでよいか?
5)2つのサブピクチャエンティティグループのボックスのコンテナを、ムービーレベルのMetaBoxとする。ただし、ファイルレベルのMetaBoxにボックスが含まれている場合にのみ、エンティティグループのentity_id値がトラックIDを参照することができる。
6)サブピクチャエンティティグループは、関連するサブピクチャ情報がトラックの時間の長さ全体にわたって一貫している場合に機能する。しかしながら、これは常にそうであるとは限らない。例えば、特定のサブピクチャシーケンスに対して異なるCVSが異なるレベルを有する場合、どのようになるか?その場合、サンプルグループを代わりに使用して、本質的に同じ情報を搬送すべきであるが、異なるサンプル(例えば、CVS)ごとに特定の情報が異なることを可能にすべきである。
7)各VVCベーストラックには、現在、サブピクチャオーダ(‘spor’)のサンプルグループが存在することが義務付けられている。‘spor’サンプルグループメカニズムは、異なるサンプルのために、再構成ビットストリームにおけるサブピクチャトラックからのサブピクチャの異なる順序を有効化し、且つSPSおよび/またはPPS書き換えを必要とする場合を有効化する。ただし、VVCベーストラックの‘subp’トラックリファレンスを介して、サブピクチャのストレートな“早期バインディング”を行う場合には、‘spor’サンプルグループは必要ない
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
1)VVCサブピクチャトラックにおいて、以下の項目のうちの1つ以上を提案する。
a.サブピクチャを含む場合、1つのVVCサブピクチャトラックが1つの矩形領域を覆うようにすることが必要である。
b.VVCサブピクチャトラックにおけるサブピクチャまたはスライスは、他の領域を覆うサブピクチャまたはスライスが存在しなくても抽出、復号化および提示ができるように、動き拘束されることが必要である。
i.代替的に、VVCサブピクチャトラックにおけるサブピクチャまたはスライスが、他の領域を覆うサブピクチャまたはスライスの動き補償に依存することを可能にし、その結果、他の領域を覆うサブピクチャまたはスライスのいずれかが存在しなければ、サブピクチャまたはスライスを抽出、復号化、提示できない。
c.1つのVVCサブピクチャトラックが、1つの矩形領域を形成するが、元の/全体のVVCビットストリームにおける復号化の順序において連続していない1つのサブピクチャまたはスライスのセットを含むことができる。
これにより、元の/全体のVVCビットストリームにおける、例えば、投影画像の左右の境界において、復号化の順序で連続していないサブピクチャで覆われる360o映像の視野(FOV)を、VVCサブピクチャトラックによって表現することができるようになる。
d.VVCサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの順序は、元の/全体のVVCビットストリームにおけるそれらの順序と同じであることが必要である。
e.VVCサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの復号化の順序が、元の/全体のVVCビットストリームにおいて連続しているかどうかを示す指示を追加する。
i.この指示は、例えば、VVCベーストラックサンプルエントリ記述において、または他のどこかで信号通知される。
ii.元の/全体のVVCビットストリームにおいて、VVCサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの順番が復号化の順序で連続していることが示されていない場合、このトラックにおけるサブピクチャまたはスライスは、他のVVCサブピクチャトラックにおけるサブピクチャまたはスライスとマージされてはならない。例えば、この例において、VVCベーストラック参照は、トラック基準フォーマット‘subp’によって、このVVCサブピクチャトラックおよび別のVVCサブピクチャトラックの両方を参照することが許可されない。
f.VvcNALUConfigBoxにフラグnalusInContiguousDecodingOrderFlagを追加する。このフラグが1であることは、各サンプルにおけるNALユニットが元のビットストリーム全体において復号化の順序で連続していることを示し、よって、タイプ‘subp’のトラック参照によってVVCサブピクチャトラックを参照するVVCベーストラックは、同じトラック参照を通して他のVVCサブピクチャトラックを参照してもよい。値0は、各サンプルにおけるNALユニットが元のビットストリーム全体において復号化の順序で連続していてもいなくてもよいことを示し、よって、タイプ‘subp’のトラック参照によってVVCサブピクチャトラックを参照するVVCベーストラックは、同じトラック参照を通して他のVVCサブピクチャトラックを参照しなくてもよい。
2)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVVCサブピクチャトラックのリストにおける時間整列されたサンプルとから、トラック参照によってPUを再構成する場合、サンプル中にPH NALユニットが存在するかどうかにかかわらず、VVCベーストラックのサンプルにおける非VCL NALユニットの順番がはっきりと特定される。
a.一例において、VVCサブピクチャトラックにおけるNALユニットの前に、PUに配置されるべきVVCベーストラックのサンプルからのセットNALユニットは、以下のように指定される。サンプルの中に、nal_unit_typeがEOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30、UNSPEC_31のいずれかであるNALユニットが少なくとも1つ存在する場合(このようなNALユニットタイプを持つNALユニットは、ピクチャユニット内の最初のVCL NALユニットに先行することはできない)、サンプル内のこれらのNALユニットの最初のものまででこれを除くNALユニット、そうでない場合はサンプル内のすべてのNALユニット。
b.一例において、VVCサブピクチャトラックにおけるNALユニットの後に、PUに配置されるべきVVCベーストラックのサンプルからのセットNALユニットは、以下のように指定される。nal_unit_typeがEOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30、またはUNSPEC_31であるサンプル内のすべてのNALユニット。
3)‘subp’トラック参照を使用して、VVCトラックが複数の(サブピクチャ)トラックを参照できるようにし、参照順は、参照されたVVCサブピクチャトラックから再構成されたビットストリームにおけるサブピクチャの復号化の順序を示す。
a.VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVVCサブピクチャトラックリストにおける時間整列されたサンプルとからPUを再構成する場合、参照サブピクチャトラックのサンプルは、‘subp’トラック参照において参照されるVVCサブピクチャトラックの順に処理される。
4)サブピクチャトラックにAUレベルまたはピクチャレベルの非VCL NALユニット(AUD、DCI、OPI、VPS、SPS、PPS、PH、EOS、EOBのNALユニット、AUレベルおよびピクチャレベルのSEIメッセージのみを含むSEI NALユニットを含む)の存在を禁止する。AUレベルのSEIメッセージは、1つ以上のAU全体に適用される。ピクチャレベルのSEIメッセージは、1つ以上のピクチャ全体に適用される。
a.さらに、VVCベーストラックのサンプルと、VVCベーストラックから参照されるVVCサブピクチャトラックのリストの中の時間的に整列させたサンプルからPUを再構成する際に、VVCサブピクチャトラックの時間的に整列させたサンプルに含まれるすべてのNALユニットが、特定の非VCL NALユニットを廃棄することなく、PUに追加される。
5)VVCベーストラックのサンプルと、VVCベーストラックからトラックリファレンスを介して参照されるVVCサブピクチャトラックのリストの中の時間的にずれたサンプルから、PUを再構成する際に、‘spor’サンプルグループの使用を削除し、‘spor’サンプルグループに基づくパラメータセットの書き換え処理の記述を削除する。
6)‘spor’サンプルグループの仕様を削除する。
7)各‘subp’トラック参照インデックスは、VVCサブピクチャトラックのトラックIDまたはVVCサブピクチャトラックグループのトラックグループIDのいずれかを参照し、それ以外のものは参照しないことを規定する。
8)問題5を解決するために、2つのサブピクチャエンティティグループのボックスのコンテナを、ファイルレベルのMetaBoxとして、以下のように規定する。SubpicCommonGroupBoxおよびSubpicMultipleGroupSBoxは、存在する場合、ファイルレベルのMetaBoxにおけるGroupsListBoxに含まれるべきであり、他のレベルのMetaBoxに含まれてはならない。
9)問題点6を解決するために、2つのサンプルグループを追加し、2つのサブピクチャエンティティグループと同様の情報を伝えるようにする。これにより、VVCファイルフォーマットは、関連するサブピクチャ情報がトラックの時間の長さ全体で一貫していない場合、例えば、異なるCVSが特定のサブピクチャシーケンスに対して異なるレベルを持っている場合などに対応できるようになる。
10)課題7を解決するために、以下の項目の1つ以上を提案する。
a.1つの「spor」サンプルグループは、それぞれのVVCベーストラックに対して選択可能であるように規定される。
b.PUを再構成する場合、‘spor’サンプルグループが、VVCベーストラックに存在しない場合には、参照サブピクチャトラックのサンプルは、‘subp’トラック参照において参照されるVVCサブピクチャトラックの順に処理される。
6. 実施形態
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC映像ファイルフォーマットの標準仕様に適用できる。変更したテキストは、MPEG出力文書N19454の最終草案仕様(情報技術-オーディオビジュアルオブジェクトの符号化-パート15:ISOベースのメディアファイルフォーマットのネットワーク抽象化層(NAL)単位で構造化された映像のキャリッジ、補正2:ISOBMFFにおけるVVCおよびEVCのキャリッジ、2020年7月)に基づく。既に追加または修正された最も関連性のある部分は、太字およびイタリック文字で強調表示され、且つ削除された部分の一部は、二重括弧でマークされている(例えば、[[a]]は、‘a’という文字の削除を示す)。本質的に編集可能であるため、強調されていない他の何らかの変更があってもよい。
6.1. 第一の実施形態
本実施形態は1a、1b、1c項である。
6.1.1. トラックのタイプ
本明細書では、VVCビットストリームをキャリッジするための以下のタイプの映像トラックを指定する。
a)VVCトラック:
VVCトラックは、そのサンプルおよび/またはサンプルエントリにNALユニットを含めることによって、且つ場合によっては、‘vopi’および‘linf’サンプルグループを介して、または‘opeg’エンティティグループを介してVVCビットストリームの他のレイヤおよび/またはサブレイヤを含む他のVVCトラックを関連付けることによって、また、場合によってはVVCサブピクチャトラックを参照することによって、VVCビットストリームを表す。
VVCトラックがVVCサブピクチャトラックを参照する場合、これをVVCベーストラックとも呼ぶ。VVCベーストラックは、VCL NALユニットを含まないものとし、‘vvcN’トラックリファレンスを介してVVCトラックによって参照されないものとする。
b)VVC非VCLトラック:
VVC非VCLトラックは、非VCL NALユニットのみを含むトラックであり、「vvcN」トラック基準によってVVCトラックによって参照される。
VVCの非VCLトラックには、ALF、LMCS、またはスケーリングリストのパラメータを搬送するAPSが、他の非VCL NALユニットとともに、または他の非VCL NALユニットを伴わずに、VCL NALユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
VVCの非VCLトラックには、また、APS NALユニットとともに、または伴わずに、また、他の非VCL NALユニットとともに、または他の非VCL NALユニットを伴わずに、ピクチャヘッダNALユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
c)VVCサブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
6.2. 第二の実施形態
本実施形態は、項目2、2a、2b、3、3a、4、4a、5に関する。
6.2.1. VVCサブピクチャトラックを参照するVVCトラックにおけるサンプルからピクチャユニットを再構成する方法
[[‘spor’サンプルグループ記述エントリの]]‘subp’トラック基準インデックスは、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラック参照は‘alte’のトラックグループのいずれかのトラックに分解され、特定のトラック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラックグループにおける任意の他のトラック。
注3:同じ‘alte’トラックグループにおけるVVCサブピクチャトラックは、復号化の不整合を回避するために、同じVVCベーストラックによって参照される他のVVCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●[[サブピクチャの境界でループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NALユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNALユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、「spor」サンプルグループエントリにおけるビット位置およびサブピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPSをそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS ID値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前のPPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはSPSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャID値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換える必要がある。]]
6.3. 第三の実施形態
本実施形態は項目1a、1b、1c、1f、2、2a、2b、4、4a、10である。
トラックのタイプ
本明細書では、VVCビットストリームをキャリッジするための以下のタイプの映像トラックを指定する。
d)VVCトラック:
VVCトラックは、そのサンプルおよび/またはサンプルエントリにNALユニットを含めることによって、且つ場合によっては、‘vopi’および‘linf’サンプルグループを介して、または‘opeg’エンティティグループを介してVVCビットストリームの他のレイヤおよび/またはサブレイヤを含む他のVVCトラックを関連付けることによって、また、場合によってはVVCサブピクチャトラックを参照することによって、VVCビットストリームを表す。
VVC非VCLトラックは、非VCL NALユニットのみを含むトラックであり、‘vvcN’トラック基準によってVVCトラックによって参照される。
VVCの非VCLトラックには、ALF、LMCS、またはスケーリングリストのパラメータを搬送するAPSが、他の非VCL NALユニットとともに、または他の非VCL NALユニットを伴わずに、VCL NALユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
VVCの非VCLトラックには、また、APS NALユニットとともに、または伴わずに、また、他の非VCL NALユニットとともに、または他の非VCL NALユニットを伴わずに、ピクチャヘッダNALユニットを含むトラックとは別個のトラックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
f)VVC サブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
...
VVCサブピクチャトラックを参照するVVCトラックにおけるサンプルからピクチャユニットを再構成する方法
[[‘spor’サンプルグループ記述エントリの]]‘subp’トラック基準インデックスは、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラック参照は‘alte’のトラックグループのいずれかのトラックに分解され、特定のトラック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラックグループにおける任意の他のトラック。
注3:同じ「alte」トラックグループにおけるVVCサブピクチャトラックは、復号化の不整合を回避するために、同じVVCベーストラックによって参照される他のVVCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●[[サブピクチャの境界でループフィルタリングをオフにする。]]
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NALユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNALユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘spor’サンプルグループエントリにおけるビット位置およびサブピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPSをそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS ID値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前のPPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはSPSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャID値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換える必要がある。
サンプルエントリ名称および(VVC映像ストリーム定義の)形式
定義
...
VVCトラックは、‘subp’トラックリファレンスを含んでもよく、エントリは、VVCサブピクチャトラックのtrack_ID値かVVCサブピクチャトラックの‘alte’トラックグループのtrack_group_id値のどちらかを含む。
[[VVCトラックは、‘subp’トラック基準を含む場合、VVCベーストラックと呼ばれ、以下が適用される。
- VVCトラックのサンプルは、VCL NALユニットを含まないとする。]]
構文
基本クラスVisualSampleEntryにおけるCompressornameは、値「\012VVC Coding」が推奨されるときに使用されるコンプレッサの名前を示す(\012は10であり、文字列の長さはバイトである)。
VvcDecoderConfigurationRecordは、11.3.3に定義されている。
[[num_subpics_minus1+1]VVCサブピクチャトラックに含まれるサブピクチャシーケンスの数を指定する。
subpic_id、VVCサブピクチャトラックに含まれるサブピクチャのシーケンスのサブピクチャ識別子を指定する。]]
Claims (17)
- 視覚メディアデータと、この視覚メディアデータの1つ以上のビットストリームを記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うことを備える視覚メディアデータを処理する方法であって、
前記視覚メディアデータは、1つ以上のサブピクチャまたは1つ以上のスライスを含む1つ以上のピクチャを備え、
前記視覚メディアファイルは、フォーマット規則に従って前記1つ以上のトラックを記憶し、前記視覚メディアファイルは、前記視覚メディアデータの1つ以上のサブピクチャのコーディングされた情報を記憶する1つ以上のサブピクチャトラックを参照するベーストラックを含み、
前記フォーマット規則は、トラックが前記1つ以上のスライスまたは前記1つ以上のサブピクチャのシーケンスを含み、前記1つ以上のスライスまたは前記1つ以上のサブピクチャが前記1つ以上のピクチャの矩形領域を覆うことを規定し、
前記フォーマット規則は、前記ベーストラックが、1つ以上のサブピクチャトラックを参照するためのサブピクチャトラック参照を含み、前記サブピクチャトラック参照において参照される前記1つ以上のサブピクチャトラックの順序が、前記1つ以上のサブピクチャトラックから再構成される映像ユニットにおける1つ以上のサブピクチャトラックのサンプルの順序を示すことを規定する、視覚メディアデータを処理する方法。 - 前記フォーマット規則は、前記トラックに含まれる前記1つ以上のサブピクチャまたは1つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは別のスライスが存在せず、独立して抽出可能、復号化可能および提示可能であることを規定する、請求項1に記載の方法。
- 前記フォーマット規則は、前記トラックに含まれる前記1つ以上のサブピクチャまたは1つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは別のスライスに動き補償で依存することを規定する、請求項1に記載の方法。
- 前記フォーマット規則は、前記1つ以上のスライスまたは前記1つ以上のサブピクチャが、前記トラックに記憶されたビットストリームの復号化の順序で連続しなくてもよいことを規定する、請求項1~3のいずれか1項に記載の方法。
- 復号化の順序で連続していない前記1つ以上のサブピクチャによって覆われる360度の映像の視野が、前記トラックによって表現される、請求項1~4のいずれか1項に記載の方法。
- 前記フォーマット規則は、前記トラックの各サンプルにおける、サブピクチャまたは前記1つ以上のスライスの順序が、前記トラックに記憶されたビットストリームにおける、サブピクチャまたはスライスの順序と同じであることを規定する、請求項1~5のいずれか1項に記載の方法。
- 前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピクチャまたは前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットストリームにおいて連続しているかどうかを示す指示を含むかどうかをさらに規定する、請求項1~6のいずれか1項に記載の方法。
- 前記指示は、前記トラックのベーストラックサンプルエントリの記述に含まれる、請求項7に記載の方法。
- 前記フォーマット規則は、前記指示がないことに呼応して、前記トラックにおける前記1つ以上のサブピクチャまたは前記1つ以上のスライスを別のトラックの別のサブピクチャまたは別のスライスにマージすることを許可しないことをさらに指定する、請求項7に記載の方法。
- 前記指示は、ネットワーク抽象化層(NAL)構成ボックスに含まれる、請求項7に記載の方法。
- 前記指示が1であることは、前記トラックの各サンプルにおけるNALユニットが、前記ビットストリームの前記復号化の順序で連続しており、かつ前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する他のトラックを指すことを示す、請求項7に記載の方法。
- 前記指示が0であることは、前記トラックの各サンプルにおけるNALユニットが、前記ビットストリームの前記復号化の順序で連続することを許可するかしないかを示し、かつ前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する他のトラックを参照しなくてもよいことを示す、請求項7に記載の方法。
- 前記視覚メディアデータは、汎用映像符号化(VVC)によって処理され、前記1つ以上のトラックはVVCトラックである、請求項1~12のいずれか1項に記載の方法。
- 前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則に従って、前記1つ以上のビットストリームを前記視覚メディアファイルに記憶することと、を含む、請求項1~13のいずれか1つに記載の方法。
- 前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、前記1つ以上のビットストリームを再構成することを含む、請求項1~13のいずれか1項に記載の方法。
- 請求項1~15のいずれか一項以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
- 命令を記憶するコンピュータ可読媒体であって、前記命令は、処理装置によって実行されると、請求項1~15のいずれか1項に記載の方法を実装する、コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023196800A JP2024020476A (ja) | 2020-09-17 | 2023-11-20 | 符号化された映像におけるサブピクチャトラック |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063079933P | 2020-09-17 | 2020-09-17 | |
US63/079,933 | 2020-09-17 | ||
US202063088126P | 2020-10-06 | 2020-10-06 | |
US63/088,126 | 2020-10-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023196800A Division JP2024020476A (ja) | 2020-09-17 | 2023-11-20 | 符号化された映像におけるサブピクチャトラック |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022050374A JP2022050374A (ja) | 2022-03-30 |
JP7444826B2 true JP7444826B2 (ja) | 2024-03-06 |
Family
ID=77801620
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152669A Active JP7355791B2 (ja) | 2020-09-17 | 2021-09-17 | サブピクチャトラックの参照および処理 |
JP2021152668A Active JP7444826B2 (ja) | 2020-09-17 | 2021-09-17 | 符号化された映像におけるサブピクチャトラック |
JP2023196800A Pending JP2024020476A (ja) | 2020-09-17 | 2023-11-20 | 符号化された映像におけるサブピクチャトラック |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152669A Active JP7355791B2 (ja) | 2020-09-17 | 2021-09-17 | サブピクチャトラックの参照および処理 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023196800A Pending JP2024020476A (ja) | 2020-09-17 | 2023-11-20 | 符号化された映像におけるサブピクチャトラック |
Country Status (5)
Country | Link |
---|---|
US (2) | US11871143B2 (ja) |
EP (2) | EP3972278A1 (ja) |
JP (3) | JP7355791B2 (ja) |
KR (2) | KR20220037400A (ja) |
CN (2) | CN114205607A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021060827A1 (ko) * | 2019-09-23 | 2021-04-01 | 엘지전자 주식회사 | 변환에 기반한 영상 코딩 방법 및 그 장치 |
CN115868165A (zh) | 2020-03-21 | 2023-03-28 | 抖音视界有限公司 | 参考图片重采样 |
EP4128794A4 (en) | 2020-04-19 | 2023-12-27 | Beijing Bytedance Network Technology Co., Ltd. | RESIDUAL CODING WITH OMISSION OF TRANSFORM |
KR20230025791A (ko) | 2020-06-20 | 2023-02-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 상이한 코딩 블록 크기를 이용한 계층간 예측 |
US11930295B2 (en) | 2020-09-17 | 2024-03-12 | Lemon Inc. | Handling of non-VCL NAL units in picture unit construction |
US11871143B2 (en) | 2020-09-17 | 2024-01-09 | Lemon Inc. | Subpicture tracks in coded video |
US20220201308A1 (en) * | 2020-12-18 | 2022-06-23 | Lg Electronics Inc. | Media file processing method and device therefor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020141248A1 (en) | 2019-01-02 | 2020-07-09 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US20200245041A1 (en) | 2017-10-12 | 2020-07-30 | Canon Kabushiki Kaisha | Method, device, and computer program for generating timed media data |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2382940A (en) | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
US9565431B2 (en) | 2012-04-04 | 2017-02-07 | Qualcomm Incorporated | Low-delay video buffering in video coding |
US9479773B2 (en) | 2012-09-24 | 2016-10-25 | Qualcomm Incorporated | Access unit independent coded picture buffer removal times in video coding |
US9374585B2 (en) | 2012-12-19 | 2016-06-21 | Qualcomm Incorporated | Low-delay buffering model in video coding |
WO2015003383A1 (en) | 2013-07-12 | 2015-01-15 | Mediatek Singapore Pte. Ltd. | Methods for inter-view motion prediction |
GB2516825B (en) | 2013-07-23 | 2015-11-25 | Canon Kk | Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies |
GB2516826B (en) | 2013-07-23 | 2016-06-22 | Canon Kk | Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f |
US9948915B2 (en) | 2013-07-24 | 2018-04-17 | Qualcomm Incorporated | Sub-PU motion prediction for texture and depth coding |
JP6434012B2 (ja) | 2013-07-24 | 2018-12-05 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 3d−hevcのための簡素化された高度動き予測 |
US9426465B2 (en) | 2013-08-20 | 2016-08-23 | Qualcomm Incorporated | Sub-PU level advanced residual prediction |
US9667996B2 (en) | 2013-09-26 | 2017-05-30 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
US9762927B2 (en) | 2013-09-26 | 2017-09-12 | Qualcomm Incorporated | Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC |
WO2015062002A1 (en) | 2013-10-31 | 2015-05-07 | Mediatek Singapore Pte. Ltd. | Methods for sub-pu level prediction |
US10320867B2 (en) | 2014-01-07 | 2019-06-11 | Canon Kabushiki Kaisha | Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data |
WO2015109598A1 (en) | 2014-01-27 | 2015-07-30 | Mediatek Singapore Pte. Ltd. | Methods for motion parameter hole filling |
EP3114839A4 (en) | 2014-03-07 | 2018-02-14 | Qualcomm Incorporated | Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi) |
US10218957B2 (en) | 2014-06-20 | 2019-02-26 | Hfi Innovation Inc. | Method of sub-PU syntax signaling and illumination compensation for 3D and multi-view video coding |
US10412387B2 (en) | 2014-08-22 | 2019-09-10 | Qualcomm Incorporated | Unified intra-block copy and inter-prediction |
JP6909223B2 (ja) | 2016-01-25 | 2021-07-28 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | 空間スケーラブル・ビデオ・コーディング |
WO2017143467A1 (en) | 2016-02-22 | 2017-08-31 | Mediatek Singapore Pte. Ltd. | Localized luma mode prediction inheritance for chroma coding |
US10419768B2 (en) | 2016-03-30 | 2019-09-17 | Qualcomm Incorporated | Tile grouping in HEVC and L-HEVC file formats |
US10291923B2 (en) * | 2016-05-24 | 2019-05-14 | Qualcomm Incorporated | Mapping of tile grouping and samples in HEVC and L-HEVC file formats |
WO2018173498A1 (en) | 2017-03-20 | 2018-09-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling scalable video in a media application format |
GB2560921B (en) * | 2017-03-27 | 2020-04-08 | Canon Kk | Method and apparatus for encoding media data comprising generated content |
GB2567624B (en) | 2017-10-12 | 2021-05-26 | Canon Kk | Method, device and computer program for transmitting media content |
WO2020008347A1 (en) | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Hmvp + non-adjacent motion |
WO2020053477A2 (en) * | 2018-09-12 | 2020-03-19 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
KR102608615B1 (ko) | 2018-11-02 | 2023-12-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Hmvp 후보 저장을 위한 표 유지 |
GB2579389B (en) | 2018-11-29 | 2022-07-27 | Canon Kk | Method, device and computer program for encapsulating media data into a media file |
US20220007088A1 (en) | 2018-12-10 | 2022-01-06 | Nokia Technologies Oy | An apparatus and a method for signaling information in a container file format |
EP3906699A4 (en) * | 2019-01-02 | 2022-11-02 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING VIDEO |
KR20210110710A (ko) * | 2019-01-09 | 2021-09-08 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
AU2020234972A1 (en) * | 2019-03-11 | 2021-09-30 | Vid Scale, Inc. | Sub-picture bitstream extraction and reposition |
US20200304820A1 (en) | 2019-03-20 | 2020-09-24 | Nokia Technologies Oy | Method and apparatus for employing patterns in sample metadata signalling in media content |
GB2584295A (en) * | 2019-05-28 | 2020-12-02 | Canon Kk | Method and apparatus for encoding and decoding a video bitstream for merging regions of interest |
GB2590435B (en) | 2019-12-17 | 2023-12-20 | Canon Kk | Method, device, and computer program for improving encapsulation of media content |
US12088971B2 (en) * | 2019-12-31 | 2024-09-10 | Nokia Technologies Oy | Method, an apparatus and a computer program product for video encoding and video decoding |
CN116018809A (zh) | 2020-09-15 | 2023-04-25 | 索尼集团公司 | 信息处理装置和方法 |
US11871143B2 (en) | 2020-09-17 | 2024-01-09 | Lemon Inc. | Subpicture tracks in coded video |
US11930295B2 (en) | 2020-09-17 | 2024-03-12 | Lemon Inc. | Handling of non-VCL NAL units in picture unit construction |
-
2021
- 2021-09-16 US US17/476,885 patent/US11871143B2/en active Active
- 2021-09-16 EP EP21197212.0A patent/EP3972278A1/en active Pending
- 2021-09-16 US US17/477,060 patent/US20220086457A1/en active Pending
- 2021-09-16 EP EP21197224.5A patent/EP3972279A1/en active Pending
- 2021-09-17 CN CN202111092816.8A patent/CN114205607A/zh active Pending
- 2021-09-17 CN CN202111094309.8A patent/CN114205609A/zh active Pending
- 2021-09-17 KR KR1020210125141A patent/KR20220037400A/ko active Search and Examination
- 2021-09-17 JP JP2021152669A patent/JP7355791B2/ja active Active
- 2021-09-17 KR KR1020210125142A patent/KR20220037401A/ko active Search and Examination
- 2021-09-17 JP JP2021152668A patent/JP7444826B2/ja active Active
-
2023
- 2023-11-20 JP JP2023196800A patent/JP2024020476A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200245041A1 (en) | 2017-10-12 | 2020-07-30 | Canon Kabushiki Kaisha | Method, device, and computer program for generating timed media data |
WO2020141248A1 (en) | 2019-01-02 | 2020-07-09 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Also Published As
Publication number | Publication date |
---|---|
US20220086386A1 (en) | 2022-03-17 |
US11871143B2 (en) | 2024-01-09 |
JP2024020476A (ja) | 2024-02-14 |
JP2022050375A (ja) | 2022-03-30 |
CN114205607A (zh) | 2022-03-18 |
EP3972278A1 (en) | 2022-03-23 |
KR20220037401A (ko) | 2022-03-24 |
US20220086457A1 (en) | 2022-03-17 |
CN114205609A (zh) | 2022-03-18 |
KR20220037400A (ko) | 2022-03-24 |
JP2022050374A (ja) | 2022-03-30 |
JP7355791B2 (ja) | 2023-10-03 |
EP3972279A1 (en) | 2022-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7397036B2 (ja) | 映像符号化におけるサブピクチャエンティティ | |
JP7444826B2 (ja) | 符号化された映像におけるサブピクチャトラック | |
JP7372293B2 (ja) | 符号化映像における依存性情報の信号通知 | |
JP7222043B2 (ja) | ビデオコーディングにおけるデコード機能情報のストレージ | |
KR20220030190A (ko) | 미디어 파일에 대한 브랜드 | |
JP7413433B2 (ja) | サブピクチャトラックのレベル情報 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230404 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7444826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |