JP2024020476A - 符号化された映像におけるサブピクチャトラック - Google Patents

符号化された映像におけるサブピクチャトラック Download PDF

Info

Publication number
JP2024020476A
JP2024020476A JP2023196800A JP2023196800A JP2024020476A JP 2024020476 A JP2024020476 A JP 2024020476A JP 2023196800 A JP2023196800 A JP 2023196800A JP 2023196800 A JP2023196800 A JP 2023196800A JP 2024020476 A JP2024020476 A JP 2024020476A
Authority
JP
Japan
Prior art keywords
track
picture
vvc
sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023196800A
Other languages
English (en)
Inventor
イエクイ ワン
Ye-Kui Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LEMON Inc
Original Assignee
LEMON Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LEMON Inc filed Critical LEMON Inc
Publication of JP2024020476A publication Critical patent/JP2024020476A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】視覚メディアデータを処理するためのシステム、方法および映像処理装置を提供する。【解決手段】方法は、視覚メディアデータと、視覚メディアデータの1つ以上のビットストリームを記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含み、視覚メディアデータは、1つ以上のサブピクチャまたは1つ以上のスライスを含む1つ以上のピクチャを含み、視覚メディアファイルは、フォーマット規則に従って1つ以上のトラックを記憶し、フォーマット規則は、1つ以上のスライスまたは1つ以上のサブピクチャのシーケンスを含むトラックが、1つ以上のピクチャの矩形領域を覆うカバーすることを規定する。【選択図】図11

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020
年9月17日出願の米国特許仮出願第63/079933号および2020年10月6日
出願の米国特許仮出願第63/088126号の優先権および利益を適時に主張すること
を目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開
示の一部として参照により援用される。
この特許文献は、ファイルフォーマットのデジタルオーディオ映像媒体情報の生成、記
憶、および消費に関する。
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯
域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ
機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けること
が予測される。
本明細書は、映像エンコーダおよびデコーダが、ファイルフォーマットに従って映像ま
たは画像の符号化表現を処理するために使用できる技術を開示する。
1つの例示的な態様において、視覚メディアデータを処理する方法が開示される。この
方法は、視覚メディアデータと、前記視覚メディアデータの1つ以上のビットストリーム
を記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うことを含み、
前記視覚メディアデータは、1つまたは複数のサブピクチャまたは複数のスライスを含む
1つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従って前
記1つ以上のトラックを記憶し、前記フォーマット規則は、前記1つ以上のスライスまた
は前記1つ以上のサブピクチャのシーケンスを含むトラックが、前記1つ以上のピクチャ
の矩形領域を覆うことを規定する。
別の例示的な態様において、視覚メディアデータ処理の別の方法が開示される。前記方
法は、フォーマット規則に従って、視覚メディアデータと、視覚メディアデータの1つ以
上のビットストリームを記憶する1つ以上のトラックを含む視覚メディアファイルとの変
換を行うことを含み、前記視覚メディアファイルは、前記視覚メディアデータの1つ以上
のサブピクチャのための符号化された情報を記憶する1つ以上のサブピクチャトラックを
参照するベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおける
サンプルおよび1つ以上のサブピクチャトラックから映像ユニットを再構成するために使
用されるプロセスを規定する。
さらに別の例示的な態様において、映像処理装置が開示される。この映像処理装置は、
上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様において、1つ以上のビットストリームを含むファイルに視覚
メディアデータを記憶する方法が開示される。この方法は、上述した方法に対応し、且つ
前記1つ以上のビットストリームを非一時的なコンピュータ可読記録媒体に記憶すること
をさらに含む。
さらに別の例示的な態様において、ビットストリームを記憶するコンピュータ可読媒体
が開示される。前記ビットストリームは、上述した方法に従って生成される。
さらに別の例示的な態様において、ビットストリームを記憶するための映像処理装置が
開示され、前記映像処理装置は、上述した方法を実装するように構成される。
さらに別の例示的な態様において、ビットストリームが、上述した方法に従って生成さ
れるファイルフォーマットに準拠する、コンピュータ可読媒体が開示される。
これらの、およびその他の特徴は、本明細書全体にわたって説明されている。
図1は、映像処理システム例を示すブロック図である。 図2は、映像処理装置のブロック図である。 図3は、映像処理方法の一例を示すフローチャートである。 図4は、本開示のいくつかの実施形態による映像符号化システムを示すブロック図である。 図5は、本開示のいくつかの実施形態によるエンコーダを示すブロック図である。 図6は、本開示のいくつかの実施形態によるデコーダを示すブロック図である。 図7は、エンコーダブロック図の例を示す。 図8は、18個のタイル、24個のスライス、および24個のサブピクチャに分割されたピクチャを示す。 図9は、典型的なサブピクチャに基づくビューポートに依存する360°映像配信スキームである。 図10は、2つのサブピクチャと4つのスライスとを含むビットストリームから1つのサブピクチャを取り出す例を示す。 図11は、開示される技術のいくつかの実装形態に基づく、視覚メディアデータ処理の例示的な方法を示す。 図12は、開示される技術のいくつかの実装形態に基づく、視覚メディアデータ処理の例示的な方法を示す。
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各
章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H
.266という用語は、ある説明において、理解を容易にするためだけに使用され、開示
された技術の範囲を限定するために用いられたものではない。このように、本明細書で説
明されている技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。本
明細書において、編集変更は、VVC規格またはISOBMFFファイルフォーマット規
格の現在の草案に対して、取り消されたテキストを示す取り消し線および付加されたテキ
ストを示すハイライト(太字のイタリック体を含む)によってテキストに示す。
1.初期の協議
本明細書は、映像ファイルフォーマットに関する。具体的には、本発明は、ISOベー
スのメディアファイル形式(ISOBMFF)に基づいて、メディアファイルにおけるマ
ルチトラックにおける汎用映像符号化(VVVC)映像ビットストリームのサブピクチャ
に関する。この考えは、任意のコーデック、例えば、VVC規格によって符号化された映
像ビットストリーム、および任意の映像ファイルフォーマット、例えば、開発されている
VVC映像ファイルフォーマットに、個々にまたは様々な組み合わせで適用されてもよい

2.略語
ACT 適応色変換
ALF 適応ループフィルタ
AMVR 適応型動きベクトル解像度
APS 適応パラメータセット
AU アクセスユニット
AUD アクセスユニット区切り文字
AVC 高度映像符号化(Rec.ITU-T H.264|ISO/IEC14496
-10)
B 双方向予測
BCW CUレベル重み付き双方向予測
BDOF 双方向オプティカルフロー
BDPCM ブロックベースのデルタパルス符号変調
BP バッファリング時間
CABAC コンテキストに基づく適応2進算術符号化
CB 符号化ブロック
CBR 一定ビットレート
CCALF クロスコンポーネント適応ループフィルタ
CPB 符号化ピクチャバッファ
CRA クリーンなランダムアクセス
CRC 巡回冗長性検査
CTB 符号化ツリーブロック
CTU 符号化ツリーユニット
CU 符号化ユニット
CVS 符号化映像シーケンス
DPB 復号化ピクチャバッファ
DCI 復号化能力情報
DRAP 従属ランダムアクセスポイント
DU 復号化ユニット
DUI 復号化ユニット情報
EG 指数ゴロム
EGk k次指数ゴロム
EOB ビットストリームの末端
EOS シーケンスの末端
FD フィラーデータ
FIFO 先入れ先出し
FL 固定長
GBR 緑色、青色、赤色
GCI 一般的な制約情報
GDR 緩やかな復号化更新
GPM ジオメトリ分割モード
HEVC 高効率映像符号化(Rec.ITU-T H.265|ISO/IEC230
08-2)
HRD 仮想参照デコーダ
HSS 仮想ストリームスケジューラ
I イントラ
IBC イントラブロックコピー
IDR 瞬時復号化更新
ILRP 層間参照画像
IRAP イントラランダムアクセスポイント
LFNST 低周波数非可分変換
LPS 最小確率シンボル
LSB 最下位ビット
LTRP 長期参照画像
LMCS 彩度スケーリングを伴う輝度マッピング
MIP マトリックスに基づくイントラ予測
MPS 最大確率記号
MSB 最上位ビット
MTS 多重変換選択
MVP 動きベクトル予測
NAL ネットワーク抽象化層
OLS 出力層セット
OP 動作点
OPI 動作点情報
P 予測
PH ピクチャヘッダ
POC ピクチャオーダカウント
PPS ピクチャパラメータセット
PROF オプティカルフローによる予測微調整
PT ピクチャタイミング
PU ピクチャユニット
QP 量子化パラメータ
RADL ランダムアクセス復号化可能リード(ピクチャ)
RASL ランダムアクセススキップリード(ピクチャ)
RBSP 生バイトシーケンスペイロード
RGB 赤、緑、青
RPL 参照ピクチャリスト
SAO サンプル適応オフセット
SAR サンプルアスペクト比
SEI 補足強化情報
SH スライスヘッダ
SLI サブピクチャレベル情報
SODB データビットのストリング
SPS シーケンスパラメータセット
STRP 短期参照ピクチャ
STSA ステップワイズ時間的サブレイヤアクセス
TR 短縮ライス
VBR 可変ビットレート
VCL 映像符号化層
VPS 映像パラメータセット
VSEI 汎用補足強化情報(Rec.ITU-T H.274 | ISO/IEC2
3002-7)
VUI 映像可用性情報
VVC(Rec.ITU-T H.266 | ISO/IEC23090-3)H.2
65|ISO/IEC23008-2)
3. 映像符号化の導入
3.1. 映像符号化規格
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発
展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-
1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 Vide
oとH.264/MPEG-4 AVC(Advanced Video Coding
)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時
間予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超え
た将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で
JVET(Joint Video Exploration Team)を設立した。
それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exp
loration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。JVE
Tは、後に汎用映像符号化(VVC)プロジェクトが正式に始まったとき、共同映像エキ
スパートチーム(JVET)に改称された。VVCは新しい符号化規格であり、HEVC
に比べて50%のビットレート低減を目指し、2020年7月1日に終了した第19回J
VET総会において完成した。
汎用映像符号化(VVC)規格(ITU-T H.266|ISO/IEC 2309
0-3)と汎用補足強化情報(VSEI)規格(ITU-T H.274|ISO/IE
C 23002-7)は、テレビ放送、ビデオ会議、記憶媒体からの再生などの従来の用
途に加え、適応ビットレートストリーミング、映像領域抽出、複数の符号化映像ビットス
トリームからのコンテンツの合成・結合、マルチビュー映像、スケーラブルレイヤードコ
ーディング、ビューポートに適応した360°没入型メディアなど、より新しく、より高
度な用途を含め、最大限に幅広いアプリケーションで使用できるように設計されている。
3.2. ファイルフォーマット規格
メディアストリーミングアプリケーションは、一般的に、IP、TCP、およびHTT
Pトランスポート方法に基づいており、一般的に、ISOベースのメディアファイルフォ
ーマット(ISOBMFF)などのファイルフォーマットに依存する。そのようなストリ
ーミングシステムの1つは、HTTP(DASH)を介した動的適応ストリーミングであ
る。ISOBMFFとDASHで映像フォーマットを使用するには、ISO/IEC 1
4496-15(“情報技術-オーディオビジュアルオブジェクトの符号化-Part1
5:ネットワーク抽象化層(NAL)単位で構造化されたISOベースのメディアファイ
ルフォーマットの映像のキャリッジ”)のAVCファイルフォーマットやHEVCファイ
ルフォーマットのような、映像フォーマット固有のファイルフォーマット仕様が、ISO
BMFFトラックやDASHの表現やセグメントに映像コンテンツをカプセル化するため
に必要である。映像ビットストリームに関する重要な情報、例えば、プロファイル、階層
、レベル、その他多数は、コンテンツ選択のために、例えば、ストリーミングセッション
の開始時の初期化およびストリーミングセッション中のストリーム適応の両方のために、
ファイルフォーマットレベルのメタデータおよび/またはDASHメディアプレゼンテー
ション記述(MPD)として公開される必要がある。
同様に、ISOBMFFを用いた画像フォーマットを使用するために、この画像フォー
マットに固有の、例えば、ISO/IEC23008-12におけるAVC画像ファイル
フォーマットおよびHEVC画像ファイルフォーマットなどのようなファイルフォーマッ
ト仕様(“情報技術-異種環境における高効率符号化およびメディア配信-パート12:
画像ファイルフォーマット”)が必要とされる。
ISOBMFFに基づくVVC映像コンテンツを記憶するためのファイルフォーマット
であるVVC映像ファイルフォーマットは、現在、MPEGによって開発されている。V
VC映像ファイルフォーマットの最新草案仕様は、MPEG出力文書N19454(“情
報技術-オーディオビジュアルオブジェクトの符号化-Part15:ネットワーク抽象
化層(NAL)単位で構造化されたISOベースのメディアファイルフォーマットの映像
のキャリッジ-補正2:ISOBMFFにおけるVVCおよびEVCのキャリッジについ
て”、2020年7月)に含まれている。
ISOBMFFに基づく、VVCを使用して符号化された画像内容を記憶するためのフ
ァイルフォーマットであるVVC画像ファイルフォーマットは、現在、MPEGによって
開発されている。VVC画像ファイルフォーマットの最新草案仕様は、MPEG出力文書
N19460(“情報技術-異種環境における高効率符号化およびメディア配信-第12
部:画像ファイルフォーマット-補正3:VVC、EVC、スライドショーおよびその他
の改善のサポート”、2020年7月)に含まれている。
3.3. HEVCにおけるピクチャ分割スキーム
HEVCは、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefr
ont Parallel Processing)という4つの異なるピクチャ分割ス
キームを含み、これらを適用することで、最大転送ユニット(MTU)サイズのマッチン
グ、並列処理、エンドツーエンドの遅延の低減が可能になる。
正規のスライスは、H.264/AVCと同様である。各正規のスライスは、それ自体
のNALユニットにカプセル化され、スライス境界にわたるインピクチャ予測(イントラ
サンプル予測、動き情報予測、符号化モード予測)およびエントロピー符号化依存性は無
効化される。このように、正規のスライスを、同じピクチャ内の他の正規のスライスとは
独立して再構成することができる(しかし、ループフィルタリング動作のために依然とし
て相互依存性がある場合がある)。
正規のスライスは、並列化に使用できる唯一のツールであり、H.264/AVCでも
ほぼ同じフォーマットで利用可能である。正規のスライスに基づく並列化は、あまり処理
装置間通信またはコア間通信を必要としない(予測符号化されたピクチャを復号化すると
き、動き補償のために処理装置間またはコア間データ共有を除き、一般的に、ピクチャ内
予測のために処理装置間またはコア間データ共有よりもはるかに重い)。しかしながら、
同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライ
ス境界にわたる予測が欠如していることに起因して、符号化のオーバーヘッドが大きくな
る可能性がある。さらに、正規のスライスは(後述の他のツールとは対照的に)、正規の
スライスのピクチャ内独立性および各正規のスライスがそれ自体のNALユニットにカプ
セル化されることに起因して、MTUサイズ要件に適応するようにビットストリームを分
割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびM
TUサイズマッチングの目標は、ピクチャにおけるスライスレイアウトに矛盾する要求を
課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。
従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断すること
なく、ツリーブロック境界でビットストリームを分割することを可能にする。基本的に、
従属スライスは、正規のスライスを複数のNALユニットに断片化し、正規のスライス全
体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによっ
て、エンドツーエンドの遅延を低減する。
WPPにおいて、ピクチャは、単一行の符号化ツリーブロック(CTB)に分割される
。エントロピー復号化および予測は、他の分割におけるCTBからのデータを使用するこ
とを許可される。CTB行の並列復号によって並列処理が可能であり、1つのCTB行の
復号の開始が2つのCTBだけ遅延され、それによって、対象のCTBが復号化される前
に、対象のCTBの右上のCTBに関するデータが確実に利用可能になる。この互い違い
のスタート(グラフで表現される場合、波面のように見える)を使用することで、ピクチ
ャがCTB行を含む数までの処理装置/コアを使用して並列化することが可能である。1
つのピクチャ内の近傍のツリーブロック行間のピクチャ内予測が許可されるので、ピクチ
ャ内予測を可能にするために必要な処理装置間/コア間通信は十分となり得る。WPP分
割は、適用されない場合と比較して、追加のNALユニットの生成をもたらさず、従って
、WPPは、MTUサイズマッチングのためのツールではない。しかし、MTUサイズの
マッチングが必要な場合、一定の符号化オーバーヘッドを伴って、WPPで正規のスライ
スを使用することができる。
タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。
タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左
から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗
算することで導出することができる。
CTBのスキャン順序は、1つのタイル内でローカルになるように(1つのタイルのC
TBラスタスキャンの順に)変更され、その後、1つのピクチャのタイルラスタスキャン
の順に従って、次のタイルの左上のCTBを復号化する。正規のスライスと同様に、タイ
ルは、ピクチャ内予測依存性およびエントロピー復号化依存性を損なう。しかしながら、
これらは、個々のNALユニット(この点でWPPと同じ)に含まれる必要がなく、従っ
て、タイルは、MTUサイズマッチングに使用できない。各タイルは、1つの処理装置/
コアによって処理されてもよく、処理ユニット間のピクチャ内予測に必要な処理装置間/
コア間通信は、近傍のタイルを復号化することは、1つのスライスが2つ以上のタイルに
またがっている場合、共有スライスヘッダを搬送すること、および再構成されたサンプル
およびメタデータのループフィルタリングに関連する共有に限定される。1つのスライス
に2つ以上のタイルまたはWPPセグメントが含まれる場合、該スライスにおける第1の
もの以外の各タイルまたはWPPセグメントのエントリポイントバイトオフセットが、ス
ライスヘッダにおいて信号通知される。
説明を簡単にするために、HEVCにおいては、4つの異なるピクチャ分割スキームの
適用に関する制限が規定されている。所与の符号化映像シーケンスは、HEVCに指定さ
れたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。
各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければな
らない。1)1つのスライスにおけるすべての符号化ツリーブロックは、同じタイルに属
し、2)1つのタイルにおけるすべての符号化ツリーブロックは、同じスライスに属する
。最後に、1つの波面セグメントはちょうど1つのCTB行を含み、WPPが使用されて
いる時に、1つのスライスが1つのCTB行内で始まる場合、同じCTB行で終わらなけ
ればならない。
最近のHEVCの修正は、JCT-VCの出力文書であるJCTVC-AC1005、
J.ボイス、A.ラマスブラモニアン、R.スクピン、G.J.スリ版、A.トゥラピス
、Y.-K.ワング(editors),「HEVC追加の補足強化情報(草案4),」
2017年10月24日,下記で入手可能:http://phenix.int-ev
ry.fr/jct/doc_end_user/documents/29_Maca
u/wg11/JCTVC-AC1005-v2.zip。この補正を含め、HEVCは
、3つのMCTS関連SEIメッセージ、即ち、時間的MCTS SEIメッセージ、M
CTS抽出情報セットSEIメッセージ、およびMCTS抽出情報ネストSEIメッセー
ジを規定する。
時間的MCTS SEIメッセージは、ビットストリーム中にMCTSが存在すること
を示し、MCTSに信号を送信する。各MCTSにおいて、動きベクトルは、MCTS内
部のフルサンプル位置を指し、且つ補間のためにMCTS内部のフルサンプル位置のみを
必要とするフラクショナルサンプル位置を指すように制限され、且つMCTS外部のブロ
ックから導出された時間的動きベクトル予測のための動きベクトル候補の使用は許可され
ない。このように、各MCTSは、MCTSに含まれていないタイルが存在せず、独立し
て復号化されてもよい。
MCTS抽出情報セットSEIメッセージは、MCTSサブビットストリーム抽出(S
EIメッセージの意味論の一部として指定される)において使用できる補足情報を提供し
、MCTSセットのための適合ビットストリームを生成する。この情報は、複数の抽出情
報セットからなり、各抽出情報セットは、複数のMCTSセットを定義し、MCTSサブ
ビットストリーム抽出処理において使用される代替VPS、SPS、およびPPSのRB
SPバイトを含む。MCTSサブビットストリーム抽出処理に従ってサブビットストリー
ムを抽出する場合、パラメータセット(VPS、SPS、PPS)を書き換えるかまたは
置き換える必要があるが、その理由は、スライスアドレスに関連する構文要素の1つまた
は全て(first_slice_segment_in_pic_flagおよびsl
ice_segment_addressを含む)が、一般的に、異なる値となる必要が
あるため、スライスヘッダはわずかに更新される必要がある。
3.4. VVCにおけるピクチャの分割およびサブピクチャ
3.4.1. VVCにおけるピクチャ分割
VVCにおいて、1つのピクチャは、1つ以上のタイル行および1つ以上のタイル列に
分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシ
ーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にス
キャンされる。
1つのスライスは、1つのピクチャのタイル内において、整数個の完全なタイルまたは
整数個の連続した完全なCTU行からなる。
2つのモードのスライス、即ちラスタスキャンスライスモードおよび矩形スライスモー
ドがサポートされる。ラスタスキャンスライスモードにおいて、1つのスライスは、1つ
のピクチャのタイルラスタスキャンにおける1つの完全なタイルのシーケンスを含む。矩
形スライスモードにおいて、1つのスライスは、ピクチャの矩形領域をセット的に形成す
る複数の完全なタイル、またはピクチャの矩形領域をセット的に形成する1つのタイルの
複数の連続した完全なCTU行のいずれかを含む。矩形スライス内のタイルを、そのスラ
イスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。
1つのサブピクチャは、1つのピクチャの矩形領域をセット的に覆う1つ以上のスライ
スを含む。
3.4.2. サブピクチャの概念および機能性
VVCにおいて、個々のサブピクチャは、例えば図8に示すように、ピクチャの矩形領
域をまとめて覆う1つ以上の完全な矩形スライスからなる。1つのサブピクチャは、抽出
可能なように指定されてもよいし(即ち、同じピクチャの他のサブピクチャおよび前のピ
クチャの復号化の順序で独立して符号化されてもよいし)、抽出不可能なように指定され
てもよい。サブピクチャが抽出可能であるかどうかにかかわらず、エンコーダは、各サブ
ピクチャごとに、サブピクチャの境界にわたって個々にインループフィルタリング(非ブ
ロック化、SAO、およびALFを含む)を適用するかどうかを制御することができる。
機能的には、サブピクチャは、HEVCにおける動き拘束タイルセット(MCTS)に
類似している。それらは両方とも、ビューポートに依存する360°の映像ストリーミン
グの最適化および関心領域(ROI)アプリケーションのような使用例のために、符号化
ピクチャのシーケンスの矩形サブセットの独立した符号化および抽出を可能にする。
360°映像のストリーミング、別名、全方向性映像のストリーミングにおいて、任意
の特定の瞬間に、全方向性映像球体全体のサブセット(即ち、現在のビューポート)のみ
がユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを
変更し、その結果、現在のビューポートを変更することができる。クライアント側で利用
可能な現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、
且つユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視
線方向を球面上の任意の場所に変えた場合に備えて、全方位映像の高品質な表現は、任意
の瞬間にユーザにレンダリングされている現在のビューポートにのみ必要である。全方位
映像全体の高画質表現を適切な粒度のサブピクチャに分割することで、図8に示されるよ
うに、左側に12枚の高解像度のサブピクチャ、右側に残りの12枚の低解像度の全方位
映像のサブピクチャを配置するという最適化が可能になる。
別の典型的なサブピクチャに基づくビューポートに依存する360°の映像配信スキー
ムが図9に示されており、ここでは、フル映像のより高い解像度の表現のみがサブピクチ
ャからなり、一方、フル映像のより低い解像度の表現は、サブピクチャを使用せず、より
高い解像度の表現よりも頻度の低いRAPで符号化できる。クライアント側は、フル映像
を低解像度で受信し、より高い解像度映像の場合、クライアント側は、現在のビューポー
トを覆うサブピクチャのみを受信して復号化する。
3.4.3. サブピクチャとMCTSの相違
サブピクチャとMCTSとの間には、いくつかの重要な設計上の相違がある。第1に、
VVCにおけるサブピクチャの特徴は、この場合、サブピクチャの境界においてサンプル
パディングを適用することで、サブピクチャが抽出可能である場合であっても、ピクチャ
の境界における場合と同様に、サブピクチャの外側を指す符号化ブロックの動きベクトル
を許容する。第2に、VVCのマージモードおよびデコーダ側動きベクトル微調整処理に
おいて、動きベクトルの選択および導出のために追加の変更を導入した。これにより、M
CTSのためにエンコーダ側で適用される非規範的な動き制約に比べて、より高い符号化
効率が可能になる。第3に、ピクチャのシーケンスから1つ以上の抽出可能なサブピクチ
ャを抽出し、適合ビットストリームであるサブビットストリームを生成する場合、SH(
およびPH NALユニットが存在する場合、それら)を書き換える必要がない。HEV
C MCTSに基づくサブビットストリーム抽出においては、SHの書き換えが必要であ
る。なお、HEVC MCTS抽出およびVVCサブピクチャ抽出の両方において、SP
SおよびPPSの書き換えが必要である。しかしながら、一般的に、ビットストリーム内
には少数のパラメータセットしか存在せず、各ピクチャは少なくとも1つのスライスを有
するため、SHの書き換えはアプリケーションシステムにとって大きな負担となり得る。
第4に、1つのピクチャ内の異なるサブピクチャのスライスは、異なるNALユニットタ
イプを有する場合がある。これは、以下でより詳細に説明するように、しばしば1つのピ
クチャ内の混合NALユニットタイプまたは混合サブピクチャタイプと呼ばれる特徴であ
る。第5に、VVCは、サブピクチャシーケンスのためにHRDおよびレベル定義を規定
し、従って、各抽出可能なサブピクチャシーケンスのサブビットストリームの適合性をエ
ンコーダによって保証することができる。
3.4.4. ピクチャ内の混合サブピクチャタイプ
AVCおよびHEVCにおいて、1つのピクチャにおけるすべてのVCL NALユニ
ットは、同じNALユニットタイプを有している必要がある。VVCは、1つのピクチャ
内で特定の異なるVCL NALユニットタイプを有するサブピクチャを混合する選択肢
を導入し、これにより、ピクチャレベルだけでなくサブピクチャレベルでもランダムアク
セスをサポートする。VVC VCLにおいて、1つのサブピクチャ内のNALユニット
は、依然として同じNALユニットタイプを有している必要がある。
IRAPサブピクチャからのランダムアクセスの能力は、360°映像アプリケーショ
ンに有益である。図9に示されたものに類似したビューポートに依存する360°映像配
信スキームにおいて、空間的に近傍のビューポートの内容は大きく重複し、即ち、ビュー
ポートにおけるサブピクチャの一部のみが、ビューポートの向きを変更する間に新しいサ
ブピクチャに置き換えられ、ほとんどのサブピクチャはビューポートに残る。ビューポー
トに新規に導入されるサブピクチャシーケンスは、IRAPスライスで開始しなければな
らないが、ビューポートの変更時に残りのサブピクチャがインター予測を実行することを
許可される場合、全体の伝送ビットレートを有意に低減することができる。
ピクチャが1つのタイプのNALユニットだけを含むか、または2つ以上のタイプを含
むかの指示は、ピクチャが参照するPPSに提供される(即ち、pps_mixed_n
alu_types_in_pic_flagと呼ばれるフラグを使用する)。1つのピ
クチャは、IRAPスライスを含むサブピクチャと、末尾のスライスを含むサブピクチャ
とを同時に構成することができる。1つのピクチャ内の、NALユニットタイプRASL
およびRADLの先頭ピクチャスライスを含む、異なるNALユニットタイプの他の若干
の組み合わせが許可され、これにより、異なるビットストリームから抽出されたオープン
GOPおよびクローズGOP符号化構造を有するサブピクチャシーケンスを1つのビット
ストリームにマージすることができる。
3.4.5. サブピクチャレイアウトおよびID信号通知
VVCにおけるサブピクチャのレイアウトは、SPSにおいて信号通知され、従って、
CLVS内で一定である。各サブピクチャは、その左上のCTUの位置およびCTUの数
におけるその幅および高さによって信号伝達され、よって、1つのサブピクチャが、CT
U粒度を有するピクチャの矩形領域を確実に覆う。SPSにおいてサブピクチャが信号通
知される順序は、ピクチャ内の各サブピクチャのインデックスを決定する。
SHまたはPHを書き換えることなくサブピクチャシーケンスの抽出およびマージを有
効化するために、VVCにおけるスライスアドレッシングスキームは、サブピクチャID
およびサブピクチャ固有のスライスインデックスに基づいて、スライスをサブピクチャに
関連付ける。SHにおいて、スライスを含むサブピクチャのサブピクチャIDおよびサブ
ピクチャレベルのスライスインデックスが信号通知される。なお、特定のサブピクチャの
サブピクチャIDの値は、そのサブピクチャインデックスの値と異なってもよい。2つの
間のマッピングは、SPSまたはPPSで信号通知される(しかし、両方ではない)か、
または暗黙的に推測される。存在する場合、サブピクチャサブビットストリーム抽出処理
中にSPSおよびPPSを書き換える時に、サブピクチャIDマッピングを書き換えるか
、または追加する必要がある。サブピクチャIDおよびサブピクチャレベルのスライスイ
ンデックスは、共に、デコードされたピクチャのDPBスロット内におけるスライスの第
1の復号化されたCTUの正確な位置をデコーダに示す。サブビットストリーム抽出の後
、サブピクチャのサブピクチャIDは変化しないが、サブピクチャのインデックスは変化
する場合がある。たとえサブピクチャにおける1つ目のCTUのラスタスキャンCTUア
ドレスが元のビットストリームにおける値と比較して変化したとしても、サブピクチャI
Dの変化しなかった値およびそれぞれのSHのサブピクチャレベルのスライスインデック
スは、抽出されたサブビットストリームの復号化ピクチャにおける各CTUの位置を依然
として正確に判定する。図10は、サブピクチャID、サブピクチャインデックス、およ
びサブピクチャレベルスライスインデックスを使用して、2つのサブピクチャおよび4つ
のスライスを含む例で、サブピクチャの抽出を有効化することを示している。
サブピクチャ抽出と同様に、サブピクチャのための信号通知は、異なるビットストリー
ムが協調して生成されれば(例えば、異なるサブピクチャIDを使用するが、そうでない
場合、ほとんど整列されたSPS、PPS、およびPHパラメータ、例えば、CTUサイ
ズ、彩度フォーマット、符号化ツール等を使用する)、SPSおよびPPSを書き換える
だけで、異なるビットストリームからのいくつかのサブピクチャを1つのビットストリー
ムにマージすることを許可する。
SPSおよびPPSにおいて、それぞれサブピクチャおよびスライスが独立して信号通
知されるが、従順なビットストリームを形成するために、サブピクチャとスライスとの間
には固有の相互制約がある。第1に、サブピクチャの存在は、矩形のスライスを使用し、
ラスタスキャンスライスを禁止する必要がある。第2に、所与のサブピクチャのスライス
は、復号化の順序で連続したNALユニットであるべきであり、このことは、サブピクチ
ャのレイアウトがビットストリーム内の符号化されたスライスNALユニットの順序を制
約することを意味する。
3.5. VVC映像ファイルフォーマットの詳細
3.5.1. トラックのタイプ
VVC映像ファイルフォーマットは、ISOBMFFファイルにおけるVVCビットスト
リームをキャリッジするための以下のタイプの映像トラックを規定する。
a) VVCトラック:
VVCトラックは、そのサンプルおよびサンプルエントリにNALユニットを含めるこ
とによって、また、場合によってはVVCビットストリームの他のサブレイヤを含む他の
VVCトラックを参照することによって、そして、場合によってはVVCサブピクチャト
ラックを参照することによって、VVCビットストリームを表す。1つのVVCトラック
がVVCサブピクチャトラックを参照する場合、これをVVCベーストラックと呼ぶ。
b) VVC非VCLトラック:
ALF、LMCS、またはスケーリングリストパラメータを搬送するAPS、および他
の非VCL NALユニットは、VCL NALユニットを含むトラックとは別個のトラ
ックに記憶され且つ該トラックを介して送信されてもよく、これはVVC非VCLトラッ
クである。
c) VVC サブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
1つ以上のVVCサブピクチャのシーケンス。
1つの矩形領域を形成する1つ以上の完全なスライスのシーケンス。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
ISO/IEC23090-3で規定されているような、復号化の順序で連続した1
つ以上の完全なサブピクチャ。
ISO/IEC23090-3で規定されているような、1つの矩形領域を形成し、
復号化の順序で連続する1つ以上の完全なスライス。
VVCサブピクチャトラックの任意のサンプルに含まれるVVCサブピクチャまたはス
ライスは、復号化の順序で連続している。
注:VVC非VCLトラックおよびVVCサブピクチャトラックは、ストリーミング
アプリケーションにおけるVVC映像の最適な配信を以下のように可能にする。これらの
トラックはそれぞれ、それ自体のDASH表現で搬送されてもよく、トラックのサブセッ
トを復号化およびレンダリングするために、VVCサブピクチャトラックのサブセットを
含むDASH表現、および非VCLトラックを含むDASH表現は、クライアントがセグ
メントごとに要求することができる。このようにして、APSおよび他の非VCL NA
Lユニットの冗長な伝送が回避できる。
3.5.2. VVCビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
- 復号化の順序で連続する1つ以上のVVCサブピクチャのシーケンス、又は、
- 1つの矩形領域を形成し、復号化の順序で連続する1つ以上の完全なスライスのシ
ーケンス。
矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
矩形領域は、rect_region_flagが1に等しい矩形領域視覚サンプルグ
ループ記述エントリ(すなわち、RectangularRegionGroupEnt
ryのインスタンス)によって記述してもよい。
1つのトラックのそれぞれのサンプルが1つの矩形領域のみのNALユニットからなる
場合、タイプ‘trif’のSampleToGroupBoxを使用してサンプルを矩
形領域に関連付けることができるが、デフォルトサンプルグルーピングメカニズムが使用
される場合(すなわち、タイプ‘trif’のSampleGroupDescript
ionBoxのバージョンが2以上である場合)、このタイプ‘trif’のSampl
eToGroupBoxは省略可能である。そうでない場合、SampleToGrou
pBoxes(タイプ‘nalm’)およびgrouping_type_parame
terが‘trif’であり、SampleGroupDescriptionBox(
タイプ‘nalm’)を介して、サンプル、NALユニット、および矩形領域を関連付け
る。RectangularRegionGroupEntryは、以下を記述する。
- 1つの矩形領域、
- この矩形領域と他の矩形領域との間の符号化依存性。
各RectangularRegionGroupEntryには、groupIDと
呼ばれる固有の識別子が割り当てられる。この識別子を使用して、サンプルにおけるNA
Lユニットを特定のRectangularRegionGroupEntryに関連付
けることができる。
輝度サンプル座標を使用して、矩形領域の位置およびサイズを識別する。
ムービーフラグメントとともに使用される場合、RectangularRegion
GroupEntryは、ISO/IEC14496-12の8.9.4項に定義される
ように、トラックフラグメントボックスに新しいSampleGroupDescrip
tionBoxを定義することによって、ムービーフラグメントの持続時間に対して定義
され得る。ただし、既に定義されたRectangularRegionGroupEn
tryと同じgroupIDを有するトラックフラグメントには、Rectangula
rRegionGroupEntryは存在しない。
RectangularRegionGroupEntryで使用されるベース領域は
、この矩形領域グループエントリに関連付けられた矩形領域におけるNALユニットが属
するピクチャである。
連続するサンプルにおいてベース領域のサイズに何らかの変化がある場合(例えば、参
照ピクチャの再サンプリング(RPR)またはSPSのサイズ変更の場合)、サンプルは
、そのそれぞれのベース領域のサイズを反映した異なるRectangularRegi
onGroupEntryエントリに関連付けられるべきである。
1つの矩形領域にマッピングされたNALユニットは、通常通り、VVCトラックに含
まれてもよいし、或いはVVCサブピクチャトラックと呼ばれる別個のトラックに含まれ
てもよい。
3.5.3. VVCサブピクチャトラックを参照するVVCトラックにおけるサンプル
からピクチャユニットを再構成する方法
VVCトラックのサンプルを、黒丸の順に以下のNALユニットを含むアクセスユニッ
トに分解する。
●サンプル中のAUD NALユニット(あれば)(および第1のNALユニット)。
●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプル
である場合、そのサンプルエントリに含まれているパラメータセットおよびSEI NA
Lユニット(もしあれば)。
●サンプル中に存在し、かつPH NALユニットまでのNALユニット。
●このサンプルにマッピングされた‘spor’サンプルグループ記述エントリで指定
された順序で、参照された各VVCサブピクチャトラックから時間的に整列された(復号
化時間内の)解決済みサンプルの内容で、VPS、DCI、SPS、PPS、AUD、P
H、EOS、EOB NALユニットがある場合はすべてを除く。トラック参照は、以下
のように分解される。
注1:参照されたVVCサブピクチャトラックがVVC非VCLトラックに関連付け
られている場合、VVCサブピクチャトラックの分解されたサンプルは、VVC非VCL
トラックの時間整列されたサンプルの非VCL NALユニット(もしあれば)を含む。
●サンプル中のPH NALユニットの後に続くNALユニット。
注2:サンプルにおけるPH NALユニットの後に続くNALユニットは、サフィ
ックスSEI NALユニット、サフィックスAPS NALユニット、EOS NAL
ユニット、EOB NALユニット、または最後のVCL NALユニットの後に許可さ
れる予約NALユニットを含むことができる。
‘spor’サンプルグループ記述エントリの‘subp’トラック参照インデックス
は、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラ
ック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラッ
ク参照を‘alte’のトラックグループのいずれかのトラックに分解する。特定のトラ
ック参照インデックス値が前回のサンプルにおける特定のトラックに分解された場合、現
在のサンプルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラック
グループにおける任意の他のトラック。
注3:同じ‘alte’トラックグループにおけるVVCサブピクチャトラックは
、復号化の不整合を回避するために、同じVVCベーストラックによって参照される他の
VVCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場
合がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●サブピクチャの境界を越えてループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID
値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下
のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NAL
ユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNAL
ユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション
防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、
スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライ
ドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘spor’サンプルグループエントリにおけるビット位置およびサブ
ピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを
選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構
築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPS
をそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS I
D値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前の
PPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはS
PSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャI
D値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換
える必要がある。
3.5.4. サブピクチャ順サンプルグループ
3.5.4.1. 定義
このサンプルグループは、VVCベーストラック、即ち、VVCサブピクチャトラック
を参照する‘subp’トラックを有するVVCトラックにおいて使用される。各サンプ
ルグループディスクリプションエントリは、符号化ピクチャのサブピクチャまたはスライ
スを復号化の順序で示し、‘subp’タイプのトラック参照のインデックスは、復号化
の順序で連続する1つ以上のサブピクチャまたはスライスを示す。
サブピクチャの選択に呼応してPPSまたはSPSを容易に書き換えるために、各サン
プルグループ記述エントリは、以下を含むことができる。
- PPSまたはSPS NALユニットにおいて選択されたサブピクチャIDを変更
すべきかどうかの指示。
- サブピクチャID構文要素の長さ(ビット単位)。
- 含まれているRBSPにおけるサブピクチャID構文要素のビット位置。
- サブピクチャIDの前にまたはサブピクチャID内にスタートコードエミュレーシ
ョン防止バイトが存在するかどうかを示すフラグ。
- サブピクチャIDを含むパラメータセットのパラメータセットID。
3.5.4.2. 構文
aligned(8) class VvcSubpicOrderEntry()ex
tends VisualSampleGroupEntry(‘spor’)

unsigned int(1)subpic_id_info_flag;
unsigned int(15)num_subpic_ref_idx;
for(i=0;i<num_subpic_ref_idx;i++)
unsigned int(16)subp_track_ref_idx;
if(subpic_id_info_flag){
unsigned int(4)subpic_id_len_minus1;
unsigned int(12)subpic_id_bit_pos;
unsigned int(1)start_code_emul_flag;
unsigned int(1)pps_subpic_id_flag;
if(pps_subpic_id_flag)
unsigned int(6)pps_id;
else{
unsigned int(1)sps_subpic_id_flag;
unsigned int(4)sps_id;
bit(1) reserved=0;



3.5.4.3. 意味論
subpic_id_info_flagが0である場合、SPSおよび/またはPP
Sに提供されるサブピクチャID値が、示されたサブp_track_ref_idx値
の集まりに対して正確であり、従って、SPSまたはPPSの書き換えが必要でないこと
を示す。subpic_info_flagが1であると、SPSおよび/またはPPS
がsubp_track_ref_idx値のセットに対応するサブピクチャを示すよう
に書き換える必要があることを示す。
num_subpic_ref_idxは、VVCトラックが参照するサブピクチャト
ラックまたはサブピクチャトラックのトラックグループの参照インデックスの数を示す。
subp_track_ref_idxは、iのそれぞれの数値に対して、VVCトラ
ックから再構成されたVVCビットストリームに含まれるべき1つ以上のサブピクチャま
たはスライスのi番目のリストの‘subp’トラック参照インデックスを指定する。
subpic_id_len_minus1+1は、PPSまたはSPSのサブピクチ
ャID 構文要素のビット数を示し、どちらがこの構造によって参照されても構わない。
subpic_id_bit_posは、参照されるPPSまたはSPS RBSPに
おける第1のサブピクチャID構文要素の第1のビットの0から始まるビット位置を示す

start_code_empul_flagが0である場合、参照されたPPSまた
はSPS NALユニットにおけるサブピクチャIDの前または内部にスタートコードエ
ミュレーション防止バイトが存在しないことを示す。start_code_emul_
flagが1である場合、参照されたPPSまたはSPS NALユニットにおけるサブ
ピクチャIDの前または内部にスタートコードエミュレーション防止バイトが存在し得る
ことを示す。
pps_subpic_id_flagが0である場合、このサンプルグループ記述エ
ントリにマッピングされたサンプルに適用されるPPS NALユニットがサブピクチャ
ID構文要素を含まないことを示す。pps_subpic_id_flagが1である
場合、このサンプルグループ記述エントリにマッピングされたサンプルに適用されるPP
S NALユニットがサブピクチャID構文要素を含む。
pps_id(存在する場合)は、このサンプルグループ記述エントリにマッピングさ
れるサンプルに適用されるPPSのPPS IDを示す。
pps_subpic_id_flagが存在し、且つ0である場合、このサンプルグ
ループ記述エントリにマッピングされたサンプルに適用されるPPS NALユニットが
サブピクチャID構文要素を含まないことを示し、サブピクチャID値が推測される。s
ps_subpic_id_flagが存在し、且つ1である場合、このサンプルグルー
プ記述エントリにマッピングされたサンプルに適用されるSPS NALユニットがサブ
ピクチャID構文要素を含む。
sps_id(存在する場合)は、このサンプルグループ記述エントリにマッピングさ
れるサンプルに適用されるSPSのSPS IDを示す。
3.5.5. サブピクチャエンティティグループ
3.5.5.1. 一般
複数のVVCサブピクチャトラックからのマージされたビットストリームの適合性を示
すレベル情報を提供するサブピクチャエンティティグループが定義される。
注:VVCベーストラックは、VVCサブピクチャトラックをマージするための別の
メカニズムを提供する。
暗示的な再構成処理は、パラメータセットの修正を必要とする。サブピクチャエンティ
ティグループは、再構成されたビットストリームのためのパラメータセットを容易に生成
できるような指針を与える。
1つのグループ内の共同復号化されるべき符号化されたサブピクチャが互いに差し替え
可能である、即ち、プレーヤが、同じレベル寄与を有する1つのサンプルごとのサブピク
チャのグループから複数のアクティブトラックを選択する場合、SubpicCommo
nGroupBoxは、連帯で復号化される場合、得られる組み合わせ規則およびlev
el_idcを示す。
異なる特性、例えば異なる解像度を有する符号化されたサブピクチャが連帯で復号化さ
れるように選択された場合、SubpicMultipleGroupSBoxは、連帯
で復号化される場合、得られる組み合わせ規則およびlevel_idcを示す。
サブピクチャエンティティグループに含まれるすべてのentity_id値は、VV
Cサブピクチャトラックを識別する。存在する場合、SubpicCommonGrou
pBoxおよびSubpicMultipleGroupSBoxは、ムービーレベルの
MetaBoxにおけるGroupsListBoxに含まれるものであり、ファイルレ
ベルまたはトラックレベルのMetaBoxesに含まれないものとする。
3.5.5.2. サブピクチャ共通グループボックスの構文
aligned(8) class SubpicCommonGroupBox ex
tends EntityToGroupBox(‘acgl’,0,0)

unsigned int(32)level_idc;
unsigned int(32)num_active_tracks;

3.5.5.3. サブピクチャ共通グループボックスの意味論
level_idcは、エンティティグループからnum_active_track
sエンティティを選択した場合、そのエンティティが適合するレベルを示す。
num_active_tracksは、level_idcの値を指定するトラック
の数を指示す。
3.5.5.4. サブピクチャの複数のグループボックスの構文
aligned(8) class SubpicMultipleGroupsBox
extends EntityToGroupBox(‘amgl’,0,0)

unsigned int(32)level_idc;
unsigned int(32)num_subgroup_ids;
subgroupIdLen=(num_subgroup_ids>=(1<<24
)) ?32:
(num_subgroup_ids>=(1<<16))?24:
(num_subgroup_ids>=(1<<8))?16:8;
for(i=0;i<num_entities_in_group;i++)
unsigned int(subgroupIdLen)track_subgr
oup_id[i];
for(i=0;i<num_subgroup_ids;i++)
unsigned int(32)num_active_tracks[i];

3.5.5.5. 意味論
level_idcは、0からnum_subgroup_ids-1までの範囲のi
のすべての値について、IDがiであるサブグループの中から任意のnum_activ
e_tracks[i]トラックを選択するという組み合わせが適合するレベルを示す。
num_subgroup_idは別個のサブグループの数を示し、各サブグループは
track_subgroup_id[i]の同じ値で識別される。track_sub
group_id[i]の異なる値によって、異なるサブグループが識別される。
track_subgroup_id[i]は、このエンティティグループのi番目の
トラックのサブグループIDを示す。サブグループIDの値は、0からnum_subg
roup_ids~1までの(両端を含む)範囲とする。
num_active_tracks[i]は、level_idcに記載されている
IDがiであるサブグループにおけるトラック数を示す。
4. 開示される技術的解決策によって対処する例示的な技術的問題
複数のトラックのVVCビットストリームにおけるサブピクチャのキャリッジに関する
VVC映像ファイルフォーマットの最近の設計は、以下のような問題を有する。
1)VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。A)IS
O/IEC23090-3で規定されているような、復号化の順序で連続した1つ以上の
完全なサブピクチャ。B)ISO/IEC23090-3に規定されているような、1つ
の矩形領域を形成し、復号化の順序で連続する1つ以上の完全なスライス。
しかしながら、以下のような問題が存在する。
a.また、VVCのサブピクチャトラックは、スライスを含むトラックと同様に、矩形
領域をカバーしなければならないとした方が理にかなっている。
b.VVCサブピクチャトラックのサブピクチャやスライスが動きに制約されているこ
と、すなわち抽出可能であること、または自己完結していることを要求する方が、理にか
なっている。
c.VVCのサブピクチャトラックには、元のビットストリームでは復号化の順序で連
続していないが、このトラック自体を復号化すれば、これらのサブピクチャが復号化の順
序で連続するような、矩形領域を形成するサブピクチャのセットを含めることができるよ
うにしてはどうか?例えば、360°の映像の視野(FOV)が、投影された映像の左右
の境界にあるいくつかのサブピクチャで覆われているような場合には、そのようなことは
許されないのか?
2)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVV
Cサブピクチャトラックのリストにおける時間整列されたサンプルとからPUを再構成す
る際に、PH NALユニットがサンプル中に存在しない場合、VVCベーストラックの
サンプルにおける非VCL NALユニットの順番は、明確に特定されない。
3)サブピクチャオーダサンプルグループメカニズム(‘spor’)は、異なるサンプ
ルのために、再構成ビットストリームにおけるサブピクチャトラックからのサブピクチャ
の異なる順序を有効化し、且つSPSおよび/またはPPS書き換えを必要とする場合を
有効化。しかし、これらの柔軟性のいずれかが必要とされる理由は不明である。そのため
、‘spor’サンプルグループのメカニズムが不要となり、サンプルグループを削除す
ることができる。
4)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVV
Cサブピクチャトラックのリストにおける時間整列サンプルとからPUを再構成する場合
、VVCサブピクチャトラックの時間整列サンプルにおけるNALユニットをPUに加え
ると、すべてのVPS、DCI、SPS、PPS、AUD、PH、EOS、EOB NA
Lユニットがあれば、それらを除外する。しかし、OPI NALユニットはどうか?S
EI NALユニットはどうか?これらの非VCL NALユニットがサブピクチャトラ
ックに存在することを許可される理由は何であるか?存在する場合、ビットストリーム再
構成において、それらを通過させるだけでよいか?
5)2つのサブピクチャエンティティグループのボックスのコンテナを、ムービーレベル
のMetaBoxとする。ただし、ファイルレベルのMetaBoxにボックスが含まれ
ている場合にのみ、エンティティグループのentity_id値がトラックIDを参照
することができる。
6)サブピクチャエンティティグループは、関連するサブピクチャ情報がトラックの時間
の長さ全体にわたって一貫している場合に機能する。しかしながら、これは常にそうであ
るとは限らない。例えば、特定のサブピクチャシーケンスに対して異なるCVSが異なる
レベルを有する場合、どのようになるか?その場合、サンプルグループを代わりに使用し
て、本質的に同じ情報を搬送すべきであるが、異なるサンプル(例えば、CVS)ごとに
特定の情報が異なることを可能にすべきである。
7)各VVCベーストラックには、現在、サブピクチャオーダ(‘spor’)のサンプ
ルグループが存在することが義務付けられている。‘spor’サンプルグループメカニ
ズムは、異なるサンプルのために、再構成ビットストリームにおけるサブピクチャトラッ
クからのサブピクチャの異なる順序を有効化し、且つSPSおよび/またはPPS書き換
えを必要とする場合を有効化する。ただし、VVCベーストラックの‘subp’トラッ
クリファレンスを介して、サブピクチャのストレートな“早期バインディング”を行う場
合には、‘spor’サンプルグループは必要ない
5. 技術的解決策の一覧
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般
的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではな
い。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよ
い。
1)VVCサブピクチャトラックにおいて、以下の項目のうちの1つ以上を提案する。
a.サブピクチャを含む場合、1つのVVCサブピクチャトラックが1つの矩形領域を
覆うようにすることが必要である。
b.VVCサブピクチャトラックにおけるサブピクチャまたはスライスは、他の領域を
覆うサブピクチャまたはスライスが存在しなくても抽出、復号化および提示ができるよう
に、動き拘束されることが必要である。
i.代替的に、VVCサブピクチャトラックにおけるサブピクチャまたはスライスが
、他の領域を覆うサブピクチャまたはスライスの動き補償に依存することを可能にし、そ
の結果、他の領域を覆うサブピクチャまたはスライスのいずれかが存在しなければ、サブ
ピクチャまたはスライスを抽出、復号化、提示できない。
c.1つのVVCサブピクチャトラックが、1つの矩形領域を形成するが、元の/全体
のVVCビットストリームにおける復号化の順序において連続していない1つのサブピク
チャまたはスライスのセットを含むことができる。
これにより、元の/全体のVVCビットストリームにおける、例えば、投影画像の左
右の境界において、復号化の順序で連続していないサブピクチャで覆われる360映像
の視野(FOV)を、VVCサブピクチャトラックによって表現することができるように
なる。
d.VVCサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの
順序は、元の/全体のVVCビットストリームにおけるそれらの順序と同じであることが
必要である。
e.VVCサブピクチャトラックの各サンプルにおけるサブピクチャまたはスライスの
復号化の順序が、元の/全体のVVCビットストリームにおいて連続しているかどうかを
示す指示を追加する。
i.この指示は、例えば、VVCベーストラックサンプルエントリ記述において、ま
たは他のどこかで信号通知される。
ii.元の/全体のVVCビットストリームにおいて、VVCサブピクチャトラック
の各サンプルにおけるサブピクチャまたはスライスの順番が復号化の順序で連続している
ことが示されていない場合、このトラックにおけるサブピクチャまたはスライスは、他の
VVCサブピクチャトラックにおけるサブピクチャまたはスライスとマージされてはなら
ない。例えば、この例において、VVCベーストラック参照は、トラック基準フォーマッ
ト‘subp’によって、このVVCサブピクチャトラックおよび別のVVCサブピクチ
ャトラックの両方を参照することが許可されない。
f.VvcNALUConfigBoxにフラグnalusInContiguous
DecodingOrderFlagを追加する。このフラグが1であることは、各サン
プルにおけるNALユニットが元のビットストリーム全体において復号化の順序で連続し
ていることを示し、よって、タイプ‘subp’のトラック参照によってVVCサブピク
チャトラックを参照するVVCベーストラックは、同じトラック参照を通して他のVVC
サブピクチャトラックを参照してもよい。値0は、各サンプルにおけるNALユニットが
元のビットストリーム全体において復号化の順序で連続していてもいなくてもよいことを
示し、よって、タイプ‘subp’のトラック参照によってVVCサブピクチャトラック
を参照するVVCベーストラックは、同じトラック参照を通して他のVVCサブピクチャ
トラックを参照しなくてもよい。
2)VVCベーストラックのサンプルと、VVCベーストラックによって参照されるVV
Cサブピクチャトラックのリストにおける時間整列されたサンプルとから、トラック参照
によってPUを再構成する場合、サンプル中にPH NALユニットが存在するかどうか
にかかわらず、VVCベーストラックのサンプルにおける非VCL NALユニットの順
番がはっきりと特定される。
a.一例において、VVCサブピクチャトラックにおけるNALユニットの前に、PU
に配置されるべきVVCベーストラックのサンプルからのセットNALユニットは、以下
のように指定される。サンプルの中に、nal_unit_typeがEOS_NUT、
EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD
_NUT、RSV_NVCL_27、UNSPEC_30、UNSPEC_31のいずれ
かであるNALユニットが少なくとも1つ存在する場合(このようなNALユニットタイ
プを持つNALユニットは、ピクチャユニット内の最初のVCL NALユニットに先行
することはできない)、サンプル内のこれらのNALユニットの最初のものまででこれを
除くNALユニット、そうでない場合はサンプル内のすべてのNALユニット。
b.一例において、VVCサブピクチャトラックにおけるNALユニットの後に、PU
に配置されるべきVVCベーストラックのサンプルからのセットNALユニットは、以下
のように指定される。nal_unit_typeがEOS_NUT、EOB_NUT、
SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV
_NVCL_27、UNSPEC_30、またはUNSPEC_31であるサンプル内の
すべてのNALユニット。
3)‘subp’トラック参照を使用して、VVCトラックが複数の(サブピクチャ)ト
ラックを参照できるようにし、参照順は、参照されたVVCサブピクチャトラックから再
構成されたビットストリームにおけるサブピクチャの復号化の順序を示す。
a.VVCベーストラックのサンプルと、VVCベーストラックによって参照されるV
VCサブピクチャトラックリストにおける時間整列されたサンプルとからPUを再構成す
る場合、参照サブピクチャトラックのサンプルは、‘subp’トラック参照において参
照されるVVCサブピクチャトラックの順に処理される。
4)サブピクチャトラックにAUレベルまたはピクチャレベルの非VCL NALユニッ
ト(AUD、DCI、OPI、VPS、SPS、PPS、PH、EOS、EOBのNAL
ユニット、AUレベルおよびピクチャレベルのSEIメッセージのみを含むSEI NA
Lユニットを含む)の存在を禁止する。AUレベルのSEIメッセージは、1つ以上のA
U全体に適用される。ピクチャレベルのSEIメッセージは、1つ以上のピクチャ全体に
適用される。
a.さらに、VVCベーストラックのサンプルと、VVCベーストラックから参照され
るVVCサブピクチャトラックのリストの中の時間的に整列させたサンプルからPUを再
構成する際に、VVCサブピクチャトラックの時間的に整列させたサンプルに含まれるす
べてのNALユニットが、特定の非VCL NALユニットを廃棄することなく、PUに
追加される。
5)VVCベーストラックのサンプルと、VVCベーストラックからトラックリファレン
スを介して参照されるVVCサブピクチャトラックのリストの中の時間的にずれたサンプ
ルから、PUを再構成する際に、‘spor’サンプルグループの使用を削除し、‘sp
or’サンプルグループに基づくパラメータセットの書き換え処理の記述を削除する。
6)‘spor’サンプルグループの仕様を削除する。
7)各‘subp’トラック参照インデックスは、VVCサブピクチャトラックのトラッ
クIDまたはVVCサブピクチャトラックグループのトラックグループIDのいずれかを
参照し、それ以外のものは参照しないことを規定する。
8)問題5を解決するために、2つのサブピクチャエンティティグループのボックスのコ
ンテナを、ファイルレベルのMetaBoxとして、以下のように規定する。Subpi
cCommonGroupBoxおよびSubpicMultipleGroupSBo
xは、存在する場合、ファイルレベルのMetaBoxにおけるGroupsListB
oxに含まれるべきであり、他のレベルのMetaBoxに含まれてはならない。
9)問題点6を解決するために、2つのサンプルグループを追加し、2つのサブピクチャ
エンティティグループと同様の情報を伝えるようにする。これにより、VVCファイルフ
ォーマットは、関連するサブピクチャ情報がトラックの時間の長さ全体で一貫していない
場合、例えば、異なるCVSが特定のサブピクチャシーケンスに対して異なるレベルを持
っている場合などに対応できるようになる。
10)課題7を解決するために、以下の項目の1つ以上を提案する。
a.1つの「spor」サンプルグループは、それぞれのVVCベーストラックに対し
て選択可能であるように規定される。
b.PUを再構成する場合、‘spor’サンプルグループが、VVCベーストラック
に存在しない場合には、参照サブピクチャトラックのサンプルは、‘subp’トラック
参照において参照されるVVCサブピクチャトラックの順に処理される。
6. 実施形態
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実
施形態であり、VVC映像ファイルフォーマットの標準仕様に適用できる。変更したテキ
ストは、MPEG出力文書N19454の最終草案仕様(情報技術-オーディオビジュア
ルオブジェクトの符号化-パート15:ISOベースのメディアファイルフォーマットの
ネットワーク抽象化層(NAL)単位で構造化された映像のキャリッジ、補正2:ISO
BMFFにおけるVVCおよびEVCのキャリッジ、2020年7月)に基づく。既に追
加または修正された最も関連性のある部分は、太字およびイタリック文字で強調表示され
、且つ削除された部分の一部は、二重括弧でマークされている(例えば、[[a]]は、
‘a’という文字の削除を示す)。本質的に編集可能であるため、強調されていない他の
何らかの変更があってもよい。
6.1. 第一の実施形態
本実施形態は1a、1b、1c項である。
6.1.1. トラックのタイプ
本明細書では、VVCビットストリームをキャリッジするための以下のタイプの映像ト
ラックを指定する。
a)VVCトラック:
VVCトラックは、そのサンプルおよび/またはサンプルエントリにNALユニットを
含めることによって、且つ場合によっては、‘vopi’および‘linf’サンプルグ
ループを介して、または‘opeg’エンティティグループを介してVVCビットストリ
ームの他のレイヤおよび/またはサブレイヤを含む他のVVCトラックを関連付けること
によって、また、場合によってはVVCサブピクチャトラックを参照することによって、
VVCビットストリームを表す。
VVCトラックがVVCサブピクチャトラックを参照する場合、これをVVCベースト
ラックとも呼ぶ。VVCベーストラックは、VCL NALユニットを含まないものとし
、‘vvcN’トラックリファレンスを介してVVCトラックによって参照されないもの
とする。
b)VVC非VCLトラック:
VVC非VCLトラックは、非VCL NALユニットのみを含むトラックであり、「
vvcN」トラック基準によってVVCトラックによって参照される。
VVCの非VCLトラックには、ALF、LMCS、またはスケーリングリストのパラ
メータを搬送するAPSが、他の非VCL NALユニットとともに、または他の非VC
L NALユニットを伴わずに、VCL NALユニットを含むトラックとは別個のトラ
ックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい

VVCの非VCLトラックには、また、APS NALユニットとともに、または伴わ
ずに、また、他の非VCL NALユニットとともに、または他の非VCL NALユニ
ットを伴わずに、ピクチャヘッダNALユニットを含むトラックとは別個のトラックに記
憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
c)VVCサブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
Figure 2024020476000002
1つの矩形領域を形成する1つ以上の完全なスライスのシーケンス。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
Figure 2024020476000003
[[VVCサブピクチャトラックの任意のサンプルに含まれるVVCサブピクチャまた
はスライスは、復号化の順序で連続している。]]
Figure 2024020476000004
6.1.2. VVCビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
Figure 2024020476000005
...
6.2. 第二の実施形態
本実施形態は、項目2、2a、2b、3、3a、4、4a、5に関する。
6.2.1. VVCサブピクチャトラックを参照するVVCトラックにおけるサンプル
からピクチャユニットを再構成する方法
Figure 2024020476000006
●サンプル中に[[あれば]]存在するAUD NALユニット[[および第1のNA
Lユニット]]。
Figure 2024020476000007
●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプル
である場合、もしあれば、そのサンプルエントリに含まれているパラメータセットおよび
SEI NALユニット。
Figure 2024020476000008
Figure 2024020476000009
注2:参照されたVVCサブピクチャトラックがVVC非VCLトラックに関連付け
られている場合、VVCサブピクチャトラックの分解されたサンプルは、VVC非VCL
トラックにおける時間整列サンプルの非VCL NALユニット(複数可)がある場合、
その非VCL NALユニットを含む。
Figure 2024020476000010
[[注2:サンプルにおけるPH NALユニットの後に続くNALユニットは、サ
フィックスSEI NALユニット、サフィックスAPS NALユニット、EOS N
ALユニット、EOB NALユニット、または最後のVCL NALユニットの後に許
可される予約NALユニットを含むことができる。]]
[[‘spor’サンプルグループ記述エントリの]]‘subp’トラック基準イン
デックスは、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラ
ック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラッ
ク参照は‘alte’のトラックグループのいずれかのトラックに分解され、特定のトラ
ック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプ
ルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラック
グループにおける任意の他のトラック。
注3:同じ‘alte’トラックグループにおけるVVCサブピクチャトラックは、
復号化の不整合を回避するために、同じVVCベーストラックによって参照される他のV
VCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合
がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●[[サブピクチャの境界でループフィルタリングをオフにする。
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID
値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下
のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NAL
ユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNAL
ユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション
防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、
スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライ
ドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、「spor」サンプルグループエントリにおけるビット位置およびサブ
ピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを
選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構
築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPS
をそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS I
D値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前の
PPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはS
PSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャI
D値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換
える必要がある。]]
6.3. 第三の実施形態
本実施形態は項目1a、1b、1c、1f、2、2a、2b、4、4a、10である。
トラックのタイプ
本明細書では、VVCビットストリームをキャリッジするための以下のタイプの映像ト
ラックを指定する。
d)VVCトラック:
VVCトラックは、そのサンプルおよび/またはサンプルエントリにNALユニットを
含めることによって、且つ場合によっては、‘vopi’および‘linf’サンプルグ
ループを介して、または‘opeg’エンティティグループを介してVVCビットストリ
ームの他のレイヤおよび/またはサブレイヤを含む他のVVCトラックを関連付けること
によって、また、場合によってはVVCサブピクチャトラックを参照することによって、
VVCビットストリームを表す。
Figure 2024020476000011
e)VVC非VCLトラック:
VVC非VCLトラックは、非VCL NALユニットのみを含むトラックであり、‘
vvcN’トラック基準によってVVCトラックによって参照される。
VVCの非VCLトラックには、ALF、LMCS、またはスケーリングリストのパラ
メータを搬送するAPSが、他の非VCL NALユニットとともに、または他の非VC
L NALユニットを伴わずに、VCL NALユニットを含むトラックとは別個のトラ
ックに記憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい

VVCの非VCLトラックには、また、APS NALユニットとともに、または伴わ
ずに、また、他の非VCL NALユニットとともに、または他の非VCL NALユニ
ットを伴わずに、ピクチャヘッダNALユニットを含むトラックとは別個のトラックに記
憶され、そのトラックを介して送信されることがあるAPSを含んでいてもよい。
f)VVC サブピクチャトラック:
VVCサブピクチャトラックは、以下のいずれかを含む。
Figure 2024020476000012
1つの矩形領域を形成する1つ以上の完全なスライスのシーケンス。
VVCサブピクチャトラックの1つのサンプルは、以下のいずれかを含む。
Figure 2024020476000013
[[VVCサブピクチャトラックの任意のサンプルに含まれるVVCサブピクチャまた
はスライスは、復号化の順序で連続している。]]
Figure 2024020476000014
VVCビットストリームにおいて搬送される矩形領域の概要
本明細書は、以下のいずれかからなる矩形領域を説明することを支援する。
Figure 2024020476000015
矩形の領域は、穴のない矩形を覆う。ピクチャ内の矩形領域は互いに重複しない。
...
VVCサブピクチャトラックを参照するVVCトラックにおけるサンプルからピクチャ
ユニットを再構成する方法
Figure 2024020476000016
●サンプル中に存在[[あれば]]するAUD NALユニット[[(および第1のN
ALユニット)]]。
Figure 2024020476000017
●サンプルが同じサンプルエントリに関連付けられた一連のサンプルの最初のサンプル
である場合、もしあれば、そのサンプルエントリに含まれているパラメータセットおよび
SEI NALユニット。
Figure 2024020476000018
Figure 2024020476000019
注2:参照されたVVCサブピクチャトラックがVVC非VCLトラックに関連付け
られている場合、VVCサブピクチャトラックの分解されたサンプルは、VVC非VCL
トラックにおける時間整列サンプルの非VCL NALユニット(複数可)がある場合、
その非VCL NALユニットを含む。
Figure 2024020476000020
Figure 2024020476000021
[[注2:サンプルにおけるPH NALユニットの後に続くNALユニットは、サ
フィックスSEI NALユニット、サフィックスAPS NALユニット、EOS N
ALユニット、EOB NALユニット、または最後のVCL NALユニットの後に許
可される予約NALユニットを含むことができる。]]
[[‘spor’サンプルグループ記述エントリの]]‘subp’トラック基準インデ
ックスは、以下のように分解される。
●トラック参照がVVCサブピクチャトラックのトラックIDを指している場合、トラ
ック参照はVVCサブピクチャトラックに分解される。
●そうでない場合(トラック参照は‘alte’のトラックグループを指す)、トラッ
ク参照は‘alte’のトラックグループのいずれかのトラックに分解され、特定のトラ
ック参照インデックスが前のサンプルの特定のトラックに分解された場合、現在のサンプ
ルにおいて以下のいずれかに分解される。
●同じ特定のトラック、あるいは、
●現在のサンプルと時間整列された同期サンプルを含む、同じ‘alte’トラック
グループにおける任意の他のトラック。
注3:同じ「alte」トラックグループにおけるVVCサブピクチャトラックは、
復号化の不整合を回避するために、同じVVCベーストラックによって参照される他のV
VCサブピクチャトラックから必ず独立しており、従って、以下のように制約される場合
がある。
●すべてのVVCサブピクチャトラックは、VVCサブピクチャを含む。
●サブピクチャの境界はピクチャの境界に類似している。
●[[サブピクチャの境界でループフィルタリングをオフにする。]]
読取装置が、最初の選択であるかまたは前回の選択とは異なる1組のサブピクチャID
値を有するVVCサブピクチャを含むVVCサブピクチャトラックを選択した場合、以下
のステップを実行することができる。
●‘spor’サンプルグループ記述エントリを調査し、PPSまたはSPS NAL
ユニットを変更する必要があるかどうかを結論づける。
注:SPSの変更は、CLVSの開始時にのみ可能である。
●‘spor’サンプルグループディスクリプションエントリが、含まれているNAL
ユニットにおけるサブピクチャIDの前後または内部にスタートコードエミュレーション
防止バイトが存在することを示す場合、NALユニットからRBSPを導出する(即ち、
スタートコードエミュレーション防止バイトを削除する)。次のステップでオーバーライ
ドした後、スタートコードのエミュレーション防止を再び行う。
●読取装置は、‘spor’サンプルグループエントリにおけるビット位置およびサブ
ピクチャIDの長さを用いて、どのビットを上書きするかを確定し、サブピクチャIDを
選択されたものにアップデートする。
●PPSまたはSPSのサブピクチャID値を最初に選択するとき、読取装置は、再構
築されたアクセスユニットにおいて、選択したサブピクチャID値でPPSまたはSPS
をそれぞれ書き換えることが必要である。
●PPSまたはSPSのサブピクチャID値が、同じPPS ID値またはSPS I
D値を有する前のPPSまたはSPS(それぞれ)と比較された場合、読取装置は、前の
PPSおよびSPSのコピー(同じPPSまたはSPS ID値を有するPPSまたはS
PSがそれぞれアクセスユニットに存在しない場合)を含め、更新されたサブピクチャI
D値を有するPPSまたはSPS(それぞれ)を再構成されたアクセスユニットに書き換
える必要がある。
サンプルエントリ名称および(VVC映像ストリーム定義の)形式
定義
...
VVCトラックは、‘subp’トラックリファレンスを含んでもよく、エントリは、
VVCサブピクチャトラックのtrack_ID値かVVCサブピクチャトラックの‘a
lte’トラックグループのtrack_group_id値のどちらかを含む。
[[VVCトラックは、‘subp’トラック基準を含む場合、VVCベーストラック
と呼ばれ、以下が適用される。
- VVCトラックのサンプルは、VCL NALユニットを含まないとする。]]
Figure 2024020476000022
...
構文
Figure 2024020476000023
意味論
基本クラスVisualSampleEntryにおけるCompressornam
eは、値「\012VVC Coding」が推奨されるときに使用されるコンプレッサ
の名前を示す(\012は10であり、文字列の長さはバイトである)。
VvcDecoderConfigurationRecordは、11.3.3に定
義されている。
Figure 2024020476000024
lengthSizeMinusOneに1を加えたものは、VvcNALUConf
igBoxを含むトラックにおけるNALUnitLengthフィールドのバイト長を
示す。このフィールドの値は、それぞれ1、2または4バイトで符号化された長さに対応
する0、1または3のうちの1つである。
[[num_subpics_minus1+1]VVCサブピクチャトラックに含ま
れるサブピクチャシーケンスの数を指定する。
subpic_id、VVCサブピクチャトラックに含まれるサブピクチャのシーケン
スのサブピクチャ識別子を指定する。]]
図1は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1
900を示すブロック図である。様々な実装形態は、システム1900のモジュールの一
部又は全部を含んでもよい。システム1900は、映像コンテンツを受信するための入力
ユニット1902を含んでもよい。映像コンテンツは、未加工又は非圧縮フォーマット、
例えば、8又は10ビットのマルチモジュール画素値で受信されてもよく、又は圧縮又は
符号化フォーマットで受信されてもよい。入力ユニット1902は、ネットワークインタ
フェース、周辺バスインタフェース、又は記憶インタフェースを表してもよい。ネットワ
ークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PO
N)等の有線インタフェース、およびWi-Fi(登録商標)またはセルラーインタフェ
ース等の無線インタフェースを含む。
システム1900は、本明細書に記載される様々な符号化又は符号化方法を実装するこ
とができる符号化モジュール1904を含んでもよい。符号化モジュール1904は、入
力ユニット1902からの映像の平均ビットレートを符号化モジュール1904の出力に
低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮また
は映像コード変換技術と呼ばれることがある。符号化モジュール1904の出力は、モジ
ュール1906によって表されるように、記憶されてもよいし、接続された通信を介して
送信されてもよい。入力ユニット1902において受信された、記憶された又は通信され
た映像のビットストリーム(又は符号化)表現は、モジュール1908によって使用され
て、表示インタフェースユニット1910に送信される画素値又は表示可能な映像を生成
してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は
、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化
」動作又はツールと呼ぶが、符号化ツール又は動作は、エンコーダ及びそれに対応する、
復号化の結果を逆にする復号化ツール又は動作が、デコーダによって行われることが理解
されよう。
周辺バスインタフェースユニットまたは表示インタフェースユニットの例は、ユニバー
サルシリアルバス(USB)または高精細マルチメディアインタフェース(HDMI(登
録商標))またはディスプレイポート等を含んでもよい。ストレージインタフェースの例
は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEイ
ンタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマ
ートフォン、又はデジタルデータ処理及び/又は映像表示を実施可能な他のデバイス等の
様々な電子デバイスに実施されてもよい。
図2は、映像処理装置3600のブロック図である。装置3600は、本明細書に記載
の方法の1つ以上を実装するために使用してもよい。装置3600は、スマートフォン、
タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよ
い。装置3600は、1つ以上の処理装置3602と、1つ以上のメモリ3604と、映
像処理ハードウェア3606と、を含んでもよい。1つまたは複数の処理装置3602は
、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複
数可)3604は、本明細書で説明される方法および技術を実装するために使用されるデ
ータおよびコードを記憶するために使用してもよい。映像処理ハードウェア3606は、
本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いく
つかの実施形態において、映像処理ハードウェア3606は、処理装置3602、例えば
グラフィックコプロセッサに少なくとも部分的に含まれてもよい。
図4は、本開示の技術を利用し得る例示的な映像符号化システム100を示すブロック
図である。
図4に示すように、映像符号化システム100は、送信元デバイス110と、送信先デ
バイス120と、を備えてもよい。送信元デバイス110は、映像符号化機器と呼ばれて
もよい符号化映像データを生成する。送信先デバイス120は、送信元デバイス110に
よって生成された、映像復号化デバイスと呼ばれ得る符号化映像データを復号化してもよ
い。
送信元デバイス110は、映像送信元112と、映像エンコーダ114と、入出力(I
/O)インタフェース116と、を備えてもよい。
映像送信元112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイ
ダからの映像データを受信するためのインタフェース、および/または映像データを生成
するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを
含んでもよい。映像データは、1つ以上のピクチャを含んでもよい。映像エンコーダ11
4は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビ
ットストリームは、映像データの符号化表現を形成するビットシーケンスを含んでもよい
。ビットストリームは、符号化ピクチャおよび関連付けられたデータを含んでもよい。符
号化ピクチャは、ピクチャの符号化表現である。関連付けられたデータは、シーケンスパ
ラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/
Oインタフェース116は、変復調器(モデム)および/または送信機を含んでもよい。
符号化された映像データは、ネットワーク130aを介して、I/Oインタフェース11
6を介して送信先デバイス120に直接送信されてもよい。符号化された映像データは、
送信先デバイス120がアクセスするために、記憶媒体/サーバ130bに記憶されても
よい。
送信先デバイス120は、I/Oインタフェース126、映像デコーダ124、および
表示装置122を含んでもよい。
I/Oインタフェース126は、受信機および/またはモデムを含んでもよい。I/O
インタフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符
号化映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復
号化してもよい。表示デバイス122は、復号化された映像データをユーザに表示しても
よい。表示装置122は、送信先デバイス120と一体化されてもよく、または外部表示
装置とインタフェースするように構成される送信先デバイス120の外部にあってもよい
映像エンコーダ114および映像デコーダ124は、高効率映像符号化(HEVC)規
格、汎用映像符号化(VVVM)規格、および他の現在のおよび/またはさらなる規格等
の映像圧縮規格に従って動作してもよい。
図5は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ2
00は、図4に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成しても
よい。図5の実施例において、映像エンコーダ200は、複数の機能性モジュールを含む
。本開示で説明されている技術は、映像エンコーダ200の様々なモジュール間で共有さ
れてもよい。いくつかの例では、プロセッサは、本開示で説明されている技術のいずれか
又はすべてを実行するように構成されてもよい。
映像エンコーダ200の機能性モジュールは、分割ユニット201、プレディケーショ
ンユニット202を含んでもよく、予測ユニット202は、モード選択ユニット203、
動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206
、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニ
ット210、逆変換ユニット211、再構成ユニット212、バッファ213、およびエ
ントロピー符号化ユニット214を含んでもよい。
他の例において、映像エンコーダ200は、より多い、より少ない、または異なる機能
性モジュールを含んでもよい。一例において、予測ユニット202は、IBC(Intr
a Block Copy)ユニットを含んでもよい。IBCユニットは、少なくとも1
つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて
プレディケーションを行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのモジ
ュールは、高度に統合されてもよいが、説明のために、図5の例においては別個に表現さ
れている。
分割ユニット201は、1つのピクチャを1つ以上の映像ブロックに分割してもよい。
映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポー
トすることができる。
モード選択ユニット203は、例えば、誤りの結果に基づいて、イントラ符号化モード
またはインター符号化モードのうちの1つを選択し、得られたイントラ符号化ブロックま
たはインター符号化ブロックを残差生成ユニット207に供給し、残差ブロックデータを
生成し、再構成ユニット212に供給し、符号化ブロックを参照ピクチャとして使用する
ために再構成してもよい。いくつかの例では、モード選択ユニット203は、インター予
測信号及びイントラ予測信号に基づいて予測を行うイントラ及びインター組み合わせ予測
(CIIP)モードを選択してもよい。また、モード選択ユニット203は、プレディケ
ーション間の場合、ブロックの動きベクトルの解像度(例えば、サブピクセルまたは整数
画素精度)を選択してもよい。
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、
バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することで
、現在の映像ブロックのための動き情報を生成してもよい。動き補償ユニット205は、
現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動
き情報および復号化サンプルに基づいて、現在の映像ブロックのための予測映像ブロック
を判定してもよい。
動き推定ユニット204および動き補償ユニット205は、現在の映像ブロックがIス
ライスであるか、Pスライスであるか、またはBスライスであるかによって、例えば、現
在の映像ブロックに対して異なる演算を行ってもよい。
いくつかの例では、動き推定ユニット204は、現在の映像ブロックに対して単方向予
測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック
用のリスト0またはリスト1の参照ピクチャを検索して、現在の映像ブロックを求める。
そして、動き推定ユニット204は、リスト0又はリスト1における、参照映像ブロック
と、現在の映像ブロックと参照映像ブロックとの空間変位を示す動きベクトルとを含む参
照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照
インデックス、予測方向インジケータ、及び動きベクトルを、現在の映像ブロックの動き
情報として出力する。動き補償ユニット205は、現在の映像ブロックの動き情報が示す
参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックを双方向予測しても
よく、動き推定ユニット204は、リスト0における参照ピクチャの中から現在の映像ブ
ロックを求めるための参照映像ブロックを検索してもよく、また、リスト1における参照
ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索しても
よい。次に、動き推定ユニット204は、参照映像ブロックを含むリスト0及びリスト1
における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロッ
クとの空間変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現
在の映像ブロックの参照インデックス及び動きベクトルを、現在の映像ブロックの動き情
報として出力する。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参
照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成する。
いくつかの例では、動き推定ユニット204は、デコーダの復号化処理のために、動き
情報のフルセットを出力してもよい。
いくつかの例では、動き推定ユニット204は、現在の映像のための動き情報のフルセ
ットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動
き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き
推定ユニット204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報
に十分に類似していると決定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文
構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映
像デコーダ300に示す値を示してもよい。
別の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構
文構造において、別の映像ブロックと、動きベクトル差(MVD)とを識別してもよい。
動きベクトルの差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの
動きベクトルとの差分を示す。映像デコーダ300は、指示された映像ブロックの動きベ
クトルおよび動きベクトルの差を使用して、現在の映像ブロックの動きベクトルを決定し
てもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよ
い。映像エンコーダ200によって実装され得る予測信号通知技術の2つの例は、高度動
きベクトルプレディケーション(AMVP)およびマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行っても
よい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イン
トラ予測ユニット206は、同じピクチャ中の他の映像ブロックの復号化されたサンプル
に基づいて、現在の映像ブロックのために予測データを生成してもよい。現在の映像ブロ
ックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよ
い。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された
映像ブロック(複数可)を減算することによって(例えば、マイナス符号によって示され
ている)、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロッ
クの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応す
る残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差
データがなくてもよく、残差生成ユニット207は、減算演算を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに
1つ以上の変換を適用することによって、現在の映像ブロックのための1つ以上の変換係
数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロック
を生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1つ以上
の量子化パラメータ(QP)値に基づいて、現在の映像ブロックに関連付けられた変換係
数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量
子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構
成してもよい。再構成ユニット212は、プレディケーションユニット202が生成した
1つ以上の予測映像ブロックからの対応するサンプルに再構成された残差映像ブロックを
加え、現在のブロックに関連付けられた再構成映像ブロックを生成し、バッファ213に
記憶してもよい。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロ
ッキングアーチファクトを縮小するために、ループフィルタリング動作を行ってもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能性モジュール
からデータを受信してもよい。エントロピー符号化ユニット214は、データを受信する
と、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化演算を行い、
エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリーム
を出力してもよい。
図6は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300
は、図4に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれかまたは全部を行うように構成してもよ
い。図6の実施例において、映像デコーダ300は、複数の機能性モジュールを含む。本
開示で説明されている技術は、映像デコーダ300の様々なモジュール間で共有されても
よい。いくつかの例では、プロセッサは、本開示で説明されている技術のいずれか又はす
べてを実行するように構成されてもよい。
図6の実施例において、映像デコーダ300は、エントロピー復号化ユニット301、
動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変
換ユニット305、および再構成ユニット306、並びにバッファ307を含む。映像デ
コーダ300は、いくつかの例では、映像エンコーダ200(図5)に関して説明した符
号化パスとほぼ逆の復号化パスを行ってもよい。
エントロピー復号化ユニット301は、符号化ビットストリームを取り出してもよい。
符号化ビットストリームは、エントロピー符号化された映像データ(例えば、映像データ
の符号化ブロック)を含んでもよい。エントロピー復号化ユニット301は、エントロピ
ー符号化された映像データを復号化し、エントロピー復号化された映像データから、動き
補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデッ
クス、及び他の動き情報を含む動き情報を判定してもよい。動き補償ユニット302は、
例えば、AMVPおよびマージモードを行うことで、このような情報を決定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によって
は、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用され
る補間フィルタのための識別子が含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ200によって
使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値
を計算してもよい。動き補償ユニット302は、受信した構文情報に従って、映像エンコ
ーダ200が使用する補間フィルタを決定し、この補間フィルタを使用して予測ブロック
を生成してもよい。
動き補償ユニット302は、構文情報の一部を使用して、符号化された映像シーケンス
のフレーム(複数可)および/またはスライス(複数可)を符号化するために使用される
ブロックのサイズ、符号化された映像シーケンスのピクチャの各マクロブロックがどのよ
うに分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード
、インター符号化ブロック間の各1つ以上の参照フレーム(および参照フレームリスト)
、および符号化された映像シーケンスを復号化するための他の情報を決定してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ
予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。
逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号化ユニット
301によって復号化された量子化された映像ブロック係数を逆量子化、すなわち、非量
子化する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202またはイントラ予
測ユニット303によって生成された対応する予測ブロックとを合計し、復号化ブロック
を形成する。所望であれば、ブロックアーチファクトを除去するために、復号化されたブ
ロックをフィルタリングするために非ブロック化フィルタを適用してもよい。復号化され
た映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イ
ントラ予測のための参照ブロックを提供し、且つ表示装置に表示するための復号化された
映像を生成する。
次に、いくつかの実施形態において好適な解決策を列挙する。
第1の解決策のセットを以下に提供する。以下の解決策は、前章(例えば、項目1)で
論じた技術の例示的な実施形態を示す。
1.視覚メディアデータと、この視覚メディアデータのビットストリーム表現を記憶す
るファイルの間での変換を、フォーマット規則に従って行うことを含み、前記ファイルは
、前記視覚メディアデータのサブピクチャのデータを含むトラックを含み、前記フォーマ
ット規則は、前記トラックの構文を規定する、視覚メディア処理方法。
2.前記フォーマット規則は、前記トラックが1つの矩形領域を覆うように規定する、
解決策1に記載の方法。
3.前記フォーマット規則は、前記トラックに含まれるサブピクチャまたはスライスが
独立して抽出可能、復号化可能であり、且つ提示可能であることを規定する、解決策1に
記載の方法。
以下の解決策は、前章(例えば、項目3、4)で論じた技術の例示的な実施形態を示す
4.視覚メディアデータと、この視覚メディアデータのビットストリーム表現を記憶す
るファイルの間での変換を、フォーマット規則に従って行うことを含み、前記ファイルは
、第1のトラックおよび/または1つ以上のサブピクチャトラックを含み、前記フォーマ
ット規則は、前記トラックおよび/または前記1つ以上のサブピクチャトラックの構文を
規定する、視覚メディア処理方法。
5.前記フォーマット規則は、前記トラックが前記1つ以上のサブピクチャトラックへ
の参照を含むことを規定する、解決策4に記載の方法。
6.前記フォーマット規則は、前記1つ以上のサブピクチャトラックにアクセスユニッ
トレベルまたはピクチャレベルの非映像符号化層ネットワーク抽象化層ユニットを含める
ことを許可しない、解決策4に記載の方法。
7.前記許可されなかったユニットは、復号化能力情報構造、またはパラメータセット
、または動作点情報、またはヘッダ、またはストリームの末端、またはピクチャの末端を
含む、解決策6に記載の方法。
8.前記変換は、前記視覚メディアデータのビットストリーム表現を生成することと、
前記フォーマット規則に従って、前記ファイルへの前記ビットストリーム表現を記憶する
ことと、を含む、解決策1~7のいずれかに記載の方法。
9.前記変換は、前記フォーマット規則に従って前記ファイルを構文解析し、前記視覚
メディアデータを復元することを含む、解決策1~7のいずれかに記載の方法。
10.解決策1~9の1つ以上に記載の方法を実装するように構成された処理装置を備
える、映像復号化装置。
11.解決策1~9の1つ以上に記載の方法を実装するように構成された処理装置を備
える、映像復号化装置。
12.コンピュータコードが記憶されたコンピュータプログラム製品であって、前記コ
ードは、処理装置により実行されると、前記処理装置に、解決策1~9のいずれかに記載
の方法を実装させるコンピュータプログラム製品。
13.解決策1~9のいずれかに従って生成されたファイルフォーマットに準拠したビ
ットストリーム表現を実行するコンピュータ可読媒体。
14.本明細書に記載の方法、装置またはシステム。
第2の解決策のセットは、前章(例えば、項目1)で論じた技術の例示的な実施形態を
提供する。
1.視覚メディアデータと、前記視覚メディアデータの1つ以上のビットストリームを
記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うこと1102を
含み、前記視覚メディアデータは、1つまたは複数のサブピクチャまたは複数のスライス
を含む1つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマット規則に従
って、前記1つ以上のトラックを記憶し、前記フォーマット規則は、前記1つ以上のスラ
イスまたは前記1つ以上のサブピクチャのシーケンスを含むトラックが、前記1つ以上の
ピクチャの矩形領域を覆うことを規定する、映像メディアデータの処理方法(例えば、図
11に示す方法110)。
2.前記フォーマット規則は、前記トラックに含まれる1つ以上のサブピクチャまたは
1つ以上のスライスが、別のサブピクチャまたは前記矩形領域とは異なる別の領域を覆う
別のスライスが存在せず、独立して抽出可能、復号化可能および提示可能であることを規
定する、解決策1に記載の方法。
3.前記フォーマット規則は、前記トラックに含まれる1つ以上のサブピクチャまたは
1つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは
別のスライスに動き補償で依存することを規定する、解決策1に記載の方法。
4.前記フォーマット規則は、前記1つ以上のスライスまたは複数のサブピクチャが、
前記トラックに記憶されたビットストリームの復号化の順序で連続しなくてもよいことを
規定する、解決策1に記載の方法。
5.復号化の順序で連続していない1つ以上のサブピクチャによって覆われる360度
の映像の視野を、このトラックによって表現する、解決策1に記載の方法。
6.前記フォーマット規則は、トラックの各サンプルにおける1つ以上のサブピクチャ
または1つ以上のスライスの順序が、前記トラックに記憶されたビットストリームにおけ
る1つ以上のサブピクチャまたは複数のスライスの順序と同じであることを規定する、解
決策1に記載の方法。
7.前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピク
チャまたは前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビット
ストリームにおいて連続しているかどうかを示す指示を含むかどうかをさらに規定する、
解決策1に記載の方法。
8.前記指示が、前記トラックのベーストラックサンプルエントリ記述に含まれる、解
決策7に記載の方法。
9.前記フォーマット規則は、前記指示がないことに呼応して、前記トラックにおける
前記1つ以上のサブピクチャまたは複数のスライスを別のサブピクチャまたは別のトラッ
クの別のスライスにマージすることを許可しないことをさらに指定する、解決策7に記載
の方法。
10.前記指示は、ネットワーク抽象化層(NAL)構成ボックスに含まれる、解決策
7に記載の方法。
11.前記指示が1であることは、前記トラックの各サンプルにおけるNALユニット
が、ビットストリームの復号化の順序で連続しており、かつ前記トラックをトラック参照
で参照するベーストラックが、前記トラック参照を有する他のトラックを指すことを示す
、解決策7に記載の方法。
12.前記指示が0であることは、前記トラックの各サンプルにおけるNALユニット
が、ビットストリームの復号化の順序で連続することを許可するかしないかを示し、かつ
前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する他
のトラックを参照しなくてもよいことを示す、解決策7に記載の方法。
13.前記視覚メディアデータは、汎用映像符号化(VVC)によって処理され、前記
1つ以上のトラックはVVCトラックである、解決策1~12のいずれか1項に記載の方
法。
14.前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規
則に従って、前記1つ以上のビットストリームを前記視覚メディアファイルに記憶するこ
とと、を含む、解決策1~13のいずれか1つに記載の方法。
15.前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解
析し、前記1つ以上のビットストリームを再構成することを含む、解決策1~13のいず
れか1項に記載の方法。
16.視覚メディアデータと、前記視覚メディアデータの1つ以上のビットストリーム
を記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うこと1102
を含み、前記視覚メディアデータは、1つまたは複数のサブピクチャまたは複数のスライ
スを含む1つ以上のピクチャを含む方法を実装するように構成された処理装置を含み、前
記視覚メディアファイルは、フォーマット規則に従って前記1つ以上のトラックを記憶し
、前記フォーマット規則は、前記1つ以上のスライスまたは前記1つ以上のサブピクチャ
のシーケンスを含むトラックが、前記1つ以上のピクチャの矩形領域を覆うことを規定す
る、映像メディアデータの処理装置。
17.前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピ
クチャまたは前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビッ
トストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決
策16に記載の装置。
18.処理装置に、視覚メディアデータと、前記視覚メディアデータの1つ以上のビッ
トストリームを記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行わ
せる命令を記憶する非一時的なコンピュータ可読記録媒体であって、前記視覚メディアデ
ータは、1つまたは複数のサブピクチャまたは複数のスライスを含む1つ以上のピクチャ
を含み、前記視覚メディアファイルは、フォーマット規則に従って前記1つ以上のトラッ
クを記憶し、前記フォーマット規則は、前記1つ以上のスライスまたは前記1つ以上のサ
ブピクチャのシーケンスを含むトラックが、前記1つ以上のピクチャの矩形領域を覆うこ
とを規定する、非一時的なコンピュータ可読記録媒体。
19.前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピ
クチャまたは前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビッ
トストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決
策18に記載の非一時的なコンピュータ可読記録媒体。
20.映像処理装置によって行われる方法によって生成されるビットストリームを記憶
する非一時的なコンピュータ可読記録媒体であって、前記方法は、映像処理データの1つ
以上のビットストリームを記憶する1つ以上のトラックを含む視覚メディアライフを生成
することを含み、前記視覚メディアデータは、1つまたは複数のサブピクチャまたは複数
のスライスを含む1つ以上のピクチャを含み、前記視覚メディアファイルは、フォーマッ
ト規則に従って前記1つ以上のトラックを記憶し、前記フォーマット規則は、前記1つ以
上のスライスまたは前記1つ以上のサブピクチャのシーケンスを含むトラックが、前記1
つ以上のピクチャの矩形領域を覆うことを規定する、非一時的なコンピュータ可読記録媒
体。
21.前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピ
クチャまたは前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビッ
トストリームにおいて連続しているかどうかを示す指示を含むかどうかを規定する、解決
策18に記載の非一時的なコンピュータ可読記録媒体。
22.解決策1~15のいずれか1つ以上に記載の方法を実装するように構成された処
理装置を備える映像処理装置。
23.1つまたは複数のビットストリームを含むファイルに視覚メディアデータを記憶
する方法であって、解決策1~15のいずれか1項に記載の方法を含み、かつ前記ビット
ストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、方法。
24.実行されると、解決策1~15のいずれか1つ以上に記載の方法を処理装置に実
装させるプログラムコードを記憶したコンピュータ可読媒体。
25.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピ
ュータ可読媒体。
26.解決策1~15のいずれか1つ以上に記載の方法を実装するように構成された、
ビットストリームを記憶するための映像処理装置。
27.解決策1~15のいずれかに従って生成されたファイルフォーマットに準拠した
ビットストリームを実行するコンピュータ可読媒体。
28.本明細書に記載の方法、装置またはシステム。
第3の解決策のセットは、前章(例えば、項目3,5,6,7および10)で論じた技
術の例示的な実施形態を示す。
1.視覚メディアデータ処理方法(図12に示す方法1200)であって、フォーマッ
ト規則に従って、視覚メディアデータと、前記視覚メディアデータの1つ以上のビットス
トリームを記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行うこと
1202を含み、前記視覚メディアファイルは、前記視覚メディアデータの1つ以上のサ
ブピクチャのための符号化情報を記憶する1つ以上のサブピクチャトラックを参照するベ
ーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプルと
1つ以上のサブピクチャトラックから、映像ユニットを再構成するために使用されるプロ
セスを規定する、方法。
2.前記フォーマット規則は、前記ベーストラックが、前記1つ以上のサブピクチャト
ラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピクチ
ャトラック参照において参照される前記1つ以上のサブピクチャトラックの順序は、前記
1つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブピ
クチャトラックのサンプルの順序を示す、解決策1に記載の方法。
3.前記フォーマット規則は、各サブピクチャトラック参照が、1つのサブピクチャト
ラックのトラック識別か1つのサブピクチャトラックグループのトラックグループ識別の
どちらかを指すインデックスを有することをさらに規定する、解決策1に記載の方法。
4.前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラック
に対して任意選択可能であることを規定する、解決策1に記載の方法。
5.前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラック
に含まれていない場合、前記ベーストラックにおいて参照される前記サブピクチャトラッ
クの順序を決定する際に、1つ以上のサブピクチャトラック参照を使用することをさらに
規定する、解決策4に記載の方法。
6.前記フォーマット規則は、サブピクチャ順サンプルグループの使用を除去し、かつ
前記サブピクチャ順サンプルグループに基づいてパラメータセット書き換えプロセスの記
述を除去することをさらに規定する、解決策4に記載の方法。
7.前記フォーマット規則は、前記サブピクチャ順サンプルグループの仕様を削除する
ことをさらに規定する、解決策4に記載の方法。
8.前記視覚メディアデータは、汎用映像符号化(VVC)によって処理され、前記1
つ以上のトラックはVVCトラックである、解決策1~7のいずれか1項に記載の方法。
9.前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則
に従って、前記1つ以上のビットストリームを前記視覚メディアファイルに記憶すること
と、を含む、解決策1~8のいずれか1つに記載の方法。
10.前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解
析し、前記1つ以上のビットストリームを再構成することを含む、解決策1~8のいずれ
か1項に記載の方法。
11.視覚メディアデータ処理装置であって、フォーマット規則に従って、視覚メディ
アデータと、前記視覚メディアデータの1つ以上のビットストリームを記憶する1つ以上
のトラックを含む視覚メディアファイルとの変換を行うことを含み、前記視覚メディアフ
ァイルは、前記視覚メディアデータの1つ以上のサブピクチャのための符号化された情報
を記憶する1つ以上のサブピクチャトラックを参照するベーストラックを含み、前記フォ
ーマット規則は、前記ベーストラックにおけるサンプルおよび1つ以上のサブピクチャト
ラックから映像ユニットを再構成するために使用されるプロセスを規定する、装置。
12.前記フォーマット規則は、前記ベーストラックが、前記1つ以上のサブピクチャ
トラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピク
チャトラック参照において参照される前記1つ以上のサブピクチャトラックの順序は、前
記1つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブ
ピクチャトラックのサンプルの順序を示す、解決策11に記載の装置。
13.前記フォーマット規則は、各サブピクチャトラック参照が、1つのサブピクチャ
トラックのトラック識別か1つのサブピクチャトラックグループのトラックグループ識別
のどちらかを指すインデックスを有することをさらに規定する、解決策11に記載の装置
14.前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラッ
クに対して任意選択可能であることを規定する、解決策11に記載の装置。
15.前記フォーマット規則は、サブピクチャ順サンプルグループが前記ベーストラッ
クに含まれていない場合、前記ベーストラックにおいて参照される前記サブピクチャトラ
ックの順序を決定する際に、1つ以上のサブピクチャトラック参照を使用することをさら
に規定する、解決策14に記載の装置。
16.前記フォーマット規則は、サブピクチャ順サンプルグループの使用を除去し、か
つ前記サブピクチャ順サンプルグループに基づいてパラメータセット書き換えプロセスの
記述を除去することをさらに規定する、解決策14に記載の装置。
17.前記フォーマット規則は、前記サブピクチャ順サンプルグループの仕様を削除す
ることをさらに規定する、解決策14に記載の装置。
18.非一時的なコンピュータ可読記録媒体であって、処理装置にフォーマット規則に
従って、視覚メディアデータと、前記視覚メディアデータの1つ以上のビットストリーム
を記憶する1つ以上のトラックを含む視覚メディアファイルとの変換を行わせ、前記視覚
メディアファイルは、前記視覚メディアデータの1つ以上のサブピクチャのための符号化
された情報を記憶する1つ以上のサブピクチャトラックを参照するベーストラックを含み
、前記フォーマット規則は、前記ベーストラックにおけるサンプルと1つ以上のサブピク
チャトラックから、映像ユニットを再構成するために使用されるプロセスを規定する、非
一時的なコンピュータ可読記録媒体。
19.前記フォーマット規則は、前記ベーストラックが、前記1つ以上のサブピクチャ
トラックを参照するためのサブピクチャトラック参照を含むことを規定し、前記サブピク
チャトラック参照において参照される前記1つ以上のサブピクチャトラックの順序は、前
記1つ以上のサブピクチャトラックから再構成された前記映像ユニットにおける前記サブ
ピクチャトラックのサンプルの順序を示す、解決策18に記載の非一時的なコンピュータ
可読記録媒体。
20.映像処理装置によって行われる方法によって生成されたビットストリームを記憶
する非一時的なコンピュータ可読記録媒体であって、前記方法は、フォーマット規則に従
って、視覚メディアデータと、前記視覚メディアデータの1つ以上のビットストリームを
記憶する1つ以上のトラックを含む視覚メディアファイルを生成することを含み、前記視
覚メディアファイルは、符号化情報を記憶する前記視覚メディアデータの1つ以上のサブ
ピクチャのための符号化された情報を記憶する1つ以上のサブピクチャトラックを参照す
るベーストラックを含み、前記フォーマット規則は、前記ベーストラックにおけるサンプ
ルおよび1つ以上のサブピクチャトラックから、映像ユニットを再構成するために使用さ
れるプロセスを規定する、非一時的なコンピュータ可読記録媒体。
21.解決策1~10のいずれか1つ以上に記載の方法を実装するように構成された処
理装置を備える映像処理装置。
22.1つまたは複数のビットストリームを含むファイルに視覚メディアデータを記憶
する方法であって、解決策1~10のいずれか1つに記載の方法を含み、かつ前記ビット
ストリームを非一時的なコンピュータ可読記録媒体に記憶することをさらに含む、方法。
23.実行されると、解決策1~10のいずれか1つ以上に記載の方法を処理装置に実
装させるプログラムコードを記憶したコンピュータ可読媒体。
24.上述した方法のいずれかに従って生成されたビットストリームを記憶するコンピ
ュータ可読媒体。
25.解決策1~10のいずれか1つ以上に記載の方法を実装するように構成された、
ビットストリームを記憶するための映像処理装置。
26.解決策1~10のいずれかに従って生成されたファイルフォーマットに準拠した
ビットストリーム表現を実行するコンピュータ可読媒体。
27.本明細書に記載の方法、装置またはシステム。
例示的な解決策において、視覚メディアデータは、映像または画像に対応する。本明細
書に記載の解決策において、エンコーダは、フォーマット規則に従って符号化表現を生成
することで、フォーマット規則に準拠することができる。本明細書に記載の解決策におい
て、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、符号化表現に
おける構文要素を構文解析することで、復号された映像を生成するために、このフォーマ
ット規則を使用してもよい。上記の解決策において、視覚メディアデータは、映像または
画像に対応する。
本明細書では、“映像処理”という用語は、映像符号化、映像復号化、映像圧縮、また
は映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から
対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現
在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、
ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよ
い。例えば、1つのマクロブロックは、変換および符号化された誤り残差値の観点から、
且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符
号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、
判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持
って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定のシンタッ
クスフィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文
フィールドを符号化表現に含めるか、または符号化表現から除外することによって、それ
に応じて符号化表現を生成してもよい。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュ
ール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物
を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しく
はハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施しても
よい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品
、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制
御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1
つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可
読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質
の組成物、またはこれらの1つ以上の組み合わせであってもよい。“データ処理装置”と
いう用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、
若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および
機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境
を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管
理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成す
るコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成
した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化す
るために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された
言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタ
ンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジ
ュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開すること
ができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対
応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの
一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されて
いてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の
調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を
格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つの
サイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワーク
によって相互接続される複数のコンピュータで実行させるように展開することも可能であ
る。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生
成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する
1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフロ
ーはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲー
トアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はま
た、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ
処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置
を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリま
たはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を
実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイ
スとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶
デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこ
れらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するよ
うに動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイス
を有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコ
ンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを
含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば
内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROM
およびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特
定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み
込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範
囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特
有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態の
コンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装しても
よい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態におい
て別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、
特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されてい
てもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わ
せから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサ
ブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成
するために、このような動作が示された特定の順番でまたは連続した順番で行われること
、または示された全ての動作が行われることを必要とするものと理解されるべきではない
。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、
全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、この特許文献に記載され図示され
ているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
本願は、2021年9月17日出願の日本語特許出願第2021-152668号に基づくものであり、2020年9月17日出願の米国特許仮出願第63/079933号および2020年10月6日出願の米国特許仮出願第63/088126号の優先権および利益を適時に主張する。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (17)

  1. 視覚メディアデータと、この視覚メディアデータの1つ以上のビットストリームを記憶
    する1つ以上のトラックを含む視覚メディアファイルとの変換を行うことを備える視覚メ
    ディアデータを処理する方法であって、
    前記視覚メディアデータは、1つ以上のサブピクチャまたは1つ以上のスライスを含む
    1つ以上のピクチャを備え、
    前記視覚メディアファイルは、フォーマット規則に従って前記1つ以上のトラックを記
    憶し、
    前記フォーマット規則は、前記1つ以上のスライスまたは前記1つ以上のサブピクチャ
    のシーケンスを含むトラックが、前記1つ以上のピクチャの矩形領域を覆うことを規定す
    る、視覚メディアデータを処理する方法。
  2. 前記フォーマット規則は、前記トラックに含まれる前記1つ以上のサブピクチャまたは
    1つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは
    別のスライスが存在せず、独立して抽出可能、復号化可能および提示可能であることを規
    定する、請求項1に記載の方法。
  3. 前記フォーマット規則は、前記トラックに含まれる前記1つ以上のサブピクチャまたは
    1つ以上のスライスが、前記矩形領域とは異なる別の領域を覆う別のサブピクチャまたは
    別のスライスに動き補償で依存することを規定する、請求項1に記載の方法。
  4. 前記フォーマット規則は、前記1つ以上のスライスまたは前記1つ以上のサブピクチャ
    が、前記トラックに記憶されたビットストリームの復号化の順序で連続しなくてもよいこ
    とを規定する、請求項1~3のいずれか1項に記載の方法。
  5. 前記復号化の順序で連続していない前記1つ以上のサブピクチャによって覆われる36
    0度の映像の視野が、前記トラックによって表現される、請求項1~4のいずれか1項に
    記載の方法。
  6. 前記フォーマット規則は、前記トラックの各サンプルにおける前記1つ以上のサブピク
    チャまたは前記1つ以上のスライスの順序が、前記トラックに記憶されたビットストリー
    ムにおける前記1つ以上のサブピクチャまたは前記1つ以上のスライスの順序と同じであ
    ることを規定する、請求項1~5のいずれか1項に記載の方法。
  7. 前記フォーマット規則は、トラックの各サンプルにおける前記1つ以上のサブピクチャ
    または前記1つ以上のスライスの復号化の順序が、前記トラックに記憶されたビットスト
    リームにおいて連続しているかどうかを示す指示を含むかどうかをさらに規定する、請求
    項1~6のいずれか1項に記載の方法。
  8. 前記指示は、前記トラックのベーストラックサンプルエントリ記述に含まれる、請求項
    7に記載の方法。
  9. 前記フォーマット規則は、前記指示がないことに呼応して、前記トラックにおける前記
    1つ以上のサブピクチャまたは前記1つ以上のスライスを別のトラックの別のサブピクチ
    ャまたは別のスライスにマージすることを許可しないことをさらに指定する、請求項7に
    記載の方法。
  10. 前記指示は、ネットワーク抽象化層(NAL)構成ボックスに含まれる、請求項7に記
    載の方法。
  11. 前記指示が1であることは、前記トラックの各サンプルにおけるNALユニットが、前
    記ビットストリームの前記復号化の順序で連続しており、かつ前記トラックをトラック参
    照で参照するベーストラックが、前記トラック参照を有する他のトラックを指すことを示
    す、請求項7に記載の方法。
  12. 前記指示が0であることは、前記トラックの各サンプルにおけるNALユニットが、前
    記ビットストリームの前記復号化の順序で連続することを許可するかしないかを示し、か
    つ前記トラックをトラック参照で参照するベーストラックが、前記トラック参照を有する
    他のトラックを参照しなくてもよいことを示す、請求項7に記載の方法。
  13. 前記視覚メディアデータは、汎用映像符号化(VVC)によって処理され、前記1つ以
    上のトラックはVVCトラックである、請求項1~12のいずれか1項に記載の方法。
  14. 前記変換は、前記視覚メディアファイルを生成することと、前記フォーマット規則に従
    って、前記1つ以上のビットストリームを前記視覚メディアファイルに記憶することと、
    を含む、請求項1~13のいずれか1つに記載の方法。
  15. 前記変換は、前記フォーマット規則に従って前記視覚メディアファイルを構文解析し、
    前記1つ以上のビットストリームを再構成することを含む、請求項1~13のいずれか1
    項に記載の方法。
  16. 請求項1~15のいずれか一項以上に記載の方法を実装するように構成された処理装置
    を備える映像処理装置。
  17. 命令を記憶するコンピュータ可読媒体であって、前記命令は、処理装置によって実行さ
    れると、請求項1~15のいずれか1項に記載の方法を実装する、コンピュータ可読媒体
JP2023196800A 2020-09-17 2023-11-20 符号化された映像におけるサブピクチャトラック Pending JP2024020476A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063079933P 2020-09-17 2020-09-17
US63/079,933 2020-09-17
US202063088126P 2020-10-06 2020-10-06
US63/088,126 2020-10-06
JP2021152668A JP7444826B2 (ja) 2020-09-17 2021-09-17 符号化された映像におけるサブピクチャトラック

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021152668A Division JP7444826B2 (ja) 2020-09-17 2021-09-17 符号化された映像におけるサブピクチャトラック

Publications (1)

Publication Number Publication Date
JP2024020476A true JP2024020476A (ja) 2024-02-14

Family

ID=77801620

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021152668A Active JP7444826B2 (ja) 2020-09-17 2021-09-17 符号化された映像におけるサブピクチャトラック
JP2021152669A Active JP7355791B2 (ja) 2020-09-17 2021-09-17 サブピクチャトラックの参照および処理
JP2023196800A Pending JP2024020476A (ja) 2020-09-17 2023-11-20 符号化された映像におけるサブピクチャトラック

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021152668A Active JP7444826B2 (ja) 2020-09-17 2021-09-17 符号化された映像におけるサブピクチャトラック
JP2021152669A Active JP7355791B2 (ja) 2020-09-17 2021-09-17 サブピクチャトラックの参照および処理

Country Status (5)

Country Link
US (2) US11871143B2 (ja)
EP (2) EP3972279A1 (ja)
JP (3) JP7444826B2 (ja)
KR (2) KR20220037400A (ja)
CN (2) CN114205607A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060827A1 (ko) * 2019-09-23 2021-04-01 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
JP7464742B2 (ja) * 2020-03-21 2024-04-09 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリング
WO2021213309A1 (en) 2020-04-19 2021-10-28 Beijing Bytedance Network Technology Co., Ltd. Transform skip residual coding
EP4154533A4 (en) 2020-06-20 2023-11-01 Beijing Bytedance Network Technology Co., Ltd. CROSS-LAYER PREDICTION WITH DIFFERENT CODING BLOCK SIZE
US11871143B2 (en) 2020-09-17 2024-01-09 Lemon Inc. Subpicture tracks in coded video
US20220086387A1 (en) 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity groups in video coding
US20220201308A1 (en) * 2020-12-18 2022-06-23 Lg Electronics Inc. Media file processing method and device therefor

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2382940A (en) 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
US9578326B2 (en) 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US9374585B2 (en) 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
WO2015003383A1 (en) 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
GB2516825B (en) 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
GB2516826B (en) 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
CN105393538B (zh) 2013-07-24 2018-12-04 高通股份有限公司 用于视频编解码的方法、装置及计算机可读存储介质
US9948915B2 (en) 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
US9426465B2 (en) 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9762927B2 (en) 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
WO2015062002A1 (en) 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
EP3713234A1 (en) 2014-01-07 2020-09-23 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
CN106105212A (zh) 2014-03-07 2016-11-09 高通股份有限公司 简化的子预测单元(sub‑pu)运动参数继承(mpi)
WO2015192781A1 (en) 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Method of sub-pu syntax signaling and illumination compensation for 3d and multi-view video coding
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US10764602B2 (en) 2016-01-25 2020-09-01 Koninklijke Kpn N.V. Spatial scalable video coding
WO2017143467A1 (en) 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
US10419768B2 (en) 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
JP2020515169A (ja) 2017-03-20 2020-05-21 シャープ株式会社 メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
GB2567624B (en) 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
GB2567625B (en) 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
TWI734133B (zh) 2018-07-02 2021-07-21 大陸商北京字節跳動網絡技術有限公司 更新查找表的規則
US20210194946A1 (en) 2018-09-12 2021-06-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN111147855A (zh) 2018-11-02 2020-05-12 北京字节跳动网络技术有限公司 几何分割预测模式与其他工具之间的协调
GB2579389B (en) 2018-11-29 2022-07-27 Canon Kk Method, device and computer program for encapsulating media data into a media file
US20220007088A1 (en) 2018-12-10 2022-01-06 Nokia Technologies Oy An apparatus and a method for signaling information in a container file format
CN113498606A (zh) * 2019-01-02 2021-10-12 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US11671625B2 (en) 2019-01-02 2023-06-06 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
PT3909246T (pt) 2019-01-09 2023-07-05 Huawei Tech Co Ltd Restrições de posição de subimagem em codificação de vídeo
KR20210145736A (ko) * 2019-03-11 2021-12-02 브이아이디 스케일, 인크. 서브-픽처 비트스트림 추출 및 재배치
US20200304820A1 (en) 2019-03-20 2020-09-24 Nokia Technologies Oy Method and apparatus for employing patterns in sample metadata signalling in media content
GB2584295A (en) 2019-05-28 2020-12-02 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
GB2590435B (en) 2019-12-17 2023-12-20 Canon Kk Method, device, and computer program for improving encapsulation of media content
US20230027058A1 (en) 2019-12-31 2023-01-26 Nokia Technologies Oy A Method, An Apparatus and A Computer Program Product for Video Encoding and Video Decoding
US20230308661A1 (en) 2020-09-15 2023-09-28 Sony Group Corporation Information processing apparatus and method
US11871143B2 (en) 2020-09-17 2024-01-09 Lemon Inc. Subpicture tracks in coded video
US20220086387A1 (en) 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity groups in video coding

Also Published As

Publication number Publication date
JP2022050375A (ja) 2022-03-30
CN114205609A (zh) 2022-03-18
CN114205607A (zh) 2022-03-18
EP3972278A1 (en) 2022-03-23
KR20220037400A (ko) 2022-03-24
JP2022050374A (ja) 2022-03-30
US11871143B2 (en) 2024-01-09
EP3972279A1 (en) 2022-03-23
US20220086457A1 (en) 2022-03-17
KR20220037401A (ko) 2022-03-24
JP7444826B2 (ja) 2024-03-06
US20220086386A1 (en) 2022-03-17
JP7355791B2 (ja) 2023-10-03

Similar Documents

Publication Publication Date Title
JP7397036B2 (ja) 映像符号化におけるサブピクチャエンティティ
JP7444826B2 (ja) 符号化された映像におけるサブピクチャトラック
JP2023513343A (ja) 映像ビットストリームにおける同一位置に配置されたピクチャの指示
JP7222043B2 (ja) ビデオコーディングにおけるデコード機能情報のストレージ
KR20220030190A (ko) 미디어 파일에 대한 브랜드
CN114302143A (zh) 视频编解码中的自适应参数集存储
JP7413433B2 (ja) サブピクチャトラックのレベル情報

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211