JP2023529420A - コーディングされた映像ピクチャにおけるスライスカウントの制約 - Google Patents

コーディングされた映像ピクチャにおけるスライスカウントの制約 Download PDF

Info

Publication number
JP2023529420A
JP2023529420A JP2022575423A JP2022575423A JP2023529420A JP 2023529420 A JP2023529420 A JP 2023529420A JP 2022575423 A JP2022575423 A JP 2022575423A JP 2022575423 A JP2022575423 A JP 2022575423A JP 2023529420 A JP2023529420 A JP 2023529420A
Authority
JP
Japan
Prior art keywords
video
bitstream
picture
aun
access unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022575423A
Other languages
English (en)
Inventor
イェクイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of JP2023529420A publication Critical patent/JP2023529420A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像符号化および映像復号に使用される制約を実装するための方法、システム、および装置が説明される。1つの例示的な映像処理方法は、1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、ここで、nは正の整数であり、このフォーマット規則は、復号時の複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、複数のAUのそれぞれのスライス数との間の関係を規定する。【選択図】図6

Description

関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2020年6月8日出願の米国特許仮出願第63/036321号の優先権および利益を適時に主張することを目的とする。法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許明細書は、画像および映像コーディングおよび復号に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信および表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本明細書は、映像コーディングまたは復号を行うために、映像エンコーダおよびデコーダによって使用される制約を実装することが可能な技術を開示する。
1つの例示的な態様において、映像処理方法が開示される。この方法は、1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、ここで、nは正の整数であり、このフォーマット規則は、復号時の複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、複数のAUのそれぞれのスライス数との間の関係を規定する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のタイルを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、ここで、nは正の整数であり、このフォーマット規則は、複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、複数のAUのそれぞれのタイル数との間の関係を規定する。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、この変換は、規則に準拠し、このビットストリームは、1つ以上のアクセスユニットに編成され、この規則は、復号されたピクチャバッファ(DPB)に記憶される復号されたピクチャの数に対する制約を規定し、ここで、復号されたピクチャにおける復号されたピクチャのそれぞれは、(i)参照のために使用されるとマークされ、(ii)復号されたピクチャが出力されていることを示すフラグを有し、および、(iii)現在のピクチャの復号時間よりも後の出力時間を有する。
さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成された処理装置を備える。
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つを処理装置が実行可能なコードの形式で実施する。
これらのおよび他の特徴は、本文書全体にわたって説明される。
本明細書で開示される様々な技術が実装され得る例示的な映像処理システムを示すブロック図である。 映像処理に使用されるハードウェアプラットフォームの例を示すブロック図である。 本開示のいくつかの実施形態を実装することができる例示的な映像コーディングシステムを示すブロック図である。 本開示のいくつかの実施形態を実装することができるエンコーダの例を示すブロック図である。 本開示のいくつかの実施形態を実装することができるデコーダの例を示すブロック図である。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。 映像処理の方法の例を示すフローチャートである。
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H.266という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコルおよび設計にも適用可能である。
1. 導入
本明細書は、映像コーディング技術に関する。具体的には、単層レイヤ映像コーディングおよび多層レイヤ映像コーディングの両方をサポートする映像コーデックのためのレベルおよびビットストリーム適合性を定義することに関する。本発明は、単層レイヤ映像コーディングおよび多層レイヤ映像コーディングをサポートする任意の映像コーディング標準または非標準映像コーデック、例えば、開発中の汎用映像コーディング(VVC)に適用されてもよい。
2. 略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DPB Decoded Picture Buffer(復号されたピクチャバッファ)
DPS Decoding Parameter Set(復号パラメータセット)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GCI General Constraints Information(一般的な制約情報)
GDR Gradual Decoding Refresh(漸次的復号更新)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号更新)
JEM Joint Exploration Model(共同探索モデル)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、ティア(tier)およびレベル)
PU Picture Unit(ピクチャユニット)
RRP Reference Picture Resampling(参照ピクチャ再サンプリング)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SH Slice Header(スライスヘッダ)
SPS Sequence Parameter Set(シーケンスパラメータセット)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
3. 初期の協議
映像コーディング規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4Visualを作り、両団体はH.262/MPEG-2VideoとH.264/MPEG-4AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測に加えて変換コーディングも利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
3.1 シーケンス内のピクチャ解像度の変更
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされたIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、時として参照ピクチャリサンプリング(RPR)と称せられる。
スケーリング比は、1/2(参照ピクチャから現在のピクチャへのダウンサンプリングの2倍)以上8(8倍のアップサンプリング)以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる3つの再サンプリングフィルタセットを規定する。3つの再サンプリングフィルタセットは、それぞれ、1/2~1/1.75、1/1.75~1/1.25、および1/1.25~8の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して16個のフェーズを有し、彩度に対して32個のフェーズを有する。実際には、通常のMC補間プロセスは、1/1.25~8の範囲のスケーリング比を有する再サンプリングプロセスの特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。
HEVCとは異なる、この特徴をサポートするためのVVC設計の他の態様は、i)SPSの代わりにPPSにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、SPSにおいて最大ピクチャ解像度を信号通知すること、ii)単層レイヤビットストリームの場合、各ピクチャ備え(1つの復号されたピクチャを記憶するためのDPBにおける1つのスロット)は、最大ピクチャ解像度を有する復号されたピクチャを記憶するために必要なバッファサイズを占めることを含む。
3.2. 全般およびVVCにおけるスケーラブル映像コーディング(SVC)
SVC(Scalable Video Coding、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、BL(Base Layer:基本レイヤ)(時には、RL(Reference Layer:参照レイヤ)と呼ばれる)および1または複数のスケーラブルEL(Enhancement Layer:強化レイヤ)が使用される映像コーディングを参照する。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上の強化レイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。強化レイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下レイヤがBLとして機能し、上レイヤがELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する強化レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の強化レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報(例えば、動き推定、動きベクトル予測および/または他の冗長性)をコーディング(例えば、符号化または復号)することができる。
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディングされた映像シーケンスによって利用できるパラメータは、映像パラメータセット(VPS)に含まれてもよく、コーディングされた映像シーケンスにおける1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてもよい。同様に、ピクチャにおいて1つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてもよく、1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所定の時間にどのパラメータセットを使用しているかの指示は、様々なコーディングレベルで提供されてもよい。
VVCにおけるRPR(Reference Picture Resampling)のサポートのおかげで、空間的スケーラビリティサポートに必要なアップサンプリングはRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよびHD解像度による2つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、VVCのスケーラビリティの設計は、単層レイヤデコーダの設計にできるだけ適したものにされてきた。多層レイヤビットストリームのための復号能力は、ビットストリームに単層レイヤしかなかったかの如く規定される。例えば、DPBサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないやり方で規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在するレイヤの各々にピクチャを含むことが必要である。
3.3 パラメータセット
AVC、HEVC、VVCはパラメータセットを規定する。パラメータセットのタイプは、SPS、PPS、APSおよびVPSを含む。SPSおよびPPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
SPSは、シーケンスレベルのヘッダ情報を担持するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を担持するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化しない情報は繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
VPSは、多層のビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を担持するために導入された。
APSは、コーディングするためのかなりのビットを必要とし、複数のピクチャによって共有され、そして、シーケンスにおいて非常に多くの異なる変形例が存在し得る、そのようなピクチャレベルまたはスライスレベルの情報を担持するために導入された。
3.4. プロファイル、ティアおよびレベル
映像コーディング規格は、通常、プロファイルおよびレベルを規定する。また、一部の映像コーディング規格は、ティアを規定する。例えば、HEVCおよび現在開発中のVVCである。
プロファイル、ティア、およびレベルは、ビットストリームに対する制限を規定し、従ってビットストリームを復号するのに必要な能力を制限する。プロファイル、ティア、およびレベルは、個々のデコーダ実装間の相互運用性を示すために使用されてもよい。
各プロファイルは、そのプロファイルに準拠するすべてのデコーダによってサポートされるべきアルゴリズムの特徴および制限のサブセットを規定する。なお、エンコーダは、プロファイルにサポートされるすべてのコーディングツールまたは特徴を利用する必要がなく、プロファイルに準拠したデコーダは、すべてのコーディングツールまたは特徴をサポートする必要がある。
ティアの各レベルは、ビットストリーム構文要素がとりうる値の制限のセットを規定する。同じティアおよびレベル定義のセットは、通常、すべてのプロファイルで使用されるが、個々の実装は、異なるティアをサポートしてもよく、ティア内では、サポートされるプロファイルごとに異なるレベルをサポートしてもよい。任意の所定のプロファイルの場合、ティアのレベルは、一般的に、特定のデコーダ処理負荷およびメモリ能力に対応する。
映像コーデック仕様に準拠した映像デコーダの能力は、映像コーデック仕様において規定されたプロファイル、ティア、およびレベルの制約に準拠した映像ストリームの復号能力に関して規定される。規定されたプロファイルのためのデコーダの能力を表現するとき、そのプロファイルにサポートされるティアおよびレベルもまた表現されるべきである。
3.5 既存のVVCティアおよびレベル定義
JVET-S0152-v5の最新のVVC草案テキストにおいて、ティアおよびレベルの定義は以下のとおりである。
A.4.1 一般ティア・レベル制限
ティア能力を比較するために、general_tier_flagが0であるティア(すなわち、Mainティア)は、general_tier_flagが1に等しいティア(すなわち、上位ティア)よりも低いティアと見なされる。
レベル能力を比較するために、特定のレベルのgeneral_level_idcまたはsublayer_level_idc[i]の値が他のレベルの値よりも小さい場合、特定のティアの特定のレベルは、同じティアのある他のレベルよりも低いレベルと見なされる。
本附属書における制約を表すために、以下を規定する。
- AUnを復号順でn番目のAUとし、最初のAUをAU0(すなわち、0番目のAU)とする。
- OLSインデックスTargetOlsIdxを有するOLSの場合、変数PicWidthMaxInSamplesY、PicHeightMaxInSamplesY、およびPicSizeMaxInSamplesY、並びに適用可能なdpb_parameters()構文構造は、以下のように導出される。
o NumLayersInOls[TargetOlsIdx]が1に等しい場合、PicWidthMaxInSamplesYはsps_pic_width_max_in_luma_samplesに等しく、PicHeightMaxInSamplesYはsps_pic_height_max_in_luma_samplesに等しく、そしてPicSizeMaxInSamplesYはPicWidthMaxInSamplesY*PicHeightMaxInSamplesYに等しく設定され、ここで、sps_pic_width_max_in_luma_samplesとsps_pic_height_max_in_luma_samplesはOLS内のレイヤによって参照されるSPSにあり、適用可能なdpb_parameters()構文構造もまたそのSPS内にある。
o そうでない場合(NumLayersInOls[TargetOlsIdx]が1より大きい)、PicWidthMaxInSamplesYはvps_ols_dpb_pic_width[MultiLayerOlsIdx[TargetOlsIdx]]に等しく、PicHeightMaxInSamplesYはvps_ols_dpb_pic_height[MultiLayerOlsIdx[TargetOlsIdx]]に等しく、PicSizeMaxInSamplesYはPicWidthMaxInSamplesY*PicHeightMaxInSamplesYに等しく設定され、かつ適用可能なdpb_parameters()構文構造はVPSにあるvps_ols_dpb_params_idx[MultiLayerOlsIdx[TargetOlsIdx]]によって識別される。
規定されたレベルがレベル15.5でない場合、規定されたティアおよびレベルのプロファイルに準拠するビットストリームは、添付書類Cに規定されるように、ビットストリーム適合性試験ごとに以下の制約に従うものとする。
a) PicSizeMaxInSamplesYは、MaxLumaPs以下であるものとし、MaxLumaPsは、表A.1に規定される。
b) PicWidthMaxInSamplesYの値は、Sqrt(MaxLumaPs*8)以下であるものとする。
c) PicHeightMaxInSamplesYの値は、Sqrt(MaxLumaPs*8)以下であるものとする。
d) 参照される各PPSについて、NumTileColumnsの値はMaxTileCols以下であり、NumTileRowsの値はMaxTileRows以下であるとし、ここで、MaxTileColsおよびMaxTileRowsは表A.1に規定される。
e) VCL HRD パラメータについて、CpbSize[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲の少なくとも1つのiの値について、CpbVclFactor*MaxCPB以下でなければならず、ここで、CpbSize[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、CpbVclFactorは、TableA.3で規定され、かつ、MaxCPBは、CpbVclFactorビットの単位でTableA.1において規定される。
f) NAL HRDパラメータは、CpbSize[Htid][i]が、0~hrd_cpb_cnt_minus1の範囲の少なくとも1つのiの値について、CpbNalFactor*MaxCPB以下でなければならず、ここで、CpbSize[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、CpbNalFactorは、TableA.3で規定され、かつ、MaxCPBは、CpbNalFactorビットの単位でTableA.1において規定される。
表A.1は、レベル15.5以外のレベルのために各ティアのレベルの制限を規定する。
以下の通り、ビットストリームが適合するティアおよびレベルは構文要素general_tier_flagおよびgeneral_level_idcによって示され、サブレイヤ表現が適合するレベルは構文要素sublayer_level_idc[i]によって示される。
- 規定されたレベルがレベル15.5でない場合、general_tier_flagが0に等しいことは、Mainティアに適合していることを示し、general_tier_flagが1であることは、表A.1に規定されたティア制約に従って、上位ティアに適合していることを示し、レベル4より下のレベル(「-」がマークされた表A.1のエントリに対応)については、general_tier_flagが0に等しいものとする。そうでない場合(規定されたレベルがレベル15.5の場合)、general_tier_flagは1に等しいこと、および、general_tier_flagのための値0はITU-T|ISO/IECによる将来の使用のために予約されており、デコーダはgeneral_tier_flagの値を無視するものとすることがビットストリーム適合性の要件である。
- general_level_idc、sublayer_level_idc[i]は、表A.1に規定されたレベル番号に対してgeneral_level_idcの値に等しく設定される。
Figure 2023529420000002
A.4.2 プロファイル固有のレベル制限
本附属書における制約を表すために、以下を規定する。
- 変数fRを1÷300に等しく設定する。
変数HbrFactorは、以下のように定義される。
- ビットストリームがMain10プロファイルまたはMain4:4:4 10プロファイルに適合していることが示された場合、HbrFactorは1に等しく設定される。
VCLビットレートスケールファクタを表す変数BrVclFactorは、CpbVclFactor*HbrFactorに等しく設定される。
NALビットレートスケールファクタを表す変数BrNalFactorは、CpbNalFactor*HbrFactorに等しく設定される。
変数MinCrは、MinCrBase*MinCrScaleFactor÷HbrFactorに等しく設定される。
規定されたレベルがレベル15.5でない場合、max_dec_pic_buffering_minus1[Htid]+1の値は、MaxDpbSize以下であるものとし、これは、以下のように導出される。
if(PicSizeMaxInSamplesY<=(MaxLumaPs>>2))
MaxDpbSize=Min(4*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=(MaxLumaPs>>1))
MaxDpbSize=Min(2*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=((3*MaxLumaPs)>>2))
MaxDpbSize=Min((4*maxDpbPicBuf)/3,16)
else
MaxDpbSize=maxDpbPicBuf (A.1)
表A.1にMaxLumaPsが規定されている場合、maxDpbPicBufは8に等しく、max_dec_pic_buffering_minus1[Htid]は適用可能なdpb_parameters()構文構造にあるか、またはそこから導出される。
numDecPicsをAUnにおけるピクチャの数とする。変数AuSizeMaxInSamplesY[n]は、PicSizeMaxInSamplesY*numDecPicsに等しく設定される。
特定されたティアおよびレベルでMain10またはMain4:4:4 10プロファイルに準拠するビットストリームは、附属書Cに規定されるように、ビットストリーム適合性試験ごとに以下の制約に従う。
a) C.2.3項に規定されるように、CPBからのAUn(nは0より大きい)の公称除去時間は、AuNominalRemovalTime[n]-AuCpbRemovalTime[n-1]がMax(AuSizeMaxInSamplesY[n-1]÷MaxLumaSr,fR)以上であるという制約を満たし、ここで、MaxLumaSrはAUn-1に適用される表A.2に規定される値である。
b) C.3.3項に規定されるように、DPBからの異なるAUのピクチャの連続した出力時間の差は、DpbOutputInterval[n]がMax(AuSizeMaxInSamplesY[n]÷MaxLumaSr,fR)以上であるという制約を満たすものとし、ここで、MaxLumaSrは、AUnに対して表A.2に規定される値であるが、AUnは、出力されるピクチャを有し、かつAUnは出力されるピクチャを有するビットストリームの最後のAUでないことを条件とする。
c) AU0の除去時間は、AU0における各ピクチャのスライス数を、ピクチャ0のPicSizeMaxInSamplesYの値に対して、Min(Max(1,MaxSlicesPerPicture*MaxLumaSr/MaxLumaPs*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerPicture*PicSizeMaxInSamplesY/MaxLumaPs),MaxSlicesPerPicture)以下とする制約を満たすものとし、ここでMaxSlicesPerPicture、MaxLumaPsおよびMaxLumaSrは、AU0に適用される表A.1および表A.2にそれぞれ規定された値である。
d) AUnとn-1(nは0より大きい)の連続したCPB除去時間の差は、AUnの各ピクチャのスライス数をMin((Max(1,MaxSlicesPerPicture*MaxLumaSr/MaxLumaPs*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerPicture)以下とする制約を満たすものとし、ここでMaxSlicesPerPicture、MaxLumaPsおよびMaxLumaSrはAUnに適用される表A.1および表A.2に規定された値である。
e) VCL HRDパラメータの場合、BitRate[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲内の少なくとも1つのiの値について、BrVclFactor*MaxBR以下であるものとし、ここで、BitRate[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、かつMaxBRは、表A.2において、BrVclFactor bits/s単位で規定されている。
f) NAL HRDパラメータの場合、BitRate[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲内の少なくとも1つのiの値について、BrNalFactor*MaxBR以下であるものとし、ここで、BitRate[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、かつMaxBRは、表A.2において、BrNalFactor bits/s単位で規定されている。
g) AU0のためのNumBytesInNalUnit変数の合計は、FormatCapabilityFactor*(Max(AuSizeMaxInSamplesY[0],fR*MaxLumaSr)+MaxLumaSr*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0]))÷MinCr以下であるものとし、ここで、MaxLumaSrおよびFormatCapabilityFactorは、AU0に適用される表A.2および表A.3にそれぞれ規定された値である。
h) AUn(nは0より大きい)のためのNumBytesInNalUnit変数の合計は、FormatCapabilityFactor*MaxLumaSr*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])÷MinCr以下であるものとし、MaxLumaSrおよびFormatCapabilityFactorは、AUnに適用される表A.2および表A.3にそれぞれ規定された値である。
i) AU0の除去時間は、AU0における各ピクチャのタイル数を、Min(Max(1,MaxTileCols*MaxTileRows*120*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTileCols*MaxTileRows*AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTileCols*MaxTileRows)以下とする制約を満たすものとし、MaxTileColsおよびMaxTileRowsはAU0に適用される表A.1に規定された値である。
j) AUnおよびn-1(nは0より大きい)の連続したCPB除去時間の差は、AUnの各ピクチャのタイル数をMin(Max(1,MaxTileCols*MaxTileRows*120*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTileCols*MaxTileRows)以下とする制約を満たすものとし、ここで、MaxTileColsおよびMaxTileRowsは、AUnに適用される表A.1に規定された値である。
Figure 2023529420000003
Figure 2023529420000004
3.6. 既存のVVCビットストリーム適合性定義
JVET-S0152-v5の最新のVVC草案テキストにおいて、ビットストリーム適合定義は以下のとおりである。
A.4 ビットストリーム適合性
本仕様に準拠するコーディングされたデータのビットストリームは、本項に規定されるすべての要件を満たすものとする。
ビットストリームは、本附属書以外に、本明細書に規定される構文、意味および制約に従って解釈されるものとする。
ビットストリームにおける第1のコーディングされたピクチャは、IRAPピクチャ(すなわち、IDRピクチャまたはCRAピクチャ)またはGDRピクチャとする。
このビットストリームは、C.1項に規定されるとおり、HRDによって適合性テストが行われる。
currPicLayerIdが現在のピクチャのnuh_layer_idに等しいとする。
各現在のピクチャについて、変数maxPicOrderCntおよびminPicOrderCntを、それぞれ、nuh_layer_idがcurrPicLayerIdに等しい以下のピクチャのPicOrderCntVal値の最大値および最小値に等しく設定する。
- 現在のピクチャ
- TemporalIdとph_non_ref_pic_flagが共に0に等しく、RASLまたはRADLピクチャでない、復号順で前のピクチャ。
- STRPは、現在のピクチャのRefPicList[0]におけるすべてのエントリ、および、RefPicList[1]におけるすべてのエントリによって参照される。
- 1に等しいPictureOutputFlagを有するすべてのピクチャnであって、currPicが現在のピクチャである場合、AuCpbRemovalTime[n]がAuCpbRemovalTime[currPic]未満、かつ、DpbOutputTime[n]がAuCpbRemovalTime[currPic]以上であるすべてのピクチャn。
各ビットストリーム適合性試験について、以下のすべての条件を満たすものとする。
1. BP SEIメッセージに関連付けられた、nが0より大きい各AUnを、変数deltaTime90k[n]を以下のように規定する。
deltaTime90k[n]=90000*(AuNominalRemovalTime[n]-AuFinalArrivalTime[n-1]) (C.17)
InitCpbRemovalDelay[Htid][ScIdx]の値は、以下のように制約される。
- cbr_flag[ScIdx]が0に等しい場合、以下の条件は真とする。
InitCpbRemovalDelay[Htid][ScIdx]<=Ceil(deltaTime90k[n]) (C.18)
- そうでない場合(cbr_flag[ScIdx]=1)、以下の条件は真とする。
Floor(deltaTime90k[n])<=InitCpbRemovalDelay[Htid][ScIdx]<=Ceil(deltaTime90k[n]) (C.19)
注記1- 各AUまたはDUの除去時におけるCPBのビットの正確な数は、HRDを初期化するためにどのBP SEIメッセージが選択されたかに依存し得る。エンコーダはこれを考慮しなければならず、HRDはいずれか1つのBP SEIメッセージで初期化される可能性があるので、HRDの初期化のためにどのBP SEIメッセージが選択されたかに関係なく、規定されたすべての制約に従わなければならないことを確実にするためである。
2. CPBにおけるビットの総数がCPBサイズよりも大きい状態として、CPBオーバーフローは規定される。CPBは決してオーバーフローしないものとする。
3. low_delay_hrd_flag[Htid]が0に等しい場合、CPBは決してアンダーフローしないものとする。CPBアンダーフローは、以下のように規定される。
- DecodingUnitHrdFlagが0に等しい場合、AUn AuNominalRemovalTime[n]の公称CPB除去時間が、少なくとも1つのnの値に対してAUn AuFinalArrivalTime[n]の最終CPB到着時間未満の状態として、CPBアンダーフローは規定される。
- そうでない場合(DecodingUnitHrdFlagが1に等しい)、DUm DuNominalRemovalTime[m]の公称CPB除去時間が、少なくとも1つのmの値に対してDUm DuFinalArrivalTime[m]の最終CPB到着時間未満の状態として、CPBアンダーフローは規定される。
4. DecodingUnitHrdFlagが1に等しい場合、low_delay_hrd_flag[Htid]は、1に等しく、AUnのDUmの公称除去時間は、DUm(すなわち、DuNominalRemovalTime[m]<DuFinalArrivalTime[m])の最終CPB到着時間未満であり、AUnの公称除去時間はAUn(すなわち、AuNominalRemovalTime[n]<AuFinalArrivalTime[n])の最終CPB到着時間未満であるものとする。
5. CPBからのAUの公称除去時間(復号順で2番目のAUから始まる)は、A.4.1およびA.4.2項に表されるAuNominalRemovalTime[n]およびAuCpbRemovalTime[n]の制約を満たすものとする。
6. 各現在のピクチャについて、C.3.2項に規定されるように、DPBからピクチャを除去するための処理を呼び出した後、DPBにおいて復号されたピクチャの数は、「参照に使用される」とマークされる、または、PictureOutputFlagが1に等しく、かつ、CpbRemovalTime[n]がCpbRemovalTime[currPic]未満であるすべてのピクチャnを含み、ここで、currPicは現在のピクチャであり、max_dec_pic_buffering_minus1[Htid]以下であるものとする。
7. 予測のために必要な場合、すべての参照ピクチャがDPBに存在するものとする。1に等しいPictureOutputFlagを有する各ピクチャは、C.3項に規定される処理の1つによってDPBの出力時間の前にDPBから取り除かれない限り、DPBの出力時間にDPBに存在するものとする。
8. CLVSSピクチャではない各現在のピクチャについて、maxPicOrderCnt-minPicOrderCntの値は、MaxPicOrderCntLsb/2よりも小さいものとする。
9. 式C.16により得られるDpbOutputInterval[n]の値は、ピクチャと出力順でこれに続きPictureOutputFlagが1である1つ目のピクチャとの出力時間の差であり、2項から9項までに規定される復号処理を用いてビットストリームにおいて規定されるプロファイル、ティア、およびレベルについて、A.4.1項で表された制約を満たすものとする。
10. 各現在のピクチャについて、bp_du_cpb_params_in_pic_timing_sei_flagが1に等しい場合、let tmpCpbRemovalDelaySumは、以下のように導出される。
tmpCpbRemovalDelaySum=0
for(i=0;i<pt_num_decoding_units_minus1;i++)
tmpCpbRemovalDelaySum+=
pt_du_cpb_removal_delay_increment_minus1[i][Htid]+1 (C.20)
ClockSubTick*tmpCpbRemovalDelaySumの値は、現在のAUの公称CPB除去時間と、復号順で現在のAUの第1のDUの公称CPB除去時間との間の差に等しいものとする。
11. 同じCVS内の任意の2つのピクチャmおよびnについて、DpbOutputTime[m]がDpbOutputTime[n]よりも大きい場合、ピクチャmのPicOrderCntValは、ピクチャnのPicOrderCntValよりも大きいものとする。
注記2- 出力される、復号順で前のCVSのすべてのピクチャは、復号順で後のCVSのいずれかのピクチャの前に出力される。特定のCVS内で、出力されるピクチャは、PicOrderCntValの昇順で出力される。
12. 特定のAUにおけるすべてのピクチャに対して導出されたDPB出力時間は同じとする。
4. 開示される技術的解決策によって解決される技術課題
従来のレベル定義用VVC設計において、以下のような問題が存在する。
1) AU0およびAUn(n>0)のためのCPB除去時間とスライス数との間の関係に関する2つのレベル制限の定義、すなわち、A.4.2項における項目cおよびd(プロファイル固有のレベル制限)は、MaxSlicesPerPictureおよび最大ピクチャサイズに基づく。しかし、MaxSlicesPerPictureは、ピクチャレベルの制限として定義され、CPB除去時間は、AUレベルのパラメータである。
2) AU0およびAUn(n>0)のためのCPB除去時間とタイル数との間の関係に関する2つのレベル制限の定義、すなわち、A.4.2項における項目iおよびj(プロファイル固有のレベル制限)は、MaxTileCols*MaxTileRowsおよび最大AUサイズに基づく。しかし、上記と同様に、MaxTileColsおよびMaxTileRowsは、ピクチャレベルの制限として定義され、CPB除去時間はAUレベルのパラメータである。
3) 原因C.4(ビットストリーム適合)における第6番目の制約は、以下のとおりである。
各現在のピクチャについて、C.3.2項に規定されるように、DPBからピクチャを除去するための処理を呼び出した後、DPBにおいて復号されたピクチャの数は、「参照に使用される」とマークされる、または、PictureOutputFlagが1に等しく、かつ、CpbRemovalTime[n]がCpbRemovalTime[currPic]未満であるすべてのピクチャnを含み、ここで、currPicは現在のピクチャであり、max_dec_pic_buffering_minus1[Htid]以下であるものとする。
「CpbRemovalTime[n]<CpbRemovalTime[currPic]未満」の部分は、DPBにおける復号されたピクチャの復号時間が現在のピクチャの復号時間未満である条件を説明する。しかしながら、DPBにおけるすべての復号されたピクチャは、常に現在のピクチャの復号よりも早く復号されるので、コンテキストにおけるCpbRemovalTime[n]は、常にCpbRemovalTime[currPic]よりも小さい。
5. 解決策および実施形態の例
上述した課題等を解決するために、以下に要約される方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1) 第1の問題を解決するために、AU0およびAUn(n>0)のためのCPB除去時間と、最新のVVC草案のA.4.2項におけるスライス数、すなわち、項目cおよびdとの間の関係における2つのレベル制限の定義を、MaxSlicesPerPictureおよび最大ピクチャサイズに基づくものとすることから、MaxSlicesPerPicture*(AUにおけるピクチャ数)および最大AUサイズに基づくものとするように変更する。
2) 第2の問題を解決するために、AU0およびAUn(n>0)のためのCPB除去時間と、最新のVVC草案のA.4.2項におけるタイル数、すなわち、項目iおよびjとのとの間の関係における2つのレベル制限の定義を、MaxTileCols*MaxTileRowsおよび最大AUサイズに基づくものとすることから、MaxTileCols*MaxTileRows*(AUにおけるピクチャ数)および最大AUサイズに基づくものとするように変更する。
3) 第3の問題を解決するために、最新のVVC草案のC.4項の第6番目の制約を変更して、「参照に使用される」とマークされ、PictureOutputFlagが1に等しく、かつ、現在のピクチャの復号時間よりも出力時間が遅くなるようにDPBに記憶される復号されたピクチャの数に制約を課すようにする。
a. 一例において、最新のVVC草案のC.4項における第6番目の制約において、「または、PictureOutputFlagが1に等しく、かつ、CpbRemovalTime[n]がCpbRemovalTime[currPic]未満である」を、「または、PictureOutputFlagが1に等しく、DpbOutputTime[n]がCpbRemovalTime[currPic]よりも大きい」に変更する。
6. 実施形態
Figure 2023529420000005
6.1. 実施形態1
本実施形態は、項目1~3およびその小項目についてである。
A.4.2 プロファイル固有のレベル制限
本附属書における制約を表すために、以下を規定する。
-変数fRを1÷300に等しく設定する。
変数HbrFactorは、以下のように定義される。
- ビットストリームがMain10プロファイルまたはMain4:4:4 10プロファイルに適合していることが示された場合、HbrFactorは1に等しく設定される。
VCLビットレートスケールファクタを表す変数BrVclFactorは、CpbVclFactor*HbrFactorに等しく設定される。
NALビットレートスケールファクタを表す変数BrNalFactorは、CpbNalFactor*HbrFactorに等しく設定される。
変数MinCrは、MinCrBase*MinCrScaleFactor÷HbrFactorに等しく設定される。
規定されたレベルがレベル15.5でない場合、max_dec_pic_buffering_minus1[Htid]+1の値は、MaxDpbSize以下であるものとし、これは、以下のように導出される。
if(PicSizeMaxInSamplesY<=(MaxLumaPs>>2))
MaxDpbSize=Min(4*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=(MaxLumaPs>>1))
MaxDpbSize=Min(2*maxDpbPicBuf,16)
else if(PicSizeMaxInSamplesY<=((3*MaxLumaPs)>>2))
MaxDpbSize=Min((4*maxDpbPicBuf)/3,16)
else
MaxDpbSize=maxDpbPicBuf (A.1)
表A.1にMaxLumaPsが規定されている場合、maxDpbPicBufは8に等しく、max_dec_pic_buffering_minus1[Htid]は適用可能なdpb_parameters()構文構造にあるか、またはそこから導出される。
Figure 2023529420000006
特定されたティアおよびレベルでMain10またはMain4:4:4 10プロファイルに準拠するビットストリームは、附属書Cに規定されるように、ビットストリーム適合性試験ごとに以下の制約に従う。
k) C.2.3項に規定されるように、CPBからのAUn(nは0より大きい)の公称除去時間は、AuNominalRemovalTime[n]-AuCpbRemovalTime[n-1]をMax(AuSizeMaxInSamplesY[n-1]÷MaxLumaSr,fR)以上とする制約を満たすものとし、ここで、MaxLumaSrはAUn-1に適用され、表A.2に規定される値である。
l) C.3.3項に規定されるように、DPBからの異なるAUのピクチャの連続した出力時間の差は、DpbOutputInterval[n]をMax(AuSizeMaxInSamplesY[n]÷MaxLumaSr,fR)以上とする制約を満たすものとし、ここで、MaxLumaSrは、AUnに対して表A.2に規定される値であるが、AUnは、出力されるピクチャを有し、かつ、AUnは出力されるピクチャを有するビットストリームの最後のAUでないことを条件とする。
Figure 2023529420000007
Figure 2023529420000008
o) VCL HRDパラメータの場合、BitRate[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲内の少なくとも1つのiの値について、BrVclFactor*MaxBR以下であるものとし、ここでBitRate[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、かつ、MaxBRは、表A.2において、BrVclFactor bits/s単位で規定されている。
p) NAL HRDパラメータの場合、BitRate[Htid][i]は、0~hrd_cpb_cnt_minus1の範囲内の少なくとも1つのiの値について、BrNalFactor*MaxBR以下であるものとし、ここで、BitRate[Htid][i]は、C.1項に規定されるように選択されたパラメータに基づいて7.4.6.3項で規定され、かつ、MaxBRは、表A.2において、BrNalFactor bits/s単位で規定されている。
q) AU0のためのNumBytesInNalUnit変数の合計は、FormatCapabilityFactor*(Max(AuSizeMaxInSamplesY[0],fR*MaxLumaSr)+MaxLumaSr*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0]))÷MinCr以下であるものとし、MaxLumaSrおよびFormatCapabilityFactorは、AU0に適用される表A.2および表A.3にそれぞれ規定された値である。
r) AUn(nは0より大きい)のためのNumBytesInNalUnit変数の合計は、FormatCapabilityFactor*MaxLumaSr*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])÷MinCr以下であるものとし、MaxLumaSrおよびFormatCapabilityFactorは、AUnに適用される、表A.2および表A.3にそれぞれ規定された値である。
Figure 2023529420000009
Figure 2023529420000010
C.4 ビットストリーム適合性
Figure 2023529420000011
図1は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1000を示すブロック図である。様々な実装形態は、システム1000のモジュールの一部または全部を含んでもよい。システム1000は、映像コンテンツを受信するための入力部1002を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化されたフォーマットで受信されてもよい。入力部1002は、ネットワークインタフェース、周辺バスインタフェース、または記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インタフェース、およびWi-Fi(登録商標)またはセルラーインタフェース等の無線インタフェースを含む。
システム1000は、本明細書に記載される様々なコーディングまたは符号化する方法を実装することができるコーディングモジュール1004を含んでもよい。コーディングモジュール1004は、入力1002からの映像の平均ビットレートをコーディングモジュール1004の出力に低減し、映像のコーディングされた表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像コード変換技術と呼ばれることがある。コーディングモジュール1004の出力は、コンポーネント1006によって表されるように、記憶されてもよいし、接続された通信を経由して送信されてもよい。入力1002において受信される映像の記憶または通信されたビットストリーム(またはコーディングされた)表現は、コンポーネント1008によって使用されて、表示インタフェース1010に送信される画素値、または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダで使用され、コーディングの結果を逆にする対応する復号ツールまたは動作は、デコーダによって行われることが理解されよう。
周辺バスインタフェースまたは表示インタフェースの例は、ユニバーサルシリアルバス(USB)または高精細度マルチメディアインタフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を行うことができる他のデバイス等の様々な電子デバイスにおいて実施されてもよい。
図2は、映像処理装置2000のブロック図である。装置2000は、本明細書に記載の方法の1または複数を実装するために使用されてもよい。装置2000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置2000は、1つ以上の処理装置2002と、1つ以上のメモリ2004と、映像処理ハードウェア2006と、を含んでもよい。1または複数の処理装置2002は、本明細書に記載される1または複数の方法(例えば、図6~図9に記載)を実装するように構成されてもよい。メモリ2004は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2006は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。いくつかの実施形態において、ハードウェア2006は、1つ以上の処理装置2002、例えば、グラフィック処理装置内に部分的にまたは全体が含まれてもよい。
図3は、本開示の技法を利用し得る例示的な映像コーディングシステム100を示すブロック図である。図3に示すように、映像コーディングシステム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元デバイス110は、符号化された映像データを生成するものであり、映像符号化機器とも呼ばれ得る。送信先デバイス120は、送信元デバイス110によって生成される符号化映像データを復号してよく、映像復号デバイスと呼ばれ得る。送信元デバイス110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インタフェース116と、を備えてもよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディングされた表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインタフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインタフェース116を経由して送信先デバイス120に直接送信されてよい。符号化された映像データはまた、送信先デバイス120がアクセスするために、記憶媒体/サーバ130bに記憶してもよい。
送信先デバイス120は、I/Oインタフェース126、映像デコーダ124、および表示デバイス122を含んでもよい。
I/Oインタフェース126は、受信機および/またはモデムを含んでもよい。I/Oインタフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号してもよい。表示デバイス122は、復号された映像データをユーザに表示してもよい。表示デバイス122は、送信先デバイス120と一体化されてもよく、または外部表示デバイスとインタフェースで接続するように構成される送信先デバイス120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVM)規格、および他の現在のおよび/またはさらなる規格等の映像圧縮規格に従って動作してもよい。
図4は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図3に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図4の実施例において、映像エンコーダ200は、複数の機能モジュールを含む。本開示で説明される技法は、映像エンコーダ200の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ200の機能性コンポーネントは、分割ユニット201と、
モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206を含む予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含んでもよい。
他の例において、映像エンコーダ200は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBCユニットは、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのコンポーネントは、高度に統合されてもよいが、説明のために、図4の例においては個別に表現されている。
分割ユニット201は、ピクチャを1つ以上の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
モード選択ユニット203は、例えば、誤り結果に基づいて、イントラまたはインターコーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成ユニット207に供給し、残差ブロックデータを生成して再構成ユニット212に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット203は、予測がインター予測信号およびイントラ予測信号に基づくイントラおよびインター予測(CIIP:Combination of Intra and Inter Prediction)モードの組み合わせを選択してもよい。モード選択ユニット203は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセルまたは整数ピクセル精度)を選択してもよい。
現在の映像ブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償ユニット205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックに対する予測された映像ブロックを決定してもよい。
動き推定ユニット204および動き補償ユニット205は、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかによって、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。
いくつかの例において、動き推定ユニット204は、現在の映像ブロックに対して単一方向予測を行い、動き推定ユニット204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索してもよい。動き推定ユニット204は、参照映像ブロックを含むリスト0またはリスト1の参照ピクチャを示す参照インデックスと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測された映像ブロックを生成してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックのために双方向予測を行ってもよく、動き推定ユニット204は、現在の映像ブロックのための参照映像ブロックに対してリスト0の参照ピクチャを検索してもよく、また、現在の映像ブロックのための別の参照映像ブロックに対してリスト1の参照ピクチャを検索してもよい。動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1の参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償ユニット205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測された映像ブロックを生成してもよい。
いくつかの例において、動き推定ユニット204は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。
いくつかの例において、動き推定ユニット204は、現在の映像に対する動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定ユニット204は、現在の映像ブロックの動き情報が近隣の映像ブロックの動き情報に十分に類似していることを決定してもよい。
一例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
他の例において、動き推定ユニット204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分(MVD:Motion Vector Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、指示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、指定された映像ブロックの動きベクトルと動きベクトル差分とを使用して、現在の映像ブロックの動きベクトルを決定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、AMVP(Advanced Motion Vector Predication)およびマージモード信号通知を含む。
イントラ予測ユニット206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックのイントラ予測を行う場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックに対する予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成ユニット207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックに対する残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための現在の映像ブロックに対する残差データはなくてもよく、残差生成ユニット207は、減算動作を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックに対する1つ以上の変換係数映像ブロックを生成してもよい。
変換処理ユニット208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化ユニット209は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP:Quantization Parameter)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化ユニット210および逆変換ユニット211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成ユニット212は、予測ユニット202によって生成された1つ以上の予測された映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ213に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。
再構成ユニット212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。
エントロピー符号化ユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化動作を行い、エントロピー符号化されたデータを生成し、このエントロピー符号化されたデータを含むビットストリームを出力してもよい。
図5は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図3に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれかまたは全てを行うように構成されてもよい。図5の実施例において、映像デコーダ300は、複数の機能コンポーネントを含む。本開示で説明される技法は、映像デコーダ300の様々なコンポーネント間で共有されてもよい。いくつかの例では、処理装置は、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図5の実施例において、映像デコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を含む。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図4)に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。
エントロピー復号ユニット301は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピー復号ユニット301は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償ユニット302は、例えば、AMVPおよびマージモードを行うことで、このような情報を決定してもよい。
動き補償ユニット302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタに対する識別子が含まれてもよい。
動き補償ユニット302は、映像ブロックの符号化中に映像エンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間された値を計算してもよい。動き補償ユニット302は、受信した構文情報に従って映像エンコーダ200が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、符号化された映像シーケンスのフレームおよび/またはスライスを符号化するために使用されるブロックのサイズを決定するための構文情報、符号化された映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのように符号化されるかを示すモード、インター符号化されたブロックごとの1つ以上の参照フレーム(および参照フレームリスト)、および符号化された映像シーケンスを復号するための他の情報のうちのいくつかを使用してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号ユニット301によって復号された量子化された映像ブロック係数を逆量子化(すなわち、逆量子化(de-quantize))する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックと、動き補償ユニット202またはイントラ予測ユニット303によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは次にバッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のための参照ブロックを提供し、表示デバイスに表示するために復号された映像を生成する。
図6~図8は、上述した技術的解決策を実装することができる例示的な方法を示し、例えば、この実施形態は図1~図5に示す。
図6は、映像処理の方法600の一例を示すフローチャートを示す。方法600は、動作610において、1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、復号中のコーディングされたピクチャバッファ(CPB)からの複数のAUのそれぞれの除去時間と、複数のAUのそれぞれのスライス数との間の関係を規定するフォーマット規則に基づいて、AU0~AUnの複数のアクセスユニット(AU)、に編成され、nは正の整数である。
図7は、映像処理の方法700の一例を示すフローチャートを示す。方法700は、動作710において、1つ以上のタイルを備える1つ以上のピクチャを含む映像とこの映像のビットストリームとの変換を行うことを含み、このビットストリームは、コーディングされたピクチャバッファ(CPB)からの複数のAUのそれぞれの除去時間と複数のAUのそれぞれのタイル数との間の関係を規定するフォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、nは正の整数である。
図8は、映像処理の方法800の一例を示すフローチャートを示す。方法800は、動作810において、1つ以上のスライスを含む1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含み、このビットストリームは、1つ以上のアクセスユニットに編成され、この変換は、復号されたピクチャバッファに記憶された復号されたピクチャの数に対する制約を規定し、ここで、復号されたピクチャの復号されたそれぞれのピクチャは、(i)参照のために使用されるとマークされ、(ii)復号されたピクチャが出力されていることを示すフラグを有し、かつ、(iii)現在のピクチャの復号時間よりも後の出力時間を有する。
次に、いくつかの実施形態において好適な解決策を列挙する。
A1.1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間で変換を行うことを含むビデオデータの処理方法であって、このビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、ここで、nは正の整数であり、このフォーマット規則は、コーディングされたピクチャバッファ(CPB)からの復号時の複数のAUのそれぞれの除去時間と、複数のAUのそれぞれのスライス数との間の関係を規定する、映像データの処理方法。
A2.前記関係は、(i)ピクチャあたりの最大スライス数とアクセスユニットにおけるピクチャ数との積と、(ii)前記アクセスユニットの最大サイズとに基づく、解決策A1に記載の方法。
A3.前記フォーマット規則は、前記複数のアクセスユニットのうちの最初のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、解決策A1に記載の方法。
A4.制約は、AU0におけるスライスの数をMin(Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxSlicesPerAu)以下とすることを規定し、MaxSlicesPerAuは、アクセスユニットあたりのスライスの最大数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は、m番目のアクセスユニットの公称CPB除去時間であり、AuSizeMaxInSamplesY[m]は、輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、解決策A3に記載の方法。
A5.AU0に対応する値からMaxLumaPsの値およびMaxLumaSrの値を選択する、解決策A4に記載の方法。
A6.前記フォーマット規則は、2つの連続するアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、解決策A1に記載の方法。
A7.前記制約は、AUnにおけるスライスの数が、Min((Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerAu)以下であることを規定し、ここで、MaxSlicesPerAuは、アクセスユニットあたりのスライスの最大数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]はm番目のアクセスユニットのCPB除去時間である、解決策A6に記載の方法。
A8.AUnに対応する値から、MaxSlicesPerAuの値、MaxLumaPsの値、およびMaxLumaSrの値を選択する、解決策A7に記載の方法。
A9.1つ以上のタイルを備える1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含むビデオデータを処理する方法であって、前記ビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、ここで、nは正の整数であり、前記フォーマット規則は、コーディングされたピクチャバッファ(CPB)から前記複数のAUのそれぞれの除去時間と前記複数のAUのそれぞれのタイル数との間の関係を規定する、映像データの処理方法。
A10.前記関係は、(i)ピクチャあたりのタイル列の最大数(MaxTileCols)、ピクチャあたりのタイル行の最大数(MaxTileRows)と、アクセスユニットにおけるピクチャ数との積、および、(ii)前記アクセスユニットの最大サイズとに基づく、解決策A9に記載の方法。
A11.前記フォーマット規則は、前記複数のアクセスユニットのうちの第1のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、解決策A9に記載の方法。
A12.前記制約は、AU0のタイル数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTilesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTilesPerAu)以下であることを規定し、ここで、MaxTilesPerAuはアクセスユニットあたりの最大タイル数であり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]はm番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は前記m番目のアクセスユニットの公称CPB除去時間であり、かつAuSizeMaxInSamplesY[m]は輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、解決策A11に記載の方法。
A13.AU0に対応する値からMaxTilesPerAuの値を選択する、解決策A12に記載の方法。
A14.前記フォーマット規則は、2つの連続したアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、解決策A9に記載の方法。
A15.前記制約は、AUnにおけるタイルの数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTilesPerAu)以下であることを規定し、ここで、MaxTilesPerAuは、アクセスユニットあたりのタイルの最大数であり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間である、解決策A14に記載の方法。
A16.AUnに対応する値からMaxTilesPerAuの値を選択する、解決策A15に記載の方法。
A17.前記変換は、前記ビットストリームから前記映像を復号することを含む、解決策A1~A16のいずれかに記載の方法。
A18.前記変換は、前記ビットストリームに前記映像を符号化することを含む、解決策A1~16のいずれかに記載の方法。
A19.映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、解決策A1~A16のいずれか1つ以上に記載の方法に従って、前記映像からビットストリームを生成し、前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることを含む、方法。
A20.解決策A1~A19のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える映像処理装置。
A21.命令が記憶されたコンピュータ可読媒体であって、前記命令は実行されると、処理装置に、解決策A1~A19のいずれか1つ以上に記載の方法を実装させる、コンピュータ可読媒体。
A22.解決策A1~A19のいずれか1つ以上により生成された前記ビットストリームを記憶するコンピュータ可読媒体。
A23.解決策A1~A19のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。
次に、いくつかの実施形態において好適な別の解決策を列挙する。
B1.1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリームとの間の変換を行うことを含む映像データの処理方法であって、この変換は、規則に準拠し、このビットストリームは、1つ以上のアクセスユニットに編成され、この規則は、復号されたピクチャバッファ(DPB)に記憶された復号されたピクチャの数に対する制約を規定し、復号されたピクチャにおける復号されたピクチャのそれぞれは、(i)参照のために使用されるとマークされ、(ii)復号されたピクチャが出力されていることを示すフラグを有し、かつ、(iii)現在のピクチャの復号時間よりも後の出力時間を有する、映像データの処理方法。
B2.前記復号されたピクチャの数は、ピクチャ記憶バッファの単位における前記DPBの最大必要サイズから1を減算したもの以下である、解決策B1に記載の方法。
B3.前記フラグは、PictureOutputFlagであり、m番目のピクチャの前記出力時間はDpbOutputTime[m]であり、前記m番目のピクチャの前記復号時間はAuCpbRemovalTime[m]である、解決策B1に記載の方法。
B4.前記変換は、前記ビットストリームから前記映像を復号することを含む、解決策B1~B3のいずれかに記載の方法。
B5.前記変換は、前記ビットストリームに前記映像を符号化することを含む、解決策B1~B3のいずれかに記載の方法。
B6.解決策B1~B3のいずれか1つ上に記載の方法に従って、映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、前記映像からビットストリームを生成し、前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることを含む、方法。
B7.解決策B1~B6のいずれか1つ以上に記載の方法を実装するように構成された処理装置を備える、映像処理装置。
B8.命令が記憶されたコンピュータ可読媒体であって、前記命令は実行されると、処理装置に、解決策B1~B6に1つ以上記載の方法を実装させる、コンピュータ可読媒体。
B9.解決策B1~B6のいずれか1つ以上により生成された前記ビットストリームを記憶するコンピュータ可読媒体。
B10.解決策B1~6のいずれか1つ以上に記載の方法を実装するように構成された、ビットストリームを記憶するための映像処理装置。
次に、いくつかの実施形態において好適なさらに別の解決策を列挙する。
P1.1つ以上のスライスを備える1つ以上のピクチャを含む映像と、前記映像のビットストリーム表現との間で変換を行うことを含むビデオ処理方法であって、前記ビットストリーム表現は、フォーマット規則に従って1つ以上のアクセスユニットに編成され、前記フォーマット規則は、前記ビットストリーム表現における1つ以上の構文要素と、コーディングされたピクチャバッファからの1つ以上のアクセスユニットの除去時間との関係を規定する、映像処理方法。
P2.前記規則は、ピクチャあたりの最大スライス数と、前記アクセスユニットにおけるピクチャ数との積の値に基づく前記除去時間と、前記アクセスユニットの最大許容サイズとの間の関係に対して2つのレベル制限を規定する、解決策P1に記載の方法。
P3.前記規則は、値がMaxTileCols*MaxTileRows*(1つのアクセスユニットにおけるピクチャの数)である第1のパラメータと、値が1つ以上のアクセスユニットの最大許容サイズである第2のパラメータとに基づいた前記除去時間の関係について2つのレベル制限を規定する、解決策P1に記載の方法。
P4.1つ以上のスライスを備える1つ以上のピクチャを含む映像と、この映像のビットストリーム表現との間で変換を行うこと、を含む映像処理方法であって、この変換は、ビットストリーム表現が1つ以上のアクセスユニットに編成される規則に準拠し、この規則は、復号されたピクチャバッファに記憶され、復号されたピクチャの数に対する制約を規定し、復号されたピクチャは、参照のために使用されるとマークされ、PictureOutputFlagが1に等しく、かつ、現在のピクチャの復号時間よりも後の出力時間を有する。
P5.前記変換を行うことは、前記映像を符号化して前記コーディングされた表現を生成することを含む、解決策P1~P4のいずれかに記載の方法。
P6.変換を行うことは、前記コーディングされた表現を構文解析し復号して、前記映像を生成することを含む、解決策P1~P4のいずれかに記載の方法。
P7.解決策P1~P6の1つ以上に記載の方法を実装するように構成された処理装置を備える、映像復号装置。
P8.解決策P1~P6の1つ以上に記載の方法を実装するように構成された処理装置を備える、映像符号化装置。
P9.コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、処理装置により実行されると、処理装置に、解決策P1~P6のいずれかに記載の方法を実装させるコンピュータプログラム製品。
本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換中、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現(または単にビットストリーム)は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から符号化され、ビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。
開示された、およびその他の解決策、例、実施形態、モジュールと、本明細書に記載される機能動作の実装形態は、本明細書に開示された構造およびその構造的均等物を含めて、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施してもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラムを、1つのコンピュータで実行するように展開することができ、あるいは、1つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。
本明細書に記載された処理およびロジックフローは、入力データに対して動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの特徴を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および実施例のみが記載されており、この特許明細書に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。
関連出願の相互参照
願は、2020年6月8日出願の米国特許仮出願第63/036321号の優先権および利益を適時に主張する2021年6月8日出願の国際特許出願第PCT/US2021/036462号に基づくものである。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。

Claims (23)

  1. 1つ以上のスライスを備える1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うことを含む映像データの処理方法であって、
    前記ビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、
    nは正の整数であり、
    前記フォーマット規則は、復号時の前記複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、前記複数のAUの前記それぞれのスライス数との間の関係を規定する、
    映像データの処理方法。
  2. 前記関係は、(i)ピクチャあたりの最大スライス数とアクセスユニットにおけるピクチャ数との積と、(ii)前記アクセスユニットの最大サイズとに基づくものである、
    請求項1に記載の方法。
  3. 前記フォーマット規則は、前記複数のアクセスユニットのうちの最初のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、
    請求項1に記載の方法。
  4. 前記制約は、AU0のスライス数が、Min(Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxSlicesPerAu)以下であることを規定し、ここで、MaxSlicesPerAuは、アクセスユニットあたりの最大スライス数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は、前記m番目のアクセスユニットの公称CPB除去時間であり、AuSizeMaxInSamplesY[m]は、輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、
    請求項3に記載の方法。
  5. AU0に対応する値からMaxLumaPsの値およびMaxLumaSrの値を選択する、
    請求項4に記載の方法。
  6. 前記フォーマット規則は、2つの連続するアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、
    請求項1に記載の方法。
  7. 前記制約は、AUnにおけるスライスの数が、Min((Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerAu)以下であることを規定し、MaxSlicesPerAuは、アクセスユニットあたりの最大スライス数であり、MaxLumaSrは、最大輝度サンプルレートであり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間である、
    請求項6に記載の方法。
  8. MaxSlicesPerAuの値、MaxLumaPsの値、およびMaxLumaSrの値をAUnに対応する値から選択する、
    請求項7に記載の方法。
  9. 1つ以上のタイルを備える1つ以上のピクチャを含む映像と、前記映像のビットストリームとの間で変換を行うこと、を含む映像データの処理方法であって、
    前記ビットストリームは、フォーマット規則に基づいて、複数のアクセスユニット(AU)、AU0~AUnに編成され、
    nは正の整数であり、
    前記フォーマット規則は、複数のAUのそれぞれのコーディングされたピクチャバッファ(CPB)からの除去時間と、前記複数のAUの前記それぞれのタイル数との間の関係を規定する、
    映像データの処理方法。
  10. 前記関係は、(i)ピクチャあたりのタイル列の最大数(MaxTileCols)と、ピクチャあたりのタイル行の最大数(MaxTileRows)と、アクセスユニットにおけるピクチャ数との積、および、(ii)前記アクセスユニットの最大サイズに基づくものである、
    請求項9に記載の方法。
  11. 前記フォーマット規則は、前記複数のアクセスユニットのうちの第1のアクセスユニットAU0の前記除去時間が制約を満たすことを規定する、
    請求項9に記載の方法。
  12. 前記制約は、AU0のタイル数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTilesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTilesPerAu)以下であることを規定し、MaxTilesPerAuは、アクセスユニットあたりの最大タイル数であり、MaxLumaPsは、最大輝度ピクチャサイズであり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間であり、AuNominalRemovalTime[m]は、前記m番目のアクセスユニットの公称CPB除去時間であり、かつ、AuSizeMaxInSamplesY[m]は、輝度サンプルにおいて、シーケンスパラメータセット(SPS)を参照する復号されたピクチャの最大サイズである、
    請求項11に記載の方法。
  13. AU0に対応する値からMaxTilesPerAuの値を選択する、
    請求項12に記載の方法。
  14. 前記フォーマット規則は、2つの連続するアクセスユニットAUn-1およびAUnの前記除去時間の差が制約を満たすことを規定する、
    請求項9に記載の方法。
  15. 前記制約は、AUnにおけるタイルの数がMin(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTilesPerAu)以下であることを規定し、MaxTilesPerAuは、アクセスユニットあたりの最大タイル数であり、AuCpbRemovalTime[m]は、m番目のアクセスユニットのCPB除去時間である、
    請求項14に記載の方法。
  16. AUnに対応する値からMaxTilesPerAuの値を選択する、
    請求項15に記載の方法。
  17. 前記変換は、前記ビットストリームから前記映像を復号することを含む、
    請求項1~16のいずれか1項に記載の方法。
  18. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
    請求項1~16のいずれか1項に記載の方法。
  19. 映像を表すビットストリームをコンピュータ読み取り可能な記録媒体に記憶する方法であって、
    請求項1~16のいずれか1項に記載の方法に従って、前記映像から前記ビットストリームを生成することと、
    前記ビットストリームを前記コンピュータ読み取り可能な記録媒体に記憶させることと、を含む、
    方法。
  20. 請求項1~19のいずれか1項に記載の方法を実装するように構成される処理装置を備える、
    映像処理装置。
  21. 命令が記憶されたコンピュータ可読媒体であって、前記命令は、実行されると、処理装置に、請求項1~19のいずれか1項に記載の方法を実装させる、
    コンピュータ可読媒体。
  22. 請求項1~19のいずれか1項に従って生成された前記ビットストリームを記憶する、
    コンピュータ可読媒体。
  23. 前記映像処理装置は、請求項1~19のいずれか1項に記載の方法を実装するように構成された、
    ビットストリームを記憶するための映像処理装置。
JP2022575423A 2020-06-08 2021-06-08 コーディングされた映像ピクチャにおけるスライスカウントの制約 Pending JP2023529420A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063036321P 2020-06-08 2020-06-08
US63/036,321 2020-06-08
PCT/US2021/036462 WO2021252525A1 (en) 2020-06-08 2021-06-08 Constraints of slice count in a coded video picture

Publications (1)

Publication Number Publication Date
JP2023529420A true JP2023529420A (ja) 2023-07-10

Family

ID=78845844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022575423A Pending JP2023529420A (ja) 2020-06-08 2021-06-08 コーディングされた映像ピクチャにおけるスライスカウントの制約

Country Status (6)

Country Link
US (3) US11917172B2 (ja)
EP (1) EP4154523A4 (ja)
JP (1) JP2023529420A (ja)
KR (1) KR20230019845A (ja)
CN (2) CN115943627A (ja)
WO (2) WO2021252525A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516476B2 (en) * 2020-07-10 2022-11-29 Sharp Kabushiki Kaisha Systems and methods for deriving a motion vector difference in video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1743338B1 (en) * 2004-04-28 2009-09-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
KR100878827B1 (ko) 2005-07-08 2009-01-14 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법
US8340510B2 (en) * 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
US20110235709A1 (en) 2010-03-25 2011-09-29 Apple Inc. Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9565431B2 (en) * 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
US10230970B2 (en) * 2012-07-10 2019-03-12 Cisco Technology, Inc. Decoded picture buffer size management
US9479774B2 (en) * 2012-09-24 2016-10-25 Qualcomm Incorporated Buffering period and recovery point supplemental enhancement information messages
CN104685889B (zh) * 2012-09-28 2016-08-24 瑞典爱立信有限公司 视频序列图像的解码和编码
US9402076B2 (en) 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
US9648335B2 (en) * 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US9819941B2 (en) * 2013-10-10 2017-11-14 Qualcomm Incorporated Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding
WO2015138979A2 (en) * 2014-03-14 2015-09-17 Sharp Laboratories Of America, Inc. Dpb capacity limits
US9794626B2 (en) 2014-05-01 2017-10-17 Qualcomm Incorporated Partitioning schemes in multi-layer video coding
US9699480B2 (en) * 2014-06-13 2017-07-04 Sharp Laboratories Of America, Inc. Level limits
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
BR112021014484A2 (pt) * 2019-02-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Gerenciamento de buffer para cópia de bloco intra em codificação de vídeo
WO2020156545A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Prediction using intra-buffer samples for intra block copy in video coding
WO2020177661A1 (en) * 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Order-based updating for intra block copy in video coding
US20220312042A1 (en) 2019-08-21 2022-09-29 Sharp Kabushiki Kaisha Systems and methods for signaling buffering period information in video coding
EP4032293A4 (en) * 2019-10-07 2022-11-30 Huawei Technologies Co., Ltd. ERROR PREVENTION IN A SUB-BITSTREAM EXTRACTION
US11785205B2 (en) * 2019-12-24 2023-10-10 Qualcomm Incorporated Shared decoder picture buffer for multiple layers
EP4101162A4 (en) * 2020-02-28 2023-03-29 Huawei Technologies Co., Ltd. DECODERS AND RELATED METHODS FOR SIGNALING IMAGE SEPARATION INFORMATION FOR SLICES
US11949863B2 (en) * 2021-08-02 2024-04-02 Tencent America LLC Geometric partition mode with intra block copy

Also Published As

Publication number Publication date
EP4154523A4 (en) 2023-11-22
WO2021252530A1 (en) 2021-12-16
CN115917978A (zh) 2023-04-04
US20230105905A1 (en) 2023-04-06
US20230103059A1 (en) 2023-03-30
US11917172B2 (en) 2024-02-27
KR20230019845A (ko) 2023-02-09
US11856212B2 (en) 2023-12-26
EP4154523A1 (en) 2023-03-29
CN115943627A (zh) 2023-04-07
WO2021252525A1 (en) 2021-12-16
US20240107041A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
JP2023518046A (ja) スケーラブル映像コーディングにおけるランダムアクセスポイントアクセスユニット
JP2023526367A (ja) アクセスユニットにおけるピクチャ情報の信号通知
US20240107041A1 (en) Constraints On Decoding Picture Buffer
JP7506184B2 (ja) 映像コーディングにおけるスケーリングウィンドウ
JP2023529972A (ja) コーディングされた映像における量子化情報の信号通知
WO2021252543A1 (en) Picture timing information signaling in coded video
CN115699731A (zh) 参考图片重采样
JP2023529431A (ja) 映像ピクチャにおけるサブピクチャ数の制約
JP2023526660A (ja) 映像サブビットストリーム抽出処理におけるスケーラブルネスト化されたseiメッセージのハンドリング
JP2023529823A (ja) マルチレイヤ映像ビットストリームのサブビットストリーム抽出
JP7518204B2 (ja) 映像ビットストリーム処理におけるピクチャタイプの制約
JP7506188B2 (ja) コーディングされた映像におけるシーケンスの終端の表示
JP7518207B2 (ja) コーディングされた映像におけるnalユニットの順序
JP7513756B2 (ja) サブレイヤ数制限
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約
JP2023528408A (ja) 一般的な制約情報の信号通知

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507