JP7525639B2 - 変換スキップ残差コーディング - Google Patents

変換スキップ残差コーディング Download PDF

Info

Publication number
JP7525639B2
JP7525639B2 JP2022563487A JP2022563487A JP7525639B2 JP 7525639 B2 JP7525639 B2 JP 7525639B2 JP 2022563487 A JP2022563487 A JP 2022563487A JP 2022563487 A JP2022563487 A JP 2022563487A JP 7525639 B2 JP7525639 B2 JP 7525639B2
Authority
JP
Japan
Prior art keywords
video
picture
syntax element
offset
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022563487A
Other languages
English (en)
Other versions
JP2023522115A (ja
Inventor
イェクイ ワン
リー ジャン
カイ ジャン
ジピン ドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023522115A publication Critical patent/JP2023522115A/ja
Priority to JP2024072903A priority Critical patent/JP2024099764A/ja
Application granted granted Critical
Publication of JP7525639B2 publication Critical patent/JP7525639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本願は、2020年4月19日出願の国際特許出願第PCT/CN2020/085489号の優先権と利益を主張する、2020年4月19日出願の国際特許出願第PCT/CN2021/088056号に基づく。前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。
この特許明細書は、画像および映像コーディングおよび復号に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像を受信及び表示することが可能である接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
本願は、コーディングされた表現の復号に有用な制御情報を使用して、映像のコーディングされた表現を処理するために、映像エンコーダおよびデコーダにより使用され得る技術を開示する。
1つの例示的な態様において、映像復号方法が開示される。この方法は、規則に従って、映像の映像ピクチャと映像のビットストリームとの間での変換を行うことを含む。この規則は、映像ピクチャに適用されるスケーリングウィンドウオフセットのうち、少なくとも1つは負の値を許容することを規定する。
別の例示的な態様において、映像処理方法が開示される。この方法は、規則に従って映像のブロックと映像のビットストリームとの変換を行うことを含む。この規則は、映像単位で変換スキップ残差コーディングが有効か否かを示す構文フラグがビットストリームに存在するか否かを、映像単位での符号データ非表示の使用状況を示す第1の構文要素と映像単位での従属量子化の使用状況を示す第2の構文要素の値に基づいて規定する。
別の例示的な態様において、映像処理方法が開示される。この方法は、規則に従って映像とこの映像のビットストリームとの変換を行うことを含む。この規則は、シーケンスパラメータセットでサポートされるサブブロックベースの結合動きベクトル予測候補の最大数を5から減算して規定する構文要素が0からNの範囲にあることを規定し、Nは5から、変換にサブブロックベースの一時動きベクトル予測子が有効か否かを規定する構文フラグの値を引いた整数とする。
別の例示的な態様において、映像処理方法が開示される。この方法は、1つ以上の映像ピクチャを含む映像との間で変換を行うことを含み、コーディングされた表現はフォーマット規則に準拠し、フォーマット規則は、シーケンスパラメータセットにおける2つ以上の構文フィールドが映像の参照ピクチャ解像度(RPR)の変更を制御することを規定する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上の映像ピクチャを含む映像との変換を行うことを含み、コーディングされた表現はフォーマット規則に準拠し、フォーマット規則は、シーケンスパラメータセットにおける1つの構文フィールドが映像の参照ピクチャ解像度(RPR)の変更を制御することを規定し、フォーマット規則は、単一の構文フィールドの値に関わらず、レイヤ間参照ピクチャの再サンプリングがこの変換に対して許可されることを規定する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを有する1つ以上の映像ピクチャを備える1つ以上のレイヤを含む映像との間で変換を行うことを含み、コーディングされた表現は、フォーマット規則に準拠し、フォーマット規則は、レイヤ間アライメントに対する第1の制約、または、サブピクチャの組合せおよびレイヤ間ピクチャのスケーラビリティに対する第2の制約を規定する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、1つ以上のサブピクチャを有する1つ以上の映像ピクチャを備える1つ以上のレイヤを含む映像との間で変換を行うことを含み、この変換は、レイヤ間参照ピクチャまたは長期参照ピクチャが現在のピクチャの同一位置に配置されたピクチャであることを変換に対して許可されないことを規定するフォーマット規則に準拠する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、複数のピクチャからなる映像と、映像のコーディングされた表現との間で変換を行うことを含み、その変換は、scaling_win_left_offsetの各々の値を規定するルールに準拠している。scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetのそれぞれの値が、同じコーディングされたレイヤ映像シーケンスまたは同じpic_width_in_luma_samplesおよびpic_height_in_luma_samplesの値を有するコーディングされた映像シーケンス内の任意の2つのピクチャに対して同じであることを規定する規則に適合する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、複数のピクチャを含む映像とこの映像のコーディングされた表現との変換を行うことを含み、この変換は、同じアクセスユニット内の現在のピクチャと他のピクチャとでピクチャの解像度またはスケーリングウィンドウが異なる場合、現在のピクチャがランダムアクセスポイント内ピクチャである場合にのみ、レイヤ間予測を許可することを規定する規則に準拠する。
さらに別の例示的な態様において、映像エンコーダ装置が開示される。この映像エンコーダは、上述した方法を実装するように構成されたプロセッサを備える。
さらに別の例示的な態様において、映像デコーダ装置が開示される。この映像デコーダは、上述した方法を実装するように構成されたプロセッサを備える。
さらに別の例示的な態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、本明細書に記載の方法の1つをプロセッサが実行可能なコードの形式で実施する。
これらのおよび他の特徴は、本明細書全体にわたって説明される。
ピクチャのラスタスキャンスライス分割の例を示す図である。ピクチャは、12個のタイルと3個のラスタスキャンスライスとに分割される。 ピクチャの矩形スライス分割の例を示す図である。ピクチャは、24個のタイル(6個のタイル列および4個のタイル行)と9個の矩形スライスとに分割される。 タイルおよび矩形のスライスに分割されたピクチャの例を示す図である。ピクチャは、4つのタイル(2つのタイルの列および2つのタイルの行)と4つの矩形スライスとに分割される。 15個のタイル、24個のスライス、および24個のサブピクチャに分割されたピクチャを示す図である。 映像処理システム例を示すブロック図である。 映像処理装置のブロック図である。 映像処理方法の一例を示すフローチャートである。 本開示のいくつかの実施形態による映像コーディングシステムを示すブロック図である。 本発明のいくつかの実施形態によるエンコーダを示すブロック図である。 本発明のいくつかの実施形態によるデコーダを示すブロック図である。 典型的なサブピクチャに基づくビューポートに依存する360映像コーディング方式の例を示す図である。 サブピクチャおよび空間的スケーラビリティに基づくビューポート依存型360映像コーディング方式を示す図である。 本技術にしたがった映像処理方法を示すフローチャートである。 本技術にしたがった別の映像処理方法を示すフローチャートである。 本技術にしたがったさらに別の映像処理方法を示すフローチャートである。
本明細書では、理解を容易にするために章の見出しを使用しており、その技術および各章に記載された実施形態の適用可能性をその章のみに限定するものではない。さらに、H.266という用語は、ある説明において、理解を容易にするためだけに用いられ、開示される技術の範囲を限定するために用いられたものではない。このように、本明細書で説明される技術は、他の映像コーデックプロトコル及び設計にも適用可能である。本明細書において、編集変更は、VVC規格の現在の草案に対して、取り消されたテキストを示す取り消し線および付加されたテキストを示すハイライト(太字のイタリック体を含む)によってテキストに示す。
1.概要
本明細書は、映像コーディング技術に関する。具体的には、1)参照ピクチャの再サンプリング(RPR)、サブピクチャ、および映像コーディングにおけるスケーラビリティのうちの2つ以上の組み合わせ、2)現在のピクチャと同じ空間的解像度を有する参照ピクチャとの間でのRPRの使用、および3)長期参照ピクチャと同一位置に配置されたピクチャとの組み合わせ、である。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVVC(Versatile Video Coding)をサポートする任意の映像コーディング標準または非標準映像コーデックに適用されてもよい。
2.略語
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CCALF Cross-Component Adaptive Loop Filter(クロス成分適応ループフィルタ)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(復号能力情報)
DPB Decoded Picture Buffer(復号ピクチャバッファ)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的復号リフレッシュ)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時復号リフレッシュ)
ILP Inter-Layer Prediction(インタレイヤ予測)
ILRP Inter-Layer Reference Picture(インタレイヤ参照ピクチャ)
IRAP Intra Random Access Picture(イントラランダムアクセスピクチャ)
JEM Joint Exploration Model(共同探索モデル)
LTRP Long-Term Reference Picture(長期参照ピクチャ)
MCTS Motion-Constrained Tile Sets(動作制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile,Tier and Level(プロファイル、層およびレベル)
PU Picture Unit(ピクチャユニット)
RAP Random Access Point(ランダムアクセスポイント)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STRP Short-Term Reference Picture(短期参照ピクチャ)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
3.初期の協議
映像コーディングする規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4Visualを作り、両団体はH.262/MPEG-2VideoとH.264/MPEG-4AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規格は、時間的予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規格はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規格を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
3.1.HEVCにおけるピクチャ分割スキーム
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、最大転送ユニット(MTU)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
正規のスライスは、H.264/AVCと同様である。各正規のスライスは、それ自体のNALユニットにカプセル化され、スライス境界にわたるインピクチャ予測(イントラサンプル予測、動き情報予測、コーディングモード予測)およびエントロピーコーディング依存性は無効化される。このように、1つの正規のライスを、同じピクチャ内の他の正規のスライスとは独立して再構成することができる(しかし、ループフィルタリング動作のために依然として相互依存性がある場合がある)。
正規のスライスは、並列化に使用できる唯一のツールであり、H.264/AVCでもほぼ同じ形式で使用できる。正規のスライスに基づく並列化は、プロセッサ間通信またはコア間通信をあまり必要としない(予測コーディングされたピクチャを復号するとき、動き補償のためのプロセッサ間またはコア間データ共有を除いて、通常、インピクチャ予測のためにプロセッサ間またはコア間データ共有よりもはるかに重い)。しかしながら、同じ理由で、正規のスライスを使用すると、スライスヘッダのビットコストおよびスライス境界にわたる予測が欠如していることに起因して、コーディングのオーバーヘッドが大きくなる可能性がある。さらに、レギュラースライスは(後述の他のツールとは対照的に)、レギュラースライスのインピクチャの独立性および各レギュラースライスがそれ自体のNALユニットにカプセル化されることに起因して、MTUサイズ要件に適応するようにビットストリームを分割するための鍵となるメカニズムとしても機能する。多くの場合、並列化の目標およびMTUサイズマッチングの目標は、画像におけるスライスレイアウトに矛盾する要求を課す。このような状況を実現したことにより、以下のような並列化ツールが開発された。
従属スライスは、ショートスライスヘッダを有し、ピクチャ内予測を一切中断することなく、ツリーブロック境界でビットストリームを区分することを可能にする。基本的に、従属スライスは、正規のスライスを複数のNALユニットに断片化し、正規のスライス全体の符号化が完了する前に正規のスライスの一部を送出することを可能にすることによって、エンドツーエンド遅延を低減する。
WPPにおいて、ピクチャは、単一行のコーディングするツリーブロック(CTB)に分割される。エントロピー復号および予測は、他の分割におけるCTBからのデータを使用することを許可される。CTB行の並列復号によって並列処理が可能であり、1つのCTB行の復号の開始が2つのCTBだけ遅延され、それによって、対象のCTBが復号される前に、対象のCTBの上および右のCTBに関するデータが確実に利用可能になる。この互い違いのスタート(グラフで表される場合、波面のように見える)を使用することで、ピクチャがCTB行を含む数までのプロセッサ/コアを用いて並列化することが可能である。1つのインピクチャの近傍のツリーブロック行間のインピクチャ予測が許可されるので、インピクチャ予測を可能にするために必要なプロセッサ間/コア間通信は十分となり得る。WPP分割は、適用されない場合と比較して、追加のNALユニットの生成をもたらさず、従って、WPPは、MTUサイズマッチングのためのツールではない。しかし、MTUサイズのマッチングが必要な場合、一定のコーディングするオーバーヘッドを伴って、WPPで正規のスライスを使用することができる。
タイルは、ピクチャをタイルの列および行に分割する水平および垂直境界を規定する。タイルの列は、ピクチャの上から下へと延びている。同様に、タイル行は、ピクチャの左から右に延びる。ピクチャにおけるタイルの数は、単にタイル列の数にタイル行の数を乗算することで得ることができる。
CTBのスキャン順序は、タイル内でローカルになるように(タイルのCTBラスタスキャンの順に)変更され、その後、ピクチャのタイルラスタスキャンの順で、次のタイルの左上のCTBを復号する。正規のスライスと同様に、タイルは、インピクチャ予測依存性およびエントロピー復号依存性を損なう。しかしながら、これらは、個々のNALユニット(この点でWPPと同じ)に含まれる必要がなく、従って、タイルは、MTUサイズマッチングに使用できない。各タイルは、1つのプロセッサ/コアによって処理されてもよく、処理ユニット間のインピクチャ予測に必要なプロセッサ間/コア間通信では、近傍タイルの復号は、スライスが2つ以上のタイルにまたがっている場合、共有スライスヘッダの伝達と、再構築されたサンプルおよびメタデータのループフィルタリングに関連する共有とに限定される。1つのスライスに2つ以上のタイルまたはWPPセグメントが含まれる場合、該スライスにおける第1のもの以外の各タイルまたはWPPセグメントのエントリポイントバイトオフセットが、スライスヘッダにおいて信号通知される。
説明を簡単にするために、HEVCにおいては、4つの異なるピクチャ分割方式の適用に関する制限が規定されている。所与のコーディングされた映像シーケンスは、HEVCに規定されたプロファイルのほとんどについて、タイルおよび波面の両方を含むことができない。各スライスおよびタイルについて、以下の条件のいずれかまたは両方を満たさなければならない。1)1つのスライスにおけるすべてのコーディングされたツリーブロックは、同じタイルに属し、2)1つのタイルにおけるすべてのコーディングされたツリーブロックは、同じスライスに属する。最後に、1つの波面(wavefront)セグメントはちょうど1つのCTB行を含み、WPPが使用されている際に、1つのスライスが1つのCTB行内で始まる場合、同じCTB行で終わらなければならない。
最近のHEVCの修正により、HEVCは、3つのMCTS関連SEIメッセージ、即ち、時間MCTS SEIメッセージ、MCTS抽出情報セットSEIメッセージ、およびMCTS抽出情報ネスティングSEIメッセージを特定する。
時間的MCTS SEIメッセージは、ビットストリーム中にMCTSが存在することを示し、MCTSに信号送信する。各MCTSにおいて、動きベクトルは、MCTS内部のフルサンプル位置と、補間のためにMCTS内部のフルサンプル位置のみを必要とするフラクショナルサンプル位置とを指すように制限され、且つ、MCTS外部のブロックから導出された時間動きベクトル予測のための動きベクトル候補の使用は許可されない。このように、各MCTSは、MCTSに含まれていないタイルが存在せず、独立して復号されてもよい。
MCTS抽出情報セットSEIメッセージは、MCTSサブビットストリーム抽出(SEIメッセージの意味の一部として規定される)において使用され得る補足情報を提供し、MCTSセットのための適合ビットストリームを生成する。この情報は、複数の抽出情報セットを含み、各抽出情報セットは、複数のMCTSセットを定義し、MCTSサブビットストリーム抽出処理において使用される代替VPS、SPS、およびPPSのRBSPバイトを含む。MCTSサブビットストリーム抽出プロセスによってサブビットストリームを抽出する場合、パラメータセット(VPS,SPS,PPS)を書き換えるかまたは置き換える必要があり、スライスヘッダを若干更新する必要があり、その理由は、スライスアドレスに関連する構文要素の1つまたはすべて(first_slice_segment_in_pic_flagおよびslice_segment_addressを含む)が異なる値となる必要があるためである。
3.2.VVCにおけるピクチャの分割
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
1つのスライスは、1つのピクチャのタイル内において、整数個の完全なタイルまたは整数個の連続した完全なCTU行を含む。
スライスの2つのモード、即ちラスタスキャンスライスモードおよび矩形スライスモードに対応している。ラスタスキャンスライスモードにおいて、1つのスライスは、1つのピクチャのタイルラスタスキャンにおける1つの完全なタイルのシーケンスを含む。矩形スライスモードにおいて、1つのスライスは、ピクチャの矩形領域を集合的に形成する複数の完全なタイル、またはピクチャの矩形領域を集合的に形成する1つのタイルの複数の連続した完全なCTU行のいずれかを含む。矩形スライス内のタイルを、そのスライスに対応する矩形領域内で、タイルラスタスキャンの順にスキャンする。
1つのサブピクチャは、1つのピクチャの矩形領域を集合的に覆う1または複数のスライスを含む。
図1は、ピクチャのラスタスキャンスライス分割の例を示し、ピクチャは、12個のタイルと3個のラスタスキャンスライスとに分割される。
図2は、ピクチャの矩形スライス分割の例を示し、ピクチャは、24個のタイル(6個のタイル列および4個のタイル行)と9個の矩形スライスとに分割される。
図3は、タイルおよび矩形のスライスに分割されたピクチャの例を示し、ピクチャは、4つのタイル(2つのタイルの列および2つのタイルの行)と4つの矩形スライスとに分割される。
図4は、1つのピクチャをサブピクチャで分割する例を示し、1つのピクチャは、18個のタイルに分割され、左側の12個が、4×4のCTUの1つのスライスをそれぞれ含み、右側の6個のタイルが、2×2のCTUの垂直方向に積み重ねられたスライスをそれぞれ含み、全体で24個のスライス及び24個の異なる寸法のサブピクチャとなる(各スライスは、1つのサブピクチャ)。
3.3.シーケンス内のピクチャ解像度の変更
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされるIRAPピクチャを符号化せずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャが復号されている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング(RPR)と称する。
スケーリング比は、1/2(参照ピクチャから現在のピクチャへのダウンサンプリングの2倍)以上8(8倍のアップサンプリング)以下に制限される。参照ピクチャと現在のピクチャとの間の様々なスケーリング比に対処するために、周波数カットオフが異なる3つの再サンプリングフィルタセットを規定する。3つの組の再サンプリングフィルタは、それぞれ、1/2~1/1.75、1/1.75~1/1.25、および1/1.25~8の範囲のスケーリング比に適用される。各組の再サンプリングフィルタは、動き補償補間フィルタの場合と同様に、輝度に対して16個のフェーズを有し、彩度に対して32個のフェーズを有する。実際には、通常のMC補間処理は、1/1.25~8の範囲のスケーリング比を有する再サンプリング処理の特殊な場合である。水平および垂直スケーリング比は、ピクチャの幅および高さ、並びに参照ピクチャおよび現在のピクチャに対して規定された左、右、上および下のスケーリングオフセットに基づいて導出される。
HEVCとは異なる、この特徴をサポートするためのVVC設計の他の態様は、i)SPSの代わりにPPSにおいてピクチャ解像度および対応する適合性ウィンドウを信号通知すること、SPSにおいて最大ピクチャ解像度を信号通知すること、ii)単レイヤービットストリームの場合、各ピクチャ記憶装置(1つの復号ピクチャを記憶するためのDPBにおける1つのスロット)は、最大ピクチャ解像度を有する復号ピクチャを記憶するために必要なバッファサイズを占めることを含む。
3.4.全般およびVVCにおけるスケーラブル映像コーディング(SVC)
スケーラブル映像コーディング(SVC、時には、映像コーディングにおけるスケーラビリティとも呼ばれる)は、ベースレイヤ(BL)(時には、参照レイヤ(RL)と呼ばれる)映像コーディングを呼ばれることもあり、1つ以上のスケーラブルエンハンスメントレイヤ(EL)が使用される。SVCにおいて、ベースレイヤは、基本品質レベルの映像データを担持することができる。1つ以上のエンハンスメントレイヤは、例えば、より高い空間的、時間的、および/または信号対雑音(SNR)レベルをサポートするように、追加の映像データを担持することができる。エンハンスメントレイヤは、前の、符号化されたレイヤに対して定義されてもよい。例えば、下層がBLとして機能し、上層がELとして機能することができる。中間レイヤは、ELまたはRLのいずれか、またはその両方として機能することができる。例えば、中間レイヤ(例えば、最下レイヤでも最上レイヤでもないレイヤ)は、中間レイヤの下のレイヤ、例えば、ベースレイヤまたは任意の介在する増強レイヤのためのELであってもよく、同時に、中間レイヤの上の1つ以上の増強レイヤのためのRLとしての役割を果たす。同様に、HEVC規格のマルチビューまたは3D拡張では、複数のビューが存在してもよく、1つのビューの情報を利用して別のビューの情報をコーディング(例えば、符号化または復号)することができる(例えば、動き推定、動きベクトル予測および/または他の冗長性)。
SVCにおいて、エンコーダまたはデコーダで使用されるパラメータは、それらを利用することができるコーディングレベル(例えば、映像レベル、シーケンスレベル、ピクチャレベル、スライスレベル等)に基づいてパラメータセットにグループ分けされる。例えば、ビットストリームにおける異なるレイヤのコーディングされた映像シーケンスによって利用できるパラメータは、映像パラメータセット(VPS)に含まれてもよく、コーディングされた映像シーケンスにおける1つ以上のピクチャによって利用されるパラメータは、シーケンスパラメータセット(SPS)に含まれてもよい。同様に、1つのピクチャの1つ以上のスライスで利用されるパラメータは、ピクチャパラメータセット(PPS)に含まれてもよく、1つのスライスに固有の他のパラメータは、スライスヘッダに含まれてもよい。同様に、特定のレイヤが所与の時間にどのパラメータセット(複数可)を使用しているかの指示は、様々なコーディングレベルで提供されてもよい。
VVCにおける参照ピクチャリサンプリング(RPR)のサポートにより、空間的スケーラビリティサポートに必要なアップサンプリングはRPRアップサンプリングフィルタを使用するだけでよいので、追加の信号処理レベルのコーディングツールを必要とせずに、複数のレイヤ、例えば、VVCにおけるSDおよびHD解像度の2つのレイヤを含むビットストリームをサポートするように設計することができる。それにもかかわらず、スケーラビリティサポートのためには、高レベルの構文変更(スケーラビリティをサポートしない場合と比較して)が必要である。スケーラビリティサポートは、VVCバージョン1に規定されている。AVCおよびHEVCの拡張を含む、任意の以前の映像コーディング規格におけるスケーラビリティサポートとは異なり、VVCのスケーラビリティの設計は、単層デコーダの設計にできるだけ適したものにされてきた。多層ビットストリームの復号能力は、ビットストリームに1つのレイヤしかなかったかの如く規定される。例えば、DPBサイズのような復号能力は、復号されるビットストリームのレイヤの数に依存しないようで規定される。基本的に、単層ビットストリームのために設計されたデコーダは、多層ビットストリームを復号することができるようにするために、多くの変更を必要としない。AVCおよびHEVCの多層拡張の設計と比較して、HLSの態様は、ある程度の柔軟性を犠牲にして大幅に簡略化されてきた。例えば、IRAP AUは、CVSに存在する各レイヤの画像を含むことが必要である。
3.5.サブピクチャに基づくビューポート依存の360°映像ストリーミング
360°映像のストリーミング、すなわち、全方向性映像のストリーミングにおいて、任意の特定の瞬間に、全方向性映像球体全体のサブセット(例えば、現在のビューポート)のみがユーザにレンダリングされ、一方、ユーザは、自分の頭をいつでも回して視線の向きを変更し、その結果、現在のビューポートを変更することができる。クライアント側が現在のビューポートで覆われていない領域を少なくともある程度低品質に表現し、かつユーザにレンダリングする準備ができていることが望ましいが、ユーザが突然その視線方向を球面上の任意の場所に変えた場合に備えて、すぐにユーザにレンダリングされている現在のビューポートに対してのみ、全方向性映像の高品質表現が必要となる。全方位映像全体の高品質表現を適切な粒度でサブピクチャに分割することにより、このような最適化が有効化される。VVCを使用して、2つの表現は、互いに独立した2つのレイヤとして符号化され得る。
典型的なサブピクチャに基づくビューポートに依存する360°の映像配信方式が図11に示されており、ここでは、フル映像のより高い解像度の表現がサブピクチャからなり、一方、フル映像のより低い解像度の表現は、サブピクチャを使用せず、より高い解像度の表現よりも頻度の低いランダムアクセスポイントでコーディングできる。クライアントは低解像度のフル映像を受信し、より高い解像度の映像については、現在のビューポートをカバーするサブピクチャのみを受信して復号する。
3.6.パラメータセット
AVC、HEVC、VVCはパラメータ集合を規定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
SPSは、シーケンスレベルのヘッダ情報を搬送するように設計され、PPSは、頻繁に変化しないピクチャレベルのヘッダ情報を搬送するように設計された。SPSおよびPPSを用いると、シーケンスまたはピクチャごとに頻繁に変化する情報を繰り返す必要がないので、この情報の冗長な信号通知を回避することができる。さらに、SPSおよびPPSを使用することは、重要なヘッダ情報の帯域外伝送を有効化し、それにより、冗長な伝送の必要性を回避するだけでなく、誤り耐性を改善する。
VPSは、マルチレイヤのビットストリームのすべてのレイヤに共通であるシーケンスレベルのヘッダ情報を搬送するために導入された。
APSは、コーディングするためにかなりのビットを必要とし、複数のピクチャによって共有され得る、このようなピクチャレベルまたはスライスレベルの情報を搬送するために導入された。そして、シーケンスにおいて、非常に多くの異なる変形例が存在し得る。
以下は、いくつかの実施形態におけるSPS/PPS/APSの意味論である。
sps_seq_parameter_set_idは、他の構文要素が参照するSPSの識別子を提供する。
SPS NALユニットは、nuh_layer_id値に関わらず、sps_seq_parameter_set_idの同じ値空間を共有する。
spsLayerIdを特定のSPS NALユニットのnuh_layer_idの値とし、vclLayerIdを特定のVCL NALユニットのnuh_layer_idの値とする。特定のVCL NALユニットは、spsLayerIdがvclLayerId以下であり、かつ復号されるOLSが、nuh_layer_idがspsLayerIdと等しい層とnuh_layer_idがvclLayerIdと等しい層の双方を含む限り、特定のSPS NALユニットを参照しないものとする。
pps_pic_parameter_set_idは、他の構文要素が参照するPPSを示す。pps_pic_parameter_set_idの値は、0から63の範囲内の値である。
PPS NALユニットは、nuh_layer_id値に関わらず、pps_pic_parameter_set_idの同じ値空間を共有する。
ppsLayerIdを特定のPPS NALユニットのnuh_layer_idの値とし、vclLayerIdを特定のVCL NALユニットのnuh_layer_idの値とする。特定のVCL NALユニットは、ppsLayerIdがvclLayerId以下であり、かつ復号されるOLSが、nuh_layer_idがppsLayerIdと等しい層とnuh_layer_idがvclLayerIdと等しい層の双方を含む限り、特定のPPS NALユニットを参照しないものとする。
adaptation_parameter_set_idは、他の構文要素が参照するAPSの識別子を提供する。
aps_params_typeがALF_APSまたはSCALING_APSに等しい場合、adaptation_parameter_set_idの値は0から7の範囲に含まれるものとする。
aps_params_typeがLMCS_APSに等しい場合、adaptation_parameter_set_idの値は0から3の範囲にあるものとする。
apsLayerIdを特定のAPS NALユニットのnuh_layer_idの値とし、vclLayerIdを特定のVCL NALユニットのnuh_layer_idの値とする。特定のVCL NALユニットは、apsLayerIdがvclLayerId以下であり、かつ復号されるOLSが、nuh_layer_idがapsLayerIdと等しい層とnuh_layer_idがvclLayerIdと等しい層の双方を含む限り、特定のAPS NALユニットを参照しないものとする。
3.7.サブビットストリーム抽出処理:
この処理への入力は、ビットストリームinBitstream、ターゲットOLSインデックスtargetOlsIdx、および目標最高TemporalId値tIdTargetである。
この処理の出力は、サブビットストリームoutBitstreamである。
入力ビットストリームに対するビットストリーム適合性の要件は、以下の条件のすべてを満たす任意の出力サブビットストリームが適合ビットストリームであるものとする。
-出力サブビットストリームは、VPSで規定されたOLSのリストのインデックスと等しいtargetOlsIdx、および0から6の範囲内の任意の値であるtIdTargetを入力として、本項で規定した処理の出力である。
-出力サブビットストリームは、LayerIdInOls[targetolsIdx]における各々のnuh_layer_id値であるnuh_layer_idを有する少なくとも1つのVCL NALユニットを含む。
-出力サブビットストリームは、tIdTargetであるTemporalIdを有する少なくとも1つのVCL NALユニットを含む。
注-適合するビットストリームは、TemporalIdが0に等しい1つ以上のコーディングされたスライスNALユニットを含むが、nuh_layer_idが0に等しいコーディングされたスライスNALユニットを含む必要はない。
出力サブビットストリームoutBitstreamは、以下のように導出される。
-ビットストリームoutBitstreamは、ビットストリームinBitstreamと同一になるように設定される。
-tIdTargetよりも大きいTemporalIdを有するすべてのNALユニットをoutBitstreamから削除する。
-nal_unit_typeがVPS_NUT、DCI_NUT、およびEOB_NUTのいずれとも等しくなく、nuh_layer_idがリストLayerIdInOls[targetOlsIdx]に含まれないすべてのNALユニットをoutBitstreamから削除する。
-以下のすべての条件が真であるすべてのNALユニットをoutBitstreamから削除する。
-nal_unit_typeは、IDR_W_RADL、IDR_N_LP、またはCRA_NUTと等しくない。
-nuh_layer_idは、0からNumLayersInOls[targetOlsIdx]-1の範囲内のjの値に対して、LayerIdInOls[targetOlsIdx][j]と等しい。
-TemporalIdはNumSubLayersInLayerInOLS[targetOlsIdx][j]以上である。
-1に等しいnesting_ols_flagおよび、NestingOlsIdx[i]がtargetOlsIdxと等しいような、iの値が0からnesting_num_olss_minus1の範囲内にないスケーラブルネスティングSEIメッセージを含むすべてのSEI NALユニットをoutBitstreamから削除する。
-LayerIdInOls[targetOlsIdx]がビットストリーム内のすべてのNALユニットのnuh_layer_idのすべての値を含まない場合、以下が適用される。
-payloadTypeが0(バッファリング時間)または130(復号ユニット情報)である非スケーラブルネスト型SEIメッセージを含むすべてのSEI NALユニットをoutBitstreamから削除する。
-general_same_pic_timing_in_all_ols_flagが0に等しいとき、payloadTypeが1(ピクチャタイミング)に等しい非スケーラブルネスト型SEIメッセージを含むすべてのSEI NALユニットをoutBitstreamから削除する。
-outBitstreamが、nesting_ols_flagが1に等しく、outBitstream(NestingOlsIdx[i]がtargetOlsIdxに等しい)に適用可能なスケーラブルネスティングSEIメッセージを含むSEI NALユニットを含む場合、以下が適用される。
-same_pic_timing_within_ols_flagが0に等しい場合、スケーラブルネスティングSEIメッセージからpayloadTypeが0(バッファリング時間)、1(ピクチャタイミング)、130(復号ユニット情報)のいずれかの適切な非スケーラブルネスティングSEIメッセージを取り出し、それらのSEIメッセージをoutBitstream内に含める。
-そうでない場合(same_pic_timing_within_ols_flagが1に等しい)、スケーラブルネストSEIメッセージからpayloadTypeが0(バッファリング時間)または130(復号ユニット情報)に等しい適切な非スケーラブルネストSEIメッセージを抽出し、それらのSEIメッセージをoutBitstream内に含める。
4.開示される技術的解決策によって解決される技術課題
最近のVVCテキストにおける既存の設計は、以下の課題を有する。
1)現在のVVC設計は、図11に示すように、360映像の典型的なコーディング方式をサポートする。しかしながら、現在のVVC設計においてスケーラビリティがサポートされているが、図12に示されるような改良された360映像コーディング方式はサポートされていない。図11に示されたアプローチと比較した唯一の相違は、図12に示されたアプローチに対してレイヤ間予測(ILP)が適用されることである。
VVC草案における以下の2つの場所は、サブピクチャと空間的スケーラビリティとを組み合わせて使用することを許可していない。
a.VVCにおける空間的スケーラビリティ設計は、RPRの規定徴に依存する。しかしながら、RPRとサブピクチャとの組み合わせは、現在、以下の意味論の制約によって許可されていない。
res_change_in_clvs_allowed_flagが1に等しい場合は、subpic_info_present_flagの値は0に等しいものとする。
その結果、上位レイヤが参照するSPSに対しては、上記の制約が、subpic_info_present_flagを1に設定すること(1ピクチャ当たり複数のサブピクチャを使用すること)、かつ、同時に、res_change_in_clvs_allowed_flagを1に設定すること(ILPによる空間的スケーラビリティのために必要であるRPRを有効化ること)を許可しないため、このコーディング方式は、許可されない。
b.現在のVVC草案は、サブピクチャとスケーラビリティとの組み合わせに関して、以下の制約を有する。
subpic_treated_as_pic_flag[i]が1に等しい場合、出力レイヤとしてi番目のサブピクチャを包含するレイヤを含むOLSにおける各出力レイヤおよびその参照レイヤについて、以下のすべての条件が真であることが、ビットストリーム適合性の要件である。
-出力レイヤおよびその参照レイヤにおけるすべてのピクチャは、pic_width_in_luma_samplesの値が同じであり、pic_height_in_luma_samplesの値が同じであるものとする。
-出力レイヤおよびその参照レイヤが参照するすべてのSPSは、同じsps_num_subpics_minus1の値を有し、かつ0からsps_num_subpics_minus1の範囲内にある各値jについて、それぞれ同じsubpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、およびloop_filter_across_subpic_enabled_flag[j]の値を有するものとする。
-出力レイヤの各アクセスユニットにおけるすべてのピクチャは、その参照レイヤとともに、0からsps_num_subpics_minus1の範囲内にあるjの値について、同じSubpicIdVal[j]の値を有するものとする。
この上述の制約は、基本的に、サブピクチャとSNRスケーラビリティとの制限された組み合わせ以外の、サブピクチャとILPとのスケーラビリティとの任意の他の組み合わせを許可しない。ここで、各従属ツリー内のレイヤは、同じ空間的解像度および同じサブピクチャレイアウトを有する必要がある。
2)subpic_treated_as_pic_flag[i]が1に等しい場合、i番目のサブピクチャの境界は、動き補償におけるピクチャの境界として扱われる。このような処理は、VVC草案テキストにおいて、動き補償に関する復号処理においてあるクリッピング演算を適用することで実現される。しかしながら、図12に示される改善されたコーディング方式の場合、下位レイヤは完全に復号器に利用可能であるため、i番目のサブピクチャに対応する領域だけでなく、このようなクリッピングを適用する必要がなく、不必要なコーディング効率の低下を回避する。
3)図12に示された改良されたコーディング方式のサポートを考慮しなければ、上述したようなサブピクチャの組み合わせおよびスケーラビリティに関する既存の制約は、以下の課題を有する(この記載は課題1bの記載に含まれる)。
a.この制約は、i番目のサブピクチャを含むレイヤがOLSの出力レイヤでない場合にも適用されるべきである。1つのレイヤがOLSの出力レイヤであるかどうかを考慮しない方法で、制約全体を特定すべきである。
b.subpic_treated_as_pic_flag[i]の値をレイヤ間で整列させるための要件を含めるべきであり、そうでない場合、レイヤ間で同じインデックスを有するサブピクチャシーケンスを抽出することは不可能であろう。
c.subpic_treated_as_pic_flag[i]]が1に等しく、サブピクチャシーケンスが抽出可能である限り、loop_filter_across_subpic_enabled_flag[i]の値をレイヤ間で整列させるための要件は、このフラグの値に関わらず除外されるべきである。loop_filter_across_subpic_enabled_flag[i]の値の設定は、エンコーダが、単一の抽出可能なサブピクチャシーケンスの品質と抽出可能なサブピクチャシーケンスのセットの品質とをトレードオフすることを決定するために、2つのフラグが互いに独立して信号通知される理由と同様に、行わなければならない。
d.sps_num_subpics_minus1が0より大きい場合にのみ、この制約全体を適用すべきである。これにより、サブピクチャごとに1つのサブピクチャが存在するすべての場合がこの制約によって意図せずに覆われることを回避する。
e.制約が適用される時間的範囲、例えばAUのセットを明確に特定することが必要である。
f.1つのピクチャ当たり複数のサブピクチャが存在する場合に、ITRPのRPRが必要とされないことを確認するために、レイヤ間で整列される各スケーリングウィンドウパラメータscaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値に対する要件が含まれるべきである。
4)現在のピクチャの同一位置に配置されたピクチャは、現在のピクチャと同じレイヤの長期参照ピクチャ(LTRP)であってもよく、レイヤ間参照ピクチャ(ILRP)であってもよく、例えば、現在のピクチャとは異なるレイヤの参照ピクチャであってもよい。しかし、いずれの場合も、POCに基づく動きベクトルのスケーリングは適用されず、したがって、これを可能にすることに起因するコーディング性能は非常に低いと予想される。その結果、現在のピクチャのために同一位置に配置されたピクチャがLTRPまたはILRPであることを許可しないほうがよい。
5)現在、CLVSにおいて同じ空間的解像度を有するピクチャは、異なるスケーリングウィンドウを有することができる。しかしながら、そうでない場合、RPRのためのSPSフラグおよびRPRのための一般的な制約フラグを使用してRPRツールを完全に無効化することができないので、このようなことは許可されない。
6)現在、サブビットストリーム抽出を行う際、現在の/ターゲットOLSに含まれない層のパラメータセット(SPS/PPS/VPS)も抽出ビットストリームに含めることが可能である。しかしながら、layerAとlayerBの双方を含むVPSに定義されたOLSがあるかぎり、layerAとlayerBが復号される現在のOLSに含まれていなくても、layerAのスライスがlayerBのパラメータセットを参照することは設計上の意図ではない。
7)APSの許容数は、APSの種類に依存する。しかしながら、APS IDの信号通知は、不要なビットを浪費する可能性がある許可されたAPSに関わらずu(5)に固定される。
8)現在、スケーリングウィンドウオフセットは正の値として通知されるため、正の垂直および水平オフセットのみがサポートされる。しかしながら、負のスケーリングウィンドウオフセットの信号通知を許可することで、参照するピクチャにスケーリングウィンドウが含まれない場合でも、負の垂直および水平オフセットを導出することができるようにすることができる。さらに、1より大きなスケーリングファクターを許可することは、360°映像コーディングにおけるサブピクチャ使用ケースにも有益であり、例えば、ベースレイヤに360°映像コンテンツ全体を低解像度でコーディングし、後で特定のビューポート(ベースレイヤのピクチャからのズームイン等)を高解像度でコーディングされた特定のビューポートでエンハンスメントを行う。しかしながら、この機能をサポートするためには、現在の仕様のいくつかの箇所を修正する必要がある。
9)現在、変換スキップ残差コーディング(TSRC)が有効の場合、符号データ非表示(SDH)や従属量子化(DQ)も使用できるが、これは無損失性コーディングの概念に反する。TSRCは、変換ブロックのすべてのスキャン位置の量子化インデックスがコーディングされるモードである。SDHは、0でないインデックスに対する符号のコーディングを省略する技術である。DQは、サンプルの量子化が、前のサンプルの状態に依存するモードである。
5.技術的解決策および実施例の一覧
上述した課題等を解決するために、以下に示す方法が開示されている。これらの項目は、一般的な概念を説明するための例であり、狭義に解釈されるべきではない。さらに、これらの項目は、個々に適用されてもよく、または任意の方法で組み合わされてもよい。
1)課題1aを解決するために、RPRを制御するための1つのSPSフラグ(例えば、現在のVVC草案におけるように、res_change_in_clvs_allowed_flag)だけを有する代わりに、複数の(例えば、2つの)SPSフラグを規定および/または信号通知してもよい。
a.例えば、第1のフラグ(例えば、ref_pic_resampling_enabled_flag)は、1つ以上のピクチャの復号にRPRの使用が必要があるかどうかを規定する一方、第2のフラグ(例えば、res_change_in_clvs_allowed_flag)は、CLVS内でピクチャ解像度の変更が許容されるかどうかを規定する。
b.さらに、代替的に、第2のフラグは、第1のフラグが1つ以上のピクチャの復号にRPRの使用が必要となる可能性があることを規定した場合にのみ信号通知される。さらに、信号が送信されていない場合、第2のフラグの値は、CLVS内でピクチャの解像度を変更することが許可されていないことを示す値であると推測される。
i. 代替的に、2つのフラグは互いに依存せず、信号通知される。
c.代替的に、第1および第2のフラグの各々に対して1つの一般的な制約フラグがあるように、さらにもう1つの一般的な制約フラグを追加する。
d.さらに、res_change_in_clvs_allowed_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可されないが、ref_pic_resampling_enabled_flagが1に等しいピクチャ当たり複数のサブピクチャの組み合わせは許可される。
Figure 0007525639000001

i. 一例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべてのフラグは、VPSによって規定されたすべてのレイヤに適用される。
ii. 別の例において、VPSにおける複数(例えば、2つ)のフラグのうちの1つまたはすべては、VPSにおいて信号通知される複数のインスタンスをそれぞれ有することができ、各インスタンスは、1つの従属ツリーにおけるすべてのレイヤに適用される。
g. 一例において、複数のフラグの各々は、l個のビットu(1)を使用して、符号なしの整数としてコーディングされる。
h. 代替的に、1つの構文要素に非バイナリ値を信号通知してもよく、例えば、SPS/VPSにおいて、復号処理におけるRPRの使用およびCLVS内のピクチャ解像度の変更の許可を規定する。
i. 一例において、構文要素の値が0に等しい場合、それは、1つ以上のピクチャの復号にRPRの使用が必要でないことを規定する。
ii. 一例において、構文要素の値が1に等しい場合、この構文要素は、1つ以上のピクチャの復号にRPRの使用が必要とされ得る一方、CLVS内でのピクチャ解像度の変更が許可されないことを規定する。
iii. 一例において、構文要素の値が2に等しい場合、それは、ピクチャ解像度がCLVS内で変化することを許可されている間、1つ以上のピクチャの復号にRPRの使用が必要とされ得ることを規定する。
iv. さらに、代替的に、構文要素をどのように信号通知するかは、レイヤ間予測が許可されるかどうかに依存してもよい。
v. 一例において、構文要素は、ue(v)を使用してコーディングされ、左ビットが1つ目の、符号なしの整数の0次の指数ゴロムコーディングされた構文要素を示す。
vi. 別の例において、構文要素は、Nビットu(N)を使用して符号なしの整数としてコーディングされ、例えば、Nは2に等しい。
2)代替的に、または課題1aを解決するための項目1に加え、依然として1つのフラグ、例えばres_change_in_clvs_allowed_flagだけを有する必要があるが、フラグの値に関わらず、レイヤ間参照ピクチャの再サンプリングが許可されるように、意味論を変更してもよい。
Figure 0007525639000002

b.この変更により、res_change_in_clvs_allowed_flagが0に等しい場合であっても、1つのサブピクチャ/ピクチャの復号は、依然としてレイヤ間参照ピクチャ(ILRP)のためにRPRを使用することができる。
3)課題1bを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約は、レイヤ間アライメント制限を現在のレイヤおよび現在のレイヤに依存するすべての上位レイヤにのみを課され、現在のレイヤまたは下位レイヤに依存しない上位レイヤには課すことはしない。
a.代替的に、現在のレイヤおよび現在のレイヤよりも高いすべてのレイヤにレイヤ間アライメント制限のみを課すように、制約を更新する。
b.代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての上位レイヤとに、クロスレイヤアライメント制限のみを課すように、制約を更新する。
c.代替的に、現在のレイヤおよび現在のレイヤの参照レイヤであるすべての下レイヤにクロスレイヤアライメント制限のみを課すように制約を更新する。
d.代替的に、現在のレイヤおよび現在のレイヤよりも低いすべてのレイヤにレイヤ間アライメント制限のみを課すように、この制約を更新する。
e.代替的に、現在のレイヤと、現在のレイヤを含む各OLSにおけるすべての下レイヤとに、レイヤ間アライメント制限のみを課すように、制約を更新する。
f.代替的に、最上レイヤよりも低いすべてのレイヤにレイヤ間アライメント制限のみを課すように制約を更新する。
g.代替的に、最下レイヤよりも高いすべてのレイヤにレイヤ間アライメント制限のみを課すように制約を更新する。
4)課題2を解決するために、1つ以上の復号処理をピクチャの境界として扱うための動き補償/動き予測におけるサブピクチャの境界のインター予測関連処理におけるクリッピング演算を含む1つ以上の復号処理(例えば、8.5.2.11項の時間的輝度動きベクトル予測の導出処理、8.5.3.2.2項の輝度サンプル双線形補間処理、8.5.3.2項の輝度サンプル双線形補間処理、8.5.3.3項のサブブロックに基づく時間的マージ候補の導出処理、8.5.4項のサブブロックに基づく時間的マージベース動きデータベースの導出処理、8.5.6項の構築されたアフィン制御点動きベクトル合併候補の導出処理、8.5.6.3.2項の輝度サンプル補間フィルタリング処理、8.5.6.3.3項の輝度整数サンプルフェッチ処理、および8.5.6.3.4項の彩度サンプル補間処理)のうち、以下の変更が適用される。
a.一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、且つ参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい場合、クリッピング演算が適用され、そうでない場合、は適用されないように変更される。
i.代替的に、ピクチャの同一位置に配置されたピクチャがILRPであることが許可されない場合、上述したように、参照ピクチャrefPicLXが同一位置に配置されたピクチャでない処理のみを変更し、参照ピクチャrefPicLXが同一位置に配置されたピクチャである処理は変更しない。
b.一例において、処理は、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、かつ、現在のスライスのnal_unit_typeの値がIDR_W_RADL、IDR_N_LP、またはCRA_NUTに等しい場合にはクリッピング演算が適用され、そうでない場合には適用されないように変更される。同時に、ILPは、IRAPピクチャのみのコーディングを許可される。
c.一例において、これらの復号処理に対して何の変更も行われず、例えば、subpic_treated_as_pic_flag[CurrSubpicIdx]が1に等しく、それ以外の場合、現在のVVCテキストと同様に、クリッピング演算が適用される。
5)課題3aを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約を更新し、この制約によって、各従属ツリーにおけるすべてのレイヤにレイヤ間アライメント制限が課せられる。従属ツリーは、特定のレイヤを含み、すべてのレイヤは特定のレイヤを参照レイヤとして有し、すべてのレイヤの参照レイヤは特定のレイヤのうちのいずれか1つのレイヤがOLSの出力レイヤであるかどうかに依存しない。
6)課題3bを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を、subpic_treated_as_pic_flag[i]の値にクロスレイヤアライメント制限を課すように更新する。
7)課題3cを解決するために、ILPとのサブピクチャおよびスケーラビリティの組み合わせに関する制約を、loop_filter_across_subpic_enabled_flag[i]の値にクロスレイヤアライメント制限を課さないように更新する。
8)課題3dを解決するために、sps_num_subpics_minus1が0に等しい場合、制約が適用されないように、サブピクチャの組み合わせおよびILPによるスケーラビリティの制約を更新する。
a.代替的に、subpic_info_present_flagが0に等しい場合、制約が適用されないように制約を更新する。
9)課題3eを解決するために、サブピクチャの組み合わせおよびILPによるスケーラビリティに関する制約を更新し、この制約によって、ある種のAUの対象のセットにおけるピクチャにレイヤ間アライメント制限が課せられる。
a.一例において、SPSを参照する現在のレイヤの各CLVSについて、AUの対象のセットtargetAuSetを、復号順にCLVSの最初のピクチャを含むAUから始まって復号順にCLVSの最後のピクチャを含むAUまでのすべてのAUとする。
10)課題3fを解決するために、ILPによるサブピクチャの組み合わせおよびスケーラビリティの制約をスケーリングウィンドウパラメータscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値に対するレイヤ間アライメント制限を課すように更新する。
11)課題4を解決するために、現在のピクチャのための同一位置に配置されたピクチャは、長期参照ピクチャ(LTRP)であってはならないと制約される。
a.代替的に、現在のピクチャのための同一位置に配置されたピクチャは、レイヤ間参照ピクチャ(ILRP)でないべきであると制約される。
b.代替的に、現在のピクチャのための同一位置に配置されたピクチャは、LTRPまたはILRPであってはならないと制約される。
c.代替的に、現在のピクチャの同一位置に配置されたピクチャがLTRPまたはILRPである場合、同一位置に配置されたピクチャを指す動きベクトルを得るためにスケーリングは適用されない。
12)課題5を解決するために、scaling_win_left_offset,scaling_win_right_offset,scaling_win_top_offset,およびscaling_win_bottom_offsetの各々の値は、それぞれ、pic_width_in_luma_samplesとpic_height_in_luma_samplesを有する同じCLVS内で、任意の2つのピクチャに対して同じであるものとするよう、制約される。
a.代替的に、上記「同じCLVS内」を「同じCVS内」に置き換える。
b.代替的に、この制約は、以下のように規定される。
ppsAおよびppsBを、同じSPSを参照する任意の2つのPPSとする。ppsAおよびppsBがそれぞれpic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する場合、ppsAおよびppsBは、それぞれscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetと同じ値を有するものとすることが、ビットストリーム適合性の要件である。
c.代替的に、この制約は、以下のように規定される。
scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値は、同じCVS内にあるとともに、次の条件をすべて致す任意の2つのピクチャに対して同じであるとする。
i.2つのピクチャは、それぞれ、pic_width_in_luma_samplesおよびpic_height_in_luma_samplesの同じ値を有する。
ii.2つのピクチャは、一方のレイヤが他方のレイヤの参照レイヤである同じレイヤまたは2つのレイヤに属する。
13)現在のピクチャと同じアクセスユニット内の他のピクチャとでピクチャの解像度/スケーリングウィンドウが異なる場合、現在のピクチャがIRAPピクチャである場合にのみ、ILPを許可することが求められる。
14)本文書において、ピクチャ解像度は、ピクチャの幅および/または高さを指してもよく、またはピクチャのスケーリングウィンドウまたは適合性ウィンドウの幅および/または高さおよび/または左上隅の位置を指してもよい。
15)本文書において、RPRが使用されない場合、現在のピクチャの任意の参照ピクチャの解像度が現在のピクチャの解像度と同じであることを意味するもある。
16)課題6を解決するためのビットストリーム抽出については、以下のように1つ以上の解決策が提案されている。
a.一例において、出力サブビットストリームを導出するために、リストLayerIdInOls[targetOlsIdx]に含まれないnuh_layer_idを有するパラメータセット(例えば、SPS/PPS/APS NALユニット)を削除する。
b.例えば、出力サブビットストリームOutBitstreamの導出は、以下のうちの1つ以上に依存してもよい。
i.nal_unit_typeがSPS_NUTに等しく、nuh_layer_idがLayerIdInOls[targetOlsIdx]のリストに含まれないすべてのNALユニットをoutBitstreamから削除する。
ii.nal_unit_typeがPPS_NUTに等しく、nuh_layer_idがLayerIdInOls[targetOlsIdx]のリストに含まれないすべてのNALユニットをoutBitstreamから削除する。
iii.nal_unit_typeがAPS_NUTに等しく、nuh_layer_idがLayerIdInOls[targetOlsIdx]のリストに含まれないすべてのNALユニットをoutBitstreamから削除する。
iv.nal_unit_typeがSPS_NUT、PPS_NUTおよびAPS_NUTのいずれかに等しく、以下の条件のいずれかが真であるNALユニットをoutBitstreamから削除する。
1.nuh_layer_idがLayerIdInOls[targetOlsIdx][j]より大きく、少なくともjの値が0からNumLayersInOls[targetOlsIdx]-1の範囲内に含まれる。
2.nuh_layer_idがリスト LayerIdInOls[targetOlsIdx]に含まれていない。
v. nal_unit_typeがSPS_NUT、PPS_NUTおよびAPS_NUTのいずれかに等しい最初のNALユニットが抽出中に削除された場合、最初のNALユニットを参照する2番目のNALユニットも削除される必要がある。
c.例えば、出力サブビットストリームOutBitstreamの導出は、以下のうちの1つ以上に依存してもよい。
i.nal_unit_typeがVPS_NUT、DCI_NUT、およびEOB_NUTのいずれかと等しく、nuh_layer_idがリストLayerIdInOls[targetOlsIdx]に含まれないすべてのNALユニットをoutBitstreamから削除する。
17)APS ID(例:adaptation_parameter_set_id)を信号通知するために必要なビットは、APSタイプに依存する。
a.APS ID(例:adaptation_parameter_set_id)の信号通知に必要なビットは(3)からu(v)に変更される。
i.一例において、適応ループフィルタ(ALF)APSの場合、APS IDはu(a)でコーディングされてもよい。
ii.一例において、彩度スケーリング付き輝度マッピング(LMCS)の場合、APS IDは、u(b)でコーディングされてもよい。
iii.一例において、スケーリングリストAPSの場合、APS IDはu(c)でコーディングされてもよい。
iv.一例において、a/b/cは、対応するタイプのAPSの最大許容数に依存する。
1.一例において、a>bおよびa>c。
2.一例において、a>=bおよびa>c。
3.一例において、c>b。
4.一例において、b=2。
5.一例において、c=3。
6.一例において、a=3または3より大きい(例えば、4、5、6、7、8、9)。
18)APS ID(例:adaptation_parameter_set_id)とAPSタイプ(例:VVCテキスト内のaps_params_type)のコーディング順は、ビットストリーム中でAPSタイプがAPS IDよりも前に存在するように切り替えられる。
19)APSで許可されるフィルタの総数は、ピクチャ/スライスタイプ、コーディング構造(デュアルツリーまたはシングルツリー)、レイヤ情報などのコーディングされた情報に従って制限されてもよい。
a.APSの許容フィルタ総数は、PUを持つすべてのAPS NALユニットのALF APSにおける輝度/彩度ALFおよびCC-ALF)の総数を含んでもよい。
b.APSにおける許容されるフィルタの総数は、輝度成分に対する適応ループフィルタクラスの総数(または輝度ALFフィルタ)、彩度成分に対する代替フィルタの総数(彩度ALFフィルタ)、および/またはPUを有するすべてのAPS NALユニットにおける彩度コンポーネントフィルタの総数を含んでもよい。
20)第8の問題を解決するための1より大きいスケーリングファクターについては、以下のように1つ以上の解決策が提案されている。
a.一例において、スケーリング比計算のためにピクチャサイズに適用されるスケーリングウィンドウのオフセットは、負の値であってもよい。
i.例えば、スケーリングウィンドウオフセット(例えば、scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset)の構文要素は、ae(v)、f(n)、i(n)、se(v)などの信号通知2値化でコーディングされてもよい。
b.一例において、ピクチャサイズ(例えば、ピクチャの幅/高さ)に基づいてスケーリングウィンドウオフセットの値を制約する方法は、スケーリングウィンドウオフセットの値が負であるか否かに依存してもよい。
i.例えば、スケーリングウィンドウオフセットが負であるか否かによって、オフセットとピクチャの幅/高さの制約が異なるよう規定されてもよい。
1.例えば、左右のオフセットが共に負であるか、および/または左右のオフセットの一方が負/正であるか、および/または左右のオフセットが共に正であるかによって、1つまたは複数の制約が規定されてもよい。
2.例えば、上および下オフセットの双方が負であるか否か、および/または、上および下オフセットの一方が負/正であるか否か、および/または、上および下オフセットの両方が正であるか否かに応じて1つ以上の制約が規定されてもよい。
ii.例えば、スケーリングウィンドウオフセットの値が正の値または0である場合のみ、スケーリングウィンドウオフセットの値は、ピクチャの寸法に従って制限される。
1.例えば、scaling_win_left_offsetとscaling_win_right_offsetが負でない(または正である)場合、SubWidthC(scaling_win_left_offset+scaling_win_right_offset)の値はpic_width_in_luma_samplesより小さいものとする。
2.例えば、scaling_win_top_offsetとscaling_win_bottom_offsetが負でない(または正)場合、SubHeightC(scaling_win_top_offset+scaling_win_bottom_offset)の値はpic_height_in_luma_samplesより小さいものとする。
iii.例えば、制約を規定するために絶対オフセットを使用してもよい。
1.例えば、SubWidthC(abs(scaling_win_left_offset)+abs(scaling_win_right_offset))の値は、X1pic_width_in_luma_samplesより小さいものとし、ここでX1はX1>=1などの正の整数とする。
2.例えば、SubHeightC(abs(scaling_win_top_offset)+abs(scaling_win_bottom_offset))の値は、X2pic_height_in_luma_samplesより小さいものとし、X2においてX2>=1など正の整数とする。
iv.また、スケーリングウィンドウオフセット値が負の値である場合、オフセット値をピクチャの幅/高さで制約しない(例えば、負のオフセットを0値オフセットとして扱う)。
1.例えば、SubWidthC(max(0,scaling_win_left_offset)+max(0,scaling_win_right_offset))の値はpic_width_in_luma_samplesより小さいものとする。
2.例えば、SubHeightC(max(0,scaling_win_top_offset)+max(0,scaling_win_bottom_offset))の値はpic_height_in_luma_samplesより小さいものとする。
c.一例において、参照ピクチャ出力の幅/高さ、現在のピクチャ出力の幅/高さ、参照ピクチャの幅/高さ、現在のピクチャの幅/高さ、最大ピクチャの幅/高さ間のビットストリーム適合/制約をどのように作成するか(例えば、refPicOutputWidthL、refPicOutputHeightL、PicOutputWidthL、PicOutputHeightL、refPicWidthInLumaSamples、refPicHeightInLumaSamples、pic_width/height_in_luma_samples、pic_width/height_max_in_luma_samples)はスケーリングウィンドウオフセット値が負か否か依存してもよい。
d.一例において、出力ピクチャの幅/高さ(例えば、PicOutputWidthL、PicOutputHeightL)を導出する方法は、スケーリングウィンドウオフセットの値が負か否かに依存してもよい。
i.例えば、参照ピクチャのスケーリングオフセットの値が負である場合、参照ピクチャに対する出力ピクチャの幅/高さを計算するための0値オフセットとして扱ってもよい。
ii.例えば、変数PicOutputWidthLは、以下のように導出されてもよい。PicOutputWidthL=pic_width_in_luma_samples-SubWidthC(max(0,scaling_win_right_offset)+max(0,scaling_win_left_offset)).
iii.例えば、変数PicOutputHeightLは、以下のように導出されてもよい。PicOutputHeightL=pic_height_in_luma_samples-SubWidthC(max(0,scaling_win_bottom_offset)+max(0,scaling_win_top_offset)).
e.一例において、端数サンプル補間をどのように行うかは、スケーリングウィンドウオフセットの値が負か否かに依存してもよい。
i.例えば、参照ピクチャのスケーリングウィンドウオフセットの値が負である場合、動き補償のための0値オフセットとして扱ってもよい。
1.例えば、変数fRefLeftOffsetは((SubWidthCscaling_win_left_offset)<<10)に等しく設定されてもよく、scaling_win_left_offsetは参照ピクチャに対するscaling_win_left_offsetである。
2.例えば、変数fRefTopOffsetは、((SubWidthCmax(0,scaling_win_top_offset))<10)に等しく設定されてもよく、scaling_win_top_offsetは参照ピクチャに対するscaling_win_top_offsetである。
ii.例えば、現在のピクチャのスケーリングウィンドウオフセット値が負である場合、端数サンプル補間のための0値オフセットとして扱ってもよい。
1.例えば、(refxSb,refySb)を、1/16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX[1])が指す輝度位置とする。変数 refxSbおよびrefySbは、以下のように導出される。
a.refxSb=(((xSb-(SubWidthCmax(0,scaling_win_left_offset)))<<4)+
refMvLX[0])*scalingRatio[0]
b.refySb=(((ySb-(SubWidthCmax(0,scaling_win_top_offset)))<<4)+
refMvLX[1])scalingRatio[1]
2.例えば、(refxSb、refySb)を、1/32サンプル単位で求めた動きベクトル(refMvLX[0],refMvLX[1])が指す彩度位置とする。変数refxSb,およびrefySbは、以下のように導出される。
a.refxSb=(((xSb-(SubWidthCmax(0,scaling_win_left_offset)))/SubWidthC<<5)+refMvLX[0])scalingRatio[0]+addX
b.refySb=(((ySb-(SubWidthCmax(0,scaling_win_top_offset)))/SubHeightC<<5)+
refMvLX[1])scalingRatio[1]+addY
21)9番目の問題を解決するためのTSRC/DQ/SHDの信号通知については、以下のような1つ以上の解決策が提案されている。
a.一例において、映像ユニットレベル(シーケンス/ピクチャ群/ピクチャ/スライスレベルなど)における符号データ非表示(SDH)および従属量子化(DQ)の有効/無効フラグの信号通知は、変換スキップ残差コーディング(TSRC)が有効か否かに依存してもよい。
i.例えば、TSRCが有効かどうか(例えば、sps/pps/ph/slice_ts_residual_coding_disabled_flag)は、同じレベルのSDH/DQの有効/無効フラグ(例えば、sps/pps/ph/slice_dep_quant_enabled_flag,sps/pps/ph/slice_sign_data_hiding_enabled_flagという)よりも前に信号通知されてもよい。
ii.例えば、SPS/PPS/PH/SHレベルのSDH/DQの有効/無効フラグの信号通知(例えば、sps/pps/ph/slice_dep_quant_enabled_flag,sps/pps/ph/slice_sign_data_hiding_enabled_flagという)、同じレベルまたは上位のレベルでTSRCが無効にされているか否か(例えば、sps/pps/ph/slice_ts_residual_coding_disabled_flagが1と等しいか否か)を条件としても良い。
iii.例えば、SH(JVET-Q2001-vEの上)の構文信号通知は、以下のように変更することができる。
Figure 0007525639000003

iv.さらに、sps/pps/ph/slice_dep_quant_enabled_flagが存在しない場合、特定の値(0等)に等しいと推論する。
v.さらに、sps/pps/ph/slice_sign_data_hiding_enabled_flagが存在しない場合、特定の値(0等)に等しいと推論する。
b.一例において、TSRCが有効であるか否かは、映像ユニットレベル(シーケンス/ピクチャ群/ピクチャ/スライスレベルなど)で信号通知されてもよい。
i.例えば、SPS/PPS/PH/SHにおいて、(sps/ps/ph/slice)_ts_residual_coding_enabled_flagというフラグが信号通知されてもよい。
ii.あるいは、TSRCを無効とするか否かは映像ユニットレベル(シーケンス/ピクチャ/ピクチャ/スライスレベルなど)で信号通知されてもよい。
iii.例えば、SPS/PPS/PH/SHにおいて、(sps/ps/ph/slice)_ts_residual_coding_disabled_flagというフラグが信号通知されてもよい。
c.一例において、TSRCが有効かどうかは、同じレベルまたは上位のレベルで変換スキップとDQとSDHが有効か否かに基づいて、条件付きで信号通知される。
i.例えば、slice_ts_residual_coding_disabled_flagは、(sps_transform_skip_enabled_flag=1&&!slice_dep_quant_enabled_flag&&!slice_sign_data_hiding_enabled_flag)に基づいて条件付きで信号通知される。
ii.例えば、ph_ts_residual_coding_disabled_flagは、(sps_transform_skip_enabled_flag=1&&!ph_dep_quant_enabled_flag&&!ph_sign_data_hiding_enabled_flag)に基づいて、条件付きで信号通知される。
iii.例えば、pps_ts_residual_coding_disabled_flagは、(sps_transform_skip_enabled_flag=1&&!pps_dep_quant_enabled_flag&&!pps_sign_data_hiding_enabled_flag)に基づいて、条件付きで信号通知される。
iv.上記の例では、sps_transform_skip_enabled_flagは、SPS TSRC有効フラグ/SPS TSRC無効フラグに置き換えてもよい。
v.上記の例では、sps_transform_skip_enabled_flagは、PPS TS有効フラグ/PPS TSRC有効フラグ/PPS TSRC無効フラグに置き換えてもよい。
d.一例において、ブロック内でSDHとDQのどちらを適用するかは、TSとTSRSのどちらを使用するかに依存してもよい。
e.一例において、ブロック内でTSおよび/またはTSRSが使用されている場合、SDHおよび/またはDQは適用されない。ii.一例において、ブロック内でTSおよび/またはTSRSが使用されている場合、SDHおよび/またはDQが使用されているか否かを示すSE(s)は信号通知されず、使用されていないと推論される。
f.一例において、ブロック内でTSおよび/またはTSRSが使用されている場合、SDHおよび/またはDQは使用できないように制約される。
22)スケーリングウィドウオフセット(scaling_win_right_offset,scaling_win_left_offset,scaling_win_top_offset,scaling_win_bottom_offset等)が整数Xより大きい(または小さくない)ことが求められる場合があり、ここでXは負である。
a.一例において、Xはピクチャ寸法に依存してもよい。
23)PicOutputWidthLおよびPicOutputHeightLの変数は以下のように導出される。
PicOutputWidthL=pic_width_in_luma_samples-SubWidthC(scaling_win_right_offset+scaling_win_left_offset)
PicOutputHeightL=pic_height_in_luma_samples-SubWidthC(scaling_win_bottom_offset+scaling_win_top_offset).
その場合、以下の制限のうち1つ以上を適用することができる。
a.X1は非負整数である((aX1PicOutputWidthL+bX1)>>cX1)<=((dX1X1+eX1)>>fX1)。
b.X0は非負整数である((aX0PicOutputWidthL+bX0)>>cX0)>=((dX0X1+eX0)>>fX0)。
c.Y1は非負整数である((aY1PicOutputHeightL+bY1)>>cY1)<=(dY1Y1+eY1)>>fY1。
d.Y0は非負整数である((aY0PicOutputHeightL+bY0)>>cY0)<=(dY0Y0+eY0)>>fY0。
e.XY1は非負整数である((aXY1PicOutputWidthLPicOutputHeightL+bXY1)>>cXY1)<=(dXY1XY1+eXY1)>>fXY1。
f.XY0は非負整数である((aXY0PicOutputWidthLPicOutputHeightL+bXY0)>>cXY0)<=(dXY0Y0+eXY0)>>fXY0。
g.上記制約において、aX1,bX1,…eX1,fX1,aX0,bX0,…eX0,fX0,aY1,bY1,…eY1,fY1,aY0,bY0,…eY0,fY0,aXY1,bXY1,…eXY1,fXY1,aXY0,bXY0,…eXY0,fXY0は整数である。一例において、aX1=aX0=aY1=aY0=aXY1=aXY0=1,bX1=bX0=bY1=bY0=bXY1=bXY0=0,cX1=cX0=cY1=cY0=cXY1=cXY0=0,dX1=dX0=dY1=dY0=dXY1=dXY0=1,eX1=eX0=eY1=eY0=eXY1=eXY0=0,fX1=fX0=fY1=fY0=fXY1=fXY0=0,
h.上記制約において、X1および/またはX0は、pic_width_in_luma_samplesに依存してもよい。
i.一例において、X1はpic_width_in_luma_samplesに等しい。
ii.一例において、Kは2,3,4,5,6,7,8のような正の整数である、PicOutputWidthL<=pic_width_in_luma_samplesK。
i.上記制約において、Y1および/またはY0はpic_height_in_luma_samplesに依存してもよい。
i.一例において、Y1はpic_height_in_luma_samplesに等しい。
ii.一例において、Kは2,3,4,5,6,7,8のような正の整数である、PicOutputHeightL<=pic_height_in_luma_samplesK。
24)一例において、Xが5より小さい、例えばX=4であるfive_minus_max_num_subblock_merge_candの最大許容値はXと等しくても良い。
a.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。five_minus_max_num_subblock_merge_candの値は、0から4の範囲内である。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。
25)どのようにfive_minus_max_num_subblock_merge_candの有効範囲を定義するかは、five_minus_max_num_subblock_mergeが存在するか否かに依存してもよい。
a.例えば、five_minus_max_num_subblock_mergeの有効範囲は、five_minus_max_num_subblock_mergeが存在する場合にのみ定義される。
b.例えば、five_minus_max_num_subblock_mergeの異なる有効範囲は、five_minus_max_num_subblock_mergeが存在するか否かに依存して定義される。
c.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。five_minus_max_num_subblock_merge_candの値は、five_minus_max_num_subblock_merge_candが存在する場合に、0から5-sps_sbtmvp_enabled_flag以内の範囲内にあるものとする。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。
d.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。そうでない場合(five_minus_max_num_subblock_merge_candが存在する)、five_minus_max_num_subblock_merge_candの値は、0から5-sps_sbtmvp_enabled_flag以内の範囲内にあるものとする。例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。five_minus_max_num_subblock_merge_candの値は、five_minus_max_num_subblock_merge_candが存在する場合に、0から5-sps_affine_enabled_flag,inclusive when five_minus_max_num_subblock_merge_cand以内の範囲内にあるものとする。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。
e.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。そうでない場合(five_minus_max_num_subblock_merge_candが存在する)、five_minus_max_num_subblock_merge_candの値は、0から5-sps_affine_enabled_flag以内の範囲内にあるものとする。
f.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。five_minus_max_num_subblock_merge_candの値は、five_minus_max_num_subblock_merge_candが存在する場合に、0から4以内の範囲内にあるものとする。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。
g.例えば、five_minus_max_num_subblock_merge_candは、SPSでサポートされるサブブロックベースマージ動きベクトル予測候補の最大数を5から減算することを規定する。存在しない場合、five_minus_max_num_subblock_merge_candの値は5に等しいと推測される。そうでない場合(five_minus_max_num_subblock_merge_candが存在する)、five_minus_max_num_subblock_merge_candの値は、0から4以内の範囲内にあるものとする。
6.実施形態
以下は、上記第5章に要約されたいくつかの発明の態様のためのいくつかの例示的な実施形態であり、VVC仕様に適用できる。太字のイタリック体において、既に追加または修正された最も関連する部分には下線を付し、削除された部分のうちのいくつかは、[[]]を使用して示す。
6.1.第1の実施形態
本実施例は、1、1.a、1.b、1.c、1.d、3、4.a.i、5、6、7、8、9、9.a、10、11および12b項に関する。
7.3.2.3 シーケンスパラメータセット構文
Figure 0007525639000004

7.4.3.3 シーケンスパラメータセットRBSP意味論
Figure 0007525639000005

1に等しいsubpic_treated_as_pic_flag[i]は、CLVSの各コーディングされたピクチャのi番目のサブピクチャを、ループ内フィルタリング動作を除く復号処理においてピクチャとして扱うことを規定する。subpic_treated_as_pic_flag[i]が0に等しい場合、CLVSの各コーディングされたピクチャのi番目のサブピクチャは、ループ内フィルタリング動作を除く復号処理においてピクチャとして扱わないことを規定する。存在しない場合、subpic_treated_as_pic_flag[i]の値はsps_independent_subpics_flagに等しいと推論される。
Figure 0007525639000006

7.4.3.4 ピクチャパラメータセットRBSP意味論
Figure 0007525639000007

scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetは、スケーリング比の計算のためのピクチャサイズに適用されるオフセットを規定する。存在しない場合、scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offsetの値は、それぞれpps_conf_win_left_offset、pps_conf_win_right_offset,、pps_conf_win_top_offsetおよびpps_conf_win_bottom_offsetと等しいと推論される。
SubWidthC(scaling_win_left_offset+scaling_win_right_offset)の値は、pic_width_in_luma_samplesより小さいものとし、SubHeightC(scaling_win_top_offset+scaling_win_bottom_offset)の値は、pic_height_in_luma_samplesより小さいものとする。
Figure 0007525639000008

PicOutputWidthLおよびPicOutputHeightLの変数は以下のように導出される。
PicOutputWidthL=pic_width_in_luma_samples- (78)
SubWidthC(scaling_win_right_offset+scaling_win_left_offset)
PicOutputHeightL=pic_height_in_luma_samples- (79)
SubWidthC(scaling_win_bottom_offset+scaling_win_top_offset)
このPPSを参照する現在のピクチャの参照ピクチャのPicOutputWidthL、refPicOutputHeightLを、それぞれ、PicOutputWidthL、PicOutputHeightLとする。ビットストリーム適合性の要件は、以下のすべての条件を満たすことである。
- PicOutputWidthL2はrefPicWidthInLumaSamples以上であるものとする。
- PicOutputHeightL2はrefPicHeightInLumaSamples以上であるものとする。
- PicOutputWidthLがrefPicWidthInLumaSamples8以下であるものとする。
- PicOutputHeightLがrefPicHeightInLumaSamples8以下であるものとする。
- PicOutputWidthLpic_width_max_in_luma_samplesはrefPicOutputWidthL(pic_width_in_luma_samples-Max(8,MinCbSizeY)以上であるものとする。
- PicOutputHeightLpic_height_max_in_luma_samplesはrefPicOutputHeightL(pic_height_in_luma_samples-Max(8,MinCbSizeY))以上であるものとする。
...
7.3.3.2 一般的な制約情報構文
Figure 0007525639000009

7.4.4.2 一般的な制約情報意味論
Figure 0007525639000010

1に等しいno_res_change_in_clvs_constraint_flagは、res_change_in_clvs_allowed_flagが0に等しいものとすることを規定する。0に等しいno_res_change_in_clvs_constraint_flagは、このような制約を課さない。
...
7.4.8.1 一般スライスヘッダ意味論
...
1に等しいslice_collocated_from_l0_flagは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャが参照ピクチャリスト0から導出されることを規定する。0に等しいslice_collocated_from_l0_flagは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャが参照ピクチャリスト1から導出されることを規定する。
slice_typeがBまたはPであり、ph_temporal_mvp_enabled_flagが1に等しく、slice_collocated_from_l0_flagが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_from_l0_flagはph_collocated_from_l0_flagに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しく、slice_typeがPに等しい場合)、slice_collocated_from_l0_flagの値は1に等しいと推論される。
slice_collocated_ref_idxは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャの参照インデックスを規定する。
slice_typeがPであるか、またはslice_typeがBに等しく、slice_collocated_from_l0_flagが1に等しい場合は、slice_collocated_ref_idxは、参照ピクチャリスト0のエントリを参照し、slice_collocated_ref_idxの数値は、0からNumRefIdxActive[0]-1の範囲内にあるものとする。
slice_typeがBに等しく、slice_collocated_from_l0_flagが0に等しい場合、slice_collocated_ref_idxの値は、参照ピクチャリスト1のエントリを参照し、slice_collocated_ref_idxは、0からNumRefIdxActive[1]-1の範囲内にあるものとする。
slice_collocated_ref_idxが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_ref_idxの値はph_collocated_ref_idxに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しい)、slice_collocated_ref_idxの値は0に等しいと推論される。
Figure 0007525639000011

slice_collocated_ref_idxで参照される参照ピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesの値が、それぞれ現在のピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesと同じであるものとし、RprConstraintsActive[slice_collocated_from_l0_flag?0:1][slice_collocated_ref_idx]は0に等しいものとすることが、ビットストリーム適合性の要件である。
...
8.5.3.2.2 輝度サンプル双線形補間処理
...
i=0..1の場合、フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出される。
Figure 0007525639000012

xInt=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt+i) (640)
yInt=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt+i) (641)
Figure 0007525639000013

xInt=Clip3(0,picW-1,refWraparoundEnabledFlag?
ClipH((PpsRefWraparoundOffset)MinCbSizeY,picW,(xInt+i)):xInt+i) (642)
yInt=Clip3(0,picH-1,yInt+i) (643)
...
8.5.6.3.2 輝度サンプル補間フィルタリング処理
Figure 0007525639000014

xInt=Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt) (959)
yInt=Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt) (960)
Figure 0007525639000015

xInt=Clip3(0,picW-1,refWraparoundEnabledFlag?
ClipH((PpsRefWraparoundOffset)MinCbSizeY,picW,xInt):xInt) (961)
yInt=Clip3(0,picH-1,yInt) (962)
...
8.5.6.3.3 輝度整数サンプルフェッチ処理
Figure 0007525639000016

xInt=Clip3(0,picW-1,refWraparoundEnabledFlag? (970)
ClipH((PpsRefWraparoundOffset)MinCbSizeY,picW,xInt):xInt
yInt=Clip3(0,picH-1,yInt) (971)
...
8.5.6.3.4 彩度サンプル補間処理
Figure 0007525639000017

xInt=Clip3(SubpicLeftBoundaryPos/SubWidthC,SubpicRightBoundaryPos/SubWidthC,xInt) (977)
yInt=Clip3(SubpicTopBoundaryPos/SubHeightC,SubpicBotBoundaryPos/SubHeightC,yInt) (978)
Figure 0007525639000018

xInt=Clip3(0,picW-1,refWraparoundEnabledFlag?ClipH(xOffset,picW,xInt): (979)
xInt+i-1)
yInt=Clip3(0,picH-1,yInt) (980)
...
代替的に、強調表示された部分「および参照ピクチャrefPicLXのsps_num_subpics_minus1が0よりも大きい」を、「および参照ピクチャrefPicLXが現在のピクチャと同じ空間的解像度を有するILRPである場合」に置き換えてもよい。
代替的に、強調表示された部分「または参照ピクチャrefPicLXのsps_num_subpics_minus1が0に等しい」を、「または参照ピクチャrefPicLXが現在のピクチャとは異なる空間的解像度を有するILRPである場合」に置き換えてもよい。
Figure 0007525639000019

6.2.第二の実施形態
本発明の代替の実施形態において、第1の実施形態において以下の制約がある。
Figure 0007525639000020

を以下のいずれかに置き換える。
Figure 0007525639000021

Figure 0007525639000022

Figure 0007525639000023

6.3. 第3の実施形態
本実施例では、ALF及びCC-ALFフィルタの最大数の制限に関する以下の点を提案する。
1)ALF APSの個数に関する制約をフィルタの個数に関する制約に置き換え、より具体的には、以下の制約を追加することが提案される。
PUのためのすべてのAPS NALユニットにおいて、輝度成分の代替ループフィルタクラスの総数、彩度成分の代替フィルタの総数、およびクロスコンポーネントフィルタの総数がそれぞれ200、64、64以下である
2)項目1)に加えて、APS構文におけるAPS IDのコーディングをu(5)からu(v)に変更し、ALF、LMCS、スケーリングリストAPSはそれぞれ9、2、3の長さとする。
3)項目1)に加えて、さらにPHとSHにおけるALF APSインデックスのコーディングとALF APSの数をu(v)からue(v)へと変更する。
7.3.2.5 適応パラメータセットRBSP構文
Figure 0007525639000024

7.3.2.7 ピクチャヘッダ構造構文
Figure 0007525639000025

7.3.7.1 一般スライスセグメントヘッダ構文
Figure 0007525639000026

7.4.3.5 適応パラメータセット意味論
各APS RBSPは、それが参照される前に復号処理で利用できるか、それを参照するコーディングされたスライスNALユニットのTemporalId以下のTemporalIdを持つ少なくとも一つのAU内に含まれるか、外部手段を通じて提供されるものとする。
adaptation_parameter_set_idの特定の値を有し、かつPU内のaps_params_typeの特定の値を有するすべてのAPS NALユニットは、それらがプレフィクスであるかサフィックスAPS NALユニットであるかどうかに関わらず、同じコンテンツを有するものとする。
adaptation_parameter_set_idは、他の構文要素が参照するAPSの識別子を提供する。構文要素adaptation_parameter_set_idの長さは、ビットにおいて、aps_params_type=ALF_APS?9:(aps_params_type==LMCS_APS?2:3)である。
Figure 0007525639000027

[[aps_params_typeがLMCS_APSに等しい場合、adaptation_parameter_set_idの値は0から3の範囲内にあるものとする。]]
apsLayerIdを特定のAPS NALユニットのnuh_layer_idの値とし、vclLayerIdを特定のVCL NALユニットのnuh_layer_idの値とする。特定のVCL NALユニットは、apsLayerIdがvclLayerId以下であり、nuh_layer_idがapsLayerIdであるレイヤが、vclLayerIdであるnuh_layer_idを有するレイヤを含む少なくとも1つのOLSに含まれていない限り、特定のAPS NALユニットを参照しないものとする。
aps_params_typeは、表6に示されるように、APSにおいて実行されるAPSパラメータのタイプを規定する。
Figure 0007525639000028

aps_params_typeの特定の値を有するすべてのAPS NALユニットは、nuh_layer_idの値に関わらず、adaptation_parameter_set_idのために同じ値空間を共有する。aps_params_typeの値が異なるAPS NALユニットは、adaptation_parameter_set_idに別個の値空間を使用する。
7.4.3.7 ピクチャヘッダ構造意味論
Figure 0007525639000029

7.4.8.1 一般スライスヘッダ意味論
Figure 0007525639000030

aps_params_typeがALF_APSに等しく、adaptation_parameter_set_idがslice_cc_alf_cb_aps_idに等しいAPS NALユニットのalf_cc_cb_filter_signal_flagの値は、1に等しいものとする。
Figure 0007525639000031

aps_params_typeがALF_APSに等しく、adaptation_parameter_set_idがslice_cc_alf_cr_aps_idに等しいAPS NALユニットのalf_cc_cr_filter_signal_flagの値は、1に等しいものとする。
上記の例において、代わりに以下のものを使用してもよい。
adaptation_parameter_set_idは、他の構文要素が参照するAPSの識別子を提供する。構文要素adaptation_parameter_set_idの長さは、ビットにおいて、Mが3より大きい(例えば4、5、6、7、8、9)である、aps_params_type=ALF_APS?M:(aps_params_type==LMCS_APS?2:3)である。
「200、64、64」の値は、他のゼロでない整数値に置き換えてもよい。
「327」の値は、ゼロでない他の整数値に置き換えてもよい。
図5は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1900を示すブロック図である。様々な実装形態は、システム1900のモジュールの一部または全部を含んでもよい。システム1900は、映像コンテンツを受信するための入力ユニット1902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット1902は、ネットワークインタフェース、周辺バスインタフェース、または記憶インタフェースを表してもよい。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インタフェース、およびWi-Fi(登録商標)またはセルラーインタフェース等の無線インタフェースを含む。
システム1900は、本明細書に記載される様々なコーディングまたは符号化方法を実装することができるコーディングコンポーネント1904を含んでもよい。コーディングコンポーネント1904は、入力1902からの映像の平均ビットレートをコーディングコンポーネント1904の出力に低減し、映像のコーディング表現を生成してもよい。従って、このコーディング技術は、映像圧縮または映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント1904の出力は、コンポーネント1906によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力1902において受信された、記憶されたまたは通信された映像のビットストリーム(またはコーディングされた)表現は、コンポーネント1908によって使用されて、表示インタフェース1910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「コーディング」動作またはツールと呼ぶが、コーディングツールまたは動作は、エンコーダおよびそれに対応する、コーディングの結果を逆にする復号ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインタフェースまたは表示インタフェースの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインタフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインタフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインタフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図6は、映像処理装置3600のブロック図である。装置3600は、本明細書に記載の方法の1または複数を実装するために使用されてもよい。装置3600は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置3600は、1つ以上のプロセッサ3602と、1つ以上のメモリ3604と、映像処理ハードウェア3606と、を含んでもよい。1つまたは複数のプロセッサ3602は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)3604は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア3606は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図8は、本開示の技法を利用し得る例示的な映像符号化システム100を示すブロック図である。
図8に示すように、映像コーディングシステム100は、送信元デバイス110と、送信先デバイス120と、を備えてもよい。送信元デバイス110は、映像符号化機器とも称され得る符号化映像データを生成する。送信先装置120は、送信元装置110によって生成された、符号化された映像データを復号してよく、映像復号デバイスと呼ばれ得る。
送信元装置110は、映像ソース112と、映像エンコーダ114と、入出力(I/O)インタフェース116と、を備えてもよい。
映像ソース112は、映像キャプチャデバイスなどのソース、映像コンテンツプロバイダからの映像データを受信するためのインタフェース、および/または映像データを生成するためのコンピュータグラフィックスシステム、またはこれらのソースの組み合わせを含んでもよい。映像データは、1または複数のピクチャを含んでもよい。映像エンコーダ114は、映像ソース112からの映像データを符号化し、ビットストリームを生成する。ビットストリームは、映像データのコーディングされた表現を形成するビットのシーケンスを含んでもよい。ビットストリームは、コーディングされたピクチャおよび関連付けられたデータを含んでもよい。コーディングされたピクチャは、ピクチャのコーディング表現である。関連付けられたデータは、シーケンスパラメータセット、ピクチャパラメータセット、および他の構文構造を含んでもよい。I/Oインタフェース116は、変復調器(モデム)および/または送信機を含んでもよい。符号化された映像データは、ネットワーク130aを介して、I/Oインタフェース116を介して送信先デバイス120に直接送信されてよい。符号化された映像データは、送信先装置120がアクセスするために、記録媒体/サーバ130bに記憶してもよい。
送信先装置120は、I/Oインタフェース126、映像デコーダ124、および表示装置122を含んでもよい。
I/Oインタフェース126は、受信機および/またはモデムを含んでもよい。I/Oインタフェース126は、送信元デバイス110または記憶媒体/サーバ130bから符号化された映像データを取得してもよい。映像デコーダ124は、符号化された映像データを復号してもよい。表示装置122は、復号された映像データをユーザに表示してもよい。表示装置122は、送信先装置120と一体化されてもよく、または外部表示装置とインタフェースで接続するように構成される送信先装置120の外部にあってもよい。
映像エンコーダ114および映像デコーダ124は、高効率映像コーディング(HEVC)規格、汎用映像コーディング(VVVM)規格、および他の現在のおよび/またはさらなる規格等の映像圧縮規格に従って動作してもよい。
図9は、映像エンコーダ200の一例を示すブロック図であり、この映像エンコーダ200は、図8に示されるシステム100における映像エンコーダ114であってもよい。
映像エンコーダ200は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図9の実施例において、映像エンコーダ200は、複数の機能性モジュールを含む。本開示で説明される技法は、映像エンコーダ200の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
映像エンコーダ200の機能性モジュールは、分割ユニット201、プレディケーションユニット202を含んでもよく、予測ユニット202は、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、およびイントラ予測ユニット206、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、およびエントロピー符号化ユニット214を含んでもよい。
他の例において、映像エンコーダ200は、より多くの、より少ない、または異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでもよい。IBC部は、少なくとも1つの参照ピクチャが現在の映像ブロックが位置するピクチャであるIBCモードにおいて予測を行うことができる。
さらに、動き推定ユニット204および動き補償ユニット205などのいくつかのモジュールは、高度に統合されてもよいが、説明のために、図9の例においては別個に表現されている。
分割部201は、ピクチャを1つ以上の映像ブロックに分割してもよい。映像エンコーダ200および映像デコーダ300は、様々な映像ブロックサイズをサポートしてもよい。
モード選択部203は、例えば、誤りの結果に基づいて、イントラまたはインターのコーディングモードのうちの1つを選択し、得られたイントラまたはインターコーディングされたブロックを残差生成部207に供給し、残差ブロックデータを生成して再構成部212に供給し、符号化されたブロックを参照ピクチャとして使用するために再構成してもよい。いくつかの例において、モード選択ユニット203は、インター予測信号およびイントラ予測信号に基づいて予測を行うCIIP(Combination of Intra and Inter Prediction)モードを選択してもよい。モード選択ユニット203は、インター予測の場合、ブロックのために動きベクトルの解像度(例えば、サブピクセルまたは整数ピクセル精度)を選択してもよい。
現在の映像ブロックに対してインター予測を行うために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームと現在の映像ブロックとを比較することにより、現在の映像ブロックのために動き情報を生成してもよい。動き補償部205は、現在の映像ブロックに関連付けられたピクチャ以外のバッファ213からのピクチャの動き情報および復号されたサンプルに基づいて、現在の映像ブロックのための予測映像ブロックを判定してもよい。
動き推定部204および動き補償部205は、現在の映像ブロックがIスライスであるか、Pスライスであるか、またはBスライスであるかによって、例えば、現在の映像ブロックに対して異なる動作を行ってもよい。
いくつかの例において、動き推定部204は、現在の映像ブロックに対して単一方向予測を行い、動き推定部204は、現在の映像ブロックに対して、参照映像ブロック用のリスト0またはリスト1の参照ピクチャを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックと、現在の映像ブロックと参照映像ブロックとの間の空間的変位を示す動きベクトルとを含む、リスト0またはリスト1における参照ピクチャを示す参照インデックスを生成してもよい。動き推定ユニット204は、参照インデックス、予測方向インジケータ、および動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在のブロックの予測映像ブロックを生成してもよい。
他の例において、動き推定部204は、現在の映像ブロックを双方向予測してもよく、動き推定部204は、リスト0における参照ピクチャの中から現在の映像ブロックを求めるための参照映像ブロックを検索してもよく、また、リスト1における参照ピクチャの中から現在の映像ブロックを求めるための別の参照映像ブロックを検索してもよい。そして、動き推定ユニット204は、参照映像ブロックを含むリスト0およびリスト1における参照ピクチャを示す参照インデックスと、参照映像ブロックと現在の映像ブロックとの間の空間的変位を示す動きベクトルとを生成してもよい。動き推定ユニット204は、現在の映像ブロックの参照インデックスおよび動きベクトルを、現在の映像ブロックの動き情報として出力してもよい。動き補償部205は、現在の映像ブロックの動き情報が示す参照映像ブロックに基づいて、現在の映像ブロックの予測映像ブロックを生成してもよい。
いくつかの例において、動き推定部204は、デコーダの復号処理のために、動き情報のフルセットを出力してもよい。
いくつかの例では、動き推定部204は、現在の映像のための動き情報のフルセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して、現在の映像ブロックの動き情報を信号通知してもよい。例えば、動き推定部204は、現在の映像ブロックの動き情報が近傍の映像ブロックの動き情報に十分に類似していることを判定してもよい。
一例において、動き推定部204は、現在の映像ブロックに関連付けられた構文構造において、現在の映像ブロックが別の映像ブロックと同じ動き情報を有することを映像デコーダ300に示す値を示してもよい。
他の例において、動き推定部204は、現在の映像ブロックに関連付けられた構文構造において、別の映像ブロックと、動きベクトル差分(MVD;Motion Vector Difference)とを識別してもよい。動きベクトル差分は、現在の映像ブロックの動きベクトルと、示された映像ブロックの動きベクトルとの差分を示す。映像デコーダ300は、示された映像ブロックの動きベクトルおよび動きベクトル差分を使用して、現在の映像ブロックの動きベクトルを決定してもよい。
上述したように、映像エンコーダ200は、動きベクトルを予測的に信号通知してもよい。映像エンコーダ200によって実装され得る予測信号通知技法の2つの例は、高度動きベクトル予測(AMVP)およびマージモード信号通知を含む。
イントラ予測部206は、現在の映像ブロックに対してイントラ予測を行ってもよい。イントラ予測ユニット206が現在の映像ブロックをイントラ予測する場合、イントラ予測ユニット206は、同じピクチャにおける他の映像ブロックの復号されたサンプルに基づいて、現在の映像ブロックのための予測データを生成してもよい。現在の映像ブロックのための予測データは、予測された映像ブロックおよび様々な構文要素を含んでもよい。
残差生成部207は、現在の映像ブロックから現在の映像ブロックの予測された映像ブロックを減算することによって(例えば、マイナス符号によって示されている)、現在の映像ブロックのための残差データを生成してもよい。現在の映像ブロックの残差データは、現在の映像ブロックにおけるサンプルの異なるサンプル成分に対応する残差映像ブロックを含んでもよい。
他の例において、例えば、スキップモードにおいて、現在の映像ブロックのための残差データがなくてもよく、残差生成部207は、減算動作を行わなくてもよい。
変換処理ユニット208は、現在の映像ブロックに関連付けられた残差映像ブロックに1つ以上の変換を適用することによって、現在の映像ブロックのための1つ以上の変換係数映像ブロックを生成してもよい。
変換処理部208が現在の映像ブロックに関連付けられた変換係数映像ブロックを生成した後、量子化部209は、現在の映像ブロックに関連付けられた1つ以上の量子化パラメータ(QP:Quantization Parameter)値に基づいて、現在の映像ブロックに関連付けられた変換係数映像ブロックを量子化してもよい。
逆量子化部210および逆変換部211は、変換係数映像ブロックに逆量子化および逆変換をそれぞれ適用し、変換係数映像ブロックから残差映像ブロックを再構成してもよい。再構成部212は、予測部202によって生成された1つ以上の予測映像ブロックから対応するサンプルに再構成された残差映像ブロックを追加して、バッファ213に格納するための現在のブロックに関連付けられた再構成された映像ブロックを生成してもよい。
再構成部212が映像ブロックを再構成した後、映像ブロックにおける映像ブロッキングアーチファクトを縮小するために、ループフィルタリング動作が行われてもよい。
エントロピーエンコーディングユニット214は、映像エンコーダ200の他の機能コンポーネントからデータを受信してもよい。エントロピーエンコーディングユニット214がデータを受信すると、エントロピーエンコーディングユニット214は、1つ以上のエントロピーエンコーディング動作を行い、エントロピーエンコードされたデータを生成し、エントロピーエンコードされたデータを含むビットストリームを出力してもよい。
図10は、映像デコーダ300の一例を示すブロック図であり、この映像デコーダ300は、図8に示すシステム100における映像デコーダ114であってもよい。
映像デコーダ300は、本開示の技術のいずれかまたは全部を行うように構成されてもよい。図10の実施例において、映像デコーダ300は、複数の機能モジュールを備える。本開示で説明される技法は、映像デコーダ300の様々なモジュール間で共有されてもよい。いくつかの例では、プロセッサは、本開示で説明される技術のいずれかまたはすべてを行うように構成してもよい。
図10の実施例において、映像デコーダ300は、エントロピー復号ユニット301、動き補正ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、および再構成ユニット306、並びにバッファ307を備える。映像デコーダ300は、いくつかの例では、映像エンコーダ200(図9)に関して説明した符号化パスとほぼ逆の復号パスを行ってもよい。
エントロピー復号部301は、符号化されたビットストリームを取り出す。符号化されたビットストリームは、エントロピーコーディングされた映像データ(例えば、映像データの符号化されたブロック)を含んでもよい。エントロピー復号ユニット301は、エントロピーコーディングされた映像データを復号し、エントロピー復号された映像データから、動き補償ユニット302は、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、および他の動き情報を含む動き情報を決定してもよい。動き補償部302は、例えば、AMVPおよびマージモードを行うことで、このような情報を判定してもよい。
動き補償部302は、動き補償されたブロックを生成してもよく、場合によっては、補間フィルタに基づいて補間を行う。構文要素には、サブピクセルの精度で使用される補間フィルタのための識別子が含まれてもよい。
動き補償部302は、映像ブロックの符号化中に映像エンコーダ200によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数画素のための補間値を計算してもよい。動き補償部302は、受信した構文情報に基づいて、映像エンコーダ200が使用する補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してもよい。
動き補償ユニット302は、エンコードされた映像シーケンスのフレームおよび/またはスライスをエンコードするために使用されるブロックのサイズを判定するための構文情報、エンコードされた映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述する分割情報、各分割がどのようにエンコードされるかを示すモード、各インターエンコードされたブロックに対する1つ以上の参照フレーム(および参照フレームリスト)、およびエンコードされた映像シーケンスをデコードするための他の情報のいくつかを使用してもよい。
イントラ予測ユニット303は、例えば、ビットストリームにおいて受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してもよい。逆量子化ユニット303は、ビットストリームに提供され、エントロピー復号ユニット301によって復号された量子化された映像ブロック係数を逆量子化(例えば、逆量子化)する。逆変換部303は、逆変換を適用する。
再構成部306は、残差ブロックと、動き補償部202またはイントラ予測部303によって生成された対応する予測ブロックとを合計し、復号されたブロックを形成してもよい。所望であれば、ブロックアーチファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタを適用してもよい。復号された映像ブロックは、バッファ307に記憶され、バッファ307は、後続の動き補償/イントラ予測のために参照ブロックを提供し、表示装置に表示するために復号された映像を生成する。
次に、いくつかの実施形態において好適な解決策を列挙する。
以下の解決策は、前章(例えば、項目1)で論じた技術の例示的な実施形態を示す。
1.1つ以上の映像ピクチャを含む映像との間で変更を行うこと(702)を含み、コーディングされた表現がフォーマット規則に準拠し、シーケンスパラメータセットにおける2つ以上の構文フィールドが映像の参照ピクチャ解像度(RPR)の変更を制御することを規定する、映像処理方法(例えば、図7に示される映像処理方法700)。
2.2つ以上の構文フィールドの第1の構文フィールドは、RPRが1つ以上のピクチャのために使用されるかどうかを示し、2つ以上の構文フィールドの第2の構文フィールドは、コーディングされた表現においてシーケンスレベルでピクチャ解像度を変更することができるかどうかを示す、解決策1に記載の方法。
以下の解決策は、前章(例えば、項目2)で論じた技術の例示的な実施形態を示す。
3.1つ以上の映像ピクチャを含む映像との間で変換を行うことを含み、コーディングされた表現はフォーマット規則に準拠し、フォーマット規則は、シーケンスパラメータセットにおける1つの構文フィールドが映像の参照ピクチャ解像度(RPR)の変更を制御することを規定し、フォーマット規則は、単一の構文フィールドの値に関わらず、レイヤ間参照ピクチャの再サンプリングが変換に対して許可されることを規定する、映像処理方法。
以下の解決策は、前章(例えば、項目3,5,6,7,9、10)で論じた技術の例示的な実施形態を示す。
4.1つ以上のサブピクチャを含む1つ以上の映像ピクチャを含む1つ以上のレイヤを含む映像との間で変換を行うことを含み、コーディングされた表現がフォーマット規則に準拠する、映像処理方法であって、フォーマット規則は、レイヤ間アライメントに対する第1の制約、または、サブピクチャの組合せおよびレイヤ間ピクチャのスケーラビリティに対する第2の制約を規定する、映像処理方法。
5.前記第1の制約は、現在のレイヤの下レイヤおよび現在のレイヤに依存しないすべての上レイヤに配向制限を課すことなく、現在のレイヤおよび現在のレイヤに依存するすべての上レイヤへのレイヤ間アライメント制限を規定する、解決策4に記載の方法。
6.第2の制約は、特定のレイヤの各従属ツリーにおけるすべてのレイヤにレイヤ間アライメント制限を課す、解決策4に記載の方法。
7.第2の制約は、レイヤ間アライメント制限に従ってsubpic_treated_as_pic_flag[i]の値を制限する、解決策4に記載の方法。
8.第2の制約は、レイヤ間アライメント制限に従って、loop_filter_across_subpic_enabled_flag[i]の値を制限する、解決策4に記載の方法。
9.アクセスユニットの対象のセットに対して第1の制約および/または第2の制約を規定する、解決策4から解決策8のいずれか1つに記載の方法。
10.第2の制約は、レイヤ間アライメント制限に従って、スケーリングウィンドウパラメータscaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetの各々の値を制限する、解決策4に記載の方法。
以下の解決策は、前章(例えば、項目11)で論じた技術の例示的な実施形態を示す。
11.1つ以上のサブピクチャを含む1つ以上のレイヤを含む映像の間で変換を行うことであって、レイヤ間参照ピクチャまたは長期参照ピクチャが現在のピクチャの同一位置に配置されたピクチャであることを変換に対して許可されないことを規定するフォーマット規則に準拠する変換を実行することを含む、映像処理方法。
以下の解決策は、前章(例えば、項目12)で論じた技術の例示的な実施形態を示す。
12.複数のピクチャを含む映像と映像のコーディングされた表現との間で変換を行うことを含み、変換は、scaling_win_left_offset.の各々の値を規定するルールに適合している。scaling_win_right_offset、scaling_win_top_offset、およびscaling_win_bottom_offsetのそれぞれの値が、同じコーディングレイヤ映像シーケンスまたは同じpic_width_in_luma_samplesおよびpic_height_in_luma_samplesの値を有するコーディング映像シーケンス内の任意の2つのピクチャに対して同じであることを規定する規則に適合する、映像処理方法。
以下の解決策は、前章(例えば、項目13)で論じた技術の例示的な実施形態を示す。
13.複数のピクチャを含む映像とこの映像のコーディングされた表現との間で変換を行うことを含み、この変換は、同じアクセスユニット内の現在のピクチャと他のピクチャとでピクチャの解像度またはスケーリングウィンドウが異なる場合、現在のピクチャがランダムアクセスポイント内ピクチャである場合にのみ、レイヤ間予測を許可することを規定する規則に準拠する、映像処理方法。
14.変換は、映像をコーディングされた表現に符号化することを含む、解決策1から解決策13のいずれか1つに記載の方法。
15.変換は、映像の画素値を生成するためにコーディングされた表現を復号することを含む、解決策1から解決策13のいずれか1つに記載の方法。
16.解決策1から解決策15の1または複数に記載の方法を実装するように構成されたプロセッサを備える、映像復号装置。
17.解決策1から解決策15の1または複数に記載の方法を実装するように構成されたプロセッサを備える、映像符号化装置。
18.コンピュータコードが記憶されたコンピュータプログラム製品であって、コードは、プロセッサにより実行されると、プロセッサに、解決策1から解決策15のいずれか1つに記載の方法を実装させるコンピュータプログラム製品。
19.本明細書に記載の方法、装置またはシステム。
図13は、本技術にしたがった映像処理方法1300を示すフローチャートである。この方法1300は、動作1310において、規則に従って、映像の映像ピクチャと映像のビットストリームとの間での変換を行うことを含む。この規則は、映像ピクチャに適用されるスケーリングウィンドウオフセットのうち、少なくとも1つは負の値を許容することを規定する。
いくつかの実施形態において、スケーリングウィンドウオフセットは、スケーリングウィンドウ右オフセット、スケーリングウィンドウ左オフセット、スケーリングウィンドウ上オフセット、またはスケーリングウィンドウ下オフセットの少なくとも1つから構成される。いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つは、整数Xより小さくなく、Xは負である。いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つは、整数Xより大きく、Xは負である。いくつかの実施形態において、Xは映像ピクチャの寸法に基づく。
いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つは、映像ピクチャの寸法に関連付けられる。いくつかの実施形態において、映像ピクチャの寸法は、輝度サンプルで表されるピクチャ幅または輝度サンプルで表されるピクチャ高さからなる。
いくつかの実施形態において、出力ピクチャは、映像ピクチャをスケーリングすることに基づいて決定される。出力ピクチャの幅を規定する第1の変数は、輝度サンプルで表される映像ピクチャの幅から、スケーリングウィンドウ右オフセットとスケーリングウィンドウ左オフセットの加重和を引いたものと等しい。いくつかの実施形態において、出力ピクチャの高さを規定する第2の変数は、輝度サンプルで表される映像ピクチャの高さから、スケーリングウィンドウ上オフセットとスケーリングウィンドウ下オフセットの加重和を引いたものに等しい。いくつかの実施形態において、規則は、第1の変数と第2の変数が制約を満たすことをさらに規定する。いくつかの実施形態において、第1の変数はWidthLとして表され、制約は、XWidthLが第1の整数以上かつ第2の整数以下であり、Xは整数であることを規定する。いくつかの実施形態において、第2の変数はHeightLとして表され、制約は、YWidthLが第3の整数より大きく、第4の整数以下であり、Yは整数であることを規定する。いくつかの実施形態において、第1の整数または第3の整数は、A、B、Cを整数としたとき、A(B-C)と表される。
いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つは、映像ピクチャの参照ピクチャを再サンプリングするために使用されるスケーリング比を示すものである。いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つは、符号2値化を使用してコーディングされる。
いくつかの実施形態において、規則は、スケーリングウィンドウオフセットの少なくとも1つが負であるか否かに基づいて、スケーリングウィンドウオフセットの少なくとも1つと映像ピクチャの寸法との間の制約を規定する。いくつかの実施形態において、制約は、左ウィンドウオフセットおよび/または右ウィンドウオフセットの少なくとも一方が負であるか否かに基づいて規定される。いくつかの実施形態において、制約は、上ウィンドウオフセットおよび/または下ウィンドウオフセットの少なくとも1つが負であるか否かに基づいて規定される。いくつかの実施形態において、スケーリングウィンドウオフセットの少なくとも1つと映像ピクチャの寸法との間の制約は、スケーリングウィンドウオフセットの少なくとも1つがゼロである場合にのみ規定される。いくつかの実施形態において、左ウィンドウオフセットまたは右ウィンドウオフセットの少なくとも一方が負でない場合、左ウィンドウオフセット及び右ウィンドウオフセットの加重和は、輝度サンプルにおける映像ピクチャの幅より小さい。いくつかの実施形態において、上ウィンドウオフセットまたは下ウィンドウオフセットの少なくとも一方が負でない場合、上ウィンドウオフセットと上ウィンドウオフセットの加重和は、輝度サンプルにおける映像ピクチャの高さより小さい。
いくつかの実施形態において、制約は、スケーリングウィンドウオフセットの少なくとも1つの絶対値に従って規定される。いくつかの実施形態において、左ウィンドウオフセットと右ウィンドウオフセットの絶対値の加重和は、輝度サンプルにおける映像ピクチャの幅のX1倍より小さく、ここでX1は1以上の正の整数である。いくつかの実施形態において、上ウィンドウオフセットと下ウィンドウオフセットの絶対値の加重和は、輝度サンプルにおける映像ピクチャの高さのX2倍より小さく、ここでX2は1以上の正の整数である。
いくつかの実施形態において、規則は、スケーリングウィンドウオフセットのいずれかが負の場合、制約が適用されないことを規定する。いくつかの実施形態において、規則は、映像ピクチャの寸法または映像ピクチャの参照ピクチャの寸法が、スケーリングウィンドウオフセットが負であるか否かに基づくことを規定する。いくつかの実施形態において、映像ピクチャの出力ピクチャの寸法は、スケーリングウィンドウオフセットの少なくとも1つが負であるか否かに基づいて決定される。いくつかの実施形態において、参照ピクチャのスケーリングウィンドウオフセットが負である場合、出力ピクチャの寸法は、スケーリングウィンドウオフセットをゼロとして扱うことによって決定される。
いくつかの実施形態において、規則は、端数サンプル補間の実行の態様が、スケーリングウィンドウオフセットの少なくとも1つが負であるか否かに基づくことを規定する。いくつかの実施形態において、参照ピクチャのスケーリングウィンドウオフセットが負の場合、スケーリングウィンドウオフセットをゼロとして扱うことにより、変換のための動き補償が実行される。いくつかの実施形態において、映像ピクチャのスケーリングウィンドウオフセットが負の場合、スケーリングウィンドウオフセットをゼロとして扱うことにより、変換のために端数サンプル補間が実行される。
図14は、本技術に従った映像処理の方法1400を示すフローチャートである。方法1400は、工程1410において、規則に従って映像のブロックと映像のビットストリームとの変換を行うことを含む。この規則は、映像単位で変換スキップ残差コーディングが有効か否かを示す構文フラグがビットストリームに存在するか否かを、映像単位での符号データ非表示の使用状況を示す第1の構文要素と映像単位での従属量子化の使用状況を示す第2の構文要素の値に基づいて規定する。
いくつかの実施形態において、前記映像ユニットレベルは、スライスレベルを含む。いくつかの実施形態において、構文フラグが、スライスヘッダにおいてts_residual_coding_disabled_flagとして表されるか否か。いくつかの実施形態において、構文フラグがビットストリームに存在するか否かは、シーケンスパラメータセット内の、シーケンスレベルで変換スキップが有効であるか否かを示す第3の構文要素にさらに基づき、構文フラグは、次の場合に存在する。(1)第3の構文要素の値が、シーケンスレベルで変換スキップが有効であることを規定する場合。(2)第2の構文要素の値が、映像ユニットに従属量子化が使用されないことを規定し、(3)第1の構文要素の値が、映像ユニットに符号データ非表示が使用されないことを規定する。いくつかの実施形態において、変換スキップがシーケンスレベルで有効であることを規定する第3の構文要素の値は1に等しく、従属量子化が映像ユニットに対して使用されないことを規定する第2の構文要素の値は0に等しく、符号データ非表示が映像ユニットに対して使用されないことを規定する第1の構文要素の値は0に等しい。
いくつかの実施形態において、映像ユニットにおける符号データ非表示の使用を示す第1の構文要素は、第1の構文要素が存在しない場合、0のデフォルト値を有する。いくつかの実施形態において、映像ユニットにおける従属量子化の使用を示す第2の構文要素は、第2の構文要素が存在しない場合、0のデフォルト値を有する。いくつかの実施形態において、第1の構文要素は、符号データ非表示がシーケンスレベルで有効であるか否かを示すシーケンスパラメータセット内の第4の構文要素に基づく。いくつかの実施形態において、第1の構文要素は、第2の構文要素および第4の構文要素に基づいて決定される。いくつかの実施形態において、第2の構文要素は、シーケンスレベルで従属量子化が有効であるか否かを示すシーケンスパラメータセットの第5の構文要素に基づく。
いくつかの実施形態において、ブロックの変換に符号データ非表示が適用されるか、または従属量子化が適用されるかは、変換スキップ残差コーディングが有効であるか否かに基づいて決定される。いくつかの実施形態において、変換スキップ残差コーディングが有効な場合、符号データ非表示または従属量子化は、ブロックの変換に適用されない。いくつかの実施形態において、構文フラグは、第1の構文要素または第2の構文要素の前に示される。いくつかの実施形態において、第1の構文要素または第2の構文要素が存在するか否かは、映像ユニットにおいて変換スキップ残差コーディングが有効であるか否かを示す構文要素に基づく。いくつかの実施形態において、映像ユニットは、シーケンス、ピクチャのグループ、またはピクチャで構成される。いくつかの実施形態において、符号データ非表示または従属量子化が変換に使用される場合、変換スキップ残差コーディングは使用されない。いくつかの実施形態において、変換スキップ残差コーディングは、変換スキップモードでコーディングされる映像ブロックに対して適用される変換係数コーディング技術であり、符号データ非表示は、最後の非ゼロ係数に対する係数符号フラグのコーディングを省略する技術であり、従属量子化は、サンプルの量子化が前のサンプルの状態に依存するモードである。
図15は、本技術にしたがった映像処理方法1500を示すフローチャートである。方法1500は、工程1510において、規則に従って映像と映像のビットストリームとの変換を行うことを含む。この規則では、シーケンスパラメータセットでサポートされるサブブロックベースの結合動きベクトル予測候補の最大数を5から減算して規定する構文要素が0からNの範囲にあることを規定し、Nは5から、変換にサブブロックベースの一時動きベクトル予測子が有効か否かを規定する構文フラグの値を引いた整数とする。本発明の実施例において、構文要素は、0から4の範囲内にある。本発明の実施例において、構文フラグが存在しない場合、構文要素は5に等しいと推論される。
いくつかの実施形態において、変換は、映像をビットストリームに符号化することを含む。いくつかの実施形態において、変換はビットストリームから映像を復号することを含む。
本明細書に記載の解決策において、エンコーダは、フォーマット規則に従ってコーディング表現を生成することで、フォーマット規則に準拠することができる。本明細書に記載の解決策において、デコーダは、フォーマット規則に従って、構文要素の有無を知りつつ、コーディング表現における構文要素を構文解析することで、復号された映像を生成するために、このフォーマット規則を使用してもよい。
本明細書では、「映像処理」という用語は、映像符号化、映像復号、映像圧縮、または映像展開を指してよい。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって規定されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換およびコーディングされた誤り残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。さらに、変換中、デコーダは、上記解決策で説明されているように、判定に基づいて、いくつかのフィールドが存在しても存在しなくてもよいという知識を持って、ビットストリームを構文解析してもよい。同様に、エンコーダは、特定の構文フィールドが含まれるべきであるか、または含まれないべきであるかを判定し、構文フィールドをコーディング表現に含めるか、またはコーディング表現から除外することによって、それに応じてコーディング表現を生成してもよい。
本明細書に記載された開示された、およびその他の解決策、実施例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1つ以上のコンピュータプログラム製品、たとえば、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、成分、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。コンピュータプログラムを、1つのコンピュータで実行するように展開することができ、あるいは、1つのサイトに位置する、または複数のサイトにわたって分散され通信ネットワークによって相互接続される複数のコンピュータで実行するように展開することができる。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上の記憶装置とである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許文献において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示されたすべての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムの構成要素の分離は、すべての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および実施例のみが記載されており、この特許文献に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (14)

  1. 規則に従って、1つ以上の映像ユニットを含む映像と、前記映像のビットストリームとの間の変換を行うこと、を含む映像データ処理方法であって、
    前記規則は、映像ユニットレベルでの符号データ非表示の使用を示す第1の構文要素および前記映像ユニットレベルでの従属量子化の使用を示す第2の構文要素の値に基づいて、変換スキップ残差コーディングに関連する構文フラグが、前記映像ユニットレベルのビットストリームに条件的に含まれることを規定し、
    前記構文フラグが前記ビットストリームに含まれるか否かが、シーケンスレベルで変換スキップが許可されるか否かを示すシーケンスパラメータセット内の第3の構文要素にさらに基づき、
    前記構文フラグは、前記第3の構文要素の値がシーケンスレベルで変換スキップが許可されていることを規定し、前記第2の構文要素の値が前記映像ユニットに対して従属量子化が使用されていないことを規定し、前記第1の構文要素の値が前記映像ユニットに対して符号データ非表示が使用されていないことを規定する場合に存在し、
    変換スキップが有効な場合、前記符号データ非表示および前記従属量子化は、前記映像ユニットに対して適用されない、
    方法。
  2. 前記映像ユニットはスライスであり、前記映像ユニットレベルはスライスレベルに対応し、
    前記構文フラグは、スライスヘッダにおいてts_residual_coding_disabled_flagとして表される、
    請求項1に記載の方法。
  3. 前記第3の構文要素が、前記シーケンスパラメータセットにおいてsps_transform_skip_enabled_flagとして表され、
    シーケンスレベルで変換スキップが許可されることを規定する前記第3の構文要素の値は1に等しく、前記映像ユニットに対して従属量子化が使用されないことを規定する前記第2の構文要素の値は0に等しく、前記映像ユニットに対して符号データ非表示が使用されないことを規定する前記第1の構文要素の値は0に等しく、
    前記映像ユニットにおける符号データ非表示の使用を示す第1の構文要素は、前記第1の構文要素が存在しない場合、0のデフォルト値を有し、かつ、
    前記映像ユニットにおける従属量子化の使用を示す第2の構文要素は、前記第2の構文要素が存在しない場合、0のデフォルト値を有する、
    請求項1に記載の方法。
  4. 前記第2の構文要素は、シーケンスレベルで従属量子化が有効であるか否かを示すシーケンスパラメータセット内の第4の構文要素に基づいて、条件付きでビットストリームに含まれる、
    請求項1から3のいずれか1項に記載の方法。
  5. 前記第1の構文要素は、シーケンスレベルで符号データ非表示が有効であるか否かを示すシーケンスパラメータセット内の第5の構文要素と前記第2の構文要素とに基づいて条件付きでビットストリームに含まれる、
    請求項4に記載の方法。
  6. 前記変換スキップ残差コーディングは、変換スキップモードでコーディングされた映像ブロックに対して適用される変換係数コーディング技術であり、
    前記符号データ非表示が、係数符号フラグのコーディングを省略する技術、または、
    前記従属量子化は、サンプルの量子化が以前のサンプルの状態に依存するモードである、
    請求項1から3のいずれか1項に記載の方法。
  7. 前記映像が映像ピクチャを含み、
    前記規則が、前記映像ピクチャに適用されるスケーリングウィンドウオフセットの少なくとも1つがXより小さくないことをさらに規定し、ここで、Xは、前記映像ピクチャの寸法に基づいて決定される負の整数値であり、
    前記スケーリングウィンドウオフセットが、スケーリングウィンドウ右オフセット、スケーリングウィンドウ左オフセット、スケーリングウィンドウ上オフセット、またはスケーリングウィンドウ下オフセットのうちの少なくとも1つを含み、
    前記映像ピクチャの寸法が、輝度サンプルで表されるピクチャの幅または輝度サンプルで表されるピクチャの高さを含む、
    請求項1から3のいずれか1項に記載の方法。
  8. SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)の値は、輝度サンプルで表される前記ピクチャの幅より小さく、SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)の値は、輝度サンプルで表される前記ピクチャの高さより小さく、ここで、scaling_win_left_offsetはスケーリングウィンドウ左オフセット、scaling_win_right_offsetはスケーリングウィンドウ右オフセット、scaling_win_top_offsetはスケーリングウィンドウ上オフセット、scaling_win_bottom_offsetはスケーリングウィンドウ下オフセットを示し、SubWidthCとSubHeightCは前記映像ピクチャの彩度フォーマットに基づいて決定される、
    請求項に記載の方法。
  9. 前記規則は、適応パラメータセットのタイプが、前記適応パラメータセットのタイプの前に示されることを規定する、
    請求項1から3のいずれか1項に記載の方法。
  10. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
    請求項1から3のいずれか1項に記載の方法。
  11. 前記変換は、前記映像を前記ビットストリームから復号化することを含む、
    請求項1から3のいずれか1項に記載の方法。
  12. プロセッサと命令を有する非一時的メモリを含む映像データを処理するための装置であって、前記命令は、前記プロセッサによる実行時に、前記プロセッサに、
    規則に従って、1つ以上の映像ユニットを含む映像と前記映像のビットストリームとの間の変換を実行させ、
    前記規則は、映像ユニットレベルでの符号データ非表示の使用を示す第1の構文要素および前記映像ユニットレベルでの従属量子化の使用を示す第2の構文要素の値に基づいて、変換スキップ残差コーディングに関連する構文フラグが前記映像ユニットレベルで前記ビットストリームに条件付きで含まれることを規定し、
    前記構文フラグが前記ビットストリームに含まれるか否かが、シーケンスレベルで変換スキップが許可されるか否かを示すシーケンスパラメータセット内の第3の構文要素にさらに基づき、
    前記構文フラグは、前記第3の構文要素の値がシーケンスレベルで変換スキップが許可されていることを規定し、前記第2の構文要素の値が前記映像ユニットに対して従属量子化が使用されていないことを規定し、前記第1の構文要素の値が前記映像ユニットに対して符号データ非表示が使用されていないことを規定する場合に存在し、
    変換スキップが有効な場合、前記符号データ非表示および前記従属量子化は、前記映像ユニットに対して適用されない、
    装置。
  13. 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、この命令は、プロセッサに、
    規則に従って、1つ以上の映像ユニットを含む映像と前記映像のビットストリームとの間の変換を実行させ、
    前記規則は、映像ユニットレベルでの符号データ非表示の使用を示す第1の構文要素および前記映像ユニットレベルでの従属量子化の使用を示す第2の構文要素の値に基づいて、変換スキップ残差コーディングに関連する構文フラグが前記映像ユニットレベルで前記ビットストリームに条件付きで含まれることを規定し、
    前記構文フラグが前記ビットストリームに含まれるか否かが、シーケンスレベルで変換スキップが許可されるか否かを示すシーケンスパラメータセット内の第3の構文要素にさらに基づき、
    前記構文フラグは、前記第3の構文要素の値がシーケンスレベルで変換スキップが許可されていることを規定し、前記第2の構文要素の値が前記映像ユニットに対して従属量子化が使用されていないことを規定し、前記第1の構文要素の値が前記映像ユニットに対して符号データ非表示が使用されていないことを規定する場合に存在し、
    変換スキップが有効な場合、前記符号データ非表示および前記従属量子化は、前記映像ユニットに対して適用されない、
    非一時的なコンピュータ可読記憶媒体。
  14. 映像のビットストリームを記憶する方法であって、前記方法は、
    規則に従って、1つ以上の映像ユニットを含む映像のビットストリームを生成させることと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を実行し、
    前記規則は、映像ユニットレベルでの符号データ非表示の使用を示す第1の構文要素および前記映像ユニットレベルでの従属量子化の使用を示す第2の構文要素の値に基づいて、変換スキップ残差コーディングに関連する構文フラグが前記映像ユニットレベルで前記ビットストリームに条件付きで含まれることを規定し、
    前記構文フラグが前記ビットストリームに含まれるか否かが、シーケンスレベルで変換スキップが許可されるか否かを示すシーケンスパラメータセット内の第3の構文要素にさらに基づき、
    前記構文フラグは、前記第3の構文要素の値がシーケンスレベルで変換スキップが許可されていることを規定し、前記第2の構文要素の値が前記映像ユニットに対して従属量子化が使用されていないことを規定し、前記第1の構文要素の値が前記映像ユニットに対して符号データ非表示が使用されていないことを規定する場合に存在し、
    変換スキップが有効な場合、前記符号データ非表示および前記従属量子化は、前記映像ユニットに対して適用されない、
    方法。
JP2022563487A 2020-04-19 2021-04-19 変換スキップ残差コーディング Active JP7525639B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024072903A JP2024099764A (ja) 2020-04-19 2024-04-26 変換スキップ残差コーディング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2020/085489 2020-04-19
CN2020085489 2020-04-19
PCT/CN2021/088056 WO2021213309A1 (en) 2020-04-19 2021-04-19 Transform skip residual coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024072903A Division JP2024099764A (ja) 2020-04-19 2024-04-26 変換スキップ残差コーディング

Publications (2)

Publication Number Publication Date
JP2023522115A JP2023522115A (ja) 2023-05-26
JP7525639B2 true JP7525639B2 (ja) 2024-07-30

Family

ID=78270241

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022563487A Active JP7525639B2 (ja) 2020-04-19 2021-04-19 変換スキップ残差コーディング
JP2024072903A Pending JP2024099764A (ja) 2020-04-19 2024-04-26 変換スキップ残差コーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024072903A Pending JP2024099764A (ja) 2020-04-19 2024-04-26 変換スキップ残差コーディング

Country Status (6)

Country Link
US (2) US12010346B2 (ja)
EP (1) EP4128794A4 (ja)
JP (2) JP7525639B2 (ja)
KR (1) KR20230002446A (ja)
CN (2) CN115428464A (ja)
WO (2) WO2021213307A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021276676B2 (en) 2020-05-22 2024-08-22 Bytedance Inc. Scalable nested SEI message handling in video sub-bitstream extraction process
JP7549045B2 (ja) 2020-06-09 2024-09-10 バイトダンス インコーポレイテッド マルチレイヤ映像ビットストリームのサブビットストリーム抽出

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172912A1 (ko) 2020-02-27 2021-09-02 엘지전자 주식회사 사인 데이터 하이딩 관련 영상 디코딩 방법 및 그 장치
WO2021172914A1 (ko) 2020-02-27 2021-09-02 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
JP2021150703A (ja) 2020-03-17 2021-09-27 シャープ株式会社 画像復号装置及び画像符号化装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104221384A (zh) 2012-04-13 2014-12-17 夏普株式会社 用于发送和接收长期参考画面指示符的设备
US9307264B2 (en) * 2012-06-22 2016-04-05 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus
US20140003539A1 (en) 2012-07-02 2014-01-02 Cisco Technology, Inc. Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions
US10230970B2 (en) 2012-07-10 2019-03-12 Cisco Technology, Inc. Decoded picture buffer size management
US9294776B2 (en) 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US20140301436A1 (en) 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US20150103924A1 (en) 2013-10-13 2015-04-16 Sharp Laboratories Of America, Inc. On operation of decoded picture buffer for interlayer pictures
WO2015125494A1 (en) 2014-02-21 2015-08-27 Sharp Kabushiki Kaisha System for temporal identifier handling for hybrid scalability
EP3254465A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view video codec supporting residual prediction
FI20165114A (fi) 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
CN116866564A (zh) 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
CN110100440B (zh) 2016-12-22 2023-04-25 株式会社Kt 一种用于对视频进行解码、编码的方法
CN107071494B (zh) * 2017-05-09 2019-10-11 珠海市杰理科技股份有限公司 视频图像帧的二进制语法元素的生成方法和系统
WO2018207956A1 (ko) * 2017-05-10 2018-11-15 엘지전자(주) 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
WO2019004888A1 (en) * 2017-06-30 2019-01-03 Telefonaktiebolaget Lm Ericsson (Publ) ENCODING AND DECODING AN IMAGE BLOCK USING A CURVED INTRA-PREDICTION MODE
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
KR102576194B1 (ko) 2018-06-27 2023-09-08 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20210274217A1 (en) 2018-06-29 2021-09-02 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus for throughput enhancement, and recording medium storing bitstream
EP3834418A1 (en) * 2018-09-23 2021-06-16 Beijing Bytedance Network Technology Co. Ltd. Modification of motion vector with adaptive motion vector resolution
WO2020069651A1 (en) * 2018-10-05 2020-04-09 Huawei Technologies Co., Ltd. A candidate mv construction method for affine merge mode
EP4072139A3 (en) 2019-01-02 2022-11-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11523136B2 (en) * 2019-01-28 2022-12-06 Hfi Innovation Inc. Methods and apparatuses for coding transform blocks
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
CN113853792A (zh) 2019-05-11 2021-12-28 北京字节跳动网络技术有限公司 带有参考图片重采样的编解码工具
KR20220012352A (ko) 2019-05-30 2022-02-03 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
US11659201B2 (en) * 2019-08-16 2023-05-23 Qualcomm Incorporated Systems and methods for generating scaling ratios and full resolution pictures
CN114287135A (zh) 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
KR20220061245A (ko) 2019-09-20 2022-05-12 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩 장치, 방법 및 컴퓨터 프로그램
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
JP7323099B2 (ja) 2019-09-24 2023-08-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド マルチレイヤビデオビットストリームのためのdpbパラメータのシグナリング
AU2020321174A1 (en) 2019-10-07 2022-04-28 Huawei Technologies Co., Ltd. DPB size based reference picture entry constraints
JP7395727B2 (ja) 2019-10-23 2023-12-11 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
CN114600462A (zh) 2019-10-25 2022-06-07 夏普株式会社 用于在视频编码中发送信号通知图片信息的系统和方法
WO2021112037A1 (en) 2019-12-06 2021-06-10 Sharp Kabushiki Kaisha Systems and methods for signaling temporal sublayer information in video coding
EP4074038A4 (en) 2020-01-12 2023-01-25 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON VIDEO ENCODING AND DECODING
EP4088462A4 (en) 2020-02-14 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM
CN115299053A (zh) 2020-03-16 2022-11-04 字节跳动有限公司 可缩放视频编解码中的随机访问点访问单元
US11671627B2 (en) 2020-09-17 2023-06-06 Lemon Inc. Operating point entity group signaling in coded video
EP3972279A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture track referencing and processing
US20220086387A1 (en) 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity groups in video coding
US12041386B2 (en) 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams
US20220321919A1 (en) 2021-03-23 2022-10-06 Sharp Kabushiki Kaisha Systems and methods for signaling neural network-based in-loop filter parameter information in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172912A1 (ko) 2020-02-27 2021-09-02 엘지전자 주식회사 사인 데이터 하이딩 관련 영상 디코딩 방법 및 그 장치
WO2021172914A1 (ko) 2020-02-27 2021-09-02 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
JP2021150703A (ja) 2020-03-17 2021-09-27 シャープ株式会社 画像復号装置及び画像符号化装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alican Nalci, Muhammed Coban, and Marta Karczewicz,AHG9: High-level constraints on dependent quantization and sigh data hiding,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-R0271-v1,18th Meeting: by teleconference,2020年04月04日,pp.1-4
Mohammed Golam Sarwer, et al.,AHG9: Combination of JVET-R0049 and JVET-R0271,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-R0483,18th Meeting: by teleconference,2020年04月,pp.1-9
Shih-Ta Hsiang, et al.,AHG9: HLS on disabling TSRC,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-R0049-v1,18th Meeting: by teleconference,2020年04月03日,pp.1-4

Also Published As

Publication number Publication date
WO2021213307A1 (en) 2021-10-28
CN115428464A (zh) 2022-12-02
EP4128794A1 (en) 2023-02-08
US20230063674A1 (en) 2023-03-02
CN115699761A (zh) 2023-02-03
JP2024099764A (ja) 2024-07-25
KR20230002446A (ko) 2023-01-05
WO2021213309A1 (en) 2021-10-28
EP4128794A4 (en) 2023-12-27
US12010346B2 (en) 2024-06-11
US20240089504A1 (en) 2024-03-14
JP2023522115A (ja) 2023-05-26

Similar Documents

Publication Publication Date Title
JP7513755B2 (ja) サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ
JP7488353B2 (ja) サブピクチャの順序関係
JP7544843B2 (ja) サブピクチャとスケーラビリティの組み合わせ
JP2024099764A (ja) 変換スキップ残差コーディング
JP7506184B2 (ja) 映像コーディングにおけるスケーリングウィンドウ
JP7518216B2 (ja) 異なるコーディングブロックサイズを有するインターレイヤ予測
JP7529795B2 (ja) 参照ピクチャリスト上の制約
JP7538256B2 (ja) 映像ビットストリームにおけるサブレイヤ信号通知
JP7564250B2 (ja) 映像コーディングにおける補足強化情報メッセージのスケーラブルネスティング
JP7513756B2 (ja) サブレイヤ数制限
WO2021209062A1 (en) Adaptive loop filtering

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240718

R150 Certificate of patent or registration of utility model

Ref document number: 7525639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150