JP7522218B2 - 映像コーディングにおける同一位置に配置されたピクチャに対する制約 - Google Patents
映像コーディングにおける同一位置に配置されたピクチャに対する制約 Download PDFInfo
- Publication number
- JP7522218B2 JP7522218B2 JP2022559409A JP2022559409A JP7522218B2 JP 7522218 B2 JP7522218 B2 JP 7522218B2 JP 2022559409 A JP2022559409 A JP 2022559409A JP 2022559409 A JP2022559409 A JP 2022559409A JP 7522218 B2 JP7522218 B2 JP 7522218B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- flag
- video
- bitstream
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2021年3月30日出願の国際出願番号第PCT/US2021/024795号に基づき、2020年3月30日出願の米国特許仮出願第63/002121号の優先権および利益を主張するものである。前述のすべての特許出願は、その全体が参照により本明細書に組み込まれる。
本明細書は、映像コーディング技術に関する。具体的には、サブピクチャ、タイル、およびスライスの信号通知に関する。この考えは、個々にまたは様々な組み合わせで、マルチレイヤ映像コーディング、例えば、現在開発されているVersatile Video Coding(VVC)をサポートする任意の映像コーディング標準または非標準映像コーデックに適用されてもよい。
ALF Adaptive Loop Filter(適応ループフィルタ)
APS Adaptation Parameter Set(適応パラメータセット)
AU Access Unit(アクセスユニット)
AUD Access Unit Delimiter(アクセスユニット区切り文字)
AVC Advanced Video Coding(高度映像コーディング)
CLVS Coded Layer Video Sequence(コーディングされたレイヤ映像シーケンス)
CPB Coded Picture Buffer(コーディングされたピクチャバッファ)
CRA Clean Random Access(クリーンランダムアクセス)
CTU Coding Tree Unit(コーディングツリーユニット)
CVS Coded Video Sequence(コーディングされた映像シーケンス)
DCI Decoding Capability Information(デコーディング能力情報)
DPB Decoded Picture Buffer(デコードされたピクチャバッファ)
DPS Decoding Parameter Set(デコーディングパラメータセット)
EOB End Of Bitstream(ビットストリーム終端)
EOS End Of Sequence(シーケンス終端)
GDR Gradual Decoding Refresh(漸次的デコーディングリフレッシュ)
HEVC High Efficiency Video Coding(高効率映像コーディング)
HRD Hypothetical Reference Decoder(仮想参照デコーダ)
IDR Instantaneous Decoding Refresh(瞬時デコーディングリフレッシュ)
JEM Joint Exploration Model(共同探索モデル)
LMCS Luma Mapping with Chroma Scaling(彩度スケーリングを伴う輝度マッピング)
MCTS Motion-Constrained Tile Sets(動き制約タイルセット)
NAL Network Abstraction Layer(ネットワーク抽象化レイヤ)
OLS Output Layer Set(出力レイヤセット)
PH Picture Header(ピクチャヘッダ)
PPS Picture Parameter Set(ピクチャパラメータセット)
PTL Profile, Tier and Level(プロファイル、ティアおよびレベル)
PU Picture Unit(ピクチャユニット)
RADL Random Access Decodable Leading (ランダムアクセスデコード可能リーディング) (ピクチャ)
RAP Random Access Point(ランダムアクセスポイント)
RASL Random Access Skipped Leading (ランダムアクセススキップリーディング) (ピクチャ)
RBSP Raw Byte Sequence Payload(生バイトシーケンスペイロード)
RPL Reference Picture List(参照ピクチャリスト)
SAO Sample Adaptive Offset(サンプル適応オフセット)
SEI Supplemental Enhancement Information(補足強化情報)
SPS Sequence Parameter Set(シーケンスパラメータセット)
STSA Step-wise Temporal Sublayer Access(ステップワイズ時間サブレイヤーアクセス)
SVC Scalable Video Coding(スケーラブル映像コーディング)
VCL Video Coding Layer(映像コーディングレイヤ)
VPS Video Parameter Set(映像パラメータセット)
VTM VVC Test Model(VVC試験モデル)
VUI Video Usability Information(映像ユーザビリティ情報)
VVC Versatile Video Coding(汎用映像コーディング)
映像コーディング規約は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像コーディング規約は、時間予測と変換コーディングが利用されるハイブリッド映像コーディング構造に基づく。HEVCを超えた将来の映像コーディング技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Model)と呼ばれる参照ソフトウェアに組み込まれてきた。JVETは四半期に1回開催され、新しいコーディング規約はHEVCに比べて50%のビットレート低減を目指している。2018年4月のJVET会議において、新しい映像コーディング規約を「VVC(Versatile Video Coding)」と正式に命名し、その時、第1版のVVCテストモデル(VTM)をリリースした。VVCの標準化に寄与する努力が続けられているので、すべてのJVET会議において、VVC標準に新しいコーディング技術が採用されている。毎回の会議の後、VVC作業草案およびテストモデルVTMを更新する。VVCプロジェクトは、現在、2020年7月の会合における技術完成(FDIS)を目指している。
HEVCには、正規のスライス、依存性のあるスライス、タイル、WPP(Wavefront Parallel Processing)という4つの異なる画像分割スキームがあり、これらを適用することで、MTU(Maximum Transfer Unit)サイズのマッチング、並列処理、エンドツーエンドの遅延の低減が可能になる。
VVCにおいて、1つのピクチャは、1または複数のタイル行および1または複数のタイル列に分割される。1つのタイルは、1つのピクチャの1つの矩形領域を覆う1つのCTUのシーケンスである。1つのタイルにおけるCTUは、そのタイル内でラスタスキャン順にスキャンされる。
AVCおよびHEVCにおいて、ピクチャの空間的解像度は、新しいSPSを使用する新しいシーケンスがIRAPピクチャで始まらない限り、変更することができない。VVCは、常にイントラコーディングされるIRAPピクチャをエンコーディングせずに、ある位置のシーケンス内でピクチャの解像度を変更することを可能にする。この特徴は、参照ピクチャがデコードされている現在のピクチャと異なる解像度を有する場合、インター予測に使用される参照ピクチャをリサンプリングすることが必要であるため、参照ピクチャリサンプリング(RPR)と称する。
参照ピクチャ管理は、インター予測を使用する任意の映像コーディング方式に必要なコア機能である。それは、デコードされたピクチャバッファ(DPB)への参照ピクチャの記憶域およびそこからの参照ピクチャの除去を管理するとともに参照ピクチャをRPL内の適切な順序に置く。
AVC、HEVC、VVCはパラメータセットを指定する。パラメータセットのタイプは、SPS、PPS、APS、VPS等である。SPS、PPSは、AVC、HEVC、VVCのすべてでサポートされている。VPSは、HEVCから導入されたものであり、HEVCおよびVVCの両方に含まれる。APSは、AVCまたはHEVCに含まれていなかったが、最近のVVC草案のテキストに含まれている。
HEVCと同様に、VVCにおけるスライスヘッダは、特定のスライスに関する情報を伝達する。これは、スライスアドレス、スライスタイプ、スライスQP、ピクチャオーダカウント(POC)最下位ビット(LSB)、RPSおよびRPL情報、重み付け予測パラメータ、ループフィルタリングパラメータ、タイルのエントリオフセット、およびWPPなどを含む。
他のインループフィルタ(すなわち、デブロッキング、SAO、およびALF)とは異なり、一般的には、空間的近傍のサンプルの情報を使用して現在のサンプルにフィルタリング処理を適用し、コーディングアーチファクトを低減する。これに対し、彩度スケーリング(LMCS)を用いた輝度マッピングは、コード名をダイナミックレンジ全体に再配布することで、エンコーディング前の入力信号を修正して圧縮効率を改善する。LMCSは、2つの主なコンポーネント、即ち、(a)適応区分的線形モデルに基づく輝度成分のインループマッピング、および(b)彩度成分のための輝度依存彩度残差スケーリング、を有する。輝度マッピングは、順方向マッピング関数FwdMapと、対応する逆方向マッピング関数InvMapを利用する。FwdMap関数は、16個の等しい区分を持つ区分的線形モデルを使用して信号通知される。InvMap関数は信号通知する必要はなく、代わりにFwdMap関数から派生する。APSにおいて、輝度マッピングモデルを信号通知する。コーディングされた映像シーケンスにおいて、最大4つのLMCS APSを使用できる。1つのピクチャに対してLMCSが有効化されると、輝度マッピングパラメータを搬送するAPSを識別するように、ピクチャヘッダにAPS IDが信号通知される。スライスに対してLMCSが有効化されるとき、InvMap関数をすべての再構成された輝度ブロックに適用し、サンプルを元のドメインに戻す。インターコーディングされたブロックの場合、追加のマッピング処理が必要であり、このマッピング処理は、FwdMap関数を適用して、通常の補償処理の後、元のドメインの輝度予測ブロックをマッピングされたドメインにマッピングする。彩度残差スケーリングは、輝度信号とそれに対応するクロマ信号間の相互作用を補正するように設計されている。輝度マッピングが有効化されるとき、輝度依存彩度残差スケーリングが有効化されるかどうかを示すために、追加のフラグが信号通知される。彩度残差スケーリング係数は、現在のCUの上側および/または左側の再構成された近傍の輝度サンプルの平均値に依存する。スケーリング係数が決定されると、エンコーディング段階において、イントラ予測残差およびインター予測残差の両方に順方向スケーリングを適用し、再構成された残差に逆方向スケーリングを適用する。
最近のVVCテキスト(JVET-Q2001-vE/v15)における既存の設計は、以下の問題を有する。
ph_temporal_mvp_enabled_flagおよびrpl_info_in_ph_flagがいずれも1に等しい場合、slice_collocated_from_l0_flagの値はph_collocated_from_l0_flagと等しくなると推測される。例えば、
その結果、ph_temporal_mvp_enabled_flagおよびrpl_info_in_ph_flagが共に1に等しく、ph_collocated_from_l0_flagが0に等しい場合、slice_collocated_from_l0_flagの値は、ピクチャのPスライスに対するものも含め0に等しくなると推測される。しかしながら、Pスライスは、リスト0におけるエントリのみを参照するものとする。
a. ph_lmcs_enabled_flagの意味論は、ph_lmcs_enabled_flagが真である場合、スライスレベルLMCSフラグを信号通知する誘因と競合する。現在のVVCにおいて、ph_lmcs_enabled_flagがtrueであるとき、それは、すべてのスライスがLMCSを有効化にすることを意味する。したがって、スライスヘッダにおいて、LMCS有効化フラグをさらに信号送信する必要がない。
b. また、ピクチャヘッダがLMCSを有効化されていることを伝えると、一般的に、すべてのスライスについて、LMCSはすべて有効化される。スライスヘッダにおけるLCMSの制御は、主にコーナーケースを扱うためのものである。したがって、PH LMCSフラグが真であり、SH LMCSフラグが常に信号通知される場合、共通のユーザの場合に不必要なビットが信号通知される可能性がある。
c. さらに、ph_chroma_residual_scale_flagおよびslice_lmcs_enabled_flagの意味論において、ピクチャおよび/またはスライスの彩度残差スケーリングの有効化/無効化が明確に規定されていない。
上述した課題等を解決するために、以下に示す方法が開示されている。本発明は、一般的な概念を説明するための例と見なされるべきであり、狭い意味で解釈されるべきではない。さらに、本発明は、個々に適用されてもよいし、任意に組み合わせて適用されてもよい。
a. ピクチャがPスライスを含むかどうかに関わらず、同一位置に配置されたピクチャは、参照ピクチャリスト1からのものであることが許可されてもよい(かつ、参照ピクチャリスト0に存在しなくてもよい)。
b. RPL情報がPHにおいて信号通知される(すなわち、rpl_info_in_ph_flagが1に等しい)場合、ph_collocated_from_l0_flagは0に等しく(すなわち、同一位置に配置されたピクチャは参照ピクチャリスト1に由来し)、スライスが同一位置に配置されたピクチャ参照インデックス(すなわち、slice_collocated_ref_idx)は、Min(ph_collocated_ref_idx、NumRefIdxActive[0]-1)に等しくなるように導出されてもよい。
i. あるいは、この場合、slice_collocated_ref_idxは、(ph_collocated_ref_idx<NumRefIdxActive[0])?ph_collocated_ref_idx:Nは、0~NumRefIdxActive[0]-1の範囲内にある変数であり、この範囲に含まれる。
1. 一例において、Nは0に設定される。
a. あるいは、同じスケーリングウィンドウオフセットのアスペクトを既存の制約に追加するだけである、すなわち、制約を以下のように変更することが求められる。
a. PHを構文解析し、ph_collocated_from_l0_flagが1に等しいときにNumRefIdxActive[0]の値が既知である場合、ph_collocated_ref_idxの値は、0~NumRefIdxActive[0]-1の範囲内にあるように制限されてもよい。
b. PHを構文解析し、ph_collocated_from_l0_flagが0に等しいときにNumRefIdxActive[1]の値が既知である場合、ph_collocated_ref_idxの値は、0~NumRefIdxActive[1]-1の範囲内にあるように制限されてもよい。
a. さらに、sps_one_slice_per_picture_flagが1に等しい場合、SPS構文要素sps_num_subpics_minus1およびsps_independent_subpics_flagのいずれかまたは両方の信号通知はスキップしてもよい。
i. さらに、sps_one_slice_per_picture_flagが1に等しい場合、sps_num_subpics_minus1およびsps_independent_subpics_flagのいずれかまたは両方の値は、それぞれ0および1に等しいと推測できる。
b. あるいは、さらに、sps_one_slice_per_picture_flagが1に等しいとき、SPS構文要素sps_num_subpics_minus1およびsps_independent_subpics_flagのいずれかまたは両方の値は、それぞれ0および1に等しくなるように制約される。
c. さらに、sps_one_slice_per_picture_flagが1に等しいとき、picture_header_in_slice_header_flagの値は1に等しいことが必要となる可能性がある。
d. あるいは、さらに、各ピクチャが1つのスライスのみを含むべきであるという制約が真である(例えば、1_slice_per_pic_constraint_flagが1に等しい)場合、SPSフラグが1に等しいことが必要である。
a. さらに、pps_one_slice_per_picture_flagが1に等しい場合、このようなPPSフラグの値に基づいて、PPS構文要素pps_num_subpics_minus1、rect_slice_flag、single_slice_per_subpic_flag、num_slices_in_pic_minus1、loop_filter_across_slices_enabled_flagのうちの1つ以上の信号通知をスキップしてもよい。
i. さらに、pps_one_slice_per_picture_flagが1に等しい場合、このようなPPSフラグの値に基づいて、pps_num_subpics_minus1、rect_slice_flag、single_slice_per_subpic_flag、num_slices_in_pic_minus1、loop_filter_across_slices_enabled_flagのうちの1つ以上の値をそれぞれ、0、1、1、1および1に等しいと推測できる。
b. あるいは、さらに、pps_one_slice_per_picture_flagが1に等しい場合、このようなPPSフラグの値に基づいて、pps_num_subpics_minus1、rect_slice_flag、single_slice_per_subpic_flag、num_slices_in_pic_minus1、loop_filter_across_slices_enabled_flagのうちの1つ以上の値をそれぞれ、0、1、1、1および1に等しくなるように制約される。
c. あるいは、さらに、各ピクチャが1つのスライスのみを含むべきであるという制約が真である(例えば、1_slice_per_pic_constraint_flagが1に等しい)場合、PPSフラグは1に等しいことが必要である。
a. あるいは、さらに、LMCS SH制御フラグ(例えば、slice_lmcs_used_flag)の意味論を、LMCSが使用されているかどうかを示すように修正する。
あるいは、さらにph_chroma_residual_scale_flagの意味論の固定は、6.3章に記載されるように、ピクチャおよび/またはスライスの彩度残差スケーリングの有効化/無効化を正しく説明するために行われる。
本実施形態は、上述した実施例2~4に対応する。
7.4.3.7 ピクチャヘッダ構造意味論
...
pic_output_flagは、附属書Cに規定されるように、デコードされたピクチャの出力および削除処理に影響を及ぼす。pic_output_flagが存在しない場合、1に等しいと推測される。
...
ph_temporal_mvp_enabled_flagは、PHに関連するスライスのインター予測に時間動きベクトル予測モジュールを使用できるかを規定する。ph_temporal_mvp_enabled_flagが0に等しい場合、PHに関連付けられたスライスの構文要素は、時間的動きベクトル予測子がスライスのデコーディングに使用されないように制約されるものとする。そうでない場合(ph_temporal_mvp_enabled_flagが1に等しい場合)、PHに関連付けられたスライスのデコーディングに時間的動きベクトル予測子を使用してもよい。存在しない場合、ph_temporal_mvp_enabled_flagの値は0に等しいと推測される。[[DPBにおける参照ピクチャの空間的解像度が現在のピクチャと同じでない場合、ph_temporal_mvp_enabled_flagの値は0に等しいものとする。]]
...
1に等しいph_collocated_from_I0_flagは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャが参照ピクチャリスト0から導出されることを規定する。0に等しいph_collocated_from_I0_flagは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャが参照ピクチャリスト1から導出されることを規定する。
ph_collocated_ref_idxは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャの参照インデックスを規定する。
存在しない場合、ph_collocated_ref_idxの値は0に等しいと推測される。
...
7.4.8.1 一般スライスヘッダ意味論
...
slice_collocated_ref_idxは、時間的動きベクトル予測に使用される同一位置に配置されたピクチャの参照インデックスを規定する。
slice_typeがPであるか、またはslice_typeがBに等しく、slice_collocated_from_l0_flagが1に等しい場合は、slice_collocated_ref_idxは、参照ピクチャリスト0のエントリを参照し、slice_collocated_ref_idxの数値は、0からNumRefIdxActive[0]-1の範囲内にあるものとする。
slice_typeがBに等しく、slice_collocated_from_l0_flagが0に等しい場合、slice_collocated_ref_idxの値は、参照ピクチャリスト1のエントリを参照し、slice_collocated_ref_idxは、0からNumRefIdxActive[1]-1の範囲内にあるものとする。
slice_collocated_ref_idxが存在しない場合、以下が適用される。
- rpl_info_in_ph_flagが1に等しい場合は、slice_collocated_ref_idxの値はph_collocated_ref_idxに等しいと推論される。
- そうでない場合(rpl_info_in_ph_flagが0に等しい)、slice_collocated_ref_idxの値は0に等しいと推論される。
slice_collocated_ref_idxが参照するピクチャは、コーディングされたピクチャのすべてのスライスで同じであるものとすることが、ビットストリーム適合性の要件である。
slice_collocated_ref_idxで参照される参照ピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesの値が、それぞれ現在のピクチャのpic_width_in_luma_samplesとpic_height_in_luma_samplesと同じであるものとし、RprConstraintsActive[slice_collocated_from_l0_flag?0:1][slice_collocated_ref_idx]は0に等しいものとすることが、ビットストリーム適合性の要件である。
...
7.3.2.3 シーケンスパラメータセットRBSP構文
7.4.3.3 シーケンスパラメータセットRBSP意味論
...
sps_log2_ctu_size_minus5+5は、各CTUの輝度コーディングツリーブロックのサイズを規定する。sps_log2_ctu_size_minus5の値は、0~2の範囲内である。sps_log2_CTU_size_minus5の値3は、ITU-T|ISO/IECが将来使用するために確保されている。
変数CtbLog2SizeYおよびCtbSizeYは、以下のように導出される。
CtbLog2SizeY=sps_log2_ctu_size_minus5+5 (43)
CtbSizeY=1<<CtbLog2SizeY (44)
1に等しいsubpic_info_present_flagは、CLVSのためのサブピクチャ情報が存在し、CLVSの各ピクチャに1つ以上のサブピクチャが存在し得ることを規定する。0に等しいsubpic_info_present_flagは、CLVSのためのサブピクチャ情報が存在せず、CLVSの各ピクチャにはサブピクチャが1つだけ存在することを規定する。
res_change_in_clvs_allowed_flagが1に等しい場合は、subpic_info_present_flagの値は0に等しいものとする。
注3-ビットストリームがサブビットストリーム抽出処理の結果であり、サブビットストリーム抽出処理への入力ビットストリームのサブピクチャのサブセットのみを含む場合、SPSのRBSPにおいて、subpic_info_present_flagの値を1に設定することが必要となる場合がある。
sps_num_subpics_minus1+1は、CLVS内の各ピクチャのサブピクチャの数を規定する。sps_num_subpics_minus1の値は、0~Ceil(pic_width_max_in_luma_samples÷CtbSizeY)*Ceil(pic_height_max_in_luma_samples÷CtbSizeY)-1のの範囲内にあるものとする。存在しない場合、sps_num_subpics_minus1の値は0に等しいと推測される。
...
7.3.2.4 ピクチャパラメータセットRBSP構文
7.4.3.4 ピクチャパラメータセットRBSP意味論
...
pic_width_in_luma_samplesは、PPSを参照してデコードされた各ピクチャの幅を輝度サンプルの単位で規定する。pic_width_in_luma_samplesは、0に等しくないものとし、Max(8,MinCbSizeY)の整数倍であるものとし、pic_width_max_in_luma_samples以下であるものとする。
res_change_in_clvs_allowed_flagが0に等しい場合、pic_width_in_luma_samplesの値はpic_width_max_in_luma_samplesと等しいものとする。
sps_ref_wraparound_enabled_flagが1に等しい場合、(CtbSizeY/MinCbSizeY+1)の値は、(pic_width_in_luma_samples/MinCbSizeY-1)の値以下であるとする。
...
...
0に等しいrect_slice_flagは、各スライス内のタイルがラスタスキャン順に配列されており、かつスライス情報がPPSで信号通知されないことを規定する。1に等しいrect_slice_flagは、各スライス内のタイルがピクチャの矩形領域を覆い、かつスライス情報がPPSで信号通知されることを規定する。存在しない場合、rect_slice_flagは1に等しいと推測される。subpic_info_present_flagが1に等しいとき、rect_slice_flagの値は1に等しいものとする。
num_slices_in_pic_minus1+1は、PPSを参照する各ピクチャの矩形スライスの数を規定する。num_slices_in_pic_minus1の値は、0からMaxSlicesPerPicture-1の範囲(両端含む)とし、MaxSlicesPerPictureは附属書Aで規定されるものとする。no_pic_partition_flagが1の場合、num_slices_in_pic_minus1の値は0に等しいと推定される。single_slice_per_subpic_flagが1に等しい場合、num_slices_in_pic_minus1の値はsps_num_subpics_minus1に等しいと推論される。
...
7.4.8.1 一般スライスヘッダ意味論
...
1に等しいpicture_header_in_slice_header_flagは、スライスヘッダにPH構文構造が存在することを規定する。0に等しいpicture_header_in_slice_header_flagは、PH構文構造が存在しないことを規定する。
CLVS内のすべてのコーディングされたスライスにおいて、picture_header_in_slice_header_flagの値が同じであるものとすることが、ビットストリーム適合性の要件である。
1つのコーディングされたスライスに対してpicture_header_in_slice_header_flagが1に等しい場合は、PH_NUTであるnal_unit_typeを有するVCL NALユニットがCLVSに存在しないものとすることが、ビットストリーム適合性の要件である。
picture_header_in_slice_header_flagが0に等しい場合、現在のピクチャにおけるすべてのコーディングされたスライスは、picture_header_in_slice_header_flagが0に等しいものとし、現在のPUはPH NALユニットを有するものとする。
...
本実施形態は、上述した実施例7に対応する。
7.3.2.7 ピクチャヘッダ構造構文
7.4.3.7 ピクチャヘッダ構造意味論
...
...
7.3.7.1 一般スライスセグメントヘッダ構文
7.4.8.1 一般スライスヘッダ意味論
...
...
Claims (12)
- 現在のピクチャを含む映像と前記映像のビットストリームとの変換を行うこと、を含む映像処理方法であって、
前記ビットストリームはフォーマット規則に準拠し、
前記フォーマット規則は、前記ビットストリームのビットストリーム適合性の要件を保証するために、フラグph_temporal_mvp_enabled_flagのセマンティックに制約が存在することを指定し、前記制約は、前記現在のピクチャと同じ空間解像度および同じスケーリングウィンドウオフセットを有する復号されたピクチャバッファ内に参照ピクチャが存在しないことにより、前記フラグph_temporal_mvp_enabled_flagの値が、時間的動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示し、前記フラグph_temporal_mvp_enabled_flagは、ピクチャヘッダに含まれ、
参照ピクチャが前記現在のピクチャと同じ空間解像度を有するという制約が、スライスヘッダ内の同一位置に配置されたピクチャに関連する構文要素のセマンティックから削除される、映像処理方法。 - 前記フラグph_temporal_mvp_enabled_flagは、前記時間的動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示すゼロに等しい、請求項1に記載の方法。
- 前記フラグph_temporal_mvp_enabled_flagは、前記復号されたピクチャバッファにおける前記参照ピクチャが前記現在のピクチャにおけるすべてのスライスのうち1つ以上の参照ピクチャリストのアクティブエントリにないことにより、前記時間的動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示すゼロに等しい、請求項1又は2に記載の方法。
- 前記フォーマット規則は、前記現在のピクチャのスライスに関連する前記スライスヘッダが、前記現在のピクチャの同一位置に配置されたピクチャについての1つ以上の制約を含み、
前記1つ以上の制約は、参照ピクチャ再サンプリング処理が前記同一位置に配置されたピクチャに対して無効であることを示す変数を規定する、請求項1~3のいずれか1項に記載の方法。 - 前記変数はRprConstraintsActiveFlagであり、ゼロの値を有する前記変数は、前記参照ピクチャ再サンプリング処理が前記同一位置に配置されたピクチャに対して無効であることを示す、請求項4に記載の方法。
- 前記1つ以上の制約は、前記同一位置に配置されたピクチャのサブピクチャの数およびコーディングツリーユニット(CTU)サイズが前記現在のピクチャと同一であることをさらに規定する、請求項4または5に記載の方法。
- 同一位置に配置されたピクチャは、前記時間的動きベクトル予測ツールにおいて使用される、請求項1~6のいずれか1項に記載の方法。
- 前記変換は、前記ビットストリームから前記映像をデコーディングすることを含む、請求項1~7のいずれか1項に記載の方法。
- 前記変換は、前記映像を前記ビットストリームにエンコーディングすることを含む、請求項1~7のいずれか1項に記載の方法。
- 処理装置と命令を備える非一時的メモリとを含む映像データを処理するための装置であって、前記命令は、処理装置による実行時に、処理装置に、
現在のピクチャを含む映像と前記映像のビットストリームとの変換を行うこと、を行わせ、
前記ビットストリームはフォーマット規則に準拠し、
前記フォーマット規則は、前記ビットストリームのビットストリーム適合性の要件を保証するために、フラグph_temporal_mvp_enabled_flagのセマンティックに制約が存在することを指定し、前記制約は、現在のピクチャと同じ空間解像度および同じスケーリングウィンドウオフセットを有する復号されたピクチャバッファ内に参照ピクチャが存在しないことにより、前記フラグph_temporal_mvp_enabled_flagの値が、時間的動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示し、前記フラグph_temporal_mvp_enabled_flagは、ピクチャヘッダに含まれ、
前記参照ピクチャが前記現在のピクチャと同じ空間解像度を有するという制約が、スライスヘッダ内の同一位置に配置されたピクチャに関連する構文要素のセマンティックから削除される、映像データを処理するための装置。 - 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記命令は、処理装置に、
現在のピクチャを含む映像と前記映像のビットストリームとの変換を行うこと、を行わせ、
前記ビットストリームはフォーマット規則に準拠し、
前記フォーマット規則は、前記ビットストリームのビットストリーム適合性の要件を保証するために、フラグph_temporal_mvp_enabled_flagのセマンティックに制約が存在することを指定し、前記制約は、現在のピクチャと同じ空間解像度および同じスケーリングウィンドウオフセットを有する復号されたピクチャバッファ内に参照ピクチャが存在しないことにより、前記フラグph_temporal_mvp_enabled_flagの値が、時間的動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示し、前記フラグph_temporal_mvp_enabled_flagは、ピクチャヘッダに含まれ、
前記参照ピクチャが前記現在のピクチャと同じ空間解像度を有するという制約が、スライスヘッダ内の同一位置に配置されたピクチャに関連する構文要素のセマンティックから削除される、非一時的なコンピュータ可読記憶媒体。 - 映像のビットストリームを記憶する方法であって、
現在のピクチャを含む前記映像の前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を含み、
前記ビットストリームはフォーマット規則に準拠し、
前記フォーマット規則は、前記ビットストリームのビットストリーム適合性の要件を保証するために、フラグph_temporal_mvp_enabled_flagのセマンティックに制約が存在することを指定し、前記制約は、現在のピクチャと同じ空間解像度および同じスケーリングウィンドウオフセットを有する復号されたピクチャバッファ内に参照ピクチャが存在しないことにより、前記フラグph_temporal_mvp_enabled_flagの値が、時間動きベクトル予測ツールが前記現在のピクチャに対して無効であることを示し、前記フラグph_temporal_mvp_enabled_flagは、ピクチャヘッダに含まれ、
前記参照ピクチャが前記現在のピクチャと同じ空間解像度を有するという制約が、スライスヘッダ内の同一位置に配置されたピクチャに関連する構文要素のセマンティックから削除される、方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063002121P | 2020-03-30 | 2020-03-30 | |
| US63/002,121 | 2020-03-30 | ||
| PCT/US2021/024795 WO2021202464A1 (en) | 2020-03-30 | 2021-03-30 | Constraints on collocated pictures in video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023519937A JP2023519937A (ja) | 2023-05-15 |
| JP7522218B2 true JP7522218B2 (ja) | 2024-07-24 |
Family
ID=77928345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022559409A Active JP7522218B2 (ja) | 2020-03-30 | 2021-03-30 | 映像コーディングにおける同一位置に配置されたピクチャに対する制約 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11736734B2 (ja) |
| EP (1) | EP4115605A4 (ja) |
| JP (1) | JP7522218B2 (ja) |
| KR (1) | KR102755793B1 (ja) |
| CN (2) | CN115398888B (ja) |
| WO (2) | WO2021202464A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4018671A4 (en) | 2019-09-19 | 2022-12-07 | Beijing Bytedance Network Technology Co., Ltd. | Deriving reference sample positions in video coding |
| JP7414980B2 (ja) * | 2019-10-13 | 2024-01-16 | 北京字節跳動網絡技術有限公司 | 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 |
| US11503342B2 (en) * | 2020-06-10 | 2022-11-15 | Sharp Kabushiki Kaisha | Systems and methods for signaling sequence parameter information in video coding |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013132792A1 (ja) * | 2012-03-06 | 2013-09-12 | パナソニック株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置 |
| US10200709B2 (en) * | 2012-03-16 | 2019-02-05 | Qualcomm Incorporated | High-level syntax extensions for high efficiency video coding |
| WO2013154674A1 (en) * | 2012-04-11 | 2013-10-17 | Motorola Mobility Llc | Evaluation of signaling of collocated reference picture for temporal prediction |
| US9210425B2 (en) * | 2012-04-11 | 2015-12-08 | Google Technology Holdings LLC | Signaling of temporal motion vector predictor (MVP) flag for temporal prediction |
| US9325990B2 (en) * | 2012-07-09 | 2016-04-26 | Qualcomm Incorporated | Temporal motion vector prediction in video coding extensions |
| US9319681B2 (en) * | 2012-07-18 | 2016-04-19 | Google Technology Holdings LLC | Signaling of temporal motion vector predictor (MVP) enable flag |
| KR102338919B1 (ko) * | 2012-11-21 | 2021-12-13 | 엘지전자 주식회사 | 영상 디코딩 방법 및 이를 이용하는 장치 |
| US20140218473A1 (en) * | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
| EP3020186B1 (en) * | 2013-07-09 | 2022-12-07 | Nokia Technologies Oy | Method and apparatus for video coding involving syntax for signalling motion information |
| WO2015006281A2 (en) * | 2013-07-09 | 2015-01-15 | Sony Corporation | High level syntax improvement on inter-layer prediction for shvc/mv-hevc |
| KR20150009467A (ko) * | 2013-07-15 | 2015-01-26 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US9967592B2 (en) * | 2014-01-11 | 2018-05-08 | Qualcomm Incorporated | Block-based advanced residual prediction for 3D video coding |
| US20150373350A1 (en) * | 2014-06-20 | 2015-12-24 | Qualcomm Incorporated | Temporal motion vector prediction (tmvp) indication in multi-layer codecs |
| CN111818334B (zh) * | 2014-09-30 | 2022-04-01 | 寰发股份有限公司 | 用于视频编码的自适应运动向量分辨率的方法 |
| US10271064B2 (en) * | 2015-06-11 | 2019-04-23 | Qualcomm Incorporated | Sub-prediction unit motion vector prediction using spatial and/or temporal motion information |
| US10834419B2 (en) * | 2016-04-13 | 2020-11-10 | Qualcomm Incorporated | Conformance constraint for collocated reference index in video coding |
| WO2019182705A1 (en) * | 2018-03-21 | 2019-09-26 | Futurewei Technologies, Inc. | Signaling a cancel flag in a video bitstream |
| EP3806475B1 (en) * | 2018-07-06 | 2023-05-10 | LG Electronics, Inc. | Transform-based image coding method and device |
| CN114363610B (zh) * | 2018-08-29 | 2022-09-16 | 北京达佳互联信息技术有限公司 | 视频编码的方法、计算设备和存储介质 |
| US11496771B2 (en) * | 2020-02-24 | 2022-11-08 | Qualcomm Incorporated | Reference picture list and collocated picture signaling in video coding |
-
2021
- 2021-03-30 JP JP2022559409A patent/JP7522218B2/ja active Active
- 2021-03-30 CN CN202180026664.3A patent/CN115398888B/zh active Active
- 2021-03-30 WO PCT/US2021/024795 patent/WO2021202464A1/en not_active Ceased
- 2021-03-30 EP EP21779673.9A patent/EP4115605A4/en active Pending
- 2021-03-30 KR KR1020227032739A patent/KR102755793B1/ko active Active
- 2021-03-30 CN CN202180026759.5A patent/CN115362680B/zh active Active
- 2021-03-30 WO PCT/US2021/024800 patent/WO2021202468A1/en not_active Ceased
-
2022
- 2022-09-30 US US17/957,882 patent/US11736734B2/en active Active
-
2023
- 2023-08-16 US US18/450,787 patent/US12363348B2/en active Active
Non-Patent Citations (3)
| Title |
|---|
| Benjamin Bross et al.,Versatile Video Coding (Draft 8),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q2001-vE,2020年03月12日,pp. 49,124,145-146,173,176-177,452-454 |
| Hendry et al.,[AHG9]: On signalling of TMVP enabled flag and collocated reference picture,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q0207,2019年12月30日,p.1 |
| Wade Wan et al.,AHG8: RPR Scaling Window Issues,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q0487,2020年01月04日,pp.1-4 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4115605A4 (en) | 2023-11-15 |
| CN115362680A (zh) | 2022-11-18 |
| CN115398888B (zh) | 2024-06-11 |
| WO2021202468A1 (en) | 2021-10-07 |
| JP2023519937A (ja) | 2023-05-15 |
| US11736734B2 (en) | 2023-08-22 |
| US20230047030A1 (en) | 2023-02-16 |
| US12363348B2 (en) | 2025-07-15 |
| KR20220160575A (ko) | 2022-12-06 |
| US20230421817A1 (en) | 2023-12-28 |
| CN115362680B (zh) | 2025-08-29 |
| WO2021202464A1 (en) | 2021-10-07 |
| CN115398888A (zh) | 2022-11-25 |
| KR102755793B1 (ko) | 2025-01-15 |
| EP4115605A1 (en) | 2023-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11812062B2 (en) | Syntax for signaling video subpictures | |
| JP7464742B2 (ja) | 参照ピクチャリサンプリング | |
| US12363348B2 (en) | Constraints on collocated pictures in video coding | |
| JP7623077B2 (ja) | サブピクチャレベルに基づいたパーティション計算 | |
| JP7513756B2 (ja) | サブレイヤ数制限 | |
| JP7564249B2 (ja) | 映像コーディングにおける補足強化情報の制約 | |
| US11849150B2 (en) | High level control of filtering in video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7522218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |

























