JP7328445B2 - ビデオコーディングにおける参照サンプル位置の導出 - Google Patents

ビデオコーディングにおける参照サンプル位置の導出 Download PDF

Info

Publication number
JP7328445B2
JP7328445B2 JP2022517817A JP2022517817A JP7328445B2 JP 7328445 B2 JP7328445 B2 JP 7328445B2 JP 2022517817 A JP2022517817 A JP 2022517817A JP 2022517817 A JP2022517817 A JP 2022517817A JP 7328445 B2 JP7328445 B2 JP 7328445B2
Authority
JP
Japan
Prior art keywords
sample
window
video
current block
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517817A
Other languages
English (en)
Other versions
JP2022549796A (ja
Inventor
ザン,カイ
ザン,リー
リュウ,ホンビン
デン,ジピン
シュイ,ジィジォン
ワン,ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022549796A publication Critical patent/JP2022549796A/ja
Priority to JP2023127153A priority Critical patent/JP2023164427A/ja
Application granted granted Critical
Publication of JP7328445B2 publication Critical patent/JP7328445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

[関連出願]
本願は、国際特許出願番号第PCT/CN2019/106671、2019年9月19日出願、及び国際特許出願番号第PCT/CN2019/107082、2019年9月20日出願、及び国際特許出願番号第PCT/CN2019/109837、2019年10月5日出願、の優先権及び利益を主張する国際特許出願番号第PCT/CN2020/116469、2020年9月21日出願に基づく。前述の特許出願の全部は、それらの全体が参照によりここに組み込まれる。
[技術分野]
本願明細書は、ビデオコーディング技術、装置、及びシステムに関する。
現在、良好な圧縮比を提供するため又はビデオコーディング及び復号方式を提供して、低複雑性又は並列化実装を可能にするために、現在のビデオコーデック技術の性能を向上するよう努力が行われている。業界の専門家らは、最近、幾つかの新しいビデオコーディングツールを提案し、それらの有効性を決定するために現在テストが行われている。
デジタルビデオコーディング、特に動きベクトルの管理に関連する装置、システム、及び方法が記載される。記載される方法は、既存のビデオコーディング規格(例えば、High Efficiency Video Coding (HEVC)、又はVersatile Video Coding)及び将来のビデオコーディング規格若しくはビデオコーデックに適用できる。
1つの代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、ビデオの現在ピクチャと前記ビデオのコーディング表現との間の変換を実行するステップ、を含み、前記現在ピクチャは、W×Hサンプル寸法を有する第1ウインドウを含み、W及びHは整数であり、前記現在ピクチャに関連付けられた参照ピクチャは、W'×H'サンプル寸法を有する第2ウインドウを含み、W'及びH'は整数であり、前記第1ウインドウ及び前記第2ウインドウ内のサンプルは、前記変換の間に同じ処理ルールに従い、W、H、W’、及びH’は制約を満たす。
別の代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、ビデオの現在ピクチャと前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、前記現在ピクチャのウインドウを決定するためのオフセット値は、N-pel精度でコーディング表現の中でシグナリングされ、Nは1より大きい正整数である。
別の代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、第1ビデオユニット及び第2ビデオユニットを含むビデオと前記ビデオのコーディング表現との間の変換を時効するステップ、を含み、前記第1ビデオユニットの第1ウインドウの第1オフセット値セット及び前記第2ビデオユニットの第2ウインドウの第2オフセット値セットは、前記第1ビデオユニットの寸法及び前記第2ビデオユニットの寸法に関連付けられたルールに従い決定され、前記第1ウインドウ及び前記第2ウインドウ内のサンプルは、前記変換の間に同じ処理ルールに従う。
別の代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、ビデオの現在ピクチャと前記ビデオのコーディング表現との間の変換のために、ピクチャのウインドウの左上位置に基づき、前記現在ピクチャに関連付けられた参照ピクチャ内の参照サンプルの位置を決定するステップであって、前記ピクチャは少なくとも前記現在ピクチャ又は前記参照ピクチャを含む、ステップを含む。前記ウインドウは、前記変換の間に処理ルールに従う。前記方法は、前記決定に基づき変換を実行するステップを含む。
別の代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、ビデオの現在ピクチャと前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記現在ピクチャは、W×Hサンプル寸法を有する第1ウインドウを含み、W及びHは整数である。前記現在ピクチャに関連付けられた参照ピクチャは、W’×H’サンプル寸法を有する第2ウインドウを含み、W’及びH’は整数であり、前記第2ウインドウの左上位置は(X0,Y0)と表される。前記第1ウインドウ及び前記第2ウインドウ内のサンプルは、前記変換の間に同じ処理ルールに従う。参照サンプルの座標の整数部分は、前記第1ウインドウ又は前記第2ウインドウに部分的に基づき決定される範囲内に制約される。
別の代表的な態様では、開示の技術は、ビデオ処理の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測された隣接又は非隣接サンプルのグループに同じ補間フィルタが適用される。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測されたブロックは、前記現在ブロックに関連する整数値動き情報を使用することのみが許可される。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測されたブロックを導出するために補間フィルタが適用され、前記補間フィルタはルールに基づき選択される。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、前記デブロッキングフィルタの強度は、前記現在ビデオブロックの解像度及び/又はサイズに対する前記参照ピクチャの解像度及び/又はサイズに関連するルールに従い設定される。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、前記現在ビデオブロックの参照ピクチャは、前記現在ビデオブロックの寸法に基づくルールに従い再サンプリングされる。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間、前記現在ビデオブロックに対するコーディングツールの使用は、前記現在ビデオブロックの解像度及び/又はサイズに対する前記現在ビデオブロックの参照ピクチャの解像度及び/又はサイズに依存して有効又は無効にされる。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、複数のビデオブロックと前記複数のビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間、第1適合ウインドウが第1ビデオブロックについて定義され、第2適合ウインドウが第2ビデオブロックについて定義され、前記第2適合ウインドウに対する前記第1適合ウインドウの幅及び/又は高さの比は、少なくとも適合ビットストリームに基づくルールに従う。
別の代表的な態様では、開示の技術は、ビデオ処理の別の方法を提供するために使用されてよい。この方法は、複数のビデオブロックと前記複数のビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間、第1適合ウインドウが第1ビデオブロックについて定義され、第2適合ウインドウが第2ビデオブロックについて定義され、前記第2適合ウインドウに対する前記第1適合ウインドウの幅及び/又は高さの比は、少なくとも適合ビットストリームに基づくルールに従う。
更に、代表的な態様では、ビデオシステム内の機器であって、プロセッサと、命令を有する非一時的メモリと、を含む機器が開示される。前記命令は、前記プロセッサにより実行されると、前記プロセッサに、開示の方法のうちのいずれか1つ以上を実施させる。
1つの代表的な態様では、本願明細書に開示される方法を実施するよう構成されるプロセッサを含むビデオ復号機器が開示される。
1つの代表的な態様では、本願明細書に開示される方法を実施するよう構成されるプロセッサを含むビデオ符号化機器が開示される。
また、非一時的コンピュータ可読媒体に格納されたコンピュータプログラムプロダクトであって、前記コンピュータプログラムプロダクトは、開示の方法のいずれか1つ以上を実行するためのプログラムコードを含む、コンピュータプログラムプロダクトが開示される。
開示される技術の上述の及び他の態様及び特徴は、図面、説明、及び請求の範囲において更に詳細に説明される。
サブブロック動きベクトル(VSB)及び動きベクトル差の例を示す。 16個の4×4領域に分割された16×16ビデオブロックの例を示す。 サンプル内の特定の位置の例を示す。 サンプル内の特定の位置の別の例を示す。 サンプル内の特定の位置の更に別の例を示す。 現在サンプル及びその参照サンプルの位置の例を示す。 現在サンプル及びその参照サンプルの位置の別の例を示す。 本願明細書に記載される映像メディア復号又は映像メディア符号化技術を実施するハードウェアプラットフォームの例のブロック図である。 ビデオコーディングのための例示的な方法のフローチャートを示す。 開示の技術が実施され得る例示的なビデオ処理システムのブロック図である。 例示的なビデオコーディングシステムを示すブロック図である。 本開示の幾つかの実施形態によるエンコーダを示すブロック図である。 本開示の幾つかの実施形態によるデコーダを示すブロック図である。 本発明の技術によるビデオ処理の方法のフローチャート表現である。 本発明の技術によるビデオ処理の別の方法のフローチャート表現である。 本発明の技術によるビデオ処理の別の方法のフローチャート表現である。 本発明の技術によるビデオ処理の別の方法のフローチャート表現である。 本発明の技術によるビデオ処理の別の方法のフローチャート表現である。
[1. HEVC/H.265におけるビデオコーディング]
ビデオコーディング規格は、主によく知られたITU-T及びISO/IEC規格の発展を通じて進化している。ITU-TはH.261及びH.263を策定し、ISO/IECはMPEG-1及びMPEG-4ビジュアルを策定し、及び2つの組織は共同でH.262/MPEG-2ビデオ、及びH.264/MPEG-4アドバンストビデオコーディング(Advanced Video Coding)及びH.265/HEVC規格を策定した。H.262以降、ビデオコーディング規格は、ハイブリッドビデオコーディング構造に基づき、ここでは時間予測及び変換コーディングが利用される。HEVCより先の将来のコーディング技術を開発するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))が2015年にVCEG及びMPEGにより共同で設立された。それ以来、多くの新しい方法がJVETにより採用され、共同探索モデル(Joint Exploration Model (JEM))と呼ばれる参照ソフトウェアに取り入れられてきた。2018年4月には、HEVCと比べて50%のビットレート削減を目標とするVVC規格に取り組むために、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間の共同ビデオ専門家チーム(Joint Video Expert Team (JVET))が作成された。
[2. 概要]
[2.1. 適応解像度変化(Adaptive Resolution Change (ARC))]
AVC及びHEVCは、IDR又はイントラランダムアクセスポイント(intra random access point (IRAP))ピクチャを導入しないと、解像度を変更する能力を有しない。そのような能力は、適応解像度変化(ARC)と呼ばれる。ARCから利益を享受する使用例又は適用シナリオは、以下を含む:
-ビデオ電話及び会議におけるレート適応:変化するネットワーク状態にコーディングビデオを適応させるために、ネットワーク状態が悪化して、利用可能帯域幅が低下すると、エンコーダは、より小さな解像度のピクチャを符号化することにより、それに適応し得る。現在、ピクチャ解像度の変化は、IRAPピクチャの後にのみ行うことができる。これは、幾つかの問題を有する。妥当な品質のIRAPピクチャは、インターコーディングピクチャより遙かに大きくなり、相応して、復号するのが複雑になる。これは、時間及びリソースを要する。これは、負荷の理由から、デコーダにより解像度変化が要求される場合に問題になる。それはまた、少なくとも一時的に、低遅延バッファ条件を壊し、オーディオ再同期を強い、ストリームのエンドツーエンド遅延が増大する。これは、粗悪なユーザ経験を与え得る。
-マルチパーティビデオ会議におけるアクティブスピーカの変化:マルチパーティビデオ会議では、通常、アクティブスピーカは、会議参加者の残りの者のビデオより大きなサイズで表示される。アクティブスピーカが変化すると、各参加者のピクチャ解像度も調整される必要がある。アクティブスピーカのそのような変化が頻繁に生じるとき、ARC特徴を備える必要性が益々重要になっている。
-ストリーミングの速い開始:ストリーミングアプリケーションでは、通常、アプリケーションは、表示を開始する前に、最大で特定の長さの復号ピクチャをバッファリングする。より小さい解像度でビットストリームを開始することは、アプリケーションがより速く表示を開始するために、バッファ内に十分なピクチャを有することを可能にする。
ストリーミングにおける適応ストリーム切り換え:HTTP上の動的適応ストリーミング(Dynamic Adaptive Streaming over HTTP (DASH))仕様は、@mediaStreamStructureIdと呼ばれる特徴を有する。これは、非復号可能リーディングピクチャ、例えば、HEVCにおける関連するRASLを有するCRAピクチャを有するopen-GOPランダムアクセスポイントにおける異なる表現の間の切り替えを可能にする。同じビデオの2つの異なる表現が、異なるビットレートであるが同じ空間解像度を有し、それらが同じ値の@mediaStreamStructureIdを有するとき、関連するRASLを有するCRAピクチャにおける2つの表現の間の切り替えが実行でき、切り換えCRAピクチャ(switching-at CRA pictures)に関連付けられたRASLピクチャは、許容可能な品質で復号でき、従って、シームレスな切り換えを可能にする。ARCによると、@mediaStreamStructureId特徴は、異なる空間解像度を有するDASH表現の間の切り換えにも使用できる。
ARCは、動的解像度変換としても知られる。
ARCは、H.263 Annex Pのような参照ピクチャ再サンプリング(Reference Picture Resampling (RPR))の特別な場合とも考えられてよい。
[2.2. H.263 Annex Pの参照ピクチャ再サンプリング]
このモードは、予測のために参照ピクチャを使用する前に、参照ピクチャをワーピング(warp)するアルゴリズムを定める。それは、予測中のピクチャと異なるソースフォーマットを有する参照ピクチャを再サンプリングするために役立つ。それは、参照ピクチャの形状、サイズ、及び位置をワーピングすることにより、グローバル動き推定又は回転動きの推定のためにも使用できる。シンタックスは、使用されるべきパラメータ及び再サンプリングアルゴリズムをワーピングすることを含む。参照ピクチャ再サンプリングモードのための最も簡単なレベルの演算は、アップサンプリング及びダウンサンプリング処理のためにFIRフィルタが適用される必要があるだけなので、4再サンプリングの暗黙的係数である。この場合、(ピクチャヘッダ内で示される)新しいピクチャのサイズが前のピクチャのサイズと異なるとき、その使用が理解されるので、追加シグナリングオーバヘッドは必要ない。
[2.3. VVCにおける適合ウインドウ(Conformance Window)]
VVCにおける適合ウインドウは、長方形を定める。適合ウインドウ内のサンプルは、関心画像に属する。適合ウインドウの外側のサンプルは、出力のときに破棄されてよい。
適合ウインドウが適用されるとき、RPRにおけるスケーリング比は、適合ウインドウに基づき導出される。
ピクチャパラメータセット(Picture parameter set (RBSP))シンタックス
Figure 0007328445000001
pic_width_in_luma_samplesは、ルマサンプルのユニットの中のPPSを参照する各復号ピクチャの幅を指定する。pic_width_in_luma_samplesは0に等しくてはならない、Max(8,MinCbSizeY)の整数倍であるべきである、及びpic_width_max_in_luma_samples以下であるべきである。
subpics_present_flagが1に等しいとき、pic_width_in_luma_samplesの値はpic_width_max_in_luma_samplesに等しくなるべきである。
pic_height_in_luma_samplesは、ルマサンプルのユニットの中のPPSを参照する各復号ピクチャの高さを指定する。pic_height_in_luma_samplesは0に等しくてはならない、Max(8,MinCbSizeY)の整数倍であるべきである、及びpic_height_max_in_luma_samples以下であるべきである。
subpics_present_flagが1に等しいとき、pic_height_in_luma_samplesの値はpic_height_max_in_luma_samplesに等しくなるべきである。
refPicWidthInLumaSamples及びrefPicHeightInLumaSamplesを、それぞれこのPPSを参照する現在ピクチャの参照ピクチャのpic_width_in_luma_samples及びpic_height_in_luma_samplesとする。ビットストリーム適合の要件は、以下の条件の全部が満たされることである:
Figure 0007328445000002
conformance_window_flagが1に等しいことは、適合クロッピングウインドウオフセットパラメータがSPS内で次に続くことを示す。conformance_window_flagが0に等しいことは、適合クロッピングウインドウオフセットパラメータが存在しないことを示す。
conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetは、出力のためのピクチャ座標の中で指定される長方形領域の観点から、復号処理から出力されるCVS内のピクチャのサンプルを指定する。conformance_window_flagが0に等しいとき、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetの値は、0に等しいと推定される。
適合クロッピングウインドウは、両端を含む、ubWidthC*conf_win_left_offsetからpic_width_in_luma_samples-(SubWidthC*conf_win_right_offset+1)までの水平ピクチャ座標、及びSubHeightC*conf_win_top_offsetからpic_height_in_luma_samples-(SubHeightC*conf_win_bottom_offset+1)までの垂直ピクチャ座標を有するルマサンプルを含む。
SubWidthC*(conf_win_left_offset+conf_win_right_offset)の値は、pic_width_in_luma_samplesより小さくなるべきであり、SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)の値は、pic_height_in_luma_samplesより小さくなるべきである。
変数PicOutputWidthL及びPicOutputHeightLは、以下のように導出される:
Figure 0007328445000003
ChromaArrayTypeが0に等しくないとき、2つのクロマアレイの対応する指定されたサンプルは、ピクチャ座標(x/SubWidthC,y/SubHeightC)を有するサンプルである。ここで、(x,y)は指定されたルマサンプルのピクチャ座標である。
Figure 0007328445000004
ppsA及びppsBを、同じSPSを参照する任意の2つのPPSであるとする。ビットストリーム適合の要件は、ppsA及びppsBが、それぞれ同じ値のpic_width_in_luma_samples及びpic_height_in_luma_samplesを有することであり、ppsA及びppsBは、それぞれ同じ値のconf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetを有するべきである。
[2.4. 参照ピクチャ再サンプリング(Reference Picture Resampling (RPR))]
幾つかの実施形態では、ARCは、参照ピクチャ再サンプリング(RPR)としても知られている。RPRによると、同一位置ピクチャが現在ピクチャと異なる解像度を有する場合、TMVPが無効にされる。更に、参照ピクチャが現在ピクチャと異なる解像度を有するとき、DMVR及びDMVRが無効にされる。
参照ピクチャが現在ピクチャと異なる解像度を有するときに通常のMCを扱うために、補間セクションが以下のように定められる。
8.5.6.3. 分数サンプル補間処理
8.5.6.3.1. 概要
この処理への入力は:
・現在ピクチャの左上ルマサンプルに対する、現在符号コーディングサブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
・現在コーディングサブブロックの幅を指定する変数sbWidth、
・現在コーディングサブブロックの高を指定する変数sbHeight、
・動きベクトルオフセットmvOffset、
・精緻化動きベクトルrefMvLX、
・選択参照ピクチャサンプルアレイrefPicLX、
・ハーフサンプル補間フィルタインデックスhpelIfIdx、
・双方向オプティカルフローフラグbdofFlag、
・現在ブロックの色成分インデックスを指定する変数cIdx。
この処理の出力は:
・予測サンプル値の(sbWidth+brdExtSize)x(sbHeight+brdExtSize)アレイpredSamplesLX。
予測ブロック境界拡張サイズbrdExtSizeは以下のように導出される:
Figure 0007328445000005
変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000006
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000007
・・・変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000008
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000009
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000010
・・予測サンプル値predSamplesLX[xC][yC]は、(xIntC,yIntC)、(xFracC,yFracC)、(xSbIntC,ySbIntC)、sbWidth、sbHeight、及びrefPicLXを入力として、項8.5.6.3.4で指定される処理を呼び出すことにより、導出される。
8.5.6.3.2 ルマサンプル補間フィルタリング処理
この処理への入力は:
・フルサンプルユニットのルマ位置(xIntL,yIntL)、
・分数サンプルユニットのルマ位置(xFracL,yFracL)、
・参照ピクチャの左上ルマサンプルに対する、参照サンプルパディングのための境界(bounding)ブロックの左上サンプルを指定するフルサンプルユニットのルマ位置(xSbIntL,ySbIntL)、
・ルマ参照サンプルアレイrefPicLXL
・ハーフサンプル補間フィルタインデックスhpelIfIdx、
・現在サブブロックの幅を指定する変数sbWidth、
・現在サブブロックの高を指定する変数sbHeight、
・現在ピクチャの左上ルマサンプルに対する、現在サブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
この処理の出力は、予測ルマサンプル値predSampleLXLである。
変数shift1、shift2及びshift3は、以下のように導出される:
・変数shift1はMin(4,BitDepthY-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthY)に等しく設定される。
・変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
xFracL又はyFracLに等しい1/16分数サンプル位置p毎のルマ補間フィルタ係数fL[p]は、以下のように導出される:
・MotionModelIdc[xSb][ySb]が0より大きく、sbWidth及びsbHeightが両方とも4に等しい場合、ルマ補間フィルタ係数fL[p]は表2に指定される。
・その他の場合、ルマ補間フィルタ係数fL[p]は、hpelIfIdxに依存して表1に指定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、i=0..7について以下のように導出される:
・subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
Figure 0007328445000011
その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 0007328445000012
フルサンプルユニットのルマ位置(xInti,yInti)は、i=0..7について以下のように導出される:
Figure 0007328445000013
予測されたルマサンプル値はpredSampleLXLは以下のように導出される:
・xFracL及びyFracLの両方が0に等しい場合、predSampleLXLの値は以下のように導出される:
Figure 0007328445000014
・その他の場合、xFracLが0に等しくなく、及びyFracLが0に等しい場合、predSampleLXLの値は以下のように導出される:
Figure 0007328445000015
・その他の場合、xFracLが0に等しく、及びyFracLが0に等しくない場合、predSampleLXLの値は以下のように導出される:
Figure 0007328445000016
・その他の場合、xFracLが0に等しくなく、及びyFracLが0に等しくない場合、predSampleLXLの値は以下のように導出される:
・・サンプルアレイtemp[n]、n=0..7は、以下のように導出される:
Figure 0007328445000017
・・予測されたルマサンプル値predSampleLXLは以下のように導出される:
Figure 0007328445000018
表8-11 各1/16分数サンプル位置pのルマ補間フィルタ係数fL[p]の仕様
Figure 0007328445000019
表8-12 アフィン動きモードのための各1/16分数サンプル位置pのルマ補間フィルタ係数fL[p]の仕様
Figure 0007328445000020
8.5.6.3.3 ルマ整数サンプルフェッチ処理
この処理への入力は:
・フルサンプルユニットのルマ位置(xIntL,yIntL)、
・ルマ参照サンプルアレイrefPicLXL
この処理の出力は、予測ルマサンプル値predSampleLXLである。
変数shiftは、Max(2,14-BitDepthY)に等しく設定される。
変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、以下のように導出される:
Figure 0007328445000021
予測されたルマサンプル値はpredSampleLXLは以下のように導出される:
Figure 0007328445000022
8.5.6.3.4 クロマサンプル補間処理
この処理への入力は:
・フルサンプルユニットのクロマ位置(xIntC,yIntC)、
・1/32分数サンプルユニットのクロマ位置(xFracC,yFracC)、
・参照ピクチャの左上クロマサンプルに対する、参照サンプルパディングのための境界(bounding)ブロックの左上サンプルを指定するフルサンプルユニットのクロマ位置(xSbIntC,ySbIntC)、
・現在サブブロックの幅を指定する変数sbWidth、
・現在サブブロックの高を指定する変数sbHeight、
・クロマ参照サンプルアレイrefPicLXC
この処理の出力は、予測クロマサンプル値predSampleLXCである。
変数shift1、shift2及びshift3は、以下のように導出される:
・変数shift1はMin(4,BitDepthC-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthC)に等しく設定される。
・変数picWCは、pic_width_in_luma_samples/SubWidthCに等しく設定され、変数picHCはpic_height_in_luma_samples/SubHeightCに等しく設定される。
xFracC又はyFracCに等しい1/32分数サンプル位置p毎のクロマ補間フィルタ係数fC[p]は、表13で指定される。
変数xOffsetは、(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthCに等しく設定される。
フルサンプルユニットのクロマ位置(xInti,yInti)は、i=0..3について以下のように導出される:
・subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
Figure 0007328445000023
・その他の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される:
Figure 0007328445000024
フルサンプルユニットのクロマ位置(xInti,yInti)は、i=0..3について以下のように更に変形される:
Figure 0007328445000025
予測されたルマサンプル値predSampleLXCは以下のように導出される:
・xFracC及びyFracCの両方が0に等しい場合、predSampleLXCの値は以下のように導出される:
Figure 0007328445000026
・その他の場合、xFracCが0に等しくなく、及びyFracCが0に等しい場合、predSampleLXCの値は以下のように導出される:
Figure 0007328445000027
・その他の場合、xFracCが0に等しく、及びyFracCが0に等しくない場合、predSampleLXCの値は以下のように導出される:
Figure 0007328445000028
・その他の場合、xFracCが0に等しくなく、及びyFracCが0に等しくない場合、predSampleLXCの値は以下のように導出される:
・・サンプルアレイtemp[n]、n=0..3は、以下のように導出される:
Figure 0007328445000029
・・予測されたクロマサンプル値predSampleLXCは以下のように導出される:
Figure 0007328445000030
表8-13 各1/32分数サンプル位置pのクロマ補間フィルタ係数fC[p]の仕様
Figure 0007328445000031
[2.5. アフィン動き保証予測に基づく精緻化サブブロック]
本願明細書に開示される技術は、オプティカルフローによりサブブロックに基づくアフィン動き補償予測を精緻化する方法を含む。サブブロックに基づくアフィン動き補償が実行された後に、予測サンプルは、オプティカルフロー式により導出された差を加算することにより、精緻化される。これは、オプティカルフローによる予測精緻化(prediction refinement with optical flow (PROF))と呼ばれる。提案される方法は、メモリアクセス帯域幅を増大することなく、ピクセルレベルの粒度でインター予測を達成できる。
精細な粒度の動き補償を達成するために、本稿は、オプティカルフローによりサブブロックに基づくアフィン動き補償予測を精緻化する方法を提案する。サブブロックに基づくアフィン動き補償が実行された後に、ルマ予測サンプルは、オプティカルフロー式により導出された差を加算することにより、精緻化される。提案されるPROF(prediction refinement with optical flow)は、以下の4つのステップで説明される。
ステップ1)サブブロックに基づくアフィン動き補償が実行されて、サブブロック予測I(i,j)を生成する。
ステップ2)サブブロック予測の空間勾配gx(i,j)及びgy(i,j)は、3タップフィルタ[-1,0,1]を用いて各サンプル位置で計算される。
Figure 0007328445000032
サブブロック予測は、勾配計算について各側で1ピクセルだけ拡張される。メモリ帯域幅及び複雑性を低減するために、拡張された境界上のピクセルは、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。従って、パディング領域の追加の補間が回避される。
ステップ3)ルマ予測精緻化(ΔIと表される)は、オプティカルフロー式により計算される。
Figure 0007328445000033
ここで、ΔMV(Δv(i,j)と表される)は、図1に示されるような、サンプル位置(i,j)について計算されたv(i,j)により表されるピクセルMVと、ピクセル(i,j)が属するサブブロックMVとの間の差である。
アフィンモデルパラメータ及びサブブロック中心に対するピクセル位置は、サブブロック間で変化しないので、Δv(i,j)gは、第1サブブロックについて計算され、同じCU内の他のサブブロックのために再利用できる。x及びyを、ピクセル位置からサブブロックの中心までの水平及び垂直オフセットとすると、Δv(x,y)は次式により導出される:
Figure 0007328445000034
4パラメータアフィンモデルについて、
Figure 0007328445000035
6パラメータアフィンモデルについて、
Figure 0007328445000036
ステップ4)最後に、ルマ予測精緻化が、サブブロック予測I(i,j)に追加される。最終予測I’は、次式のように生成される:
Figure 0007328445000037
詳細は以下に説明される:
a)PROFの勾配を導出する方法:
幾つかの実施形態では、勾配は、参照リスト毎に、サブブロック毎(VTM-4.0では4×4サブブロック)に計算される。サブブロック毎に、サンプルの4側面の外側の線をパディングするために、参照ブロックの最も近い整数サンプルがフェッチされる。
現在サブブロックのMVを(MVx,MVy)とする。次に、分数部分が、(FracX,FracY)=(MVx&15,MVy&15)のように計算される。整数部分は、(IntX,IntY)=(MVx>>4,MVy>>4)のように計算される。オフセット(OffsetX,OffsetY)は以下のように導出される:
Figure 0007328445000038
現在サブブロックの左上座標を(xCur,yCur)とし、現在サブブロックの寸法をW×Hとする。次に、(xCor0,yCor0),(xCor1,yCor1),(xCor2,yCor2)及び(xCor3,yCor3)は以下のように計算される:
Figure 0007328445000039
PredSample[x][y]、x=0..W-1,y=0..H-1が、サブブロックの予測サンプルを格納するとする。次に、パディングサンプルが以下のように導出される:
Figure 0007328445000040
ここで、Recは参照ピクチャを表す。Roundingが整数であり、例示的なPROF実装では213に等しい。Shift0=Max(2,(14-BitDepth));PROFは、VTM-4.0のBIOと異なり、勾配の精度を増大することを目的とし、ここで、勾配は、入力ルマサンプルと同じ精度を有する出力である。
PROFにおける勾配は、以下のように計算される:
Figure 0007328445000041
留意すべきことに、predSamples[x][y]は、補間後に精度を保つ。
b)PROFのΔvを導出する方法:
Δv(dMvH[posX][posY]及びdMvV[posX][posY]、posX=0..W-1,posY=0..H-1と表される)の導出は、以下のように記載できる。
現在ブロックの寸法をcbWidth×cbHeightとすると、制御点動きベクトルの数はnumCpMvであり、制御点動きベクトルはcpMvLX[cpIdx]、cpIdx=0..numCpMv-1であり、Xは0又は1であり、2つの参照リストを表す。
変数log2CbW及びlog2CbHは、以下のように導出される:
Figure 0007328445000042
変数mvScaleHor、mvScaleVer、dHorX及びdVerXは、以下のように導出される:
Figure 0007328445000043
変数dHorY及びdVerYは、以下のように導出される:
・numCpMvが3に等しい場合、以下が適用される。
Figure 0007328445000044
・その他の場合(numCpMvが2に等しい)、以下が適用される。
Figure 0007328445000045
変数qHorX、qVerX、qHorY及びqVerYは以下のように導出される:
Figure 0007328445000046
dMvH[0][0]及びdMvV[0][0]は以下のように導出される:
Figure 0007328445000047
1~W-1のxPosについて、dMvH[xPos][0]anddMvV[xPos][0]は以下のように導出される:
Figure 0007328445000048
1~H-1のyPosについて、以下が適用される:
Figure 0007328445000049
最後に、dMvH[xPos][yPos]及びdMvV[xPos][yPos]、posX=0..W-1,posY=0..H-1は以下のように右シフトされる:
Figure 0007328445000050
ここで、SatShift(x,n)及びShift(x,n)は以下のように定義される:
Figure 0007328445000051
一例では、
Figure 0007328445000052
c)PROFのΔIを導出する方法:
サブブロックの内側の位置(posX,posY)について、その対応するΔv(i,j)は(dMvH[posX][posY],dMvV[posX][posY])と表される。その対応する勾配は、(gradientH[posX][posY],gradientV[posX][posY])と表される。
次に、ΔI(posX,posY)が以下のように導出される:
(dMvH[posX][posY],dMvV[posX][posY])は以下のようにクリッピングされる:
Figure 0007328445000053
d)PROFのI'を導出する方法:
現在ブロックが双予測または加重予測としてコーディングされない場合、
Figure 0007328445000054
ここで、ClipSampleは、サンプル値を有効な出力サンプル値にクリッピングする。次に、I’(posX,posY)は、インター予測値として出力される。
その他の場合(現在ブロックが双予測または加重予測としてコーディングされる)。I’(posX,posY)は、格納され、他の予測値及び/又は加重値に従い、インター予測値を生成するために使用される。
[2.6. 例示的なスライスヘッダ]
Figure 0007328445000055
Figure 0007328445000056
Figure 0007328445000057
Figure 0007328445000058
[2.7. 例示的なシーケンスパラメータセット]
Figure 0007328445000059
Figure 0007328445000060
Figure 0007328445000061
Figure 0007328445000062
Figure 0007328445000063
[2.8. 例示的なピクチャパラメータセット]
Figure 0007328445000064
Figure 0007328445000065
Figure 0007328445000066
Figure 0007328445000067
[2.9. 例示的な適応パラメータセット]
Figure 0007328445000068
Figure 0007328445000069
Figure 0007328445000070
Figure 0007328445000071
Figure 0007328445000072
[2.10. 例示的なピクチャヘッダ]
幾つかの実施形態では、ピクチャヘッダは、以下の特性を有するよう設計される:
1.ピクチャヘッダNALユニットの時間Id及びレイヤIdが、ピクチャヘッダを含むレイヤアクセスユニットの時間Id及びレイヤIdと同じである。
2.ピクチャヘッダNALユニットが、その関連するピクチャの最初のスライスを含むNALユニットに先行する。これは、ピクチャヘッダとピクチャヘッダに関連付けられたピクチャのスライスとの間の関連付けを確立し、ピクチャヘッダIdがピクチャヘッダ内でシグナリングされること及びスライスヘッダから参照されることを必要としない。
3.ピクチャヘッダNALユニットは、ピクチャレベルパラメータセット又はDPS、VPS、SPS、PPS等のような上位のものに従う。この結果は、それらのパラメータセットが、ピクチャ内で又はアクセスユニット内で繰り返される/存在することを必要としない。
4.ピクチャヘッダは、その関連するピクチャのピクチャタイプに関する情報を含む。ピクチャタイプは、以下を定義するために使用されてよい(網羅的リストではない)。
a.ピクチャはIDRピクチャである、
b.ピクチャはCRAピクチャである、
c.ピクチャはGDRピクチャである、
d.ピクチャは非IRAP、非GDRピクチャであり、Iスライスのみを含む、
e.ピクチャは非IRAP、非GDRピクチャであり、P及びIスライスのみを含んでよい、
f.ピクチャは非IRAP、非GDRピクチャであり、B、P、及び/又はIスライスのいずれかを含む、
5.スライスヘッダ内のピクチャレベルシンタックスエレメントのシグナリングをピクチャヘッダへと移動する。
6.ピクチャヘッダ内の同じピクチャの全部のスライスについて標準的に同じである、スライスヘッダ内の非ピクチャレベルシンタックスエレメントをシグナリングする。それらのシンタックスエレメントがピクチャヘッダ内に存在しないとき、それらはスライスヘッダ内でシグナリングされてよい。
幾つかの実装では、必須ピクチャヘッダ概念は、ピクチャの第1VCL NALユニットとして、ピクチャ当たり1回、送信されるために使用される。現在スライスヘッダ内にあるシンタックスエレメントを、このピクチャヘッダへと移動することも提案される。機能的にピクチャ当たり1回送信されるだけでよいシンタックスエレメントは、所与のピクチャについて複数回送信される代わりに、ピクチャヘッダへと移動され得る。例えば、スライスヘッダ内のシンタックスエレメントは、スライス当たり1回送信される。ピクチャ内で同じであるよう制約される、スライスヘッダのシンタックスエレメントを移動する。
シンタックスエレメントは、ピクチャの全部のスライス内で同じになるよう既に制約されている。これらのフィールドをピクチャヘッダへと移動することが主張される。従って、それらは、スライス当たり1回の代わりにピクチャ当たり1回だけシグナリングされ、ビットの不要な冗長的送信を回避し、これらのシンタックスエレメントの機能に何ら変更を伴わない。
1.幾つかの実装では、以下の意味的制約がある:
存在するとき、スライスヘッダシンタックスエレメントslice_pic_parameter_set_id、non_reference_picture_flag、colour_plane_id、slice_pic_order_cnt_lsb、recovery_poc_cnt、no_output_of_prior_pics_flag、pic_output_flag、及びslice_temporal_mvp_enabled_flagの各々の値は、コーディングピクチャの全部のスライスヘッダ内で同じであるべきである。従って、これらのシンタックスエレメントの各々は、ピクチャヘッダへと移動でき、不要な冗長ビットを回避する。
recovery_poc_cnt及びno_output_of_prior_pics_flagは、本稿ではピクチャヘッダへと移動されない。スライスヘッダ内のそれらの存在は、スライスヘッダnal_unit_typeの条件付きチェックに依存する。従って、それらは、これらのシンタックスエレメントをピクチャヘッダへと移動する要望がある場合に、研究されることが提案される。
2.幾つかの実装では、以下の意味的制約がある:
存在するとき、slice_lmcs_aps_idの値は、ピクチャの全部のスライスについて同じであるべきである。
存在するとき、slice_scaling_list_aps_idの値は、ピクチャの全部のスライスについて同じであるべきである。従って、これらのシンタックスエレメントの各々は、ピクチャヘッダへと移動でき、不要な冗長ビットを回避する。
幾つかの実施形態では、シンタックスエレメントは、ピクチャの全部のスライス内で同じになるよう現在制約されていない。全てのスライスヘッダで多数のシンタックスエレメントを処理すると複雑な影響があると主張されているため、これらのシンタックスエレメントの予想される使用法を評価して、VVC設計全体を簡素化するためにピクチャヘッダに移動できるものを決定することが提案される。
1.以下のシンタックスエレメントは、ピクチャヘッダへ移動されることが提案される。現在、スライスごとに異なる値を持つことに制限が無いが、予想される使用法がピクチャレベルで変化するため、全てのスライスヘッダでそれらを送信することによる利点とコーディング損失はない/最小限であると主張されている。
a.six_minus_max_num_merge_cand
b.five_minus_max_num_subblock_merge_cand
c.slice_fpel_mmvd_enabled_flag
d.slice_disable_bdof_dmvr_flag
e.max_num_merge_cand_minus_max_num_triangle_cand
f.slice_six_minus_max_num_ibc_merge_cand
2.以下のシンタックスエレメントは、ピクチャヘッダへ移動されることが提案される。現在、スライスごとに異なる値を持つことに制限が無いが、予想される使用法がピクチャレベルで変化するため、全てのスライスヘッダでそれらを送信することによる利点とコーディング損失はない/最小限であると主張されている。
a.partition_constraints_override_flag
b.slice_log2_diff_min_qt_min_cb_luma
c.slice_max_mtt_hierarchy_depth_luma
d.slice_log2_diff_max_bt_min_qt_luma
e.slice_log2_diff_max_tt_min_qt_luma
f.slice_log2_diff_min_qt_min_cb_chroma
g.lice_max_mtt_hierarchy_depth_chroma
h.slice_log2_diff_max_bt_min_qt_chroma
i.slice_log2_diff_max_tt_min_qt_chroma
これらのシンタックスエレメントの幾つかに関連付けられた条件付きチェック「slice_type==I」は、ピクチャヘッダへの移動により除去されている。
3.以下のシンタックスエレメントは、ピクチャヘッダへ移動されることが提案される。現在、スライスごとに異なる値を持つことに制限が無いが、予想される使用法がピクチャレベルで変化するため、全てのスライスヘッダでそれらを送信することによる利点とコーディング損失はない/最小限であると主張されている。
a.mvd_l1_zero_flag
これらのシンタックスエレメントの幾つかに関連付けられた条件付きチェック「slice_type==B」は、ピクチャヘッダへの移動により除去されている。
4.以下のシンタックスエレメントは、ピクチャヘッダへ移動されることが提案される。現在、スライスごとに異なる値を持つことに制限が無いが、予想される使用法がピクチャレベルで変化するため、全てのスライスヘッダでそれらを送信することによる利点とコーディング損失はない/最小限であると主張されている。
a.dep_quant_enabled_flag
b.sign_data_hiding_enabled_flag
[3. 既存の実装の欠点]
DMVR及びBIOは、動きベクトルの精緻化の間に元の信号を含まない。これは、不正確な動き情報によるコーディングブロックをもたらし得る。また、DMVR及びBIOは、時に、動き精緻化の後に分数動きベクトルを利用する。一方で、スクリーンビデオは、通常、整数動きベクトルを有する。これは、現在動き情報をより不正確にし、コーディング性能を悪化させる。
RPRがVVCにおいて適用されるとき、RPR(ARC)は以下の問題を有し得る:
1.RPRにより、補間フィルタは、ブロック内の隣接サンプルについて異なることがある。これは、SIMD(Single Instruction Multiple Data)実装で望ましくない。
2.境界領域がRPRを考慮しない。
3.以下に留意する:「適合クロッピングウインドウオフセットパラメータは出力においてのみ適用される。全部の内部復号処理は、非クロッピングピクチャサイズに適用される。」しかしながら、それらのパラメータは、RPRが適用されるとき、復号処理で使用されてよい。
4.参照サンプル位置を導出するとき、RPRは、2つの適合ウインドウの間の比を考慮するだけである。しかし、2つの適合ウインドウの間の左上オフセット差も考慮されるべきである。
5.参照ピクチャの幅/高さと現在ピクチャの幅/高さとの間の比は、VVCにおいて制約される。しかしながら、参照ピクチャの適合ウインドウの幅/高さと現在ピクチャの適合ウインドウの幅/高さとの間の比は制約されない。
6.必ずしも全部のシンタックスエレメントが、ピクチャヘッダ内で適正に処理されない。
7.現在のVVCでは、TPM、GEO予測モード、クロマブレンディング重みは、ビデオシーケンスのクロマサンプル位置タイプに関係なく導出される。例えば、TPM/GEOでは、クロマ重みがルマ重みから導出される場合、ルマ重みは、クロマ信号のサンプリングと一致するようダウンサンプリングされる必要があり得る。クロマダウンサンプリングは、通常、クロマサンプル位置タイプ0を想定して適用される。これは、ITU-R BT.601又はITU-R BT.709コンテナで広く使用される。しかしながら、異なるクロマサンプル位置タイプが使用される場合、これは、クロマサンプルとダウンサンプリングされたルマサンプルとの間の不一致をもたらし得る。これは、コーディング性能を低下させ得る。
[4.例示的な技術及び実施形態]
以下に説明する詳細な実施形態は、一般的な概念を説明するための例として考えられるべきである。これらの実施形態は、狭義に解釈されるべきではない。更に、これらの実施形態は任意の方法で結合できる。
後述する方法は、後述するDMVR及びBIOに加えて、他のデコーダ動き情報導出技術にも適用されてよい。
動きベクトルは、(mv_x,mv_y)により表される。ここで、mv_xは水平成分であり、mv_yは垂直成分である。
本開示では、ピクチャの解像度(又は寸法、又は幅/高さ、又はサイズ)は、コーディング/復号ピクチャの解像度(又は寸法、又は幅/高さ、又はサイズ)を表してよく、又はコーディング/復号ピクチャ内の適合ウインドウの解像度(又は寸法、又は幅/高さ、又はサイズ)を表してよい。
<RPRにおける動き補償>
1.参照ピクチャの解像度が現在ピクチャと異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャより大きいとき、現在ブロックのサンプルのグループ(少なくとも2つのサンプル)の予測値は、同じ水平及び/又は垂直補間フィルタにより生成されてよい。
a.一例では、グループは、ブロックの領域内の全部のサンプルを含んでよい。
i.例えば、ブロックは、互いに重なり合わないS個のM×N長方形に分割されてよい。各M×N長方形はグループである。図2に示される一例では、16×16ブロックは、16個の4×4長方形に分割でき、それらのそれぞれはグループである。
ii.例えば、N個のサンプルを有する行はグループである。Nは、ブロック幅より大きくない整数である。一例では、Nは4又は8又はブロック幅である。
iii.例えば、N個のサンプルを有する列はグループである。Nは、ブロック高さより大きくない整数である。一例では、Nは4又は8又はブロック高さである。
iv.M及び/又はNは、予め定められるか、又は例えばブロック寸法/コーディング情報に基づきオンザフライで導出されるか、又はシグナリングされてよい。
b.一例では、グループ内のサンプルは、同じMV(共有MVと表される)を有してよい。
c.一例では、グループ内のサンプルは、同じ水平成分(共有水平成分と表される)を有するMVを有してよい。
d.一例では、グループ内のサンプルは、同じ垂直成分(共有垂直成分と表される)を有するMVを有してよい。
e.一例では、グループ内のサンプルは、水平成分の同じ分数部分(共有分数水平成分と表される)を有するMVを有してよい。
i.例えば、第1サンプルのMVが(MV1x,MV1y)であり、第2サンプルのMVが(MV2x,MV2y)であるとすると、MV1x&(2M-1)がMV2x&(2M-1)に等しいことが満たされるべきであり、ここで、MはMV精度を示す。例えば、M=4である。
f.一例では、グループ内のサンプルは、垂直成分の同じ分数部分(共有分数垂直成分と表される)を有するMVを有してよい。
i.例えば、第1サンプルのMVが(MV1x,MV1y)であり、第2サンプルのMVが(MV2x,MV2y)であるとすると、MV1y&(2M-1)がMV2y&(2M-1)に等しいことが満たされるべきであり、ここで、MはMV精度を示す。例えば、M=4である。
g.一例では、予測されるべきグループ内のサンプルについて、MVbにより示される動きベクトルは、先ず、現在ピクチャ及び参照ピクチャの解像度に従い導出されてよい(例えば、JVET-O2001-v14の8.5.6.3.1で導出される(refxL,refyL))。次に、MVbは、上述の項目のような要件を満たすために、MV’へと更に変更されてよく(例えば、丸め込み/トランケート/クリッピングされる)、MV’はサンプルの予測サンプルと導出するために使用される。
i.一例では、MV’は、MVbのような同じ整数部分を有し、MV’の分数部分は、共有分数水平及び/又は垂直成分になるよう設定される。
ii.一例では、MV’は、MVbに最も近い、共有分数水平及び/又は垂直成分を有するものになるよう設定される。
h.共有動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分及び/又は共有分数垂直成分及び/又は共有分数水平成分)は、グループ内の特定のサンプルの動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分及び/又は分数垂直成分及び/又は分数水平成分)になるよう設定されてよい。
i.例えば、特定のサンプルは、図3Aに示されるA、B、C、及びDのような長方形グループの角にあってよい。
ii.例えば、特定のサンプルは、図3Aに示されるE、F、G、及びHのような長方形グループの中心にあってよい。
iii.例えば、特定のサンプルは、図3B及び3Cに示されるA及びBのような行形状又は列形状のグループの端にあってよい。
iv.例えば、特定のサンプルは、図3B及び3Cに示されるB及びCのような行形状又は列形状のグループの中間にあってよい。
v.一例では、特定のサンプルの動きベクトルは、項目gで言及したMVbであってよい。
i.共有動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分及び/又は共有分数垂直成分及び/又は共有分数水平成分)は、このグループ内の全部のサンプルと比べて異なる位置に置かれた仮想サンプルの動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分及び/又は分数垂直成分及び/又は分数水平成分)になるよう設定されてよい。
i.一例では、仮想サンプルはグループ内にないが、グループ内の全部のサンプルをカバーする領域の中に位置する。
1)代替として、仮想サンプルは、グループ内の全部のサンプルをカバーする領域の外側、例えば領域の右下位置の隣に位置する。
ii.一例では、仮想サンプルのMVは、異なる位置を有するが実際のサンプルと同じ方法で導出される。
iii.図3A~3CのVは、仮想サンプルの3つの例を示す。
j.共有MV(及び/又は共有水平成分及び/又は共有垂直成分及び/又は共有分数垂直成分及び/又は共有分数水平成分)は、複数のサンプル及び/又は仮想サンプルのMV(及び/又は共有水平成分及び/又は共有垂直成分及び/又は分数垂直成分及び/又は分数水平成分)の関数になるよう設定されてよい。
i.例えば、共有MV(及び/又は共有水平成分及び/又は共有垂直成分及び/又は共有分数垂直成分及び/又は共有分数水平成分)は、グループ内のサンプルの全部又は一部の、又は図3AのサンプルE、F、G、Hの、又は図3AのサンプルE、Hの、又は図3AのサンプルA、B、C、Dの、又は図3AのサンプルA、Dの、又は図3BのサンプルB、Cの、又は図3BのサンプルA、Dの、又は図3CのサンプルB、Cの、又は図3CのサンプルA、Dの、MV(及び/又は共有水平成分及び/又は共有垂直成分及び/又は共有分数垂直成分及び/又は共有分数水平成分)の平均になるよう設定されてよい。
2.参照ピクチャの解像度が現在ピクチャと異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいとき、現在ブロックの予測ブロックを導出するために、動き補償処理を実行することが許可されることが提案される。
a.一例では、予測されるべきサンプルの復号動きベクトルは、使用される前に、整数MVに丸め込まれる。
b.一例では、予測されるべきサンプルの復号動きベクトルは、復号動きベクトルに最も近い整数MVに丸め込まれる。
c.一例では、予測されるべきサンプルの復号動きベクトルは、水平方向で復号動きベクトルに最も近い整数MVに丸め込まれる。
d.一例では、予測されるべきサンプルの復号動きベクトルは、垂直方向で復号動きベクトルに最も近い整数MVに丸め込まれる。
3.現在ブロック内のサンプルの動き補償処理で使用される動きベクトル(例えば、上述の項目で言及した共有MV/共有水平または垂直または分数成分/MV’)は、復号ピクチャバッファに格納され、現在/異なるピクチャ内の後続のブロックの動きベクトル予測のために利用されてよい。
a.代替として、現在ブロック内のサンプルの動き補償処理で使用される動きベクトル(例えば、上述の項目で言及した共有MV/共有水平または垂直または分数成分/MV’)は、現在/異なるピクチャ内の後続のブロックの動きベクトル予測のために利用されることが禁止されてよい。
i.一例では、復号動きベクトル(例えば、上述の項目のMVb)は、現在/異なるピクチャ内の後続のブロックの動きベクトル予測のために利用されてよい。
b.一例では、現在ブロック内のサンプルの動き補償処理で使用される動きベクトルは、フィルタリング処理(例えば、デブロッキングフィルタ/SAO/ALF)で利用されてよい。
i.代替として、復号動きベクトル(例えば、上述の項目のMVb)は、フィルタリング処理で利用されてよい。
c.一例では、そのようなMVは、サブブロックレベルで導出されてよく、サブブロック毎に格納されてよい。
4.参照ピクチャの解像度が現在ピクチャと異なるかどうか、又は参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいかどうかに依存して、現在ブロックの予測ブロックを導出するために、動き補償処理で補間フィルタが使用されることが提案される。
a.一例では、少ないタップを有する補間フィルタは、条件Aが満たされるとき、適用されてよい。ここで、条件Aは、現在ピクチャ及び/又は参照ピクチャの寸法に依存する。
i.一例では、条件Aは、参照ピクチャの解像度が現在ピクチャと異なることである。
ii.一例では、条件Aは、参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいことである。
iii.一例では、条件AはW1>a*W2及び/又はH1>b*H2である。ここで、(W1,H1)は参照ピクチャの幅及び高さを表し、(W2,H2)は現在ピクチャの幅及び高さを表し、a及びbは2つの係数であり、例えばa=b=1.5.である。
iv.一例では、条件Aは、双予測が使用されるかどうかにも依存してよい。
v.一例では1タップフィルタが適用される。言い換えると、フィルタリングを伴わない整数ピクセルは、補間結果として出力される。
vi.一例では、双線形フィルタは、参照ピクチャの解像度が現在ピクチャと異なるとき、適用される。
vii.一例では、4タップフィルタ又は6タップフィルタは、参照ピクチャの解像度が現在ピクチャと異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいとき、適用される。
1)4タップフィルタは、アフィン動き補償のために使用されてもよい。
2)4タップフィルタは、クロマサンプルの補間のために使用されてもよい。
b.一例では、パディングサンプルは、参照ピクチャの解像度が現在ピクチャと異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいとき、補間を実行するために使用される。
c.項目4に開示した方法を適用するかどうか及び/又はどのように適用するかは、色成分に依存してよい。
i.例えば、方法は、ルマコンポーネントにのみ適用される。
d.項目4に開示した方法を適用するかどうか及び/又はどのように適用するかは、補間フィルタリング方向に依存してよい。
i.例えば、方法は、水平フィルタリングにのみ適用される。
ii.例えば、方法は、垂直フィルタリングにのみ適用される。
5.参照ピクチャの解像度が現在ピクチャと異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャの幅及び/又は高さより大きいとき、予測ブロック生成のための2段階処理が適用されることが提案される。
a.第1段階では、仮想参照ブロックは、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存して、参照ピクチャ内の領域をアップサンプリング又はダウンサンプリングすることにより生成される。
b.第2段階では、現在ピクチャ及び参照ピクチャの幅及び/又は高さと独立に、補間フィルタリングを適用することにより、予測サンプルが仮想参照ブロックから生成される。
6.参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)の計算は、幾つかの実施形態におけるように、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存して導出されてよい。
a.一例では、フルサンプルユニットのルマ位置は、以下のように変更される:
xInti=Clip3(xSbIntL-Dx,xSbIntL+sbWidth+Ux,xInti),
yInti=Clip3(ySbIntL-Dy,ySbIntL+sbHeight+Uy,yInti),
ここで、Dx及び/又はDy及び/又はUx及び/又はUyは、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存してよい。
b.一例では、フルサンプルユニットのクロマ位置は、以下のように変更される:
xInti=Clip3(xSbIntC-Dx,xSbIntC+sbWidth+Ux,xInti)
yInti=Clip3(ySbIntC-Dy,ySbIntC+sbHeight+Uy,yInti)
ここで、Dx及び/又はDy及び/又はUx及び/又はUyは、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存してよい。
7.現在ピクチャと同じ参照ピクチャ解像度に基づき、ブロックの動きベクトルを格納する/使用する代わりに、解像度差を考慮した現実の動きベクトルを使用することが提案される。
a.代替として、更に、予測ブロックを生成するために動きベクトルを使用するとき、現在ピクチャ及び参照ピクチャの解像度(例えば、(refxL,refyL))に従い動きベクトルを更に変更する必要がない。
<RPRの間の相互作用、及び他のコーディングツール>
8.フィルタリング処理(例えば、デブロッキングフィルタ)を適用するかどうか/どのように適用するかは、参照ピクチャの解像度及び/又は現在ピクチャの解像度に依存してよい。
a.一例では、デブロッキングフィルタの境界強度(boundary strength (BS))設定は、動きベクトル差に加えて、解像度差も考慮してよい。
i.一例では、現在及び参照ピクチャの解像度に従いスケーリングされた動きベクトル差は、境界強度を決定するために使用されてよい。
b.一例では、ブロックAの少なくとも1つの参照ピクチャの解像度がブロックBの少なくとも1つの参照ピクチャの解像度と異なる(又はそれより小さい又はそれより大きい)場合、ブロックAとブロックBとの間の境界のデブロッキングフィルタの強度は、同じ解像度が2つのブロックに対して利用される場合と比べて、異なるように設定されてよい(例えば、増大/減少される)。
c.一例では、ブロックAの少なくとも1つの参照ピクチャの解像度がブロックBの少なくとも1つの参照ピクチャの解像度と異なる(又はそれより小さい又はそれより大きい)場合、ブロックAとブロックBとの間の境界は、フィルタリングされるようマークされる(例えば、BSが2に設定される)。
d.一例では、ブロックA及び/又はブロックBの少なくとも1つの参照ピクチャの解像度が現在ピクチャの解像度と異なる(又はそれより小さい又はそれより大きい)場合、ブロックAとブロックBとの間の境界のデブロッキングフィルタの強度は、同じ解像度が参照ピクチャ及び現在ピクチャに対して利用される場合と比べて、異なるように設定されてよい(例えば、増大/減少される)。
e.一例では、2つのうちの少なくとも1つのブロックの少なくとも1つの参照ピクチャが、現在ピクチャの解像度と異なる解像度を有する場合、2つのブロックの間の境界は、フィルタリングされるようマークされる。
9.サブピクチャが存在するとき、適合ビットストリームは、参照ピクチャが現在ピクチャと同じ解像度を有しなければならないことを満たすべきである。
a.代替として、参照ピクチャが現在ピクチャと異なる解像度を有するとき、現在ピクチャ内にサブピクチャが存在してはならない。
b.代替として、現在ピクチャ内のサブピクチャについて、現在ピクチャと異なる解像度を有する参照ピクチャを使用することが禁止される。
i.代替として、更に、異なる解像度を有するそれらの参照ピクチャを排除するために、参照ピクチャ管理が呼び出されてよい。
10.一例では、サブピクチャ(例えば、1つのピクチャを複数のサブピクチャにどのように分割するか)は、異なる解像度を有するピクチャについて別個に定義されてよい。
一例では、参照ピクチャが現在ピクチャと異なる解像度を有する場合、参照ピクチャ内の対応するサブピクチャは、現在ピクチャのサブピクチャをスケーリング及び/又はオフセットすることにより導出できる。
11.PROF(prediction refinement with optical flow)は、参照ピクチャが現在ピクチャの解像度と異なる解像度を有するとき、有効にされてよい。
a.一例では、1つのMVセット(MVgと表される)は、サンプルのグループについて生成されてよく、項目1に記載したように動き補償のために使用されてよい。他方で、MV(MVpと表される)は、サンプル毎に導出されてよく、MVpとMVgとの間の差(例えば、PROFで使用されるΔvに対応する)は、勾配(例えば、動き補償済みブロックの空間的勾配)と一緒に、予測精緻化を導出するために使用されてよい。
b.一例では、MVpはMVgと異なる制度を有してよい。例えば、MVpは1/N-pel(N>0)の精度であってよく、N=32,64等である。
c.一例では、MVgは、内部MV精度(例えば、1/16pel)と異なる精度であってよい。
d.一例では、予測精緻化は、精緻化予測ブロックを生成するために予測ブロックに追加される。
e.一例では、そのような方法は、各予測方向で適用されてよい。
f.一例では、そのような方法は、単予測の場合にのみ適用されてよい。
g.一例では、そのような方法は、単予測及び/又は双予測で適用されてよい。
h.一例では、そのような方法は、参照ピクチャが現在ピクチャと異なる解像度を有するときにのみ、適用されてよい。
12.参照ピクチャの解像度が現在ピクチャの解像度と異なるとき、動き補償処理を実行して現在ブロックの予測ブロックを導出するために、1つのMVのみが、ブロック/サブブロックのために利用され得ることが提案される。
a.一例では、ブロック/サブブロックについてのMVのみが、ブロック/サブブロック内の各サンプルに関連付けられた全部のMVの関数(例えば、平均)として定義されてよい。
b.一例では、ブロック/サブブロックについてのMVのみが、ブロック/サブブロック内の選択されたサンプル(例えば、中央サンプル)に関連付けられた選択されたMVとして定義されてよい。
c.一例では、1つのMVのみが、4×4ブロックまたはサブブロック(例えば、4×1)について利用されてよい。
d.一例では、ブロックに基づく動きベクトルによる精度損失を補償するために、BIOが更に適用されてよい。
13.参照ピクチャの幅及び/高さが現在ブロックのものと異なるとき、任意のブロックに基づく動きベクトルをシグナリングしないレイジー(lazy)モードが適用されてよい。
a.一例では、動きベクトルはシグナリングされず、動き補償処理は、静止画像の純粋な解像度変化の場合を近似することである。
b.一例では、ピクチャ/タイル/ブリック/CTUレベルの動きベクトルのみがシグナリングされ、解像度が変化するとき、関連するブロックは動きベクトルを使用してよい。
14.アフィン予測モード及び/又は非アフィン予測モードによりコーディングされたブロックについて、参照ピクチャの幅及び/又は高さが現在ピクチャのものと異なるとき、動き補償を近似するために、PROFが適用されてよい。
a.一例では、参照ピクチャの幅及び/又は高さと現在ピクチャの幅及び/又は高さとが異なるとき、PROFが有効にされてよい。
b.一例では、PROFにより使用される示された動き及び解像度スケーリングを結合することにより、アフィン動きのセットが生成されてよい。
15.参照ピクチャの幅及び/又は高さが現在ピクチャのものと異なるとき、動き補償を近似するために、(例えば、JVET-K0102で提案されたような)織り込み(Interweaved)予測が適用されてよい。
a.一例では、解像度変化(ズーム)は、アフィン動きとして表現され、織り込み動き予測が適用されてよい。
16.現在ピクチャの幅及び/又は高さが同じIRAP期間内のIRAPピクチャのものと異なるとき、LMCS及び/又はクロマ残差スケーリングは無効にされてよい。
a.一例では、LMCSが無効にされるとき、slice_lmcs_enabled_flag、slice_lmcs_aps_id、及びslice_chroma_residual_scale_flagのようなスライスレベルフラグは、シグナリングされず、0であると推定されてよい。
b.一例では、クロマ残差スケーリングが無効にされるとき、slice_chroma_residual_scale_flagのようなスライスレベルフラグは、シグナリングされず、0であると推定されてよい。
<RPRに対する制約>
17.RPRは、ブロック寸法制約を有するコーディングブロックに適用されてよい。
a.一例では、M×Nコーディングブロックについて、Mをブロック幅、Nをブロック高さとして、M*N<T又はM*N<=T(例えばT=256),のとき、RPRは使用されなくてよい。
b.一例では、M<K(又はM<=K)(例えばK=16)及び/又はN<L(又はN<=L)(例えばL=16)のとき、RPRは使用されなくてよい。
18.アクティブ参照ピクチャ(又はその適合ウインドウ)の幅及び/又は高さと現在ピクチャ(又はその適合ウインドウ)の幅及び/又は高さとの間の比を制限するために、ビットストリーム適合が追加されてよい。refPicW及びrefPicHが参照ピクチャの幅及び高さを表すとすると、curPicW及びcurPicHは、現在ピクチャの幅及び高さを表す。
a.一例では、(refPicW÷curPicW)が整数に等しいとき、参照ピクチャは、アクティブ参照ピクチャとしてマークされてよい。
i.一例では、(refPicW÷curPicW)が分数に等しいとき、参照ピクチャは利用可能ではないとしてマークされてよい。
b.一例では、(refPicW÷curPicW)が(X*n)に等しく、ここで、XはX=1/2のような分数を表し、nはn=1,2,3,4…のような整数を表すとき、参照ピクチャはアクティブ参照ピクチャとしてマークされてよい。
i.一例では、(refPicW÷curPicW)が(X*n)に等しくないとき、参照ピクチャは利用可能ではないとしてマークされてよい。
19.M×Nブロックについてコーディングツール(例えば、双予測/全三角形予測モード(triangular prediction mode (TPM))/TPMにおけるベンディング処理)を有効にするかどうか及び/又はどのように有効にするかは、参照ピクチャ(又はそれらの適合ウインドウ)の解像度及び/又は現在ピクチャ(又はそれらの適合ウインドウ)の解像度に依存してよい。
a.一例では、M*N<T又はM*N<=T(例えばT=64)である。
b.一例では、M<K(又はM<=K)(例えばK=16)及び/又はN<L(又はN<=L)(例えばL=16)である。
c.一例では、少なくとも1つの参照ピクチャの幅/高さが現在ピクチャのものと異なるとき、コーディングツールは許可されない。
i.一例では、ブロックの少なくとも1つの参照ピクチャの幅/高さが現在ピクチャのものより大きいとき、コーディングツールは許可されない。
d.一例では、ブロックの各参照ピクチャの幅/高さが現在ピクチャのものと異なるとき、コーディングツールは許可されない。
i.一例では、各参照ピクチャの幅/高さが現在ピクチャのものより大きいとき、コーディングツールは許可されない。
e.代替として、更に、コーディングツールが許可されないとき、動き補償は、単予測として1つのMVにより行われてよい。
<関連する適合ウインドウ>
20.適合クロッピングウインドウオフセットパラメータ(例えば、conf_win_left_offset)は、1pelの代わりにN-pel精度でシグナリングされる。ここで、Nは1より大きい正整数である。
a.一例では、実際のオフセットは、シグナリングされたオフセットをNで乗算したものとして導出されてよい。
b.一例では、Nは4又は8に設定される。
21.適合クロッピングウインドウオフセットパラメータは出力にだけ適用されるのではないことが提案される。特定の内部復号処理は、クロッピング済みピクチャサイズ(つまり、ピクチャ内の適合ウインドウの解像度)に依存してよい。
22.第1ビデオユニット(例えば、PPS)及び第2ビデオユニット内の(pic_width_in_luma_samples,pic_height_in_luma_samples)として示されるピクチャの幅及び/又は高さが同じとき、第1ビデオユニット内の及び第2ビデオユニット内の適合クロッピングウインドウオフセットパラメータは異なってよいことが提案される。
23.第1ビデオユニット(例えば、PPS)及び第2ビデオユニット内の(pic_width_in_luma_samples,pic_height_in_luma_samples)として示されるピクチャの幅及び/又は高さが異なるとき、第1ビデオユニット内の及び第2ビデオユニット内の適合クロッピングウインドウオフセットパラメータは適合ビットストリーム内で同じであるべきであることが提案される。
a.第1ビデオユニット(例えば、PPS)及び第2ビデオユニット内の(pic_width_in_luma_samples,pic_height_in_luma_samples)として示されるピクチャの幅及び/又は高さが同じか否かに拘わらず、第1ビデオユニット内の及び第2ビデオユニット内の適合クロッピングウインドウオフセットパラメータは適合ビットストリーム内で同じであるべきであることが提案される。
24.第1ビデオユニット(例えば、PPS)内で定義された適合ウインドウの幅及び高さが、それぞれW1及びH1として表されるとする。第2ビデオユニット(例えば、PPS)内で定義された適合ウインドウの幅及び高さは、それぞれW2及びH2として表される。第1ビデオユニット(例えば、PPS)内で定義された適合ウインドウの左上位置は、X1及びY1として表される。第2ビデオユニット(例えば、PPS)内で定義された適合ウインドウの左上位置は、X2及びY2として表される。第1ビデオユニット(例えば、PPS)内で定義されたコーディング/復号ピクチャ(例えば、pic_width_in_luma_samples及びpic_height_in_luma_samples)の幅及び高さは、それぞれPW1及びPH1として表される。第2ビデオユニット(例えば、PPS)内で定義されたコーディング/復号ピクチャの幅及び高さは、PW2及びPH2として表される。
a.一例では、適合ビットストリームにおいて、W1/W2はX1/X2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、W1/X1はW2/X2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、W1*X2はW2*X1に等しくなるべきである。
b.一例では、適合ビットストリームにおいて、H1/H2はY1/Y2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、H1/Y1はH2/Y2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、H1*Y2はH2*Y1に等しくなるべきである。
c.一例では、適合ビットストリームにおいて、PW1/PW2はX1/X2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、PW1/X1はPW2/X2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、PW1*X2はPW2*X1に等しくなるべきである。
d.一例では、適合ビットストリームにおいて、PH1/PH2はY1/Y2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、PH1/Y1はPH2/Y2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、PH1*Y2はPH2*Y1に等しくなるべきである。
e.一例では、適合ビットストリームにおいて、PW1/PW2はW1/W2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、PW1/W1はPW2/W2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、PW1*W2はPW2*W1に等しくなるべきである。
f.一例では、適合ビットストリームにおいて、PH1/PH2はH1/H2に等しくなるべきである。
i.代替として、適合ビットストリームにおいて、PH1/H1はPH2/H2に等しくなるべきである。
ii.代替として、適合ビットストリームにおいて、PH1*H2はPH2*H1に等しくなるべきである。
g.適合ビットストリームにおいて、PW1がPW2より大きい場合、W1はW2より大きくなければならない。
h.適合ビットストリームにおいて、PW1がPW2より小さい場合、W1はW2より小さくなければならない。
i.適合ビットストリームにおいて、(PW1-PW2)*(W1-W2)は0より小さくてはならない。
j.適合ビットストリームにおいて、PH1がPH2より大きい場合、H1はH2より大きくなければならない。
k.適合ビットストリームにおいて、PH1がPH2より小さい場合、H1はH2より小さくなければならない。
l.適合ビットストリームにおいて、(PH1-PH2)*(H1-H2)は0より小さくてはならない。
m.適合ビットストリームにおいて、PW1>=PW2の場合、W1/W2はPW1/PW2より大きくては(又は小さくては)ならない。
n.適合ビットストリームにおいて、PH1>=PH2の場合、H1/H2はPH1/PH2より大きくては(又は小さくては)ならない。
25.現在ピクチャの適合ウインドウの幅及び高さが、それぞれW及びHとして表されるとする。参照ピクチャの適合ウインドウの幅及び高さが’、それぞれW’及びH’として表されるとする。次に、適合ビットストリームが以下の少なくとも1つの制約に従うべきである。
a.W*pw>=W’、 pwは整数であり、例えば2。
b.W*pw>W’、pwは整数であり、例えば2。
c.W’*pw’>=W、pw’は整数であり、例えば8。
d.W’*pw’>W、pw’は整数であり、例えば8。
e.H*ph>=H’、phは整数であり、例えば2。
f.H*ph>H’、phは整数であり、例えば2。
g.H’*ph’>=H、ph’は整数であり、例えば8。
h.H’*ph’>H、ph’は整数であり、例えば8。
i.一例では、pwはpw’に等しい。
j.一例では、phはph’に等しい。
k.一例では、pwはphに等しい。
l.一例では、pw’はph’に等しい。
m.一例では、上述の下位項目は、W及びHがそれぞれ現在ピクチャの幅及び高さを表すとき、適合ビットストリームにより満たされる必要がある。W’及びH’は、参照ピクチャの幅及び高さを表す。
26.適合ウインドウパラメータは部分的にシグナリングされることが提案される。
a.一例では、ピクチャの適合ウインドウの左上サンプルは、ピクチャ内のものと同じである。
b.例えば、VVCで定義されるconf_win_left_offsetは、シグナリングされず、ゼロであると推定される。
c.例えば、VVCで定義されるconf_win_top_offsetは、シグナリングされず、ゼロであると推定される。
27.参照サンプルの位置(例えば、VVCで定義されるような(refxL,refyL))の導出は、現在ピクチャ及び/又は参照ピクチャの適合ウインドウの左上位置(例えば、VVCで定義されるような(conf_win_left_offset,conf_win_top_offset))に依存してよいことが提案される。図4は、(a)VVC及び(b)提案の方法で導出されるサンプル位置の例を示す。破線の長方形は、適合ウインドウを表す。
a.一例では、現在ピクチャの幅及び/又は高さと参照ピクチャの幅及び/又は高さとが異なるときのみ、依存関係が存在する。
b.一例では、参照サンプルの水平位置(例えば、VVCで定義されるようなrefxL)の導出は、現在ピクチャ及び/又は参照ピクチャの適合ウインドウの左位置(例えば、VVCで定義されるようなconf_win_left_offset)に依存してよい。
i.一例では、現在ピクチャ内の適合ウインドウの左上位置に対する現在サンプルの水平位置(xSb’と表される)は、計算され、参照サンプルの位置を導出するために使用される。
1)例えば、xSb’=xSb-(conf_win_left_offset<<Prec)が計算され、参照サンプルの位置を導出するために使用される。ここで、xSbは現在ピクチャ内の現在サンプルの水平位置を表す。conf_win_left_offsetは、現在ピクチャの適合ウインドウ内の左上サンプルの水平位置を表す。Precは、xSb及びxSb’の精度を表す。ここで、(xSb>>Prec)は現在ピクチャにアチする現在サンプルの実際の水平座標を示してよい。例えば、Prec=0又はPrec=4である。
ii.一例では、参照ピクチャ内の適合ウインドウの左上位置に対する参照サンプルの水平位置(Rx’と表される)が、計算される。
1)Rx’の計算は、xSb’、及び/又は動きベクトル、及び/又は再サンプリング比に依存してよい。
iii.一例では、参照ピクチャに対する参照サンプルの水平位置(Rxと表される)は、Rx’に依存して計算される。
1)例えば、Rx=Rx’+(conf_win_left_offset_ref<<Prec)が計算される。ここで、conf_win_left_offset_refは参照ピクチャの適合ウインドウ内の左上サンプルの水平位置を表す。PrecはRx及びRx’の位置を表す。例えば、Prec=0又はPrec=4である。
iv.一例では、Rxは、xSb’、及び/又は動きベクトル、及び/又は再サンプリング比に依存して直接計算されてよい。言い換えると、Rx’及びRxについて2段階の導出が、1段階の計算に結合される。
v.現在ピクチャ及び/又は参照ピクチャの適合ウインドウの左位置(例えば、VVCで定義されるようなconf_win_left_offset)を使用するかどうか及び/又はどのように使用するかは、色成分及び/又は色フォーマットに依存してよい。
1)例えば、conf_win_left_offsetは、conf_win_left_offset=conf_win_left_offset*SubWidthCのように改訂されてよい。ここで、SubWidthCは、色成分の水平サンプリングステップを定義する。例えば、ルマコンポーネントでは、SubWidthCは1に等しい。色フォーマットが4:2:0又は4:2:2のとき、クロマコンポーネントでは、SubWidthCは2に等しい。
2)例えば、conf_win_left_offsetは、conf_win_left_offset=conf_win_left_offset/SubWidthCのように改訂されてよい。ここで、SubWidthCは、色成分の水平サンプリングステップを定義する。例えば、ルマコンポーネントでは、SubWidthCは1に等しい。色フォーマットが4:2:0又は4:2:2のとき、クロマコンポーネントでは、SubWidthCは2に等しい。
c.一例では、参照サンプルの垂直位置(例えば、VVCで定義されるようなrefyL)の導出は、現在ピクチャ及び/又は参照ピクチャの適合ウインドウの上位置(例えば、VVCで定義されるようなconf_win_top_offset)に依存してよい。
i.一例では、現在ピクチャ内の適合ウインドウの左上位置に対する現在サンプルの垂直位置(ySb’と表される)は、計算され、参照サンプルの位置を導出するために使用される。
1)例えば、ySb’=ySb-(conf_win_top_offset<<Prec)が計算され、参照サンプルの位置を導出するために使用される。ここで、ySbは現在ピクチャ内の現在サンプルの垂直位置を表す。conf_win_top_offsetは、現在ピクチャの適合ウインドウ内の左上サンプルの垂直位置を表す。PrecはySb及びySb’の位置を表す。例えば、Prec=0又はPrec=4である。
ii.一例では、参照ピクチャ内の適合ウインドウの左上位置に対する参照サンプルの垂直位置(Ry’と表される)が、計算される。
1)Ry’の計算は、ySb’、及び/又は動きベクトル、及び/又は再サンプリング比に依存してよい。
iii.一例では、参照ピクチャに対する参照サンプルの垂直位置(Ryと表される)は、Ry’に依存して計算される。
1)例えば、Ry=Ry’+(conf_win_top_offset_ref<<Prec)が計算される。ここで、conf_win_top_offset_refは参照ピクチャの適合ウインドウ内の左上サンプルの垂直位置を表す。PrecはRy及びRy’の位置を表す。例えば、Prec=0又はPrec=4である。
iv.一例では、Ryは、ySb’、及び/又は動きベクトル、及び/又は再サンプリング比に依存して直接計算されてよい。言い換えると、Ry’及びRyについて2段階の導出が、1段階の計算に結合される。
v.現在ピクチャ及び/又は参照ピクチャの適合ウインドウの上位置(例えば、VVCで定義されるようなconf_win_top_offset)を使用するかどうか及び/又はどのように使用するかは、色成分及び/又は色フォーマットに依存してよい。
1)例えば、conf_win_top_offsetは、conf_win_top_offset=conf_win_top_offset*SubHeightCのように改訂されてよい。ここで、SubHeightCは、色成分の垂直サンプリングステップを定義する。例えば、ルマコンポーネントでは、SubHeightCは1に等しい。色フォーマットが4:2:0のとき、クロマコンポーネントでは、SubHeightCは2に等しい。
2)例えば、conf_win_top_offsetは、conf_win_top_offset=conf_win_top_offset/SubHeightCのように改訂されてよい。ここで、SubHeightCは、色成分の垂直サンプリングステップを定義する。例えば、ルマコンポーネントでは、SubHeightCは1に等しい。色フォーマットが4:2:0のとき、クロマコンポーネントでは、SubHeightCは2に等しい。
28.参照サンプルの水平座標の整数部分が[minW,maxW]にクリッピングされてよいことが提案される。参照ピクチャの適合ウインドウの幅及び高さが、それぞれW及びHとして表されるとする。参照ピクチャの適合ウインドウの幅及び高さがW’及びH’として表されるとする。参照ピクチャ内の適合ウインドウの左上位置は、(X0,Y0)として表される。
a.一例では、minWは0に等しい。
b.一例では、minWはX0に等しい。
c.一例では、maxWはW-1に等しい。
d.一例では、maxWはW’-1に等しい。
e.一例では、maxWはX0+W’-1に等しい。
f.一例では、minW及び/又はmaxWは、色フォーマット及び/又は色成分に基づき変更されてよい。
i.例えば、minWはminW*SubCになるよう変更される。
ii.例えば、minWはminW/SubCになるよう変更される。
iii.例えば、maxWはmaxW*SubCになるよう変更される。
iv.例えば、maxWはmaxW/SubCになるよう変更される。
v.例えば、ルマコンポーネントでは、SubCは1に等しい。
vi.一例では、色フォーマットが4:2:0のとき、クロマコンポーネントでは、SubCは2に等しい。
vii.一例では、色フォーマットが4:2:2のとき、クロマコンポーネントでは、SubCは2に等しい。
viii.一例では、色フォーマットが4:4:4のとき、クロマコンポーネントでは、SubCは1に等しい。
g.一例では、クリッピングを行うかどうか及び/又はどのように行うかは、現在ピクチャ(又はその中の適合ウインドウ)の寸法、及び参照ピクチャ(又はその中の適合ウインドウ)の寸法に依存してよい。
i.一例では、クリッピングは、現在ピクチャ(又はその中の適合ウインドウ)の寸法と参照ピクチャ(又はその中の適合ウインドウ)の寸法とが異なるときにのみ、行われる。
29.参照サンプルの垂直座標の整数部分が[minH,maxH]にクリッピングされてよいことが提案される。参照ピクチャの適合ウインドウの幅及び高さが、それぞれW及びHとして表されるとする。参照ピクチャの適合ウインドウの幅及び高さがW’及びH’として表されるとする。参照ピクチャ内の適合ウインドウの左上位置は、(X0,Y0)として表される。
a.一例では、minHは0に等しい。
b.一例では、minHはY0に等しい。
c.一例では、maxHはH-1に等しい。
d.一例では、maxHはH’-1に等しい。
e.一例では、maxHはY0+H’-1に等しい。
f.一例では、minH及び/又はmaxHは、色フォーマット及び/又は色成分に基づき変更されてよい。
i.例えば、minHはminH*SubCになるよう変更される。
ii.例えば、minHはminH/SubCになるよう変更される。
iii.例えば、maxHはmaxH*SubCになるよう変更される。
iv.例えば、maxHはmaxH/SubCになるよう変更される。
v.一例では、ルマコンポーネントでは、SubCは1に等しい。
vi.一例では、色フォーマットが4:2:0のとき、クロマコンポーネントでは、SubCは2に等しい。
vii.一例では、色フォーマットが4:2:2のとき、クロマコンポーネントでは、SubCは1に等しい。
viii.一例では、色フォーマットが4:4:4のとき、クロマコンポーネントでは、SubCは1に等しい。
g.一例では、クリッピングを行うかどうか及び/又はどのように行うかは、現在ピクチャ(又はその中の適合ウインドウ)の寸法、及び参照ピクチャ(又はその中の適合ウインドウ)の寸法に依存してよい。
i.一例では、クリッピングは、現在ピクチャ(又はその中の適合ウインドウ)の寸法と参照ピクチャ(又はその中の適合ウインドウ)の寸法とが異なるときにのみ、行われる。
以下の議論では、2つのシンタックスエレメントが等価な機能を有するが、異なるビデオユニット(例えば、VPS/SPS/PPS/スライスヘッダ/ピクチャヘッダ、等)でシグナリングされ得る場合、第1シンタックスエレメントは第2シンタックスエレメントに「対応する」ことが主張される。
30.シンタックスエレメントは第1ビデオユニット(例えば、ピクチャヘッダ又はPPS)内でシグナリングされてよいこと、及び対応するシンタックスエレメントはより上位レベル(例えば、SPS)又はより下位レベル(例えば、スライスヘッダ)の第2ビデオユニット内でシグナリングされないことが提案される。
a.代替として、第1シンタックスエレメントは第1ビデオユニット(例えば、ピクチャヘッダ又はPPS)内でシグナリングされてよいこと、及び対応する第2シンタックスエレメントはより下位レベル(例えば、スライスヘッダ)の第2ビデオユニット内でシグナリングされてよいことが提案される。
i.代替として、第2シンタックスエレメントが後にシグナリングされるかどうかを通知するために、指示子が第2ビデオユニット内でシグナリングされてよい。
ii.一例では、第2ビデオユニット(例えば、スライスヘッダ)に関連付けられたスライスは、第2シンタックスエレメントがシグナリングされる場合に、第1シンタックスエレメントの代わりに第2シンタックスエレメントの指示に従ってよい。
iii.第1シンタックスエレメントに関連付けられた指示子は、第2シンタックスエレメントが第1ビデオユニットに関連付けられた任意のスライス(又は他のビデオユニット)内でシグナリングされるかどうかを通知するために、第1ビデオユニット内でシグナリングされてよい。
b.代替として、第1シンタックスエレメントは、(VPS/SPS/PPSのような)より上位の第1ビデオユニット内でシグナリングされてよいこと、及び対応する第2シンタックスエレメントは(ピクチャヘッダのような)の第2ビデオユニット内でシグナリングされてよい。
i.代替として、第2シンタックスエレメントが後にシグナリングされるかどうかを通知するために、指示子がシグナリングされてよい。
ii.一例では、第2ビデオユニットに関連付けられたピクチャ(これはスライスにパーティションされてよい)は、第2シンタックスエレメントがシグナリングされる場合に、第1シンタックスエレメントの代わりに第2シンタックスエレメントの指示に従ってよい。
c.ピクチャヘッダ内の第1シンタックスエレメントは、2.6章で指定されたようなスライスヘッダ内の第2シンタックスエレメントと等価な機能を有してよいが(限定ではないが、例えばslice_temporal_mvp_enabled_flag、cabac_init_flag、six_minus_max_num_merge_cand、five_minus_max_num_subblock_merge_cand、slice_fpel_mmvd_enabled_flag、slice_disable_bdof_dmvr_flag、max_num_merge_cand_minus_max_num_triangle_cand、slice_fpel_mmvd_enabled_flag、slice_six_minus_max_num_ibc_merge_cand、slice_joint_cbcr_sign_flag、slice_qp_delta、…)、ピクチャの全部のスライスを制御してよい。
d.2.6章で指定されたようなSPS内の第1シンタックスエレメントは、ピクチャヘッダ内の第2シンタックスエレメントと等価な機能を有してよいが(限定ではないが、例えばsps_bdof_dmvr_slice_present_flag、sps_mmvd_enabled_flag、sps_isp_enabled_flag、sps_mrl_enabled_flag、sps_mip_enabled_flag、sps_cclm_enabled_flag、sps_mts_enabled_flag…)、(スライスへとパーティションされてよい)関連するピクチャのみを制御する。
e.2.7章で指定されたようなPPS内の第1シンタックスエレメントは、ピクチャヘッダ内の第2シンタックスエレメントと等価な機能を有してよいが(限定ではないが、例えばentropy_coding_sync_enabled_flag、entry_point_offsets_present_flag、cabac_init_present_flag、rpl1_idx_present_flag…)、(スライスへとパーティションされてよい)関連するピクチャのみを制御する。
31.本開示では(項目1~項目29)、用語「適合ウインドウ(conformance window)」は、「スケーリングウインドウ」のような他の用語により置き換えられてよい。スケーリングウインドウは、適合ウインドウと異なる方法でシグナリングされてよく、RPRの参照サンプル位置を導出するために使用されるスケーリング比及び/又は左上オフセットを導出するために使用される。
a.一例では、スケーリングウインドウは、適合ウインドウにより制約されてよい。例えば、適合ビットストリームでは、スケーリングウインドウは適合ウインドウにより制約されなければならない。
32.変換スキップコーディングブロックの許容最大ブロックサイズをシグナリングするかどうか及び/又はどのようにシグナリングするかは、変換コーディングブロックの最大ブロックサイズに依存してよい。
a.代替として、変換スキップコーディングブロックの最大ブロックサイズは、適合ビットストリーム内の変換コーディングブロックの最大ブロックサイズより大きくなれない。
33.共同Cb-Cr残差(Joint Cb-Cr Residue (JCCR))コーディングを有効にすることの指示(例えば、sps_joint_cbcr_enabled_flag)をシグナリングするかどうか及びどのようにシグナリングするかは、色フォーマット(例えば、4:0:0、4:2:0、等)に依存してよい。
a.例えば、共同Cb-Cr残差(Joint Cb-Cr Residue (JCCR))コーディングを有効にすることの指示は、色フォーマットが4:0:0である場合にはシグナリングされなくてよい。例示的なシンタックス設計は以下の通りである:
Figure 0007328445000073
<TPM/GEOにおけるクロマブレンディングマスクのためのダウンサンプリングフィルタタイプ>
34.クロマサンプルについて重み導出をブレンディング(blending)するために使用されるダウンサンプリングフィルタのタイプは、ビデオユニットレベル(例えば、SPS/VPS/PPS/ピクチャヘッダ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリック/CTU/VPDUレベル)でシグナリングされてよい。
a.一例では、コンテンツの異なるクロマフォーマットタイプの間で切り換えるために、高レベルフラグがシグナリングされてよい。
i.いちれ、高レベルフラグは、クロマフォーマットタイプ0とクロマフォーマットタイプ2との間で切り換えるためにシグナリングされてよい。
ii.一例では、フラグは、TPM/GEO予測モードにおける左上ダウンサンプリング済みルマ重みが左上ルマ重みと同一位置にある(つまり、クロマサンプル位置タイプ0)かどうかを指定するために、フラグがシグナリングされてよい。
iii.一例では、フラグは、TPM/GEO予測モードにおける左上ダウンサンプリング済みルマ重みが左上ルマサンプルと水平方向に同一位置にあるが、左上ルマサンプルに対して0.5ルマサンプルユニットだけ垂直方向にシフトされている(つまり、クロマサンプル位置タイプ2)かどうかを指定するために、フラグがシグナリングされてよい。
b.一例では、ダウンサンプリングフィルタのタイプは、4:2:0クロマフォーマット及び/又は4:2:2クロマフォーマットについてシグナリングされてよい。
c.一例では、TPM/GEO予測のために使用されるクロマダウンサンプリングフィルタのタイプを指定するために、フラグがシグナリングされてよい。
i.一例では、TPM/GEO予測モードでクロマ重み導出のためにダウンサンプリングフィルタA又はダウンサンプリングフィルタBを使用するかについて、フラグがシグナリングされてよい。
35.クロマサンプルについて重み導出をブレンディング(blending)するために使用されるダウンサンプリングフィルタのタイプは、ビデオユニットレベル(例えば、SPS/VPS/PPS/ピクチャヘッダ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリック/CTU/VPDUレベル)で導出されてよい。
a.一例では、クロマサブサンプリングフィルタタイプとコンテンツのクロマフォーマットタイプとの間の対応関係を指定するために、ルックアップテーブルが定義されてよい。
36.指定されたダウンサンプリングフィルタは、異なるクロマサンプル位置タイプの場合に、TPM/GEO予測モードのために使用されてよい。
a.一例では、TPM/GEOのクロマ重みは、特定のクロマサンプル位置タイプ(例えば、クロマサンプル位置タイプ0)の場合、同一位置左上ルマ重みからサブサンプリングされてよい。
b.一例では、特定のクロマサンプル位置タイプの場合(例えば、クロマサンプル位置タイプ0又は2)の場合に、指定されたXタップフィルタ(Xは、X=6又は5のような制約)が、TPM/GEO予測モードにおけるクロマ重みサブサンプリングのために使用されてよい。
37.ビデオユニット(例えば、SPS、PPS、ピクチャヘッダ、スライスヘッダ、等)では、第1シンタックスエレメント(例えば、フラグ)は、MTSが全部のブロック(スライス/ピクチャ)について無効にされるかどうかを示すためにシグナリングされてよい。
a.イントラコーディングブロック(スライス/ピクチャ)に対してMTSをどのように適用するか(例えば、MTSを有効にする/MTSを無効にする/暗示的MTS/明示的MTS)を示す第2シンタックスエレメントは、第1シンタックスエレメントで条件付きでシグナリングされる。例えば、第2シンタックスエレメントは、第1シンタックスエレメントが、MTSは全部のブロック(スライス/ピクチャ)に対して無効にされないと示すときのみ、シグナリングされる。
b.インターコーディングブロック(スライス/ピクチャ)に対してMTSをどのように適用するか(例えば、MTSを有効にする/MTSを無効にする/暗示的MTS/明示的MTS)を示す第3シンタックスエレメントは、第1シンタックスエレメントで条件付きでシグナリングされる。例えば、第3シンタックスエレメントは、第1シンタックスエレメントが、MTSは全部のブロック(スライス/ピクチャ)に対して無効にされないと示すときのみ、シグナリングされる。
c.例示的なシンタックス設計は以下の通りである:
Figure 0007328445000074
d.サブブロック変換(Sub-Block Transform (SBT))が適用されるか否かを条件として、第3シンタックスエレメントがシグナリングされてよい。例示的なシンタックス設計は以下の通りである:
Figure 0007328445000075
e.例示的なシンタックス設計は以下の通りである:
Figure 0007328445000076
[5.追加実施形態]
以下では、テキストの変更は、下線付き太字斜体で示される。
[5.1 適合ウインドウに対する制約の実施形態]
conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetは、出力のためのピクチャ座標の中で指定される長方形領域の観点から、復号処理から出力されるCVS内のピクチャのサンプルを指定する。conformance_window_flagが0に等しいとき、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetの値は、0に等しいと推定される。
適合クロッピングウインドウは、両端を含む、ubWidthC*conf_win_left_offsetからpic_width_in_luma_samples-(SubWidthC*conf_win_right_offset+1)までの水平ピクチャ座標、及びSubHeightC*conf_win_top_offsetからpic_height_in_luma_samples-(SubHeightC*conf_win_bottom_offset+1)までの垂直ピクチャ座標を有するルマサンプルを含む。
SubWidthC*(conf_win_left_offset+conf_win_right_offset)の値は、pic_width_in_luma_samplesより小さくなるべきであり、SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)の値は、pic_height_in_luma_samplesより小さくなるべきである。
変数PicOutputWidthL及びPicOutputHeightLは、以下のように導出される:
Figure 0007328445000077
ChromaArrayTypeが0に等しくないとき、2つのクロマアレイの対応する指定されたサンプルは、ピクチャ座標(x/SubWidthC,y/SubHeightC)を有するサンプルである。ここで、(x,y)は指定されたルマサンプルのピクチャ座標である。
Figure 0007328445000078
[5.2. 参照サンプル位置導出の実施形態1]
8.5.6.3.1. 概要

変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
Figure 0007328445000079
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000080
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000081
変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000082
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000083
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000084
[5.3. 参照サンプル位置導出の実施形態2]
8.5.6.3.1. 概要

変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
Figure 0007328445000085
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000086
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000087
・・・変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000088
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000089
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000090
[5.4. 参照サンプル位置導出の実施形態3]
8.5.6.3.1. 概要

変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
Figure 0007328445000091
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000092
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000093
・・・変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000094
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000095
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000096
[5.5. 参照サンプル位置クリッピングの実施形態1]
8.5.6.3.1. 概要
この処理への入力は:
・現在ピクチャの左上ルマサンプルに対する、現在符号コーディングサブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
・現在コーディングサブブロックの幅を指定する変数sbWidth、
・現在コーディングサブブロックの高を指定する変数sbHeight、
・動きベクトルオフセットmvOffset、
・精緻化動きベクトルrefMvLX、
・選択参照ピクチャサンプルアレイrefPicLX、
・ハーフサンプル補間フィルタインデックスhpelIfIdx、
・双方向オプティカルフローフラグbdofFlag、
・現在ブロックの色成分インデックスを指定する変数cIdx。
この処理の出力は:
・予測サンプル値の(sbWidth+brdExtSize)x(sbHeight+brdExtSize)アレイpredSamplesLX。
予測ブロック境界拡張サイズbrdExtSizeは以下のように導出される:
Figure 0007328445000097
変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000098
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000099
・・・変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000100
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000101
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000102
・・予測サンプル値predSamplesLX[xC][yC]は、(xIntC,yIntC)、(xFracC,yFracC)、(xSbIntC,ySbIntC)、sbWidth、sbHeight、及びrefPicLXを入力として、項8.5.6.3.4で指定される処理を呼び出すことにより、導出される。
[5.6. 参照サンプル位置クリッピングの実施形態2]
8.5.6.3.1. 概要
この処理への入力は:
・現在ピクチャの左上ルマサンプルに対する、現在符号コーディングサブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
・現在コーディングサブブロックの幅を指定する変数sbWidth、
・現在コーディングサブブロックの高を指定する変数sbHeight、
・動きベクトルオフセットmvOffset、
・精緻化動きベクトルrefMvLX、
・選択参照ピクチャサンプルアレイrefPicLX、
・ハーフサンプル補間フィルタインデックスhpelIfIdx、
・双方向オプティカルフローフラグbdofFlag、
・現在ブロックの色成分インデックスを指定する変数cIdx。
この処理の出力は:
・予測サンプル値の(sbWidth+brdExtSize)x(sbHeight+brdExtSize)アレイpredSamplesLX。
予測ブロック境界拡張サイズbrdExtSizeは以下のように導出される:
Figure 0007328445000103
変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
Figure 0007328445000104
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
・cIdxが0に等しい場合、以下が適用される。
・・倍率及びそれらの固定小数点表現は以下のように定義される:
Figure 0007328445000105
・・(xIntL,yIntL)をフルサンプルユニット内で与えられたルマ位置とし、(xFracL,yFracL)を1/16サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)は、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される。
・・予測ルマサンプルアレイpredSamplesLXの内部の各ルマサンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値predSamplesLX[xL][yL]は、以下のように導出される:
・・・(refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプルユニットの中で与えられる動きベクトル(refMvLX[0],refMvLX[1])により指されるルマ位置であるとする。変数refxSbL、refxL、refySbL、及びrefyLは以下のように導出される:
Figure 0007328445000106
・・・変数xIntL、yIntL、xFracL、及びyFracLは以下のように導出される:
Figure 0007328445000107
・・bdofFlagが真に等しい、又は(sps_affine_prof_enabled_flagが真に等しく、inter_affine_flag[xSb][ySb]が真に等しい)、及び以下の条件のうちの1つ以上が真である場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.3で指定されるように、(xIntL+(xFracL>>3)-1)、yIntL+(yFracL>>3)-1)、及びrefPicLXを入力としてルマ整数サンプルフェッチ処理を呼び出すことにより、導出される。
・・・xLが0に等しい。
・・・xLがsbWidth+1に等しい。
・・・yLが0に等しい。
・・・yLがsbHeight+1に等しい。
・・その他の場合、予測ルマサンプル値predSamplesLX[xL][yL]は、項8.5.6.3.2で指定されるように、(xIntL-(brdExtSize>0?1:0)、yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として、ルマサンプル8タップ補間フィルタリング処理を呼び出すことにより、導出される。
・その他の場合(cIdxが0に等しい)、以下が適用される:
・・(xIntC,yIntC)をフルサンプルユニット内で与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプルユニット内で与えられたオフセットとする。これらの変数は、参照サンプルアレイrefPicLXの内側の一般的な分数サンプル位置を指定するために、この項でのみ使用される。
・・参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)は((xSb/SubWidthC)+(mvLX[0]>>5)、(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
・・予測クロマ参照サンプルアレイpredSamplesLXの卯木側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は以下のように導出される:
・・・(refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプルユニットの中で与えられる動きベクトル(mvLX[0],mvLX[1])により指されるクロマ位置であるとする。変数refxSbC、refySbC、refxC、及びrefyCは以下のように導出される:
Figure 0007328445000108
・・・変数xIntC、yIntC、xFracC、及びyFracCは以下のように導出される:
Figure 0007328445000109
・・予測サンプル値predSamplesLX[xC][yC]は、(xIntC,yIntC)、(xFracC,yFracC)、(xSbIntC,ySbIntC)、sbWidth、sbHeight、及びrefPicLXを入力として、項8.5.6.3.4で指定される処理を呼び出すことにより、導出される。
[6.開示の技術の例示的実装]
図5は、ビデオ処理機器500のブロック図である。機器500は、ここに記載した方法のうちの1つ以上を実施するために使用されてよい。機器500は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things (IoT))受信機、等において実施されてよい。機器500は、1つ以上のプロセッサ502、1つ以上のメモリ504、及びビデオ処理ハードウェア506を含んでよい。プロセッサ502は、本願明細書に記載した1つ以上の方法を実施するよう構成されてよい。メモリ(複数のメモリ)504は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア506は、ハードウェア回路で、本願明細書に記載された幾つかの技術を実施するために使用されてよく、部分的に又は完全に、プロセッサ502(例えば、グラフィックプロセッサコアGPU又は他の信号処理回路)の部分であってよい。
本願明細書では、用語「ビデオ処理」又はコーディングは、ビデオ符号化、ビデオ復号、ビデオ圧縮、又はビデオ伸長を表してよい。例えば、ビデオ圧縮アルゴリズムは、ビデオをピクセル表現から対応するビットストリーム表現へ又はその逆に変換する間に適用されてよい。現在ビデオブロックのビットストリーム表現は、シンタックスにより定義されるように、例えば、ビットストリーム内の同一位置にある又は異なる場所に拡散しているビットに対応してよい。例えば、マクロブロックは、変換されたコーディングされた誤差残差値の観点で、ヘッダ及びビットストリーム内の他のフィールドのビットも使用して、符号化されてよい。
開示の方法及び技術は、本願明細書において開示された技術の使用を可能にすることにより、スマートフォン、ラップトップ、デスクトップ、及び類似の装置のようなビデオ処理装置に組み込まれるビデオエンコーダ及び/又はデコーダの実施形態に利益をもたらすことが理解される。
図6は、ビデオ処理の例示的な方法600のフローチャートである。この方法600は、610で、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測された隣接又は非隣接サンプルのグループに同じ補間フィルタが適用される。
幾つかの実施形態は、以下の項に基づく形式を用いて記述され得る。
(項1)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測された隣接又は非隣接サンプルのグループに同じ補間フィルタが適用される、方法。
(項2)前記同じ補間フィルタは、垂直補間フィルタである、項1に記載の方法。
(項3)前記同じ補間フィルタは、水平補間フィルタである、項1に記載の方法。
(項4)隣接又は非隣接サンプルの前記グループは、前記現在ビデオブロックの領域内に位置する全部のサンプルを含む、項1に記載の方法。
(項5)前記現在ビデオブロックは、各々がサイズM×Nの複数の長方形に分割される、項4に記載の方法。
(項6)M及び/又はNは予め決定される、項5に記載の方法。
(項7)M及び/又はNは前記現在ビデオブロックの寸法から導出される、項5に記載の方法。
(項8)M及び/又はNは前記現在ビデオブロックのコーディング表現の中でシグナリングされる、項5に記載の方法。
(項9)サンプルの前記グループは、同じ動きベクトルを共有する、項1に記載の方法。
(項10)サンプルの前記グループは、同じ水平コンポーネント及び/又は水平コンポーネントの同じ分数部分を共有する、項9に記載の方法。
(項11)サンプルの前記グループは、同じ垂直コンポーネント及び/又は垂直コンポーネントの同じ分数部分を共有する、項9に記載の方法。
(項12)前記同じ動きベクトル又はそのコンポーネントは、前記参照ピクチャの解像度、前記参照ピクチャのサイズ、前記現在ビデオブロックの解像度、前記現在ビデオブロックのサイズ、又は精度値、のうちの少なくとも1つに基づき、1つ以上のルールを満たす、項9~11の1つ以上に記載の方法。
(項13)前記同じ動きベクトル又はそのコンポーネントは、前記現在ビデオブロック内に位置するサンプルの動き情報に対応する、項9~11の1つ以上に記載の方法。
(項14)前記同じ動きベクトル又はそのコンポーネントは、前記グループの内側または外側に位置する仮想サンプルの動き情報に設定される、項9~11の1つ以上に記載の方法。
(項15)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測されたブロックは、前記現在ブロックに関連する整数値動き情報を使用することのみが許可される、方法。
(項16)前記整数値動き情報は、前記現在ビデオブロックの元の動き情報を丸め込むことにより、導出される、項15に記載の方法。
(項17)前記現在ビデオブロックの前記元の動き情報は、水平方向及び/又は垂直方向である、項15に記載の方法。
(項18)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、前記現在ビデオブロックを用いて予測されたブロックを導出するために補間フィルタが適用され、前記補間フィルタはルールに基づき選択される、方法。
(項19)前記ルールは、前記現在ビデオブロックの前記解像度及び/又はサイズに対する前記参照サンプルの前記解像度及び/又はサイズに関連付けられる、項18に記載の方法。
(項20)前記補間フィルタは、垂直補間フィルタである、項18に記載の方法。
(項21)前記補間フィルタは、水平補間フィルタである、項18に記載の方法。
(項22)前記補間フィルタは、1タップフィルタ、バイリニアフィルタ、4タップフィルタ、又は6タップフィルタ、のうちの1つである、項18に記載の方法。
(項23)前記補間フィルタは、前記変換の他のステップの一部として使用される、項22に記載の方法。
(項24)前記補間フィルタは、パディングサンプルの使用を含む、項18に記載の方法。
(項25)前記補間フィルタの使用は、前記現在ビデオブロックのサンプルの色成分に依存する、項18に記載の方法。
(項26)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、参照ピクチャの解像度及び/又はサイズが前記現在ビデオブロックの解像度及び/又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、前記デブロッキングフィルタの強度は、前記現在ビデオブロックの解像度及び/又はサイズに対する前記参照ピクチャの解像度及び/又はサイズに関連するルールに従い設定される、方法。
(項27)前記デブロッキングフィルタの強度は、ビデオブロック毎に変化する、項27に記載の方法。
(項28)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、現在ビデオブロックのサブピクチャが存在する場合、適合ビットストリームは、前記現在ビデオブロックの解像度及び/又はサイズに対する前記参照ピクチャの解像度及び/又はサイズに関連するルールを満たす、方法。
(項29)前記現在ビデオブロックを1つ以上のサブピクチャに分割するステップであって、前記分割は、前記現在ビデオブロックの解像度に少なくとも依存する、項28に記載の方法。
(項30)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間に、前記現在ビデオブロックの参照ピクチャは、前記現在ビデオブロックの寸法に基づくルールに従い再サンプリングされる、方法。
(項31)ビデオ処理の方法であって、現在ビデオブロックと前記現在ビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間、前記現在ビデオブロックに対するコーディングツールの使用は、前記現在ビデオブロックの解像度及び/又はサイズに対する前記現在ビデオブロックの参照ピクチャの解像度及び/又はサイズに依存して有効又は無効にされる、方法。
(項32)サンプルの前記グループは適合ウインドウ内に位置する、上述の項のうちの1つ以上に記載の方法。
(項33)前記適合ウインドウは長方形形状である、項32に記載の方法。
(項34)前記解像度は、前記コーディング/復号ビデオブロックの解像度、又は前記コーディング/復号ビデオブロックの適合ウインドウの解像度に関連する、上述の項のうちの1つ以上に記載の方法。
(項35)前記サイズは、前記コーディング/復号ビデオブロックのサイズ、又は前記コーディング/復号ビデオブロックの適合ウインドウのサイズに関連する、上述の項のうちの1つ以上に記載の方法。
(項36)前記寸法は、前記コーディング/復号ビデオブロックの寸法又は前記コーディング/復号ビデオブロックの適合ウインドウの寸法に関連する、上述の項のうちの1つ以上に記載の方法。
(項37)前記適合ウインドウは、適合クロッピングウインドウパラメータのセットにより定義される、項32に記載の方法。
(項38)適合クロッピングウインドウパラメータのセットの少なくとも一部は、前記コーディング表現の中で暗示的又は明示的にシグナリングされる、項37に記載の方法。
(項39)適合クロッピングウインドウパラメータの前記セットは、前記コーディング表現の中でシグナリングされる、上述の項のうちの1つ以上に記載の方法。
(項40)前記参照サンプルの位置は、前記適合ウインドウ内の前記現在ビデオブロックの左上サンプルに関して導出される、上述の項のうちの1つ以上に記載の方法。
(項41)ビデオ処理の方法であって、複数のビデオブロックと前記複数のビデオブロックのコーディング表現との間の変換を実行するステップを含み、前記変換の間、第1適合ウインドウが第1ビデオブロックについて定義され、第2適合ウインドウが第2ビデオブロックについて定義され、前記第2適合ウインドウに対する前記第1適合ウインドウの幅及び/又は高さの比は、少なくとも適合ビットストリームに基づくルールに従う、方法。
(項42)ビデオ復号機器であって、項1~41のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ復号機器。
(項43)ビデオ符号化機器であって、項1~41のうちの1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ符号化機器。
(項44)格納されたコンピュータコードを有するコンピュータプログラムプロダクトであって、前記コードは、プロセッサにより実行されると、前記プロセッサに項1~41のいずれかに記載の方法を実施させる、コンピュータプログラムプロダクト。
(項45)本願明細書に記載された方法、機器、又はシステム。
図7は、ここに開示される種々の技術が実施され得る例示的なビデオ処理システム700を示すブロック図である。種々の実装は、システム700のコンポーネントの一部又は全部を含んでよい。システム700は、ビデオコンテンツを受信する入力702を含んでよい。ビデオコンテンツは、生(raw)又は非圧縮フォーマット、例えば8又は10ビット複数成分ピクセル値で受信されてよく、或いは圧縮又は符号化フォーマットであってよい。入力702は、ネットワークインタフェース、周辺機器バスインタフェース、又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、イーサネット(登録商標)、受動光ネットワーク(passive optical network (PON))等のような有線インタフェース、及びWi-Fi又はセルラインタフェースのような無線インタフェースを含む。
システム700は、本願明細書に記載された種々のコーディング又は符号化方法を実施し得るコーディングコンポーネント704を含んでよい。コーディングコンポーネント704は、入力702からコーディングコンポーネント704の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成してよい。コーディング技術は、従って、時に、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント704の出力は、コンポーネント706により表されるように、格納されるか、又は通信接続を介して送信されてよい。入力702で受信された、格納され又は通信されたビットストリーム(又はコーディングされた)表現は、コンポーネント708により、ディスプレイインタフェース710へ送信されるピクセル値又は表示可能なビデオを生成するために、使用されてよい。ビットストリーム表現からユーザに閲覧可能なビデオを生成する処理は、時に、ビデオ伸長と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作は、エンコーダにおいて使用され、コーディングの結果を逆にする対応する復号ツール又は動作がデコーダにより実行されることが理解される。
周辺機器バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(universal serial bus (USB))又は高解像度マルチメディアインタフェース(high definition multimedia interface (HDMI(登録商標)))又はディスプレイポート(Displayport)、等を含んでよい。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェース、等を含む。本願明細書に記載した技術は、移動電話機、ラップトップ、スマートフォン、又はデジタルデータ処理を実行可能な他の装置、及び/又はビデオディスプレイのような種々の電子装置に実装されてよい。
図8は、本開示の技術を利用し得る例示的なビデオコーディングシステム100を示すブロック図である。
図8に示されるように、ビデオコーディングシステム100は、ソース装置110と宛先装置120とを含んでよい。ソース装置110は、ビデオ符号化装置と呼ばれてよく、符号化ビデオデータを生成する。宛先装置120は、ビデオ復号装置と呼ばれてよく、ソース装置110により生成された符号化ビデオデータを復号してよい。
ソース装置110は、ビデオソース112、ビデオエンコーダ114、及び入力/出力(I/O)インタフェース116を含んでよい。
ビデオソース112は、ビデオキャプチャ装置のようなソース、ビデオコンテンツプロバイダからビデオデータを受信するインタフェース、及び/又はビデオデータを生成するコンピュータグラフィックシステム、又はそのようなソースの組合せを含んでよい。ビデオデータは、1つ以上のピクチャを含んでよい。ビデオエンコーダ114は、ビデオソース112からのビデオデータを符号化して、ビットストリームを生成する。ビットストリームは、ビデオデータのコーディング表現を形成するビットのシーケンスを含んでよい。ビットストリームは、コーディングピクチャ及び関連データを含んでよい。コーディングピクチャは、ピクチャのコーディング表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含んでよい。I/Oインタフェース116は、変調器/復調器(モデム)及び/又は送信機を含んでよい。符号化ビデオデータは、I/Oインタフェース116を介してネットワーク130aを通じて、宛先装置120へ直接送信されてよい。符号化ビデオデータは、宛先装置120によるアクセスのために、記憶媒体/サーバ130bに格納されてもよい。
宛先装置120は、I/Oインタフェース126、ビデオデコーダ124、及びディスプレイ装置122を含んでよい。
i/Oインタフェース126は、受信機及び/又はモデムを含んでよい。I/Oインタフェース126は、ソース装置110又は記憶媒体/サーバ130bから符号化ビデオデータを取得してよい。ビデオデコーダ124は、符号化ビデオデータを復号してよい。ディスプレイ装置122は、復号ビデオデータをユーザに表示してよい。ディスプレイ装置122は、宛先装置120に統合されてよく、又は宛先装置120の外部にあり、外部ディスプレイ装置とインタフェースするよう構成されてよい。
ビデオエンコーダ114及びビデオデコーダ124は、高効率ビデオコーディング(High Efficiency Video Coding (HEVC))規格、バーサタイルビデオコーディング(Versatile Video Coding (VVC))規格、及び他の現在及び/又は将来の規格のような、ビデオ圧縮規格に従い動作してよい。
図9は、図8に示したシステム100の中のビデオエンコーダ114であってよいビデオエンコーダ200の例を示すブロック図である。
ビデオエンコーダ200は、本開示の技術のうちのいずれか又は全部を実行するよう構成されてよい。図9の例では、ビデオエンコーダ200は複数の機能コンポーネントを含む。本開示に記載した技術は、ビデオエンコーダ200の種々のコンポーネントの間で共有されてよい。幾つかの例では、プロセッサは、本開示に記載した技術のうちのいずれか又は全部を実行するよう構成されてよい。
ビデオエンコーダ200の機能コンポーネントは、パーティションユニット201、モード選択ユニット203と動き推定ユニット204と動き補償ユニット205とイントラ予測ユニット206とを含んでよい予測ユニット202、残差生成ユニット207、変換ユニット208、量子化ユニット209、逆量子化ユニット210、逆変換ユニット211、再構成ユニット212、バッファ213、及びエントロピー符号化ユニット214を含んでよい。
他の例では、ビデオエンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含んでよい。例では、予測ユニット202は、イントラブロックコピー(intra block copy (IBC))ユニットを含んでよい。IBCユニットは、IBCモードで予測を実行してよく、IBCモードでは少なくとも1つの参照ピクチャが現在ビデオブロックの位置するピクチャである。
更に、動き推定ユニット204及び動き補償ユニット205のような幾つかのコンポーネントは、高度に統合されてよいが、説明の目的で図5の例では別個に表される。
パーティションユニット201は、ピクチャを1つ以上のビデオブロックにパーティションする。ビデオエンコーダ200及びビデオデコーダ300は、種々のビデオブロックサイズをサポートしてよい。
モード選択ユニット203は、コーディングモード、イントラ又はインターのうちの1つを、例えば誤差結果に基づき選択し、結果として生じたイントラ又はインターコーディングされたブロックを残差ブロックデータを生成するために残差生成ユニット207に、及び参照ピクチャとして使用するために符号化ブロックを再構成するために再構成ユニット212に提供してよい。幾つかの例では、モード選択ユニット203は、結合イントラ及びインター予測(combination of intra and inter predication (CIIP))モードを選択してよい。CIIPモードでは、予測はインター予測信号及びイントラ予測信号に基づく。モード選択ユニット203は、インター予測の場合に、ブロックについて動きベクトルの解像度(例えば、サブピクセル又は整数ピクセル精度)を選択してもよい。
現在ビデオブロックに対してインター予測を実行するために、動き推定ユニット204は、バッファ213からの1つ以上の参照フレームを現在ビデオブロックと比較することにより、現在ビデオブロックについて動き情報を生成してよい。動き補償ユニット205は、動き情報及び現在ビデオブロックに関連するピクチャ以外のバッファ213からのピクチャの復号サンプルに基づき、現在ビデオブロックについて予測ビデオブロックを決定してよい。
動き推定ユニット204及び動き補償ユニット205は、例えば現在ビデオブロックがIスライス、Pスライス、又はBスライスかに依存して、現在ビデオブロックについて異なる動作を実行してよい。
幾つかの例では、動き推定ユニット204は、現在ビデオブロックについて片方向予測を実行してよく、動き推定ユニット204は、現在ビデオブロックの参照ビデオブロックについて、リスト0又はリスト1の参照ピクチャを検索してよい。動き推定ユニット204は、次に、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックス、及び現在ビデオブロックと参照ビデオブロックとの間の空間変位を示す動きベクトルを生成してよい。動き推定ユニット204は、参照インデックス、予測方向指示子、及び動きベクトルを、現在ビデオブロックの動き情報として出力してよい。動き補償ユニット205は、現在ビデオブロックの動き情報により示される参照ビデオブロックに基づき、現在ブロックの予測ビデオブロックを生成してよい。
他の例では、動き推定ユニット204は、現在ビデオブロックについて双方向予測を実行してよく、動き推定ユニット204は、現在ビデオブロックの参照ビデオブロックについてリスト0内の参照ピクチャを検索してよく、現在ビデオブロックの別の参照ビデオブロックについてリスト1内の参照ピクチャを検索してよい。動き推定ユニット204は、次に、参照ビデオブロックを含むリスト0又はリスト1内の参照ピクチャを示す参照インデックス、及び参照ビデオブロックと現在ビデオブロックとの間の空間変位を示す動きベクトルを生成してよい。動き推定ユニット204は、現在ビデオブロックの動き情報として、参照インデックス及び現在ビデオブロックの動きベクトルを出力してよい。動き補償ユニット205は、現在ビデオブロックの動き情報により示される参照ビデオブロックに基づき、現在ビデオブロックの予測ビデオブロックを生成してよい。
幾つかの例では、動き推定ユニット204は、デコーダの復号処理のために動き情報の完全なセットを出力してよい。
幾つかの例では、動き推定ユニット204は、現在ビデオ動き情報の完全なセットを出力しなくてよい。むしろ、動き推定ユニット204は、別のビデオブロックの動き情報を参照して、現在ビデオブロックの動き情報をシグナリングしてよい。例えば、動き推定ユニット204は、現在ビデオブロックの動き情報が、近隣ビデオブロックの動き情報と十分に類似していることを決定してよい。
一例では、動き推定ユニット204は、現在ビデオブロックに関連付けられたシンタックス構造の中で、現在ビデオブロックが別のビデオブロックと同じ動き情報を有することをビデオデコーダ300に示す値を示してよい。
別の例では、動き推定ユニット204は、現在ビデオブロックに関連付けられたシンタックス構造の中で、別のビデオブロック及び動きベクトル差(motion vector difference (MVD))を識別してよい。動きベクトル差は、現在ビデオブロックの動きベクトルと示されたビデオブロックの動きベクトルとの間の差を示す。ビデオデコーダ300は、示されたビデオブロックの動きベクトル及び動きベクトル差を使用して、現在ビデオブロックの動きベクトルを決定してよい。
上述のように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングしてよい。ビデオエンコーダ200により実施され得る予測的シグナリング技術の2つの例は、高度動きベクトル予測(advanced motion vector predication (AMVP))及びマージモードシグナリングを含む。
イントラ予測ユニット206は、現在ビデオブロックに対してイントラ予測を実行してよい。イントラ予測ユニット206が現在ビデオブロックに対してイントラ予測を実行するとき、イントラ予測ユニット206は、同じピクチャ内の他のビデオブロックの復号サンプルに基づき、現在ビデオブロックの予測データを生成してよい。現在ビデオブロックの予測データは、予測ビデオブロック及び種々のシンタックス要素を含んでよい。
残差生成ユニット207は、現在ビデオブロックの予測ビデオブロックを現在ビデオブロックから減算することにより(例えば、マイナス符号により示される)、現在ビデオブロックの残差データを生成してよい。現在ビデオブロックの残差データは、現在ビデオブロック内のサンプルの異なるサンプル成分に対応する残差ビデオブロックを含んでよい。
他の例では、現在ビデオブロックについて、例えばスキップモードでは現在ビデオブロックの残差データが存在しなくてよく、残差生成ユニット207は減算動作を実行しなくてよい。
変換処理ユニット208は、現在ビデオブロックに関連付けられた残差ビデオブロックに1つ以上の変換を適用することにより、現在ビデオブロックについて1つ以上の変換係数ビデオブロックを生成してよい。
変換処理ユニット208が現在ビデオブロックに関連付けられた変換係数ビデオブロックを生成した後に、量子化ユニット209は、現在ビデオブロックに関連付けられた1つ以上の量子化パラメータ(quantization parameter (QP))に基づき、現在ビデオブロックに関連付けられた変換係数ビデオブロックを量子化してよい。
逆量子化ユニット210及び逆変換ユニット211は、それぞれ変換係数ビデオブロックに逆量子化及び逆変換を適用して、変換係数ビデオブロックから残差ビデオブロックを再構成してよい。再構成ユニット212は、再構成残差ビデオブロックを、予測ユニット202により生成された1つ以上の予測ビデオブロックからの対応するサンプルに加算して、バッファ213に格納するために現在ビデオブロックに関連付けられた再構成ビデオブロックを生成してよい。
再構成ユニット212がビデオブロックを再構成した後に、ループフィルタリング動作が実行されて、ビデオブロック内のビデオブロッキングアーチファクトを低減してよい。
エントロピー符号化ユニット214は、ビデオエンコーダ200の他の機能コンポーネントからデータを受信してよい。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化動作を実行して、エントロピー符号化データを生成し、エントロピー符号化データを含むビットストリームを出力してよい。
図10は図8に示したシステム100の中のビデオデコーダ114であってよいビデオデコーダ300の例を示すブロック図である。
ビデオデコーダ300は、本開示の技術のうちのいずれか又は全部を実行するよう構成されてよい。図10の例では、ビデオデコーダ300は複数の機能コンポーネントを含む。本開示に記載した技術は、ビデオデコーダ300の種々のコンポーネントの間で共有されてよい。幾つかの例では、プロセッサは、本開示に記載した技術のうちのいずれか又は全部を実行するよう構成されてよい。
図10の例では、ビデオデコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、及び再構成ユニット306、及びバッファ307を含む。ビデオデコーダ300は、幾つかの例では、ビデオエンコーダ200(例えば、図9)に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
エントロピー復号ユニット301は、符号化ビットストリームを読み出してよい。符号化ビットストリームは、エントロピー符号化ビデオデータ(例えば、ビデオデータの符号化ブロック)を含んでよい。エントロピー復号ユニット301は、エントロピー符号化ビデオデータを復号し、エントロピー復号ビデオデータから、動き補償ユニット302が、動きベクトル、動きベクトル制度、参照ピクチャリストインデックス、及び他の動き情報を含む動き情報を決定してよい。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することにより、このような情報を決定してよい。
動き補償ユニット302は、場合によっては補間フィルタに基づき補間を実行することにより、動き補償ブロックを生成してよい。サブピクセル制度で使用されるべき補間フィルタの識別子は、シンタックス要素に含まれてよい。
動き補償ユニット302は、参照ブロックのサブ整数ピクセルの補間値を計算するためにビデオブロックの符号化中にビデオエンコーダ20により使用されるような補間フィルタを使用してよい。動き補償ユニット302は、受信したシンタックス情報に従い、ビデオエンコーダ200により使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成してよい。
動き補償ユニット302は、シンタックス情報の一部を使用して、符号化ビデオシーケンスのフレーム及び/又はスライスを符号化するために使用されるブロックのサイズ、符号化ビデオシーケンスのピクチャの各マクロブロックがどのようにパーティションされるかを記述するパーティション情報、各パーティションがどのように符号化されるかを示すモード、インター符号化ブロック毎の1つ以上の参照フレーム(及び参照フレームリスト)、及び符号化ビデオシーケンスを復号するための他の情報を決定してよい。
イントラ予測ユニット303は、例えばビットストリーム内で受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ブロックを形成してよい。逆量子化ユニット303は、ビットストリーム内で提供され、エントロピー復号ユニット301により復号された量子化されたビデオブロック係数を逆量子化、つまり量子化解除する。逆変換ユニット303は、逆変換を適用する。
再構成ユニット306は、残差ブロックを、動き補償ユニット202又はイントラ予測ユニット303により生成された対応する予測ブロックと加算して、復号ブロックを形成してよい。望ましい場合には、ブロックアーチファクトを除去するために復号ブロックをフィルタリングするデブロッキングフィルタも適用されてよい。復号ビデオブロックは、次に、後続の動き補償のための参照ブロックを提供するバッファ307に格納される。
図11は、本発明の技術によるビデオ処理の方法のフローチャート表現である。方法1100は、動作1110で、ルールに従い、ビデオの現在ピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。現在ピクチャは、W×Hサンプル寸法を有する第1ウインドウを含み、W及びHは整数である。現在ピクチャに関連付けられた参照ピクチャは、W’×H’サンプル寸法を有する第2ウインドウを含み、W'及びH'は整数である。第1ウインドウ及び第2ウインドウ内のサンプルは、変換の間に同じ処理ルールに従い、W、H、W’、及びH’は制約を満たす。
幾つかの実施形態では、第1ウインドウ及び第2ウインドウはスケーリングウインドウである。同じ処理ルールは、スケーリングウインドウ内のサンプルが再サンプリング()処理を受けることを指定する。幾つかの実施形態では、第1ウインドウ及び第2ウインドウは適合ウインドウである。同じ処理ルールは、ビデオを出力するとき、合ウインドウの外側のサンプルが破棄されることを指定する。
幾つかの実施形態では、制約は、W’/a≦W≦W’×bであることを指定し、a及びbは正整数である。幾つかの実施形態では、aは2に等しい。幾つかの実施形態では、bは8に等しい。幾つかの実施形態では、制約は、H’/c≦H≦H’×dであることを指定し、c及びdは正整数である。幾つかの実施形態では、cは2に等しい。幾つかの実施形態では、dは8に等しい。幾つかの実施形態では、a=cである。幾つかの実施形態では、b=dである。
幾つかの実施形態では、第1スケーリングウインドウ又は第2スケーリングウインドウの寸法は、コーディング表現内でシグナリングされ、スケーリング比のセットを決定するために使用される。幾つかの実施形態では、第1スケーリングウインドウ又は第2スケーリングウインドウの寸法は、コーディング表現内でシグナリングされ、変換の間に参照ピクチャ再サンプリング(Reference Picture Resampling (RPR))を適用する際に参照サンプルの左上オフセットを決定するために使用される。
図12は、本発明の技術によるビデオ処理の方法のフローチャート表現である。方法1200は、動作1210で、ルールに従い、ビデオの現在ピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。変換の間に、現在ピクチャのウインドウを決定するためのオフセット値は、N-pel精度でコーディング表現の中でシグナリングされ、Nは1より大きい正整数である。
幾つかの実施形態では、ウインドウは、サンプルが再サンプリング処理を受けるスケーリングウインドウを含む。幾つかの実施形態では、ウインドウは、適合ウインドウを含み、ビデオを出力するとき、適合ウインドウの外側のサンプルが破棄される。幾つかの実施形態では、コーディング表現の中でシグナリングされるオフセット値は、現在ピクチャの適合ウインドウを決定際に、N倍される。幾つかの実施形態では、Nは4又は8に等しい。幾つかの実施形態では、オフセット値は、変換中に1つ以上のコーディング処理で使用される。
図13は、本発明の技術によるビデオ処理の方法のフローチャート表現である。方法1300は、動作1310で、第1ビデオユニット及び第2ビデオユニットを含むビデオと該ビデオのコーディング表現との間の変換を実行するステップを含む。第1ビデオユニットの第1ウインドウの第1オフセット値セット、及び第2ビデオユニットの第2ウインドウの第2オフセット値セットは、前記第1ビデオユニットの寸法および前記第2ビデオユニットの寸法に関連付けられたルールに従い決定される。第1ウインドウ及び第2ウインドウ内のサンプルは、変換の間に同じ処理ルールに従う。
幾つかの実施形態では、第1ウインドウ及び第2ウインドウは、スケーリングウインドウであり、同じ処理ルールは、スケーリングウインドウ内のサンプルが再サンプリング処理を受けることを指定する。幾つかの実施形態では、第1ウインドウ及び第2ウインドウは、適合ウインドウであり、同じ処理ルールは、ビデオを出力するとき、適合ウインドウの外側のサンプルが破棄されることを指定する。
幾つかの実施形態では、第1ビデオユニット又は第2ビデオユニットはビデオのピクチャを含む。幾つかの実施形態では、ルールは、第1ビデオユニットの寸法が第2ビデオユニットの寸法と同じ場合に、第1オフセット値セットが第2オフセット値セットと異なることを指定する。幾つかの実施形態では、ルールは、第1ビデオユニットの寸法が第2ビデオユニットの寸法と異なる場合に、第1オフセット値セットが第2オフセット値セットと同じであることを指定する。幾つかの実施形態では、ルールは、第1ビデオユニットの寸法が第2ビデオユニットの寸法と同じかどうかに拘わらず、第1オフセット値セットが第2オフセット値セットと同じであることを指定する。
幾つかの実施形態では、第1適合ウインドウはW1×H1の寸法を有し、第1適合ウインドウの左上位置は(X1,Y1)と表され、第2適合ウインドウはW2×H2の寸法を有し、第2適合ウインドウの左上位置は(X2,Y2)と表され、第1ビデオユニットの寸法はPW1×PH1と表され、第2ビデオユニットの寸法はPW2×PH2と表される。幾つかの実施形態では、W1/W2=X1/X2である。幾つかの実施形態では、W1/X1=W2/X2である。幾つかの実施形態では、W1×X2=W2×X1である。幾つかの実施形態では、H1/H2=Y1/Y2である。幾つかの実施形態では、H1/Y1=H2/Y2である。幾つかの実施形態では、H1×Y2=H2×Y1である。幾つかの実施形態では、PW1/PW2=X1/X2である。幾つかの実施形態では、PW1/X1=PW2/X2である。幾つかの実施形態では、PW1×X2=PW2×X1である。幾つかの実施形態では、PH1/PH2=Y1/Y2である。幾つかの実施形態では、PH1/Y1=PH2/Y2である。幾つかの実施形態では、PH1×Y2=PH2×Y1である。幾つかの実施形態では、PW1/PW2=W1/W2である。幾つかの実施形態では、PW1/W1=PW2/W2である。幾つかの実施形態では、PW1×W2=PW2×W1である。幾つかの実施形態では、PH1/PH2=H1/H2である。幾つかの実施形態では、PH1/H1=PH2/H2である。幾つかの実施形態では、PH1×H2=PH2×H1である。幾つかの実施形態では、PW1>PW2の場合、W1>W2である。幾つかの実施形態では、PW1<PW2の場合、W1<W2である。幾つかの実施形態では、(PW1-PW2)×(W1-W2)≧0である。幾つかの実施形態では、PH1>PH2の場合、H1>H2である。幾つかの実施形態では、PH1<PH2の場合、H1<H2である。幾つかの実施形態では、(PH1-PH2)×(H1-H2)≧0である。幾つかの実施形態では、PW1≧PW2の場合(W1/W2)≦(PW1/PW2)である。幾つかの実施形態では、PW1≧PW2の場合、(W1/W2)≧(PW1/PW2)である。幾つかの実施形態では、PH1≧PW2の場合、(H1/H2)≦(PH1/PH2)である。幾つかの実施形態では、PH1≧PW2の場合(H1/H2)≧(PH1/PH2)である。
図14は、本発明の技術によるビデオ処理の方法のフローチャート表現である。方法1400は、動作1410で、ビデオの現在ピクチャとビデオのコーディング表現との間の変換のために、ピクチャのウインドウの左上位置に基づき、現在ピクチャに関連付けられた参照ピクチャ内の参照サンプルの位置を決定するステップであって、ピクチャは少なくとも現在ピクチャ又は参照ピクチャを含む、ステップを含む。ウインドウは、変換の間に処理ルールに従う。方法1400は、動作1420で、決定に基づき変換を実行するステップを更に含む。
幾つかの実施形態では、ウインドウは、スケーリングウインドウであり、処理ルールは、スケーリングウインドウ内のサンプルが再サンプリング処理を受けることを指定する。幾つかの実施形態では、ウインドウは、適合ウインドウを含み、処理ルールは、ビデオを出力するとき、適合ウインドウの外側のサンプルが破棄可能であることを指定する。
幾つかの実施形態では、ウインドウの左上位置は、ウインドウに関連付けられた左オフセット値及び上オフセット値に基づき決定される。幾つかの実施形態では、ウインドウの左上位置に対する現在サンプルの水平位置xSb’は、現在ピクチャ内の現在サンプルの水平位置xSb及び現在ピクチャのウインドウの左オフセットに基づき決定される。幾つかの実施形態では、ウインドウの左上位置に関する現在サンプルの水平位置xSb’は、サンプル精度に基づき更に決定される。
幾つかの実施形態では、ウインドウの左上位置に対する現在サンプルの水平位置xSb’は、参照サンプルの位置を決定するために使用される。幾つかの実施形態では、参照ピクチャに対する参照サンプルの水平位置は、xSb’及び参照ピクチャのウインドウの左オフセットに基づき決定される。幾つかの実施形態では、サンプル精度は、4ビットのシフトを示す。
幾つかの実施形態では、ウインドウの左上位置に対する現在サンプルの垂直位置ySb’は、現在ピクチャ内の現在サンプルの垂直位置ySb及び現在ピクチャのウインドウの上オフセットに基づき決定される。幾つかの実施形態では、ウインドウの左上位置に関する現在サンプルの垂直位置ySb’は、サンプル精度に基づき更に決定される。幾つかの実施形態では、ウインドウの左上位置に対する現在サンプルの垂直位置ySb’は、参照サンプルの位置を決定するために使用される。幾つかの実施形態では、参照ピクチャに対する参照サンプルの垂直位置は、ySb’及び参照ピクチャのウインドウの上オフセットに基づき決定される。幾つかの実施形態では、サンプル精度は、4ビットのシフトを示す。
幾つかの実施形態では、ウインドウの左上位置の使用は、ビデオの色成分に基づく。幾つかの実施形態では、色成分は、ルマコンポーネントを含む。
図15は、本発明の技術によるビデオ処理の方法のフローチャート表現である。方法1500は、動作1510で、ビデオの現在ピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。現在ピクチャは、W×Hサンプル寸法を有する第1ウインドウを含み、W及びHは整数である。現在ピクチャに関連付けられた参照ピクチャは、W’×H’サンプル寸法を有する第2ウインドウを含み、W’及びH’は整数であり、第2ウインドウの左上位置は(X0,Y0)と表される。第1ウインドウ及び第2ウインドウ内のサンプルは、変換の間に同じ処理ルールに従う。参照サンプルの座標の整数部分は、第1ウインドウ又は第2ウインドウに部分的に基づき決定される範囲内に制約される。
幾つかの実施形態では、参照サンプルの水平座標の整数部分は、[minW,maxW]の範囲に制約される。幾つかの実施形態では、minWは0に等しい。幾つかの実施形態では、minWはX0に等しい。幾つかの実施形態では、maxWはW-1に等しい。幾つかの実施形態では、maxWはW’-1に等しい。幾つかの実施形態では、maxWはX0+W’-1に等しい。幾つかの実施形態では、minW又はmaxWの少なくとも1つは、ビデオの色成分及び/又は色フォーマットに基づき変更される。幾つかの実施形態では、minWはminW×subCになるよう変更され、subCは整数である。幾つかの実施形態では、minWはminW/subCになるよう変更され、subCは整数である。幾つかの実施形態では、maxWmaxW×subCになるよう変更され、subCは整数である。幾つかの実施形態では、maxWはmaxW/subCになるよう変更され、subCは整数である。幾つかの実施形態では、色成分がルマコンポーネントを含む場合、subCは1である。幾つかの実施形態では、色成分がクロマコンポーネントを含み、色フォーマットが4:2:0又は4:2:2である場合、subCは2である。幾つかの実施形態では、色成分がクロマコンポーネントを含み、色フォーマットが4:4:4である場合、subCは1である。
幾つかの実施形態では、参照サンプルの垂直座標の整数部分は、[minH,maxH]の範囲に制約される。幾つかの実施形態では、minHは0に等しい。幾つかの実施形態では、minHはY0に等しい。幾つかの実施形態では、maxHはH-1に等しい。幾つかの実施形態では、maxHはH’-1に等しい。幾つかの実施形態では、maxHはY0+H’-1に等しい。幾つかの実施形態では、minH又はmaxHの少なくとも1つは、ビデオの色成分及び/又は色フォーマットに基づき変更される。幾つかの実施形態では、minHはminH×subCになるよう変更され、subCは整数である。幾つかの実施形態では、minHはminH/subCになるよう変更され、subCは整数である。幾つかの実施形態では、maxHはmaxH×subCになるよう変更され、subCは整数である。幾つかの実施形態では、maxHはmaxH/subCになるよう変更され、subCは整数である。幾つかの実施形態では、色成分がルマコンポーネントを含む場合、subCは1である。幾つかの実施形態では、色成分がクロマコンポーネントを含み、色フォーマットが4:2:0又は4:2:2のとき、subCは2である。幾つかの実施形態では、色成分がクロマコンポーネントを含み、色フォーマットが4:4:4である場合、subCは1である。
幾つかの実施形態では、参照サンプルの座標の整数部分についての制約の適用可能性は、現在ピクチャの寸法及び参照ピクチャの寸法に基づき決定される。幾つかの実施形態では、参照サンプルの座標の整数部分についての制約は、第1ウインドウの寸法及び第2ウインドウの寸法に基づく。幾つかの実施形態では、制約は、(1)現在ピクチャの寸法が参照ピクチャの寸法と異なる、又は(2)第1ウインドウの寸法が第2ウインドウの寸法と異なる場合に適用可能である。幾つかの実施形態では、第1ウインドウ及び第2ウインドウは、スケーリングウインドウであり、同じ処理ルールは、スケーリングウインドウ内のサンプルが再サンプリング処理を受けることを指定する。幾つかの実施形態では、第1ウインドウ及び第2ウインドウは、適合ウインドウであり、同じ処理ルールは、ビデオを出力するとき、適合ウインドウの外側のサンプルが破棄されることを指定する。
幾つかの実施形態では、変換は、コーディング表現に符号化することを含む。幾つかの実施形態では、変換は、コーディング表現をビデオへと復号することを含む。
開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを有効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが有効にされると、エンコーダは、ビデオのブロックの処理において該ツール又はモードを使用又は実施するが、必ずしもツール又はモードの使用に基づき結果として生じるビットストリームを変更する必要はない。つまり、ビデオのブロックからビデオのビットストリーム表現への変換は、決定又は判断に基づき有効にされるとき、ビデオ処理ツール又はモードを使用する。別の例では、ビデオ処理ツール又はモードが有効にされると、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づき変更されているという知識により、ビットストリームを処理する。つまり、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定又は判断に基づき有効にされたビデオ処理ツール又はモードを使用して実行される。
開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを無効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが無効にされるとき、エンコーダは、ビデオのブロックをビデオのビットストリーム表現へ変換する際にツール又はモードを使用しない。別の例では、ビデオ処理ツール又はモードが無効にされると、デコーダは、ビットストリームが決定又は判断に基づき有効にされたビデオ処理ツール又はモードを用いて変更されていないという知識により、ビットストリームを処理する。
本願明細書に記載された本開示の及び他のソリューション、例、実施形態、モジュール、及び機能動作は、デジタル電子回路で、又は本願明細書に開示された構造を含む、コンピュータソフトウェア、ファームウェア、又はハードウェア、及びそれらの構造的均等物で、又はそれらの1つ以上の結合で、実装できる。本開示の及び他の実施形態は、1つ以上のコンピュータプログラムプロダクト、つまり、データ処理機器による実行のために又はその動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装できる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝搬信号に影響を与える物質の組成、又は1つ以上のそれらの組合せであり得る。用語「データ処理機器」は、データを処理するあらゆる機器、装置、及び機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。機器は、ハードウェアに加えて、対象となるコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組合せを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、適切な受信機機器への送信のために情報を符号化するために生成された、機械により生成された電気、光、又は電磁気信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされた又はインタープリットされた言語を含む任意の形式のプログラミング言語で記述でき、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開できる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータ(例えばマークアップ言語文書内に格納された1つ以上のスクリプト)を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は複数の連携ファイル(例えば、1つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル)に、格納できる。コンピュータプログラムは、1つのコンピュータ上で、又は1つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開できる。
本願明細書に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行できる。特定用途論理回路、例えば、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)により、処理及びロジックフローが実行でき、それとして機器が実装できる。
コンピュータプログラムの実行に適するプロセッサは、例えば、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又は両者から受信する。コンピュータの基本的要素は、命令を実行するプロセッサ、及び命令及びデータを格納する1つ以上のメモリ装置である。通常、コンピュータは、データを格納する1つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又は両者のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適するコンピュータ可読媒体は、例えば半導体メモリ装置、例えばEPROM、EEPROM,及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びCD-ROM及びDVD-ROMディスクを含む、全ての形式の-不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込むことができる。
本願明細書は多数の特定事項を含むが、これらは、任意の主題の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本願明細書に記載された特定の特徴は、単一の実装形態において組み合わせることもできる。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態の中で別個に又は任意の適切な部分的組み合わせで実装されることもできる。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの1つ以上の特徴は、幾つかの場合には、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルに実行されること、及び全ての図示の動作が実行されること、を要求すると理解されるべきではない。更に、本願明細書に記載された実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とすると理解されるべきではない。
少数の実装及び例のみが記載され、本願明細書に記載され示されたものに基づき他の実装、拡張、及び変形が行われ得る。

Claims (11)

  1. ビデオ処理の方法であって、
    ビデオの現在ピクチャの現在ブロックと前記ビデオのビットストリームとの間の変換のために、インター予測モードにおける前記現在ブロックの動き情報を決定するステップと、
    前記現在ブロックに関連する第1サンプルについて、前記動き情報前記ビットストリームに含まれる1つ以上のシンタックス要素、及び1つ以上のスケーリング比に基づき、前記現在ブロックに関連付けられた参照ピクチャ内の参照サンプルの位置を決定するステップと、
    前記参照サンプルに基づき、前記変換を実行するステップと、
    を含み、
    前記1つ以上のシンタックス要素は、前記参照ピクチャのウインドウに関連し、
    前記1つ以上のシンタックス要素は、前記参照ピクチャの前記ウインドウの左オフセット、及び前記参照ピクチャの前記ウインドウの上オフセットを示し、
    前記現在ブロックの左上サンプルに関連する中間参照サンプルの位置は、前記動き情報、前記1つ以上のシンタックス要素、及び前記現在ブロックの前記左上サンプルの位置に基づき導出され、前記中間参照サンプルの位置は、前記参照サンプルの位置を決定するために更に使用され、
    前記中間参照サンプルの位置を導出するために、シフト演算が適用され、
    前記中間参照サンプルの位置は、更に前記現在ブロックの色成分および色フォーマットに基づき決定され、
    前記現在ブロックがルマブロックであることに応答して、
    refxSb L =(((xSb-(SubWidthC*offset0))<<4)+refMvLX[0])*ratio0、及び、
    refySb L =(((ySb-(SubHeightC*offset1))<<4)+refMvLX[1])*ratio1、であり、
    (refxSb L ,refySb L )は、前記中間参照サンプルの位置であり、
    (xSb,ySb)は、前記現在ブロックの左上サンプルの位置であり、
    SubWidthC及びSubHeightCは、前記現在ブロックの前記色フォーマットに関連し、
    offset0は、前記ウインドウの左オフセットを示し、offset1は、前記ウインドウの上オフセットを示し、
    refMvLX[0]及びrefMvLX[1]は、前記動き情報の水平成分及び垂直成分を示し、
    ratio0は、水平スケーリング比を示し、ratio1は、垂直スケーリング比を示す、方法。
  2. refxL=((Sign(refxSbL)*((Abs(refxSbL)+128)>>8)+xL*((ratio0+8)>>4))+fRefLeftOff+32)>>6、及び、
    refyL=((Sign(refySbL)*((Abs(refySbL)+128)>>8)+yL*((ratio1+8)>>4))+fRefTopOff+32)>>6であり、
    Sign()は変数の符号を導出する関数であり、Abs()は変数の絶対値を導出する関数であり、
    (refxL,refyL)は前記参照サンプルの位置を示し、
    (xL,yL)は、前記第1サンプルの位置を示し、
    fRefLeftOff=(SubWidthC*offset0)<<10、及びRefTopOff=(SubHeightC*offset1)<<10である、請求項に記載の方法。
  3. 前記現在ブロックがクロマブロックであることに応答して、
    refxSbCは(((xSb-(SubWidthC*offset0))/SubWidthC<<5)+refMvLX[0])*ratio0に基づき決定され、
    refySbCは、(((ySb-(SubHeightC*offset1))/SubHeightC<<5)+refMvLX[1])*ratio1に基づき決定され、
    (refxSbC,refySbC)は、前記中間参照サンプルの位置であり、
    (xSb,ySb)は、前記現在ブロックの左上サンプルの位置であり、
    SubWidthC及びSubHeightCは、前記現在ブロックの前記色フォーマットに関連し、
    offset0は、前記ウインドウの左オフセットを示し、offset1、前記ウインドウの上オフセットを示し、
    refMvLX[0]及びrefMvLX[1]は、前記動き情報の水平成分及び垂直成分を示し、
    ratio0は、水平スケーリング比を示し、ratio1は、垂直スケーリング比を示す、請求項に記載の方法。
  4. ratio0及びratio1は、前記現在ピクチャのウインドウ及び前記参照ピクチャのウインドウに基づき決定される、請求項1~3のいずれか一項に記載方法。
  5. 前記ウインドウは、インター予測においてスケーリング比計算のために使用されるスケーリングウインドウである、請求項1~のいずれか一項に記載の方法。
  6. 前記スケーリングウインドウ及び適合ウインドウの左オフセット及び上オフセットを示すために、4つの異なるシンタックス要素が使用され、前記ビデオを出力するとき、前記適合ウインドウの外側のサンプルは破棄可能である、請求項に記載の方法。
  7. 前記変換は、前記現在ブロックを前記ビットストリームに符号化することを含む、請求項1~のいずれかに記載の方法。
  8. 前記変換は、前記ビットストリームから前記現在ブロックを復号することを含む、請求項1~のいずれか一項に記載の方法。
  9. ビデオデータを処理する機器であって、プロセッサと命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると、前記プロセッサに、
    ビデオの現在ピクチャの現在ブロックと前記ビデオのビットストリームとの間の変換のために、インター予測モードにおける前記現在ブロックの動き情報を決定させ、
    前記現在ブロックに関連する第1サンプルについて、前記動き情報前記ビットストリームに含まれる1つ以上のシンタックス要素、及び1つ以上のスケーリング比に基づき、前記現在ブロックに関連付けられた参照ピクチャ内の参照サンプルの位置を決定させ、
    前記参照サンプルに基づき、前記変換を実行させ、
    前記1つ以上のシンタックス要素は、前記参照ピクチャのウインドウに関連し、
    前記1つ以上のシンタックス要素は、前記参照ピクチャの前記ウインドウの左オフセット、及び前記参照ピクチャの前記ウインドウの上オフセットを示し、
    前記現在ブロックの左上サンプルに関連する中間参照サンプルの位置は、前記動き情報、前記1つ以上のシンタックス要素、及び前記現在ブロックの前記左上サンプルの位置に基づき導出され、前記中間参照サンプルの位置は、前記参照サンプルの位置を決定するために更に使用され、
    前記中間参照サンプルの位置を導出するために、シフト演算が適用され、
    前記中間参照サンプルの位置は、更に前記現在ブロックの色成分および色フォーマットに基づき決定され、
    前記現在ブロックがルマブロックであることに応答して、
    refxSb L =(((xSb-(SubWidthC*offset0))<<4)+refMvLX[0])*ratio0、及び、
    refySb L =(((ySb-(SubHeightC*offset1))<<4)+refMvLX[1])*ratio1、であり、
    (refxSb L ,refySb L )は、前記中間参照サンプルの位置であり、
    (xSb,ySb)は、前記現在ブロックの左上サンプルの位置であり、
    SubWidthC及びSubHeightCは、前記現在ブロックの前記色フォーマットに関連し、
    offset0は、前記ウインドウの左オフセットを示し、offset1は、前記ウインドウの上オフセットを示し、
    refMvLX[0]及びrefMvLX[1]は、前記動き情報の水平成分及び垂直成分を示し、
    ratio0は、水平スケーリング比を示し、ratio1は、垂直スケーリング比を示す、機器。
  10. 命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
    ビデオの現在ピクチャの現在ブロックと前記ビデオのビットストリームとの間の変換のために、インター予測モードにおける前記現在ブロックの動き情報を決定させ、
    前記現在ブロックに関連する第1サンプルについて、前記動き情報前記ビットストリームに含まれる1つ以上のシンタックス要素、及び1つ以上のスケーリング比に基づき、前記現在ブロックに関連付けられた参照ピクチャ内の参照サンプルの位置を決定させ、
    前記参照サンプルに基づき、前記変換を実行させ、
    前記1つ以上のシンタックス要素は、前記参照ピクチャのウインドウに関連し、
    前記1つ以上のシンタックス要素は、前記参照ピクチャの前記ウインドウの左オフセット、及び前記参照ピクチャの前記ウインドウの上オフセットを示し、
    前記現在ブロックの左上サンプルに関連する中間参照サンプルの位置は、前記動き情報、前記1つ以上のシンタックス要素、及び前記現在ブロックの前記左上サンプルの位置に基づき導出され、前記中間参照サンプルの位置は、前記参照サンプルの位置を決定するために更に使用され、
    前記中間参照サンプルの位置を導出するために、シフト演算が適用され、
    前記中間参照サンプルの位置は、更に前記現在ブロックの色成分および色フォーマットに基づき決定され、
    前記現在ブロックがルマブロックであることに応答して、
    refxSb L =(((xSb-(SubWidthC*offset0))<<4)+refMvLX[0])*ratio0、及び、
    refySb L =(((ySb-(SubHeightC*offset1))<<4)+refMvLX[1])*ratio1、であり、
    (refxSb L ,refySb L )は、前記中間参照サンプルの位置であり、
    (xSb,ySb)は、前記現在ブロックの左上サンプルの位置であり、
    SubWidthC及びSubHeightCは、前記現在ブロックの前記色フォーマットに関連し、
    offset0は、前記ウインドウの左オフセットを示し、offset1は、前記ウインドウの上オフセットを示し、
    refMvLX[0]及びrefMvLX[1]は、前記動き情報の水平成分及び垂直成分を示し、
    ratio0は、水平スケーリング比を示し、ratio1は、垂直スケーリング比を示す、非一時的コンピュータ可読記憶媒体。
  11. ビデオのビットストリームを格納する方法であって 前記ビデオの現在ピクチャに関連する現在ブロックについて、インター予測モードにおける前記現在ブロックの動き情報を決定するステップと、
    前記現在ブロックに関連する第1サンプルについて、前記動き情報前記ビットストリームに含まれる1つ以上のシンタックス要素、及び1つ以上のスケーリング比に基づき、前記現在ブロックに関連付けられた参照ピクチャ内の参照サンプルの位置を決定するステップと、
    前記参照サンプルに基づき、前記ビットストリームを生成するステップと、
    前記ビットストリームを非一時的コンピュータ可読記憶媒体に格納するステップと、
    を含み、
    前記1つ以上のシンタックス要素は、前記参照ピクチャのウインドウに関連し、
    前記1つ以上のシンタックス要素は、前記参照ピクチャの前記ウインドウの左オフセット、及び前記参照ピクチャの前記ウインドウの上オフセットを示し、
    前記現在ブロックの左上サンプルに関連する中間参照サンプルの位置は、前記動き情報、前記1つ以上のシンタックス要素、及び前記現在ブロックの前記左上サンプルの位置に基づき導出され、前記中間参照サンプルの位置は、前記参照サンプルの位置を決定するために更に使用され、
    前記中間参照サンプルの位置を導出するために、シフト演算が適用され、
    前記中間参照サンプルの位置は、更に前記現在ブロックの色成分および色フォーマットに基づき決定され、
    前記現在ブロックがルマブロックであることに応答して、
    refxSb L =(((xSb-(SubWidthC*offset0))<<4)+refMvLX[0])*ratio0、及び、
    refySb L =(((ySb-(SubHeightC*offset1))<<4)+refMvLX[1])*ratio1、であり、
    (refxSb L ,refySb L )は、前記中間参照サンプルの位置であり、
    (xSb,ySb)は、前記現在ブロックの左上サンプルの位置であり、
    SubWidthC及びSubHeightCは、前記現在ブロックの前記色フォーマットに関連し、
    offset0は、前記ウインドウの左オフセットを示し、offset1は、前記ウインドウの上オフセットを示し、
    refMvLX[0]及びrefMvLX[1]は、前記動き情報の水平成分及び垂直成分を示し、
    ratio0は、水平スケーリング比を示し、ratio1は、垂直スケーリング比を示す方法
JP2022517817A 2019-09-19 2020-09-21 ビデオコーディングにおける参照サンプル位置の導出 Active JP7328445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023127153A JP2023164427A (ja) 2019-09-19 2023-08-03 ビデオコーディングにおける参照サンプル位置の導出

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN2019106671 2019-09-19
CNPCT/CN2019/106671 2019-09-19
CNPCT/CN2019/107082 2019-09-20
CN2019107082 2019-09-20
CNPCT/CN2019/109837 2019-10-05
CN2019109837 2019-10-05
PCT/CN2020/116469 WO2021052491A1 (en) 2019-09-19 2020-09-21 Deriving reference sample positions in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023127153A Division JP2023164427A (ja) 2019-09-19 2023-08-03 ビデオコーディングにおける参照サンプル位置の導出

Publications (2)

Publication Number Publication Date
JP2022549796A JP2022549796A (ja) 2022-11-29
JP7328445B2 true JP7328445B2 (ja) 2023-08-16

Family

ID=74883703

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022517817A Active JP7328445B2 (ja) 2019-09-19 2020-09-21 ビデオコーディングにおける参照サンプル位置の導出
JP2023127153A Pending JP2023164427A (ja) 2019-09-19 2023-08-03 ビデオコーディングにおける参照サンプル位置の導出

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023127153A Pending JP2023164427A (ja) 2019-09-19 2023-08-03 ビデオコーディングにおける参照サンプル位置の導出

Country Status (8)

Country Link
US (2) US11743454B2 (ja)
EP (1) EP4018671A4 (ja)
JP (2) JP7328445B2 (ja)
KR (1) KR20220061108A (ja)
CN (2) CN117615155A (ja)
BR (1) BR112022005293A2 (ja)
MX (1) MX2022002916A (ja)
WO (1) WO2021052491A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
KR20220065867A (ko) * 2019-09-24 2022-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 레이어에 대한 hrd 파라미터
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador
US20230328244A1 (en) * 2022-04-12 2023-10-12 Qualcomm Incorporated Flexible activation of multiple transform selection for inter-coding in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319447A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference Layer and Scaled Reference Layer Offsets for Scalable Video Coding

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
CN101309409A (zh) 2008-02-22 2008-11-19 华为技术有限公司 一种解码方法和装置
US20110310976A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9872015B2 (en) * 2011-04-21 2018-01-16 Hfi Innovation Inc. Method and apparatus for improved in-loop filtering
CN103096047B (zh) 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
JP5944013B2 (ja) 2012-01-17 2016-07-05 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 参照画像リストの取り扱い
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
WO2013128010A2 (en) 2012-03-02 2013-09-06 Canon Kabushiki Kaisha Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
EP2826021A4 (en) 2012-03-15 2016-04-27 Intel Corp HIERARCHICAL MOTION ESTIMATION EMPLOYING NON-LINEAR SCALING AND AN ADAPTIVE SOURCE BLOCK SIZE
TWI752680B (zh) 2012-04-13 2022-01-11 美商Ge影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
WO2014107650A1 (en) * 2013-01-04 2014-07-10 Vidyo, Inc. Techniques for prediction of unavailable samples in inter-layer predicted video coding
EP2946140A4 (en) 2013-03-05 2016-11-16 Halliburton Energy Services Inc SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT FOR PHOTOMETRIC SYSTEM DESIGN AND ECOLOGICAL ROBUSTNESS
WO2014162736A1 (en) 2013-04-05 2014-10-09 Sharp Kabushiki Kaisha Video compression with color bit depth scaling
CN105247865A (zh) * 2013-04-08 2016-01-13 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
KR20140138538A (ko) 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US9432667B2 (en) * 2013-06-11 2016-08-30 Qualcomm Incorporated Processing bitstream constraints relating to inter-layer prediction types in multi-layer video coding
US9578328B2 (en) 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
US9912966B2 (en) * 2014-01-03 2018-03-06 Nokia Technologies Oy Parameter set coding
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US10158884B2 (en) 2014-03-19 2018-12-18 Qualcomm Incorporated Simplified merge list construction process for 3D-HEVC
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US20150373362A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Deblocking filter design for intra block copy
US10200700B2 (en) 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2016150343A1 (en) 2015-03-20 2016-09-29 Mediatek Singapore Pte. Ltd. Methods of palette coding with inter-prediction in video coding
US9736335B2 (en) 2015-04-15 2017-08-15 Apple Inc. Techniques for advanced chroma processing
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
TWI816224B (zh) 2015-06-08 2023-09-21 美商Vid衡器股份有限公司 視訊解碼或編碼方法及裝置
KR102570911B1 (ko) 2015-07-08 2023-08-24 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
MY201069A (en) 2016-02-05 2024-02-01 Hfi Innovation Inc Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
US10397443B2 (en) 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
WO2017173593A1 (en) 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN116962721A (zh) 2016-05-04 2023-10-27 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测的方法
US11722677B2 (en) 2016-05-06 2023-08-08 Interdigital Madison Patent Holdings, Sas Method and system for decoder-side intra mode derivation for block-based video coding
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
US10382781B2 (en) 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
EP3306938A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
KR20180042098A (ko) 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR20180043149A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US12063387B2 (en) 2017-01-05 2024-08-13 Hfi Innovation Inc. Decoder-side motion vector restoration for video coding
US10715827B2 (en) 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10362332B2 (en) 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
US10805641B2 (en) 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
US10904565B2 (en) 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
WO2019009618A1 (ko) 2017-07-04 2019-01-10 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
GB2564466B (en) 2017-07-13 2020-01-08 Advanced Risc Mach Ltd Storing YUV texture data in a cache in a graphics processing system
CN107483934B (zh) 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
US10785494B2 (en) 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
RU2020135518A (ru) 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
JP7407741B2 (ja) 2018-05-16 2024-01-04 華為技術有限公司 ビデオ符号化方法および装置
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
WO2020009434A1 (ko) 2018-07-02 2020-01-09 엘지전자 주식회사 이차 변환을 기반으로 비디오 신호를 처리하는 방법 및 장치
TWI822863B (zh) 2018-09-27 2023-11-21 美商Vid衡器股份有限公司 360度視訊寫碼樣本導出
US11729417B2 (en) 2018-10-02 2023-08-15 Interdigital Vc Holdings, Inc. Generalized bi-prediction and weighted prediction
SG11202104531TA (en) 2018-11-08 2021-05-28 Guangdong Oppo Mobile Telecommunications Corp Ltd Video signal encoding and decoding method, and apparatus therefor
CN118233633A (zh) 2018-11-08 2024-06-21 交互数字Vc控股公司 基于块的表面的视频编码或解码的量化
KR102625145B1 (ko) 2018-12-17 2024-01-16 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
JP2021513755A (ja) * 2019-01-15 2021-05-27 エルジー エレクトロニクス インコーポレイティド 変換スキップフラグを利用した映像コーディング方法及び装置
CN113366853B (zh) 2019-02-02 2024-08-02 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
WO2020156541A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Data storage in buffers for intra block copy in video coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
CN112425160B (zh) 2019-02-26 2023-05-12 苹果公司 用于对视频信号进行编码/解码的方法及其设备
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
EP3915252A4 (en) 2019-03-04 2022-03-23 Beijing Bytedance Network Technology Co., Ltd. IMPLEMENTATION OF ASPECTS IN AN INTRA BLOCK COPY IN VIDEO ENCODING
CN113519160B (zh) 2019-03-05 2023-09-05 寰发股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
WO2020185879A1 (en) * 2019-03-11 2020-09-17 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
KR102461123B1 (ko) 2019-03-11 2022-10-28 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
TW202101985A (zh) 2019-03-11 2021-01-01 美商Vid衡器股份有限公司 子圖片適應性解析度改變方法及裝置
WO2020185022A1 (ko) 2019-03-12 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11233988B2 (en) 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
US11134275B2 (en) 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
US11252410B2 (en) 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
JP7471328B2 (ja) 2019-06-21 2024-04-19 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
US20220272378A1 (en) * 2019-06-23 2022-08-25 Sharp Kabushiki Kaisha Systems and methods for performing an adaptive resolution change in video coding
US11197029B2 (en) * 2019-06-24 2021-12-07 Telefonaktiebolaget Lm Ericsson (Publ) Signaling parameter value information in a parameter set to reduce the amount of data contained in an encoded video bitstream
WO2021026363A1 (en) 2019-08-06 2021-02-11 Op Solutions, Llc Implicit signaling of adaptive resolution management based on frame type
EP4011068A4 (en) 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
EP4011079A1 (en) * 2019-08-06 2022-06-15 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
EP3987795A4 (en) 2019-08-15 2023-02-08 Alibaba Group Holding Limited BLOCK PARTITION METHODS FOR VIDEO CODING
US11659201B2 (en) * 2019-08-16 2023-05-23 Qualcomm Incorporated Systems and methods for generating scaling ratios and full resolution pictures
WO2021033749A1 (en) 2019-08-22 2021-02-25 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in video coding
WO2021040907A1 (en) 2019-08-30 2021-03-04 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter table
WO2021049551A1 (en) 2019-09-11 2021-03-18 Sharp Kabushiki Kaisha Systems and methods for signaling subpicture information in video coding
JP2022547599A (ja) 2019-09-12 2022-11-14 アリババ グループ ホウルディング リミテッド 映像符号化情報をシグナリングするための方法及び装置
WO2021050226A1 (en) 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
US11303909B2 (en) * 2019-09-18 2022-04-12 Qualcomm Incorporated Scaling ratio and output full resolution picture in video coding
WO2021054676A1 (ko) 2019-09-19 2021-03-25 엘지전자 주식회사 Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220066045A (ko) 2019-09-19 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩의 스케일링 윈도우
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
US20220394255A1 (en) 2019-10-06 2022-12-08 Hyundai Motor Company Method and device for performing an inverse transform on transform coefficients of a current block
WO2021068956A1 (en) 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Prediction type signaling in video coding
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
US11758193B2 (en) 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
JP2023500732A (ja) 2019-11-11 2023-01-10 エルジー エレクトロニクス インコーポレイティド 変換に基づく映像コーディング方法及びその装置
GB2590634B (en) 2019-12-20 2024-10-02 Canon Kk High Level syntax for video coding and decoding
US20210195179A1 (en) 2019-12-23 2021-06-24 Qualcomm Incorporated Picture header signaling for video coding
BR112022012807A2 (pt) 2019-12-27 2022-09-27 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo e meios não transitórios legíveis por computador
US11503342B2 (en) 2020-06-10 2022-11-15 Sharp Kabushiki Kaisha Systems and methods for signaling sequence parameter information in video coding
WO2022035687A1 (en) 2020-08-13 2022-02-17 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319447A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference Layer and Scaled Reference Layer Offsets for Scalable Video Coding

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, Jianle Chen, and Shan Liu,Versatile Video Coding (Draft 6),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O2001 (version 14),15th Meeting: Gothenburg, SE,2019年07月31日,pp.40-43,97-104,256-260
Benjamin Bross, Jianle Chen, Shan Liu, and Ye-Kui Wang,Versatile Video Coding (Draft 10),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-S2001 (version 17),19th Meeting: by teleconference,2020年09月04日,pp.45-48,116-123,287-295
Hendry, et al.,AHG8: Support for reference picture resampling - handling of picture size signalling, conformance windows, and DPB management,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0133-v2,15th Meeting: Gothernburg, SE,2019年06月,pp.1-3
Kai Zhang, et al.,Non-CE1: A fix on reference sample offset for RPR,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0381-v1,16th Meeting: Geneva, CH,2019年09月,pp.1-5
Karsten Suehring, Robert Skupin, Yago Sanchez, and Thomas Schierl,AHG17: Conformance Window,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0352,14th Meeting: Geneva, CH,2019年03月,pp.1-2
Vadim Seregin, Adarsh K. Ramasubramonian, Muhammed Coban, and Marta Karczewicz,AHG8: Scaling window for scaling ratio derivation,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-P0590-v3,16th Meeting: Geneva, CH,2019年10月,pp.1-5

Also Published As

Publication number Publication date
US20220232207A1 (en) 2022-07-21
KR20220061108A (ko) 2022-05-12
JP2022549796A (ja) 2022-11-29
US20230396759A1 (en) 2023-12-07
WO2021052491A1 (en) 2021-03-25
JP2023164427A (ja) 2023-11-10
BR112022005293A2 (pt) 2022-09-20
MX2022002916A (es) 2022-04-06
US11743454B2 (en) 2023-08-29
EP4018671A4 (en) 2022-12-07
CN114424573A (zh) 2022-04-29
CN114424573B (zh) 2024-03-26
EP4018671A1 (en) 2022-06-29
CN117615155A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
JP7324940B2 (ja) ビデオコーディングにおけるスケーリングウインドウ
JP7414980B2 (ja) 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
JP7482218B2 (ja) ビデオコーディングにおける予測タイプシグナリング
JP7328445B2 (ja) ビデオコーディングにおける参照サンプル位置の導出
JP7391199B2 (ja) 映像コーディングツールのレベルベースシグナリング
JP2024060057A (ja) ビデオピクチャヘッダ内でのスライスタイプのシグナリング
RU2824188C2 (ru) Способ определения позиций опорных отсчетов при кодировании видео

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R150 Certificate of patent or registration of utility model

Ref document number: 7328445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150