JP7478225B2 - サブピクチャ復号のバッファ管理 - Google Patents

Description

［関連出願］
本願は、国際特許出願番号第PCT/CN２０１９/１００１１４号、２０１９年８月１０日出願の優先権及び利益を請求する国際特許出願番号第PCT/CN２０２０／１０８１８２号、２０２０年８月１０日出願に基づく。前述の出願の全ての開示は、参照によりここに組み込まれる。

［技術分野］
本願明細書は、ビデオ及び画像コーディング及び復号技術に関する。

デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で最大の帯域幅使用を占める。ビデオを受信及び表示可能な接続されたユーザ装置の数が増加するにつれ、デジタルビデオ使用のための帯域幅要求は増大し続けることが予想される。

開示の技術は、サブピクチャに基づくコーディング又は復号が実行されるビデオ又は画像デコーダ又はエンコーダの実施形態により使用されてよい。

１つの例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第１ピクチャの現在ブロックと前記ビデオのビットストリーム表現との間の変換のために、ルールに従い、第２ピクチャからの動き情報に基づき、動き候補を決定するステップを含む。前記ルールは、前記動き情報がアクセスされる位置が、前記第２ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第１ピクチャの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、第２ピクチャからの整数サンプルを決定するステップを含む。前記第２ピクチャは、補間処理において使用されない参照ピクチャを含む。前記ルールは、前記整数サンプルがアクセスされる位置が、前記第２ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、再構成ルマサンプルがアクセスされる位置を決定するステップを含む。前記ルールは、前記位置が、前記ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、ピクチャ境界チェックが実行される位置を決定するステップを含む。前記ルールは、前記位置が、前記ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャのサブピクチャと前記ビデオのビットストリーム表現の変換の後に、過去の変換に基づき導出された動き候補のテーブルを再設定するステップと、前記再設定の後の前記テーブルを用いて、前記ビデオピクチャの後続のサブピクチャと前記ビットストリーム表現の変換を実行するステップと、を含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、複数のサブピクチャ及び複数のビデオブロックを含むビデオピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ルールは、任意の２つのサブピクチャが、２つのビデオブロックの間の境界でもあることを指定する。前記ビデオピクチャ内のビデオブロックは、前記ビデオピクチャの単一のサブピクチャによりカバーされる。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、少なくともビデオピクチャを用いて、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード又は解像度変化コーディングモードのうちの１つのみが、前記ビデオユニットに対して有効である。前記サブピクチャコーディングモードは、前記ビデオピクチャが複数のサブピクチャに分割されるモードであり、前記解像度変化コーディングモードは、前記ビデオピクチャの解像度が前記変換中に調整されるモードである。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、少なくともビデオピクチャを用いて、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード及び解像度変化コーディングモードの両方が、前記ビデオユニットに対して有効である。前記サブピクチャコーディングモードは、前記ビデオピクチャが複数のサブピクチャに分割されるモードであり、前記解像度変化コーディングモードは、前記ビデオピクチャの解像度が前記変換中に調整されるモードである。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、１つ以上のビデオピクチャを含むビデオと前記ビデオのコーディング表現との間の変換を実行するステップ、を含み、個々のビデオピクチャの寸法は、８以上になるよう制約される。幾つかの実施形態では、前記寸法は前記個々のビデオピクチャの幅である。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオのビデオピクチャと前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ビデオピクチャは少なくとも１つのサブピクチャを含み、前記ルールは、サブピクチャの特性が前記コーディング表現の中の少なくとも１つのシンタックスエレメントとして表現されることを指定し、前記少なくとも１つのシンタックスエレメントは、前記ビデオピクチャ内のサブピクチャグリッドのインデックス値と異なる。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオのビデオユニットと前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ビデオピクチャは複数のサブピクチャを含み、各サブピクチャは複数のエレメントを含む。前記ルールは、サブピクチャ内の個々のエレメントの寸法が制約を満たすことを指定する。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、コーディングモードを用いて、複数のサブピクチャを含むピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。前記ルールは、前のサブピクチャに関する特定の格納された情報が、前記複数のサブピクチャのうちの各々の次のサブピクチャを処理する前に、再設定されることを指定する。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ルールに従い、ビデオと前記ビデオのコーディング表現との間の変換において、時間フィルタリング動作を実行するステップを含む。前記ビデオは複数のビデオピクチャを含み、各ビデオピクチャは複数のサブピクチャを含む。前記ルールは、ビデオピクチャの現在サブピクチャ内の現在サンプルを時間フィルタリングするために、同じ現在サブピクチャ又は現在サブピクチャに対応する異なるビデオピクチャ内のサブピクチャの範囲内のサンプルのみが利用可能であることを指定する。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャ内のブロックと前記ビデオのコーディング表現との間の変換のために、前記ブロックが前記ビデオピクチャの１つ以上のサブピクチャ境界と交差するかどうかに基づき、前記ブロックにパーティション方法を適用する方法を決定するステップを含む。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオのビデオピクチャと前記ビデオのコーディング表現との間の変換のために、前記ビデオピクチャのうちの２つのサブ領域を含む。第１サブ領域は、前記ビデオピクチャの複数のサブピクチャを含み、第２サブ領域は、前記ビデオピクチャ内のサンプルを維持することを含む。前記方法は、前記決定に基づき変換を実行するステップを含む。

別の例示的な態様では、ビデオ処理の方法が開示される。前記方法は、ビデオの第１ビデオ領域内のビデオブロックについて、アフィンモードを用いて前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。

別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために参照ピクチャ内の整数サンプルがフェッチされる位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップであって、前記参照ピクチャは前記変換中に補間処理において使用されない、ステップと、前記決定に基づき前記変換を実行するステップと、を含む。

別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために再構成ルマサンプル値がフェッチされる位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。

別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換中に、前記ビデオブロックについて分割に関するチェック、深さ導出、又は分割フラグシグナリングが実行される位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む。

別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、１つ以上のビデオブロックを含む１つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、前記変換がサブピクチャコーディング／復号、及び動的解像度変換コーディング／復号ツール又は参照ピクチャ再サンプリングツールをビデオユニット内で使用しないというコーディングシンタックス要件に従う。

別の例示的な態様では、ビデオ処理の別の方法が開示される。前記方法は、１つ以上のビデオブロックを含む１つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、第１シンタックスエレメントsubpic_grid_idx[i][j]が第２シンタックスエレメントmax_subpics_minus１より大きくないというコーディングシンタックス要件に従う。

更に別の例示的な態様では、上述の方法は、プロセッサを含むビデオエンコーダ機器により実施されてよい。

更に別の例示的な態様では、上述の方法は、プロセッサを含むビデオデコーダ機器により実施されてよい。

更に別の例示的な態様では、これらの方法は、プロセッサ実行可能命令の形式で具現命令され、コンピュータ可読プログラム媒体に格納されてよい。

これら及び他の態様は、本願明細書において更に記載される。

時間動きベクトル予測（TMVP）及びサブブロックTMVPにおける領域制約の例を示す。

階層的動き推定方式の例を示す。

本願明細書に記載される技術を実施するために使用されるハードウェアプラットフォームの例のブロック図である。

ビデオ処理の例示的な方法のフローチャートである。

本願明細書に開示される種々の技術が実施され得る例示的なビデオ処理システムを示すブロック図である。

本発明の技術によるビデオ処理の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本発明の技術によるビデオ処理の別の方法のフローチャート表現である。

本願明細書は、伸長又は復号デジタルビデオ又は画像の品質を向上するために画像又はビデオビットストリームのデコーダにより使用できる種々の技術を提供する。簡単のために、用語「ビデオ」は、本願明細書で、ピクチャのシーケンス（伝統的にビデオと呼ばれる）及び個々の画像の両方を含むために使用される。更に、ビデオエンコーダも、更なる符号化のために使用される復号フレームを再構成するために、符号化の処理の間に、これらの技術を実施してよい。

章見出しは、本願明細書において理解を容易にするために使用され、実施形態及び技術を対応する章に限定するものではない。従って、１つの章からの実施形態は、他の章からの実施形態と結合できる。

１．概要

本願明細書は、ビデオコーディング技術に関する。具体的に、ビデオコーディングにおける下地色（base colors）に基づく表現を利用するパレットコーディングに関する。それは、HEVCのような既存のビデオコーディング規格、又は完成されるべき規格（Versatile Video Coding)に適用されてよい。それは、将来のビデオコーディング規格又はビデオコーデックにも適用可能であってよい。

２．最初の議論

ビデオコーディング規格は、主によく知られたＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣ規格の発展を通じて進化している。ＩＴＵ－ＴはＨ．２６１及びＨ．２６３を策定し、ＩＳＯ／ＩＥＣはＭＰＥＧ－１及びＭＰＥＧ－４ビジュアルを策定し、及び２つの組織は共同でＨ．２６２／ＭＰＥＧ－２ビデオ、及びＨ．２６４／ＭＰＥＧ－４アドバンストビデオコーディング（Advanced Video Coding）及びＨ．２６５／ＨＥＶＣ規格を策定した[１,２]。Ｈ．２６２以降、ビデオコーディング規格は、ハイブリッドビデオコーディング構造に基づき、ここでは時間予測及び変換コーディングが利用される。ＨＥＶＣより先の将来のコーディング技術を開発するために、共同ビデオ探索チーム（Joint Video Exploration Team (JVET)）が２０１５年にＶＣＥＧ及びＭＰＥＧにより共同で設立された。それ以来、多くの新しい方法がＪＶＥＴにより採用され、共同探索モデル（Joint Exploration Model (JEM)）と呼ばれる参照ソフトウェアに取り入れられてきた。２０１８年４月には、ＨＥＶＣと比べて５０％のビットレート削減を目標とするＶＶＣ規格に取り組むために、ＶＣＥＧ（Ｑ６／１６）とＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９／ＷＧ１１（ＭＰＥＧ）との間の共同ビデオ専門家チーム（Joint Video Expert Team (JVET)）が作成された。

２．１ TMVP及びVVCのサブブロックTMVPにおける領域制約

図１は、TMVP及びサブブロックTMVPにおける例示的な領域制約を示す。TMVP及びサブブロックTMVPでは、時間MVは、図１に示されるように、同一位置CTU、及び４×４ブロックの列からのみフェッチできる。

２．２ 例示的なサブピクチャ

幾つかの実施形態では、フレキシブルタイリングアプローチに基づく、サブピクチャに基づくコーディング技術が実施できる。サブピクチャに基づくコーディング技術の要約は、以下を含む：
（１）ピクチャは、サブピクチャに分割できる。

（２）サブピクチャの存在の指示は、サブピクチャの他のシーケンスレベル情報と一緒に、SPS内で示される。

（３）サブピクチャが復号処理（インループフィルタリング動作を除く）においてピクチャとして扱われるかどうかは、ビットストリームにより制御できる。

（４）サブピクチャ境界に跨がるインループフィルタリングが無効にされるかどうかはサブピクチャ毎にビットストリームにより制御できる。DBF、SAO、及びALF処理は、サブピクチャ境界に跨がるインループフィルタリング動作の制御のために更新される。

（５）簡単のために、開始点として、サブピクチャ幅、高さ、水平オフセット、及び垂直オフセットが、SPS内のルマサンプルのユニットの中でシグナリングされる。サブピクチャ境界は、スライス境界になるよう制約される。

（６）復号処理（インループフィルタリング動作を除く）においてサブピクチャをピクチャとして扱うことは、coding_tree_unit()シンタックスを僅かに更新することにより指定され、以下の復号処理を更新する：

－（高度）時間ルマ動きベクトル予測の導出処理。

－ルマサンプル双線形補間処理。

－ルマサンプル８タップ補間フィルタリング処理。

－クロマサンプル補間処理。

（７）サブピクチャIDは、VCL NALユニットを変更する必要を伴わずにサブピクチャシーケンスの抽出を可能にするために、SPS内で明示的に指定され、タイルグループヘッダに含まれる。

（８）出力サブピクチャセット（Output sub-picture sets (OSPS)）は、サブピクチャ及びそのセットについて、基準となる抽出及び適合点を指定するために提案される。

２．３ VVC(Versatile Video Coding)における例示的なサブピクチャ
シーケンスパラメータセット（sequence parameter set (RBSP)）シンタックス

subpics_present_flagが１に等しいことは、SPS RBSPシンタックス内にサブピクチャパラメータが存在することを示す。subpics_present_flagが０に等しいことは、SPS RBSPシンタックス内にサブピクチャパラメータが存在しないことを示す。
注２：ビットストリームがサブビットストリーム抽出処理の結果であり、サブビットストリーム抽出処理への入力ビットストリームのサブピクチャの一部のみを含むとき、SPSのRBSP内のsubpics_present_flagの値を１に等しく設定することが要求され得る。
max_subpics_minus１に１を加えたものは、CVS内に存在し得るサブピクチャの最大数を指定する。max_subpics_minus１は、０～２５４の範囲内であるべきである。２５５の値は、ITU-T|ISO/IECによる将来の使用のために予約されている。
subpic_grid_col_width_minus１に１を加えたものは、４個のサンプルのユニット内のサブピクチャ識別子の各要素の幅を指定する。シンタックスエレメントの長さは、Ceil(Log２(pic_width_max_in_luma_samples/４))ビットである。
変数NumSubPicGridColsは、以下のように導出される。

subpic_grid_row_height_minus１に１を加えたものは、４個のサンプルのユニット内のサブピクチャ識別子の各要素の高さを指定する。シンタックスエレメントの長さは、Ceil(Log２(pic_height_max_in_luma_samples/４))ビットである。
変数NumSubPicGridRowsは、以下のように導出される。

subpic_grid_idx[i][j]は、グリッド位置(i,j)のサブピクチャインデックスを指定する。シンタックスエレメントの長さは、Ceil(Log２(max_subpics_minus１+１))ビットである。
変数SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]、及びNumSubPicsは、以下のように導出される：

subpic_treated_as_pic_flag[i]が１に等しいことは、CVS内の各コーディングピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号処理でピクチャとして扱われることを指定する。subpic_treated_as_pic_flag[i]が０に等しいことは、CVS内の各コーディングピクチャのi番目のサブピクチャが、インループフィルタリング動作を除く復号処理でピクチャとして扱われないことを指定する。存在しないとき、subpic_treated_as_pic_flag[i]の値は０に等しいと推定される。
loop_filter_across_subpic_enabled_flag[i]が１に等しいことは、CVS内の各コーディングピクチャ内のi番目のサブピクチャの境界に渡り、インループフィルタリング動作が実行されてよいことを指定する。loop_filter_across_subpic_enabled_flag[i]が０に等しいことは、CVS内の各コーディングピクチャ内のi番目のサブピクチャの境界に渡り、インループフィルタリング動作が実行されないことを指定する。存在しないとき、vloop_filter_across_subpic_enabled_pic_flag[i]の値は１に等しいと推定される。
ビットストリーム適合の要件は、以下の制約を適用することである：
任意の２つのサブピクチャsubpicA及びsubpicBについて、subpicAのインデックスがsubpicBのインデックスより小さいとき、subpicAの任意のコーディングNALユニットは、復号順序で、subpicBの任意のコーディングNALユニットの後に続くべきである。
サブピクチャの形状は、各サブピクチャが、復号されるとき、ピクチャ境界を構成する又は前に復号されたサブピクチャの境界を構成する、その左境界全体及び上境界全体を有するべきである。
両端を含む０～PicSizeInCtbsY－１の範囲のctbAddrRsのリストCtbToSubPicIdx[ctbAddrRs]は、ピクチャラスタスキャンにおけるCTBからサブピクチャインデックスへの変換を指定し、以下のように導出される：

num_bricks_in_slice_minus１は、存在するとき、スライス内のブリック数－１を指定する。num_bricks_in_slice_minus１の値は、両端を含む０～NumBricksInPic－１の範囲内であるべきである。rect_slice_flagが０に等しく、single_brick_per_slice_flagが１に等しいとき、num_bricks_in_slice_minus１の値は０に等しいと推定される。single_brick_per_slice_flagが１に等しいとき、num_bricks_in_slice_minus１の値は０に等しいと推定される。
現在スライス内のブリックの数を指定する変数NNumBricksInCurrSlice、及び現在スライス内のｉ番目のブリックのブリックインデックスを指定するSliceBrickIdx[i]は、以下のように導出されてよい：

変数SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos、及びSubPicBotBoundaryPosは、以下のように導出される：

時間ルマ動きベクトル予測の導出処理
この処理への入力は：
－現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルのルマ位置(xCb,yCb)、
－ルマサンプルの中で現在コーディングブロックの幅を指定する変数cbWidth、
－ルマサンプルの中で現在コーディングブロックの高さを指定する変cbHeight、
－参照インデックスrefIdxLX、Xは０又は１である。
この処理の出力は：
－１/１６分数サンプル精度の動きベクトル予測mvLXCol、
－利用可能性フラグavailableFlagLXCol。
変数currCbは、ルマ位置(xCb,yCb)にある現在ルマコーディングブロックを指定する。
変数mvLXCol及びavailableFlagLXColは、以下のように導出される：
－slice_temporal_mvp_enabled_flagが０に等しいか、又は(cbWidth*cbHeight)が３２以下である場合、mvLXColの両方の成分は０に等しく設定され、availableFlagLXColは０に等しく設定される。
－その他の場合（slice_temporal_mvp_enabled_flagが１に等しい）、以下の順序付きステップが適用される：
１．右下同一位置動きベクトル、並びに下及び右境界サンプル位置は、以下のように導出される：

－yCb>>CtbLog２SizeYがyColBr>>CtbLog２SizeYと等しい場合、yColBrはbotBoundaryPos以下であり、xColBrはrightBoundaryPos以下であり、以下が適用される：
・変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>３)<<３,(yColBr>>３)<<３)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
・ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
・８.５.２.１２項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLX、及び０に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
その他の場合、mvLXColの両方のコンポーネントは０に等しく設定され、availableFlagLXColは０に等しく設定される。
…
ルマサンプル双線形補間処理
この処理への入力は：
－フルサンプルユニット内のルマ位置(xInt_L,yInt_L)、
－分数サンプルユニット内のルマ位置(xFrac_L,yFrac_L)、
－ルマ参照サンプルアレイrefPicLX_L。
この処理の出力は、予測ルマサンプル値predSampleLX_Lである。
変数shift１、shift２、shift３、shift４、offset１、offset２、及びoffset３は、以下のように導出される：

変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。

xFrac_L又はyFrac_Lに等しい１／１６分数サンプル位置p毎のルマ補間フィルタ係数fb_L[p]は、表８-１０で指定される。
フルサンプルユニットのルマ位置(xInt_i,yInt_i)は、i=０..１について以下のように導出される：
－subpic_treated_as_pic_flag[SubPicIdx]が１に等しい場合、以下が適用される。

－その他の場合（subpic_treated_as_pic_flag[SubPicIdx]が０に等しい）、以下が適用される：

サブブロックに基づく時間マージ候補の導出処理
この処理への入力は：
－現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルのルマ位置(xCb,yCb)、
－ルマサンプルの中で現在コーディングブロックの幅を指定する変数cbWidth、
－ルマサンプルの中で現在コーディングブロックの高さを指定する変数cbHeight、
－近隣コーディングユニットの利用可能性フラグavailableFlagA_１、
－近隣コーディングユニットの参照インデックスrefIdxLXA_１、Xは０又は１、
－近隣コーディングユニットの予測リスト利用フラグpredFlagLXA_１、Xは０又は１、
－近隣コーディングユニットの１/１６分数サンプル精度の動きベクトルmvLXA_１、Xは０又は１。
この処理の出力は：
－利用可能性フラグavailableFlagSbCol、
－水平方向のルマコーディングサブブロックの数numSbX、及び垂直方向のnumSbY、
－参照インデックスrefIdxL０SbCol及びrefIdxL１SbCol、
－１／１６分数サンプル精度のルマ動きベクトルmvL０SbCol[xSbIdx][ySbIdx]及びmvL１SbCol[xSbIdx][ySbIdx]、xSbIdx=０..numSbX－１,ySbIdx=０..numSbY－１、
－予測リスト利用フラグpredFlagL０SbCol[xSbIdx][ySbIdx]及びpredFlagL１SbCol[xSbIdx][ySbIdx]、xSbIdx=０..numSbX－１,ySbIdx=０..numSbY－１。
利用可能性フラグavailableFlagSbColは以下のように導出される。
－以下の条件のうちの１つ以上が真である場合、availableFlagSbColが０に等しく設定される。
・－slice_temporal_mvp_enabled_flagが０に等しい。
・sps_sbtmvp_enabled_flagが０に等しい。
・cbWidthが８未満である。
・cbHeightが８未満である。
－その他の場合、以下の順序付きステップが適用される：
１．現在コーディングブロックを含むルマコーディングツリーブロックの左上サンプルの位置(xCtb,yCtb)及び現在ルマコーディングブロックの右下中央の位置(xCtr,yCtr)が以下のように導出される：

２．ルマ位置(xColCtrCb,yColCtrCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、ColPicの内側の(xCtr,yCtr)により与えられる位置をカバーする同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
３．８.５.５.４項で指定されるようなサブブロックに基づく時間マージ基本動きデータの導出処理は、位置(xCtb,yCtb)、位置(xColCtrCb,yColCtrCb)、利用可能性フラグavailableFlagA_１及び予測リスト利用フラグpredFlagLXA_１、並びに参照インデックスrefIdxLXA_１、及び動きベクトルvectormvLXA_１、Xは０又は１、を入力として呼び出され、同一位置ブロックの動きベクトルctrMvLX及び予測リスト利用フラグctrPredFlagLX、Xは０又は１、及び時間動きベクトルtempMvを出力とする。
４．変数availableFlagSbColは、以下のように導出される：
－ctrPredFlagL０及びctrPredFlagL１の両方が０に等しい場合、availableFlagSbColは０に等しく設定される。
－その他の場合、availableFlagSbColが１に等しく設定される。
availableFlagSbColが１に等しいとき、以下が適用される：
－変数numSbX,、numSbY、sbWidth、sbHeight及びrefIdxLXSbColは、以下のように導出される：

－xSbIdx=０..numSbX－１及びySbIdx=０..numSbY－１について、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]及び予測リスト利用フラグpredFlagLXSbCol[xSbIdx][ySbIdx]は、以下のように導出される：
・現在ピクチャの左上ルマサンプルに対する、現在コーディングサブブロックの左上サンプルを指定するルマ位置(xSb,ySb)は、以下のように導出される：

・ColPic内の同一位置サブブロックの位置(xColSb,yColSb)は以下のように導出される：
・以下が適用される：

・subpic_treated_as_pic_flag[SubPicIdx]が１に等しい場合、以下が適用される：

・その他の場合（subpic_treated_as_pic_flag[SubPicIdx]が０に等しい）、以下が適用される：

サブブロックに基づく時間マージベース動きデータの導出処理
この処理への入力は：
－現在コーディングブロックを含むルマコーディングツリーブロックの左上サンプルの位置(xCtb,yCtb)、
－右下中央サンプルをカバーする同一位置ルマコーディングブロックの左上サンプルの位置(xColCtrCb,yColCtrCb)、
－近隣コーディングユニットの利用可能性フラグavailableFlagA_１、
－近隣コーディングユニットの参照インデックスrefIdxLXA_１、
－近隣コーディングユニットの予測リスト利用フラグpredFlagLXA_１、
－近隣コーディングユニットの１/１６分数サンプル精度の動きベクトルmvLXA_１。
この処理の出力は：
－動きベクトルctrMvL０及びctrMvL１、
－予測リスト利用フラグctrPredFlagL０及びctrPredFlagL１、
－時間動きベクトルtempMv。
変数tempMvは、以下のように設定される：

変数currPicは、現在ピクチャを指定する。
availableFlagA_１がTRUEに等しいとき、以下が適用される：
－以下の条件のうちの全部が真である場合、tempMvはmvL０A_１に等しく設定される：
・predFlagL０A_１が１に等しい、
・DiffPicOrderCnt(ColPic,RefPicList[０][refIdxL０A_１])が０に等しい、
－その他の場合、以下の条件のうちの全部が真である場合、tempMvはmvL１A_１に等しく設定される：
・slice_typeがBにひとｓ、
・predFlagL１A_１が１に等しい、
・DiffPicOrderCnt(ColPic,RefPicList[１][refIdxL１A_１])が０に等しい。
ColPic内の同一位置ブロックの位置(xColCb,yColCb)は以下のように導出される：
－以下が適用される：

－subpic_treated_as_pic_flag[SubPicIdx]が１に等しい場合、以下が適用される：

－その他の場合（subpic_treated_as_pic_flag[SubPicIdx]が０に等しい）、以下が適用される：

ルマサンプル補間フィルタリング処理
この処理への入力は：
－フルサンプルユニットのルマ位置(xInt_L,yInt_L)、
－分数サンプルユニットのルマ位置(xFrac_L,yFrac_L)、
－参照ピクチャの左上ルマサンプルに対する、参照サンプルパディングのための結合（bounding）ブロックの左上サンプルを指定するフルサンプルユニットのルマ位置(xSbInt_L,ySbInt_L)、
－ルマ参照サンプルアレイrefPicLX_L、
－ハーフサンプル補間フィルタインデックスhpelIfIdx、
－現在サブブロックの幅を指定する変数sbWidth、
－現在サブブロックの高を指定する変数sbHeight、
－現在ピクチャの左上ルマサンプルに対する、現在サブブロックの左上サンプルを指定するルマ位置(xSb,ySb)、
この処理の出力は、予測ルマサンプル値predSampleLX_Lである。
変数shift１、shift２及びshift３は、以下のように導出される：
－変数shift１はMin(４,BitDepth_Y－８)に等しく設定され、変数shift２は６に等しく設定され、変数shift３はMax(２,１４－BitDepth_Y)に等しく設定される。
－変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
xFrac_L又はyFrac_Lに等しい１／１６分数サンプル位置p毎のルマ補間フィルタ係数ｆ_L[p]は、以下のように導出される：
－MotionModelIdc[xSb][ySb]が０より大きく、sbWidth及びsbHeightが両方とも４に等しい場合、ルマ補間フィルタ係数f_L[p]は表８-１２に指定される。
－その他の場合、ルマ補間フィルタ係数f_L[p]は、hpelIfIdxに依存して表８-１１に指定される。
フルサンプルユニットのルマ位置(xInt_i,yInt_i)は、i=０..７について以下のように導出される：
－subpic_treated_as_pic_flag[SubPicIdx]が１に等しい場合、以下が適用される：

－その他の場合（subpic_treated_as_pic_flag[SubPicIdx]が０に等しい）、以下が適用される：

クロマサンプル補間処理
この処理への入力は：
－フルサンプルユニットのクロマ位置(xInt_C,yInt_C)、
－１／３２分数サンプルユニットのクロマ位置(xFrac_C,yFrac_C)、
－参照ピクチャの左上クロマサンプルに対する、参照サンプルパディングのための結合（bounding）ブロックの左上サンプルを指定するフルサンプルユニットのクロマ位置(xSbIntC,ySbIntC)、
－現在サブブロックの幅を指定する変数sbWidth、
－現在サブブロックの高を指定する変数sbHeight、
－クロマ参照サンプルアレイrefPicLX_C。
この処理の出力は、予測クロマサンプル値predSampleLX_Cである。
変数shift１、shift２及びshift３は、以下のように導出される：
－変数shift１はMin(４,BitDepth_C－８)に等しく設定され、変数shift２は６に等しく設定され、変数shift３はMax(２,１４－BitDepth_C)に等しく設定される。
－変数picW_Cは、pic_width_in_luma_samples/SubWidthCに等しく設定され、変数picH_Cはpic_height_in_luma_samples/SubHeightCに等しく設定される。
xFrac_C又はyFrac_Cに等しい１／３２分数サンプル位置p毎のクロマ補間フィルタ係数f_C[p]は、表８-１３で指定される。
変数xOffsetは、(sps_ref_wraparound_offset_minus１+１)*MinCbSizeY)/SubWidthCに等しく設定される。
フルサンプルユニットのクロマ位置(xInt_i,yInt_i)は、i=０..３について以下のように導出される：
－subpic_treated_as_pic_flag[SubPicIdx]が１に等しい場合、以下が適用される。

－その他の場合（subpic_treated_as_pic_flag[SubPicIdx]が０に等しい）、以下が適用される：

２．４ 例示的なエンコーダのみのGOPに基づく時間フィルタ

幾つかの実施形態では、エンコーダのみの時間フィルタが実装できる。フィルタリングは、エンコーダ側で、前処理ステップとして行われる。符号化するために選択されたピクチャの前後のソースピクチャが読み出され、選択されたピクチャに対するブロックに基づく動き補償方法が、それらのソースピクチャに適用される。選択されたピクチャ内のサンプルは、動き補償後のサンプル値を用いて、時間フィルタされる。

全体的なフィルタ強度は、QPと共に選択されたピクチャの時間サブレイヤに依存して設定される。時間サブレイヤ０及び１にあるピクチャのみがフィルタリングされ、レイヤ０のピクチャは、レイヤ１のピクチャより強力なフィルタによりフィルタリングされる。サンプル毎フィルタ強度は、選択されたピクチャ内のサンプル値と動き補償済みピクチャ内の同一位置サンプルとの間の差に依存して調整され、その結果、動き補償済みピクチャと選択されたピクチャとの間の小さな差は、大きな差よりも強力にフィルタリングされる。

GOPに基づく時間フィルタ

時間フィルタは、ピクチャを読み出した後、及び符号化前に直接導入される。以下は、より詳細に説明されるステップである。

動作１：ピクチャがエンコーダにより読み出される。

動作２：ピクチャがコーディング階層構造の中で十分に低い場合、符号化前にフィルタリングされる。その他の場合、ピクチャは、フィルタリングしないで符号化される。POC%８==０を有するRAピクチャは、POC%４==０を有するLDピクチャと同様にフィルタリングされる。AIピクチャはフィルタリングされない。

全体のフィルタ強度s_oは、RAについて次式に従い設定される。

ここで、nは、読み出されたピクチャの数である。

LDの場合、s_o(n)=０.９５である。

動作３：選択されたピクチャ（以下では元のピクチャと呼ばれる）の前及び／又は後の２つのピクチャが読み出される。エッジの場合、例えば、最初のピクチャ又は最後のピクチャに近い場合、利用可能なピクチャのみが読み出される。

動作４：前及び後に読み出されたピクチャの、元のピクチャに対する動きは、８×８ピクチャブロック毎に推定される。

階層的動き推定方式が使用され、レイヤL０、L１、及びL２が図２に示される。サブサンプリングピクチャは、全部の読み出されたピクチャ及び元のピクチャ、例えば図１のL１について各２×２ブロックを平均することにより生成される。L２は、同じサブサンプリング方法を用いてL１から導出される。

図２は、階層動き推定の異なるレイヤの例を示す。L０は元の解像度である。L１はL０のサブサンプリングバージョンである。L２はL１のサブサンプリングバージョンである。

先ず、動き推定は、L２内の１６×１６ブロック毎に行われる。選択された動きベクトル毎に差の平方が計算され、最小の差に対応する動きベクトルが選択される。選択された動きベクトルは、次に、L１内で動きベクトルを推定するときの初期値として使用される。次に、L０内の動きを推定するために同じことが行われる。最終ステップとして、L０上の補間フィルタを用いて、８×８ブロック毎に、サブピクセル動きが推定される。

VTM６タップ補間フィルタが使用できる：

動作５：動き補償は、ブロック毎に最も一致する動きに従い、元のピクチャの前及び後のピクチャに適用される。例えば、その結果、各ブロック内の元のピクチャのサンプル座標は、参照されるピクチャの中の最も一致する座標を有する。

動作６：ルマ及びクロマチャネルについて処理されたもの１つずつのサンプルは、以下のステップで説明される通りである。

動作７：新しいサンプル値I_nが、次式を用いて計算される。

ここで、I_oは元のサンプルのサンプル値であり、I_r(i)は動き補償済みピクチャiの対応するサンプルの強度であり、w_r(i,a)は、利用可能な動き補償済みピクチャの数がaであるとき、動き補償済みピクチャiの重みである。

ルマチャネルでは、重みw_r(i,a)は以下のように定義される：

ここで、

i及びaの全ての他の場合について、

クロマチャネルでは、重みw_r(i,a)は以下のように定義される：

ここで、

動作８：フィルタは、現在サンプルに適用される。結果として生じるサンプル値は、個別に格納される。

動作９：フィルタリング済みピクチャが符号化される。

３． 開示の実施形態により解決される技術的問題の例

（１）サブピクチャ制約に違反し得る幾つかの設計がある。

（Ａ）アフィン再構成候補におけるTMVPは、現在サブピクチャの範囲外にある同一位置ピクチャ内のMVをフェッチすることがある。

（Ｂ）双方向オプティカルフロー（Bi-Directional Optical Flow (BDOF)）及び予測精緻化オプティカルフロー（Prediction Refinement Optical Flow (PROF)）における勾配を導出するとき、整数参照サンプルの２つの拡張された行及び２つの拡張された列が、フェッチされる必要がある。これらの参照サンプルは、現在サブピクチャの範囲外にある場合がある。

（Ｃ）ルママッピングクロマスケーリング（luma mapping chroma scaling (LMCS)）においてクロマ残差スケーリング因子を導出するとき、アクセスされる再構成済みルマサンプルは、現在サブピクチャの範囲の範囲外にある場合がある。

（Ｄ）ルマイントラ予測モード、イントラ予測のための参照サンプル、CCLMのための参照サンプル、マージ/AMVP/CIIP/IBC/LMCSのための空間近隣候補のための近隣ブロック利用可能性、量子化パラメータ、CABAC初期化処理、左及び上シンタックスエレメントを用いるctxInc導出、及びctxIncfor、シンタックスエレメントmtt_split_cu_vertical_flagを導出するとき、近隣ブロックが現在サブピクチャの範囲外にある場合がある。サブピクチャの表現は、不完全なCTUを有するサブピクチャをもたらすことがある。CTUパーティション及びCU分割処理は、不完全なCTUを考慮する必要があり得る。

（２）サブピクチャに関連するシグナリングされるシンタックスエレメントは、任意の大きさであってよく、これはオーバフロー問題を生じ得る。

（３）サブピクチャの表現は、非長方形サブピクチャを生じ得る。

（４）現在、サブピクチャ及びサブピクチャグリッドは、４サンプルの単位で定義される。そして、シンタックスエレメントの長さは、ピクチャの高さを４で割ったものに依存する。しかしながら、現在のpic_width_in_luma_samples及びpic_height_in_luma_samplesは、Max(８,MinCbSizeY)の整数倍でなければならず、サブピクチャグリッドは８サンプルの単位で定義される必要がある。

（５）SPSシンタックスpic_width_max_in_luma_samples及びpic_height_max_in_luma_samplesは、８未満にならないよう制約される必要があり得る。

（６）参照ピクチャ再サンプリング／スケーラビリティとサブピクチャとの間の相互作用は、現在の設計では考慮されない。

（７）時間フィルタリングで、異なるサブピクチャに渡るサンプルが必要であることがある。

４．例示的な技術及び実施形態

以下の詳細なリストは、一般的な概念を説明するための例として考えられるべきである。これらの項目は、狭義に解釈されるべきではない。更に、これらの項目は任意の方法で結合できる。以後、時間フィルタは、他のピクチャ内のサンプルを必要とするフィルタを表すために使用される。Max(x,y)は、x及びyのうちの大きい方を返す。Min(x,y)は、x及びyのうちの小さい方を返す。
（１）アフィン動き候補（例えば、構成されたアフィンマージ候補）を生成するためにピクチャ内で時間MV予測子がフェッチされる位置（位置RBと命名する）は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
（ａ）一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
（ｂ）一例では、座標(x,y)を有する位置RBが必要なサブピクチャの外側にある場合、時間MV予測子は利用できないとして扱われる。
ｉ．一例では、x>xBRの場合、位置RBは必要なサブピクチャの外側にある。
ｉｉ．一例では、y>yBRの場合、位置RBは必要なサブピクチャの外側にある。
ｉｉｉ．一例では、x<xTLの場合、位置RBは必要なサブピクチャの外側にある。
ｉｖ．一例では、y<yTLの場合、位置RBは必要なサブピクチャの外側にある。
（ｃ）一例では、位置RBが必要なサブピクチャの外側にある場合、BRの置換が利用される。
ｉ．代替として、更に、置換位置は必要なサブピクチャ内に存在するべきである。
（ｄ）一例では、位置RBは、必要なサブピクチャ内になるようクリッピングされる。
ｉ．一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ｉｉ．一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
ｉｉｉ．一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
ｉｖ．一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
（ｅ）一例では、位置RBは、同一位置ピクチャ内の現在ブロックの対応するブロックの内側の右下位置であってよい。
（ｆ）提案される方法は、現在ピクチャと異なるピクチャから動き情報にアクセスする必要がある、他のコーディングツールで利用されてよい。
（ｇ）一例では、上述の方法が適用される（（例えば、１.a及び／又は１.bに記載されるように行うために）例えば、位置RBが必要なサブピクチャの中に存在しなければならない）かどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる１つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
（２）補間処理で使用されない参照の中で整数サンプルがフェッチされる位置（位置Ｓと命名する）は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
（ａ）一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
（ｂ）一例では、座標(x,y)を有する位置Ｓが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
ｉ．一例では、x>xBRの場合、位置Ｓは必要なサブピクチャの外側にある。
ｉｉ．一例では、y>yBRの場合、位置Ｓは必要なサブピクチャの外側にある。
ｉｉｉ．一例では、x<xTLの場合、位置Ｓは必要なサブピクチャの外側にある。
ｉｖ．一例では、y<yTLの場合、位置Ｓは必要なサブピクチャの外側にある。
（ｃ）一例では、位置Ｓは、必要なサブピクチャ内になるようクリッピングされる。
ｉ．一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ｉｉ．一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
ｉｉｉ．一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
ｉｖ．一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
（ｄ）一例では、（例えば、２.a及び／又は２.bに記載されるように行うために）位置Ｓが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる１つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
（ｅ）一例では、フェッチされた整数サンプルは、BDOF及び／又はPORFにおける勾配を生成するために使用される。
（３）再構成ルマサンプル値がフェッチされる位置（位置Ｒと命名する）は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
（ａ）一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
（ｂ）一例では、座標(x,y)を有する位置Rが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
ｉ．一例では、x>xBRの場合、位置Rは必要なサブピクチャの外側にある。
ｉｉ．一例では、y>yBRの場合、位置Rは必要なサブピクチャの外側にある。
ｉｉｉ．一例では、x<xTLの場合、位置Rは必要なサブピクチャの外側にある。
ｉｖ．一例では、y<yTLの場合、位置Rは必要なサブピクチャの外側にある。
（ｃ）一例では、位置Rは、必要なサブピクチャ内になるようクリッピングされる。
ｉ．一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ｉｉ．一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
ｉｉｉ．一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
ｉｖ．一例では、yは、y=Max(y,yTL)のようにクリッピングされる。
（ｄ）一例では、（例えば、４.a及び／又は４.bに記載されるように行うために）位置Rが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる１つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
（ｅ）一例では、フェッチされたルマサンプルは、LMCSにおけるクロマコンポーネントのスケーリング因子を導出するために使用される。
（４）BT/TT/QT分割、BT/TT/QT深さ導出、及び／又はCU分割フラグのシグナリングのためのピクチャ境界チェックの位置（位置Nと命名する）は、必要なサブピクチャの左上角座標が(xTL,yTL)であり、必要なサブピクチャの右下座標が(xBR,yBR)であると仮定すると、必要なサブピクチャ内に存在しなければならない。
（ａ）一例では、必要なサブピクチャは、現在ブロックをカバーするサブピクチャである。
（ｂ）一例では、座標(x,y)を有する位置Nが必要なサブピクチャの外側にある場合、参照サンプルは利用できないとして扱われる。
ｉ．一例では、x>xBRの場合、位置Nは必要なサブピクチャの外側にある。
ｉｉ．一例では、y>yBRの場合、位置Nは必要なサブピクチャの外側にある。
ｉｉｉ．一例では、x<xTLの場合、位置Nは必要なサブピクチャの外側にある。
ｉｖ．一例では、y<yTLの場合、位置Nは必要なサブピクチャの外側にある。
（ｃ）一例では、位置Nは、必要なサブピクチャ内になるようクリッピングされる。
ｉ．一例では、xは、x=Min(x,xBR)のようにクリッピングされる。
ｉｉ．一例では、yは、y=Min(y,yBR)のようにクリッピングされる。
ｉｉｉ．一例では、xは、x=Max(x,xTL)のようにクリッピングされる。
（ｄ）一例では、yは、y=Max(y,yTL)のようにクリッピングされる。一例では、（例えば、５.a及び／又は５.bに記載されるように行うために）位置Nが必要なサブピクチャの中に存在しなければならないかどうかは、VPS/DPS/SPS/PPS/APS/スライスヘッダ/タイルグループヘッダの中でシグナリングされる１つ以上のシンタックスエレメントに依存してよい。例えば、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]であってよく、ここで、SubPicIdxは現在ブロックをカバーするサブピクチャのサブピクチャインデックスである。
（５）履歴に基づく動きベクトル予測（History-based Motion Vector Prediction (HMVP)）テーブルは、１つのピクチャ内の新しいサブピクチャを復号する前に、再設定（リセット）されてよい。
（ａ）一例では、IBCコーディングのために使用されるHMVPテーブルは、リセットされてよい。
（ｂ）一例では、インターコーディングのために使用されるHMVPテーブルは、リセットされてよい。
（ｃ）一例では、イントラコーディングのために使用されるHMVPテーブルは、リセットされてよい。
（６）サブピクチャシンタックスエレメントは、N（N=８、３２、等）個のサンプルの単位で定義されてよい。
（ａ）一例では、は、サブピクチャ識別子グリッドの各要素の幅はN個のサンプルの単位である。
（ｂ）一例では、サブピクチャ識別子グリッドの各要素の高さは、N個のサンプルの単位である。
（ｃ）一例では、Nは、CTUの幅及び／又は高さに設定される。
（７）ピクチャ幅及びピクチャ高さのシンタックスエレメントは、K(K>=８)未満にならないよう制約されてよい。
（ａ）一例では、ピクチャ幅は、８未満にならないよう制約される必要があり得る。
（ｂ）一例では、ピクチャ高さは、８未満にならないよう制約される必要があり得る。
（８）適合ビットストリームは、１ビデオユニット（例えば、シーケンス）について有効にされるために、サブピクチャコーディング及び適応解像度変換（Adaptive resolution conversion (ARC)）／動的解像度変換（Dynamic resolution conversion (DRC)）／参照ピクチャ再サンプリング（Reference picture resampling (RPR)）が許可されないことを満たすべきである。
（ａ）一例では、サブピクチャコーディングを有効にするシグナリングは、ARC/DRC/RPRを許可しないという条件の下にあってよい。
ｉ．一例では、サブピクチャが有効にされるとき、例えばsubpics_present_flagが１に等しいとき、このSPSがアクティブである全部のピクチャのpic_width_in_luma_samplesは、max_width_in_luma_samplesに等しい。
（ｂ）代替として、サブピクチャコーディング及びARC/DRC/RPRは、両方とも、１ビデオユニット（例えば、シーケンス）について有効にされてよい。
ｉ．一例では、適合ビットストリームは、ARC/DRC/RPRによりダウンサンプリングされたサブピクチャが、依然として、幅がK個のCTUであり高さがM個のCTUである形式であることを満たすべきである。ここで、K及びMは両方とも整数である。
ｉｉ．一例では、適合ビットストリームは、ピクチャ境界（例えば、右境界及び／又は下境界）に位置しないサブピクチャについて、ARC/DRC/RPRによりダウンサンプリングされたサブピクチャが、依然として、幅がK個のCTUであり高さがM個のCTUである形式であることを満たすべきである。ここで、K及びMは両方とも整数である。
ｉｉｉ．一例では、CTUサイズは、ピクチャ解像度に基づき適応して変更されてよい。
１）一例では、最大CTUサイズはSPS内でシグナリングされてよい。より低い解像度を有する各ピクチャについて、CTUサイズは、低下された解像度に基づき相応して変更されてよい。
２）一例では、CTUサイズは、SPS及びPPS内、及び／又はサブピクチャレベルでシグナリングされてよい。
（９）シンタックスエレメントsubpic_grid_col_width_minus１及びsubpic_grid_row_height_minus１は、制約されてよい。
（ａ）一例では、subpic_grid_col_width_minus１はT１より大きくてはならない（又は小さくてはならない）。
（ｂ）一例では、subpic_grid_row_height_minus１はT２より大きくてはならない（又は小さくてはならない）。
（ｃ）一例では、適合ビットストリームでは、subpic_grid_col_width_minus１及び／又はsubpic_grid_row_height_minus１は、項目３.a及び３.bのような制約に従わなければならない。
（ｄ）一例では、３.aにおけるT１、及び／又は３.bにおけるT２は、ビデオコーディング標準のプロファイル／レベル／ティアに依存してよい。
（ｅ）一例では、３.aにおけるT１は、ピクチャ幅に依存してよい。
ｉ．例えば、T１はpic_width_max_in_luma_samples/４又はpic_width_max_in_luma_samples/４+Offに等しい。Offは、１、２、-１、-２等であってよい。
（ｆ）一例では、３.bにおけるT２は、ピクチャ幅に依存してよい。
ｉ．例えば、T２はpic_height_max_in_luma_samples/４又はpic_height_max_in_luma_samples/４-１+Offに等しい。Offは、１、２、-１、-２等であってよい。
（１０）任意の２つのサブピクチャの間の境界が、２つのCTUの間の境界でなければならないという制約がある。
（ａ）言い換えると、CTUは、１つより多くのサブピクチャによりカバーできない。
（ｂ）一例では、subpic_grid_col_width_minus１の単位は、VVCにおけるような４の代わりに、CTU幅（例えば、３２、６４、１２８）であってよい。サブピクチャグリッド幅は、(subpic_grid_col_width_minus１+１)*CTU幅であるべきである。
（ｃ）一例では、subpic_grid_col_height_minus１の単位は、VVCにおけるような４の代わりに、CTU高さ（例えば、３２、６４、１２８）であってよい。サブピクチャグリッド高さは、(subpic_grid_col_height_minus１+１)*CTU高さであるべきである。
（ｄ）一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
（１１）サブピクチャの形状が長方形でなければならないという制約がある。
（ａ）一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
（ｂ）サブピクチャは、長方形スライスのみを含んでよい。例えば、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
（１２）２つのサブピクチャは重なり合うことができないという制約がある。
（ａ）一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
（ｂ）代替として、２つのサブピクチャは、互いに重なり合ってよい。
（１３）ピクチャ内の任意の位置が１つの及び１つのみのサブピクチャによりカバーされなければならないという制約がある。
（ａ）一例では、適合ビットストリームでは、サブピクチャアプローチが適用される場合、制約が満たされなければならない。
（ｂ）代替として、１つのサンプルは、任意のサブピクチャに属さなくてよい。
（ｃ）代替として、１つのサンプルは、１つより多くのサブピクチャに属してよい。
（１４）同じシーケンス内で提示される全ての解像度にマッピングされるSPS内で定義されるサブピクチャは、上述の制約された位置及び／又はサイズに従うべきであるという制約があってよい。
（ａ）一例では、同じシーケンス内で提示される解像度にマッピングされるSPS内で定義されたサブピクチャの幅及び高さは、N（例えば、８、１６、３２）個のルマサンプルの整数倍であるべきである。
（ｂ）一例では、サブピクチャは、特定のレイヤについて定義されてよく、他のレイヤにマッピングされてよい。
ｉ．例えば、サブピクチャは、シーケンス内の最高解像度を有するレイヤについて定義されてよい。
ｉｉ．例えば、サブピクチャは、シーケンス内の最低解像度を有するレイヤについて定義されてよい。
ｉｉｉ．どのレイヤについてサブピクチャが定義されるかは、SPS/VPS/PPS/スライスヘッダ内でシグナリングされてよい。
（ｃ）一例では、サブピクチャ及び異なる解像度の両方が適用されるとき、全ての解像度（例えば幅及び／又は高さ）は、所与の解像度の整数倍であってよい。
（ｄ）一例では、SPS内で定義されたサブピクチャの幅及び／又は高さは、CTUサイズの整数倍（例えば、M）であってよい。
（ｅ）代替として、シーケンス内のサブピクチャ及び異なる解像度は、同時に許可されなくてよい。
（１５）サブピクチャは、特定のレイヤにのみ適用されてよい。
（ａ）一例では、SPS内で定義されたサブピクチャは、シーケンス内の最高解像度を有するレイヤにのみ適用されてよい。
（ｂ）一例では、SPS内で定義されたサブピクチャは、シーケンス内の最低解像度を有するレイヤにのみ適用されてよい。
（ｃ）どのレイヤにサブピクチャが適用され得るかは、SPS/VPS/PPS内の１又は複数のシンタックスエレメントにより示されてよい。
（ｄ）どのレイヤにサブピクチャが適用できないかは、SPS/VPS/PPS内の１又は複数のシンタックスエレメントにより示されてよい。
（１６）一例では、サブピクチャの位置及び／又は寸法は、subpic_grid_idxを使用せずに、シグナリングされてよい。
（ａ）一例では、サブピクチャの左上位置がシグナリングされてよい。
（ｂ）一例では、サブピクチャの右下位置がシグナリングされてよい。
（ｃ）一例では、サブピクチャの幅がシグナリングされてよい。
（ｄ）一例では、サブピクチャの高さがシグナリングされてよい。
（１７）時間フィルタでは、サンプルの時間フィルタリングを実行するとき、現在サンプルが属する同じサブピクチャの範囲内のサンプルのみが、使用されてよい。必要なサンプルは、現在サンプルが属する同じピクチャ内に、又は他のピクチャ内に存在してよい。
（１８）一例では、パーティション方法（例えば、QT、水平BT、垂直BT、水平TT、垂直TT、又は分割無し、等）を適用するかどうか及び／又はどのように適用するかは、現在ブロック（又はパーティション）がサブピクチャの１又は複数の境界を横切るかどうかに依存してよい。
（ａ）一例では、VVCにおけるパーティションのためのピクチャ境界処理方法は、ピクチャ境界がサブピクチャ境界により置換されるときにも適用されてよい。
（ｂ）一例では、パーティション方法（例えば、QT、水平BT、垂直BT、水平TT、垂直TT、又は分割無し、等）を表すシンタックスエレメント（例えば、フラグ）をパースするかどうか及び／又はどのように適用するかは、現在ブロック（又はパーティション）がサブピクチャの１又は複数の境界を横切るかどうかに依存してよい。
（１９）１つのピクチャを複数のサブピクチャに分割して各サブピクチャを独立してコーディングする代わりに、ピクチャを少なくとも２つのサブ領域セットに分割して、複数のサブピクチャを含む第１セットと、全部の残りのサンプルを含む第２セットとにすることが提案される。
（ａ）一例では、第２セット内のサンプルは、任意のサブピクチャ内に存在しない。
（ｂ）代替として、更に、第２セットは、第１セットの情報に基づき符号化／復号されてよい。
（ｃ）一例では、デフォルト値は、サンプル／M×Kサブ領域が第２セットに属するかどうかをマークするために利用されてよい。
（ｉ）一例では、デフォルト値は、(max_subpics_minus１+K)に等しく設定されてよい。ここで、Kは１より大きい整数である。
（ｉｉ）デフォルト値は、グリッドが第２セットに属することを示すために、subpic_grid_idx[i][j]に割り当てられてよい。
（２０）シンタックスエレメントsubpic_grid_idx[i][j]は、max_subpics_minus１より大きくならないことが提案される。
（ａ）例えば、適合ビットストリームでは、subpic_grid_idx[i][j]はmax_subpics_minus１より大きくなることができないという制約がある。
（ｂ）例えば、subpic_grid_idx[i][j]をコーディングするためのコードワードは、max_subpics_minus１より大きくなることができない。
（２１）０からmax_subpics_minus１までの任意の整数は、少なくとも１つのsubpic_grid_idx[i][j]に等しくなければならないことが提案される。
（２２）IBC仮想バッファは、１つのピクチャ内の新しいサブピクチャを復号する前に、リセットされてよい。
（ａ）一例では、IBC仮想バッファ内の全部のサンプルは、-１にリセットされてよい。
（２３）パレットエントリリストは、１つのピクチャ内の新しいサブピクチャを復号する前に、リセットされてよい。
（ａ）一例では、PredictorPaletteSizeは、１つのピクチャ内の新しいサブピクチャを復号する前に、０に等しくなるよう設定されてよい。

５．実施形態

以下の実施形態では、新たに追加されたテキストは太字の斜体であり、削除されたテキストは「[[]]」によりマークされる。

５．１ 実施形態１：アフィン構成マージ候補に対するサブピクチャ制約
８．５．５．６ 構成されたアフィン制御点動きベクトルマージ候補のための導出処理
この処理への入力は：
－現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルを指定するルマ位置(xCb,yCb)、
－現在ルマコーディングブロックの幅及び高さを指定する２つの変数cbWidth及びcbHeight、
－利用可能性フラグavailableA_０,availableA_１,availableA_２,availableB_０,availableB_１,availableB_２,availableB_３、
－サンプル位置(xNbA_０,yNbA_０),(xNbA_１,yNbA_１),(xNbA_２,yNbA_２),(xNbB_０,yNbB_０),(xNbB_１,yNbB_１),(xNbB_２,yNbB_２)及び(xNbB_３,yNbB_３)。
この処理の出力は：
構成されたアフィン制御点動きベクトルマージ候補の利用可能性フラグavailableFlagConstK、K=１...６、
－参照インデックスrefIdxLXConstK,、K=１..６、Xは０又は１、
－予測リスト利用フラグpredFlagLXConstK、K=１..６,Xは０又は１、
－アフィン動きモデルインデックスmotionModelIdcConstK、K=１..６、
－双予測重みインデックスbcwIdxConstK、K=１..６、
－構成されたアフィン制御点動きベクトル、cpIdx=０..２、K=１..６、Xは０又は１。
…
第４（同一位置右下）制御点動きベクトルcpMvLXCorner[３]、参照インデックスrefIdxLXCorner[３]、予測リスト利用フラグpredFlagLXCorner[３]、及び利用可能性フラグavailableFlagCorner[３]、ここでXは０又は１、は、以下のように導出される：
－時間マージ候補の参照インデックスrefIdxLXCorner[３]、ここでXは０又は１、は０に等しく設定される。
－変数mvLXCol及びavailableFlagLXCol、ここでXは０又は１、は以下のように導出される：
・slice_temporal_mvp_enabled_flagが０に等しい場合、mvLXColの両方のコンポーネントは０に等しく設定され、availableFlagLXColは０に等しく設定される。
・その他の場合（slice_temporal_mvp_enabled_flagが１に等しい）、以下が適用される：

・変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>３)<<３,(yColBr>>３)<<３)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
・ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
・８.５.２.１２項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[３]、及び０に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
－その他の場合、mvLXColの両方のコンポーネントは０に等しく設定され、availableFlagLXColは０に等しく設定される。
…

５．２ 実施形態２：アフィン構成マージ候補に対するサブピクチャ制約
８．５．５．６ 構成されたアフィン制御点動きベクトルマージ候補のための導出処理
この処理への入力は：
－現在ピクチャの左上ルマサンプルに対する、現在ルマコーディングブロックの左上サンプルを指定するルマ位置(xCb,yCb)、
－現在ルマコーディングブロックの幅及び高さを指定する２つの変数cbWidth及びcbHeight、
－利用可能性フラグavailableA_０,availableA_１,availableA_２,availableB_０,availableB_１,availableB_２,availableB_３、
－サンプル位置(xNbA_０,yNbA_０),(xNbA_１,yNbA_１),(xNbA_２,yNbA_２),(xNbB_０,yNbB_０),(xNbB_１,yNbB_１),(xNbB_２,yNbB_２)及び(xNbB_３,yNbB_３)。
この処理の出力は：
構成されたアフィン制御点動きベクトルマージ候補の利用可能性フラグavailableFlagConstK、K=１...６、
－参照インデックスrefIdxLXConstK,、K=１..６、Xは０又は１、
－予測リスト利用フラグpredFlagLXConstK、K=１..６,Xは０又は１、
－アフィン動きモデルインデックスmotionModelIdcConstK、K=１..６、
－双予測重みインデックスbcwIdxConstK、K=１..６、
－構成されたアフィン制御点動きベクトル、cpIdx=０..２、K=１..６、Xは０又は１。
…
第４（同一位置右下）制御点動きベクトルcpMvLXCorner[３]、参照インデックスrefIdxLXCorner[３]、予測リスト利用フラグpredFlagLXCorner[３]、及び利用可能性フラグavailableFlagCorner[３]、ここでXは０又は１、は、以下のように導出される：
－時間マージ候補の参照インデックスrefIdxLXCorner[３]、ここでXは０又は１、は０に等しく設定される。
－変数mvLXCol及びavailableFlagLXCol、ここでXは０又は１、は以下のように導出される：
・slice_temporal_mvp_enabled_flagが０に等しい場合、mvLXColの両方のコンポーネントは０に等しく設定され、availableFlagLXColは０に等しく設定される。
・その他の場合（slice_temporal_mvp_enabled_flagが１に等しい）、以下が適用される：

・yCb>>CtbLog２SizeYがyColBr>>CtbLog２SizeYと等しい場合、[[yColBrpic_height_in_luma_samples以下であり、xColBrpic_width_in_luma_samples以下であり、以下が適用される］］：
－変数colCbは、ColPicにより指定される同一位置ピクチャの内側の、((xColBr>>３)<<３,(yColBr>>３)<<３)により与えられる変更位置をカバーするルマコーディングブロックを指定する。
－ルマ位置(xColCb,yColCb)は、ColPicにより指定される同一位置ピクチャの左上ルマサンプルに対する、colCbにより指定される同一位置ルマコーディングブロックの左上サンプルに等しく設定される。
－８.５.２.１２項に指定される同一位置動きベクトルの導出処理は、currCb、colCb、(xColCb,yColCb)、refIdxLXCorner[３]、及び０に等しく設定されたsbFlagを入力として呼び出され、出力はmvLXCol及びavailableFlagLXColに割り当てられる。
・その他の場合、mvLXColの両方のコンポーネントは０に等しく設定され、availableFlagLXColは０に等しく設定される。
…

５．３ 実施形態３：サブピクチャ制約の下で整数サンプルをフェッチする
８．５．６．３．３ ルマ整数サンプルフェッチ処理
この処理への入力は：
－フルサンプルユニットのルマ位置(xInt_L,yInt_L)、
－ルマ参照サンプルアレイrefPicLX_L、
この処理の出力は、予測ルマサンプル値predSampleLX_Lである。
変数shiftは、Max(２,１４－BitDepth_Y)に等しく設定される。
変数picWは、pic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
フルサンプルユニットのルマ位置(xInti,yInti)は、以下のように導出される：

予測されたルマサンプル値はpredSampleLX_Lは以下のように導出される：

５．４ 実施形態４：LMCSのクロマ残差スケーリングにおける変数invAvgLumaの導出
８．７．５．３ クロマサンプルのルマ依存クロマ残差スケーリング処理によるピクチャ再構成
この処理への入力は：
－現在ピクチャの左上クロマサンプルに対する、現在クロマ変換ブロックの左上クロマサンプルのクロマ位置(xCurr,yCurr)、
－クロマ変換ブロック幅を指定する変数nCurrSw、
－クロマ変換ブロック高さを指定する変数nCurrSh、
－現在クロマ変換ブロックのコーディングブロックフラグを指定する変数tuCbfChroma、
－現在ブロックのクロマ予測サンプルを指定する(nCurrSw)x(nCurrSh)アレイpredSamples、
－現在ブロックのクロマ残差サンプルを指定する(nCurrSw)x(nCurrSh)アレイresSamples。
この処理の出力は、再構成クロマピクチャサンプルアレイrecSamplesである。
変数sizeYは、Min(CtbSizeY,６４)に等しく設定される。
再構成クロマピクチャサンプルrecSamplesは、i=０..nCurrSw－１,j=０..nCurrSh－１について以下のように導出される：
…
その他の場合、以下が適用される。
…
変数currPicは、現在ピクチャ内の再構成ルマサンプルのアレイを指定する。
変数varScaleの導出のために、以下の順序付きステップが適用される：

５．５ 実施形態５：４個のサンプル以外のN（例えばN=８又は３２）個の単位でサブピクチャエレメントを定義する例
７．４．３．３ シーケンスパラメータセットRBSPセマンティクス

７．４．７．１ 汎用スライスヘッダセマンティクス
変数SubPicIdx、SubPicLeftBoundaryPos、SubPicTopBoundaryPos、SubPicRightBoundaryPos、及びSubPicBotBoundaryPosは、以下のように導出される：

５．６ 実施形態６：ピクチャ幅及びピクチャ高さが８以上になるよう制約する
７．４．３．３ シーケンスパラメータセットRBSPセマンティクス

５．７ 実施形態７：BT/TT/QT分割、BT/TT/QT深さ導出、及び／又はCU分割フラグのシグナリングのためのサブピクチャ境界チェック
６．４．２ 許可されるバイナリ分割処理
変数allowBtSplitは、以下のように導出される：

６．４．２ 許可される３分割処理
変数allowTtSplitは、以下のように導出される：

７．３．８．２ コーディングツリーユニットシンタックス

７．３．８．４ コーディングツリーシンタックス

図３は、ビデオ処理機器３００のブロック図である。機器３００は、ここに記載した方法のうちの１つ以上を実施するために使用されてよい。機器３００は、スマートフォン、タブレット、コンピュータ、モノのインターネット（Internet of Things (IoT)）受信機、等において実施されてよい。機器３００は、１つ以上のプロセッサ３０２、１つ以上のメモリ３０４、及びビデオ処理ハードウェア３０６を含んでよい。プロセッサ３０２は、本願明細書に記載した１つ以上の方法を実施するよう構成されてよい。メモリ（複数のメモリ）３０４は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア３０６は、ハードウェア回路で、本願明細書に記載した幾つかの技術を実施するために使用されてよい。

図４は、ビデオを処理する方法４００のフローチャートである。方法１８００は、ビデオの第１ビデオ領域内のビデオブロックについて、アフィンモードを用いてビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップ（４０２）と、決定に基づき変換を実行するステップ（４０４）と、を含む。

以下のソリューションは、幾つかの実施形態において好適なソリューションとして実装されてよい。

以下のソリューションは、前の章（例えば、項目１）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション１）ビデオ処理の方法であって、ビデオの第１ビデオ領域内のビデオブロックについて、アフィンモードを用いて前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために時間動きベクトル予測子が決定される位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。

（ソリューション２）前記ビデオブロックは、前記第１領域及び前記第２領域によりカバーされる、ソリューション１に記載の方法。

（ソリューション３）前記時間動きベクトル予測子の位置が前記第２ビデオ領域の外側にある場合、前記時間動きベクトル予測子は利用できないとマークされ、前記変換において使用されない、ソリューション１～２のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目２）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション４）ビデオ処理の方法であって、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために参照ピクチャ内の整数サンプルがフェッチされる位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップであって、前記参照ピクチャは前記変換中に補間処理において使用されない、ステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。

（ソリューション５）前記ビデオブロックは、前記第４領域及び前記第２領域によりカバーされる、ソリューション１に記載の方法。

（ソリューション６）前記サンプルの位置が前記第２ビデオ領域の外側にある場合、前記サンプルは利用できないとマークされ、前記変換において使用されない、ソリューション４～５のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目３）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション７）ビデオ処理の方法であって、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換のために再構成ルマサンプル値がフェッチされる位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。

（ソリューション８）前記ルマサンプルは、前記第１領域及び前記第２領域によりカバーされる、ソリューション７に記載の方法。

（ソリューション９）前記ルマサンプルの位置が前記第２ビデオ領域の外側にある場合、前記ルマサンプルは利用できないとマークされ、前記変換において使用されない、ソリューション７～８のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目４）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション１０）ビデオ処理の方法であって、ビデオの第１ビデオ領域内のビデオブロックについて、前記ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換中に、前記ビデオブロックについて分割に関するチェック、深さ導出、又は分割フラグシグナリングが実行される位置が、第２ビデオ領域の範囲内であるかどうかを決定するステップと、前記決定に基づき前記変換を実行するステップと、を含む方法。

（ソリューション１１）前記位置は、前記第１領域及び前記第２領域によりカバーされる、ソリューション１０に記載の方法。

（ソリューション１２）前記位置が前記第２ビデオ領域の外側にある場合、前記ルマサンプルは利用できないとマークされ、前記変換において使用されない、ソリューション１０～１１のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目８）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション１３）ビデオ処理の方法であって、１つ以上のビデオブロックを含む１つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、前記変換がサブピクチャコーディング／復号、及び動的解像度変換コーディング／復号ツール又は参照ピクチャ再サンプリングツールをビデオユニット内で使用しないというコーディングシンタックス要件に従う、方法。

（ソリューション１４）前記ビデオユニットは、前記１つ以上のビデオピクチャのシーケンスに対応する、ソリューション１３に記載の方法。

（ソリューション１５）前記動的解像度変換コーディング／復号ツールは、適応解像度変換コーディング／復号ツールを含む、ソリューション１３～１４のいずれかに記載の方法。

（ソリューション１６）前記動的解像度変換コーディング／復号ツールは、動的解像度変換コーディング／復号ツールを含む、ソリューション１３～１４のいずれかに記載の方法。

（ソリューション１７）前記コーディング表現は、前記ビデオユニットが前記コーディングシンタックス要件に従うことを示す、ソリューション１３～１６のいずれかに記載の方法。

（ソリューション１８）前記コーディング表現は、前記ビデオユニットが前記サブピクチャを使用することを示す、ソリューション１７に記載の方法。

（ソリューション１９）前記コーディング表現は、前記ビデオユニットが前記動的解像度変換コーディング／復号ツール又は前記参照ピクチャ再サンプリングツールを使用することを示す、ソリューション１７に記載の方法。

以下のソリューションは、前の章（例えば、項目１０）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２０）前記第２ビデオ領域はビデオサブピクチャを含み、前記第２ビデオ領域と別のビデオ領域との境界は、２つのコーディングツリーユニットの間の境界も含む、ソリューション１～１９のいずれかに記載の方法。

（ソリューション２１）前記第２ビデオ領域はビデオサブピクチャを含み、前記第２ビデオ領域と別のビデオ領域との境界は、２つのコーディングツリーユニットの間の境界も含む、ソリューション１～１９のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目１１）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２２）前記第１ビデオ領域及び前記第２ビデオ領域は長方形形状を有する、ソリューション１～２１のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目１２）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２３）前記第１ビデオ領域及び前記第２ビデオ領域は重なり合わない、ソリューション１～２２のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目１３）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２４）前記ビデオピクチャは、前記ビデオピクチャ内のピクセルが１つの且つ１つのみのビデオ領域によりカバーされるように、ビデオ領域に分割される、ソリューション１～２３のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目１５）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２５）前記ビデオピクチャが前記ビデオシーケンスの特定レイヤ内にあることに起因して、前記ビデオピクチャは、前記第１ビデオ領域及び前記第２ビデオ領域に分割される、ソリューション１～２４のいずれかに記載の方法。

以下のソリューションは、前の章（例えば、項目１０）にリストされた項目で説明した追加技術と一緒に実装されてよい。

（ソリューション２６）ビデオ処理の方法であって、１つ以上のビデオブロックを含む１つ以上のビデオピクチャを含むビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含み、前記コーディング表現は、第１シンタックスエレメントsubpic_grid_idx[i][j]が第２シンタックスエレメントmax_subpics_minus１より大きくないというコーディングシンタックス要件に従う、方法。

（ソリューション２７）前記第１シンタックスエレメントを表すコードワードは、前記第２シンタックスエレメントを表すコードワードより大きくない、ソリューション２６に記載の方法。

（ソリューション２８）前記第１ビデオ領域はビデオサブピクチャを含む、ソリューション１～２７のいずれかに記載の方法。

（ソリューション２９）前記第２ビデオ領域はビデオサブピクチャを含む、ソリューション１～２８のいずれかに記載の方法。

（ソリューション３０）前記変換は、前記ビデオを前記コーディング表現に符号化することを含む、ソリューション１～２９のいずれかに記載の方法。

（ソリューション３１）前記変換は、前記コーディング表現を復号して前記ビデオのピクセル値を生成することを含む、ソリューション１～２９のいずれかに記載の方法。

（ソリューション３２）ビデオ復号機器であって、ソリューション１～３１のうちの１つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ復号機器。

（ソリューション３３）ビデオ符号化機器であって、ソリューション１～３１のうちの１つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオ符号化機器。

（ソリューション３４）格納されたコンピュータコードを有するコンピュータプログラムプロダクトであって、前記コードは、プロセッサにより実行されると、前記プロセッサにソリューション１～３１のいずれかに記載の方法を実施させる、コンピュータプログラムプロダクト。

（ソリューション３５）本願明細書に記載された方法、機器、又はシステム。

図５は、ここに開示される種々の技術が実施され得る例示的なビデオ処理システム５００を示すブロック図である。種々の実装は、システム５００のコンポーネントの一部又は全部を含んでよい。システム５００は、ビデオコンテンツを受信する入力５０２を含んでよい。ビデオコンテンツは、生（raw）又は非圧縮フォーマット、例えば８又は１０ビット複数成分ピクセル値で受信されてよく、或いは圧縮又は符号化フォーマットであってよい。入力５０２は、ネットワークインタフェース、周辺機器バスインタフェース、又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、イーサネット（登録商標）、受動光ネットワーク（passive optical network (PON)）等のような有線インタフェース、及びWi-Fi又はセルラインタフェースのような無線インタフェースを含む。

システム５００は、本願明細書に記載された種々のコーディング又は符号化方法を実施し得るコーディングコンポーネント５０４を含んでよい。コーディングコンポーネント５０４は、入力５０２からコーディングコンポーネント５０４の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成してよい。コーディング技術は、従って、時に、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント５０４の出力は、コンポーネント５０６により表されるように、格納されるか、又は通信接続を介して送信されてよい。入力５０２で受信された、格納され又は通信されたビットストリーム（又はコーディングされた）表現は、コンポーネント５０８により、ディスプレイインタフェース５１０へ送信されるピクセル値又は表示可能なビデオを生成するために、使用されてよい。ビットストリーム表現からユーザに閲覧可能なビデオを生成する処理は、時に、ビデオ伸長と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作は、エンコーダにおいて使用され、コーディングの結果を逆にする対応する復号ツール又は動作がデコーダにより実行されることが理解される。

周辺機器バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス（universal serial bus (USB)）又は高解像度マルチメディアインタフェース（high definition multimedia interface (HDMI（登録商標）)）又はディスプレイポート（Displayport）、等を含んでよい。ストレージインタフェースの例は、ＳＡＴＡ（serial advanced technology attachment）、ＰＣＩ、ＩＤＥインタフェース、等を含む。本願明細書に記載した技術は、移動電話機、ラップトップ、スマートフォン、又はデジタルデータ処理を実行可能な他の装置、及び／又はビデオディスプレイのような種々の電子装置に実装されてよい。

図６は、本発明の技術によるビデオ処理の方法６００のフローチャート表現である。方法６００は、動作６１０において、ビデオの第１ピクチャの現在ブロックとビデオのビットストリーム表現との間の変換のために、ルールに従い、第２ピクチャからの動き情報に基づき、動き候補を決定するステップを含む。ルールは、動き情報がアクセスされる位置が、第２ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法６００は、動作６２０で、決定に基づき変換を実行するステップを更に含む。

幾つかの実施形態では、動き情報は動きベクトルを含み、動き候補はアフィン動き候補を含む。幾つかの実施形態では、ルールは、第１位置が特定サブピクチャの外側にある場合に、第１位置の代わりとして、位置が使用されることを指定する。幾つかの実施形態では、位置は、現在ブロックに対応するビデオピクチャ内のブロックの右下角にある。

図７は、本発明の技術によるビデオ処理の方法７００のフローチャート表現である。方法７００は、動作７１０で、ビデオの第１ピクチャの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、第２ピクチャからの整数サンプルを決定するステップを含む。第２ピクチャは、補間処理において使用されない参照ピクチャを含む。ルールは、整数サンプルがアクセスされる位置が、第２ピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法７００は、動作７２０で、決定に基づき変換を実行するステップを更に含む。幾つかの実施形態では、整数サンプルは、双方向オプティカルフロー又は予測精緻化オプティカルフロー処理における１つ以上の勾配を生成するために使用される。

図８は、本発明の技術によるビデオ処理の方法８００のフローチャート表現である。方法８００は、動作８１０において、ビデオの現在ブロックと前記ビデオのビットストリーム表現の変換のために、ルールに従い、再構成ルマサンプルがアクセスされる位置を決定するステップを含む。ルールは、位置が、ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法８００は、動作８２０で、決定に基づき変換を実行するステップを更に含む。幾つかの実施形態では、再構成ルマサンプルは、ルママッピングクロマスケーリング処理においてクロマコンポーネントのスケーリング因子を導出するためにアクセスされる。

図９は、本発明の技術によるビデオ処理の方法９００のフローチャート表現である。方法９００は、動作９１０において、ビデオの現在ブロックとビデオのビットストリーム表現の変換のために、ルールに従い、ピクチャ境界チェックが実行される位置を決定するステップを含む。ルールは、位置が、ビデオピクチャの特定のサブピクチャの範囲内であるよう制約されることを指定する。方法９００は、動作９２０で、決定に基づき変換を実行するステップを更に含む。

幾つかの実施形態では、ピクチャ境界チェックは、以下：（１）２分木、３分木、又は４分木の分割、（２）２分木、３分木、又は４分木の深さ導出、或いは（３）現在ブロックの分割フラグのシグナリング、のうちの少なくとも１つのために実行される。幾つかの実施形態では、特定サブピクチャは、現在ブロックをカバーする同一位置サブピクチャである。

幾つかの実施形態では、ルールは、位置が特定サブピクチャの外側にある場合に、位置における情報が利用可能ではないとして扱われることを指定する。位置は(x,y)として表され、特定サブピクチャの左上角は(xTL,yTL)として表され、特定サブピクチャの右下角は(xBR,yBR)として表される。幾つかの実施形態では、x>xBR、y>yBR、x<xTL、又はy<yTLの場合、位置は、特定サブピクチャの外側にある。幾つかの実施形態では、位置は、ビデオピクチャの特定サブピクチャの範囲内になるようクリッピングされることを指定する。位置は(x,y)として表され、特定サブピクチャの左上角は(xTL,yTL)として表され、特定サブピクチャの右下角は(xBR,yBR)として表される。幾つかの実施形態では、xは、x及びxRのうちの小さい方の値になるようクリッピングされる。幾つかの実施形態では、yは、y及びyRのうちの小さい方の値になるようクリッピングされる。幾つかの実施形態では、xは、x及びxTLうちの大きい方の値になるようクリッピングされる。幾つかの実施形態では、y、yびyTLのうちの大きい方の値になるようクリッピングされる。

幾つかの実施形態では、ルールが適用可能かどうかは、ビットストリーム表現の中のシンタックスエレメントに基づく。幾つかの実施形態では、シンタックスエレメントは、ビデオパラメータセット、依存性パラメータセット、スライスパラメータセット、ピクチャパラメータセット、アクティブパラメータセット、スライスヘッダ、又はタイルグループヘッダの中でシグナリングされる。幾つかの実施形態では、シンタックスエレメントは、subpic_treated_as_pic_flag[SubPicIdx]を含み、SubPicIdxは、現在ブロックをカバーする特定サブピクチャのサブピクチャインデックスである。

幾つかの実施形態では、変換は、ビットストリーム表現から現在ブロックを生成する。幾つかの実施形態では、変換は、現在ブロックからビットストリーム表現を生成する。

図１０は、本発明の技術によるビデオ処理の方法１０００のフローチャート表現である。方法１０００は、動作１０１０で、ビデオのビデオピクチャのサブピクチャとビデオのビットストリーム表現の変換の後に、過去の変換に基づき導出された動き候補のテーブルを再設定（リセット）するステップを含む。方法１０００は、動作１０２０で、リセット後のテーブルを用いて、ビデオピクチャの後続のサブピクチャとビットストリーム表現の変換を実行するステップを更に含む。

幾つかの実施形態では、動き候補のテーブルは、イントラブロックコーディングモードのための動き候補を含む。幾つかの実施形態では、動き候補のテーブルは、インターコーディングモードのための動き候補を含む。幾つかの実施形態では、動き候補のテーブルは、イントラコーディングモードのための動き候補を含む。

幾つかの実施形態では、変換は、ビットストリーム表現からサブピクチャ及び後続のサブピクチャを生成する。幾つかの実施形態では、変換は、サブピクチャ及び後続のサブピクチャからビットストリーム表現を生成する。

図１１は、本発明の技術によるビデオ処理の方法１１００のフローチャート表現である。方法１１００は、動作１１１０で、ルールに従い、複数のサブピクチャ及び複数のビデオブロックを含むビデオピクチャを有するビデオと、前記ビデオのコーディング表現との間の変換を実行するステップを含む。ルールは、任意の２つのサブピクチャが、２つのビデオブロックの間の境界でもあることを指定する。ビデオピクチャ内のビデオブロックは、ビデオピクチャの単一のサブピクチャによりカバーされる。

幾つかの実施形態では、ビデオピクチャ内の任意の位置は、ビデオピクチャの最大でも１つのサブピクチャによりカバーされる。幾つかの実施形態では、ビデオピクチャ内の位置は、ビデオピクチャのサブピクチャによりカバーされない。幾つかの実施形態では、ビデオピクチャの２つのサブピクチャは、重なり合う領域を有しない。

幾つかの実施形態では、ビデオピクチャのサブピクチャの寸法は、ビデオブロックの寸法に基づき決定される。幾つかの実施形態では、サブピクチャは複数のエレメントを含む。サブピクチャ内のエレメントの幅を示すシンタックスエレメントは、N個のサンプルとして表され、サブピクチャの幅はN個のサンプルに基づき決定される。幾つかの実施形態では、ビデオブロックの幅はN個のサンプルを有する。

幾つかの実施形態では、サブピクチャは複数のエレメントを含む。サブピクチャ内のエレメントの高さを示すシンタックスエレメントは、N個のサンプルとして表され、サブピクチャの高さはN個のサンプルに基づき決定される。幾つかの実施形態では、ビデオブロックの高さはN個のサンプルを有する。

幾つかの実施形態では、ビデオブロックは、コーディングツリーブロック（coding tree block (CTB)）又はコーディングツリーユニット（coding tree unit (CTU)）である。幾つかの実施形態では、サブピクチャは長方形形状を有する。幾つかの実施形態では、サブピクチャは長方形スライスエレメントを含む。幾つかの実施形態では、サブピクチャは、ビデオの選択された１つ以上のレイヤにのみ適用可能である。幾つかの実施形態では、サブピクチャは、ビットストリーム表現内に設定されたシーケンスパラメータセットの中で定義され、サブピクチャは、対応するシーケンスの中で最高解像度を有するレイヤに適用可能である。幾つかの実施形態では、サブピクチャは、ビットストリーム表現内に設定されたシーケンスパラメータセットの中で定義され、サブピクチャは、対応するシーケンスの中で最低解像度を有するレイヤに適用可能である。幾つかの実施形態では、サブピクチャが適用可能な選択された１つ以上のレイヤは、ビットストリーム表現内の１つ以上のシンタックスエレメントの中でシグナリングされる。幾つかの実施形態では、サブピクチャが適用可能ではない１つ以上のレイヤは、ビットストリーム表現内の１つ以上のシンタックスエレメントの中でシグナリングされる。幾つかの実施形態では、１つ以上のシンタックスエレメントは、ビットストリーム表現内の、シーケンスパラメータセット、ビデオパラメータセット、又はピクチャパラメータセットの中でシグナリングされる。

図１２は、本発明の技術によるビデオ処理の方法１２００のフローチャート表現である。方法１２００は、動作１２１０で、少なくともビデオピクチャを用いて、ビデオのビデオユニットとビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード又は解像度変化コーディングモードのうちの１つのみが、ビデオユニットに対して有効である。サブピクチャコーディングモードは、ビデオピクチャが複数のサブピクチャに分割されるモードであり、解像度変化コーディングモードは、ビデオピクチャの解像度が変換中に調整されるモードである。

幾つかの実施形態では、ビデオピクチャは、現在ピクチャ又は参照ピクチャを含む。幾つかの実施形態では、解像度変化コーディングモードは、参照ピクチャ再サンプリング（PRP）モードを含む。幾つかの実施形態では、解像度変化コーディングモードは、動的解像度変換（DRC）モードを含む。幾つかの実施形態では、解像度変化コーディングモードは、適応解像度変換（ARC）モードを含む。

幾つかの実施形態では、ビデオユニットは、ビデオシーケンスを含む。幾つかの実施形態では、解像度変化コーディングモードが許可されない場合に、サブピクチャコーディングモードがコーディングユニットに対して有効であることを示すために、コーディング表現の中にシンタックスエレメントが含まれる。幾つかの実施形態では、サブピクチャコーディングモードが有効であると示すシンタックスエレメントがコーディング表現に含まれる場合、解像度変化コーディングモードは許可されない。幾つかの実施形態では、シンタックスエレメントはsubpics_present_flagを含む。幾つかの実施形態では、シンタックスエレメントが、サブピクチャコーディングモードが有効であると示す場合、ビデオピクチャの幅は、ビデオユニット内のビデオピクチャに対して許容される最大幅に等しく設定される。

図１３は、本発明の技術によるビデオ処理の方法１３００のフローチャート表現である。方法１３００は、動作１３１０で、少なくともビデオピクチャを用いて、ビデオのビデオユニットとビデオのコーディング表現との間の変換を実行するステップを含み、サブピクチャコーディングモード及び解像度変化コーディングモードの両方が、ビデオユニットに対して有効である。サブピクチャコーディングモードは、ビデオピクチャが複数のサブピクチャに分割されるモードであり、解像度変化コーディングモードは、ビデオピクチャの解像度が変換中に調整されるモードである。

幾つかの実施形態では、ビデオユニットは、ビデオシーケンスを含む。幾つかの実施形態では、解像度変化コーディングモードは、適応解像度変換（ARC）モード、動的解像度変換（DRC）モード、参照ピクチャ再サンプリング（PRP）モード、を含む。

幾つかの実施形態では、ビデオピクチャは複数のブロックを含み、各ブロックはW×Hの寸法を有する。解像度変化コーディングモードに従い調整されたサブピクチャは、K×Wの幅、及びM×Hの高さを有し、K及びMは整数である。幾つかの実施形態では、サブピクチャは、ビデオピクチャの境界に位置しない。幾つかの実施形態では、境界は、右境界又は下境界を含む。

幾つかの実施形態では、ビデオピクチャは複数のビデオブロックを含み、個々のビデオブロックの寸法はビデオピクチャの解像度に基づき調整される。幾つかの実施形態では、コーディング表現は、ビデオブロックの最大寸法を示すシンタックスエレメントを含み、個々のビデオブロックの寸法は、ビデオピクチャの最大寸法及び解像度に基づき調整される。幾つかの実施形態では、個々のビデオブロックの寸法は、シーケンスパラメータセット、ピクチャパラメータセット、又はコーディング表現中のサブピクチャレベルでシグナリングされる。

図１４は、本発明の技術によるビデオ処理の方法１４００のフローチャート表現である。方法１４００は、動作１４１０で、１つ以上のビデオピクチャを含むビデオと前記ビデオのコーディング表現との間の変換を実行するステップ、を含み、個々のビデオピクチャの寸法は、８以上になるよう制約される。幾つかの実施形態では、寸法は個々のビデオピクチャの幅である。幾つかの実施形態では、寸法は個々のビデオピクチャの高さである。

図１５は、本発明の技術によるビデオ処理の方法１５００のフローチャート表現である。方法１５００は、動作１５１０で、ルールに従い、ビデオのビデオピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。ビデオピクチャは少なくとも１つのサブピクチャを含み、ルールは、サブピクチャの特性がコーディング表現の中の少なくとも１つのシンタックスエレメントとして表現されることを指定し、少なくとも１つのシンタックスエレメントは、ビデオピクチャ内のサブピクチャグリッドのインデックス値と異なる。

幾つかの実施形態では、特性は、サブピクチャの左上位置を含む。幾つかの実施形態では、特性は、サブピクチャの右下位置を含む。幾つかの実施形態では、特性は、サブピクチャの幅を含む。幾つかの実施形態では、特性は、サブピクチャの高さを含む。幾つかの実施形態では、ビデオピクチャ内のサブピクチャのインデックス値は、ビデオピクチャ内のサブピクチャの最大数より小さい。幾つかの実施形態では、［０,サブピクチャの最大数-１］の範囲にある整数値は、ビデオピクチャ内のサブピクチャのインデックス値と１対１対応を有する。

図１６は、本発明の技術によるビデオ処理の方法１６００のフローチャート表現である。方法１６００は、動作１６１０で、ルールに従い、ビデオのビデオピクチャとビデオのコーディング表現との間の変換を実行するステップを含む。ビデオピクチャは複数のサブピクチャを含み、各サブピクチャは複数のエレメントを含む。ルールは、サブピクチャ内の個々のエレメントの寸法が制約を満たすことを指定する。

幾つかの実施形態では、制約は、個々のエレメントの幅がT１より小さいことを指定する。幾つかの実施形態では、制約は、個々のエレメントの高さがT２より小さいことを指定する。幾つかの実施形態では、ビデオピクチャは複数のビデオブロックを含み、制約は、個々のエレメントの寸法に基づき決定されたサブピクチャが、変換中に処理される現在ビデオブロックによりカバーされることを指定する。幾つかの実施形態では、現在ビデオブロックによりカバーされるサブピクチャの外部にあるサンプルは、変換のために利用できないと見なされる。幾つかの実施形態では、制約は、個々のエレメントの寸法が、ビデオコーディング標準のプロファイル、レベル、又はティアに基づき決定されることを指定する。幾つかの実施形態では、制約は、個々のビデオブロックの寸法がビデオピクチャの幅に基づき決定されることを指定する。幾つかの実施形態では、個々のビデオブロックの幅は、pic_width_max_in_luma_samples/４+offsetに等しく、pic_width_max_in_luma_samplesはルマサンプルにおける最大ピクチャ幅を表し、offsetは０又は０でない整数である。幾つかの実施形態では、制約は、個々のエレメントの寸法が、ビデオピクチャの高さに基づき決定されることを指定する。幾つかの実施形態では、個々のエレメントの高さは、pic_height_max_in_luma_samples/４+offsetに等しく、pic_height_max_in_luma_samplesはルマサンプルにおける最大ピクチャ高さを表し、offsetは０又は０でない整数である。

幾つかの実施形態では、変換は、ビットストリーム表現からビデオピクチャを生成する。幾つかの実施形態では、変換は、ビデオピクチャからビットストリーム表現を生成する。

図１７は、本発明の技術によるビデオ処理の方法１７００のフローチャート表現である。方法１７００は、動作１７１０で、ルールに従い、コーディングモードを用いて、複数のサブピクチャを含むピクチャを有するビデオと、ビデオのコーディング表現との間の変換を実行するステップを含む。ルールは、前のサブピクチャに関する特定の格納された情報が、複数のサブピクチャのうちの各々の次のサブピクチャを処理する前に、再設定されることを指定する。

幾つかの実施形態では、特定の格納された情報は、ビデオピクチャ内の現在ブロックがビデオピクチャからのサンプルによりコーディングされるイントラブロックコピーモードのために使用される仮想バッファを含む。幾つかの実施形態では、特定の格納された情報は、ビデオピクチャ内の現在ブロックがそれぞれのサンプル値のパレットを用いてコーディングされるパレットコーディングモードのために使用されるエントリのリストを含む。

図１８は、本発明の技術によるビデオ処理の方法１８００のフローチャート表現である。方法１８００は、動作１８１０で、ルールに従い、ビデオと前記ビデオのコーディング表現との間の変換において、時間フィルタリング動作を実行するステップを含む。ビデオは複数のビデオピクチャを含み、各ビデオピクチャは複数のサブピクチャを含む。ルールは、ビデオピクチャの現在サブピクチャ内の現在サンプルを時間フィルタリングするために、同じ現在サブピクチャ又は現在サブピクチャに対応する異なるビデオピクチャ内のサブピクチャの範囲内のサンプルのみが利用可能であることを指定する。

図１９は、本発明の技術によるビデオ処理の方法１９００のフローチャート表現である。方法１９００は、動作１９１０で、ビデオのビデオピクチャ内のブロックとビデオのコーディング表現との間の変換のために、ブロックがビデオピクチャの１つ以上のサブピクチャ境界と交差するかどうかに基づき、ブロックにパーティション方法を適用する方法を決定するステップを含む。方法１９００は、動作１９２０で、決定に基づき変換を実行するステップを更に含む。

幾つかの実施形態では、パーティション方法は、以下：４分木パーティション方法、水平２分木パーティション方法、垂直２分木パーティション方法、水平３分木パーティション方法、垂直３分木パーティション方法、又は非分割方法、のうちの少なくとも１つを含む。幾つかの実施形態では、方法は、境界処理方法がブロックに適用可能かどうかを更に指定する。幾つかの実施形態では、方法は、ブロックがビデオピクチャのサブピクチャの１つ以上の境界に跨がり位置するかどうかに基づき、パーティション方法を示すコーディング表現内のシンタックスエレメントを処理する方法を決定するステップを含む。

図２０は、本発明の技術によるビデオ処理の方法２０００のフローチャート表現である。方法２０００は、動作２０１０で、ビデオのビデオピクチャとビデオのコーディング表現との間の変換のために、ビデオピクチャのうちの２つのサブ領域を決定するステップを含む。第１サブ領域は、ビデオピクチャの複数のサブピクチャを含み、第２サブ領域は、ビデオピクチャ内のサンプルを維持することを含む。方法２０００は、動作２０２０で、決定に基づき変換を実行するステップを更に含む。

幾つかの実施形態では、第２サブ領域内のサンプルは、ビデオピクチャの任意のサブピクチャ内に位置しない。幾つかの実施形態では、第２サブ領域は、第１サブ領域に関する情報に基づき、変換のために処理される。幾つかの実施形態では、デフォルト値は、ビデオピクチャのサンプル又は領域が第２サブ領域内に位置するかどうかを示すために、変換中に使用される。幾つかの実施形態では、デフォルト値は(max_subpics_minus１+K)に設定され、max_subpics_minus１は、ビデオピクチャ内のサブピクチャの最大数を示し、Kは１より大きい整数である。幾つかの実施形態では、デフォルト値は、ビデオピクチャ内のサブピクチャを表すインデックス値のアレイの中の各要素に割り当てられる。

幾つかの実施形態では、変換は、コーディング表現からビデオを生成する。幾つかの実施形態では、変換は、ビデオからコーディング表現を生成する。

開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを有効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが有効にされると、エンコーダは、ビデオのブロックの処理において該ツール又はモードを使用又は実施するが、必ずしもツール又はモードの使用に基づき結果として生じるビットストリームを変更する必要はない。つまり、ビデオのブロックからビデオのビットストリーム表現への変換は、決定又は判断に基づき有効にされるとき、ビデオ処理ツール又はモードを使用する。別の例では、ビデオ処理ツール又はモードが有効にされると、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づき変更されているという知識により、ビットストリームを処理する。つまり、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定又は判断に基づき有効にされたビデオ処理ツール又はモードを使用して実行される。

開示した技術の幾つかの実施形態は、ビデオ処理ツール又はモードを無効にすることの決定又は判断を行うことを含む。例では、ビデオ処理ツール又はモードが無効にされるとき、エンコーダは、ビデオのブロックをビデオのビットストリーム表現へ変換する際にツール又はモードを使用しない。別の例では、ビデオ処理ツール又はモードが無効にされると、デコーダは、ビットストリームが決定又は判断に基づき有効にされたビデオ処理ツール又はモードを用いて変更されていないという知識により、ビットストリームを処理する。

本願明細書に記載された本開示の及び他のソリューション、例、実施形態、モジュール、及び機能動作は、デジタル電子回路で、又は本願明細書に開示された構造を含む、コンピュータソフトウェア、ファームウェア、又はハードウェア、及びそれらの構造的均等物で、又はそれらの１つ以上の結合で、実装できる。本開示の及び他の実施形態は、１つ以上のコンピュータプログラムプロダクト、例えば、データ処理機器による実行のために又はその動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装できる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝搬信号に影響を与える物質の組成、又は１つ以上のそれらの組合せであり得る。用語「データ処理機器」は、データを処理するあらゆる機器、装置、及び機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。機器は、ハードウェアに加えて、対象となるコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ以上の組合せを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、適切な受信機への送信のために情報を符号化するために生成された、機械により生成された電気、光、又は電磁気信号である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイルされた又はインタープリットされた言語を含む任意の形式のプログラミング言語で記述でき、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開できる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータ（例えばマークアップ言語文書内に格納された１つ以上のスクリプト）を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は複数の連携ファイル（例えば、１つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル）に、格納できる。コンピュータプログラムは、１つのコンピュータ上で、又は１つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開できる。

本願明細書に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより機能を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行できる。特定用途論理回路、例えば、ＦＰＧＡ（field programmable gate array）又はＡＳＩＣ（application specific integrated circuit）により、処理及びロジックフローが実行でき、それとして機器が実装できる。

コンピュータプログラムの実行に適するプロセッサは、例えば、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又は両者から受信する。コンピュータの基本的要素は、命令を実行するプロセッサ、及び命令及びデータを格納する１つ以上のメモリ装置である。通常、コンピュータは、データを格納する１つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又は両者のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適するコンピュータ可読媒体は、例えば半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ，及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、全ての形式の-不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込むことができる。

本願明細書は多数の特定事項を含むが、これらは、任意の主題の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の技術の特定の実施形態に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本願明細書に記載された特定の特徴は、単一の実施形態において組み合わせることもできる。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態の中で別個に又は任意の適切な部分的組み合わせで実装されることもできる。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの１つ以上の特徴は、幾つかの場合には、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。

同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルに実行されること、及び全ての図示の動作が実行されること、を要求すると理解されるべきではない。更に、本願明細書に記載された実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とすると理解されるべきではない。

小数の実装及び例のみが記載され、本願明細書に記載され示されたものに基づき他の実装、拡張、及び変形が行われ得る。

Claims (14)

1. ビデオデータを処理する方法であって、
   ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換のために、第１予測モードが前記第１ビデオブロックに適用されると決定するステップと、
   前記第１予測モードのために、前記第１ピクチャのサンプル値のブロックから導出された参照サンプルを含む仮想バッファを維持するステップと、
   前記第１ビデオブロックについて、前記決定に基づき予測サンプルを導出するステップと、
   前記第１ビデオブロックと前記ビットストリームとの間の前記第１変換を実行するステップと、
   を含み、
   前記第１予測モードでは、前記仮想バッファ内のブロックベクトルにより決定された前記参照サンプルは、前記予測サンプルの導出のために使用され、
   ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードが前記第１ピクチャに対して有効であり、前記仮想バッファは前記第１ピクチャのサブピクチャを処理する前にリセットされる、方法。
2. 前記仮想バッファ内の前記参照サンプルは-１になるようリセットされる、請求項１に記載の方法。
3. 前記ビデオの第２ピクチャの第２ビデオブロックと前記ビットストリームとの間の第２変換のために、第２予測モードが前記第２ビデオブロックに適用されると決定するステップと、
   前記第２予測モードのために、予測子パレットを維持するステップと、
   前記第２予測モードに基づき、前記第２ビデオブロックと前記ビットストリームとの間の前記第２変換を実行するステップと、
   を更に含み、
   前記第２予測モードでは、再構成サンプルは代表カラー値のセットにより表され、前記代表カラー値のセットは、前記ビットストリームに含まれるパレット予測子を少なくとも含み、
   前記サブピクチャコーディングモードは前記第２ピクチャに対して有効であり、前記予測子パレットのエントリリストは、前記第２ピクチャのサブピクチャを処理する前にリセットされる、請求項１又は２に記載の方法。
4. 予測子パレットのサイズは、前記第２ピクチャの前記サブピクチャを処理する前に、０になるよう設定される、請求項３に記載の方法。
5. 前記サブピクチャコーディングモードが有効であると示す第１シンタックスエレメントが、前記ビットストリーム内のシーケンスパラメータセットに含まれる、請求項１～４のいずれか一項に記載の方法。
6. サブピクチャの幅を示すために、第２シンタックスエレメントが前記ビットストリームに含まれ、サブピクチャの高さを示すために、第３シンタックスエレメントが前記ビットストリームに含まれる、請求項１～５のいずれか一項に記載の方法。
7. サブピクチャの左上位置を示すために、第４シンタックスエレメントが前記ビットストリームに含まれる、請求項１～６のいずれか一項に記載の方法。
8. 前記ビデオピクチャの２つのサブピクチャは重なり合わない領域を有する、請求項１～７のいずれか一項に記載の方法。
9. サブピクチャは長方形形状を有するよう制約される、請求項１～８のいずれか一項に記載の方法。
10. 前記変換は、前記ビデオを前記ビットストリームに符号化することを含む、請求項１～９のいずれか一項に記載の方法。
11. 前記変換は、前記ビットストリームから前記ビデオを復号することを含む、請求項１～９のいずれか一項に記載の方法。
12. ビデオデータを処理する機器であって、前記機器はプロセッサと格納された命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると、前記プロセッサに、
    ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換のために、第１予測モードが前記第１ビデオブロックに適用されると決定させ、
    前記第１予測モードのために、前記第１ピクチャのサンプル値のブロックから導出された参照サンプルを含む仮想バッファを維持させ、
    前記第１ビデオブロックについて、前記決定に基づき予測サンプルを導出させ、
    前記第１ビデオブロックと前記ビットストリームとの間の前記第１変換を実行させ、
    前記第１予測モードでは、前記仮想バッファ内のブロックベクトルにより決定された前記参照サンプルは、前記予測サンプルの導出のために使用され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードが前記第１ピクチャに対して有効であり、前記仮想バッファは前記第１ピクチャのサブピクチャを処理する前にリセットされる、機器。
13. 命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサに、
    ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換のために、第１予測モードが前記第１ビデオブロックに適用されると決定させ、
    前記第１予測モードのために、前記第１ピクチャのサンプル値のブロックから導出された参照サンプルを含む仮想バッファを維持させ、
    前記第１ビデオブロックについて、前記決定に基づき予測サンプルを導出させ、
    前記第１ビデオブロックと前記ビットストリームとの間の前記第１変換を実行させ、
    前記第１予測モードでは、前記仮想バッファ内のブロックベクトルにより決定された前記参照サンプルは、前記予測サンプルの導出のために使用され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードが前記第１ピクチャに対して有効であり、前記仮想バッファは前記第１ピクチャのサブピクチャを処理する前にリセットされる、非一時的コンピュータ可読記憶媒体。
14. ビデオのビットストリームを格納する方法であって、前記方法は、
    ビデオの第１ピクチャの第１ビデオブロックについて、第１予測モードが前記第１ビデオブロックに適用されると決定するステップと、
    前記第１予測モードのために、前記第１ピクチャのサンプル値のブロックから導出された参照サンプルを含む仮想バッファを維持するステップと、
    前記第１ビデオブロックについて、前記決定に基づき予測サンプルを導出するステップと、
    前記決定に基づき、前記ビットストリームを生成するステップと、
    前記ビットストリームを非一時的コンピュータ可読記録媒体に格納するステップと、
    を含み、
    前記第１予測モードでは、前記仮想バッファ内のブロックベクトルにより決定された前記参照サンプルは、前記予測サンプルの導出のために使用され、
    ビデオピクチャが複数のサブピクチャに分割されるサブピクチャコーディングモードが前記第１ピクチャに対して有効であり、前記仮想バッファは前記第１ピクチャのサブピクチャを処理する前にリセットされる、方法。

Images