JP2024513006A - デコーダが実行するビデオ処理の方法、ビデオ復号化のための装置、及びコンピュータプログラム、並びにエンコーダが実行するビデオ処理の方法 - Google Patents

Abstract

本開示の態様は、クロスコンポーネント線形モデル（ＣＣＬＭ）モードが現在ピクチャ内のクロマブロックに適用されることを示す予測情報を復号する処理回路を含む装置及び方法を提供する。クロマブロック内の第１領域について、処理回路は、クロマブロックとコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて、ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整値を決定する。再構成サンプルの第１サブセットはルーマブロック内の１つ以上のサンプルを含まない。処理回路は、第１調整値に基づいてオフセットパラメータを更新する。処理回路は、ルーマブロック内の再構成サンプルの第２サブセットに基づいて、ＣＣＬＭモードでの勾配パラメータを変更するために使用される第２調整値を決定するし、第２調整値に基づいて勾配パラメータを更新する。

Description

本開示は、ビデオコーディングに概して関係がある実施形態について記載する。

本明細書中で与えられている背景の説明は、本開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、及び出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。

圧縮されていないデジタルイメージ及び／又はビデオは、ピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとして知られている。）を有することができる。圧縮されていないイメージ及び／又はビデオは、特定のビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。

イメージ及び／又はビデオの符号化及び復号化の１つの目的は、圧縮による入力イメージ及び／又はビデオ信号内の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅要件及び／又は記憶空間要件を減らすことを助けることができる。本明細書中の記載は、実例として、ビデオ符号化／復号化を使用するが、同じ技術は、本開示の精神から逸脱せずに、同じようにしてイメージ符号化／復号化に適用できる。可逆圧縮及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換処理、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られている技術を含むことができる。イントラコーディングでは、サンプル値は、前に再構成された参照ピクチャからのサンプル又は他のデータを参照せずに表現される。いくつかのビデオコーデックでは、ピクチャは、空間的にサンプルのブロックに細分される。サンプルの全てのブロックがイントラモードでコーディングされる場合に、そのピクチャはイントラピクチャであることができる。イントラピクチャ及びそれらの派生物、例えば、独立したデコーダリフレッシュピクチャ（independent decoder refresh pictures）は、デコーダ状態をリセットするために使用できるので、コーディングされたビデオビットストリーム及びビデオセッションの最初のピクチャとして、又は静止画像として使用できる。イントラブロックのサンプルは、変換を受けることができ、変換係数は、エントロピコーディング前に量子化され得る。イントラ予測は、変換前領域でサンプル値を最小限にする技術であることができる。いくつかの場合に、変換後のＤＣ値が小さければ小さいほど、かつ、ＡＣ係数が小さければ小さいほど、エントロピコーディング後にブロックを表すために所与の量子化ステップサイズで必要とされるビットはますます少ない。

例えばＭＰＥＧ－２世代のコーディング技術で使用されている従来のイントラコーディングは、イントラ予測を使用しない。しかし、より新しいいくつかのビデオ圧縮技術は、例えば、データのブロックの符号化／復号化中に得られた周囲サンプルデータ及び／又はメタデータに基づいて、予測を行うよう試みる技術を含む。かような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかの場合に、イントラ予測は、再構成中の現在ピクチャからのみ参照データを使用し、参照ピクチャからは使用しない点に留意されたい。

多種多様な形態のイントラ予測が存在し得る。かような技術の１つよりも多くが所与のビデオコーディング技術で使用できる場合に、使用中の特定の技術は、その特定の技術を使用する特定のイントラ予測モードとしてコーディングされ得る。ある場合に、イントラ予測モードはサブモード及び／又はパラメータを有することができ、サブモード及び／又はパラメータは、独立してコーディングされ得るか、又はモードコードワードに含まれ得る。これにより、使用されている予測モードが定義される。所与のモード、サブモード、及び／又はパラメータの組み合わせのためにどのコードワードを使用すべきは、イントラ予測を通してコーディング効率利得に影響を及ぼし得るので、エントロピコーディング技術が、コードワードをビットストリームに変換するために使用され得る。

特定のモードのイントラ予測が、Ｈ．２６４により導入され、Ｈ．２６５で洗練され、Joint Exploration Model（ＪＥＭ）、Versatile Video Coding（ＶＶＣ）、及びBenchmark Set（ＢＭＳ）などのより新しいコーディング技術で更に洗練された。予測子ブロックは、既に利用可能なサンプルの隣接サンプル値を用いて形成され得る。隣接サンプルのサンプル値は、方向に応じて予測子ブロック内にコピーされる。使用中の方向の参照は、ビットストリームでコーディングされ得るか、又はそれ自体予測されてもよい。

図１Ａを参照すると、右下には、Ｈ．２６５で定義されている３３個のとり得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られている９つの予測子方向のサブセットが表されている。矢印が集まる点（１０１）は、予測中のサンプルに相当する。矢印は、サンプルが予測されている方向に相当する。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上にある１つ又は複数のサンプルから予測される、ことを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度でサンプル（１０１）の左下にある１つ又は複数のサンプルから予測される、ことを示す。

依然として図１Ａを参照して、左上には、４×４個のサンプル（太破線によって示される。）の正方形ブロック（１０４）が表されている。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元でのその位置（例えば、行インデックス）、及びＸ次元でのその位置（例えば、列インデックス）で標記される。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目のサンプルかつＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元でブロック（１０４）内の４番目のサンプルである。ブロックはサイズが４×４サンプルであるということで、Ｓ４４は右下にある。更には、類似した番号付け方式に従う参照サンプルが示されている。参照サンプルは、ブロック（１０４）に対して、「Ｒ」、そのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）で標記される。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは、再構成中のブロックに隣接し、従って、負値が使用される必要はない。

イントラピクチャ予測は、信号により伝えられた予測方向によって示される隣接サンプルから参照サンプル値をコピーすることによって、働くことができる。例えば、コーディングされたビデオビットストリームが、このブロックについて、矢印（１０２）と一致する予測方向を示す、すなわち、サンプルが水平から４５度の角度で右上にある１つ以上の予測サンプルから予測される、とのシグナリングを含む、とする。その場合に、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。それから、サンプルＳ４４は、参照サンプルＲ０８から予測される。

ある場合に、複数の参照サンプルの値は、参照サンプルを計算するために、特に、方向が４５度で等しく分割可能でない場合に、例えば補間を通じて、組み合わされてもよい。

とり得る方向の数は、ビデオコーディング技術が発展するとともに増えている。Ｈ．２６４（２００３年）では、９つの異なる方向が表現可能であった。それは、Ｈ．２６５（２０１３年）では３３個にまで増えた。現在、ＪＥＭ／ＶＶＣ／ＢＭＳは最大６５個の方向をサポートすることができる。最もありそうな方向を識別するために実験が行われており、エントロピコーディングにおける特定の技術が、可能性が低い方向に対する若干のペナルティを受け入れながら、少数のビットでそれらのありそうな方向を表現するために使用されている。更に、方向それ自体は、隣接する、既に復号されたブロックで使用された隣接方向から、時々予測され得る。

図１Ｂは、時間とともに増大する予測方向の数を説明するために、ＪＥＭによる６５個のイントラ予測方向を表す概略図（１１０）を示す。

コーディングされたビデオビットストリームにおける、方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性がある。そのようなマッピングは、例えば、単純な方向マッピングから、コードワードまで、最確モードを含む複雑な適応スキームまで、及び同様の技術まで様々であることができる。しかしながら、ほとんどの場合で、特定の他の方向よりも統計的にビデオコンテンツで起こる可能性が低い特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるということで、それらの可能性が低い方向は、上手く働くビデオコーディング技術では、よりありそうな方向よりも多いビット数によって表現されることになる。

イメージ及び／又はビデオの符号化／復号化は、動き補償を伴ったインターピクチャ予測を用いて実行できる。動き補償は不可逆圧縮技術であることができ、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、復号化順においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（ナチュラルビデオとして知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲ＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、以降「空間マージ」と呼ばれる技術が、図２を参照して説明される。

図２を参照すると、現在ブロック（２０１）は、空間的にシフトされた同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（復号化順において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、２０２から２０６）と表されている５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用している同じ参照ピクチャからの予測子を使用することができる。

開示の態様は、ビデオ符号化／復号化のための方法及び装置を提供する。いくつかの例で、ビデオ復号化のための装置は受信回路及び処理回路を含む。処理回路は、現在ピクチャ内の再構成されるべきクロマブロックの予測情報を復号する。予測情報は、クロスコンポーネント線形モデル（Cross-Component Linear Model，ＣＣＬＭ）モードがクロマブロックに適用されることを示す。クロマブロック内の第１領域について、ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整パラメータが、現在ピクチャ内のコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて、決定され得る。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の１つ以上のサンプルを含まない。クロマブロック内の第１領域の第１の更新されたオフセットパラメータが、オフセットパラメータ及び第１調整パラメータに基づいて決定され得る。クロマブロック内の第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、クロマブロック内の第１領域は、クロマブロック全体を含む。コロケートしているルーマブロック内の再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の１つのサンプルである。第１調整パラメータは、コロケートしているルーマブロック内のその１つのサンプルのサンプル値であるよう決定され得る。

例において、第１領域は、クロマブロック全体を含む。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の複数のサンプルを含む。第１調整パラメータは、コロケートしているルーマブロック内のそれら複数のサンプルのサンプル値の平均であるよう決定され得る。

例において、第１領域は、クロマブロック全体を含む。予測情報は、コロケートしているルーマブロック内のサンプルのうちのどれが再構成サンプルの第１サブセットに含まれるかを更に示す。

例において、クロマブロックは、第２領域を更に含む。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の第１サンプルである。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、コロケートしているルーマブロック内の第２サンプルに基づいて決定され得る。一例において、第２サンプルは第１サンプルとは異なる。第２領域の第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、コロケートしているルーマブロックは、クロマブロック内の第１領域及び第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含む。再構成サンプルの第１サブセットは、第１ルーマ領域内の複数のサンプルを含む。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、第２ルーマ領域内の複数のサンプルに基づいて決定され得る。第２領域の第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、再構成サンプルの第１サブセットは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルを含む。第１調整パラメータは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルの平均であるよう決定され得る。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータは、第２ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、右下サンプルの平均であるよう決定され得る。第２領域の第２の更新されたオフセットパラメータは、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、第１領域について、更新されたスケーリングパラメータは、ＣＣＬＭモードで使用されるスケーリングパラメータと、スケーリングパラメータを調整するために使用される調整パラメータとの和であるよう、決定され得る。第１の更新されたオフセットパラメータは、（ｂ－ｕ×ｙ_ｒ）であるよう決定され得、このとき、ｂはオフセットパラメータであり、ｕは、スケーリングパラメータを調整するために使用される調整パラメータであり、ｙ_ｒは第１調整パラメータである。クロマブロック内の第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータ及び更新されたスケーリングパラメータに基づいて再構成され得る。

例において、第１領域について、スケーリングパラメータを調整するために使用される調整パラメータは、（ｉ）コロケートしているルーマブロックの１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルと、（ｉｉ）コロケートしているルーマブロック内のサンプルとに基づいて、決定される。

例において、第１領域について、スケーリングパラメータを調整するために使用される調整パラメータは、１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルの平均とコロケートしているルーマブロック内のサンプルの平均との間の差に基づいて、決定される。

実施形態において、クロマブロック内の第１領域について、処理回路は、現在ピクチャ内でクロマブロックとコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて、ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整値を決定する。再構成サンプルの第１サブセットは、ルーマブロック内の１つ以上のサンプルを含まない。処理回路は、第１調整値に基づいて、オフセットパラメータを更新する。処理回路は、ルーマブロック内の再構成サンプルの第２サブセットに基づいて、ＣＣＬＭモードでの勾配パラメータを変更するために使用される第２調整値を決定し、第２調整値に基づいて勾配パラメータを更新する。処理回路は、ＣＣＬＭモードを用いて、更新されたオフセットパラメータ及び更新された勾配パラメータに少なくとも基づいてクロマブロック内の第１領域を再構成することができる。

例において、再構成サンプルの第２サブセットは、再構成サンプルの第１サブセットを含む。

例において、処理回路は、ルーマブロック全体内の再構成サンプルに基づいて第２調整値を決定する。

本開示の態様は、ビデオ復号化用のコンピュータによって実行されると、コンピュータに、ビデオ復号化のための方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体も提供する。

開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるだろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の説明図である。 現在ブロック（２０１）及び周囲サンプルの例を示す。 通信システム（３００）の例示的なブロック図の模式図である。 通信システム（４００）の例示的なブロック図の模式図である。 デコーダの例示的なブロック図の模式図である。 エンコーダの例示的なブロック図の模式図である。 例示的なエンコーダのブロック図を示す。 例示的なデコーダのブロック図を示す。 現在ブロックの例示的な参照サンプルを示す。 クロスコンポーネント線形モデル（ＣＣＬＭ）モードで使用される再構成された隣接ルーマサンプル及び再構成された隣接クロマサンプルの例を示す。 ＣＣＬＭモードで使用される再構成された隣接ルーマサンプル及び再構成された隣接クロマサンプルの例を示す。 Ａ及びＢは、ＣＣＬＭモードで使用されるパラメータ調整の例を示す。 調整パラメータを決定するために使用されるコロケートしているルーマブロック内の選択されたルーマサンプルの同じ位置の例を示す。 例示的なクロマブロック及びコロケートしているルーマブロックを示す。 例示的なクロマブロック及びコロケートしているルーマブロックを示す。 本開示のいくつかの実施形態に係る符号化プロセスを説明するフローチャートを示す。 本開示のいくつかの実施形態に係る復号化プロセスを説明するフローチャートを示す。 実施形態に係るコンピュータシステムの模式図である。

図３は、通信システム（３００）の例示的なブロック図を表す。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１対を含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のためにビデオデータ（例えば、端末デバイス（３１０）によって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（３２０）は、コーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータを復号してビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。

他の例では、通信システム（３００）は、例えば、ビデオ会議中に、コーディングされたビデオデータの双方向伝送を実行する端末デバイス（３３０）及び（３４０）の第２対を含む。データの双方向伝送のために、例において、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスへの伝送のためにビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータを復号してビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして夫々表されているが、本開示の原理はそのように制限されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（３５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間でコーディングされたビデオデータを伝達する任意数のネットワークに相当する。通信ネットワーク（３５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、以降で説明されない限りは本開示の動作に無関係であることができる。

図４は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダを表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ストリーミングサービスと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。

ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（４０２）を生成するビデオソース（４０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（４１３）を含んでよい。例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（４０１）へ結合されたビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にする又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム（４０４））は、ビデオピクチャのストリーム（４０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、電子デバイス（４３０）において、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、符号化されたビデオデータの入来するコピー（４０７）を復号し、ディスプレイ（４１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリングされ得るビデオピクチャの送出ストリーム（４１１）を生成する。いくつかのストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化され得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。

電子デバイス（４２０）及び（４３０）は、他のコンポーネント（図示せず。）を含むことができることが知られる。例えば、電子デバイス（４２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。

図５は、ビデオデコーダ（５１０）の例示的なブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれ得る。電子デバイス（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用できる。

受信器（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受信してよい。実施形態において、一度に１つのコーディングされたビデオシーケンスが受信され、夫々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスの復号化から独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、符号化されたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（５３１）は、符号化されたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（５１５）が受信器（５３１）とエントロピデコーダ／パーサ（５２０）（以降「パーサ（５２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の部分である。他では、それは、ビデオデコーダ（５１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（５１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（５１０）内のもう１つのバッファメモリ（５１５）とが存在することができる。受信器（５３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（５１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（５１５）は必要とされる場合があり、比較的に大きくかつ有利なことには適応サイズであることができ、ビデオデコーダ（５１０）の外のオペレーティングシステム又は同様の要素（図示せず。）に少なくとも部分的に実装され得る。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（５３０）の必須部分でないが、図５に示されたように、電子デバイス（５３０）へ結合され得るレンダーデバイス（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、Supplementary Enhancement Information（ＳＥＩ）メッセージ又はVideo Usability Information（ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（５２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピ復号してよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）、などを含むことができる。パーサ（５２０）はまた、変換係数などのコーディングされたビデオシーケンス情報から、量子化パラメータ値、動きベクトル、なども抽出し得る。

パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピ復号化／パーシング動作を実行してよい。

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多種多様なユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。

既に述べられた機能ブロックを超えて、ビデオデコーダ（５１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。

第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、量子化された変換係数とともに、使用するために変換するもの、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）へ入力することができるサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換器（５５１）の出力サンプルは、イントラコーディングされたブロックに関係することができる。イントラコーディングされたブロックは、前に再構成されたピクチャからの予測情報を使用しておらず、現在ピクチャの前に再構成された部分からの予測情報を使用することができるブロックである。かような予測情報は、イントラピクチャ予測ユニット（５５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって供給される出力サンプル情報に加える。

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、そして潜在的に動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（５５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形で動き補償予測ユニット（５５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータによって制御される。ビデオ圧縮は、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号化順において）前の部分の復号化中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することができる。

ループフィルタユニット（５５６）の出力は、レンダーデバイス（５１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであることができる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てられ得る。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの規格における所定のビデオ圧縮技術に従って復号化動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格のシンタックス及びビデオ圧縮技術又は規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能な全てのツールからそのプロファイルの下での使用のために利用可能な唯一のツールとして特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される制限は、いくつかの場合に、Hypothetical Reference Decoder（ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて更に制限され得る。

実施形態において、受信器（５３１）は、符号化されたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分としても含まれてもよい。追加のデータは、ビデオデコーダ（５１０）によって、データを適切に復号するために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。

図６は、ビデオエンコーダ（６０３）の例示的なブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれている。電子デバイス（６２０）は、送信器（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用され得る。

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（６０１）（図６の例では電子デバイス（６２０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（６０１）は、電子デバイス（６２０）の部分である。

ビデオソース（６０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（６０１）は、前に準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。

実施形態に従って、ビデオエンコーダ（６０３）は、実時間において又は必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（６４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（６５０）の一機能である。いくつかの実施形態において、コントローラ（６５０）は、以下で記載されるような他の機能ユニットを制御し、それらのユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（６５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関係する他の適切な機能を有するよう構成され得る。

いくつかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（遠隔の）デコーダも生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）へ入力される。シンボルストリームの復号化は、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。

“ローカル”のデコーダ（６３３）の動作は、図５とともに先に詳細に既に説明されている、ビデオデコーダ（５１０）などの“遠隔”のデコーダと同じであることができる。一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号化が可逆であることができるということで、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピ復号化部分は、ローカルのデコーダ（６３３）において完全には実装されなくてもよい。

実施形態において、デコーダに存在するパーシング／エントロピ復号化を除くデコーダ技術は、対応するエンコーダにおいて、同じか又は実質的に同じ機能形態で存在する。従って、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲において、より詳細な説明が以下で与えられている。

動作中、いくつかの例において、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。

ローカルのビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号してよい。コーディングエンジン（６３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図６には図示せず。）で復号され得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号化プロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納されるようにしてよい。このように、ビデオエンコーダ（６０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）のための予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（６３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（６３４）から探してよい。予測器（６３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。

コントローラ（６５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング動作を管理してよい。

上記の全ての機能ユニットの出力は、エントロピコーダ（６４５）においてエントロピコーディングを受けてよい。エントロピコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルに可逆圧縮を適用することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。

送信器（６４０）は、エントロピコーダ（６４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（６６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（６６０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、コントローラ（６５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。

イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずにコーディング及び復号され得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立したデコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴に気づく。

予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及び復号され得るピクチャであってよい。

双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及び復号され得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって定められているシンタックスに従い得る。

実施形態において、送信器（６４０）は、符号化されたビデオとともに追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント、などを有してよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在ピクチャと呼ばれる、符号化／復号化中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のあるブロックが、ビデオ内の前にコーディングされた依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在ピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在ピクチャに対して復号化順において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。

更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。

本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどのＣＵのための予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（符号化／復号化）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。

図７は、ビデオエンコーダ（７０３）の例示的な図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャの連続に含まれる現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックを符号化するよう構成される。例において、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するようイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックを符号化するようインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在することがある。例において、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように結合されているインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従う残差情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、符号化されたビデオ情報に基づいて復号されている復号された参照ピクチャである。

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従うイントラ予測方向情報）も生成するよう構成される。例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）へ供給する。例えば、モードがイントラモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。モードがインターモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。

残差計算部（７２３）は、受け取られたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、変換係数を生成するよう残差データを符号化するように残差データに基づいて動作するよう構成される。例において、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するよう構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するよう適切に処理され、復号されたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。

エントロピエンコーダ（７２５）は、符号化されたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（７２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報は存在しない点に留意されたい。

図８は、ビデオデコーダ（８１０）の例示的な図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用される。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように結合されているエントロピデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。

エントロピデコーダ（８７１）は、コーディングされたピクチャから、シンタックス要素を表す特定のシンボルを再構成するよう構成され得、それらから、コーディングされたピクチャは構成されている。かようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）を含むことができる。シンボルはまた、例えば、量子化された変換係数などの形をとる残差情報を含むこともできる。例において、予測モードがインター又は双予測モードである場合には、インター予測情報がインターデコーダ（８８０）へ供給され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（８７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）へ供給される。

インターデコーダ（８８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。

残差デコーダ（８７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（８７１）によって供給されてよい（これは低容量の制御情報のみであるということで、データパスは示されない。）。

再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力された残差情報と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行され得ることが知られる。

ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、如何なる適切な技術によっても実装可能であることが知られる。実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。

イントラ予測又はイントラ予測モードでは、コーディングブロックのサンプル値は、既に再構成された又は再構成されている隣接サンプル（参照サンプルと呼ばれる）である隣接サンプルから予測できる。

イントラ予測の例は、指向性イントラ予測である。指向性イントラ予測では、現在ブロック内のサンプル（例えば、現在サンプル）が、参照サンプル（例えば、予測サンプル）又は保管された参照サンプルを用いて予測できる。例えば、現在サンプルと予測サンプルとの間の接続されたリンクは、角度モードで使用されるような所与の角度方向を形成する。

イントラ予測の他の例では、サンプル補間に基づくプレーナーモードが使用される。プレーナーモードでは、現在ブロック内又はその周りの１つ以上のキーポジションが、隣接ル参照サンプルを用いて予測できる。現在ブロック内の他のポジションは、１つ以上のキーポジションにあるサンプルと参照サンプルとの線形結合として予測できる。重み（結合重み）は、現在ブロック内の現在サンプルの位置に従って決定されてよい。

例えばＶＶＣなどで見られるような、プレーナーモードの一例は、次のように計算される。

図９を参照すると、現在ブロック（９００）は、現在ブロック（９００）内のポジション（０，０）から（Ｈ－１，Ｗ－１）にあるサンプルを含む。Ｗ及びＨは夫々、現在ブロック（９００）の幅及び高さである。現在ブロック（９００）内のポジション（ｘ，ｙ）（ｘ＝０，１，・・・又はＷ－１、及びｙ＝０，１，・・・又はＨ－１）にある現在サンプルの予測サンプル値ｐｒｅｄ［ｘ］［ｙ］は、式１～３に示されるように、参照サンプル値（例えば、ポジション（－１，ｙ）、（ｘ，－１）、（－１，Ｈ）及び（Ｗ，－１）に夫々位置している参照サンプルのｐ［－１］［ｙ］、ｐ［ｘ］［－１］、ｐ［－１］［Ｈ］及びｐ［ｗ］［－１］）の加重平均として求めることができる。参照サンプルは、現在サンプルと同じ行にあるポジション（－１，ｙ）に位置している参照サンプルと、現在サンプルと同じ列にあるポジション（ｘ，－１）の参照サンプルと、現在ブロックに対して左下ポジション（－１，Ｈ）の参照サンプルと、現在ブロックに対して右上ポジション（Ｗ，－１）の参照サンプルとを含むことができる。

上述されたように、参照サンプルの参照サンプル値は、ポジション（－１，ｙ）に位置している参照サンプルのｐ［－１］［ｙ］、ポジション（ｘ，－１）に位置している参照サンプルｐ［ｘ］［－１］、左下ポジション（－１，Ｈ）に位置している参照サンプルのｐ［－１］［Ｈ］、及び右上ポジション（Ｗ，－１）に位置している参照サンプルの［Ｗ］［－１］を含むことができる。式１に示される例では、垂直予測子ｐｒｅｄＶ［ｘ］［ｙ］が、ポジション（ｘ，－１）及び（－１，Ｈ）に位置している参照サンプルに基づいて決定される。式２に示される例では、水平予測子ｐｒｅｄＨ［ｘ］［ｙ］が、ポジション（－１，ｙ）及び（Ｗ，１）に位置している参照サンプルに基づいて決定される。式３では、予測サンプル値ｐｒｅｄ［ｘ］［ｙ］が、水平予測子ｐｒｅｄＨ［ｘ］［ｙ］及び垂直予測子ｐｒｅｄＶ［ｘ］［ｙ］の平均（例えば、加重平均）に基づいて決定される。

クロスコンポーネント線形モデル予測（ＣＣＬＭ）モードは、クロスコンポーネント予測法である。ＣＣＬＭにおいて、クロマサンプルは、線形モデルを用いて、再構成されたルーマサンプルに基づいて予測できる。線形モデルは、現在ブロック（例えば、コーディングされるべきクロマブロック）の隣接している既に再構成されたサンプルによって形成され得る。いくつかの実施形態において、予測性能は、ルーマチャネル及びクロマチャネルの線形相関が高い場合に高い。

実施形態において、クロマブロック（例えば、現在Ｃｂブロック又は現在Ｃｒブロック）は、コロケートしているルーマブロックに基づいて予測される。クロマブロックの予測ブロックｐｒｅｄ＿Ｃは、次のように導出できる：

このとき、クロマブロックの予測ブロックｐｒｅｄ＿Ｃ内のサンプルｐｒｅｄ＿Ｃ（ｘ，ｙ）は、既に再構成されているコロケートしているルーマブロック内のサンプルに基づいて決定され得る。

ｐｒｅｄ＿Ｃ（ｘ，ｙ）は、（例えば、現在ピクチャのクロマチャネル又はクロマピクチャ内の）クロマブロックのサンプル位置（ｘ，ｙ）にある予測されたクロマサンプルを表す。Ｒｅｃ＿Ｌ’（ｘ，ｙ）は、既に再構成されている（例えば、現在ピクチャのルーマチャネル又はルーマピクチャ内の）コロケートしているルーマブロック内の再構成されたサンプルから決定され得る。Ｒｅｃ＿Ｌ’（ｘ，ｙ）は、コロケートしているルーマブロック内の再構成されたルーマサンプル又はコロケートしているルーマブロックのダウンサンプリングされたルーマサンプルを表すことができる。

例において、Ｒｅｃ＿Ｌ’は、例えば、カラーフォーマットが４：４：４であり、クロマブロックのサイズがコロケートしているルーマブロックのサイズと同じであるときに、既に再構成されているコロケートしているルーマブロックである。よって、Ｒｅｃ＿Ｌ’（ｘ，ｙ）は、再構成されたサンプルがクロマブロックのサンプル位置（ｘ，ｙ）に対応するコロケートしているルーマブロック内の再構成されたサンプルを表すことができる。

例において、Ｒｅｃ＿Ｌ’は、既に再構成されているコロケートしているルーマブロックとは異なる。現在クロマブロックは、コロケートしているルーマブロックとコロケートし、ルーマチャネル及びクロマチャネルは異なる分解能を有している。例において、カラーフォーマットが４：２：０であるとき、ルーマブロックの分解能は、垂直方向及び水平方向の両方でクロマブロックの分解能の２倍である。従って、カラーフォーマットが４：２：０であるとき、Ｒｅｃ＿Ｌ’は、線形モデルの導出中にクロマブロックサイズと一致するよう、対応するルーマブロックのダウンサンプリングされたブロックであることができる。いくつかの実施形態において、コロケートしているルーマブロックは、カラーフォーマットが４：４：４であるときにダウンサンプリングされる。

式４のパラメータ（例えば、モデルパラメータ）ａ及びｂは、式４に示される線形モデルにおける勾配及びオフセットを表すことができ、夫々、勾配パラメータ及びオフセットパラメータと呼ばれ得る。式４のパラメータａ及びｂは、（ｉ）クロマチャネル内の現在クロマブロック及び（ｉｉ）ルーマチャネル内のコロケートしているルーマブロックの周りの再構成された隣接サンプル（例えば、クロマサンプル及びルーマサンプル）から導出され得る。パラメータａ及びｂは、任意の適切な方法により決定され得る。

例において、パラメータａ及びｂは、古典的な線形回帰理論により決定される。（ｉ）再構成された隣接ルーマサンプル又は再構成された隣接ルーマサンプルのダウンサンプリングされたサンプルと（ｉｉ）再構成された隣接クロマサンプルとの間の最小の線形最小二乗解が、以下でパラメータａ及びｂを導出するために適用され得る。

式５及び式６で、Ｎ個の再構成された隣接クロマサンプルＲｅｃ＿Ｃ（ｉ）及びＮ個の対応するルーマサンプルＲｅｃ＿Ｌ’（ｉ）が使用される。例において、例えば、カラーフォーマットが４：４：４であるとき、Ｎ個の対応するルーマサンプルＲｅｃ＿Ｌ’（ｉ）は、ルーマブロックのＮ個の再構成された隣接ルーマサンプルを含む。例において、例えば、カラーフォーマットが４：２：０であるとき、Ｎ個の対応するルーマサンプルＲｅｃ＿Ｌ’（ｉ）は、ルーマブロックの再構成された隣接ルーマサンプルのＮ個のダウンサンプリングされたサンプルを含む。ｉは、１からＮまでの整数であることができる。

パラメータａ及びｂを決定するために使用されるＮ個の再構成された隣接クロマサンプルは、クロマブロックの任意の適切な、既に再構成された隣接サンプルを含むことができる。パラメータａ及びｂを決定するために使用される再構成された隣接ルーマサンプルは、コロケートしているルーマブロックの任意の適切な、既に再構成された隣接サンプルを含むことができる。

ＣＣＬＭモードの予測プロセスは、（１）コロケートしているルーマブロック及びコロケートしているルーマブロックの再構成された隣接ルーマサンプルをダウンサンプリングして、Ｒｅｃ＿Ｌ’及びダウンサンプリングされた隣接ルーマサンプルを取得し、そのようにして、対応するクロマブロックのサイズに適合させるステップと、（２）例えば式５及び式６を用いて、ダウンサンプリングされた隣接ルーマサンプル及び再構成された隣接クロマサンプルに基づいてパラメータａ及びｂを導出するステップと、（３）ＣＣＬＭモデル（例えば、式４）を適用してクロマ予測ブロックＰｒｅｄ＿Ｃを生成するステップとを含むことができる。いくつかの例において、ステップ（１）は、コロケートしているルーマブロック及びクロマブロックの空間分解能が同じであるときには省略され、ステップ（２）は、再構成された隣接ルーマサンプルに基づく。

図１０は、ＣＣＬＭ導出で使用される再構成された隣接ルーマサンプル及び再構成された隣接クロマサンプルの例を示す。クロマブロック（１０００）は再構成中である。クロマブロック（１０００）の幅及び高さは夫々、Ｍ（例えば、８）及びＮ（例えば、４）である。Ｎ及びＭは正の整数であることができる。クロマブロック（１０００）とコロケートしているルーマブロック（例えば、コロケートしているルーマブロック）（１００１）は、クロマブロック（１０００）を予測するために使用される。ルーマブロック（１００１）はルーマサンプル（１０４０）を含む。ルーマブロック（１００１）は、任意の適切な幅及び任意の適切な高さを有することができる。図１０に示される例では、ルーマブロック（１００１）の幅及び高さは夫々、２Ｍ（例えば、１６）及び２Ｎ（例えば、８）である。

クロマブロック（１０００）の隣接クロマサンプル（１０１０）（例えば、陰影付き）は既に再構成されている。ルーマブロック（１００１）の隣接ルーマサンプル（１０２０）は既に再構成されている。隣接クロマサンプル（１０１０）は、上隣接クロマサンプル（１０１１）及び左隣接クロマサンプル（１０１２）を含むことができる。ルーマブロック（１００１）の隣接ルーマサンプル（１０２０）は、上隣接ルーマサンプル（１０２１）及び左隣接ルーマサンプル（１０２２）を含むことができる。

図１０の例では、隣接ルーマサンプル（１０２０）は、隣接クロマサンプルの数（例えば、１２）と一致するように、ダウンサンプリングされた隣接ルーマサンプル（１０３０）（例えば、陰影付き）を生成するようサブサンプリング又はダウンサンプリングされる。図１０に示される例では、隣接クロマサンプル（１０１０）及びダウンサンプリングされた隣接ルーマサンプル（１０３０）は、例えば式５及び式６に示されるように、パラメータａ及びｂを決定するために使用され得る。

例において、クロマブロック（１０００）の隣接クロマサンプルは、上隣接クロマサンプル（１０１１）のみを含み、左隣接クロマサンプル（１０１２）を含まない。それに応じて、ルーマブロック（１００１）の隣接ルーマサンプルは、上隣接ルーマサンプル（１０２１）のみを含み、左隣接ルーマサンプル（１０２２）を含まない。上述されたように、上隣接ルーマサンプル（１０２１）は、上隣接クロマサンプル（１０１１）の数（例えば、８）と一致するように、ダウンサンプリングされ得る（例えば、ダウンサンプリングされたルーマサンプルは陰影付きである。）。

例において、クロマブロック（１０００）の隣接クロマサンプルは、左隣接クロマサンプル（１０１２）のみを含み、上隣接クロマサンプル（１０１１）を含まない。それに応じて、ルーマブロック（１００１）の隣接ルーマサンプルは、左隣接ルーマサンプル（１０２２）のみを含み、上隣接ルーマサンプル（１０２１）を含まない。上述されたように、左隣接ルーマサンプル（１０２２）は、左隣接クロマサンプル（１０１２）の数（例えば、４）と一致するように、ダウンサンプリングされ得る（例えば、ダウンサンプリングされたルーマサンプルは陰影付きである。）。

いくつかの例において、クロマブロック（１０００）の隣接する再構成ブロック内のクロマサンプルと、ルーマブロック（１００１）の隣接する再構成ブロック内の対応するルーマサンプルとは、パラメータａ及びｂを決定するために使用され得る。

クロマブロック（１０００）は、Ｃｂチャネル内のＣｂブロック及びＣｒチャネル内のＣｒブロックであることができる。例において、クロマチャネル（例えば、Ｃｒ又はＣｂ）ごとに、パラメータａ及びｂは別々に決定できる。例えば、Ｃｒブロックのパラメータａ及びｂは、Ｃｒブロックのクロマ再構成隣接サンプルに基づいて決定され、Ｃｂブロックのパラメータａ及びｂは、Ｃｂブロックのクロマ再構成隣接サンプルに基づいて決定される。

図１０は、長方形形状を有するクロマブロック（１０００）の場合にＣＣＬＭ導出に使用される再構成隣接ルーマサンプル及び再構成隣接クロマサンプルの例を示す。図１０の例は、正方形形状などの任意の形状を有するクロマブロック及びコロケートしているルーマブロックに適応可能である。図１１は、クロマブロック（１１００）のＣＣＬＭ導出に使用される再構成隣接ルーマサンプル（１１２０）及び再構成隣接クロマサンプル（１１１０）の例を示す。クロマブロック（１１００）の幅及び高さは夫々、Ｗ１（例えば、８）及びＨ１（例えば、８）であり、Ｗ１はＨ１に等しい。クロマブロック（１１００）とコロケートしているルーマブロック（例えば、コロケートしているルーマブロック）（１１０１）は、クロマブロック（１１００）を予測するために使用される。ルーマブロックの幅及び高さは夫々、２Ｗ１（例えば、１６）及び２Ｈ１（例えば、１６）である。

いくつかの実施形態において、線形モデルパラメータａ及びｂを生成するために使用される参照サンプルは、ノイズが多く、及び／又は実際の予測ブロック内の内容をあまり代表していない。よって、予測は、コーディング効率に関して次善である可能性がある。従って、例えば、クロマサンプル予測のためのよりコンテンツに適応した線形モデルを開発することが有利であり得る。

本開示は、イメージ及びビデオ圧縮におけるクロスコンポーネント予測のための適応パラメータ選択について記載する。実施形態において、ＣＣＬＭ予測で使用される勾配パラメータ及び／又はオフセットパラメータ（例えば、パラメータａ及び／又はパラメータｂ）は、適応的に調整され、よって、線形モデルは、クロマサンプル予測にとってよりコンテンツ適応的であることができる。例えば、線形モデル（例えば、パラメータａ及び／又はパラメータｂ）は、コロケートしているルーマブロックの内容により適応している。例において、クロマブロックの内容は、コロケートしているルーマブロックの内容に関係しているので、ＣＣＬＭ予測は、クロマブロックの内容に適応することができる。

勾配パラメータ及び／又はオフセットパラメータに対する調整は、コロケートしているルーマブロック内のルーマサンプル値の特性に従ってクロマサンプル値がルーマサンプル値からマッピングされ得るように、ルーマサンプル値をクロマサンプル値にマッピングする線形モデル（例えば、式４）を変更することができる。

上述されたように、ＣＣＬＭモードでは、２つのパラメータ（例えば、式４のパラメータａ及びｂ）を伴うモデルが、ルーマ値をクロマ値にマッピングするために使用される。勾配パラメータａ及びオフセットパラメータｂが式４では使用される。パラメータａ及びｂ（例えば、勾配パラメータ及びオフセットパラメータ）の調整は、式４の線形モデルを式７の更新された線形モデルに更新するために用いることができる。

式７において、更新された勾配パラメータａ’は、勾配パラメータａの関数、例えば、ａ’＝ｆ１（ａ）であり、更新されたオフセットパラメータｂ’は、オフセットパラメータの関数、例えば、ｂ’＝ｆ２（ｂ）である。パラメータａ及びｂに対する調整は、局所サンプル情報、例えば、コロケートしているルーマブロックの局所ルーマ再構成サンプル情報に基づくことができる。

図１２Ａ及び図１２Ｂは、ＣＣＬＭで使用されるパラメータ調整の例を示す。図１２Ａは、式４によるＣＣＬＭを示す。予測されたクロマサンプル値（例えば、ＣｂブロックのＣｂ又はＣｒブロックのＣｒ）は、対応するルーマ値（例えば、Ｙ）と式４に対応する線形関係（１２０１）を有し、線形関係（１２０１）の勾配は、勾配パラメータａであり、線形関係（１２０１）のオフセットは、オフセットパラメータｂである。図１２Ｂは、式４及び式７に夫々対応する２つの線形関係（１２０１）及び（１２０２）を示す。式７に対応する線形関係（１２０２）では、予測されたクロマサンプル値（例えば、ＣｂブロックのＣｂ又はＣｒブロックのＣｒ）は、対応するルーマ値（例えば、Ｙ）と線形関係１２０２を有し、勾配は、更新された勾配パラメータａ’であり、オフセットは、更新されたオフセットパラメータｂ’である。

図１２Ｂに示される例では、更新された勾配パラメータａ’は、勾配パラメータａの線形関係であり、ａ’は（ａ＋ｕ）である。勾配パラメータａを調整するために使用される調整パラメータｕは、勾配調整パラメータ“ｕ”と呼ばれ得る。更新されたオフセットパラメータｂ’は、オフセットパラメータｂの線形関数であることができる。例において、ｂ’＝ｂ－ｕ×ｙ_ｒである。オフセットパラメータｂを調整するために使用される調整パラメータｙ_ｒは、オフセット調整パラメータ“ｙ_ｒ”と呼ばれ得る。図１２Ｂを参照すると、調整（例えば、ａ’＝ａ＋ｕ及びｂ’＝ｂ－ｕ×ｙ_ｒ）により、線形関係（１２０１）（例えば、式４で使用されるマッピング関数）は、線形関係（１２０２）を生成するよう点（１２０３）の周りで回転されるか又は傾けられる。例において、調整パラメータｙ_ｒは、線形関係（１２０１）及び（１２０２）が交差する点（１２０３）での輝度値（例えば、ｙ_ｒであるＹ）を表す。

例において、勾配パラメータ及びオフセットパラメータは調整される。例において、勾配パラメータ及びオフセットパラメータのうちの一方が調整される。いくつかの例において、調整パラメータｕ及びｙ_ｒは決定又は導出される。いくつかの例において、調整パラメータｕ及びｙ_ｒの一方が決定される。

ａ’（例えば、ａ’＝ａ＋ｕ）及びｂ’（例えば、ｂ’＝ｂ－ｕ×ｙ_ｒ）の調整式において、調整パラメータｕはシグナリング又は導出され得る。調整パラメータｕの値は、正又は負のどちらかであることができる。ｂ’＝ｂ－ｕ×ｙ_ｒなどでオフセットパラメータｂを調整するために使用される調整パラメータｙ_ｒは、コロケートしているルーマブロックに基づいて決定され得る。例えば、調整パラメータｙ_ｒは、コロケートしているルーマブロック内の各々の参照ルーマサンプルの選択された値に基づいて決定される。

ＣＣＬＭで、式７は、コロケートしているルーマブロック（例えば、ルーマブロック（１００１））に基づいてクロマブロック（例えば、クロマブロック（１０００））を予測するために使用できる。上述されたように、更新されたオフセットパラメータｂ’は、オフセットパラメータｂの線形関数であることができ、例えば、ｂ’は（ｂ－ｕ×ｙ_ｒ）である。本開示の実施形態に従って、オフセットパラメータｂを調整するために使用される調整パラメータｙ_ｒは、コロケートしているルーマブロック（例えば、ルーマブロック（１００１））内のルーマサンプルのサブセットに基づいて決定され得る。実施形態において、コロケートしているルーマブロック（例えば、ルーマブロック（１００１））内のルーマサンプルのサブセットは、コロケートしているルーマブロック内の１つ以上のサンプルを含まない。

図１３は、調整パラメータｙ_ｒを決定するために使用され得るコロケートしているルーマブロック（１３００）内の選択されたルーマサンプルのサンプルポジションの例を示す。コロケートしているルーマブロック（１３００）は、コーディングされるべき（例えば、再構成されるべき）クロマブロックとコロケートしている。コロケートしているルーマブロック（１３００）は、既に再構成されているルーマサンプル（例えば、参照ルーマサンプル）を含む。コロケートしているルーマブロック（１３００）又はコロケートしているルーマブロック（１３００）からダウンサンプリングされるダウンサンプリングされたルーマブロックは、クロマブロックを予測するために式７でＲｅｃ＿Ｌ’として使用され得る。更に、コロケートしているルーマブロック（１３００）内の選択されたルーマサンプルのうちの１つ以上は、調整パラメータｙ_ｒを決定するために使用され得る。

コロケートしているルーマブロック（１３００）内のルーマサンプルは、ルーマサンプル（例えば、選択されたルーマサンプル）（１３０１）～（１３０９）を含むことができる。ルーマサンプル（１３０１）～（１３０９）は、コロケートしているルーマブロック（１３００）の左上隅、中央上、右上隅、左端中央、中央、右端中央、左下隅、中央下、及び右下隅に夫々位置している。

調整パラメータｙ_ｒは、ルーマサンプル（１３０１）～（１３０９）のうちの１つのサンプル値として選択され得る。調整パラメータｙ_ｒは、ルーマサンプル（１３０１）～（１３０９）の中の複数のサンプルのサンプル値の平均（例えば、加重平均）として選択され得る。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の右下隅にあるルーマサンプル（１３０９）のサンプル値として選択される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の中央にあるルーマサンプル（１３０５）のサンプル値として選択される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の右端中央にあるルーマサンプル（１３０６）のサンプル値として選択される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の中央下にあるルーマサンプル（１３０８）のサンプル値として選択される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の左上隅（例えば、ルーマサンプル（１３０１）に対応）、右上隅（例えば、ルーマサンプル（１３０３）に対応）、又は左下隅（例えば、ルーマサンプル（１３０７）に対応）などのポジションからサンプル値として選択される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）の四隅（例えば、左上隅、右上隅、左下隅、及び右下隅）に位置しているルーマサンプル値（１３０１）、（１３０３）、（１３０７）及び（１３０９）などの特定のルーマサンプルのサンプル値の平均（例えば、加重平均）として決定される。

実施形態において、調整パラメータｙ_ｒは、コロケートしているルーマブロック（１３００）内のルーマサンプル（１３０１）～（１３０９）の中の複数のサンプルのサンプル値の平均（例えば、加重平均）として決定される。

ルーマサンプル（１３０１）～（１３０９）は、調整パラメータｙ_ｒを決定するために使用され得るコロケートしているルーマブロック（１３００）内のルーマサンプルの例である。ルーマサンプル（１３０１）～（１３０９）にない、コロケートしているルーマブロック（１３００）内のもう１つのルーマサンプル又は他のルーマサンプルが、調整パラメータｙ_ｒを決定するために使用されてもよい。

ＣＣＬＭモデルで使用されるパラメータａ及びｂを調整するためのコロケートしているルーマブロック内のルーマサンプルの選択は、異なるクロマブロック、又はコロケートしているルーマブロックがクロマブロックとコロケートしているところのそのクロマブロック内の異なる領域（例えば、サブブロック）に対して、より適応的にされ得る。

実施形態において、異なる調整パラメータｙ_ｒが異なるクロマブロックに使用される。例えば、各々のルーマブロック内の異なる位置に位置しているルーマサンプルが、異なるクロマブロックの調整パラメータｙ_ｒとして使用され得る。図１３のコロケートしているルーマブロック（１３００）とコロケートしているクロマブロックなどのクロマブロックの場合に、ルーマサンプル（１３０１）～（１３０９）のうちの１つなどの、利用可能な選択肢の中の１つが、当該クロマブロックのために使用され得る。例において、（ｉ）コロケートしているルーマブロック（１３００）の中心位置にあるルーマサンプル（１３０５）及び（ｉｉ）コロケートしているルーマブロック（１３００）の右下隅の位置にあるルーマサンプル（１３０９）のうちの１つが、オフセットパラメータｂを調整するために使用される調整パラメータｙ_ｒを決定するために選択され得る。クロマブロックの場合に、例えば、どのサンプルが調整パラメータｙ_ｒを決定するために使用されるかを示す選択インジケータが、シグナリング又は導出され得る。選択インジケータは、選択インデックス又は選択フラグであることができる。

異なるクロマブロックは、調整パラメータｙ_ｒを取得するよう異なる方法を有することができる。例において、第１クロマブロックのための選択インデックスは、第１クロマブロックの調整パラメータｙ_ｒが、第１クロマブロックとコロケートしている第１ルーマブロックの中心位置にあるルーマサンプルに基づき決定されることを示す。よって、第１クロマブロックの調整パラメータｙ_ｒは、第１ルーマブロックの中心位置にあるルーマサンプルに基づき決定される。第２クロマブロックのための選択インデックスは、第２クロマブロックの調整パラメータｙ_ｒが、第２クロマブロックとコロケートしている第２ルーマブロックの右端中央の位置にあるに基づき決定されることを示す。よって、第２クロマブロックの調整パラメータｙ_ｒは、第２ルーマブロックの右端中央の位置にあるルーマサンプルに基づき決定される。

実施形態において、クロマブロック内の異なる領域の調整パラメータｙ_ｒは、コロケートしているルーマブロック内の異なるサンプル値を用いて決定され得る。図１４は、クロマブロック（１４１０）及びクロマブロック（１４１０）とコロケートしているコロケートルーマブロック（１４００）の例を示す。クロマブロック（１４１０）は、例えば、クロマブロック（１４１０）の空間分解能がコロケートしているルーマブロック（１４００）の空間分解能と同じである（例えば、カラーフォーマットが４：４：４である）場合に、コロケートしているルーマブロック（１４００）に基づいて予測できる。クロマブロック（１４１０）は、例えば、クロマブロック（１４１０）の空間分解能がコロケートしているルーマブロック（１４００）の空間分解能とは異なる場合に、コロケートしているルーマブロック（１４００）からダウンサンプリングされるダウンサンプリングされたルーマサンプルに基づいて予測できる。

クロマブロック（１４１０）は、左上４分の１領域（１４１１）、右上４分の１領域（１４１２）、左下４分の１領域（１４１３）及び右下４分の１領域（１４１４）などの複数の領域（複数のクロマ領域とも呼ばれる。）を含む。クロマブロック（１４１０）内の複数の領域の夫々の調整パラメータｙ_ｒは、コロケートしているルーマブロック（１４００）内の各々のサンプルに基づいて決定され得る。

例えば、コロケートしているルーマブロック（１４００）の中心位置（１４０１）は、クロマブロック（１４１０）の左上４分の１領域（１４１１）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の右端中央の位置（１４０２）は、クロマブロック（１４１０）の右上４分の１領域（１４１２）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の下中央（１４０３）は、クロマブロック（１４１０）の左下４分の１領域（１４１３）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の右下隅の位置（１４０４）は、クロマブロック（１４１０）の右下４分の１領域（１４１４）の調整パラメータｙ_ｒを決定するために使用される。

実施形態において、クロマブロック（１４１０）内の複数の領域のうちの１つの調整パラメータｙ_ｒは、コロケートしているルーマブロック（１４００）内の対応する領域に基づいて決定される。例えば、コロケートしているルーマブロック（１４００）内の対応する領域は、クロマブロック（１４１０）内の複数の領域のうちの１つとコロケートしている。

図１４を参照すると、コロケートしているルーマブロック（１４００）は、クロマブロック（１４１０）内の複数のクロマ領域とコロケートしている複数の領域（複数のルーマ領域とも呼ばれる。）を含む。例えば、コロケートしているルーマブロック（１４００）内の複数のルーマ領域は、クロマブロック内の左上４分の１領域（１４１１）、右上４分の１領域（１４１２）、左下４分の１領域（１４１３）及び右下４分の１領域（１４１４）と夫々コロケートしている左上４分の１領域（１４２１）、右上４分の１領域（１４２２）、左下４分の１領域（１４２３）及び右下４分の１領域（１４２４）を含む。

例において、コロケートしているルーマブロック（１４００）の左上４分の１領域（１４２１）のルーマサンプル値の平均は、クロマブロック（１４１０）の左下４分の１領域（１４１１）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の右上４分の１領域（１４２２）のルーマサンプル値の平均は、クロマブロック（１４１０）の右上４分の１領域（１４１２）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の左下４分の１領域（１４２３）のルーマサンプル値の平均は、クロマブロック（１４１０）の左下４分の１領域（１４３１）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１４００）の右下４分の１領域（１４２４）のルーマサンプル値の平均は、クロマブロック（１４１０）の右下４分の１領域（１４１４）の調整パラメータｙ_ｒを決定するために使用される。

例において、クロマ領域（例えば、（１４１１））は更に複数のクロマサブ領域に分割され、コロケートしているルーマ領域（例えば、（１４２１））は更に複数のルーマサブ領域に分割される。領域（１４１１）内の各クロマサブ領域の調整パラメータｙ_ｒは、領域（１４２１）内の各々のルーマサブ領域のルーマサンプル値の平均に基づいて決定され得る。

図１５は、クロマブロック（１５１０）及びクロマブロック（１５１０）とコロケートしているコロケートルーマブロック（１５００）の例を示す。クロマブロック（１５１０）は、図１４で説明されたように、コロケートしているルーマブロック（１５００）、又はコロケートしているルーマブロック（１５００）からダウンサンプリングされるダウンサンプリングされたルーマサンプルに基づいて、予測できる。

クロマブロック（１５１０）は、左上４分の１領域（１５１１）、右上４分の１領域（１５１２）、左下４分の１領域（１５１３）及び右下４分の１領域（１５１４）などの複数のクロマ領域を含む。クロマブロック（１５１０）内の各クロマ領域の調整パラメータｙ_ｒは、コロケートしているルーマブロック（１５００）内の対応するルーマ領域の四隅に位置している４つのルーマサンプルなどの特定のルーマサンプル値の平均に基づいて決定され得る。

コロケートしているルーマブロック（１５００）は、クロマブロック（１５１０）内の複数のクロマ領域とコロケートしている複数のルーマ領域を含む。例えば、コロケートしているルーマブロック（１５００）内の複数のルーマ領域は、クロマブロック内の左上４分の１領域（１５１１）、右上４分の１領域（１５１２）、左下４分の１領域（１５１３）及び右下４分の１領域（１５１４）と夫々コロケートしている左上４分の１領域（１５２１）、右上４分の１領域（１５２２）、左下４分の１領域（１５２３）及び右下４分の１領域（１５２４）を含む。

例において、コロケートしているルーマブロック（１５００）の左上４分の１領域（１５２１）の四隅（１５０１）～（１５０４）でのルーマサンプル値の平均は、クロマブロック（１５１０）の左下４分の１領域（１５１１）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１５００）の右上４分の１領域（１５２２）の四隅でのルーマサンプル値の平均は、クロマブロック（１５１０）の右上４分の１領域（１５１２）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１５００）の左下４分の１領域（１５２３）の四隅でのルーマサンプル値の平均は、クロマブロック（１５１０）の左下４分の１領域（１５３１）の調整パラメータｙ_ｒを決定するために使用され、コロケートしているルーマブロック（１５００）の右下４分の１領域（１５２４）の四隅でのルーマサンプル値の平均は、クロマブロック（１５１０）の右下４分の１領域（１５１４）の調整パラメータｙ_ｒを決定するために使用される。

図１４及び図１５を参照して記載中、クロマブロック（例えば、１４１０）は４つの領域（例えば、（１４１１）～（１４１４））を含む。図１４及び図１５の説明は、Ｍが１よりも大きい整数である場合に、クロマブロックがＭ個の領域を含むときのクロマブロックに適用可能である。

再び図１４を参照すると、領域（１４１１）～（１４１４）は、クロマブロック（１４１０）内のサブブロックであることができる。クロマブロック（１４１０）に関連したインジケータは、クロマブロック（１４１０）のためのＣＣＬＭモードを示すことができる。クロマブロック（１４１０）内の各サブブロックは、図１４に記載される実施形態を用いて異なるように予測され得る。一例において、順変換又は逆変換が、クロマブロック（１４１０）全体を変換するためにクロマブロック（１４１０）全体に適用される。例において、クロマブロック（１４１０）は、領域（１４１１）～（１４１４）とは異なる複数のＴＢにパーティション化され、複数のＴＢの夫々は、適切な変換を用いて変換される。

図１４及び図１５に記載されるように、クロマブロック（例えば、（１４１０））内の異なる領域（例えば、領域（１４１１）～（１４１４））の調整パラメータｙ_ｒは、異なってもよい。例において、式６を用いて決定されるような、同じオフセットパラメータｂが異なる領域に使用され、異なる領域の対応する更新されたオフセットパラメータｂ’は、オフセットパラメータｂと、異なる領域の各々の調整パラメータｙ_ｒとに基づいて、取得され得る。例において、異なるオフセットパラメータｂは、異なる領域に使用され得る。

調整式（例えば、ａ’＝ａ＋ｕ及びｂ’＝ｂ－ｕ×ｙ_ｒ）の調整パラメータは、（ｉ）コロケートしているルーマブロック（例えば、ルーマブロック（１００１））の再構成された隣接ルーマサンプル（例えば、（１０２０））及び（ｉｉ）コロケートしているルーマブロック（例えば、ルーマブロック（１００１））内のコロケートしているルーマサンプル（例えば、（１０４０））に基づいて導出され得る。本開示の実施形態に従って、調整パラメータｕは、（ｉ）再構成された隣接ルーマサンプルと（ｉｉ）コロケートしているルーマブロック内のコロケートしているルーマサンプルとの間の差に基づいて導出され得る。

実施形態において、調整パラメータｕは、（ｉ）コロケートしているルーマブロックの再構成された隣接ルーマサンプルに基づいた第１平均（例えば、Ｒｅｃ＿Ｌ’（Ｎｅｉ）と呼ばれる。）と（ｉｉ）コロケートしているルーマブロック内のコロケートしているルーマサンプルに基づいた第２平均（Ｒｅｃ＿Ｌ’（Ｃｏｌ）と呼ばれる。）との間の差に基づいて決定される。例において、調整パラメータｕは、ｕ＝Ｍ（Ｒｅｃ＿Ｌ’（Ｃｏｌ）－Ｒｅｃ＿Ｌ’（Ｎｅｉ））＋Ｋのような、差の線形関数であり、Ｍ及びＫは定数である。例において、調整パラメータｕは、差の区分線形関数であり、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）及び第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）の差を調整パラメータｕの値にマッピングするようマッピングテーブルが設計される。

第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）は、コロケートしているルーマブロックの再構成された隣接ルーマサンプルの中の複数のサンプルの平均であることができる第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）は、コロケートしているルーマブロック内のコロケートしているルーマサンプルの中の複数のサンプルの平均であることができる。

例において、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）は、コロケートしているルーマブロック（例えば、（１００１））の再構成された全ての隣接ルーマサンプル（例えば、（１０２０））の平均である。例において、第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）は、コロケートしているルーマブロック（例えば、（１００１））内のコロケートしている全てのルーマサンプル（例えば、（１０４０））の平均である。

実施形態において、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）を計算するために使用されるコロケートしているルーマブロックの再構成された隣接ルーマサンプルは、式５及び式６で使用されるような、ＣＣＬＭパラメータａ及びｂを計算するのに使用される選択された隣接サンプルＲｅｃ＿Ｌ’（ｉ）である。図１０を参照すると、選択された隣接サンプルＲｅｃ＿Ｌ’（ｉ）は、左隣接ルーマサンプル（１０２２）、上隣接ルーマサンプル（１０２１）などのような、再構成された隣接ルーマサンプル（１０２０）内のサンプルのサブセットを含むことができる。

実施形態において、第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）は、コロケートしているルーマブロックから選択されたコロケートしているルーマサンプルのサブセットに基づいて決定され得る。図１３を参照すると、サンプル（１３０１）～（１３０９）のうちの１つ以上が、選択されたサブセット内で使用できる。

実施形態において、第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）を計算するために使用されるサンプルの数は、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）を計算するために使用されるサンプルの数に基づいてセットされる。お例えば、第２平均Ｒｅｃ＿Ｌ’（Ｃｏｌ）を計算するために使用されるサンプルの数は、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）を計算するために使用されるサンプルの数に等しいようセットされる。

いくつかの例において、第１平均Ｒｅｃ＿Ｌ’（Ｎｅｉ）は、コロケートしているルーマブロックの再構成された隣接ルーマサンプルのダウンサンプリングされた隣接サンプルに基づいて決定される。

例において、式５を用いて決定されるような、同じスケーリングパラメータａが、クロマブロック内の異なる領域に使用され、異なる領域の対応する更新されたスケーリングパラメータａ’は、スケーリングパラメータａ及び異なる領域の各々の調整パラメータｕに基づいて取得され得る。例において、異なるスケーリングパラメータａが異なる領域に使用されてもよい。

図１６は、本開示の実施形態に係るプロセス（例えば、符号化プロセス）（１６００）について説明するフローチャートを示す。プロセス（１６００）は、処理回路を含むことができるビデオコーディング用の装置によって実行され得る。様々な実施形態において、プロセス（１６００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実行する処理回路、などのような、装置内の処理回路によって実行される。いくつかの実施形態において、プロセス（１６００）は、ソフトウェア命令で実施されるので、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１６００）を実行する。プロセスは（Ｓ１６０１）から開始し、（Ｓ１６１０）へ進む。

（Ｓ１６１０）で、クロスコンポーネント線形モデル（ＣＣＬＭ）モードを使用して現在ピクチャ内で符号化されるべきクロマブロック内の第１領域について、ＣＣＬＭモードでのオフセットパラメータ（例えば、ｂ）を調整するために使用される第１調整パラメータ（例えば、ｙ_ｒ）が、現在ピクチャ内のコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて決定され得る。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の１つ以上のサンプルを含まない。

例において、クロマブロック内の第１領域は、クロマブロック全体を含む。コロケートしているルーマブロック内の再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の１つのサンプルである。第１調整パラメータは、図１３に記載されるように、コロケートしているルーマブロック内のその１つのサンプルのサンプル値であるよう決定され得る。

例において、第１領域は、クロマブロック全体を含む。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の複数のサンプルを含む。第１調整パラメータは、図１３に記載されるように、コロケートしているルーマブロック内のそれら複数のサンプルのサンプル値の平均であるよう決定され得る。

（Ｓ１６２０）で、第１の更新されたオフセットパラメータが、オフセットパラメータ及び第１調整パラメータに基づいて決定され得る。

（Ｓ１６３０）で、第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータに少なくとも基づいて符号化され得る。例において、ＣＣＬＭモードがクロマブロックに適用されることを示す予測情報が、符号化される。

符号化された第１領域及び予測領域は、コーディングされたビデオビットストリームに含められてよく、そして、デコーダへ送信される。

例において、第１領域は、クロマブロック全体を含む。予測情報は、コロケートしているルーマブロック内のサンプルのうちのどれが再構成サンプルの第１サブセットに含まれるかを更に示す。例において、コロケートしているルーマブロック内のサンプルのうちのどれが再構成サンプルの第１サブセットに含まれるかは、コーディングされたビデオビットストリームでシグナリングされる。

次いで、プロセスは、（Ｓ１６９９）へ進み、終了する。

プロセス（１６００）は、様々なシナリオに適切に適応でき、プロセス（１６００）のステップは、それに応じて調整できる。プロセス（１６００）のステップの１つ以上は、適応、省略、繰り返し、及び／又は結合され得る。如何なる適切な順序も、プロセス（１６００）を実装するために使用できる。追加のステップが加えられてもよい。

例において、クロマブロックは、第２領域を更に含む。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の第１サンプルである。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、コロケートしているルーマブロック内の第２サンプルに基づいて決定され得る。第２サンプルは第１サンプルとは異なってもよい。第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、クロマブロックは、第２領域を更に含む。コロケートしているルーマブロックは、第１領域及び第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含む。再構成サンプルの第１サブセットは、第１ルーマ領域内の複数のサンプルを含む。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、第２ルーマ領域内の複数のサンプルに基づいて決定され得る。第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、クロマブロックは、第２領域を更に含む。コロケートしているルーマブロックは、第１領域及び第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含む。再構成サンプルの第１サブセットは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルを含む。第１調整パラメータは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルの平均であるよう決定され得る。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータは、第２ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、右下サンプルの平均であるよう決定され得る。第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、第１領域について、更新されたスケーリングパラメータ（例えば、ａ’）は、ＣＣＬＭモードで使用されるスケーリングパラメータ（例えば、パラメータａ）と、スケーリングパラメータを調整するために使用される調整パラメータ（例えば、調整パラメータｕ）との和であるよう、決定され得る。第１の更新されたオフセットパラメータ（例えば、ｂ’）は、（ｂ－ｕ×ｙ_ｒ）であるよう決定され得、このとき、ｂはオフセットパラメータであり、ｕは、スケーリングパラメータを調整するために使用される調整パラメータであり、ｙ_ｒは第１調整パラメータである。クロマブロック内の第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータ及び更新されたスケーリングパラメータに基づいて再構成され得る。

例において、第１領域について、スケーリングパラメータ（例えば、ａ）を調整するために使用される調整パラメータ（例えば、ｕ）は、（ｉ）コロケートしているルーマブロックの１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルと、（ｉｉ）コロケートしているルーマブロック内のサンプルとに基づいて、決定される。例において、第１領域について、スケーリングパラメータを調整するために使用される調整パラメータは、１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルの平均とコロケートしているルーマブロック内のサンプルの平均との間の差に基づいて、決定され得る。

図１７は、本開示の実施形態に係るプロセス（例えば、復号化プロセス）（１７００）について説明するフローチャートを示す。プロセス（１７００）は、ビデオデコーダで使用され得る。プロセス（１７００）は、受信回路及び処理回路を含むことができるビデオコーディング用の装置によって実行され得る。端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、などのような、装置内の処理回路が、プロセス（１７００）を実行するよう構成され得る。いくつかの例において、プロセス（１７００）は、ビデオエンコーダ（例えば、ビデオエンコーダ（４０３）、ビデオエンコーダ（６０３））で使用される。例において、プロセス（１７００）は、ビデオエンコーダ（例えば、ビデオエンコーダ（４０３）、ビデオエンコーダ（６０３））の機能を実行する処理回路によって実行される。いくつかの実施形態において、プロセス（１７００）は、ソフトウェア命令で実施されるので、処理回路がソフトウェア命令を実行するとき、処理回路はプロセス（１７００）を実行する。プロセスは（Ｓ１７０１）から開始し、（Ｓ１７１０）へ進む。

（Ｓ１７１０）で、現在ピクチャ内の再構成されるべきクロマブロックの予測情報が復号され得る。予測情報は、クロスコンポーネント線形モデル（ＣＣＬＭ）モードがクロマブロックに適用されることを示すことができる。

（Ｓ１７２０）で、クロマブロック内の第１領域について、ＣＣＬＭモードでのオフセットパラメータ（例えば、ｂ）を調整（又は変更）するために使用される第１調整パラメータ（第１調整値とも呼ばれる。）（例えば、ｙ_ｒ）が、現在ピクチャ内のコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて決定され得る。コロケートしているルーマブロックは、クロマブロックとコロケートしているルーマブロックである。再構成サンプルの第１サブセットは、コロケートしているルーマブロック内の１つ以上のサンプルを含まない。例において、コロケートしているルーマブロック内のサンプルは、既に再構成されている。

例において、クロマブロック内の第１領域は、クロマブロック全体を含む。コロケートしているルーマブロック内のサンプルの第１サブセットは、コロケートしているルーマブロック内の１つのサンプルである。第１調整パラメータは、図１３に記載されるように、コロケートしているルーマブロック内のその１つのサンプルのサンプル値であるよう決定され得る。

例において、第１領域は、クロマブロック全体を含む。サンプルの第１サブセットは、コロケートしているルーマブロック内の複数の再構成されたサンプルを含む。第１調整パラメータは、図１３に記載されるように、コロケートしているルーマブロック内のそれら複数のサンプルのサンプル値の平均であるよう決定され得る。

例において、第１領域は、クロマブロック全体を含む。予測情報は、コロケートしているルーマブロック内のサンプルのうちのどれがサンプルの第１サブセットに含まれるかを更に示す。例において、コロケートしているルーマブロック内のサンプルのどれがサンプルの第１サブセットに含まれるかは、コーディングされたビデオビットストリームでシグナリングされる。例において、コロケートしているルーマブロック内のサンプルのどれがサンプルの第１サブセットに含まれるかは、導出される。

（Ｓ１７３０）で、クロマブロック内の第１領域について、第１の更新されたオフセットパラメータ（例えば、ｂ’）が、オフセットパラメータ（例えば、ｂ）及び第１調整パラメータ（例えば、ｙ_ｒ）に少なくとも基づいて決定され得、例えば、上述されたように、ｂ’＝ｂ－ｕ×ｙ_ｒである。

（Ｓ１７４０）で、クロマブロック内の第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。次いで、プロセスは（Ｓ１７９９）へ進み、終了する。

プロセス（１７００）は、様々なシナリオに適切に適応でき、プロセス（１７００）のステップは、それに応じて調整できる。プロセス（１７００）のステップの１つ以上は、適応、省略、繰り返し、及び／又は結合され得る。如何なる適切な順序も、プロセス（１７００）を実装するために使用できる。追加のステップが加えられてもよい。

例において、クロマブロックは、第２領域を更に含む。サンプルの第１サブセットは、コロケートしているルーマブロック内の第１サンプルである。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、コロケートしているルーマブロック内の第２サンプルに基づいて決定され得る。第２サンプルは、第１サンプルと異なってもよい。第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、クロマブロックは、第２領域を更に含む。コロケートしているルーマブロックは、第１領域及び第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含む。サンプルの第１サブセットは、第１ルーマ領域内の複数のサンプルを含む。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータが、第２ルーマ領域内の複数のサンプルに基づいて決定され得る。第２の更新されたオフセットパラメータが、オフセットパラメータ及び第２調整パラメータに少なくとも基づいて決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、クロマブロックは、第２領域を更に含む。コロケートしているルーマブロックは、第１領域及び第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含む。サンプルの第１サブセットは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルを含む。第１調整パラメータは、第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、前記右下サンプルの平均であるよう決定され得る。クロマブロック内の第２領域について、ＣＣＬＭモードでのオフセットパラメータを調整するために使用される第２調整パラメータは、第２ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、右下サンプルの平均であるよう決定され得る。第２の更新されたオフセットパラメータが、第２オフセットパラメータ及び第２調整パラメータに少なくとも基づいて、第２の更新されたオフセットパラメータを決定され得る。クロマブロック内の第２領域は、ＣＣＬＭモードを用いて第２の更新されたオフセットパラメータに少なくとも基づいて再構成され得る。

例において、第１領域について、更新されたスケーリングパラメータ（例えば、ａ’）は、ＣＣＬＭモードで使用されるスケーリングパラメータ（勾配パラメータとも呼ばれる。）（例えば、パラメータａ）とスケーリングパラメータを調整するために使用される調整パラメータ（調整値とも呼ばれる。）（例えば、調整パラメータｕ）との和であるよう決定され得る。第１の更新されたオフセットパラメータ（例えば、ｂ’）は（ｂ－ｕ×ｙ_ｒ）であるよう決定され得、ｂはオフセットパラメータであり、ｕは、スケーリングパラメータを調整するために使用される調整パラメータであり、ｙ_ｒは第１調整パラメータである。クロマブロック内の第１領域は、ＣＣＬＭモードを用いて第１の更新されたオフセットパラメータ及び更新されたスケーリングパラメータに基づいて再構成され得る。

実施形態において、第１領域について、スケーリングパラメータ（例えば、ａ）を調整するために使用される調整パラメータ（例えば、ｕ）は、（ｉ）コロケートしているルーマブロックの１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルと、（ｉｉ）コロケートしているルーマブロック内のサンプルとに基づいて決定される。例において、第１領域について、スケーリングパラメータを調整するために使用される調整パラメータｕは、１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルの平均と、コロケートしているルーマブロック内のサンプルの平均との間の差に基づいて、決定され得る。

実施形態において、クロマブロック内の第１領域について、ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整値は、現在ピクチャ内でクロマブロックとコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて決定される。再構成サンプルの第１サブセットは、ルーマブロック内の１つ以上のサンプルを含まない。オフセットパラメータは、第１調整値に少なくとも基づいて更新され得る。ＣＣＬＭモードでの勾配パラメータを変更するために使用される第２調整値が、ルーマブロック内の再構成サンプルの第２サブセットに基づいて決定され、第２調整値に少なくとも基づいて勾配パラメータを更新することができる。クロマブロック内の第１領域は、ＣＣＬＭモードを用いて、更新されたオフセットパラメータ及び更新された勾配パラメータに少なくとも基づいて再構成され得る。

例において、再構成サンプルの第２サブセットは、再構成サンプルの第１サブセットを含む。

例において、第２調整値は、ルーマブロック全体内の再構成されたサンプルに基づいて決定される。

本開示の実施形態は、別々に使用されても、又は任意の順に結合されてもよい。更に、方法（又は実施形態）、エンコーダ、及びデコーダの夫々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてもよい。一例において、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。

コンピュータ読み出し可能な命令を使用しかつ１つ以上のコンピュータ可読媒体に物理的に記憶されているコンピュータソフトウェアとして実装可能である。例えば、図１８は、開示されている対象の特定の実施形態を実装することに適したコンピュータシステム（１８００）を示す。

コンピュータソフトウェアは、１つ以上の中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって直接に又は解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを生成するようにアセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネット（Internet of Things）のためのデバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。

コンピュータシステム（１８００）に関して図１８に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。構成要素の構成は、コンピュータシステム（１８００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件も有するものとして解釈されるべきではない。

コンピュータシステム（１８００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（１８０１）、マウス（１８０２）、トラックパッド（１８０３）、タッチスクリーン（１８１０）、データグローブ（図示せず。）、ジョイスティック（１８０５）、マイク（１８０６）、スキャナ（１８０７）、カメラ（１８０８）（各１つしか表されていない。）のうちの１つ以上を含んでよい。

コンピュータシステム（１８００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１８１０）、データグローブ（図示せず。）、又はジョイスティック（１８０５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（１８０９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（１８１０））、及びプリンタ（図示せず。）を含んでよい。

コンピュータシステム（１８００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（１８２１）を伴ったＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１８２０）、サムドライブ（１８２２）、リムーバブルハードディスク又はソリッドステートドライブ（１８２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。

当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。

コンピュータシステム（１８００）は、１つ以上の通信ネットワークへのインターフェースも含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（１８４９）（例えば、コンピュータシステム（１８００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（１８００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（１８００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。

上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（１８００）のコア（１８４０）へ取り付けられ得る。

コア（１８４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（１８４１）、グラフィクス処理ユニット（ＧＰＵ）（１８４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１８４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１８４４）、などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１８４５）、ランダムアクセスメモリ（ＲＡＭ）（１８４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（１８４７）とともに、システムバス（１８４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（１８４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（１８４８）へ直接に又はペリフェラルバス（１８４９）を通じて、周辺機器が取り付けられ得る。例において、スクリーン（１８１０）は、グラフィクスアダプタ（１８５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。

ＣＰＵ（１８４１）、ＧＰＵ（１８４２）、ＦＰＧＡ（１８４３）、及びアクセラレータ（１８４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（１８４５）又はＲＡＭ（１８４６）に記憶され得る。一時データもＲＡＭ（１８４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（１８４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（１８４１）、ＧＰＵ（１８４２）、大容量記憶装置（１８４７）、ＲＯＭ（１８４５）、ＲＡＭ（１８４６）などと密接に関連し得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

例として、限定としてではなく、アーキテクチャ（１８００）、具体的にはコア（１８４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１８４７）又はＲＯＭ（１８４５）などの、非一時的な性質であるコア（１８４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（１８４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（１８４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（１８４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードウェアにより実現されるか又は別なふうに具現されるロジック（例えば、アクセラレータ（１８４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。

付録Ａ：頭字語
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：benchmark set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit
ＣＣＬＭ：Cross-Component Linear model

本開示は、いくつかの例示的な実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。

［参照による援用］
本願は、「ADAPTIVE PARAMETER SELECTION FOR CROSS-COMPONENT PREDICTION IN IMAGE AND VIDEO COMPRESSION」と題されて２０２２年１月３１日付けで出願された米国特許仮出願第６３／３０５１５９号に対する優先権の利益を主張して「ADAPTIVE PARAMETER SELECTION FOR CROSS-COMPONENT PREDICTION IN IMAGE AND VIDEO COMPRESSION」と題されて２０２２年１０月２８日付けで出願された米国特許出願第１７／９７６５５６号に対する優先権の利益を主張するものである。これらの先願の全開示は、それらの全文を参照により本願に援用される。

Claims (15)

1. デコーダが実行するビデオ処理の方法であって、
   現在ピクチャ内の再構成されるべきクロマブロックの予測情報を復号するステップであり、前記予測情報により、クロスコンポーネント線形モデル（ＣＣＬＭ）モードが前記クロマブロックに適用されることが示される、ステップと、
   前記クロマブロック内の第１領域について、
   前記現在ピクチャ内で前記クロマブロックとコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて、前記ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整値を決定するステップであり、前記再構成サンプルの前記第１サブセットは前記ルーマブロック内の１つ以上のサンプルを含まない、ステップと、
   前記第１調整値に少なくとも基づいて、前記オフセットパラメータを更新するステップと、
   前記ルーマブロック内の前記再構成サンプルの第２サブセットに基づいて、前記ＣＣＬＭモードでの勾配パラメータを変更するために使用される第２調整値を決定するステップと、
   前記第２調整値に少なくとも基づいて、前記勾配パラメータを更新するステップと、
   前記ＣＣＬＭモードを用いて前記更新されたオフセットパラメータ及び前記更新された勾配パラメータに少なくとも基づいて前記クロマブロック内の前記第１領域を再構成するステップと
   を有する方法。
2. 前記クロマブロック内の前記第１領域は、前記クロマブロック全体を含み、
   前記ルーマブロック内の前記再構成サンプルの前記第１サブセットは、前記ルーマブロック内の１つの再構成されたサンプルであり、
   前記第１調整値を決定するステップは、前記第１調整値を、前記ルーマブロック内の前記１つの再構成されたサンプルのサンプル値であるよう決定することを含む、
   請求項１に記載の方法。
3. 前記第１領域は、前記クロマブロック全体を含み、
   前記再構成サンプルの前記第１サブセットは、前記ルーマブロック内の複数の再構成されたサンプルを含み、
   前記第１調整値を決定するステップは、前記第１調整値を、前記ルーマブロック内の前記複数の再構成されたサンプルのサンプル値の平均であるよう決定することを含む、
   請求項１に記載の方法。
4. 前記第１領域は、前記クロマブロック全体を含み、
   前記予測情報は、前記ルーマブロック内の前記再構成サンプルのうちのどれが前記再構成サンプルの前記第１サブセットに含まれるかを更に示す、
   請求項１に記載の方法。
5. 前記クロマブロックは、第２領域を更に含み、
   前記再構成サンプルの前記第１サブセットは、前記ルーマブロック内の第１再構成サンプルであり、
   前記方法は、前記クロマブロック内の前記第２領域について、
   前記第１再構成サンプルとは異なる前記ルーマブロック内の第２再構成サンプルに基づいて、前記ＣＣＬＭモードでの前記オフセットパラメータを調整するために使用される第２調整パラメータを決定するステップと、
   前記オフセットパラメータ及び前記第２調整パラメータに少なくとも基づいて、第２の更新されたオフセットパラメータを決定するステップと、
   前記ＣＣＬＭモードを用いて前記第２の更新されたオフセットパラメータに少なくとも基づいて前記クロマブロック内の前記第２領域を再構成するステップと
   を更に有する、
   請求項１に記載の方法。
6. 前記クロマブロックは、第２領域を更に含み、
   前記ルーマブロックは、前記第１領域及び前記第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含み、
   前記再構成サンプルの前記第１サブセットは、前記第１ルーマ領域内の複数のサンプルを含み、
   前記方法は、前記クロマブロック内の前記第２領域について、
   前記第２ルーマ領域内の複数のサンプルに基づいて、前記ＣＣＬＭモードでの前記オフセットパラメータを調整するために使用される第２調整パラメータを決定するステップと、
   前記オフセットパラメータ及び前記第２調整パラメータに少なくとも基づいて、第２の更新されたオフセットパラメータを決定するステップと、
   前記ＣＣＬＭモードを用いて前記第２の更新されたオフセットパラメータに少なくとも基づいて前記クロマブロック内の前記第２領域を再構成するステップと
   を更に有する、
   請求項１に記載の方法。
7. 前記クロマブロックは、第２領域を更に含み、
   前記ルーマブロックは、前記第１領域及び前記第２領域と夫々コロケートしている第１ルーマ領域及び第２ルーマ領域を含み、
   前記再構成サンプルの前記第１サブセットは、前記第１ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、及び右下サンプルを含み、
   前記第１調整値を決定するステップは、前記第１調整値を、前記第１ルーマ領域内の前記左上サンプル、前記右上サンプル、前記左下サンプル、及び前記右下サンプルの平均であるよう決定することを含み、
   前記方法は、前記クロマブロック内の前記第２領域について、
   前記ＣＣＬＭモードでの前記オフセットパラメータを調整するために使用される第２調整パラメータを、前記第２ルーマ領域内の左上サンプル、右上サンプル、左下サンプル、右下サンプルの平均であるよう決定するステップと、
   前記オフセットパラメータ及び前記第２調整パラメータに少なくとも基づいて、第２の更新されたオフセットパラメータを決定するステップと、
   前記ＣＣＬＭモードを用いて前記第２の更新されたオフセットパラメータに少なくとも基づいて前記クロマブロック内の前記第２領域を再構成するステップと
   を更に有する、
   請求項１に記載の方法。
8. 前記更新されたオフセットパラメータを決定することは、前記更新されたオフセットパラメータを（ｂ－ｕ×ｙ_ｒ）であるよう決定することを含み、ｂは前記オフセットパラメータであり、ｕは、前記勾配パラメータを変更するために使用される前記第２調整値であり、ｙ_ｒは前記第１調整値であり、
   前記第１領域を再構成するステップは、前記ＣＣＬＭモードを用いて前記更新されたオフセットパラメータ及び前記更新された勾配パラメータに基づいて前記クロマブロック内の前記第１領域を再構成することを含む、
   請求項１に記載の方法。
9. 前記第１領域について、（ｉ）前記ルーマブロックの１つ以上の隣接ルーマブロック内の再構成されたルーマサンプルと、（ｉｉ）前記ルーマブロック内の前記再構成サンプルの前記第２サブセットとに基づいて、前記勾配パラメータを変更するために使用される前記第２調整値を決定するステップを更に有する、
   請求項８に記載の方法。
10. 前記勾配パラメータを変更するために使用される前記第２調整値を決定するステップは、
    前記第１領域について、前記１つ以上の隣接ルーマブロック内の前記再構成されたルーマサンプルの平均と前記ルーマブロック内の前記再構成サンプルの前記第２サブセットの平均との間の差に基づいて、前記勾配パラメータを変更するために使用される前記第２調整値を決定することとを含む、
    請求項９に記載の方法。
11. 前記再構成サンプルの前記第２サブセットは、前記再構成サンプルの前記第１サブセットを含む、
    請求項１に記載の方法。
12. 前記第２調整値を決定するステップは、
    前記ルーマブロック全体内の前記再構成サンプルに基づいて前記第２調整値を決定することを含む、
    請求項１に記載の方法。
13. ビデオ復号化のための装置であって、
    処理回路を有し、該処理回路は、メモリに記憶されているコンピュータプログラムを実行すると、請求項１乃至１２のうちいずれか一項に記載の方法を実行するよう構成される、装置。
14. 命令を有するコンピュータプログラムであって、
    前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
15. エンコーダが実行するビデオ処理の方法であって、
    クロスコンポーネント線形モデル（ＣＣＬＭ）モードを使用して現在ピクチャ内で符号化されるべきクロマブロック内の第１領域について、ＣＣＬＭモードでのオフセットパラメータを変更するために使用される第１調整値を、前記現在ピクチャ内で前記クロマブロックとコロケートしているルーマブロック内の再構成サンプルの第１サブセットに基づいて決定するステップであり、前記再構成サンプルの第１サブセットは前記ルーマブロック内の１つ以上のサンプルを含まない、ステップと、
    前記オフセットパラメータ及び前記第1調整値に基づいて第１の更新されたオフセットパラメータを決定するステップと、
    前記ＣＣＬＭモードを用いて前記第1の更新されたオフセットパラメータに少なくとも基づいて前記第1領域を符号化するステップと
    を有する方法。
    

Images