JPWO2021207026A5 - - Google Patents

Description

関連出願の相互参照
本出願は、2021年3月18日に出願された「METHOD AND APPARATUS FOR VIDEO CODING」と題された米国特許出願第17／205，742号に対する優先権の利益を主張し、これは2020年4月7日に出願された「SIMPLIFICATION ON CROSS COMPONENT LINEAR MODEL PREDICTION」と題された米国仮特許出願第63／006，552号、および2020年4月17日に出願された「SIMPLIFICATION ON CROSS COMPONENT LINEAR MODEL PREDICTION」と題された米国仮特許出願第63／011，901号に対する優先権の利益を主張する。先行出願の開示全体は、参照によりその全体が本明細書に組み込まれる。

本開示は、ビデオ符号化に一般的に関連する実施形態を説明する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、出願時に別の形で先行技術としての資格を有しない明細書の態様と同様に、背景技術に記載される範囲で、明示または黙示を問わず、本開示に対する先行技術として認めるものではない。

ビデオ符号化および復号は、動き補償を伴うインターピクチャ予測を使用して実行することができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連する色差サンプルの空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャまたは60Hzの固定または可変ピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮ビデオは、膨大なビットレートの要件を有する。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5Gbit／sに近い帯域幅を必要とする。このようなビデオを1時間使用するには、600GBを超える記憶領域を必要とする。

ビデオ符号化およびビデオ復号の目的の1つは、圧縮による入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅または記憶領域要件を、場合によっては2桁以上低減するのに役立ち得る。可逆圧縮および非可逆圧縮の両方、ならびにこれらの組合せが採用され得る。可逆圧縮とは、圧縮された元信号から、元信号の正確なコピーを再構築することができる技術を指す。非可逆圧縮を使用する場合、再構築された信号は元信号と同一ではない可能性があるが、元信号と再構築された信号との間の歪みは十分小さいので、再構築された信号を意図された用途に使用できる。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、許容可能な／容認可能な歪みが大きいほど、圧縮比が高くなり得ることを反映することができる。

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプルまたは以前に再構築された参照ピクチャからの他のデータを参照せずに、サンプル値が表される。いくつかのビデオコーデックでは、ピクチャは、サンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードで符号化されると、そのピクチャはイントラピクチャになり得る。イントラピクチャ、および独立したデコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用することができ、したがって、符号化ビデオビットストリームおよびビデオセッション内の第1のピクチャとして、または静止画像として使用することができる。イントラブロックのサンプルは変換にさらされる可能性があり、変換係数はエントロピー符号化の前に量子化される可能性がある。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピー符号化後のブロックを表すための所与の量子化ステップサイズにおいて、必要とされるビットが少なくなる。

例えばMPEG－2生成符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近傍し、復号順で先行するデータのブロックの符号化／復号中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。このような技法は、以後「イントラ予測」技術と呼ばれる。少なくともいくつかの場合では、イントラ予測は再構築中の現在のピクチャからの参照データのみを使用し、参照ピクチャからの参照データは使用しないことに留意されたい。

イントラ予測には、多くの異なる形態があり得る。所与のビデオ符号化技術においてこのような技術のうちの2つ以上が使用され得る場合、使用される技術は、イントラ予測モードで符号化されることが可能である。ある場合には、モードはサブモードおよび／またはパラメータを有することができ、それらは個別に符号化されるかまたはモードのコードワードに含まれ得る。所与のモード／サブモード／パラメータの組合せにどのコードワードを使用するかは、イントラ予測を介して符号化効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術も影響を与える可能性がある。

イントラ予測の特定のモードは、H．264で導入され、H．265で改良され、共同探索モデル（JEM）、多用途ビデオ符号化（VVC）、およびベンチマークセット（BMS）などの新しい符号化技術でさらに改良された。予測器ブロックは、既に利用可能なサンプルに属する近傍するサンプル値を使用して形成できる。近傍するサンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用時の方向への参照は、ビットストリーム内で符号化することができ、またはそれ自体を予測し得る。

図1Aを参照すると、右下に示されているのは、H．265の33個の可能な予測器方向から知られている9つの予測器方向のサブセットである（35個のイントラモードのうちの33個の角度モードに対応する）。矢印が収束する点（101）は、予測されるサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が、水平から45度の角度で、右上の1つまたは複数のサンプルから予測されることを示す。同様に、矢印（103）は、サンプル（101）が、水平から22．5度の角度で、サンプル（101）の左下にある1つまたは複数のサンプルから予測されることを示す。

さらに図1Aを参照すると、左上の4×4サンプルの正方形のブロック（104）が示されている（破線の太字の線で示されている）。正方形のブロック（104）は、それぞれが「S」でラベル付けされた16個のサンプル、Y次元でのその位置（例えば、行インデックス）、およびX次元でのその位置（例えば、列インデックス）を含む。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、YおよびX次元の両方において、ブロック（104）の4番目のサンプルである。ブロックのサイズは4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルが、さらに示されている。参照サンプルは、ブロック（104）に対して、そのY位置（例えば、行インデックス）およびX位置（列インデックス）においてRでラベル付けされる。H．264およびH．265の両方において、予測サンプルは再構築中のブロックに近傍しており、したがって負の値を使用する必要はない。

イントラピクチャ予測は、シグナリングされた予測方向によって適切にされるように、近傍するサンプルからの参照サンプル値をコピーすることによって機能できる。例えば、このブロックについて、符号化されたビデオビットストリームに、矢印（102）と一致する予測方向を示す通知が含まれている、つまり、サンプルは、水平から45度の角度で、右上の1つまたは複数の予測サンプルから予測されると仮定する。その場合、サンプルS41、S32、S23、S14が、同じ参照サンプルR05から予測される。次に、サンプルS44が、参照サンプルR08から予測される。

特定の場合、特に、方向が45度で均等に割り切れない場合に、参照サンプルを計算するために、例えば補間によって複数の参照サンプル値を組み合わせることができる。

ビデオ符号化技術が発展するにつれて、可能な方向の数は増加している。H．264（2003年）では、9つの異なる方向を表すことができた。これは、H．265（2013年）では33個に増加し、JEM／VVC／BMSは、本開示の時点で、最大65個の方向をサポートすることができる。最も可能性の高い方向を識別するための実験が行われており、エントロピー符号化における特定の技術は、これらの可能性の高い方向において少数ビットで表すために使用され、可能性の低い方向に対する特定の不利益を受け入れている。さらに、方向自体は、近傍する既に復号されたブロックで使用される近傍する方向から予測できる場合がある。

図1Bは、経時的に増加する予測方向の数を示すためにJEMによる65個のイントラ予測方向を示す概略図（105）を示す。

方向を表す符号化ビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術によって異なる場合があり、例えば、予測方向が単純な直接マッピングから、イントラ予測モード、コードワード、最確モードを含む複雑な適応方式、および同様の技術に及ぶ場合がある。ただし、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の低減であるため、適切に機能するビデオ符号化技術では、このような可能性の低い方向は、可能性の高い方向よりも多くのビット数で表されることになる。

動き補償は非可逆圧縮技術であり得、以前に再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示される方向に空間的にシフトされた後、新たに再構築されたピクチャまたはピクチャ部分の予測に使用される技術と関連し得る。場合によっては、参照ピクチャは、現在再構築中のピクチャと同じであり得る。MVは、2次元XおよびY、または3次元を有することができ、第3の次元は、使用中の参照ピクチャの表示である（後者は間接的に時間次元とすることができる）。

いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMV、例えば再構築中の領域に空間的に隣接し、復号順でそのMVに先行するサンプルデータの別の領域に関連するMVから予測することができる。そうすることにより、MVの符号化に必要なデータ量を実質的に削減することができ、これによって冗長性が排除され、圧縮が増加する。例えば、カメラ（自然なビデオとして知られている）から導出された入力ビデオ信号を符号化するとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、近傍領域のMVから導出された同様のMVを使用して予測することができるため、MV予測は効果的に機能することができる。その結果、所与の領域で見つかったMVは、周囲のMVから予測されたMVと類似または同一となり、エントロピー符号化の後、MVを直接符号化する場合に使用されるビット数よりも少ないビット数で表すことができる。場合によっては、MV予測は、元信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合では、例えば、いくつかの周囲のMVから予測器を計算するときの丸め誤差のために、MV予測自体が非可逆であり得る。

様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、本明細書に記載されるのは、以下で「空間マージ」と呼ばれる技術である。

図1Cを参照すると、現在のブロック（111）は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが動き検索プロセス中にエンコーダによって見出されたサンプルを含むことができる。そのMVを直接符号化する代わりに、A0、A1、およびB0、B1、B2（それぞれ112から116）で示される5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つ以上の参照ピクチャに関連付けられたメタデータから、例えば、（復号順で）最新の参照ピクチャから、MVを導出することができる。H．265では、MV予測は、近傍ブロックが使用しているのと同じ参照ピクチャからの予測器を使用することができる。

本開示の態様は、ビデオ符号化／復号のための装置を提供する。装置は、符号化ビデオシーケンスの一部である現在のピクチャ内の現在のブロックの予測情報を復号する処理回路を含む。予測情報は、現在のブロックのクロスコンポーネント線形モデル（CCLM）予測モードを示す。処理回路は、CCLM予測モードで使用される少なくとも1つのルーマサンプルが利用可能ではないことに基づいて、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値を決定する。第1の利用不可近傍ルーマサンプルのサンプル値は、利用可能近傍ルーマサンプルのサンプル値に基づいて決定される。処理回路は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値に基づいて、CCLM予測モードのパラメータを計算する。さらに、処理回路は、CCLM予測モードの計算されたパラメータに基づいて、現在のブロックを再構築する。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの上の行に位置し、第1の利用不可近傍ルーマサンプルは、利用可能近傍ルーマサンプルに隣接し、利用可能近傍ルーマサンプルが位置している行に隣接する行にある。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの上の行に位置し、第1の利用不可近傍ルーマサンプルは、現在のブロックの同じ行で左上の利用可能近傍ルーマサンプルに隣接している。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの左の列に位置し、第1の利用不可近傍ルーマサンプルは、現在のブロックの同じ列で左上の利用可能近傍ルーマサンプルに隣接している。

一実施形態では、処理回路は、利用可能近傍ルーマサンプルのサンプル値に基づいて、現在のブロックの第2の利用不可近傍ルーマサンプルのサンプル値を決定する。処理回路は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値および第2の利用不可近傍ルーマサンプルのサンプル値に基づいて、CCLM予測モードのパラメータを計算する。

一実施形態では、利用可能近傍ルーマサンプル、第1の利用不可近傍ルーマサンプル、および第2の利用不可近傍ルーマサンプルは、現在のブロックの上の同じ列で異なる行に位置している。

一実施形態では、処理回路は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値に対してダウンサンプルフィルタを実行する。処理回路は、ダウンサンプルフィルタの結果に基づいて、CCLM予測モードのパラメータを計算する。

一実施形態では、現在のブロックの第1の利用不可近傍ルーマサンプルは現在のブロックの上に位置し、処理回路は、第1の利用不可近傍ルーマサンプルに対してNタップフィルタを実行する。Nは、第1の利用不可近傍ルーマサンプルおよび対応するクロマサンプルが垂直に配列されているか否かに基づいて決定される。

本開示の態様は、ビデオ符号化／復号のための方法を提供する。この方法では、予測情報は、符号化ビデオシーケンスの一部である現在のピクチャの現在のブロックについて復号される。予測情報は、現在のブロックのCCLM予測モードを示す。現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値は、CCLM予測モードで使用される少なくとも1つのルーマサンプルが利用可能ではないことに基づいて決定される。第1の利用不可近傍ルーマサンプルのサンプル値は、利用可能近傍ルーマサンプルのサンプル値に基づいて決定される。CCLM予測モードのパラメータは、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値に基づいて計算される。現在のブロックは、CCLM予測モードの計算されたパラメータに基づいて再構築される。

本開示の態様はまた、ビデオ復号のためにコンピュータによって実行されると、ビデオ復号の方法のうちのいずれか1つまたは組合せをコンピュータに実行させる命令を記憶する非一時的コンピュータ可読媒体も提供する。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態によるデコーダの簡略ブロック図の概略図である。 一実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダのブロック図である。 別の実施形態によるデコーダのブロック図である。 クロスコンポーネント線形モデル（CCLM）パラメータの導出に使用される近傍クロマサンプルおよび対応する近傍ルーマサンプルの例示的な位置を示す図である。 左近傍ルーマサンプルのための例示的なダウンサンプルフィルタリングプロセスを示す図である。 上部近傍ルーマサンプルのための例示的なダウンサンプルフィルタリングプロセスを示す図である。 CCLMパラメータの導出のための上部近傍ルーマサンプルのパディングの例を示す図である。 CCLMパラメータの導出のための上部近傍ルーマサンプルのパディングの例を示す図である。 CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの例を示す図である。 CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの例を示す図である。 CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの例を示す図である。 CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの例を示す図である。 一実施形態による例示的なフローチャートである。 一実施形態によるコンピュータシステムの概略図である。

I．ビデオデコーダおよびエンコーダシステム
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1のペアを含む。図2の例では、端末デバイス（210）および（220）の第1のペアは、データの一方向送信を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して別の端末デバイス（220）に送信するために、ビデオデータ（例えば、端末デバイス（210）によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。符号化されたビデオデータは、1つ以上の符号化ビデオビットストリームの形態で送信できる。端末デバイス（220）は、ネットワーク（250）から符号化ビデオデータを受信し、ビデオピクチャを復元するために符号化ビデオデータを復号し、復元されたビデオデータに従ってビデオピクチャを表示することができる。一方向データ送信は、メディア供給用途などでは一般的であり得る。

別の例では、通信システム（200）は、例えばビデオ会議中に発生する可能性がある符号化ビデオデータの双方向送信を実行する、端末デバイス（230）および（240）の第2のペアを含む。一例では、端末デバイス（230）および（240）の各端末デバイスは、ネットワーク（250）を介して端末デバイス（230）および（240）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）を符号化し得る。端末デバイス（230）および（240）の各端末デバイスはまた、端末デバイス（230）および（240）の他方の端末デバイスによって送信された符号化ビデオデータを受信することができ、ビデオピクチャを復元するために符号化ビデオデータを復号することができ、復元されたビデオデータに従ってアクセス可能な表示デバイスでビデオピクチャを表示することができる。

図2の例では、端末デバイス（210）、（220）、（230）、および（240）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示され得るが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用のビデオ会議機器を用いた用途を見出す。ネットワーク（250）は、例えば有線（配線された）および／または無線通信ネットワークを含む、端末デバイス（210）、（220）、（230）、および（240）の間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回線交換チャネルおよび／またはパケット交換チャネルでデータをやり取りできる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、および／またはインターネットを含む。本議論の目的のために、ネットワーク（250）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。

図3は、開示された主題の用途の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの格納を含む、他のビデオ対応アプリケーションにも等しく適用可能であり得る。

ストリーミングシステムは、例えば非圧縮のビデオピクチャのストリーム（302）を作成するビデオソース（301）、例えばデジタルカメラを含むことができるキャプチャサブシステム（313）を含んでもよい。一例では、ビデオピクチャのストリーム（302）は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ（304）（または符号化ビデオビットストリーム）と比較して高いデータ量を強調するために太線として示されているビデオピクチャのストリーム（302）は、ビデオソース（301）に結合されたビデオエンコーダ（303）を含む電子デバイス（320）によって処理することができる。ビデオエンコーダ（303）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするまたは実装するためのハードウェア、ソフトウェア、またはこれらの組合せを含むことができる。ビデオピクチャのストリーム（302）と比較して低いデータ量を強調するために細い線として描かれている符号化されたビデオデータ（304）（または符号化されたビデオビットストリーム（304））は、将来使用するために、ストリーミングサーバ（305）に格納することができる。図3のクライアントサブシステム（306）および（308）などの1つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（304）のコピー（307）および（309）を取得するために、ストリーミングサーバ（305）にアクセスすることができる。クライアントサブシステム（306）は、例えば電子デバイス（330）内のビデオデコーダ（310）を含むことができる。ビデオデコーダ（310）は、符号化されたビデオデータの入力コピー（307）を復号し、ディスプレイ（312）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上でレンダリングされ得るビデオピクチャの出力ストリーム（311）を作成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ（304）、（307）、および（309）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従って符号化することができる。これらの規格の例として、ITU－T勧告H．265が挙げられる。一例では、開発中のビデオ符号化規格は、多用途ビデオ符号化（VVC）として非公式に知られている。開示された主題は、VVCの文脈で使用され得る。

電子デバイス（320）および（330）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（320）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（330）はビデオエンコーダ（図示せず）も含むことができる。

図4は、本開示の一実施形態によるビデオデコーダ（410）のブロック図を示す。ビデオデコーダ（410）は、電子デバイス（430）に含まれ得る。電子デバイス（430）は、受信機（431）（例えば、受信回路）を含むことができる。ビデオデコーダ（410）は、図3の例のビデオデコーダ（310）の代わりに使用することができる。

受信機（431）は、ビデオデコーダ（410）によって復号される1つ以上の符号化ビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化ビデオシーケンスであり、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、符号化されたビデオデータを格納する記憶デバイスへのハードウェアリンク／ソフトウェアリンクであり得る、チャネル（401）から受信され得る。受信機（431）は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリームとともに、符号化されたビデオデータを受信し得る。受信機（431）は、符号化ビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信機（431）とエントロピーデコーダ／パーサ（420）（以降、「パーサ（420））との間にバッファメモリ（415）が結合され得る。特定の用途では、バッファメモリ（415）は、ビデオデコーダ（410）の一部である。他の用途では、ビデオデコーダ（410）の外部にあってもよい（図示せず）。さらに別の用途では、例えばネットワークジッタに対抗するために、ビデオデコーダ（410）の外部にバッファメモリ（図示せず）があってもよく、加えて、例えば再生タイミングに対処するために、ビデオデコーダ（410）の内部に別のバッファメモリ（415）があってもよい。受信機（431）が、帯域幅および制御性が充分な記憶装置／転送装置から、またはアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときは、バッファメモリ（415）は必要でない場合があるか、または小さくてもよい。インターネットなどのベストエフォート型のパケットネットワークで使用するためには、バッファメモリ（415）が必要とされることがあり、比較的大きくすることができ、有利には適応的なサイズにすることができ、少なくとも部分的にビデオデコーダ（410）の外部のオペレーティングシステムまたは同様の要素（図示せず）に実装されてもよい。

ビデオデコーダ（410）は、符号化ビデオシーケンスからシンボル（421）を再構築するためのパーサ（420）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（410）の動作を管理するために使用される情報、および潜在的に、図4に示されるように、電子デバイス（430）の不可欠な部分ではないが電子デバイス（430）に結合され得るレンダリングデバイス（412）（例えば、表示画面）などのレンダリングデバイスを制御するための情報を含む。（1つまたは複数の）レンダリングデバイスの制御情報は、補足拡張情報（Supplemental Enhancement Information、SEIメッセージ）またはビデオユーザビリティ情報（Video Usability Information、VUI）パラメータセットフラグメント（図示せず）の形態であってもよい。パーサ（420）は、受信した符号化ビデオシーケンスを構文解析／エントロピー復号し得る。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に従うことができ、可変長符号化、ハフマン符号化、文脈依存ありまたはなしの算術符号化などを含む、様々な原理に従うことができる。パーサ（420）は、グループに対応する少なくとも1つのパラメータに基づいて、符号化ビデオシーケンスから、ビデオデコーダ内の画素のサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出し得る。サブグループは、ピクチャのグループ（GOP）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（420）はまた、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、MVなどのような情報も抽出し得る。

パーサ（420）は、シンボル（421）を作成するように、バッファメモリ（415）から受信したビデオシーケンスに対してエントロピー復号／構文解析動作を実行し得る。

シンボル（421）の再構築は、符号化されたビデオピクチャまたはその一部のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、および他の要因に応じて、複数の異なるユニットに関与させることができる。どのユニットがどのように関与するかは、パーサ（420）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御することができる。パーサ（420）と以下の複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。

既に述べられた機能ブロックを超えて、ビデオデコーダ（410）は、以下に説明されるように、概念的にいくつかの機能ユニットに細分することができる。商業的制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合され得る。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。

最初のユニットは、スケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化された変換係数、ならびに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（420）から（1つまたは複数の）シンボル（421）として受信する。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力され得るサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラ符号化されたブロックに関係することがあり、つまり、以前に再構築されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構築された部分からの予測情報を使用することができるブロックである。このような予測情報は、イントラピクチャ予測ユニット（452）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（452）は、現在のピクチャバッファ（458）から取得された周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（458）は、例えば、部分的に再構築された現在のピクチャ、および／または完全に再構築された現在のピクチャをバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報を、スケーラ／逆変換ユニット（451）によって提供された出力サンプル情報に追加する。

他の場合には、スケーラ／逆変換ユニット（451）の出力サンプルは、インター符号化され潜在的に動き補償されたブロックに関係することができる。このような場合、動き補償予測ユニット（453）は、予測に使用されるサンプルを取得するために、参照ピクチャメモリ（457）にアクセスすることができる。ブロックに関連するシンボル（421）に従って取得されたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するように、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加され得る。動き補償予測ユニット（453）が予測サンプルを取得する参照ピクチャメモリ（457）内のアドレスは、例えばX、Y、および参照ピクチャ成分を有することができるシンボル（421）の形態で動き補償予測ユニット（453）に利用可能なように、MVによって制御することができる。動き補償はまた、サブサンプルの正確なMVが使用されているときに参照ピクチャメモリ（457）から取得されたサンプル値の補間、MV予測メカニズムなども含むことができる。

アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）において様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化ビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（420）からのシンボル（421）としてループフィルタユニット（456）に利用可能になるインループフィルタ技術を含むことができるが、符号化ピクチャまたは符号化ビデオシーケンスの前の（復号順の）部分の復号中に取得されたメタ情報に応答することもできるほか、以前に再構築およびループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（456）の出力は、レンダリングデバイス（412）に出力することができ、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（457）に格納することができる、サンプルストリームであってもよい。

特定の符号化ピクチャは、完全に再構築されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応する符号化ピクチャが完全に再構築され、符号化ピクチャが（例えば、パーサ（420）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（458）は参照ピクチャメモリ（457）の一部になることができ、次の符号化ピクチャの再構築を開始する前に、新しい現在のピクチャバッファを再割り当てすることができる。

ビデオデコーダ（410）は、ITU－T Rec．H．265などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化ビデオシーケンスがビデオ圧縮技術または規格のシンタックス、およびビデオ圧縮技術または規格に文書化されたプロファイル、の両方に準拠するという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されたシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で利用可能なすべてのツールから、そのプロファイルの下で使用可能な唯一のツールとして、特定のツールを選択し得る。また、コンプライアンスのために必要なのは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義される境界内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、1秒当たりのメガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）仕様、および符号化ビデオシーケンスにおいて伝えられるHRDバッファ管理のメタデータによってさらに制限され得る。

一実施形態では、受信機（431）は、符号化されたビデオとともに追加の（冗長な）データを受け取ってもよい。追加データは、（1つまたは複数の）符号化ビデオシーケンスの一部として含まれてもよい。追加データは、データを適切に復号するために、および／または元のビデオデータをより正確に再構築するために、ビデオデコーダ（410）によって使用され得る。追加データは、例えば、時間的、空間的、または信号対雑音比（SNR）強化層、冗長スライス、冗長ピクチャ、順方向エラー訂正コードなどの形態であり得る。

図5は、本開示の一実施形態によるビデオエンコーダ（503）のブロック図を示す。ビデオエンコーダ（503）は、電子デバイス（520）に含まれる。電子デバイス（520）は、送信機（540）（例えば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例におけるビデオエンコーダ（303）の代わりに使用することができる。

ビデオエンコーダ（503）は、ビデオエンコーダ（503）によって符号化される（1つまたは複数の）ビデオ画像をキャプチャし得る（図5の例では電子デバイス（520）の一部ではない）ビデオソース（501）から、ビデオサンプルを受信し得る。別の例では、ビデオソース（501）は電子デバイス（520）の一部である。

ビデオソース（501）は、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形式でビデオエンコーダ（503）によってコーディングされるソースビデオシーケンスを提供することができる。メディア供給システムでは、ビデオソース（501）は、予め用意されたビデオを格納する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（501）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであり得る。ビデオデータは、連続して見たときに動きを与える、複数の個々のピクチャとして提供され得る。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて、1つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

一実施形態によれば、ビデオエンコーダ（503）は、リアルタイムで、または用途によって要求される任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを符号化ビデオシーケンス（543）に符号化および圧縮し得る。適切な符号化速度を強制することは、コントローラ（550）の一機能である。いくつかの実施形態では、コントローラ（550）は、以下に説明されるように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、結合は描かれていない。コントローラ（550）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値など）、ピクチャサイズ、ピクチャのグループ（GOP）レイアウト、最大MV許容参照領域などを含むことができる。コントローラ（550）は、特定のシステム設計のために最適化されたビデオエンコーダ（503）に関連する他の適切な機能を有するように構成することができる。

いくつかの実施形態では、ビデオエンコーダ（503）は、符号化ループで動作するように構成される。過度に単純化された説明として、一例では、符号化ループは、ソースコーダ（530）（例えば、符号化される入力ピクチャおよび参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成する役割を果たす）、およびビデオエンコーダ（503）に埋め込まれた（ローカル）デコーダ（533）を含むことができる。デコーダ（533）は、（リモート）デコーダも作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構築する（開示された主題で考慮されるビデオ圧縮技術では、シンボルと符号化ビデオビットストリームとの間の任意の圧縮が可逆的であるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームの復号は、デコーダ位置（ローカルまたはリモート）とは無関係にビットパーフェクトな結果をもたらすので、参照ピクチャメモリ（534）の内容もまた、ローカルエンコーダとリモートエンコーダとの間でビットパーフェクトである。言い換えると、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネルエラーのために同期性を維持できない場合に生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。

「ローカル」デコーダ（533）の動作は、ビデオデコーダ（410）などの「リモート」デコーダの動作と同じであり得、これは、図4に関連して上記で詳細に説明されている。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（545）およびパーサ（420）による符号化ビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、バッファメモリ（415）およびパーサ（420）を含むビデオデコーダ（410）のエントロピー復号部は、ローカルデコーダ（533）に完全に実装されなくてもよい。

この時点で行われ得る観察は、デコーダに存在する構文解析／エントロピー復号以外の任意のデコーダ技術もまた、実質的に同一の機能形態で、対応するエンコーダ内に必ず存在する必要があるということである。このため、開示された主題は、デコーダ動作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されているデコーダ技術の逆であるため、省略できる。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。

動作中、いくつかの例では、ソースコーダ（530）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つ以上の以前に符号化されたピクチャを参照して入力ピクチャを予測的に符号化する、動き補正予測符号化を実行し得る。このようにして、符号化エンジン（532）は、入力ピクチャの画素ブロックと、入力ピクチャへの（1つまたは複数の）予測参照として選択され得る（1つまたは複数の）参照ピクチャの画素ブロックとの差を符号化する。

ローカルビデオデコーダ（533）は、ソースコーダ（530）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータを復号し得る。符号化エンジン（532）の動作は、有利には非可逆プロセスであり得る。符号化ビデオデータがビデオデコーダ（図5では図示せず）で復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを有するソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（533）は、ビデオデコーダによって参照ピクチャに対して実行され得る復号プロセスを複製し、再構築された参照ピクチャを参照ピクチャキャッシュ（534）に格納させることができる。このようにして、ビデオエンコーダ（503）は、遠端ビデオデコーダによって取得される（送信エラーがない）再構築された参照ピクチャとして共通の内容を有する再構築された参照ピクチャのコピーをローカルに格納することができる。

予測器（535）は、符号化エンジン（532）の予測検索を実行し得る。すなわち、符号化される新しいピクチャに対して、予測器（535）は、（候補参照画素ブロックとしての）サンプルデータ、または新しいピクチャの適切な予測参照として機能し得る参照ピクチャMV、ブロック形状などの特定のメタデータについて、参照ピクチャメモリ（534）を検索し得る。予測器（535）は、適切な予測参照を見つけるために、ピクセルブロックごとのサンプルブロックを基本として動作し得る。場合によっては、予測器（535）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に格納された複数の参照ピクチャから引き出された予測参照を有してもよい。

コントローラ（550）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（530）の符号化動作を管理し得る。

前述のすべての機能ユニットの出力は、エントロピーコーダ（545）においてエントロピー符号化を受けることがある。エントロピーコーダ（545）は、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

送信機（540）は、符号化されたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（560）を介した送信に備えるために、エントロピーコーダ（545）によって作成された（1つまたは複数の）符号化ビデオシーケンスをバッファリングし得る。送信機（540）は、ビデオコーダ（503）からの符号化ビデオデータを、送信される他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。

コントローラ（550）は、ビデオエンコーダ（503）の動作を管理し得る。符号化中に、コントローラ（550）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得る。例えば、ピクチャは、以下のピクチャタイプのうちの1つとして割り当てられることが多い。

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内の他のピクチャを使用せずに符号化および復号され得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者は、Iピクチャのこれらの変形、ならびにそれらのそれぞれの用途および機能を認識している。

予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために最大で1つのMVと参照インデックスとを使用する、イントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。

双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために最大で2つのMVと参照インデックスとを使用する、イントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。同様に、複数予測ピクチャは、単一ブロックの再構築のために3つ以上の参照ピクチャおよび関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々、4x4、8x8、4x8、または16x16のブロック）に空間的に細分化され、ブロックごとに符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定されるように、他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Iピクチャのブロックは非予測的に符号化されてもよく、またはこれらは、同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてもよい（空間予測またはイントラ予測）。Pピクチャの画素ブロックは、以前に符号化された1つの参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的に符号化され得る。Bピクチャのブロックは、1つまたは2つの以前に符号化された参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的に符号化され得る。

ビデオエンコーダ（503）は、例えばITU－T Rec．H．265などの所定のビデオ符号化技術または規格に従って、符号化動作を実行し得る。その動作において、ビデオエンコーダ（503）は、入力ビデオシーケンス内の時間的および空間的冗長性を利用する予測符号化動作を含む、様々な圧縮動作を実行し得る。したがって、符号化ビデオデータは、使用されているビデオ符号化技術または規格によって指定されたシンタックスに準拠することができる。

一実施形態では、送信機（540）は、符号化されたビデオとともに追加データを送信し得る。ソースコーダ（530）は、符号化ビデオシーケンスの一部としてそのようなデータを含み得る。追加データは、時間／空間／SNR強化層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。

ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列にキャプチャされ得る。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在のピクチャと呼ばれる、符号化／復号中の特定のピクチャがブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前に符号化されてまだバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のブロックは、MVと呼ばれるベクトルによって符号化され得る。MVは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。

いくつかの実施形態では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、両方ともビデオ内の現在のピクチャよりも復号順で前にある（ただし表示順ではそれぞれ過去と未来であり得る）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1のMV、および第2の参照ピクチャ内の第2の参照ブロックを指し示す第2のMVによって符号化することができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測することができる。

さらに、符号化効率を改善するために、インターピクチャ予測にマージモード技術を使用することができる。

本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のために符号化ツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64x64画素、32x32画素、または16x16画素などの同じサイズを有する。一般に、CTUは、1つのルーマCTBおよび2つのクロマCTBである、3つの符号化ツリーブロック（CTB）を含む。各CTUは、1つまたは複数の符号化ユニット（CU）に再帰的に四分木分割することができる。例えば、64x64画素のCTUは、64x64画素の1つのCU、または32x32画素の4つのCU、または16x16画素の16個のCUに分割することができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために分析される。CUは、時間的および／または空間的な予測可能性に応じて、1つ以上の予測ユニット（PU）に分割される。一般に、各PUは、ルーマ予測ブロック（PB）と、2つのクロマPBとを含む。一実施形態では、符号化（符号化／復号）における予測動作は、予測ブロック単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素の値（例えば、ルーマ値）の行列を含む。

図6は、本開示の別の実施形態によるビデオエンコーダ（603）の図を示す。ビデオエンコーダ（603）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャに符号化するように構成される。一例では、ビデオエンコーダ（603）は、図3の例におけるビデオエンコーダ（303）の代わりに使用される。

HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルなどの予測ブロックなど、処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（603）は、イントラモード、インターモード、または双予測モードを使用して、例えばレート歪み最適化を使用して、処理ブロックが最良に符号化されるか否かを判定する。処理ブロックがイントラモードで符号化されるとき、ビデオエンコーダ（603）は、処理ブロックを符号化ピクチャに符号化するためにイントラ予測技術を使用してもよく、処理ブロックがインターモードまたは双予測モードで符号化されるとき、ビデオエンコーダ（603）は、処理ブロックを符号化ピクチャに符号化するために、インター予測または双予測技術をそれぞれ使用してもよい。特定のビデオ符号化技術では、マージモードは、予測器の外側の符号化されたMV成分の恩恵を受けずに1つ以上のMV予測器からMVが導出される、インターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能なMV成分が存在し得る。一例では、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図6の例では、ビデオエンコーダ（603）は、図6に示されるように互いに結合された、インターエンコーダ（630）、イントラエンコーダ（622）、残差計算器（623）、スイッチ（626）、残差エンコーダ（624）、汎用コントローラ（621）、およびエントロピーエンコーダ（625）を含む。

インターエンコーダ（630）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャ内の1つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術、MV、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号された復号参照ピクチャである。

イントラエンコーダ（622）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックを同じピクチャ内で既に符号化されたブロックと比較し、変換後に量子化された係数を生成し、場合によってはイントラ予測情報（例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（622）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測ブロック）も計算する。

汎用コントローラ（621）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（603）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（621）は、ブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を提供する。例えば、モードがイントラモードであるとき、汎用コントローラ（621）は、残差計算器（623）によって使用するためのイントラモード結果を選択するようにスイッチ（626）を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御し、モードがインターモードであるときには、汎用コントローラ（621）は、残差計算器（623）によって使用するためのインター予測結果を選択するようにスイッチ（626）を制御し、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御する。

残差計算器（623）は、受信されたブロックと、イントラエンコーダ（622）またはインターエンコーダ（630）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（624）は、変換係数を生成するために残差データを符号化するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ（624）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。変換係数はその後、量子化された変換係数を得るために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（603）はまた、残差デコーダ（628）も含む。残差デコーダ（628）は、逆変換を実行し、復号残差データを生成するように構成される。復号残差データは、イントラエンコーダ（622）およびインターエンコーダ（630）によって適切に使用することができる。例えば、インターエンコーダ（630）は、復号残差データおよびインター予測情報に基づいて復号ブロックを生成することができ、イントラエンコーダ（622）は、復号残差データおよびイントラ予測情報に基づいて復号ブロックを生成することができる。いくつかの例では、復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることが可能である。

エントロピーエンコーダ（625）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（625）は、HEVCなどの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（625）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックを符号化するときには、残差情報がないことに留意されたい。

図7は、本開示の別の実施形態によるビデオデコーダ（710）の図を示す。ビデオデコーダ（710）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、再構築されたピクチャを生成するために符号化ピクチャを復号するように構成される。一例では、ビデオデコーダ（710）は、図3の例におけるビデオデコーダ（310）の代わりに使用される。

図7の例では、ビデオデコーダ（710）は、図7に示されるように互いに結合された、エントロピーデコーダ（771）、インターデコーダ（780）、残差デコーダ（773）、再構築モジュール（774）、およびイントラデコーダ（772）を含む。

エントロピーデコーダ（771）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成され得る。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、後者の2つはマージサブモードまたは他のサブモード）、イントラデコーダ（772）またはインターデコーダ（780）によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば量子化された変換係数の形態の残差情報などを含むことができる。一例では、予測モードがインター予測モードまたは双予測モードであるとき、インター予測情報がインターデコーダ（780）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（772）に提供される。残差情報は、逆量子化を受ける可能性があり、残差デコーダ（773）に提供される。

インターデコーダ（780）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（772）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（773）は、逆量子化された変換係数を抽出するために逆量子化を実行し、残差を周波数領域から空間領域に変換するために逆量子化された変換係数を処理するように構成される。残差デコーダ（773）はまた、（量子化器パラメータ（QP）を含めるために）特定の制御情報も必要とする場合があり、その情報は、エントロピーデコーダ（771）によって提供され得る（これは少量の制御情報のみであり得るため、データパスは示されていない）。

再構築モジュール（774）は、空間領域において、再構築されたブロックを形成するために、残差デコーダ（773）によって出力された残差と、（場合によってはインター予測モジュールまたはイントラ予測モジュールによって出力された）予測結果とを組み合わせるように構成され、再構築されたブロックは再構築されたピクチャの一部であり得、ひいては再構築されたビデオの一部であり得る。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。

ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、1つ以上の集積回路を使用して実装できる。別の実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装できる。

II．クロスコンポーネント線形モデル予測
VVCなどのいくつかの関連する例では、クロスコンポーネント冗長性を低減するために、クロスコンポーネント線形モデル（CCLM）予測モードが使用される。CCLM予測モードでは、以下のような線形モデルを使用することによって、同じCUの再構築されたルーマサンプルに基づいてCUのクロマサンプルを予測することができる。
pred＿C（i，j）＝α・rec＿L’（i，j）＋β
ここで、pred＿C（i，j）はCUで予測されたクロマサンプルを表し、rec＿L（i，j）はCUのダウンサンプリングされた再構築ルーマサンプルを表す。

図8は、CCLMパラメータ（例えば、αおよびβ）の導出に使用される近傍クロマサンプルおよび対応する近傍ルーマサンプルの例示的な位置を示す。図8では、ルーマブロック（810）は既に再構築されており、ルーマブロックに対応するクロマブロック（800）は、CCLM予測モードを使用して予測されている。CCLMパラメータは、クロマブロック（800）の近傍クロマサンプルおよびルーマブロック（810）の対応する近傍ルーマサンプルに基づいて導出される。例えば、近傍クロマサンプル（801）および対応する近傍ルーマサンプル（811）は、CCLMパラメータの導出のために使用することができる。

いくつかの例では、CCLMパラメータは、CUの最大4つの近傍クロマサンプルおよびCUの対応する近傍ルーマサンプルを用いて導出することができる。図8はまた、近傍クロマサンプルに対応するダウンサンプリングされたルーマサンプルも示す。対応する近傍ルーマサンプルは、ダウンサンプルフィルタリングプロセスのために直接使用されるかまたはパディングされ得る。CUの上部（または上）、左、および左上の領域に位置する近傍ルーマサンプルでは、近傍ルーマサンプルが再構築されて利用可能であるときはいつでも、これらをダウンサンプルフィルタリングプロセスで使用することができる。

図9Aおよび図9Bは、それぞれ左および上部の近傍ルーマサンプルの例示的なダウンサンプルフィルタリングプロセスを示す。図9Aおよび図9Bの両方において、SPS＿chroma＿vertical＿collocated＿flagなどのSPSクロマ垂直配列フラグは、CU内のクロマサンプルおよび対応するルーマサンプルが垂直に配列されているか否かを示すために使用される。いくつかの例では、SPSクロマ垂直配列フラグが真である場合、これは、CU内のクロマサンプルおよび対応するルーマサンプルが垂直に配列されていることを示す。SPSクロマ垂直配列フラグが偽である場合、これは、CU内のクロマサンプルおよび対応するルーマサンプルが垂直に配列されていないことを示す。例えば、4：4：4のクロマサンプリングパターンを有するピクチャでは、SPSクロマ垂直配列フラグは真であり得る。

図9Aにおいて、CUの左近傍ルーマサンプルでは、SPSクロマ垂直配列フラグが真である場合、左近傍ルーマサンプルに5タップダウンサンプルフィルタを使用することができる。SPSクロマ垂直配列フラグが偽である場合には、左近傍ルーマサンプルに6タップダウンサンプルフィルタを使用することができる。

図9Bにおいて、CUの上部（または上）近傍ルーマサンプルでは、SPSクロマ垂直配列フラグおよびCUの位置に基づいてダウンサンプルフィルタを選択することができる。CUは、CUが位置するCTUの境界に隣接している場合、上部近傍ルーマサンプルに3タップダウンサンプルフィルタを使用することができる。CUがCTU境界に隣接していない場合には、SPSクロマ垂直配列フラグが真であるか否かに基づいてダウンサンプルフィルタを決定することができる。SPSクロマ垂直配列フラグが真である場合、上部近傍ルーマサンプルに5タップダウンサンプルフィルタを使用することができる。SPSクロマ垂直配列フラグが偽である場合には、上部近傍ルーマサンプルに6タップダウンサンプルフィルタを使用することができる。

III．クロスコンポーネント線形モデル予測の改善
上述のように、上部近傍ルーマサンプルなどの場合には、ダウンサンプルフィルタプロセスはCUの位置に依存し、より複雑なプロセスにつながる。本開示は、CCLM予測モードに対する改善を含む。

本開示の態様によれば、CCLMパラメータの導出に使用されるCUの近傍ルーマサンプルが利用不可能であるとき、利用不可近傍ルーマサンプルのサンプル値は、CUの利用可能近傍ルーマサンプルのサンプル値に基づいて決定することができる。例えば、利用不可近傍ルーマサンプルは、利用可能近傍ルーマサンプルを使用してパディングすることができる。

図10Aおよび図10Bは、CCLMパラメータの導出のための上部近傍ルーマサンプルのパディングの2つの例を示す。上部近傍ルーマサンプルは、利用可能近傍ルーマサンプルおよび利用不可近傍ルーマサンプルを含む。利用不可上部近傍ルーマサンプルは、利用可能近傍ルーマサンプルを使用してパディングすることができる。

いくつかの実施形態では、CCLMパラメータの導出のためにM行の上部近傍ルーマサンプルが必要とされ、（Mよりも小さい）N行の上部近傍ルーマサンプルが利用可能であり、M－N行は、N行のうちの1つ、例えばM行の上部近傍ルーマサンプルに最も近い行を使用してパディングされる。一実施形態では、Mは予め決められていてもよい。

図10Aでは、MおよびNは、それぞれ4および1に等しい。したがって、現在のルーマブロック（1000）では、CCLMパラメータの導出のために上部の行であるライン0～ライン3が必要とされる。ライン0は1行の利用可能上部近傍ルーマサンプルであり、ライン1～ライン3は3行の利用不可上部近傍ルーマサンプルである。ライン1～ライン3は、ライン0を使用して行ごとにパディングすることができる。例えば、ライン1～ライン3の3つの利用不可上部近傍ルーマサンプル（1002）～（1004）は、ライン0の利用可能上部近傍ルーマサンプル（1001）を使用してパディングすることができる。したがって、3つの利用不可上部近傍ルーマサンプル（1002）～（1004）はすべて、利用可能上部近傍ルーマサンプル（1001）のサンプル値であるKと同じサンプル値を有することができる。

図10Bでは、MおよびNは、それぞれ4および2に等しい。したがって、現在のルーマブロック（1010）では、CCLMパラメータの導出のために上部の行であるライン0～ライン3が必要とされる。ライン0～ライン1は2行の利用可能上部近傍ルーマサンプルであり、ライン2～ライン3は2行の利用不可上部近傍ルーマサンプルである。ライン2～ライン3は、ライン1を使用して行ごとにパディングすることができる。例えば、ライン2～ライン3の2つの利用不可上部近傍ルーマサンプル（1013）～（1014）は、それぞれライン1の利用可能上部近傍ルーマサンプル（1012）を使用してパディングすることができる。したがって、両方の利用不可上部近傍ルーマサンプル（1013）～（1014）は、利用可能上部近傍ルーマサンプル（1012）のサンプル値であるA1と同じサンプル値を有することができる。

上述のように、利用可能近傍ルーマサンプルを使用して利用不可近傍ルーマサンプルをパディングすることにより、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスは、CTU境界から独立することができる。すなわち、CUの位置は、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスにおいて調べる必要がない。したがって、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスは、例えばSPSクロマ垂直配列フラグのみに依存することができる。一実施形態では、SPSクロマ垂直配列フラグが真である場合、図9Bの既存の5タップフィルタなどの5タップフィルタをCCLMパラメータの導出に使用することができる。SPSクロマ垂直配列フラグが偽である場合には、図9Bの既存の6タップフィルタなどの6タップフィルタをCCLMパラメータの導出に使用することができる。

本開示の態様によれば、CUの再構築された左上近傍ルーマサンプルがCCLMパラメータの導出に使用される場合、左上近傍ルーマサンプルの再構築されたサンプル値を使用する代わりに、左上近傍ルーマサンプルのサンプル値は、CUの上部近傍ルーマサンプルのサンプル値または左近傍ルーマサンプルのサンプル値に基づいて決定することができる。例えば、左上近傍ルーマサンプルは、上部近傍ルーマサンプルまたは左近傍ルーマサンプルを使用してパディングすることができる。左上近傍ルーマサンプルのために再構築されたサンプル値の代わりにパディングされたサンプル値を使用することは、いくつかの実施形態では、再構築された左上近傍ルーマサンプルは再構築された上部または左の近傍ルーマサンプルから分離したレジスタに格納され得るので、ハードウェア実装にとって有益であり得る。

図11Aおよび図11Bは、CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの2つの例を示す。図11Aおよび図11Bの両方において、左上近傍ルーマサンプルは、CCLMパラメータを導出するときに再構築することができる。

一実施形態では、再構築された左上近傍ルーマサンプルは、CCLMパラメータを導出するときに上部近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用されない。上部近傍ルーマサンプルのダウンサンプルフィルタプロセスでは、左および左上の近傍ルーマサンプルの可用性は、利用不可能としてマークすることができる。例えば、再構築された上部近傍ルーマサンプルのみを、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用することができる。上部近傍ルーマサンプルのダウンサンプルフィルタプロセスがN［x，y］に位置する利用不可ルーマサンプルを必要とするときはいつでも、x＜0であるとき、利用不可ルーマサンプルは別の近傍ルーマサンプル（例えば、最も近い近傍ルーマサンプル）でパディングすることができる。例えば、N［x，y］の利用不可ルーマサンプルは、最も近い再構築された上部近傍ルーマサンプルM［j，k］でパディングすることができ、ここでk＝yおよびj＞＝0である。

図11Aにおいて、現在のルーマブロック（1100）では、［－1，－2］に位置する利用不可左上近傍ルーマサンプル（1101）は、B0のサンプル値を有する［0，－2］に位置する利用可能上部近傍ルーマサンプル（1102）を使用してパディングすることができる。したがって、利用不可左上近傍ルーマサンプル（1101）のサンプル値はB0であり得る。利用不可左上近傍ルーマサンプル（1101）は、利用可能上部近傍ルーマサンプル（1102）に隣接して位置している。ルーマサンプル（1101）および（1102）は両方とも、現在のルーマブロック（1100）の上の1つの行にある。

一実施形態では、再構築された左上近傍ルーマサンプルは、CCLMパラメータを導出するときに左近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用されない。左近傍ルーマサンプルのダウンサンプルフィルタプロセスでは、上部および左上の近傍ルーマサンプルの可用性は、利用不可能としてマークすることができる。例えば、再構築された左近傍ルーマサンプルのみを、左近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用することができる。左近傍ルーマサンプルのダウンサンプルフィルタプロセスがO［x，y］に位置する利用不可ルーマサンプルを必要とするときはいつでも、y＜0であるとき、利用不可ルーマサンプルは別の近傍ルーマサンプル（例えば、最も近い近傍ルーマサンプル）でパディングすることができる。例えば、O［x，y］の利用不可ルーマサンプルは、最も近い再構築された左近傍ルーマサンプルP［j，k］でパディングすることができ、ここでj＝xおよびk＞＝0である。

図11Bにおいて、現在のルーマブロック（1110）では、［－2，－1］に位置する利用不可左上近傍ルーマサンプル（1111）は、B0のサンプル値を有する［－2，0］に位置する利用可能左近傍ルーマサンプル（1112）を使用してパディングすることができる。利用不可左上近傍ルーマサンプル（1111）は、利用可能左近傍ルーマサンプル（1112）に隣接して位置している。ルーマサンプル（1111）および（1112）は両方とも、現在のブロック（1110）の左の1つの列にある。

一実施形態では、再構築された左上近傍ルーマサンプルは、CCLMパラメータを導出するときに左上近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用されない。左上近傍ルーマサンプルのダウンサンプルフィルタプロセスでは、左上近傍ルーマサンプルの可用性は、利用不可能としてマークすることができる。例えば、再構築された上部および左近傍ルーマサンプルのうちの1つを、左上近傍ルーマサンプルのダウンサンプルフィルタプロセスで使用することができる。上部または左の近傍ルーマサンプルの使用は、ダウンサンプルフィルタプロセスに基づくことができる。一例では、ダウンサンプルフィルタプロセスは最初に上部近傍ルーマサンプルに対して実行され、その後に左近傍ルーマサンプルが続く場合、上部近傍ルーマサンプルに基づいて左上近傍ルーマサンプルを決定することができる。別の例では、ダウンサンプルフィルタプロセスは最初に左近傍ルーマサンプルに対して実行され、その後に上部近傍ルーマサンプルが続く場合、左近傍ルーマサンプルに基づいて左上近傍ルーマサンプルを決定することができる。

図12Aおよび図12Bは、CCLMパラメータの導出のための左上近傍ルーマサンプルのパディングの2つの例を示す。図12Aおよび図12Bの両方において、左上近傍ルーマサンプルは、CCLMパラメータを導出するときに再構築できるが利用不可能としてマークされ得る。ダウンサンプルフィルタプロセスは、4行の上部近傍ルーマサンプルを必要とする可能性がある。図12Aおよび図12Bの両方において、2行の上部近傍ルーマサンプルが利用可能であり、他の2行の上部近傍ルーマサンプルは利用不可能である。利用不可能な行は、最も近い利用可能な行の上部近傍ルーマサンプルを使用してパディングすることができる。

図12Aでは、ダウンサンプルフィルタプロセスは最初に上部近傍ルーマサンプルに対して実行され、その後に左近傍ルーマサンプルが続くことができる。例えば、現在のルーマブロック（1200）では、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスにおいて、利用不可左上近傍ルーマサンプル（1201）および（1202）は、それぞれ利用可能上部近傍ルーマサンプル（1206）および（1205）でパディングすることができる。利用不可上部近傍ルーマサンプル（1203）および（1204）は両方とも、利用可能上部近傍ルーマサンプル（1205）でパディングすることができる。例えば、近傍ルーマサンプル（1201）はDのサンプル値を有し、近傍ルーマサンプル（1202）～（1204）の各々はD1のサンプル値を有する。

図12Bでは、ダウンサンプルフィルタプロセスは最初に左近傍ルーマサンプルに対して実行され、その後に上部近傍ルーマサンプルが続くことができる。例えば、現在のルーマブロック（1210）では、左近傍ルーマサンプルのダウンサンプルフィルタプロセスにおいて、利用不可左上近傍ルーマサンプル（1213）および（1214）は、それぞれ利用可能な左近傍ルーマサンプル（1212）および（1211）でパディングすることができる。次に、上部近傍ルーマサンプルのダウンサンプルフィルタプロセスでは、利用不可上部近傍ルーマサンプル（1215）および（1216）は両方とも、利用可能上部近傍ルーマサンプル（1217）でパディングすることができる。したがって、近傍ルーマサンプル（1213）はB0のサンプル値を有し、近傍ルーマサンプル（1214）はBのサンプル値を有し、近傍ルーマサンプル（1215）および（1216）の各々はD1のサンプル値を有する。

IV．フローチャート
図13は、本開示の一実施形態による例示的なプロセス（1300）を概説するフローチャートを示す。様々な実施形態において、プロセス（1300）は、端末デバイス（210）、（220）、（230）、および（240）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、イントラ予測モジュール（452）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路、予測器（535）の機能を実行する処理回路、イントラエンコーダ（622）の機能を実行する処理回路、イントラデコーダ（772）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1300）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1300）を実行する。

プロセス（1300）は、一般に、ステップ（S1310）で開始することができ、プロセス（1300）は、符号化ビデオシーケンスの一部である現在のピクチャ内の現在のブロックの予測情報を復号する。予測情報は、現在のブロックのCCLM予測モードを示す。その後、プロセス（1300）はステップ（S1320）に進む。

ステップ（S1320）において、プロセス（1300）は、CCLM予測モードで使用される少なくとも1つのルーマサンプルが利用可能ではないことに基づいて、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値を決定する。第1の利用不可近傍ルーマサンプルのサンプル値は、利用可能近傍ルーマサンプルのサンプル値に基づいて決定することができる。その後、プロセス（1300）はステップ（S1330）に進む。

ステップ（S1330）において、プロセス（1300）は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値に基づいて、CCLM予測モードのパラメータを計算する。その後、プロセス（1300）はステップ（S1340）に進む。

ステップ（S1340）において、プロセス（1300）は、CCLM予測モードの計算されたパラメータに基づいて、現在のブロックを再構築する。その後、プロセス（1300）は終了する。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの上の行に位置し、第1の利用不可近傍ルーマサンプルは、利用可能近傍ルーマサンプルに隣接し、利用可能近傍ルーマサンプルが位置している行に隣接する行にある。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの上の行に位置し、第1の利用不可近傍ルーマサンプルは、現在のブロックの同じ行で左上の利用可能近傍ルーマサンプルに隣接している。

一実施形態では、利用可能近傍ルーマサンプルは、現在のブロックの左の列に位置し、第1の利用不可近傍ルーマサンプルは、現在のブロックの同じ列で左上の利用可能近傍ルーマサンプルに隣接している。

一実施形態では、処理回路は、利用可能近傍ルーマサンプルのサンプル値に基づいて、現在のブロックの第2の利用不可近傍ルーマサンプルのサンプル値を決定する。処理回路は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値および第2の利用不可近傍ルーマサンプルのサンプル値に基づいて、CCLM予測モードのパラメータを計算する。

一実施形態では、利用可能近傍ルーマサンプル、第1の利用不可近傍ルーマサンプル、および第2の利用不可近傍ルーマサンプルは、現在のブロックの上の同じ列で異なる行に位置している。

一実施形態では、処理回路は、現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値に対してダウンサンプルフィルタを実行する。処理回路は、ダウンサンプルフィルタの結果に基づいて、CCLM予測モードのパラメータを計算する。

一実施形態では、現在のブロックの第1の利用不可近傍ルーマサンプルは現在のブロックの上に位置し、処理回路は、第1の利用不可近傍ルーマサンプルに対してNタップフィルタを実行する。Nは、第1の利用不可近傍ルーマサンプルおよび対応するクロマサンプルが垂直に配列されているか否かに基づいて決定される。

V．コンピュータシステム
上記の技術は、コンピュータ可読命令を使用し、1つ以上のコンピュータ可読媒体に物理的に格納された、コンピュータソフトウェアとして実装することができる。例えば、図14は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（1400）を示している。

コンピュータソフトウェアは、1つ以上のコンピュータ中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）などによって、直接、または解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となり得る任意の適切なマシンコードまたはコンピュータ言語を使用して符号化することができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはその構成要素上で実行することができる。

コンピュータシステム（1400）について図14に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定も示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム（1400）の例示的な実施形態に示される構成要素のいずれか1つまたは組合せに関する依存性または要件を有するものとして解釈されるべきではない。

コンピュータシステム（1400）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を介して、1人以上の人間のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、オーディオ（音声、音楽、周囲音など）、画像（走査画像、静止画カメラから取得した写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関連しない特定の媒体をキャプチャするためにも使用することができる。

入力ヒューマンインターフェースデバイスは、キーボード（1401）、マウス（1402）、トラックパッド（1403）、タッチスクリーン（1410）、データグローブ（図示せず）、ジョイスティック（1405）、マイク（1406）、スキャナ（1407）、カメラ（1408）のうちの1つ以上（各々1つのみが図示される）を含むことができる。

コンピュータシステム（1400）はまた、特定のヒューマンインターフェース出力デバイスも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば触覚出力、音、光、および嗅覚／味覚を通じて、1人以上の人間のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（1410）、データグローブ（図示せず）、またはジョイスティック（1405）による触覚フィードバック、ただし入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音声出力デバイス（例えば、スピーカ（1409）、ヘッドフォン（図示せず））、視覚出力デバイス（例えば、各々タッチスクリーン入力機能ありまたはなし、各々触覚フィードバック機能ありまたはなしのCRTスクリーン、LCDスクリーン、プラズマスクリーンOLEDスクリーンを含むスクリーン（1410）、これらのうちのいくつかは、立体出力などの手段を通じて2次元視覚出力または3次元以上の視覚出力を出力できるものもある；仮想現実メガネ（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず））、およびプリンタ（図示せず）を含み得る。これらの視覚出力デバイス（スクリーン（1410など）は、グラフィックスアダプタ（1450）を通じてシステムバス（1448）に接続することができる。

コンピュータシステム（1400）はまた、人間がアクセス可能な記憶デバイス、ならびにCD／DVDまたは同様の媒体（1421）を有するCD／DVD ROM／RW（1420）を含む光学メディア、サムドライブ（1422）、リムーバブルハードドライブまたはソリッドステートドライブ（1423）、テープおよびフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの専用のROM／ASIC／PLDベースのデバイス（図示せず）などの関連媒体も含むことができる。

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、または他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム（1400）はまた、1つ以上の通信ネットワーク（1455）とのネットワークインターフェース（1454）も含むことができる。1つ以上の通信ネットワーク（1455）は、例えば無線、有線、光であり得る。1つ以上の通信ネットワーク（1455）はさらに、ローカル、広域、メトロポリタン、車両および産業、リアルタイム、遅延耐性などであり得る。1つ以上の通信ネットワーク（1455）の例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、および地上波TVを含むTV有線または無線広域デジタルネットワーク、CANBusを含む車両用および産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（1449）（例えば、コンピュータシステム（1400）のUSBポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム（1400）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1400）は他のエンティティと通信することができる。このような通信は、単方向受信のみ（例えば、TV放送）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムとの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述のようなこれらのネットワークおよびネットワークインターフェースの各々で使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム（1400）のコア（1440）に接続することができる。

コア（1440）は、1つ以上の中央処理ユニット（CPU）（1441）、グラフィックス処理ユニット（GPU）（1442）、フィールドプログラマブルゲートエリア（FPGA）の形態の専用プログラマブル処理ユニット（1443）、特定のタスク用のハードウェアアクセラレータ（1444）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ROM）（1445）、ランダムアクセスメモリ（1446）、ユーザがアクセス不可能な内部ハードドライブ、SSDなどの内部大容量記憶装置（1447）とともに、システムバス（1448）を通じて接続され得る。いくつかのコンピュータシステムでは、システムバス（1448）は、追加のCPU、GPUなどによる拡張を可能にするために、1つ以上の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス（1448）に直接接続するか、または周辺バス（1449）を通じて接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。

CPU（1441）、GPU（1442）、FPGA（1443）、およびアクセラレータ（1444）は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行することができる。そのコンピュータコードは、ROM（1445）またはRAM（1446）に格納することができる。移行データもまたRAM（1446）に格納することができるが、永続データは、例えば内部大容量記憶装置（1447）に記憶することができる。1つ以上のCPU（1441）、GPU（1442）、大容量記憶装置（1447）、ROM（1445）、RAM（1446）などと密接に関連付けることができるキャッシュメモリの使用を通じて、任意のメモリデバイスへの高速格納および取り出しが可能になる。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであってもよく、またはこれらは、コンピュータソフトウェア技術の当業者に良く知られた利用可能な種類のものであってもよい。

限定ではなく例として、アーキテクチャを有するコンピュータシステム（1400）、具体的にはコア（1440）は、1つ以上の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行する（1つまたは複数の）プロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果としての機能を提供することができる。このようなコンピュータ可読媒体は、上記で紹介されたようなユーザがアクセス可能な大容量記憶装置、およびコア内部の大容量記憶装置（1447）またはROM（1445）などの非一時的な性質のコア（1440）の特定の記憶装置と関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに格納され、コア（1440）によって実行されることが可能である。コンピュータ可読媒体は、特定の必要性に応じて、1つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1440）、および具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1446）に格納されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することを含む、本明細書に記載される特定のプロセス、または特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載される特定のプロセス、または特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたはそれと一緒に動作することができる回路（例えば、アクセラレータ（1444））に配線されるかまたは他の方法で具現化された論理の結果としての機能を提供することができる。ソフトウェアへの言及は論理を包含することができ、必要に応じて、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを格納する回路（例えば、集積回路（IC））、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組合せを包含する。

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内に入る変更、置換、および様々な代替的な均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないものの、本開示の原理を具体化し、したがってその精神および範囲内にある、多数のシステムおよび方法を考案し得ることが理解されよう。

別表A：略語
AMVP：高度な動きベクトル予測
ASIC：特定用途向け集積回路
ATMVP：代替／高度時間動きベクトル予測
BMS：ベンチマークセット
BV：ブロックベクトル
CANBus：コントローラエリアネットワークバス
CB：符号化ブロック
CD：コンパクトディスク
CPR：現在のピクチャ参照
CPU：中央処理ユニット
CRT：陰極線管
CTB：符号化ツリーブロック
CTU：符号化ツリーユニット
CU：符号化ユニット
DPB：デコーダピクチャバッファ
DVD：デジタルビデオディスク
FPGA：フィールドプログラマブルゲートエリア
GOP：ピクチャのグループ
GPU：グラフィックス処理ユニット
GSM：グローバル移動体通信システム
HEVC：高効率ビデオ符号化
HRD：仮想参照デコーダ
IBC：イントラブロックコピー
IC：集積回路
JEM：共同探索モデル
LAN：ローカルエリアネットワーク
LCD：液晶ディスプレイ
LTE：ロングタームエボリューション
MV：動きベクトル
OLED：有機発光ダイオード
PB：予測ブロック
PCI：周辺機器相互接続
PLD：プログラマブル論理デバイス
PU：予測ユニット
RAM：ランダムアクセスメモリ
ROM：読み取り専用メモリ
SCC：スクリーンコンテンツ符号化
SEI：補足拡張情報
SNR：信号雑音比
SSD：ソリッドステートドライブ
TU：変換ユニット
USB：ユニバーサルシリアルバス
VUI：ビデオユーザビリティ情報
VVC：多用途ビデオ符号化

101 サンプル
102,103 矢印
104 ブロック
105 概略図
111 現在のブロック
112,113,114,115,116 ブロック
200 通信システム
210,220,230,240 端末デバイス
250 通信ネットワーク
301 ビデオソース
302 ストリーム
303 ビデオエンコーダ
304 符号化されたビデオデータ、符号化されたビデオビットストリーム
305 ストリーミングサーバ
306 クライアントサブシステム
307 コピー、符号化されたビデオデータ
308 クライアントサブシステム
309 コピー、符号化されたビデオデータ
310 ビデオデコーダ
311 出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320,330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 パーサ
421 シンボル
430 電子デバイス
431 受信機
451 スケーラ／逆変換ユニット
452 イントラピクチャ予測ユニット
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 符号化エンジン
533 ローカルビデオデコーダ
534 参照ピクチャメモリ、参照ピクチャキャッシュ
535 予測器
540 送信機
543 符号化ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構築モジュール
780 インターデコーダ
800 クロマブロック
801 近傍クロマサンプル
810 ルーマブロック
811,1202,1204,1214 近傍ルーマサンプル
1000,1010,1100,1110,1200,1210 現在のルーマブロック
1001,1002,1003,1004,1012,1013,1014 利用可能上部近傍ルーマサンプル
1101,1111,1201 利用不可左上近傍ルーマサンプル
1102,1205,1206,1217 利用可能上部近傍ルーマサンプル
1112 利用可能左近傍ルーマサンプル
1203,1215,1216 利用不可上部近傍ルーマサンプル
1211 ルーマサンプル
1212 左近傍ルーマサンプル
1213 利用不可左上近傍ルーマサンプル
1300 プロセス
1400 コンピュータシステム
1401 キーボード
1402 マウス
1403 トラックパッド
1405 ジョイスティック
1406 マイク
1407 スキャナ
1408 カメラ
1409 スピーカ
1410 タッチスクリーン
1420 CD／DVD ROM／RW
1421 媒体
1422 サムドライブ
1423 リムーバブルハードドライブまたはソリッドステートドライブ
1440 コア
1441 中央処理ユニット（CPU）
1442 グラフィックス処理ユニット（GPU）
1443 専用プログラマブル処理ユニット、FPGA
1444 ハードウェアアクセラレータ
1445 読み取り専用メモリ（ROM）
1446 ランダムアクセスメモリ（RAM）
1447 内部大容量記憶装置
1448 システムバス
1449 周辺バス
1450 グラフィックスアダプタ
1454 ネットワークインターフェース
1455 通信ネットワーク

Claims (9)

1. デコーダが実行するビデオ復号の方法であって、
   符号化ビデオシーケンスの一部である現在のピクチャ内の現在のブロックの予測情報を復号するステップであって、前記予測情報は、前記現在のブロックのクロスコンポーネント線形モデル（CCLM）予測モードを示す、ステップと、
   前記CCLM予測モードで使用される少なくとも1つのルーマサンプルが利用可能ではないことに基づいて、前記現在のブロックの第1の利用不可近傍ルーマサンプルのサンプル値を決定するステップであって、前記第1の利用不可近傍ルーマサンプルの前記サンプル値は、利用可能近傍ルーマサンプルのサンプル値に基づいて決定され、前記第1の利用不可近傍ルーマサンプルは、前記現在のブロックの左上非隣接近傍ルーマサンプルであり、前記利用可能近傍ルーマサンプルは、前記現在のブロックの上の行と、前記現在のブロックの左の列とに位置し、前記第1の利用不可近傍ルーマサンプルのサンプル値を決定するために、前記現在のブロックの上の行の利用可能近傍ルーマサンプルおよび前記現在のブロックの左の列の利用可能近傍ルーマサンプルのうちどちらを最初に使用するかは、所定のダウンサンプルフィルタプロセスに基づいて決定される、ステップと、
   前記現在のブロックの前記第1の利用不可近傍ルーマサンプルの前記サンプル値に基づいて、前記CCLM予測モードのパラメータを計算するステップと、
   前記CCLM予測モードの前記計算されたパラメータに基づいて前記現在のブロックを再構築するステップと
   を含む方法。
2. 前記利用可能近傍ルーマサンプルは、前記現在のブロックの上の行に位置し、前記第1の利用不可近傍ルーマサンプルは、前記現在のブロックの同じ行で左上の前記利用可能近傍ルーマサンプルに隣接している、請求項1に記載の方法。
3. 前記利用可能近傍ルーマサンプルは、前記現在のブロックの左の列に位置し、前記第1の利用不可近傍ルーマサンプルは、前記現在のブロックの同じ列で左上の前記利用可能近傍ルーマサンプルに隣接している、請求項1に記載の方法。
4. 決定する前記ステップは、前記利用可能近傍ルーマサンプルの前記サンプル値に基づいて、前記現在のブロックの第2の利用不可近傍ルーマサンプルのサンプル値を決定するステップを含み、
   計算する前記ステップは、前記現在のブロックの前記第1の利用不可近傍ルーマサンプルの前記サンプル値、および前記第2の利用不可近傍ルーマサンプルの前記サンプル値に基づいて、前記CCLM予測モードの前記パラメータを計算するステップを含む
   請求項1に記載の方法。
5. 前記利用可能近傍ルーマサンプル、前記第1の利用不可近傍ルーマサンプル、および前記第2の利用不可近傍ルーマサンプルは、前記現在のブロックの上の同じ列で異なる行に位置している、請求項4に記載の方法。
6. 計算する前記ステップは、
   前記現在のブロックの前記第1の利用不可近傍ルーマサンプルの前記サンプル値に対してダウンサンプルフィルタを実行するステップと、
   前記ダウンサンプルフィルタの結果に基づいて前記CCLM予測モードの前記パラメータを計算するステップと
   を含む、請求項1に記載の方法。
7. 前記現在のブロックの前記第1の利用不可近傍ルーマサンプルは前記現在のブロックの上に位置し、前記ダウンサンプルフィルタを実行する前記ステップは、前記第1の利用不可近傍ルーマサンプルに対してNタップフィルタを実行するステップであって、Nは、前記第1の利用不可近傍ルーマサンプルおよび対応するクロマサンプルが垂直に配列されているか否かに基づいて決定される、ステップを含む、請求項6に記載の方法。
8. 請求項1から7のいずれか一項に記載の方法を行うように構成された処理回路を含む装置。
9. コンピュータに、請求項1から7のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。