JP7480303B2 - ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム - Google Patents

Description

参照による援用
本出願は、２０２１年５月１０日に出願された米国特許出願第１７／３１５，９８９号「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」の優先権の利益を主張し、同出願は、２０２０年９月１６日に出願された米国仮出願第６３／０７９，３２２号「ＣＲＯＳＳ－ＣＯＭＰＯＮＥＮＴ ＦＩＬＴＥＲＩＮＧ ＯＮ ＢＬＯＣＫ－ＬＥＶＥＬ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」の優先権の利益を主張する。先行出願の開示全体は、参照によりその全体が本明細書に組み込まれる。

本開示は、全体的にビデオ符号化に関連する実施形態を説明する。

本明細書で提供される背景説明は、本開示の文脈を概略的に示すことを目的とする。現在記載されている発明者の研究は、出願時に別の形で先行技術としての資格を有しない明細書の態様と同様に、この背景部分に記載されている範囲で、明示又は黙示を問わず本開示に対する先行技術として認めるものではない。

ビデオ符号化及び復号は、動き補償を伴うインター画像予測を用いて実行することができる。非圧縮デジタルビデオは一連の画像を含むことができ、各画像は、例えば、１９２０×１０８０の輝度サンプル及び関連するクロミナンスサンプルの空間次元を有する。一連の画像は、例えば毎秒６０枚の画像又は６０Ｈｚの固定又は可変の画像レート（非公式にはフレームレートとも知られている）を有することができる。非圧縮ビデオには、かなりのビットレート要件がある。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートで１９２０×１０８０の輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。１時間分のそのようなビデオには、６００ギガバイトを超えるストレージスペースが必要である。

ビデオ符号化及び復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を低減することであり得る。圧縮は、前述の帯域幅及び／又はストレージスペース要件を、場合によっては２桁以上低減するのに役立つ。可逆圧縮及び非可逆圧縮の両方、並びにそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は元の信号と同一ではない場合があるが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に有用なものにするのに十分に小さい。ビデオの場合、非可逆圧縮が広く用いられている。許容される歪みの量はアプリケーションによって異なり、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容する可能性がある。達成可能な圧縮比は、より高い許容可能な歪み／許容歪みがより高い圧縮比をもたらし得ることを反映することができる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピー符号化を含むいくつかの広いカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプル値は、以前に再構成された参照画像からのサンプル又は他のデータを参照せずに表される。一部のビデオコーデックでは、画像はサンプルのブロックに空間的に再分割される。サンプルのすべてのブロックがイントラモードで符号化される場合、その画像はイントラ画像であり得る。イントラ画像及び独立デコーダリフレッシュ画像のようなそれらの派生物は、デコーダ状態をリセットするために使用することができ、したがって、符号化ビデオビットストリーム及びビデオセッションにおける最初の画像として、又は静止画像として使用することができる。イントラブロックのサンプルを変換することができ、変換係数は、エントロピー符号化の前に量子化することができる。イントラ予測は、変換前領域のサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さいほど、またＡＣ係数が小さいほど、エントロピー符号化後のブロックを表すために所定の量子化ステップサイズで必要とされるビット数が少なくなる。

例えばＭＰＥＧ－２世代符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、一部の新しいビデオ圧縮技術は、例えば、空間的に隣接し、かつ復号順序において先行するデータのブロックの符号化／復号中に得られた周囲サンプルデータ及び／又はメタデータから試みる技術を含む。このような技術は、以降「イントラ予測」技術と呼ばれる。少なくとも一部の場合では、イントラ予測は、再構成中の現在の画像からの参照データのみを使用し、参照画像からの参照データを使用しないことに留意されたい。

イントラ予測には多くの異なる形式があり得る。そのような技術の２つ以上が所与のビデオ符号化技術において使用され得る場合、使用中の技術は、イントラ予測モードで符号化することができる。特定の場合では、モードはサブモード及び／又はパラメータを有することができ、それらは個別に符号化されるか、又はモード符号語に含まれてもよい。所与のモード、サブモード及び／又はパラメータの組み合わせに対してどの符号語を使用するかは、イントラ予測を通じて符号化効率利得に影響を与えることができ、また、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も影響を与えることができる。

イントラ予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５で改良され、共同探索モデル（ＪＥＭ）、多用途ビデオ符号化（ＶＶＣ）、及びベンチマークセット（ＢＭＳ）などの新しい符号化技術で更に改良された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内で符号化されてもよく、又はそれ自体で予測されてもよい。

図１Ａを参照すると、右下に示されているのは、Ｈ．２６５の３３個の可能な予測子方向（３５個のイントラモードの３３個の角度モードに対応する）から知られている９つの予測子方向のサブセットである。矢印が収束する点（１０１）は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が水平から４５度の角度で右上の１つ以上のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が水平から２２．５度の角度でサンプル（１０１）の左下の１つ以上のサンプルから予測されることを示す。

引続き図１Ａを参照すると、左上には、４×４サンプルの正方形ブロック（１０４）が示されている（太字の破線で示されている）。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルには、「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）及びＸ次元におけるその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルＳ２１はＹ次元における第２のサンプル（上から）であり、Ｘ次元における第１のサンプル（左から）である。同様に、サンプルＳ４４は、Ｙ次元及びＸ次元の両方におけるブロック（１０４）の第４のサンプルである。ブロックのサイズが４×４サンプルであるため、Ｓ４４は右下にある。更に、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）でラベル付けされている。Ｈ．２６４及びＨ．２６５の両方において、予測サンプルは再構成中のブロックに隣接しており、したがって、負の値を使用する必要はない。

イントラ画像予測は、通知された予測方向によって占有された隣接サンプルから参照サンプル値をコピーすることで機能することができる。例えば、符号化ビデオビットストリームが、このブロックについて、矢印（１０２）と一致する予測方向を示すシグナリングを含むと仮定し、即ち、サンプルは、水平から４５度の角度で右上の１つ以上の予測サンプルから予測される。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。次に、サンプルＳ４４はサンプルＲ０８から予測される。

特定の場合では、特に方向が４５度で均等に割り切れない場合、参照サンプルを計算するために、例えば補間によって、複数の参照サンプルの値を組み合わせることができる。

ビデオ符号化技術が発展するにつれて、可能な方向の数が増加してきた。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができる。これはＨ．２６５（２０１３年）では３３個に増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは、開示の時点で最大６５個の方向をサポートできる。最も可能性の高い方向を特定するために実験が行われ、エントロピー符号化における特定の技術は、可能性の低い方向の特定の不利益を受け入れて、これらの可能性の高い方向を少数のビットで表すために使用される。更に、方向自体は、既に復号された隣接するブロックで使用される隣接する方向から予測できる場合がある。

図１Ｂは、時間と共に増加する予測方向の数を説明するために、ＪＥＭによる６５個のイントラ予測方向を示す概略図（１０５）を示す。

方向を表す符号化ビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術によって異なる場合があり、また、例えば、予測方向の単純な直接マッピングからイントラ予測モード、符号語、再確モードを含む複雑な適応スキーム、及び類似の技術に及ぶ可能性がある。ただし、すべての場合において、他の特定の方向よりもビデオコンテンツで発生する可能性が統計的に低い特定の方向が存在する可能性がある。ビデオ圧縮の目標は冗長性の低減であるため、これらの可能性の低い方向は、よく機能するビデオ符号化技術では、可能性の高い方向よりも多くのビット数で表される。

動き補償は、非可逆圧縮技術である可能性があり、また、以前に再構成された画像又はその一部（参照画像）からのサンプルデータのブロックが、動きベクトル（以降、ＭＶ）によって示される方向に空間的にシフトされた後、新たに再構成された画像又は画像部分の予測に使用される技術に関連することができる。場合によっては、参照画像は現在再構成中の画像と同じであってもよい。ＭＶは、２つの次元Ｘ及びＹ、又は３つの次元を有することができ、第３の次元は、使用中の参照画像を示す（後者は間接的に時間次元であり得る）。

一部のビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なＭＶは、他のＭＶから、例えば、再構成中の領域に空間的に隣接し、復号順序でそのＭＶに先行するサンプルデータの別の領域に関連するものから予測することができる。そうすることで、ＭＶの符号化に必要なデータ量を大幅に削減することができるため、冗長性が排除され、圧縮が向上する。例えば、カメラから得られた入力ビデオ信号（ナチュラルビデオとして知られている）を符号化する場合、単一のＭＶが適用可能な領域よりも大きい領域が同様の方向に移動する統計的可能性があり、したがって、場合によっては、隣接領域のＭＶから導出された同様のＭＶを使用して予測することができるため、ＭＶ予測は効果的に機能することができる。その結果、所定の領域に対して検出されたＭＶは、周囲のＭＶから予測されたＭＶと類似又は同一であり、それは、エントロピー符号化の後、ＭＶを直接符号化する場合に使用されるビット数よりも少ないビット数で表すことができる。場合によっては、ＭＶ予測は、元の信号（即ち、サンプルストリーム）から導出された信号（即ち、ＭＶ）の可逆圧縮の一例であり得る。その他の場合、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、ＭＶ予測自体が非可逆である可能性がある。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、２０１６年１２月）に記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、ここで説明するのは、以降「空間マージ」と呼ばれる技術である。

図１Ｃを参照すると、現在のブロック（１１１）は、動き探索プロセス中にエンコーダによって発見されたサンプルを含むことができ、これらのサンプルは、空間的にシフトされた同じサイズの前のブロックから予測可能である。そのＭＶを直接符号化する代わりに、ＭＶは、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１１２～１１６）と示される５つの周囲サンプルのいずれか１つに関連するＭＶを使用して、１つ以上の参照画像に関連するメタデータから、例えば最新の（復号順の）参照画像から導出することができる。Ｈ．２６５では、ＭＶ予測は隣接ブロックが使用しているのと同じ参照画像からの予測子を使用することができる。

本開示の態様は、ビデオ符号化／復号のための装置を提供する。装置は、符号化ビデオシーケンスの一部である現在の画像内の現在のブロックの予測情報を復号する処理回路を含む。予測情報は、現在のブロックに対する交差成分フィルタリング（ＣＣＦ）プロセスを示す。処理回路は、ＣＣＦプロセスを現在のブロックの予測サンプル、残差値、又は再構成サンプルのうちの少なくとも１つに適用することによって、現在のブロックのフィルタリングされた再構成サンプルを生成する。現在のブロックのフィルタリングされた再構成サンプルは、後続のブロックの再構成に使用される。処理回路は、現在のブロックのフィルタリングされた再構成サンプルに基づいて現在のブロック及び後続のブロックを再構成する。

一実施形態では、処理回路は、ＣＣＦプロセスを、現在のブロックの逆量子化プロセス及び逆変換プロセスのうちの少なくとも１つの出力に適用することによって、現在のブロックのフィルタリングされた再構成サンプルを生成する。

一実施形態では、処理回路は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度再構成サンプルに追加することによって、現在のブロックを再構成する。

一実施形態では、処理回路は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度残差値に追加することによって、現在のブロックを再構成する。

一実施形態では、処理回路は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度予測サンプルに追加することによって、現在のブロックを再構成する。

一実施形態では、ＣＣＦプロセスのフィルタ係数は予測情報に含まれている。

一実施形態では、ＣＣＦプロセスのフィルタ係数は事前定義された定数である。

一実施形態では、現在の画像で使用されるＣＣＦプロセスのフィルタ係数は、別の画像で使用されるＣＣＦプロセスのフィルタ係数と、現在の画像で使用されるＣＣＦプロセスのフィルタ係数のオフセット値とに基づいて決定される。

一実施形態では、一つの色成分で使用されるＣＣＦプロセスのフィルタ係数は、別の色成分で使用されるＣＣＦプロセスのフィルタ係数に基づいて決定される。

一実施形態では、ＣＣＦプロセスのフィルタ係数は、ＣＣＦプロセスが適用される前に決定された現在のブロックのサンプル値に基づいて決定される。

一実施形態では、ＣＣＦプロセスが有効にされるか否かは、分割方式、予測モード、ブロック幅、ブロック高さ、変換係数、及び量子化パラメータのうちの１つに基づいて決定される。

本開示の態様は、ビデオ符号化／復号のための方法を提供する。この方法では、符号化ビデオシーケンスの一部である現在の画像内の現在のブロックの予測情報が復号される。予測情報は、現在のブロックに対するＣＣＦプロセスを示す。ＣＣＦプロセスを現在のブロックの予測サンプル、残差値、又は再構成サンプルのうちの少なくとも１つに適用することによって、現在のブロックのフィルタリングされた再構成サンプルが生成される。現在のブロックのフィルタリングされた再構成サンプルは後続のブロックの再構成に使用される。現在のブロックのフィルタリングされた再構成サンプルに基づいて現在のブロック及び後続のブロックが再構成される。

本開示の態様はまた、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ビデオ復号のための方法のいずれか１つ又は組み合わせを実行させる命令を記憶する非一時的なコンピュータ可読媒体を提供する。

開示された主題の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一例における現在のブロック及びその周囲の空間マージ候補の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態による通信システムの簡略ブロック図の概略図である。 一実施形態によるデコーダの簡略ブロック図の概略図である。 一実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダのブロック図である。 別の実施形態によるデコーダのブロック図である。 実施形態による適応ループフィルタ（ＡＬＦ）の例示的なダイヤモンドフィルタ形状を示す図である。 実施形態による適応ループフィルタ（ＡＬＦ）の例示的なダイヤモンドフィルタ形状を示す図である。 実施形態による、垂直方向、水平方向及び２つの対角方向の勾配計算にそれぞれ使用される例示的なサブサンプリングされた位置を示す図である。 実施形態による、垂直方向、水平方向及び２つの対角方向の勾配計算にそれぞれ使用される例示的なサブサンプリングされた位置を示す図である。 実施形態による、垂直方向、水平方向及び２つの対角方向の勾配計算にそれぞれ使用される例示的なサブサンプリングされた位置を示す図である。 実施形態による、垂直方向、水平方向及び２つの対角方向の勾配計算にそれぞれ使用される例示的なサブサンプリングされた位置を示す図である。 一実施形態による、輝度成分に適用される例示的な修正ブロック分類を示す図である。 一部の実施形態による、仮想境界における輝度成分に対する例示的な修正ＡＬＦを示す図である。 一実施形態による、例示的な最大符号化ユニット（ＬＣＵ）位置合わせ画像四分木分割を示す図である。 一実施形態による、ｚオーダーで符号化された例示的な四分木分割フラグを示す図である。 一実施形態による、交差成分適応ループフィルタ（ＣＣ－ＡＬＦ）の例示的な配置を示す図である。 一実施形態による、ＣＣ－ＡＬＦ動作中に各彩度成分の輝度チャネルに適用される例示的な線形ダイヤモンド形フィルタを示す図である。 一実施形態による、８×８ブロックの例示的な方向探索を示す図である。 一実施形態による例示的な部分空間射影を示す図である。 ブロックの逆変換後に適用される例示的なＣＣＦを示す図である。 本開示の一実施形態による例示的なフローチャートである。 一実施形態によるコンピュータシステムの概略図である。

Ｉ．ビデオデコーダ及びエンコーダシステム

図２は、本開示の一実施形態による通信システム（２００）の簡略ブロック図を示す。システム（２００）は、例えばネットワーク（２５０）を介して通信することができる複数の端末を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）及び（２２０）を含む。図２の例では、第１の対の端末装置（２１０）及び（２２０）は、データの一方向送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他方の端末装置（２２０）に送信するために、ビデオデータ（例えば、端末装置（２１０）によってキャプチャされたビデオ画像のストリーム）を符号化することができる。符号化ビデオデータは、１つ以上の符号化ビデオビットストリームの形式で送信することができる。端末装置（２２０）は、ネットワーク（２５０）から符号化ビデオデータを受信し、符号化データを復号してビデオ画像を復元し、そして復元されたビデオデータに従ってビデオ画像を表示することができる。一方向データ送信は、メディアサービングアプリケーションなどにおいて一般的である可能性がある。

別の例では、通信システム（２００）は、例えば、ビデオ会議中に発生する可能性のある符号化ビデオデータの双方向送信を実行する第２の対の端末装置（２３０）及び（２４０）を含む。データの双方向送信の場合、一例では、端末装置（２３０）及び（２４０）の各端末装置は、ネットワーク（２５０）を介して端末装置（２３０）及び（２４０）の他方の端末装置に送信するために、ビデオデータ（例えば、端末装置によってキャプチャされたビデオ画像のストリーム）を符号化することができる。端末装置（２３０）及び（２４０）の各端末装置はまた、端末装置（２３０）及び（２４０）の他方の端末装置によって送信された符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオ画像を復元し、そして復元されたビデオデータに従ってアクセス可能なディスプレイデバイスでビデオ画像を表示することができる。

図２の例では、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されてもよいが、本開示の原理は、そのように限定されない場合がある。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、及び／又は専用ビデオ会議装置に適用される。ネットワーク（２５０）は、例えば有線（配線された）通信ネットワーク及び／又は無線通信ネットワークを含めて、端末装置（２１０）、（２２０）、（２３０）及び（２４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換チャネル及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットが含まれる。本議論の目的のために、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない可能性がある。

図３は、開示された主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタル媒体への圧縮ビデオの保存などを含めて、他のビデオ対応アプリケーションにも同様に適用可能である。

ストリーミングシステムは、キャプチャサブシステム（３１３）を含むことができ、このキャプチャサブシステムは、例えば、圧縮されていないビデオ画像（３０２）のストリームを作成するビデオソース（３０１）、例えばデジタルカメラを含むことができる。一例では、ビデオ画像（３０２）のストリームは、デジタルカメラによって撮影されたサンプルを含む。符号化ビデオデータ（３０４）（又は符号化ビデオビットストリーム）と比較したときに高いデータ量を強調するために太線で示されているビデオ画像（３０２）のストリームは、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子装置（３２０）によって処理することができる。ビデオエンコーダ（３０３）は、以下により詳細に説明されるように、開示された主題の態様を可能にするか又は実施するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。ビデオ画像（３０２）のストリームと比較したときに低いデータ量を強調するために細線で示されている符号化ビデオデータ（３０４）（又は符号化ビデオビットストリーム（３０４））は、将来の使用のためにストリーミングサーバ（３０５）に記憶することができる。図３のクライアントサブシステム（３０６）及び（３０８）などの１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスして、符号化ビデオデータ（３０４）のコピー（３０７）及び（３０９）を検索することができる。クライアントサブシステム（３０６）は、例えば、電子装置（３３０）内のビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、符号化ビデオデータの着信コピー（３０７）を復号し、そしてディスプレイ（３１２）（例えば、ディスプレイ画面）又は他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオ画像（３１１）の発信ストリームを作成する。一部のストリーミングシステムでは、符号化ビデオデータ（３０４）、（３０７）及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従って符号化することができる。これらの規格の例としては、ＩＴＵ－Ｔ勧告Ｈ．２６５が挙げられる。一例では、開発中のビデオ符号化規格は、非公式に多用途ビデオ符号化（ＶＶＣ）として知られている。開示された主題は、ＶＶＣの文脈で使用することができる。

電子装置（３２０）及び（３３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子装置（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子装置（３３０）も、ビデオエンコーダ（図示せず）を含むことができる。

図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子装置（４３０）に含まれてもよい。電子装置（４３０）は、受信機（４３１）（例えば、受信回路）を含むことができる。図３の例では、ビデオデコーダ（３１０）の代わりにビデオデコーダ（４１０）を使用することができる。

受信機（４３１）は、ビデオデコーダ（４１０）によって復号されるべき１つ以上の符号化ビデオシーケンスを、同じ又は別の実施形態では、一度に１つの符号化ビデオシーケンスで受信することができ、各符号化ビデオシーケンスの復号は他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、チャネル（４０１）から受信されてもよく、このチャネルは、符号化ビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（４３１）は、符号化ビデオデータを、他のデータ、例えば、符号化オーディオデータ及び／又は補助データストリームと共に受信することができ、これらのデータは、それぞれの使用エンティティ（図示せず）に転送され得る。受信機（４３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッターに対処するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以降、「パーサ（４２０）」）との間に結合されてもよい。特定の用途では、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。他の用途では、これはビデオデコーダ（４１０）（図示せず）の外部にあってもよい。更に他の用途では、例えばネットワークジッターに対処するために、ビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）があってもよく、更に、例えばプレイアウトタイミングを処理するためにビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）があってもよい。受信機（４３１）が十分な帯域幅及び制御性を有するストア／フォワードデバイスから、又は等同期ネットワークからデータを受信しているとき、バッファメモリ（４１５）は必要とされなくてもよく、又は小さくてもよい。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（４１５）が必要とされる場合があり、それは比較的大きくてもよく、有利には適応可能なサイズであってもよく、また、ビデオデコーダ（４１０）以外のオペレーティングシステム又は同様の要素（図示せず）に少なくとも部分的に実装されてもよい。

ビデオデコーダ（４１０）は、符号化ビデオシーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含んでもよい。これらのシンボルのカテゴリには、ビデオデコーダ（４１０）の動作を管理するために使用される情報と、図４に示されるように電子装置（４３０）の不可欠な部分ではないが、電子装置（４３０）に結合され得るレンダリングデバイス（４１２）（例えば、ディスプレイ画面）などのレンダリングデバイスを制御するための潜在的な情報とが含まれる。レンダリングデバイス用の制御情報は、補足強化情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（４２０）は、受信した符号化ビデオシーケンスを解析／エントロピー復号することができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は規格に従うことができ、また、可変長符号化、ハフマン符号化、コンテキスト感度を伴う又は伴わない算術符号化などを含む様々な原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループの少なくとも１つ用のサブグループパラメータのセットを抽出することができる。サブグループは、画像グループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（４２０）はまた、符号化ビデオシーケンス情報から変換係数、量子化器パラメータ値、ＭＶなどを抽出することができる。

パーサ（４２０）は、バッファメモリ（４１５）から受信したビデオシーケンスに対してエントロピー復号／解析動作を実行して、シンボル（４２１）を作成することができる。

シンボル（４２１）の再構成には、符号化ビデオ画像又はその一部（例えば、インター画像及びイントラ画像、インターブロック及びイントラブロック）のタイプ、及び他の要因に応じて、複数の異なるユニットが関与する可能性がある。どのユニットが関与するか、及びどのように関与するかは、パーサ（４２０）によって符号化ビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために示されていない。

既に述べた機能ブロックのほか、デコーダ（４１０）は、以下に説明されるように、概念的にいくつかの機能ユニットに再分割することができる。商業的制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、また少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的では、以下の機能ユニットへの概念的な再分割が適切である。

第１のユニットは、スケーラ／逆変換ユニット（４５１）であり得る。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）から、量子化変換係数、並びに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報をシンボル（４２１）として受信することができる。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力することができるサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構成された画像からの予測情報を使用しないが、現在の画像の以前に再構成された部分からの予測情報を使用できるブロックに関連する可能性がある。そのような予測情報は、イントラ画像予測ユニット（４５２）によって提供することができる。場合によっては、イントラ画像予測ユニット（４５２）は、現在の画像バッファ（４５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在の画像バッファ（４５８）は、例えば、部分的に再構成された現在の画像及び／又は完全に再構成された現在の画像をバッファリングする。アグリゲータ（４５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供された出力サンプル情報に追加する。

他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化され、潜在的に動き補償されたブロックに関連する可能性がある。そのような場合、動き補償予測ユニット（４５３）は、参照画像メモリ（４５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（４２１）に従ってフェッチされたサンプルを動き補償した後、アグリゲータ（４５５）によってこれらのサンプルをスケーラ／逆変換ユニット（４５１）の出力に追加して（この場合、残差サンプル又は残差信号と呼ばれる）、出力サンプル情報を生成することができる。動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照画像メモリ（４５７）内のアドレスは、ＭＶによって制御することができ、ＭＶは、例えば、Ｘ、Ｙ、及び参照画像成分を有することができるシンボル（４２１）の形式で動き補償予測ユニット（４５３）に利用可能であり得る。動き補償はまた、サブサンプルの正確なＭＶが使用されているときに参照画像メモリ（４５７）からフェッチされたサンプル値の補間、ＭＶ予測メカニズムなどを含むことができる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができ、これは、符号化ビデオシーケンス（符号化ビデオビットストリームとも呼ばれる）に含まれているパラメータによって制御され、パーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされるが、符号化画像又は符号化ビデオシーケンスの前の（復号順の）部分の復号中に得られたメタ情報に応答するだけでなく、以前に再構成及びループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）に出力され得るだけでなく、将来のインター画像予測に使用するために参照画像メモリ（４５７）に記憶され得るサンプルストリームであり得る。

特定の符号化画像は、完全に再構成されると、将来の予測のための参照画像として使用することができる。例えば、現在の画像に対応する符号化画像が完全に再構成され、また符号化画像が参照画像として識別されると（例えば、パーサ（４２０）によって）、現在の画像バッファ（４５８）は、参照画像メモリ（４５７）の一部となることができ、そして次の符号化画像の再構成を開始する前に、新しい現在の画像バッファを再割り当てすることができる。

ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化ビデオシーケンスは、符号化ビデオシーケンスがビデオ圧縮技術又は規格の構文とビデオ圧縮技術又は規格で文書化されたプロファイルの両方に準拠するという意味で、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠することができる。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとして特定のツールを選択することができる。また、準拠のためには、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義された範囲内であることも必要である。場合によっては、レベルによって、最大画像サイズ、最大フレームレート、最大再構成サンプルレート（例えば、１秒あたりのメガサンプルで測定）、最大参照画像サイズなどが制限される。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様及び符号化ビデオシーケンスで通知されるＨＲＤバッファ管理用のメタデータによって更に制限されることがある。

一実施形態では、受信機（４３１）は、符号化ビデオと共に追加の（冗長）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切に復号するため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（４１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）強化層、冗長スライス、冗長画像、前方誤り訂正コードなどの形式であり得る。

図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子装置（５２０）に含まれている。電子装置（５２０）は、送信機（５４０）（例えば、送信回路）を含む。図３の例では、ビデオエンコーダ（３０３）の代わりにビデオエンコーダ（５０３）を使用することができる。

ビデオエンコーダ（５０３）は、ビデオソース（５０１）（図５の例では電子装置（５２０）の一部ではない）からビデオサンプルを受信することができ、ビデオソースは、ビデオエンコーダ（５０３）によって符号化されるべきビデオ画像をキャプチャすることができる。別の例では、ビデオソース（５０１）は、電子装置（５２０）の一部である。

ビデオソース（５０１）は、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣＢ ４：２：０、Ｙ ＣｒＣＢ ４：４：４）であり得るデジタルビデオサンプルストリームの形式で、ビデオエンコーダ（５０３）によって符号化されるべきソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース（５０１）は、以前に準備されたビデオを記憶する記憶装置であってもよい。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供されてもよい。画像自体は、ピクセルの空間配列として編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルに焦点を当てる。

一実施形態によれば、ビデオエンコーダ（５０３）は、リアルタイムで、又はアプリケーションによって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスの画像を符号化し、符号化ビデオシーケンス（５４３）に圧縮することができる。適切な符号化速度を適用することは、コントローラ（５５０）の１つの機能である。一部の実施形態では、コントローラ（５５０）は、以下に記載されるように他の機能ユニットを制御し、また、他の機能ユニットに機能的に結合される。分かりやすくするために、結合は示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のラムダ値…）、画像サイズ、画像グループ（ＧＯＰ）レイアウト、最大ＭＶ許容参照領域などを含むことができる。コントローラ（５５０）は、特定のシステム設計用に最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するように構成することができる。

一部の実施形態では、ビデオエンコーダ（５０３）は、符号化ループで動作するように構成される。過度に単純化された説明として、一例では、符号化ループは、ソースコーダ（５３０）（例えば、符号化されるべき入力画像及び参照画像に基づいてシンボルストリームなどのシンボルを作成する役割を果たす）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（リモート）デコーダがサンプルデータを作成するのと同様の方法でシンボルを再構成してサンプルデータを作成する（シンボルと符号化ビデオビットストリームとの間の圧縮が、開示された主題で検討されているビデオ圧縮技術において可逆であるため）。再構成されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（５３４）に入力される。シンボルストリームの復号により、デコーダの位置（ローカル又はリモート）に関係なくビットイグザクト結果が得られるため、参照画像メモリ（５３４）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像の同期性（及び、例えばチャネルエラーのために同期性を維持できない場合、結果として生じるドリフト）のこの基本原理は、一部の従来技術でも使用されている。

「ローカル」デコーダ（５３３）の動作は、ビデオデコーダ（４１０）などの「リモート」デコーダの動作と同じであってもよく、これは、図４に関連して上記で既に詳細に説明されている。しかし、また図４を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（５４５）及びパーサ（４２０）による符号化ビデオシーケンスへのシンボルの符号化／復号は可逆であり得るため、バッファメモリ（４１５）及びパーサ（４２０）を含むビデオデコーダ（４１０）のエントロピー復号部分は、ローカルデコーダ（５３３）に完全に実装されていない可能性がある。

この時点で行うことができる観察は、デコーダに存在する解析／エントロピー復号を除くいかなるデコーダ技術も、対応するエンコーダ内に実質的に同一の機能形態で存在する必要があるということである。このため、開示された主題は、デコーダ動作に焦点を合わせている。エンコーダ技術の説明は、それらが包括的に説明されているデコーダ技術の逆である可能性があるため、省略することができる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

動作中、一部の例では、ソースコーダ（５３０）は、動き補償予測符号化を実行することができ、これは、「参照フレーム」として指定されたビデオシーケンスからの１つ以上の以前に符号化された画像を参照して入力画像を予測的に符号化する。このようにして、符号化エンジン（５３２）は、入力画像のピクセルブロックと、入力画像への予測参照として選択され得る参照画像のピクセルブロックとの間の差分を符号化する。

ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって作成されたシンボルに基づいて、参照画像として指定され得る画像の符号化ビデオデータを復号することができる。符号化エンジン（５３２）の動作は、有利には、非可逆プロセスであり得る。符号化ビデオデータがビデオデコーダ（図５には示されていない）で復号され得る場合、再構成されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照画像に対してビデオデコーダによって実行され得る復号プロセスを複製し、そして再構成された参照画像を参照画像キャッシュ（５３４）に記憶させることができる。このようにして、ビデオエンコーダ（５０３）は、遠端ビデオデコーダによって取得される再構成された参照画像として共通の内容を有する再構成された参照フレームのコピーをローカルに記憶することができる（送信エラーがない）。

予測子（５３５）は、符号化エンジン（５３２）のために予測検索を実行することができる。即ち、符号化されるべき新しい画像について、予測子（５３５）は、参照画像メモリ（５３４）を検索して、サンプルデータ（候補参照ピクセルブロックとして）又は参照画像ＭＶ、ブロック形状などの特定のメタデータを探すことができ、それらは、新しい画像に対する適切な予測参照として役立つことができる。予測子（５３５）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックで動作することができる。場合によっては、予測子（５３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（５３４）に記憶された複数の参照画像から抽出された予測参照を有してもよい。

コントローラ（５５０）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含めて、ソースコーダ（５３０）の符号化動作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）においてエントロピー符号化されてもよい。エントロピーコーダ（５４５）は、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆的に圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

送信機（５４０）は、エントロピーコーダ（５４５）によって作成された符号化ビデオシーケンスをバッファリングして、通信チャネル（５６０）を介した送信に備えることができ、通信チャネルは、符号化ビデオデータを記憶する記憶装置へのソフトウェア／ハードウェアリンクであり得る。送信機（５４０）は、ビデオコーダ（５０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータ及び／又は補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理することができる。符号化中に、コントローラ（５５０）は、各符号化画像に特定の符号化画像タイプを割り当てることができ、この符号化画像タイプは、それぞれの画像に適用され得る符号化技術に影響を与える可能性がある。例えば、画像は、次の画像タイプのいずれかとして割り当てられることが多い。

イントラ画像（Ｉ画像）は、予測のソースとしてシーケンス内の他の画像を使用することなく符号化及び復号され得るものであり得る。一部のビデオコーデックでは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）画像を含めて、様々なタイプのイントラ画像が可能である。当業者は、Ｉ画像のそれらの変形並びにそれらのそれぞれの用途及び特徴を知っている。

予測画像（Ｐ画像）は、各ブロックのサンプル値を予測するために最大で１つのＭＶ及び参照インデックスを使用するイントラ予測又はインター予測を用いて符号化及び復号され得るものであり得る。

双方向予測画像（Ｂ画像）は、各ブロックのサンプル値を予測するために最大で２つのＭＶ及び参照インデックスを使用するイントラ予測又はインター予測を用いて符号化及び復号され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構成のために３つ以上の参照画像及び関連するメタデータを使用することができる。

ソース画像は、一般に、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６サンプルのブロック）に再分割され、ブロックごとに符号化されてもよい。ブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化されてもよい。例えば、Ｉ画像のブロックは、非予測的に符号化されてもよく、又はそれらは、同じ画像の既に符号化されたブロックを参照して予測的に符号化されてもよい（空間予測又はイントラ予測）。Ｐ画像のピクセルブロックは、以前に符号化された１つの参照画像を参照して、空間予測を介して、又は時間予測を介して予測的に符号化されてもよい。Ｂ画像のブロックは、以前に符号化された１つ又は２つの参照画像を参照して、空間予測を介して、又は時間予測を介して、予測的に符号化されてもよい。

ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの所定のビデオ符号化技術又は規格に従って符号化動作を実行することができる。その動作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測符号化動作を含めて、様々な圧縮動作を実行することができる。したがって、符号化ビデオデータは、使用されているビデオ符号化技術又は規格によって指定された構文に準拠することができる。

一実施形態では、送信機（５４０）は、符号化ビデオと共に追加のデータを送信することができる。ソースコーダ（５３０）は、符号化ビデオシーケンスの一部としてそのようなデータを含むことができる。追加データは、時間／空間／ＳＮＲ強化層、冗長画像及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含むことができる。

ビデオは、時間的順序で複数のソース画像（ビデオ画像）としてキャプチャされてもよい。イントラ画像予測（多くの場合、イントラ予測と略される）は、所与の画像の空間的相関を利用し、インター画像予測は、画像間の（時間的又はその他の）相関を利用する。一例では、現在の画像と呼ばれる符号化／復号中の特定の画像がブロックに分割される。現在の画像内のブロックが、ビデオ内の以前に符号化され、まだバッファリングされている参照画像内の参照ブロックと類似している場合、現在の画像内のブロックは、ＭＶと呼ばれるベクトルによって符号化することができる。ＭＶは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第３の次元を有することができる。

一部の実施形態では、インター画像予測において双方向予測技術を使用することができる。双方向予測技術によれば、ビデオ内の現在の画像よりも復号順が両方とも前である（ただし、表示順に、それぞれ過去と将来であり得る）２つの参照画像、例えば第１の参照画像及び第２の参照画像が使用される。現在の画像内のブロックは、第１の参照画像内の第１の参照ブロックを指す第１のＭＶと、第２の参照画像内の第２の参照ブロックを指す第２のＭＶとによって符号化することができる。ブロックは、第１の参照ブロックと第２の参照ブロックの組み合わせによって予測することができる。

更に、インター画像予測において、マージモード技術を使用して符号化効率を向上させることができる。

本開示の一部の実施形態によれば、インター画像予測及びイントラ画像予測などの予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオ画像内の画像は圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、画像内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同じサイズを有する。一般に、ＣＴＵは、３つの符号化ツリーブロック（ＣＴＢ）を含み、それらは１つの輝度ＣＴＢ及び２つの彩度ＣＴＢである。各ＣＴＵは、１つ以上の符号化ユニット（ＣＵ）に再帰的に四分木分割することができる。例えば、６４×６４ピクセルのＣＴＵは、１つの６４×６４ピクセルのＣＵ、又は４つの３２×３２ピクセルのＣＵ、又は１６個の１６×１６ピクセルのＣＵに分割できる。一例では、各ＣＵを分析して、インター予測タイプ又はイントラ予測タイプなどのＣＵの予測タイプを決定する。ＣＵは時間的及び／又は空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、輝度予測ブロック（ＰＢ）及び２つの彩度ＰＢを含む。一実施形態では、符号化（符号化／復号）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例として輝度予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのピクセルの値（例えば、輝度値）の行列を含む。

図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、一連のビデオ画像における現在のビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、そして処理ブロックを、符号化ビデオシーケンスの一部である符号化画像に符号化するように構成される。一例では、図３の例のビデオエンコーダ（３０３）の代わりにビデオエンコーダ（６０３）が使用される。

ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルの予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、処理ブロックが、イントラモード、インターモード、又は、例えばレート歪み最適化を使用する双方向予測モードを用いて最適に符号化されるか否かを判定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ（６０３）は、イントラ予測技術を使用して、処理ブロックを符号化画像に符号化することができ、処理ブロックがインターモード又は双方向予測モードで符号化される場合、ビデオエンコーダ（６０３）は、インター予測又は双方向予測技術をそれぞれ使用して、処理ブロックを符号化画像に符号化することができる。特定のビデオ符号化技術では、マージモードは、インター画像予測サブモードであってもよく、ここで、ＭＶは、予測子以外の符号化ＭＶ成分なしに、１つ以上のＭＶ予測子から導出される。特定の他のビデオ符号化技術では、対象ブロックに適用可能なＭＶ成分が存在する場合がある。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図６の例では、ビデオエンコーダ（６０３）は、図６に示されているように、互いに結合されインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算機（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用コントローラ（６２１）、及びエントロピーエンコーダ（６２５）を含む。

インターエンコーダ（６３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを、参照画像内の１つ以上の参照ブロック（例えば、前の画像及び後の画像内のブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の記述、ＭＶ、マージモード情報）を生成し、そして任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。一部の例では、参照画像は、符号化されたビデオ情報に基づいて復号された復号参照画像である。

イントラエンコーダ（６２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックを同じ画像内で既に符号化されたブロックと比較し、変換後に量子化係数を生成し、場合によっては、イントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（６２２）はまた、イントラ予測情報及び同じ画像内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（６２６）に制御信号を提供する。例えば、モードがイントラモードである場合、汎用コントローラ（６２１）は、残差計算機（６２３）で使用するためのイントラモード結果を選択するようにスイッチ（６２６）を制御し、そして、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御し、また、モードがインターモードである場合、汎用コントローラ（６２１）は、残差計算機（６２３）で使用するためのインター予測結果を選択するようにスイッチ（６２６）を制御し、そして、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御する。

残差計算機（６２３）は、受信ブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との間の差分（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例では、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次に、変換係数は量子化処理され、量子化変換係数が得られる。様々な実施形態において、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行して復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって適切に使用することができる。例えば、インターエンコーダ（６３０）は、復号された残差データ及びインター予測情報に基づいて復号されたブロックを生成することができ、イントラエンコーダ（６２２）は、復号された残差データ及びイントラ予測情報に基づいて復号されたブロックを生成することができる。復号されたブロックは、復号された画像を生成するために適切に処理され、復号された画像は、メモリ回路（図示せず）にバッファリングされ、一部の例では参照画像として使用され得る。

エントロピーエンコーダ（６２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣなどの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、インターモード又は双方向予測モードのいずれかのマージサブモードでブロックを符号化する場合、残差情報がないことに留意されたい。

図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化ビデオシーケンスの一部である符号化画像を受信し、符号化画像を復号して再構成された画像を生成するように構成される。一例では、図３の例のビデオデコーダ（３１０）の代わりにビデオデコーダ（７１０）が使用される。

図７の例では、ビデオデコーダ（７１０）は、図７に示されるように互いに結合されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、及びイントラデコーダ（７７２）を含む。

エントロピーデコーダ（７７１）は、符号化画像から、符号化画像を構成する構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおける後者の２つなど）、イントラデコーダ（７７２）又はインターデコーダ（７８０）による予測にそれぞれ使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報など）、例えば量子化変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインター予測モード又は双方向予測モードである場合、インター予測情報は、インターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報は、イントラデコーダ（７７２）に提供される。残差情報は逆量子化されてもよく、そして残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（７７３）は、逆量子化を実行して逆量子化変換係数を抽出し、そして逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（７７３）はまた、（量子化パラメータ（ＱＰ）を含めるために）特定の制御情報を必要とする場合があり、その情報は、エントロピーデコーダ（７７１）によって提供されてもよい（これは、少量の制御情報のみである可能性があるため、データパスは示されていない）。

再構成モジュール（７７４）は、空間領域において、残差デコーダによって出力された残差と、予測結果（場合によっては、インター予測モジュール又はイントラ予測モジュールによって出力された）とを組み合わせて再構成されたブロックを形成するように構成され、再構成されたブロックは、再構成された画像の一部である可能性があり、また再構成された画像は、再構成されたビデオの一部である可能性がある。視覚的品質を改善するために、非ブロック化動作などの他の適切な動作を実行することができることに留意されたい。

ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、１つ以上の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装することができる。

ＩＩ．適応ループフィルタ

ＶＶＣドラフト７などの一部の関連する例では、ブロックベースのフィルタ適応を備えた適応ループフィルタ（ＡＬＦ）を適用することができる。輝度成分の場合、それぞれの４×４ブロックの方向性及びアクティビティに基づいて、各４×４ブロックに対して２５個のフィルタのうちの１つを選択することができる。

図８Ａ～図８Ｂは、本開示の一部の実施形態による、ＡＬＦの例示的なダイヤモンドフィルタ形状を示す。図８Ａは、彩度成分に適用することができる５×５のダイヤモンド形状を示し、図８Ｂは、輝度成分に適用することができる７×７のダイヤモンド形状を示す。

一部の関連する例では、輝度成分の場合、各４×４ブロックを２５クラスのうちの１つに分類することができる。４×４ブロックの分類インデックスＣは、次のように、４×４ブロックの方向性Ｄとアクティビティ

の量子化値に基づいて導出することができる。

Ｄ及び

を算出するには、まず、１－Ｄラプラシアンを用いて、４×４ブロックの水平方向、垂直方向及び２つの対角方向の勾配を以下のように算出することができる。

ここで、インデックスｉ及びｊは、４×４ブロック内の左上のサンプルの座標を指し、Ｒ（ｉ，ｊ）は、座標（ｉ，ｊ）における再構成サンプルを示す。

ブロック分類の複雑さを低減するために、サブサンプリングされた１－Ｄラプラシアン計算を適用することができる。図９Ａ～図９Ｄは、それぞれ、垂直方向、水平方向、及び２つの対角方向の勾配計算に使用される例示的なサブサンプリングされた位置を示す。

次に、水平方向及び垂直方向の勾配の最大値及び最小値を以下のように設定することができる。

２つの対角方向の勾配の最大値及び最小値を以下のように設定することができる。

方向性Ｄの値を導出するために、これらの値を相互に比較し、そして２つの閾値ｔ_１及びｔ_２と比較することができる。

ステップ１：

の両方が真である場合、Ｄを０に設定する。

ステップ２：

である場合、ステップ３から続け、それ以外の場合はステップ４から続ける。

ステップ３：

である場合、Ｄを２に設定し、それ以外の場合、Ｄを１に設定する。

ステップ４：

である場合、Ｄを４に設定し、それ以外の場合、Ｄを３に設定する。

アクティビティ値Ａは次のように算出される。

Ａは更に０～４の範囲（両端を含む）に量子化され、量子化された値は

として示される。

画像内の彩度成分の場合、分類方法は適用されず、即ち、各彩度成分に対して単一のセットのＡＬＦ係数を適用することができる。

各４×４輝度ブロックをフィルタリングする前に、それぞれのブロックに対して算出された勾配値に応じて、回転、対角反転、垂直反転などの幾何学的変換が、フィルタ係数ｆ（ｋ，ｌ）及び対応するフィルタクリッピング値ｃ（ｋ，ｌ）に適用される。これは、ＡＬＦが適用される異なるブロックを、それらの方向性を整列することによってより類似させるために、これらの変換をフィルタサポート領域内のサンプルに適用することと同じである。

対角反転、垂直反転、及び回転を含む３つの幾何学的変換は、以下のように記述することができる。

ここで、Ｋはフィルタのサイズであり、０≦ｋ、ｌ≦ｋ－１は変換係数の座標であり、位置（０，０）は左上隅にあり、位置（Ｋ－１，Ｋ－１）は右下隅にある。変換は、対応するブロックに対して算出された勾配値に応じて、フィルタ係数ｆ（ｋ，ｌ）及びクリッピング値ｃ（ｋ，ｌ）に適用される。４方向の変換と勾配の関係を表１にまとめることができる。

ＶＶＣドラフト７などの一部の関連する例では、ＡＬＦのフィルタパラメータは、適応パラメータセット（ＡＰＳ）で通知される。１つのＡＰＳでは、最大２５セットの輝度フィルタ係数及びクリッピング値インデックス、並びに最大８セットの彩度フィルタ係数及びクリッピング値インデックスを通知することができる。ビットオーバーヘッドを削減するために、輝度成分に対する異なる分類のフィルタ係数をマージすることができる。スライスヘッダーでは、現在のスライスに使用されるＡＰＳのインデックスが通知される。ＡＬＦのシグナリングは、ＶＶＣドラフト７ではＣＴＵベースである。

ＡＰＳから復号されるクリッピング値インデックスにより、輝度成分及び彩度成分のクリッピング値のテーブルを使用してクリッピング値を決定することが可能になる。これらのクリッピング値は、内部ビット深度に依存する。例えば、クリッピング値のテーブルは、以下の式で得ることができる。

ここで、Ｂは内部ビット深さに等しく、αは２．３５に等しい事前定義された定数値であり、ＮはＶＶＣドラフト７で許容されるクリッピング値の数である４に等しい。表２は、式（１４）の出力の一例を示す。

スライスヘッダーでは、現在のスライスに使用される輝度フィルタセットを指定するために、最大７つのＡＰＳインデックスを通知することができる。フィルタリングプロセスは、ＣＴＢレベルで更に制御することができる。ＡＬＦが輝度ＣＴＢに適用されるか否かを示すために、フラグを通知することができる。輝度ＣＴＢは、１６個の固定フィルタセット及びＡＰＳからのフィルタセットから１つのフィルタセットを選択することができる。どのフィルタセットが適用されるかを示すために、輝度ＣＴＢに対してフィルタセットインデックスが通知される。１６個の固定フィルタセットは、エンコーダ及びデコーダの両方において事前定義及びハードコーディングすることができる。

彩度成分の場合、現在のスライスに使用される彩度フィルタセットを示すために、スライスヘッダーでＡＰＳインデックスを通知することができる。ＣＴＢレベルでは、ＡＰＳ内に複数の彩度フィルタセットが存在する場合、各輝度ＣＴＢに対してフィルタインデックスを通知することができる。

フィルタ係数は、１２８に等しいノルムで量子化することができる。乗算の複雑さを制限するために、ビットストリーム適合性を適用して、非中心位置の係数値が－２７～２７－１の範囲（両端を含む）になるようにすることができる。中央位置係数はビットストリームで通知されず、１２８に等しいと見なされる。

ＶＶＣドラフト７などの一部の関連する例では、クリッピングインデックス及び対応する値の構文及び意味は、以下のように定義することができる。

ａｌｆ＿ｌｕｍａ＿ｃｌｉｐ＿ｉｄｘ［ｓｆＩｄｘ］［ｊ］は、ｓｆＩｄｘで示される信号付き輝度フィルタのｊ－ｔｈ係数を乗算する前に使用されるクリッピング値のクリッピングインデックスを指定する。ｓｆＩｄｘ＝０．．ａｌｆ＿ｌｕｍａ＿ｎｕｍ＿ｆｉｌｔｅｒｓ＿ｓｉｇｎａｌｌｅｄ＿ｍｉｎｕｓ１及びｊ＝０．．１１のａｌｆ＿ｌｕｍａ＿ｃｌｉｐ＿ｉｄｘ［ｓｆＩｄｘ］［ｊ］値が０～３の範囲（両端を含む）にあることがビットストリーム適合性の要件である。

ｆｉｌｔＩｄｘ＝０．．ＮｕｍＡｌｆＦｉｌｔｅｒｓ－１及びｊ＝０．．１１の要素ＡｌｆＣｌｉｐＬ［ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ］［ｆｉｌｔＩｄｘ］［ｊ］を有する輝度フィルタクリッピング値ＡｌｆＣｌｉｐＬ［ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ］［ｆｉｌｔＩｄｘ］は、ＢｉｔＤｅｐｔｈＹに等しく設定されたｂｉｔＤｅｐｔｈ及びａｌｆ＿ｌｕｍａ＿ｃｌｉｐ＿ｉｄｘ［ａｌｆ＿ｌｕｍａ＿ｃｏｅｆｆ＿ｄｅｌｔａ＿ｉｄｘ［ｆｉｌｔＩｄｘ］］［ｊ］に等しく設定されたｃｌｉｐＩｄｘに応じて表２で導出される。

ａｌｆ＿ｃｈｒｏｍａ＿ｃｌｉｐ＿ｉｄｘ［ａｌｔＩｄｘ］［ｊ］は、インデックスａｌｔＩｄｘを有する代替彩度フィルタのｊ－ｔｈ係数を乗算する前に使用されるクリッピング値のクリッピングインデックスを指定する。ａｌｔＩｄｘ＝０．．ａｌｆ＿ｃｈｒｏｍａ＿ｎｕｍ＿ａｌｔ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１、ｊ＝０．．５のａｌｆ＿ｃｈｒｏｍａ＿ｃｌｉｐ＿ｉｄｘ［ａｌｔＩｄｘ］［ｊ］の値が０～３の範囲（両端を含む）にあることがビットストリーム適合性の要件である。

ａｌｔＩｄｘ＝０．．ａｌｆ＿ｃｈｒｏｍａ＿ｎｕｍ＿ａｌｔ＿ｆｉｌｔｅｒｓ＿ｍｉｎｕｓ１、ｊ＝０．．５の要素ＡｌｆＣｌｉｐＣ［ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ］［ａｌｔＩｄｘ］［ｊ］を有する彩度フィルタクリッピング値ＡｌｆＣｌｉｐＣ［ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ］［ａｌｔＩｄｘ］は、ＢｉｔＤｅｐｔｈＣに等しく設定されたｂｉｔＤｅｐｔｈ及びａｌｆ＿ｃｈｒｏｍａ＿ｃｌｉｐ＿ｉｄｘ［ａｌｔＩｄｘ］［ｊ］に等しく設定されたｃｌｉｐＩｄｘに応じて表２で導出される。

デコーダ側では、ＡＬＦがＣＴＢに対して有効になっている場合、ＣＵ内の各サンプルＲ（ｉ，ｊ）がフィルタリングされ、以下に示されるように、対応するサンプル値Ｒ’（ｉ，ｊ）が生成される。

ここで、ｆ（ｋ，ｌ）は復号されたフィルタ係数を示し、Ｋ（ｘ，ｙ）はクリッピング関数であり、ｃ（ｋ，ｌ）は復号されたクリッピングパラメータを示す。変数ｋ及びｌは、

の間で変化し、Ｌはフィルタ長を示す。クリッピング関数ｋ（ｘ，ｙ）＝ｍｉｎ（ｙ，ｍａｘ（－ｙ，ｘ））は、関数Ｃｌｉｐ３（－ｙ，ｙ，ｘ）に対応する。このクリッピング機能を組み込むことにより、このループフィルタリング方法は非線形ＡＬＦとして知られる非線形プロセスとなる。選択されたクリッピング値は、表２のクリッピング値のインデックスに対応するゴロム符号化方式を使用して「ａｌｆ＿ｄａｔａ」構文要素に符号化される。この符号化方式は、フィルタインデックスの符号化方式と同じである。

図１０は、本開示の一実施形態による、輝度成分に適用される例示的な修正ブロック分類を示す。水平ＣＴＵ境界付近のサンプルに対して採用される修正ブロック分類及びフィルタリングは、ＡＬＦのラインバッファ要件を減らすことができる。図１０に示されるように、仮想境界は、水平ＣＴＵ境界を「Ｎ」個のサンプルでシフトすることによって線として定義され、ここで、Ｎは、それぞれ、輝度成分については４に等しく、彩度成分については２に等しい。

仮想境界より上の４×４ブロックの１Ｄラプラシアン勾配計算では、仮想境界より上のサンプルのみが使用される。同様に、仮想境界より下の４×４ブロックの１Ｄラプラシアン勾配計算では、仮想境界より下のサンプルのみが使用される。アクティビティ値Ａの量子化は、１Ｄラプラシアン勾配計算で使用されるサンプル数の減少を考慮してそれに応じてスケーリングされる。

図１１は、一部の実施形態による、仮想境界における輝度成分に対する例示的な修正ＡＬＦを示す。フィルタリング処理では、仮想境界での対称パディング操作を輝度成分及び彩度成分の両方に使用することができる。図１１に示されるように、フィルタリングされているサンプルが仮想境界の下に位置する場合、仮想境界の上に位置する隣接サンプルがパディングされる。一方、反対側の対応するサンプルも対称的にパディングされる。

符号化効率を高めるために、符号化ユニット同期画像四分木ベースのＡＬＰが、一部の関連する例で使用される。輝度画像は複数のマルチレベルの四分木パーティションに分割でき、各パーティションの境界は最大符号化ユニット（ＬＣＵ）の境界に位置合わせされる。各パーティションには独自のフィルタリングプロセスがあるため、フィルタユニット（ＦＵ）と呼ぶことができる。

２パス符号化フローを次のように説明する。最初のパスで、各ＦＵの四分木分割パターン及び最適なフィルタが決定される。フィルタリング歪みは、決定プロセス中に高速フィルタリング歪み推定（ＦＦＤＥ）によって推定される。すべてのＦＵの決定された四分木分割パターン及び選択されたフィルタに従って、再構成された画像がフィルタリングされた。２回目のパスでは、ＣＵ同期ＡＬＦオン／オフ制御が実行される。ＡＬＦオン／オフ結果によれば、最初のパスからのフィルタリングされた画像は、再構成された画像によって部分的に復元される。

図１２は、一実施形態による例示的なＬＣＵ位置合わせ画像四分木分割を示す。トップダウン分割戦略を採用して、レート歪み基準を用いて画像をマルチレベルの四分木パーティションに分割する。各パーティションはフィルタユニットと呼ばれる。分割プロセスは、四分木パーティションをＬＣＵ境界に位置合わせる。ＦＵの符号化順序は、ｚスキャンの順序に従う。例えば、図１２に示されるように、画像は１０個のＦＵに分割され、符号化順序は、ＦＵ０、ＦＵ１、ＦＵ２、ＦＵ３、ＦＵ４、ＦＵ５、ＦＵ６、ＦＵ７、ＦＵ８、及びＦＵ９である。

図１３は、図１２に対応する例示的な四分木分割パターンを示す。画像の四分木分割パターンを示すために、分割フラグを符号化し、ｚオーダーで送信することができる。

各ＦＵのフィルタは、レート歪み基準に基づいて２つのフィルタセットから選択することができる。第１のセットは、現在のＦＵ用に新しく導出された１／２対称の正方形及び菱形フィルタを有する。第２のセットは、以前の画像のＦＵ用に以前に導出されたフィルタを記憶する時間遅延フィルタバッファからのものである。現在のＦＵに対して、これら２つのセットの中でレート歪みコストが最小のフィルタを選択することができる。同様に、現在のＦＵが最小のＦＵではなく、更に４つの子ＦＵに分割できる場合、４つの子ＦＵのレート歪みコストが計算される。分割された場合と分割されていない場合のレート歪みコストを再帰的に比較することにより、画像の四分木分割パターンを決定することができる。

一部の関連する例では、最大四分木分割レベルは２であり、これは、ＦＵの最大数が１６であることを意味する。四分木分割の決定中に、最下位の四分木レベル（最小のＦＵ）での１６個のＦＵのウィーナ係数を導出するための相関値を再利用することができる。残りのＦＵは、最下位の四分木レベルでの１６個のＦＵの相関からウィーナフィルタを導出することができる。したがって、すべてのＦＵのフィルタ係数を導出するためのフレームバッファアクセスは１つのみである。

四分木分割パターンが決定された後、フィルタリング歪みを更に低減するために、ＣＵ同期ＡＬＦオン／オフ制御を実行することができる。フィルタリング歪みと非フィルタリング歪みを比較することにより、リーフＣＵは、その局所領域でＡＬＦのオン／オフを明示的に切り替えることができる。ＡＬＦオン／オフの結果に応じてフィルタ係数を再設計することにより、符号化効率を更に向上させることができる。ただし、再設計プロセスでは、追加のフレームバッファアクセスが必要である。一部の関連する例では、フレームバッファアクセスの数を最小限に抑えるために、ＣＵ同期ＡＬＦオン／オフの決定後に再設計プロセスはない。

ＩＩＩ．交差成分適応ループフィルタ

一部の関連する例では、交差成分適応ループフィルタ（ＣＣ－ＡＬＦ）が使用される。ＣＣ－ＡＬＦは、輝度サンプル値を用いて各彩度成分を改良する。

図１４Ａは、本開示の一実施形態によるＣＣ－ＡＬＦの例示的な配置を示す。図１４Ｂは、ＣＣ－ＡＬＦ動作中に各彩度成分の輝度チャネルに適用される例示的な線形ダイヤモンド形フィルタを示す。フィルタ係数は、ＡＰＳで送信することができ、例えば、２^１０の倍率でスケーリングされ、固定小数点表現のために丸められる。フィルタの適用は、可変ブロックサイズで制御され、サンプルの各ブロックに対して受信されたコンテキスト符号化フラグによって通知される。ブロックサイズは、ＣＣ－ＡＬＦ有効化フラグと共に、各彩度成分に対してスライスレベルで受信される。一例では、１６×１６、３２×３２、及び６４×６４のブロックサイズ（彩度サンプル内）がサポートされる。

表３は、ＣＣ－ＡＬＦに関連する構文要素を示す。

表３において、０に等しい構文要素ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］は、交差成分Ｃｂフィルタが、輝度位置（ｘＣｔｂ，ｙＣｔｂ）におけるＣｂ色成分内のサンプルのブロックに適用されないことを示す。０に等しくない構文要素ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］は、ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］－ｔｈ交差成分Ｃｂフィルタが、輝度位置（ｘＣｔｂ，ｙＣｔｂ）におけるＣｂ色成分内のサンプルのブロックに適用されることを示す。

０に等しい構文要素ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］は、交差成分Ｃｒフィルタが輝度位置（ｘＣｔｂ，ｙＣｔｂ）におけるＣｒ色成分内のサンプルのブロックに適用されないことを示す。０に等しくない構文要素ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］は、ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ｘＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］［ｙＣｔｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ］－ｔｈ交差成分Ｃｒフィルタが、輝度位置（ｘＣｔｂ，ｙＣｔｂ）におけるＣｒ色成分内のサンプルのブロックに適用されることを示す。

ＩＶ．制約付き方向性強調フィルタ

インループ制約付き方向性強調フィルタ（ＣＤＥＦ）の１つの目標は、画像の詳細を保持しながら、符号化アーティファクトをフィルタリングして除去することである。ＨＥＶＣなどの一部の関連する例では、サンプル適応オフセット（ＳＡＯ）アルゴリズムは、異なるクラスのピクセルに対して信号オフセットを定義することにより、同様の目標を達成することができる。ＳＡＯとは異なり、ＣＤＥＦは非線形空間フィルタである。フィルタの設計は、単一命令複数データ（ＳＩＭＤ）演算で実装できるように、容易にベクトル化できるように制約されているが、これは、メディアンフィルタ又はバイラテラルフィルタなどの他の非線形フィルタの場合には当てはまらない。

ＣＤＥＦ設計は、以下の観察から生じる。符号化画像におけるリンギングアーティファクトの量は、量子化ステップサイズにほぼ比例する傾向がある。詳細の量は入力画像の特性であるが、量子化画像に保持される最小の詳細も、量子化ステップサイズに比例する傾向がある。所定の量子化ステップサイズでは、リンギングの振幅は一般に詳細の振幅よりも小さい。

ＣＤＥＦは、各ブロックの方向を識別し、次いで、識別した方向に沿って、及び識別した方向から４５度回転した方向に沿ってより少ない程度で適応的にフィルタリングすることによって機能する。フィルタの強度は明示的に通知されるため、ぼかしを高度に制御することができる。効率的なエンコード検索は、フィルタ強度用に設計されている。ＣＤＥＦは、以前に提案された２つのインループフィルタに基づいており、新しいＡＯＭｅｄｉａ Ｖｉｄｅｏ１（ＡＶ）コーデックには結合フィルタが採用されている。

図１５は、本開示の一実施形態による、８×８ブロックの例示的な方向探索をする。方向探索は、非ブロック化フィルタの直後に、再構成されたピクセルに対して実行される。これらのピクセルはデコーダに利用可能であるため、方向にはシグナリングが必要とされない。探索は８×８ブロックに対して実行され、これらのブロックは、非直線エッジを適切に処理するのに十分小さいが、量子化画像に適用されるときに方向を確実に推定するのに十分大きい。８×８領域にわたって方向が一定であると、フィルタのベクトル化も容易になる。各ブロックについて、それぞれのブロック内のパターンに最もよく一致する方向は、量子化ブロックと最も近い完全方向性ブロックとの間の二乗差の和（ＳＳＤ）を最小化することによって決定される。完全方向性ブロックは、一方向の線に沿ったすべてのピクセルが同じ値を有するブロックである。

方向を識別する１つの理由は、方向性エッジ又はパターンを維持しながらリンギングを低減するためにその方向に沿ってフィルタタップを位置合わせすることである。ただし、方向性フィルタリングだけでは、リンギングを十分に低減できない場合がある。また、主方向に沿っていないピクセルにはフィルタタップを使用することも望ましい。ぼかしのリスクを減らすために、これらの余分なタップはより保守的に処理される。このため、ＣＤＥＦは、一次タップ及び二次タップを定義する。完全な２－Ｄ ＣＤＥＦフィルタは以下のように表される。

ここで、Ｄは減衰パラメータであり、Ｓ^（ｐ）及びＳ^（ｓ）はそれぞれ一次タップ及び二次タップの強度であり、ｒｏｕｎｄ（・）はゼロから離れるように丸め、

はフィルタ重みであり、ｆ（ｄ，Ｓ，Ｄ）はフィルタリングされたピクセルと隣接する各ピクセルとの間の差に作用する制約関数である。差が小さい場合、ｆ（ｄ，Ｓ，Ｄ）＝ｄであり、フィルタは線形フィルタのように動作する。差が大きい場合、ｆ（ｄ，Ｓ，Ｄ）＝０であり、フィルタタップが事実上無視される。

Ｖ．ＡＶ１におけるループ復元

従来の非ブロック化動作のほか、一般的にノイズを除去し、エッジの品質を向上させるために、非ブロック化後のビデオ符号化で一組のインループ復元方式を使用することができる。これらの方式は、適切なサイズのタイルごとにフレーム内で切り替え可能である。記載されている具体的な方式は、分離可能な対称ウィーナフィルタと部分空間射影を備えたデュアル自己誘導フィルタに基づいている。コンテンツ統計はフレーム内で大幅に変化する可能性があるため、これらのツールは切り替え可能なフレームワーク内に統合されており、このフレームワークでは、フレームの異なる領域で異なるツールをトリガーすることができる。

ウィーナフィルタの場合、劣化したフレーム内のすべてのピクセルは、それぞれのピクセルの周りのｗ×ｗウィンドウ内のそれぞれのピクセルの非因果的なフィルタリングされたバージョンとして再構成することができ、ここで、ｗ＝２ｒ＋１は整数ｒに対して奇数である。２Ｄフィルタタップが列ベクトル化形式のｗ^２×１要素ベクトルＦで表される場合、単純な線形最小二乗平均誤差（ＬＭＭＳＥ）最適化により、フィルタパラメータがＦ＝Ｈ^－１Ｍによって与えられ、ここで、Ｈ＝Ｅ［ＸＸ^Ｔ］はｘの自己共分散であり、ピクセルの周りのｗ×ｗウィンドウ内のｗ^２サンプルの列ベクトル化バージョンであり、Ｍ＝Ｅ［ＹＸ^Ｔ］は、推定されるべき、ｘとスカラーソースサンプルｙの相互相関である。エンコーダは、非ブロック化されたフレームとソース内の実現からＨ及びＭを推定し、得られたフィルタＦをデコーダに送信することができる。ただし、これにより、ｗ^２個のタップの送信にかなりのビットレートコストが発生するだけでなく、分離不可能なフィルタリングによって復号も非常に複雑になる。したがって、Ｆの性質にはいくつかの追加の制約が課せられる。まず、Ｆは分離可能であるように制約され、その結果、フィルタリングは分離可能な水平及び垂直ｗ－ｔａｐ畳み込みとして実装することができる。第２に、水平フィルタ及び垂直フィルタのそれぞれは、対称であるように制約される。第３に、水平フィルタ係数と垂直フィルタ係数の両方の合計が１であると想定される。

誘導フィルタリングの局所線形モデルは、以下のように表すことができる。

局所線形モデルは、フィルタリングされていないサンプルｘからフィルタリングされた出力ｙを計算するために使用され、ここで、Ｆ及びＧは、劣化画像及びフィルタリングされたピクセルの近傍の誘導画像の統計に基づいて決定される。誘導画像が劣化画像と同じである場合、結果として得られるいわゆる自己誘導フィルタリングは、エッジ保存平滑化の効果を有する。自己誘導フィルタリングの特定の形式は、半径ｒとノイズパラメータｅの２つのパラメータに依存し、次のように列挙される。

（１）各ピクセルの周りの（２ｒ＋１）（２ｒ＋１）ウィンドウにおいてピクセルの平均μ及び分散σ^２を求める。これは、積分イメージングに基づくボックスフィルタリングにより効率的に実現できる。

（２）各ピクセルについてｆ＝σ^２／（σ^２＋ｅ）、ｇ＝（１－ｆ）μを計算する。

（３）使用のために、ピクセルの周りの３×３ウィンドウ内のｆ及びｇ値の平均として、各ピクセルのＦ及びＧを計算する。

フィルタリングは、ｒ及びｅによって制御され、ここで、ｒが高いほど空間分散が大きくなり、ｅが高いほど範囲分散が大きくなる。

図１６は、一実施形態による例示的な部分空間射影を示す。安価な修復物Ｘ_１及びＸ_２のいずれもソースＹに近接していないが、適切な乗数｛α，β｝は、それらがある程度正しい方向に移動している限り、それらをソースにはるかに近づけることができる。

ＶＩ．ブロックレベル再構成に対する交差成分フィルタリング

ＶＶＣなどの一部の関連する例では、交差成分フィルタリング（ＣＣＦ）プロセスが提案され、ＳＡＯ後の追加のフィルタリングプロセスとして採用されている。即ち、変換、量子化、逆量子化、及び再構成ループ以外にＣＣＦプロセスが適用される。したがって、現在のブロックに適用されるＣＣＦプロセスは、後続のブロックの参照サンプルとして使用される現在のブロックの再構成サンプルがＣＣＦプロセスの影響を受けないため、後続の符号化ブロックの予測を改善しない。このような例では、ＣＣＦプロセスは画像レベルで適用される。ＣＣＦプロセスが後続の符号化ブロックの予測に影響を与えるために、本開示の実施形態では、ＣＣＦプロセスをブロックレベルで適用することができる。

本開示は、ブロックレベル再構成にＣＣＦプロセスを適用する方法を含む。ＣＣＦプロセスは、第１の色成分の再構成サンプルを入力（例えば、Ｙ又はＣｂ又はＣｒ）として使用するフィルタリングプロセスとして定義することができ、出力は、第１の色成分とは異なる第２の色成分に適用することができる。ＣＣＦプロセスの一例は、セクションＩＩＩに記載されているＣＣ－ＡＬＦプロセスである。

本開示の態様によれば、ＳＡＯが完了する前に、ＣＣＦプロセスを適用することができる。例えば、ＣＣＦプロセスは、逆量子化及び／又は逆変換の後に適用することができる。ＣＣＦプロセスによって出力された現在のブロックのフィルタリングされた再構成サンプルは、後続のブロックの参照サンプルとして使用することができ、及び／又は後続のブロックの予測サンプルを生成するために使用することができる。

図１７は、本開示の一実施形態による、ブロックの逆変換後に適用される例示的なＣＣＦを示す。フィルタリングされたサンプルは、後続のブロックのイントラ予測及び／又はインター予測に使用することができ、インループフィルタリングは、ＣＣＦプロセスから出力されるフィルタリングされたサンプルの上に適用することができる。

一実施形態では、ＣＣＦは、彩度色成分にのみ適用することができる。ＣＣＦプロセスの入力は再構成された輝度サンプルであってもよく、出力は現在のブロックの彩度サンプルの上に追加されるオフセット値であってもよい。

一実施形態では、ＣＣＦプロセスは、残差に適用することができる。ＣＣＦプロセスの入力は、逆変換から導出された輝度残差値であってもよく、出力は、現在のブロックの彩度残差値に追加されるオフセット値であってもよい。

一実施形態では、ＣＣＦプロセスは、予測されたサンプル値に適用することができる。ＣＣＦプロセスの入力は、予測された輝度サンプル値に適用することができ、出力は、現在のブロックの予測された彩度サンプル値に追加されるオフセット値であってもよい。

一実施形態では、ＣＣＦプロセスで使用されるフィルタ係数を通知することができる。例えば、フィルタ係数は、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）、スライスヘッダー、又はタイルヘッダーで通知することができる。

一実施形態では、ＣＣＦプロセスで使用されるフィルタ係数は、事前定義された定数である。

一実施形態では、現在の画像のＣＣＦプロセスで使用されるフィルタ係数は、別のＣＣＦプロセスで使用されるフィルタ係数によって導出される。例えば、現在の画像のＣＣＦプロセスで使用されるフィルタ係数は、異なる画像のＣＣＦプロセスで使用されるフィルタ係数、及び現在の画像に対して通知されるオフセット値によって導出することができる。

一実施形態では、一つの色成分（例えば、彩度成分）のＣＣＦプロセスで使用されるフィルタ係数は、他の色成分（例えば、輝度成分）のＣＣＦプロセスで使用されるフィルタ係数から導出される。

一実施形態では、ＣＣＦプロセスが適用される前に決定されたサンプル値によって導出された一部の統計に従って、各サンプルに対してフィルタ係数が選択される。

一部の実施形態では、ＣＣＦプロセスが有効にされているか否かに関して判定が行われる。ＣＣＦプロセスは、ＣＣＦプロセスが有効になっているという判定に基づいて適用される。

一実施形態では、ＣＣＦプロセスは、特定のブロックサイズに対して有効又は無効にされてもよい。一例では、ＣＣＦプロセスは、幅及び／又は高さが所与の閾値よりも小さいブロックに対して無効にされる。

一実施形態では、ＣＣＦプロセスは、特定の分割方式に対して有効又は無効にされてもよい。一例では、輝度成分及び彩度成分が異なるブロックサイズを有する場合、例えば輝度成分及び彩度成分が異なる分割方式又は半分離分割方式を有する場合、ＣＣＦプロセスは無効にされる。

一実施形態では、ＣＣＦプロセスは、特定の予測モードに対して有効又は無効にされてもよい。一例では、ＣＣＦプロセスはＤＣモードでは無効にされる。一例では、ＣＣＦプロセスは平面モードでは無効にされる。一例では、ＣＣＦプロセスは、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｈ、及びＳＭＯＯＴＨ＿Ｖモードの１つ以上に対して無効にされる。一例では、ＣＣＦプロセスはＰａｅｔｈ予測モードでは無効にされる。一例では、ＣＣＦプロセスはＳＫＩＰモードでは無効にされる。一例では、ＣＣＦプロセスは方向性モードでは有効にされる。一例では、ＣＣＦプロセスは、インター－イントラ復号モードでは有効にされる。

一実施形態では、ＣＣＦプロセスのフィルタ形状は、ブロック幅及び／又は高さに依存する可能性がある。

一実施形態では、ＣＣＦプロセスが有効にされるか否かは、逆変換プロセスの変換係数に依存する。一例では、変換係数（逆量子化前又は逆量子化後）がすべてゼロの場合、ＣＣＦプロセスは適用されない。一例では、ＤＣ変換係数（逆量子化前又は逆量子化後）のみがゼロでない場合、ＣＣＦプロセスは適用されない。一例では、低周波変換係数（逆量子化前又は逆量子化後）のみがゼロでない場合、ＣＣＦプロセスは適用されない。低周波変換係数は、座標（ｘ，ｙ）に位置する変換係数であり、ｘ及び／又はｙが所定の閾値よりも小さい。

一実施形態では、ＣＣＦプロセスが有効にされるか否かは、逆量子化プロセスの量子化パラメータに依存する。

ＶＩＩ．フローチャート

図１８は、本開示の一実施形態による例示的なプロセス（１８００）を概説するフローチャートを示す。様々な実施形態では、プロセス（１８００）は、端末装置（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、イントラ予測モジュール（４５２）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、予測子（５３５）の機能を実行する処理回路、イントラエンコーダ（６２２）の機能を実行する処理回路、イントラデコーダ（７７２）の機能を実行する処理回路などの処理回路によって実行される。一部の実施形態では、プロセス（１８００）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１８００）を実行する。

プロセス（１８００）は、一般に、ステップ（Ｓ１８１０）で開始することができ、ここで、プロセス（１８００）は、符号化ビデオシーケンスの一部である現在の画像内の現在のブロックの予測情報を復号する。予測情報は、現在のブロックに対するＣＣＦプロセスを示す。次に、プロセス（１８００）はステップ（Ｓ１８２０）に進む。

ステップ（Ｓ１８２０）において、プロセス（１８００）は、ＣＣＦプロセスを、現在のブロックの予測サンプル、残差値、又は再構成サンプルのうちの少なくとも１つに適用することによって、現在のブロックのフィルタリングされた再構成サンプルを生成する。現在のブロックのフィルタリングされた再構成サンプルは、後続のブロックの再構成に使用される。次に、プロセス（１８００）はステップ（Ｓ１８３０）に進む。

ステップ（Ｓ１８３０）において、プロセス（１８００）は、現在のブロックのフィルタリングされた再構成サンプルに基づいて現在のブロック及び後続のブロックを再構成する。その後、プロセス（１８００）が終了する。

一実施形態では、プロセス（１８００）は、ＣＣＦプロセスを、現在のブロックの逆量子化プロセス及び逆変換プロセスのうちの少なくとも１つの出力に適用することによって、現在のブロックのフィルタリングされた再構成サンプルを生成する。

一実施形態では、プロセス（１８００）は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度再構成サンプルに追加することによって、現在のブロックを再構成する。

一実施形態では、プロセス（１８００）は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度残差値に追加することによって、現在のブロックを再構成する。

一実施形態では、プロセス（１８００）は、現在のブロックのオフセット値を含むＣＣＦプロセスの出力を現在のブロックの彩度予測サンプルに追加することによって、現在のブロックを再構成する。

一実施形態では、ＣＣＦプロセスのフィルタ係数は予測情報に含まれている。

一実施形態では、ＣＣＦプロセスのフィルタ係数は事前定義された定数である。

一実施形態では、現在の画像で使用されるＣＣＦプロセスのフィルタ係数は、別の画像で使用されるＣＣＦプロセスのフィルタ係数と、現在の画像で使用されるＣＣＦプロセスのフィルタ係数のオフセット値とに基づいて決定される。オフセット値は、予測情報に含まれてもよい。

一実施形態では、一つの色成分で使用されるＣＣＦプロセスのフィルタ係数は、別の色成分で使用されるＣＣＦプロセスのフィルタ係数に基づいて決定される。

一実施形態では、ＣＣＦプロセスのフィルタ係数は、ＣＣＦプロセスが適用される前に決定された現在のブロックのサンプル値に基づいて決定される。

一実施形態では、ＣＣＦプロセスが有効にされるか否かは、分割方式、予測モード、ブロック幅、ブロック高さ、変換係数、及び量子化パラメータのうちの１つに基づいて決定される。

ＶＩＩＩ．コンピュータシステム

上記の技術は、コンピュータ可読命令を使用し、かつ１つ以上のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図１９は、開示された主題の特定の実施形態を実施するのに適したコンピュータシステム（１９００）を示す。

コンピュータソフトウェアは、任意の適切な機械語又はコンピュータ言語を使用して符号化することができ、これらは、アセンブリ、コンパイル、リンク、又は同様のメカニズムを受けて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などによって直接、又は解釈、マイクロコード実行などを通じて実行できる命令を含むコードを作成することができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置などを含めて、様々なタイプのコンピュータ又はその構成要素上で実行することができる。

コンピュータシステム（１９００）について図１９に示されている構成要素は、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用範囲又は機能に関するいかなる限定も示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム（１９００）の例示的な実施形態に示されている構成要素のいずれか１つ又は組み合わせに関連する依存性又は要件を有すると解釈されるべきではない。

コンピュータシステム（１９００）は、特定のヒューマンインターフェース入力デバイスを含むことができる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を介して、１人以上の人間ユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、オーディオ（音声、音楽、周囲音など）、画像（走査画像、静止画像カメラから取得した写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定のメディアをキャプチャするために使用することができる。

入力ヒューマンインターフェースデバイスは、キーボード（１９０１）、マウス（１９０２）、トラックパッド（１９０３）、タッチスクリーン（１９１０）、データグローブ（図示せず）、ジョイスティック（１９０５）、マイクロフォン（１９０６）、スキャナ（１９０７）、及びカメラ（１９０８）のうちの１つ以上を含むことができる（それぞれのうちの１つのみを示す）。

コンピュータシステム（１９００）はまた、特定のヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び匂い／味覚を通じて、１人以上の人間ユーザの感覚を刺激することができる。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１９１０）、データグローブ（図示せず）、又はジョイスティック（１９０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、オーディオ出力デバイス（スピーカ（１９０９）、ヘッドフォン（図示せず）など）、視覚出力デバイス（それぞれがタッチスクリーン入力機能を有する又は有せず、それぞれが触覚フィードバック機能を有する又は有せず、一部がステレオグラフィック出力などの手段を介して、２次元視覚出力又は３次元以上の出力を出力することができる、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１９１０）、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含むことができる。これらの視覚出力デバイス（スクリーン（１９１０）など）は、グラフィックアダプタ（１９５０）を介してシステムバス（１９４８）に接続することができる。

コンピュータシステム（１９００）はまた、人間がアクセス可能な記憶装置、及びＣＤ／ＤＶＤ付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１９２０）を含む光学媒体又は同様の媒体（１９２１）、サムドライブ（１９２２）、リムーバブルハードドライブ又はソリッドステートドライブ（１９２３）、テープ及びフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などの関連する媒体を含むことができる。

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解すべきである。

コンピュータシステム（１９００）はまた、１つ以上の通信ネットワーク（１９５５）へのネットワークインターフェース（１９５４）を含むことができる。１つ以上の通信ネットワーク（１９５５）は、例えば、無線、有線、光であり得る。１つ以上の通信ネットワーク（１９５５）は更に、ローカル、広域、メトロポリタン、自動車及び産業用、リアルタイム、遅延耐性などであり得る。１つ以上の通信ネットワーク（１９５５）の例としては、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む自動車及び産業用ネットワークなどが挙げられる。特定のネットワークでは一般に、特定の汎用データポート又は周辺バス（１９４９）（例えば、コンピュータシステム（１９００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプタが必要であり、他のネットワークは、一般に、以下に説明されるように、システムバスに接続することによってコンピュータシステム（１９００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１９００）は他のエンティティと通信することができる。そのような通信は、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの一方向、受信のみ（例えば、放送ＴＶ）、一方向送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、又は双方向であり得る。上記のように、特定のプロトコル及びプロトコルスタックをこれらのネットワーク及びネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、及びネットワークインターフェースは、コンピュータシステム（１９００）のコア（１９４０）に接続することができる。

コア（１９４０）は、１つ以上の中央処理装置（ＣＰＵ）（１９４１）、グラフィック処理装置（ＧＰＵ）（１９４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）の形態の特殊なプログラマブルプロセッシングユニット（１９４３）、特定のタスク用のハードウェアアクセラレータ（１９４４）、グラフィックアダプタ（１９５０）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ＲＯＭ）（１９４５）、ランダムアクセスメモリ（１９４６）、ユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１９４７）と共に、システムバス（１９４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１９４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能である。周辺機器は、コアのシステムバス（１９４８）に直接接続することも、周辺バス（１９４９）を介して接続することもできる。一例では、スクリーン（１９１０）はグラフィックアダプタ（１９５０）に接続することができる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。

ＣＰＵ（１９４１）、ＧＰＵ（１９４２）、ＦＰＧＡ（１９４３）、及びアクセラレータ（１９４４）は、特定の命令を実行することができ、これらの命令は、組み合わせて前述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（１９４５）又はＲＡＭ（１９４６）に記憶することができる。移行データはＲＡＭ（１９４６）に記憶することもできるが、永久データは、例えば内部大容量記憶装置（１９４７）に記憶することができる。１つ以上のＣＰＵ（１９４１）、ＧＰＵ（１９４２）、大容量記憶装置（１９４７）、ＲＯＭ（１９４５）、ＲＡＭ（１９４６）などと密接に関連付けることができるキャッシュメモリを使用することで、任意のメモリデバイスへの高速記憶及び検索を可能にすることができる。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよく、又はそれらは、コンピュータソフトウェア技術の当業者によく知られ、利用可能な種類のものであってもよい。

限定ではなく、一例として、アーキテクチャ（１９００）、具体的にはコア（１９４０）を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したユーザがアクセス可能な大容量記憶装置に関連付けられた媒体、及びコア内部大容量記憶装置（１９４７）又はＲＯＭ（１９４５）などの非一時的な性質を有するコア（１９４０）の特定の記憶装置であり得る。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶され、コア（１９４０）によって実行され得る。コンピュータ可読媒体は、特定の必要に応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１９４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１９４６）に記憶されたデータ構造を定義すること、及びソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含めて、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。更に又は代替として、コンピュータシステムは、ソフトウェアの代わりに又はソフトウェアと共に動作して本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行することができる回路（例えば、アクセラレータ（１９４４））に配線され、又は他の方法で具体化された論理の結果として機能を提供することができる。ソフトウェアへの言及は、論理を包含することができ、必要に応じてその逆も同様である。コンピュータ可読媒体への言及は、実行用のソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行用の論理を具体化する回路、又は必要に応じてその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

本開示は、いくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある変更、変形、及び様々な置換同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本開示の原理を具体化し、したがってその精神及び範囲内にある多数のシステム及び方法を考案することができることが理解されるであろう。

付録Ａ：頭字語
ＡＬＦ：適応ループフィルタ
ＡＭＶＰ：高度な動きベクトル予測
ＡＰＳ：適応パラメータセット
ＡＳＩＣ：特定用途向け集積回路
ＡＴＭＶＰ：代替／高度な時間的動きベクトル予測
ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １
ＡＶ２：ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２
ＢＭＳ：ベンチマークセット
ＢＶ：ブロックベクトル
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＣＢ：符号化ブロック
ＣＣ－ＡＬＦ：交差成分適応ループフィルタ
ＣＤ：コンパクトディスク
ＣＤＥＦ：制約付き方向性強調フィルタ
ＣＰＲ：現在の画像参照
ＣＰＵ：中央処理装置
ＣＲＴ：ブラウン管
ＣＴＢ：符号化ツリーブロック
ＣＴＵ：符号化ツリーユニット
ＣＵ：符号化ユニット
ＤＰＢ：デコーダ画像バッファ
ＤＰＳ：復号パラメータセット
ＤＶＤ：デジタルビデオディスク
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＪＣＣＲ：共同ＣｂＣｒ残差符号化
ＪＶＥＴ：共同ビデオ探索チーム
ＧＯＰ：画像グループ
ＧＰＵ：グラフィック処理装置
ＧＳＭ：移動体通信システム用グローバルシステム
ＨＤＲ：ハイダイナミックレンジ
ＨＥＶＣ：高効率ビデオ符号化
ＨＲＤ：仮想参照デコーダ
ＩＢＣ：イントラブロックコピー
ＩＣ：集積回路
ＩＳＰ：イントラサブパーティション
ＪＥＭ：共同探索モデル
ＬＡＮ：ローカルエリアネットワーク
ＬＣＤ：液晶ディスプレイ
ＬＲ：ループ復元フィルタ
ＬＴＥ：ロングタームエボリューション
ＭＰＭ：最確モード
ＭＶ：動きベクトル
ＯＬＥＤ：有機発光ダイオード
ＰＢ：予測ブロック
ＰＣＩ：周辺構成要素相互接続
ＰＤＰＣ：位置依存予測組み合わせ
ＰＬＤ：プログラマブルロジックデバイス
ＰＰＳ：画像パラメータセット
ＰＵ：予測ユニット
ＲＡＭ：ランダムアクセスメモリ
ＲＯＭ：読み取り専用メモリ
ＳＡＯ：サンプル適応オフセット
ＳＣＣ：スクリーンコンテンツ符号化
ＳＤＲ：標準ダイナミックレンジ
ＳＥＩ：補足強化情報
ＳＮＲ：信号雑音比
ＳＰＳ：シーケンスパラメータセット
ＳＳＤ：ソリッドステートドライブ
ＴＵ：変換ユニット
ＵＳＢ：ユニバーサルシリアルバス
ＶＰＳ：ビデオパラメータセット
ＶＵＩ：ビデオユーザビリティ情報
ＶＶＣ：多用途ビデオ符号化
ＷＡＩＰ：広角イントラ予測

２００ 通信システム
２１０，２２０，２３０，２４０ 端末装置
２５０ ネットワーク
３００ ストリーミングシステム
３０１ ビデオソース
３０２ ビデオ画像
３０３ ビデオエンコーダ
３０４ 符号化ビデオデータ（符号化ビデオビットストリーム）
３０５ ストリーミングサーバ
３０６，３０８ クライアントサブシステム
３０７，３０９ 符号化ビデオデータのコピー
３１０ ビデオデコーダ
３１１ ビデオ画像
３１２ ディスプレイ
３１３ キャプチャサブシステム
３２０，３３０ 電子装置
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ エントロピーデコーダ／パーサ
４２１ シンボル
４３０ 電子装置
４３１ 受信機
４５１ スケーラ／逆変換ユニット
４５２ イントラ予測ユニット
４５３ 動き補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照画像メモリ
４５８ 現在の画像バッファ
５０１ ビデオソース
５０３ ビデオエンコーダ
５２０ 電子装置
５３０ ソースコーダ
５３２ 符号化エンジン
５３３ （ローカル）デコーダ
５３４ 参照画像メモリ（参照画像キャッシュ）
５３５ 予測子
５４０ 送信機
５４３ 符号化ビデオシーケンス
５４５ エントロピーコーダ
５５０ コントローラ
５６０ 通信チャネル
６０３ ビデオエンコーダ
６２１ 汎用コントローラ
６２２ イントラエンコーダ
６２３ 残差計算機
６２４ 残差エンコーダ
６２５ エントロピーエンコーダ
６２６ スイッチ
６２８ 残差デコーダ
６３０ インターエンコーダ
７１０ ビデオデコーダ
７７１ エントロピーデコーダ
７７２ イントラデコーダ
７７３ 残差デコーダ
７７４ 再構成モジュール
７８０ インターデコーダ
１９００ コンピュータシステム
１９０１ キーボード
１９０２ マウス
１９０３ トラックパッド
１９０５ ジョイスティック
１９０６ マイクロフォン
１９０７ スキャナ
１９０８ カメラ
１９０９ スピーカ
１９１０ スクリーン（タッチスクリーン）
１９２０ ＣＤ／ＤＶＤ／ ＲＯＭ／ＲＷ
１９２１ 光学媒体
１９２２ サムドライブ
１９２３ リムーバブルハードディスクドライブ又はソリッドステートドライブ
１９４０ コア
１９４１ 中央処理装置（ＣＰＵ）
１９４２ グラフィック処理装置（ＧＰＵ）
１９４３ フィールドプログラマブルゲートアレイ（ＦＰＧＡ）
１９４４ ハードウェアアクセラレータ
１９４５ 読み取り専用メモリ（ＲＯＭ）
１９４６ ランダムアクセスメモリ
１９４７ 内部大容量記憶装置
１９４８ システムバス
１９４９ 汎用データポート又は周辺バス
１９５０ グラフィックアダプタ
１９５４ ネットワークインターフェース
１９５５ 通信ネットワーク

Claims (20)

1. デコーダにおける画像又はビデオの復号方法であって、
   符号化ビデオシーケンスの一部である現在の画像内の現在のブロックの予測情報を復号するステップであって、前記予測情報が、前記現在のブロックに対する交差成分フィルタリング（ＣＣＦ）プロセスを示す、ステップと、
   前記ＣＣＦプロセスを前記現在のブロックの予測サンプル、残差値、及び再構成サンプルのうちの少なくとも１つに適用することによって、前記現在のブロックのフィルタリングされた再構成サンプルを生成するステップと、
   前記現在のブロックの前記フィルタリングされた再構成サンプルに基づいて前記現在のブロック及び後続のブロックを再構成するステップであって、前記現在のブロックの前記フィルタリングされた再構成サンプルは、前記後続のブロックの参照サンプルとして使用され、又は、前記後続のブロックの予測サンプルを生成するために使用される、ステップと、を含む、方法。
2. 前記生成するステップは、前記ＣＣＦプロセスを、前記現在のブロックの逆量子化プロセス及び逆変換プロセスのうちの少なくとも１つの出力に適用することによって、前記現在のブロックの前記フィルタリングされた再構成サンプルを生成するステップを含む、請求項１に記載の方法。
3. 前記ＣＣＦプロセスを前記再構成サンプルに適用することは、輝度再構成サンプルを前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
   前記再構成するステップは、前記オフセット値を前記現在のブロックの彩度再構成サンプルに追加することによって、前記現在のブロックを再構成するステップを含む、請求項１に記載の方法。
4. 前記ＣＣＦプロセスを前記残差値に適用することは、輝度残差値を前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
   前記再構成するステップは、前記オフセット値を前記現在のブロックの彩度残差値に追加することによって、前記現在のブロックを再構成するステップを含む、請求項１に記載の方法。
5. 前記ＣＣＦプロセスを前記予測サンプルに適用することは、予測輝度サンプル値を前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
   前記再構成するステップは、前記オフセット値を前記現在のブロックの彩度予測サンプルに追加することによって、前記現在のブロックを再構成するステップを含む、請求項１に記載の方法。
6. 前記ＣＣＦプロセスのフィルタ係数が前記予測情報に含まれている、請求項１に記載の方法。
7. 前記ＣＣＦプロセスのフィルタ係数が事前定義された定数である、請求項１に記載の方法。
8. 前記現在の画像で使用される前記ＣＣＦプロセスのフィルタ係数は、別の画像で使用される前記ＣＣＦプロセスのフィルタ係数と、前記現在の画像で使用される前記ＣＣＦプロセスの前記フィルタ係数のオフセット値とに基づいて決定される、請求項１に記載の方法。
9. 一つの色成分で使用される前記ＣＣＦプロセスのフィルタ係数は、別の色成分で使用される前記ＣＣＦプロセスのフィルタ係数に基づいて決定される、請求項１に記載の方法。
10. 前記ＣＣＦプロセスのフィルタ係数は、前記ＣＣＦプロセスが適用される前に決定された前記現在のブロックのサンプル値に基づいて決定される、請求項１に記載の方法。
11. 前記ＣＣＦプロセスが有効にされるか否かは、分割方式、予測モード、ブロック幅、ブロック高さ、変換係数、及び量子化パラメータのうちの１つに基づいて決定される、請求項１に記載の方法。
12. 符号化ビデオシーケンスの一部である現在の画像内の現在のブロックの予測情報を復号するステップであって、前記予測情報が、前記現在のブロックに対する交差成分フィルタリング（ＣＣＦ）プロセスを示す、ステップと、
    前記ＣＣＦプロセスを前記現在のブロックの予測サンプル、残差値、及び再構成サンプルのうちの少なくとも１つに適用することによって、前記現在のブロックのフィルタリングされた再構成サンプルを生成するステップと、
    前記現在のブロックの前記フィルタリングされた再構成サンプルに基づいて前記現在のブロック及び後続のブロックを再構成するステップであって、前記現在のブロックの前記フィルタリングされた再構成サンプルは、前記後続のブロックの参照サンプルとして使用され、又は、前記後続のブロックの予測サンプルを生成するために使用される、ステップと、を実行するように構成された処理回路を含む、装置。
13. 前記処理回路は、
    前記ＣＣＦプロセスを、前記現在のブロックの逆量子化プロセス及び逆変換プロセスのうちの少なくとも１つの出力に適用することによって、前記現在のブロックの前記フィルタリングされた再構成サンプルを生成するように構成される、請求項１２に記載の装置。
14. 前記ＣＣＦプロセスを前記再構成サンプルに適用することは、輝度再構成サンプルを前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
    前記処理回路は、
    前記オフセット値を前記現在のブロックの彩度再構成サンプルに追加することによって、前記現在のブロックを再構成するように構成される、請求項１２に記載の装置。
15. 前記ＣＣＦプロセスを前記残差値に適用することは、輝度残差値を前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
    前記処理回路は、
    前記オフセット値を前記現在のブロックの彩度残差値に追加することによって、前記現在のブロックを再構成するように構成される、請求項１２に記載の装置。
16. 前記ＣＣＦプロセスを前記予測サンプルに適用することは、予測輝度サンプル値を前記ＣＣＦに入力し、前記現在のブロックのオフセット値を出力することを含み、
    前記処理回路は、
    前記オフセット値を前記現在のブロックの彩度予測サンプルに追加することによって、前記現在のブロックを再構成するように構成される、請求項１２に記載の装置。
17. 前記ＣＣＦプロセスのフィルタ係数が前記予測情報に含まれている、請求項１２に記載の装置。
18. 前記ＣＣＦプロセスのフィルタ係数が事前定義された定数である、請求項１２に記載の装置。
19. 前記現在の画像で使用される前記ＣＣＦプロセスのフィルタ係数は、別の画像で使用される前記ＣＣＦプロセスのフィルタ係数と、前記現在の画像で使用される前記ＣＣＦプロセスの前記フィルタ係数のオフセット値とに基づいて決定される、請求項１２に記載の装置。
20. 少なくとも１つのプロセッサに、請求項１から１１のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

Images