JP7506176B2 - ビデオ情報を処理するための方法及びコンピュータプログラム - Google Patents

Description

参照による組み込み
本出願は、２０２１年４月１６日に出願された「Ｈａｒｍｏｎｉｚｅｄ Ｄｅｓｉｇｎ Ａｍｏｎｇ Ｍｕｌｔｉｐｌｅ Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ， Ｔｒａｎｓｆｏｒｍ Ｐａｒｔｉｔｉｏｎｉｎｇ， ａｎｄ Ｔｒａｎｓｆｏｒｍ Ｋｅｒｎｅｌｓ」という名称の米国仮出願第６３／１７６，０４９号に対する優先権を主張する、２０２２年１月７日に出願された米国非仮特許出願第１７／５７１，２８４号に基づくものであり、その優先権の利益を主張する。両出願は、参照によってその全体が本明細書に組み込まれる。

技術分野
本開示は、一般に、一組の先進的なビデオコーディング／復号技術に関し、より詳細には、複数基準線イントラ予測（multiple reference line intra prediction）、変換区分化（transform partitioning）及び変換カーネル（transform kernels）の間の調和設計（harmonized design）に関する。

本明細書で提供される背景説明は、本開示の文脈を一般的に提示するためのものである。現在名前を挙げられている発明者の研究は、その研究がこの背景技術に記載された範囲において、出願時に先行技術として通常見なされ得ない記載の態様とともに、明示的にも暗黙的にも本開示に対する先行技術として認められない。

ビデオコーディング及び復号は、動き補正を伴うインターピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連する完全な又はサブサンプリングされたクロミナンスサンプルの空間寸法を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は毎秒６０フレームの固定又は可変ピクチャレート（代替的にフレームレートとも呼ばれる）を有することができる。非圧縮ビデオは、ストリーミング又はデータ処理のための特定のビットレート要件を有する。例えば１９２０×１０８０のピクセル解像度、６０フレーム／秒のフレームレート及びカラーチャネル当たりピクセルごとに８ビットで４：２：０のクロマ（chroma）サブサンプリングを有するビデオは、１．５Ｇｂｉｔ／ｓの帯域幅に近いことを必要とする。このようなビデオの１時間は、６００Ｇバイトを超える記憶領域を必要とする。

ビデオコーディング及び復号の１つの目的は、圧縮による、非圧縮入力ビデオ信号の冗長性の低減である可能性がある。圧縮は、前述の帯域幅及び／又は記憶領域の要件を、場合によっては２桁以上低減するのを助けることができる。可逆圧縮と非可逆圧縮の両方、並びにそれらの組合せを採用することができる。可逆圧縮は、復号プロセスを介して、圧縮された元の信号から元の信号の正確なコピーを再構成することができる技術を指す。非可逆圧縮は、元のビデオ情報がコーディング中に完全には保持されず、復号中に完全には回復できないコーディング／復号プロセスを指す。非可逆圧縮を使用するとき、再構成信号は、元の信号と同一ではない可能性があるが、元の信号と再構成信号との間の歪みは、いくらかの情報損失があるにもかかわらず、再構成信号を、意図されるアプリケーション（application）に有用であるようにするのに十分に小さくされる。ビデオの場合、非可逆圧縮は、多くのアプリケーションで広く使用される。許容可能な歪み量はアプリケーションに依存する。例えば特定の消費者ビデオストリーミングアプリケーションのユーザは、映画又はテレビジョン放送アプリケーションのユーザよりも高い歪みを許容し得る。特定のコーディングアルゴリズムによって達成可能な圧縮比は、様々な歪み許容度を反映するように選択又は調整されることができ：より高い許容可能な歪みは、一般に、より高い損失とより高い圧縮比をもたらすコーディングアルゴリズムを可能にする。

ビデオエンコーダ及びデコーダは、例えば動き補償、フーリエ変換、量子化及びエントロピーコーディングを含む、いくつかの広範なカテゴリ及びステップからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、ピクチャはサンプルのブロックに空間的に細分される。イントラモードでサンプルのすべてのブロックがコーディングされるとき、そのピクチャをイントラピクチャと呼ぶことができる。独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）のようなイントラピクチャ及びそれらの派生物を使用して、デコーダ状態をリセットすることができ、したがって、コーディングされたビデオビットストリーム及びビデオセッションにおける最初のピクチャとして、あるいは静止画像として使用することができる。次いで、イントラ予測後のブロックのサンプルは、周波数領域への変換の対象となり得、そのように生成される変換係数を、エントロピーコーディングの前に量子化することができる。イントラ予測は、変換前領域（pre-transform domain）におけるサンプル値を最小化する技術を表す。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数は少ない。

例えばＭＰＥＧ－２世代のコーディング技術から知られているような伝統的なイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば空間的に隣接するもののコーディング及び／又は復号の間に取得され、かつデータのブロックがイントラコーディング又は復号される復号順序において先行する、周囲のサンプルデータ及び／又はメタデータに基づいて、ブロックのコーディング／復号を試みる技術を含む。このような技術は、以下では「イントラ予測」技術と呼ばれる。少なくともいくつかの場合には、イントラ予測は、再構成中の現在のピクチャからの参照データのみを使用し、他の参照ピクチャからのものは使用しないこと留意されたい。

様々な形式のイントラ予測が存在し得る。所与のビデオコーディング技術において、そのような技術のうちの２つ以上が利用可能であるとき、使用される技術を、イントラ予測モードと呼ぶことができる。１つ以上のイントラ予測モードが、特定のコーデックに提供されてもよい。ある場合には、モードは、サブモードを有することができ、かつ／又は様々なパラメータに関連付けられることができ、ビデオのブロックについてのモード／サブモード情報及びイントラコーディングパラメータを個々にコーディングするか又はモードコードワード（mode codewords）に集合的に含めることができる。どのコードワードを、所与のモード、サブモード及び／又はパラメータの組合せに使用するかは、イントラ予測を通したコーディング効率ゲインに影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も同様に影響を与える可能性がある。

特定のイントラ予測モードは、Ｈ．２６４で導入され、Ｈ．２６５で精査され、ＪＥＭ（joint exploration model）、ＶＶＣ（versatile video coding）及びベンチマークセット（ＢＭＳ：benchmark set）のようなより新しいコーディング技術で更に精査された。一般に、イントラ予測では、利用可能になった隣接するサンプル値を使用して予測子ブロック（predictor block）を形成することができる。例えば特定の方向及び／又は線に沿った隣接サンプルの特定のセットの利用可能な値は、予測子ブロックにコピーされ得る。使用中の方向への参照は、ビットストリームでコーディングされることができ、あるいはそれ自体が予測されてよい。

図１Ａを参照すると、右下に示されているのは、Ｈ．２６５の３３の可能なイントラ予測子方向（predictor directions）（Ｈ．２６５で指定された３５のモードの３３の角度モードに対応する）で指定される、９つの予測子方向のサブセットである。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、１０１におけるサンプルを予測するために隣接するサンプルが使用される方向を示す。例えば矢印（１０２）は、サンプル（１０１）が、隣接するサンプル又は複数のサンプルから右上へ、水平方向から４５度の角度で予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、隣接するサンプル又は複数のサンプルからサンプル（１０１）の左下へ、水平方向から２２．５度の角度で予測されることを示す。

引き続き図１Ａを参照すると、左上には、４×４サンプルの正方形ブロック（１０４）が示されている（破線の太線で示されている）。正方形ブロック（１０４）は、１６個のサンプルを含み、各々「Ｓ」と、Ｙ次元におけるその位置（例えば行インデックス）と、Ｘ次元におけるその位置（例えば列インデックス）とでラベリングされている。例えばサンプルＳ２１は、Ｙ次元の（上から）２番目のサンプル及びＸ次元の（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸ次元の両方においてブロック（１０４）の４番目のサンプルである。ブロックのサイズが４×４サンプルであるので、Ｓ４４は右下にある。さらに、同様のナンバリングスキームに従う参照サンプルの例が示されている。参照サンプルは、ブロック（１０４）に対するＲ、そのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）でラベリングされる。Ｈ．２６４とＨ．２６５の両方において、再構成中のブロックに近い隣接する予測サンプルが使用される。

ブロック１０４のイントラピクチャ予測は、信号予測方向に従って隣接するサンプルから参照サンプル値をコピーすることによって開始し得る。例えばコーディングされたビデオビットストリームが、このブロック１０４に対して、矢印（１０２）の予測方向を示すシグナリングを含むと仮定する、すなわち、サンプルは、予測サンプル又は複数のサンプルから右上へ、水平方向から４５度の角度で予測される。このような場合、サンプルＳ４１、Ｓ３２、Ｓ２３、Ｓ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４は、参照サンプルＲ０８から予測される。

ある場合には、特に方向が４５度で均一に割り切れないときは、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間（interpolation）を通して組み合わされ得る。

ビデオコーディング技術の開発が続くにつれて、可能な方向の数が増えている。例えばＨ．２６４（２００３年）では、９つの異なる方向がイントラ予測に利用可能である。これは、Ｈ．２６５（２０１３年）では３３に増加し、本開示の時点で、ＪＥＭ／ＶＶＣ／ＢＭＳは、６５の方向をサポートすることができる。実験研究は、最も適切なイントラ予測方向を識別するのを助けるために実施され、エントロピーコーディングにおけるある技術は、それらの最も適切な方向を少数のビットで符号化するために使用されてよく、方向に対してあるビットペナルティを受け入れる。さらに、時には方向それ自体を、復号された隣接ブロックのイントラ予測に使用される隣接方向から予測することができる。

図１Ｂは、ＪＥＭに従う６５のイントラ予測方向を示す概略図（１８０）を示しており、経時的に開発された様々な符号化技術における予測方向の数の増加を例示する。

コーディングされたビデオビットストリームにおける予測方向へのイントラ予測方向を表すビットのマッピング方法は、ビデオコーディング技術ごとに異なってよく、例えばイントラ予測モードへの予測方向の単純な直接マッピングから、コードワード、最も可能性の高いモードを含む複雑な適応スキーム及び類似の技術に及ぶ可能性がある。しかしながら、すべての場合において、ビデオコンテンツ内において、特定の他の方向よりも統計的に起こりにくい、イントラ予測の特定の方向が存在する可能性がある。ビデオ圧縮の目標は冗長性の低減であるので、それらのより可能性の低い方向は、よく設計されたビデオコーディング技術では、より可能性が高い方向よりも多くのビット数によって表されてよい。

インターピクチャ予測又はインター予測は、動き補償に基づいてもよい。動き補償では、以前に再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータは、動きベクトル（以下、ＭＶ：motion vector）によって示される方向に空間的にシフトされた後、新たに再構成されたピクチャ又はピクチャの一部（例えばブロック）の予測に使用されてよい。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じものとすることができる。ＭＶは、２次元Ｘ及びＹ又は３次元を有してよく、３次元は、（時間次元に類似する）使用中の参照ピクチャの指示である。

いくつかのビデオ圧縮技術では、サンプルデータのある領域に適用可能な現在のＭＶを、他のＭＶから、例えば再構成中のエリアに空間的に隣接し、かつ復号順序で現在のＭＶに先行するサンプルデータの他のエリアに関連するそれらの他のＭＶから、予測することができる。そうすることは、相関するＭＶの冗長性を除去することに依存することによって、ＭＶをコーディングするために必要とされるデータの全体量を実質的に減少させることができ、それによって、圧縮効率を増加させることができる。ＭＶ予測は効果的に機能することができる。なぜなら、例えばカメラから導出された入力ビデオ信号（自然ビデオとして知られる）をコーディングする際に、単一のＭＶが適用可能なエリアよりも大きいエリアがビデオシーケンスにおいて同様の方向に移動するという統計的可能性が存在し、したがって、場合によって、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測することができるからである。その結果、所与のエリアの実際のＭＶは、周囲のＭＶから予測されたＭＶと類似又は同一になる。このようなＭＶは、エントロピーコーディングの後、ＭＶが、隣接するＭＶから予測されるのではなく、直接コーディングされる場合に使用されるよりも、より少ない数のビットで表現され得る。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出される信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えばいくつかの周囲のＭＶから予測子を計算する際の丸め誤差のために、非可逆あり得る。

様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、２０１６年１２月）において説明されている。Ｈ．２６５が指定する多くのＭＶ予測メカニズムのうち、後述されるのは「空間マージ（spatial merge）」と呼ばれる技術である。

具体的には、図２を参照すると、現在のブロック（２０１）は、エンコーダによって、動き探索プロセス中に、空間的にシフトされた同じサイズの前のブロックから予測可能であることが見出されたサンプルを含む。そのＭＶを直接コーディングする代わりに、ＭＶを、１つ以上の参照ピクチャに関連付けられるメタデータから、例えば（復号順序で）最新の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と示される５つの周囲のサンプルのいずれか１つに関連付けられるＭＶを使用して導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用するのと同じ参照ピクチャからの予測子を使用することができる。

本開示の態様は、一般に、一組の先進的なビデオコーディング／復号技術に関し、より詳細には、複数基準線イントラ予測、変換区分化及び変換カーネルの間の調和設計に関する。

いくつかの例示的な実装では、ビデオ情報を処理するための方法が開示される。方法は、ビデオフレームのデータブロックを取り出すステップであって、データブロックは、ビデオフレーム内の隣接基準線と１つ以上の非隣接基準線とを有する、ステップと；１つ以上の非隣接基準線のうちの１つの非隣接基準線が、データブロックのイントラ予測に使用されるかどうかを判断するステップとを含む。隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換するために、変換カーネルの第１セットからターゲット変換カーネルを選択するステップと、非隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換するために、変換カーネルの第２セットからターゲット変換カーネルを選択するステップとを含む。

上記実装において、変換カーネルの第１セット及び変換カーネルの第２セットは、一次変換カーネル（primary transform kernels）又は二次変換カーネル（secondary transform kernels）である。

上記実装のいずれか１つにおいて、変換カーネルの第１セットは、変換カーネルのスーパーセット（superset）を含み得、変換カーネルの第２セットは、変換カーネルのスーパーセットのサブセットを含み得る。変換カーネルの第１セット及び変換カーネルの第２セットは、一次変換カーネルであり得、変換カーネルの第２セットは、ハイブリッド変換カーネルとしてＤＣＴタイプ２とＡＤＳＴの組合せ、ハイブリッド変換カーネルとしてＤＣＴタイプ２とＡＤＳＴと反転（flipped）ＡＤＳＴの組合せ、ハイブリッド変換カーネルとしてＤＣＴタイプ２とＩＤＴの組合せ、又はハイブリッド変換カーネルとしてＤＣＴタイプ２とＡＤＳＴと反転ＡＤＳＴとＩＤＴの組合せ、のうちの１つを含み得る。

上記実装のいずれか１つにおいて、変換カーネルの第１セット及び変換カーネルの第２セットは、二次変換カーネルであり得、データブロックが２つ以上の変換区分ブロックを更に含むとき、変換カーネルの第２セットは、変換カーネルの第１セットのサブセットを構成し得る。いくつかの更なる実装において、データブロックは２つ以上の変換区分ブロック（transform partition blocks）を含み得、変換カーネルの第２セットは、ＮＵＬＬセットを含む。いくつかの他の実装において、データブロックは２つ以上の変換区分ブロックを含み得、変換カーネルの第１セット又は変換カーネルの第２セットからの変換カーネルの選択は、２つ以上の変換区分ブロックの各々について別個にシグナリングされる。

上記実装のいずか１つにおいて、変換カーネルの第１セット及び変換カーネルの第２セットは、一次変換カーネルであり得、データブロックが２つ以上の変換区分ブロックを更に含むとき、変換カーネルの第２セットは、変換カーネルの第１セットのサブセットを構成し得る。いくつかの実装において、データブロックは２つ以上の変換区分ブロックを含み得、変換カーネルの第１セット又は変換カーネルの第２セットからの変換カーネルの選択は、２つ以上の変換区分ブロックの各々について別個にシグナリングされる。いくつかの実装において、データブロックは２つ以上の変換区分ブロックを含み得、変換カーネルの第２セットからの選択は、非隣接基準線が指定されるとき、予め定義されており、ビデオフレームに関連付けられるビットストリームではシグナリングされない。

上記実装のいずれか１つにおいて、隣接基準線又は１つ以上の非隣接基準線の中の、データブロックのイントラ予測に使用される基準線に関連付けられる基準線インデックスは、変換カーネルの第１セット又は変換カーネルの第２セットから選択される二次変換カーネルを変換するための一次変換カーネルのカーネルインデックスのエントロピーコーディングのためのコンテキストを導出するために使用される。

上記実装のいずれか１つにおいて、データブロックが、２つ以上の変換区分ブロックを更に含むとき、変換カーネルの第２セットは、２つ以上の変換区分ブロックのあるサブセットのための変換カーネルの第１セットのサブセットを構成し得、変換カーネルの第２セットと変換カーネルの第１セットは、２つ以上の変換区分ブロックの残りのサブセットについて同じであり得る。いくつかの実装において、２つ以上の変換区分ブロックのサブセットは、データブロックの上部又は左側の変換区分を含み得る。

上記実装のいずれか１つにおいて、変換カーネルの第１セット又は変換カーネルの第２セットからのターゲット変換カーネルの選択は、有効にされている変換ブロックへデータブロックを区分化するために多重変換区分タイプ（multiple transform partition types）が有効にされていることに応答して実行され得、一次変換及び二次変換の両方がデータブロックについて有効にされている。

いくつかの実装では、ビデオ情報を処理するための別の方法が開示される。本方法は、ビデオフレームのデータブロックを取り出すステップであって、データブロックは、ビデオフレーム内の隣接基準線と１つ以上の非隣接基準線とを有する、ステップと；１つ以上の非隣接基準線のうちの１つの非隣接基準線が、データブロックのイントラ予測に使用されるかどうかを判断するステップと、を含む。隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換区分ブロックに区分するために、変換区分タイプの第１セットから選択するステップと、非隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換区分ブロックに区分するために、変換区分タイプの第２セットから選択するステップとを含む。

上記実装において、変換区分タイプの第２セットは、区分なしの区分タイプのみを含み得る。いくつかの実装において、変換区分タイプの第２セットは、変換区分タイプの第１セットのサブセットを構成し得、変換区分タイプの第２セットは各々、所定の閾値より小さい区分数に関連付けられる。

ビデオ情報を処理するための別の方法が開示される。本方法は、ビデオフレームのデータブロックを取り出すステップであって、データブロックは、イントラ予測のためにビデオフレーム内の１つ以上の基準線を有し、各基準線は、基準線位置インデックスに関連付けられる、ステップと；データブロックのイントラ予測のために、１つ以上の基準線の中から基準線を選択するステップと；データブロックを処理するために、一次又は二次変換カーネルのサブセットから一次又は二次変換カーネルを選択するステップであって、一次又は二次変換カーネルのサブセットは、イントラ予測のために選択された基準線の基準線位置インデックスに基づいて、一次又は二次変換カーネルの完全なセットから選択される、ステップと、を含む。

上記の実装において、一次又は二次変換カーネルのサブセットは、イントラ予測のために選択されるとき、すべての非隣接基準線に対して同一であり得る。

いくつかの実装において、ビデオデバイスが開示される。ビデオデバイスは、上記方法の各々を実装するように構成される処理回路を含み得る。

本開示の態様はまた、ビデオ復号及び／又は符号化のためにコンピュータによって実行されると、該コンピュータに、ビデオ復号及び／又は符号化のために上記の方法の実装のいずれか１つを実行させる命令を記憶する、非一時的なコンピュータ読取可能媒体も提供する。

開示される主題の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

イントラ予測方向モードの例示的サブセットの概略図である。

例示的なイントラ予測方向の図である。

一例における動きベクトル予測のための現在のブロック及びその周囲の空間的マージ候補の概略図である。

例示的実施形態による通信システム（３００）の簡略化されたブロック図の概略図である。

例示的実施形態による通信システム（４００）の簡略化されたブロック図の概略図である。

例示的実施形態によるビデオデコーダの簡略化されたブロック図の概略図である。

例示的実施形態によるビデオエンコーダの簡略化されたブロック図の概略図である。

別の例示的実施形態によるビデオエンコーダのブロック図である。

別の例示的実施形態によるビデオデコーダのブロック図である。

本開示の例示的実施形態による、コーディングブロック区分化（coding block partitioning）のスキームを示す図である。

本開示の例示的実施形態による、コーディングブロック区分化の別のスキームを示す図である。

本開示の例示的な実施形態による、コーディングブロック区分化の別のスキームを示す図である。

本開示の例示的な実施形態による、コーディングブロック区分化の別のスキームを示す図である。

本開示の例示的な実施形態による、コーディングブロックを複数の変換ブロック（multiple transform blocks）に区分化するためのスキーム及び変換ブロックのコーディング順序を示す図である。

本開示の例示的な実施形態による、コーディングブロックを複数の変換ブロックに区分化するための別のスキーム及び変換ブロックのコーディング順序を示す図である。

本開示の例示的な実施形態による、コーディングブロックを複数の変換ブロックに区分化するための別のスキームを示す図である。

本開示の例示的実施形態による、様々な基準線に基づくイントラ予測スキームを示す図である。

本開示の例示的な実施形態による、平面回転変換を示す図である。

本開示の例示的な実施形態による、様々なＤＣＴ－２、ＤＣＴ－４部分バタフライ・ルックアップテーブル（partial butterfly lookup table）を示す図である。

本開示の例示的な実施形態によるＤＳＴ－７部分バタフライ・ルックアップテーブルを示す図である。

本開示の例示的実施形態による、折れ線グラフ変換を示す図である。

本開示の例示的な実施形態による、二次変換セット選択を示す図である。

本開示の例示的実施形態による、４つの変換ブロックを有するコーディングブロックを示す図である。

本開示の例示的実施形態による方法のフローチャートを示す図である。 本開示の例示的実施形態による方法のフローチャートを示す図である。 本開示の例示的実施形態による方法のフローチャートを示す図である。

本開示の例示的実施形態によるコンピュータシステムの概略図である。

図３は、本開示の一実施形態による通信システム（３００）の簡略化されたブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信することができる複数の端末デバイスを含む。例えば通信システム（３００）は、ネットワーク（３５０）を介して相互接続される第１の対の端末デバイス（３１０）及び（３２０）を含む。図３の例では、第１の対の端末デバイス（３１０）及び（３２０）は、データの一方向伝送を実行し得る。例えば端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末デバイス（３２０）に伝送するために、（例えば端末デバイス（３１０）によってキャプチャされるビデオピクチャのストリームの）ビデオデータをコーディングし得る。コーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形態で伝送することができる。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受け取ることができ、コーディングされたビデオデータを復号して、ビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示する。一方向データ伝送は、メディア供給アプリケーション等において実装され得る。

別の例では、通信システム（３００）は、例えばビデオ会議アプリケーションの間に実装され得るコーディングされたビデオデータの双方向伝送を実行する、第２の対の端末デバイス（３３０）及び（３４０）を含む。データの双方向伝送のために、一例では、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスに伝送するために、（例えばその端末デバイスによってキャプチャされるビデオピクチャのストリームの）ビデオデータをコーディングし得る。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）の他方の端末デバイスによって伝送されたコーディングされたビデオデータを受け取ることができ、コーディングされたビデオデータを復号してビデオピクチャを復元することができ、復元されたビデオデータに従って、アクセス可能なディスプレイデバイスにビデオピクチャを表示することができる。

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして実装され得るが、本開示の基本原理の適用性は、そのように限定され得ない。本開示の実施形態は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、ウェアラブルコンピュータ、専用のビデオ会議装置及び／又は類似のものにおいて実装され得る。ネットワーク（３５０）は、例えばワイヤライン（有線）及び／又は無線通信ネットワークを含め、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間でコーディングされたビデオデータを伝達する任意の数又はタイプのネットワークを表す。通信ネットワーク（３５０）は、回線スイッチ、パケットスイッチ及び／又は他のタイプのチャネルにおいてデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において明示的に説明されない限り、本開示の動作に対して重要ではないことがある。

図４は、開示される主題の適用の例として、ビデオストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示される主題は、例えばビデオ会議、デジタルＴＶ放送、ゲーム、仮想現実、ＣＤ、ＤＶＤ、メモリスティック等を含むデジタルメディアにおける圧縮ビデオの記憶等を含む、他のビデオアプリケーションにも同様に適用可能であり得る。

ビデオストリーミングシステムは、圧縮されていないビデオピクチャ又は画像のストリーム（４０２）を作成するためのビデオソース（４０１）、例えばデジタルカメラを含むことができる、ビデオキャプチャサブシステム（４１３）を含み得る。一例では、ビデオピクチャのストリーム（４０２）は、ビデオソース（４０１）のデジタルカメラによって記録されるサンプルを含むビデオピクチャのストリーム（４０２）は、符号化ビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較したときの高データ量を強調するために太線として示されており、ビデオソース（４０１）に結合されるビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下により詳細に説明されるような、開示される主題の態様を可能にするか又は実装するために、ハードウェア、ソフトウェア又はそれらの組合せを含むことができる。符号化ビデオデータ（４０４）（又は符号化ビデオビットストリーム（４０４））は、非圧縮ビデオピクチャのストリーム（４０２）と比較したときの低データ量を強調するために細線として示されており、将来の使用のため又は下流のビデオデバイス（図示せず）に対して直接的にストリーミングサーバ（４０５）に記憶されることができる。図４のクライアントサブシステム（４０６）及び（４０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、符号化ビデオデータ（４０４）のコピー（４０７）及び（４０９）を取り出すことができる。クライアントサブシステム（４０６）は、例えば電子デバイス（４３０）内にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は符号化ビデオデータの入力コピー（４０７）を復号し、そして、圧縮されておらず、かつディスプレイ（４１２）（例えばディスプレイ画面）又は他のレンダリングデバイス（図示せず）上でレンダリングすることができる、ビデオピクチャの出力ストリーム（４１１）を作成する。ビデオデコーダ４１０は、本開示で説明される様々な機能の一部又はすべてを実行するように構成され得る。いくつかのストリーミングシステムでは、符号化ビデオデータ（４０４）、（４０７）及び（４０９）（例えばビデオビットストリーム）を、特定のビデオコーディング／圧縮規格に従って符号化することができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング規格は、（ＶＶＣ：Versatile Video Coding）として非公式に知られている。開示される主題は、ＶＶＣ及び他のビデオコーディング規格の文脈で使用され得る。

電子デバイス（４２０）及び（４３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。

図５は、以下の本開示のいずれかの実施形態による、ビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれてよい。電子デバイス（５３０）は、受信機（５３１）（例えば受信回路）を含むことができる。図４の例のビデオデコーダ（４１０）の代わりに、ビデオデコーダ（５１０）を用いることができる。

受信機（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受け取ることができる。同じ又は別の実施形態では、一度に１つのコーディングされたビデオシーケンスが復号されることがあり、この場合、各コーディングされたビデオシーケンスの復号は、他のコーディングビデオシーケンスとは独立である。各ビデオシーケンスは、複数のビデオフレーム又は画像に関連付けられ得る。コーディングされたビデオシーケンスはチャネル（５０１）から受け取られてよく、該チャネルは、符号化ビデオデータを記憶するストレージデバイス又は符号化ビデオデータを伝送するストリーミングソースへのハードウェア／ソフトウェアリンクであり得る。受信機（５３１）は、コーディングされたオーディオデータ及び／又は補助データストリームのような他のデータとともに、符号化ビデオデータを受け取ってよく、これらのデータは、それらのそれぞれの処理回路（図示せず）に転送されてよい。受信機（５３１）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタをなくすために、バッファメモリ（５１５）が、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以下、「パーサ（５２０）」）との間に配置され得る。特定の適用では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部として実装され得る。他の適用では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）（図示せず）の外側にあり、ビデオデコーダ（５１０）から分離することができる。更に他の適用では、例えばネットワークジッタをなくす目的のために、ビデオデコーダ（５１０）の外側にバッファメモリ（図示せず）が存在することができ、例えば再生タイミングを処理するために、ビデオデコーダ（５１０）の内部に別の追加のバッファメモリ（５１５）が存在してもよい。受信機（５３１）が、十分な帯域幅及び制御可能性を有するストア／転送デバイスから又は等同期（isosynchronous）ネットワークからデータを受信しているとき、バッファメモリ（５１５）は必要でないことがあり、あるいは小さいものとすることができる。インターネットのようなベストエフォート・パケットネットワークにおける使用のために、十分なサイズのバッファメモリ（５１５）が必要とされることがあり、そのサイズは比較的大きい可能性がある。このようなバッファメモリは、適応サイズで実装されてよく、少なくとも部分的に、ビデオデコーダ（５１０）の外側のオペレーティングシステム又は類似の要素（図示せず）において実装されてよい。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためにパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（５３０）の一体部分であってもなくてもよいが、図５に示されるように電子デバイス（５３０）に結合され得る、ディスプレイ（５１２）（例えばディスプレイ画面）のようなレンダリングデバイスを制御する情報を含む。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩ：Supplemental Enhancement Information）メッセージ又はビデオユーザビリティ情報（ＶＵＩ：Video Usability Information）パラメータセットフラグメント（図示せず）の形式であってよい。パーサ（５２０）は、該パーサ（５２０）によって受信される、コーディングされたビデオシーケンスを構文解析／エントロピー復号し得る。コーディングされたビデオシーケンスのエントロピーコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存（context sensitivity）を伴うか伴わない算術コーディング等を含む、様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つのサブグループについてのサブグループパラメータのセットを、サブグループに対応する少なくとも１つのパラメータに基づいて抽出することができる。サブグループは、ピクチャのグループ（ＧＯＰｓ：Groups of Pictures）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵｓ：Coding Units）、ブロック、変換ユニット（ＴＵｓ：Transform Units）、予測ユニット（ＰＵｓ：Prediction Units）等を含むことができる。パーサ（５２０）はまた、変換係数（例えばフーリエ変換係数）、量子化パラメータ値、動きベクトル等のようなコーディングされたビデオシーケンス情報から抽出してもよい。

パーサ（５２０）は、シンボル（５２１）を生成するように、バッファメモリ（５１５）から受け取ったビデオシーケンスに対してエントロピー復号／構文解析動作を実行し得る。

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分のタイプ（例えばインター及びイントラピクチャ、インター及びイントラブロック）及び他のファクタに応じて、複数の異なる処理又は機能に関与することができる。関与するユニット及びそれらがどのように関与するかは、コーディングされたビデオシーケンスからパーサ（５２０）によって構文解析されたサブグループ制御情報によって制御され得る。パーサ（５２０）と、下記の複数の処理又は機能ユニットとの間のそのようなサブグループ制御情報のフローは、簡潔性のために図示されていない。

既に述べた機能ブロックの他に、ビデオデコーダ（５１０）は、以下で説明するように、複数の機能ユニットに概念的に細分されることができる。商業的制約の下で動作する実用的な実装では、これらの機能ユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合されることができる。しかしながら、開示される主題事項の様々な機能を明確に説明する目的のために、以下の開示において、機能ユニットへの概念的な細分化が用いられる。

第１ユニットは、スケーラ／逆変換ユニット（５５１）を含み得る。スケーラ／逆変換ユニット（５５１）は、使用すべき逆変換のタイプ、ブロックサイズ、量子化係数／パラメータ、量子化スケーリング行列及びパーサ（５２０）からのシンボル（５２１）としての位置（lie）を示す情報を含む制御情報だけでなく、量子化された変換係数も受け取ることができる。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力することができるサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用しないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係する可能性がある。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（５５２）は、既に再構成されて現在のピクチャバッファ（５５８）に記憶されている周囲のブロック情報を使用して、再構成中のブロックの同じサイズ及び形状のブロックを生成し得る。現在のピクチャバッファ（５５８）は、例えば部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、いくつかの実装において、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供されるように、出力サンプル情報に追加し得る。

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされて潜在的に動き補償されるブロックに関係する可能性がある。このような場合、動き補償予測ユニット（５５３）は、インターピクチャ予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後、これらのサンプルは、アグリゲータ（５５５）によって、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力（ユニット５５１の出力は、残差サンプル又は残差信号と呼ばれ得る）に追加されることができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙ成分（シフト）と参照ピクチャ成分（時間）を有することができるシンボル（５２１）の形態で、動き補償予測ユニット（５５３）に利用可能な動きベクトルによって、制御されることができる。動き補償はまた、サブサンプルの正確な動作ベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間も含んでもよく、また、動きベクトル予測メカニズム等に関連付けられてもよい。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、かつパーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号順序で）以前の部分の復号中に取得されたメタ情報に応答することができるとともに、以前に再構成されてループフィルタリングされたサンプル値に応答することができる、ループ内フィルタ技術を含むことができる。以下で更に詳細に説明されるように、いくつかのタイプのループフィルタが、様々な順序でループフィルタユニット５５６の一部として含まれてもよい。

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）に出力されることができ、かつ将来のインターピクチャ予測に使用するために参照ピクチャメモリ（５５７）内に記憶されることができる、サンプルストリームとすることができる。

あるコーディングされたピクチャは、いったん完全に再構成されると、将来のインターピクチャ予測のための参照ピクチャとして使用されることができる。例えば現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えばパーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部となることができ、フレッシュな現在のピクチャバッファは、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされることができる。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格で採用されている所定のビデオ圧縮技術に従って復号動作を実行し得る。コーディングされたビデオシーケンスは、該コーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格の構文と、ビデオ圧縮技術又は規格で文書化されるプロファイルとの両方を守るという意味において、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠し得る。具体的には、プロファイルは、そのプロファイルの下での使用に使用可能な唯一のツールとして、ビデオ圧縮技術又は規格で使用可能なすべてのツールから特定のツールを選択することができる。規格準拠であるために、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプル（megasamples）で測定される）、最大参照ピクセルサイズ等を制限する。レベルによって設定される限界（limit）は、場合によっては、コーディングされたビデオシーケンスでシグナリングされる仮想リファレンスデコーダ（ＨＲＤ：Hypothetical Reference Decoder）のバッファ管理のためのＨＲＤ仕様及びメタデータを通して更に制限される可能性がある。

いくつかの例示的な実施形態では、受信機（５３１）は、符号化ビデオとともに追加の（冗長な）データを受け取ることがある。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてよい。追加のデータは、データを適切に復号し、かつ／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば時間的、空間的又は信号対ノイズ比（ＳＮＲ）強化層（enhancement layers）、冗長スライス、冗長ピクチャ、順方向誤り訂正コード等の形態とすることができる。

図６は、本開示の例示的実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれてよい。電子デバイス（６２０）は、送信機（６４０）（例えば送信回路）を更に含んでもよい。図４の例のビデオエンコーダ（４０３）の代わりに、ビデオエンコーダ（６０３）を使用することができる。

ビデオエンコーダ（６０３）は、ビデオサンプルを、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）から受け取ってよい。別の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部として実装されてもよい。

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えばＢＴ．６０１ ＹＣｒＣｂ、ＲＧＢ、ＸＹＺ．．．）及び任意の適切なサンプリング構造（例えばＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４．．．）とすることができるデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムにおいて、ビデオソース（６０１）は、事前に準備されたビデオを記憶することができるストレージデバイスであってもよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、シーケンスで見るときに動きを伝える複数の個々のピクチャ又は画像として提供されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、この場合、各ピクセルは、使用されているサンプリング構造、色空間等に応じて１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

いくつかの例示的な実施形態によると、ビデオエンコーダ（６０３）は、リアルタイムで又はアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディング及び圧縮して、コーディングされたビデオシーケンス（６４３）にすることができる。適切なコーディング速度を実施することは、コントローラ（６５０）の１つの機能を構成する。いくつかの実施形態において、コントローラ（６５０）は、以下で説明されるように、他の機能ユニットに機能的に結合され、制御し得る。この結合は、簡潔性のために図示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ピクチャのグループ（ＧＯＰ）のレイアウト、最大動きベクトル探索範囲等を含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化された、ビデオエンコーダ（６０３）と関係する他の適切な機能を有するように構成されることができる。

いくつかの例示的実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成されてもよい。過剰に簡略化した説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えばコーディングされるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルストリーム等のシンボルを作成することを担当する）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。埋め込みデコーダ６３３は、エントロピーコーディングなしでソースコーダ６３０によってビデオストリームを処理するが、デコーダ（６３３）は、（リモート）デコーダが作成するのと同様の方法で、シンボルを再構成してサンプルデータを作成する（エントロピーコーディングにおけるシンボルとコーディングされたビデオビットストリームとの間の任意の圧縮は、開示される主題において考慮されるビデオ圧縮技術で可逆であり得るため）。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）とは独立のビット正確な結果（bit-exact results）をもたらすので、参照ピクチャメモリ（６３４）中のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャのシンクロニシティ（synchronicity）のこの基本原理（及び例えばチャネルエラーのためにシンクロニシティを維持することができない場合の結果として生じるドリフト）を使用して、コーディング品質を改善することができる。

「ローカル」デコーダ（６３３）の動作は、ビデオデコーダ（５１０）のような「リモート」デコーダと同じものとすることができ、これは、既に図５に関連して上述されている。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、エンコーダ内のローカルデコーダ（６３３）では完全には実装されないことがある。

この時点で行われ得る観察は、デコーダ内にのみ存在し得る、解析／エントロピー復号以外の任意のデコーダ技術がまた、対応するエンコーダにおいて、実質的に同一の機能的形態で必ず存在する必要があり得るということである。この理由のため、開示される主題は時には、エンコーダの復号部分と関連するデコーダ動作に焦点を当てることがある。したがって、エンコーダ技術の説明は、網羅的に説明されるデコーダ技術の反対であるので、省略することができる。特定の領域又は態様においてのみ、エンコーダのより詳細な説明が以下に提供される。

いくつかの例示的な実装における動作中に、ソースコーダ（６３０）は、動き補償予測コーディングを実行してよく、動き補償予測コーディングは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の以前にコーディングされたピクチャに関連して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックとの間のカラーチャネルにおける差（又は残差）をコーディングする。「残差（residue）」という用語及びその形容詞である「残差の（residual）」は、交換可能に使用され得る。

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には図示せず）で復号され得るとき、再構成ビデオシーケンスは、典型的に、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャ上に対してビデオデコーダによって実行され得る復号処理を複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶させることができる。このようにして、ビデオエンコーダ（６０３）は、（伝送誤差なしに）遠端（リモート）ビデオデコーダによって取得される再構成参照ピクチャとして、共通のコンテンツを有する再構成参照ピクチャのコピーを、ローカルに記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）について予測探索を実行し得る。すなわち、コーディングされるべき新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）から、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状等のような特定のメタデータを探索してよく、これらのデータは、新しいピクチャのための適切な予測参照として機能し得る。予測器（６３５）は、適切な予測参照を見つけるために、サンプルブロックとピクセルブロックごと（sample block-by-pixel block basis）に動作し得る。場合によっては、予測器（６３５）によって取得される検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測参照を有してよい。

コントローラ（６５０）は、例えばビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してもよい。

前述の機能ユニットのすべての出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングの対象となり得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等のような技術に従ったシンボルの可逆圧縮によって、様々な機能ユニットによって生成されるシンボルを、コーディングされたビデオシーケンスに変換する。

送信機（６４０）は、エントロピーコーダ（６４５）によって作成されるコーディングされたビデオシーケンスをバッファして、通信チャネル（６６０）を介した伝送の準備を行ってよく、該通信チャネル（６６０）は、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであってよい。送信機（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、伝送されるべき他のデータ、例えばコーディングされたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）とマージし得る。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングの間、コントローラ（６５０）は、各コーディングされたピクチャに、特定のコーディングされたピクチャタイプを割り当ててよく、該ピクチャタイプは、それぞれのピクチャに適用され得るコーディングに影響を与え得る。例えばピクチャは、しばしば、次のピクチャタイプのうちの１つとして割り当てられ得る：

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内のいずれの他のピクチャも使用せずにコーディング及び復号され得るものであり得る。いくつかのビデオコーデックは、例えば独立デコーダリフレッシュ（「ＩＤＲ：Independent Decoder Refresh」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのこれらの変形例並びにそれらのそれぞれの用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大１つの動きベクトルと参照インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大２つの動きベクトルと基準インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。同様に、複数予測ピクチャ（multiple-predictive pictures）は、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、通常、空間的に複数のサンプルコーディングブロック（例えば各々４×４、８×８、４×８又は１６×１６サンプルのブロック）に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックに関連して予測的にコーディングされ得る。例えばＩピクチャのブロックは、非予測的にコーディングされてもよく、あるいはそれらは、同じピクチャの既にコーディングされたブロックに関連して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、以前にコーディングされた１つの参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。Ｂピクチャのブロックは、１つ又は２つの以前にコーディングされた参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。ソースピクチャ又は中間処理されたピクチャは、他の目的のために、他のタイプのブロックに細分化されてもよい。コーディングブロック及び他のタイプのブロックの分割は、以下に更に詳細に説明されるように、同じ方法に従うことも、従わないこともある。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ勧告Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって指定された構文に従うことができる。

いくつかの例示的な実施形態では、送信機（６４０）は、符号化されたビデオとともに追加データを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含んでよい。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等のような他の形式の冗長データを含んでもよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与の画像における空間的相関を利用し、インターピクチャ予測は、ピクチャ間の時間的又は他の相関を利用する。例えば符号化／復号中の特定のピクチャは、現在のピクチャと呼ばれ、ブロックに区分化され得る。現在のピクチャ内のブロックは、ビデオ内の以前にコーディングされて依然としてバッファされている参照ピクチャ内の参照ブロックに類似するとき、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数参照ピクチャが使用されているケースでは、参照ピクチャを識別する第３次元（third dimension）を有することができる。

いくつかの例示的な実施形態では、インターピクチャ予測のために双予測技術を使用することができる。このような双予測技術によると、第１参照ピクチャと第２参照ピクチャのように、両方とも、復号順序でビデオ内の現在の画像を進める（ただし、表示順序では、それぞれ、過去又は将来であり得る）２つの参照ピクチャが使用される。現在のピクチャ内のブロックを、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルとによってコーディングすることができる。ブロックは、第１参照ブロックと第２参照ブロックの組合せによって、共同で予測されることができる。

さらに、コーディング効率を改善するために、マージモード技術がインターピクチャ予測において使用されてよい。

本開示のいくつかの例示的な実施形態によれば、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニット（unit）において実行される。例えばビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に区分化され、ピクチャ内のＣＴＵｓは、６４×６４ピクセル、３２×３２ピクセル又は１６×１６ピクセルのように、同じサイズを有し得る。一般に、ＣＴＵは、３つの並列のコーディングツリーブロック（ＣＴＢｓ）、すなわち、１つのルマ（luma）ＣＴＢと２つのクロマＣＴＢを含み得る。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵｓ）に再帰的に四分木分裂（quadtree split）することができる。例えば６４×６４ピクセルのＣＴＵを、６４×６４ピクセルの１つのＣＵに又は３２×３２ピクセルの４つのＣＵに分裂させることができる。３２×３２ブロックの１つ以上の各々は、１６×１６ピクセルの４つのＣＵに更に分裂され得る。いくつかの例示的な実施形態において、各ＣＵは、符号化中に分析されて、インター予測タイプ又はイントラ予測タイプのような様々な予測タイプの中で、ＣＵの予測タイプを決定することができる。ＣＵは、時間的及び／又は空間的予測可能性に依存して、１つ以上の予測ユニット（ＰＵｓ）に分裂され得る。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢｓを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックのユニットにおいて実行される。ＣＵのＰＵ（又は異なるカラーチャネルのＰＢｓ）への分裂は、様々な空間パターンで実行され得る。ルマ又はクロマＰＢは、例えば８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８サンプル等のような、サンプルについての値（例えばルマ値）の行列を含んでもよい。

図７は、本開示の別の例示的実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば予測ブロック）を受け取り、処理ブロックを符号化して、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにするように構成される。例示的なビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用されてよい。

例えばビデオエンコーダ（７０３）は、８×８サンプルの予測ブロック等のような処理ブロックのサンプル値のマトリクスを受け取る。次いで、ビデオエンコーダ（７０３）は、処理ブロックが、例えばレート歪み最適化（ＲＤＯ：rate-distortion optimization）を使用して、イントラモード、インターモード又は双予測（bi-prediction）モードを使用して最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされると判断されるとき、ビデオエンコーダ（７０３）は、イントラ予測技術を使用して、処理ブロックを符号化して、コーディングされたピクチャにしてよく、処理ブロックがインターモード又は双予測モードでコーディングされると判断されるとき、ビデオエンコーダ（７０３）は、インター予測技術又は双予測技術を使用して、それぞれ、処理ブロックを符号化して、符号化ピクチャにしてよい。いくつかの例示的な実施形態では、マージモードは、予測器の外側のコーディングされた動きベクトル成分の利益を伴わずに、動きベクトルが１つ以上の動きベクトル予測器から導出される場合、インターピクチャ予測のサブモードとして使用されてもよい。いくつかの他の例示的な実施形態では、対象ブロックに適用可能な動きベクトル構成要素が存在してもよい。したがって、ビデオエンコーダ（７０３）は、処理ブロックのパーディションモード（perdition mode）を決定するために、モード決定モジュールのような、図７に明示的に示されていない構成要素を含んでもよい。

図７の例では、ビデオエンコーダ（７０３）は、図７の例示的配置で示されるように一緒に結合される、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、一般コントローラ（７２１）及びエントロピーエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在のブロック（例えば処理ブロック）のサンプルを受け取り、該ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば表示順序で前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えばインター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば予測ブロック）を計算するよう構成される。いくつかの例では、参照ピクチャは、図６の例示のエンコーダ６０３に埋め込まれた復号ユニット６３３（以下で更に詳細に説明されるように、図７の残差デコーダ７２８として示される）を使用して、符号化されたビデオ情報に基づいて復号される復号参照ピクチャである。

イントラエンコーダ（７２２）は、現在のブロック（例えば処理ブロック）のサンプルを受け取り、該ブロックを、同じピクチャ内の既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（例えば１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成するよう構成される。イントラエンコーダ（７２２）は、イントラ予測情報と同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば予測ブロック）を計算し得る。

一般コントローラ（７２１）は、一般制御データを決定し、該一般制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するよう構成され得る。一例では、一般コントローラ（７２１）は、ブロックの予測モードを決定し、該予測モードに基づいて制御信号をスイッチ（７２６）に提供する。例えば予測モードがイントラモードであるとき、一般コントローラ（７２１）は、残差計算器（７２３）が使用するためのイントラモードの結果を選択するようにスイッチ（７２６）を制御し、イントラ予測情報を選択して該イントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、ブロックの予測モードがインターモードであるとき、一般コントローラ（７２１）は、残差計算器（７２３）が使用するためのインター予測結果を選択するようにスイッチ（７２６）を制御し、インター予測情報を選択して該インター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。

残差計算器（７２３）は、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択されたブロックについて、受け取ったブロックと予測結果との差（残差データ）を計算するよう構成され得る。残差エンコーダ（７２４）は、残差データを符号化して、変換係数を生成するよう構成され得る。例えば残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換して、変換係数を生成するように構成され得る。次いで、変換係数は、量子化処理の対象となり、量子化された変換係数を取得する。様々な実施形態では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するよう構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用されることができる。例えばインターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャは、メモリ回路（図示せず）内でバッファリングされ、参照ピクチャとして使用されることができる。

エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットし、エントロピーコーディングを実行するよう構成され得る。エントロピーエンコーダ（７２５）は、ビットストリーム内に様々な情報を含めるように構成される。例えばエントロピーエンコーダ（７２５）は、一般制御データ、選択された予測情報（例えばイントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報をビットストリーム内に含めるよう構成され得る。インターモード又は双予測モードのいずれかのマージサブモードでブロックをコーディングするとき、残差情報がないことがある。

図８は、本開示の別の実施形態による、例示的なビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部である、コーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、図４の例のビデオデコーダ（４１０）の代わりにビデオデコーダ（８１０）を使用してもよい。

図８の例では、ビデオデコーダ（８１０）は、図８の例示的配置で示されるように一緒に結合される、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）及びイントラデコーダ（８７２）を含む。

エントロピーデコーダ（８７１）は、コーディングされたピクチャから、該コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するよう構成されることができる。そのようなシンボルは、例えばブロックがコーディングされるモード（例えばイントラモード、インターモード、双予測モード、マージサブモード又は別のサブモード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）によって予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えばイントラ予測情報又はインター予測情報）、例えば量子化された変換係数の形態の残差情報等を含むことができる。一例では、予測モードがインターモード又は双予測モードであるとき、インター予測情報がインターデコーダ（８８０）に提供され、予測モードがイントラ予測モードであるとき、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化の対象となり、残差デコーダ（８７３）に提供され得る。

インターデコーダ（８８０）は、インター予測情報を受け取り、該インター予測情報に基づいてインター予測結果を生成するよう構成され得る。

イントラデコーダ（８７２）は、イントラ予測情報を受け取り、該イントラ予測情報に基づいて予測結果を生成するよう構成され得る。

残差デコーダ（８７３）は、逆量子化を実行して非量子化（de-quantized）変換係数を抽出し、非量子化変換係数を処理して残差を周波数領域から空間領域に変換するよう構成され得る。残差デコーダ（８７３）はまた、エントロピーデコーダ（８７１）によって提供され得る特定の制御情報（量子化器パラメータ（ＱＰ：Quantizer Parameter）を含む）も利用してもよい（これは低データ量の制御情報のみであり得るので、データ経路は図示されない）。

再構成モジュール（８７４）は、空間領域において、残差デコーダ（８７３）による出力としての残差と、（場合によっては、インター又はイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成ビデオの一部として再構成ピクチャの一部を形成する再構成ブロックを形成するよう構成され得る。視覚品質を改善するために、デブロッキング操作等の他の適切な操作も実行されてよいことに留意されたい。

ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、任意の適切な技術を使用して実装されることができることに留意されたい。いくつかの例示的な実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を使用して実装されることができる。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。

コーディングブロック区分化に移ると、いくつかの例示の実装では、所定のパターンが適用され得る。図９に示されるように、第１所定レベル（例えば６４×６４ブロックレベル）から開始して第２所定レベル（例えば４×４レベル）まで下がる例示的な４方向区分ツリーが用いられてよい。例えばベースブロックは、９０２、９０４、９０６及び９０８によって示される４つの区分化オプション（partitioning options）の対象となり得、Ｒとして指定される区分（partitions）は、図９に示されるものと同じ区分ツリーが、最低レベル（例えば４×４レベル）までより低いスケールで繰り返され得るという点において、再帰的区分（recursive partitions）が許容される。いくつかの実装では、図９の区分化スキームに追加の制限が適用されることがある。図９の実装では、矩形区分（例えば１：２／２：１の矩形区分）は許容され得るが、これらの区分は再帰的であることは許容され得ず、一方、正方形区分は再帰的であることが許容される。図９に従う再帰を伴う分割は、必要であれば、コーディングブロックの最終セットを生成する。そのようなスキームは、１つ以上のカラーチャネルに適用され得る。

図１０は、区分化ツリーを形成するために再帰的区分化を許容する、別の例示的な予め定義された区分化パターンを示している。図１０に示されるように、例示的な１０方向の区分化構造又はパターンが予め定義され得る。ルートブロックは、予め定義されたレベル（例えば１２８×１２８レベル又は６４×６４レベル）で開始してよい。図１０の例示的な区分構造は、様々な２：１／１：２及び４：１／１：４の矩形区分を含む。図１０の２行目に１００２、１００４、１００６及び１００８として示されている３つのサブ区分の区分タイプは、「Ｔ型」区分と呼ばれ得る。「Ｔ型」区分１００２、１００４、１００６及び１００８は、左Ｔ型、上Ｔ型、右Ｔ型及び下Ｔ型と呼ばれ得る。いくつかの実装では、図１０の矩形区分のいずれも、更に細分化することは許容されない。コーディングツリーの深度は、ルートノード又はルートブロックからの分裂の深度を示すために更に定義されてもよい。例えばルートノード又はルートブロック、例えば１２８×１２８ブロックについてのコーディングツリーの深度は０に設定されてもよく、ルートブロックが図１０に従って更に一度分裂された後、コーディングツリーの深度は１だけ増加される。いくつかの実装では、１０１０内のすべて正方形区分のみが、図１０のパターンに従う区分化ツリーの次のレベルへの再帰的区分化について許容され得る。言い換えると、再帰的区分化は、パターン１００２、１００４、１００６及び１００６の正方形区分については許容され得ない。図１０に従う再帰を伴う区分化は、必要であれば、コーディングブロックの最終セットを生成する。そのようなスキームは、１つ以上のカラーチャネルに適用され得る。

ベースブロックを、上記の区分化手順又は他の手順のいずれかに従って分割又は区分化した後、再度、区分又はコーディングブロックの最終セットが取得され得る。これらの区分の各々は、様々な区分化レベルのうちの１つであり得る。区分の各々は、コーディングブロック（ＣＢ）と呼ばれ得る。上記の様々な例示的の区分化実装では、結果として得られる各ＣＢは、許容されるサイズ及び区分化レベルのいずれかであり得る。それらは、いくつかの基本的なコーディング／復号決定が行われ、かつコーディング／復号パラメータが最適化され、決定され、符号化ビデオビットストリーム内でシグナリングされ得る、ユニットを形成し得るため、コーディングブロックと呼ばれる。最後の区分内の最高レベルは、コーディングブロック区分化ツリーの深度を表す。コーディングブロックは、ルマコーディングブロック又はクロマコーディングブロックであり得る。

いくつかの他の例示的実装では、四分木構造が、ベースのルマ及びクロマブロックを再帰的にコーディングユニットへ分裂させるために使用されてもよい。このような分裂構造は、コーディングツリーユニット（ＣＴＵ）と呼ばれてよく、コーディングツリーユニット（ＣＴＵ）は、四分木構造を使用して、ベースのＣＴＵの様々な局所特的性に区分化を適応させることによって、コーディングユニット（ＣＵｓ）に分裂される。そのような実装では、暗黙の四分木分裂（implicit quadtree split）がピクチャ境界で実行されてよく、その結果、サイズがピクチャ境界に適合するまで、ブロックは四分木分裂を維持することになる。ＣＵという用語は、ルマコーディングブロック及びクロマコーディングブロック（ＣＢｓ）のユニットを総称するために使用される。

いくつかの実装では、ＣＢは更に区分化されてもよい。例えばＣＢは、コーディング及び復号プロセスの間にイントラ又はインターフレーム予測の目的のために、複数の予測ブロック（ＰＢｓ）に更に区分化されてもよい。言い換えると、ＣＢは異なるサブ区分に更に分割されてよく、そこで個々の予測決定／構成が行われてよい。並列に、ＣＢは、ビデオデータの変換又は逆変換が実行されるレベルを描写するために、複数の変換ブロック（ＴＢｓ）に更に分割されてもよい。ＣＢのＰＢｓ及びＴＢｓへの区分化スキームは、同じであっても、同じてなくてもよい。例えば区分化スキームは、例えばビデオデータの様々な特性に基づいて、それ自身の手順を用いて実行されてもよい。ＰＢ及びＴＢの区分化スキームは、いくつかの例示的な実装では独立であってよい。ＰＢ及びＴＢの区分化スキーム及び境界は、いくつかの他の例示的な実装では相関してもよい。いくつかの実装では、例えばＴＢは、ＰＢ区分の後に区分化されてもよく、特に、各ＰＢは、コーディングブロックの区分化に続いて決定された後に、１つ以上のＴＢに更に区分化されてもよい。例えばいくつかの実装では、ＰＢを１つ、２つ、４つ又は他の数のＴＢｓに分裂させてもよい。

いくつかの実装では、ベースブロックをコーディングブロックに区分化し、予測ブロック及び／又は変換ブロックに更に区分化するために、ルマチャネル及びクロマチャネルは、異なるように取り扱われ得る。例えばいくつかの実装では、コーディングブロックの予測ブロック及び／又は変換ブロックへの区分化は、ルマチャネルについては許容され得るが、コーディングブロックの予測ブロック及び／又は変換ブロックへのそのような区分化は、クロマチャネルについては許容され得ない。そのような実装では、ルマブロックの変換及び／又は予測は、コーディングブロックレベルでのみ行われ得る。別の例では、ルマチャネルとクロマチャネルの最小変換ブロックサイズが異なってもよく、例えばルマチャネルのコーディングブロックは、クロマチャネルよりも小さな変換ブロック及び／又は予測ブロックに区分化されることが許容され得る。更に別の例では、変換ブロック及び／又は予測ブロックへのコーディングブロックの区分化の最大深度は、ルマチャネルとクロマチャネルとの間で異なってよく、例えばルマチャネルのコーディングブロックは、クロマチャネルよりも深い変換ブロック及び／又は予測ブロックに区分化されることが許容され得る。具体的な例では、ルマコーディングブロックは、最大２レベルまで下がる再帰的区分によって表すことができる複数のサイズの変換ブロックに区分化されてよく、正方形、２：１／１：２及び４：１／１：４のような変換ブロックの形状と、４×４から６４×６４までの変換ブロックサイズが許容され得る。しかしながら、クロマブロックでは、ルマブロックについて指定された最も大きい可能な変換ブロックのみが許可され得る。

コーディングブロックをＰＢに区分化するためのいくつかの例示的実装では、ＰＢ区分化の深度、形状及び／又は他の特性は、ＰＢがイントラコーディングされるか又はインターコーディングされるかに依存し得る。

コーディングブロック（又は予測ブロック）の変換ブロックへの区分化は、これらに限定されないが、再帰的又は非再帰的に、コーディングブロック又は予測ブロックの境界での変換ブロックの追加的考慮により、四分木分裂及び予め定義されたパターン分裂を含む様々な例示的スキームで実装されてよい。一般に、結果として得られる変換ブロックは、異なる分裂レベルであってよく、同じサイズでなくてよく、また、形状が正方形である必要はなくてもよい（例えば何らかの許容されるサイズ及びアスペクト比を有する矩形とすることができる）。

いくつかの実装では、コーディング区分ツリースキーム又は構造が使用され得る。ルマチャネル及びクロマチャネルに使用されるコーディング区分ツリースキームは、同じである必要はなくてよい。言い換えると、ルマチャネルとクロマチャネルは別個のコーディングツリー構造を有してよい。さらに、ルマチャネル及びクロマチャネルが、同じコーディング区分ツリー構造を使用するか又は異なるコーディング区分ツリー構造を使用するかどうか、及び使用される実際のコーディング区分ツリー構造は、コーディングされているスライスがＰ、Ｂ又はＩスライスであるかどうかに依存し得る。例えばＩスライスでは、クロマチャネルとルマチャネルは、別個のコーディング区分ツリー構造又はコーディング区分ツリー構造モードを有してよく、一方、Ｐ又はＢスライスでは、ルマチャネルとクロマチャネルは、同じコーディング区分ツリースキームを共有してよい。別個のコーディング区分ツリー構造又はモードが適用されるとき、ルマチャネルは、ある１つのコーディング区分ツリー構造によってＣＢｓに区分化され得、クロマチャネルは、別のコーディング区分ツリー構造によってクロミナンスＣＢｓに区分化され得る。

コーディングブロックと変換ブロック区分化の具体的な例示的実装を以下で説明する。このような例示的実装では、ベースコーディングブロックは、上述した再帰的四分木分裂を使用してコーディングブロックに分裂されてよい。各レベルにおいて、特定の区分の更なる四分木分裂を継続すべきかどうかが、ローカルビデオデータ特性によって決定され得る。結果として得られるＣＢは、様々なサイズの様々な四分木分裂レベルであり得る。インターピクチャ（時間）又はイントラピクチャ（空間）予測を使用してピクチャエリアをコーディングするかどうかの決定は、ＣＢレベル（又はすべての３つのカラーチャネルに対して、ＣＵレベル）で行われてよい。各ＣＢは、ＰＢ分裂タイプに応じて、１つ、２つ、４つ又は他の数のＰＢｓに更に分裂されてよい。ある１つのＰＢの内部では、同じ予測プロセスが適用され、関連情報が、ＰＢベースでデコーダに伝送される。ＰＢ分裂のタイプに基づいて予測プロセスを適用することによって残差ブロックを取得した後、ＣＢを、該ＣＢのコーディングツリーと同様の別の四分木構造に従ってＴＢｓに区分化することができる。この特定の実装では、ＣＢ又はＴＢは正方形の形状であるが、必ずしも限定される必要はない。さらに、この特定の例では、ＰＢは、インター予測のために正方形又は矩形の形状であってよく、イントラ予測のためには正方形のみであり得る。コーディングブロックは、例えば４つの正方形の形状のＴＢに更に分裂され得る。各ＴＢは、再帰的に（四分木分裂を用いて）、残差四分木（ＲＱＴ：Residual Quad-Tree）と呼ばれるより小さなＴＢに更に分裂され得る。

ベースコーディングブロックをＣＢと他のＰＢ及び／又はＴＢに区分化するための別の具体例を以下に記載する。例えば図１０に示されるような複数の区分ユニットタイプを使用するのではなく、２進及び３進分裂セグメンテーション構造を使用する、ネストされた複数タイプのツリーを有する４分木を使用することができる。ＣＢ、ＰＢ及びＴＢの概念の分離（すなわち、ＣＢのＰＢｓ及び／又はＴＢｓへの区分化並びにＰＢｓのＴＢｓへの区分化）は、最大変換長に対して大きすぎるサイズのＣＢｓが必要とされるときを除いて、放棄される可能性があり、そのようなＣＢｓは、更なる分裂が必要であり得る。この例示的な部分化スキームは、予測と変換の両方を、更なる区分化なしにＣＢレベルで実行することができるように、ＣＢ区分化形状について更なる柔軟性をサポートするよう設計され得る。そのようなコーディングツリー構造では、ＣＢは、正方形又は長方形のいずれかの形状を有してよい。具体的には、コーディングツリーブロック（ＣＴＢ）は、まず、四分木構造によって区分化され得る。次いで、四分木リーフノードは、マルチタイプツリー構造によって更に区分化され得る。マルチタイプツリー構造の例が図１１に示されている。具体的には、図１１の例示的なマルチタイプツリー構造は、垂直二分法（binary splitting）（ＳＰＬＩＴ_ＢＴ_ＶＥＲ）（１１０２）、水平二分法（ＳＰＬＩＴ_ＢＴ_ＨＯＲ）（１１０４）、垂直三分法（ternary splitting）（ＳＰＬＩＴ_ＴＴ_ＶＥＲ）（１１０６）及び水平三分法（ＳＰＬＩＴ_ＴＴ_ＨＯＲ）（１１０８）と呼ばれる４つの分裂タイプを含む。そして、ＣＢｓはマルチタイプツリーのリーフに対応する。この例示的実装では、ＣＢが最大変換長に対して大きすぎない限り、このセグメンテーションは、いずれの更なる分割もなしに、予測処理と変換処理の両方に使用される。これは、ほとんどの場合、ＣＢ、ＰＢ及びＴＢは、ネストされたマルチタイプツリーコーディングブロック構造を有する四分木において、同じブロックサイズを有することを意味する。例外は、サポートされる変換長の最大値が、ＣＢの色成分の幅又は高さよりも小さいときに発生する。

１つのＣＴＢに対するブロック区分のネストされたマルチタイプツリーコーディングブロック構造を有する四分木の一例を図１２に示す。より詳細には、図１２は、ＣＴＢ１２００が、４つの正方形区分１２０２、１２０４、１２０６及び１２０８に分裂された四分木であることを示す。分裂のために図１１のマルチタイプツリー構造を更に使用するという決定が、四分木分裂区分の各々について行われる。図１２の例では、区分１２０４は、更には分裂されない。区分１２０２及び１２０８は各々、別の四分木分裂を採用する。区分１２０２では、第２レベルの四分木分裂の左上区分、右上区分、左下区分及び右下区分は、それぞれ、第３レベルの四分木分裂、図１１の１１０４、非分裂及び図１１の１１０８を採用する。区分１２０８は、別の四分木分裂を採用しており、第２レベルの四分木分裂の左上区分、右上区分、左下区分及び右下区分は、それぞれ、図１１の１１０６の第３レベル分裂、非分裂、非分裂及び図１１の１１０４を採用する。１２０８の第３レベルの左上区分のサブ区分のうちの２つは、１１０４及び１１０８に従って更に分割される。区分１２０６は、図１１の１１０２による第２レベルの分裂パターンを採用して２つの区分にし、該２つの区分は、図１１の１１０８及び１１０２に従って第３レベルに更に分裂される。図１１の１１０４に従って、それらのうちの１つに第４レベル分裂が適用される。

上記の具体的な例では、最大ルマ変換サイズは６４×６４であってよく、サポートされる最大クロマ変換サイズはルマとは異なる可能性があり、例えば３２×３２であり得る。ルマコーディングブロック又はクロマコーディングブロックの幅又は高さが最大変換幅又は高さよりも大きいとき、ルマコーディングブロック又はクロマコーディングブロックは、その方向の変換サイズの制限を満たすように、水平方向及び／又は垂直方向に自動的に分裂され得る。

ベースコーディングブロックをＣＢｓに区分化する上記の具体的な例において、コーディングツリースキームは、ルマとクロマが別個のブロックツリー構造を有する能力をサポートすることができる。例えばＰ及びＢスライスでは、１つのＣＴＵ内のルマ及びクロマＣＴＢｓは、同一のコーディングツリー構造を共有し得る。例えばＩスライスでは、ルマとクロマは、別々のコーディングブロックツリー構造を有し得る。別個のブロックツリーモードが適用されるとき、ルマＣＴＢは、ある１つのコーディングツリー構造によってルマＣＢｓに区分化され得、クロマＣＴＢｓは別のコーディングツリー構造によってクロマＣＢｓに区分化される。これは、ＩスライスのＣＵが、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され得、Ｐ又はＢスライスのＣＵは、ビデオがモノクロでない限り、常に３つのカラー成分すべてのコーディングブロックで構成されることを意味する。

コーディングブロック又は予測ブロックを変換ブロックに区分化するための例示的な実装及び変換ブロックのコーディング順序が、以下で更に詳細に説明される。いくつかの例示的な実装では、変換区分化は、複数の形状の変換ブロック、例えば１：１（正方形）、１：２／２：１及び１：４／４：１をサポートすることができ、変換ブロックサイズは、例えば４×４から６４×６４に及ぶ。いくつかの実装形態では、コーディングブロックが６４×６４以下の場合、変換ブロック区分化はルマ成分にのみ適用し得るので、クロマブロックについては、変換ブロックのサイズはコーディングブロックのサイズと同一である。そうではなく、コーディングブロックの幅又は高さが６４より大きい場合、ルマ及びクロマコーディングブロックは、それぞれ、暗黙的に、最小（Ｗ、６４）×最小（Ｈ、６４）及び最小（Ｗ、３２）×最小（Ｈ、３２）変換ブロックの倍数に分裂され得る。

いくつかの例示的な実装では、イントラコーディングされるブロックとインターコーディングされるブロックの両方について、コーディングブロックは、所定の数のレベル（例えば２レベル）までの区分化深度を有する複数の変換ブロックに更に区分化されてもよい。変換ブロック区分化の深度及びサイズは、関連する可能性がある。現在の深度の変換サイズから次の深度の変換サイズへの例示的マッピングが以下の表１に示される。

表１の例示的なマッピングに基づいて、１：１の正方形ブロックに対して、次のレベルの変換分裂は、４つの１：１の正方形サブ変換ブロックを作成し得る。変換区分は、例えば４×４で停止し得る。したがって、４×４の現在の深度の変換サイズは、次の深度の４×４と同じサイズに対応する。表１の例では、１：２／２：１の非正方形ブロックについては、次のレベルの変換分裂は、２つの１：１の正方形サブ変換ブロックを作成することになり、一方、１：４／４：１の非正方形ブロックについては、次のレベルの変換分裂は、２つの１：２／２：１のサブ変換ブロックを作成することになる。

いくつかの例示的な実装では、イントラコーディングされるブロックのルマ成分に対して、追加の制限が適用されることがある。例えば変換区分化の各レベルについて、すべてのサブ変換ブロックは、等しいサイズを有するように制限されることがある。例えば３２×１６のコーディングブロックでは、レベル１の変換分裂が２つの１６×１６のサブ変換ブロックを作成し、レベル２の変換分裂が８つの８×８のサブ変換ブロックを作成する。言い換えると、第２レベルの分裂は、変換ユニットを等しいサイズに維持するために、すべての第１レベルサブブロックに適用されなければならない。表１に従った、イントラコーディングされる正方形ブロックの変換ブロック区分化の例は、図１３に、矢印で示されるコーディング順序とともに示されている。具体的には、１３０２は、正方形コーディングブロックを示す。表１に従った４つの等しいサイズの変換ブロックへの第１レベルの分裂は、１３０４において、矢印で示されるコーディング順序とともに示されている。表１に従った、すべての第１レベルの等しいサイズのブロックの、１６個の等しいサイズの変換ブロックへの第２レベルの分裂は、１３０６において、矢印で示されるコーディング順序とともに示されている。

いくつかの例示的な実装では、インターコーディングされるブロックのルマ成分に対して、イントラコーディングについての上記の制限が適用されないことがある。例えば第１レベルの変換分裂の後、サブ変換ブロックのいずれか１つが、もう１つのレベルと独立に更に分裂されることがある。したがって、結果として得られる変換ブロックは、同じサイズであっても、同じサイズでなくてもよい。インターコーディングされるブロックの変換ブロックへの例示的分裂が、それらのコーディング順序ともに図１４に示される。図１４の例では、インターコーディングされるブロック１４０２は、表１に従って２つのレベルで変換ブロックに分裂される。第１レベルでは、インターコーディングされるブロックは等しいサイズの４つの変換ブロックに分割される。次いで、１４０４で示されるように、４つの変換ブロックのうちの１つ（それらのすべてではない）だけが更に４つのサブ変換ブロックに分裂され、その結果、２つの異なるサイズを有する合計７つの変換ブロックが得られる。これらの７つの変換ブロックの例示的なコーディング順序は、図１４の１４０４の矢印によって示される。

いくつかの例示的な実装では、クロマ成分に対して、変換ブロックに対するいくつかの追加の制限が適用され得る。例えばクロマ成分については、変換ブロックサイズは、コーディングブロックサイズと同じ大きさとすることができるが、所定のサイズ、例えば８×８より小さくはない。

いくつかの他の例示的な実装では、幅（Ｗ）又は高さ（Ｈ）のいずれかが６４より大きいコーディングブロックに対して、ルマ及びクロマコーディングブロックの両方が、暗黙的に、それぞれ、最小（Ｗ、６４）×最小（Ｈ、６４）及び最小（Ｗ、３２）×最小（Ｈ、３２）変換ユニットの倍数に分裂され得る。

図１５は更に、コーディングブロック又は予測ブロックを変換ブロックに区分化するための別の代替的な例示のスキームを示す。図１５に示されるように、再帰的変換区分化を使用する代わりに、コーディングブロックの変換タイプに従って、区分化タイプの所定のセットがコーディングブロックに適用され得る。図１５に示される特定の例では、６つの例示的な区分化タイプのうちの１つが、コーディングブロックを様々な数の変換ブロックに分裂させるために適用され得る。このようなスキームは、コーディングブロック又は予測ブロックのいずれかに適用され得る。

より詳細には、図１５の区分化スキームは、図１５に示すように、任意の所与の変換タイプに対して最大６個の区分タイプを提供する。このスキームでは、すべてのコーディングブロック又は予測ブロックは、例えばレート歪みコストに基づいて変換タイプを割り当てられ得る。一例では、コーディングブロック又は予測ブロックに割り当てられる区分タイプは、コーディングブロック又は予測ブロックの変換区分タイプに基づいて決定されてもよい。特定の区分タイプは、図１５に例示される４つの区分タイプによって示されるように、変換ブロック分裂のサイズ及びパターン（又は区分タイプ）に対応し得る。様々な変換タイプと様々な区分タイプとの間の対応関係は、予め定義されてもよい。例示的な対応が、以下に、レート歪みコストに基づいてコーディングブロック又は予測ブロックに割り当てられ得る変換タイプを示す大文字のラベルとともに示される：

・PARTITION_NONE：ブロックサイズに等しい変換サイズを割り当てる。

・PARTITION_SPLIT：ブロックサイズの幅の１／２及びブロックサイズの高さの１／２の変換サイズを割り当てる。

・PARTITION_HORZ：ブロックサイズと同じ幅及びブロックサイズの１／２の高さの変換サイズを割り当てる。

・PARTITION_VERT：ブロックサイズの幅の１／２、ブロックサイズと同じ高さの変換サイズを割り当てる。

・PARTITION_HORZ4：ブロックサイズと同じ幅、ブロックサイズの１／４の高さの変換サイズを割り当てる。

・PARTITION_VERT4：ブロックサイズの幅の１／４、ブロックサイズと同じ高さの変換サイズを割り当てる。

上の例では、図１５に示されるような区分タイプはすべて、区分化された変換ブロックについて均一な変換サイズを含む。これは、限定ではなく、単なる例である。いくつかの他の実装では、混合された変換ブロックサイズが、特定の区分タイプ（又はパターン）において区分化された変換ブロックに使用されてもよい。

イントラ予測に戻ると、いくつかの例示的な実装は、コーディングブロック又は予測ブロックにおけるサンプルの予測は、基準線のうちの１つ又はセットに基づいてよい。言い換えると、常に最も近い隣接線（例えば図１に示されるように、予測ブロックのすぐ上の隣接線又はすぐ左の隣接線）を使用するのではなく、複数基準線（multiple reference lines）が、イントラ予測の選択のためのオプションとして提供され得る。このようなイントラ予測実装は、複数基準線選択（ＭＲＬＳ：Multiple Reference Line Selection）と呼ばれることがある。これらの実装では、エンコーダは、複数の基準線のうちのどの基準線がイントラ予測器を生成するために使用されるかを決定してシグナリングする。デコーダ側では、基準線インデックスを解析した後、イントラ予測モード（指向性、無指向性及び他のイントラ予測モード）に従って、指定された基準線をルックアップすることにより、再構成された基準線サンプルを識別することによって、現在のイントラ予測ブロックのイントラ予測を生成することができる。いくつかの実装では、基準線インデックスは、コーディングブロックレベルでシグナリングされてよく、多重基準線のうちの１つのみが、１つのコーディングブロックのイントラ予測のために選択されて使用され得る。いくつかの例では、２つ以上の基準線が、イントラ予測のために一緒に選択されてよい。例えば２つ以上の基準線が、重みの有無を問わず、組み合わされ、平均化され、補間され、あるいは任意の他の方法で予測を生成し得る。いくつかの例示的な実装では、ＭＲＬＳはルマ成分のみに適用され、クロマ成分には適用されないことがある。

図１６では、４つの基準線ＭＲＬＳの例が示されている。図１６の例に示すように、イントラコーディングブロック１６０２は、４つの水平基準線１６０４、１６０６、１６０８及び１６１０と、４つの垂直基準線１６１２、１６１４、１６１６及び１６１８のうちの１つに基づいて予測され得る。これらの基準線のうち、１６１０及び１６１８は、直接隣接基準線である。基準線は、コーディングブロックからのそれらの距離に従って、インデックス付けされ得る。例えば基準線１６１０及び１６１８は、ゼロ基準線と呼ばれてよく、一方、他の基準線は、非ゼロ基準線と呼ばれてよい。具体的には、基準線１６０８及び１６１６は第１基準線として参照されてよく、基準線１６０６及び１６１４は第２基準線として参照されてよく、基準線１６０４及び１６１２は第３基準線として参照されてよい。

一次変換に戻ると、例示的な２－Ｄ変換プロセスは、ハイブリッド変換カーネル（例えばコーディングされた残差ブロックの各次元に対して異なる１－Ｄ変換から構成され得る）の使用を伴ってよい。例示的な一次１－Ｄ変換カーネルは、これらに限定されないが、ａ）４ポイント（４ｐ）、８ポイント（８ｐ）、１６ポイント（１６ｐ）、３２ポイント（３２ｐ）＆６４点（６４ｐ）のＤＣＴ－２；ｂ）４ポイント、８ポイント、１６ポイント非対称ＤＳＴの及びそれらの反転バージョン（flipped version）；ｃ）４ポイント、８ポイント、１６ポイント又は３２ポイントの恒等変換（identity transform）を含み得る。したがって、２－Ｄ変換プロセスは、ハイブリッド変換（コーディングされた残差ブロックの各次元に対して異なる変換）の使用を伴ってよく、ここで、各次元に対して使用される変換の選択は、レート歪み（ＲＤ）基準に基づいてよい。例えば２－Ｄ変換のハイブリッドとして実装され得る１Ｄ ＤＣＴ－２、ＤＳＴ－４及びＤＳＴ－７のための基底関数は、表２に列挙される。

例えばＤＣＴ－２（４ｐ－６４ｐ）、ＤＳＴ－４（８ｐ、１６ｐ）及びＤＳＴ－７（４ｐ）変換は、対称／反対称特性を示し、したがって、「部分バタフライ（partial butterfly）」実装は、いくつかの例示的な実装において、複数の演算カウント（乗算、加算／減算、シフト（shifts））を低減するためにサポートされ得る。部分バタフライ実装は、図１７に記載されているように、様々な角度での三角関数コサイン及びサイン関数を使用する平面回転を含み得る。例示的な１２ビットのルックアップテーブルが、図１８及び図１９に示されており、三角関数の値を生成するために利用される。

いくつかの例示的な実装では、線グラフ変換（ＬＧＴ：line graph transforms）が、上記の１－Ｄ ＤＳＴの代わりに使用されてもよい。本質的に及び図２０に示されるように、グラフは、頂点とエッジのセットからなる一般的な数学的構造であり、これは、関心のあるオブジェクト間の親和性関係（affinity relations）をモデル化するために使用され得る。実際には、重み付けされたグラフ（重みのセットが、エッジに及び潜在的に頂点に割り当てられる）は、信号／データのロバストなモデリングのための疎な表現（sparse representations）を提供する。ＬＧＴは、多様なブロック統計に対するより良好な適応を提供することによって、コーディング効率を改善することができる。分離可能なＬＧＴは、トレーニングデータから折れ線グラフ（図２０の例に示されるように、自己ループ重みｖｃ１、ｖｃ２とエッジ重みｗｃによって特徴付けられる）を学習することによって設計及び最適化されて、ブロック残差信号の基礎となる行及び列ごとの統計をモデル化してよく、この場合、関連する一般化グラフ・ラプラシアン（ＧＧＬ：generalized graph Laplacian）行列が、ＬＧＴを導出するために使用される。

重み付けされたグラフＧ（Ｗ，Ｖ）を所与とすると、ＧＧＬ行列は以下のように定義される：
Ｌ_ｃ＝Ｄ－Ｗ＋Ｖ （１）
ここで、Ｗは、負でないエッジ重みｗ_ｃからなる隣接行列であり、Ｄは対角次数行列（diagonal degree matrix）であり、Ｖは、重み付けされた自己ループｖ_ｃ１、ｖ_ｃ２を示す対角行列である。行列Ｌ_ｃを次のように表すことができる：

ＬＧＴを、ＧＧＬ Ｌｃの固有分解によって導出することができる。
Ｌ^ｃ = ＵΦＵ^Ｔ （３）
ここで、直交行列Ｕの列はＬＧＴの基本ベクトルであり、Φは対角固有値行列（diagonal eigenvalue matrix）である。実際、ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７を含むＤＣＴ及びＤＳＴは、特定の形態のＧＧＬから導出されるＬＧＴである：
ＤＣＴ－２はｖ_ｃ１＝０を設定することによって導出される。 （４）
ＤＳＴ－７はｖ_ｃ１＝ｗ_ｃを設定することによって導出される。 （５）
ＤＣＴ－８はｖ_ｃ２＝ｗ_ｃを設定することによって導出される。 （６）
ＤＳＴ－４はｖ_ｃ１＝２ｗ_ｃを設定することによって導出される。 （７）
ＤＣＴ－４はｖ_ｃ２＝２ｗ_ｃを設定することによって導出される。 （８）

いくつかの例示的な実装では、ＬＧＴを行列乗算として実装することができる。４ｐ ＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝２ｗ_ｃを設定することによって導出され得、これは、それがＤＳＴ－４であることを意味する。８ｐ ＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝１．５ｗ_ｃを設定することによって導出され得、１６ｐ及び３２ｐ ＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝ｗ_ｃを設定することによって導出され得、これは、それがＤＳＴ－７であることを意味する。

いくつかの実装では、一次変換係数に対する二次変換が行われてもよい。二次変換は、（エンコーダにおける）順一次変換（forward primary transform）と量子化との間及び（デコーダ側における）非量子化と逆一次変換（inverse primary transform）との間に適用されてもよい。いくつかの特定の例示的な実装では、二次変換の所定のセット（例えば１２セット）は、各セット内に所定の数（例えば３）のカーネルを有する。

いくつかの例示的な実装では、二次変換カーネルセットは、特定のイントラ予測モードに対応し得る。一例として、図２１は、イントラ予測モードに基づく二次変換カーネルセット選択のために使用されるインデックスを記載する。図２１において、第１の行は、二次変換が許容され、したがって、いくつかの利用可能な変換カーネルに対応する、イントラ予測モードを示し、第２の行は、対応する二次変換セットのセットインデックスを示す。エンコーダでは、各イントラ予測モードに対して、ＲＤＯ（レート歪み最適化（Rate Distortion Optimization））に基づいて、セットからの複数の（例えば３つの）変換カーネルからの最良のカーネルを選択することができ、その選択をシグナリングすることができる（例えばＩＳＴ（イントラ二次変換（intra secondary transform））を含まない４つのシンボル）。デコーダでは、ビットストリームは、イントラ予測モードに基づく復号のための逆変換に使用されるカーネルと、イントラ予測モードに対応するカーネルセット内のシグナリングされたインデックスとを取得するために解析され得る。

いくつかの例示的な実装では、ＤＣＴタイプ２（ＤＣＴ－２）及びＡＤＳＴが、イントラコーディングのための最も頻繁に選択される一次変換タイプであるという観察の結果として、より高いコーディング効率を達成するために、イントラ二次変換（ＩＳＴ）は、ＤＣＴ－２又はＡＤＳＴのいずれかが水平及び垂直一次変換として使用されるときに選択的に有効にされてよく、他の一次変換の使用下では有効にされなくてもよい。

いくつかの例示的な実装では、ＩＳＴはルマイントラブロックに対してのみ有効にされてよく、クロマイントラブロックに対しては無効にされてよい。一実施形態では、ブロックサイズに基づいて、４×４の分離不可能な変換又は８×８の分離不可能な変換のいずれかが選択され得る。一例では、最小（tx_width，tx_height）＜８の場合、４×４ ＩＳＴの分離不可能なものが選択されてよい。Tx_widthとtx_heightの両方が８以上の大きなブロックについては、８×８の分離不可能なＩＳＴが使用されてよい。ここで、tx_widthとtx_heightは、それぞれ変換ブロックの幅と高さに対応する。

いくつかの例示的な実装では、ＩＳＴへの入力は、ジグザグスキャン順（zig-zag scan order）の低周波一次変換係数の線形化ベクトルであり得る。これは、二次変換において隣接する低周波数係数のより効率的な非相関（decorrelation）を達成するのに役立つ。

いくつかの例示的な実装では、上述のように、イントラコーディングされるブロックとインターコーディングされるブロックの両方を、所定の数のレベル（例えば２レベル）までの区分化深度を有する多重変換ブロックに更に区分化してよく、それによって、上述のように、変換区分化ツリー構造を形成する。いくつかの特定の実装では、ＩＳＴの適用は、変換区分化ツリー構造のルート（深度０）に限定されてもよく、あるいは最大適用変換ユニット区分化レベルより低いレベルに限定されてもよい。この限定を適用することによって、圧縮効率における最小の影響（例えば～０．２５％の損失）を伴う全体的な符号化時間の複雑さの減少（例えば～５０％）が達成され得る。

いくつかの例示的な実装では、正方形変換ブロックサイズを利用して、カーネルインデックスをエントロピーコーディングするために使用されるコンテキスト情報、したがってコンテキストを導出することができる。矩形変換ブロックでは、次の最小の正方形サイズを利用して、コンテキスト情報を導出することができる。

上述したように、コーディングパラメータの決定及びイントラ予測されるブロックの残差のイントラ予測と変換のための構成は、複雑で、リソースが多く、時間がかかるプロセスである。ＭＲＬＳ、複数変換区分タイプ、複数変換タイプ及び複数イントラ二次変換（異なるセットであり各々が多重二次変換カーネルを含む）が、コーディング効率及び品質を改善するために、イントラコーディングされるブロック内ですべて有効にされ得るとき、エンコーダは、各予測ブロック又はコーディングブロックに対する最良のコーディング構成、変換カーネル及び他のパラメータを見つけるために、大きなパラメータ空間及び上記のファクタのすべての可能な組合せを検索する必要があり、これは、計算の複雑さ、メモリ要求及び符号化時間を著しく増加させる。さらに、大きなパラメータ空間はまた、重大な信号オーバーヘッドをもたらす可能性がある。

以下の様々な例示的な実装では、コーディング効率及びコーディング品質劣化を最小限に維持しつつ、そのようなパラメータ空間及び可能な組合せを、条件付きで低減することができる。したがって、（様々なコーディングブロックにわたって）平均して、エンコーダは、より小さなパラメータ空間及び上記の様々なファクタのより少ない数の様々な潜在的な組合せを探索して、入力コーディングブロック又は予測ブロックのためのほぼ最適なコーディングスキームを識別する。特に、パラメータ空間の縮小（shrinkage）は、特定のコーディングブロック又は予測ブロックに対するイントラ予測のためにゼロ基準線が使用されるか又は非ゼロ基準線が使用されるかどうかに基づいて調整され得る。最適化探索空間は、非ゼロ基準線が使用されるとき、著しく減少され得る。最適化されるべきコーディング構成及びパラメータは、これらに限定されないが、最適な一次及び／又は二次変換カーネルの選択を含み得る。パラメータ空間の減少はまた、シグナリングされる必要がある情報量の対応する減少も導くことができ、それによって、コーディングされるビットストリームにおけるシグナリングオーバヘッドを減少させる。

これらの例示的な実装は、別個に、あるいは任意の順序で又は任意の方法で組み合わせて使用され得る。上記及び下記の説明において、「コーディングされるブロック」、「コーディングブロック」等の用語は、予測又は変換が実行されるピクチャユニットを指すために使用され得る。コーディングブロックは、ルマコーディングブロックであってもよく、あるいはクロマコーディングブロックであってもよい。いくつかの状況では、コーディングされるブロック／コーディングブロックは、予測ブロックを指してもよい。「ブロックサイズ」という用語は、コーディングブロックの幅又は高さ、あるいは幅及び高さの最大値、あるいは幅及び高さの最小、あるいはエリアサイズ（幅＊高さ）、あるいはアスペクト比（幅：高さ又は高さ：幅）のいずれかを指すために使用される。以下の開示において、イントラ予測の目的のために隣接（又は最も近い又はゼロ）基準線は、０に等しいインデックスを有する基準線を指し、非隣接又は非ゼロ基準線は、０より大きいインデックスを有する基準線を指す。

以下の開示において、変換ブロックサイズのシグナリングはまた、この用語が使用されるとき、変換ブロック分裂構造、スキーム、パターン等のシグナリングも指してよい。本開示において、一次変換のためのハイブリッド変換カーネルの拡張セットは、変換セットＡと呼ばれ得る。セットＡは、例えば１－Ｄ ＤＣＴタイプ１～８、ＤＳＴタイプ１～８（ＡＤＳＴ）、ＩＤＴ（任意の方向のアイデンティティ）、ＬＧＴ、ＫＬＴ等のすべての組合せの集合を網羅的に含み得る。これらの１－Ｄ変換は、ハイブリッド変換として２－Ｄ変換の２方向に沿って任意の組合せで適用され得る。

一般的な例示的な実装では、非ゼロ基準線がイントラコーディングされるブロックに適用されるとき、一次変換カーネル及び／又は二次変換カーネルの完全なセットではなく、縮小セットが使用されてもよい。したがって、エンコーダが、特定のコーディングブロック又はコーディングブロックの一部に使用する一次又は二次変換カーネルを決定する必要があるとき、最適化プロセス（例えばレート歪み最適化プロセス）の間に、探索する必要があるのは、完全なセットではなく、縮小セットだけでよい。特定のコーディングブロックに対してゼロ基準線を使用すべきか又は非ゼロ基準線を使用すべきかの決定は、任意の方法で行われてよい。例えば現在のコーディングブロック及びその隣接ブロックの特性に基づいて、エンコーダによって別個に行われてよい。

いくつかの例示的な実装では、非ゼロ基準線がコーディングされるブロック内に適用されるとき、探索及び最適化プロセスの間に、完全な一次変換カーネルセットＡからの一次変換カーネルのサブセットのみを、候補一次カーネルとして使用することができる。一次変換カーネルのサブセットは、非ゼロ基準線がイントラ予測のために使用されるときに一般に最適である可能性が最も高い一次変換カーネルのいくつかの特定のサブセットを示す、オフライン統計調査に基づいて予め定義され得る。例えば非ゼロ基準線が使用されるとき、ほとんどの実際のケースにおいて、ＤＣＴタイプ２及びＡＤＳＴハイブリッドカーネルタイプが、最適な一次カーネルタイプである可能性が高いことが観察され得る。

上記の一般的な実装は、非ゼロ基準線が使用されるとき、イントラ予測のための候補一次変換カーネルの縮小に適用され得る。いくつかの特定の例示的な実装では、非ゼロ基準線が使用されるとき、イントラ予測のために許容される一次変換カーネルのサブセットは、ハイブリッド２－Ｄ変換カーネルとして、１－Ｄ ＤＣＴタイプ２と１－Ｄ ＡＤＳＴの組合せに限定され得る。

いくつかの他の特定の例示的な実装では、非ゼロ基準線が使用されるとき、イントラ予測のために許容される一次変換カーネルのサブセットは、ハイブリッド２－Ｄ変換カーネルとして、１－Ｄ ＤＣＴタイプ２と、１－Ｄ ＡＤＳＴと、１－Ｄ反転ＡＤＳＴの組合せに限定され得る。

いくつかの他の特定の例示的な実装では、非ゼロ基準線が使用されるとき、イントラ予測のために許容される一次変換カーネルのサブセットは、ハイブリッド２－Ｄ変換カーネルとして、１－Ｄ ＤＣＴタイプ２と、１－Ｄ ＩＤＴの組合せに限定され得る。

更にいくつかの他の特定の例示的な実装では、非ゼロ基準線が使用されるとき、イントラ予測のために許容される一次変換カーネルのサブセットは、ハイブリッド２－Ｄ変換カーネルとして、１－Ｄ ＤＣＴタイプ２、１－Ｄ ＡＤＳＴ、１－Ｄ反転ＡＤＳＴ及び１－Ｄ ＩＤＴの組合せに限定され得る。

いくつかの例示的な実装では、非ゼロ基準線が使用されるとき、候補一次変換カーネル又は二次変換カーネルの縮小がイントラ予測に適用され得るかどうかは、予測ブロック又はコーディングブロックが複数の変換ブロックに分割されるべきかどうかに更に依存し得る。基礎となる考え方は、現在の予測ブロック又はコーディングブロックが複数の変換ブロックに分割される場合、一次及び／又は二次変換カーネルの選択は、全体としての予測ブロック又はコーディングブロックの全体に対してではなく、変換ブロックの各々に対して別個に最適化される必要がある可能性があり、ゼロ基準線を含むイントラ予測のためのものから非ゼロ基準線を含むイントラ予測のための候補一次及び／又は二次カーネルの数を減らすことは、エンコーダのコーディング効率及び品質の劣化を最小限に抑えながら、最適化の負担を少なくすることになる。

そのような縮小は、二次変換カーネルの選択に適用され得る。したがって、いくつかの特定の例では、複数の変換ブロックが存在するか又はコーディングブロックもしくは予測ブロックの内部に存在するとき、非ゼロ基準線が適用されるときに変換ブロックのための許容される二次変換セットは、ゼロ基準線が適用されるときに許容される二次変換セットのサブセットに縮小され得る。一実施形態では、このような実装は特に、二次変換カーネル選択が実行され、かつ（予測ブロック又はコーディングブロック全体のレベルではなく）各変換ブロックについて選択情報がシグナリングされるときに、適用され得る。

いくつかの例示的な実装では、候補二次変換カーネルセットの縮小は、非ゼロ線の使用及び変換ブロックへの分割によって階層化されてもよい。例えば非ゼロ線がイントラ予測に使用され、コーディングブロック又は予測ブロックが２つ以上の変換ユニットに更には分裂されないとき、ゼロ基準線イントラ予測のための完全な二次変換カーネルセットからの二次変換カーネルの第１縮小セットが、最適化候補として使用され得る。しかしながら、非ゼロ線がイントラ予測に使用され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更に分裂されるとき、ゼロ基準線イントラ予測のための完全な二次変換カーネルセットからの二次変換カーネルの第２縮小セットが、最適化候補として使用され得る。二次変換カーネルの第２縮小セットは、例えば二次変換カーネルの第１縮小セットのサブセットであってよい。言い換えると、非ゼロ基準線がイントラ予測のために使用されるとき、候補二次変換カーネルセットは、完全な二次変換カーネルのセットから縮小され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更に細分される場合、次いで、二次変換カーネルのその縮小されたセットは更に縮小され得る。

いくつかの例示的な実装では、コーディングブロック又は予測ブロックの内部に複数の変換ブロックが存在するとき、非ゼロ基準線が現在のブロックのイントラ予測のために使用されるとき、変換ブロックに対して二次変換が全く許容されないことがある。言い換えると、エンコーダは、非ゼロ基準線がイントラ予測のために使用され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更に細分されるとき、二次変換カーネルのセットをヌルセットに減少させる極端な状態に進む可能性がある。

いくつかの他の例示的な実装では、同様に、非ゼロ基準線が使用されるときに予測ブロック又はコーディングブロックが複数の変換ブロックに分割されるかどうかに応じた、イントラ予測のための候補変換カーネルの縮小が、一次変換に適用され得る。例えばコーディングブロック又は予測ブロックの内部に複数の変換ブロックが存在するとき、非ゼロ基準線が適用されるときに変換ブロックのための許容される一次変換タイプセットは、ゼロ基準線が適用されるときに許容される一次変換セット（例えばハイブリッド変換セット）のサブセットであってよい。一実施形態では、このような実装は特に、一次変換選択が実行され、かつ（予測ブロック又はコーディングブロック全体のレベルではなく）各変換ブロック又は変換ユニットについて選択情報がシグナリングされるときに、適用され得る。

いくつかの例示的な実装では、候補一次変換カーネルセットの縮小は階層化されてもよい。例えば非ゼロ線がイントラ予測に使用され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更には分裂されないとき、ゼロ基準線のイントラ予測のための完全な一次変換カーネルセット（上記セットＡ）からの一次変換カーネルの第１縮小セットが最適化候補として使用され得る。しかしながら、非ゼロ線がイントラ予測に使用され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更に分裂されるとき、ゼロ基準線のイントラ予測のための完全な一次変換セット（上記セットＡ）からの二次変換カーネルの第２縮小セットが、最適化候補として使用され得る。一次変換カーネルの第２縮小セットは例えば、一次変換カーネルの第１縮小セットのサブセットであってよい。言い換えると、非ゼロ基準線がイントラ予測のために使用されるとき、候補の一次変換カーネルセットは、完全なセット（上記セットＡ）から縮小され、コーディングブロック又は予測ブロックが２つ以上の変換ブロックに更に細分される場合、一次変換カーネルのその縮小されたセットは更に縮小され得る。

別の実施形態では、コーディングブロック又は予測ブロックの内部に複数の変換ブロックが存在するとき、非ゼロ基準線が現在のブロックのイントラ予測に使用されるときに、一次変換選択は変換ブロックについてシグナリングされなくてよい。言い換えると、その状況における一次変換カーネルのサブセットは、一次変換カーネルの選択が予め定義されており、シグナリングされる必要がない範囲まで、縮小され得る。

いくつかの例示的な実装では、複数の基準線がイントラ予測において使用され得るとき、コーディングブロック又は他のコーディングユニットのイントラコーディングのために選択される基準線インデックスが、一次変換又は二次変換インデックスのエントロピーコーディングのためのコンテキスト（又はＣＤＦ）を導出するために使用され得る。基準線インデックスは一次変換又は二次変換インデックスと相関され得るので、そのような実装は、コーディング化ビットストリームにおいて、これらのインデックスのより高いエントロピーコーディング効率を達成するのを助けることができる。

いくつかの更なる実装では、現在のコーディング化ブロックが複数の変換ブロックを有し、基準線インデックスが、現在のコーディング化ブロック又は予測ブロックに非ゼロ基準線が使用されることを示す場合、一次変換及び二次変換カーネルセットの縮小は、変換ブロックのすべてではなく、一部のみに適用され得る。例えば現在のコーディング化ブロックが複数の変換ブロックを有し、基準線インデックスが、非ゼロ基準線が使用されることを示すとき、一次及び／又は二次変換カーネルの縮小サブセットは、現在のコーディング化ブロック又は予測ブロックの上部又は左側の境界に向かう変換ブロックに対してのみ使用されてよく、一方、すべての一次変換及び二次変換は、現在のコーディング化ブロック又は予測ブロックの残りの箇所に配置される変換ブロックの候補として使用されることができる。

これを図２２に示される。図２２の例では、ＴＢ１～ＴＢ４としてラベル付けされ、図２２の２２０２～２２０８によって表される、４つの変換ブロックが１つのコーディングブロック内に存在する。ＴＢ１、ＴＢ２及びＴＢ３は、現在のコーディング化ブロックの上部又は左側の境界に配置される。ＴＢ１－ＴＢ３は、縮小された候補一次及び／又は二次変換カーネルセットから選択することによって処理されてよく、ＴＢ４は、完全な候補の一次及び／又は二次変換カーネルセットから選択することによって処理されてよい。

上記の様々な例示的な実装とは独立に、それとは別個に、あるいは組み合わせて又はそれとともに、いくつかの更なる例示的な実装では、非ゼロ基準線がイントラコーディングされるブロックに適用されるとき、候補変換区分タイプの完全なセットではなく、変換区分タイプの選択されたサブセットが使用され得る。図１５の例に関連して上述したように、コーディングブロック又は予測ブロックは、例えばレート歪みコストに基づいて決定されるコーディングブロック又は予測ブロックの変換タイプに基づいて、所定の変換区分タイプのセットの中の変換区分タイプに割り当てられてもよい。このような変換区分タイプは、様々な異なる所定の変換ブロック区分パターンに対応する。これらの例示的な実装は、非ゼロ基準線が使用されるときに、イントラコーディングブロック又は予測ブロックに対して選択するために、候補区分化パターンを更に縮小させる。したがって、最適区分パターンをエンコーダ用の変換ブロックにするための最適化探索空間が縮小され得る。さらに、変換区分タイプの縮小セットは、変換ブロック区分の数がより少ないパターンに対応してよく、これは、コーディング又は変換構成及びパラメータを各変換ユニットについて別個に最適化する必要があるときに、最適化の量を減らすことを助けることができる。

例えば一実施形態では、変換区分タイプのサブセットは、図１５のPARTITION_NONEのみを含んでよく、これは、変換ブロックサイズが予測／コーディングブロックサイズと同じであることを示す。言い換えると、変換ブロックへの区分化は行われない。

別の例では、一実施形態では、変換区分タイプのサブセットは、所与の閾値以下の変換サブ区分数を有する変換区分タイプのみを含み得る。例示的な閾値は、これらに限定されないが、１、２、３、４、５、６、．．．、１６を含み得る。例えば閾値は、図１５に関して２であってもよく、そのような閾値では、変換区分タイプのサブセットは、PARTITION_NONE、PARTITION_HORZ及びPARTITION_VERTのみを含み得る。

いくつかの更なる例示的な実装では、上記の例示的な実装で使用される基準線のインデックスが、候補一次及び／又は二次変換カーネルの縮小セット及び／又は変換区分化タイプのサブセットに関して考慮され得る。言い換えると、様々なサブセットに含まれるアイテムは、非ゼロ基準が現在のコーディングブロック又は予測ブロックからどれだけ離れているかに依存し得る。例えばゼロ基準線については、完全なセットが使用され得るが、一方、非ゼロ基準線については、サブセットが使用されてよく（上記の実装で説明されるように）、サブセットは、非ゼロ基準線インデックスが増加するにつれて、更に縮小し得る。

例えば一般に、異なる基準線が適用されるとき、変換ブロックに対して、異なる一次及び／又は二次変換カーネルセットを適用及び／又はシグナリングすることができる。

更なる一実施形態では、異なる非ゼロ基準線に対して、一次及び／又は二次変換カーネル候補及び／又は変換区分候補タイプは同じセットである。言い換えると、異なる線インデックスの非ゼロ基準線の間では差別化（differentiation）は行われないことがある。

別の更なる実施形態では、異なる非ゼロ基準線に対して、一次及び／又は二次変換カーネル候補及び／又は変換区分候補タイプは異なるセットである。

一次変換カーネル、二次変換カーネル及び変換区分タイプの様々なサブセットは、イントラ予測のための様々な基準線構成に関して予め定義されてもよい。したがって、これらのサブセットは、シグナリングされる必要がなくてよい。エンコーダによって決定され選択される、これらのサブセットに対するインデックスは、シグナリングされ得る。そのようなインデックスは相関されてよく、したがって、エントロピーコーディングのためのコンテキストを導出するために、共同してシグナリングされ、共同して使用され得る。

図２３は、上記の実装の基礎となる原理に従った例示的方法のフローチャート２３００を示す。例示的方法フロー２３００は、２３０１において開始する。Ｓ２３１０において、ビデオフレームのデータブロックが取り出される。データブロックは、ビデオフレーム内の隣接基準線と１つ以上の非隣接基準線とを含み得る。Ｓ２３２０において、１つ以上の非隣接基準線のうちの１つが、データブロックのイントラ予測に使用されるかどうかが判断される。Ｓ２３３０において、隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換するために、ターゲット変換カーネルが変換カーネルの第１セットから選択され得る。Ｓ２３４０において、非隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換するために、ターゲット変換カーネルが変換カーネルの第２セットから選択され得る。例示的方法フロー２３００は、Ｓ２３９９において終了する。

図２４は、上記実施形態の基礎となる原理に従った別の例示的方法のフローチャート２４００を示す。例示的方法フロー２４００は、２４０１において開始する。Ｓ２４１０において、ビデオフレームのデータブロックが取り出される。データブロックは、ビデオフレーム内の隣接基準線と１つ以上の非隣接基準線とを含み得る。Ｓ２４２０において、１つ以上の非隣接基準線のうちの１つが、データブロックのイントラ予測に使用されるかどうかが判断される。Ｓ２４３０において、隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換区分ブロックに区分化するために、変換区分タイプの第１セットが選択され得る。Ｓ２４４０において、非隣接基準線がデータブロックのイントラ予測に使用されるとき、データブロックを変換区分ブロックに区分するために、変換区分タイプの第２セットが選択され得る。例示的方法フロー２４００は、Ｓ２４９９において終了する。

図２５は、上記実施形態の基礎となる原理に従った更に別の例示的方法のフローチャート２５００を示す。例示的方法フロー２５００は、２５０１において開始する。Ｓ２５１０において、ビデオフレームのデータブロックが取り出される。データブロックは、イントラ予測のためにビデオフレーム内の１つ以上の基準線を含み得、各基準線は基準線位置インデックスに関連付けられている。Ｓ２５２０において、データブロックのイントラ予測のために、１つ以上の基準線の中からある基準線が選択される。Ｓ２５３０において、一次変換カーネル又は二次変換カーネルが、データブロックを処理するために、一次変換カーネル又は二次変換カーネルのサブセットから選択され得、一次変換カーネル又は二次変換カーネルのサブセットは、イントラ予測のための選択された基準線の基準線位置インデックスに基づいて、一次変換カーネル又は二次変換カーネルの完全なセットから選択される。例示的方法フロー２５００は、Ｓ２５９９において終了する。

本開示の実施形態は、別個に又は任意の順序で組み合わせて使用されてよい。さらに、方法（又は実施形態）、エンコーダ及びデコーダの各々は、処理回路（例えば１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてもよい。一例では、１つ以上のプロセッサは、非一時的なコンピュータ読取可能媒体に記憶されるプログラムを実行する。本開示の実施形態は、ルマブロック又はクロマブロックに適用され得る。

上述の技術を、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実装し、１つ以上のコンピュータ読取可能媒体に物理的に記憶することができる。例えば図２６は、開示される主題の特定の実施形態を実装するのに適したコンピュータシステム（２６００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンキング又は類似のメカニズムの対象となり得る任意の適切な機械コード又はコンピュータ言語を使用してコーディングされ、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）等によって直接的に又は解釈やマイクロコード実行等を通して実行され得る命令を含む、コードを作成することができる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス等を含む様々なタイプのコンピュータ又はその構成要素において実行されることができる。

コンピュータシステム（２６００）について図２６に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関して、いかなる制限も示唆するように意図されていない。また、構成要素の構成は、コンピュータシステム（２６００）の例示的実施形態に示される構成要素の任意の１つ又は組合せに関するいかなる依存性又は要件も有するものとして解釈されてはならない。

コンピュータシステム（２６００）は、特定のヒューマンインタフェース入力デバイスを含み得る。そのようなヒューマンインタフェース入力デバイスは、例えば触覚入力（キーストローク、スワイプ、データグローブの動き等）、オーディオ入力（声、拍手等）、視覚入力（ジェスチャ等）、嗅覚入力（図示せず）を通して、１人以上の人間のユーザによる入力に応答し得る。また、ヒューマンインタフェース入力デバイスは、オーディオ（音声、音楽、環境音等）、画像（スキャンされた画像、静止画像カメラから得られる写真画像等）、ビデオ（２次元ビデオ、立体映像を含む３次元ビデオ等）のような、人間による意識的入力に必ずしも直接関係しているとは限らない、特定の媒体をキャプチャするためにも使用されることができる。

ヒューマン入力インタフェースデバイスは、キーボード（２６０１）、マウス（２６０２）、トラックパッド（２６０３）、タッチ画面（２６１０）、データグローブ（図示せず）、ジョイスティック（２６０５）、マイクロホン（２６０６）、スキャナ（２６０７）及びカメラ（２６０８）（各々の１つのみが図示される）のうちの１つ以上を含んでもよい。

コンピュータシステム（２６００）はまた、特定のヒューマンインタフェース出力デバイスも含み得る。そのようなヒューマンインタフェース出力デバイスは、例えば触覚出力、音響、光及び嗅覚／味覚を通して、１人以上の人間のユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えばタッチ画面（２６１０）、データグローブ（図示せず）又はジョイスティック（２６０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、オーディオ出力デバイス（スピーカー（２６０９）、ヘッドフォン（図示せず）等）、視覚出力デバイス（各々タッチ画面入力機能の有無にかかわらず、各々触覚フィードバック能力の有無にもかかわらないが、その一部は、立体画像出力や仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）のような手段を介して、２次元視覚出力又は３次元超の出力を出力することができる、ＣＲＴ画面、ＬＣＤ画面、プラズマ画面、ＯＬＥＤ画面を含む画面（２６１０）等）及びプリンタ（図示せず）を含んでよい。

コンピュータシステム（２６００）はまた、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２６２０）を含む光媒体又は類似の媒体（２６２１）、サムドライブ（２６２２）、取り外し可能ハードドライブ又はソリッドステートドライブ（２６２３）、テープ及びフロッピーディスク（図示せず）のようなレガシー磁気媒体、セキュリティドングル（図示せず）のような特別なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスのような、ヒューマンアクセス可能なストレージデバイス及びそれらの関連する媒体も含むことができる。

当業者はまた、現在開示されている主題に関連して使用されるとき、「コンピュータ読取可能媒体」という用語が、伝送媒体、搬送波又は他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム（２６００）はまた、１つ以上の通信ネットワーク（２６５５）へのインタフェース（２６５４）も含むことができる。ネットワークは、例えば無線、有線、光とすることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業用、リアルタイム、遅延耐性等とすることができる。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮ等のローカルエリアネットワーク、ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ及び地上放送ＴＶを含むＴＶ有線又は無線ワイドエリアデジタルネットワーク、ＣＡＮｂｕｓ等を含む車両及び産業用ネットワークを含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（２６４９）（例えばコンピュータシステム（２６００）のＵＳＢポート等）に接続される外部ネットワークインタフェースアダプタを必要とし、他のものは、一般に、後述するシステムバスへの取り付けによって、コンピュータシステム（２６００）のコアに統合される（例えばＰＣコンピュータシステムへのイーサネット（登録商標）インタフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２６００）は、他のエンティティと通信することができる。このような通信は、例えばローカル又はワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対する、単方向の受信専用（例えば放送ＴＶ）、単方向の送信専用（例えば特定のＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）又は双方向であり得る。上述のように、特定のプロトコル及びプロトコルスタックを、これらのネットワーク及びネットワークインタフェースの各々において使用することができる。

前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能なストレージデバイス及びネットワークインタフェースを、コンピュータシステム（２６００）のコア（２６４０）に取り付けることができる。

コア（２６４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（２６４１）、グラフィクス処理ユニット（ＧＰＵ）（２６４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２６４３）の形態の専用のプログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ（２６４４）、グラフィクスアダプタ（２６５０）等を含むことができる。これらのデバイスは、読取専用メモリ（ＲＯＭ）（２６４５）、ランダムアクセスメモリ（ＲＡＭ）（２６４６）、内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等の内部大容量ストレージ（２６４７）とともに、システムバス（２６４８）を通して接続され得る。いくつかのコンピュータシステムでは、システムバス（２６４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ以上の物理的プラグの形態でアクセス可能である。周辺デバイスを、コアのシステムバス（２６４８）に直接又は周辺バス（２６４９）を介して取り付けることができる。一例では、画面（２６１０）をグラフィクスアダプタ（２６５０）に接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

ＣＰＵ（２６４１）、ＧＰＵ（２６４２）、ＦＰＧＡ（２６４３）及びアクセラレータ（２６４４）は、組み合わされて上述のコンピュータコードを構成することができる、特定の命令を実行することができる。そのコンピュータコードを、ＲＯＭ（２６４５）又はＲＡＭ（２６４６）に記憶することができる。また、一時的なデータをＲＡＭ（２６４６）に記憶することができ、一方、永久的なデータを、例えば内部大容量ストレージ（２６４７）に記憶することができる。１つ以上のＣＰＵ（２６４１）、ＧＰＵ（２６４２）、大容量ストレージ（２６４７）、ＲＯＭ（２６４５）、ＲＡＭ（２６４６）等と密接に関連付けることができるキャッシュメモリの使用を通して、メモリデバイスのいずれかに対する高速記憶及び取り出しを可能にすることができる。

コンピュータ読取可能媒体は、様々なコンピュータ実装される動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものとすることができ、あるいはそれらは、コンピュータソフトウェア技術の当業者に周知でかつ利用可能な種類のものとすることができる。

非限定的な例として、アーキテクチャ（２６００）及び特にコア（２６４０）を有するコンピュータシステムは、１つ以上の有形のコンピュータ読取可能媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能性を提供することができる。このようなコンピュータ読取可能媒体は、上記で紹介したようなユーザアクセス可能な大容量ストレージ、並びにコア内部大容量ストレージ（２６４７）又はＲＯＭ（２６４５）のような非一時的な性質のコア（２６４０）の特定のストレージに関連付けられる媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアを、そのようなデバイスに記憶して、コア（２６４０）によって実行することができる。コンピュータ読取可能媒体は、特定のニーズに従って、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（２６４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ（２６４６）に記憶されるデータ構造を定義することと、ソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することとを含む、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、論理ハードワイヤ又は他の方法で回路（例えばアクセラレータ（２６４４））内に具現化された結果として機能性を提供することができ、この回路は、ソフトウェアの代わりに又はソフトウェアとともに動作して、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行することができる。ソフトウェアへの言及はロジックを含み、また、必要に応じて、その逆も可能である。コンピュータ読取可能媒体への参照は、実行のためのソフトウェアを記憶する回路（集積回路(ＩＣ)等）、実行のためのロジックを具体化する回路又は適切な場合にはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

本開示は、いくつかの例示的な実施形態について説明しているが、本開示の範囲内にある変更、置換及び様々な代替均等物が存在する。上述の実装及び実施形態では、プロセスの任意の動作は、所望により、任意の量又は順序で組み合わされ得るか又は配置されてよい。さらに、上述のプロセスの動作のうちの２つ以上が、並行に実行されてよい。したがって、当業者は、本明細書に明示的に示されていないか又は説明されていないが、本開示の原理を具体化しており、よって、本開示の精神及び範囲内にある、様々システム及び方法を考案することができることが理解されよう。

付録Ａ：頭字語
ＪＥＭ：joint exploration model
ＶＶＣ：versatile video coding
ＢＭＳ：ベンチマークセット（benchmark set）
ＭＶ：動きベクトル（Motion Vector）
ＨＥＶＣ：高効率ビデオコーディング（High Efficiency Video Coding）
ＳＥＩ：補足強化情報（Supplementary Enhancement Information）
ＶＵＩ：ビデオユーザビリティ情報（Video Usability Information）
ＧＯＰｓ：ピクチャのグループ（Groups of Pictures）
ＴＵｓ：変換ユニット（Transform Units）
ＰＵｓ：予測ユニット（Prediction Units）
ＣＴＵｓ：コーディングツリーユニット（Coding Tree Units）
ＣＴＢｓ：コーディングツリーブロック（Coding Tree Blocks）
ＰＢｓ：予測ブロック（Prediction Blocks）
ＨＲＤ：仮想リファレンスデコーダ（Hypothetical Reference Decoder）
ＳＮＲ：信号対ノイズ比（Signal Noise Ratio）
ＣＰＵｓ：中央処理ユニット（Central Processing Units）
ＧＰＵｓ：グラフィクス処理ユニット（Graphics Processing Units）
ＣＲＴ：ブラウン管（Cathode Ray Tube）
ＬＣＤ：液晶ディスプレイ（Liquid-Crystal Display）
ＯＬＥＤ：有機発光ダイオード（Organic Light-Emitting Diode）
ＣＤ：コンパクトディスク（Compact Disc）
ＤＶＤ：デジタルビデオディスク（Digital Video Disc）
ＲＯＭ：読み取り専用メモリ（Read-Only Memory）
ＲＡＭ：ランダムアクセスメモリ（Random Access Memory）
ＡＳＩＣ：特定用途向け集積回路（Application-Specific Integrated Circuit）
ＰＬＤ：プログラム可能論理デバイス（Programmable Logic Device）
ＬＡＮ：ローカルエリアネットワーク（Local Area Network）
ＧＳＭ：汎欧州デジタル移動電話方式（Global System for Mobile communications）
ＬＴＥ：長期進化（Long-Term Evolution）
ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Controller Area Network Bus）
ＵＳＢ：ユニバーサルシリアルバス（Universal Serial Bus）
ＰＣＩ：周辺構成要素相互接続（Peripheral Component Interconnect）
ＦＰＧＡ：フィールドプログラマブルゲートアレイ（Field Programmable Gate Areas）
ＳＳＤ：ソリッドステートドライブ（solid-state drive）
ＩＣ：集積回路（Integrated Circuit）
ＨＤＲ：高ダイナミックレンジ（high dynamic range）
ＳＤＲ：標準ダイナミックレンジ（standard dynamic range）
ＪＶＥＴ：Joint Video Exploration Team
ＭＰＭ：最確モード（most probable mode）
ＷＡＩＰ：広角イントラ予測（Wide-Angle Intra Prediction）
ＣＵ：コーディングユニット（Coding Unit）
ＰＵ：予測ユニット（Prediction Unit）
ＴＵ：変換ユニット（Transform Unit）
ＣＴＵ：コーディングツリーユニット（Coding Tree Unit）
ＰＤＰＣ：位置依存予測組合せ（Position Dependent Prediction Combination）
ＩＳＰ：イントラサブ区分（Intra Sub-Partitions）
ＳＰＳ：シーケンスパラメータ設定（Sequence Parameter Setting）
ＰＰＳ：ピクチャパラメータセット（Picture Parameter Set）
ＡＰＳ：適応パラメータセット（Adaptation Parameter Set）
ＶＰＳ：ビデオパラメータセット（Video Parameter Set）
ＤＰＳ：復号パラメータセット（Decoding Parameter Set）
ＡＬＦ：適応ループフィルタ（Adaptive Loop Filter）
ＳＡＯ：サンプル適応オフセット（Sample Adaptive Offset）
ＣＣ－ＡＬＦ：クロスコンポーネント適応ループフィルタ（Cross-Component Adaptive Loop Filter）
ＣＤＥＦ：制約された方向強化フィルタ（Constrained Directional Enhancement Filter）
ＣＣＳＯ：クロスコンポーネントサンプルオフセット（Cross-Component Sample Offset）
ＬＳＯ：ローカルサンプルオフセット（Local Sample Offset）
ＬＲ：リープ復元フィルタ（Loop Restoration Filter）
ＡＶ１：ＡＯメディアビデオ１（AOMedia Video 1）
ＡＶ２：ＡＯメディアビデオ２（AOMedia Video 2）

Claims (12)

1. プロセッサによって実行される、ビデオ情報を処理するための方法であって、
   ビデオフレームのデータブロックを取り出すステップであって、前記データブロックは、前記ビデオフレーム内の隣接基準線と１つ以上の非隣接基準線とを有する、ステップと、
   前記１つ以上の非隣接基準線のうちの１つの非隣接基準線が、前記データブロックのイントラ予測に使用されるかどうかを判断するステップと、
   隣接基準線が前記データブロックの前記イントラ予測に使用されるとき、前記データブロックを変換するために、変換カーネルの第１セットからターゲット変換カーネルを選択するステップと、
   非隣接基準線が前記データブロックの前記イントラ予測に使用されるとき、前記データブロックを変換するために、変換カーネルの第２セットからターゲット変換カーネルを選択するステップと、
   を含み、
   前記データブロックが２つ以上の変換区分ブロックを更に含むとき、前記変換カーネルの第２セットは、前記変換カーネルの第１セットのサブセットを構成し、前記変換カーネルの第１セット又は前記変換カーネルの第２セットからの前記変換カーネルの選択は、前記２つ以上の変換区分ブロックの各々について別個にシグナリングされる、方法。
2. 前記変換カーネルの第１セット及び前記変換カーネルの第２セットは、一次変換カーネル又は二次変換カーネルである、
   請求項１に記載の方法。
3. 前記変換カーネルの第１セットは、変換カーネルのスーパーセットを含み、
   前記変換カーネルの第２セットは、前記変換カーネルのスーパーセットのサブセットを含む、
   請求項１に記載の方法。
4. 前記変換カーネルの第１セット及び前記変換カーネルの第２セットは、一次変換カーネルであり、
   前記変換カーネルの第２セットは、
   ハイブリッド変換カーネルとしてＤＣＴタイプ２及びＡＤＳＴの組合せ、
   前記ハイブリッド変換カーネルとしてＤＣＴタイプ２、ＡＤＳＴ及び反転ＡＤＳＴの組合せ、
   前記ハイブリッド変換カーネルとしてＤＣＴタイプ２及びＩＤＴの組合せ、又は
   前記ハイブリッド変換カーネルとしてＤＣＴタイプ２、ＡＤＳＴ、反転ＡＤＳＴ及びＩＤＴの組合せ、
   のうちの１つを含む、請求項３に記載の方法。
5. 前記データブロックは２つ以上の変換区分ブロックを含み、
   前記変換カーネルの第２セットは、ＮＵＬＬセットを含む、
   請求項１に記載の方法。
6. 前記データブロックは２つ以上の変換区分ブロックを含み、
   前記変換カーネルの第２セットからの選択は、非隣接基準線が指定されるとき、予め定義されており、前記ビデオフレームに関連付けられるビットストリームではシグナリングされない、
   請求項１に記載の方法。
7. 前記隣接基準線又は前記１つ以上の非隣接基準線の中の、前記データブロックのイントラ予測に使用される基準線に関連付けられる基準線インデックスは、前記変換カーネルの第１セット又は前記変換カーネルの第２セットから選択される二次変換カーネルを変換するための一次変換カーネルのカーネルインデックスのエントロピーコーディングのためのコンテキストを導出するために使用される、
   請求項１乃至４のいずれか一項に記載の方法。
8. 前記データブロックが、２つ以上の変換区分ブロックを更に含むとき、
   前記変換カーネルの第２セットは、前記２つ以上の変換区分ブロックのあるサブセットのための前記変換カーネルの第１セットのサブセットを構成し、
   前記変換カーネルの第２セットと前記変換カーネルの第１セットは、前記２つ以上の変換区分ブロックの残りのサブセットについて同じである、
   請求項１乃至４のいずれか一項に記載の方法。
9. 前記２つ以上の変換区分ブロックの前記サブセットは、前記データブロックの上部又は左側の変換区分を含む、
   請求項８に記載の方法。
10. 前記変換カーネルの第１セット又は前記変換カーネルの第２セットからの前記ターゲット変換カーネルの選択は、有効にされている変換ブロックへ前記データブロックを区分化するために複数変換区分タイプが有効にされていることに応答して実行され、一次変換及び二次変換の両方が前記データブロックについて有効にされている、
    請求項１乃至４のいずれか一項に記載の方法。
11. 請求項１乃至１０のいずれか一項に記載の方法を実装するように構成される処理回路を含む、デバイス。
12. プロセッサによって実行されると、該プロセッサに請求項１乃至１０のいずれか一項を実行させる、コンピュータプログラム。
    

Images