JP7413552B2 - デコーダが実行するビデオデコーディングの方法、装置、及びプログラム、並びにエンコーダが実行するビデオコーディングの方法 - Google Patents

Description

［参照による援用］
本特許出願は、２０２０年１１月１１日付けで「METHODS FOR EFFICIENT APPLICATION OF SECONDARY TRANSFORMS」との発明の名称で出願された米国特許仮出願第６３／１１２５３３号に対する優先権の利益を主張して２０２１年６月２８日付けで「Method and apparatus for video coding」との発明の名称で出願された米国特許出願第１７／３６１２３９号の優先権の利益を主張する。先願の全開示は、それらの全文を参照により本願に援用される。

［技術分野］
本開示は、ビデオコーディングに概して関係がある実施形態について記載する。

本明細書中で与えられている背景の説明は、開示の背景を一般的に提示することを目的とするものである。現在指名されている発明者の研究は、その研究がこの背景の項で説明されている範囲で、及び出願時に先行技術としてさもなければ適格でない可能性がある説明の側面は、本開示に対する先行技術として明示的にも暗黙的にも認められない。

ビデオコーディング及びデコーディングは、動き補償を伴ったインターピクチャ予測を用いて実行可能である。圧縮されていないデジタルビデオはピクチャの連続を含むことができ、各ピクチャは、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間ディメンションを有する。ピクチャの連続は、例えば、毎秒６０ピクチャ、つまり６０Ｈｚの固定又は可変のピクチャレート（俗にフレームレートとしても知られている。）を有することができる。圧縮されていないビデオは、特定のビットレート要件を有している。例えば、サンプル当たり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇビット／ｓに近いバンド幅を必要とする。そのようなビデオの１時間は、６００Ｇバイト超の記憶空間を必要とする。

ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減であることができる。圧縮は、いくつかの場合に２桁以上、上記のバンド幅又は記憶空間要件を減らすことを助けることができる。可逆及び不可逆圧縮の両方並びにそれらの組み合わせが用いられ得る。可逆圧縮は、原信号の厳密なコピーが圧縮された原信号から再構成可能である技術を指す。不可逆圧縮を使用する場合に、再構成された信号は、原信号と同じでない場合があるが、原信号と再構成された信号との間のひずみは、再構成された信号を、意図された用途にとって有用なものとするほど十分に小さい。ビデオの場合には、不可逆圧縮が広く用いられている。許容されるひずみの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビジョン配信用途のユーザよりも高いひずみを許容し得る。達成可能な圧縮比は、より高い許容可能な／受け入れ可能なひずみがより高い圧縮比をもたらし得ることを反映することができる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリからの技術を利用することができる。

ビデオコーデック技術には、イントラコーディングとして知られている技術が含まれ得る。イントラコーディングでは、サンプル値が、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照せずに表現される。いくつかのビデオコーデックにおいて、ピクチャは、サンプルのブロックに空間的に細分される。サンプルの全ブロックがイントラモードでコーディングされる場合に、ピクチャはイントラピクチャであることができる。イントラピクチャ及びそれらの派生物、例えば、独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）は、デコーダ状態をリセットするために使用可能であり、従って、コーディングされたビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画像として使用され得る。イントラブロックのサンプルは、変換を受けることができ、変換係数は、エントロピコーディング前に量子化され得る。イントラ予測は、変換前領域でサンプル値を最小限にする技術であることができる。いくつかの場合に、変換後のＤＣ値が小さければ小さいほど、かつ、ＡＣ係数が小さければ小さいほど、エントロピコーディング後にブロックを表すために所与の量子化ステップサイズで必要とされるビットはますます少ない。

例えば、ＭＰＥＧ－２世代のコーディング技術から知られているような、従来のイントラコーディングは、イントラ予測を使用しない。しかし、いくつかのより新しいビデオ圧縮技術は、例えば、データの空間的に隣接しかつデコーディング順序において先行するブロックのエンコーディング／デコーディング中に得られた周囲サンプルデータ及び／又はメタデータから試みる技術を含む。かような技術は、以降「イントラ予測」技術と呼ばれる。少なくともいくつかの場合に、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからは使用しない点に留意されたい。

多種多様な形態のイントラ予測が存在し得る。かような技術の１つよりも多くが所与のビデオコーディング技術で使用可能である場合に、使用中の技術はイントラ予測モードでコーディングされ得る。特定の場合に、モードは、サブモード及び／又はパラメータを有することができ、それらは、独立してコーディングされ得るか、又はモードコードワードに含まれ得る。所与のモード、サブモード、及び／又はパラメータ組み合わせのためにどのコードワードを使用すべきは、イントラ予測を通じてコーディング効率利得に影響を及ぼし得るので、エントロピコーディング技術が、コードワードをビットストリームに変換するために使用され得る。

特定のモードのイントラ予測が、Ｈ．２６４により導入され、Ｈ．２６５で洗練され、Joint Exploration Model（ＪＥＭ）、Versatile Video Coding（ＶＶＣ）、及びBenchmark Set（ＢＭＳ）などのより新しいコーディング技術で更に洗練された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を用いて形成され得る。隣接サンプルのサンプル値は、方向に応じて予測子ブロック内にコピーされる。使用中の方向の参照は、ビットストリームの中にコーディングされ得るか、又はそれ自体が予測されてもよい。

図１Ａを参照すると、右下には、Ｈ．２６５の３３個のとり得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られている９つの予測子方向のサブセットが表されている。矢印が集まる点（１０１）は、予測中のサンプルに相当する。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上にある１つ又は複数のサンプルから予測される、ことを示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度でサンプル（１０１）の左下にある１つ又は複数のサンプルから予測される、ことを示す。

依然として図１Ａを参照して、左上には、４×４個のサンプル（太破線によって示される。）の正方形ブロック（１０４）が表されている。正方形ブロック（１０４）は１６個のサンプルを含み、各サンプルは、「Ｓ」、Ｙ次元でのその位置（例えば、行インデックス）、及びＸ次元でのその位置（例えば、列インデックス）を用いてラベル付けされている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目のサンプルかつＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸの両方の次元でブロック（１０４）内の４番目のサンプルである。ブロックはサイズが４×４サンプルであるということで、Ｓ４４は右下にある。更には、類似した番号付け方式に従う参照サンプルが示されている。参照サンプルは、ブロック（１０４）に対して、「Ｒ」、そのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）を用いてラベル付けされている。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは、再構成中のブロックに隣接し、従って、負値が使用される必要はない。

イントラピクチャ予測は、シグナリングされた予測方向によって必要に応じて隣接サンプルから参照サンプル値をコピーすることによって、働くことができる。例えば、コーディングされたビデオビットストリームが、このブロックについて、矢印（１０２）と一致する予測方向を示す、すなわち、サンプルが水平から４５度の角度で右上にある１つ以上の予測サンプルから予測される、とのシグナリングを含む、とする。その場合に、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。それから、サンプルＳ４４は、参照サンプルＲ０８から予測される。

特定の場合に、複数の参照サンプルの値は、参照サンプルを計算するために、特に、方向が４５度で等しく分割可能でない場合に、例えば、補間を通じて、組み合わされてよい。

とり得る方向の数は、ビデオコーディング技術が発展するとともに増えている。Ｈ．２６４（２００３年）では、９つの異なる方向が表現可能であった。それは、Ｈ．２６５（２０１３年）では３３個にまで増え、そして、ＪＥＭ／ＶＶＣ／ＢＭＳは、本開示の時点で、最大６５個の方向をサポートすることができる。最もありそうな方向を識別するために実験が行われており、エントロピコーディングにおける特定の技術は、可能性が低い方向に対する若干のペナルティを受け入れながら、少数のビットでそれらのありそうな方向を表現するよう使用されている。更に、方向それ自体は、時々、隣接する、既にデコーディングされたブロックで使用された隣接方向から予測され得る。

図１Ｂは、時間とともに増える予測方向の数を説明するために、ＪＥＭによる６５個のイントラ予測方向を表す概略図（１８０）を示す。

方向を表すコーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向の単純な直接マッピングから、イントラ予測モードまで、コードワードまで、最確モードを含む複雑な適応スキーム、及び同様の技術まで及び得る。全ての場合で、しかしながら、特定の他の方向よりも統計的にビデオコンテンツで起こる可能性が低い特定の方向が存在し得る。ビデオ圧縮の目標は冗長性の低減であるということで、それらの可能性が低い方向は、上手く働くビデオコーディング技術では、よりありそうな方向よりも多いビット数によって表現されることになる。

動き補償は、不可逆圧縮技術であることができ、以前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降ＭＶ）によって示された方向において空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係があり得る。いくつかの場合に、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは２つの次元Ｘ及びＹ、又は３つの次元を有することができ、３番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元であることができる。）。

いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接するサンプルデータの他のエリアに関係があり、デコーディング順序においてそのＭＶに先行するものから、予測され得る。そうすることで、ＭＶをコーディングするために必要なデータの量を大幅に減らすことができ、それによって、冗長性を取り除きかつ圧縮を高める。例えば、カメラから得られた入力ビデオ信号（自然ビデオ（natural video）として知られる。）をコーディングする場合に、単一のＭＶが適用可能であるエリアよりも大きいエリアが同様の方向に移動するという統計的可能性があり、従って、いくつかの場合には、隣接するエリアのＭＶから導出された同様の動きベクトルを用いて予測可能であるということで、ＭＶ予測は有効に働くことができる。その結果、所与のエリアについて求められるＭＶは、周囲のＭＶから予測されたＭＶと類似又は同じであり、エントロピコーディング後に、ＭＶを直接コーディングする場合に使用されることになるビット数よりも少ないビットで表され得る。いくつかの場合に、ＭＶ予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であることができる。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、不可逆であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ２６５，“High Efficiency Video Coding”，２０１６年１２月）で説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムの中から、本明細書では、以降「空間マージ」（spatial merge）と呼ばれる技術が説明される。

図２を参照すると、現在ブロック（２０１）は、空間的にシフトされている同じサイズの前のブロックから予測可能であると動き探索プロセス中にエンコーダによって認められたサンプルを有する。そのＭＶを直接にコーディングする代わりに、ＭＶは、１つ以上の参照ピクチャと関連付けられたメタデータから、例えば、（デコーディング順序において）最も最近の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（夫々、２０２乃至２０６）と表される５つの周囲サンプルのうちのいずれか１つと関連付けられたＭＶを用いて導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックが使用している同じ参照ピクチャからの予測子を使用することができる。

開示の態様は、ビデオエンコーディング／デコーディングのための方法及び装置を提供する。いくつかの例で、ビデオデコーディングのための装置は、処理回路を含む。処理回路は、コーディングされたビデオビットストリームからブロックのコーディング情報をデコーディングすることができる。コーディング情報は、ブロックに対するイントラ予測モードと、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせとを示すことができる。処理回路は、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。処理回路は、２次変換がブロックに対して無効にされるかどうかの決定に基づき、ブロックを再構成することができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、コーディングされたビデオビットストリームでシグナリングされるブロックについての変換パーティショニング情報を含む。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。処理回路は、ブロックを複数の変換ブロックにパーティション化することができる。処理回路は、パーティショニングデプスに基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。例において、処理回路は、パーティショニングデプスが閾値よりも大きいことに応答して、２次変換がブロックに対して無効にされ、２次変換インデックスがシグナリングされないことを決定する。このとき、閾値は０又は正の整数である。２次変換インデックスは、ブロックに適用される２次変換カーネルを示すことができる。例において、閾値は０である。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、コーディングされたビデオビットストリームでシグナリングされるブロックについての変換パーティショニング情報と、ブロックの形状とを含む。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができ、ブロックの形状は、非正方の長方形であることができる。処理回路は、ブロックを複数の変換ブロックにパーティション化することができる。処理回路は、パーティショニングデプスに基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。例において、処理回路は、パーティショニングデプスが閾値よりも大きいことに応答して、２次変換がブロックに対して無効にされることを決定し、閾値は０又は正の整数である。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックのアスペクト比によって示されるブロックの形状を含む。処理回路は、ブロックのアスペクト比に基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。例において、ブロックのアスペクト比は、ブロックの第２ディメンションに対するブロックの第１ディメンションの比である。このとき、ブロックの第１ディメンションは、第２ディメンションよりも大きいか又はそれと等しい。処理回路は、ブロックのアスペクト比が閾値よりも大きいことに応答して、２次変換がブロックに対して無効にされることを決定することができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、変換パーティショニング情報及びブロックの形状を含み、変換パーティショニング情報は、パーティショニングデプスを示すことができ、ブロックの前記形状は、正方形である。処理回路は、ブロックを複数の変換ブロックにパーティション化することができる。処理回路は、パーティショニングデプスに基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。例において、処理回路は、パーティショニングデプスが閾値よりも大きいことに応答して、２次変換が前記ブロックに対して無効にされることを決定する。このとき、閾値は０又は正の整数であることができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックについての変換パーティショニング情報及びブロックのサイズを含む。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができ、ブロックのサイズは、閾サイズよりも大きいブロックの幅及びブロックの高さを示すことができる。処理回路は、ブロックを複数の変換ブロックにパーティション化することができる。処理回路は、ブロックに対するパーティショニングデプスに基づき、２次変換がブロックに対して無効にされるかどうかを決定することができる。例において、処理回路は、パーティショニングデプスが閾値よりも大きいことに応答して、２次変換がブロックに対して無効にされることを決定する。閾値は０又は正の整数であることができる。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’のうちの一方は、最大変換サイズＴよりも大きい。処理回路は、他のブロックを、ブロックを含む複数のサブブロックに分けることができる。ブロックの幅Ｗは、Ｗ’及びＴのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＴのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックについての変換パーティショニング情報を含むことができる。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。処理回路は、ブロックに対するパーティショニングデプスが閾値よりも大きいことに応答して、２次変換がブロックに対して無効にされることを決定することができる。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’のうちの一方は、予め定義された定数Ｋよりも大きい。処理回路は、他のブロックを、ブロックを含む複数のサブブロックに分けることができる。ブロックの幅Ｗは、Ｗ’及びＫのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＫのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、Ｗ及びＨを有するブロックのサイズを含む。処理回路は、ブロックのサイズがＷ及びＨであることに応答して、２次変換がブロックに対して有効にされることを決定することができる。

開示の態様はまた、ビデオデコーディングのためにコンピュータによって実行される場合に、コンピュータに、ビデオデコーディング及び／又はエンコーディングの方法を実行させる命令を記憶している非一時的なコンピュータ可読媒体も提供する。

開示されている対象の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の説明図である。 一例における現在ブロック及びその周囲空間マージ候補の概略図である。 実施形態に従う通信システム（３００）の略ブロック図の概略図である。 実施形態に従う通信システム（４００）の略ブロック図の概略図である。 実施形態に従うデコーダの略ブロック図の概略図である。 実施形態に従うエンコーダの略ブロック図の概略図である。 他の実施形態に従うエンコーダのブロック図を示す。 他の実施形態に従うデコーダのブロック図を示す。 開示の実施形態に従う、コーディングブロックに対するノミナルモードの例を示す。 本開示の態様に従う非指向性平滑イントラ予測の例を示す。 開示の実施形態に従う再帰フィルタリングに基づいたイントラ予測子の例を示す。 開示の実施形態に従う、コーディングブロックの複数の参照ラインの例を示す。 開示の実施形態に従う、ブロックに対する変換ブロックパーティションの例を示す。 開示の実施形態に従う、ブロックに対する変換ブロックパーティションの例を示す。 開示の実施形態に従う１次変換基底関数の例を示す。 開示の実施形態に従う、変換ブロックサイズ及び予測モードに基づいた様々な変換カーネルの利用可能性の例示的な依存性を示す。 開示の実施形態に従う、イントラ予測モードに基づいた例示的な変換タイプ選択を示す。 開示の実施形態に従う、自己ループ重み及びエッジ重みによって特徴付けられた一般的な折れ線グラフ変換（ＬＧＴ）の例を示す。 開示の実施形態に従う例示的な一般化されたグラフラプラシアン（ＧＧＬ）行列を示す。 開示の実施形態に従う、１６×６４変換を使用する変換コーディングプロセス（１７００）の例を示す。 開示の実施形態に従う、１６×４８変換を使用する変換コーディングプロセス（１８００）の例を示す。 開示の実施形態に従うプロセス（１９００）を説明するフローチャートを示す。 実施形態に従うコンピュータシステムの概略図である。

図３は、本開示の実施形態に従う通信システム（３００）の略ブロック図を表す。通信システム（３００）は、例えば、ネットワーク（３５０）を介して、互いと通信することができる複数の端末デバイスを含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続されている端末デバイス（３１０）及び（３２０）の第１対を含む。図３の例では、端末デバイス（３１０）及び（３２０）の第１対は、データの一方向伝送を実行する。例えば、端末デバイス（３１０）は、ネットワーク（３５０）を介した他の端末デバイス（３２０）への伝送のためにビデオデータ（例えば、端末デバイス（３１０）によって捕捉されるビデオデータのストリーム）をコーディングしてよい。エンコーディングされたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送可能である。端末デバイス（３２０）は、コーディングされたビデオデータをネットワーク（３５０）から受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復し、回復されたビデオデータに従ってビデオピクチャを表示してよい。一方向データ伝送は、メディアサービングアプリケーションなどにおいて一般的であり得る。

他の例では、通信システム（３００）は、例えば、ビデオ会議中に、現れ得るコーディングされたビデオデータの双方向伝送を実行する端末デバイス（３３０）及び（３４０）の第２対を含む。データの双方向伝送のために、例において、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介した端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスへの伝送のためにビデオデータ（例えば、その端末デバイスによって捕捉されるビデオピクチャのストリーム）をコーディングしてよい。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを回復してよく、回復されたビデオデータに従って、アクセス可能な表示デバイスでビデオピクチャを表示してよい。

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして表され得るが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤー、及び／又は専用のビデオ会議装置により用途を見出す。ネットワーク（３５０）は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間でコーディングされたビデオデータを伝達する任意数のネットワークに相当する。通信ネットワーク（３５０）は、回路交換及び／又はパケット交換チャネルにおいてデータを交換してもよい。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットがある。本議論のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において以降で説明されない限りは、本開示の動作に無関係であってよい。

図４は、開示されている対象の応用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を表す。開示されている対象は、例えば、ビデオ会議と、デジタルＴＶと、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタル媒体上での圧縮されたビデオの記憶と、などを含む他のビデオ対応用途に同様に適用可能であることができる。

ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（４０２）を生成するビデオソース（４０１）、例えば、デジタルカメラ、を含むことができる捕捉サブシステム（４１３）を含んでよい。例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、エンコーディングされたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較して高いデータボリュームを強調するために太線で表されており、ビデオソース（４０１）へ結合されたビデオエンコーダ（４０３）を含む電子機器（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下で更に詳細に記載されるように、開示されている対象の態様を可能にするか又は実装するためのハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ（４０４）（又はエンコーディングされたビデオビットストリーム（４０４））は、ビデオピクチャのストリーム（４０２）と比較してより低いデータボリュームを強調するために細線で表されており、将来の使用のためにストリーミングサーバ（４０５）に記憶され得る。図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（４０４）のコピー（４０７）及び（４０９）を読み出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）において、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、エンコーディングされたビデオデータの入来するコピー（４０７）をデコーディングし、ディスプレイ（４１２）（例えば、表示スクリーン）又は他のレンダリングデバイス（図示せず。）でレンダリングされ得るビデオピクチャの送出ストリーム（４１１）を生成する。いくつかのストリーミングシステムにおいて、エンコーディングされたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。そのような規格の例には、ＩＴＵ－Ｔ推奨Ｈ．２６５がある。例において、開発中のビデオコーディング規格は、Versatile Video Coding（ＶＶＣ）として俗に知られている。開示されている対象は、ＶＶＣに関連して使用されてもよい。

なお、電子機器（４２０）及び（４３０）は、他のコンポーネント（図示せず。）を含むことができる。例えば、電子機器（４２０）は、ビデオデコーダ（図示せず。）を含むことができ、電子機器（４３０）は、ビデオエンコーダ（図示せず。）を同様に含むことができる。

図５は、本開示の実施形態に従うビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子機器（５３０）に含まれ得る。電子機器（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用され得る。

受信器（５３１）は、ビデオデコーダ（５１０）によってデコーディングされるべき１つ以上のコーディングされたビデオシーケンスを、同じ又は他の実施形態では、一度に１つのコーディングされたビデオシーケンスを、受信してよい。このとき、夫々のコーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（５０１）から受信されてよく、チャネルは、エンコーディングされたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器（５３１）は、エンコーディングされたビデオデータを他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてよい。受信器（５３１）は、コーディングされたビデオシーケンスを他のデータから分離してよい。ネットワークジッタに対抗するために、バッファメモリ（５１５）が受信器（５３１）とエントロピデコーダ／パーサ（５２０）（以降「パーサ（５２０）」）との間に結合されてよい。特定の用途では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の部分である。他では、それは、ビデオデコーダ（５１０）の外にあることができる（図示せず。）。更に他では、例えば、ネットワークジッタに対抗するための、ビデオデコーダ（５１０）の外にあるバッファメモリ（図示せず。）と、加えて、例えば、再生タイミングを操作するための、ビデオデコーダ（５１０）内のもう１つのバッファメモリ（５１５）とが存在することができる。受信器（５３１）が十分なバンド幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ（５１５）は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ（５１５）は必要とされる場合があり、比較的に大きく、かつ、有利なことには、適応サイズであることができ、ビデオデコーダ（５１０）の外のオペレーティングシステム又は同様の要素（図示せず。）に少なくとも部分的に実装され得る。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含んでよい。それらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子機器（５３０）の必須部分でないが、図５に示されたように、電子機器（５３０）へ結合され得るレンダーデバイス（５１２）（例えば、表示スクリーン）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスのための制御情報は、Supplemental Enhancement Information（ＳＥＩ）メッセージ又はVideo Usability Information（ＶＵＩ）パラメータセットフラグメント（図示せず。）の形をとってよい。パーサ（５２０）は、受信されるコーディングされたビデオシーケンスをパース／エントロピデコーディングしてよい。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（Group of Picture，ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Unit，ＣＵ）、ブロック、変換ユニット（Transform Unit，ＴＵ）、予測ユニット（Prediction Unit，ＰＵ）、などを含むことができる。パーサ（５２０）はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、などの情報も抽出し得る。

パーサ（５２０）は、シンボル（５２１）を生成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピデコーディング／パーシング動作を実行してよい。

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なるユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ（５２０）によってパースされたサブグループ制御情報によって制御され得る。パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。

既に述べられた機能ブロックを超えて、ビデオデコーダ（５１０）は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、それらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分は適切である。

第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からシンボル（５２１）として、量子化された変換係数とともに、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクスなどを含む制御情報を受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）へ入力することができるサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換器（５５１）の出力サンプルは、イントラコーディングされたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用しておらず、現在ピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。かような予測情報は、イントラピクチャ予測ユニット（５５２）によって供給され得る。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、いくつかの場合に、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって供給される出力サンプル情報に加える。

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、そして潜在的に、動き補償されたブロックに関係することができる。かような場合に、動き補償予測ユニット（５５３）は、予測のために使用されるサンプルをフェッチするよう参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関係するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後に、それらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル（５２１）の形で動き補償予測ユニット（５５３）が利用することができる動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間や、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができる。この技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる。）に含まれており、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（デコーディング順序において）前の部分のデコーディング中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。

ループフィルタユニット（５５６）の出力は、レンダーデバイス（５１２）へ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ（５５７）に記憶され得るサンプルストリームであることができる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の部分になることができ、未使用の現在ピクチャバッファが、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ推奨Ｈ．２６５などの標準規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行してよい。コーディングされたビデオシーケンスは、そのコーディングされたビデオシーケンスが、ビデオ圧縮技術又は標準規格のシンタックス及びビデオ圧縮技術又は標準規格において文書化されているプロファイルの両方に従うという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。具体的には、プロファイルは、ビデオ圧縮技術又は標準規格で利用可能な全てのツールからそのプロファイルの下での使用のために利用可能な唯一のツールとして特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義された境界内にあることが、順守のために必要である。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定された制限は、いくつかの場合に、Hypothetical Reference Decoder（ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて更に制限され得る。

実施形態において、受信器（５３１）は、エンコーディングされたビデオとともに、追加の（冗長な）データを受信してもよい。追加のデータは、コーディングされたビデオシーケンスの部分として含まれてもよい。追加のデータは、ビデオデコーダ（５１０）によって、データを適切にデコーディングするために及び／又は原ビデオデータをより正確に再構成するために使用されてよい。追加のデータは、例えば、時間、空間、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。

図６は、本開示の実施形態に従うビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子機器（６２０）に含まれている。電子機器（６２０）は、送信器（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用され得る。

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像を捕捉し得るビデオソース（６０１）（図６の例では電子機器（５６０）の部分ではない。）からビデオサンプルを受信してよい。他の例では、ビデオソース（６０１）は、電子機器（６２０）の部分である。

ビデオソース（６０１）は、任意の適切なビットデプス（例えば、８ビット、１０ビット、１２ビットなど）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢなど）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形で、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを供給してよい。メディアサービングシステムでは、ビデオソース（６０１）は、前に準備されたビデオを記憶している記憶デバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってよい。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間、などに依存する１つ以上のサンプルを有することができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。本明細書は、以下、サンプルに焦点を当てる。

実施形態に従って、ビデオエンコーダ（６０３）は、実時間において、又は用途によって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャを、コーディングされたビデオシーケンス（６４３）へとコーディング及び圧縮してよい。適切なコーディング速度を強いることは、コントローラ（６５０）の一機能である。いくつかの実施形態において、コントローラ（６５０）は、以下で記載されるような他の機能ユニットを制御し、他の機能ユニットへ機能的に結合される。結合は明りょうさのために表されていない。コントローラ（６５０）によってセットされるパラメータには、レート制御に関連したパラメータ（ピクチャスキップ、量子化器、レートひずみ最適化技術のラムダ値、など）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などが含まれ得る。コントローラ（６５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（６０３）に関係する他の適切な機能を有するよう構成され得る。

いくつかの実施形態において、ビデオエンコーダ（６０３）は、コーディングループで動作するよう構成される。過度に単純化された記載として、例において、コーディングループは、ソースコーダ（６３０）（例えば、コーディングされるべき入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する。）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（シンボルとコーディングされたビデオストリームとの間の如何なる圧縮も、開示されている対象で考えられているビデオ圧縮技術において可逆であるということで）（遠隔の）デコーダも生成することになるのと同様の方法でサンプルデータを生成するようにシンボルを再構成する。その再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）へ入力される。シンボルストリームのデコーディングは、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。すなわち、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに“見る”ことになるのとまさに同じサンプル値を参照ピクチャサンプルとして“見る”。参照ピクチャのシンクロニシティ（及び、例えば、チャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用されている。

“ローカル”のデコーダ（６３３）の動作は、図５とともに先に詳細に既に説明されている、ビデオデコーダ（５１０）などの“遠隔”のデコーダと同じであることができる。一時的に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であることができるということで、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピデコーディング部分は、ローカルのデコーダ（６３３）において完全には実装されなくてもよい。

この時点で行われ得る観察は、デコーダに存在するパーシング／エントロピデコーディングを除く如何なるデコーダ技術も、対応するエンコーダにおいて、実質的に同じ機能形態で、必然的に存在する必要があるということである。この理由により、開示されている対象は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、それらが、包括的に記載されるデコーダ技術の逆であるということで、省略され得る。特定の範囲においてのみ、より詳細な説明が必要とされ、以下で与えられている。

動作中、いくつかの例では、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと入力ピクチャのピクセルブロックとの間の差をコーディングする。

ローカルのビデオデコーダ（６３３）は、ソースコーダ（６３０）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングしてよい。コーディングエンジン（６３２）の動作は、有利なことに、不可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図６には図示せず。）でデコーディングされ得るとき、再構成されたビデオシーケンスは、通常は、いくらかのエラーを伴ったソースビデオシーケンスの複製であり得る。ローカルのビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを再現し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に格納されるようにしてよい。このように、ビデオエンコーダ（６０３）は、（伝送エラーなしで）遠端のビデオデコーダによって取得されることになる再構成された参照ピクチャと共通の内容を有している再構成された参照ピクチャのコピーをローカルで記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）のための予測探索を実行してよい。すなわち、新しいピクチャがコーディングされるために、予測器（６３５）は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ（６３４）から探してよい。予測器（６３５）は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してよい。いくつかの場合に、予測器（６３５）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶されている複数の参照ピクチャから引き出された予測基準を有してよい。

コントローラ（６５０）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング動作を管理してよい。

上記の全ての機能ユニットの出力は、エントロピコーダ（６４５）においてエントロピコーディングを受けてよい。エントロピコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。

送信器（６４０）は、エントロピコーダ（６４５）によって生成されたコーディングされたビデオシーケンスを、通信チャネル（６６０）を介した伝送のために準備するようにバッファリングしてよい。通信チャネル（６６０）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず）とマージしてもよい。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、コントローラ（６５０）は、各々のピクチャに適用され得るコーディング技術に影響を及ぼす可能性がある特定のコーディングされたピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャはしばしば、次のピクチャタイプのうちの１つとして割り当てられてよい。

イントラピクチャ（Intra Picture）（Ｉピクチャ）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずにコーディング及びデコーディングされ得るピクチャであってよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（Independent Decoder Refresh，ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴を知っている。

予測ピクチャ（Predictive Picture）（Ｐピクチャ）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。

双方向予測ピクチャ（Bi-directionally Predictive Picture）（Ｂピクチャ）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測によりコーディング及びデコーディングされ得るピクチャであってよい。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。Ｂピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、予測的にコーディングされてよい。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ推奨Ｈ．２６５のような所定のビデオコーディング技術又は標準規格に従ってコーディング動作を実行してよい。その動作中に、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間及び空間冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行してよい。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準規格によって定められているシンタックスに従い得る。

実施形態において、送信器（６４０）は、エンコーディングされたビデオとともに追加のデータを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてよい。追加のデータは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント、などを有してよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）として捕捉されてよい。イントラピクチャ予測（しばしばイントラ予測と省略される。）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関を利用する。例において、現在ピクチャ（current picture）と呼ばれる、エンコーディング／デコーディング中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のあるブロックが、ビデオの前にコーディングされて依然としてバッファリングされている参照ピクチャ内の参照ブロックと類似している場合に、現在ピクチャ内のそのブロックは、動きベクトル（motion vector）と呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第３の次元を有することができる。

いくつかの実施形態において、双予測技術がインターピクチャ予測において使用され得る。双予測技術に従って、２つの参照ピクチャ、例えば、ビデオ内で現在ピクチャに対してデコーディング順序において両方とも先行する（しかし、表示順序では、夫々、過去及び将来にあってよい。）第１参照ピクチャ及び第２参照ピクチャが、使用される。現在ピクチャ内のあるブロックは、第１参照ピクチャ内の第１参照ブロックを指し示す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指し示す第２動きベクトルとによって、コーディングされ得る。そのブロックは、第１参照ブロック及び第２参照ブロックの組み合わせによって予測可能である。

更に、マージモード技術が、コーディング効率を改善するためにインターピクチャ予測において使用され得る。

本開示のいくつかの実施形態に従って、インターピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットにおいて実行される。例えば、ＨＥＶＣ標準規格に従って、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（Coding Tree Unit，ＣＴＵ）にパーティション化され、ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルといった同じサイズを有する。一般に、ＣＴＵは、１つのルーマＣＴＢ及び２つのクロマＣＴＢである３つのコーディングツリーブロック（Coding Tree Block，ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディングユニット（Coding Unit，ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割可能である。例において、各ＣＵは、インター予測タイプ又はイントラ予測タイプなどの、ＣＵに対する予測タイプを決定するよう解析される。ＣＵは、時間及び／又は空間予測可能性に応じて１つ以上の予測ユニット（Prediction Unit，ＰＵ）に分割される。一般に、各ＰＵは、１つのルーマ予測ブロック（Prediction Block，ＰＢ）及び２つのクロマＰＢを含む。実施形態において、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルーマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセルなどのような、ピクセルの値（例えば、ルーマ値）の行列を含む。

図７は、開示の他の実施形態に従うビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャの連続に含まれる現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャへと処理ブロックをエンコーディングするよう構成される。例において、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、例えば、レートひずみ最適化を用いて、処理ブロックがイントラモード、インターモード、又は双予測モードにより最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするためにイントラ予測技術を使用してよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきである場合には、ビデオエンコーダ（７０３）は、コーディングされたピクチャへと処理ブロックをエンコーディングするためにインター予測又は双予測技術を夫々使用してよい。特定のビデオコーディング技術において、マージモードは、予測子の外にあるコーディングされた動きベクトル成分の恩恵を受けずに１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードであることができる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在する場合がある。例において、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するモード決定モジュール（図示せず。）などの他のコンポーネントを含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように結合されているインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）、及びエントロピエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、そのブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術に従う冗長情報の記述、動きベクトル、マージモード情報）を生成し、何らかの適切な技術を用いてインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するよう構成される。いくつかの例において、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされているデコーディングされた参照ピクチャである。

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受け取り、いくつかの場合には、同じピクチャ内で既にコーディングされたブロックとそのブロックを比較し、変換後の量子化された係数を、更には、いくつかの場合には、イントラ予測情報（例えば、１つ以上のイントラエンコーディング技術に従うイントラ予測方向情報）も生成するよう構成される。例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）を計算する。

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するよう構成される。例において、汎用コントローラ（７２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（７２６）へ供給する。例えば、モードがイントラモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにイントラモード結果を選択するようスイッチ（７２６）を制御し、そして、イントラ予測情報を選択し、イントラ予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。モードがインターモードである場合には、汎用コントローラ（７２１）は、残差計算部（７２３）による使用のためにインター予測結果を選択するようスイッチ（７２６）を制御し、そして、インター予測情報を選択し、インター予測情報をビットストリームに含めるようエントロピエンコーダ（７２５）を制御する。

残差計算部（７２３）は、受け取られたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データをエンコーディングして変換係数を生成するために残差データに基づき動作するよう構成される。例において、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するよう構成される。次いで、変換係数は、量子化された変換係数を取得するよう量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、デコーディングされた残差データを生成するよう構成される。デコーディングされた残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、デコーディングされた残差データ及びインター予測情報に基づいて、デコーディングされたブロックを生成することができ、イントラエンコーダ（７２２）は、デコーディングされた残差データ及びイントラ予測情報に基づいて、デコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するよう適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず。）にバッファリングされ、いくつかの例では参照ピクチャとして使用され得る。

エントロピエンコーダ（７２５）は、エンコーディングされたブロックを含めるようにビットストリームをフォーマット化するよう構成される。エントロピエンコーダ（７２５）は、ＨＥＶＣ標準規格などの適切な標準規格に従って様々な情報を含めるよう構成される。例において、エントロピエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報をビットストリームに含めるよう構成される。開示されている対象に従って、インターモード又は双予測モードのどちらか一方のマージサブモードでブロックをコーディングする場合に、残差情報は存在しない点に留意されたい。

図８は、開示の他の実施形態に従うビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの部分であるコーディングされたピクチャを受け取り、コーディングされたピクチャをデコーディングして、再構成されたピクチャを生成するよう構成される。例において、ビデオデコーダ（８１０）は、図４の例のビデオデコーダ（４１０）の代わりに使用される。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように結合されているエントロピデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含む。

エントロピデコーダ（８７１）は、コーディングされたピクチャから、シンタックス要素を表す特定のシンボルを再構成するよう構成され得、それらから、コーディングされたピクチャは構成されている。かようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、又はマージサブモード若しくは他のサブモードにおけるインターモード若しくは双予測モード）、イントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために夫々使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば、量子化された変換係数の形をとる残差情報、などを含むことができる。例において、予測モードがインター又は双予測モードである場合には、インター予測情報がインターデコーダ（８８０）へ供給され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（８７２）へ供給される。残差情報は、逆量子化を受けることができ、残差デコーダ（８７３）へ供給される。

インターデコーダ（８８０）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するよう構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するよう構成される。

残差デコーダ（８７３）は、逆量子化された変換係数を取り出すように逆量子化を実行し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するよう構成される。残差デコーダ（８７３）はまた、（量子化パラメータ（ＱＰ）を含めるための）特定の制御情報を要求してもよく、その情報は、エントロピデコーダ（８７１）によって供給されてよい（これは低容量の制御情報のみであるということで、データパスは示されない。）。

再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力された残差と、（場合によっては、インター又はイントラ予測モジュールによって出力された）予測結果とを空間領域において組み合わせて、再構成されたブロックを形成するよう構成される。再構成されたブロックは、再構成されたピクチャの部分であってよく、次いで、再構成されたピクチャは、再構成されたビデオの部分であってよい。なお、デブロッキング動作などのような他の適切な動作が、視覚品質を改善するために実行されてもよい。

なお、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、如何なる適切な技術によっても実装可能である。実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を用いて実装可能である。他の実施形態では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装可能である。

２次変換セットの効率的な適用のような、２次変換の効率的な適用に関係があるビデオコーディング技術が、開示される。２次変換の効率的な適用は、如何なる適切なビデオコーディングフォーマット又は標準規格でも適用可能であることができる。ビデオコーディングフォーマットは、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）又はＡＶ１を超える次世代のＡＯＭｅｄｉａ Ｖｉｄｅｏフォーマットのような、インターネット上のビデオ伝送のために設計されたオープンビデオコーディングフォーマットを含むことができる。ビデオコーディング標準規格は、高効率ビデオコーディング（High Efficiency Video Coding，ＨＥＶＣ）標準規格、ＨＥＶＣを超える次世代のビデオコーディング（例えば、バーサタイルビデオコーディング（Versatile Video Coding，ＶＶＣ））などを含むことができる。

様々なイントラ予測モードがイントラ予測において、例えば、ＡＶ１、ＶＶＣ、及び／又は他において使用され得る。実施形態において、ＡＶ１でのように、指向性イントラ予測が使用される。例において、オープンビデオコーディングフォーマットＶＰ９でのように、４５°から２０７°までの８つの各に対応する８つの指向性モードが使用される。指向性テクスチャでより多くの空間冗長性を利用するために、例えば、ＡＶ１では、指向性モード（指向性イントラモード、指向性イントラ予測モード、角度モードとも呼ばれる。）は、図９に示されるように、より細かい粒度による角度セットに拡張され得る。

図９は、開示の実施形態に従う、コーディングブロック（ＣＢ）（９１０）に対するノミナル（nominal）モードの例を示す。特定の角度（ノミナル角度と呼ばれる。）は、ノミナルモードに対応することができる。例において、８つのノミナル角度（又はノミナルイントラ角度）（９０１）～（９０８）は、８つのノミナルモード（例えば、Ｖ＿ＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、及びＤ６７＿ＰＲＥＤ）に夫々対応する。８つのノミナル角度（９０１）～（９０８）及び８つのノミナルモードは、Ｖ＿ＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、及びＤ６７＿ＰＲＥＤと夫々呼ばれ得る。更に、各ノミナル角度は、複数のより細かい角度に対応することができるので、５６個の角度（若しくは予測角度）又は５６個の指向性モード（若しくは角度モード、指向性イントラ予測モード）が、例えば、ＡＶ１では使用され得る。各予測角度は、ノミナル角度及び角度オフセット（又は角度デルタ）によって示され得る。角度オフセットは、オフセット整数Ｉ（例えば、－３、－２、－１、０、１、２、又は３）にステップサイズ（例えば、３°）を乗じることによって求められ得る。例において、予測角度は、ノミナル角度と角度オフセットとの和に等しい。例において、ＡＶ１でのように、ノミナルモード（例えば、８つのノミナルモード（９０１）～（９０８））は、特定の非角度平滑モード（non-angular smooth modes）（例えば、後述されるＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、垂直ＳＭＯＯＴＨモード、及び水平ＳＭＯＯＴＨモードのような、５つの非角度平滑モード）とともに、通知され得る。その後に、現在の予測モードが指向性モード（又は角度モード）である場合には、ノミナル角度に対応する角度オフセット（例えば、オフセット整数Ｉ）を示すために、インデックスが更に通知され得る。例において、一般的な方法により指向性予測モードを実装するために、ＡＶ１で使用されているもののような５６個の指向性モードは、各ピクセルを参照サブピクセル位置に投影し、参照ピクセルを２－タップ双線形フィルタによって補間することができる統一された方向予測子で実装される。

非指向性平滑イントラ予測子（非指向性平滑イントラ予測モード、非指向性平滑モード、非角度平滑モードとも呼ばれる。）は、ＣＢのようなブロックのためのイントラ予測で使用され得る。いくつかの例において（例えば、ＡＶ１において）、５つの非指向性平滑イントラ予測モードは、ＤＣモード又はＤＣ予測子（例えば、ＤＣ）、ＰＡＥＴＨモード又はＰＡＥＴＨ予測子（例えば、ＰＡＥＴＨ）、ＳＭＯＯＴＨモード又はＳＭＯＯＴＨ予測子（例えば、ＳＭＯＯＴＨ）、垂直ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｖ予測子、ＳＭＯＯＴＨ＿Ｖと呼ばれる。）、及び水平ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ＿Ｈモード、ＳＭＯＯＴＨ＿Ｈ予測子、又はＳＭＯＯＴＨ＿Ｈと呼ばれる。）を含む。

図１０は、開示の実施形態に従う、非指向性平滑イントラ予測モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、及びＳＭＯＯＴＨ＿Ｈモード）の例を示す。ＤＣ予測子に基づきＣＢ（１０００）内のサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１値と、上隣接サンプル（又は上部の隣接サンプル）（１０１１）の第２値との平均が、予測子として使用され得る。

ＰＡＥＴＨ予測子に基づきサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１値、上隣接サンプル（１０１１）の第２値、及び左上隣接サンプル（１０１３）の第３値が取得され得る。次いで、式１を用いて、参照値が求められる：

参照値＝第１値＋第２値－第３値 （式１）

参照値に最も近い、第１値、第２値、及び第３値のうちの１つが、サンプル（１００１）のための予測子としてセットされ得る。

ＳＭＯＯＴＨ＿Ｖモード、ＳＭＯＯＴＨ＿Ｈモード、及びＳＭＯＯＴＨモードは、垂直方向、水平方向、及び垂直方向と水平方向との平均での二次補間（quadratic interpolation）を夫々用いてＣＢ（１０００）を予測することができる。ＳＭＯＯＴＨ予測子に基づきサンプル（１００１）を予測するために、第１値と、第２値と、右サンプル（１０１４）の値と、下サンプル（１０１６）の値との平均（例えば、加重結合）が、使用され得る。様々な例において、右サンプル（１０１４）及び下サンプル（１０１６）は、再構成されておらず、よって、右上隣接サンプル（１０１５）の値及び左下隣接サンプル（１０１７）の値が、右サンプル（１０１４）及び下サンプル（１０１６）の値を夫々置換することができる。従って、第１値と、第２値と、右上隣接サンプル（１０１５）の値と、左下隣接サンプル（１０１７）の値との平均（例えば、加重結合）が、ＳＭＯＯＴＨ予測子として使用され得る。ＳＭＯＯＴＨ＿Ｖ予測子に基づきサンプル（１００１）を予測するために、上隣接サンプル（１０１１）の第２値と、左下隣接サンプル（１０１７）の値との平均（例えば、加重平均）が、使用され得る。ＳＭＯＯＴＨ＿Ｈ予測子に基づきサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１値と、右上隣接サンプル（１０１５）の値との平均（例えば、加重結合）が、使用され得る。

図１１は、開示の実施形態に従う、再帰フィルタリングに基づいたイントラ予測子（フィルタイントラモード、又は再帰フィルタリングモードとも呼ばれる。）の例を示す。エッジ上の参照との減衰する空間相関をキャプチャするために、フィルタイントラモードが、ＣＢ（１１００）のようなブロックのために使用され得る。例において、ＣＢ（１１００）はルーマブロックである。ルーマブロック（１１００）は、複数のパッチ（例えば、８つの４×２パッチＢ０～Ｂ７）に分割され得る。パッチＢ０～Ｂ７の夫々は、複数の隣接するサンプルを有する可能性がある。例えば、パッチＢ０は、４つの上隣接サンプルＲ０１～Ｒ０４、２つの左隣接サンプルＲ０５～Ｒ０６、及び左上隣接サンプルＲ００を含む７つの隣接サンプル（又は７つのネイバー）Ｒ００～Ｒ０６を有する。同様に、パッチＢ７は、４つの上隣接サンプルＲ７１～Ｒ７４、２つの左隣接サンプルＲ７５～Ｒ７６、及び左上隣接サンプルＲ７０を含む７つの隣接サンプルＲ７０～Ｒ７６を有する。

いくつかの例において、複数（例えば、５つ）のフィルタイントラモード（又は複数の再帰フィルタリングモード）が、例えば、ＡＶ１のために、予め定義される。各フィルタイントラモードは、対応する４×２パッチ（例えば、Ｂ０）内のサンプル（又はピクセル）と、４×２パッチＢ０に隣接している７つのネイバー（例えば、Ｒ００～Ｒ０６）との間の相関を反映する８つの７－タップフィルタの組によって、表され得る。７－タップフィルタの重み係数は位置依存であることができる。パッチＢ０～Ｂ７の夫々について、７つのネイバー（例えば、Ｂ０の場合はＲ００～Ｒ０６、Ｂ７の場合はＲ７０～Ｒ７６）が、対応するパッチ内のサンプルを予測するために使用され得る。例において、ネイバーＲ００～Ｒ０６は、パッチＢ０内のサンプルを予測するために使用される。例において、ネイバーＲ７０～Ｒ７６は、パッチＢ７内のサンプルを予測するために使用される。パッチＢ０のような、ＣＢ（１１００）内の特定のパッチについて、７つ全てのネイバー（例えば、Ｒ００～Ｒ０６）は既に再構成されている。ＣＢ（１１００）内の他のパッチについては、７つのネイバーのうちの少なくとも１つが再構成されておらず、よって、相隣の予測された値（又は相隣の予測サンプル）が参照として使用され得る。例えば、パッチＢ７の７つのネイバーＲ７０～Ｒ７６は再構成されておらず、故に、相隣の予測サンプルが使用され得る。

クロマサンプルは、ルーマサンプルから予測され得る。実施形態において、クロマ・フロム・ルーマ（Chroma from Luma）モード（例えば、ＣｆＬモード、ＣｆＬ予測子）は、同時に起こる再構成されたルーマサンプル（又はピクセル）の線形関数としてクロマサンプル（又はピクセル）をモデル化することができる。例えば、ＣｆＬ予測は、以下のように式２を用いて表され得る：

ＣｆＬ（α）＝αＬ^Ａ＋Ｄ （式２）

ここで、Ｌ^Ａは、ルーマ成分のＡＣ寄与を表し、αは、線形モデルのスケーリングパラメータを表し、Ｄは、クロマ成分のＤＣ寄与を表す。例において、再構成されたルーマピクセルは、クロマ分解能に基づきサブサンプリングされ、平均値は、ＡＣ寄与（例えば、Ｌ^Ａ）を形成するよう減じられる。ＡＣ寄与からクロマＡＣ成分を近似するために、デコーダにスケーリングパラメータαを計算することを求める代わりに、いくつかの例では、ＡＶ１でのように、ＣｆＬモードは、原クロマピクセルに基づきスケーリングパラメータαを決定し、スケーリングパラメータαをビットストリームでシグナリングし、そのようにしてデコーダ複雑性を低減しかつより正確な予測をもたらす。クロマ成分のＤＣ寄与は、イントラＤＣモードを用いて計算され得る。イントラＤＣモードは、ほとんどのクロマコンテンツにとって十分であり、成熟した高速な実装を有することができる。

マルチラインイントラ予測は、イントラ予測のために、より多くの参照ラインを使用することができる。参照ラインは、ピクチャ内の複数のサンプルを含むことができる。例において、参照ラインは、行におけるサンプル及び列におけるサンプルを含む。例において、エンコーダは、イントラ予測子を生成するために使用される参照ラインを決定し通知することができる。参照ラインを示すインデックス（参照ラインインデックスとも呼ばれる。）は、イントラ予測モードの前にシグナリングされ得る。例において、非ゼロの参照ラインインデックスがシグナリングされる場合に、ＭＰＭのみが許可される。図１２は、ＣＢ（１２１０）のための４つの参照ラインの例を示す。図１２を参照すると、参照ラインは、最大６つのセグメント、例えば、セグメントＡ～Ｆと、左上参照サンプルとを含むことができる。例えば、参照ライン０は、セグメントＢ及びＥと、左上参照サンプルとを含む。例えば、参照ライン３は、セグメントＡ～Ｆと、左上参照サンプルとを含む。セグメントＡ及びＦは、夫々、セグメントＢ及びＥからの最も近いサンプルでパディングされ得る。いくつかの例において、ＨＥＶＣでのように、ただ１つの参照ライン（例えば、ＣＢ（１２０）に隣接している参照ライン０）がイントラ予測のために使用される。いくつかの例において、ＶＶＣでのように、複数の参照ライン（例えば、参照ライン０、１及び３）がイントラ予測のために使用される。

一般に、ブロックは、図９～１２を参照して上述されたもののような、様々なイントラ予測モードのうちの１つ又は適切な組み合わせを用いて予測され得る。

変換ブロックパーティション（変換パーティション、変換ユニットパーティションとも呼ばれる。）は、ブロックを複数の変換ユニットにパーティション化するよう実装され得る。図１３～１４は、開示の実施形態に従う例示的な変換ブロックパーティションを示す。いくつかの例において、ＡＶ１でのように、イントラコーディングされたブロック及びインターコーディングされたブロックは両方とも、最大複数個のレベル（例えば、２レベル）のパーティショニングデプスで複数の変換ユニットに更にパーティション化され得る。

イントラコーディングされたブロックについて、変換パーティションは、イントラコーディングされたブロックに関連した変換ブロックが同じサイズを有するように実行可能であり、変換ブロックは、ラスタスキャン順序でコーディングされ得る。図１３を参照すると、変換ブロックパーティションがブロック（例えば、イントラコーディングされたブロック）（１３００）に対して実行され得る。ブロック（１３００）は、４つの変換ユニット（例えば、ＴＢ）（１３０１）～（１３０４）のような、変換ユニットにパーティション化され得、パーティショニングデプスは１である。４つの変換ユニット（例えば、ＴＢ）（１３０１）～（１３０４）は同じサイズを有することができ、変換ユニット（１３０１）から変換ユニット（１３０４）までラスタスキャン順序（１３１０）でコーディングされ得る。例において、４つの変換ユニット（ＴＢ）（１３０１）～（１３０４）は、例えば、異なる変換カーネルを用いて、別々に変換される。いくつかの例において、４つの変換ユニット（例えば、ＴＢ）（１３０１）～（１３０４）の夫々は更に、４つの変換ユニットにパーティション化される。例えば、変換ユニット（１３０１）は、変換ユニット（１３２１）、（１３２２）、（１３２５）及び（１３２６）にパーティション化され、変換ユニット（１３０２）は、変換ユニット（１３２３）、（１３２４）、（１３２７）及び（１３２８）にパーティション化され、変換ユニット（１３０３）は、変換ユニット（１３２９）、（１３３０）、（１３３３）及び（１３３４）にパーティション化され、変換ユニット（１３０４）は変換ユニット（１３３１）、（１３３２）、（１３３５）及び（１３３６）にパーティション化される。パーティショニングデプスは２である。変換ユニット（例えば、ＴＢ）（１３２１）～（１３３６）は、同じサイズを有することができ、変換ユニット（１３２１）から変換ユニット（１３３６）までラスタスキャン順序（１３２０）でコーディングされ得る。

インターコーディングされたブロックについて、変換パーティションは、最大複数個のレベル（例えば、２レベル）のパーティショニングデプスで再帰的にパーティション化され得る。変換パーティションは、任意の適切な変換ユニットサイズ及び形状をサポートすることができる。変換ユニット形状は、正方形と、任意の適切なアスペクト比を有する非正方形（例えば、非正方の長方形）とを含むことができる。変換ユニットサイズは、４×４から６４×６４の範囲に及ぶことができる。変換ユニットのアスペクト比（例えば、変換ユニットの高さに対する変換ユニットの幅の比）は１：１（正方）、１：２、２：１、１：４、４：１、などであることができる。変換パーティションは、４×４から６４×６４の範囲に及ぶ１：１（正方）、１：２、２：１、１：４、及び／又は４：１変換ユニットサイズをサポートすることができる。図１４を参照すると、変換ブロックパーティションは、ブロック（例えば、インターコーディングされたブロック）に対して再帰的に実行され得る。例えば、ブロック（１４００）は、変換ユニット（１４０１）～（１４０７）にパーティション化される。変換ユニット（例えば、ＴＢ）（１４０１）～（１４０７）は、異なるサイズを有することができ、変換ユニット（１４０１）から変換ユニット（１４０７）までラスタスキャン順序（１４１０）でコーディングされ得る。例において、変換ユニット（１４０１）、（１４０６）及び（１４０７）のパーティショニングデプスは１であり、変換ユニット（１４０２）～（１４０５）のパーティショニングデプスは２である。

例において、コーディングブロックが６４×６４よりも小さいか又はそれと等しい場合に、変換パーティションは、ルーマ成分にのみ適用され得る。例において、コーディングブロックはＣＴＢを参照する。

コーディングブロック幅Ｗ又はコーディングブロック高さＨが６４よりも大きい場合に、コーディングブロックは、暗黙的に、複数のＴＢに分けられ得る。このとき、コーディングブロックはルーマコーディングブロックである。複数のＴＢのうちの１つの幅は、Ｗ及び６４のうちの最小であることができ、複数のＴＢのうちの１つの高さは、Ｈ及び６４のうちの最小であることができる。

コーディングブロック幅Ｗ又はコーディングブロック高さＨが６４よりも大きい場合に、コーディングブロックは、暗黙的に、複数のＴＢに分けられ得る。このとき、コーディングブロックはクロマコーディングブロックである。複数のＴＢのうちの１つの幅は、Ｗ及び３２のうちの最小であることができ、複数のＴＢのうちの１つの高さは、Ｈ及び３２のうちの最小であることができる。

ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）で使用されるもののような、１次変換（primary transforms）の実施形態が以下で記載される。開示において記載されているような、拡張されたコーディングブロックパーティションをサポートするために、複数の変換サイズ（例えば、次元ごとに４－ポイントから６４－ポイントに及ぶ。）及び変換形状（例えば、正方形、２：１、１：２、４：１又は１：４の高さに対する幅の比を有する長方形）が、ＡＶ１でのように、使用され得る。

２Ｄ変換プロセスは、コーディングされた残差ブロックの次元ごとに異なる１Ｄ変換を含むことができるハイブリッド変換カーネルを使用することができる。１次１Ｄ変換は、（ａ）４－ポイント、８－ポイント、１６－ポイント、３２－ポイント、６４－ポイントＤＣＴ－２、（ｂ）４－ポイント、８－ポイント、１６－ポイント非対称（Asymmetric）ＤＳＴ（ＡＤＳＴ）（例えば、ＤＳＴ－４、ＤＳＴ－７）及び対応するフリップバージョン（例えば、ＡＤＳＴのフリップバージョン、つまり、ＦｌｉｐＡＤＳＴは、逆の順序でＡＤＳＴを適用することができる。）、及び／又は（ｃ）４－ポイント、８－ポイント、１６－ポイント、３２－ポイント恒等変換（identity transform）（ＩＤＴＸ）を含むことができる。図１５は、開示の実施形態に従う１次変換基底関数（primary transform basis functions）の例を示す。図１５の例における１次変換基底関数は、Ｎ－ポイント入力を有するＤＣＴ－２及び非対称ＤＳＴ（ＤＳＴ－４及びＤＳＴ－７）の基底関数を含む。図１５に示される１次変換基底関数は、ＡＶ１で使用され得る。

ハイブリッド変換カーネルの利用可能性は、変換ブロックサイズ及び予測モードに依存することができる。図１６Ａは、変換ブロックサイズ（例えば、３列目に示されているサイズ）及び予測モード（例えば、３列目に示されているイントラ予測及びインター予測）に基づいた様々な変換カーネル（例えば、１列目に示されており、２列目で説明されている変換タイプ）の利用可能性の例示的な依存性を示す。例示的なハイブリッド変換カーネルと、予測モード及び変換ブロックサイズに基づいた利用可能性とは、ＡＶ１で使用され得る。図１６を参照すると、「→」及び「↓」の符号は、夫々、水平次元（水平法とも呼ばれる。）及び垂直次元（垂直方向とも呼ばれる。）を表す。チェックマーク及び「ｘ」の符号は、対応するブロックサイズ及び予測モードに対する変換カーネルの利用可能性を表す。例えば、チェックマークは、変換カーネルが利用可能であることを表し、シンボル「ｘ」の符号は、変換カーネルが利用不可能であることを表す。

例において、変換タイプ（１６１０）は、図１６Ａの１列目に示されているように、ＡＤＳＴ＿ＤＣＴによって表される。変換タイプ（１６１０）は、図１６Ａの２列目に示されるように、垂直方向でのＡＤＳＴ及び水平方向でのＤＳＴを含む。図１６Ａの３列目によれば、変換タイプ（１６１０）は、ブロックサイズが１６×１６（例えば、１６×１６サンプル、１６×１６ルーマサンプル）よりも小さいか又はそれと等しい場合に、イントラ予測及びインター予測のために利用可能である。

例において、変換タイプ（１６２０）は、図１６Ａの１列目に示されているように、Ｖ＿ＡＤＳＴによって表される。変換タイプ（１６２０）は、図１６Ａの２列目に示されているように、垂直方向でのＡＤＳＴ及び水平方向でのＩＤＴＸ（すなわち、単位行列）を含む。よって、変換タイプ（１６２０）（例えば、Ｖ＿ＡＤＳＴ）は、垂直方向で実行され、水平方向では実行されない。図１６Ａの３列目によれば、変換タイプ（１６２０）は、ブロックサイズにかかわらずイントラ予測のために利用可能でない。変換タイプ（１６２２０）は、ブロックサイズが１６×１６（例えば、１６×１６サンプル、１６×１６ルーマサンプル）よりも小さい場合に、インター予測のために利用可能である。

例において、図１６Ａは、ルーマ成分に適用可能である。クロマ成分については、変換タイプ（又は変換カーネル）選択は、暗黙的に実行され得る。例において、イントラ予測残差については、変換タイプは、図１６Ｂに示されるように、イントラ予測モードに従って選択され得る。例において、図１６Ｂに示される変換タイプ選択は、クロマ成分に適用可能である。インター予測残差については、変換タイプは、同一位置の（co-located）ルーマブロックの変換タイプ選択に従って選択され得る。従って、例において、クロマ成分に対する変換タイプは、ビットストリームで通知されない。

折れ線グラフ変換（Line Graph Transforms，ＬＧＴ）は、例えば、ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２（ＡＶ２）で、１次変換のような変換において使用され得る。８ビット／１０ビット変換コアがＡＶ２で使用され得る。例において、ＬＧＴは、以下で記載されるように、様々なＤＣＴ、離散サイン変換（ＤＳＴ）を含む。ＬＧＴは、３２-ポイント及び６４－ポイント１次元（１Ｄ）ＤＳＴを含むことができる。

グラフは、関心のあるオブジェクト間のアフィニティ関係をモデル化するために使用され得る頂点及びエッジの組を含む一般的な数学構造である。重みの組がエッジに、及び任意に、頂点に割り当てられている重み付きグラフは、信号／データのロバストなモデリングのためのスパース表現を提供することができる。ＬＧＴは、多様なブロック統計のためのより良い適応をもたらすことでコーディング効率を改善することができる。分離可能なＬＧＴは、データから折れ線グラフを学習して、ブロックの残差信号の基礎となる行及び列ごとの統計をモデル化することで、設計及び最適化され得、関連する一般化されたグラフラプラシアン（Generalized Graph Laplacian，ＧＧＬ）行列は、ＬＧＴを導出するために使用され得る。

図１６Ｃは、開示の実施形態に従う、自己ループ重み（例えば、ｖ_ｃ１、ｖ_ｃ２）及びエッジ重みｗ_ｃによって特徴付けられた一般的なＬＧＴの例を示す。重み付きグラフＧ（Ｗ，Ｖ）を考えると、ＧＧＬ行列は、以下のように定義され得る：

Ｌ_ｃ＝Ｄ－Ｗ＋Ｖ （式３）

ここで、Ｗは、非負のエッジ重みｗ_ｃを含む隣接行列であることができ、Ｄは、対角次数行列であることができ、Ｖは、自己ループ重みｖ_ｃ１及びｖ_ｃ２を表す対角行列であることができる。図１６Ｄは、行列Ｌ_ｃの例を示す。

ＬＧＴは、以下のように、ＧＧＬ行列Ｌ_ｃの固有値分解によって導出され得る：

Ｌ_ｃ＝ＵΦＵ^Ｔ （式４）

ここで、直交行列Ｕの列は、ＬＧＴの基底ベクトルであることができ、Φは、対角固有値行列であることができる。

様々な例において、特定のＤＣＴ及びＤＳＴ（例えば、ＤＣＴ－２、ＤＣＴ－８、及びＤＳＴ－７）は、特定の形式のＧＧＬから得られたＬＧＴの組のサブセットである。ＤＣＴ－２は、ｖ_ｃ１を０にセットすること（例えば、ｖ_ｃ１＝０）によって導出され得る。ＤＳＴ－７は、ｖ_ｃ１をｗ_ｃにセットすること（例えば、ｖ_ｃ１＝ｗ_ｃ）によって導出され得る。ＤＣＴ－８は、ｖ_ｃ２をｗ_ｃにセットすること（例えば、ｖ_ｃ２＝ｗ_ｃ）によって導出され得る。ＤＳＴ－４は、ｖ_ｃ１を２ｗ_ｃにセットすること（例えば、ｖ_ｃ１＝２ｗ_ｃ）によって導出され得る。ＤＣＴ－４は、ｖ_ｃ２を２ｗ_ｃにセットすること（例えば、ｖ_ｃ２＝２ｗ_ｃ）によって導出され得る。

いくつかの例において、ＡＶ２でのように、ＬＧＴは行列乗算として実装され得る。４－ポイント（４ｐ）ＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１を２ｗ_ｃにセットすることによって導出され得るので、４ｐ ＬＧＴコアはＤＳＴ－４である。８－ポイント（８ｐ）ＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１を１．５ｗ_ｃにセットすることによって導出され得る。例において、１６－ポイント（１６ｐ）ＬＧＴコア、３２－ポイント（３２ｐ）ＬＧＴコア、又は６４－ポイント（６４ｐ）ＬＧＴコアのようなＬＧＴコアは、ｖ_ｃ１をｗ_ｃであるようかつｖ_ｃ２を０であるようセットすることによって導出され得、ＬＧＴコアはＤＳＴ－７ｗになることができる。

１次変換、２次変換のような変換は、ＣＢのようなブロックに適用され得る。例において、変換は、１次変換と２次変換との組み合わせを含む。変換は、非分離可能変換、分離可能変換、又は非分離可能変換と分離可能変換との組み合わせを含む。

２次変換は、ＶＶＣでのように、実行される。いくつかの例において、ＶＶＣでのように、低周波数非分離可能変換（Low-Frequency Non-Separable Transform，ＬＦＮＳＴ）は、削減２次変換（Reduced Secondary Transform，ＲＳＴ）としても知られており、１次変換係数を更に非相関にするために、図１７及び図１８で示されるように、エンコーダ側では順方向１次変換と量子化との間で、デコーダ側では逆量子化と逆方向１次変換との間で適用され得る。

ＬＦＮＳＴで使用され得る非分離可能変換の適用は、一例として４×４入力ブロック（又は入力行列）を用いて以下のように記載される（式５に示される。）。４×４非分離可能変換の適用（例えば、ＬＦＮＳＴ）を適用するために、４×４入力ブロックＸは、式５及び式６で示されるように、
（外１）
によって表され得る：

非分離可能変換は、次のように計算され得る：
ここで、
（外２）

は、変換係数ベクトルを示し、Ｔは、１６×１６変換行列である。
（外３）

は、その後に、４×４入力ブロックの走査順序（例えば、水平走査順序、垂直走査順序、ジグザグ走査順序、又は対角走査順序）を用いて、４×４出力ブロック（又は出力行列、係数ブロック）に再編成され得る。より小さいインデックスを有する変換係数は、４×４係数ブロックにおいて、より小さい走査インデックスで置換され得る。

非分離可能２次変換はブロック（例えば、ＣＢ）に適用され得る。いくつかの例において、ＶＶＣでのように、ＬＦＮＳＴは、図１７及び図８で示されるように、順方向１次変換と量子化との間（例えば、エンコーダ側で）及び逆量子化と逆方向１次変換との間で適用される。

図１７及び図１８は、１６×６４変換（又は、変換が順方向若しくは逆方向２次変換であるかどうかに応じて、６４×１６変換）及び１６×４８変換（又は、変換が順方向若しくは逆方向２次変換であるかどうかに応じて、４８×１６変換）を夫々使用する２つの変換コーディングプロセス（１７００）及び（１８００）の例を示す。図１７を参照すると、プロセス（１７００）で、エンコーダ側では、順方向１次変換（１７１０）が最初にブロック（例えば、残差ブロック）に対して実行され得、係数ブロック（１７１３）が取得される。その後に、順方向２次変換（又は順方向ＬＦＮＳＴ）（１７１２）が、係数ブロック（１７１３）に適用され得る。順方向２次変換（１７１２）において、係数ブロック（１７１３）の左上隅にある４×４サブブロックＡ～Ｄの６４個の係数は、６４長さベクトルによって表され得、６４長さベクトルは、６４×１６（すなわち、６４の幅及び１６の高さ）の変換行列を乗じられ得、その結果、１６長さベクトルが得られる。１６長さベクトルの要素は、係数ブロック（１７１３）の左上４×４サブブロックに埋め戻される。サブブロックＢ～Ｄの係数はゼロであることができる。順方向２次変換（１７１２）の後に得られた係数は、次いで、量子化ステップ（１７１４）で量子化され、そして、エントロピコーディングされて、ビットストリーム（１７１６）内のコーディングされたビットが生成される。

コーディングされたビットは、デコーダ側で受け取られ、エントロピデコーディングされ、逆量子化ステップ（１７２４）が後に続くことができ、係数ブロック（１７２３）が生成される。逆方向ＲＳＴ８×８のような逆方向２次変換（又は逆方向ＬＦＮＳＴ）（１７２２）が、例えば、左上４×４サブブロックＥにある１６個の係数から、６４個の係数を取得するために、実行され得る。６４個の係数は、４×４サブブロックＥ～Ｈに埋め戻され得る。更に、逆方向２次変換の後の係数ブロック（１７２３）内の係数は、回復された残差ブロックを取得するために、逆方向１次変換（１７２０）により処理され得る。

図１８の例のプロセス（１８００）は、順方向２次変換（１７１２）の間に処理される係数がより少ない（すなわち、４８個）点を除いて、プロセス（１７００）と類似している。具体的に、サブブロックＡ～Ｃ内の４８個の係数は、４８×１６のサイズのより小さい変換行列により処理される。４８×１６のより小さい変換行列を使用することは、変換行列を格納するメモリサイズ及び計算（例えば、乗算、加算、減算、及び／又は同様の計算）の回数を減らすことができるので、計算複雑性を低減することができる。

例において、４×４非分離可能変換（例えば、４×４ＬＦＮＳＴ）又は８×８非分離可能変換（例えば、８×８ＬＦＮＳＴ）は、ブロック（例えば、ＣＢ）のブロックサイズに応じて適用される。ブロックのブロックサイズは、幅、高さ、などを含むことができる。例えば、４×４ＬＦＮＳＴは、幅及び高さのうちの最小が閾値、例えば、８よりも小さいブロックに対して適用される（例えば、ｍｉｎ（幅，高さ）＜８）。例えば、８×８ＬＦＮＳＴは、幅及び高さのうちの最小が閾値、例えば、４よりも大きいブロックに対して適用される（例えば、ｍｉｎ（幅，高さ）＞４）。

非分離可能変換（例えば、ＬＦＮＳＴ）は、直接行列乗算アプローチに基づくことができるので、繰り返しなしのシングルパスで実装され得る。非分離可能変換行列次元を削減するために、かつ、計算複雑性及び変換係数を格納するためのメモリ空間を最小限にするために、削減非分離可能変換方法（又はＲＳＴ）がＬＦＮＳＴで使用され得る。従って、削減非分離可能変換では、Ｎ（例えば、Ｎは、８×８非分離可能２次変換（Non-Separable Secondary Transform，ＮＳＳＴ）については６４である。）次元ベクトルは、異なる空間におけるＲ次元ベクトルにマッピングされ得る。ここで、Ｎ／Ｒ（Ｒ＜Ｎ）は削減係数である。従って、Ｎ×Ｎ行列の代わりに、ＲＳＴ行列は、式７に示されるようなＲ×Ｎ行列である：

式７中、Ｒ×Ｎ変換行列のＲ行は、Ｎ次元空間のＲ個の基底である。逆変換行列は、順方向変換で使用される変換行列（例えば、Ｔ_Ｒ×Ｎ）の転置であることができる。８×８ＬＦＮＳＴについては、４の削減係数が適用され得、８×８非分離可能変換で使用される６４×６４直接行列（direct matrix）は、図１７に示されるように、１６×６４直接行列に削減され得る。代替的に、４よりも大きい削減係数が適用され得、８×８非分離可能変換で使用される６４×６４直接行列は、図１８に示されるように、１６×４８直接行列に削減され得る。従って、４８×１６逆ＲＳＴ行列が、８×８左上領域内のコア（１次）変換係数を生成するためにデコーダ側で使用され得る。

図１８を参照すると、１６×４８行列が、１６×６４行列の代わりに、同じ変換セット構成で適用される場合に、１６×４８行列への入力は、右下４×４ブロックＤを除く左上８×８ブロック内の３つの４×４ブロックＡ、Ｂ及びＣからの４８個の入力データを含む。次元の削減により、ＬＦＮＳＴ行列を格納するためのメモリ使用量は、最低限の性能低下で、例えば、１０ＫＢから８ＫＢまで、低減され得る。

複雑性を低減するために、ＬＦＮＳＴは、第１係数サブグループの外側の係数が有意でない場合に適用可能であるよう制限され得る。例において、ＬＦＮＳＴは、第１係数サブグループの外側の全ての係数が有意でない場合にのみ適用可能であるよう制限され得る。図１７及び図１８を参照すると、第１係数サブグループは左上ブロックＥに対応するので、ブロックＥの外側にある係数は有意でない。

例において、ＬＦＮＳＴが適用される場合に、１次のみ（primary-only）変換係数は有意でない（例えば、ゼロ）。例において、ＬＦＮＳＴが適用される場合に、全ての１次のみ変換係数はゼロである。１次のみ変換係数は、２次変換によらずに１次変換から取得される変換係数を指すことができる。従って、ＬＦＮＳＴインデックスのシグナリングは、最後の有意味な位置（last-significant position）を条件とされ得るので、ＬＦＮＳＴにおける余分の係数走査は回避される。いくつかの例では、余分の係数走査は、特定の位置にある有意味な変換係数をチェックするために使用される。例において、例えば、ピクセルごとの乗算に関して、ＬＦＮＳＴの最悪の場合の処理は、４×４ブロック及び８×８ブロックの非分離可能変換を夫々、８×１６変換及び８×４７変換に制限する。上記の場合に、最後の有意味な走査位置は、ＬＦＮＳＴが適用される場合に８よりも小さくなる。他のサイズについては、最後の有意味な走査位置は、ＬＦＮＳＴが適用される場合に１６よりも小さくなる。４×Ｎ及びＮ×４のＣＢであり、Ｎが８よりも大きい場合に、制限は、ＬＦＮＳＴがＣＢの左上４×４領域に適用されることを暗示することができる。例において、制限は、ＬＦＮＳＴがＣＢの左上４×４領域にのみ一度だけ適用されることを暗示する。例において、全ての１次のみ係数は、ＬＦＮＳＴが適用される場合に有意でなく（例えば、ゼロ）、１次変換のための動作の数は低減される。エンコーダの視点からは、変換係数の量子化は、ＬＦＮＳＴ変換がテストされる場合に、有意に簡略化され得る。レート歪みを最適化された量子化は、最大で、例えば、走査順序において、最初の１６個の係数に対して実行可能であり、残りの係数はゼロにセットされ得る。

ＬＦＮＳＴ変換（例えば、変換カーネル、変換コア、又は変換行列）は、以下で記載されるように選択され得る。実施形態において、複数の変換セットが使用可能であり、１つ以上の非分離可能変換行列（又はカーネル）が、ＬＦＮＳＴにおける複数の変換セットの夫々に含まれ得る。開示の態様に従って、変換セットは、複数の変換セットから選択可能であり、非分離可能変換行列は、変換セット内の１つ以上の非分離可能変換行列から選択可能である。

表１は、開示の実施形態に従う、イントラ予測モードから複数の変換セットへの例示的なマッピングを示す。マッピングは、イントラ予測モードと複数の変換セットとの間の関係を示す。表１に示されるような関係は、予め定義されてよく、エンコーダ及びデコーダで記憶され得る：

表１を参照すると、複数の変換セットは、４つの変換セット、例えば、０から３までの変換セットインデックス（例えば、Ｔｒ．ｓｅｔ ｉｎｄｅｘ）によって夫々表される変換セット０から３、を含む。インデックス（例えば、ＩｎｔｒａＰｒｅｄＭｏｄｅ）は、イントラ予測モードを示すことができ、そのインデックス及び表１に基づき、変換セットインデックスは取得され得る。従って、変換セットは、イントラ予測モードに基づき決定され得る。例において、３つの交差成分線形モデル（Cross Component Linear Model，ＣＣＬＭ）モード（例えば、ＩＮＴＲＡ＿ＬＴ＿ＣＣＬＭ、ＩＮＴＲＡ＿Ｔ＿ＣＣＬＭ又はＩＮＴＲＡ＿Ｌ＿ＣＣＬＭ）のうちの１つがＣＢ（例えば、８１＜＝ＩｎｔｒａＰｒｅｄＭｏｄｅ＜＝８３）のために使用される場合に、変換セット０がそのＣＢに対して選択される。

上述されたように、各変換セットは、１つ以上の非分離可能変換行列を含むことができる。１つ以上の非分離可能変換行列のうちの１つは、例えば、明示的にシグナリングされるＬＦＮＳＴインデックスによって選択され得る。ＬＦＮＳＴインデックスは、例えば、変換係数のシグナリング後に、イントラコーディングされたＣＵ（例えば、ＣＢ）ごとに１回、ビットストリームでシグナリングされ得る。実施形態において、各変換セットは、２つの非分離可能変換行列（カーネル）を含み、選択された非分離可能２次変換候補は、２つの非分離可能変換行列のうちの１つであることができる。いくつかの例において、ＬＦＮＳＴは、ＣＢ（例えば、変換スキップモードでコーディングされたＣＢ、又は非ゼロ係数の数が閾値に満たないＣＢ）に適用されない。例において、ＬＦＮＳＴインデックスは、ＬＦＮＳＴがＣＢに適用されるべきでない場合には、そのＣＢについてはシグナリングされない。ＬＦＮＳＴインデックスのデフォルト値はゼロであり、シグナリングされなくてもよく、これは、ＬＦＮＳＴがＣＢに適用されないことを示す。

実施形態において、ＬＦＮＳＴは、第１係数サブグループの外側の全ての係数が有意でない場合にのみ適用可能であるよう制限され、ＬＦＮＳＴインデックスのコーディングは、最後の有意味な係数の位置に依存することができる。ＬＦＮＳＴインデックスはコンテキストコーディングされ得る。例において、ＬＦＮＳＴインデックスのコンテキストコーディングはイントラ予測モードに依存せず、第１ビンのみがコンテキストコーディングされる。ＬＦＮＳＴは、ルーマ及びクロマの両成分について、イントラスライス内又はインタースライス内のイントラコーディングされたＣＵに適用され得る。デュアルツリー（dual tree）が有効である場合に、ルーマ成分及びクロマ成分のＬＦＮＳＴインデックスは、別々にシグナリングされ得る。インタースライスについては（例えば、デュアルツリーは無効である。）、単一のＬＦＮＳＴインデックスが、ルーマ及びクロマの両成分についてシグナリング及び使用され得る。

イントラサブパーティション（Intra Sub-Partition，ＩＳＰ）コーディングモードが使用され得る。ＩＳＰコーディングモードでは、ルーマイントラ予測されたブロックは、ブロックサイズに応じて、垂直方向又は水平方向で２又は４つのサブパーティションに分割され得る。いくつかの例において、実現可能な全てのサブパーティションにＲＳＴが適用される場合に、性能向上はわずかである。よって、いくつかの例において、ＩＳＰモードが選択される場合に、ＬＳＮＳＴは無効にされ、ＬＦＮＳＴインデックス（又はＲＳＴインデックス）はシグナリングされない。ＩＳＰ予測された残差に対してＲＳＴ又はＬＦＮＳＴを無効にすることは、コーディング複雑性を低減することができる。いくつかの例において、行列ベースのイントラ予測モード（Matrix-based Intra Prediction mode，ＭＩＰ）が選択される場合に、ＬＦＮＳＴは無効にされ、ＬＦＮＳＴインデックスはシグナリングされない。

いくつかの例において、６４×６４よりも大きいＣＵは、最大変換サイズ制限（例えば、６４×６４）により暗黙的に分割され（ＴＵタイリング）、ＬＦＮＳＴインデックス探索は、特定の数のデコードパイプライン段についてデータバッファリングを４倍大きくすること可能性がある。従って、ＬＦＮＳＴが許される最大サイズは、６４×６４に制限され得る。例において、ＬＦＮＳＴは、離散コサイン変換（ＤＣＴ）タイプ２（ＤＣＴ－２）変換のみで有効にされる。

いくつかの例において、分離可能変換スキームは、指向性テクスチャパターン（例えば、４５°又は１３５°方向に沿ったエッジ）を捕捉するには効率的でない場合がある。非分離可能変換スキームは、例えば、上記のシナリオにおいて、コーディング効率を改善し得る。計算複雑性及びメモリ使用量を低減するために、非分離可能変換スキームは、１次変換から取得される低周波数変換係数に適用される２次変換として使用され得る。２次変換は、ブロックに適用可能であり、２次変換を示す情報は、予測モード情報、１次変換タイプ、隣接する再構成されたサンプル、及び／又は同様のものに基づき、そのブロックについてシグナリングされ得る。更に、変換ブロックパーティション情報（変換ブロックパーティショニング情報、変換パーティショニング情報、又は変換パーティション情報とも呼ばれる。）、コーディングされたブロックのサイズ、及びコーディングされたブロックの形状は、２次変換の効率的な適用及び／又はシグナリングのための追加情報を提供することができる。

開示の態様に従って、ブロックのコーディング情報は、コーディングされたビデオビットストリームからデコーディングされ得る。コーディング情報は、ブロックに対するイントラ予測モードと、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせとを示すことができる。

変換パーティショニング情報は、ブロックが複数のＴＢ又はＴＵに更にパーティション化され得るかどうか及び／又はどのようにパーティション化され得るかを示すことができる。ブロックは、例えば、図１３及び図１４を参照して記載されるように、ブロックについての変換パーティショニング情報に基づき複数のＴＵ又はＴＢにパーティション化され得る。例において、変換パーティショニング情報は、コーディングされたビデオビットストリームにおいてシグナリングされる。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。

開示において、ブロックという用語は、予測ブロック（Prediction Block，ＰＢ）、コーディングブロック（Coding Block，ＣＢ）、コーディングされたブロック（coded block）、コーディングユニット（Coding Unit，ＣＵ）、変換ブロック（Transform Block，ＴＢ）、変換ユニット（Transform Unit，ＴＵ）、ルーマブロック（例えば、ルーマＣＢ）、クロマブロック（例えば、クロマＣＢ）、などを指し得る。

ブロックのサイズは、ブロックの幅、ブロックの高さ、ブロックのアスペクト比（例えば、ブロックの高さに対するブロックの幅の比、若しくはブロックの幅に対するブロックの高さの比）、ブロックエリアサイズ若しくはブロック面積（例えば、ブロックの幅×ブロックの高さ）、ブロックの幅及びブロックの高さのうちの最小、ブロックの幅及びブロックの高さのうちの最大、及び／又は同様のものを指すことができる。ブロックの形状は、ブロックの任意の適切な形状を指すことができる。ブロックの形状は、長方形形状のような非正方形形状、正方形形状、などを指すことができるが、これらに限られない。ブロックの形状は、ブロックのアスペクト比を指すことができる。

例において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、コーディングされたビデオビットストリームにおいてシグナリングされる。例において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、コーディングされたビデオビットストリーム内の他の情報に基づき決定される。

２次変換がブロックに対して無効にされるかどうかは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定され得る。例において、２次変換に関連した情報（例えば、２次変換インデックス）を、例えば、コーディングされたビデオビットストリームにおいて、シグナリングすべきかどうかは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定される。

更に、ブロックは、２次変換がブロックに対して無効にされるかどうかの決定に基づき、再構成され得る。２次変換がブロックに対して無効にされると決定される場合には、ブロックは、２次変換によらず、１次変換（例えば、逆方向１次変換）のみで再構成され得る。例において、２次変換に関連した情報（例えば、２次変換インデックス）は、コーディングされたビデオビットストリームにおいてシグナリングされないと決定される。２次変換がブロックに対して無効にされないと決定される（例えば、２次変換がブロックに対して有効にされると決定される）場合には、ブロックは、１次変換（例えば、逆方向１次変換）及び２次変換（例えば、逆方向２次変換）により再構成され得る。例えば、２次変換がブロックに対して無効にされないと決定され、更には、ブロックに適用されると決定される場合には、ブロックは、１次変換及び２次変換により再構成される。

２次変換に関連した情報（例えば、２次変換インデックス）は、ブロックに適用されるべきである２次変換（例えば、２次変換カーネル、２次変換コア、又は２次変換行列）を示すことができる。例において、２次変換はＬＦＮＳＴ、ＲＳＴなどである。上述されたように、実施形態において、複数の変換セットが使用可能であり、１つ以上の２次変換行列（又はカーネル）が、複数の変換セットの夫々に含まれ得る。開示の態様に従って、変換セットは、表１を参照して記載されたものを含むがこれに限られない任意の適切な方法を用いて、複数の変換セットから選択され得、ブロックに適用されるべきである２次変換（例えば、２次変換行列）は、２次変換に関連した情報（例えば、２次変換インデックス）によってセットされた変換における１つ以上の２次変換行列から選択され得る。

情報（例えば、２次変換インデックス）は、例えば、コーディングされたビデオビットストリームにおいて、暗黙的にシグナリングされ得る。例において、２次変換インデックスは、上記のＬＦＮＳＴインデックスを指す。いくつかの例において、２次変換は、ブロック（例えば、変換スキップモードでコーディングされたＣＢ、又は非ゼロ係数の数閾値に満たないＣＢ）適用されない。例において、２次変換インデックス（例えば、ＬＦＮＳＴインデックス）は、２次変換がブロックに適用されるべきではない場合に、そのブロックについてシグナリングされない。２次変換インデックスのデフォルト値はゼロであり、シグナリングされなくてもよく、これは、２次変換がブロックに適用されないことを示す。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックについての変換パーティショニング情報を含むことができる。変換パーティショニング情報は、コーディングされたビデオビットストリームにおいてシグナリングされ得る。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。ブロックは、例えば、図１３を参照して記載されるように、ブロックについての変換パーティショニング情報に基づき複数のＴＵ又はＴＢにパーティション化され得る。従って、２次変換がブロックに対して無効にされるかどうかは、パーティショニングデプスに基づき決定され得る。例において、パーティショニングデプスが閾値ｎよりも大きい場合に、２次変換は、ブロックに対して無効にされると決定され、２次変換インデックスは、シグナリングされないと決定される。閾値ｎは、如何なる適切な整数であることもできる。閾値ｎは０又は正の整数であることができる。閾値ｎの例示的な値は、０、１、２、などを含むが、これらに限られない。例において、閾値ｎは０である。２次変換インデックス（例えば、ＬＦＮＳＴインデックス）は、ブロックに適用される２次変換カーネルを示すことができる。

開示の態様に従って、ブロック（例えば、ＣＢ）についての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックに対する２次変換の適用及び／又はシグナリングのために使用され得る。例において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックに対する複数の２次変換の適用及び／又はシグナリングのために使用され得る。ブロックに対して２次変換を無効又は有効にすべきかどうかは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定され得る。ブロックに２次変換を適用すべきかどうは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定され得る。ブロックに対する２次変換の適用をシグナリングすべきかどうかは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定され得る。

実施形態において、ブロックについての変換パーティショニング情報がシグナリングされ得、ブロックは複数のＴＵ又はＴＢにパーティション化され得る。ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報に依存することができる。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。例において、ブロックに対して２次変換を無効にすべきかどうかは、ブロックに対するパーティショニングデプスに依存する。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。例において、２次変換インデックスは、ｓｔＩｄｘと表記される。例において、パーティショニングデプス及び閾値に基づき、例えば、パーティショニングデプスが閾値ｎよりも大きい場合に、２次変換は無効にされると決定され、２次変換インデックスはシグナリングされないと決定される。閾値ｎは如何なる適切な整数であることもできる。例において、閾値ｎは０である。例において、閾値ｎは正の整数である。閾値ｎの例示的な値は、０、１、２などを含むが、これらに限られない。例において、ブロックが複数のＴＵ又はＴＢに分割される場合に、２次変換がブロックに対して無効にされるかどうか及び／又は２次変換インデックスがシグナリングされていないかどうかは、パーティショニングデプス及び／又は閾値ｎに依存することができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックについての変換パーティショニング情報及びブロックの形状を含むことができる。変換パーティショニング情報は、コーディングされたビデオビットストリームにおいてシグナリングされ得る。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。ブロックの形状は、非正方の長方形であることができる。ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。２次変換がブロックに対して無効にされるかどうかは、パーティショニングデプスに基づき決定され得る。例において、パーティショニングデプスが、０又は正の整数であることができる閾値よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定される。

実施形態において、ブロックについての変換パーティショニング情報は、シグナリングされ得、ブロックは、非正方の長方形形状を有することができ（すなわち、ブロックの形状は、非正方の長方形である。）、ブロックは、複数のＴＵ又はＴＢに更にパーティション化される。ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報に依存することができる。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。例において、ブロックに対して２次変換を無効にすべきかどうかは、ブロックに対するパーティショニングデプスに依存する。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックスｓｔＩｄｘ）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。例において、パーティショニングデプスが閾値ｎよりも大きい場合のように、閾値に基づいて、２次変換は、無効にされると決定され、２次変換インデックスは、シグナリングされないと決定される。上述されたように、閾値ｎは、０又は正の整数のような、如何なる適切な整数であることもできる。閾値ｎの例示的な値は、０、１、２、などを含むが、これらに限られない。例において、ブロックが複数のＴＵに分割される場合に、２次変換がブロックに対して無効にされるかどうか、及び／又は２次変換インデックスがシグナリングされないかどうかは、パーティショニングデプス及び閾値ｎに依存することができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックのアスペクト比によって示されるブロックの形状を含むことができる。従って、２次変換がブロックに対して無効にされるかどうかは、ブロックのアスペクト比に基づき決定され得る。

実施形態において、ブロックに対して２次変換を無効にすべきかどうかは、ブロックの形状（例えば、ブロックのアスペクト比）に依存することができる。ブロックに２次変換を適用すべきかどうかは、ブロックの形状（例えば、ブロックのアスペクト比）に依存することができる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックスｓｔＩｄｘ）をシグナリングすべきかどうかは、ブロックの形状（例えば、ブロックのアスペクト比）に依存する。ブロックのアスペクト比は、ブロックの第２ディメンションに対するブロックの第１ディメンションの比であることができ、ブロックの第１ディメンションは、第２ディメンションよりも大きいか又はそれと等しい。ブロックのアスペクト比が閾値Ｌ（例えば、１、２、４、８、など）よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定され得る。例において、閾値Ｌは、２^ｍであり、ｍは、０又は正の整数である。

例において、ブロックのアスペクト比（例えば、ブロックの高さに対するブロックの幅の比）が閾値Ｌ（例えば、１、２、４、８、など）よりも大きい場合に、２次変換インデックスはシグナリングされず、かつ／あるいは、２次変換は適用されない。

例において、ブロックのアスペクト比（例えば、ブロックの高さに対するブロックの幅の比）が閾値Ｊ（例えば、１、１／２、１／４、１／８、など）よりも小さい場合に、２次変換インデックスはシグナリングされず、かつ／あるいは、２次変換は適用されない。例において、閾値Ｊは、２^－ｍであり、ｍは、０又は正の整数である。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、変換パーティショニング情報及びブロックの形状を含むことができる。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。ブロックの形状は、正方形であることができる。ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。２次変換がブロックに対して無効にされるかどうかは、パーティショニングデプスに基づき決定され得る。例において、パーティショニングデプスが、０又は正の整数であることができる閾値よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定される。

実施形態において、ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。更に、ブロックの形状は、正方形であることができる（例えば、ブロックのアスペクト比は１である。）。従って、２次変換がブロックに対して無効にされるかどうかは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存することができる。例において、ブロックについての変換パーティショニング情報はシグナリングされる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックスｓｔＩｄｘ）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。

例において、パーティショニングデプスが閾値ｎよりも大きい場合のように、パーティショニングデプスに基づいて、２次変換は、無効にされると決定され、２次変換インデックスは、シグナリングされないと決定される。閾値ｎは、０又は正の整数（１、２、など）のような、如何なる適切な整数であることもできる。例において、ブロックが複数のＴＵに分割される場合に、２次変換がブロックに対して無効にされるかどうか、及び／又は２次変換インデックスがシグナリングされないかどうかは、パーティショニングデプス及び閾値ｎに依存することができる。

実施形態において、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックについての変換パーティショニング情報及びブロックのサイズを含むことができる。変換パーティショニング情報は、ブロックに対するパーティショニングデプスを示すことができる。ブロックのサイズは、閾サイズよりも大きいブロックの幅（又はブロック幅）及びブロックの高さ（又はブロック高さ）を示すことができる。例えば、ブロック幅及びブロック高さは、閾サイズよりも大きい。ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。２次変換がブロックに対して無効にされるかどうかは、ブロックについての変換パーティショニング情報（例えば、パーティショニングデプス）に基づき決定され得る。例において、パーティショニングデプスが、０又は正の整数であることができる閾値よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定される。

実施形態において、ブロックのサイズ（例えば、ブロック幅及びブロック高さのうちの最小）は、閾サイズを上回ることができる。閾サイズは、如何なる適切なサイズであることもできる。例において、ブロックのサイズは、ブロック幅及びブロック高さのうちの最小を指し、閾サイズは、６４、１２８、２５６、などである。ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。例において、ブロックについての変換パーティショニング情報も、シグナリングされる。従って、ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存することができる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）は、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。

例において、パーティショニングデプスが閾値ｎよりも大きい場合のように、パーティショニングデプスに基づいて、２次変換は、無効にされると決定され、かつ／あるいは、２次変換に関連した情報（例えば、２次変換インデックス）は、シグナリングされないと決定される。閾値ｎは、０又は正の整数（１、２、など）のような、如何なる適切な整数であることもできる。例において、ブロックが複数のＴＵ又はＴＢに分割される場合に、２次変換がブロックに対して無効にされるかどうか、及び／又は２次変換インデックスがシグナリングされないかどうかは、パーティショニングデプス及び閾値ｎに依存することができる。

例において、閾サイズの例示的な値は、２５６×２５６、２５６×１２８、１２８×２５６、１２８×１２８、１２８×６４、６４×１２８、６４×６４、及び／又は同様のものを含むが、これらに限られない。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’は、最大変換サイズＴよりも大きい場合があり、他のブロックは、ブロックを含む複数のサブブロックに暗黙的に分割され得る。最大変換サイズＴは、例えば、デコーダ及び／又はエンコーダが入手可能である予め定義されたパラメータであることができる。例において、最大変換サイズＴはシグナリングされない。ブロック（例えば、複数のサブブロックのうちの１つ）の幅Ｗは、Ｗ’及びＴのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＴのうちの最小であることができる。ブロック（例えば、複数のサブブロックのうちの１つ）に対するパーティショニングデプスが閾値よりも大きい場合に、２次変換は、適用されないと決定され、かつ／あるいは、２次変換に関連した情報（例えば、２次変換インデックス）は、シグナリングされないと決定される。パーティショニングデプスはシグナリングされ得る。閾値の例示的な値は、０、１、２、及び３を含むが、これらに限られない。複数のサブブロックは、Ｗ×Ｈのサイズを有する他のサブブロックを更に含むことができる。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’のうちの一方は、最大変換サイズＴよりも大きく、他のブロックは、ブロックを含む複数のサブブロックに分割され得る。ブロックの幅Ｗは、Ｗ’及びＴのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＴのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックに対するパーティショニングデプスを示すブロックについての変換パーティショニング情報を含むことができる。ブロックに対するパーティショニングデプスが閾値よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定され得る。閾値の例示的な値は、０、１、２、及び３を含むが、これらに限られない。

実施形態において、他のブロックの幅Ｗ’及び／又は他のブロックの高さＨ’は、予め定義された定数Ｋよりも大きい、他のブロックは、複数のサブブロックに暗黙的に分割され得る。Ｋの例示的な値は、１６、３２、６４、１２８及び２５６を含むことができるが、これらに限られない。複数のサブブロックのうちの１つ以上が、Ｗ’及びＫのうちの最小である幅Ｗと、Ｈ’及びＫのうちの最小である高さＨとを有する場合に、２次変換は、複数のサブブロックのうちのそれら１つ以上にのみ適用され、かつ／あるいは、２次変換に関連した情報（例えば、１つ以上の２次変換インデックス）は、複数のサブブロックのうちのそれら１つ以上についてのみシグナリングされる。複数のサブブロックのうちのそれら１つ以上には、上記のブロックが含まれる。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’のうちの一方は、予め定義された定数Ｋより大きい。他のブロックは、ブロックを含む複数のサブブロックに分割され得る。ブロックの幅Ｗは、Ｗ’及びＫのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＫのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、Ｗ及びＨを有するブロックのサイズを含むことができる。２次変換は、ブロックのサイズがＷ及びＨであるブロックに対して有効にされると決定され得る。例において、２次変換は、ブロックのサイズがＷ及びＨであるブロックに適用されると決定される。

図１９は、開示の実施形態に従うプロセス（１９００）を説明するフローチャートを示す。プロセス（１９００）は、ＣＢ、ＴＢ、ルーマＣＢ、ルーマＴＢ、クロマＣＢ、クロマＴＢ、などのようなブロックの再構成において使用され得る。様々な実施形態において、プロセス（１９００）は、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路、などのような処理回路によって実行される。いくつかの例において、プロセス（１９００）はソフトウェア命令で実装されるので、処理回路がソフトウェア命令を実行する場合に、処理回路はプロセス（１９００）を実行する。プロセスは、（Ｓ１９０１）から始まり、（Ｓ１９１０）へ進む。

（Ｓ１９１０）で、ブロック（例えば、ＣＢ、ルーマＣＢ、クロマＣＢ、イントラコーディングされたＣＢ、ＴＢ、など）のコーディング情報が、コーディングされたビデオビットストリームからデコーディングされ得る。コーディング情報は、ブロックに対するイントラ予測モードと、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせとを示すことができる。ブロックについての変換パーティショニング情報は、ブロックに対するパーティショニングデプスを含むことができる。

（１９２０）で、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づいて、２次変換がブロックに対して無効にされるかどうかが決定され得る。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに依存する。

例において、ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。例において、パーティショニングデプスが閾値ｎ（例えば、０又は正の整数）よりも大きい場合に、２次変換は、無効にされると決定され、２次変換インデックスは、シグナリングされないと決定される。例において、閾値ｎは０である。

例において、ブロックについての変換パーティショニング情報は、シグナリングされ得、ブロックは、正方の長方形形状を有することができ、ブロックは、複数のＴＵ又はＴＢに更にパーティション化される。従って、ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存することができる。

ブロックに対して２次変換を適用すべきかどうかは、ブロックの形状（例えば、ブロックのアスペクト比）に依存することができる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックスｓｔＩｄｘ）をシグナリングすべきどうかは、ブロックの形状（例えば、ブロックのアスペクト比）に依存する。

実施形態において、ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。ブロックの形状は、正方形であることができる。従って、ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存することができる。例において、ブロックについての変換パーティショニング情報はシグナリングされる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。

実施形態において、ブロックのサイズ（例えば、ブロック幅及びブロック高さのうちの最小）は、閾サイズ（例えば、６４、１２８、２５６、など）を上回ることができる。ブロックは、複数のＴＵ又はＴＢにパーティション化され得る。例において、ブロックについての変換パーティショニング情報もシグナリングされる。従って、ブロックに対して２次変換を無効にすべきかどうかは、ブロックについての変換パーティショニング情報（ブロックに対するパーティショニングデプス）に依存することができる。いくつかの例において、２次変換に関連した情報（例えば、２次変換インデックス）をシグナリングすべきか否かは、ブロックについての変換パーティショニング情報（例えば、ブロックに対するパーティショニングデプス）に依存する。

（Ｓ１９３０）で、ブロックは、２次変換がブロックに対して無効にされるかどうかの決定に基づき、再構成され得る。例において、２次変換は、（Ｓ１９２０）で、ブロックに対して無効にされると決定されるので、ブロックは、２次変換によらずに、１次変換のみで再構成され得る。

例において、２次変換は、（Ｓ１９２０）で、ブロックに対して有効にされると決定されるので、ブロックは、２次変換がブロックに適用されると決定される場合に、１次変換及び２次変換により再構成され得る。ブロックに対するパーティショニングデプスが閾値ｎ（ｎは０又は正の整数である。）よりも大きく、ブロックが複数のＴＵ（又はＴＢ）にパーティション化される場合に、異なる２次変換が複数のＴＵ（又はＴＢ）に夫々適用され得る。どの２次変換（例えば、どの２次変換カーネル）が各ＴＵ（又はＴＢ）に適用されるべきかは、対応する２次変換インデックスを用いて更に示され得る（例えば、コーディングされたビデオビットストリームにおいてシグナリングされる。）。プロセス（１９００）は（Ｓ１９９９）へ進み、終了する。

プロセス（１９００）は、適切に適応され得る。プロセス（１９００）のステップは、変更及び／又は削除され得る。追加のステップが加えられ得る。如何なる実施順序も使用され得る。実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’は、最大変換サイズＴよりも大きく、他のブロックは、ブロックを含む複数のサブブロックに暗黙的に分割され得る。ブロックの幅Ｗは、Ｗ’及びＴのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＴのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、ブロックに対するパーティショニングデプスを示すブロックについての変換パーティショニング情報を含むことができる。ブロックに対するパーティショニングデプスが閾値よりも大きい場合に、２次変換は、ブロックに対して無効にされると決定され得る。パーティショニングデプスは、シグナリングされ得る。閾値の例示的な値は、０、１、２、及び３を含むが、これらに限られない。

実施形態において、他のブロックの幅Ｗ’及び他のブロックの高さＨ’は、予め定義された定数Ｋより大きい。他のブロックは、ブロックを含む複数のサブブロックに分割され得る。ブロックの幅Ｗは、Ｗ’及びＫのうちの最小であることができ、ブロックの高さＨは、Ｈ’及びＫのうちの最小であることができる。ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせは、Ｗ及びＨを有するブロックのサイズを含むことができる。２次変換は、ブロックのサイズがＷ及びＨであるブロックにのみ適用されると決定される。

２次変換がブロックに対して無効にされるかどうか、及び／又は２次変換に関連した情報（例えば、２次変換インデックス）がシグナリングされるかどうかの決定に関する上記の説明は、複数の変換がブロックに適用されるべきである場合に適切に適応され得る。例において、ブロックは複数のＴＢにパーティション化され、複数のＴＢは、複数の変換を用いることによって夫々変換され得る。複数の変換は、複数の１次変換を含むことができる。複数の変換は、複数の２次変換を含むことができる。複数の２次変換に関連した情報は、複数の２次変換を夫々示す複数の２次変換インデックスを含むことができる。複数の２次変換がブロックに対して無効にされるかどうか、及び／又は複数の２次変換に関連した情報（例えば、複数の２次変換インデックス）がシグナリングされるかどうかは、上述されたように、ブロックについての変換パーティショニング情報、ブロックのサイズ、及びブロックの形状のうちの１つ又は組み合わせに基づき決定され得る。

例において、複数の２次変換がブロックに対して無効にされるかどうか、及び／又は複数の２次変換に関連した複数の２次変換インデックスがシグナリングされるかどうかは、ブロックについての変換パーティショニング情報（例えば、パーティショニングデプス）に基づき決定され得る。例えば、パーティショニングデプスが閾値ｎ（例えば、０又は正の整数）よりも大きい場合に、複数の２次変換は、ブロックに対して無効にされると決定され、複数の２次変換インデックスは、シグナリングされない。例において、複数の２次変換がブロックに対して無効にされるかどうか、及び／又は複数の２次変換に関連した複数の２次変換インデックスがシグナリングされるかどうかは、ブロックの形状（例えば、アスペクト比）に基づき決定され得る。

開示の実施形態は、別々に使用されても、あるいは、如何なる順序で組み合わされてもよい。更に、方法（又は実施形態）、エンコーダ、及びデコーダの夫々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてよい。一例では、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。開示の実施形態は、ルーマブロック又はクロマブロックに適用されてよい。

上記の技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つ以上のコンピュータ可読媒体に物理的に記憶され得る。例えば、図２０は、開示される対象の特定の実施形態を実装するのに適したコンピュータシステム（２０００）を示す。

コンピュータソフトウェアは、１つ以上のコンピュータ中央演算処理装置（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）などによって、直接に、又は解釈、マイクロコード実行などを通じて、実行され得る命令を含むコードを生成するように、アセンブリ、コンパイル、リンキングなどのメカニズムに従い得る如何なる適切な機械コード又はコンピュータ言語によってもコーディング可能である。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、インターネット・オブ・シングス（Internet of Things）デバイス、などを含む様々なタイプのコンピュータ又はその構成要素で実行可能である。

コンピュータシステム（２０００）に関して図２０に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関して如何なる限定も示唆することを意図しない。構成要素の構成は、コンピュータシステム（２０００）の例示的な実施形態において説明される構成要素のうちのいずれか１つ又は組み合わせに関して何らかの依存又は要件を有するものとして解釈されるべきではない。

コンピュータシステム（２０００）は、特定のヒューマンインターフェース入力デバイスを含んでよい。かようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーボード、スワイプ、データグロープ動作）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず。）を通じた一人以上のユーザによる入力に反応してよい。ヒューマンインターフェースデバイスはまた、音声（例えば、発話、音楽、周囲音）、画像（例えば、スキャンされた画像、静止画カメラから取得された写真画像）、映像（例えば、二次元映像、立体視映像を含む三次元映像）などの、人による意識的な入力に必ずしも直接には関係しない特定のメディアを捕捉するためにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（２００１）、マウス（２００２）、トラックパッド（２００３）、タッチスクリーン（２０１０）、データグローブ（図示せず。）、ジョイスティック（２００５）、マイク（２００６）、スキャナ（２００７）、カメラ（２００８）（各１つしか表されていない。）のうちの１つ以上を含んでよい。

コンピュータシステム（２０００）は、特定のヒューマンインターフェース出力デバイスも含んでよい。かようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音響、光、及び匂い／味を通じて一人以上のユーザの感覚を刺激し得る。かようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２０１０）、データグローブ（図示せず。）、又はジョイスティック（２００５）による触覚フィードバック、しかし、入力デバイスとして機能しない触覚フィードバックデバイスも存在し得る。）、音声出力デバイス（例えば、スピーカ（２００９）、ヘッドホン（図示せず。））、視覚出力デバイス（例えば、夫々タッチスクリーン入力機能の有無によらず、夫々触覚フィードバック機能の有無によらず、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それらのうちのいくつかは、立体視出力、仮想現実メガネ（図示せず。）、ホログラフィックディスプレイ及びスモークタンク（図示せず。）などの手段により二次元視覚出力又は三次元よりも多い次元の出力を出力可能なスクリーン（２０１０））、及びプリンタ（図示せず。）を含んでよい。

コンピュータシステム（２０００）は、人がアクセス可能な記憶デバイス及びそれらの関連する媒体、例えば、ＣＤ／ＤＶＤ又は同様の媒体（２０２１）によるＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２０２０）、サムドライブ（２０２２）、リムーバブルハードディスク又はソリッドステートドライブ（２０２３）、レガシー磁気媒体、例えば、テープ及びフロッピー（登録商標）ディスク（図示せず。）、専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス、例えば、セキュリティドングル（図示せず。）、なども含むことができる。

当業者であれば、目下開示されている対象に関連して使用されている「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を含まないことも理解するはずである。

コンピュータシステム（２０００）は、１つ以上の通信ネットワーク（２０５５）へのインターフェース（２０５４）も含むことができる。ネットワークは、例えば、ワイヤレス、ワイヤライン、光であることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性、などであることができる。ネットワークの例には、イーサネット（登録商標）などのローカルエリアネットワーク、ワイヤレスＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶを含むＴＶワイヤライン又はワイヤレス広域デジタルネットワーク、ＣＡＮバスを含む車両及び工場ネットワーク、などがある。特定のネットワークは、一般に、特定の汎用デジタルポート又はペリフェラルバス（２０４９）（例えば、コンピュータシステム（２０００）のＵＳＢポートなど）に取り付けられた外付けネットワークインターフェースアダプタを必要とする。他は、一般に、後述されるようなシステムバスへの取り付け（例えば、ＰＣコンピュータシステムへのイーサネットネットワーク、又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）によってコンピュータシステム（２０００）のコアに組み込まれる。これらのネットワークのいずれかを使用して、コンピュータシステム（２０００）は他のエンティティと通信することができる。そのような通信は、単方向の受信専用（例えば、ブロードキャストＴＶ）又は単方向の送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）であることができ、あるいは、例えば、ローカル若しくは広域デジタルネットワークを使用して他のコンピュータシステムに対して双方向であることができる。特定のプロトコル又はプロトコルスタックが、上述されたようなネットワーク及びネットワークインターフェースの夫々で使用可能である。

上記のヒューマンインターフェースデバイス、人がアクセス可能な記憶デバイス、及びネットワークインターフェースは、コンピュータシステム（２０００）のコア（２０４０）へ取り付けられ得る。

コア（２０４０）は、１つ以上の中央演算処理装置（ＣＰＵ）（２０４１）、グラフィクス処理ユニット（ＧＰＵ）（２０４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（２０４３）の形をとる専用のプログラム可能処理ユニット、特定のタスクのためのハードウェアアクセラレータ（２０４４）、グラフィクスアダプタ（２０５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２０４５）、ランダムアクセスメモリ（ＲＡＭ）（２０４６）、内部のユーザアクセス不能ハードドライブなどの内蔵大容量記憶装置、ＳＳＤ、など（２０４７）とともに、システムバス（２０４８）を通じて接続されてよい。いくつかのコンピュータシステムでは、システムバス（２０４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするように、１つ以上の物理プラグの形でアクセス可能であることができる。コアのシステムバス（２０４８）へ直接に又はペリフェラルバス（２０４９）を通じて、周辺機器が取り付けられ得る。例において、ディスプレイ（２０１０）は、グラフィクスアダプタ（２０５０）へ接続され得る。ペリフェラルバスのためのアーキテクチャには、ＰＣＩ、ＵＳＢなどがある。

ＣＰＵ（２０４１）、ＧＰＵ（２０４２）、ＦＰＧＡ（２０４３）、及びアクセラレータ（２０４４）は、組み合わせて上記のコンピュータコードを構成することができる特定の命令を実行可能である。そのコンピュータコードは、ＲＯＭ（２０４５）又はＲＡＭ（２０４６）に記憶され得る。一時データもＲＡＭ（２０４６）に記憶可能であり、一方、永続性データは、例えば、内蔵大容量記憶装置（２０４７）に記憶可能である。メモリデバイスのいずれかへの高速な格納及び読み出しは、キャッシュメモリの使用により可能にされ得る。キャッシュメモリは、１つ以上のＣＰＵ（２０４１）、ＧＰＵ（２０４２）、大容量記憶装置（２０４７）、ＲＯＭ（２０４５）、ＲＡＭ（２０４６）などと密接に関連し得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構成されたものであることができ、あるいは、それらは、コンピュータソフトウェア技術で通常の知識を有する者によく知られており利用可能である種類のものであることができる。

例として、限定としてではなく、アーキテクチャ（２０００）、具体的にはコア（２０４０）を有するコンピュータシステムは、１つ以上の有形なコンピュータ可読媒体において具現されているソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、などを含む。）の結果として機能を提供することができる。かようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（２０４７）又はＲＯＭ（２０４５）などの、非一時的な性質であるコア（２０４０）の特定の記憶装置に加えて、先に紹介されたユーザアクセス可能な大容量記憶装置に関連した媒体であることができる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア（２０４０）によって実行可能である。コンピュータ可読媒体には、特定のニーズに応じて、１つ以上のメモリデバイス又はチップが含まれ得る。ソフトウェアは、コア（２０４０）、及び、具体的には、その中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む。）に、ＲＡＭ（２０４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することとを含め、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加的に、又は代替案として、コンピュータシステムは、本明細書で説明されている特定のプロセス又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はそれとともに動作することができる、回路内でハードワイヤード又は別なふうに具現されたロジック（例えば、アクセラレータ（２０４４））の結果として、機能を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶している回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現する回路、又は両方を包含することができる。本開示は、ハードウェア及びソフトウェアの如何なる適切な組み合わせも包含する。

付録Ａ：頭字語
ＪＥＭ：Joint Exploration Model
ＶＶＣ：Versatile Video Coding
ＢＭＳ：Benchmark Set
ＭＶ：Motion Vector
ＨＥＶＣ：High Efficiency Video Coding
ＳＥＩ：Supplementary Enhancement Information
ＶＵＩ：Video Usability Information
ＧＯＰ：Group of Picture(s)
ＴＵ：Transform Unit(s)
ＰＵ：Prediction Unit(s)
ＣＴＵ：Coding Tree Unit(s)
ＣＴＢ：Coding Tree Block(s)
ＰＢ：Prediction Block(s)
ＨＲＤ：Hypothetical Reference Decoder
ＳＮＲ：Signal Noise Ratio
ＣＰＵ：Central Processing Unit(s)
ＧＰＵ：Graphics Processing Unit(s)
ＣＲＴ：Cathode Ray Tube
ＬＣＤ：Liquid-Crystal Display
ＯＬＥＤ：Organic Light-Emitting Diode
ＣＤ：Compact Disc
ＤＶＤ：Digital Video Disc
ＲＯＭ：Read-Only Memory
ＲＡＭ：Random Access Memory
ＡＳＩＣ：Application-Specific Integrated Circuit
ＰＬＤ：Programmable Logic Device
ＬＡＮ：Local Area Network
ＧＳＭ：Global System for Mobile communications
ＬＴＥ：Long-Term Evolution
ＣＡＮＢｕｓ：Controller Area Network Bus
ＵＳＢ：Universal Serial Bus
ＰＣＩ：Peripheral Component Interconnect
ＦＰＧＡ：Field Programmable Gate Area(s)
ＳＳＤ：Solid-State Drive
ＩＣ：Integrated Circuit
ＣＵ：Coding Unit

本開示は、いくつかの例示的な実施形態について記載してきたが、本開示の範囲内にある代替、交換、及び様々な置換均等物が存在する。よって、明らかなように、当業者であれば、たとえ本明細書で明示的に図示又は説明されていないとしても、本開示の原理を具現し、よって、その精神及び範囲の中にある多数のシステム及び方法に想到可能である。

Claims (14)

1. デコーダが実行するビデオデコーディングの方法であって、
   コーディングされたビデオビットストリームからブロックのコーディング情報をデコーディングするステップであり、前記コーディング情報は、前記ブロックに対するイントラ予測モードと、前記ブロックに対するパーティショニングデプスとを示す、前記デコーディングするステップと、
   前記ブロックに対する前記パーティショニングデプスが閾デプスよりも大きいことに応答して、２次変換を前記ブロックに対して無効にするステップと、
   前記２次変換が前記ブロックに対して無効にされたことに基づき前記２次変換なしで前記ブロックを再構成するステップと
   を有する方法。
2. 前記パーティショニングデプスが前記閾デプスよりも大きく、前記ブロックが複数の変換ブロックにパーティション化されることに応答して、前記２次変換は前記ブロックに対して無効にされる、
   請求項１に記載の方法。
3. 前記パーティショニングデプスが前記閾デプスよりも大きいことに応答して、前記２次変換は前記ブロックに対して無効にされ、２次変換インデックスはシグナリングされず、
   前記閾デプスは０又は正の整数であり、前記２次変換インデックスは、前記ブロックに適用される２次変換カーネルを示す、
   請求項２に記載の方法。
4. 前記閾デプスは０である、
   請求項３に記載の方法。
5. 前記パーティショニングデプスが前記閾デプスよりも大きく、前記ブロックの形状が非正方の長方形であり、前記ブロックが複数の変換ブロックにパーティション化されることに応答して、前記２次変換は前記ブロックに対して無効にされる、
   請求項１に記載の方法。
6. 前記閾デプスは０又は正の整数である、
   請求項５に記載の方法。
7. 前記パーティショニングデプスが前記閾デプスよりも大きく、前記ブロックの形状が正方形であり、前記ブロックが複数の変換ブロックにパーティション化されることに応答して、前記２次変換は前記ブロックに対して無効にされる、
   請求項１に記載の方法。
8. 前記閾デプスは０又は正の整数である、
   請求項７に記載の方法。
9. 前記パーティショニングデプスが前記閾デプスよりも大きく、前記ブロックの幅及び前記ブロックの高さが閾サイズよりも大きく、前記ブロックが複数の変換ブロックにパーティション化されることに応答して、前記２次変換は前記ブロックに対して無効にされる、
   請求項１に記載の方法。
10. 前記閾デプスは０又は正の整数である、
    請求項９に記載の方法。
11. 他のブロックの幅Ｗ’及び前記他のブロックの高さＨ’のうちの一方は、最大変換サイズＴよりも大きく、
    当該方法は、前記他のブロックを、前記ブロックを含む複数のサブブロックに分けるステップを更に含み、前記ブロックの幅Ｗは、Ｗ’及びＴのうちの最小であり、前記ブロックの高さＨは、Ｈ’及びＴのうちの最小である、
    請求項１に記載の方法。
12. ビデオデコーディングのための装置であって、
    プログラムを記憶している非一時的なコンピュータ可読媒体と、
    前記プログラムを実行するよう構成される処理回路と
    を有し、
    前記プログラムは、前記処理回路によって実行される場合に、前記処理回路に、請求項１乃至１１のうちいずれか一項に記載の方法を実行させる、
    装置。
13. プロセッサによって実行される場合に、前記プロセッサに、請求項１乃至１１のうちいずれか一項に記載の方法を実行させるプログラム。
14. エンコーダが実行するビデオコーディングの方法であって、
    ビデオビットストリームをコーディングして、コーディングされたビデオビットストリームを生成するステップと、
    コーディングされたビデオビットストリームからブロックのコーディング情報をデコーディングするステップであり、前記コーディング情報は、前記ブロックに対するイントラ予測モードと、前記ブロックに対するパーティショニングデプスとを示す、前記デコーディングするステップと、
    前記ブロックに対する前記パーティショニングデプスが閾デプスよりも大きいことに応答して、２次変換を前記ブロックに対して無効にするステップと、
    前記２次変換が前記ブロックに対して無効にされたことに基づき前記２次変換なしで前記ブロックを再構成するステップと
    を有する方法。