JP7472306B2 - ビデオコーティングのための方法、及び装置 - Google Patents

Description

本出願は、２０２０年１２月２３日に出願された米国仮出願第６３／１３０,２４９号の「Ｆｅａｔｕｒｅ ｂａｓｅｄ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ」の優先権を主張する、２０２１年９月３０日に出願された米国特許出願第１７／４９０,９６７号の「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」の優先権を主張する。その開示を全て援用により本明細書に組み込むものとする。

［技術分野］
本開示は、全体として、ビデオコーティングの実施形態に関する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、ならびに出願時に先行技術として認められないことがある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。

ビデオコーディングおよびデコーディングは、動き補償を有するピクチャ間予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０ルマサンプルと関連するクロマサンプルの空間次元を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ばれる）を持つことができる。非圧縮ビデオには、特定のビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０ルマサンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

ビデオコーティングおよびデコーディングの目的の１つは、圧縮による入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅または記憶空間要件を、場合によっては２桁以上減らすのに役立ち得る。可逆圧縮および非可逆圧縮の両方、ならびにそれらの組み合わせを使用することができる。可逆圧縮とは、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではないことがあるが、原信号と再構成された信号との間の歪みは、再構成された信号を意図したアプリケーションに役立てるのに十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションに依存し、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容することがある。達成可能な圧縮比は、より高い許容可能/容認可能な歪みがより高い圧縮比をもたらすことができることを反映することができる。

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用し得る。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含み得る。イントラコーディングでは、サンプル値は、予め再構成された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードでコーディングされると、そのピクチャはイントラピクチャになる可能性がある。イントラピクチャとその独立したデコーダリフレッシュピクチャなどの派生物は、デコーダの状態をリセットするために使用できるため、コーディングされたビデオビットストリームとビデオセッションの最初のピクチャとして、または静止ピクチャとして使用されることができる。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、事前変換領域でサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所定の量子化ステップサイズで必要とされるビットが少なくなる。

例えばＭＰＥＧ－２世代コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコーディング順で先に位置する、エンコーディング／デコーディング中に得られた周囲のサンプルデータおよび／またはメタデータから試みる技術を含む。そのような技術は、以降、「イントラ予測」技術と呼ばれる。少なくともいくつかのケースでは、イントラ予測は、再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しないことに留意されたい。

イントラ予測はさまざまな形態で存在し得る。そのような技術の複数が所定のビデオコーディング技術に使用できる場合、使用中の技術はイントラ予測モードでコーディングされることができる。場合によっては、モードはサブモードおよび／またはパラメータを有することができ、それらを個別にコーディングするか、もしくはモードコードワードに含めることができる。どのコードワードが所定のモード／サブモード／パラメータの組み合わせに使用されるかは、イントラ予測によるコーディング効率の向上に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も同様である。

イントラ予測の特定のモードはＨ．２６４で提出され、Ｈ．２６５で改良され、さらに共同探索モデル（ＪＥＭ）、多用途ビデオコーディング（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などのより新しいコーディング技術で改良された。予測器ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成されることができる。隣接サンプルのサンプル値は、方向に従って予測器ブロックに複製される。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、またはそれ自体が予測され得る。

図１Ａを参照し、右下に示されているのは、Ｈ．２６５の３３通りの可能な予測器方向（３５通りのイントラモードの３３通りの角度モードに対応する）からの９通りの予測器方向のサブセットである。矢印が収束する点（１０１）は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上への１つまたは複数のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、サンプル（１０１）の水平から２２．５度の角度で左下への１つまたは複数のサンプルから予測されることを示す。

引き続き図１Ａを参照し、左上には、４×４サンプルの正方形ブロック（１０４）（太い破線で示される）が示されている。正方形ブロック（１０４）は、１６個のサンプルを含み、それぞれ「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けされた。例えば、サンプルＳ２１は、Ｙ次元（上から）における２番目のサンプルであり、Ｘ次元（左から）における１番目のサンプルである。同様に、サンプルＳ４４は、ＹおよびＸ次元の両方でのブロック（１０４）における４番目のサンプルである。ブロックはサイズが４×４サンプルであるので、Ｓ４４は、右下にある。さらに、同様な番号付け体系に従う参照サンプルが示されている。参照サンプルは、Ｒ、ブロック（１０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けされる。Ｈ．２６４とＨ．２６５の両方で、予測サンプルは再構成中のブロックに隣接している。したがって、負の値を使用する必要はない。

イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられた隣接サンプルからの参照サンプル値をコピーすることで行われることができる。例えば、仮に、コーディングされたビデオビットストリームは、このブロックについて矢印（１０２）（すなわち、水平から４５度の角度で右上への１つまたは複数の予測サンプルから予測される）と一致する予測方向を示すシグナリングを含むとする。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、およびＳ１４は同一の参照サンプルＲ０５から予測される。その後、サンプルＳ４４は、参照サンプルＲ０８から予測される。

幾つかの場合において、複数の参照サンプルの値は、参照サンプルを算出するために、特に方向が４５度で均等に分割されていない場合に、例えば補間によって組み合わせられることができる。

ビデオコーディング技術が発展するにつれて、予測可能な方向の数も増えつつある。Ｈ．２６４（２００３年）では、９通りの異なる方向を表すことができる。Ｈ．２６５（２０１３年）で３３通りに増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは開示時に最大６５通りの方向をサポートできる。最も見込みのある方向を識別するための実験が行われ、エントロピーコーディングにおける特定の技術は、少ないビットで見込みの高い方向を表すために使用され、見込みの低い方向に対する特定のペナルティを受け入れる。さらに、方向自体は、隣接する、すでにデコーディングされたブロックで使用される隣接方向から予測される場合がある。

図１Ｂは、予測方向の経時的な増加数を示すために、ＪＥＭによる６５通りのイントラ予測方向を示す概略図（１８０）を示す。

方向を表すコーディングされたビデオビットストリームにおけるイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、また、例えば、イントラ予測モードへの予測方向の単純な直接マッピングから、コードワード、最も可能性の高いモードを含む複雑な適応スキーム、および同様の技術までの範囲とすることができる。しかしながら、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、適切に機能するビデオコーディング技術では、これらの見込みの低い方向は、見込みの高い方向よりも多くのビット数で表される。

動き補償は、非可逆圧縮技術とすることができ、且つ、以前から再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶとも称する）によって示される方向に空間的にシフトされた後に、新たな再構成されるピクチャ又はその一部の予測のために使用される技術に関連付けられることができる。場合によっては、参照ピクチャは現在再構成中のピクチャと同一であり得る。ＭＶは、Ｘ及びＹの２次元、又は３次元を有することができ、第３次元は、使用中の参照ピクチャの表示である（後者は、間接的に、時間次元とすることができる）。

いくつかのビデオ圧縮技術では、サンプルデータのあるエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中の領域に空間的に隣接し、デコーディングの順序でそのＭＶに先行するサンプルデータの別の領域に関連するＭＶから予測され得る。このようにすれば、ＭＶのコーディングに必要なデータ量を大幅に削減し、それによって冗長性を除去し、圧縮量を増大させることができる。ＭＶ予測は効率的に機能し得る。なぜならば、例えば、カメラから導出された入力ビデオ信号（ナチュラルビデオと呼ばれる）をコーディングする場合、単一のＭＶを適用可能な領域よりも大きな領域は、類似の方向に沿って移動するという統計的可能性があり、したがって、場合によっては、隣接領域のＭＶから導出された類似の動きベクトルを用いて予測され得るからである。その結果、所定の領域について見出されたＭＶは、周囲のＭＶから予測されたＭＶと類似又は同一になり、そしてエントロピーコーディングされた後、ＭＶを直接コーディングする場合に使用されるものよりも、より少ない数のビットで表され得る。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲ＭＶから予測器を計算する際の丸め誤差のために、非可逆的であり得る。

Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、 Ｄｅｃｅｍｂｅｒ ２０１６）では、様々なＭＶ予測メカニズム記述されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、ここでは、以後「空間マージ」と称される技術について説明する。

図２を参照すると、現在のブロック（２０１）は、空間的にシフトされた同サイズの前のブロックから予測可能であることが、動き探索プロセス中にエンコーダによって発見されたサンプルを含む。ＭＶを直接コーディングする代わりに、複数の参照ピクチャに関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）と示される５つの周囲サンプルのいずれかに関連付けられたＭＶを使用して、（デコーディングする順から）最新の参照ピクチャから、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測器を使用することができる。

本開示の態様は、ビデオエンコーディングおよび／またはデコーディングのための方法および装置を提供する。いくつかの例では、ビデオデコーディングのための装置は、処理回路を含む。処理回路は、現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのグループからブロックの変換候補を決定することができる。変換セットのグループの各変換セットは、ブロックの１つまたは複数の変換候補を含むことができる。１つまたは複数の隣接ブロックは、現在のピクチャまたは現在のピクチャと異なる再構成ピクチャにあることができる。処理回路は、決定された変換候補に基づいて、ブロックのサンプルを再構成することができる。

実施形態では、ブロックのコーディングされた情報で示されるブロックの予測モードに基づいて、変換セットのグループから、変換セットのサブグループを選択することができる。ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループから、変換候補を決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループの１つの変換セットを選択することができる。コーディングされた情報でシグナリングされたインデックスに基づいて、変換セットのサブグループの選択された１つの変換セットから、ブロックの変換候補を決定することができる。

一例では、コーディングされた情報でシグナリングされたインデックスに基づいて、変換セットのサブグループから、１つの変換セットを選択することができる。ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループの選択された１つの変換セットから、ブロックの変換候補を決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループから、変換候補を暗黙的に決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルの統計分析に基づいて、特徴ベクトル

または特徴スカラーＳのうちの１つを決定することができる。ブロックのコーディングされた情報で示されるブロックの予測モードに基づいて、変換セットのグループから、変換セットのサブグループを選択することができる。処理回路は、（ｉ）特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、変換セットのサブグループから変換候補を決定すること、または、（ｉｉｉ）コーディングされた情報のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、特徴ベクトル

または特徴スカラーＳのうちの１つに基づいて、
選択された変換セットから変換候補を決定することのうちのいずれか１つを実行することができる。

一例では、特徴ベクトル

または特徴スカラーＳのうちの１つは、特徴スカラーＳである。特徴スカラーＳを、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルのサンプル値を示す変数のモーメントとして決定する。

一例では、しきい値セットＫ_Ｓが予め定義されている。処理回路は、（ｉ）変数のモーメントとしきい値セットＫ_Ｓからのしきい値に基づいて、変換セットのサブグループから、変換セットを決定すること、（ｉｉ）変数のモーメントとしきい値に基づいて、変換セットのサブグループから変換候補を決定すること、または（ｉｉｉ）コーディングされた情報のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、変数のモーメントとしきい値に基づいて、選択された変換セットから変換候補を決定することのうちのいずれか１つを実行する。

一例では、変数のモーメントは、変数の１次モーメント、変数の２次モーメント、または変数の３次モーメントのうちの１つである。ブロックの予測モードは、複数の予測モードのうちの１つである。複数の予測モードのそれぞれは、しきい値セットＫ_Ｓにおける一意のしきい値サブセットＫ_Ｓ'に対応し、一意のしきい値サブセットＫ_Ｓ'は、複数の予測モードと、しきい値セットＫ_Ｓにおける複数のしきい値サブセットとの間の単射マッピングを示している。

一例では、処理回路は、（ｉ）ブロックのブロックサイズ、（ｉｉ）量子化パラメータ、または（ｉｉｉ）ブロックの予測モードのうちの１つに基づいて、しきい値セットＫ_Ｓからしきい値を選択する。

一例では、特徴ベクトル

または特徴スカラーＳのうちの１つは、特徴ベクトル

である。特徴ベクトル

を、ブロックの左側にある隣接列の再構成サンプルのサンプル値と、ブロックの上側にある隣接行の再構成サンプルのサンプル値をそれぞれ示す変数の共同変動として決定する。

一例では、分類ベクトルセット

、および前記分類ベクトルセット

に関連付けられたしきい値セットＫ_ｖが予め定義されている。処理回路は、変数の共同変動と、分類ベクトルセット

に含まれる分類ベクトルサブセット

から選択された分類ベクトルとの間の距離を算出する。処理回路は、（ｉ）距離と、しきい値セットＫ_ｖに含まれるしきい値サブセットＫ_ｖ’から選択されたしきい値との比較に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）距離としきい値との比較に基づいて、変換セットのサブグループから変換候補を決定すること、または、（ｉｉｉ）コーディングされた情報のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、距離としきい値との比較に基づいて、選択された変換セットから変換候補を決定することのうちのいずれか１つを実行する。

本開示の態様は、ビデオデコーディングのためにコンピュータによって実行される場合、ビデオデコーディングおよび／またはエンコーディングのための方法をコンピュータに実行させる命令を記憶した非一時的なコンピュータ読取可能な媒体をさらに提供する。

開示された主題のさらなる特徴、本質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システム（３００）の簡略ブロック図の概略図である。 一実施形態による通信システム（４００）の簡略ブロック図の概略図である。 実施形態によるデコーダの簡略ブロック図の概略図である。 実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 本開示の実施形態によるコーディングブロックの公称モードの例を示す。 本開示の態様による無指向性平滑イントラ予測モードの例を示す。 本開示の実施形態による再帰フィルタリングに基づくイントラ予測器の例を示す。 本開示の実施形態によるコーディングブロック用の複数の参照線の例を示す。 本開示の実施形態による一次変換基底関数の例を示す。 本開示の実施形態による変換ブロックサイズおよび予測モードに基づく様々な変換カーネルの可用性の例示的な依存性を示す。 本開示の一実施形態によるイントラ予測モードに基づく例示的な変換タイプの選択を示す。 本開示の実施形態による１６ｘ６４変換および１６ｘ４８変換を別々に使用する２つの変換コーディングプロセス（１７００）および（１８００）の例を示す。 本開示の実施形態による１６ｘ６４変換および１６ｘ４８変換を別々に使用する２つの変換コーディングプロセス（１７００）および（１８００）の例を示す。 図１７（Ａ）～図１７（Ｄ）は本開示の実施形態によるイントラ予測モードについて観察された例示的な残留パターン（グレースケール）を示す。 本開示の実施形態によるブロックの例示的な空間隣接サンプルを示す。 本開示の実施形態によるプロセス（１９００）を概説するフローチャートを示す。 実施形態によるコンピュータシステムの概略図である。

図３は、本開示の実施形態による通信システム（３００）の簡略ブロック図の概略図を示している。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１の対の端末装置（３１０）および（３２０）を含む。図３の例では、第１の対の端末装置（３１０）および（３２０）は、データの単方向伝送を実行する。例えば、端末装置（３１０）は、ネットワーク（３５０）を介して他方の端末装置（３２０）へ伝送するためにビデオデータ（例えば、端末装置（３１０）によってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。コーディングされたビデオデータは、１つまたは複数のコーディングされたビデオビットストリームの形で送信され得る。端末装置（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ伝送は、メディア配信アプリケーションなどで一般的である。

別の一例では、通信システム（３００）は、例えば、ビデオ会議中に発生し得るコーディングされたビデオデータの双方向伝送を実行する第２の対の端末装置（３３０）および（３４０）を含む。データの双方向伝送の場合、一例では、端末装置（３３０）および（３４０）のそれぞれは、ネットワーク（３５０）を介して端末装置（３３０）および（３４０）のうちの他方の端末装置に伝送するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。端末装置（３３０）および（３４０）のそれぞれは、端末装置（３３０）および（３４０）のうちの他方の端末装置で伝送されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャにアクセス可能な表示装置に表示させることができる。

図３の例では、端末装置（３１０）、（３２０）、（３３０）および（３４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、しかし、本開示の原理はこれに制限されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器に応用できる。ネットワーク（３５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（３１０）、（３２０）、（３３０）および（３４０）間でコーディングされたビデオデータを伝送する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でない可能性がある。

図４は、開示された主題のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ機能アプリケーションに同様に適用可能である。

ストリーミングシステムは、例えば非圧縮のビデオピクチャストリーム（４０２）を作成するデジタルカメラなどのビデオソース（４０１）を含み得るキャプチャサブシステム（４１３）を含んでもよい。一例では、ビデオピクチャストリーム（４０２）は、デジタルカメラによって撮像されたサンプルを含む。コーディングされたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較した際の高いデータ量を強調するために太線で示されたビデオピクチャストリーム（４０２）は、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含む電子機器（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（４０２）のストリームと比較した際の低いデータ量を強調するために細い線で示された、コーディングされたビデオデータ（４０４）（またはコーディングされたビデオビットストリーム（４０４））は、将来に使用するためにストリーミングサーバ（４０５）に記憶され得る。図４におけるクライアントサブシステム（４０６）および（４０８）のような１つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、コーディングされたビデオデータ（４０４）のコピー（４０７）および（４０９）を検索することができる。クライアントサブシステム（４０６）は、例えば、電子機器（４３０）におけるビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、コーディングされたビデオデータの入力コピー（４０７）をデコーディングし、ディスプレイ（４１２）（例えば、表示画面）または他のレンダリングデバイス（図示せず）に表示できるビデオピクチャ（４１１）の出力ストリームを作成する。一部のストリーミングシステムにおいて、コーディングされたビデオデータ（４０４）、（４０７）、および（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってコーディングされ得る。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング規格は、非公式的に多用途ビデオコーディング（ＶＶＣ）として知られている。開示された主題は、ＶＶＣの文脈において使用され得る。

なお、電子機器（４２０）および（４３０）は、他の構成要素（図示せず）を含み得る。例えば、電子機器（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子機器（４３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

図５は、本開示の実施形態によるビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、電子機器（５３０）に含まれることができる。電子機器（５３０）は、受信機（５３１）（例えば、受信回路）を含み得る。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用され得る。

受信機（５３１）は、ビデオデコーダ（５１０）によってデコーディングされた１つまたは複数のコーディングされたビデオシーケンスを受信でき、同一または別の実施形態では、一度に１つのコーディングされたビデオシーケンスであり、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、コーディングされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（５０１）から受信されることができる。受信機（５３１）は、それぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリームを有する、コーディングされたビデオデータを受信し得る。受信機（５３１）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（５１５）は、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以降、「パーサ（５２０）」と称される）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他の実施形態では、バッファメモリはビデオデコーダ（５１０）（図示せず）の外部に存在し得る。さらに別の実施形態では、例えば、ネットワークジッタを防止するためにビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在し、且つ、例えば、再生タイミングを取り扱うためにビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）が存在し得る。受信機（５３１）が十分な帯域幅および制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（５１５）は必要とされず、または小さくされる場合がある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（５１５）が必要になる場合があり、バッファメモリ（５１５）は、比較的大きくされ、有利には適応サイズとすることができ、ビデオデコーダ（５１０）の外部のオペレーティングシステムまたは類似の要素（図示せず）に少なくとも部分的に実現され得る。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するパーサ（５２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の操作を管理するために使用される情報、および、電子機器（５３０）の構成部分ではないが、図５に示されるように電子機器（５３０）に結合され得るレンダリングデバイス（５１２）（例えば、表示画面）のようなレンダリングデバイスを制御する潜在的情報を含む。レンダリングデバイスのための制御情報は、補足拡張情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形式でもよい。パーサ（５２０）は、受信されたコーディングされたビデオシーケンスを解析／エントロピーデコーディングすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存を有するまたは有しない算術コーディングなどを含む様々な原理に従うことができる。パーサ（５２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダにおける画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、グループオブピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報を抽出することもできる。

パーサ（５２０）は、シンボル（５２１）を作成するために、バッファメモリ（５１５）から受信されたビデオシーケンスに対してエントロピーデコーディング／解析操作を実行することができる。

シンボル（５２１）の再構成には、コーディングされたビデオピクチャまたはその一部（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）のタイプ、および他の要因に応じて、複数の異なるユニットが関与できる。どのユニットがどのように関与するかは、パーサ（５２０）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。明確化にするために、パーサ（５２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは示されていない。

すでに述べた機能ブロックに加えて、ビデオデコーダ（５１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分され得る。商業的な制約の下で実際の実現にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部に互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分化が適切である。

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（５２１）としてパーサ（５２０）から受信する。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（５５１）の出力サンプルは、イントラコーディングブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用せず、現在のピクチャの以前に再構成された部分からの予測情報を使用できるブロックに関係し得る。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）から取り出された周囲の既に再構成された情報を用いて、再構成中のブロックの同サイズおよび形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供された出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、潜在的に動き補償されたブロックに関係することがある。このような場合に、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測のためのサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（５２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（５５５）によってスケーラ／逆変換ユニット（５５１）の出力に追加され得る（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルを取り出す参照ピクチャメモリ（５５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（５２１）の形式で動き補償予測ユニット（５５３）に利用可能な動きベクトルによって制御され得る。動き補償は、サブサンプルの正確な動きベクトルが使用中である際に参照ピクチャメモリ（５５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれる、パーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能とされたパラメータによって制御され、それに、コーディングされたピクチャまたはコーディングされたビデオシーケンスの前の部分（デコーディング順で）のデコーディング進行中に取得されたメタ情報に応じるとともに、以前に再構成されループフィルタリングされたサンプル値に応答することもできるループフィルタ技術を含み得る。

ループフィルタユニット（５５６）の出力は、レンダリングデバイス（５１２）へ出力されるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に記憶されることができるサンプルストリームであり得る。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、且つ次のコーディングされたピクチャの再構成を開始する前に新しい現在のピクチャバッファは、再び割り当てられることができる。

ビデオデコーダ（５１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格での所定のビデオ圧縮技術に従ってデコーディング操作を実行することができる。コーディングされたビデオシーケンスが、ビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できる一意のツールとして選択することができる。コーディングされたビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様およびコーディングされたビデオシーケンスでシグナリングされたＨＲＤバッファ管理のためのメタデータによってさらに制限され得る。

実施形態では、受信機（５３１）は、コーディングされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコーディングし、および／または、元のビデオデータをより正確に再構成するためにビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形式であり得る。

図６は、本開示の実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオエンコーダ（６０３）は、電子機器（６２０）に含まれる。電子機器（６２０）は、送信機（６４０）（例えば、送信回路）を含む。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用され得る。

ビデオエンコーダ（６０３）は、ビデオエンコーダ（６０３）によってコーディングされるビデオ画像をキャプチャし得るビデオソース（６０ｌ）（図６の例における電子機器（６２０）の一部ではない）からビデオサンプルを受信することができる。別の一例では、ビデオソース（６０１）は、電子機器（６２０）の一部である。

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形式で提供し得る。メディア配信システムでは、ビデオソース（６０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、連続して見た際に動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つまたは複数のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

一実施形態によれば、ビデオエンコーダ（６０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャをコーディングし、コーディングされたビデオシーケンス（６４３）に圧縮することができる。適切なコーディング速度を強制することは、コントローラ（６５０）の機能の１つである。いくつかの実施形態では、コントローラ（６５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、カップリングは描かれていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値、・・・）、ピクチャサイズ、グループオブピクチャ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（６５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（６０３）に関する他の適切な機能を有するように構成され得る。

いくつかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過度に簡略化した説明として、一例では、コーディングループは、ソースコーダー（６３０）（例えば、コーディングしようとする入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）を含み得る。デコーダ（６３３）は、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成するためにシンボルを再構成する（シンボルとコーディングされたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるため）。再構成されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（６３４）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果につながるため、参照ピクチャメモリ（６３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコーディング中に予測を使用する際にデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）のかような基本原理は、いくつかの関連分野にも使用されている。

「ローカル」デコーダ（６３３）の動作は、前文で図５を参照して既に詳細に説明された、ビデオデコーダ（５１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図５を簡単に参照すると、シンボルが使用可能であり、エントロピーコーダー（６４５）およびパーサ（５２０）によるコーディングビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であり得るので、バッファメモリ（５１５）、およびパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピーデコーディング部分は、ローカルデコーダ（６３３）では完全に実現されない場合がある。

この点から分かるように、デコーダに存在する解析／エントロピーデコーディング以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作を中心とする。エンコーダ技術の説明は、包括的に説明されたデコーダ技術と逆なものであるため、省略できる。特定の領域でのみ、より詳細な説明が必要となり、以下に提供される。

操作中、いくつかの例では、ソースコーダー（６３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つまたは複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする動き補償予測コーディングを実行してもよい。このようにして、コーディングエンジン（６３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異をコーディングする。

ローカルビデオデコーダ（６３３）は、ソースコーダー（６３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングすることができる。コーディングエンジン（６３２）の操作は、有利にはロッシープロセスであり得る。コーディングされたビデオデータをビデオデコーダ（図６に示せず）でデコーディングできる際、再構成されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（６３３）は、ビデオデコーダによって参照ピクチャを実行し得るデコーディングプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（６３４）に記憶させることができる。このようにして、ビデオエンコーダ（６０３）は、遠端ビデオデコーダによって取得される再構成された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構成された参照ピクチャのコピーをローカルに記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）に対する予測検索を実行できる。つまり、コーディング対象となる新しいピクチャについて、予測器（６３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（６３４）から検索することができる。予測器（６３５）は、適切な予測基準を見つけるために、サンプルブロック/画素ブロックごとに操作することができる。場合によっては、予測器（６３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（６５０）は、例えば、ビデオデータをコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダー（６３０）のコーディング操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダー（６４５）においてエントロピーコーディングを受け得る。エントロピーコーダー（６４５）は、例えば、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコーディングビデオシーケンスに変換する。

送信機（６４０）は、コーディングされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（６６０）を介した送信の準備のために、エントロピーコーダー（６４５）によって作成されたコーディングされたビデオシーケンスをバッファリングすることができる。送信機（６４０）は、ビデオコーダ（６０３）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の操作を管理し得る。コーディングの際に、コントローラ（６５０）は、各コーディングされたピクチャに特定のコーディングピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、ピクチャは、通常、次のピクチャタイプのいずれかに割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずにコーディングおよびデコーディングされ得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測によりコーディングおよびデコーディングされ得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測によりコーディングおよびデコーディングされ得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックを再構成するために２つを超える参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定された他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてもよく、或いは、同一のピクチャの既にコーディングされたブロック（空間予測またはイントラ予測）を参照して予測的にコーディングされてもよい。Ｐピクチャの画素ブロックは、１つの予めコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされ得る。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコーディングされ得る。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの予め設定されたビデオコーディング技術または規格に従って、コーディング操作を実行することができる。操作中、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測コーディング操作を含む、様々な圧縮操作を実行することができる。したがって、コーディングされたビデオデータは、使用されるビデオコーディング技術または規格によって指定されたシンタックスに準拠する場合がある。

実施形態では、送信機（６４０）は、コーディングされたビデオとともに追加のデータを送信することができる。ソースコーダー（６３０）は、このようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形式での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。

ビデオは、時系列の複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間的相関性を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関性を利用する。一例では、現在のピクチャと呼ばれるエンコーディング／デコーディング中の特定のピクチャは、ブロックに分割される。現在のピクチャにおけるブロックが、ビデオにおける以前にコーディングされ、まだバッファリングされている参照ピクチャの参照ブロックに類似している場合、現在のピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

いくつかの実施形態では、インターピクチャ予測において双方向予測法を使用することができる。双方向予測法によれば、ビデオにおける現在のピクチャよりもデコーディング順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを使用する。現在のピクチャにおけるブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによってコーディングされ得る。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測され得る。

さらに、マージモード技術をインターピクチャ予測に適用して、コーディング効率を向上させることができる。

本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、ビデオ ピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢと２つのクロマＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割され得る。例えば、６４×６４画素のＣＴＵは、６４×６４画素の１つのＣＵ、３２×３２画素の４つのＣＵ、または１６×１６画素の１６個のＣＵに分割され得る。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、ルマ予測ブロック（ＰＢ）と２つのクロマＰＢを含む。実施形態では、コーディング（エンコーディング／デコーディング）における予測操作は、予測ブロックの単位で実行される。ルマ予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素など画素の値（例えば、ルマ値）の行列を含む。

図７は、本開示の他の実施形態によるビデオエンコーダ（７０３）の図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにコーディングするように構成される。一例では、図４の例におけるビデオエンコーダ（４０３）の代わりにビデオエンコーダ（７０３）を使用する。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双方向予測モードにより最良にコーディングするか否かを決定する。処理ブロックがイントラモードでコーディングされようとする場合、ビデオエンコーダ（７０３）は、イントラ予測法を用いて処理ブロックをコーディングされたピクチャにコーディングすることができる。また、処理ブロックがインターモードまたは双予測モードでコーディングされようとする場合、ビデオエンコーダ（７０３）は、それぞれインター予測または双方向予測法を用いて、処理ブロックをコーディングされたピクチャにコーディングすることができる。特定のビデオコーディング技術では、マージモードは、予測器外のコーディングされた動きベクトル成分を介することなく、１つまたは複数の動きベクトル予測器から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示すように互いに結合されたインターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差算出部（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、汎用コントローラ（７２１）およびエントロピーエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つまたは複数の参照ブロック（例えば、前の先行ピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターコーディング法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技術を用いてインター予測結果（例えば、予測されたブロック）を算出するように構成される。いくつかの例では、参照ピクチャは、コーディングされたビデオ情報に基づいてデコーディングされた参照ピクチャである。

イントラエンコーダ（７２２）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既にコーディングされたブロックと比較し、変換後に、量子化された係数を生成し、場合によってはイントラ予測情報（例えば、１つまたは複数のイントラコーディング技術によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（７２２）は、同一のピクチャ内の参照ブロックおよびイントラ予測情報に基づいてイントラ予測結果（例えば、予測されたブロック）も算出する。

汎用コントローラ（７２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（７２１）は、ブロックのモードを決定し、このモードに基づいて制御信号をスイッチ（７２６）に提供する。例えば、モードがイントラモードである場合、汎用コントローラ（７２１）は、残差算出部（７２３）が使用するためのイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。また、モードがインターモードである場合、汎用コントローラ（７２１）は、残差算出部（７２３）が使用するためのインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（７２５）を制御する。

残差算出部（７２３）は、受信されたブロックとイントラエンコーダ（７２２）またはインターエンコーダ（７３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データをコーディングして変換係数を生成するように構成される。一例では、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域へ変換し、変換係数を生成するように構成される。その後、変換係数に対して量子化処理を行い、量子化された変換係数を得る。様々な実施形態では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）をさらに含む。残差デコーダ（７２８）は、逆変換を実行し、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（７２２）およびインターエンコーダ（７３０）によって適切に使用され得る。例えば、インターエンコーダ（７３０）は、デコーディング残差データよびインター予測情報に基づいて、デコーディングブロックを生成することができ、且つイントラエンコーダ（７２２）は、デコーディングされた残差データおよびイントラ予測情報に基づいて、デコーディングブロックを生成することができる。いくつかの例では、デコーディングブロックは、デコーディングピクチャを生成するように適切に処理され、デコーディングピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用され得る。

エントロピーエンコーダ（７２５）は、コーディングされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（７２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、およびビットストリームにおける他の適切な情報を含むように構成される。開示された主題によれば、インターモードまたは双方向予測モードのマージサブモードでブロックをコーディングする場合、残差情報はないことに留意されたい。

図８は、本開示の他の実施形態によるビデオデコーダ（８１０）の図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして、再構成ピクチャを生成するように構成される。一例では、図４の例におけるビデオデコーダ（４１０）の代わりにビデオデコーダ（８１０）を使用する。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように互いに結合されたエントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、およびイントラデコーダ（８７２）を含む。

エントロピーデコーダ（８７１）は、コーディングされたピクチャから、コーディングされたピクチャを構成する構文要素を表す特定のシンボルを再構成するように構成されることができる。このようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双方向予測モード、後の両者のマージサブモードまたは他のサブモード）、それぞれイントラデコーダ（８７２）またはインターデコーダ（８８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインターまたは双方向予測モードであれば、インター予測情報は、インターデコーダ（８８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（８７２）に提供される。残差情報は、逆量子化され、残差デコーダ（８７３）に提供されることができる。

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（８７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（８７３）は、特定の制御情報（量子化器パラメータ（ＱＰ）を含めるように）を必要とする場合があり、この情報は、エントロピーデコーダ（８７１）によって提供されてもよい（データパスは、少量の制御情報のみであり得るため、示されていない）。

再構成モジュール（８７４）は、空間領域において、残差デコーダ（８７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構成ビデオの一部となり得る再構成ピクチャの一部であり得る再構成ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

なお、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、任意の適切な技術を用いて実現されることができる。実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、１つまたは複数の集積回路を用いて実現され得る。別の実施形態では、ビデオエンコーダ（４０３）、（６０３）および（７０３）とビデオデコーダ（４１０）、（５１０）および（８１０）は、ソフトウェア命令を実行する１つまたは複数のプロセッサを用いて実現され得る。

ブロックの１つまたは複数の隣接ブロックの再構成サンプル（例えば、特徴インジケータ（例えば、ブロックの１つまたは複数の隣接ブロックの再構成サンプルの特徴ベクトルまたは特徴スカラー）に基づく変換セットまたは変換カーネル選択スキームに関連するビデオコーディング技術が開示されている。ビデオコーディングフォーマットは、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）またはＡＶ１を超える次世代のＡＯＭｅｄｉａ Ｖｉｄｅｏフォーマットのような、インターネッを介したビデオ伝送のために設計されたオープンビデオコーディングフォーマットを含み得る。また、ビデオコーディング規格は、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格や、ＨＥＶＣを超える次世代のビデオコーディング（例えば、多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ））などを含み得る。

イントラ予測、例えばＡＶ１、ＶＶＣなどにおいて、様々なイントラ予測モードを使用し得る。実施形態では、例えばＡＶ１において、指向性イントラ予測が使用される。指向性イントラ予測では、ブロックの予測サンプルは、一方向に沿って隣接する再構成サンプルから外挿することによって生成できる。方向は角度に対応する。ブロックの予測サンプルを予測するために指向性イントラ予測で使用されるモードは、指向性モードと呼ばれることがある（指向性予測モード、指向性イントラモード、指向性イントラ予測モード、角度モードとも呼ばれる）。各々の指向性モードは、異なる角度または異なる方向に対応し得る。一例では、例えばオープンビデオコーディングフォーマットＶＰ９では、４５°から２０７°までの８つの角度に対応する８通りの指向性モードが使用される。８通りの指向性モードは、公称モード（例えば、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤ）と呼ばれることもできる。指向性テクスチャ（例えばＡＶ１）ではより多様な空間的冗長性を利用するために、指向性モードは、例えば、８つの公称モードを超えて、図９に示すように、より細かい粒度およびより多くの角度（または方向）を有する角度セットに拡張され得る。

図９は、本開示の実施形態によるコーディングブロック（ＣＢ）（９１０）の公称モードの一例を示す。特定の角度（公称角度と呼ばれる）は、公称モードに対応することができる。一例では、８つの公称角度（または公称イントラ角度）（９０１）～（９０８）は、８通りの公称モード（例えば、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤ）に対応する。また、８つの公称角度（９０１）～（９０８）および８通りの公称モードは、それぞれ、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、およびＤ６７＿ＰＲＥＤと呼ばれることができる。公称モードインデックスは、公称モード（たとえば、８つの公称モードのうちの１つ）を示すことができる。一例では、公称モードインデックスがシグナリングされる。

さらに、各公称角度は、複数のより細かい角度（例えば、７つのより細かい角度）に対応することができ、したがって、例えば、ＡＶ１において、５６個の角度（または予測角度）または５６通りの指向性モード（または角度モード、指向性イントラ予測モード）を使用することができる。各予測角度は、公称角度および角度オフセット（または角度デルタ）によって表されることができる。角度オフセットは、オフセット整数Ｉ（例えば、－３、－２、－１、０、１、２、または３）にステップサイズ（例えば、３°）を乗算することによって求められる。一例では、予測角度は、公称角度と角度オフセットの和に等しい。一例では、例えばＡＶ１において、公称モード（例えば、８通りの公称モード（９０１）～（９０８））は、特定の非角度平滑モード（例えば、後述するＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、垂直ＳＭＯＯＴＨモード、および水平ＳＭＯＯＴＨモード）とともにシグナリングされることができる。続いて、現在の予測モードが指向性モード（または角度モード）である場合、公称角度に対応する角度オフセット（例えば、オフセット整数Ｉ）を示すインデックスをさらにシグナリングすることができる。一例では、指向性モード（例えば、５６通りの指向性モードのうちの１つ）は、公称モードインデックスおよび公称モードからの角度オフセットを示すインデックスに基づいて決定され得る。一例では、汎用的な方法を介して指向性予測モードを実現するために、ＡＶ１で使用されるような５６通りの指向性モードは、各画素を参照サブ画素位置に投影し、２タップバイリニアフィルタによって参照画素を補間することができる統一された指向性予測器で実現される。

無指向性平滑イントラ予測器（無指向性平滑イントラ予測モード、無指向性平滑モード、非角度平滑モードとも呼ばれる）は、ＣＢのイントラ予測に使用され得る。いくつかの例では（例えば、ＡＶ１では）、５通りの無指向性平滑イントラ予測モードは、ＤＣモードまたはＤＣ予測器（例えば、ＤＣ）、ＰＡＥＴＨモードまたはＰＡＥＴＨ予測器（例えば、ＰＡＥＴＨ）、ＳＭＯＯＴＨモードまたはＳＭＯＯＴＨ予測器（例えば、ＳＭＯＯＴＨ）、垂直ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ_Ｖモード、ＳＭＯＯＴＨ_Ｖ予測器、ＳＭＯＯＴＨ_Ｖと呼ばれる）、および水平ＳＭＯＯＴＨモード（ＳＭＯＯＴＨ_Ｈモード、ＳＭＯＯＴＨ_Ｈ予測器、ＳＭＯＯＴＨ_Ｈと呼ばれる）を含む。

図１０は、本開示の態様による、無指向性平滑イントラ予測モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ＿Ｖモード、およびＳＭＯＯＴＨ＿Ｈモード）の例を示す。ＤＣ予測器に基づいてＣＢ（１０００）内のサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値と、上隣接サンプル（またはトップ隣接サンプル）（１０１１）の第２の値との平均値を予測器として使用することができる。

ＰＡＥＴＨ予測器に基づいてサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値、トップ隣接サンプル（１０１１）の第２の値、および左上隣接サンプル（１０１３）の第３の値を取得することができる。そして、式１を用いて参照値を求める。
参照値＝第１の値＋第２の値－第３の値 （式１）

参照値に最も近い第１の値、第２の値、第３の値のうちの１つをサンプル（１００１）の予測器として設定することができる。

ＳＭＯＯＴＨ_Ｖモード、ＳＭＯＯＴＨ_Ｈモード、およびＳＭＯＯＴＨモードは、それぞれ、垂直方向、水平方向、および垂直方向と水平方向の平均値の二次補間を用いて、ＣＢ（１０００）を予測することができる。ＳＭＯＯＴＨ予測器に基づいてサンプル（１００１）を予測するために、第１の値、第２の値、右サンプル（１０１４）の値、およびボトムサンプル（１０１６）の値の平均値（例えば、加重組み合わせ）を使用することができる。様々な例では、右サンプル（１０１４）およびボトムサンプル（１０１６）は再構成されていないため、右上隣接サンプル（１０１５）の値および左下隣接サンプル（１０１７）の値は、それぞれ右サンプル（１０１４）およびボトムサンプル（１０１６）の値を置き換えることができる。したがって、第１の値、第２の値、右上隣接サンプル（１０１５）の値、および左下隣接サンプル（１０１７）の値の平均値（例えば、加重組み合わせ）を、ＳＭＯＯＴＨ予測器として使用することができる。ＳＭＯＯＴＨ_Ｖ予測器に基づいてサンプル（１００１）を予測するために、トップ隣接サンプル（１０１１）の第２の値と左下隣接サンプル（１０１７）の値の平均値（例えば、加重組み合わせ）を使用することができる。ＳＭＯＯＴＨ_Ｈ予測器に基づいてサンプル（１００１）を予測するために、左隣接サンプル（１０１２）の第１の値と右上隣接サンプル（１０１５）の値の平均値（例えば、加重組み合わせ）を使用することができる。

図１１は、本開示の実施形態による再帰フィルタリングに基づくイントラ予測器（フィルタイントラモード、または再帰フィルタリングモードとも呼ばれる）の一例を示す。エッジ上の参照との減衰する空間的相関性をキャプチャするために、フィルタイントラモードをＣＢ（１１００）に使用することができる。一例では、ＣＢ（１１００）は、ルマブロックである。ルマブロック（１１００）は、複数のパッチ（例えば、８つの４×２パッチＢ０～Ｂ７）に分割されることができる。パッチＢ０～Ｂ７のそれぞれは、複数の隣接サンプルを有することができる。例えば、パッチＢ０は、４つのトップ隣接サンプルＲ０１～Ｒ０４、２つの左隣接サンプルＲ０５～Ｒ０６、および、左上隣接サンプルＲ００を含む７つの隣接サンプル（または７つの隣接要素）Ｒ００～Ｒ０６を有する。同様に、パッチＢ７は、４つのトップ隣接サンプルＲ７１～Ｒ７４、２つの左隣接サンプルＲ７５～Ｒ７６、および左上隣接サンプルＲ７０を含む７つの隣接サンプルＲ７０～Ｒ７６を有する。

いくつかの例では、例えばＡＶ１のために、複数（例えば５つ）のフィルタイントラモード（または複数の再帰フィルタリングモード）が予め設計されている。各フィルタイントラモードは、対応する４×２パッチ（例えば、Ｂ０）内のサンプル（または画素）と、４×２パッチＢ０に隣接する７つの近傍（例えば、Ｒ００～Ｒ０６）との間の相関を反映する８つの７タップフィルタのセットで表され得る。７タップフィルタの重み係数は、位置に依存することができる。パッチＢ０～Ｂ７のそれぞれについて、７つの近傍（例えば、Ｂ０についてはＲ００～Ｒ０６、Ｂ７についてはＲ７０～Ｒ７６）は、対応するパッチ内のサンプルを予測するために使用されることができる。一例では、隣接要素Ｒ００～Ｒ０６は、パッチＢ０内のサンプルを予測するために使用される。一例では、隣接要素Ｒ７０～Ｒ７６は、パッチＢ７内のサンプルを予測するために使用される。パッチＢ０のようなＣＢ（１１００）内の特定のパッチについては、７つの隣接要素（例えば、Ｒ００～Ｒ０６）のすべてが既に再構成されている。ＣＢ（１１００）内の他のパッチについては、７つの隣接要素のうち少なくとも１つは再構成されていないため、直近の隣接要素の予測値（または直近の隣接要素の予測サンプル）を基準として使用することができる。例えば、パッチＢ７の７つの隣接要素Ｒ７０～Ｒ７６は再構成されていないので、直近の隣接要素の予測サンプルを使用することができる。

クロマサンプルは、ルマサンプルから予測され得る。一実施形態では、ルマからのクロマ（ｃｈｒｏｍａ ｆｒｏｍ ｌｕｍａ）モード（例えば、ＣｆＬモード、ＣｆＬ予測器）は、クロマサンプル（または画素）を、一致する再構成されたルマサンプル（または画素）の線形関数としてモデル化できるクロマのみのイントラ予測器である。例えば、ＣｆＬ予測は、以下のように式２を用いて表現できる。
ＣｆＬ（α）＝αＬ^Ａ＋Ｄ （式２）
ここで、Ｌ^Ａはルマ成分のＡＣ寄与を表し、αは線形モデルのスケーリングパラメータを表し、Ｄはクロマ成分のＤＣ寄与を表す。一例では、再構成されたルマ画素は、クロマ解像度に基づいてサブサンプリングされ、平均値を減算してＡＣ寄与（例えば、Ｌ^Ａ）が得られる。ＡＣ寄与からクロマＡＣ成分を近似するために、デコーダによるスケーリングパラメータαの計算に代わって、いくつかの例では、例えば、ＡＶ１では、ＣｆＬモードはオリジナルのクロマ画素に基づいてスケーリングパラメータαを決定し、ビットストリームでスケーリングパラメータαをシグナリングすることで、デコーダの複雑さを軽減しつつ、より正確な予測を得ることができる。クロマ成分のＤＣ寄与は、イントラＤＣモードを用いて求められる。イントラＤＣモードは、ほとんどのクロマコンテンツに対して十分であり、成熟した高速実現が可能である。

マルチラインイントラ予測は、イントラ予測のために、より多くの参照線を使用することができる。参照線は、ピクチャ内の複数のサンプルを含み得る。一例では、参照線は、行のサンプルおよび列のサンプルを含む。一例では、エンコーダは、イントラ予測器を生成するために使用される参照線を決定し、シグナリングすることができる。参照線を示すインデックス（参照線インデックスとも呼ばれる）は、イントラ予測モードの前にシグナリングされ得る。一例では、非ゼロの参照線インデックスがシグナリングされた場合、ＭＰＭのみが許可される。図１２は、ＣＢ（１２１０）のための４つの参照線の一例を示す。図１２を参照すると、参照線は、最大６つのセグメント、例えばセグメントＡ～Ｆと、左上参照サンプルとを含み得る。例えば、参照線０は、セグメントＢおよびＥと左上参照サンプルとを含む。例えば、参照線３は、セグメントＡ～Ｆと左上参照サンプルとを含む。セグメントＡおよびＦは、それぞれセグメントＢおよびＥからの最近接サンプルでパディングされ得る。いくつかの例では、例えば、ＨＥＶＣにおいて、１本の参照線（例えば、ＣＢ（１２１０）に隣接する参照線０）のみがイントラ予測に使用される。いくつかの例では、例えば、ＶＶＣにおいて、複数本の参照線（例えば、参照線０、１、３）がイントラ予測に使用される。

通常、ブロックは、例えば、図９～図１２を参照して上記で説明したような様々なイントラ予測モードの１つまたは適切な組み合わせを使用して予測され得る。

以下にて、ＡОＭｅｄｉａ Ｖｉｄｅо １（ＡＶ１）で使用されるような一次変換の実施形態について説明する。周波数ドメイン（または空間周波数ドメイン）での変換係数を含むＴＢが得られるように、順方向変換（例えば、エンコーダで）は、残差（例えば、空間ドメインでの残差）を含む変換ブロック（ＴＢ）に実行され得る。空間ドメインでの残差を含むＴＢは残差ＴＢと呼ばれ、周波数ドメインの変換係数を含むＴＢは係数ＴＢと呼ばれる。一例では、順方向変換は、残差ＴＢを係数ＴＢに変換できる順方向一次変換を含む。一例では、順方向変換は、順方向一次変換および順方向二次変換を含み、中では、順方向一次変換は、残差ＴＢを中間係数ＴＢに変換することができ、また順方向二次変換は、中間係数ＴＢを係数ＴＢに変換することができる。

空間ドメインでの残差ＴＢが得られるように、周波数ドメインでの係数ＴＢに対して逆変換（例えば、エンコーダまたはデコーダなどで）を実行し得る。一例では、逆変換は、係数ＴＢを残差ＴＢに変換できる逆一次変換を含む。一例では、逆変換は、逆一次変換および逆二次変換を含み、なお、逆二次変換は係数ＴＢを中間係数ＴＢに変換することができ、また逆一次変換は中間係数ＴＢを残差ＴＢに変換することができる。

通常、一次変換とは、順方向一次変換または逆一次変換を指すことができ、一次変換が残差ＴＢと係数ＴＢとの間で実行される。いくつかの実施形態では、一次変換は分離型変換であり得る。ここで、２Ｄ一次変換には、水平一次変換（水平変換とも呼ばれる）と垂直一次変換（垂直変換とも呼ばれる）が含まれていてもよい。二次変換とは、順方向二次変換または逆二次変換を指すことができ、二次変換は、中間係数ＴＢと係数ＴＢの間で実行される。

本開示に記載されているような拡張コーディングブロックパーティションをサポートするために、複数の変換サイズ（例えば、各次元について４ポイントから６４ポイントまでの範囲）および変換形状（例えば、正方形、幅と高さの比が２：１、１：２、４：１または１：４である矩形）が、例えばＡＶ１などで使用され得る。

２Ｄ変換プロセスでは、コーディングされた残差ブロックの次元ごとに異なる１Ｄ変換を含めることができるハイブリッド変換カーネルが使用され得る。一次１Ｄ変換には、（ａ）４ポイント、８ポイント、１６ポイント、３２ポイント、６４ポイントのＤＣＴ－２;（ｂ）４ポイント、８ポイント、１６ポイントの非対称ＤＳＴ（ＡＤＳＴ）（例えばＤＳＴ－４、ＤＳＴ－７など）および対応する反転バージョン（たとえば、ＡＤＳＴの反転バージョンまたはＦｌｉｐＡＤＳＴはＡＤＳＴを逆方向順序で適用できる）および/または（ｃ）４ポイント、８ポイント、１６ポイント、３２ポイントの恒等変換（ＩＤＴＸ）が含まれ得る。図１３は、本開示の実施形態による一次変換基底関数の例を示す。図１３の例における一次変換基底関数は、Ｎポイント入力を有するＤＣＴ－２および非対称ＤＳＴ（ＤＳＴ－及びＤＳＴ－７）の基底関数を含む。図１３に示す一次変換基底関数は、ＡＶ１に使用され得る。

ハイブリッド変換カーネルの可用性は、変換ブロックサイズおよび予測モードに依存し得る。図１４Ａは、変換ブロックサイズ（たとえば、第３の列に示されているサイズ）と予測モード（たとえば、第３の列に示されているイントラ予測とインター予測）に基づく様々な変換カーネル（例えば、第１の列に示され、第２の列に記載される変換タイプ）の可用性の例示的な依存性を示す。予測モードおよび変換ブロックサイズに基づく例示的なハイブリッド変換カーネル及びその可用性は、ＡＶ１で使用できる。図１４Ａを参照すると、記号

は、水平寸法（水平方向とも呼ばれる）および垂直寸法（垂直方向とも呼ばれる）を示す。記号

は、対応するブロックサイズ及び予測モードに対する変換カーネルの可用性を示す。たとえば、記号

は、変換カーネルが使用可能であり、記号「×」は変換カーネルが使用不可能であることを示す。

一例では、変換タイプ（１４１０）は、図１４Ａの第１の列に示されるようなＡＤＳＴ_ＤＣＴによって表される。変換タイプ（１４１０）は、図１４Ａの第２の列示されるように、垂直方向のＡＤＳＴおよび水平方向のＤＣＴを含む。図１４Ａの第３の列によれば、変換タイプ（１４１０）は、ブロックサイズが１６ｘ１６（例えば、１６ｘ１６サンプル、１６ｘ１６ルマサンプル）以下である場合、イントラ予測およびインター予測に利用可能である。

一例では、変換タイプ（１４２０）は、図１４Ａの第１の列に示されるように、Ｖ_ＡＤＳＴによって示される。変換タイプ（１４２０）は、図１４Ａの第２の列に示されるように、垂直方向でのＡＤＳＴおよび水平方向でのＩＤＴＸ（すなわち、単位行列）を含む。したがって、変換タイプ（１４２０）（例えば、Ｖ_ＡＤＳＴ）は、垂直方向に実行され、水平方向には実行されない。図１４Ａの第３の列によれば、変換タイプ（１４２０）は、ブロックサイズにも関わらず、イントラ予測に利用できない。変換タイプ（１４２０）は、ブロックサイズが１６ｘ１６（例えば、１６ｘ１６サンプル、１６ｘ１６ルマサンプル）未満である場合、インター予測に利用可能である。

一例では、図１４Ａは、ルマ成分に適用可能である。クロマ成分の場合、変換タイプ（または変換カーネル）の選択は暗黙的に実行され得る。一例では、予測内残差の場合、変換タイプは、図１４Ｂに示されるように、イントラ予測モードに従って選択され得る。一例では、図１４Ｂに示される変換タイプの選択は、クロマ成分に適用可能である。インター予測残差の場合、変換タイプは、同じ場所に配置されたルマブロックの変換タイプに従って選択され得る。したがって、一例では、クロマ成分のための変換タイプはビットストリームでシグナリングされない。

一次変換、二次変換などの変換は、ＣＢなどのブロックに適用され得る。一例では、変換は、一次変換、二次変換の組み合わせを含む。また、変換は、非分離変換、分離型変換または非分離変換と分離型変換の組み合わせであり得る。

二次変換は、ＶＶＣなどで実行できる。いくつかの例では、図１５～１６に示すように、例えばＶＶＣにおいて、低周波非分離変換（ＬＦＮＳＴ）（縮小二次変換（ＲＳＴ）とも呼ばれる）を、エンコーダ側での順方向一次変換および量子化と、デコーダ側での逆量子化と逆一次変換との間で適用し、一次変換係数をさらに相関解除することができる。

ＬＦＮＳＴで使用できる非分離変換の適用は、４×４入力ブロック（または入力行列）Ｘを一例として用いて、以下のように説明することができる（式３に示す）。４×４非分離変換を適用するために、４×４入力ブロックＸは、式３～４に示すように、ベクトル

で表されることができ

非分離変換は、

として計算されることができる。ここで、

は変換係数ベクトルを示し、Ｔは１６×１６変換行列である。１６×１係数ベクトル

は、その後、４×４入力ブロックの走査順序（例えば、水平走査順序、垂直走査順序、ジグザグ走査順序、または対角走査順序）を用いて、４×４出力ブロック（または出力行列、係数ブロック）に再編成されることができる。より小さなインデックスを持つ変換係数は、４×４係数ブロックにおいて小さな走査インデックスで配置されることができる。

非分離二次変換は、ＣＢなどのブロックに適用され得る。いくつかの例では、例えば、ＶＶＣにおいて、ＬＦＮＳＴは、図１５～１６に示すように、順方向一次変換と量子化との間（例えば、エンコーダ側で）、および、逆量子化と逆一次変換との間（例えば、デコーダ側で）に適用される。

図１５～１６は、それぞれ、１６×６４変換（または、変換が順方向二次変換であるか逆二次変換であるかに応じて６４×１６変換）および１６×４８変換（または、変換が順方向二次変換であるか逆二次変換であるかに応じて４８×１６変換）を用いた２つの変換コーディングプロセス（１７００）および（１８００）の例を示す。図１５を参照すると、プロセス（１７００）において、エンコーダ側では、まず、ブロック（例えば、残差ブロック）に対して順方向一次変換（１７１０）を実行して、係数ブロック（１７１３）を取得することができる。続いて、順方向二次変換（または順方向ＬＦＮＳＴ）（１７１２）を、係数ブロック（１７１３）に適用することができる。順方向二次変換（１７１２）では、係数ブロック（１７１３）の左上隅にある４×４サブブロックＡ～Ｄの６４個の係数を６４長のベクトルで表すことができ、６４長のベクトルに６４×１６（すなわち、幅６４および高さ１６）の変換行列を乗算することで１６長のベクトルを得ることができる。１６長のベクトル内の要素は、係数ブロック（１７１３）の左上の４×４サブブロックＡに埋め戻される。サブブロックＢ～Ｄ内の係数はゼロであり得る。量子化ステップ（１７１４）において順方向二次変換（１７１２）がなされた後に得られた係数を量子化し、エントロピーコーディングして、ビットストリーム（１７１６）内のコーディングされたビットを生成する。

コーディングされたビットは、デコーダ側で受信され、エントロピーデコーディングされ、続いて逆量子化ステップ（１７２４）がなされ、係数ブロック（１７２３）を生成することができる。逆ＲＳＴ８×８などの逆二次変換（または逆ＬＦＮＳＴ）（１７２２）を実行して、例えば、左上の４×４サブブロックＥにおける１６個の係数から６４個の係数を取得することができる。また、６４個の係数を４×４サブブロックＥ～Ｈに埋め戻すことができる。さらに、逆二次変換（１７２２）後の係数ブロック（１７２３）内の係数を逆一次変換（１７２０）で処理して、復元された残差ブロックを取得することができる。

図１６の例のプロセス（１８００）は、順方向二次変換（１７１２）の間に、より少ない（すなわち、４８個の）係数が処理されることを除いて、プロセス（１７００）と同様である。具体的には、サブブロックＡ～Ｃ内の４８個の係数は、４８×１６のサイズのより小さい変換行列で処理される。４８×１６のより小さい変換行列を使用することで、変換行列を記憶するためのメモリサイズおよび計算回数（例えば、乗算、加算、減算など）を減らすことができるため、算出の複雑さを軽減することができる。

一例では、ブロックＣＢなどのブロックサイズに応じて、４×４非分離変換（例えば、４×４ ＬＦＮＳＴ）または８×８非分離変換（例えば、８×８ ＬＦＮＳＴ）を適用する。ＣＢのブロックサイズは、幅、高さなどを含み得る。例えば、４×４ ＬＦＮＳＴは、幅と高さの最小値が８のようなしきい値よりも小さい（例えば、ｍｉｎ（幅、高さ）＜８）ＣＢに対して適用される。例えば、８×８ ＬＦＮＳＴは、幅と高さの最小値が４のようなしきい値よりも大きい（例えば、ｍｉｎ（幅、高さ）＞４）ＣＢに対して適用される。

非分離変換（例えば、ＬＦＮＳＴ）は、直接行列乗算アプローチに基づいて行え、したがって、反復なしでシングルパスに実施され得る。非分離変換行列の次元を縮小し、算出上の複雑さおよび変換係数を記憶するためのメモリ空間を最小化するために、ＬＦＮＳＴでは、縮小非分離変換法（またはＲＳＴ）を使用することができる。したがって、縮小非分離変換では、Ｎ（例えば、８×８非分離二次変換（ＮＳＳＴ）ではＮは６４）次元のベクトルを、異なる空間におけるＲ次元のベクトルにマッピングすることができ、ここで、Ｎ／Ｒ（Ｒ＜Ｎ）は縮小係数である。したがって、ＲＳＴ行列は、Ｎ×Ｎ行列の代わりに、式５で説明されるように、Ｒ×Ｎ行列となる。

式５において、Ｒ×Ｎ変換行列のＲ行は、Ｎ次元空間のＲ基底である。逆変換行列は、順方向変換で使用される変換行列（例えば、Ｔ_Ｒ×Ｎ）の転置であり得る。８×８ＬＦＮＳＴの場合、縮小係数４を適用することができ、図１５に示すように、８×８非分離変換で使用される６４×６４直接行列を１６×６４直接行列に縮小することができる。あるいはまた、４よりも大きい縮小係数を適用してもよく、図１６に示すように、８×８非分離変換で使用される６４×６４直接行列を１６×４８直接行列に縮小することができる。したがって、４８×１６逆ＲＳＴ行列をデコーダ側で使用して、８×８左上領域のコア（一次）変換係数を生成することができる。

図１６を参照すると、同じ変換セット構成を有する１６×６４行列の代わりに１６×４８行列が適用される場合、１６×４８行列への入力は、右下の４×４ブロックＤを除く左上の８×８ブロック内の３つの４×４ブロックＡ、Ｂ、Ｃからの４８個の入力データを含んでいる。次元の削減によって、ＬＦＮＳＴ行列を記憶するためのメモリ使用量を、例えば、最小限の性能低下で１０ＫＢから８ＫＢに減らすことができる。

複雑さを軽減するために、ＬＦＮＳＴは、第１の係数サブグループ外の係数が非有意の場合に適用できるように制限され得る。一例では、ＬＦＮＳＴは、第１の係数サブグループ外のすべての係数が非有意の場合にのみ適用できるように制限され得る。図１５～１６を参照すると、第１の係数サブグループは、左上ブロックＥに対応し、したがって、ブロックＥ外にある係数は、非有意である。

一例では、ＬＦＮＳＴが適用された場合、一次変換係数のみは非有意である（例えば、ゼロ）。一例では、ＬＦＮＳＴが適用される場合、すべての一次変換係数のみはゼロである。一次変換係数のみは、二次変換を伴わない一次変換から得られる変換係数を指すことができる。したがって、ＬＦＮＳＴインデックスシグナリングは、最後有意位置を条件とすることができ、その結果、ＬＦＮＳＴにおける余分な係数走査を回避することができる。いくつかの例では、余分な係数走査は、特定の位置で有意変換係数をチェックするために使用される。一例では、ＬＦＮＳＴの最悪の取り扱いは、例えば、画素あたりの乗算に関しては、４×４ブロックと８×８ブロックの非分離変換を、それぞれ８×１６変換と８×４８変換に制限する。上記の場合、ＬＦＮＳＴが適用されると、最後有意走査位置は８より小さくすることができる。その他のサイズの場合、ＬＦＮＳＴが適用されると、最後有意走査位置は１６より小さくすることができる。４×ＮとＮ×４（Ｎが８より大きい）のＣＢの場合、この制限は、ＣＢの左上の４×４領域にＬＦＮＳＴが適用されることを意味することができる。一例では、この制限は、ＣＢの左上の４×４領域のみに、ＬＦＮＳＴが一度だけ適用されることを意味する。一例では、ＬＦＮＳＴが適用される場合、すべての一次係数のみが非有意である（例えば、ゼロ）ので、一次変換のための演算回数が減少する。エンコーダの観点からは、ＬＦＮＳＴ変換がテストされた場合、変換係数の量子化を大幅に簡素化することができる。レート歪み最適化量子化は、例えば走査順序で最初の１６個の係数に対して最大限で行うことができ、残りの係数はゼロにすることができる。

ＬＦＮＳＴ変換（例えば、変換カーネル、変換コアまたは変換行列）は、以下で説明するように選択され得る。一実施形態では、複数の変換セットを使用することができ、１つまたは複数の非分離変換行列（またはカーネル）は、ＬＦＮＳＴにおける複数の変換セットのそれぞれに含まれ得る。本開示の態様によれば、複数の変換セットから変換セットを選択することができ、変換セット内の１つまたは複数の非分離変換行列から非分離変換行列を選択することができる。

表１は、本開示の一実施形態によるイントラ予測モードから複数の変換セットへの例示的なマッピングを示す。このマッピングは、イントラ予測モードと複数の変換セットとの間の関係を示す。表１に示されるような関係は、予め定義され、且つエンコーダおよびデコーダに記憶されることができる。

表１を参照すると、複数の変換セットは、４つの変換セット、例えば、０から３までの変換セットインデックス（例えば、Ｔｒ．ｓｅｔ ｉｎｄｅｘ）でそれぞれ表される変換セット０から３を含む。インデックス（例えば、ＩｎｔｒａＰｒｅｄＭｏｄｅ）は、イントラ予測モードを示すことができ、変換セットインデックスは、インデックスと表１に基づいて取得できる。したがって、変換セットはイントラ予測モードに基づいて決定され得る。一例では、３つのクロスコンポーネント線形モデル（ＣＣＬＭ）モード（例えば、ＩＮＴＲＡ_ＬＴ_ＣＣＬＭ、ＩＮＴＲＡ_Ｔ_ＣＣＬＭまたはＩＮＴＲＡ_Ｌ_ＣＣＬＭ）のうちの１つがＣＢに使用されると（例えば、８１≦ＩｎｔｒａＰｒｅｄＭｏｄｅ≦８３）、ＣＢに対して、変換セット０が選択される。

上述のように、各変換セットは、１つまたは複数の非分離変換行列を含み得る。１つまたは複数の非分離変換行列のうちの１つは、明示的にシグナリングされるＬＦＮＳＴインデックスによって選択され得る。ＬＦＮＳＴインデックスは、例えば、変換係数をシグナリングした後に、イントラコーディングされたＣＵ（例えば、ＣＢ）ごとに１回、ビットストリームでシグナリングされることができる。一実施形態では、各変換セットは、２つの非分離変換行列（カーネル）を含み、且つ選択された非分離二次変換候補は、２つの非分離変換行列のうちの１つであり得る。いくつかの例では、ＬＦＮＳＴは、ＣＢに適用されない（例えば、変換スキップモードでコーディングされたＣＢ、またはＣＢの非ゼロ係数の数がしきい値よりも小さい）。一例では、ＬＦＮＳＴがＣＢに適用されない場合、ＣＢに対してＬＦＮＳＴインデックスはシグナリングされない。ＬＦＮＳＴインデックスのデフォルト値は、ゼロであり、シグナリングされなく、これは、ＣＢにＬＦＮＳＴが適用されないことを示している。

一実施形態では、ＬＦＮＳＴは、第１の係数サブグループ外のすべての係数が非有意の場合にのみ適用できるように制限され、ＬＦＮＳＴインデックスのコーディングは、最後有意係数の位置に決定され得る。ＬＦＮＳＴインデックスは、コンテキストコーディングされ得る。一例では、ＬＦＮＳＴインデックスのコンテキストコーディングは、イントラ予測モードに依存せず、第１のビンのみがコンテキストコーディングされる。ＬＦＮＳＴは、イントラスライスまたはインタースライス内のイントラコーディングされたＣＵに適用されることができ、ルマ成分とクロマ成分の両方に適用されることができる。デュアルツリーが有効な場合、ルマ成分とクロマ成分のためのＬＦＮＳＴインデックスは別々にシグナリングされることができる。インタースライスの場合（例えば、デュアルツリーが無効な場合）、単一のＬＦＮＳＴインデックスはシグナリングされ、且つルマ成分とクロマ成分の両方に使用されることができる。

イントラサブパーティション（Ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎ、ＩＳＰ）コーディングモードを使用することができる。ＩＳＰコーディングモードでは、ルマイントラ予測ブロックを、ブロックサイズに応じて、垂直方向または水平方向に２つまたは４つのサブパーティションに分割することができる。いくつかの例では、ＲＳＴがすべての実行可能なサブパーティションに適用される場合、パフォーマンスの向上は限界に達する。したがって、いくつかの例では、ＩＳＰモードが選択された場合、ＬＦＮＳＴは無効化され、ＬＦＮＳＴインデックス（またはＲＳＴインデックス）はシグナリングされない。ＩＳＰ予測された残差に対してＲＳＴまたはＬＦＮＳＴを無効化することで、コーディングの複雑さを軽減することができる。いくつかの例では、行列ベースのイントラ予測モード（ＭＩＰ）が選択された場合、ＬＦＮＳＴは無効化され、ＬＦＮＳＴインデックスはシグナリングされない。

いくつかの例では、最大変換サイズの制限（例えば６４×６４）のため、６４×６４よりも大きいＣＵは暗黙的に分割（ＴＵタイリング）され、ＬＦＮＳＴインデックス検索は、一定数のデコーディングパイプラインステージのためにデータバッファリングを４倍に増やすことができる。したがって、ＬＦＮＳＴが許容される最大サイズを６４×６４に制限することができる。一例では、ＬＦＮＳＴは離散コサイン変換（ＤＣＴ）タイプ２（ＤＣＴ－２）変換のみで有効にされる。

いくつかの例では、分離変換スキームは、指向性テクスチャパターン（たとえば、４５°または１３５°方向に沿ったエッジ）をキャプチャするのに効率的でない場合がある。非分離変換スキームは、たとえば、上記の場合でコーディング効率を向上させることができる。計算の複雑さとメモリ使用量を減らすために、非分離変換スキームを、一次変換から取得される低周波数変換係数に適用される二次変換として使用できる。

いくつかの実装形態では、例えば、グループ化された変換カーネルから、使用されるべき変換カーネルを選択することは、予測モード情報に基づく。予測モード情報は、予測モードを示すことができる。

いくつかの例では、予測モード情報だけでは、予測モードで観察された残差パターンの空間全体の大まかな表現しか提供されない。図１７Ａ～１７Ｄは、実施態様によれば、隣接する再構成されたサンプルは、残差パターンをより効率的に表現するための追加情報を提供できる。したがって、予測モード情報に加えて、隣接する再構成されたサンプルに基づく変換セット選択および／または変換カーネル選択の方法が開示される。たとえば、予測モード情報に加えて、隣接する再構成されたサンプルの特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳ）は、選択プロセスへの入力として使用される。

本開示では、ブロックという用語は、ＰＢ、ＣＢ、コーディングされたブロック、コーディングユニット（ＣＵ）、変換ブロック（ＴＢ）、変換ユニット（ＴＵ）、ルマブロック（例えば、ルマＣＢ）、クロマブロック（例えば、クロマＣＢ）などを指すことができる。

本開示では、ブロックのサイズとは、ブロック幅、ブロック高さ、ブロックアスペクト比（例えば、ブロック高さに対するブロック幅の比、ブロック幅に対するブロック高さの比）、ブロックエリアサイズまたはブロックエリア（例えば、ブロック幅×ブロック高さ）、ブロック幅およびブロック高さの最小値、ブロック幅およびブロック高さの最大値などを指すことができる

本開示では、ブロックの変換カーネルは、一次変換、二次変換、三次変換、または三次変換を超えた変換スキームに使用できる。変換カーネルは、分離変換または非分離変換に使用できる。変換カーネルは、ルマブロック、クロマブロック、インター予測、イントラ予測などに使用できる。また、変換カーネルは、変換コア、変換候補、変換カーネルオプションなどと呼ばれることもある。一例では、変換カーネルは変換行列である。ブロックの変換は、少なくとも変換カーネルに基づいて行われることができる。したがって、本開示の方法は、一次変換、二次変換、三次変換、三次変換を超えた任意の変換スキーム、分離変換、非分離変換、ルマブロック、クロマブロック、インター予測、イントラ予測などに適用できる。

本開示では、変換セットとは、変換カーネルのグループまたは変換カーネルオプションを指すことができる。変換セットは、１つまたは複数の変換カーネルまたは変換カーネルオプションを含み得る。一例では、変換セットからブロックの変換カーネルを選択できる。

本開示の態様によれば、隣接する再構成サンプルを使用して、変換セットのグループから変換カーネルを決定することができる。現在のピクチャの再構成中のブロックの隣接する再構成サンプルを使用して、変換セットのグループからブロックの変換カーネルを決定することができる。変換セットのグループは予め定められてもよい。一例では、変換セットのグループは、エンコーダおよび／またはデコーダに予め記憶されている。

ブロックの隣接する再構成サンプル（例えば、隣接する再構成サンプルセット）とは、現在のピクチャにおける以前にデコーディングされた隣接ブロックからの再構成サンプル（例えば、再構成サンプルのグループ）、または以前にデコーディングされたピクチャにおける再構成サンプルを参照することができる。以前にデコーディングされた隣接ブロックは、このブロックの１つまたは複数の隣接ブロックを含むことができ、且つ隣接する再構成サンプルは、このブロックの１つまたは複数の隣接ブロックにおける再構成サンプルとも呼ばれる。このブロックの１つまたは複数の隣接ブロックは、現在のピクチャまたは現在のピクチャと異なる再構成ピクチャ（たとえば、参照ピクチャ）内に含まれ得る。このブロックの隣接する再構成サンプルは、現在のピクチャのブロックの空間的に隣接するサンプル、および／または現在のピクチャと異なる別のピクチャ（例えば、以前にデコーディングされたピクチャ）のブロックの時間的に隣接するサンプルを含み得る。図１８は、本開示の実施形態によるブロックの例示的な空間隣接サンプルを示す。このブロックは、現在のピクチャの現在のブロック（１８５１）である。サンプル１～４およびＡ～Ｘは、現在のブロック（１８５１）の空間的に隣接するサンプルであって且つ既に再構成された。一例では、サンプル１～４およびＡ～Ｘは、現在のブロック（１８５１）の１つまたは複数の再構成された隣接ブロックにある。本開示の各態様によれば、サンプル１～４およびＡ～Ｘのうちの１つまたは複数は、現在のブロック（１８５１）の変換カーネルを決定するために使用される。一例では、現在のブロック（１８５１）の隣接する再構築サンプルは、左上隣接サンプル４、サンプルＡ～Ｆを含む左隣接列（１８５２）、およびサンプルＧ～Ｌを含む上隣接行（１８５４）を含み、現在のブロック(１８５１)の変換カーネルを決定するために使用される。一例では、現在のブロック（１８５１）の隣接する再構成サンプルは、左上隣接サンプル１－４、サンプルＡ～ＦとＭ～Ｒを含む左隣接列（１８５２）～（１８５３）、およびサンプルＧ～Ｌを含む上隣接行（１８５４）～（１８５５）を含み、現在のブロック（１８５１）の変換カーネルを決定するために使用される。

変換セットのグループは、１つまたは複数の変換セットを含み得る。１つまたは複数の変換セットのそれぞれは、任意の適切な１つまたは複数の変換カーネルを含み得る。したがって、変換セットのグループは、一次変換、二次変換、三次変換、または三次変換を超えた変換スキームで使用される変換カーネルを含み得る。変換セットのグループは、分離変換および/または非分離変換である変換カーネルを含み得る。変換セットのグループは、ルマブロック、クロマブロック、インター予測、イントラ予測などに使用される変換カーネルを含み得る。

本開示の態様によれば、現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプルに基づいて、変換セットのグループから、このブロックの変換カーネル（または変換候補）を決定することができる。現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳ）に基づいて、変換セットのグループから、このブロックの変換カーネル（または変換候補）を決定することができる。変換セットのグループの各セットには、このブロックの１つまたは複数の変換候補を含み得る。１つまたは複数の隣接ブロックは、現在のピクチャまたは現在のピクチャと異なる再構成ピクチャにあることができる。また、決定された変換候補に基づいて、ブロックのサンプルを再構成することができる。

一実施形態では、隣接する再構成サンプルから、隣接する再構成サンプルの特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）を抽出し得る。したがって、ブロック（例えば、現在のブロック（１８５１））の変換カーネルは、特徴インジケータに基づいて決定できる。特徴インジケータは、ベクトル（特徴ベクトル

と呼ばれる）またはスカラー（特徴スカラーＳと呼ばれる）であり得る。隣接する再構成サンプルの統計情報または統計分析に基づいて、たとえば、隣接する再構成サンプルに関連付けられた１つまたは複数の変数に基づいて、特徴インジケータを抽出できる。１つまたは複数の変数は、隣接する再構成サンプルのサンプル値の１つまたは複数の分布を示すことができる。

一実施形態では、ブロックの（例えば、現在のブロック（１８５１））の変換カーネルは、ブロックの隣接する再構成サンプル（例えば、特徴インジケータ）および予測モード情報に基づいて決定され得る。ブロックの予測モード情報は、ブロックのインター予測またはイントラ予測など、ブロックの予測に使用される情報を示すことができる。本開示の態様によれば、ブロックの予測モード情報は、ブロックの予測モード（例えば、イントラ予測モード、インター予測モード）を示すことができる。一例では、ブロックの変換カーネルは、隣接する再構成サンプル（例えば、特徴インジケータ）およびブロックの予測モードに基づいて決定される。

一例では、ブロックはイントラコード化またはイントラ予測され、且つ予測モード情報はイントラ予測モード情報と呼ばれる。ブロックの予測モード情報（例えば、イントラ予測モード情報）は、ブロックに使用されるイントラ予測モードを示すことができる。イントラ予測モードは、ブロックのイントラ予測に使用される予測モード、例えば、図９に記載された指向性モード（または指向性予測モード）、図１０に記載された無指向性予測モード（例えば、ＤＣモード、ＰＡＥＴＨモード、ＳＭＯＯＴＨモード、ＳＭＯＯＴＨ_Ｖモード、またはＳＭＯＯＴＨ_Ｈモード）、または図１１に記載の再帰フィルタリングモードを指すことができる。イントラ予測モードは、また、本開示に記載されている予測モード、本開示に記載されている予測モードの適切な変形、または本開示に記載されている予測モードの適切な組み合わせを指すこともできる。例えば、イントラ予測モードは、図１２に記載されているマルチラインイントラ予測と組み合わせることができる。

より具体的には、例えば、コーディングされたビデオビットストリームからのブロックのコーディングされた情報に基づいて、変換セットのグループから変換セットのサブグループを選択し得る。ブロックのコーディングされた情報は、ブロックの予測モード（例えば、イントラ予測モードまたはインター予測モード）を示す予測モード情報を含み得る。一実施形態では、予測モード情報（例えば、予測モード）に基づいて、変換セットのグループから変換セットのサブグループを選択し得る。

本開示の態様によれば、は、ブロックのコーディングされた情報で示されるブロックの予測モードに基づいて、変換セットのグループから変換セットのサブグループを選択することができる。さらに、変換セットのサブグループからの変換候補は、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルに基づいて決定できる。たとえば、変換セットのサブグループからの変換候補は、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳ）に基づいて決定できる。

変換セットのグループから変換セットのサブグループを選択した後、ブロックの変換カーネルは、少なくとも隣接する再構成サンプル（例えば、特徴インジケータ）に基づいて、以下で説明する任意の適切な方法を利用してさらに決定され得る。

一実施形態では、ブロックの隣接する再構成サンプル（または１つまたは複数の隣接ブロックにおける再構成サンプル）を使用して、選択された変換セットのサブグループから、選択された変換セットのサブグループの変換セットを識別または選択する。一例では、１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）を使用して、選択された変換セットのサブグループの変換セットを識別または選択する。また、第１のインデックスに基づいて、識別された（または選択された）変換セットから、ブロックの変換カーネル（または変換候補）を決定（例えば、選択）し得る。コーディングされた情報は、第１のインデックスを示す（例えば、含む）ことができる。第１のインデックスは、コーディングされたビデオビットストリームにおいてシグナリングされ得る。

一実施形態では、第２のインデックスに基づいて、選択された変換セットのサブグループから、選択された変換セットのサブグループの変換セットを選択する。コーディングされた情報は、第２のインデックスを示す（例えば、含む）ことができる。第２のインデックスは、コーディングされたビデオビットストリームにおいてシグナリングされ得る。さらに、選択された変換セットからのブロックの変換カーネル（または変換候補）は、ブロックの隣接する再構成サンプル（またはブロックの１つまたは複数の隣接ブロックにおける再構成サンプル）（例えば、特徴インジケータ）に基づいて決定（例えば、選択）できる。一例では、選択された変換セット内の変換カーネル（または変換候補）は、ブロックの機能インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳ）によって決定できる。

一実施形態では、ブロックの隣接する再構成サンプルに基づいて、選択された変換セットのサブグループから、ブロックの変換カーネル（または変換候補）を暗黙的に決定（または識別）する。一例では、変換カーネル（または変換候補）は、選択された変換セットのサブグループからのブロックの特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）を使用し、且つコーディングされたビデオビットストリームでシグナリングされたインデックスを使用せずに暗黙的に決定（または識別）される。

ブロックの特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）は、隣接する再構成サンプルに基づいて決定（例えば、導出）され得る。本開示の態様によれば、ブロックの特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）は、ブロックの隣接する再構成サンプル（またはブロックの１つまたは複数の隣接ブロックにおける再構成サンプル）の統計分析によって決定または導出され得る。上述のように、（ｉ）特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）に基づいて、変換セットのサブグループから変換候補を決定すること、または、（ｉｉｉ）コーディングされた情報のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、特徴インジケータ（例えば、特徴ベクトル

または特徴スカラーＳ）に基づいて、選択された変換セットから変換候補を決定することのうちのいずれか１つを実行することができる。

一実施形態では、単一の変数Ｘを使用して、隣接する再構成サンプルを示すことができ、ブロックの特徴インジケータは、ブロックの特徴スカラーＳである。変数Ｘは、隣接する再構成サンプルのサンプル値を示すことができる。一例では、変数Ｘは、隣接する再構成サンプルのサンプル値を含むアレイであり、隣接する再構成サンプルにおけるサンプル値の分布を反映している。特徴スカラーＳは、サンプル値の統計情報を示すことができる。特徴スカラーＳには、変数Ｘの平均値（または１次モーメント）、変数Ｘの分散（または２次モーメント）、変数Ｘの歪度（または３次モーメント）など、隣接する再構成サンプルから得られた変数Ｘのスカラー定量的測定値を含めることができるが、これらに限定されない。一例では、変数Ｘはランダム変数Ｘと呼ばれる。

一例では、特徴インジケータは、特徴スカラーＳである。特徴スカラーＳは、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルのサンプル値を示す変数Ｘのモーメント（例えば１次モーメント、２次モーメント、３次モーメントなど）として決定される。

変数Ｘの例は図１８に示されている。一例では、変数Ｘは、サンプル４、左隣接列（１８５２）、および上隣接行（１８５４）を含む、現在のブロック（１８５１）に隣接する再構成隣接サンプルを含む。一例では、変数Ｘは、再構成隣接サンプル１～４およびＡ～Ｘを含む。

一実施形態では、複数の変数（例えば、２つの変数ＹおよびＺ）を使用して、隣接する再構成サンプル（利用可能な場合）の異なるセット（例えば、Ｙに対応する第１のセットおよびＺに対応する第２のセット）を別々に示すことができ、ブロックの特徴インジケータは、このブロックの特徴ベクトル

である。複数の変数は、それぞれ、隣接する再構成サンプルの異なるセットのサンプル値を示すことができる。一例では、変数Ｙは、隣接する再構成サンプルの第１のセットの第１のサンプル値を含むアレイであり、隣接する再構成サンプルの第１のセットの第１のサンプル値の分布を反映する。変数Ｚは、隣接する再構成サンプルの第２のセットの第２のサンプル値を含むアレイであり、隣接する再構成サンプルの第２のセットの第２のサンプル値の分布を反映する。特徴ベクトル

は、複数の変数の統計情報を示すことができる。

特徴ベクトル

には、複数の変数の共同変動測定（たとえば、複数の変数（たとえば、２つの変数ＹとＺ）共分散または２次モーメント）など、隣接する再構成サンプルから得られた複数の変数の統計分析を含めるが、これらに限定されないことができる。一例では、この複数の変数（たとえば、２つの変数ＹとＺ）はランダム変数と呼ばれる。

図１８には、複数の変数ＹおよびＺの例が示されている。一例では、変数Ｙには、左隣接列（１８５２）が含まれ、変数Ｚには上隣接行（１８５４）が含まれている。一例では、変数ＹとＺのうちの１つに、左上のサンプル４が含まれている。

一例では、特徴インジケータは特徴ベクトル

である。特徴ベクトル

は、変数（たとえば、変数ＹとＺ）の共同変動として決定され、これらの変数は、それぞれ、ブロック（例えば、現在のブロック（１８５１））の左隣接列（たとえば、左隣接列（１８５２））の再構成サンプルのサンプル値と、ブロック（例えば、現在のブロック（１８５１））の上側の隣接行（たとえば、上隣接行（１８５４））の再構成サンプルのサンプル値を示している。

一例では、変数Ｙには、左隣接列（１８５２）～（１８５３）が含まれ、変数Ｚには、上隣接行（１８５４）～（１８５５）が含まれている。一例では、変数ＹおよびＺのうちの１つには、左上のサンプル１～４が含まれている。

本開示の態様によれば、特徴インジケータが、ブロックの変換カーネルまたはブロックの変換カーネルを含む変換セットを決定する際に使用される場合、変換カーネルまたは変換セットは、特徴インジケータおよびしきい値に基づいて決定され得る。予め定義されたしきい値セットから、しきい値を選択できる。変換カーネルまたは変換セットは、任意の適切な方法を使用して、特徴インジケータとしきい値に基づいて決定できる。以下で、いくつかの例示的な方法が記述される。上述のように、本開示の各態様によれば、変換セットのサブグループは、例えば、予測モード情報に基づいて、変換セットのグループから選択される。続いて、一例では、変換セットは、ブロックの特徴インジケータおよびしきい値を使用して、選択された変換セットのサブグループから識別される。別の一例では、選択された変換セットのサブグループの変換セットは、コーディングされたビデオビットストリームでシグナリングされたインデックス（例えば、第２のインデックス）を使用して選択され、選択された変換セットからのブロックの変換カーネルは、ブロックの特徴インジケータとしきい値を使用して決定されることができる。別の一例では、変換カーネルは、選択された変換セットのサブグループからの特徴インジケータとしきい値を使用して暗黙的に識別される。

しきい値セット（Ｋ_ｓとして示される）は、たとえば分類化の目的で予め定義されている。一例では、（ｉ）変数Ｘのモーメントと、予め定義されたしきい値セットＫ_ｓから選択されたしきい値に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）変数Ｘのモーメントとしきい値に基づいて、変換セットのサブグループから変換候補を決定すること、または（ｉｉｉ）コーディングされた情報のインデックスに基づいて変換セットのサブグループから変換セットを選択し、変数Ｘのモーメントとしきい値に基づいて、選択された変換セットから変換候補を決定することのいずれか１つを実行することができる。

一実施形態では、特徴スカラーＳは、例えば、上述のように選択された変換セットのサブグループから、ブロックの変換カーネルを識別するために、またはブロックの変換カーネルを含む変換セットを識別するために使用される。しきい値セットＫ_ｓには、１つまたは複数の第１のしきい値（または第１のしきい値）が含まれ得る。

一例では、特徴スカラーＳは、例えば、変数Ｘの平均値、分散、歪度などの変数Ｘの定量的測定値である。たとえば、特徴スカラーＳは、変数Ｘのモーメントである。変数のモーメントは、変数Ｘの１次モーメント（または平均値）、変数Ｘの２次モーメント（または分散）、または変数Ｘの３次モーメント（歪度など）のいずれかであり得る。

各予測モード（例えば、イントラ予測モードまたはインター予測モード）は、例えば、複数の予測モードと複数のしきい値セットＫ_ｓとの間の単射マッピングを示す、しきい値セットＫ_ｓのうちの一意のしきい値サブセットＫ_ｓ'に対応することができる。ブロックの予測モードは、複数の予測モードのうちの１つであり得る。各予測モードと対応するしきい値サブセットＫ_ｓ'の間のマッピングは、単射マッピングである。たとえば、しきい値セットＫ_ｓには、第１の予測モードに対応するしきい値サブセットＫ_ｓ１’と、第２の予測モードに対応するしきい値サブセットＫ_ｓ２'が含まれ、また、しきい値サブセットＫ_ｓ１’には、しきい値サブセットＫ_ｓ２'内の要素またはしきい値と同一である要素またはしきい値がない。

一例では、特徴スカラーＳは、変数Ｘの平均値、分散、歪度などの変数Ｘの定量的測定値である。各予測モードは、しきい値セットＫ_ｓ内のいずれかのしきい値サブセットＫ_ｓ’に対応することができる。各予測モードとしきい値セットＫ_ｓにおける対応するしきい値サブセットＫ_ｓ’との間のマッピングは非単射マッピングである。一例では、複数の予測モード（たとえば、第１の予測モードおよび第２の予測モード）は、しきい値セットＫ_ｓにおける同一のしきい値サブセットＫ_ｓ’に対応することができる。一例では、しきい値セットＫ_ｓは、第１の予測モードに対応するしきい値サブセットＫ_ｓ３'のおよび第２の予測モードに対応するしきい値サブセットＫ_ｓ４'を含み、且つしきい値サブセットＫ_ｓ３'における要素（またはしきい値）は、しきい値サブセットＫ_ｓ４'における要素（またはしきい値）と同じである。一例では、しきい値セットＫ_ｓは単一の要素セットである。

実施形態では、しきい値セットＫ_ｓにおけるしきい値サブセットＫ_ｓ'の要素は、量子化インデックス（または量子化インデックスに関連付けられた対応する量子化ステップサイズ）に依存するしきい値である。通常、各量子化インデックスは、一意の量子化ステップサイズに対応することができる。上記の説明は、各予測モードと、しきい値セットＫ_ｓ内の対応するしきい値サブセットＫ_ｓ'との間のマッピングが非単射または単射である場合に適用される。

一実施形態では、特定の量子化インデックス（または対応する量子化ステップサイズ）に対応するしきい値セットＫ_ｓにおけるしきい値サブセットＫ_ｓ'の１つの要素のみが定義される。しきい値サブセットＫ_ｓ'における残りの要素（ある場合）は、マッピング関数を使用して導出され得る。マッピング関数は、線形または非線形であり得る。マッピング関数は、エンコーダおよび/またはデコーダによって予め定義および使用されたものであり得る。しきい値サブセットＫ_ｓ'における残りの要素は、異なる量子化インデックスまたは（または対応する量子化ステップサイズ）に対応することができる。上記の説明は、各予測モードと、しきい値セットＫ_ｓにおける対応するしきい値サブセットＫ_ｓ'との間のマッピングが非単射または単射である場合に適用される。

一実施形態では、ルックアップテーブルを利用してしきい値サブセットＫ_ｓ'を決定することができる。たとえば、ルックアップテーブルは、予測モードおよび／または量子化インデックスに基づいて、しきい値サブセットＫ_ｓ'のために要素を選択するために使用される。一例では、ルックアップテーブルは、予測モード、量子化インデックス（または対応する量子化ステップサイズ）としきい値の関係を含む。ルックアップテーブルをトラバースして、予測モード（たとえば、イントラ予測モードまたはインター予測モード）および／または量子化インデックス（または対応する量子化ステップサイズ）を使用して、しきい値サブセットＫ_ｓ'を決定する（たとえば、しきい値サブセットＫ_ｓ'のために要素を選択する）ことができる。上記の説明は、各予測モードと、しきい値セットＫ_ｓ内の対応するしきい値サブセットＫ_ｓ'との間のマッピングが非単射または単射である場合に適用される。

実施形態では、量子化インデックス（または対応する量子化ステップサイズ）からしきい値へのマッピングは、線形マッピングである。勾配や切片など、線形マッピングに使用されるパラメータは、予め定義されたか、またはブロックのコーディングされた情報を使用して導出されたものであり得る。コーディングされた情報は、ブロックサイズ、量子化インデックス（または対応する量子化ステップサイズ）、予測モード（例えば、イントラ予測モードまたはインター予測モード）を含むことができるが、これらに限定されない。線形マッピング（例えば、線形マッピングに使用されるパラメータ）は、予め定義されたか、またはブロックサイズ、量子化インデックス（または対応する量子化ステップサイズ）、予測モードのうちの１つまたは組み合わせに基づいて導出されたものであり得る。量子化インデックス（または対応する量子化ステップサイズ）からしきい値へのマッピングが非線形マッピングである場合、この記述を適切に調整することができる。上記の説明は、各予測モードと、しきい値セットＫ_ｓにおける対応するしきい値サブセットＫ_ｓ'との間のマッピングが非単射または単射である場合に適用される。

上述のように、特徴スカラーＳは、ブロックの変換カーネルを含む変換セットを識別するために、またはブロックの変換カーネルを識別するために使用されることができ、且つしきい値セットＫ_ｓは、１つまたは複数の第１のしきい値を含むことができる。実施形態では、例えば、しきい値セットＫ_ｓからのしきい値の選択は、ブロックのブロックサイズに依存する。実施形態では、例えば、しきい値セットＫ_ｓからのしきい値の選択は、量子化インデックス（または対応する量子化ステップサイズ）など、量子化で使用された量子化パラメータに依存する。実施形態では、例えば、しきい値セットＫ_ｓからのしきい値の選択は、予測モード（例えば、イントラ予測モードおよび／またはインター予測モード）に依存する。

一実施形態では、特徴ベクトル

は、ブロックの変換カーネルを識別するために、またはブロックの変換カーネルを含む変換セットを識別するために使用される。分類ベクトルセット

および分類ベクトルセット

に関連付けられたしきい値セット（Ｋ_ｖとして示される）は、分類の目的で予め定義されている。しきい値セットＫ_ｖには、１つまたは複数の第２のしきい値、または複数の第２のしきい値が含まれ得る。

一例では、

一例では、各予測モード（例えば、イントラ予測モードまたはインター予測モード）は、

実施形態では、しきい値セットＫ_ｖにおけるしきい値サブセットＫ_ｖ'の要素は、量子化インデックス（または量子化インデックスに関連付けられた対応する量子化ステップサイズ）に依存するしきい値である。

実施形態では、特定の量子化インデックス（または対応する量子化ステップサイズ）に対応する、

一実施形態では、ルックアップテーブルは、しきい値サブセットＫ_ｖ'のために要素を選択してしきい値サブセットＫ_ｖ'を決定し、分類ベクトルサブセット

のために要素を選択して対応する分類ベクトルサブセット

を決定するために使用され得る。一例では、ルックアップテーブルは、予測モード、量子化インデックス（または対応する量子化ステップサイズ）としきい値の関係を含む。ルックアップテーブルをトラバースして、予測モード（たとえば、イントラ予測モードまたはインター予測モード）および／または量子化インデックス（または対応する量子化ステップサイズ）を使用して、しきい値サブセットＫ_ｖ'（たとえば、しきい値サブセットＫ_ｖ'のために要素を選択する）および、対応する分類ベクトルサブセット

（たとえば、分類ベクトルサブセット

のために要素を選択する）を決定することができる。上記の説明は、（ｉ）各予測モードと、（ｉｉ）対応するしきい値サブセットＫ_ｖ'及びしきい値サブセットＫ_ｖ'に対応する分類ベクトルサブセット

との間のマッピングが非単射または単射である場合に適用される。

一実施形態では、

の距離との比較によって識別され得る。

一例では、（ｉ）距離と、しきい値セットＫ_ｖに含まれるしきい値サブセットＫ_ｖ'から選択されたしきい値（例えば、{Ｋ_ｖ'}）との比較に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）距離としきい値（例えば、{Ｋ_ｖ'}）との比較に基づいて、変換セットのサブグループから変換候補を決定すること、または（ｉｉｉ）コーディングされた情報のインデックスに基づいて変換セットのサブグループから変換セットを選択し、距離としきい値（例えば、{Ｋ_ｖ'}）との比較に基づいて、選択された変換セットから変換候補を決定することのうちの１つを実行することができる。

一例では、この距離は、２つのベクトル

次元（サイズなど）を表す。

一実施形態では、この比較は、（ｉ）距離がしきい値以下であるかどうか

を決定することができるが、これに限定されない。ここで、{}は対応するセットの要素を表す。

いくつかの実施形態では、隣接する再構成サンプルの特徴インジケータなどの隣接する再構成サンプルを使用して、変換セットのサブグループから変換候補を選択することを制限することができる。ブロックの予測モード（たとえば、イントラ予測モード、インター予測モード）などのコーディングされた情報を使用して選択された幾つかの変換セットのサブグループの場合、変換候補または変換カーネルの識別プロセスには、隣接する再構成サンプルの特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳ）を使用しない。代わりに、変換候補は、コーディングされたビデオビットストリームでシグナリングされる１つまたは複数の関連付けられたインデックスによって識別できる。一例では、幾つかの変換セットのサブグループのそれぞれは、利用可能な変換セットおよび／または変換カーネルの数が少なくなっている。一例では、上記の制限は、

および水平ＳＭＯＯＴＨモードＳＭＯＯＴＨ_Ｈなどの特定の予測モードに適用可能であるが、これらに限定されない。したがって、特定の予測モード（たとえば、

およびＳＭＯＯＴＨ_Ｈ）に基づいて選択された特定の変換セットのサブグループの場合、ブロックの変換候補は、コーディングされたビデオビットストリームでシグナリングされる１つまたは複数の関連付けられたインデックスによって識別されることができ、且つブロックの特徴インジケータに基づいて決定されるわけではない。

図１９は、本開示の一実施形態によるプロセス（１９００）を概説するフローチャートを示す。プロセス（１９００）は、ＣＢ、ＣＵ、ＰＢ、ＴＢ、ＴＵ、ルマブロック（例えば、ルマＣＢまたはルマＴＢ）、クロマブロック（例えば、クロマＣＢまたはクロマＴＢ）などのブロックの再構成に使用されることができる。様々な実施形態では、プロセス（１９００）は、端末装置（３１０）、（３２０）、（３３０）および（３４０）内の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路、ビデオエンコーダ（６０３）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（１９００）はソフトウェア命令で実施されるため、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１９００）を実行する。プロセスは、（Ｓ１９０１）から開始し、（Ｓ１９１０）に進む。

（Ｓ１９１０）において、現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプル、たとえば、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳのうちの１つ）に基づいて、変換セットのグループから、ブロックの変換候補を決定することができる。変換セットのグループの各変換セットは、ブロックの１つまたは複数の変換候補を含み得る。１つまたは複数の隣接ブロックは、現在のピクチャまたは現在のピクチャと異なる再構成ピクチャにあることができる。

実施形態では、ブロックのコーディングされた情報でシグナリングされたブロックの予測モード（たとえば、イントラ予測モード、インター予測モード）に基づいて、変換セットのグループから、変換セットのサブグループを選択することができる。ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳのうちの１つ）に基づいて、変換セットのサブグループから、変換候補を決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳのうちの１つ）に基づいて、変換セットのサブグループのうちの１つの変換セットを選択することができる。コーディングされた情報でシグナリングされたインデックスに基づいて、変換セットのサブグループの選択された１つの変換セットから、ブロックの変換候補を決定することができる。

一例では、コーディングされた情報でシグナリングされた第２のインデックスに基づいて、変換セットのサブグループのうちの１つの変換セットを選択することができる。ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳのうちの１つ）に基づいて、変換セットのサブグループの選択された１つの変換セットから、ブロックの変換候補を決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから抽出された特徴インジケータ（たとえば、特徴ベクトル

または特徴スカラーＳのうちの１つ）に基づいて、変換セットのサブグループから、変換候補を暗黙的に決定することができる。

一例では、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルの統計分析に基づいて、

選択された変換セットから変換候補を決定することのうちのいずれか１つを実行することができる。

一例では、特徴インジケータは特徴スカラーＳであり、且つ、ブロックの１つまたは複数の隣接ブロックにおける再構成サンプルのサンプル値を示す変数のモーメントとして決定される。しきい値セットＫ_Ｓは予め定義されている。したがって、（ｉ）変数のモーメントとしきい値セットＫ_Ｓから選択されたしきい値に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）変数のモーメントとしきい値に基づいて、変換セットのサブグループから変換候補を決定すること、または（ｉｉｉ）コーディングされた情報の第２のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、変数のモーメントとしきい値に基づいて、選択された変換セットから変換候補を決定することのうちのいずれか１つを実行することができる。

一例では、変数のモーメントは、変数の１次モーメント、前記変数の２次モーメント、または前記変数の３次モーメントのうちの１つである。ブロックの予測モードは、複数の予測モードのうちの１つである。複数の予測モードのそれぞれは、しきい値セットＫ_Ｓにおける一意のしきい値サブセットＫ_Ｓ'に対応し、この一意のしきい値サブセットＫ_Ｓ'は、複数の予測モードと、しきい値セットＫ_Ｓにおける複数のしきい値サブセットとの間の単射マッピングを示している。

（ｉ）ブロックのブロックサイズ、（ｉｉ）量子化パラメータ、または（ｉｉｉ）ブロックの予測モードのうちの１つに基づいて、しきい値セットＫ_Ｓからしきい値を選択する。

一例では、特徴インジケータは

したがって、（ｉ）距離と、しきい値セットＫ_ｖに含まれるしきい値サブセットＫ_ｖ’から選択されたしきい値との比較に基づいて、変換セットのサブグループから変換セットを決定すること、（ｉｉ）距離としきい値Ｋ_ｖとの比較に基づいて、変換セットのサブグループから変換候補を決定すること、または、（ｉｉｉ）コーディングされた情報の第２のインデックスに基づいて、変換セットのサブグループから変換セットを選択し、距離としきい値との比較に基づいて、選択された変換セットから変換候補を決定することのうちのいずれか１つを実行することができる。

（Ｓ１９２０）において、決定された変換候補に基づいて、ブロックのサンプルを再構成することができる。

プロセス（１９００）は適切に調整され得る。プロセス（１９００）における１つまたは複数のステップは、変更および/または省略され得る。１つまたは複数の追加のステップは追加され得る。任意の適切な実現順序を使用することができる。

本開示の実施形態は、単独で使用されるか、または任意の順序で組み合わせて使用されることができる。さらに、方法（または実施形態）、エンコーダ、およびデコーダのそれぞれは、処理回路（例えば、１つまたは複数のプロセッサまたは１つまたは複数の集積回路）によって実現され得る。一例では、１つまたは複数のプロセッサは、非一時的なコンピュータ可読媒体に格納されているプログラムを実行する。本開示の実施形態は、ルマブロックまたはクロマブロックに適用され得る。

以上で説明された技術は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実現され、１つまたは複数のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図２０は、開示された主題の特定の実施形態を実行することに適したコンピュータシステム（２０００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行され得る命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いてコーディングされることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム（２０００）について、図２０に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図されない。またコンポーネントの構成は、コンピュータシステム（１７００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきでもない。

コンピュータシステム（２０００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（２００１）、マウス（２００２）、トラックパッド（２００３）、タッチスクリーン（２０１０）、データグローブ（図示せず）、ジョイスティック（２００５）、マイクフォン（２００６）、スキャナ（２００７）、カメラ（２００８）（各種につき１つのみ示されている）のうちの１つまたは複数を含み得る。

コンピュータシステム（２０００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（２０１０）、データグローブ（図示せず）、またはジョイスティック（２００５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（２００９）、ヘッドホン（図示せず）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２０１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（図示せず）、ホログラフィックディスプレおよびスモークタンク（図示せず）など）、およびプリンタ（図示せず）を含み得る。

コンピュータシステム（２０００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（２０２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２０２０）を含む光学媒体、サムドライブ（２０２２）、リムーバブルハードドライブまたはソリッドステートドライブ（２０２３）、テープやフロッピー（登録商標）ディスクなどの従来の磁気媒体（図示せず）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などをも含み得る。

ここで、開示された主題に合わせて使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を含まないことは、当業者に理解されるべきであろう。

コンピュータシステム（２０００）は、１つまたは複数の通信ネットワーク（２０５５）へのインターフェース（２０５４）をさらに含み得る。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例としては、イーサネット（登録商標）、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（２０４９）（例えば、コンピューターシステム（２０００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピューターシステム（２０００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネット（登録商標）インターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（２０００）は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（２０００）のコア（２０４０）に接続されることができる。

コア（２０４０）は、１つまたは複数の中央処理装置（ＣＰＵ）（２０４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（２０４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２０４３）の形式の専用プログラマブル処理ユニット、特定のタスク向けのハードウェアアクセラレータ（２０４４）、グラフィックアダプタ（２０５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（２０４５）、ランダムアクセスメモリ（２０４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（２０４７）とともに、システムバス（２０４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（２０４８）は、１つまたは複数の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（２０４８）に直接、または周辺バス（２０４９）を介して接続され得る。一例では、ディスプレイ（２０１０）は、グラフィックアダプタ（２０５０）に接続され得る。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（２０４１）、ＧＰＵ（２０４２）、ＦＰＧＡ（２０４３）、およびアクセラレータ（２０４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（２０４５）またはＲＡＭ（２０４６）に記憶され得る。移行データはＲＡＭ（１７４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（２０４７）に記憶され得る。１つまたは複数のＣＰＵ（２０４１）、ＧＰＵ（２０４２）、大容量ストレージ（２０４７）、ＲＯＭ（２０４５）、ＲＡＭ（２０４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実現操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（２０００）、特にコア（２０４０）は、１つまたは複数の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能を提供することができる。このようなコンピュータ読取可能な媒体は、以上で説明されたようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（２０４７）またはＲＯＭ（２０４５）などの非一時的な性質を持つコア（２０４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（２０４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（２０４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（２０４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（２０４４））に有線接続されたまたは組み込まれたロジックの結果としての機能を提供することができる。ソフトウェアへの引用は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への引用は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

付録Ａ：頭字語
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオコーディング）
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ（ベンチマークセット）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオコーディング）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補足拡張情報）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（グループオブピクチャ）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ（変換ユニット）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ（予測ユニット）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ（コーディングツリーユニット）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ（コーディングツリーブロック）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（中央処理装置）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（グラフィックスプロセッシングユニット）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリーメモリ）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（グローバルモバイル通信システム）
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ）
ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ（ソリッドステートドライブ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（コーディングユニット）

本開示はいくつかの例示的な実施形態について説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明記または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることは、理解されるべきであろう。

Claims (13)

1. デコーダによるビデオデコーディングのための方法であって、
   現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから特徴ベクトル
   または特徴スカラーＳを抽出するステップと、
   前記ブロックの１つまたは複数の隣接ブロックにおける前記再構成サンプルの統計分析に基づいて、前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つを決定するステップと、
   前記ブロックのコーディングされた情報で示される前記ブロックの予測モードに基づいて、変換セットのグループから、変換セットのサブグループを選択するステップであって、前記変換セットのグループの各変換セットは前記ブロックの１つまたは複数の変換候補を含み、１つまたは複数の隣接ブロックは前記現在のピクチャまたは前記現在のピクチャと異なる再構成ピクチャにある、ステップと、
   （ｉ）前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、前記変換セットのサブグループから変換セットを決定すること、
   （ｉｉ）前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または、
   （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて、前記変換セットのサブグループから前記変換セットを選択し、前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、選択された変換セットから前記変換候補を決定すること、のうちのいずれか１つを実行するステップと、
   決定された変換候補に基づいて、前記ブロックのサンプルを再構成するステップとを含む、
   方法。
2. 前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つは前記特徴スカラーＳであり、
   前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つを決定することは、前記特徴スカラーＳを、前記ブロックの１つまたは複数の隣接ブロックにおける前記再構成サンプルのサンプル値を示す変数のモーメントとして決定するステップをさらに含む、
   請求項１に記載の方法。
3. しきい値セットＫ_Ｓが予め定義されており、
   前記実行は、
   （ｉ）前記変数のモーメントと前記しきい値セットＫ_Ｓからのしきい値に基づいて、前記変換セットのサブグループから、前記変換セットを決定すること、
   （ｉｉ）前記変数のモーメントと前記しきい値に基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または
   （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて、前記変換セットのサブグループから前記変換セットを選択し、前記変数のモーメントと前記しきい値に基づいて、選択された変換セットから前記変換候補を決定することのうちのいずれか１つを実行するステップを含む、
   請求項２に記載の方法。
4. 前記変数のモーメントは、前記変数の１次モーメント、前記変数の２次モーメント、または前記変数の３次モーメントのうちの１つであり、
   前記ブロックの予測モードは複数の予測モードのうちの１つであり、
   前記複数の予測モードのそれぞれは、前記しきい値セットＫ_Ｓにおける一意のしきい値サブセットＫ_Ｓ'に対応し、前記一意のしきい値サブセットＫ_Ｓ'は、前記複数の予測モードと、前記しきい値セットＫ_Ｓにおける複数のしきい値サブセットとの間の単射マッピングを示す、
   請求項３に記載の方法。
5. （ｉ）前記ブロックのブロックサイズ、（ｉｉ）量子化パラメータ、または（ｉｉｉ）前記ブロックの予測モードのうちの１つに基づいて、前記しきい値セットＫ_Ｓから前記しきい値を選択するステップをさらに含む、
   請求項３に記載の方法。
6. 前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つは前記特徴ベクトル
   であり、
   前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つを決定することは、前記特徴ベクトル
   に、前記ブロックの左側にある隣接列の再構成サンプルのサンプル値と、前記ブロックの上側にある隣接行の再構成サンプルのサンプル値をそれぞれ示す変数の共分散または２次モーメントを含めるステップをさらに含む、
   請求項１に記載の方法。
7. 分類ベクトルセット
   、および前記分類ベクトルセット
   に関連付けられたしきい値セットＫ_ｖが予め定義されており、
   前記変数の共同変動と、前記分類ベクトルセット
   に含まれる分類ベクトルサブセット
   から選択された分類ベクトルとの間の距離を算出するステップをさらに含み、
   前記実行は、
   （ｉ）前記距離と、前記しきい値セットＫ_ｖに含まれるしきい値サブセットＫ_ｖ’から選択されたしきい値との比較に基づいて、前記変換セットのサブグループから前記変換セットを決定すること、
   （ｉｉ）前記距離と前記しきい値との比較に基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または、
   （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて、前記変換セットのサブグループから前記変換セットを選択し、前記距離と前記しきい値との比較に基づいて、選択された変換セットから前記変換候補を決定することのうちのいずれか１つを実行するステップを含む、
   請求項６に記載の方法。
8. ビデオデコーディング装置であって、
   現在のピクチャのブロックの１つまたは複数の隣接ブロックにおける再構成サンプルから特徴ベクトル
   または特徴スカラーＳを抽出することと、
   前記ブロックの１つまたは複数の隣接ブロックにおける前記再構成サンプルの統計分析に基づいて、前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つを決定することと、
   前記ブロックのコーディングされた情報で示される前記ブロックの予測モードに基づいて、変換セットのグループから、変換セットのサブグループを選択することであって、前記変換セットのグループの各変換セットは前記ブロックの１つまたは複数の変換候補を含み、１つまたは複数の隣接ブロックは前記現在のピクチャまたは前記現在のピクチャと異なる再構成ピクチャにある、ことと、
   （ｉ）前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、前記変換セットのサブグループから変換セットを決定すること、
   （ｉｉ）前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または、
   （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて、前記変換セットのサブグループから前記変換セットを選択し、前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つに基づいて、選択された変換セットから前記変換候補を決定すること、のうちのいずれか１つを実行することと、
   決定された変換候補に基づいて、前記ブロックのサンプルを再構成することとを行う、
   ように構成される処理回路を含む、
   装置。
9. 前記特徴ベクトル
   または前記特徴スカラーＳのうちの１つは前記特徴スカラーＳであり、
   前記処理回路は、前記特徴スカラーＳを、前記ブロックの１つまたは複数の隣接ブロックにおける前記再構成サンプルのサンプル値を示す変数のモーメントとして決定するように構成される、
   請求項８に記載の装置。
10. しきい値セットＫ_Ｓが予め定義されており、
    前記処理回路は、
    （ｉ）前記変数のモーメントと前記しきい値セットＫ_Ｓからのしきい値に基づいて、前記変換セットのサブグループから、前記変換セットを決定すること、
    （ｉｉ）前記変数のモーメントと前記しきい値に基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または、
    （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて前記変換セットのサブグループから前記変換セットを選択し、前記変数のモーメントと前記しきい値に基づいて、選択された変換セットから前記変換候補を決定することのうちのいずれか１つを実行するように構成される、
    請求項９に記載の装置。
11. 前記特徴ベクトル
    または前記特徴スカラーＳのうちの１つは、前記特徴ベクトル
    であり、
    前記処理回路は、
    前記特徴ベクトル
    に、前記ブロックの左側にある隣接列の再構成サンプルのサンプル値と、前記ブロックの上側にある隣接行の再構成サンプルのサンプル値をそれぞれ示す変数の共分散または２次モーメントを含めるように構成される、
    請求項８に記載の装置。
12. 分類ベクトルセット
    、および前記分類ベクトルセット
    に関連付けられたしきい値セットＫ_ｖが予め定義されており、
    前記処理回路は、
    前記変数の共同変動と、前記分類ベクトルセット
    に含まれる分類ベクトルサブセット
    から選択された分類ベクトルとの間の距離を算出し、
    （ｉ）前記距離と、前記しきい値セットＫ_ｖに含まれるしきい値サブセットＫ_ｖ’から選択されたしきい値との比較に基づいて、前記変換セットのサブグループから前記変換セットを決定すること、
    （ｉｉ）前記距離と前記しきい値との比較に基づいて、前記変換セットのサブグループから前記変換候補を決定すること、または、
    （ｉｉｉ）前記コーディングされた情報のインデックスに基づいて、前記変換セットのサブグループから前記変換セットを選択し、前記距離と前記しきい値との比較に基づいて、選択された変換セットから前記変換候補を決定することのうちのいずれか１つを実行する、ように構成される、
    請求項１１に記載の装置。
13. 前記変数のモーメントは、前記変数の１次モーメント、前記変数の２次モーメント、または前記変数の３次モーメントのうちの１つであり、
    前記ブロックの予測モードは複数の予測モードのうちの１つであり、
    前記複数の予測モードのそれぞれは、前記しきい値セットＫ _Ｓ における一意のしきい値サブセットＫ _Ｓ 'に対応し、前記一意のしきい値サブセットＫ _Ｓ 'は、前記複数の予測モードと、前記しきい値セットＫ _Ｓ における複数のしきい値サブセットとの間の単射マッピングを示す、
    請求項１２に記載の装置。

Images