JP7258168B2 - ビデオコーディングのための方法並びにその、装置およびコンピュータプログラム - Google Patents

Description

参照による援用
本願は、２０１９年３月２１日に提出された、出願番号が６２／８２１６５７であり、発明の名称が「ＣＯＮＴＥＸＴ ＭＯＤＥＬＩＮＧ ＦＯＲ ＥＮＴＲＯＰＹ ＣＯＤＩＮＧ ＯＦ ＳＥＣＯＮＤＡＲＹ ＴＲＡＮＳＦＯＲＭ ＩＮＤＥＸ ＯＲ ＦＬＡＧ」である米国仮出願および２０１９年１０月３日に提出された、出願番号が６２／９１０１２７であり、発明の名称が「ＢＬＯＣＫ ＳＩＺＥ ＲＥＳＴＲＩＣＴＩＯＮ ＯＦ ＬＦＮＳＴ」である米国仮出願に基づく優先権を主張する、２０２０年３月１９日に提出された、出願番号が１６／８２４４９２であり、発明の名称が「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＶＩＤＥＯ ＣＯＤＩＮＧ」である米国特許出願に基づく優先権を主張する。これらの出願の全ての内容は、参照により本願に組み込むものとする。

本開示は、一般的にビデオコーディングに関する実施形態を記載する。

本明細書で提供される「背景技術」の説明は、本開示の背景を大まかに示すことを目的とする。ここに名を挙げられている発明者の業績は、この背景技術に記載された範囲において、出願時に従来技術として通常見なされえない記載の態様と共に、明示的にも黙示的にも本開示に対する従来技術として認められない。

ビデオコーディングおよびデコードは、動き補償を伴うインターピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルと関連する彩度サンプルの空間寸法を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ぶことができる）を持つことができる。非圧縮ビデオには、顕著なビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

ビデオコーディングおよびデコードの１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ発行アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含むいくつかの幅広いカテゴリからの技法を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技法を含み得る。イントラコーディングでは、サンプル値は、予め再構築された参照ピクチャからのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分される。サンプルのすべてのブロックがイントラモードでコード化されると、そのピクチャはイントラピクチャになる可能性がある。イントラピクチャと、独立したデコーダリフレッシュピクチャなどのその派生物とは、デコーダの状態をリセットするために使用できるため、コード化されたビデオビットストリームとビデオセッションの最初のピクチャとして、または静止画像として使用されることができる。イントラブロックのサンプルは変換にさらされることができ、変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、事前変換領域でサンプル値を最小化する技法であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所定の量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ－２世代コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順の先に位置するデータのブロックのエンコード／デコード中に得られた周囲のサンプルデータおよび／またはメタデータからイントラ予測を試みる技法を含む。そのような技法は、以降、「イントラ予測」技法と呼ぶことができる。少なくともいくつかのケースでは、イントラ予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照ピクチャからの参照データを使用しないことに注意されたい。

イントラ予測はさまざまな形態で存在し得る。そのような技法の２つ以上が所定のビデオコーディング技術に使用できる場合、使用中の技法はイントラ予測モードでコード化されることができる。場合によっては、モードはサブモードやパラメータを有することができ、それらを個別にコード化するか、もしくはモードコードワードに含めることができる。どのコードワードが所定のモード／サブモード／パラメータの組み合わせに使用されるかは、イントラ予測によるコーディング効率ゲインに影響を与える可能性があるので、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。

イントラ予測の特定のモードはＨ．２６４で提出され、Ｈ．２６５で改良され、さらに共同探索モデル（ＪＥＭ）、多用途ビデオコーディング（ＶＶＣ）、およびベンチマークセット（ＢＭＳ）などのより新しいコーディング技術で改良された。予測子ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成されることができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリームでコード化されるか、もしくはそれ自体を予測され得る。

本開示の態様は、ビデオエンコード／デコードのための方法および装置を提供する。一部の例では、ビデオデコードのための装置は、受信回路および処理回路を含む。例えば、前記処理回路は、コード化されたピクチャにおけるブロックの残差に対応するビットを含むビットストリームを受信し、前記ビットストリームを構文解析して、前記ブロックの角度予測の使用可能性を示す少なくとも１つのビットを抽出する。また、前記処理回路は、前記ブロックの角度予測の使用可能性を示す前記少なくとも１つのビットに基づいて、二次変換の情報をコード化するためのコンテキストを決定し、前記コンテキストに基づいてデコードされた前記二次変換の情報を使用して、前記ブロックの残差に対応する前記ビットをデコードする。

一実施形態では、前記処理回路は、前記ビットストリームを構文解析して、最確モード（ＭＰＭ）のフラグおよびＭＰＭのインデックスのうちの少なくとも１つを抽出する。

別の実施形態では、前記処理回路は、前記ブロックの角度予測の使用可能性を示す前記少なくとも１つのビットに基づいて、前記二次変換のフラグおよび前記二次変換のインデックスのうちの少なくとも１つをコード化するためのコンテキストを決定する。

別の実施形態では、前記処理回路は、前記ビットストリームを構文解析して、最確モード（ＭＰＭ）のインデックスを抽出し、前記ＭＰＭのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づいて、前記二次変換の情報をコード化するためのコンテキストを決定する。

一部の実施形態では、前記処理回路は、前記ビットストリームを構文解析して、前記ブロックの参照ラインのインデックスを抽出し、前記ブロックの参照ラインのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づいて、前記二次変換の情報をコード化するためのコンテキストを決定する。

一部の実施形態では、前記処理回路は、前記ビットストリームを構文解析して、前記ブロックのイントラサブパーティションのインデックスを抽出し、前記ブロックのイントラサブパーティションのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づいて、前記二次変換の情報をコード化するためのコンテキストを決定する。

一部の実施形態では、前記処理回路は、前記ビットストリームを構文解析して、前記ブロックの予測に角度モードが適用されるか否かを示す第１のフラグを抽出し、前記第１のフラグに基づいて、前記二次変換の情報をコード化するためのコンテキストを決定する。一例では、前記処理回路は、前記ビットストリームを構文解析して、前記第１のフラグが前記ブロックの予測に角度モードが適用されないことを示す場合、前記ブロックの予測に平面モードまたはＤＣモードが適用されるか否かを示す第２のフラグを抽出する。そして、前記処理回路は、前記第２のフラグに基づいて、前記二次変換の情報をコード化するためのコンテキストを決定する。

一部の実施形態では、前記処理回路は、前記ブロックのサイズが閾値よりも小さい場合、前記二次変換を無効にする。

本開示の態様はまた、ビデオデコードのためにコンピュータによって実行されると、前記コンピュータにビデオデコードのための方法を実行させる命令を記憶する非一時的なコンピュータ可読媒体を提供する。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。

実施形態に係る通信システム（１００）の簡略化されたブロック図の概略図である。 実施形態に係る通信システム（２００）の簡略化されたブロック図の概略図である。 実施形態に係るデコーダの簡略化されたブロック図の概略図である。 実施形態に係るエンコーダの簡略化されたブロック図の概略図である。 別の実施形態に係るエンコーダを示すブロック図である。 別の実施形態に係るデコーダを示すブロック図である。 一部の例における変換コア行列を示す図である。 一部の例における変換コア行列を示す図である。 一部の例における変換コア行列を示す図である。 一部の例における変換コア行列を示す図である。 ６４ｘ６４変換コア行列を示す図である。 ６４ｘ６４変換コア行列を示す図である。 ６４ｘ６４変換コア行列を示す図である。 ６４ｘ６４変換コア行列を示す図である。 ６４ｘ６４変換コア行列を示す図である。 選択されたＤＳＴ／ＤＣＴ変換の変換基底関数を示す図である。 インデックスと変換タイプとの間のマッピング関係を示す表である。 ＤＳＴ－７変換の変換コア行列を示す図である。 ＤＳＴ－７変換の変換コア行列を示す図である。 ＤＳＴ－７変換の変換コア行列を示す図である。 ＤＳＴ－７変換の変換コア行列を示す図である。 ＤＣＴ－８変換の変換コア行列を示す図である。 ＤＣＴ－８変換の変換コア行列を示す図である。 ＤＣＴ－８変換の変換コア行列を示す図である。 ＤＣＴ－８変換の変換コア行列を示す図である。 本開示の一部の実施形態に係る変換ユニットシンタックスの例を示す図である。 本開示の一部の実施形態に係る残差コーディングシンタックスの例を示す図である。 本開示の一部の実施形態に係る残差コーディングシンタックスの例を示す図である。 本開示の一部の実施形態に係る残差コーディングシンタックスの例を示す図である。 順変換の例を示す図である。 順変換の例を示す図である。 一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す図である。 一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す図である。 一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す図である。 一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す図である。 一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す図である。 イントラ予測モードからそれぞれの変換セットへの例示的なマッピングを示す図である。 ＨＥＶＣで使用される例示的なイントラ予測方向およびイントラ予測モードを示す図である。 一部の例における例示的なイントラ予測方向およびイントラ予測モードを示す図である。 現在コーディングユニットの隣接コーディングユニットの例を示す図である。 多重参照ラインの例を示す図である。 ブロックサイズに応じたサブパーティションの数を示す図である。 ブロックが２つのサブパーティションに分割されるシナリオを示す図である。 ブロックが４つのサブパーティションに分割されるシナリオを示す図である。 本開示の実施形態に係る変換コアを使用する例を示す図である。 本開示の実施形態に係る別の変換コアを使用する例を示す図である。 縮小二次変換行列を示す図である。 本開示の一部の態様に係る縮小二次変換を示す図である。 本開示の一部の態様に係る縮小二次変換を示す図である。 変換セットの選択に使用される表を示す図である。 二次変換のインデックスを決定するための表を示す図である。 本開示の一部の実施形態に係るプロセス例の概要を示すフローチャートである。 実施形態に係るコンピュータシステムの概略図である。

図１は、本開示の実施形態による通信システム（１００）の簡略化されたブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された第１の対の端末装置（１１０）および（１２０）を含む。図１の例では、第１の対の端末装置（１１０）および（１２０）は、データの単方向送信を実行する。例えば、端末装置（１１０）は、ネットワーク（１５０）を介して他方の端末装置（１２０）へ送信するためにビデオデータ（例えば、端末装置（１１０）によってキャプチャされたビデオピクチャのストリーム）をコード化し得る。エンコードされたビデオデータは、１つ以上のコード化されたビデオビットストリームの形で送信されることができる。端末装置（１２０）は、ネットワーク（１５０）からコード化されたビデオデータを受信し、コード化されたビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。

別の例では、通信システム（１００）は、例えば、ビデオ会議中に発生し得るコード化されたビデオデータの双方向送信を実行する第２の対の端末装置（１３０）および（１４０）を含む。データの双方向送信の場合、一例では、端末装置（１３０）および（１４０）のそれぞれは、ネットワーク（１５０）を介して端末装置（１３０）および（１４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）をコード化し得る。端末装置（１３０）および（１４０）の一方は、端末装置（１３０）および（１４０）のうちの他方の端末装置で送信されたコード化されたビデオデータを受信することができ、コード化されたビデオデータをデコードしてビデオピクチャを復元することができ、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。

図１の例では、端末装置（１１０）、（１２０）、（１３０）および（１４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、しかし、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器などにおける用途を見出す。ネットワーク（１５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（１１０）、（１２０）、（１３０）および（１４０）間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（１５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（１５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でないかもしれない。

図２は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。

ストリーミングシステムは、例えば非圧縮のビデオピクチャ（２０２）のストリームを作成するデジタルカメラなどのビデオソース（２０１）を含むことができるキャプチャサブシステム（２１３）を含んでもよい。一例では、ビデオピクチャ（２０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（２０４）（またはコード化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（２０２）のストリームは、ビデオソース（２０１）に結合されたビデオエンコーダ（２０３）を含む電子デバイス（２２０）によって処理されることができる。ビデオエンコーダ（２０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（２０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（２０４）（またはエンコードされたビデオビットストリーム（２０４））は、将来使うためにストリーミングサーバ（２０５）に記憶されることができる。図２のクライアントサブシステム（２０６）および（２０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、エンコードされたビデオデータ（２０４）のコピー（２０７）および（２０９）を検索することができる。クライアントサブシステム（２０６）は、例えば、電子デバイス（２３０）におけるビデオデコーダ（２１０）を含むことができる。ビデオデコーダ（２１０）は、エンコードされたビデオデータの入り方向コピー（２０７）をデコードし、ディスプレイ（２１２）（例えば、表示画面）または他のレンダリングデバイス（描画せず）でレンダリングできるビデオピクチャ（２１１）の出方向ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（２０４）、（２０７）、および（２０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、発展中のビデオコーディング規格は、非公式的にヴァーサトゥルビデオコーディング（ＶＶＣ）として知られている。開示された主題は、ＶＶＣの文脈に使用され得る。

なお、電子デバイス（２２０）および（２３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子デバイス（２２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（２３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

図３は、本開示の実施形態によるビデオデコーダ（３１０）のブロック図を示す。ビデオデコーダ（３１０）は、電子デバイス（３３０）に含まれることができる。電子デバイス（３３０）は、受信機（３３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（３１０）は、図２の例におけるビデオデコーダ（２１０）の代わりに使用されることができる。

受信機（３３１）は、ビデオデコーダ（３１０）によってデコードされる１つ以上のコード化されたビデオシーケンスを受信することができ、同一または別の実施形態では、一度に１つのコード化されたビデオシーケンスを受信してもよく、各コード化されたビデオシーケンスのデコードは、他のコード化されたビデオシーケンスから独立している。コード化されたビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（３０１）から受信されることができる。受信機（３３１）は、それぞれの使用エンティティ（描画せず）に転送され得る他のデータ、例えば、コード化されたオーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（３３１）は、コード化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（３１５）は、受信機（３３１）とエントロピーデコーダ／パーサ（３２０）（以降、「パーサ（３２０）」）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（３１５）は、ビデオデコーダ（３１０）の一部である。他の場合、バッファメモリ（３１５）は、ビデオデコーダ（３１０）（描画せず）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（３１０）の外部にバッファメモリ（描画せず）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（３１０）の内部に別のバッファメモリ（３１５）が存在し得る。受信機（３３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（３１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（３１５）が必要になる場合があり、バッファメモリ（３１５）は、比較的大きいことがあり、有利には適応サイズであることができ、ビデオデコーダ（３１０）の外部のオペレーティングシステムまたは類似の要素（描画せず）に少なくとも部分的に実施され得る。

ビデオデコーダ（３１０）は、コード化されたビデオシーケンスからシンボル（３２１）を再構築するパーサ（３２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（３１０）の操作を管理するために使用される情報を含んで、および、電子デバイス（３３０）の不可欠な部分ではないが、図３に示されるように電子デバイス（３３０）に結合され得るレンダリングデバイス（３１２）（例えば、表示画面）のようなレンダリングデバイスを制御する情報を潜在的に含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（描画せず）の形態であってよい。パーサ（３２０）は、受信されたコード化されたビデオシーケンスを構文解析／エントロピーデコードすることができる。コード化されたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に合わせることができ、可変長コーディング、ハフマンコーディング、文脈感受性を有するもしくは有さない算術コーディングなどを含む様々な原理に従うことができる。パーサ（３２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コード化されたビデオシーケンスからビデオデコーダにおける画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（３２０）は、コード化されたビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

パーサ（３２０）は、シンボル（３２１）を作成するために、バッファメモリ（３１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

シンボル（３２１）の再構築は、コード化されたビデオピクチャまたはその一部のタイプ（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）、および他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットが、どのように関与するかは、パーサ（３２０）によってコード化されたビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（３２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックに加え、ビデオデコーダ（３１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

第１のユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（３２１）としてパーサ（３２０）から受信する。スケーラ／逆変換ユニット（３５１）は、アグリゲータ（３５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（３５１）の出力サンプルは、イントラコード化されたブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（３５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（３５２）は、現在ピクチャバッファ（３５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（３５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（３５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インターコード化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（３５３）は、参照ピクチャメモリ（３５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（３２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（３５５）によってスケーラ／逆変換ユニット（３５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ぶことができる）。動き補償予測ユニット（３５３）が予測サンプルを取り出す参照ピクチャメモリ（３５７）におけるアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（３２１）の形態で動き補償予測ユニット（３５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャメモリ（３５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において様々なループフィルタリング技法を受けられる。ビデオ圧縮技術は、コード化されたビデオシーケンス（コード化されたビデオビットストリームとも呼ぶことができる）に含まれる、パーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能とされたパラメータによって制御されることができ、それに、コード化されたピクチャまたはコード化されたビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。

ループフィルタユニット（３５６）の出力は、レンダリングデバイス（３１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（３５７）に記憶されることができるサンプルストリームであり得る。

特定のコード化されたピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応するコード化されたピクチャが完全に再構築され、該コード化されたピクチャが（例えば、パーサ（３２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（３５８）は、参照ピクチャメモリ（３５７）の一部になることができ、次のコード化されたピクチャの再構築を開始する前に新しい現在ピクチャバッファを再割当てすることができる。

ビデオデコーダ（３１０）は、ＩＴＵ－Ｔ推奨のＨ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。コード化されたビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、コード化されたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できるツールとして選択することができる。コード化されたビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）仕様およびコード化されたビデオシーケンスでシグナリングされたＨＲＤバッファ管理のためのメタデータによってさらに制限され得る。

一実施形態では、受信機（３３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、コード化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（３１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

図４は、本開示の実施形態によるビデオエンコーダ（４０３）のブロック図を示す。ビデオエンコーダ（４０３）は、電子デバイス（４２０）に含まれる。電子デバイス（４２０）は、送信機（４４０）（例えば、送信回路）を含む。図２の例におけるビデオエンコーダ（２０３）の代わりにビデオエンコーダ（４０３）を使用することができる。

ビデオエンコーダ（４０３）は、ビデオエンコーダ（４０３）によってコード化されるビデオ画像をキャプチャし得るビデオソース（４０１）（図４の例では電子デバイス（４２０）の一部ではない）からビデオサンプルを受信することができる。別の例では、ビデオソース（４０１）は、電子デバイス（４２０）の一部である。

ビデオソース（４０１）は、ビデオエンコーダ（４０３）によってコード化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（４０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（４０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

一実施形態によれば、ビデオエンコーダ（４０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャをコード化し、コード化されたビデオシーケンス（４４３）に圧縮することができる。適切なコーディング速度を実施することは、コントローラ（４５０）の機能の１つである。一部の実施形態では、コントローラ（４５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（４５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（４５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（４０３）に関する他の適切な機能を有するように構成されることができる。

一部の実施形態では、ビデオエンコーダ（４０３）は、コーディングループで動作するように構成される。過度に簡略化した説明として、一例では、コーディングループは、ソースコーダ（４３０）（例えば、コーディング対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（４０３）に埋め込まれた（ローカル）デコーダ（４３３）を含むことができる。デコーダ（４３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成する（シンボルとコード化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（４３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（４３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、いくつかの関連分野にも使用されている。

「ローカル」デコーダ（４３３）の動作は、前文で図３に関連して既に詳細に説明された、ビデオデコーダ（３１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図３も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（４４５）およびパーサ（３２０）によるコード化されたビデオシーケンスへのシンボルのエンコード／デコードは可逆であり得るので、バッファメモリ（３１５）、およびパーサ（３２０）を含むビデオデコーダ（３１０）のエントロピーデコード部分は、ローカルデコーダ（４３３）では完全に実施されない場合がある。

これで分かるように、デコーダに存在する、構文解析／エントロピーデコード以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

操作中、一部の例では、ソースコーダ（４３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の予めコード化されたピクチャを参照して入力ピクチャを予測的にコード化する動き補償予測コーディングを実行してもよい。このようにして、コーディングエンジン（４３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異をコード化する。

ローカルビデオデコーダ（４３３）は、ソースコーダ（４３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコード化されたビデオデータをデコードすることができる。コーディングエンジン（４３２）の操作は、有利には非可逆プロセスであり得る。コード化されたビデオデータがビデオデコーダ（図４に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（４３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（４３４）に記憶させることができる。このようにして、ビデオエンコーダ（４０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。

予測器（４３５）は、コーディングエンジン（４３２）の予測検索を実行することができる。つまり、コーディング対象となる新しいピクチャについて、予測器（４３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（４３４）に検索することができる。予測器（４３５）は、適切な予測基準を見つけるために、サンプルブロック／画素ブロックごとに操作することができる。場合によっては、予測器（４３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（４５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（４３０）のコーディング操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（４４５）においてエントロピーコーディングを受けられる。エントロピーコーダ（４４５）は、例えば、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコード化されたビデオシーケンスに変換する。

送信機（４４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（４６０）を介した送信の準備のために、エントロピーコーダ（４４５）によって作成されたコード化されたビデオシーケンスをバッファリングすることができる。送信機（４４０）は、ビデオコーダ（４０３）からのコード化されたビデオデータを、送信されるべき他のデータ、例えば、コード化されたオーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（４５０）は、ビデオエンコーダ（４０３）の操作を管理し得る。コーディング中、コントローラ（４５０）は、各コード化されたピクチャに特定のコード化されたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンスにおける他のいかなるピクチャを使用せずにコード化およびデコードされ得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測によりコード化およびデコードされ得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測によりコード化およびデコードされ得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位でコード化され得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定された他の（既にコード化された）ブロックを参照して予測的にコード化され得る。例えば、Ｉピクチャのブロックは、非予測的にコード化されてもよく、或いは、同一のピクチャの既にコード化されたブロック（空間予測またはイントラ予測）を参照して予測的にコード化されてもよい。Ｐピクチャの画素ブロックは、１つの予めコード化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコード化され得る。Ｂピクチャのブロックは、１つまたは２つの予めコード化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的にコード化され得る。

ビデオエンコーダ（４０３）は、ＩＴＵ－Ｔ推奨のＨ．２６５などの予め設定されたビデオコーディング技術または規格に従って、コーディング操作を実行することができる。操作中、ビデオエンコーダ（４０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測コーディング操作を含む、様々な圧縮操作を実行することができる。したがって、コード化されたビデオデータは、使用されるビデオコーディング技術または規格によって指定されたシンタックスに準拠する場合がある。

一実施形態では、送信機（４４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（４３０）は、このようなデータをコード化されたビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ぶことができるエンコード／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予めコード化され、まだバッファリングされていた参照ピクチャの参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ぶことができるベクトルによってコード化されることができる。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

一部の実施形態では、インターピクチャ予測において双予測法を使用することができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを使用する。現在ピクチャにおけるブロックは、第１の参照ピクチャにおける第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャにおける第２の参照ブロックを指す第２の動きベクトルによってコード化されることができる。該ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

さらに、マージモード技法をインターピクチャ予測に適用して、コーディング効率を向上させることができる。

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つの輝度ＣＴＢと２つの彩度ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６個の１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、１つの輝度予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、コーディング（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、輝度値）の行列を含む。

図５は、本開示の別の実施形態によるビデオエンコーダ（５０３）の図を示す。ビデオエンコーダ（５０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、コード化されたビデオシーケンスの一部であるコード化されたピクチャにエンコードするように構成される。一例では、図２の例におけるビデオエンコーダ（２０３）の代わりにビデオエンコーダ（５０３）を使用する。

ＨＥＶＣの例では、ビデオエンコーダ（５０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（５０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双予測モードにより最も良くコード化するか否かを決定する。処理ブロックがイントラモードでコード化されようとする場合、ビデオエンコーダ（５０３）は、イントラ予測法を用いて処理ブロックをコード化されたピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードでコード化されようとする場合、ビデオエンコーダ（５０３）は、それぞれインター予測または双予測法を用いて、処理ブロックをコード化されたピクチャにエンコードすることができる。特定のビデオコーディング技術では、マージモードは、予測子外のコード化された動きベクトル成分の利便を介することなく、１つ以上の動きベクトル予測子から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（５０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図５の例では、ビデオエンコーダ（５０３）は、図５に示すように互いに結合されたインターエンコーダ（５３０）、イントラエンコーダ（５２２）、残差算出部（５２３）、スイッチ（５２６）、残差エンコーダ（５２４）、統括制御部（５２１）およびエントロピーエンコーダ（５２５）を含む。

インターエンコーダ（５３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャにおける１つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャにおけるブロック）と比較し、インター予測情報（例えば、インターエンコード法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコード参照ピクチャである。

イントラエンコーダ（５２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既にコード化されたブロックと比較し、量子化された変換後係数を生成し、場合によってはイントラ予測情報（例えば、１つ以上のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（５２２）は、イントラ予測情報および同一のピクチャにおける参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も算出する。

統括制御部（５２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（５０３）の他の構成要素を制御するように構成される。一例では、統括制御部（５２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（５２６）に提供する。例えば、モードがイントラモードである場合、統括制御部（５２１）は、残差算出部（５２３）が使用するためのイントラモード結果を選択するようにスイッチ（５２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（５２５）を制御する。また、モードがインターモードである場合、統括制御部（５２１）は、残差算出部（５２３）が使用するためのインター予測結果を選択するようにスイッチ（５２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（５２５）を制御する。

残差算出部（５２３）は、受信されたブロックとイントラエンコーダ（５２２）またはインターエンコーダ（５３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（５２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（５２４）は、残差データを空間領域から周波数領域へと変換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（５０３）は、残差デコーダ（５２８）をも含む。残差デコーダ（５２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（５２２）およびインターエンコーダ（５３０）によって適切に使用されることができる。例えば、インターエンコーダ（５３０）は、デコード残差データよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（５２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

エントロピーエンコーダ（５２５）は、エンコードブロックを含めるようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（５２５）は、ＨＥＶＣ規格などの適切な規格に従って様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（５２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックをコード化する場合、残差情報はないことに留意されたい。

図６は、本開示の別の実施形態によるビデオデコーダ（６１０）の図を示す。ビデオデコーダ（６１０）は、コード化されたビデオシーケンスの一部であるコード化されたピクチャを受信し、コード化されたピクチャをデコードして、再構築ピクチャを生成するように構成される。一例では、図２の例におけるビデオデコーダ（２１０）の代わりにビデオデコーダ（６１０）を使用する。

図６の例では、ビデオデコーダ（６１０）は、図６に示されるように互いに結合されたエントロピーデコーダ（６７１）、インターデコーダ（６８０）、残差デコーダ（６７３）、再構築モジュール（６７４）、およびイントラデコーダ（６７２）を含む。

エントロピーデコーダ（６７１）は、コード化されたピクチャから、コード化されたピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックがコード化されるモード（例えば、イントラモード、インターモード、双予測モード、後の２つのマージサブモードまたは別のサブモード）、それぞれイントラデコーダ（６７２）またはインターデコーダ（６８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（６８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（６７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（６７３）に提供される。

インターデコーダ（６８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（６７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（６７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（６７３）は、（量子化器パラメータ（ＱＰ）を含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（６７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。

再構築モジュール（６７４）は、空間領域において、残差デコーダ（６７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

なお、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、１つ以上の集積回路を用いて実施されることができる。別の実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）とビデオデコーダ（２１０）、（３１０）および（６１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実施されることができる。

本開示の態様は、二次変換インデックスまたはフラグをエントロピーコード化するためのコンテキストモデリング技術を提供する。具体的には、一部の実施形態では、二次インデックスのエントロピーコーディングのためのコンテキストモデリングとしてＭＰＭインデックスまたはフラグを使用する方法が使用される。

本開示の一部の態様によれば、一次および二次変換は、残差信号のコーディングに使用することができる。一部の実施形態では、４点、８点、１６点、および３２点のタイプ２離散コサイン変換（ＤＣＴ－２）変換を一次変換として使用することができる。図７～図１０は、それぞれ４点、８点、１６点、および３２点のＤＣＴ－２の変換コア行列を示す。これらの変換コア行列の要素は、８ビット整数を使用して表すことができるため、これらの変換コア行列は８ビット変換コアと呼ぶことができる。図示されているように、小さいＤＣＴ－２の変換コア行列は、大きいＤＣＴ－２の変換コア行列の一部である。

ＤＣＴ－２コア行列は、対称性／非対称性の特徴を示す。したがって、いわゆる「部分バタフライ」実装をサポートして、演算回数（乗算、加算／減算、シフト）を減らすことができる。行列乗算の同じ結果は、部分バタフライの実装を使用して取得することができる。

一部の実施形態では、上記の４点、８点、１６点、および３２点のＤＣＴ－２変換に加えて、追加の２点および６４点のＤＣＴ－２が使用される。図１１Ａ～図１１Ｅは、６４点ＤＣＴ－２変換の６４ｘ６４変換コア行列を示す。

一部の実施形態では、ＤＣＴ－２および４ｘ４離散サイン変換タイプＩＩＶ（ＤＣＴ－７）変換に加えて、適応型多重変換（ＡＭＴ）（拡張多重変換（ＥＭＴ）または多重変換選択（ＭＴＳ）とも呼ぶことができる）は、インターおよびイントラコード化されたブロックの両方の残差コーディングに使用される。ＡＭＴは、ＤＣＴ－２変換に加えて、ＤＳＴ－７またはＤＣＴ－８変換の変換コア行列などの、離散コサイン変換（ＤＣＴ）／離散サイン変換（ＤＳＴ）ファミリから選択された多重変換を使用する。

図１２は、選択されたＤＳＴ／ＤＣＴ変換の変換基底関数を示す。

一部の実施形態では、ＡＭＴで使用されるＤＳＴ／ＤＣＴ変換コア行列は、８ビット表現で表される。一部の実施形態では、ＡＭＴは、幅および高さの両方が３２以下であるＣＵに適用される。ＡＭＴを適用するか否かは、ｍｔｓ＿ｆｌａｇで示されるフラグで制御することができる。例えば、ｍｔｓ＿ｆｌａｇが０である場合、残差ブロックのコーディングには、ＤＣＴ－２のみが適用される。ｍｔｓ＿ｆｌａｇが１である場合、ｍｔｓ＿ｉｄｘで示されるインデックスは、２つのビンを用いてシグナリングして、使用する水平および垂直変換を指定することができる。

図１３は、ｍｔｓ＿ｉｄｘ値と水平または垂直変換のそれぞれとの間のマッピング関係を示す表（１３００）を示す。値が－１のｍｔｓ＿ｉｄｘを有する行（１３０１）は、ｍｔｓ＿ｆｌａｇが０であり、かつＤＣＴ－２変換が使用されるシナリオに対応する。値が０、１、２、または３のｍｔｓ＿ｉｄｘを有する行（１３０２）～（１３０５）は、ｍｔｓ＿ｆｌａｇが１であるシナリオに対応する。表（１３００）の右側の２つの列では、０はＤＣＴ－２の変換タイプを表し、１はＤＳＴ－７の変換タイプを表し、２はＤＣＴ－８の変換タイプを表す。

図１４～図１７は、ＤＳＴ－７変換の変換コア行列を示す。図１８～図２１は、ＤＣＴ－８変換の変換コア行列を示す。

ＶＶＣなどの一部の例では、コード化されたブロックの高さと幅の両方が６４以下である場合、変換サイズはコード化されたブロックのサイズと同じである。コード化されたブロックの高さまたは幅のいずれかが６４よりも大きい場合、変換（例えば、逆変換、逆一次変換など）またはイントラ予測を行う場合、コード化されたブロックはさらに複数のサブブロックに分割されて、各サブブロックの幅および高さは６４以下である。各サブブロックに１つの変換を行うことができる。

図２２は、本開示の一部の実施形態に係る変換ユニットシンタックスの例を示す。一部の例（例えば、ＶＶＣ）でのＭＴＳの関連するシンタックスとセマンティクスは、（２２１０）に示すように記述することができる。

図２３Ａ～図２３Ｃは、本開示の一部の実施形態に係る残差コーディングシンタックスの例を示す。一部の例（例えば、ＶＶＣ）でのＭＴＳの関連するシンタックスとセマンティクスは、（２３１０）に示すように記述することができる。

一部の例では、変換ユニットセマンティクスおよび残差コーディングセマンティクスは、ＭＴＳ情報を指定することができる。一例では、ｃｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］は、ＭＴＳが適用されるか否かを示すために使用される。例えば、ｃｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が１である場合、多重変換選択は、関連する輝度変換ブロックの残差サンプルに適用される。ｃｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が０である場合、多重変換選択は、関連する輝度変換ブロックの残差サンプルに適用されない。配列インデックスｘ０、ｙ０は、ピクチャの左上の輝度サンプルに対する、考えられた変換ブロックの左上の輝度サンプルの位置（ｘ０、ｙ０）を指定する。一部の例では、ｃｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］が存在しない場合、ｃｕ＿ｍｔｓ＿ｆｌａｇ［ｘ０］［ｙ０］の値は０と推定される。

別の例では、ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］は、現在の変換ブロックの水平方向および垂直方向に沿って輝度残差サンプルにどの変換カーネルが適用されるかを指定するために使用される。配列インデックスｘ０、ｙ０は、ピクチャの左上の輝度サンプルに対する、考えられた変換ブロックの左上の輝度サンプルの位置（ｘ０、ｙ０）を指定する。ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］が存在しない場合、ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］の値は－１と推定される。

図２４Ａは、エンコーダによって実行される例示的な順変換（順一次変換とも呼ぶことができる）を示す。一部の例では、順変換は、順水平変換と順垂直変換によって行うことができるため、順変換は分離可能であり、順水平変換と順垂直変換に分離される。一例では、まず、順水平変換を、残差データを有する残差ブロック（２４１０）に適用して、変換中間ブロックを取得する。続いて、順垂直変換を変換中間ブロックに適用して、変換係数を有する係数ブロック（２４１２）を取得する。

図２４Ｂは、デコーダによって実行される例示的な後向き変換（逆一次変換または逆変換とも呼ぶことができる）を示す。一般的に、逆変換は順変換と一致する。逆一次変換は、逆一次水平変換（逆水平変換とも呼ぶことができる）および逆一次垂直変換（逆垂直変換とも呼ぶことができる）によって行うことができる。順変換を一致させるために、逆水平変換と逆垂直変換を適用する順序が逆変換において切り替える。したがって、まず逆垂直変換を係数ブロック（２４２２）に適用して、逆変換中間ブロックを取得する。続いて、逆水平変換を逆変換中間ブロックに適用して、残差ブロック（２４２０）を取得する。

一般に、一次変換の場合、エンコーダ側で、順一次変換が行われ、デコーダ側では、逆一次変換が行われる。一次変換が分離可能である場合、一例では、順一次変換を行うために、順水平変換と順垂直変換を行い、逆一次変換を行うために、逆垂直変換および逆水平変換を行う。

図２５Ａ～図２５Ｅは、一部の例に係るスケーリングされた変換係数の変換プロセスの例を示す。

一部の実施形態では、二次変換は、一次変換に伴って行うことができる。二次変換は、垂直変換と水平変換とに分離できない非分離変換であり得る。一般に、水平変換と垂直変換として実行される分離変換を使用すると、水平方向と垂直方向の相関関係を捉えることができ、非分離変換を使用すると、対角線方向などの他の方向の相関関係をさらに捉えることができる。非分離変換には、分離変換よりも多くの演算が含まれる。

一実施形態では、非分離二次変換は、モード依存性であり得、モード依存性の非分離二次変換（ＮＳＳＴ）と呼ぶことができる。一部の例では、ＮＳＳＴは、エンコーダ側での順コア（一次）変換と量子化の間、およびデコーダ側での逆量子化と逆コア（一次）変換の間で行うことができる。例えば、複雑さを低く抑えるために、ＮＳＳＴは一次変換（またはコア変換）の後に低周波数係数に適用される。変換係数ブロックの幅（Ｗ）と高さ（Ｈ）の両方が８以上である場合、８×８のＮＳＳＴは変換係数ブロックの左上の８×８領域に適用される。そうでない場合、変換係数ブロックの幅（Ｗ）と高さ（Ｈ）のいずれかが４である場合、４×４のＮＳＳＴは適用され、４×４のＮＳＳＴは変換係数ブロックの左上のｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に行われる。上記の変換選択方法は、一例では輝度成分と彩度成分の両方に適用される。

具体的には、一実施形態では、４×４の入力ブロックを例として用いて、ＮＳＳＴの行列乗算の実装を以下のように説明する。４×４の入力ブロックＸは、（式１）のように示される。

次に、入力ブロックＸは、下記（式２）においてベクトル

として表すことができる。

一部の実施形態では、非分離変換は、

として計算され、ここで、

は、変換係数ベクトルを示し、Ｔは、１６×１６変換行列を示す。続いて、１６×１変換係数ベクトル

は、入力ブロックＸの走査順序（例えば、水平走査順序、垂直走査順序、または対角走査順序）を使用して４×４ブロックとして再編成される。小さいインデックスの係数は、小さい走査インデックスで４×４係数ブロックに配置することができる。一部の実施形態では、バタフライ実装を備えたハイパーキューブギブンズ変換（ＨｙＧＴ）を、ＮＳＳＴの複雑さを低減するために、上記の行列乗算の代わりに使用することができる。

一部の実装例では、３５×３の非分離二次変換が、４×４および８×８の両方のブロックサイズで使用可能であり、ここで、３５はイントラ予測モードに関連付けられた変換セットの数であり、３は各イントラ予測モードのＮＳＳＴ候補の数である。

図２６は、イントラ予測モードからそれぞれの変換セットへの例示的なマッピング２６００を示す。輝度／彩度変換係数に適用される変換セットは、イントラ予測モードから変換セットインデックスへのマッピング２６００に基づいて、対応する輝度／彩度イントラ予測モードによって指定される。対角予測方向に対応する３４よりも大きいイントラ予測モードでは、変換係数ブロックは、それぞれエンコーダ／デコーダのＮＳＳＴの前／後に転置される。

変換セットごとに、選択されたＮＳＳＴ候補は、明示的にシグナリングされたＣＵレベルＮＳＳＴインデックスによってさらに指定することができる。ＣＵレベルＮＳＳＴインデックスは、変換係数の後の各イントラコーディングＣＵのビットストリームでシグナリングされ、ＣＵレベルＮＳＳＴインデックスに切り捨て単項二値化が使用される。例えば、切り捨てられた値は、平面モードまたはＤＣモード（平面モードとＤＣモードが非角度予測モードと呼ぶことができる）の場合に２であり、角度イントラ予測モードの場合に３である。一例では、ＣＵレベルＮＳＳＴインデックスは、ＣＵに非ゼロ係数が１つより多くある場合にのみシグナリングされる。デフォルト値は、ゼロでシグナリングされず、これは、ＣＵにＮＳＳＴが適用されないことを示す。値１～３はそれぞれ、どのＮＳＳＴ候補を変換セットから適用するかを示す。

一部の実施形態では、ＮＳＳＴは、変換スキップモードでコード化されたブロックに適用されない。ＣＵレベルＮＳＳＴインデックスがＣＵのためにシグナリングされ、かつ０とならない場合に、ＮＳＳＴは、該ＣＵにおける変換スキップモードでコード化されたブロックに使用されない。ＣＵの全ての成分のブロックが変換スキップモードでコード化される場合、または非変換スキップモードＣＢの非ゼロ係数の数が２より小さい場合、ＣＵレベルＮＳＳＴインデックスは該ＣＵのためにシグナリングされない。

図２７は、ＨＥＶＣで使用される例示的なイントラ予測方向およびイントラ予測モードを示す。ＨＥＶＣには、合計３５個のイントラ予測モード（モード０～モード３４）が存在する。モード０およびモード１は無指向性モードであり、そのうちモード０は平面モードであり、モード１はＤＣモードである。モード２～モード３４は指向性モードであり、そのうちモード１０が水平モードであり、モード２６が垂直モードであり、モード２、モード１８、およびモード３４が対角モードである。一部の例では、イントラ予測モードは、３つの最確モード（ＭＰＭＳ）および３２個の残りのモードによってシグナリングされる。

図２８は、一部の例（例えば、ＶＶＣ）における例示的なイントラ予測方向およびイントラ予測モードを示す。合計９５個のイントラ予測モード（モード－１４～モード８０）があり、そのうちモード１８が水平モードであり、モード５０が垂直モードであり、モード２、モード３４、およびモード６６が対角モードである。モード－１～－１４およびモード６７～８０は、広角イントラ予測（ＷＡＩＰ）モードと呼ぶことができる。

本開示の一態様によれば、イントラモードをコード化するために、最確モード（ＭＰＭ）リストは、イントラ予測モードのサブセットを含むように構築される。ＨＥＶＣなどの一部の例では、ＭＰＭリストは、３つの最確モードを含み、現在ブロックの隣接ブロックのイントラ予測モードに基づいて構築される。このＭＰＭリストは、一次ＭＰＭリストとも呼ぶことができる。この例では、ＭＰＭフラグは、現在ブロックのイントラ予測モードがＭＰＭリストからのものであるか否かを示すためにシグナリングされる。ＭＰＭフラグが、現在ブロックのイントラ予測モードがＭＰＭリストからのものであることを示す場合、ＭＰＭリストインデックスは、現在ブロックのＭＰＭリストにおいて、３つの最確モードのうちの１つを示すようにシグナリングされる。しかし、ＭＰＭフラグが、現在ブロックのイントラ予測モードがＭＰＭリストからのものではないことを示す場合、モードインデックスは、現在ブロックのＭＰＭリストにない他のイントラモードの１つを示すようにシグナリングされる。

一部の例では、ＭＰＭリスト生成プロセスは以下のように示される。
If (leftIntraDir == aboveIntraDir && leftIntraDir > DC_IDX)
MPM [0] = leftIntraDir;
MPM [1] = ((leftIntraDir + offset) % mod) + 2;
MPM [2] = ((leftIntraDir - 1) % mod) + 2;
Else if (leftIntraDir == aboveIntraDir)
MPM [0] = PLANAR_IDX;
MPM [1] = DC_IDX;
MPM [2] = VER_IDX;
Else if (leftIntraDir != aboveIntraDir)
MPM [0] = leftIntraDir;
MPM [1] = aboveIntraDir;
If (leftIntraDir > 0 && aboveIntraDir > 0)
MPM [2] = PLANAR_IDX;
Else
MPM [2] = (leftIntraDir + aboveIntraDir) < 2 ?VER_IDX :DC_IDX;

ＭＰＭリスト生成プロセスにおいて、ｌｅｆｔＩｎｔｒａＤｉｒは、現在ブロックの左の隣接ブロックのイントラ予測モードを示し、ａｂｏｖｅＩｎｔｒａＤｉｒは、現在ブロックの上の隣接ブロックのイントラ予測モードを示す。左または上のブロックが使用可能ではない場合、ｌｅｆｔＩｎｔｒａＤｉｒまたはａｂｏｖｅＩｎｔｒａＤｉｒは、ＤＣ＿ＩＤＸに設定することができる。ＰＬＡＮＡＲ＿ＩＤＸ、ＤＣ＿ＩＤＸ、およびＶＥＲ＿ＩＤＸは、それぞれ平面モード（例えば、モード０）、ＤＣモード（例えば、モード１）、および垂直モード（例えば、モード２６）のモードインデックスを示す。また、変数「ｏｆｆｓｅｔ」と「ｍｏｄ」は定数値であり、一例ではそれぞれ２９と３２に設定される。このような例では、左の隣接ブロックと上の隣接ブロックの両方が同じ指向性モードを有する場合、第１の最確モードは同じ指向性モードに設定される。第２および第３の最確モードは、第１の最確モードのモード番号に最も近い２つの指向性モードとして選択される。左の隣接ブロックと上の隣接ブロックの両方が同じ無指向性モードを有する場合、第１、第２および第３の最確モードはそれぞれ平面モード、ＤＣモード、および垂直モードに設定される。左の隣接ブロックと上の隣接ブロックが異なるイントラ予測モードを有する場合、第１および第２の最確モードは、それぞれ左の隣接ブロックと上の隣接ブロックのイントラ予測モードに設定され、第３の最確モードは、平面モード、ＤＣモード、または垂直モードのいずれかが、この順序で、最初の２つの最確モードのいずれと重複しないかによって、当該モードに設定される。

ＶＴＭ３などの一部の例では、ＭＰＭリストのサイズは、隣接する参照ライン（参照ライン０とも呼ぶことができる）および隣接しない参照ライン（非ゼロ参照ラインとも呼ぶことができる）の両方において６に設定される。一例では、ＭＰＭリストは、隣接する参照ラインおよび隣接しない参照ラインから導出することができる。

図２９は、現在コーディングユニットの隣接コーディングユニットの例を示す。図２９に示すように、ブロックＡは、現在コーディングユニットの左の隣接ユニットを示し、ブロックＢは、現在コーディングユニットの上の隣接ユニットを示す。

一部の実施形態では、多重ラインのイントラ予測を適用して、イントラ予測のためにより多くの参照ラインを使用することができ、エンコーダは、イントラ予測子を生成するためにどの参照ラインを使用するかを決定し、シグナリングする。参照ラインインデックスは、イントラ予測モードの前にシグナリングされ、非ゼロの参照ラインインデックスがシグナリングされた場合、最確モードのみが許容される。

図３０は、参照ライン０、参照ライン１、参照ライン２、および参照ライン３として示される４本の参照ラインなどの多重参照ラインの例を示す。各参照ラインは、左上の参照サンプル（４本の参照ラインに対してそれぞれＳ０、Ｓ１、Ｓ２、およびＳ３として示される）とともに、６つのセグメント、即ちセグメントＡ～Ｆで構成される。また、セグメントＡとＦには、それぞれセグメントＢとＥからの最も近いサンプルが埋め込まれる。

一部の実施形態では、６つのＭＰＭ候補を導出するために使用される隣接モードの位置もまた、図２９に示されるように、隣接する参照ラインおよび隣接しない参照ラインについて同じである。図２９では、ブロックＡおよびブロックＢは、現在コーディングユニットの上と左の隣接コーディングユニットを示す。変数ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡおよびｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢは、それぞれブロックＡおよびＢに関連付けられたイントラ予測モードを示すために使用される。一例では、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡおよびｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢは、最初にＩＮＴＲＡ＿ＰＬＡＮＡＲと等しく設定される。ブロックＡ（またはＢ）が使用可能としてマークされると、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ（またはｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ）は、ブロックＡ（またはＢ）の実際のイントラ予測モードと等しく設定される。

一部の実施形態では、ＭＰＭ候補導出プロセスは、隣接する参照ラインと隣接しない参照ラインで異なる。ゼロ参照ライン（参照ライン０）について、２つの隣接モードが両方とも平面モードまたはＤＣモードである場合、デフォルトモードを使用してＭＰＭリストを構築する。例えば、ＭＰＭリストの６つの候補モードのうちの２つは平面モードとＤＣモードであり、残りの４つのモードは角度モードである（角度デフォルトモードとも呼ぶことができる）。非ゼロ参照ラインについて、２つの隣接モードが両方とも平面モードまたはＤＣモードである場合、６つの角度デフォルトモードを使用してＭＰＭリストを構築する。一例では、ＭＰＭリストの導出プロセスは以下のように示され、ここで、ｘ＝０．．５のｃａｎｄＭｏｄｅＬｉｓｔ［ｘ］は、６つのＭＰＭ候補を示し、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］は、予測されるブロックの参照ラインインデックスを示し、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］は、０、１、または３にすることができる。

例えば、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢがｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡと等しく、かつｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡがＩＮＴＲＡ＿ＤＣよりも大きい場合、ｘ＝０．．５のｃａｎｄＭｏｄｅＬｉｓｔ［ｘ］は、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］に基づいて導出される。ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０である場合、候補リストは（式３）～（式８）に従って構築される。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ （式３）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ＩＮＴＲＡ＿ＰＬＡＮＡＲ （式４）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＩＮＴＲＡ＿ＤＣ （式５）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋６１）％６４） （式６）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ－１）％６４） （式７）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋６０）％６４） （式８）

そうでない場合、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０ではない場合、候補リストは（式９）～（式１４）に従って構築される。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ （式９）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋６１）％６４） （式１０）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ－１）％６４） （式１１）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋６０）％６４） （式１２）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ％６４） （式１３）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋５９）％６４） （式１４）

ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢがｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡと等しくなく、かつｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡまたはｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢがＩＮＴＲＡ＿ＤＣよりも大きい場合、２つの変数ｍｉｎＡＢおよびｍａｘＡＢは（式１５）および（式１６）に従って導出される。
ｍｉｎＡＢ＝ｃａｎｄＭｏｄｅＬｉｓｔ［（ｃａｎｄＭｏｄｅＬｉｓｔ［０］＞ｃａｎｄＭｏｄｅＬｉｓｔ［１］）？１：０］ （式１５）
ｍａｘＡＢ＝ｃａｎｄＭｏｄｅＬｉｓｔ［（ｃａｎｄＭｏｄｅＬｉｓｔ［０］＞ｃａｎｄＭｏｄｅＬｉｓｔ［１］）？０：１］ （式１６）

さらに、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡおよびｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが両方ともＩＮＴＲＡ＿ＤＣよりも大きい場合、ｘ＝０．．１のｃａｎｄＭｏｄｅＬｉｓｔ［ｘ］は、（式１７）～（式２２）に従って導出することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ （式１７）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ （式１８）

次に、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］に基づいて、他の４つの候補モードが設定される。例えば、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０である場合、２つの候補モードは（式１９）と（式２０）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＩＮＴＲＡ＿ＰＬＡＮＡＲ （式１９）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝ＩＮＴＲＡ＿ＤＣ （式２０）

ｍａｘＡＢ－ｍｉｎＡＢが２～６２の範囲にある場合、最後の２つの候補モードは、（式２１）および（式２２）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍａｘＡＢ＋６１）％６４） （式２１）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ－１）％６４） （式２２）

ｍａｘＡＢ－ｍｉｎＡＢが２～６２の範囲外である場合、最後の２つの候補モードは、（式２３）および（式２４）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍａｘＡＢ＋６０）％６４） （式２３）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ）％６４） （式２４）

ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０ではない場合、他の４つの候補モードは、ｍａｘＡＢとｍｉｎＡＢの差に基づいて設定される。ｍａｘＡＢ－ｍｉｎＡＢが１である場合、４つの候補モードは（式２５）～（式２８）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｍｉｎＡＢ＋６１）％６４） （式２５）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍａｘＡＢ－１）％６４） （式２６）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍｉｎＡＢ＋６０）％６４） （式２７）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（ｍａｘＡＢ％６４） （式２８）

ｍａｘＡＢ－ｍｉｎＡＢが２である場合、４つの候補モードは、（式２９）～（式３２）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｍｉｎＡＢ－１）％６４） （式２９）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍｉｎＡＢ＋６１）％６４） （式３０）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍａｘＡＢ－１）％６４） （式３１）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍｉｎＡＢ＋６０）％６４） （式３２）

ｍａｘＡＢ－ｍｉｎＡＢが６１よりも大きい場合、４つの候補モードは、（式３３）～（式３６）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｍｉｎＡＢ－１）％６４） （式３３）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍａｘＡＢ＋６１）％６４） （式３４）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（ｍｉｎＡＢ％６４） （式３５）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ＋６０）％６４） （式３６）

ｍａｘＡＢ－ｍｉｎＡＢが２よりも大きく、かつ６１よりも小さい場合、４つの候補モードは（式３７）～（式４０）のように設定することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｍｉｎＡＢ＋６１）％６４） （式３７）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍｉｎＡＢ－１）％６４） （式３８）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍａｘＡＢ＋６１）％６４） （式３９）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ－１）％６４） （式４０）

ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡおよびｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちの１つがＩＮＴＲＡ＿ＤＣよりも大きい場合、ｘ＝０．．５のｃａｎｄＭｏｄｅＬｉｓｔ［ｘ］はＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］に基づいて導出することができる。例えば、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０である場合、６つの候補モードは（式４１）～（式４６）に従って導出することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ （式４１）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ （式４２）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝１－ｍｉｎＡＢ （式４３）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍａｘＡＢ＋６１）％６４） （式４４）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（（ｍａｘＡＢ－１）％６４） （式４５）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ＋６０）％６４） （式４６）

しかしながら、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０ではない場合、６つの候補モードは（式４７）～（式５２）に従って導出することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｍａｘＡＢ （式４７）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝２＋（（ｍａｘＡＢ＋６１）％６４） （式４８）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝２＋（（ｍａｘＡＢ－１）％６４） （式４９）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝２＋（（ｍａｘＡＢ＋６０）％６４） （式５０）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝２＋（ｍａｘＡＢ％６４） （式５１）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝２＋（（ｍａｘＡＢ＋５９）％６４） （式５２）

そうでない場合、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの両方がＩＮＴＲＡ＿ＤＣよりも大きくない場合、ｘ＝０．．５のｃａｎｄＭｏｄｅＬｉｓｔ［ｘ］は、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］に基づいて導出することができる。例えば、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０である場合、６つの候補モードは（式５３）～（式５８）に従って導出することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ （式５３）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝（ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝＝ＩＮＴＲＡ＿ＰＬＡＮＡＲ）？ＩＮＴＲＡ＿ＤＣ：ＩＮＴＲＡ＿ＰＬＡＮＡＲ （式５４）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０ （式５５）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８ （式５６）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ４６ （式５７）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５４ （式５８）

しかしながら、ＩｎｔｒａＬｕｍａＲｅｆＬｉｎｅＩｄｘ［ｘＣｂ］［ｙＣｂ］が０ではない場合、６つの候補モードは（式５９）～（式６４）に従って導出することができる。
ｃａｎｄＭｏｄｅＬｉｓｔ［０］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０ （式５９）
ｃａｎｄＭｏｄｅＬｉｓｔ［１］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８ （式６０）
ｃａｎｄＭｏｄｅＬｉｓｔ［２］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２ （式６１）
ｃａｎｄＭｏｄｅＬｉｓｔ［３］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ３４ （式６２）
ｃａｎｄＭｏｄｅＬｉｓｔ［４］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６ （式６３）
ｃａｎｄＭｏｄｅＬｉｓｔ［５］＝ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２６ （式６４）

一部の実施形態では、イントラサブパーティション（ＩＳＰ）コーディングモードが採用される。ＩＳＰコーディングモードでは、輝度イントラ予測ブロックは、垂直または水平に２つまたは４つのサブパーティションに分割することができる。サブパーティションの数は、ブロックのサイズに依存する。図３１は、ブロックサイズに応じたサブパーティションの数を示す。図３２は、ブロックが２つのサブパーティションに分割されるシナリオを示す。図３３は、ブロックが４つのサブパーティションに分割されるシナリオを示す。一例では、全てのサブパーティションは、少なくとも１６個のサンプルを有するという条件を満たす。一例では、ＩＳＰは彩度成分に適用されない。

一例では、コード化されたブロックから分割されたサブパーティションごとに、エンコーダから送信された各係数をエントロピーデコードして、それらを逆量子化および逆変換することによって、残差信号を生成する。そして、１つの第１のサブパーティションをイントラ予測して予測信号を生成する。予測信号を、対応する再構築されたサンプルを取得するために、第１のサブパーティションの各残差信号に追加する。その後、第１のサブパーティションの再構築されたサンプル値を使用して、１つの第２のサブパーティションの予測を生成することができる。このプロセスは、コード化されたブロックからの全てのサブパーティションが再構築されるまで、サブパーティションごとに繰り返すことができる。一例では、全てのサブパーティションが同じイントラモードを共有する。

一実施形態では、ＩＳＰコーディングモードは、最確モード（ＭＰＭ）リストの一部であるイントラモードでのみテストされる。したがって、ブロックがＩＳＰを使用する場合、ＭＰＭフラグは１つであると推定することができる。また、ＩＳＰが特定のブロックに使用される場合、各ＭＰＭリストが変更されて、ＤＣモードが除外され、ＩＳＰの水平分割の水平イントラモードと垂直分割の垂直イントラモードが優先される。

ＩＳＰコーディングモードでは、変換および再構築が各サブパーティションに個別に実行されるため、各サブパーティションはサブＴＵと見なすことができる。

なお、開示された技術は、ＮＳＳＴおよび他の適切な非分離二次変換、例えば、非分離二次変換の代替設計である縮小二次変換（ＲＳＴ）に使用できる。ＲＳＴは、ＮＳＳＴの変形例であり、変換ゼロアウト方式を使用する。ＲＳＴは、ＮＳＳＴの変換インデックスをエントロピーコード化するために、イントラ予測モードが平面であるかまたはＤＣであるかをチェックする。

一例（例えば、ＪＶＥＴ－Ｎ０１９３）では、４つの変換セットは適用され、各変換セットは、３つのＲＳＴ変換コアを含み、これは、サイズ１６×４８（または１６×６４）（高さと幅の両方が８以上の変換係数ブロックに適用される）または１６×１６（高さまたは幅のいずれかが４である変換係数ブロックに適用される）のいずれかであってもよい。表記上の便宜のために、１６ｘ４８（または１６ｘ６４）変換はＲＳＴ８ｘ８として示され、１６ｘ１６変換はＲＳＴ４ｘ４として示される。

図３４は、本開示の実施形態に係る１６ｘ６４変換コアを使用する例を示す。例えば、エンコーダ側では、変換係数ブロックの左上８ｘ８領域である部分（３４１０）に１６ｘ６４変換が適用され、その結果は１６個の係数となる。したがって、デコーダ側では、左上の４ｘ４領域の、１６個の係数を含む部分（３４２０）に逆ＲＳＴが適用される。

図３５は、本開示の実施形態に係る１６ｘ４８変換コアを使用する例を示す。例えば、エンコーダ側では、変換係数ブロックの４ｘ４ブロックのうちの３つを含む左上の灰色の領域である部分（３５１０）に１６ｘ４８変換が適用され、その結果は１６個の係数となる。したがって、デコーダ側では、左上の４ｘ４領域の、１６個の係数を含む部分（３５２０）に逆ＲＳＴが適用される。

一般に、縮小変換（ＲＴ）の主なアイデアは、Ｎ次元ベクトルを異なる空間内のＲ次元ベクトルにマッピングすることであり、ここで、Ｒ／Ｎ（Ｒ＜Ｎ）は縮小係数である。

図３６は、Ｒ×Ｎ行列であるＲＳＴ行列を示す。ＲＳＴ行列は、Ｎ次元空間のＲ個のベースであるＲ行の変換を含む。ＲＴの逆変換行列は、順変換の転置である。

例えば、縮小係数４（１／４サイズ）のＲＳＴ８×８を適用することができる。従来の８ｘ８の非分離変換行列サイズについて、６４ｘ６４変換行列を適用する必要がある。縮小変換ＲＳＴ８ｘ８について、１６ｘ６４直接行列が使用される。言い換えると、６４×１６の逆ＲＳＴ行列は、デコーダ側で使用されて、８×８の左上の領域においてコア（一次）変換係数を生成する。順ＲＳＴ８ｘ８は１６×６４（または８ｘ８ブロックの場合に８ｘ６４）行列を使用するため、縮小変換では、所定の８×８領域における左上の４×４領域でのみ非ゼロ係数が生成される。言い換えると、ＲＳＴが適用される場合、左上の４×４領域を除く８×８領域はゼロ係数のみを有する。ＲＳＴ４ｘ４について、１６ｘ１６（または４ｘ４ブロックの場合に８ｘ１６）の直接行列乗算が適用される。

ＲＳＴ８ｘ８などの一部の実施形態では、変換行列のサイズをさらに小さくするために、左上の８ｘ８係数全体を二次変換の計算するための入力として使用する代わりに、左上の３つの４ｘ４係数を二次変換の計算するための入力として使用する。

図３７Ａは、１６ｘ１６ブロック（例えば、一次変換後の係数ブロック）を示す。一例では、ＲＳＴ８ｘ８は、１６ｘ６４変換行列を使用して（対角ストライプでの）左上の８ｘ８領域に適用することができる。

図３７Ｂは、１６ｘ１６ブロック（例えば、一次変換後の係数ブロック）を示す。一例では、ＲＳＴ８ｘ８は、１６ｘ４８変換行列を使用して、対角ストライプでの左上の領域に適用することができる。

一部の実施形態では、逆ＲＳＴは、ブロックサイズが所定の閾値（例えば、Ｗ＞＝４＆＆Ｈ＞＝４）以上であることを要求する第１の条件と、変換スキップモードフラグが０であることを要求する第２の条件など、特定の条件が満たされたときに、条件付きで適用される。

一部の例では、変換係数ブロックの幅（Ｗ）および高さ（Ｈ）の両方が４よりも大きい場合、ＲＳＴ８×８は、変換係数ブロックの左上の８×８領域に適用される。そうでない場合、ＲＳＴ４ｘ４は、変換係数ブロックの左上のｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に適用される。

一部の実施形態では、ＲＳＴインデックスが使用される。ＲＳＴインデックスが０である場合、ＲＳＴは適用されない。ＲＳＴインデックスが０ではない場合、ＲＳＴが適用され、カーネルがＲＳＴインデックスに基づいて選択される。

一部の実施形態では、ＲＳＴは、イントラスライスとインタースライスの両方のイントラＣＵに適用され、輝度および彩度の両方に適用される。一例では、デュアルツリーが有効である場合、輝度と彩度のＲＳＴインデックスが別々にシグナリングされる。インタースライス（デュアルツリーが無効）の場合、単一のＲＳＴインデックスが輝度と彩度の両方にシグナリングされて使用される。ＩＳＰモードが選択されると、ＲＳＴが無効になり、ＲＳＴインデックスがシグナリングされない。

一部の実施形態では、ＲＳＴ行列は４つの変換セットから選択され、各セットは２つの変換を含む。変換セットの選択は、イントラ予測モードに基づいて決定される。

３つのクロスコンポーネント線形モデル（ＣＣＬＭ）モードのうちの１つが示される場合、変換セット０が選択される。そうでない場合、変換セットの選択は表に従って行われる。

図３８は、変換セットの選択に使用される表を示す。図３８の例では、ＩｎｔｒａＰｒｅｄＭｏｄｅの範囲は［－１４，８３］であり、広角イントラ予測に使用される。ＩｎＰｒｅｄＭｏｄｅに対応する変換モードインデックスは、広角イントラ予測に使用される変換モードインデックスである。

ＶＶＣドラフトｖ５で採用されたＲＳＴ設計を例として使用すると、ＲＳＴは４ｘ２ １６ｘ１６変換行列（ＲＳＴ４ｘ４）と４ｘ２ １６ｘ４８変換行列（ＲＳＴ８ｘ８）を利用し、変換行列の各要素は８ビット整数を使用して表される。したがって、合計４ｘ２ｘ（２５６＋７６８）＝８Ｋバイトのメモリが変換行列の記憶に使用される。

他の規格では、様々な実装を実装することができる。例えば、ＪＶＥＴ－Ｏ０２９２およびＪＶＥＴ－Ｏ０３５０では、２つの候補の代わりに、１つの候補のみを使用して各ブロックのためにグナリングすることができる。ＪＶＥＴ－Ｏ０２９２およびＪＶＥＴ－Ｏ０３５０で使用されるように、１つの候補を使用する技術は、低周波非分離二次変換（ＬＦＮＳＴ）と呼ぶことができる。

図３９は、ＬＦＳＮＴインデックス（表内のｌｆｎｓｔＩｄｘ）を決定するための表を示す。図３９の例では、ビットストリームでシグナリングされるＬＦＳＮＴインデックスはｌｆｎｓｔＩｄｘとして示され、所定の変換セット内で選択されたＬＦＮＳＴコアインデックスはｃｏｒｅＩｄｘとして示され、イントラ予測モードはｉｎｔｒａＭｏｄｅとして示される。

ＪＶＥＴ－Ｏ０２９２およびＪＶＥＴ－Ｏ０３５０で使用されるような一部の例では、１つのＬＦＮＳＴ候補のみが残っているが、方式は現在のＶＶＣドラフト６で定義される全てのＬＦＮＳＴ候補の選択を引き続きサポートする。ＬＦＮＳＴ候補が１つだけ保持されるため、エンコーダにおけるＬＦＮＳＴの選択負担が軽減される。

さらに、エンコーダがｆｎｓｔＩｄｘ２をドロップしてエンコーダの高速化を実現する場合、第２のＬＦＮＳＴ候補を選択できないため、コーディングロスが大きくなる。

本開示の一部の態様によれば、ハードウェア処理のボトルネックは、４ｘ４イントラ予測である可能性がある。４ｘ４のＴＵにＬＦＮＳＴを追加することによって、ハードウェア処理を悪化させる。しかしながら、４ｘ４のＴＵのＬＦＮＳＴは、良好なコーディングゲインに寄与しない場合がある。

本開示の一部の態様によれば、ＮＳＳＴは、主に指向性テクスチャパターンを有するビデオコンテンツに役立つ。平面またはＤＣなどの非角度イントラ予測モードについて、ＮＳＳＴのコーディングゲインは比較的低い。したがって、本開示は、二次変換インデックスまたはフラグをエントロピーコード化するためのコンテキストモデリング技術を提供する。

提案された方法は、別々に用いられてもよく、任意の順序で組み合わせられてもよい。さらに、方法（または実施形態）、エンコーダおよびデコーダのそれぞれは、処理回路（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実施することができる。一例では、１つ以上のプロセッサは、非一時的なコンピュータ可読媒体に記憶されるプログラムを実行する。以下では、ブロックという用語は、予測ブロック、コード化されたブロック、またはコーディングユニット、即ちＣＵとして解釈されてもよい。

一部の例では、ＤＳＴ－７はＭＴＳ候補として使用され、ＤＳＴ－４は、ＤＳＴ－７の代わりに、ＭＴＳ候補として使用することができる。一部の例では、ＤＣＴ－８はＭＴＳ候補として使用され、ＤＣＴ－４は、ＤＣＴ－８の代わりに、ＭＴＳ候補として使用することができる。

なお、開示された技術は、ＮＳＳＴおよび他の適切な非分離二次変換、例えば、非分離二次変換の代替設計である（例えば、ＪＶＥＴ－Ｍ０２９２またはＪＶＥＴ－Ｎ０１９３で説明されるような）縮小二次変換（ＲＳＴ）、または（例えば、ＶＶＣドラフトｖ６で採用される）低周波非分離二次変換（ＬＦＮＳＴ）に使用できる。

なお、本開示において、ＴＢは、１つの色成分の変換係数ブロックを意味し、ＴＵは、同じ座標およびサイズを有する複数のＴＢを含み得る。さらに、ブロックサイズ（例えば、ＣＵサイズ、またはＴＵサイズ、またはＰＵサイズ、またはＴＢサイズ）が閾値以下である場合、ブロックサイズの制限は、１つまたは複数の解釈を意味することができる。当該解釈は、（１）ブロック幅とブロック高さの両方が閾値以下であること、（２）ブロック領域のサイズ（サンプル数）が閾値以下であること、（３）ブロック幅とブロック高さの間の最小値が閾値以下であること、（４）ブロック幅とブロック高さの間の最大値が閾値以下であること、（５）ブロック幅が閾値以下であること、（６）ブロック高さが閾値以下であること、（７）ブロックのアスペクト比（幅と高さ、または高さと幅）が閾値以下（または以上）であることを含む。

本開示の一部の態様によれば、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するためのコンテキスト導出または二値化は、コーディング効率を向上させるために、角度イントラ予測モードなどの、ブロックの指向性パターンの使用可能性を示すビットに基づいて行うことができる。したがって、デコーダ側では、一部の実施形態では、指向性パターンの使用可能性を示すビットがバイストリームから構文解析される場合、角度イントラ予測モードが完全にデコードされる前に、ビットを使用してＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するためのコンテキストを提供することができる。

一部の実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するためのコンテキスト導出または二値化は、ＭＰＭフラグ、および／またはＭＰＭインデックスに依存する。例えば、ＭＰＭフラグがｔｒｕｅである場合、角度イントラ予測モードを使用する可能性は、ＭＰＭフラグがｆａｌｓｅである場合よりも低い。

一実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ＭＰＭインデックスの第１のビンに基づいて導出される。一部の例では、切り捨て単項二値化は、ＭＰＭインデックスを二値化するために使用することができる。例えば、インデックス０（ＭＰＭリストの１番目）は、ＭＰＭインデックスの第１のビン（第１のバイナリ）を使用してエンコードすることができ、インデックス１（ＭＰＭリストの２番目）は、第１のビンと第２のビンを使用してコード化することができる。ＭＰＭリストを形成するための一部の技術は、ＤＣおよび／または平面モードをＭＰＭリストの１番目および／または２番目の位置に配置する傾向がある。したがって、ＭＰＭインデックスの第１のビンおよび／または第２のビンは、二次変換をコード化するためのコンテキストを提供することができる。したがって、一例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ＭＰＭインデックスの第１のビンおよび／または第２のビンに基づいて導出される。

本開示の別の態様によれば、ＮＳＳＴインデックスおよび／またはＮＳＳＴフラグをエントロピーコード化するためのコンテキスト導出または二値化は、参照ラインインデックスに依存する。一部の例では、非ゼロ参照ラインは、角度イントラ予測モードを提供する傾向がある。したがって、参照ラインインデックスは、二次変換の情報をエントロピーコード化するためのコンテキストを提供することができる。

一例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、参照ラインインデックスの第１のビンに基づいて導出される。

別の例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、参照ラインインデックスの第２のビンに基づいて導出される。

別の例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、参照ラインインデックスの第１のビンおよび／または第２のビンに基づいて導出される。

本開示の一態様によれば、ＮＳＳＴインデックスおよび／またはＮＳＳＴフラグをエントロピーコード化するためのコンテキスト導出または二値化は、ＩＳＰ分割インデックス（水平分割であるか、または垂直分割であるか、あるいは水平または垂直分割であるか）に依存する。したがって、ＩＳＰ分割インデックスは、二次変換の情報をエントロピーコード化するためのコンテキストを提供することができる。

一例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ＩＳＰ分割インデックスの第１のビンに基づいて導出される。

別の実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ＩＳＰ分割インデックスの第２のビンに基づいて導出される。

別の実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ＩＳＰ分割インデックスの第１のビンおよび／または第２のビンに基づいて導出される。

一部の実施形態では、イントラモードコーディングについて、角度モードが適用されるか否かを示すフラグ（ｉｎｔｒａ＿ａｎｇ＿ｆｌａｇとして示される）がシグナリングされる。角度モードが使用されない場合、平面またはＤＣが適用されるか否かを示す別のフラグ（ｉｎｔｒａ＿ｐｌａｎａｒ＿ｆｌａｇとして示される）がシグナリングされる。次に、ｉｎｔｒａ＿ａｎｇ＿ｆｌａｇおよび／またはｉｎｔｒａ＿ｐｌａｎａｒ＿ｆｌａｇなどのフラグは、二次変換の情報をエントロピーコード化するためのコンテキストを提供することができる。したがって、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するためのコンテキスト導出または二値化は、フラグに依存することができる。

一例では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ｉｎｔｒａ＿ｐｌａｎａｒ＿ｆｌａｇのみに基づいて導出される。

別の実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ｉｎｔｒａ＿ａｎｇ＿ｆｌａｇのみに基づいて導出される。

別の実施形態では、ＮＳＳＴインデックスまたはＮＳＳＴフラグをエントロピーコード化するために使用されるコンテキストは、ｉｎｔｒａ＿ａｎｇ＿ｆｌａｇおよびｉｎｔｒａ＿ｐｌａｎａｒ＿ｆｌａｇの両方に基づいて導出される。

本開示の一部の態様によれば、ＬＦＮＳＴなどの二次変換は、特定の閾値よりも小さいＴＵサイズに対して無効にすることができる。

一部の実施形態では、ＬＦＮＳＴは、４×４のＴＵサイズに対して無効である。一実施形態では、ＬＦＮＳＴは、４×４の輝度ＴＵに対して無効である。別の実施形態では、ＬＦＮＳＴは、４×４の彩度ＴＵに対して無効である。別の実施形態では、ＬＦＮＳＴは、４×４の輝度ＴＵおよび４×４の彩度ＴＵの両方に対して無効である。

一部の実施形態では、ＬＦＮＳＴは、４×４、４×８、および８×４のＴＵサイズに対して無効である。一実施形態では、ＬＦＮＳＴは、４×４、４×８、および８×４の輝度ＴＵに対して無効である。別の実施形態では、ＬＦＮＳＴは、４×４、４×８、および８×４の彩度ＴＵに対して無効である。別の実施形態では、ＬＦＮＳＴは、４×４、４×８および８×４の輝度ＴＵと４×４、４×８および８×４の彩度ＴＵの両方に対して無効である。

一部の実施形態では、１つのＬＦＮＳＴインデックスは、複数の色成分に使用されるためにシグナリングされる（例えば、１つのＬＦＮＳＴインデックスは、Ｙ、Ｃｂ、およびＣｒのためにシグナリングされる）。各色成分について、関連するＴＢサイズが所定の閾値以下である場合、このＴＢの関連する係数はＬＦＮＳＴインデックスのシグナリングに影響を与えない。言い換えると、ＬＦＮＳＴインデックスのシグナリングは、サイズが所定の閾値以下であるいかなるＴＢの係数（例えば、ＤＣ係数が非ゼロであるか否か、最後の位置値）を考慮しない。

一部の実施形態では、１つのＬＦＮＳＴインデックスは、複数の色成分に使用されるためにシグナリングされる（例えば、１つのＬＦＮＳＴインデックスは、Ｙ、Ｃｂ、およびＣｒのためにシグナリングされる）。各色成分について、関連するＴＢサイズが所定の閾値以下であり、これによってこのＴＢがＬＦＮＳＴを適用できない場合、ＬＦＮＳＴインデックスのシグナリングは、サイズが所定の閾値以下であるこのＴＢの係数（例えば、ＤＣ係数が非ゼロであるか否か、最後の位置値）をまだ考慮する。一部の例では、閾値は４または８であってもよいことに留意されたい。

図４０は、本開示の実施形態に係るプロセス（４０００）の概要のフローチャートを示す。プロセス（４０００）は、ブロックの再構築に用いて、再構築中のブロックの予測ブロックを生成することができる。様々な実施形態では、プロセス（４０００）は、端末装置（１１０）、（１２０）、（１３０）および（１４０）の処理回路、ビデオエンコーダ（２０３）の機能を実行する処理回路、ビデオデコーダ（２１０）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路などの処理回路によって実行される。一部の実施形態では、プロセス（４０００）はソフトウェア命令で実施され、したがって処理回路がソフトウェア命令を実行すると、処理回路はプロセス（４０００）を実行する。プロセスは（Ｓ４００１）から開始し、（Ｓ４０１０）に進む。

（Ｓ４０１０）では、ビットストリームを受信する。ビットストリームは、コード化されたピクチャにおけるブロックの残差に対応するビットを含む。例えば、エンコーダでは、元のブロックに対する予測ブロックの残差を計算し、変換を残差に適用して係数を生成する。係数がビットにエントロピーコード化されるため、ビットはブロックの残差に対応する。ビットは、エンコーダ側でビットストリームに含まれる。

（Ｓ４０２０）では、ビットストリームを構文解析して、ブロックの角度予測の使用可能性を示す少なくとも１つのビットを抽出する。一例では、ビットが「１」である場合、ブロックに角度予測を使用する確率が非角度予測を使用する確率よりも高くなり、また、ビットが「０」である場合、ブロックに角度予測を使用する確率が非角度予測を使用する確率よりも低くなる。一例では、ＭＰＭフラグ、またはＭＰＭインデックスのビンを抽出する。別の例では、参照ラインインデックスを抽出する。別の例では、ＩＳＰ分割インデックスを抽出する。別の例では、角度モードの適用を示すフラグを抽出する。別の例では、平面またはＤＣモードを適用するか否かを示すフラグを抽出する。

（Ｓ４０３０）では、ブロックの角度予測の使用可能性を示す少なくとも１つのビットに基づいて、二次変換の情報をコード化するためのコンテキストを決定する。一部の実施形態では、ＮＳＳＴなどの二次変換を、角度イントラ予測モードなどの指向性テクスチャパターンを有するビデオコンテンツに適用する。ＮＳＳＴフラグおよびＮＳＳＴインデックスなどのＮＳＳＴの情報に対するエントロピーコーディングの二値化は、ブロックの角度予測の使用可能性を示すビットから導出できるコンテキストモデルに基づくものである。

（Ｓ４０４０）では、コンテキストに基づいてデコードされた二次変換情報を使用して、ブロックの残差に対応するビットをデコードする。残差を決定することができる。例えば、二次変換情報は、コンテキストに基づいてデコードすることができ、二次逆変換は、二次変換情報に基づいて行うことができる。また、一次逆変換を行って、残差を計算することができる。ブロックを再構築するために、予測に残差を加算することができる。プロセスは、（Ｓ４０９９）に進み、終了する。

以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実行され、１つ以上のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図４１は、開示された主題の特定の実施形態を実行することに適したコンピュータシステム（４１００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いてコード化されることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム（４１００）について、図４１に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（４１００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つまたは組み合わせに関する任意の依存性または必要性を有するとして解釈されるべきではない。

コンピュータシステム（４１００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（描画せず）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

入力ヒューマンインターフェースデバイスは、キーボード（４１０１）、マウス（４１０２）、トラックパッド（４１０３）、タッチスクリーン（４１１０）、データグローブ（図示せず）、ジョイスティック（４１０５）、マイクフォン（４１０６）、スキャナ（４１０７）、カメラ（４１０８）（それぞれ１つのみ示されている）のうちの１つ以上を含み得る。

コンピュータシステム（４１００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（４１１０）、データグローブ（図示せず）、またはジョイスティック（４１０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（４１０９）、ヘッドホン（描画せず）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（４１１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（描画せず）、ホログラフィックディスプレおよびスモークタンク（描画せず）など）、およびプリンタ（描画せず）を含み得る。

コンピュータシステム（４１００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（４１２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（４１２０）を含む光学媒体、サムドライブ（４１２２）、リムーバブルハードドライブまたはソリッドステートドライブ（４１２３）、テープやフロッピーディスクなどの従来の磁気媒体（描画せず）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（描画せず）などをも含むことができる。

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

コンピュータシステム（４１００）は、１つ以上の通信ネットワークへのインターフェースをさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（４１４９）（例えば、コンピューターシステム（４１００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピューターシステム（４１００）のコアに統合される（例えば、ＰＣコンピューターシステムへのイーサネットインターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（４１００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（４１００）のコア（４１４０）に接続されることができる。

コア（４１４０）は、１つ以上の中央処理装置（ＣＰＵ）（４１４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（４１４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（４１４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（４１４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（４１４５）、ランダムアクセスメモリ（４１４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（４１４７）とともに、システムバス（４１４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（４１４８）は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（４１４８）に直接、または周辺バス（４１４９）を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（４１４１）、ＧＰＵ（４１４２）、ＦＰＧＡ（４１４３）、およびアクセラレータ（４１４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（４１４５）またはＲＡＭ（４１４６）に記憶されることができる。推移データはＲＡＭ（４１４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（４１４７）に記憶されることができる。１つ以上のＣＰＵ（４１４１）、ＧＰＵ（４１４２）、大容量ストレージ（４１４７）、ＲＯＭ（４１４５）、ＲＡＭ（４１４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（４１００）、特にコア（４１４０）は、１つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（４１４７）またはＲＯＭ（４１４５）などの非一時的な性質を持つコア（４１４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（４１４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（４１４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（４１４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（４１４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。
付録Ａ：頭字語
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ（共同探索モデル）
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ（多用途ビデオコーディング）
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ（ベンチマークセット）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオコーディング）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ（変換ユニット）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ（予測ユニット）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（コーディングツリーユニット）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ（コーディングツリーブロック）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想リファレンスデコーダ）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィック処理装置）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（ブラウン管）
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶表示装置）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリメモリ）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ（移動通信用グローバルシステム）
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールド・プログラマブル・ゲート・アレイ）
ＳＳＤ：sｏｌｉｄ－ｓｔａｔｅ dｒｉｖｅ（ソリッドステートドライブ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（コーディングユニット）

本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

１００ 通信システム
１１０ 端末装置
１２０ 端末装置
１３０ 端末装置
１４０ 端末装置
１５０ 通信ネットワーク
２００ 通信システム
２０１ ビデオソース
２０２ ビデオピクチャ
２０３ ビデオエンコーダ
２０４ ビデオデータ
２０５ ストリーミングサーバ
２０６ クライアントサブシステム
２０７ ビデオデータ
２０８ クライアントサブシステム
２０９ コピー
２１０ ビデオデコーダ
２１１ ビデオピクチャ
２１２ ディスプレイ
２１３ キャプチャサブシステム
２２０ 電子デバイス
２３０ 電子デバイス
３０１ チャネル
３１０ ビデオデコーダ
３１２ レンダリングデバイス
３１５ バッファメモリ
３２０ パーサ
３２１ シンボル
３３０ 電子デバイス
３３１ 受信機
３５１ 逆変換ユニット
３５２ イントラ予測ユニット
３５３ 補償予測ユニット
３５５ アグリゲータ
３５６ ループフィルタユニット
３５７ 参照ピクチャメモリ
３５８ 現在ピクチャバッファ
４０１ ビデオソース
４０３ ビデオコーダ
４２０ 電子デバイス
４３０ ソースコーダ
４３２ コーディングエンジン
４３３ デコーダ
４３４ 参照ピクチャメモリ
４３５ 予測器
４４０ 送信機
４４３ ビデオシーケンス
４４５ エントロピーコーダ
４５０ コントローラ
４６０ 通信チャネル
５０３ ビデオエンコーダ
５２１ 統括制御部
５２２ イントラエンコーダ
５２３ 残差算出部
５２４ 残差エンコーダ
５２５ エントロピーエンコーダ
５２６ スイッチ
５２８ 残差デコーダ
５３０ インターエンコーダ
６１０ ビデオデコーダ
６７１ エントロピーデコーダ
６７２ イントラデコーダ
６７３ 残差デコーダ
６７４ 再構築モジュール
６８０ インターデコーダ

Claims (9)

1. ビデオデコーダが実行する、ビデオデコードのための方法であって、
   コード化されたピクチャにおけるブロックの残差に対応するビットを含むビットストリームをプロセッサによって受信するステップと、
   前記プロセッサによって前記ビットストリームを構文解析して、角度予測モードに対応するビットのセットから複数のビットを抽出するステップであって、前記複数のビットは、（ｉ）前記ブロックの予測に前記角度予測モードが適用されるか否かを示す第１のフラグと、（ｉｉ）前記第１のフラグが前記ブロックの予測に角度モードが適用されないことを示す場合、前記ブロックの予測に平面モードまたはＤＣモードが適用されるか否かを示す第２のフラグとを含む、ステップと、
   前記角度予測モードに対応するビットのセットが完全にデコードされる前に、前記第１のフラグおよび前記第２のフラグに基づいて、二次変換の情報をコード化するためのコンテキストを前記プロセッサによって決定するステップと、
   前記コンテキストに基づいてデコードされた前記二次変換のコーディング情報を使用して、前記ブロックの残差に対応する前記ビットを前記プロセッサによってデコードするステップと、を含む方法。
2. 前記第１のフラグは、最確モード（ＭＰＭ）のフラグおよび前記ＭＰＭのインデックスのうちの少なくとも１つである、
   請求項１に記載の方法。
3. 前記二次変換の情報をコード化するための前記コンテキストを決定するステップは、
   前記複数のビットに基づいて、前記二次変換のフラグおよび前記二次変換のインデックスのうちの少なくとも１つをコード化するためのコンテキストを前記プロセッサによって決定するステップをさらに含む、
   請求項１に記載の方法。
4. 前記第１のフラグは、最確モード（ＭＰＭ）のインデックスであり、
   前記二次変換の情報をコード化するための前記コンテキストを決定することは、前記ＭＰＭのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づくことである、
   請求項１に記載の方法。
5. 前記複数のビットは、前記ブロックの参照ラインのインデックスをさらに含み、
   前記二次変換の情報をコード化するための前記コンテキストを決定することは、前記ブロックの参照ラインのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づくことである、
   請求項１に記載の方法。
6. 前記複数のビットは、前記ブロックのイントラサブパーティションのインデックスをさらに含み、
   前記二次変換の情報をコード化するための前記コンテキストを決定することは、前記ブロックのイントラサブパーティションのインデックスの第１のビンおよび第２のビンのうちの少なくとも１つに基づくことである、
   請求項１に記載の方法。
7. 前記ブロックのサイズが閾値よりも小さい場合、前記プロセッサによって前記二次変換を無効にするステップをさらに含む、
   請求項１に記載の方法。
8. 処理回路を含むビデオデコードのための装置であって、
   前記処理回路は、
   前記請求項１～７のいずれか１項に記載の方法を実行する、装置。
9. 少なくとも１つのプロセッサに、前記請求項１～７のいずれか１項に記載の方法を実行させるコンピュータプログラム。

Images