JP7307803B2 - ビデオサンプルのブロックを符号化及び復号するための方法、装置、及びプログラム - Google Patents

Description

関連出願への参照
本発明は、米国特許法第１１９条に基き、２０１９年６月２４日に出願されたオーストラリア特許出願第２０１９２０４４３７号の利益を主張し、これにより、当該発明が本明細書に完全に記載されているものとする。
技術分野

本発明は、一般に、デジタルビデオ信号処理に関し、特に、ビデオサンプルのブロックを符号化及び復号するための方法、装置に関する。本発明はまた、ビデオサンプルのブロックを符号化及び復号するためのコンピュータプログラムに関する。

現在、ビデオデータの送信及び記憶のためのアプリケーションを含む、ビデオコーディングのための多くのアプリケーションが存在する。多くのビデオコーディング標準が開発され、現在開発中のものも存在する。最近のビデオコーディングの標準化の進展により、「合同ビデオ専門家チーム」（ＪＶＥＴ）と呼ばれるグループが結成された。合同ビデオ専門家チーム（ＪＶＥＴ）には、「ビデオコーディング専門家グループ」（ＶＣＥＧ）として知られている国際電気通信連合（ＩＴＵ）の電気通信標準化部門（ＩＴＵ－Ｔ）第１６研究委員会第６諮問（ＳＧ１６／Ｑ６）のメンバーと、「動画専門家グループ」（ＭＰＥＧ）として知られている国際標準化機構/国際電気標準会議の第１合同技術委員会/第２９副委員会/第１１作業部会（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）のメンバーが含まれる。

合同ビデオ専門家チーム（ＪＶＥＴ）は、提案募集（ＣｆＰ）を行い、米国サンディエゴにおける第１０回会議で応募された提案を分析した。応募された提案は、ビデオ圧縮機能が現在の最先端のビデオ圧縮標準、つまり「高効率ビデオコーディング」（ＨＥＶＣ）を大幅に上回っていることを示した。この分析結果に基づいて、「Versatile Video Coding」（ＶＶＣ）という名前の新しいビデオ圧縮標準を開発するプロジェクトを開始することが決定された。ＶＶＣは、特にビデオ形式の機能が向上するにつれて（例えば、より高い解像度及びより高いフレームレート）、これまで以上に高い圧縮性能に対する継続的な需要に対応すると共に、帯域幅コストが比較的高いＷＡＮを介したサービス配信に対する市場の需要の高まりに対応することが期待されている。同時に、ＶＶＣは、従来のシリコンプロセスで実施可能であって、かつ、達成された性能と実施コスト（例えば、シリコン領域、ＣＰＵプロセッサの負荷、メモリ使用率、帯域幅など）との兼ね合いが許容できるものでなければならない。

ビデオデータは、連続するフレームの画像データを含み、各フレームの画像データは、１以上のカラーチャネルを含む。一般に、１つの原色チャネルと２つの二次色チャネルが必要である。原色チャネルは一般に「ルマ」チャネルと呼ばれ、二次色チャネルは一般に「クロマ」チャネルと呼ばれる。ビデオデータは通常、ＲＧＢ（赤－緑－青）色空間で表示されるが、この色空間は３つの各成分間で高い相関関係を有する。エンコーダまたはデコーダは、多くの場合、ＹＣｂＣｒなどの色空間を用いてビデオデータを表現する。ＹＣｂＣｒは、伝達関数に従って「ルマ」にマッピングされた輝度を、Ｙ（一次）チャネルに集中させ、クロマをＣｂ及びＣｒ（二次）チャネルに集中させる。さらに、Ｃｂ、Ｃｒチャネルは、ルマチャネルと比較して、例えば、「４：２：０クロマフォーマット」として知られる、水平方向に半分、垂直方向に半分の、空間的に低いレートでサンプリング（サブサンプリング）され得る。４：２：０クロマフォーマットは、インターネットビデオストリーミング、テレビ放送、Ｂｌｕ－Ｒａｙ（登録商標）ディスクへの保存などの「消費者向け」アプリケーションにおいて一般的に使用されている。Ｃｂ、Ｃｒチャネルを水平方向に半分のレートでサブサンプリングし、垂直方向にサブサンプリングしないフォーマットは、「４：２：２クロマフォーマット」として知られている。４：２：２クロマフォーマットは、通常、映画制作用の映像の撮影などを含む、プロ向けのアプリケーションで使用されている。４：２：２クロマフォーマットのサンプリングレートが高いほど、結果として得られる映像のカラーグレーディングなどの編集作業に対する柔軟性が高くなる。消費者に提供される前に、４：２：２クロマフォーマットの素材は、しばしば４：２：０クロマフォーマットに変換されてから、消費者に提供するために符号化される。クロマフォーマットに加えて、ビデオは解像度とフレームレートによっても特徴付けられている。解像度の例として、解像度が３８４０×２１６０の超高精細（ＵＨＤ）、または、解像度が７６８０×４３２０の「８Ｋ」があり、フレームレートの例として、６０Ｈｚまたは１２０Ｈｚがある。ルマサンプルレートは、例えば、毎秒約５００メガサンプルから毎秒数ギガサンプルの間にある。４：２：０クロマフォーマットの場合、各クロマチャネルのサンプルレートは、ルマサンプルレートの４分の１であり、４：２：２クロマフォーマットの場合、各クロマチャネルのサンプルレートはルマサンプルレートの半分である。

ＶＶＣ規格は、「ブロックに基づく」符号化／復号であり、フレームは、まず、「符号木の単位(Coding Tree Unit)」（ＣＴＵ）として知られる正方形の領域に分割される。ＣＴＵは通常、１２８×１２８のルマサンプルなどの比較的広い領域を占める。しかし、各フレームの右下端のＣＴＵは、面積が小さい場合がある。各ＣＴＵには、ルマチャネルの「符号木」と、クロマチャネルの追加符号木が関連付けられている。符号木は、ＣＴＵの領域を、「符号化ブロック（Coding Block）」（ＣＢ）とも呼ばれるブロックの組に分解することを定義している。一つの符号木で、ルマチャネルとクロマチャネルの両方のブロックを特定することもでき、その場合、同じ場所にある符号化ブロックは、まとめて「符号化ユニット(Coding Unit)」（ＣＵ）と呼ばれる。つまり、各ＣＵは、各カラーチャネルの符号化ブロックを有する。ＣＢは、特定の順序で符号化処理または復号処理される。４：２：０クロマフォーマットを使用した場合、１２８×１２８のルマサンプル領域用のルマ符号木を有するＣＴＵは、１２８×１２８のルマサンプル領域と同じ場所にある、６４×６４のクロマサンプル領域用の対応するクロマ符号木を有することになる。一つの符号木がルマチャネルとクロマチャネルに使用されている場合、ある領域と同じ位置にあるブロックの集合は、例えば、上記ＣＵや、「予測単位（Prediction Unit）」（ＰＵ）、及び「変換単位（Transform Unit）」（ＴＵ）というように、一般に「単位」と呼ばれる。ある領域について別々の符号木を使用する場合、上記ＣＢや、「予測ブロック（Prediction Block）」（ＰＢ）、及び「変換ブロック（Transform Block）」（ＴＢ）が用いられる。

なお、「単位」と「ブロック」との間に上記の区別があるが、「ブロック」という用語は、すべてのカラーチャネルに処理が適用されるフレームの領域を表す一般的な用語としても使用される。

各ＣＵについて、フレームデータの対応する領域のコンテンツ（サンプル値）の予測単位（ＰＵ）が生成される（「予測単位」）。さらに、エンコーダへの入力時に見られる領域の予測とコンテンツとの間の差異（または空間ドメインにおける「残差」）を示すものが形成される。各カラーチャネルの差は、一連の残差係数として変換及び符号化され、あるＣＵについて１つ以上のＴＵを形成する。適用される変換は、離散コサイン変換（ＤＣＴ）または他の変換であり、各ブロックの残差値に適用される。この変換は個別に適用される。つまり、二次元変換は２つのパスで実行される。ブロックは、まず、ブロック内の各行のサンプルに一次元変換を適用することによって変換される。次に、部分的な結果の各列に一次元変換を適用して当該部分的な結果を変換し、残差サンプルを実質的に無相関化する変換係数の最終的なブロックを生成する。さまざまなサイズの変換がＶＶＣ標準でサポートされており、これには、各辺の寸法が２のべき乗となる長方形のブロックの変換が含まれる。変換係数は、ビットストリームへのエントロピー符号化のために量子化される。

ＶＶＣは、フレーム内予測及びフレーム間予測を特徴とする。フレーム内予測は、フレーム内の現ブロックのサンプルの予測値を生成するために使用されているフレーム内における、以前に処理されたサンプルの使用を含む。フレーム間予測は、以前に復号されたフレームから取得したブロックのサンプルを使用して、フレーム内の現ブロックのサンプルの予測値を生成することを含む。以前に復号されたフレームは、動きベクトルに従って現ブロックの空間位置からオフセットされ、多くの場合、フィルタ処理が適用されている。フレーム内予測ブロックは、均一なサンプル値（「ＤＣイントラ予測」）であっても、オフセット及び水平及び垂直勾配を持つ平面（「平面イントラ予測」）であっても、または特定方向に隣接するサンプルが適用されたブロックの母集団（「角度イントラ予測」）、または、隣接するサンプルと選択された行列係数を使用した行列乗算の結果であってもよい。隣接するサンプルには以前に処理されたブロックからのサンプルが含まれるため、フレーム内予測のフィードバックループは大きく制限されており、サポートされる最高の解像度とフレームレートを満たすために必要なレベルよりも計算の複雑さを低く抑える必要がある。

本発明の目的は、既存の構成の１つまたは複数の欠点を実質的に克服するか、または少なくとも改善することである。

本開示の一つの側面によれば、ビデオビットストリームから画像フレームのための符号木の符号化ユニットを復号する方法を提供し、前記方法は、前記符号木の領域を、各符号化ブロックが予測ブロックを含む、複数の符号化ブロックに分割する工程と、前記各符号化ブロックの前記予測ブロックについて、行列イントラ予測フラグを判断する工程であって、各行列イントラ予測フラグは、前記符号化ブロックのうちの１つの前記予測ブロックに行列イントラ予測が用いられたかを示し、前記判断を（ｉ）前記領域が閾値を満たす場合には面積、または（ｉｉ）前記領域の面積が前記閾値を満たさない場合には前記領域の割当量に基づいて行い、前記判断されたフラグに応じて行列イントラ予測を用いると判断された各予測ブロックについて、メモリから行列係数を読み出す工程と、各予測ブロックの参照サンプル及び前記行列係数を用いて前記領域における各符号化ユニットについて生成された予測ブロックを用いて、符号化ユニットを復号する工程と、を含む。

別の側面によれば、前記閾値は、５１２ルマサンプルよりも大きいサイズである。

別の側面によれば、前記閾値は、６４ルマサンプルよりも大きいサイズである。

別の側面によれば、前記割当量では、前記領域について４×４ブロックの４０ワードの読み出すことができる。

別の側面によれば、行列イントラ予測が用いられた場合にのみ、前記ＣＵの行列イントラ予測フラグは復号される。

別の側面によれば、行列イントラ予測が用いられたかどうかに関わらず、前記ＣＵの行列イントラ予測フラグは復号される。

本開示の別の側面によれば、ビデオビットストリームから画像フレームのための符号木の符号化ユニットを復号する方法を提供し、前記方法は、前記符号木の領域を、それぞれが予測ブロックを含む、複数の符号化ブロックに分割する工程と、前記符号化ブロックの予測ブロックについて、各符号化ブロックのサイズに基づいて、行列イントラ予測フラグを判断する工程であって、各行列イントラ予測フラグは、前記対応する符号化ブロックの前記予測ブロックに行列イントラ予測が用いられたかを示し、前記判断されたフラグに応じて行列イントラ予測を用いると判断された各予測ブロックについて、メモリから行列係数を読み出す工程と、各予測ブロックの参照サンプル及び前記行列係数を用いて生成された前記領域における各符号化ユニットの予測ブロックから符号化ユニットを復号する工程と、を含む。

別の側面によれば、前記符号化ユニットの前記サイズが４×４で無い場合に行列イントラ予測フラグは復号される。

別の側面によれば、前記符号化ユニットの前記サイズが４×４、８×４、４×８のいずれかで無い場合に行列イントラ予測フラグは復号される。

別の側面によれば、前記符号化ユニットの前記サイズが４×４、８×４、４×８、８×８のいずれかで無い場合に行列イントラ予測フラグは復号される。

別の側面によれば、前記符号化ユニットの前記サイズが４×４、８×４、４×８、８×８、８×１６のいずれかで無い場合に前記行列イントラ予測フラグは復号される。

本開示の別の側面によれば、ビデオビットストリームから画像フレームのための符号木の予測ブロックを生成する方法を提供し、前記方法は、前記ビットストリームから行列イントラ予測モードフラグを復号することにより前記符号化ユニットの予測モードを判断する工程と、予測モードは行列イントラ予測モードを含み、行列イントラ予測モードを判断するために短縮された二値符号語を復号する工程と、前記予測ブロックに隣接する参照サンプル及び前記復号された行列イントラ予測モードに応じて選択された行列に対して、行列乗算を行うことにより、予測ブロックを生成する工程と、を含む。

本開示の別の側面によれば、ビデオビットストリームから画像フレームのための符号木の符号化ユニットを復号する方法の方法を実施するためのコンピュータプログラムを格納した非一時的なコンピュータ可読記憶媒体を提供し、前記方法は、前記符号木の領域を、各符号化ブロックが予測ブロックを含む、複数の符号化ブロックに分割する工程と、前記各符号化ブロックの前記予測ブロックについて、行列イントラ予測フラグを判断する工程であって、各行列イントラ予測フラグは、前記符号化ブロックのうちの１つの前記予測ブロックに行列イントラ予測が用いられたかを示し、前記判断を（ｉ）前記領域が閾値を満たす場合には面積、または（ｉｉ）前記領域の面積が前記閾値を満たさない場合には前記領域の割当量に基づいて行い、前記判断されたフラグに応じて行列イントラ予測を用いると判断された各予測ブロックについて、メモリから行列係数を読み出す工程と、各予測ブロックの参照サンプル及び前記行列係数を用いて前記領域における各符号化ユニットについて生成された予測ブロックを用いて、符号化ユニットを復号する工程と、を含む。

本開示の別の側面によれば、ビデオデコーダを提供し、ビデオビットストリームから画像フレームのための符号木の符号化ユニットを受信し、前記符号木の領域を、各符号化ブロックが予測ブロックを含む、複数の符号化ブロックに分割し、前記各符号化ブロックの前記予測ブロックについて、行列イントラ予測フラグを判断し、各行列イントラ予測フラグは、前記符号化ブロックうちの１つの前記予測ブロックに行列イントラ予測が用いられたかを示し、前記判断を（ｉ）前記領域が閾値を満たす場合には面積、または（ｉｉ）前記領域の面積が前記閾値を満たさない場合には前記領域の割当量に基づいて行い、前記判断されたフラグに応じて行列イントラ予測を用いると判断された各予測ブロックについて、メモリから行列係数を読み出し、各予測ブロックの参照サンプル及び前記行列係数を用いて前記領域における各符号化ユニットについて生成された予測ブロックを用いて、符号化ユニットを復号する。

本開示の別の側面によれば、システムを提供し、メモリと、プロセッサとを含み、前記プロセッサは、ビデオビットストリームから画像フレームのための符号木の符号化ユニットを復号する方法を実現するための、前記メモリに格納されたコードを実行し、前記方法は、前記符号木の領域を、各符号化ブロックが予測ブロックを含む、複数の符号化ブロックに分割する工程と、前記各符号化ブロックの前記予測ブロックについて、行列イントラ予測フラグを判断する工程であって、各行列イントラ予測フラグは、前記符号化ブロックのうちの１つの前記予測ブロックに行列イントラ予測が用いられたかを示し、前記判断を（ｉ）前記領域が閾値を満たす場合には面積、または（ｉｉ）前記領域の面積が前記閾値を満たさない場合には前記領域の割当量に基づいて行い、前記判断されたフラグに応じて行列イントラ予測を用いると判断された各予測ブロックについて、メモリから行列係数を読み出す工程と、各予測ブロックの参照サンプル及び前記行列係数を用いて前記領域における各符号化ユニットについて生成された予測ブロックを用いて、符号化ユニットを復号する工程と、を含む。

他の側面も開示されている。

ここで、本発明の少なくとも１つの実施形態を、以下の図面及び付録を参照して説明する。

図１は、ビデオ符号化及び復号システムを示す概略ブロック図である。 、 図２Ａ及び図２Ｂは、図１のビデオ符号化及び復号システムの一方または両方が実施される汎用コンピュータシステムの概略ブロック図を示す。 図３は、ビデオエンコーダの機能モジュールを示す概略ブロック図である。 図４は、ビデオデコーダの機能モジュールを示す概略ブロック図である。 図５は、１つのブロックから、Versatile Video Codingのツリー構造における１つまたは複数のブロックへの可能な分割を示す概略ブロック図である。 図６は、１つのブロックから、Versatile Video Codingのツリー構造における１つまたは複数のブロックへの可能な分割を達成するためのデータフローの概略図である。 、 図７Ａ及び図７Ｂは、符号木の単位（ＣＴＵ）をいくつかの符号化ユニット（ＣＵ）に分割する例を示している。 図８は、行列イントラ予測モジュールの処理例を示す図である。 、 図９Ａ及び図９Ｂは、行列イントラ予測モードのためのメモリアクセス帯域幅が適用される領域を有する例示的なＣＴＵを示す。 図１０は、図９の例に対応する符号木を示す。 図１１は、行列イントラ予測を使用する符号化ユニットを含む、画像フレームの符号化ユニットをビデオビットストリームに符号化する方法を示す。 図１２は、図１１で使用されるような、符号木の単位の複数の符号化ユニットにまたがる行列イントラ予測のためのメモリアクセスの割当量を決定する方法を示す。 図１３は、画像フレームの一部を、図１１で使用されるようなビデオビットストリームに符号化するための符号化ユニットを決定する方法を示す。 図１４は、画像フレームの符号化ユニットを、図１１で使用されるようなビデオビットストリームに符号化する方法を示す。 図１５は、ビデオビットストリームから、画像フレームの符号木を復号する方法を示す。 図１６は、図１５で使用されるようなビデオビットストリームから、画像フレームの符号化ユニットを復号する方法を示す。 図１７は、画像フレームの一部を、図１１で使用されるようなビデオビットストリームに符号化するための符号化ユニットを決定する別の方法を示す。 図１８は、画像フレームの符号化ユニットを、図１１で使用されるようなビデオビットストリームに符号化する別の方法を示す。 図１９は、図１５で使用されるようなビデオビットストリームから、画像フレームの符号化ユニットを復号する別の方法を示す。

最良の形態を含む詳細な説明
添付の図面のうちのいずれか１つまたは複数において、同じ参照番号を有するステップ及び／または特徴が参照される場合、それらのステップ及び／または特徴は、相反する意図が示されない限り、この明細書の目的のための同じ機能または動作を有する。

上記のように、フレーム内予測の計算の複雑さは、特に行列イントラ予測（ＭＩＰ）の場合に限られている。ＭＩＰはエラーを最小限に抑えるという点で効果的な解決方法を提供できるが、ＭＩＰを適用する計算の複雑さは、例えば４×４ブロックのみで構成されるフレームの、最悪の場合のブロック処理速度に特に影響を与える。ブロック処理速度は、目的とするアプリケーションの解像度とフレームレートをサポートするのに十分である必要がある。ルマチャネルのみを考えると、毎秒１２０フレームでの「８Ｋ」解像度のフレーム（７６８０×４３２０）では、毎秒２４８．８×１０６個の４×４ブロックを処理する必要がある。フレームまたはビデオシーケンス全体で最悪の場合にならないとしても、最悪の場合に達した部分領域を、ディスプレイに表示用の完全に復号されたフレームの配信を遅らせることなく処理する必要がある。複雑さ理由の１つは、行列イントラ予測（ＭＩＰ）モードに従って選択された行列係数を取り出すために必要なメモリ帯域幅に因るもので、これは、ブロック毎に制約無く異なり得る。

図１は、ビデオ符号化及び復号システム１００の機能モジュールを示す概略ブロック図である。実用化、及び/または、ＭＩＰモードによって達成される符号化の利点に見合ったものにするために、システム１００は、行列係数を選択または読み出すための最悪の場合のメモリ帯域幅を確立するために、ＭＩＰモードの適用に関わる制限を利用することができる。

システム１００は、ソースデバイス１１０とディスティネーションデバイス１３０を含む。通信チャネル１２０は、符号化されたビデオ情報をソースデバイス１１０からディスティネーションデバイス１３０に通信するために用いられる。いくつかの構成では、ソースデバイス１１０とディスティネーションデバイス１３０のいずれかまたは両方は、携帯電話機または「スマートフォン」であってもよく、その場合、通信チャネル１２０は、無線チャネルである。他の構成では、ソースデバイス１１０及びディスティネーションデバイス１３０は、ビデオ会議機器であってもよく、その場合、通信チャネル１２０は、通常、インターネット接続などの有線チャネルである。さらに、ソースデバイス１１０及びディスティネーションデバイス１３０は、無線テレビ放送をサポートするデバイス、ケーブルテレビアプリケーション、インターネットビデオアプリケーション（ストリーミングを含む）、及び、符号化されたビデオデータがファイルサーバーのハードディスクドライブなど、コンピュータで読み取り可能なストレージメディアにキャプチャするアプリケーションを含む、広範囲のデバイスのいずれかであってもよい。

図１に示すように、ソースデバイス１１０は、ビデオソース１１２と、ビデオエンコーダ１１４と、送信機１１６とを含む。ビデオソース１１２は、典型的には、画像キャプチャセンサ、非一時的な記録媒体に保存された過去にキャプチャされたビデオシーケンス、またはリモート画像キャプチャセンサからの映像といった、キャプチャされたビデオフレームデータ（１１３として示される）のソースを含む。ビデオソース１１２はまた、例えば、オペレーティングシステムのビデオ出力や、例えばタブレットコンピュータ等のコンピューティングデバイス上で実行される様々なアプリケーションを表示する、コンピュータグラフィックスカードの出力であってもよい。画像キャプチャセンサをビデオソース１１２として含み得るソースデバイス１１０としては、スマートフォン、ビデオカムコーダー、プロ用ビデオカメラ、及びネットワークビデオカメラが含まれる。

図３を参照してさらに説明するように、ビデオエンコーダ１１４は、ビデオソース１１２からのキャプチャされたフレームデータ（矢印１１３で示す）を、ビットストリーム（矢印１１５で示す）に変換（または「符号化」）する。ビットストリーム１１５は、符号化されたビデオデータ（または「符号化されたビデオ情報」）として、送信機１１６により通信チャネル１２０を介して送信される。ビットストリーム１１５を、後で通信チャネル１２０を介して送信されるまで、または通信チャネル１２０を介した送信の代わりに、「フラッシュ」メモリまたはハードディスクドライブなどの非一時的な記憶装置１２２に記憶することも可能である。例えば、符号化されたビデオデータは、ビデオストリーミングアプリケーションのために広域ネットワーク（ＷＡＮ）を介して顧客にオンデマンドで提供することができる。

ディスティネーションデバイス１３０は、受信機１３２、ビデオデコーダ１３４、及び表示装置１３６を含む。受信機１３２は、符号化されたビデオデータを通信チャネル１２０から受信し、受信したビデオデータをビットストリームとしてビデオデコーダ１３４に渡す（矢印１３３で示す）。次に、ビデオデコーダ１３４は、復号したフレームデータ（矢印１３５で示す）を表示装置１３６に出力する。復号されたフレームデータ１３５は、フレームデータ１１３と同じクロマフォーマットを有する。表示装置１３６としては、例えば、陰極線管や、スマートフォン、タブレットコンピュータ、コンピュータモニター、スタンドアロンテレビ機器等の液晶ディスプレイ等を含む。また、ソースデバイス１１０及びディスティネーションデバイス１３０それぞれの機能を、例えば携帯電話やタブレットコンピュータ等の、単一機器で具現化することも可能である。

上記例に挙げたデバイスに限られず、ソースデバイス１１０及びディスティネーションデバイス１３０はそれぞれ、汎用コンピューティングシステム内で、典型的にはハードウェアとソフトウェアコンポーネントの組み合わせを介して構成され得る。図２Ａは、そのようなコンピュータシステム２００を示しており、コンピュータモジュール２０１と、ビデオソース１１２として構成され得るキーボード２０２、マウスポインタデバイス２０３、スキャナ２２６及びカメラ２２７と、マイクロフォン２８０等の入力デバイスと、プリンタ２１５、表示装置１３６として構成され得るディスプレイデバイス２１４及びスピーカー２１７を含む出力デバイスを含む。外部変調器－復調器（モデム）トランシーバデバイス２１６は、コンピュータモジュール２０１が接続２２１を介して通信ネットワーク２２０と双方向の通信をするために使用され得る。通信チャネル１２０を代表する通信ネットワーク２２０は、インターネット、携帯通信ネットワーク、またはプライベートＷＡＮなどの（ＷＡＮ）であってもよい。接続２２１が電話回線である場合、モデム２１６は、従来の「ダイヤルアップ」モデムであり得る。あるいは、接続２２１が大容量（例えば、ケーブルまたは光）接続である場合、モデム２１６は、ブロードバンドモデムであり得る。無線モデムを、通信ネットワーク２２０への無線接続のために使用してもよい。トランシーバデバイス２１６は、送信機１１６及び受信機１３２の機能を提供してもよく、通信チャネル１２０は、接続２２１として具現化され得る。

コンピュータモジュール２０１は、典型的には、少なくとも１つのプロセッサユニット２０５及びメモリユニット２０６を含む。例えば、メモリユニット２０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体読み取り専用メモリ（ＲＯＭ）を有し得る。コンピュータモジュール２０１はまた、ビデオディスプレイ２１４とスピーカー２１７とマイクロフォン２８０と結合するオーディオ－ビデオインターフェース２０７、キーボード２０２とマウス２０３とスキャナ２２６とカメラ２２７とオプションでジョイスティックまたは他のヒューマンインターフェースデバイス（図示せず）と結合するＩ／Ｏインターフェース２１３、外部モデム２１６及びプリンタ２１５向けのインターフェース２０８とを含む、多くの入力／出力（Ｉ／Ｏ）インターフェースを含む。オーディオ－ビデオインターフェース２０７からコンピュータモニタ２１４への信号は、一般に、コンピュータグラフィックスカードの出力である。いくつかの実装形態では、モデム２１６は、コンピュータモジュール２０１内、例えば、インターフェース２０８内に組み込まれ得る。コンピュータモジュール２０１はまた、ローカルネットワークインターフェース２１１を有し、これにより、コンピュータシステム２００を接続２２３を介してローカルエリアネットワーク（ＬＡＮ）として知られるローカル通信ネットワーク２２２に繋げることができる。図２Ａに示されるように、ローカル通信ネットワーク２２２はまた、一般的にいわゆる「ファイアウォール」デバイスまたは同様の機能のデバイスを含む接続２２４を介して、ワイドネットワーク２２０に繋げることができる。ローカルネットワークインターフェース２１１は、Ｅｔｈｅｒｎｅｔ（登録商標）回路カード、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線構成、またはＩＥＥＥ８０２．１１無線構成を含んでもよい。しかしながら、他の多くのタイプのインターフェースをインターフェース２１１で用いてもよい。ローカルネットワークインターフェース２１１はまた、送信機１１６及び受信機１３２の機能を提供してもよく、通信チャネル１２０は、ローカル通信ネットワーク２２２において具体化され得る。

Ｉ／Ｏインターフェース２０８及び２１３は、シリアル接続及びパラレル接続のいずれかまたは両方を提供することができ、前者は、通常、ユニバーサルシリアルバス（ＵＳＢ）規格に従って実現され、対応するＵＳＢコネクタ（不図示）を有する。記憶装置２０９は、通常、ハードディスクドライブ（ＨＤＤ）２１０を含む。フロッピーディスクドライブや磁気テープドライブ（不図示）などの他の記憶装置も使用することができる。光ディスクドライブ２１２は、通常、不揮発性のデータソースとして機能するように提供される。光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ ｒａｙ Ｄｉｓｃ（登録商標）等）、ＵＳＢ－ＲＡＭ、ポータブル外付けハードドライブ、フロッピーディスク等のポータブルメモリデバイスを、コンピュータシステム２００の適切なデータソースとして使用することができる。典型的には、ＨＤＤ２１０、光学ドライブ２１２、ネットワーク２２０及び２２２はいずれも、ビデオソース１１２として、またはディスプレイ２１４での再生用に格納される復号されたビデオデータの送信先として動作するように構成され得る。システム１００のソースデバイス１１０及びディスティネーションデバイス１３０は、コンピュータシステム２００により実現してもよい。

コンピュータモジュール２０１の構成要素２０５から２１３は、典型的には、相互接続されたバス２０４を介して、当業者に知られているコンピュータシステム２００の従来の動作モードとなる方法で通信する。例えば、プロセッサ２０５は、接続２１８を用いてシステムバス２０４に結合される。同様に、メモリ２０６及び光ディスクドライブ２１２は、接続２１９によってシステムバス２０４に結合される。説明された配置を実施できるコンピュータとしては、例えば、ＩＢＭ－ＰＣとその互換機、Ｓｕｎ ＳＰＡＲＣｓｔａｔｉｏｎｓ、Ａｐｐｌｅ Ｍａｃ（登録商標）や同様のコンピュータシステムがある。

適切または所望された場合に、ビデオエンコーダ１１４及びビデオデコーダ１３４、及び以下に説明する方法は、コンピュータシステム２００を使用して実現することができる。特に、ビデオエンコーダ１１４、ビデオデコーダ１３４及び説明する方法は、コンピュータシステム２００内で実行可能な１以上のソフトウェアアプリケーションプログラム２３３として実現することができる。特に、ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明された方法の工程は、コンピュータシステム２００内で実行されるソフトウェア２３３の命令２３１（図２Ｂを参照）によって実現できる。ソフトウェア命令２３１は、それぞれが１以上の特定のタスクを実行するための１以上のコードモジュールとして形成され得る。ソフトウェアはまた、第１の部分及び対応するコードモジュールが説明された方法を実行し、第２の部分及び対応するコードモジュールが第１の部分とユーザとの間のユーザインターフェースを管理する、２つの独立した部分に分割され得る。

ソフトウェアは、例えば、以下に説明する記憶装置を含む、コンピュータ可読媒体に記憶され得る。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００に読み出され、コンピュータシステム２００によって実行される。コンピュータ可読媒体に記録されているそのようなソフトウェアまたはコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム２００においてコンピュータプログラム製品を使用することにより、ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明された方法を実行するために有利な装置に、有益な効果がもたらされる。

ソフトウェア２３３は、通常、ＨＤＤ２１０またはメモリ２０６に格納される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム２００に読み出され、コンピュータシステム２００によって実行される。従って、例えば、ソフトウェア２３３は、光ディスクドライブ２１２によって読み取られる光学的に読み取り可能なディスク記憶媒体（例えば、ＣＤ－ＲＯＭ）２２５上に格納され得る。

場合によっては、アプリケーションプログラム２３３は、１つまたは複数のＣＤ－ＲＯＭ２２５上で符号化された状態でユーザに供給され、対応するドライブ２１２を介して読み取られてもよいし、あるいは、ネットワーク２２０または２２２からユーザによって読み取られてもよい。さらに、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム２００に読み出すこともできる。コンピュータ可読記憶媒体とは、記録された命令及び／またはデータを、実行及び／または処理するためにコンピュータシステム２００に提供する、非一時的な有形記憶媒体を指す。このような記憶媒体としては、例えば、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ Ｄｉｓｃ（登録商標）、ハードディスクドライブ、ＲＯＭまたは集積回路、ＵＳＢメモリ、磁気光学ディスク、またはＰＣＭＣＩＡカード等のようなコンピュータ可読カードが含まれ、そのようなデバイスがコンピュータモジュール２０１の内部または外部のいずれにあってもよい。ソフトウェア、アプリケーションプログラム、命令及び/またはビデオデータまたは符号化されたビデオデータを、コンピュータモジュール４０１へ提供するために用いることができる一時的または無形のコンピュータ可読伝送媒体としては、例えば、無線または赤外線伝送チャネルや、別のコンピュータまたはネットワークデバイスへのネットワーク接続、及び電子メール送信やウェブサイト等に記録された情報を含むインターネットまたはイントラネットを含む。

アプリケーションプログラム２３３の第２の部分及び上述した対応するコードモジュールは、ディスプレイ２１４上に描画または他の方法で表される１以上のグラフィカルユーザインターフェース（ＧＵＩ）を実施するために実行され得る。そして、典型的にはキーボード２０２やマウス２０３の操作により、コンピュータシステム２００及びアプリケーションのユーザは、機能的に適応可能な方法でインターフェースを操作して、ＧＵＩに関連するアプリケーションへの制御コマンド及び／または入力を提供することができる。スピーカー２１７を介して出力されたスピーチプロンプトやマイクロフォン２８０を介して入力されたユーザ音声コマンドを利用する音声インターフェース等、機能的に適応可能な他の形態のユーザインターフェースも実施され得る。

図２Ｂは、プロセッサ２０５及び「メモリ」２３４の詳細な概略ブロック図である。メモリ２３４は、図２Ａのコンピュータモジュール２０１がアクセス可能なすべてのメモリモジュール（ＨＤＤ２０９及び半導体メモリ２０６を含む）の論理的集合体を表す。

コンピュータモジュール２０１が最初に電源投入されると、電源投入時自己診断（ＰＯＳＴ）プログラム２５０が実行される。ＰＯＳＴプログラム２５０は、通常、図２Ａの半導体メモリ２０６のＲＯＭ２４９に格納されている。ソフトウェアを格納するＲＯＭ２４９等のハードウェアデバイスは、ファームウェアと呼ばれることもある。ＰＯＳＴプログラム２５０は、コンピュータモジュール２０１内のハードウェアを検査して、適切に機能しているか確認し、プロセッサ２０５、メモリ２３４（２０９、２０６）、及び、典型的にはＲＯＭ２４９に記憶されている基本的な入出力システムソフトウェア（ＢＩＯＳ）モジュール２５１が、正しく動作しているかをチェックする。ＰＯＳＴプログラム２５０が正常に実行されると、ＢＩＯＳ２５１は、図２Ａのハードディスクドライブ２１０を起動する。ハードディスクドライブ２１０の起動により、ハードディスクドライブ２１０上に常駐するブートストラップローダープログラム２５２がプロセッサ２０５を介して実行される。これにより、オペレーティングシステム２５３はＲＡＭメモリ２０６に読み出され、オペレーティングシステム２５３は動作を開始する。オペレーティングシステム２５３は、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインターフェース、及び汎用ユーザインターフェースを含む、様々な高レベルな機能を実現するための、プロセッサ２０５によって実行可能なシステムレベルのアプリケーションである。

オペレーティングシステム２５３は、コンピュータモジュール２０１で実行されている各処理及びアプリケーションが、別の処理に割り当てられたメモリと衝突することなく実行に十分なメモリを備えるように、メモリ２３４（２０９、２０６）を管理する。さらに、図２Ａのコンピュータシステム２００において利用可能なさまざまなタイプのメモリは、各処理を効果的に実行できるように適切に使用する必要がある。従って、集約メモリ２３４は、メモリの特定のセグメントがどのように割り当てられるかを説明することを意図するのではなく（特に明記しない限り）、コンピュータシステム２００によってアクセス可能なメモリの概念及びどのように用いられるかを示すことを意図している。

図２Ｂに示すように、プロセッサ２０５は、制御ユニット２３９、算術論理ユニット（ＡＬＵ）２４０、及びキャッシュメモリと呼ばれることもあるローカルまたは内部メモリ２４８を含む多数の機能モジュールを含む。キャッシュメモリ２４８は、通常、レジスタセクション内に多数のストレージレジスタ２４４－２４６を含む。１以上の内部バス２４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ２０５はまた、典型的には、接続２１８を使用してシステムバス２０４を介して外部デバイスと通信するための１以上のインターフェース２４２を有する。メモリ２３４は、接続２１９を使用してバス２０４に結合される。

アプリケーションプログラム２３３は、条件付きの分岐及びループ命令を含み得る一連の命令２３１を含む。プログラム２３３は、プログラム２３３の実行に使用されるデータ２３２も含み得る。命令２３１及びデータ２３２は、それぞれ、メモリ位置２２８、２２９、２３０及び２３５、２３６、２３７に格納される。命令２３１とメモリ位置２２８－２３０の相対的なサイズに応じて、ある命令は、メモリ位置２３０に示す命令によって表されるように、単一のメモリ位置に格納され得る。あるいは、メモリ位置２２８及び２２９に示す命令のセグメントによって表されるように、命令を多数の部分に分割し、それぞれ別のメモリ位置に格納してもよい。

一般に、プロセッサ２０５には、その中で実行される一連の命令が与えられる。プロセッサ２０５は、次の入力を待ち、その入力に対して、プロセッサ２０５は、別の一連の命令を実行する。各入力は、多数のソースのうち１以上のソースから提供され、図２Ａに示された、１以上の入力デバイス２０２、２０３によって生成されたデータ、ネットワーク２２０、２０２の一方を介して外部ソースから受信したデータ、記憶装置２０６、２０９の一方から取り出したデータ、または対応するリーダー２１２に挿入された記憶媒体２２５から取り出したデータを含む。一連の命令を実行すると、場合によってはデータが出力されることがある。実行により、データまたは変数をメモリ２３４に格納することもある。

ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明された方法は、入力変数２５４を使用することができ、これらは、メモリ２３４の対応するメモリ位置２５５、２５６、２５７に格納される。ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明された方法は、出力変数２６１を生成し、これらは、メモリ２３４の対応するメモリ位置２６２、２６３、２６４に格納される。中間変数２５８は、メモリ位置２５９、２６０、２６６、及び２６７に格納され得る。

図２Ｂのプロセッサ２０５に戻り、レジスタ２４４、２４５、２４６、算術論理演算装置（ＡＬＵ）２４０、及び制御ユニット２３９は、プログラム２３３を構成する命令セット内のすべての命令について、「取り出し、復号、実行」サイクルを行うために必要な一連のマイクロオペレーションを共同で行う。各取り出し、復号、実行のサイクルは、以下を含む。
メモリ位置２２８、２２９、２３０から命令２３１を取り出しまたは読み出す取り出し処理；
制御ユニット２３９がどの命令が取り出されたかを決定する復号処理；
制御ユニット２３９及び／またはＡＬＵ２４０が命令を実行する実行処理。

その後、次の命令のためのさらなる取り出し、復号、実行のサイクルが実行される。同様に、記憶サイクルを実行してもよく、これにより、制御ユニット２３９は値をメモリ位置２３２に記憶または書き込む。

図１１から図１９の方法における各ステップまたはサブプロセスは、以下に説明するように、プログラム２３３の１以上のセグメントに関連付けられており、通常、プロセッサ２０５内のレジスタセクション２４４、２４５、２４７、ＡＬＵ２４０、及び制御ユニット２３９が協働して、プログラム２３３の注記されたセグメントについて命令セット内のすべての命令について取り出し、復号、実行のサイクルを実行する。

図３は、ビデオエンコーダ１１４の機能モジュールを示す概略ブロック図である。図４は、ビデオデコーダ１３４の機能モジュールを示す概略ブロック図である。一般に、データは、ブロックを分割した固定サイズのサブブロックや行列などの、サンプルまたは係数のグループ単位で、ビデオエンコーダ１１４及びビデオデコーダ１３４内の機能モジュール間で受け渡しされる。ビデオエンコーダ１１４及びビデオデコーダ１３４は、図２Ａ及び図２Ｂに示すように、汎用のコンピュータシステム２００を使用して実施することができ、様々な機能モジュールが、システム２００内の専用ハードウェアや、ハードディスクドライブ２０５上に常駐し、プロセッサ２０５による実行により制御される、ソフトウェアアプリケーションプログラム２３３の１以上のソフトウェアコードモジュール等の、コンピュータシステム２００内で実行可能なソフトウェアにより実現され得る。あるいは、ビデオエンコーダ１１４及びビデオデコーダ１３４は、専用のハードウェアとコンピュータシステム２００で実行可能なソフトウェアとの組み合わせによって実現され得る。あるいは、ビデオエンコーダ１１４、ビデオデコーダ１３４、及び説明された方法は、説明された方法の機能またはサブ機能を実行する１以上の集積回路等の専用ハードウェアで実現され得る。このような専用ハードウェアには、グラフィックプロセッシングユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け標準製品（ＡＳＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または１以上のマイクロプロセッサと関連メモリが含まれる。特に、ビデオエンコーダ１１４はモジュール３１０～３９２を含み、ビデオデコーダ１３４はモジュール４２０～４９６を含み、これらはそれぞれ、ソフトウェアアプリケーションプログラム２３３の１以上のソフトウェアコードモジュールとして実現され得る。

図３のビデオエンコーダは、Versatile Video Coding（ＶＶＣ）のビデオコーディングパイプラインの例であるが、他のビデオコーデックを、本明細書に記載の処理段階を実行するために使用しても良い。ビデオエンコーダ１１４は、各フレームが１以上のカラーチャネルを含む一連のフレーム等の、キャプチャされたフレームデータ１１３を受信する。フレームデータ１１３は、任意のクロマフォーマット、例えば、４：０：０、４：２：０、４：２：２、または４：４：４クロマフォーマットであってよい。ブロック分割部３１０は、まず、フレームデータ１１３を、一般に正方形の形状であって、ＣＴＵのための特定のサイズが使用されるように構成されたＣＴＵに分割する。ＣＴＵのサイズは、例えば、６４×６４、１２８×１２８、または２５６×２５６のルマサンプルである。ブロック分割部３１０はさらに、ルマ符号木及びクロマ符号木に応じて、各ＣＴＵを１以上のＣＢに分割する。ＣＢにはさまざまなサイズがあり、正方形と非正方形アスペクト比の両方を含んでいてもよい。ブロック分割部３１０の動作は、図１１乃至図１９を参照してさらに説明される。ただし、ＶＶＣ標準では、ＣＢ、ＣＵ、ＰＵ、及びＴＵの辺の長さは、常に２の累乗である。従って、３１２として表される現ＣＢがブロック分割部３１０から出力され、ＣＴＵのルマ符号木及びクロマ符号木に従って、ＣＴＵの１以上のブロックにわたって反復することにより進行する。ＣＴＵをＣＢに分割するオプションについては、図５及び図６を参照して以下にさらに説明する。動作は全体的にＣＴＵ単位で記述されるが、ビデオエンコーダ１１４とビデオデコーダ１３４は、メモリ消費を削減するために、より小さなサイズの領域について動作することができる。例えば、各ＣＴＵは、サイズ６４×６４の「仮想パイプラインデータ単位」（ＶＰＤＵ）と呼ばれる、より小さな領域に分割することができる。ＶＰＤＵは、ハードウェアアーキテクチャでのパイプライン処理により適した小ささのデータを形成し、これにより、ＣＴＵ全体に処理を行う場合と比較して、メモリフットプリントの削減によりシリコン領域、ひいてはコストが削減される。

フレームデータ１１３を1回分割して生じるＣＴＵは、ラスタースキャン順にスキャンされ、１以上の「スライス」にグループ化され得る。スライスは「イントラ」（または「Ｉ」）スライスかもしれない。イントラスライス（Ｉスライス）は、スライス内のすべてのＣＵがイントラ予測されることを示す。あるいは、スライスは、単方向予測または双方向予測（それぞれ「Ｐ」または「Ｂ」スライス）されてもよく、それぞれスライス内の単方向予測及び双方向予測の可能性を更に示す。

各ＣＴＵについて、ビデオエンコーダ１１４は２段階で動作する。第１段階（「検索」段階と呼ぶ。）において、ブロック分割部３１０は、符号木の様々な潜在的構成をテストする。符号木の各潜在的構成には、「候補」ＣＢが関連付けられている。第１段階では、様々な候補ＣＢをテストして、比較的低い歪みで比較的高い圧縮効率となるＣＢを選択する。テストは一般的にラグランジュ最適化を含み、候補ＣＢは、レート（符号化コスト）と歪み（入力フレームデータ１１３に対するエラー）の重み付けされた組み合わせに基づいて評価される。「最良の」候補ＣＢ（評価されたレート／歪みが最も低いＣＢ）が、ビットストリーム１１５への次の符号化のために選択される。候補ＣＢの評価には、所定のエリアにＣＢを使用するか、または、様々な分割オプションに従って領域をさらに分割し、結果として得られる小さいエリアをそれぞれＣＢでさらに符号化する、または、領域をさらに分割する、といったオプションが含まれる。その結果、ＣＢと符号木の両方が共に検索段階で選択される。

ビデオエンコーダー１１４は、各ＣＢ、例えば、ＣＢ３１２について、矢印３２０によって示される予測ブロック（ＰＢ）を生成する。ＰＢ３２０は、関連するＣＢ３１２の内容の予測である。減算モジュール３２２は、３２４（または「残差」、空間ドメインにある差異を指す）として示されるＰＢ３２０とＣＢ３１２との差異を生成する。差異３２４は、ＰＢ３２０とＣＢ３１２における対応するサンプル間のブロックサイズの差異である。差異３２４は、変換され、量子化され、矢印３３６によって示される変換ブロック（ＴＢ）として表される。ＰＢ３２０及び関連するＴＢ３３６は、通常、例えば評価されたコストまたは歪みに基づいて、多くの可能な候補ＣＢのうちの１つから選択される。

候補符号化ブロック（ＣＢ）は、関連するＰＢ及び結果として生じる残差についてビデオエンコーダ１１４が利用可能な予測モードの１つから生じるＣＢである。ＴＢ３３６は、差異３２４を量子化し変換された表現である。ビデオデコーダ１１４において予測されたＰＢと組み合わされると、ビットストリームにシグナリングを追加することで、ＴＢ３３６は、復号されたＣＢと元のＣＢ３１２との間の差異を低減する。

従って、各候補符号化ブロック（ＣＢ）、すなわち、予測ブロック（ＰＢ）と変換ブロック（ＴＢ）の組み合わせは、関連する符号化コスト（または「レート」）と、関連する差異（または「歪み」）を有する。レートは通常ビット単位で測定される。ＣＢの歪みは、通常、絶対差の合計（ＳＡＤ）や二乗差の合計（ＳＳＤ）など、サンプル値の差として推定される。各候補ＰＢから生じる推定値は、予測モード３８７を決定するために、差３２４を使用してモードセレクタ３８６によって決定され得る。予測モード３８７は、現ＣＢについて、フレーム内予測、フレーム間予測、または行列イントラ予測（ＭＩＰ）を使用する決定を示す。予測モード３８７は、関連する動きベクトルを伴う、イントラ予測（行列イントラ予測、ＤＣ、平面、及び角度イントラ予測を含む）またはインター予測を含む可能なモードの中から選択されたモードとして決定される。予測モード３８７は、通常、関連するレートをラムダ値でスケーリングした結果と合計された各候補モードから生じる歪みのラグランジュ最適化の結果として得られる歪みメトリックを最小化することによって選択される。行列イントラ予測が使用されている場合、現ＣＢに対して、使用可能ないくつかの行列イントラ予測モードのどれが使用されているかを示すために、行列イントラ予測モード（矢印３８８で表される）も決定される。ブロック、特に比較的小さいブロックのためのＭＩＰモードの使用及び選択を決定するための検索は、図１１乃至図１４、そして、別の例では図１７及び図１８を参照して説明されるように、制約のない検索と比較して、行列係数を取り出すための最悪の場合のメモリ帯域幅を緩和するように制約され得る。各候補予測モード及び対応する残差の符号化に関連する符号化コストの推定は、残差のエントロピー符号化よりも大幅に少ないコストで実行することができる。従って、いくつかの候補モードを評価することで、レート対歪みの点で最適なモードを決定することができる。

レート対歪みの観点からの最適モードの決定は、通常、様々なラグランジュ最適化を使用して行われる。行列イントラ予測モード３８８の選択に際して、特定の行列イントラ予測モードを適用することにより生じる残差データの符号化コストの決定が通常行われる。符号化コストは、「絶対変換差の合計」（ＳＡＴＤ）を使用して概算することができ、これにより、アダマール変換などの比較的単純な変換を使用して、推定変換残差コストを得ることができる。比較的単純な変換を使用するいくつかの場合において、単純化された推定方法から生じるコストは、完全な評価から決定される実際のコストに単調に関連している。単調に関連する推定コストを伴う場合では、簡略化された推定方法を使用して、ビデオエンコーダ１１４における複雑さを軽減しつつ、同じ決定（つまり、イントラ予測モード）を行うことができる。推定コストと実際のコストとの関係で起こりうる非単調性を受け入れるために、簡略化された推定方法を使用して、最良の候補のリストを生成することができる。非単調性は、例えば、残差データの符号化に利用可能なさらなるモードの決定から生じる可能性がある。リスト中の最良の候補の数は、任意の数であってよい。最良の候補を使用してより完全な検索を実行することで、各候補の残差データを符号化するための最適なモードの選択肢を確立し、これにより、他のモード決定と共にイントラ予測モードの最終選択が可能となる。

他のモード決定には、「変換スキップ」として知られる前方変換をスキップする機能が含まれる。変換のスキップは、変換基底関数等の式を用いて符号化コストを削減するための十分な相関関係が無い残差データに適している。コンピューターで生成された比較的単純なグラフィックス等の特定の種類のコンテンツは、同様の性質を示す場合がある。「スキップされた変換」の場合、変換自体が実行されなくても、残差係数は符号化される。

ラグランジアンまたは同様の最適化処理を使用して、（ブロック分割部３１０による）ＣＴＵのＣＢへの最適な分割の選択、ならびに複数の可能性から最良の予測モードの選択の両方を行うことができる。モード選択モジュール３８６における候補モードのラグランジュ最適化プロセスの適用を通じて、最も少ないコスト量のイントラ予測モードが「最良の」モードとして選択される。最少コストモードは、選択されたイントラ予測モード３８８であり、エントロピーエンコーダ３３８によってビットストリーム１１５に符号化される。モードセレクタモジュール３８６の動作によるイントラ予測モード３８８の選択は、ブロック分割部３１０の動作にまで及ぶ。例えば、イントラ予測モード３８８の選択の候補は、所定ブロックに適用可能なモードと、所定ブロックと同じ位置にある複数のより小さなブロックに適用可能な追加モードを含み得る。所定ブロック及び同じ位置にあるより小さなブロックに適用可能なモードを含む場合、候補を選択する処理は、非明示的には、ＣＴＵからＣＢへの最良の階層的分解を決定する処理でもある。

ビデオエンコーダ１１４の動作の第２段階（「符号化」段階と呼ばれる）では、選択されたルマ符号木及び選択されたクロマ符号木、すなわち、選択された各ＣＢの反復処理が、ビデオエンコーダ１１４において行われる。反復処理において、ＣＢは、ここでさらに説明されるように、ビットストリーム１１５に符号化される。

エントロピーエンコーダ３３８は、構文要素の可変長符号化と構文要素の算術符号化の両方をサポートする。算術符号化は、コンテキスト適応型の二値化算術符号化処理を使用してサポートされる。算術的に符号化された構文要素は、１以上の「ビン」のシーケンスで構成される。ビンは、ビットと同様に、「０」または「１」の値を持つ。ただし、ビンは離散ビットとしてビットストリーム１１５にエンコードされることはない。ビンは、関連する予測（または「可能性が高い」または「最も可能性が高い」）値と、「コンテキスト」として知られる関連する確率とを有する。符号化される実際のビンが予測値と一致する場合、「最も可能性の高いシンボル」（ＭＰＳ）が符号化される。最も可能性の高いシンボルの符号化は、ビットストリーム１１５で消費されるビットの点においてコストが比較的少なく、１離散ビット未満のコストも含まれる。符号化される実際のビンが想定される値と一致しない場合、「最も可能性の低いシンボル」（ＬＰＳ）が符号化される。最も可能性の低いシンボルの符号化は、消費されるビットの点においてコストが比較的高くなる。ビンの符号化手法により、「０」対「１」の確率が偏っているビンの効率的な符号化が可能になる。２つの可能な値（つまり、「フラグ」）を持つ構文要素の場合、単一のビンで十分である。可能な値が多数ある構文要素の場合、一連のビンが必要となる。

シーケンスにおける後方のビンの存在は、シーケンスにおける前方のビンの値に基づいて決定することができる。さらに、各ビンは複数のコンテキストに関連付けられている場合がある。特定のコンテキストの選択は、構文要素内の前方のビン、隣接する構文要素のビン値（つまり、隣接するブロックからのビン値）などに依存する可能性がある。コンテキスト符号化されたビンが符号化される度に、そのビンに対して選択されたコンテキスト（存在する場合）は、新しいビン値を反映するように更新される。このように、バイナリ算術符号化スキームは適応性があると言える。

コンテキストが無いビン（「バイパスビン」）もまた、ビデオエンコーダ１１４によってサポートされる。バイパスビンは、「０」と「１」が等確率分布であることを想定して符号化される。従って、各ビンはビットストリーム１１５の１ビットを占める。コンテキストがないため、メモリが節約されると共に複雑さが軽減されるため、特定のビンの値の分布が偏っていない場合は、バイパスビンが使用される。コンテキストと適応を採用するエントロピーコーダーの一例は、当技術分野ではＣＡＢＡＣ（コンテキスト適応バイナリ算術コーダー）として知られており、このコーダーの多くの変形例がビデオ符号化に採用されてきた。

エントロピーエンコーダ３３８は、予測モード３８７を符号化し、現ＣＢに使用されている場合、コンテキスト符号化及びバイパス符号化されたビンの組み合わせを使用して、行列イントラ予測モード３８８を符号化する。サイズ４×４のブロックは、３５の可能な行列イントラ予測モードを有し、サイズが８×８を超えないブロック（つまり、４×８、８×４、及び８×８）は、１９の可能な行列イントラ予測モードを有する。他のブロックサイズの場合、１１の可能な行列イントラ予測モードがある。通常、「最も可能性の高い行列モード」（ＭＰＭ）のリストは、ビデオエンコーダ１１４で生成される。最も可能性の高いモードのリストは、通常、３つのモードなど、固定長である。最も可能性の高いモードのリストは、現ブロックに隣接する先のブロックにおけるモードを含み得る。例えば、現ブロックの上または左のブロックをＭＩＰモードで使用する場合、対応するモードが現ブロックのＭＰＭとして存在する。現ブロックの上または左のブロックを角度イントラ予測で使用する場合、現ブロックのＭＰＭリストは、角度イントラ予測モードをＭＩＰモードにマッピングするルックアップテーブルを介して導出されたＭＩＰモードで埋められる。さらに、通常のイントラ予測（ＤＣ、平面、または角度）を使用して予測された後続のＣＵのＭＰＭリストには、ＭＩＰモードから候補の通常のイントラ予測モードへのマッピングテーブルとともに、ＭＩＰモードを使用して符号化されたＣＵから派生したイントラ予測モードの候補を含めることができる。コンテキスト符号化されたビンは、イントラ予測モードが最も可能性の高いモードの１つであるかどうかを示すフラグを符号化する。イントラ予測モード３８８が最も可能性の高いモードの１つである場合、バイパス符号化されたビンを使用して、更にシグナリングが符号化される。符号化されたさらなるシグナリングは、例えば、短縮された１つのビンのストリングを使用して、最も可能性の高いモードのどれが行列イントラ予測モード３８８に対応するかを示す。それ以外の場合、イントラ予測モード３８８は「残りのモード」として符号化される。残りのモードとしての符号化では、バイパス符号化されたビンを使用して符号化された、固定長符号等の代替構文を使用して、最も可能性の高いモードリストに存在するもの以外のイントラ予測モードを表す。

いくつかの構成では、（ＭＩＰモードを使用して符号化された）現ＣＵと、通常のイントラ予測モードを使用して符号化され、任意のＭＩＰモードで符号化された近隣のブロックから派生したイントラ予測モードの候補を含み得る、後続のＣＵの両方のＭＰＭリストの作成が複雑になることを回避できる。ＭＰＭリストの作成を省略すると、ＭＩＰモードの２値化は、ＭＩＰモードを表すために、短縮された二値符号を使用して実行される。短縮された二値符号では、各ＭＩＰモードの符号化コストが比較的均等になるが、ＭＰＭリストでは、ＭＰＭリストに追加された各ＭＩＰの符号化コストが低くなる。ＭＩＰモードの選択から得られた統計では、ＭＰＭリストに含まれていないＭＩＰモードと比較して、ＭＰＭリストに含まれているＭＩＰモードの選択に強い偏りがあるとは示されておらず、これは、ＭＰＭリストの生成を省略しても圧縮効率が低下しないことを示している。４×４ブロックの場合、３５の可能なＭＩＰモードを、５ビットまたは６ビットの符号を用いて符号化でき、ＭＩＰモード０～２８では５ビット、ＭＩＰモード２９～３４では６ビットを用いる。４×８、８×４、及び８×８ブロックの場合、１９の可能なＭＩＰモードを、４ビットまたは５ビットの符号を用いて符号化でき、ＭＩＰモード０～１２では４ビット、ＭＩＰモード１３～１８では５ビットを用いる。他のサイズのブロックの場合、１１個の可能なＭＩＰモードを、３ビットまたは４ビットの符号を用いて符号化でき、ＭＩＰモード０～４では３ビット、ＭＩＰモード５～１０では４ビットを用いる。

マルチプレクサモジュール３８４は、決定された最良の予測モード３８７に従って各候補ＣＢのテストされた予測モードから選択して、ＰＢ３２０を出力する。 候補予測モードは、ビデオエンコーダ１１４によってサポートされる考えられる予測モードをすべて含む必要は無い。

フレーム間予測では、ブロックの予測は、ビットストリームにおけるフレームを符号化する順序で、現フレームから先行する１～２フレームからのサンプルを使用して生成される。さらに、フレーム間予測では、通常、単一の符号木がルマチャネルとクロマチャネルの両方に用いられる。ビットストリームにおけるフレームを符号化する順序は、フレームがキャプチャまたは表示されるときの順序とは異なる場合がある。１つのフレームが予測に使用される場合、ブロックは「単方向予測」と呼ばれ、１つの関連する動きベクトルを有する。２つのフレームが予測に使用される場合、ブロックは「双方向予測」と呼ばれ、２つの関連するモーションベクトルを有する。Ｐスライスの場合、各ＣＵはイントラ予測または単方向予測され得る。Ｂスライスの場合、各ＣＵは、イントラ予測、単方向予測、または双方向予測され得る。フレームは通常、「画像のグループ」構造を用いて符号化され、これにより、フレームの時間的階層が可能になる。フレームの時間的階層により、フレームが、フレームを表示する順序で前後の画像を参照できるようになる。画像は、各フレームを復号するための依存関係を確実に満たすために必要な順序で符号化される。

サンプルは、動きベクトル及び参照画像インデックスに従って選択される。動きベクトルと参照画像インデックスはすべてのカラーチャネルに適用されるため、インター予測は、ＰＢではなく、主にＰＵに対する処理の観点から説明される。各カテゴリ（つまり、フレーム内及びフレーム間予測）において、ＰＵを生成するために異なる技術を適用することができる。例えば、イントラ予測は、先に再構築されたサンプルに隣接する行及び列からの値を、方向と組み合わせて使用することで、所定のフィルタ処理及び生成処理に従ってＰＵを生成する。あるいは、ＰＵは少数のパラメータを用いて記述してもよい。インター予測方法は、モーションパラメータの数とその精度が異なる場合がある。モーションパラメータは通常、参照フレームのリストからどの参照フレームを使用するか、及び各参照フレームの空間変換を示す、参照フレームインデックスを含むが、より多くのフレーム、特別なフレーム、またはスケーリングや回転のような複雑なアフィンパラメータを含めることもできる。さらに、所定のモーションリファインメント処理を適用して、参照されたサンプルブロックに基づく高密度のモーション推定値を生成してもよい。

ＰＢ３２０に決定して選択し、減算器３２２で元のサンプルブロックからＰＢ３２０を減算すると、３２４として表される最も少ない符号化コストを有する残差が得られ、非可逆圧縮にかけられる。非可逆圧縮処理は、変換ステップ、量子化ステップ、及びエントロピー符号化工程で構成される。順方向一次変換モジュール３２６は、差異３２４に順方向変換を適用して、差異３２４を空間ドメインから周波数ドメインに変換し、矢印３２８により表された一次変換係数を生成する。一次変換係数３２８は、順方向二次変換モジュール３３０に渡され、分離不可能な二次変換（ＮＳＳＴ）処理を実行することによって、矢印３３２で表された変換係数を生成する。順方向一次変換は、通常、分離可能であり、各ブロックの行のセットを変換してから、列のセットを変換する。順方向一次変換モジュール３２６は、通常、タイプＩＩの離散コサイン変換（ＤＣＴ－２）を使用するが、例えば、１６サンプルを超えないブロック幅では水平方向に、１６サンプルを超えないブロック高さでは垂直方向に、タイプＶＩＩの離散サイン変換（ＤＳＴ－７）及びタイプＶＩＩＩの離散コサイン変換（ＤＣＴ－８）を使用してもよい。行と列の各セットの変換は、まず、一次元変換をブロックの各行に対して適用して中間結果を生成し、次に中間結果の各列に対して適用して最終結果を生成することによって実行される。モジュール３３０の順方向二次変換は、一般に、分離不可能な変換であり、イントラ予測されたＣＵの残差にのみ適用されるが、バイパスしても良い。順方向二次変換は、１６サンプル（一次変換係数３２８の左上の４×４のサブブロックとして配置）または６４サンプル（左上の８×８係数として配置、一次変換係数３２８の４つの４×４サブブロックとして配置）のいずれかに対して処理を行う。

変換係数３３２は、量子化モジュール３３４に渡される。モジュール３３４において、「量子化パラメータ」に従って量子化が実行され、矢印３３６によって表される残差係数が生成される。量子化パラメータは、所定のＴＢに対して一定であるため、ＴＢの残差係数を生成するための均一なスケーリングが得られる。「量子化マトリックス」を適用することによって不均一なスケーリングとしてもよく、その場合、量子化パラメータと、通常、ＴＢと同じサイズを有するスケーリングマトリックスにおける対応するエントリとの組み合わせから、各残差係数に適用されるスケーリングファクターが導出される。スケーリングマトリックスは、ＴＢのサイズよりも小さいサイズにすることができ、ＴＢに適用される場合、最近傍アプローチを使用して、ＴＢのサイズよりも小さいスケーリングマトリックスから各残差係数に対してスケーリング値を提供することができる。残差係数３３６は、ビットストリーム１１５での符号化のためにエントロピーエンコーダ３３８に供給される。通常、ＴＵの少なくとも1つの有意な残差係数を持つ各ＴＢの残差係数がスキャンされ、スキャンパターンに従って並べられた値のリストが生成される。スキャンパターンは通常、ＴＢを４×４の「サブブロック」のシーケンスとしてスキャンし、これにより、ＴＢのサイズに応じたサブブロックの配置となる、残差係数が４×４セットとなる細かさで通常のスキャン操作を提供する。さらに、予測モード３８７、行列イントラ予測モード（使用されている場合）３８８、及び対応するブロック分割もまた、ビットストリーム１１５で符号化される。

上記のように、ビデオエンコーダ１１４は、ビデオデコーダ１３４で見られるフレーム表現に対応するフレーム表現へのアクセスが必要がある。従って、残差係数３３６はまた、逆量子化モジュール３４０によって逆量子化されて、矢印３４２によって表される逆変換係数を生成する。逆変換係数３４２は、逆方向二次変換モジュール３４４を通過し、矢印３４６によって表される中間逆変換係数が生成される。中間逆変換係数３４６は、逆方向一次変換モジュール３４８に渡されて、矢印３５０によって表されるＴＵの残差サンプルが生成される。逆方向二次変換モジュール３４４によって実行される逆変換のタイプは、順方向二次変換モジュール３３０によって実行される順方向変換のタイプに対応する。逆方向一次変換モジュール３４８によって実行される逆変換のタイプは、一次変換モジュール３２６で実行される一次変換のタイプに対応する。加算モジュール３５２は、残差サンプル３５０及びＰＵ３２０を加算して、ＣＵの再構成されたサンプル（矢印３５４で示される）を生成する。

再構築されたサンプル３５４は、参照サンプルキャッシュ３５６及びループ内フィルタモジュール３６８に渡される。一般的に、ＡＳＩＣ上にスタティックＲＡＭを使用して実装される参照サンプルキャッシュ３５６は（従って、コストのかかるオフチップメモリアクセスを回避することができる）、フレーム内の後続のＣＵのフレーム内ＰＢを生成するための依存関係を満たすために必要な最小限のサンプルストレージを提供する。最小限の依存関係には、通常、ＣＴＵの行の下部に沿ったサンプルの「ラインバッファ」が含まれ、ＣＴＵの次の行と、ＣＴＵの高さによって設定された範囲の列をバッファする列で使用される。参照サンプルキャッシュ３５６は、参照サンプル（矢印３５８で表される）を参照サンプルフィルタ３６０に供給する。サンプルフィルタ３６０は、平滑化操作を適用して、フィルタ処理された参照サンプル（矢印３６２で示される）を生成する。フィルタ処理された参照サンプル３６２は、フレーム内予測モジュール３６４によって使用され、矢印３６６によって表されるサンプルのイントラ予測ブロックを生成する。各候補イントラ予測モードについて、フレーム内予測モジュール３６４は、サンプルのブロック３６６を生成する。サンプルのブロック３６６は、ＤＣ、平面または角度イントラ予測などの技術を使用してモジュール３６４によって生成されるが、行列イントラ予測ではない。

モードセレクタ３８６が現ＣＢに対して行列イントラ予測を選択した場合、行列イントラ予測モード３８８を使用して、係数メモリ３９２から行列係数３６３を選択（読み取り）する。行列係数３６３は、行列イントラ予測モジュール３９０に渡される。行列イントラ予測モジュール３９０は、行列係数３６３及び参照サンプル３５８を使用して行列乗算を実行して、行列イントラ予測ブロック３９３を生成する。マルチプレクサ３８４は、ＰＢ３２０として、行列イントラ予測ブロック３９３を出力する。係数メモリ３９２は、行列係数３９３を提供するために必要な限られた帯域幅を有する。特に、異なる行列イントラ予測モードを、連続するブロックごとに使用して、最悪の場合のメモリ帯域幅の要件を確立する。モードセレクタ３８６は、図１１乃至図１４の動作に関連して説明するように、係数メモリ３９２の最悪の場合のメモリ帯域幅を減少させる制約下で、ブロックに対するＭＩＰモードを選択するように動作可能である。係数メモリ３９２の最悪の場合のメモリ帯域幅を減らすことで、ビデオエンコーダ１１４の符号化効率を比例して低下させることなく、例えば、メモリのハードウェア領域などの複雑さが低減される。制約のない検索におけるＭＩＰモード選択の統計値は、通常、モードセレクタ３８６でのＭＩＰモード選択に課せられる制約を引き起こさないので、符号化効率の比例的低下無く、複雑さを低減することができる。従って、最悪の場合のメモリ帯域幅は、符号化の実行において相応の損失が生じることなく、低減される。

ループ内フィルタモジュール３６８は、再構成されたサンプル３５４に数段階のフィルタ処理を行う。フィルタ処理の段階は、不連続性に起因するアーチファクトを低減するためにＣＵ境界に沿って平滑化を適用する「デブロッキングフィルタ」（ＤＢＦ）を含む。ループ内フィルタモジュール３６８に存在する別のフィルタ処理の段階は、「適応ループフィルタ」（ＡＬＦ）であり、ウィーナベースの適応フィルタを適用して、歪みをさらに低減する。ループ内フィルタモジュール３６８でさらに利用可能なフィルタ処理の段階は、「サンプル適応オフセット」（ＳＡＯ）フィルタである。ＳＡＯフィルタは、まず、再構成されたサンプルを１また複数のカテゴリに分類し、割り当てられたカテゴリに従って、サンプルレベルでオフセットを適用することによって動作する。

矢印３７０によって表されるフィルタ処理されたサンプルは、ループ内フィルタモジュール３６８から出力される。フィルタ処理されたサンプル３７０は、フレームバッファ３７２に格納される。フレームバッファ３７２は、通常、いくつか（例えば、上限１６）の画像を格納する容量を有し、メモリ２０６内に構成される。フレームバッファ３７２は、必要とされるメモリ消費量が大きいために、通常、オンチップメモリを用いて構成されない。従って、フレームバッファ３７２へのアクセスは、メモリ帯域幅の点でコストがかかる。フレームバッファ３７２は、動き推定モジュール３７６及び動き補償モジュール３８０に参照フレーム（矢印３７４で表される）を供給する。

動き推定モジュール３７６は、それぞれが現ＣＢの位置からのデカルト空間オフセットであって、フレームバッファ３７２内の参照フレームの１つにおけるブロックを参照する、いくつかの「動きベクトル」（３７８として示す）を推定する。参照サンプルのフィルタ処理されたブロック（３８２として表される）は、動きベクトルごとに生成される。フィルタ処理された参照サンプル３８２は、モードセレクタ３８６による潜在的な選択で利用可能な更なる候補モードを形成する。さらに、所定のＣＵについて、ＰＵ３２０は、１つの参照ブロック（「単方向予測」）を使用して形成されても、または２つの参照ブロック（「双方向予測」）を使用して形成されてもよい。選択された動きベクトルについて、動き補償モジュール３８０は、動きベクトルのサブピクセル精度に準じたフィルタ処理プロセスに従ってＰＢ３２０を生成する。従って、動き推定モジュール３７６（多くの候補動きベクトルで動作する）は、動き補償モジュール３８０（選択された候補のみで動作する）のフィルタ処理よりも単純化されたフィルタ処理を実行して、計算の複雑さを軽減することができる。ビデオエンコーダ１１４がＣＵのインター予測を選択すると、動きベクトル３７８はビットストリーム１１５に符号化される。

図３のビデオエンコーダ１１４は、Versatile Video Coding（ＶＶＣ）を参照して説明されているが、他のビデオコーディング符号化標準または実施様態も、モジュール３１０～３８６の処理段階を採用することができる。フレームデータ１１３（及びビットストリーム１１５）はまた、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ ｄｉｓｃ（登録商標）または他のコンピュータ可読記憶媒体から読み出す（または書き込む）ことができる。さらに、フレームデータ１１３（及びビットストリーム１１５）は、通信ネットワーク２２０または無線周波数の受信機に接続されたサーバ等の外部ソースから受信（または送信）することができる。

ビデオデコーダ１３４を図４に示す。図４のビデオデコーダ１３４は、Versatile Video Coding（ＶＶＣ）ビデオデ復号パイプラインの例であるが、他のビデオコーデックを使用して、本明細書に記載されている処理段階を実行してもよい。図４に示すように、ビットストリーム１３３がビデオデコーダ１３４に入力される。ビットストリーム１３３は、メモリ２０６、ハードディスクドライブ２１０、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ ｄｉｓｃ（登録商標）、または他の非一時的なコンピュータ可読記憶媒体から読み取ることができる。あるいは、ビットストリーム１３３は、通信ネットワーク２２０または無線周波数の受信機に接続されたサーバーなどの外部ソースから受信することができる。ビットストリーム１３３は、復号されるべきキャプチャされたフレームデータを表す符号化された構文要素を含む。

ビットストリーム１３３は、エントロピーデコーダモジュール４２０に入力される。エントロピーデコーダモジュール４２０は、一連の「ビン」を復号することによってビットストリーム１３３から構文要素を抽出し、構文要素の値をビデオデコーダ１３４内の他のモジュールに渡す。エントロピーデコーダモジュール４２０は、算術復号エンジンを使用して、各構文要素を一連の１以上のビンとして復号する。各ビンは、１以上の「コンテキスト」を使用することができ、コンテキストは、ビンの「１」と「０」の値を符号化するために使用される確率レベルを表す。あるビンに対して複数のコンテキストが使用可能である場合、「コンテキストモデリング」または「コンテキスト選択」処理が実行され、ビンを復号するために使用可能なコンテキストの１つが選択される。ビンを復号する処理は、連続するフィードバックループを形成する。フィードバックループにおける処理数は、エントロピーデコーダ４２０がビン／秒で高いスループットを達成できるようにするために、最小化することが好ましい。コンテキストモデリングは、コンテキストを選択するときにビデオデコーダ１３４に認識されているビットストリームの他の属性、つまり現在のビンに先行する属性に依存する。例えば、コンテキストは、符号木内の現ＣＵの四分木の深さに基づいて選択され得る。依存関係は、ビンを復号する前によく知られているか、長い連続処理を必要とせずに決定される属性に基づいていることが好ましい。

符号木の四分木の深さは、容易に知られているコンテキストモデリングの依存関係の例である。イントラ予測モード、特に行列イントラ予測モードは、決定が比較的困難または計算量が多いコンテキストモデリング及び２値化の依存関係の例である。行列イントラ予測モードは、「最も可能性の高いモード」（ＭＰＭ）のリストへのインデックス、または「残りのモード」のリストへのインデックスとして符号化され、復号されたコンテキスト符号化フラグに従ってＭＰＭと残りのモードのいずれかを選択する。他のイントラ予測モードは、「最も可能性の高いモード」（ＭＰＭ）のリストへのインデックス、または「残りのモード」のリストへのインデックスとしてコード化され、復号されたイントラルマ＿ＭＰＭフラグに従って、ＭＰＭと残りのモードのいずれかを選択する。行列イントラ予測モードの符号化にＭＰＭが使用されている場合、範囲が０～２の短縮された単一ビンストリングは、ＭＰＭリストからＭＰＭの1つを選択する。残りのモードが使用されている場合、残りの（非ＭＰＭ）モードのいずれを使用するかを選択するために、固定長の符号語が復号される。使用可能なＭＰＭモードの数は、ブロックサイズに応じて、３５、１９または１１のいずれかになる。従って、長さが３のＭＰＭリストでは、残りのモードの数はそれぞれ３２、１６または８となる。残りのモードは、それぞれ長さ５、４または３の固定長の符号語により効率的に表すことができる。最も可能性の高いモードと残りのモードの両方を決定するには、かなりの数の処理が必要であり、隣接するブロックのイントラ予測モードへの依存を含む。例えば、隣接するブロックは、現ブロックの上及び左にあるブロックとしても良い。隣接するブロックが角度イントラ予測を使用する場合、テーブルルックアップを実行することで、角度イントラ予測モードを、ＭＰＭリストの作成に使用するための行列イントラ予測モードにマッピングすることができる。あるいは、構成は、各場合、すなわち、モードの数が３５、１９、または１１であるかどうかに応じて、短縮された値符号語を使用してＭＩＰモードを符号化することができる。エントロピーデコーダモジュール４２０は、算術符号化アルゴリズム、例えば、「コンテキスト適応２値算術符号化」（ＣＡＢＡＣ）を適用して、ビットストリーム１３３から構文要素を復号する。復号された構文要素は、ビデオデコーダ１３４内でパラメータを再構築するために使用される。パラメータには、残差係数（矢印４２４で表される）及びイントラ予測モード（矢印４５８で表される）等のモード選択情報が含まれる。モード選択情報には、動きベクトルや、各ＣＴＵの１以上のＣＢへの分割等の情報も含まれる。パラメータは、通常、先に復号されたＣＢからのサンプルデータと共に、ＰＢを生成するために使用される。

残差係数４２４は、逆量子化モジュール４２８に入力される。逆量子化モジュール４２８は、残差係数４２４に対して逆量子化（または「スケーリング」）を実行し、量子化にパラメータに応じて、矢印４３２に示される再構成された中間変換係数を生成する。再構成された中間変換係数４３２は、逆方向二次変換モジュール４３６に渡されて、二次変換が適用されるか、処理なし（バイパス）となる。逆方向二次変換モジュール４３６は、再構成された変換係数４４０を生成する。不均一な逆量子化行列の使用がビットストリーム１３３に示される場合、ビデオデコーダ１３４は、ビットストリーム１３３から量子化行列を一連のスケーリング係数として読み取り、行列として整える。逆スケーリングは、量子化行列を量子化パラメーターと組み合わせて使用して、再構築された中間変換係数４３２を生成する。

再構築された変換係数４４０は、逆方向一次変換モジュール４４４に渡される。モジュール４４４は、係数を周波数ドメインから空間ドメインに戻す。モジュール４４４による動作の結果、矢印４４８が示す残留サンプルのブロックが得られる。残留サンプル４４８のブロックは、対応するＣＵとサイズが等しい。残差サンプル４４８は、加算モジュール４５０に供給される。加算モジュール４５０で、残差サンプル４４８は、復号されたＰＢ（４５２として表される）と加算されて、矢印４５６が示す再構成されたサンプルのブロックが生成される。再構成されたサンプル４５６は、再構成サンプルキャッシュ４６０及びループ内フィルタリングモジュール４８８に供給される。ループ内フィルタリングモジュール４８８は、４９２として表される再構成されたフレームサンプルのブロックを生成する。フレームサンプル４９２は、フレームバッファ４９６に書き込まれる。

再構成サンプルキャッシュ４６０は、ビデオエンコーダ１１４の再構築サンプルキャッシュ３５６と同様に動作する。再構成サンプルキャッシュ４６０は、メモリ２０６無しで後続のＣＢをイントラ予測するために必要な再構成されたサンプルのためのストレージを提供する（例えば、代わりにデータ２３２を使用することによって行う、通常オンチップメモリ）。矢印４６４で表される参照サンプルは、再構築サンプルキャッシュ４６０から取得され、参照サンプルフィルタ４６８に供給されて、矢印４７２で示されるフィルタ処理された参照サンプルを生成する。フィルタ処理された参照サンプル４７２は、フレーム内予測モジュール４７６に供給される。モジュール４７６は、ビットストリーム１３３で信号を送られ、エントロピーデコーダ４２０によって復号されたイントラ予測モードパラメータ４５８に従って、矢印４８０によって示されたイントラ予測されたサンプルのブロックを生成する。サンプルのブロック４８０は、行列イントラ予測ではなく、ＤＣ、平面または角度イントラ予測などのモードを使用して生成される。

ＣＢの予測モードが、ビットストリーム１３３において（行列イントラ予測以外の）イントラ予測を使用するように示される場合、イントラ予測されたサンプル４８０は、マルチプレクサモジュール４８４を介して復号されたＰＢ４５２を形成する。イントラ予測は、サンプルの予測ブロック（ＰＢ）、つまり、同じ色成分の「隣接サンプル」を使用して導出された、１つの色成分のブロックを生成する。隣接するサンプルは、現ブロックに隣接するサンプルであり、ブロックの復号順で先行しているため、すでに再構築されている。ルマブロックとクロマブロックが同じ位置にある場合、ルマブロックとクロマブロックは異なるイントラ予測モードを使用する場合がある。ただし、２つのクロマチャネルはそれぞれ同じイントラ予測モードを共有している。イントラ予測は３つのタイプに分類される。「ＤＣイントラ予測」は、隣接するサンプルの平均を表す単一の値でＰＢを埋める処理を含む。「平面イントラ予測」は、平面に応じたサンプルでＰＢを埋める処理を含み、隣接するサンプルから、ＤＣオフセットと、垂直及び水平方向の勾配が導出される。「角度イントラ予測」は、フィルタ処理され、ＰＢ全体に特定の方向（または「角度」）に伝播された隣接サンプルでＰＢを埋める処理を含む。ＶＶＣでは、６５の角度がサポートされており、長方形のブロックでは、正方形のブロックでは使用できない追加の角度を利用できるため、合計８７の角度を生成する。４番目のタイプのイントラ予測はクロマＰＢで利用することができ、これにより、ＰＢは、「クロスコンポーネント線形モデル」（ＣＣＬＭ）モードに従って、同じ位置にあるルマ再構成サンプルから生成される。３つの異なるＣＣＬＭモードが利用可能であり、それぞれが隣接するルマサンプル及びクロマサンプルから派生した異なるモデルを使用する。そして、導出されたモデルを使用して、同じ位置にあるルマサンプルからクロマＰＢのサンプルのブロックを生成する。

ビットストリーム１３３において、ＣＢの予測モードが行列イントラ予測であることが示されると、行列イントラ予測モード４５８が復号され、係数メモリ４８６及び行列イントラ予測モジュール４８２に供給される。行列係数４８１は、選択された行列イントラ予測モードの係数メモリ４８６からが読み出されて、行列イントラ予測モジュール４８２に送られる。行列係数の選択は、係数メモリ４８６からのメモリ読み出し処理を含み、図８及び図９を参照して説明したように、あるブロックサイズに対してＭＩＰモードを選択する頻度により、メモリアクセスの最悪の場合のメモリ帯域幅制限が確立される。

ビットストリーム１３３において、ＣＢの予測モードがインター予測であることが示される場合、動き補償モジュール４３４は、動きベクトルと、フレームバッファ４９６からサンプルのブロック４９８を選択してフィルタ処理するために参照フレームインデックスとを使用して、４３８で表されたインター予測サンプルのブロックを生成する。サンプルのブロック４９８は、フレームバッファ４９６に格納された過去に復号されたフレームから取得される。双方向予測の場合、２つのサンプルのブロックが生成され、混合されて、復号されたＰＢ４５２のためのサンプルが生成される。フレームバッファ４９６は、ループ内フィルタリングモジュール４８８からのフィルタ処理されたブロックデータ４９２で埋められる。ビデオエンコーダ１１４のループ内フィルタリングモジュール３６８のように、ループ内フィルタリングモジュール４８８は、ＤＢＦ、ＡＬＦ及びＳＡＯフィルタ処理のいずれかを行う。ルマチャネル及びクロマチャネルのサブサンプル補間のフィルタ処理は異なるが、一般に、動きベクトルはルマチャネルとクロマチャネルの両方に適用される。

図５は、Versatile Video Codingの木構造における１以上のサブ領域に領域を分割または分岐して得ることのできる分割例５００を示す概略ブロック図である。分割例５００に示される分割は、エンコーダ１１４のブロック分割部３１０によって行うことができ、図３を参照して説明したように、ラグランジュ最適化によって決定されるように、符号木に従って、各ＣＴＵを１以上のＣＵまたはＣＢに分割する。

分割例５００は、正方形領域が、他の、おそらくは非正方形のサブ領域に分割された場合を示しているが、図５００は分割の可能性を示すものであって、包含する領域が正方形である必要はないことを理解されたい。包含する領域が非正方形の場合、分割の結果として生じるブロックの寸法は、包含するブロックのアスペクト比に従ってスケーリングされる。領域がそれ以上分割されなくなると、つまり符号木の葉ノードでは、ＣＵはその領域を占有する。ブロック分割部３１０によるＣＴＵの１以上のＣＵへの特定の細分化は、ＣＴＵの「符号木」と呼ばれる。

領域をサブ領域に細分化する処理は、結果として生じるサブ領域が最小ＣＵサイズに達したときに終了しなければならない。所定の最小サイズ、例えば１６個のサンプルよりも小さいブロック領域を禁止するようにＣＵを制限することに加えて、ＣＵは最小の幅または高さとして４を持つように制限される。幅及び高さの観点から、または幅または高さの観点から、他の最小値にすることも可能である。細分化の処理は、最も深いレベルへの分解前に終了することもあり、その結果、ＣＵが最小ＣＵサイズよりも大きくなることがある。分割が発生せず、単一のＣＵがＣＴＵ全体を占める可能性もある。ＣＴＵ全体を占める単一のＣＵは、利用可能な最大の符号化ユニットのサイズである。４：２：０などのサブサンプリングされたクロマフォーマットを使用しているため、ビデオエンコーダ１１４とビデオデコーダ１３４の構成により、ルマチャネルよりも早くクロマチャネルの領域の分割が終了する場合がある。

符号木の葉ノードには、更に細分化することができないＣＵが存在する。例えば、葉ノード５１０は、１つのＣＵを含む。符号木の非葉ノードでは、更に２つ以上のノードに分割し、各ノードは、１つのＣＵを形成する葉ノード、またはより小さな領域へのさらなる分割を含む非葉ノードである可能性がある。符号木の各葉ノードには、カラーチャネル毎に１つの符号化ブロックが存在する。ルマとクロマの両方で同じ深さで分割が終了すると、同じ位置にある３つのＣＢが生成される。ルマがクロマよりも深い深さで分割が終了すると、複数のルマＣＢがクロマチャネルのＣＢと同じ位置になる。

四分木分割５１２は、図５に示すように、包含する領域を４つの等しいサイズの領域に分割する。ＨＥＶＣと比較して、Versatile Video Coding（ＶＶＣ）は、水平２値分割５１４と垂直２値分割５１６を含む更なる柔軟性を達成する。分割５１４及び５１６はそれぞれ、包含する領域を２つの等しいサイズの領域に分割する。分割は、包含するブロック内において水平境界（５１４）または垂直境界（５１６）のいずれかに沿っている。

水平三分割５１８及び垂直三分割５２０を追加することにより、Versatile Video Codingにおいてさらなる柔軟性が達成される。三分割５１８及び５２０は、包含する領域の幅または高さの１／４及び３／４に沿って、ブロックを水平方向（５１８）または垂直方向（５２０）のいずれかに３つの領域に分割する。四分木、二分木、及び三分木の組み合わせは、「ＱＴＢＴＴＴ」と呼ばれる。木の根は、０個以上の四分木分割（木の「ＱＴ」セクション）を含む。ＱＴセクションが終了すると、０個以上の二分割または三分割が発生し（「多分木」または木の「ＭＴ」セクション）、最終的に木構造の葉ノードにおけるＣＢまたはＣＵで終了する。木がすべてのカラーチャネルを表す場合、木の葉ノードはＣＵとなる。木がルマチャネルまたはクロマチャネルを表す場合、木の葉ノードはＣＢとなる。

四分木のみをサポートし、結果、平方ブロックのみをサポートするＨＥＶＣと比較して、ＱＴＢＴＴＴは、特に二分木及び／または三分木分割の可能な再帰的適用を考慮することで、より多くのＣＵサイズが可能となる。分割の選択肢を制限することによって、ブロックサイズが異常（正方形でない）となる可能性を低減することができ、ブロック幅または高さが４未満のサンプル、または、４の倍数とならないサンプルへの分割を排除することができる。一般的に、ルマサンプルにを考慮することで制限が適用される。しかしながら、記載された構成では、制限はクロマチャネルのブロックに別に適用することができる。クロマチャネルに対して分割の選択肢の制限を適用すること、例えば、フレームデータが４：２：０のクロマフォーマットまたは４：２：２のクロマフォーマットの場合、ルマ対クロマで最小ブロックサイズが異なるものとなる可能性がある。各分割は、包含する領域に対して、辺の寸法が、変化無し、半分または１／４のサブ領域を生成する。そして、ＣＴＵサイズが２のべき乗倍であるため、全てのＣＵの辺の寸法も２のべき乗倍となる。

図６は、Versatile Video Codingで使用されるＱＴＢＴＴＴ（または「符号木」）構造のデータフロー６００を示す概略フロー図である。ＱＴＢＴＴＴ構造は各ＣＴＵに使用され、ＣＴＵを分割して１以上のＣＵとすることを定義する。各ＣＴＵのＱＴＢＴＴＴ構造は、ビデオエンコーダ１１４のブロック分割部３１０によって決定され、ビットストリーム１１５に符号化されるか、またはビデオデコーダ１３４のエントロピーデコーダ４２０によってビットストリーム１３３から復号される。データフロー６００は、図５に示される分割状態に従って、ＣＴＵを1以上のＣＵに分割するためにブロック分割部３１０が利用可能な、許容することのできる組み合わせをさらに特徴付ける。

階層の最上位レベル、すなわちＣＴＵから始めて、０以上の四分木分割が最初に実行される。具体的には、四分木（ＱＴ）分割判定６１０は、ブロック分割部３１０によって行われる。「１」シンボルを返す６１０での決定は、四分木分割５１２に従って、現ノードを４つのサブノードに分割する決定を示す。その結果、６２０におけるように、４つの新しいノードが生成され、そして、新しいノードそれぞれについて、ＱＴ分割決定６１０への再帰が行われる。新しいノードはそれぞれ、ラスタ（またはZスキャン）順で考慮される。あるいは、ＱＴ分割判定６１０が、それ以上の分割が実行されない（「０」シンボルを返す）ことを示す場合、四分木分割は停止し、続いて多分木（ＭＴ）分割が考慮される。

まず、ＭＴ分割判定６１２が、ブロック分割部３１０によって行われる。６１２では、ＭＴ分割を実行する判定が示されている。判定６１２で「０」シンボルを返すことは、ノードをサブノードにこれ以上分割しないことを示す。ノードの更なる分割が実行されない場合、そのノードは符号木の葉ノードであり、ＣＵに対応する。葉ノードは６２２で出力される。あるいは、ＭＴ分割６１２で、ＭＴ分割を実行する決定を示す（「１」シンボルを返す）場合、ブロック分割部３１０は方向判定６１４に進む。

方向判定６１４では、ＭＴ分割の方向を水平（「Ｈ」または「０」）または垂直（「Ｖ」または「１」）として示す。判定６１４で水平方向を示す「０」が返された場合、ブロック分割部３１０は判定６１６に進む。判定６１４で垂直方向を示す「１」が返された場合、ブロック分割部３１０は判定６１８に進む。

判定６１６及び６１８のそれぞれにおいて、ＭＴ分割のための分割数は、ＢＴ／ＴＴ分割における２（二分割または「ＢＴ」ノード）または３（三分割または「ＴＴ」）のいずれかとして示される。すなわち、６１４から示された方向が水平の場合、ＢＴ／ＴＴ分割判定６１６はブロック分割部３１０によって行われ、６１４から示された方向が垂直の場合、ＢＴ／ＴＴ分割判定６１８がブロック分割部３１０によって行われる。

ＢＴ／ＴＴ分割判定６１６は、水平分割が、「０」を返すことによって示される二分割５１４であるか、または「１」を返すことによって示される三分割５１８であるかを示す。ＢＴ／ＴＴ分割判定６１６が二分割を示す場合、ＨＢＴ ＣＴＵノード生成ステップ６２５において、水平二分割５１４に従って、ブロック分割部３１０により２つのノードが生成される。ＢＴ／ＴＴ分割６１６が三分割を示す場合、ＨＴＴ ＣＴＵノード生成ステップ６２６において、水平三分割５１８に従って、ブロック分割部３１０により３つのノードが生成される。

ＢＴ／ＴＴ分割判定６１８は、垂直分割が「０」を返すことによって示される二分割５１６であるか、または「１」を返すことによって示される三分割５２０であるかを示す。ＢＴ／ＴＴ分割６１８が二分割を示す場合、ＶＢＴ ＣＴＵノード生成ステップ６２７において、垂直二分割５１６に従って、ブロック分割部３１０により２つのノードが生成される。ＢＴ／ＴＴ分割６１８が三分割を示す場合、ＶＴＴ ＣＴＵノード生成ステップ６２８において、垂直三分割５２０に従って、ブロック分割部３１０により３つのノードが生成される。ステップ６２５～６２８で生じる各ノードについて、方向６１４に従って、左から右、上から下への順序で、ＭＴ分割決定６１２に戻るデータフロー６００が繰り返し行われる。結果として、二分木分割及び三分木分割を適用して、様々なサイズのＣＵを生成することができる。

図７Ａ及び図７Ｂは、ＣＴＵ７１０から多数のＣＵまたはＣＢへのの分割例７００を示す。ＣＵ７１２の例を図７Ａに示す。図７Ａは、ＣＴＵ７１０内のＣＵの空間配置を示す。また、分割例７００を、図７Ｂにおいて符号木７２０として示す。

図７ＡのＣＴＵ７１０の各非葉ノード、例えば、ノード７１４、７１６、７１８では、含まれているノード（さらに分割されるかまたはＣＵ）を、符号木７２０の列に示すようなノードのリストを生成するために、「Ｚ順」にスキャンまたは精査する。四分木分割では、Ｚ順スキャンの結果、左上から右の後、左下から右となる。水平方向の分割と垂直方向の分割の場合、Z順スキャン（精査）は、それぞれ、上から下へのスキャン及び左から右へのスキャンに単純化される。図７Ｂの符号木７２０は、適用されたスキャン順序に従って全てのノード及びＣＵをリスト化する。各分割により、葉ノード（ＣＵ）に達するまで、次の木のレベルで、２つ、３つ、または４つの新しいノードのリストが生成される。

ブロック分割部３１０によって、画像を分解し、最終的にＣＵまで分割し、図３を参照して説明したように、ＣＵを用いて各残差ブロック（３２４）を生成すると、残差ブロックはビデオエンコーダ１１４による順方向変換及び量子化の対象となる。結果として生じるＴＢ３３６は、順番にスキャンされて、エントロピー符号化モジュール３３８の動作の一部として、残差係数の順次リストが形成される。ビットストリーム１３３からＴＢを得るために、同様の処理が、ビデオエンコーダ１１４によって行われる。

ＣＰＵをＣＵに分割した結果、小さいサイズのＣＵ（例えば、４×４、４×８、または８×４）はフレーム内で空間的に隣接しているように見える。さらに、符号木の階層的Z順スキャンの利点として、小さいサイズのＣＵは時間的に続けて処理される。特に、８×８領域の四分木割分割により４つの一連の４×４ＣＵが得られ、８×４または４×８領域の二分割により、一対の４×４ＣＵが得られ、８×８領域の二分割により、一対の４×８領域または一対の８×４領域が得られる。得られた各領域（４×８または８×４のサイズ）は、ＣＵを形成するか、または４×４ＣＵに更に分割することができる。６４のサンプルの領域に三分割を適用すると、サイズ１６、３２、及び１６、すなわち、４×４、4×８または８×４、及び４×４の３つの領域が生成される。１２８のサンプルの領域に三分割を適用すると、サイズ３２、６４、３２、例えば、４×８、８×８、４×８の３つの領域が生成される。小さいブロック（例えば４×４、４×８、８×４）は、６４または１２８のようなサイズの領域を分割した結果であるので、空間的にも、ＣＴＵのＺ順スキャンにおいても、一緒に見られる。

図８は、ビデオエンコーダ１１４及びビデオデコーダ１３４それぞれの行列イントラ予測モジュール３９０及び４８２の動作を、８×８ブロックを使用して、詳細に示すデータフロー８００である。行列イントラ予測は、図８の例ではルマチャネルでのみ実行され、４：２：０や４：２：２などのクロマフォーマットを使用することにより生じる異なるブロックサイズを考慮する必要はない。モジュール３９０及び４８２は、それぞれ３９３または４８３のような行列予測サンプルのブロックを出力する。モードセレクタ３８６がＣＵに対して行列イントラ予測を選択したときに、ブロック３９３は、ビデオエンコーダ１１４においてＰＢ３２０として用いられる。ビットストリーム１３３からのＣＵの予測モードを復号することによって、行列イントラ予測の使用が示された場合、ブロック４８３は、ＰＢ４８３として用いられる。

モジュール３９０及び４８２の動作は、３つのステップを含む：１．平均化、２．行列乗算及びオフセット（バイアス）加算、３．双線形補間である。双線形補間は、ＣＵのサイズが４×４より大きい場合にのみ行われる。平均化ステップは以下のように動作する。参照サンプル８０２（例えば３５８または４６４）がデータフロー８００で受信され、上サンプル８２２及び左サンプル８２０として割り当てられる。ルマＣＢの幅及び高さが４より大きい場合、上サンプル８２２は４つのセットに分割される（図８の８×８ブロックの例における４対）。４つのセットそれぞれのコンテンツの値は平均されて、４つのフィルタ処理された上サンプル８２６が生成される。同様に、左サンプル８２０は４つのセット（図８の８×８ブロックの例における４対）に分割される。４つのセットそれぞれのコンテンツの値は平均されて、４つのフィルタ処理された左サンプル８２４が生成される。従って、合計８つのフィルタ処理されたサンプルが行列乗算モジュール８２８への入力となる。

ブロックの幅及び高さが４に等しい場合（図８に示されるように８ではなく）、４つの上サンプル８２２は２対に分割され、それぞれが平均化されてフィルタ処理された２つの上サンプル８２６が生成される。同様に、４つの左サンプル８２０は２対に分割され、それぞれが平均化されてフィルタ処理された２つの左サンプル８２４が生成され、合計４つのフィルタ処理されたサンプルが行列乗算モジュール８２８への入力となる。

第２のステップ（行列乗算）において、受信された行列係数（３６３または４８１）が行列イントラ予測モード（３８８または４５８）に従って選択され、行列乗算モジュール８２８にも入力される。また、行列乗算モジュールには、オフセット値またはバイアス値のセットも入力される。オフセットまたはバイアス値は、行列乗算の結果に加算されることで、任意のＤＣシフトが含まれるようになる。行列係数とバイアス値は予め決定されている。言い換えると、行列係数とバイアス値は「オフライン」トレーニングプロセスの結果であり、ビデオエンコーダ１１４とビデオデコーダ１３４にとって定数値と見なされる。

４×４ＣＢの場合、１８セットの行列係数とバイアス値（セットＡ）を備えた３５のＭＩＰモードが利用可能である。４×８、８×４、８×８ＣＢの場合、１０セットの行列係数とバイアス値（セットＢ）を備えた１９のＭＩＰモードが利用可能である。他のＣＢサイズの場合、６セットの行列係数とバイアス値（セットＣ）を備えた１１のＭＩＰモードが利用可能である。与えられた行列係数とバイアス値のセットは、２つのＭＩＰモードに使用され得る。一方のＭＩＰモードは提供された値を使用し、他方のＭＩＰモードは提供された値の転置行列を使用する。さらに、ある場合には、行列係数とバイアス値のセットが１つのＭＩＰモード専用となる。３つのケースはそれぞれ、セットＡ～Ｃのそれぞれに適用される。セットＡ～Ｃのサイズは以下に示す通りであり、また、セットＡ～Ｃのそれぞれに与えられた１つのＰＢの生成（つまり、１つのＣＵに対するＭＩＰモードの適用）に使用するための、３６２または４８１によって選択されたワード数も示す。
セットＡ：サイズ１６×４の１８個の行列、サイズ１６の１８個のオフセットベクトル。ＣＢのために選択された値のサイズは、１６×４＋１６＝８０ワード。
セットＢ：サイズ１６×８の１０個の行列、サイズ１６の１０個のオフセットベクトル。ＣＢのために選択された値のサイズは、１６×８＋１６＝１４４ワード。
セットＣ：サイズ６４×８の６個の行列、サイズ６４の１０個のオフセットベクトル。ＣＢのために選択された値のサイズは、６４×８＋６４＝５７６ワード。

ビデオエンコーダ１１４及びビデオデコーダ１３４は、フレームサイズ及びフレームレートによって決まるピクセルレートでビデオデータを処理する。さらに、ルマＣＢのサイズは、幅と高さが４の倍数である。従って、セットＡ～Ｃためのメモリ帯域幅要件は、４×４のルマサンプルへのアクセスにより表現することができる。各ＣＵに対するＭＩＰモードの使用に制約がない場合の、各セットに対する、最悪の場合のセットＡ～Ｃそれぞれ、つまり最小ブロックサイズの各セットへのアクセス密度は次の通りである。
セットＡ：４×４ＣＢは、４×４サンプル領域あたり８０ワード必要。
セットＢ：４×８及び８×４ＣＢは、４×４サンプル領域あたり１４４÷２＝７２ワード必要、８×８ＣＢは、４×４サンプル領域あたり１４４÷４＝３６ワード必要。
セットＣ：８×１６及び１６×８ＣＢは、４×４サンプル領域あたり５７６÷８＝７２ワード必要、８×３２、１６×１６、３２×８ＣＢは、４×４サンプル領域あたり５７６÷１６＝３６ワード必要、更に大きいサイズのＣＢは、４×４サンプル領域あたりより少ないワードが必要。

上記のアクセス密度によって示されるように、ＭＩＰモードの使用に制約がない場合、最悪の場合、すべてのＣＢがＭＩＰモードを使用する可能性があり、符号木は、各ＣＴＵを、最悪の場合の係数メモリ（４８６、３９２）帯域幅を示すために上記で使用された小さなＣＢサイズに分解する可能性がある。行列係数とバイアス値の名目上のワードサイズは１６ビットであるが、より少ないビット、例えば１０ビットで十分な場合がある。グループ単位でのワードの取り出しは、実施可能な選択肢の1つである。しかしながら、メモリ帯域幅の負担はやや高いまま残る。

ＭＩＰモード選択の統計値によれば、典型的には、（JVET common test conitions文書ＪＶＥＴーＮ１０１０で定義されるように）広いテストセットの場合の２０％において、上と左のブロックを考慮した場合、隣接して配置されたＣＢに対してＭＩＰモードが選択される。従って、ＭＩＰモードの適用頻度を制限することにより、ＭＩＰモードの利用可能性の観点から、圧縮効率ゲインの相応の低下を引き起こすことなく、係数メモリ４８６及び３９２に必要な最悪の場合のメモリ帯域幅を軽減することが可能である。ＭＩＰモードの選択に関する制約については、図１１～図１６を参照して説明する。

行列乗算モジュール８２８は、行列係数のセット（３６３または４８１）及びフィルタ処理された参照サンプル（すなわち、８２４及び８２６）を使用して行列乗算を実行する。バイアス値が行列乗算の出力に加算されて、疎ブロック８３０が形成される。疎ブロック８３０は、部分的に３９３または４８３を埋める、網掛けされたサンプルとして表されている。３９３または４８３の残りのサンプルは、上参照サンプル８２２とフィルタ処理された左参照サンプル８２４、または左参照サンプル８２０とフィルタ処理された上サンプル８２２のいずれかからの寄与により（図８に示されるように）、双線形補間を用いて導出される。

図９Ａは、ＣＴＵ９００の一例を示す。ＣＴＵ９００は、ＭＩＰモードのメモリアクセス帯域幅が適用される領域を有する。行列イントラ予測は、ＶＰＤＵサイズの領域、つまり１２８×１２８のＣＰＵ９００の６４×６４の象限内で適用される。例えば、割当量が適用される５１２のルマサンプル領域は、（ｉ）３２×１６の領域９１２、（ｉｉ）１６×３２の領域９１４、及び（ｉｉｉ）６４×８の領域９１６を含む。領域９１２は、更に、様々なＣＵ、すなわち、図９Ｂの９１２ａ～９１２ｈに分解される。図９Ｂの例では、ＣＵ９１２ａのサイズは１６×４であるため、セットＣに属し、ＣＵ９１２ｄのサイズは８×８であるため、セットＢに属し、同様に９１１２ｂ、９１２ｃ及び９１２ｅ（すべてサイズ８×４）もセットＢに属する。ＣＵ９１２ｆ及びＣＵ９１２ｇは、それぞれ４×４であり、セットＡに属する。図１１から図１６を参照して説明するように、５１２のルマサンプルの領域の面積は、ＭＩＰモードに制約を適用するかどうかを決定するための閾値として記載された構成で使用することができる。上記のセットＡからＣは通常、領域の分割から生じるため、５１２のサンプルの領域の面積を使用することは制約として適している。しかしながら、閾値は、以下に説明するように、異なる面積に関連し得る。

図１０は、図９ＡのＣＴＵ９００の例に対応する符号木１０を示している。領域９１２は、領域９１４及び９１６と同様に、含まれるＣＵに対する割当量がＭＩＰ行列係数の読み取りのために確立されている符号木のノードに対応する。領域における１以上のＣＵへの分解は、簡略化のために不図示とする。ＭＩＰモードを使用するように構成された各ＣＵについて、セットＡ～Ｃの１つにマッピングするＣＵサイズに応じた割当量は、図１１乃至図１６を参照して以下に説明するように、領域（すなわち、９１２、９１４、９１６）の割当量から差し引かれる。

図１１は、画像フレームの符号化ユニットをビデオビットストリーム１１５に符号化するための方法１１００を示している。方法１１００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１１００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行され得る。従って、方法１１００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。一連の符号化ユニットである画像フレームをビットストリーム１１５に符号化する方法１１００の動作は、行列イントラ予測の使用に制限をかける。従って、方法１１００の動作は、制限がない場合の最悪の場合の潜在的なメモリ帯域幅と比較して、行列イントラ予測で必要なメモリ帯域幅に制限をつけることになる。方法１１００は、フレームをＣＴＵに分割するステップ１１１０から始まる。

フレームをＣＴＵに分割するステップ１１１０において、ブロック分割部３１０は、プロセッサ２０５の実行下で、フレームデータ１１３の現フレームをＣＴＵの行列に分割する。分割の結果として生じるＣＴＵの符号化処理を開始する。プロセッサにおける制御は、ステップ１１１０から符号木の決定ステップ１１２０に進む。

符号木の決定ステップ１１２０で、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、図５から図７を参照して説明したように、様々な分割オプションをテストすると共に、ＣＴＵの符号木に到達するための符号化ユニットの決定ステップ１１３０の動作が行われる。ステップ１１２０の動作は、図１２を参照して説明する。プロセッサ２０５における制御は、ステップ１１２０から、符号化ユニットの予測モードの決定ステップ１１３０に進む。

符号化ユニットの決定ステップ１１３０において、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、選択された符号化ユニットをビットストリーム１１５に符号化する際に使用する予測モードを決定する。符号化ユニットは、スキャンパターンに従って選択することができる。ステップ１１３０の動作は、図１３を参照してさらに説明する。符号化ユニットの予測モードが一旦選択されると、プロセッサ２０５における制御は、ステップ１１３０から符号化ユニットの符号化ステップ１１４０に進む。符号化ユニットのための予測モードの選択に際して、符号化ユニットは、符号化ユニット自体が符号木の分割の階層から生じるものであるため、所定の符号化ユニットに到達するための特定の分割の組み合わせも選択され、これにより、符号木が決定される。

符号化ユニットの符号化ステップ１１４０において、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、ステップ１１３０で決定された符号化ユニットをビットストリーム１１５に符号化する。決定された符号木は、プロセッサ２０５の実行下で、図５及び図６に示すように、選択された分割を示すために「分割フラグ」及び他の構文要素を使用して、エントロピーエンコーダ３３８によってステップ１１４０でビットストリーム１１５に効率的に符号化される。

ステップ１１４０での動作は、図１４を参照してさらに説明する。プロセッサ２０５における制御は、ステップ１１４０から最終符号化ユニットテストステップ１１５０に進む。

最終符号化ユニットテストステップ１１５０で、プロセッサ２０５は、現在の符号化ユニットがステップ１１２０の符号木における最後の符号化ユニットであるかどうかをテストする。現符号化ユニットがステップ１１２０の符号木における最後のものである場合（ステップ１１５０で「ＹＥＳ」）、プロセッサ２０５における制御は、最終ＣＴＵテストステップ１１６０に進む。現符号化ユニットがステップ１１２０の符号木における最後のものでない場合（ステップ１１５０で「ＮＯ」）、ステップ１１２０の符号木における次の符号化ユニットが、決定及び符号化のためのスキャンパターンを使用して選択され、プロセッサ２０５における制御は、ステップ１１３０に進む。従って、ステップ１１３０は、ステップ１１２０で決定された符号木から生じる各ＣＵに対して実行される。

最終ＣＴＵテストステップ１１６０で、プロセッサ２０５は、現ＣＴＵがスライスまたはフレーム内の最後のＣＴＵであるかどうかをテストする。そうでない場合（ステップ１１６０で「ＮＯ」）、ビデオエンコーダ１１４はフレーム内の次のＣＴＵに進み、プロセッサ２０５における制御はステップ１１６０からステップ１１２０に戻り、フレーム内の残りのＣＴＵの処理を継続する。ＣＴＵがフレームまたはスライスの最後のものである場合、ステップ１１６０は「ＹＥＳ」を返し、方法１１００は終了する。方法１１００の動作の結果、画像フレーム全体が一連のＣＴＵとしてビットストリームに符号化される。

方法１１００は、ビデオシーケンス内の各画像フレームに対して実行される。方法１１００は、ＣＴＵ毎にＣＵを決定することができる。言い換えると、ＣＴＵのＣＵが、まず１つのパスまたはパイプラインステージで決定され、次に、ビットストリームに符号化する第２段階が続く。方法１１００はまた、ＣＴＵと比較してＶＰＤＵの面積は小さいためにメモリ消費が削減されるため、例えば、ＶＰＤＵ毎に、より細かくＣＵを決定してもよい。

図１２は、ステップ１１２０で実施されるＣＴＵの符号木を決定する方法１２００を示す。方法１２００は、ＣＴＵを受信し、評価のための候補分割及び候補符号化ユニットを生成し、ビットストリーム１１５に符号化される分割及び符号化ユニットを最終的に選択する。特に、方法１２００は、ノード下、すなわち空間領域内で、符号化ユニットにおけるＭＩＰモードの適用を制限する、符号木内の特定のノードまたは領域におけるＭＩＰモードメモリ帯域幅の割当量を確立する。方法１２００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１２００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行され得る。従って、方法１２００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１２００は、候補符号木内の各ノード（領域）について実施される。方法１２００は、領域面積テストステップ１２１０で開始する。

領域テストステップ１２１０において、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、利用可能な分割オプションに従って（図５に関連して説明した分割オプションを使用して）、符号木の候補ノードによって占有される面積をテストする。説明した構成では、領域は、分割が停止する前にさらに分割し、ＣＵが形成され得る符号木のノードに関連する。領域は、現符号化ユニットの直接の親に対応する必要はない。つまり、ＭＩＰモードのメモリアクセス帯域幅の割当量が設定された親領域は、符号木の現ノードより上の複数のノードである可能性がある。例えば、５１２のルマサンプルの領域は、例えば４×４、４×８、８×４等のサイズの、多数の小さな符号化ユニットに分割できる。エンコーダによる検索が進むにつれて、候補の分割から生じるさまざまな候補ノードがテストされる。各候補ノード内で、結果として得られる符号化ユニットのさまざまな予測モードがテストされる。領域が占めるルマサンプルの面積が閾値を満たさない場合、領域面積テストは、真と評価し、プロセッサ２０５における制御は、ステップ１２１０から割当量設定ステップ１２２０に進む。領域により占められるルマサンプルの面積が閾値を満たしている場合、領域面積テストは偽と評価され、プロセッサ２０５における制御は、ステップ１２１０から分割生成ステップ１２３０に進む。一実施形態では、図１１から図１６の例に示されるように、閾値は５１２サンプルであり、領域が５１２サンプルより大きい面積を有するときに満たされる。以下に説明するように、他の閾値を使用することもできる。閾値は、通常、エンコーダ１１４及びデコーダ１３４の必要な性能に基づいて事前に決められている。

割当量設定ステップ１２２０において、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、符号木の現ノードの面積に対応する領域に対する割当量を設定する。この割当量は、現領域をより小さな領域に分割した結果として生じる、現領域内のすべてのサブノード（サブ領域）で使用できる。５１２以下のルマサンプルのすべての領域について、符号化ユニット予測モードが評価されているときに、ＭＩＰモードを適用している場合の割当量を考慮することができる。５１２のルマサンプルの面積は、例えば、三分割の対象となる可能性があり、その結果、面積１２８、２５６、及び１２８のルマサンプルの符号化ユニットが生成される。面積１２８のルマサンプルの符号化ユニットの寸法は、８×１６または１６×８である可能性があり、その場合、最悪の場合のメモリ帯域幅制限に達する可能性があり、その結果、領域内における他の符号化ユニットにＭＩＰモードを使用できなくなり、領域が更に細分化される可能性を含む。５１２のルマサンプルの面積が、例えば１６×１６の、ルマサンプル面積が２５６の２つの符号化ユニットに二分割される場合、最悪の場合のメモリ帯域幅制限に到達せず、結果として得られるＣＵに対するＭＩＰモードの使用に制限は生じない。ただし、サンプル面積が２５６の領域それぞれを、より小さなＣＵ、つまり、サイズ１６×８、８×１６、８×８、８×４、４×８、及び４×４のＣＵにさらに分割すると、先に結果として生じたＣＵが割当量を消費しているために、後で結果として生じるＣＵのＭＩＰモードの使用が制限される可能性がある。

４×４が最小のルマ符号化ユニットのサイズであり、他のすべての符号化ユニットはこのサイズの整数倍であり、従ってすべての領域もこのサイズの複数倍であるため、割当量は４×４ブロック面積あたりの最大ワード読み出しとして表現することができる。割当量は、４×４ブロックの場合は４０ワード読み出しであり、ルマサンプル面積が５１２の場合、５１２ルマサンプル領域において許可される読み出し動作の最大数として、（５１２÷（４×４）＊４０＝１２８０ワード読み出しに対応する。ＣＵにＭＩＰモードを使用する度に、必要な読み取り数が割当量から差し引かれ、ＭＩＰモードをさらに使用するには割当量が不十分となると、図１３及び図１４に関連して説明するように、それ以上のＣＵはＭＩＰモードを使用できなくなる。このようにして、より大きなサイズのＣＵは、ＭＩＰモードを使用することができ、例えば、面積５１２のサンプルの単一のＣＵまたは面積２５６のサンプルのＣＵのペアは、制約から制限を受けること無くＭＩＰモードを使用することができる。符号木が面積５１２のサンプルを多数のより小さなＣＵに分解する場合、割当量が消費されることにより、領域内のそれ以上のＣＵによるＭＩＰモードの使用を禁止する可能性がある。４×４あたり４０ワードの割当量を有する５１２サンプル面積の場合、領域の合計の割当量は５１２÷（４×４）＊４０＝１２８０ワードとなる。５１２サンプル面積を８×１６または１６×８のサイズの４つのＣＵに分割した場合、２つのＣＵでＭＩＰモードを使用すると、ＣＵあたり５７６ワード、つまり１１５２ワードが消費される。残りの割当量である１２８ワード読み出しでは、領域内の他の２つのＣＵがＭＩＰモードを使用するには不十分である。プロセッサ２０５における制御は、ステップ１２２０から分割生成ステップ１２３０に進む。

分割生成ステップ１２３０において、ブロック分割部３１０は、プロセッサ２０５の実行下で、符号木における現ノードの候補分割セットを生成する。分割は図５に示す通りであり、関連する構文要素は図６に示され、図７に例示されている。「分割なし」、つまり５１０を生成する場合、符号化ユニットは後で生成される。他の分割タイプ、つまり５１２～５２０を生成する場合、符号木の追加のノードが各分割に従って生成される。方法１２００は、方法１２００が後で行われるときに「分割なし」で生成が行われた場合に、追加のノードの符号化ユニットを生成するために繰り返される。方法１２００は、ＣＴＵの各ノードに対して順番に繰り返される。従って、ＣＴＵのすべての分割が決定される。また、分割内で分割の生成を繰り返し行うため、二分割、三分割、及び四分木分割を使用した再帰数を制限する可能性のある最小ＣＵサイズ及び深さの再帰制約の制約内で、与えられたＣＴＵにおけるすべての可能な符号化ユニットが検索される。プロセッサ２０５における制御は、ステップ１２３０からＣＵ生成ステップ１２４０に進む。

ＣＵ生成ステップ１２４０において、ブロック分割部３１０は、プロセッサ２０５の実行下で、分割生成ステップ１２３０で「分割なし」が生成された各場合に候補ＣＵを生成する。ステップ１２４０では、候補ＣＵの予測モードはまだ決定されておらず、最終モードはまだ選択されていないが、Z順スキャンで先行するＣＵの予測モードは分かっている。従って、隣接する（ＣＵ内の位置に関して）参照サンプルは、現ＣＵを含む分割と同じ分割操作からの隣接ＣＵから、または異なる親領域から生じる隣接領域から、または全く異なるＣＴＵからのイントラ予測に使用することができる。ステップ１２４０は、符号木の領域を、図３に関連して説明したような予測ブロックを含む符号化ブロックに効率的に分割する。方法１２００は、ステップ１２４０で終了し、プロセッサ２０５における制御は方法１１００に戻り、生成されたＣＵの予測モードが決定される。

図１３は、ステップ１１３０で実施される符号化ユニットを決定するための方法１３００を示す。方法１３００は、方法１２００を実行することによって生成される符号化ユニットの予測モードの決定を含む。予測モードは、イントラ予測、インター予測、及び現符号化ユニットを含む領域内でＭＩＰモードを使用するための割当量に応じたＭＩＰモードを含む。方法１２００で確立した割当量は、現ＣＵに対してＭＩＰモードをテストするかどうかを制御するために使用される。割当量の一部は、ＣＵ内の符号語の数に応じて、領域内のＣＵが最悪の場合のブロックのサイズになる度に（上記のケースＡ～Ｃに関連して説明したように）消費される。割当量が一旦消費されると、領域内におけるＭＩＰモードを潜在的に使用する可能性のある符号化ユニットはそれ以上検索されない。つまり、方法１３００は、方法１３００の以前の実施により、符号木の共通の親ノードに適用される設定されたメモリアクセス帯域幅の割当量を使い果たしていない場合にのみ、ＭＩＰモードのテストを実行する。

領域は、現符号化ユニットの直接の親に対応する必要はない、すなわち、ＭＩＰモードメモリアクセス帯域幅割当量が設定された親領域は、符号木の現ノードにおける現ノードより上の複数のノードであり得る。例えば、５１２ルマサンプルの領域は、例えば４×４、４×８、８×４等のサイズの多数の小さな符号化ユニットに分割され得る。各ＣＵについて、ＭＩＰモードの使用は、５１２ルマサンプルの領域のための割当量の残りによって制限される。方法１３００は、モードセレクタ３８６によって、または部分的にモジュール３９６０によって実施され得る。方法１３００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１３００は、プロセッサ２０５の実行下でビデオエンコーダ１１４によって実行され得る。従って、方法１３００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１３００は、イントラ予測モードのテストステップ１３１０で開始する。

イントラ予測モードのテストステップ１３１０において、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、現符号化ユニットを符号化する際に使用する可能性のある、「通常の」イントラ予測モード、すなわちＤＣ、平面、及び角度イントラ予測モードをテストする。ＣＵで使用可能なイントラ予測モードの中から最適なイントラ予測モードを選択するために、一般的に、ラグランジュ最適化が実行される。二次変換、つまり３３０と３４４の適用もテストされ、変換スキップの場合を含む異なるタイプの一次変換（ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７）もテストされる。プロセッサ２０５における制御は、ステップ１３１０からインター予測モードのテストステップ１３２０に進む。

インター予測モードのテストステップ１３２０において、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、インター予測されたＰＵを生成するための様々な動きベクトルをテストする。インター予測の使用を評価する場合、動きベクトルは、候補の動きベクトルセットの中から選択される。候補の動きベクトルは、検索パターンに従って生成される。候補の動きベクトルのために取得された参照ブロックの歪みをテストする場合、符号木で禁止されているクロマ分割の適用が考慮される。分割がクロマで禁止され、ルマで許可されている場合、結果として得られるルマＣＢはインター予測を使用しても良い。動き補償は、ルマチャネルにのみ適用されるため、歪み計算では、ルマの歪みは考慮されるが、クロマの歪みは考慮されない。クロマ分割が禁止されている場合、クロマチャネルで動き補償が実行されないため、クロマ歪みは考慮されない。クロマの場合、考慮されるイントラ予測モードと符号化されたクロマＴＢ（存在する場合）に起因する歪みが考慮される。ルマとクロマの両方を考慮する場合、インター予測検索では、最初にルマの歪みに基づいて動きベクトルを選択し、次にクロマの歪みも考慮して動きベクトルを「微調整」することができる。微調整では、通常、サブピクセル変位など、動きベクトル値の小さな変動が考慮される。特定の動きベクトルは、「マージモード」によって生成されるものであり得、それにより、現ＣＵの動きベクトルは、隣接するＣＵからの動きベクトルから導出される。マージモードは、選択された「動きベクトル予測子」に関連して適用される「動きベクトルデルタ」のシグナリングを必要とする可能性がある他の動きベクトルと比較して、ビットストリーム構文により、より完結に表現される。動きベクトル予測子は、一般に、空間的または時間的に隣接するＣＵから導出される。イントラ符号化されたスライス、例えば、一連のフレームの最初のフレームの場合、インター予測は利用できないため、ステップ１３２０は実行されない。プロセッサ２０５における制御は、ステップ１３２０から割当量内テストステップ１３３０に進む。

割当量内テストステップ１３３０で、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、ＭＩＰモードメモリアクセス帯域幅割当量が現ＣＵに適用可能であるかどうかをテストする。１３３０で実行されるテストは、現ＣＵがステップ１２２０においてＭＩＰモード割当量が確立された、５１２ルマサンプル領域内に含まれるかどうかを判定する。現ＣＵが５１２ルマサンプル領域よりも大きい場合、適用される割当量の制約は無い。従って、ＣＵは、ＭＩＰモードの使用に対する更なる制約を受けることはなく、プロセッサ２０５における制御は、ＭＩＰモードのテストステップ１３４０に進む（１３３０で「真」）。現ＣＵのサイズが５１２ルマサンプルのサイズ以下の場合、図８を参照して説明したように、現ＣＵでＭＩＰモードを使用するために必要な割当量を、その領域の割当量の残りと比較する。ＭＩＰモードを現ＣＵに適用するのに十分な割当量が無い場合、プロセッサ２０５における制御は、ステップ１３３０からモード選択ステップ１３５０に進む（ステップ１３３０で「偽」）。ＭＩＰモードを現ＣＵに適用するのに十分な割当量がある場合（ステップ１３４０で「真」）、プロセッサ２０５における制御は、ステップ１３３０からステップ１３４０に進む。

ＭＩＰモードのテストステップ１３４０において、モードセレクタ３８６は、さまざまなＭＩＰモードをテストして、ＣＵのサイズに対して利用可能なＭＩＰモードの中から、現ＣＵを予測するために使用する最良のＭＩＰモードを決定する。ステップ１３１０におけるイントラ予測モードのテストと同様に、テストされたＭＩＰモードの符号化コストとそれらに関連する残差に対する歪みを打ち消すために、ラグランジュ最適化を実行しても良い。プロセッサ２０５における制御は、ステップ１３４０からモード選択ステップ１３５０に進む。

モード選択ステップ１３５０において、プロセッサ２０５の実行下で、モードセレクタ３８６は、ステップ１３１０、１３２０、及び１３５０で得られた候補から、ＣＵの最終モードを選択する。方法１３００は、プロセッサ２０５における制御が方法１１００に戻ることで終了する。

図１４は、ステップ１１４０で実施されるように、ＣＴＵの符号木の符号化ユニットをビデオビットストリーム１１５に符号化するための方法１４００を示す。方法１４００は、構成されたＦＰＧＡ、ＡＳＩＣ、ＡＳＳＰ等の装置によって具現化され得る。さらに、方法１４００は、プロセッサ２０５の実行下で、例えばエントロピーエンコーダ３３８等のビデオエンコーダ１１４によって実行することができる。従って、方法１４００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１４００は、予測モードの符号化ステップ１４１０で開始する。

予測モードの符号化ステップ１４１０において、ステップ１３５０で決定され、予測モード３８７によって示されるように、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、イントラ予測（通常のイントラ予測モード使用またはＭＩＰモード使用の両方を含む）またはインター予測のいずれかの使用を示すコンテキスト符号化ビンを使用してフラグを符号化する。ステップ１４１０でのフラグの符号化は、通常のイントラ予測とＭＩＰモードとを区別しない。通常のイントラ予測とＭＩＰイントラ予測（適用可能な場合）との区別は、ＭＩＰモードフラグ符号化ステップ１４３０で符号化される。プロセッサ２０５における制御は、ステップ１４１０から割当量テストステップ１４２０に進む。

割当量テストステップ１４２０において、プロセッサ２０５の実行下で、ビデオエンコーダ１１４は、ＭＩＰモードのメモリアクセス帯域幅割当量が現ＣＵに適用可能であるかどうかをテストする。このテストにより、現ＣＵが、ステップ１２２０でＭＩＰモード割当量が確立された、５１２ルマサンプル領域に含まれるかどうかを決定する。現ＣＵが５１２ルマサンプル領域よりも大きい領域に含まれる場合、適用すべき割当量の制約は無く、ＣＵはＭＩＰモードの使用に関してそれ以上の制約を受けない。プロセッサ２０５における制御は、ＭＩＰモードフラグの符号化ステップ１４３０に進む（１４２０で「ＴＲＵＥ」）。

現ＣＵが５１２ルマサンプルのサイズ以下の領域に含まれる場合、図８を参照して説明したように、現ＣＵにＭＩＰモードを使用するために必要な割当量を、その領域のための割当量の残りと比較する。ＭＩＰモードを現ＣＵに適用するのに十分な割当量が無い場合、プロセッサ２０５における制御は、ステップ１４２０からＴＢの符号化ステップ１４４０に進む（ステップ１４２０で「ＦＡＬＳ」）。しかしながら、ＭＩＰモードを現ＣＵに適用するのに十分な割当量がある場合（１４２０で「ＴＲＵＥ」）、現ＣＵが５１２サンプル以下の領域にある場合でも、プロセッサ２０５における制御はステップ１４２０からステップ１４３０に進む。ステップ１４２０の動作は、ステップ１３３０の動作に対応し、従って、ＭＩＰフラグのみが、方法１３００でＭＩＰモードが検索されたＣＵについて、方法１４００で符号化される。

ＭＩＰモードフラグの符号化ステップ１４３０において、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、ステップ１３５０で決定されたように、ＭＩＰモードか否かの選択を示すコンテキスト符号化されたビンをビットストリーム１１５に符号化する。ビンを符号化するために使用するコンテキストは、ステップ１４２０を参照して説明する。ＭＩＰモードが選択された場合、エントロピーエンコーダ３３８は、どの特定のＭＩＰモードがビットストリーム３３８への符号化に使用されたかの選択も符号化する。ＭＩＰモードは、「最も可能性の高いモード」と残りのモードの間の選択を使用する代わりに、短縮された二値符号語を使用して符号化してもよい。短縮された二値符号語を使用することで、最も可能性の高いモードが隣接する角度イントラ予測されたＣＵから導出された潜在的なテーブルルックアップを含む、最も可能性の高いモードのリストを導出する必要が無くなる。プロセッサ２０５における制御は、ステップ１４３０からＴＢの符号化ステップ１４４０に進む。

ＴＢの符号化ステップ１４４０において、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、現ＣＵに関連するＴＢの残差係数をビットストリームに符号化する。一般に、各ＴＢのフラグは、少なくとも１つの有意係数の存在を示し、係数は、最後の有意係数位置からＤＣ（左上端）係数位置に戻るスキャンパターンに従って１つずつ符号化される。これにより方法１４００は終了し、プロセッサ２０５における制御は方法１１００に戻る。

図１５は、ビデオビットストリーム１３３から画像フレームの符号化ユニット及び変換ブロックを復号する方法１５００を示す。方法１５００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１５００は、プロセッサ２０５の実行下で、ビデオデコーダ１３４によって実行され得る。従って、方法１５００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１５００は、フレームをＣＴＵに分割するステップ１５１０で開始する。

フレームをＣＴＵに分割するステップ１５１０で、ビデオデコーダ１３４は、プロセッサ２０５の実行下で、フレームデータ１３３（復号予定）の現フレームをＣＴＵの行列に分割する。分割の結果として生じるＣＴＵの復号が始まる。プロセッサ２０５における制御は、ステップ１５１０から符号化ユニットの復号ステップ１５２０に進む。

符号化ユニットの復号ステップ１５２０で、エントロピーデコーダ４２０は、プロセッサ２０５の実行下で、図５から図７を参照して説明したように、符号木に従ってビットストリーム１３３から分割フラグを復号する。分割フラグを復号することにより、ステップ１５２０は、ＣＴＵ内、すなわち、ＣＴＵの符号木に従って、ＣＵのサイズ及び位置を決定する動作を行うことができる。方法１３００の進行は、ステップ１５２０への反復を含み、その結果、ＣＴＵの符号木全体を精査することになり、各ＣＵが復号される。プロセッサ２０５における制御は、ステップ１５２０から符号化ユニットの復号ステップ１５３０に進む。

符号化ユニットの復号ステップ１５３０において、エントロピーデコーダ４２０は、プロセッサ２０５の実行下で、ビットストリーム１３３から符号化ユニットを復号する。ステップ１５３０は、以下に図１６に関連して説明する方法１６００を呼び出して、ＣＵを復号する。プロセッサ２０５における制御は、ステップ１５３０から最終符号化ユニットのテストステップ１５４０に進む。

最終符号化ユニットのテストステップ１５４０で、プロセッサ２０５は、ステップ１５２０で分割フラグを復号することから決定されるように、現符号化ユニットがＣＴＵの最後の符号化ユニットであるかどうかをテストする。現符号化ユニットがＣＴＵの最後の符号化ユニットである場合（ステップ１５４０で「ＹＥＳ」）、プロセッサにおける制御は、最終ＣＴＵテストステップ１５５０に進む。現在の符号化ユニットがステップ１５２０の符号木における最後の符号化ユニットでない場合（ステップ１５４０で「ＮＯ」）、ステップ１５２０の符号木における次の符号化ユニットを復号するために選択し、プロセッサ２０５における制御は、ステップ１５２０に進む。

最終ＣＴＵテストステップ１５５０で、プロセッサ２０５は、現ＣＴＵがスライスまたはフレーム内の最後のＣＴＵであるかどうかをテストする。現ＣＵが最後のＣＵではない場合（ステップ１５５０で「ＮＯ」）、ビデオデコーダ１３４は、フレームまたはスライス内の次のＣＴＵに進み、フレーム内の残りのＣＴＵの処理を続行するために、プロセッサ２０５における制御はステップ１５５０からステップ１５２０に戻る。ＣＴＵがフレームまたはスライスの最後のＣＴＵである場合、ステップ１５５０は「ＹＥＳ」を返し、方法１５００は終了する。方法１５００の結果として、ビットストリームから画像フレーム全体が一連のＣＴＵとして復号される。

図１６は、ステップ１５３０で実施される、ビデオビットストリーム１３３から符号化ユニットを復号する方法１６００を示す。方法１６００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１６００は、プロセッサ２０５の実行下で、ビデオデコーダ１３４によって実行され得る。従って、方法１６００は、コンピュータ可読記憶媒体上及び／またはメモリ２０６内に格納され得る。方法１６００は、ｐｒｅｄ＿ｍｏｄｅフラグの復号ステップ１６０２で開始する。

ｐｒｅｄ＿ｍｏｄｅフラグの復号ステップ１６０２において、エントロピーデコーダ４２０は、コンテキスト符号化されたビンを復号して、現符号化ユニットがインター予測またはイントラ予測（ＭＩＰモードを含む）を使用するかを決定する。プロセッサ２０５における制御は、ステップ１６０２からインター予測テストステップ１６０４に続く。ステップ１６０４では、ｐｒｅｄ＿ｍｏｄｅフラグからインター予測が使用されたかどうかを決定する。現在の符号化ユニットがインター予測を使用する場合（インター予測テストステップ１６０４で「ＴＲＵＥ」）、プロセッサ２０５における制御は、ステップ１６０２からインター予測の実行ステップ１６０６に続く。ステップ１６０６でインター予測が実行され、その結果、参照ブロック（４３４）が取り込まれると共に、フィルタ処理してＰＵを生成し、続いて各カラーチャネルのＴＢを復号し、ＴＢ（１６９０）をＰＵに加算してＣＵを復号する。プロセッサ２０５における制御は、ステップ１６０６からＴＢの加算ステップ１６９０に続く。

現符号化ユニットがイントラ予測またはＭＩＰモードを使用する場合（ステップ１６０４で「ＦＡＬＳＥ」）、プロセッサ２０５における制御は、ＭＩＰモード割当量テストステップ１６１０に続く。ＭＩＰモード割当量テストステップ１６１０では、割当量に応じて、現ＣＵでＭＩＰモードが利用できるかどうかを決定する。割当量は、ステップ１３３０または１４２０を参照して説明した割当量に対応する。説明した例では、現ＣＵを含む領域が面積の閾値（５１２ルマサンプル）よりも大きい場合、適用可能な割当量の制約はなく、ＭＩＰモードを使用できる（ステップ１６１０でＴＲＵＥ）。プロセッサ２０５における制御は、ステップ１６１０からＭＩＰモードフラグの復号ステップ１６２０に進む。

ステップ１６１０で、現ＣＵを含む領域の面積が閾値以下（５１２ルマサンプル）である場合、図８を参照して説明したように、現ＣＵにＭＩＰモードを使用するために必要な割当量を、その領域の割当量の残りと比較する。現ＣＵにＭＩＰモードを適用するのに十分な割当量がある場合、ＭＩＰモードが利用可能であり（ステップ１６１０で「ＴＲＵＥ」）、方法１６００はステップ１６２０に進む。割当量が不十分な場合、現ＣＵではＭＩＰモードを利用できない（ＭＩＰモード割当量テストステップ１６１０で「ＦＡＬＳＥ」）。そして、プロセッサ２０５における制御は、イントラ予測モードの復号ステップ１６１２に進む。

ステップ１６１２では、イントラ予測モードの復号から始めて、通常のイントラ予測（ＤＣ、平面または角度）が使用される。プロセッサ２０５における制御は、ステップ１６１２からイントラ予測の実行ステップ１６１４に進む。そして、ステップ１６１４では、イントラ予測を実行する。プロセッサ２０５における制御は、ステップ１６１４からＴＢの加算ステップ１６９０に進む。

ステップ１６２０の実行に際して、ＭＩＰフラグは、単一のコンテキストコード化されたビンを使用して、エントロピーデコーダ４２０によって復号される。ビンは１つのコンテキストを使用するため、例えば、隣接するＣＵのＭＩＰモードの使用や、１つのビンを復号するための複数の可能なコンテキストから１つのコンテキストを選択するために使用され得るブロックサイズやその他のパラメータに応じて、コンテキストを選択する必要は無い。プロセッサにおける制御は、ステップ１６２０から、ＭＩＰモードが選択されたかをテストするステップ１６３０に進む。

ステップ１６３０では、ＭＩＰモードが選択されているかどうかを決定する。復号されたＭＩＰモードフラグがＭＩＰモードが使用されていないことを示す場合（ＭＩＰモードが選択されたかをテストするステップ１６３０で「ＦＡＬＳＥ」）、制御はステップ１６１２に進んで、通常のイントラ予測モードの１つを使用してブロックを復号する。復号されたＭＩＰモードフラグが、ＣＵにＭＩＰモードが使用されていることを示す場合（ステップ１６３０で「ＴＲＵＥ」）、プロセッサ２０５における制御は、ＭＩＰモードの復号ステップ１６４０に進む。

ＭＩＰモードは、ステップ１６４０を実行する際にビットストリーム１３３から復号される。プロセッサ２０５における制御は、ステップ１６４０から行列係数の読み出しステップ１６５０に進む。復号されたＭＩＰモードは、ステップ１６５０において、行列係数４８１のセットを行列係数メモリ４８６から読み出すために使用される。割当量に使用に応じてステップ１６１０でのＭＩＰモードの使用を制限することにより、行列係数メモリ４８６がマトリックス係数４８１を供給するために必要な最大メモリ帯域幅消費が低減される。

方法１６００は、ステップ１６５０から隣接するサンプルのフィルタ処理ステップ１６６０に遷移する。隣接する参照サンプル４６４は、ステップ１６６０でフィルタ処理される。方法１６００は、ステップ１６６０から行列乗算ステップ１６７０に遷移する。ステップ１６００は、モジュール４８２が、例えば、行列係数４８１及びサンプル４６４を使用することで実施することができる。フィルタ処理された参照サンプル及び行列係数４８１は、図８の例８２８と同様に、ステップ１６７０で乗算される。

方法１６００は、ステップ１６７０からＰＢの補間ステップ１６８０に遷移する。ステップ１６７０の実行により決定された疎ブロック（すなわち、８３０）は、ステップ１６８０での補間処理によりＰＢ（すなわち４８３）を埋めるために使用される。方法１６００は、ステップ１６８０のＰＢの補間ステップからＴＢの加算ステップ１６９０に遷移する。復号された残差は、ＴＢを生成するために使用され、生成されたＴＢは、ＣＵを復号するためにステップ１６９０においてＰＢ４８３に加算される。符号化ユニットは、ステップ１６９０で生成された予測ブロックを用いて復号される。方法１６００は、ステップ１６９０の完了時に終了する。

方法１６００を実行する際に、ビデオデコーダ１３４は、行列係数を取り出すための最悪の場合のメモリ帯域幅に制約を伴う行列イントラ予測のサポートを達成する。ここで説明した制約は、使用制限が有効になっていない場合と比較して、エラーに影響を与えるという点においてＭＩＰモードの選択を過度に制限するものではない。選択を過度に制限しない動作は、一般にＭＩＰモードで符号化されたＣＵのうち、ほんの２０％が、同じくＭＩＰモードを使用する左または上のＣＵに隣接している、という決定された統計的な見込みに基づいている。メモリアクセス割当量を確立するための細かさとして使用される領域よりも大きい領域間の境界、つまり、５１２ルマサンプルと、２０％の見つかったものの測定に含まれるＣＴＵ間の境界。

図１１から図１６の実施例では、制約に基づいてＭＩＰモードが使用されるかどうかを示す。制約は、例えば図１２において、現ＣＵの領域の面積が閾値面積を満たすかどうかに応じて決まる、現ＣＵの領域の面積及び行列イントラ予測フラグが符号化または復号されるか、に基づいて、実施される。説明した実施では、ステップ１３３０、１４２０、１６１０に関連して説明したように、行列イントラ予測フラグが符号化されるかどうかは、領域が閾値を満たしている場合には領域の面積に応じて、（ｉｉ）領域の面積が閾値を満たしていない場合には領域の割当量に応じて決まる。従って、行列イントラ予測フラグが符号化（または復号）されるかどうかは、少なくとも領域の面積が閾値面積を満たすかどうかによって決まる。

図１１から図１４に記載された実施において、ＭＩＰモードフラグは、ステップ１４２０及び１４３０に関連して説明したように、割当量テストが満たされた場合にのみ、ビットストリーム１１５に符号化される。これに対応して、図１６でビットストリームを復号するときに、ＭＩＰモードの割当量のテストステップでＴＲＵＥを返した場合にのみ、ＭＩＰモードフラグは復号される。言い換えると、行列イントラ予測が使用されている場合にのみ、ＣＵの行列イントラ予測フラグが復号される。

図１２及び図１３を参照して説明したように、ビデオエンコーダ１１４及びビデオデコーダ１３４の別の構成では、ＭＩＰモードの検索が制限されている。ただし、この別の構成では、ＭＩＰフラグのシグナリングは、各ＣＵの割当量の消費状態に関わらず、各ＣＵのビットストリームに含まれる。つまり、行列イントラ予測が使用されているかどうかに関わらず、ＣＵの行列イントラ予測フラグが復号される。この別の構成では、図１４の破線で示される矢印１４１１により示されるように、ステップ１４２０が省略され、制御は、ビデオエンコーダ１１４においてステップ１４３０に進む（ステップ１４２０で「ＴＲＵＥ」）。この別の構成のステップ１４３０では、ＭＩＰモードフラグはすべての場合において含まれるが、ステップ１３５０でＭＩＰモードが選択されなかった場合にはゼロに設定することができる。同様に、ビデオデコーダ１３４では、ステップ１６１０が省略され、制御はステップ１６２０に移行する（効率的に、ステップ１６１０では常に「ＴＲＵＥ」が返される）。ＭＩＰモードフラグは、ステップ１６２０で復号され、ビットストリームを符号化するステップ１３５０でＭＩＰモードが選択されなかった場合はゼロである。各ＣＵに対してＭＩＰフラグを符号化するかどうかを復号するという追加の負担が、エントロピーエンコーダ３３８とエントロピーデコーダ４２０にかかることを回避できる。ビットストリームが各ＣＵについてＭＩＰモードフラグを含むにもかかわらず、方法１２００及び１３００で実行されるような検索により、ビデオデコーダ１３４の係数メモリ４８６から行列係数４８１を読み出すためのメモリ帯域幅は変わらずに制限されるため、この（制限された）最悪の場合のＭＩＰモードの使用を処理するために必要なリソースの供給を削減することができる。

上記図１２から図１７に関連して説明した実施は、ＣＵを含む領域の面積に基づいてＭＩＰモードの使用に制限を適用する。ビデオエンコーダ１１４とビデオデコーダ１３４のさらに別の構成では、図１２で実行された制約により、領域の面積に基づくのではなく、最悪の場合のメモリ帯域幅に対応するブロックサイズに対して、行列イントラ予測の使用を禁止する。事実上、各符号化ブロックのサイズに基づいて、行列イントラ予測が使用される（及び行列イントラ予測フラグが符号化または復号される）。ブロックサイズが４×４、４×８、８×４、８×８、８×１６、１６×８の場合、４×４ブロックあたり８０ワードという最大アクセス密度（例えば、４×４ルマサンプルブロックについて測定）となる。前のブロックサイズのセットのうち、特定のブロックサイズでは、最悪の場合である４×４ブロックあたり７２ワードとなるが、リソースの供給の目的では、これは４×４ブロックあたり８０ワードの場合と同じカテゴリで扱うことができる。最悪の場合のブロックサイズを禁止すると、最悪の場合で４×４ブロックあたり４０ワードとなる（特定のブロックサイズでは、最悪の場合で４×４ブロックあたり３６ワードとなる）。

図１７は、ステップ１１３０で実施される符号化ユニットを決定する方法１７００を示している。方法１３００は、制限が、最悪の場合のメモリ帯域幅に対応するブロックサイズの行列イントラ予測の使用を禁止することに関して実施される、方法１３００の別の方法を提供する。方法１７００は、方法１２００を実行することによって生成される符号化ユニットの予測モードを決定する工程を含む。予測モードは、イントラ予測、インター予測、及び、現符号化ユニットを含む領域内でＭＩＰモードを使用できる場合にはＭＩＰモードを含む。方法１７００は、イントラ予測モードのテストステップ１７１０で開始する。

イントラ予測モードのテストステップ１３１０で、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、現符号化ユニットの符号化で使用される可能性があるのために、「通常の」イントラ予測モード、すなわち、ＤＣ、平面、及び角度イントラ予測モードをテストし、ステップ１３１０について説明した方法で動作する。プロセッサ２０５における制御は、ステップ１７１０からインター予測モードのテストステップ１７２０に進む。

インター予測モードのテストステップ１７２０において、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、インター予測されたＰＵを生成するための様々な動きベクトルをテストする。インター予測の使用を評価する際に、動きベクトルは、動きベクトル候補のセットから選択される。ステップ１７２０は、ステップ１３２０と同じように動作する。プロセッサ２０５における制御は、ステップ１７２０からＭＩＰ許容サイズテストステップ１７３０に進む。

ＭＩＰ許容サイズテストステップ１７３０において、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、ＣＵがＭＩＰモードが許容されるサイズであるかどうかをテストする。ＭＩＰモードは、一部の実装では最悪の場合のサイズである４×４、４×８、８×４、８×８、８×１６、１６×８を除くすべてのサイズで許容される。現ＣＵが許容サイズである場合（１７３０で「ＴＲＵＥ」）、プロセッサ２０５における制御は、ステップ１７３０からＭＩＰモードのテストステップ１７４０に進む。現ＣＵが禁止サイズである場合（ステップ１７３０で「ＦＡＬＳＥ」）、プロセッサ２０５における制御は、ステップ１７３０からモード選択ステップ１７５０に進む。

ＭＩＰモードのテストステップ１７４０において、モードセレクタ３８６は、様々なＭＩＰモードをテストして、ＣＵのサイズに対して利用可能なＭＩＰモードの中から、現ＣＵを予測するために使用する最良のＭＩＰモードを決定する。ステップ１７４０は、ステップ１３４０と同様に動作する。プロセッサ２０５における処理は、ステップ１７４０からモード選択ステップ１７５０に進む。

モード選択ステップ１７５０において、モードセレクタ３８６は、プロセッサ２０５の実行下で、ステップ１７１０、１７２０、及び１７５０において得られた候補から、ＣＵの最終モードを選択する。方法１７００は、プロセッサ２０５における制御が方法１１００に戻ると終了する。

図１８は、制限が、最悪の場合のメモリの帯域幅に対応するブロックサイズに対する行列イントラ予測の使用を禁止することに関連して、ステップ１１４０で実行されるような実施における、ＣＴＵの符号木の符号化ユニットをビデオビットストリーム１１５に符号化する方法１８００を示す。方法１８００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１８００は、ビデオエンコーダ１１４により、プロセッサ２０５の実行下で実行され得る。従って、方法１８００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１８００は、予測モードの符号化ステップ１８１０で開始する。

予測モードの符号化ステップ１８１０において、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、ステップ１７５０で決定されるように、イントラ予測（通常のイントラ予測モードの使用またはＭＩＰモードの使用の両方を含む）、またはイントラ予測のいずれかの使用を示すコンテキスト符号化ビンを使用してフラグを符号化する。プロセッサ２０５における制御は、ステップ１８１０からＭＩＰ許容サイズテストステップ１８２０に進む。

ＭＩＰ許容サイズテストステップ１８２０において、ビデオエンコーダ１１４は、プロセッサ２０５の実行下で、現ＣＵが許容サイズであるかどうかをテストする。許容サイズ及び禁止サイズは、方法１７００のステップ１７３０の場合と同じである。現ＣＵが、許容サイズである場合、プロセッサ２０５における制御は、ＭＩＰモードフラグの符号化ステップ１８３０に進む（１８２０で「ＴＲＵＥ」）。

現ＣＵが許容可能なサイズではない場合（ステップ１８２０で「ＦＡＬＳＥ」）、プロセッサ２０５における制御は、ステップ１８２０からＴＢの符号化ステップ１８４０に進む。

ＭＩＰモードフラグの符号化ステップ１８３０において、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、ステップ１３５０で決定されるように、ＭＩＰモードが選択されたか否かを示すコンテキスト符号化ビンをビットストリーム１１５に符号化する。ステップ１８３０は、ステップ１４３０と同じように動作する。プロセッサ２０５における制御は、ステップ１８３０からＴＢの符号化ステップ１８４０に進む。

ＴＢの符号化ステップ１８４０では、エントロピーエンコーダ３３８は、プロセッサ２０５の実行下で、現ＣＵに関連するＴＢの残差係数をビットストリームに符号化する。ステップ１８４０は、ステップ１４４０と同じように動作する。そして、方法１８００は終了し、プロセッサ２０５における制御は、方法１１００に戻る。

図１９は、制約が、最悪の場合のブロックのＭＩＰモードの禁止に関連して、ステップ１５３０で実行されるような実施における、ビデオビットストリーム１３３から符号化ユニットを復号する方法１９００を示す。方法１９００は、構成されたＦＰＧＡ、ＡＳＩＣ、またはＡＳＳＰ等の装置によって具現化され得る。さらに、方法１９００は、プロセッサ２０５の実行下で、ビデオデコーダ１３４により実行され得る。従って、方法１９００は、コンピュータ可読記憶媒体及び／またはメモリ２０６に格納され得る。方法１９００は、ｐｒｅｄ＿ｍｏｄｅフラグの復号ステップ１９０２で開始する。

ｐｒｅｄ＿ｍｏｄｅフラグの復号ステップ１９０２において、エントロピーデコーダ４２０は、コンテキスト符号化されたビンを復号して、現符号化ユニットがインター予測またはイントラ予測（ＭＩＰモードを含む）を使用するかを決定する。現符号化ユニットがインター予測を使用する場合（インター予測テストステップ１９０４で「ＴＲＵＥ」）、プロセッサにおける制御は、インター予測の実行ステップ１９０６に進む。ステップ１６０６でインター予測が実行され、その結果、参照ブロック（４３４）が取り込まれると共に、フィルタ処理してＰＵを生成し、続いて各カラーチャネルのＴＢを復号し、ＴＢ（１６９０）をＰＵに加算してＣＵを復号する。同様に、プロセッサ２０５における制御は、ステップ１９０６からＴＢの加算ステップ１９９０に進む。

現符号化ユニットがイントラ予測またはＭＩＰモードを使用する場合（ステップ１９０４で「ＦＡＬＳＥ」）、プロセッサ２０５における制御は、ＭＩＰ許容サイズテストステップ１９１０に進む。ＭＩＰ許容サイズテストステップ１９１０では、ＭＩＰモードが現ＣＵサイズで許容されるかどうかを判断する。ＭＩＰ許容サイズは、ステップ１７３０または１８２０を参照して説明されたものである。現ＣＵが許容サイズである場合（ステップ１９１０でＴＲＵＥ）、プロセッサ２０５における制御は、ステップ１９１０からＭＩＰモードフラグの復号ステップ１９２０に進む。ステップ１９１０において、現ＣＵが許容サイズではない場合（ステップ１９１０で「ＦＡＬＳＥ」）、プロセッサ２０５における制御は、イントラ予測モードの復号ステップ１９１２に遷移する。

ステップ１９１２で、通常のイントラ予測（ＤＣ、平面または角度）が復号され、方法１９００は、イントラ予測の復号ステップ１９１４に進む。ステップ１９１２及び１９１４は、ステップ１６１２及び１６１４に関連して説明したように動作する。プロセッサ２０５における制御は、ステップ１９１４からＴＢの加算ステップ１９９０に続く。

ステップ１９２０の実行時に、ＭＩＰフラグが復号される。プロセッサ２０５における制御は、ステップ１９２０から、ＭＩＰモードが選択されたかをテストするステップ１９３０に遷移する。

ステップ１９３０は、ＭＩＰモードが選択されているかどうかを決定するために動作する。復号されたＭＩＰモードフラグがＭＩＰモードが使用されていないことを示す場合（ＭＩＰモードが選択されたかをテストするステップ１９３０で「ＦＡＬＳＥ」）、制御はステップ１９１２に進んで、通常のイントラ予測モードの１つを使用してブロックを復号する。復号されたＭＩＰモードフラグが、ＣＵにＭＩＰモードが使用されていることを示す場合（ステップ１９３０で「ＴＲＵＥ」）、プロセッサにおける制御は、ＭＩＰモードの復号ステップ１９４０に進む。

ＭＩＰモードは、ステップ１９４０を実行する際にビットストリーム１３３から復号される。プロセッサ２０５における制御は、ステップ１９４０から、行列係数の読み出しステップ１９５０に遷移する。復号されたＭＩＰモードは、ステップ１９５０において、行列係数４８１のセットを行列係数メモリ４８６から読み出すために使用される。行列係数は、ステップ１６５０のように、ＭＩＰモードを使用すると決定された各予測ブロックについて読み出される。

方法１９００は、ステップ１９５０から隣接するサンプルのフィルタ処理ステップ１６６０に移行する。隣接する参照サンプル４６４は、ステップ１９６０でフィルタ処理される。方法１９００は、ステップ１９６０から行列乗算ステップ１９７０に進む。フィルタ処理された参照サンプル及び行列係数４８１は、図８の例８２８と同様に、ステップ１９７０で乗算される。

方法１９００は、ステップ１９７０からＰＢの補間ステップ１９８０に遷移する。ステップ１９７０の実行により決定された疎ブロック（すなわち、８３０）は、ステップ１９８０での補間処理によりＰＢ（すなわち４８３）を補間するために用いられる。方法１９００は、ＰＢの補間ステップ１９８０から、ＴＢの加算ステップ１９９０に遷移する。復号された残差は、ＴＢを生成するために使用され、生成されたＴＢは、ステップ１６９０と同様、ステップ１９９０でＰＢ４８３に加算することにより、ＣＵを復号する。方法１９００は、ステップ１９９０の完了をもって終了する。

方法１３００、１４００、及び１６００に記載された変形例は、それぞれ、方法１７００、１８００、及び１９００にも適用することができる。

ブロックサイズがＭＩＰモードの利用可能性の基準として使用される場合、方法１７００におけるように、メモリ割当量を確立及び更新する必要はない、すなわち、ステップ１２１０及び１２２０は省略される。特定のブロックサイズのＭＩＰモードを削除すると、メモリアクセスの割当量を決めるよりも実施が簡単になるが、多くの一般的なブロックサイズからのＭＩＰモードが無いことにより、圧縮性能が低下する。係数メモリ（つまり、３９２、４８６）のサイズは、４×４ブロックが無いために、「セットＡ」の行列係数（１８セットの行列係数とバイアス値）を格納する必要が無いために、小さくなる。４×４、４×８、８×４、８×８、８×１６、及び１６×８（「小さなブロック」）からのＭＩＰモードの削除には、比較的複雑な動作であるＭＩＰモードのフィードバックループが、これらの小さなブロックをサポートする必要が無い、という利点がある。

さらに別の構成では、（上記にリストされているように）小さなブロックのサブセットに対するＭＩＰモードの使用が禁止される。例えば、ＭＩＰモードはステップ１７３０、１８２０、及び１９１０で４×４ブロックに対してのみ禁止され、その他のすべてのブロックサイズに対しては許可されるか、または、ＭＩＰモードは４×４、４×８、及び８×４ブロックに対して禁止され、その他のすべてのブロックサイズに対しては許可されている。つまり、行列イントラ予測は使用されず、実施によっては、符号化ユニットのサイズが禁止されているサイズの１つである場合に、行列イントラ予測フラグが復号される。最悪の場合のメモリ帯域幅は、ＭＩＰモードの使用に対する制限が完全に無い場合と比較して減少しないが、これらの非常に小さいブロックサイズの除外により、イントラ再構築フィードバックループの厳しさは軽減される。４×４を削除することにより、「セットＡ」に関連付けられた行列係数を係数メモリ（つまり、３９２、４８６）に保存する必要も無くなる。あるいは、禁止されているブロックサイズのセットが４×４、４×８、８×４、及び８×８としても良く、その場合、セットＡ及びセットＢはビデオエンコーダ１１４またはビデオデコーダ１３４に存在しない。セットＡとセットＢを削除すると、セットＡとセットＢに関連付けられた行列係数が不要になるため、圧縮性能は低下するが、メモリ消費量を削減することができる。

さらに別の構成では、メモリ割当量は、４×４ルマサンプル面積あたり４０ワードよりもさらに低く、例えば、４×４ルマサンプル面積あたり２０または１０ワードであっても良い。割当量は、１０２４または２０４８のルマサンプルの領域サイズに対応するノードなどで、より大きな領域サイズで設定される。上述した構成と同様に、制限内における後のＣＵは、これらの領域内における先のＣＵのＭＩＰモードの使用に応じて、メモリ割当量を利用できるかが制限される。メモリ帯域幅の更なる削減は、圧縮効率の低下と引き換えに達成できる。

さらに別の構成では、メモリ割当量は、サイズ４×４、４×８、及び８×４のＣＵに適用するために、ステップ１２２０、１３３０、１４２０、及び１６１０で６４ルマサンプルの領域サイズで確立される（「小さなＣＵメモリ割当量」）。個別のメモリ割当量は、５１２の領域サイズで確立されるが、８×８、特に８×１６及び１６×８を超えるサイズのＣＵにのみ適用される（「より大きなＣＵメモリ割当量」）。割当量は、両方共、４×４ルマサンプル面積あたり４０ワードに設定されている。小さいＣＵメモリ割当量が６４ルマサンプル面積内に含まれるＣＵにのみ適用されるのに対し、より大きいＣＵメモリ割当量は６４ルマサンプルより大きいＣＵにのみ適用されるため、割当量は合計の行列メモリ帯域幅に対して追加の割当量を形成する。

本明細書に開示される構成は、４×４メモリ領域あたりのワードによりメモリ帯域幅を説明しているが、メモリへのアクセスは、関連するメモリに過度に高いクロック周波数を必要とすることなく行列係数を読み出せるようにするために、何らかのＳＩＭＤ形式でワードをグループ化する可能性が高いことが理解される。しかしながら、そのようなより広いメモリはそれ自体コストがかかり、また、行列係数は同じメモリ内において他のデータと共有される可能性があるため、ＭＩＰモードの使用制限により減少したアクセスに競合が生じてしまう。

領域毎に最悪の場合のメモリ帯域幅を制限するためにＭＩＰモードの使用を制限すると、各領域で使用可能な割当量が先のＣＵによって消費されてしまうため、その領域の先のＣＵはＭＩＰモードを使用し、その領域で後となるＣＵはＭＩＰモードを使用することができない、という偏りが生じ得る。ＭＩＰモードが選択されるＣＵの分布は一般にややまばらであるため、このような偏りは通常発生しない。

記載された構成は、いつＭＩＰモードが使用され得るかについての制限を有するため、制限無しでＭＩＰモードの実行を許可する場合と比較して、計算の複雑さが軽減される。制限無く検索を行った場合のＭＩＰモード選択の統計値は、通常、モードセレクタ３８６でのＭＩＰモード選択に課せられる制限をトリガしないため、符号化効率を比例的に低下させることなく、複雑さが軽減される。従って、最悪の場合のメモリ帯域幅は、符号化効率の相応の損失無く、狭められる。
産業上の利用可能性

記載された構成は、コンピュータ及びデータ処理産業、特に、ビデオ及び画像信号等の信号の符号化及び復号のためのデジタル信号処理に適用可能であり、高い圧縮効率を達成する。

本明細書で説明される構成は、残差の符号化及び復号のために、係数パリティに従って更新し、コンテキスト及び係数の量子化器を選択する、トレリスベースの状態機械を使用することを可能にする。説明された構成により、状態更新の順次的性質による過度の遅延を課すことなく、トレリスベースの状態機械を実現することができる。

上記は、本発明のいくつかの実施形態を説明するのみであり、本発明の範囲及び精神から逸脱することなく、変形及び／または変更することができ、実施形態は例示的であって、限定的ではない。

Claims (9)

1. 画像フレームのための符号化ツリーユニットにおける予測のためのブロックに対する予測サンプルを生成する方法であって、
   前記符号化ツリーユニット内のブロック分割のための分割フラグを復号することにより、前記符号化ツリーユニット内の前記ブロックを含む複数のブロックを決定する工程と、前記符号化ツリーユニット内の前記ブロック分割として、水平方向の三分割を用いることが可能であり、
   前記ブロックに対する行列イントラ予測フラグを復号する工程と、前記行列イントラ予測フラグは行列イントラ予測が前記ブロックに対し用いられるかどうかを示し、
   前記行列イントラ予測フラグが前記ブロックに対し行列イントラ予測が用いられることを示す場合、行列イントラ予測モードの情報を復号する工程と、短縮された二値符号語が前記行列イントラ予測モードの前記情報に対し用いられることが可能であり、
   前記行列イントラ予測モードの前記情報に従って、前記ブロックに対する行列イントラ予測のための行列を選択する工程と、
   前記ブロックに隣接するサンプルに基づく参照サンプルと、前記行列イントラ予測モードの前記情報に応じて選択された前記行列との乗算を行うことにより、前記予測サンプルを生成する工程と、を含み、
   前記行列イントラ予測フラグの復号は、前記ブロックの幅および前記ブロックの高さに依存することを特徴とする方法。
2. 前記行列イントラ予測モードのシンタックスの復号は、前記ブロックの前記幅および前記ブロックの前記高さに依存することを特徴とする請求項１に記載の方法。
3. 複数のブロックサイズが利用可能であり、前記複数のブロックサイズは、第１レベル、第２レベル又は第３レベルに分類され、
   前記第１レベルは少なくとも４×４サイズを含み、
   前記第１レベルに対する行列イントラ予測に対し利用可能である行列の数は、前記第２レベルに対する行列イントラ予測に対し利用可能である行列の数より大きいことを特徴とする請求項１に記載の方法。
4. 前記第１レベルに対する行列イントラ予測に対し利用可能である行列の数は、前記第３レベルに対する行列イントラ予測に対し利用可能である行列の数より大きいことを特徴とする請求項３に記載の方法。
5. 前記第２レベルに含まれるブロックサイズは４×４サイズより大きいことを特徴とする請求項３に記載の方法。
6. 前記第３レベルに含まれるブロックサイズは４×４サイズより大きいことを特徴とする請求項４に記載の方法。
7. 前記符号化ツリーユニット内の前記ブロック分割として、垂直方向の三分割を用いることが可能であることを特徴とする請求項１に記載の方法。
8. 画像フレームのための符号化ツリーユニットにおける予測のためのブロックに対する予測サンプルを生成する装置であって、
   前記符号化ツリーユニット内のブロック分割のための分割フラグを復号することにより、前記符号化ツリーユニット内の前記ブロックを含む複数のブロックを決定する手段と、前記符号化ツリーユニット内の前記ブロック分割として、水平方向の三分割を用いることが可能であり、
   前記ブロックに対する行列イントラ予測フラグを復号する手段と、前記行列イントラ予測フラグは行列イントラ予測が前記ブロックに対し用いられるかどうかを示し、
   前記行列イントラ予測フラグが前記ブロックに対し行列イントラ予測が用いられることを示す場合、行列イントラ予測モードの情報を復号する手段と、短縮された二値符号語が前記行列イントラ予測モードの前記情報に対し用いられることが可能であり、
   前記行列イントラ予測モードの前記情報に従って、前記ブロックに対する行列イントラ予測のための行列を選択する手段と、
   前記ブロックに隣接するサンプルに基づく参照サンプルと、前記行列イントラ予測モードの前記情報に応じて選択された前記行列との乗算を行うことにより、前記予測サンプルを生成する手段と、を含み、
   前記行列イントラ予測フラグの復号は、前記ブロックの幅および前記ブロックの高さに依存することを特徴とする装置。
9. コンピュータに請求項１に記載の方法を実行させるためのコンピュータプログラム。

Images