JP2024019430A - 動画データのイントラ予測コーディングのための方法及び装置 - Google Patents

Abstract

【課題】動画データのイントラ予測コーディングのための方法及び装置を提供する。【解決手段】本発明によれば、ビデオデータを復号化する装置は、ビットストリームからビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを復号化する復号部、及び前記シンタックスエレメントが指示する現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に実行し、前記現在ブロックに対する予測ブロックを生成するイントラ予測部を含む。【選択図】図１１

Description

本発明は、動画データの符号化及び復号化に関する。

動画データは、音声データや静止画データなどに比べて多くのデータ量を有するため、圧縮のための処理なしにそれ自体を保存又は伝送するためにはメモリを含む多くのハードウェアリソースを必要とする。

したがって、通常、動画データを保存又は伝送する際には、エンコーダを用いて動画データを圧縮して保存又は伝送し、デコーダでは圧縮した動画データを受信して圧縮を解除して再生する。このような動画圧縮技術としては、Ｈ．２６４／ＡＶＣをはじめ、Ｈ．２６４／ＡＶＣに比べて約４０％程度の符号化効率を向上させたＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が存在する。

しかし、ピクチャのサイズ及び解像度、フレームレートが徐々に増加しており、これに伴い符号化すべきデータ量も増加しているため、従来の圧縮技術よりも符号化効率が良く、画質改善効果も高い新たな圧縮技術が求められている。

本発明の目的は、動画データのブロックをイントラ予測コーディングするための改善された技術を提供することにある。

本発明の一態様による方法は、ビデオデータを復号化する方法であって、ビットストリームからビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを復号化するステップであって、前記イントラ予測タイプは行列ベースのイントラ予測（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ：ＭＩＰ）と正規イントラ予測（ｒｅｇｕｌａｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を含むステップと、前記シンタックスエレメントが指示する前記現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に実行し、前記現在ブロックに対する予測ブロックを生成するステップと、を含むことを特徴とする。

前記方法は、前記正規イントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップの一部であって、前記方法は、前記現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補を導出して前記現在ブロックに対するＭＰＭリストを構成するステップと、前記ＭＰＭリストに基づいて前記現在ブロックに対する正規イントラ予測モードを導出するステップを含む。前記ＭＰＭ候補を導出する際に、前記周辺ブロックのイントラ予測タイプが行列ベースのイントラ予測である場合に、前記周辺ブロックの正規イントラ予測モードはプラナー（ＰＬＡＮＡＲ）モードに設定される。

前記方法は、前記行列ベースのイントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップの一部として、前記ビットストリームから前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを復号化するステップと、現在ブロックのサイズ及び形状に基づいて前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップと、前記行列ベースのイントラ予測モードに対して予め定義した行列と前記境界ベクトルとの間の行列－ベクトル乗算に基づき、前記現在ブロックに対する予測サンプルを生成するステップ、及び、前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップと、を含む。

本発明の一態様による装置は、ビデオデータを復号化する装置であって、ビットストリームからビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを復号化する復号化部であって、前記イントラ予測タイプは行列ベースのイントラ予測と正規イントラ予測を含む復号化部と、前記シンタックスエレメントが指示する現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に実行して前記現在ブロックに対する予測ブロックを生成するイントラ予測部と、を含むことを特徴とする。

前記イントラ予測部は、前記正規イントラ予測を実行して前記現在ブロックに対する予測ブロックを生成することの一部として、前記現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ候補を導出して前記現在ブロックに対するＭＰＭリストを構成し、前記ＭＰＭリストに基づいて前記現在ブロックに対する正規イントラ予測モードを導出する。前記ＭＰＭ候補を導出するに際して、前記イントラ予測部は、前記周辺ブロックのイントラ予測タイプが行列ベースのイントラ予測である場合に、前記周辺ブロックの正規イントラ予測モードをプラナー（ＰＬＡＮＡＲ）モードに設定する（みなす）。

前記行列ベースのイントラ予測を実行して前記現在ブロックに対する予測ブロックを生成することの一部として、前記イントラ予測部は、前記ビットストリームから前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを復号化するステップと、前記現在ブロックのサイズ及び形状に基づいて前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップと、前記行列ベースのイントラ予測モードに対して予め定義した行列と前記境界ベクトルとの間の行列－ベクトル乗算に基づいて前記現在ブロックに対する予測サンプルを生成するステップと、前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップと、を実行する。

本発明によれば、イントラ予測の複雑さを低減し、符号化効率が向上したコーディング技術を提供することができる。

本発明の技術を具現することができる映像符号化装置の例示的なブロック図である。 ＱＴＢＴＴＴ構造を用いてブロックを分割する方法を説明するための図である。 複数のイントラ予測モードを示す図である。 広角イントラ予測モードを含む複数のイントラ予測モードを示す図である。 本発明の技術を具現できる映像復号化装置の例示的なブロック図である。 本発明の技法で使用されるＭＩＰ技術の主要なプロセスを図式化した概念図である。 本発明の一実施例によるＭＩＰベースでブロックを予測する概略的なプロセスを示すフローチャートである。 左隣のサンプルを用いて行列‐ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 左隣のサンプルを用いて行列‐ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 左隣のサンプルを用いて行列‐ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 上隣のサンプルを使用して行列－ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 上隣のサンプルを使用して行列－ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 上隣のサンプルを使用して行列－ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。 左隣のサンプル、境界ベクトル、及びそれから予測した予測サンプルを示す。 上隣のサンプル、境界ベクトル、及びそれから予測した予測サンプルを示す。 本発明の一実施例によるビデオデータを復号化する方法を例示するフローチャートである。

以下、本発明の一部の実施例を例示的な図面を通して詳しく説明する。各図面の構成要素に識別符号を付加する際には、同一の構成要素に対しては、たとえ他の図面上に表示されても可能な限り同一の符号を有するようにしている。なお、本発明を説明するにあたり、関連する公知の構成又は機能についての具体的な説明が本発明の要旨を曖昧にすると判断した場合には、その詳しい説明は省く。

図１は、本発明の技術を具現する映像符号化装置の例示的なブロック図である。以下では、図１を参照して映像符号化装置とこの装置の下位構成について説明する。

映像符号化装置は、ピクチャ分割部１１０、予測部１２０、減算器１３０、変換部１４０、量子化部１４５、並べ替え部１５０、エントロピー符号化部１５５、逆量子化部１６０、逆変換部１６５、加算器１７０、フィルタ部１８０、及びメモリ１９０を含んでなる。

映像符号化装置の各構成要素は、ハードウェア又はソフトウェアで具現してもよいし、ハードウェア及びソフトウェアの組み合わせで具現してもよい。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現してもよい。

１つの映像（ビデオ）は複数のピクチャから構成される。各ピクチャは複数の領域に分割され、各領域毎に符号化が行われる。例えば、１つのピクチャは、１つ以上のタイル（Ｔｉｌｅ）又は／及びスライス（Ｓｌｉｃｅ）に分割される。ここで、１つ以上のタイルをタイルグループ（Ｔｉｌｅ Ｇｒｏｕｐ）と定義する。各タイル又は／及びスライスは、１つ以上のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割される。そして、各ＣＴＵは、ツリー構造によって１つ以上のＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割される。各ＣＵに適用する情報はＣＵのシンタックスとして符号化され、１つのＣＴＵに含まれるＣＵに共通に適用する情報はＣＴＵのシンタックスとして符号化される。また、１つのスライス内の全てのブロックに共通に適用する情報は、スライスヘッダのシンタックスとして符号化され、１つのピクチャを構成する全てのブロックに適用する情報は、ピクチャパラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はピクチャヘッダに符号化する。さらに、複数のピクチャが共通に参照する情報は、シーケンスパラメータセット（ＳＰＳ、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化する。そして、１つ以上のＳＰＳが共通に参照する情報は、ビデオパラメータセット（ＶＰＳ、Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に符号化する。さらに、１つのタイル又はタイルグループに共通に適用する情報は、タイル又はタイルグループヘッダのシンタックスとして符号化してもよい。

ピクチャ分割部１１０は、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）の大きさを決定する。ＣＴＵのサイズに関する情報（ＣＴＵ ｓｉｚｅ）はＳＰＳ又はＰＰＳのシンタックスとして符号化し、映像復号化装置に伝達する。

ピクチャ分割部１１０は、映像を構成する各ピクチャを予め決まった大きさを有する複数のＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割した後に、ツリー構造（ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）を用いてＣＴＵを繰り返し（ｒｅｃｕｒｓｉｖｅｌｙ）分割する。ツリー構造におけるリーフノード（ｌｅａｆ ｎｏｄｅ）が符号化の基本単位であるＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）となる。

ツリー構造としては、上位ノード（あるいは親ノード）が同じサイズの４つの下位ノード（あるいは子ノード）に分割されるクワッドツリー（ＱｕａｄＴｒｅｅ、ＱＴ）、又は上位ノードが２つの下位ノードに分割されるバイナリツリー（ＢｉｎａｒｙＴｒｅｅ、ＢＴ）、又は上位ノードが１：２：１の比率で３つの下位ノードに分割されるターナリーツリー（ＴｅｒｎａｒｙＴｒｅｅ、ＴＴ）、又はこれらのＱＴ構造、ＢＴ構造、及びＴＴ構造のうちの２つ以上を混用した構造であってもよい。例えば、ＱＴＢＴ（ＱｕａｄＴｒｅｅ ｐｌｕｓ ＢｉｎａｒｙＴｒｅｅ）構造を使用するか、又はＱＴＢＴＴＴ（ＱｕａｄＴｒｅｅ ｐｌｕｓ ＢｉｎａｒｙＴｒｅｅ ＴｅｒｎａｒｙＴｒｅｅ）構造を使用する。ここで、ＢＴＴＴを合わせてＭＴＴ（Ｍｕｌｔｉｐｌｅ－Ｔｙｐｅ Ｔｒｅｅ）と呼ぶ。

図２は、ＱＴＢＴＴＴＴ分割ツリー構造を示す。図２に示すように、ＣＴＵは最初にＱＴ構造に分割される。クワッドツリー分割は、分割ブロック（ｓｐｌｉｔｔｉｎｇ ｂｌｏｃｋ）のサイズがＱＴで許容されるリーフノードの最小ブロックサイズ（ＭｉｎＱＴＳｉｚｅ）に達するまで繰り返される。ＱＴ構造の各ノードが下位レイヤーの４つのノードに分割されるか否かを指示する第１のフラグ（ＱＴ＿ｓｐｌｉｔ＿ｆｌａｇ）は、エントロピー符号化部１５５によって符号化され、映像復号化装置でシグナリングされる。ＱＴのリーフノードがＢＴで許容されるルートノードの最大ブロックサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ＢＴ構造又はＴＴ構造のうちのいずれか１つ以上にさらに分割される。ＢＴ構造及び／又はＴＴ構造では、複数の分割方向が存在してもよい。例えば、該当ノードのブロックが水平に分割される方向と垂直に分割される方向の２つが存在し得る。図２に示すように、ＭＴＴ分割を開始すると、ノードを分割したか否かを示す第２のフラグ（ＭＴＴ＿ｓｐｌｉｔ＿ｆｌａｇ）と、分割した場合には追加で分割方向（ｖｅｒｔｉｃａｌ又はｈｏｒｉｚｏｎｔａｌ）を示すフラグ及び／又は分割タイプ（ＢｉｎａｒｙもしくはＴｅｒｎａｒｙ）を示すフラグが、エントロピー符号化部１５５によって符号化され、映像復号化装置にシグナリングされる。対案として、各ノードが下位レイヤーの４つのノードに分割されるか否かを示す第１のフラグ（ＱＴ＿ｓｐｌｉｔ＿ｆｌａｇ）を符号化する前に、そのノードを分割するか否かを指示するＣＵ分割フラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）を符号化してもよい。ＣＵ分割フラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）の値が分割しないことを指示する場合、該当ノードのブロックが分割ツリー構造におけるリーフノード（ｌｅａｆ ｎｏｄｅ）となり、符号化の基本単位であるＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）となる。ＣＵ分割フラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）の値が分割することを指示する場合、映像符号化装置は、上述したように第１のフラグから符号化を開始する。

ツリー構造の他の例としてＱＴＢＴを使用する場合、当該ノードのブロックを同一サイズの２つのブロックに横に分割するタイプ（すなわち、ｓｙｍｍｅｔｒｉｃ ｈｏｒｉｚｏｎｔａｌ ｓｐｌｉｔｔｉｎｇ）と縦に分割するタイプ（すなわち、ｓｙｍｍｅｔｒｉｃ ｖｅｒｔｉｃａｌ ｓｐｌｉｔｔｉｎｇ）の２つの方法がある。ＢＴ構造の各ノードを下位レイヤーのブロックに分割するか否かを指示する分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）及び、分割するタイプを指示する分割タイプ情報がエントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。一方、該当ノードのブロックを互いに非対称型の２つのブロックに分割するタイプがさらに存在してもよい。非対称型には、該当ノードのブロックを１：３のサイズ比を有する２つの長方形ブロックに分割する形態を含んでもよく、あるいは、該当ノードのブロックを対角線方向に分割する形態を含んでもよい。

ＣＵは、ＣＴＵからのＱＴＢＴ又はＱＴＢＴＴＴ分割によって様々なサイズを有する。以下では、符号化又は復号化するＣＵ（すなわち、ＱＴＢＴＴＴＴのリーフノード）に該当するブロックを「現在ブロック」と称する。ＱＴＢＴＴＴ分割の採用によって、現在ブロックの形状は正方形だけでなく長方形でもよい。

予測部１２０は、現在ブロックを予測して予測ブロックを生成する。予測部１２０は、イントラ予測部１２２とインター予測部１２４を含む。

一般に、ピクチャ内の現在ブロックはそれぞれ予測的にコーディングされる。一般に、現在ブロックの予測は、（現在ブロックを含むピクチャからのデータを使用する）イントラ予測技術、又は（現在ブロックを含むピクチャの前にコーディングしたピクチャからのデータを使用する）インター予測技術を使用して実行される。インター予測は、一方向予測と双方向予測の両方を含む。

イントラ予測部１２２は、現在ブロックを含む現在ピクチャ内で現在ブロックの周辺に位置するピクセル（参照ピクセル）を用いて現在ブロック内のピクセルを予測する。予測方向によって複数のイントラ予測モードが存在する。例えば、図３ａに示すように、複数のイントラ予測モードは、プラナー（ｐｌａｎａｒ）モード及びＤＣモードを含む２つの非方向性モードと、６５の方向性モードを含む。各予測モードによって使用する周辺ピクセルと演算式が異なるように定義される。下表は、イントラ予測モードの番号と名称を列挙する。

長方形の現在ブロックに対する効率的な方向性予測のために、図３ｂに点線矢印で示す方向性モード（６７～８０番、－１～－１４番イントラ予測モード）をさらに使用する。これらは「広角イントラ予測モード（ｗｉｄｅ ａｎｇｌｅ ｉｎｔｒａ－ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ）」と称する。図３ｂで、矢印は、予測に使用した対応する参照サンプルを指すものであり、予測方向を示すものではない。予測方向は矢印が指す方向とは反対である。広角イントラ予測モードは、現在ブロックが長方形のときに追加のビット伝送なしに特定の方向性モードを反対方向に予測するモードである。この場合、広角イントラ予測モードのうち、長方形の現在ブロックの幅と高さの比率によって、現在ブロックに利用可能な一部の広角イントラ予測モードを決定する。例えば、４５度よりも小さい角度を有する広角イントラ予測モード（６７～８０番イントラ予測モード）は、現在ブロックが、高さが幅よりも小さい長方形である場合に利用可能であり、－１３５度よりも大きい角度を有する広角イントラ予測モード（－１～－１４番イントラ予測モード）は、現在ブロックが、高さが幅よりも大きい長方形の形である場合に利用可能である。

イントラ予測部１２２は、現在ブロックを符号化するために使用するイントラ予測モードを決定する。一部の例では、イントラ予測部１２２は、いくつかのイントラ予測モードを使用して現在ブロックを符号化し、テストしたモードから使用する適切なイントラ予測モードを選択してもよい。例えば、イントラ予測部１２２は、いくつかのテストしたイントラ予測モードに対するレート歪み（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）分析を用いてレート歪み値を計算し、テストしたモードの中で最良のレート歪み特徴を有するイントラ予測モードを選択してもよい。

イントラ予測部１２２は、複数のイントラ予測モードの中から１つのイントラ予測モードを選択し、選択したイントラ予測モードによって決定される周辺ピクセル（参照ピクセル）と演算式を用いて現在ブロックを予測する。選択したイントラ予測モードに関する情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

また、イントラ予測部１２２は、後述する行列ベースのイントラ予測（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＭＩＰ）を用いて、現在ブロックに対する予測ブロックを生成してもよい。イントラ予測部１２２は、現在ブロックの左側に再構成したサンプルと現在ブロックの上側に再構成したサンプルから導出した境界ベクトルと、予め定義した行列、及びオフセットベクトルを用いて現在ブロックに対する予測ブロックを生成してもよい。

インター予測部１２４は、動き補償過程を通じて現在ブロックに対する予測ブロックを生成する。インター予測部１２４は、現在ピクチャよりも先に符号化及び復号化した参照ピクチャ内で現在ブロックに最も類似したブロックを探索し、その探索したブロックを用いて現在ブロックに対する予測ブロックを生成する。そして、現在ピクチャ内の現在ブロックと参照ピクチャ内の予測ブロックとの間の変位（ｄｉｓｐｌａｃｅｍｅｎｔ）に該当する動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を生成する。一般に、動き推定は、ルマ（ｌｕｍａ）成分に対して行われ、ルマ成分に基づいて計算したモーションベクトルはルマ成分及びクロマ（ｃｈｒｏｍａ）成分の両方に対して用られる。現在ブロックを予測するために用いられる参照ピクチャに関する情報及び動きベクトルに関する情報を含む動き情報は、エントロピー符号化部１５５によって符号化されて映像復号化装置に伝達される。

減算器１３０は、現在ブロックからイントラ予測部１２２又はインター予測部１２４によって生成された予測ブロックを減算して残差ブロックを生成する。

変換部１４０は、残差ブロックを１つ以上の変換ブロックに分割し、変換を１つ以上の変換ブロックに適用し、変換ブロックの残差値をピクセルドメインから周波数ドメインに変換する。周波数ドメインにおいて、変換されたブロックは、１つ以上の変換係数値を含む係数ブロックと呼ばれる。変換には２次元変換カーネルを使用し、横方向変換と縦方向変換にそれぞれ一次元変換カーネルを使用する。変換カーネルは、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）などに基づく。

変換部１４０は、残差ブロックの全体サイズを変換単位として用いて残差ブロック内の残差信号を変換する。また、変換部１４０は、残差ブロックを横方向又は縦方向に２つのサブブロックに分割し、変換を２つのサブブロックのうちの１つにのみ行う。したがって、変換ブロックのサイズは、残差ブロックのサイズ（したがって予測ブロックのサイズ）と異なってもよい。変換が実行されないサブブロックには、ノンゼロ残差サンプル値が存在しないか、又は非常に希少である。変換が実行されないサブブロックの残差サンプルはシグナリングされず、画像復号化装置によってすべて「０」と見なされる。分割方向と分割比率によって、複数のパーティションタイプが存在する。変換部１４０は、残差ブロックのコーディングモード（又は変換モード）に関する情報（例えば、残差ブロックを変換したか、又は残差サブブロックを変換したかを示す情報、残差ブロックをサブブロックに分割するために選択したパーティションタイプを示す情報、変換が行われるサブブロックを識別する情報などを含む情報）をエントロピー符号化部１５５に提供する。エントロピー符号化部１５５は、残差ブロックのコーディングモード（あるいは変換モード）に関する情報を符号化する。

量子化部１４５は、変換部１４０から出力する変換係数を量子化し、量子化した変換係数をエントロピー符号化部１５５に出力する。量子化部１４５は、任意のブロック又はフレームに対し、変換なしに、関連する残差ブロックを直ちに量子化してもよい。

並べ替え部１５０は、量子化した残差値に対して係数値の並べ替えを行う。並べ替え部１５０は、係数スキャニング（ｃｏｅｆｆｉｃｉｅｎｔ ｓｃａｎｎｉｎｇ）を介して２次元の係数アレイを１次元の係数シーケンスに変更する。例えば、並べ替え部１５０では、千鳥状スキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）又は対角線スキャン（Ｄｉａｇｏｎａｌ Ｓｃａｎ）を用いてＤＣ係数から高周波領域の係数までスキャンして１次元の係数シーケンスを出力する。変換単位のサイズ及びイントラ予測モードによって、千鳥状スキャンの代わりに２次元の係数アレイを列方向にスキャンする縦方向スキャン、２次元のブロック形態係数を行方向にスキャンする横方向スキャンを使用してもよい。すなわち、変換単位のサイズ及びイントラ予測モードによって、千鳥状スキャン、対角線スキャン、縦方向スキャン、及び横方向スキャンの中で使用するスキャン方法を決定してもよい。

エントロピー符号化部１５５は、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）などの様々な符号化方式を用いて、並べ替え部１５０から出力された１次元の量子化した変換係数のシーケンスを符号化することによってビットストリームを生成する。

また、エントロピー符号化部１５５は、ブロック分割に関するＣＴＵサイズ、ＣＵ分割フラグ、ＱＴ分割フラグ、ＭＴＴ分割タイプ、ＭＴＴ分割方向などの情報を符号化し、映像復号化装置が映像符号化装置と同様にブロックを分割できるようにする。また、エントロピー符号化部１５５は、現在ブロックがイントラ予測によって符号化したのか、それともインター予測によって符号化したのかを指示する予測タイプに関する情報を符号化し、予測タイプに応じたイントラ予測情報（すなわち、イントラ予測モードに関する情報）又はインター予測情報（参照ピクチャ及び動きベクトルに関する情報）を符号化する。

逆量子化部１６０は、量子化部１４５から出力される量子化した変換係数を逆量子化して変換係数を生成する。逆変換部１６５は、逆量子化部１６０から出力された変換係数を周波数ドメインから空間ドメインに変換して残差ブロックを復元する。

加算部１７０は、復元された残差ブロックと予測部１２０によって生成された予測ブロックを加算して現在ブロックを復元する。復元された現在ブロック内のピクセルは、次の順序のブロックをイントラ予測するときの参照ピクセルとして使用される。

フィルタ部１８０は、ブロックベースの予測及び変換／量子化によって発生するブロッキングアーチファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔｓ）、リンギングアーチファクト（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ）、ぼかしアーチファクト（ｂｌｕｒｒｉｎｇ ａｒｔｉｆａｃｔｓ）等を低減するために、復元したピクセルに対するフィルタリングを実行する。フィルタ部１８０は、デブロッキングフィルタ１８２とＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタ１８４を含む。

デブロック化フィルタ１８０は、ブロック単位の符号化／復号化によって発生するブロッキング現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除去するために復元されたブロック間の境界をフィルタリングし、ＳＡＯフィルタ１８４はデブロッキングフィルタリングされた画像に対して追加のフィルタリングを実行する。ＳＡＯフィルタ１８４は、損失符号化（ｌｏｓｓｙ ｃｏｄｉｎｇ）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために使用するフィルタである。

デブロックキングフィルタ１８２及びＳＡＯフィルタ１８４を介してフィルタリングされた復元ブロックはメモリ１９０に保存される。１つのピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後で符号化したいピクチャ内のブロックをインター予測するための参照ピクチャとして使用する。

図４は、本発明の技術を具現する映像復号化装置の例示的な機能ブロック図である。以下では、図４を参照して、映像復号化装置とこの装置の下位構成について説明する。

映像復号化装置は、エントロピー復号化部４１０、並べ替え部４１５、逆量子化部４２０、逆変換部４３０、予測部４４０、加算器４５０、フィルタ部４６０、及びメモリ４７０を含んでなる。

図１の映像符号化装置と同様に、映像復号化装置の各構成要素は、ハードウェア又はソフトウェアで具現するか、あるいはハードウェア及びソフトウェアの組み合わせで具現する。さらに、各構成要素の機能がソフトウェアで具現され、マイクロプロセッサが各構成要素に対応するソフトウェアの機能を実行するように具現してもよい。

エントロピー復号化部４１０は、映像符号化装置によって生成されたビットストリームを復号化してブロック分割に関連する情報を抽出することにより復号化しようとする現在ブロックを決定し、現在ブロックを復元するために必要な予測情報と残差信号に関する情報などを抽出する。

エントロピー復号化部４１０は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）又はＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）からＣＴＵサイズに関する情報を抽出してＣＴＵのサイズを決定し、ピクチャを決定したサイズのＣＴＵに分割する。そして、ＣＴＵをツリー構造の最上位レイヤー、すなわちルートノードとして決定し、ＣＴＵについての分割情報を抽出することにより、ツリー構造を用いてＣＴＵを分割する。

例えば、ＱＴＢＴＴＴＴ構造を用いてＣＴＵを分割する場合、まずＱＴの分割に関連する第１のフラグ（ＱＴ＿ｓｐｌｉｔ＿ｆｌａｇ）を抽出して各ノードを下位レイヤーの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＭＴＴの分割に関連する第２のフラグ（ＭＴＴ＿ｓｐｌｉｔ＿ｆｌａｇ）及び分割方向（ｖｅｒｔｉｃａｌ／ｈｏｒｉｚｏｎｔａｌ）及び／又は分割タイプ（ｂｉｎａｒｙ／ｔｅｒｎａｒｙ）情報を抽出して当該リーフノードをＭＴＴ構造に分割する。これにより、ＱＴのリーフノード以下の各ノードをＢＴ又はＴＴ構造に、繰り返し（ｒｅｃｕｒｓｉｖｅｌｙ）分割する。

また他の例として、ＱＴＢＴＴＴＴ構造を用いてＣＴＵを分割する場合、まずＣＵを分割するか否かを指示するＣＵ分割フラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）を抽出し、該当ブロックが分割された場合、第１のフラグ（ＱＴ＿ｓｐｌｉｔ＿ｆｌａｇ）を抽出してもよい。分割の過程で、各ノードは、０回以上の繰り返しのＱＴ分割後に０回以上の繰り返しのＭＴＴ分割が発生する。例えば、ＣＴＵはすぐにＭＴＴ分割が発生するか、あるいは逆に複数回のＱＴ分割のみが発生する。

他の例として、ＱＴＢＴ構造を用いてＣＴＵを分割する場合、ＱＴの分割に関連する第１のフラグ（ＱＴ＿ｓｐｌｉｔ＿ｆｌａｇ）を抽出して各ノードを下位レイヤーの４つのノードに分割する。そして、ＱＴのリーフノードに該当するノードに対しては、ＢＴにさらに分割するか否かを指示する分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）及び分割方向情報を抽出する。

一方、エントロピー復号化部４１０は、ツリー構造の分割を通じて復号化しようとする現在ブロックを決定すると、現在ブロックがイントラ予測したかインター予測したかを指示する予測タイプに関する情報を抽出する。予測タイプ情報がイントラ予測を指示する場合、エントロピー復号化部４１０は、現在ブロックのイントラ予測情報（イントラ予測モード）についてのシンタックスエレメントを抽出する。予測タイプ情報がインター予測を指示する場合、エントロピー復号化部４１０は、インター予測情報についてのシンタックスエレメント、すなわち動きベクトル及びその動きベクトルが参照する参照ピクチャを示す情報を抽出する。

一方、エントロピー復号化部４１０は、残差ブロックのコーディングモードに関する情報（例えば、残差ブロックが符号化したか残差ブロックのサブブロックのみが符号化したかに関する情報、残差ブロックをサブブロックに分割するために選択したパーティションタイプを示す情報、符号化した残差サブブロックを識別する情報、量子化パラメータなど）をビットストリームから抽出する。また、エントロピー復号化部４１０は、残差信号に関する情報として現在ブロックの量子化した変換係数に関する情報を抽出する。

並べ替え部４１５は、映像符号化装置により実行した係数スキャニング順序の逆順で、エントロピー復号化部４１０でエントロピー復号化した１次元の量子化した変換係数のシーケンスを再び２次元の係数アレイ（すなわち、ブロック）に変更する。

逆量子化部４２０は、量子化した変換係数を逆量子化し、逆変換部４３０は、残差ブロックのコーディングモードに関する情報に基づいて逆量子化した変換係数を周波数ドメインから空間ドメインへ逆変換して残差信号を復元することによって、現在ブロックに対する復元した残差ブロックを生成する。

逆変換部４３０は、残差ブロックのコーディングモードに関する情報が映像符号化装置で現在ブロックの残差ブロックが符号化したと指示する場合に、逆量子化した変換係数に対して現在ブロックのサイズ（したがって、復元する残差ブロックのサイズ）を変換単位として使用して逆変換を実行し、現在ブロックに対する復元残差ブロックを生成する。

また、逆変換部４３０は、残差ブロックのコーディングモードに関する情報が映像符号化装置において残差ブロックの１つのサブブロックのみが符号化されたと指示する場合に、逆量子化した変換係数について、変換したサブブロックのサイズを変換単位として使用して、逆変換を実行して変換したサブブロックの残差信号を復元し、非変換したサブブロックの残差信号を「０」値で埋めることによって、現在ブロックに復元した残差ブロックを作成する。

予測部４４０は、イントラ予測部４４２及びインター予測部４４４を含む。イントラ予測部４４２は、現在ブロックの予測タイプがイントラ予測であるときに活性化され、インター予測部４４４は、現在ブロックの予測タイプがインター予測であるときに活性化される。

イントラ予測部４４２は、エントロピー復号化部４１０から抽出されたイントラ予測モードに対するシンタックスエレメントに基づいて複数のイントラ予測モードの中から、現在ブロックのイントラ予測モードを決定し、イントラ予測モードによって現在ブロック周囲の参照ピクセルを使用して現在ブロックを予測する。また、イントラ予測部４４２は、後述する行列ベースのイントラ予測（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＭＩＰ）を用いて、現在ブロックに対する予測ブロックを生成してもよい。イントラ予測部４２２は、現在ブロックの左側に再構成したサンプルと現在ブロックの上側に再構成したサンプルから導出した境界ベクトルと、予め定義した行列及びオフセットベクトルを用いて現在ブロックに対する予測ブロックを生成してもよい。

インター予測部４４４は、エントロピー復号化部４１０から抽出されたイントラ予測モードに対するシンタックスエレメントを用いて現在ブロックの動きベクトルとその動きベクトルが参照する参照ピクチャを決定し、動きベクトルと参照ピクチャを使用して現在ブロックを予測する。

加算器４５０は、逆変換部から出力される残差ブロックと、インター予測部又はイントラ予測部から出力される予測ブロックとを加算して現在ブロックを復元する。復元した現在ブロック内のピクセルは、後で復号化するブロックをイントラ予測する際の参照ピクセルとして利用する。

フィルタ部４６０は、デブロッキングフィルタ４６２及びＳＡＯフィルタ４６４を含む。デブロッキングフィルタ４６２は、ブロック単位の復号化によって発生するブロッキング現象（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を除去するために、復元されたブロック間の境界をデブロッキングフィルタリングする。ＳＡＯフィルタ４６４は、損失符号化（ｌｏｓｓｙ ｃｏｄｉｎｇ）によって発生する復元されたピクセルと元本ピクセルとの間の差を補償するために、デブロッキングフィルタリング後の復元されたブロックに対して追加のフィルタリングを実行する。デブロッキングフィルタ４６２及びＳＡＯフィルタ４６４を介してフィルタリングされた復元ブロックはメモリ４７０に保存される。１つのピクチャ内のすべてのブロックが復元されると、復元されたピクチャは、後で符号化したいピクチャ内のブロックをインター予測するための参照ピクチャとして使用される。

本発明の技術は一般にイントラ予測符号化に関連する。以下の説明は、主に復号化技術、すなわちビデオ復号化器の動作に焦点を当てており、符号化技術についての説明は、包括的に説明した復号化技術とは逆であることから、簡略化する。

次世代ビデオコーディング標準（ＶＶＣ；Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）についての議論で、ＨＥＶ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準と比較してより良いコーディング性能を可能にするいくつかの新しいコーディングツールが導入された。ＶＶＣに導入された多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ；ＭＴＳ）技法は、ＤＣＴ－２、ＤＳＴ－７、及びＤＣＴ－８を含む３つの三角関数変換（Ｔｒｉｇｏｎｏｍｅｔｒｉｃ Ｔｒａｎｓｆｏｒｍｓ）に依存し、ビデオ符号化器は、率‐歪みコスト（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｃｏｓｔ）を最大化する水平及び垂直変換を選択する。

ＭＴＳを適用するブロックに対し、横方向と縦方向でどの変換カーネルを使用するかをシグナリングするために、１つあるいはそれ以上のシンタックスエレメントをコーディングする。

一例として、表３のような予め定義したマッピングテーブルと共に、３つのフラグ（ＭＴＳ＿ＣＵ＿ｆｌａｇ、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ、ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ）を使用する。

まず、ＤＣＴ－２が横方向と縦方向の両方に使用されているか否かを示す１つのフラグ（ＭＴＳ＿ＣＵ＿ｆｌａｇ）がシグナリングされる。ＤＣＴ－２を両方向に適用しない場合は、ＤＳＴ－７とＤＣＴ－８のうち、どの変換カーネルを横方向に適用するかを示す１つのフラグ（ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ）がシグナリングされ、ＤＳＴ－７とＤＣＴ－８のうち、どの変換カーネルを縦方向に適用するかを示す１つのフラグ（ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ）がシグナリングされる。ＤＳＴ－７及びＤＣＴ－８は最大３２×３２のブロックサイズに対して使用され、ＤＣＴ－２は最大６４×６４のブロックサイズに対して使用される。したがって、ＭＴＳ＿ＣＵ＿ｆｌａｇは、ブロックのサイズ（幅及び高さ）が３２よりも小さいか同じであり、ブロックが少なくとも１つの非ゼロ残差信号を有する場合にシグナリングされる。ＭＴＳ＿ＣＵ＿ｆｌａｇが存在しない場合、ＭＴＳ＿ＣＵ＿ｆｌａｇは０と推論される。

対案として、表４のような予め定義したマッピングテーブルと共に、ＭＴＳカーネルインデックスを表すシンタックスエレメント（ｔｕ＿ｍｔｓ＿ｉｄｘ）を使用する。ｔｕ＿ｍｔｓ＿ｉｄｘは、ＭＴＳカーネルインデックスで表され、各インデックス値によって、横方向及び縦方向のカーネルが選択される。表４で、ｔｒＴｙｐｅＨｏｒとｔｒＴｙｐｅＶｅｒは、横方向と縦方向のカーネルの種類を示す。０はＤＣＴ－２、１はＤＳＴ－７、２はＤＣＴ－８を意味する。例えば、ｔｕ＿ｍｔｓ＿ｉｄｘ＝２の場合、横方向にはＤＣＴ－８を、縦方向にはＤＳＴ－７を用いる。

ｔｕ＿ｍｔｓ＿ｉｄｘは、ＳＰＳでｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１のときにのみシグナリングされる。明示的にＭＴＳインデックスをシグナリングするため、これをＥｘｐｌｉｃｉｔＭＴＳという。一方、ｔｕ＿ｍｔｓ＿ｉｄｘは明示的に示されず、符号化器及び復号化器から暗黙的に導出してもよく、これをＩｍｐｌｉｃｉｔＭＴＳという。ＩｍｐｌｉｃｉｔＭＴＳは、ＳＰＳでｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０のときに実行される。ＩｍｐｌｉｃｉｔＭＴＳを使用するとき、変換カーネルの選択は、ブロックに使用するイントラ予測モード、インター予測モード、ブロックサイズなどのような情報に基づいて実行される。たとえば、ブロックの幅が４以上で１６以下の場合は、横方向のカーネルとしてＤＳＴ－７を使用し、そうでない場合はＤＣＴ－２を使用する。また、ブロックの高さが４以上で１６以下の場合は、縦方向のカーネルとしてＤＳＴ－７を使用し、そうでない場合はＤＣＴ－２を使用する。つまり、ブロックのサイズが小さい場合は、予測残差信号の方向性が大きいため、ＤＳＴ－７を使用し、相対的に大きなブロックの場合、より均一な特性を有する残差信号の特性が強く、ＤＣＴ－２カーネルを使用する。

表５は、ＶＶＣドラフト５で規定している変換ユニットシンタックスの一部を示す。以下のシンタックスで、エレメントの灰色強調は理解を助けるために使用する。

変換ブロックは、変換動作なしにコーディングされ、これは、少なくとも１つの非ゼロ係数を有する変換ブロックに対してシグナリングされたシンタックスエレメントｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇによって指示される。変換ブロックのコーディングモードの上位レベル制御は、ＳＰＳ（Ｓｅｑｕｅｎｔｉａｌ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などのようなＨＬＳ（Ｈｉｇｈ－Ｌｅｖｅｌ Ｓｙｎｔａｘ）エレメントｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２によって達成される。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の場合、高さと幅が「１ ＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）」以下の変換ブロックに対してｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇがコーディングされる。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが１の場合、関連変換ブロックは変換省略モードにコーディングされ、そうでなければ関連変換ブロックにＭＴＳベースの変換を適用する。

一方、行列ベースのイントラ予測（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ：ＭＩＰ）は、ＶＴＭ５．０に導入された新しいイントラ予測技術である。元のアイデアは、ニューラルネットワークに基づくイントラ予測技術、すなわち隣接する再構成したピクセルに基づいて現在のＰＵピクセル値を予測するために多層ニューラルネットワークを使用することである。しかしながら、ニューラルネットワークを用いた予測方法の高度な複雑さにより、事前に訓練した行列を用いたアフィン線形変換に基づくイントラ予測技術を導入した。

幅Ｗ及び高さＨを有する長方形ブロックＰＵを予測するために、ＭＩＰはブロックの左側に再構成したＨ個のサンプルとブロック上側に再構成したＷ個のサンプルを入力として受け取る。そして、最後に予測されるピクセルは、平均化（Ａｖｅｒａｇｉｎｇ）、行列‐ベクトル乗算（Ｍａｔｒｉｘ－Ｖｅｃｔｏｒ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）、及び線形補間（Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）などによって得られる。

ＭＩＰを適用するブロックのサイズは、次のように３つのカテゴリに分類される。

ｉｄｘ（Ｗ，Ｈ）によって、ＭＩＰモードの個数（ｎｕｍＭｏｄｅｓ）、境界サイズ（ｂｏｕｎｄａｒｙＳｉｚｅ）、予測ブロックのサイズ（ｐｒｅｄＷ、ｐｒｅｄＨ、ｐｒｅｄＣ）を次のように定義する。下表で、ＭｉｐＳｉｚｅＩｄ＝ｉｄｘ（Ｗ，Ｈ）である。

図５は、本発明の技法で使用されるＭＩＰ技術の主要なプロセスを図式化した概念図である。

（１）平均演算（Ａｖｅｒａｇｉｎｇ）
このステップの主な目的は、参照サンプルを正規化することである。ブロックサイズ及び形状によって（すなわち、ＭｉｐＳｉｚｅＩｄによって）、４つ又は８つのサンプルが得られる。現在ブロックの幅と高さの両方が４の場合（Ｗ＝Ｈ＝４）、左から２つと上から２つを含む合計４つのサンプルが得られる。（ｂｏｕｎｄａｒｙＳｉｚｅ＝２）。残りの場合には、左から４つ、上から４つを含む合計８つのサンプルが得られる（ｂｏｕｎｄａｒｙＳｉｚｅ＝４）。

上記の式で、ｂＤｗｎはダウンサンプリングのスケール値（ｎＴｂｓ／ｂｏｕｎｄａｒｙＳｉｚｅ）であり、ｒｅｆＳはオリジナル参照サンプルを指す。

ダウンサンプリングした参照サンプルは、長さ４又は８のベクトルにステッチング（ｓｔｉｔｃｈｉｎｇ）される。ベクトル行列乗算演算に入力する縮小した境界ベクトル

は、下記の式のように定義する。例えば、Ｗ＝Ｈ＝４でＭＩＰモードが１８未満の場合、

Ｗ＝Ｈ＝４でＭＩＰモードが１８以上であれば、

下記の式で、「ｍｏｄｅ」はＭＩＰモードを意味する。

（２）行列－ベクトル乗算（Ｍａｔｒｉｘ－Ｖｅｃｔｏｒ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）

行列Ａは、Ｗ_ｒｅｄ＊Ｈ_ｒｅｄだけの行（ｒｏｗ）を有し、Ｗ＝Ｈ＝４の場合は４つの列（ｃｏｌｕｍｎ）を有し、それ以外は８つの列を有する。オフセットベクトルｂは、Ｗ_ｒｅｄ＊Ｈ_ｒｅｄサイズのベクトルである。

ブロックに使用する行列ＡとオフセットベクトルｂのセットＳ_０、Ｓ_１、Ｓ_２は、ブロックのサイズのカテゴリ別に予め定義される。セットＳのインデックス（０、１、２）は、上述のＭｉｐＳｉｚｅＩｄ（すなわち、ｉｄｘ（Ｗ，Ｈ））によって選択され、行列Ａとオフセットベクトルｂは、セットＳ_０、Ｓ_１、Ｓ_２のうちの１つのセットからの現在ブロックに対して適用するＭＩＰモードによって抽出される。

セットＳ_０は、それぞれ１６行と４列を有する１８個の行列Ａ_０と１８個の１６次元オフセットベクトルｂ_０から構成され、４×４のブロックに使用される。セットＳ_１は、それぞれ１６行と８列を有する１０個の行列Ａ_１と１０個の１６次元オフセットベクトルｂ_１から構成され、４×８、８×４、及び８×８サイズのブロックに使用される。最後に、セットＳ_２は、それぞれ６４行と８列を有する６つの行列Ａ_２と６つの６４次元オフセットベクトルｂ_２とから構成され、残りのすべてのブロック形状に使用される。

（３）ピクセル補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）
補間はアップサンプリングプロセスである。上述のように、

は元のブロックのダウンサンプリングした予測信号である。このとき、サイズｐｒｅｄＷとｐｒｅｄＨを有するダウンサンプリングした予測ブロックは次のように定義される。

ｐｒｅｄｒｅｄ［ｘ］［ｙ］，ｗｉｔｈ ｘ＝０．．ｐｒｅｄＷ １，ｙ＝０．．ｐｒｅｄＨ‐１

残りの位置での予測信号を各方向に沿って線形補間して生成する元ブロックサイズ（ｎＴｂＷ、ｎＴｂＨ）の予測ブロックは、次のように定義される。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］，ｗｉｔｈ ｘ＝０．．ｎＴｂＷ‐１，ｙ＝０．．ｎＴｂＨ‐１

水平及び垂直アップサンプリングスケールファクタであるｕｐＨｏｒ（＝ｎＴｂＷ／ｐｒｅｄＷ）とｕｐＶｅｒ（＝ｎＴｂＨ／ｐｒｅｄＨ）に依存して、次のように、

からｐｒｅｄＳａｍｐｌｅｓの一部あるいは全てが満たされる。

ｐｒｅｄＳａｍｐｌｅｓ［（ｘ＋１）＊ ｕｐＨｏｒ‐１］［（ｙ＋１）＊ｕｐＶｅｒ‐１］＝ｐｒｅｄｒｅｄ ［ｘ］［ｙ］

ｕｐＨｏｒ＝１であれば、

からｐｒｅｄＳａｍｐｌｅｓの横方向の全ての位置が満たされ、ｕｐＶｅｒ＝１であれば、

からｐｒｅｄＳａｍｐｌｅｓの縦方向の全ての位置が満たされる。

この後、バイリニア（ｂｉ－ｌｉｎｅａｒ）補間法により、ｐｒｅｄＳａｍｐｌｅｓの残りの空きサンプルが満たされる。横方向の補間と縦方向の補間はアップサンプリングプロセスである。ｐｒｅｄＳａｍｐｌｅｓ内の左側及び上側のサンプルを補間するために、ダウンサンプリングしたサンプル

は、ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［－１］値に割り当てられ、左側の元の参照サンプル

は、ｐｒｅｄＳａｍｐｌｅｓ［－１］［ｙ］値に割り当てられる。

（４）ＭＩＰイントラ予測モードのシグナリング
イントラ予測コーディングする各コーディングユニットＣＵに対して、行列ベースのイントラ予測モード（すなわち、ＭＩＰモード）を適用するか否かを示すフラグが伝送される。ＶＶＣ５ドラフトでは、ＭＩＰモードのシグナリングのために、行列ベースのイントラ予測ではなく既存のイントラ予測モード（以下「正規イントラ予測モード」）と同様に、ＭＰＭリストを使用する。例えば、ＭＩＰモードのシグナリングのために、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ、及びｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒが使用される。ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘは切り捨てバイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）にコーディングされ、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒは固定長コード（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｅ）にコーディングされる。

コーディングブロックＣＵのサイズによって、最大３５個のＭＩＰモードがサポートされる。たとえば、ｍａｘ（Ｗ，Ｈ）＜＝８、及びＷ＊Ｈ＜３２のＣＵに対し、３５個のモードが利用可能である。そして、それぞれｍａｘ（Ｗ，Ｈ）＝８、ｍａｘ（Ｗ，Ｈ）＞８のＣＵに対し、それぞれ１９個及び１１個の予測モードが使用される。さらに、一対のモード（２つのモード）は、メモリ要件を減らすために行列及びオフセットベクトルを共有する。具体的な共有モードは次のように計算される。例えば、４×４コーディングブロックに対し、モード１９は、モード２に割り当てられた行列の転置行列（ｔｒａｎｓｐｏｓｅｄ ｍａｔｒｉｘ）が使用される。

行列ベースのイントラ予測（ＭＩＰ）ではなく正規イントラ予測モードを適用するブロック（以下「正規ブロック」と呼ぶ）の周囲にＭＩＰが適用となるブロックがある場合、正規ブロックのＭＰＭ誘導のためにＭＩＰモードと正規モードとの間で定義されたマッピングテーブルを使用する。マッピングテーブルは、隣接ＭＩＰを適用するブロックのＭＩＰモードから類似の特性の正規モードを導出するために使用される。このように導出された正規モードは、正規ブロックのＭＰＭ導出に使用される。同様に、クロマＤＭ誘導で使用する同一位置の輝度ブロックがＭＩＰを適用する場合にも、マッピングテーブルを用いて正規モードを導出し、クロマＤＭ誘導に使用する。下記の式は、マッピングテーブルを使用した正規モードとＭＩＰモードのマッピングを表現する。

以上で説明したように、ＶＶＣドラフト５では、ブロックをＭＩＰベースで予測するとき、常にブロック左側の再構成した周辺サンプル

とブロック上段の再構成した周辺サンプル

が用いられる。このようなアプローチは、ブロックのテクスチャが方向特性を有するブロックの場合に予測性能を阻害し得る。また、ＶＶＣドラフト５では、ｐｒｅｄＳａｍｐｌｅｓ内の上側サンプルの補間のために、図５に示すように、ダウンサンプリングしたサンプルセット

をｐｒｅｄＳａｍｐｌｅｓ［ｘ］［－１］値に割り当てて使用することで、補間プロセスが必要以上に複雑になる。さらに、ＶＶＣドラフト５では、ＭＩＰモードと正規モードのシグナリングのためにそれぞれＭＰＭリストを使用されるため、ＭＩＰモードと正規モードとの間のマッピングなどが要求されるなど、多くの検査と条件によって具現が非常に複雑になり得る。

この観点から、本発明は、ＭＰＭコーディングに対するいくつかの改良した技法を提示する。本発明の一側面によると、ＭＩＰモードの具現の複雑さを低減し、ブロックのテクスチャが有する方向特性を考慮したアプローチを提示する。

図６は、本発明の一実施例によるＭＩＰベースでブロックを予測する概略プロセスを示すフローチャートである。

１．ＭＩＰモードの復号化ステップ（Ｓ６１０）
ビデオ復号化器は、イントラ予測モードでコーディングしたコーディングユニット（ＣＵ）に対し、イントラ予測タイプが行列ベースのイントラ予測（ＭＩＰ）であるかどうかを示すフラグを復号化する。ＭＩＰを適用する場合、利用可能な複数のＭＩＰモードのうち、現在のコーディングユニットで用いるＭＩＰモードを指示するシンタックスエレメントを復号化する。

既存のイントラ予測モード（正規イントラ予測モード）とは異なり、ＭＩＰモードのシグナリングのためにＭＰＭリストを使用しない場合もある。例えば、複数のＭＩＰモードの中で、現在のコーディングユニットで用いるＭＩＰモードを指示する切捨バイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）でコーディングされ得る、１つのシンタックスエレメント（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ）を使用する。

ＶＶＣ５ドラフトに基づいて提案された例示的な変換ユニットシンタックスの一部を以下に提供する。下記のシンタックスで、エレメントの灰色強調は理解を助けるために用いる。

ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が１の場合は、現在ブロックのイントラ予測タイプが行列ベースのイントラ予測（ＭＩＰ）であることを指す。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］が０の場合は、現在ブロックのイントラ予測タイプが行列ベースのイントラ予測ではなく正規のイントラ予測であることを指す。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ ［ｘ０］［ｙ０］が存在しない場合は、０に等しいと推論する。ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ［ｘ０］［ｙ０］は、行列ベースのイントラ予測（ＭＩＰ）で現在のブロックに対して使用するＭＩＰモードを指定する。

予測信号生成に使用する現在コーディングブロックの隣接サンプルは、ＭＩＰモードによって異なるように決定される。一例で、４×４サイズのコーディングブロックに対し、例えば、３５個のＭＩＰモードが利用可能であり、モードの範囲によって予測信号生成に使用する隣接サンプルを以下のように決定する。

現在のコーディングブロックのピクセルが横方向特性を有する場合、左隣のサンプルを使用して予測信号を生成することが有利である。同様に、現在のコーディングブロックのピクセルが縦方向特性を有する場合、上隣のサンプルを使用して予測信号を生成することが有利である。

ブロックが有する方向特性に適したＭＩＰモードを選択するために、ビデオ符号化器は、イントラ予測モードの正規モードを適用し、各モードによるブロックの歪み値（ｄｉｓｔｏｒｔｉｏｎ）を計算する。横方向の予測モード（例えば、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ＿１４～ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ＿２２）の歪み値が他のモードと比較して少ない場合、横方向は現在のコーディングブロックの主方向として決定される。逆に、縦方向の予測モード（例えば、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ＿４６～ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ＿５４）の歪み値が他のモードと比較して少ない場合、縦方向は現在のコーディングブロックの主方向として決定される。

横方向が主方向である場合、符号化器は左隣のサンプルのみを使用するＭＩＰモードのうちの１つを現在のコーディングブロックに割り当てる。逆に、縦方向が主方向である場合、符号化器は、上隣のサンプルのみを使用するＭＩＰモードのうちの１つを現在のコーディングブロックに割り当てる。

以下では、説明の便宜のために、左隣のサンプルを用いる場合と上隣のサンプルを用いる場合とを区別し、境界ベクトル及びそれから予測サンプルを決定する方法を説明する。左隣及び上隣のサンプルの両方を使用する場合のプロセスは、図５を参照して説明したものと実質的に同じである。

２－１．境界ベクトルの作成‐左隣のサンプルを使用する（Ｓ６２０）
図７ａ～図７ｃは、左隣のサンプルを用いて行列－ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。

一例として、図７ａに例示するように、現在のコーディングブロックのサイズ（高さ）と境界ベクトル

のサイズが等しい場合、左隣のサンプルセット

を使用して同じサイズの境界ベクトル

を埋める。例えば、左隣のサンプルのそれぞれを境界ベクトルのエントリに含める。

他の例として、図７ｂに示すように、左側に隣接する２つの列を使用して各行の２つのピクセル間の平均値を計算することによって境界ベクトル

を埋める。

また他の一例として、図７ｃに示すように、左隣のサンプルセット

から得られたダウンサンプリングしたサンプルセット

２－２．境界ベクトルの生成‐上隣のサンプルの利用（Ｓ６２０）
図８ａ～図８ｃは、上隣のサンプルを使用して行列‐ベクトル乗算演算に入力する境界ベクトルを構成する例示的な方法を示す概念図である。

一例として、図８ａに例示するように、現在のコーディングブロックのサイズ（幅）と境界ベクトル

のサイズが等しい場合、上隣のサンプルセット

を使用して同じサイズの境界ベクトル

を埋める。例えば、上隣のサンプルのそれぞれを境界ベクトルのエントリに含める。

他の例として、図８ｂに示すように、上部に隣接する２つの行を用いて、各列の２つのピクセル間の平均値を計算することによって、境界ベクトル

を埋める。

３．行列‐ベクトル乗算及びオフセット加算（Ｓ６３０）
ビデオ復号化器は、境界ベクトル

に対し、行列‐ベクトル積演算を実行し、オフセットベクトルを加算する。行列Ａ及びオフセットベクトルｂは、復号化したＭＩＰモードｋに従って決定される。

左隣のサンプルを用いて行列－ベクトル乗算演算に入力する境界ベクトルを構成した場合、Ｗ_ｒｅｄとＨ_ｒｅｄは、コーディングブロックのサイズによって次のように決定される。

上隣のサンプルを用いて行列－ベクトル乗算演算に入力する境界ベクトルを構成した場合、Ｗ_ｒｅｄとＨ_ｒｅｄは、コーディングブロックの大きさによって次のように決定される。

生成した

のサイズがコーディングブロックのサンプル数より小さい場合、補間が必要である。

４．線形補間（Ｓ６４０）
図９は、左隣のサンプル、境界ベクトル、及びそれから予測した予測サンプルを示す。図９で、現在のコーディングブロックに対する予測ブロックｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］内に三角形で示したピクセルは、生成した

から割り当てられた値である。

図９を参照すると、予測ブロックｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］内の空のピクセルを決定するために、様々な補間方法を使用する。

図１０は、上隣のサンプル、境界ベクトル、及びそれから得られた予測サンプルを示す。図１０で、現在のコーディングブロックに対する予測ブロックｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］内に三角形で示したピクセルは、生成した

から割り当てられた値である。

図１０を参照すると、予測ブロックｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］内の空のピクセルを決定するために、様々な補間方法を使用する。

図９及び図１０に例示したものとは異なり、予測ブロックｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］内の空のピクセルを決定するために、上段のオリジナル参照サンプル

がｐｒｅｄＳａｍｐｌｅｓ［ｘ］［－１］値に割り当てられ、左側の元の参照サンプル

がｐｒｅｄＳａｍｐｌｅｓ［－１］［ｙ］値に割り当てられてもよい。

以上の実施例は、ＭＩＰベースで予測ブロックを生成する際にブロックの方向性が考慮されるように、ＭＩＰモードによって現在ブロックの隣接サンプルを選択的に使用する方式を導入した。

本発明の他側面によると、ＭＩＰモードによって境界ベクトルを生成するために使用する隣接サンプルセットを変える代わりに、境界ベクトルに対して適用する行列Ａとオフセットｂの値を修正する方法を使用してもよい。

境界ベクトルに対する行列－ベクトル乗算演算とオフセット加算演算に適用する行列Ａとオフセットｂを次のように２つの部分に区分する。

Ａ２及びｂ２が有する値をゼロに近似すると、予測信号

は主に左隣のピクセル

によって影響を受け、これはブロックのテクスチャが横方向性を有するブロックに対して有用である。Ａ１とｂ１が有する値を０に近似すると、予測信号

は主に上隣のピクセル

に影響を受け、これは、ブロックのテクスチャが縦方向を有するブロックに対して有用である。

ビデオ符号化器及び復号化器は、現在ブロックのＭＩＰモードによって境界ベクトルに対して適用する行列Ａ及びオフセットｂの値を修正して使用する。一例として、４×４サイズのコーディングユニットに対し、例えば、３５個のＭＩＰモードが利用可能であり、モードの範囲によって境界ベクトルに適用する行列Ａ及びオフセットｂの値を修正して使用する。

上述したように、ＶＶＣドラフト５は、コーディングブロックＣＵのサイズ及び形状によって最大３５個のＭＩＰモードがサポートする。たとえば、ｍａｘ（Ｗ，Ｈ）＜＝８＆＆Ｗ＊Ｈ＜３２のＣＵに対して３５個のモードが利用可能で、それぞれｍａｘ（Ｗ，Ｈ）＝８、及びｍａｘ（Ｗ，Ｈ）＞８のＣＵに対してそれぞれ１９個及び１１個の予測モードを使用する。さらに、一対のモード（２つのモード）は、メモリ要件を減らすために行列及びオフセットベクトルを共有する。例えば、４×４コーディングブロックに対し、モード１９は、モード２に対して割り当てられた行列の転置行列（ｔｒａｎｓｐｏｓｅｄ ｍａｔｒｉｘ）を使用する。

複雑さを下げながらも実質的に同等のレベルのコーディング効率を達成する改善したアプローチを使用する。本発明の他側面によると、１つのモードがもう１つのモードが使用する行列を転置して使用する従来の方式の代わりに、

この方式によると、利用可能なＭＩＰモードの数は、既存の方式と比較して半分のレベルに減らすことができ、境界ベクトルの生成及びベクトル行列乗算演算のためのコーディング複雑さを低減できる。

一方、表５のシンタックス構造に関連して説明したように、特定条件を満たす変換ユニットについては、毎回変換省略関連シンタックス要素であるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇをシグナリングし、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇが真でない場合、ＳＰＳにおけるフラグ（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）によって、多重変換選択関連シンタックス要素であるｔｕ＿ｍｔｓ＿ｉｄｘを伝送する必要があるため、ビットストリームで伝送するビット数に負担をかける。

しかしながら、このような多重変換選択及び変換省略は、残差信号の特性と密接に関連しており、したがってブロックに使用する予測モードとは無関係に、変換関連シンタックス要素を常にシグナリングすることは効率的ではない場合もある。本発明者は、平均値演算と補間演算を含む行列ベースのイントラ予測（ＭＩＰ）技法のプロセスを考慮すると、ＭＩＰを適用したブロックの残差信号は、変換ドメインで低周波数成分が優勢な特性を有し、複雑な動きとテクスチャを含むブロックのように、ピクセル間の相関関係が少ないブロックには、ＭＩＰが適用されない可能性が高いことに注目する。したがって、ＭＩＰを使用したブロックに対しては変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）が適用されない可能性が高い。

この観点から、ブロックにＭＩＰを適用するか否かにかかわらず、多重変換選択関連シンタックスエレメントであるｔｕ＿ｍｔｓ＿ｉｄｘと変換省略関連シンタックスエレメントであるｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇを常にシグナリングするアプローチはそれほど効率的ではない場合がある。

本発明の一側面によると、ＭＩＰ適用如何によって変換関連シンタックス要素のシグナリングを省略することができ、省略したシンタックス要素はビデオ復号化器によって暗黙的に推論する。

一実施例で、ＭＩＰフラグによって多重変換選択（ＭＴＳ）技法を暗黙的に適用する。下表のように、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが真でない場合にのみ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇとｔｕ＿ｍｔｓ＿ｉｄｘがコーディングされる。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが真の場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは０と推論され、ｔｕ＿ｍｔｓ＿ｉｄｘも０と推論され、ｉｍｐｌｉｃｉｔ ＭＴＳを適用すると推論される。したがって、横方向及び縦方向の変換カーネルは、ブロックサイズによって決定される。下記のシンタックスで、エレメントの灰色強調は、シンタックスでの潜在的な変化を示すため又は理解を助けるために用いられる。

他の実施例では、ＭＩＰフラグによって多重変換選択（ＭＴＳ）技法を明示的に適用する。下表のように、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが真でない場合にのみ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇとｔｕ＿ｍｔｓ＿ｉｄｘがコーディングされる。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが真の場合、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇは０と推論され、ｔｕ＿ｍｔｓ＿ｉｄｘは明示的にシグナリングされ、ｅｘｐｌｉｃｉｔ ＭＴＳが適用される。下記のシンタックスで、エレメントの灰色強調は、シンタックスでの潜在的な変化を示すため又は理解を助けるために用いられる。

可能な他の実施例で、複雑な動きやテクスチャを含む小さなサイズのブロックのような、ピクセル間の相関関係が少ないブロックにはＭＩＰを明示的に適用しない場合がある。ＭＩＰを適用した４×４ＣＵには変換省略（ＴＳ）を適用しない場合もある。また、変換省略（ＴＳ）を適用した４×４ＣＵにはＭＩＰを適用しない場合もある。さらに、ＭＩＰはＴＳと共に４ｘ４ＣＵに適用しない場合もある。

従来のアプローチでは、ＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を使用するイントラ予測コーディングが使用される。例えば、ＨＥＶＣで、３つのＭＰＭのリストは、左及び上のブロックのイントラ予測モードから構成される。このような方法の欠点は、より多くのモード（ＭＰＭではなくイントラモード）がより多くのビットでコーディングするべき非ＭＰＭに属することである。ＭＰＭの数を３つ以上のエントリ（例えば、６つのＭＰＭモード）に拡張するためのいくつかの方法が提案された。ただし、より多くのエントリを含むこのようなＭＰＭリストを構成するには、より多くの検査と条件が必要になることから、これにより具現がより複雑になる。

上述したように、ＶＶＣドラフト５では、ＭＩＰモードと正規モードのシグナリングのためにそれぞれＭＰＭリストを使用することにより、ＭＩＰリストを構成するためにＭＩＰモードと正規モードとの間のマッピングなどが要求されるなど多くの検査と条件によって具現が非常に複雑になる。

ＭＰＭリスト構成の複雑さを低く保つために、現在ブロックに隣接する左側ブロック及び上側ブロックのイントラ予測モードを用いて６つのＭＰＭ候補を含むＭＰＭリストを構成する。ＭＰＭ候補は、デフォルトイントラ予測モード（例えば、ＰＬＡＮＡＲモード）、周辺ブロックのイントラ予測モード、周辺ブロックのイントラ予測モードから派生したイントラ予測モードから構成される。周辺ブロックのイントラ予測モードが使用されない場合（例えば、周辺ブロックをインター予測した場合、あるいは周辺ブロックが他のスライス又は他のタイルに位置する場合）、周辺ブロックのイントラ予測モードのイントラ予測モードはプラナー（Ｐｌａｎａｒ）に設定される。

左側ブロックのモード（Ｌｅｆｔ）及び上側ブロックのモード（Ａｂｏｖｅ）のイントラ予測モードのタイプによって大きく４つの場合に区分され、「Ｌｅｆｔ」と「Ａｂｏｖｅ」が互いに異なり、両方のモードが方向性モードの場合、「Ｌｅｆｔ」と「Ａｂｏｖｅ」の違いによって、４つのケースでさらに区別してＭＰＭリストを作成する。下表で、「Ｍａｘ」は「Ｌｅｆｔ」と「Ａｂｏｖｅ」のうち、大きなモードを指し、「ＭＩＮ」は「Ｌｅｆｔ」と「Ａｂｏｖｅ」のうち、小さなモードを指す。

平均値演算と補間演算を含む行列ベースのイントラ予測（ＭＩＰ）技法の特性上、ＭＩＰを適用したブロックの残差信号は変換ドメインで低周波数成分が優勢である。このような残差特性は、プラナーモード又はＤＣモードを適用したブロックの残差信号と類似することに留意したい。したがって、正規のイントラ予測モードでコーディングするブロックのＭＰＭリストを導出する際に、このような残差信号の類似性を考慮することが有用である。

本発明の一側面によると、正規のイントラ予測モードでコーディングしたブロック（すなわち、正規ブロック）に対してＭＰＭリストを導出する際に、周辺ブロックがＭＩＰモードでコーディングした場合に、周辺ブロックのイントラ予測モードはプラナーモード（又はＤＣモード）であると見なす。一例として、周辺ブロックにＭＩＰモードを適用した場合、その周辺ブロックのＭＩＰモードの代わりにプラナーモード（又はＤＣモード）をＭＰＭリストに追加する。

同様に、クロマＤＭ（ｄｉｒｅｃｔ ｍｏｄｅ）誘導時にも、同一位置のルマブロックにＭＩＰを適用した場合、ＭＩＰモードと正規モードとの間のマッピングテーブルを使用する代わりに、そのルマブロックのイントラ予測モードはプラナーモード（又はＤＣモード）と見なす。したがって、符号化器は、クロマブロックに対するイントラ予測モードを特定するシンタックスエレメントをパージングし、そのシンタックスエレメントによって、クロマブロックのイントラ予測モードが同一位置のルマブロックのイントラ予測モードをそのまま利用することを指示され、その同一位置のルマブロックにＭＩＰを適用した場合、そのルマブロックのイントラ予測モードは、プラナーモード（又はＤＣモード）と見なす。すなわち、クロマＤＭ（ｄｉｒｅｃｔ ｍｏｄｅ）で同一位置のルマブロックにＭＩＰを適用した場合に、クロマブロックのイントラ予測モードはプラナーモード（あるいはＤＣモード）と決定される。

ビデオ符号化器は、現在ブロックのイントラ予測モードがＭＰＭに該当するか否かを示す１ビットフラグ（例えば、ｍｐｍ＿ｆｌａｇ）をシグナリングする。典型的には、現在ブロックのイントラ予測モードがＭＰＭに該当する場合、６つのＭＰＭのうちの１つ（すなわち、プラナーモード）を指示するＭＰＭインデックスが追加でシグナリングされる。上表で、プラナーモードが常にＭＰＭリストに含まれることに注意する。したがって、符号化器は、現在ブロックのイントラ予測モードがプラナーモードである場合、現在ブロックのイントラ予測モードがプラナーモードであるか如何を（例えば、１ビットフラグを使用して）明示的にシグナリングし、現在ブロックのイントラ予測モードが残りの５つのＭＰＭのうちの１つと同じである場合、残りの５つのＭＰＭのうちの１つを指示するＭＰＭインデックスを追加でシグナリングすることが効率的である。現在ブロックのイントラ予測モードがＭＰＭに該当しない場合、６つのＭＰＭを除く残りの６１個の非ＭＰＭのうちの１つを指示するシンタックスエレメントを切捨てたバイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）を利用して符号化する。

図１１は、本発明の一実施例によるビデオデータを復号化する方法を例示するフローチャートである。

ビデオ復号化器は、ビットストリームからビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを復号化する（Ｓ１１１０）。イントラ予測タイプは、行列ベースのイントラ予測（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ： ＭＩＰ）と正規イントラ予測（ｒｅｇｕｌａｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を含む。上記シンタックスエレメントは、現在ブロックのサイズ及び形状に対して許容される複数の行列ベースのイントラ予測モードのうちの１つを特定する切捨バイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）である。

ビデオ復号化器は、現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に実行し、現在ブロックに対する予測ブロックを生成する。

ビデオ復号化器は、正規イントラ予測を実行して現在ブロックに対する予測ブロックを生成することの一部として、次のようなステップ（Ｓ１１２０～Ｓ１１４０）を実行する。ビデオ復号化器は、現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補を導出して現在ブロックに対するＭＰＭリストを構成し（Ｓ１１２０）、ＭＰＭリストに基づいて現在ブロックに対する正規イントラ予測モードを導出する（Ｓ１１３０）。周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ候補を導出するにあたり、ビデオ復号化器は、周辺ブロックのイントラ予測タイプが行列ベースのイントラ予測である場合に、周辺ブロックの正規イントラ予測モードはプラナーモードに設定する（みなす）。復号化器は、現在ブロックの正規イントラ予測モードを利用して現在ブロックに対する予測ブロックを生成する（Ｓ１１４０）。

ビデオ復号化器は、行列ベースのイントラ予測を実行して現在ブロックに対する予測ブロックを生成することの一部として、次のようなステップ（Ｓ１１２１～Ｓ１１５１）を実行する。ビデオ復号化器は、現在ブロックに対する行列ベースのイントラ予測モードを決定するために、ビットストリームから現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを復号化する（Ｓ１１２１）。ビデオ復号化器は、現在ブロックのサイズ及び形状に基づいて現在ブロックに隣接する周辺サンプルを利用して境界ベクトルを導出し（Ｓ１１３１）、現在ブロックに対する行列ベースのイントラ予測モードに対して予め定義した行列と境界ベクトルとの間の行列‐ベクトル乗算に基づき、現在ブロックに対する予測サンプルを生成する（Ｓ１１４１）。ビデオ復号化器は、予測サンプルに基づいて線形補間、クリッピングなどを実行して現在ブロックに対する予測ブロックを導出する（Ｓ１１５１）。

ビデオ復号化器は、現在ブロックに隣接する左側周辺サンプルのセット及び上側周辺サンプルのセットのうち、現在ブロックに対する行列ベースのイントラ予測モードに依存して、選択した１つ又は２つのセットから上記境界ベクトルを導出する。

ビデオ復号化器は、ビットストリームから、現在ブロックに隣接する左側周辺サンプルから導出した境界ベクトルの第１のエントリと現在ブロックに隣接する上側周辺サンプルから導出した境界ベクトルの第２のエントリとの間の接合順序を指示するシンタックスエレメントを復号化する。ビデオ復号化器は、指示された接合順序に従って第１のエントリと第２のエントリを接合して境界ベクトルを生成する。

境界ベクトルのエントリは、現在ブロックの大きさ及び形状によって、現在ブロックに隣接する左側周辺サンプルからダウンサンプリングした値、又は現在ブロックに隣接する左側周辺サンプルで満たされる。

ビデオ復号化器は、予測サンプルに基づいて現在ブロックに対する予測ブロックを導出するために、予測サンプルを予測ブロック内の位置に割り当てる。予測ブロック内の予測サンプルが割り当てられていない位置に対する予測サンプル値を生成するために、予測サンプル、現在ブロックに隣接する左側周辺サンプル、及び現在ブロックに隣接する上側周辺サンプルに対する線形補間を実行する。

以上の説明で例示的な実施例は、多くの他の方式で具現される。１つ以上の例示で説明した機能又は方法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで具現される。本明細書で説明する機能的コンポーネントは、それらの具現独立性を特に強調するために「…部（Ｕｎｉｔ）」とラベル付けした。

一方、本明細書で説明した様々な機能又は方法は、１つ以上のプロセッサによって読み取られ実行される非一時的記録媒体に保存した命令語で具現してもよい。非一時的記録媒体は、例えば、コンピュータシステムによって読み取り可能な形態でデータを保存するあらゆる種類の記録装置を含む。例えば、非一時的な記録媒体は、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュドライブ、光学ドライブ、磁気ハードドライブ、ソリッドステートドライブ（ＳＳＤ）のような記憶媒体を含む。

以上の説明は、本発明の技術的思想によるいくつかの実施例を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能である。したがって、例示した実施例は、本発明の技術思想を限定するものではなく説明するためのものであり、そのような実施例によって本発明の技術的思想の範囲を限定するものではない。

ＣＲＯＳＳ－ＲＥＦＥＲＥＮＣＥ ＴＯ ＲＥＬＡＴＥＤ ＡＰＰＬＩＣＡＴＩＯＮ
本特許出願は、本明細書にその全体が参考として含まれる、２０１９年６月２４日付で韓国に出願した特許出願番号第１０－２０１９－００７５１６３号、２０１９年７月４日付で韓国へ出願した特許出願番号第１０－２０１９－００８０７４９号及び２０２０年６月２４日付で韓国に出願した特許出願番号第１０－２０２０－００７７０１４号に対して優先権を主張する。

１１０ ピクチャ分割部
１２０、４４０ 予測部
１２２、４４２ イントラ予測部
１２４、４４４ インター予測部
１３０ 減算器
１４０ 変換部
１４５ 量子化部
１５０、４１５ 並べ替え部
１５５ エントロピー符号化部
１６０、４２０ 逆量子化部
１６５、４３０ 逆変換部
１７０、４５０ 加算器
１８０、４６０ フィルタ部
１８２、４６２ デブロッキングフィルタ
１８４、４６４ ＳＡＯフィルタ
１９０、４７０ メモリ
４１０ エントロピー復号化部

Claims (11)

1. ビデオデータを復号化する方法であって、
   ビットストリームからビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを復号化するステップであって、前記イントラ予測タイプは、行列ベースのイントラ予測（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ：ＭＩＰ）と正規イントラ予測（ｒｅｇｕｌａｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）を含むステップと、
   前記シンタックスエレメントが指示する前記現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に実行し、前記現在ブロックに対する予測ブロックを生成するステップと、
   を含み、
   前記正規イントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
   前記現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補を導出して前記現在ブロックに対するＭＰＭリストを構成するステップと、
   前記ＭＰＭリストに基づいて前記現在ブロックに対する正規イントラ予測モードを導出するステップと、を含み、
   前記行列ベースのイントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
   前記ビットストリームから前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを復号化するステップと、
   前記現在ブロックの幅及び高さに基づいて前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップと、
   前記行列ベースのイントラ予測モードに対して予め定義した行列と前記境界ベクトルとの間の行列‐ベクトル乗算に基づき、前記現在ブロックに対する予測サンプルを生成するステップと、
   前記予測サンプルに基づいて前記現在ブロックに対する前記予測ブロックを導出するステップと、を含み、
   前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップは、
   前記ビットストリームから前記現在ブロックに隣接する左側周辺サンプルから導出した前記境界ベクトルの第１のエントリと前記現在ブロックに隣接する上側周辺サンプルから導出した前記境界ベクトルの第２のエントリとの間の接合順序を指示するシンタックスエレメントを復号化するステップと、
   前記接合順序に従って前記第１のエントリと前記第２のエントリを接合して前記境界ベクトルを生成するステップと、を含み、
   前記現在ブロックは、ルマ（ｌｕｍａ）成分からなるルマブロックであり、前記ルマブロックに前記行列ベースのイントラ予測が行われ、前記ルマブロックに対応するクロマブロックのイントラ予測モードが前記ルマブロックのイントラ予測モードをそのまま利用する場合、前記ルマブロックに対する正規イントラ予測モードはプラナーモードに設定されることを特徴とする方法。
2. 前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントは、
   前記現在ブロックの幅及び高さに対して許容される複数の行列ベースのイントラ予測モードのうちの１つを特定する切捨バイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）であることを特徴とする請求項１に記載の方法。
3. 前記現在ブロックに隣接する周辺サンプルを利用して境界ベクトルを導出するステップは、
   前記現在ブロックに隣接する左側周辺サンプルのセット及び上側周辺サンプルのセットのうち、前記現在ブロックに対する行列ベースのイントラ予測モードに依存して、選択された１つあるいは２つのセットから前記境界ベクトルを導出するステップを含むことを特徴とする請求項２に記載の方法。
4. 前記境界ベクトルのエントリは、
   前記現在ブロックの幅及び高さによって、前記現在ブロックに隣接する左側周辺サンプルからダウンサンプリングした値、又は前記現在ブロックに隣接する左側周辺サンプルで満たされることを特徴とする請求項２に記載の方法。
5. 前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップは、
   前記予測サンプルを前記予測ブロック内の位置に割り当てるステップと、
   前記予測サンプル、前記現在ブロックに隣接する左側周辺サンプル、及び前記現在ブロックに隣接する上側周辺サンプルに対する線形補間を利用して、前記予測ブロック内の前記予測サンプルが割り当てられていない位置についての予測サンプル値を作成するステップと、を含むことを特徴とする請求項２に記載の方法。
6. ビデオデータを符号化する方法であって、
   ビットストリームにビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを符号化するステップであって、前記イントラ予測タイプは、行列ベースのイントラ予測と正規イントラ予測を含むステップと、 前記現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に行い、前記現在ブロックに対する予測ブロックを生成するステップと、
   を含み、
   前記正規イントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
   前記現在ブロックの正規イントラ予測モードを決定するステップと、
   前記現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補を導出して前記現在ブロックに対するＭＰＭリストを構成するステップと、
   前記ＭＰＭリストに基づいて前記現在ブロックの正規イントラ予測モードを指示する少なくとも１つのシンタックスエレメントを前記ビットストリームに符号化するステップと、を含み、
   前記行列ベースのイントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
   前記ビットストリームに前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを符号化するステップと、
   前記現在ブロックの幅及び高さに基づいて前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップと、
   前記行列ベースのイントラ予測モードに対して予め定義した行列と前記境界ベクトルとの間の行列‐ベクトル乗算に基づき、前記現在ブロックに対する予測サンプルを生成するステップと、
   前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップと、を含み、
   前記現在ブロックに隣接する周辺サンプルを利用して境界ベクトルを導出するステップは、
   前記ビットストリームに前記現在ブロックに隣接する左側周辺サンプルから導出した前記境界ベクトルの第１のエントリと前記現在ブロックに隣接する上側周辺サンプルから導出した前記境界ベクトルの第２のエントリとの間の接合順序を指示するシンタックスエレメントを符号化するステップと、
   前記接合順序に従って前記第１のエントリと前記第２のエントリを接合して前記境界ベクトルを生成するステップと、を含み、
   前記現在ブロックは、ルマ（ｌｕｍａ）成分からなるルマブロックであり、前記ルマブロックに前記行列ベースのイントラ予測が行われ、前記ルマブロックに対応するクロマブロックのイントラ予測モードが前記ルマブロックのイントラ予測モードをそのまま利用する場合、前記ルマブロックに対する正規イントラ予測モードはプラナーモードに設定されることを特徴とする、方法。
7. 前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントは、
   前記現在ブロックの幅及び高さに対して許容される複数の行列ベースのイントラ予測モードのうちの１つを特定する切捨バイナリコード（ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｃｏｄｅ）であることを特徴とする請求項６に記載の方法。
8. 前記現在ブロックに隣接する周辺サンプルを利用して境界ベクトルを導出するステップは、
   前記現在ブロックに隣接する左側周辺サンプルのセット及び上側周辺サンプルのセットのうち、前記現在ブロックに対する行列ベースのイントラ予測モードに依存して、選択された１つ又は２つのセットから前記境界ベクトルを導出するステップを含むことを特徴とする請求項７に記載の方法。
9. 前記境界ベクトルのエントリは、
   前記現在ブロックの幅及び高さによって、前記現在ブロックに隣接する左側周囲サンプルからダウンサンプリングした値、又は前記現在ブロックに隣接する左側周囲サンプルで満たされることを特徴とする請求項７に記載の方法。
10. 前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップは、
    前記予測サンプルを前記予測ブロック内の位置に割り当てるステップと、
    前記予測サンプル、前記現在ブロックに隣接する左側周辺サンプル、及び前記現在ブロックに隣接する上側周辺サンプルに対する線形補間を利用して、前記予測ブロック内の前記予測サンプルが割り当てられていない位置についての予測サンプル値を作成するステップを含むことを特徴とする請求項７に記載の方法。
11. プロセッサにビデオデータブロックの符号化データを含むビットストリームを送信させるための方法が記憶されたコンピュータ読み取り可能な記録媒体であって、
    前記方法は、
    ビデオデータブロックをビットストリームに符号化するステップと、
    前記ビットストリームをビデオ復号化装置に送信するステップと、
    を含み、
    前記ビデオデータブロックをビットストリームに符号化するステップは、
    前記ビットストリームにビデオデータの現在ブロックのイントラ予測タイプを指示するシンタックスエレメントを符号化するステップであって、前記イントラ予測タイプは、行列ベースのイントラ予測と正規イントラ予測を含むステップと、
    前記現在ブロックのイントラ予測タイプに基づいて行列ベースのイントラ予測又は正規イントラ予測を選択的に行い、前記現在ブロックに対する予測ブロックを生成するステップと、
    を含み、
    前記正規イントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
    前記現在ブロックの正規イントラ予測モードを決定するステップと、
    前記現在ブロックに隣接する周辺ブロックの正規イントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）候補を導出して前記現在ブロックに対するＭＰＭリストを構成するステップと、
    前記ＭＰＭリストに基づいて、前記現在ブロックの正規イントラ予測モードを指示する少なくとも１つのシンタックスエレメントを前記ビットストリームに符号化するステップと、を含み、
    前記行列ベースのイントラ予測を実行して前記現在ブロックに対する予測ブロックを生成するステップは、
    前記ビットストリームに前記現在ブロックに対する行列ベースのイントラ予測モードを指示するシンタックスエレメントを符号化するステップと、
    前記現在ブロックの幅及び高さに基づいて前記現在ブロックに隣接する周囲サンプルを利用して境界ベクトルを導出するステップと、
    前記行列ベースのイントラ予測モードに対して予め定義した行列と前記境界ベクトルとの間の行列‐ベクトル乗算に基づき、前記現在ブロックに対する予測サンプルを生成するステップと、
    前記予測サンプルに基づいて前記現在ブロックに対する予測ブロックを導出するステップと、を含み、
    前記現在ブロックに隣接する周辺サンプルを利用して境界ベクトルを導出するステップは、
    前記ビットストリームに前記現在ブロックに隣接する左側周辺サンプルから導出した前記境界ベクトルの第１のエントリと前記現在ブロックに隣接する上側周辺サンプルから導出した前記境界ベクトルの第２のエントリとの間の接合順序を指示するシンタックスエレメントを符号化するステップと、
    前記接合順序に従って前記第１のエントリと前記第２のエントリを接合して前記境界ベクトルを生成するステップと、を含み、
    前記現在ブロックは、ルマ（ｌｕｍａ）成分からなるルマブロックであり、前記ルマブロックに前記行列ベースのイントラ予測が行われ、前記ルマブロックに対応するクロマブロックのイントラ予測モードが前記ルマブロックのイントラ予測モードをそのまま利用する場合、前記ルマブロックに対する正規イントラ予測モードはプラナーモードに設定されることを特徴とする、記録媒体。

Images